CN112822256A - 一种行情文件转数据流传输的方法及装置 - Google Patents

一种行情文件转数据流传输的方法及装置 Download PDF

Info

Publication number
CN112822256A
CN112822256A CN202011640445.8A CN202011640445A CN112822256A CN 112822256 A CN112822256 A CN 112822256A CN 202011640445 A CN202011640445 A CN 202011640445A CN 112822256 A CN112822256 A CN 112822256A
Authority
CN
China
Prior art keywords
data
market
file
data packet
child node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011640445.8A
Other languages
English (en)
Other versions
CN112822256B (zh
Inventor
杨杰
陈勇铨
吕爱民
胡军擎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingfang Software Co ltd
Original Assignee
Shanghai Yingfang Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingfang Software Co ltd filed Critical Shanghai Yingfang Software Co ltd
Priority to CN202011640445.8A priority Critical patent/CN112822256B/zh
Publication of CN112822256A publication Critical patent/CN112822256A/zh
Application granted granted Critical
Publication of CN112822256B publication Critical patent/CN112822256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Abstract

本发明公开了一种行情文件转数据流传输的方法及装置,所述方法包括如下步骤:步骤S1,主节点服务端通过扫描行情文件的方式,检测行情变化,于检测到行情变化时,读取行情数据并按证券代码对行情数据分块以及计算相应数据分块的哈希值,并存入相应的缓存队列,当与下级子节点建立连接时,根据发送数据类型读取缓存队列数据,将行情数据通过定期增量和实时全量的方式通过数据流传输至下级子节点;步骤S2,下级子节点于接收到上级节点发送的数据包时,解析数据包组装完整行情文件,或直接转发接收到的数据流至下游应用系统。

Description

一种行情文件转数据流传输的方法及装置
技术领域
本发明涉及计算机数据分析及传输技术领域,特别是涉及一种行情文件转数据流传输的方法及装置。
背景技术
随着交易所行情的提速,竞价撮合平台FAST行情发布频率也由5秒一副调整至3秒一副。同时,为了进一步提速,一些交易所文件行情也逐步升级为流行情传输。而上海FAST行情及股转行情等仍然使用文件方式,传统方式下,下游应用系统使用行情通过网络映射的方式读取行情文件,但会占用带宽过高,安全性风险以及不能统一管理等弊端。目前常见的做法是通过行情转发系统同步文件至下游,甚至多级级联转发,但是,此方式在解决映射方式问题的同时,增加了读盘和落盘的次数。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种行情文件转数据流传输的方法及装置,通过将文件行情直接转流行情传输,以减少转发行情中读盘和落盘的消耗,提高行情转发效率。
为达上述目的,本发明提出一种行情文件转数据流传输的方法,包括如下步骤:
步骤S1,主节点服务端通过扫描行情文件的方式,检测行情变化,于检测到行情变化时,读取行情数据并按证券代码对行情数据分块以及计算相应数据分块的哈希值,并存入相应的缓存队列,当与下级子节点建立连接时,根据发送数据类型读取缓存队列数据,将行情数据通过定期增量和实时全量的方式通过数据流传输至下级子节点;
步骤S2,下级子节点于接收到上级节点发送的数据包时,解析数据包组装完整行情文件,或直接转发接收到的数据流至下游应用系统。
优选地,步骤S1包括:
步骤S10,扫描行情文件,根据行情文件数据接口规范获取所述行情文件中的行情市场时间,并根据获得的行情市场时间检测行情是否变化;
步骤S11,若行情市场时间未发生变化,则无需处理,等待下一次扫描检测;
步骤S12,若行情市场时间发生变化,则读取行情数据,并按证券代码分块数据,将分块数据存入数据缓存队列,同时,计算每个分块数据的哈希值及对应的序号存入哈希缓存队列;
步骤S13,定义数据接口规范,当与下级子节点连接时,根据发送数据类型读取相应缓存队列数据,利用定期增量和实时全量的方式通过数据流传输至下级子节点。
优选地,步骤S13包括:
步骤S131,初始化等待下级子节点连接,加载各缓存队列;
步骤S132,检查当前时间点是否需要发送全量数据;
步骤S133,若当前时间点需发送全量数据,则直接遍历读取数据缓存队列中的数据块,增加全量标识组成新的数据包,并发送至当前所有连接的下级子节点;
步骤S134,若发送类型为增量,则读取哈希缓存队列中数据,根据哈希值对比相对前次数据是否发送变化,遍历读取发生变化的行情数据,增加增量标识组成新的数据包发送至所有下级子节点。
优选地,步骤S133包括:
步骤S133a,读取所述数据缓存队列中的分块数据,增加全量标识组成新的数据包,并发送数据包至下级子节点;
步骤S133b,在当前分块数据发送完毕后,继续所述检查数据缓存队列直至完毕,当所有全量发送完毕,发送全量结束标记的数据包,通知下级子节点本次更新完成。
优选地,步骤S134包括:
步骤S134a,读取当前数据哈希缓存队列,并获取相应数据块的历史哈希值;
步骤S134b,根据哈希值对比当前数据块与前次对应的数据块是否一致;
步骤S134c,若根据哈希值判断一致则跳过本次检查,继续对比下一个数据块;
步骤S134d,若根据哈希值判断当前数据块与前次对应的数据块不一致,则通过序号查找对应的分块数据,从数据缓存队列获取到对应的行情数据,同时增加增量标识和序号组成新的数据包,将其发送给下级子节点;
步骤S134e,当数据发送完毕,继续读取哈希缓存队列直至完毕,当所有增量数据发送完毕,则发送增量结束标记的数据包,通知下级子节点本次更新完成。
优选地,于步骤S134a中,根据历史哈希缓存队列获取对应数据块的历史哈希值。
优选地,于步骤S133a中,当将增加全量标识组成的新的数据包发送给下级子节点后,还将当前分块数据的哈希值及对应的序号更新至所述历史哈希缓存队列中。
优选地,于步骤S134d中,当将增加增量标识后的新数据包发送给下级子节点后,将当前分块数据的哈希值及对应的序号更新至历史哈希缓存队列中。
优选地,步骤S2进一步包括:
步骤S200,连接至上级节点,接收上级节点发送的数据包;
步骤S201,解析数据包头信息,根据数据包头信息中全量或增量标识读取数据消息体,若为全量数据包,则按数据包的接收顺序,更新对应行情文件,直至接收到结束标记后关闭文件,若为增量数据包,则根据数据包中的序号,更新对应行情文件指定数据块,直至接收到结束标记后关闭文件。
为达到上述目的,本发明还提供一种行情文件转数据流传输的装置,包括:
主节点服务端,用于通过扫描行情文件的方式,检测行情变化,于检测到行情变化时,读取行情数据并按证券代码对行情数据分块以及计算相应数据分块的哈希值,并存入相应的缓存队列,当与下级子节点建立连接时,根据发送数据类型读取缓存队列数据,将行情数据通过定期增量和实时全量的方式通过数据流传输至下级子节点;
若干子节点,各子节点用于在接收到上级节点发送的数据包时,解析数据包组装完整行情文件,或直接转发接收到的数据流至下游应用系统。
与现有技术相比,本发明一种行情文件转数据流的方法及装置通过检测文件更新变化,将行情数据分块计算哈希值,通过哈希值判断当前证券代码对应的行情内容是否更新,从而实现增量传输,减少数据流量,定期执行全量传输为定期执行,确保下游系统中断或新应用系统接入时,能快速获取到完整行情,同时,本发明端节点还可以选择输出完整行情文件对接老旧系统,或者直接级联转发至下游应用,本发明通过定期全量加实时增量的方式,能有效减少数据的传输,同时能保证下级应用中断的时候保证数据的完整性,给企业特别是证券公司提供行情文件多级级联下高效传输的解决方案。
附图说明
图1为本发明一种行情文件转数据流传输的方法的步骤流程图;
图2为本发明一种行情文件转数据流传输的系统的系统架构图;
图3为本发明实施例所描述的整个发明的架构图;
图4为本发明实施例中上级节点的文件检测和处理的具体流程图;
图5为本发明实施例中上级节点发送数据流的处理流程图;
图6为本发明实施例中增量数据的发送流程图;
图7为本发明实施例中全量数据的发送流程图;
图8为本发明实施例中下级子节点接收数据更新行情文件的处理流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种行情文件转数据流传输的方法的步骤流程图。如图1所示,本发明一种行情文件转数据流传输的方法,包括如下步骤:
步骤S1,主节点服务端通过扫描行情文件的方式,检测行情变化,于检测到行情变化时,读取行情数据并按证券代码对行情数据分块以及计算相应数据分块的哈希值,并存入相应的缓存队列,当与下级子节点建立连接时,根据发送数据类型读取缓存队列数据通过数据流传输至下级子节点。
具体地,步骤S1进一步包括:
步骤S10,扫描行情文件,根据行情文件数据接口规范获取所述行情文件中的行情市场时间,并根据获得的行情市场时间检测行情是否变化。
具体地说,主节点服务端启动扫描功能,扫描指定目录的行情文件,根据行情文件数据接口规范获取行情文件中行情市场时间,并将其与前一次获取的行情市场时间对比,判断行情市场时间是否发生变化。
步骤S11,若行情市场时间未发生变化,则说明本次行情无更新,无需处理,等待下一次扫描检测。
步骤S12,若行情市场时间发生变化,则读取行情数据,并按证券代码分块数据,将分块数据存入数据缓存队列,同时,计算每个分块数据的哈希值,将哈希值与序号(即分块数据块的序号)存入哈希缓存队列。
步骤S13,定义数据接口规范,当与下级子节点连接时,根据发送数据类型读取缓存队列数据通过数据流传输至下级子节点。所述发送数据类型包括全量数据发送和增量数据发送。
具体地,步骤S13进一步包括:
步骤S131,初始化服务等待下级连接,加载各缓存队列;
步骤S132,检查当前时间点是否需要发送全量数据;
步骤S133,若当前时间点需发送全量数据,则直接遍历读取数据缓存队列中数据,增加全量标识组成新的数据包,并发送至当前所有连接的下级子节点。在本发明具体实施例中,可设置定期发送全量数据,则实时检查当前时间点是否为设置的定期发送全量数据的时间点,若当前时间点为全量数据的发送时间点,则直接遍历读取数据缓存队列中数据,并增加全量标识组成新的数据包,发送至当前所有下级连接的子节点客户端,例如可设置每15秒发送一次全量,则根据设置判断当前时间点是否为全量数据发送的时间点,若是,则直接遍历读取数据缓存队列中数据,并增加全量标识组成新的数据包,发送至当前所有下级连接的子节点客户端,否则则实时检测并发送增量变化数据,减少数据传输量。
具体地,步骤S133进一步包括:
步骤S133a,读取数据缓存队列中的分块数据,增加全量标识组成新的数据包,并发送数据包,将当前分块数据的哈希值及对应的序号更新至历史哈希缓存队列中。这里需说注意的是,本发明中的哈希缓存队列有两个,一个是当前最新数据的当前数据哈希缓存队列,以及前一次数据发送完成后的历史哈希缓存队列。
步骤S133b,当前分块数据发送完毕后,继续检查数据缓存队列直至完毕,当所有全量发送完毕,发送全量结束标记的数据包,通知下级子节点本次更新完成。
步骤S134,若当前时间点不是全量数据发送的时间点,则表示当前时间点的发送类型为增量数据发送,读取哈希缓存队列,根据读取的哈希值对比相对前次数据是否发送变化,并从数据缓存队列遍历读取发生变化的行情数据,增加增量标识组成新的数据包发送至所有下级子节点客户端。需说明的是,增量数据的发送是实时的,通过实时判断行情数据是否有变化进行增量数据的发送。如果当前与定期全量发送时间重合,则会直接发送全量数据。
具体地,步骤S134进一步包括:
步骤S134a,读取当前数据哈希缓存队列,并通过序号获取历史哈希缓存队列中对应数据块的历史哈希值。在本发明中,哈希队列有两个,当前最新数据的哈希缓存队列,以及前一次数据发送完成后的历史哈希缓存队列。
步骤S134b,根据哈希值对比当前数据块与前次对应的数据块是否一致,即将当前数据块对应的哈希值与其对应的历史哈希值进行比对,以比对两者是否一致,若一致则说明当前数据块即行情数据未发生变化,若不一致则说明当前数据块即行情数据发生变化。
步骤S134c,若根据哈希值判断一致则说明当前数据块,也即当前证券代码对应的行情数据没有发生变化,无需发送至下级客户端,跳过本次检查,继续对比下一个数据块。
步骤S134d,若根据哈希值判断当前数据块与前次对应的数据块不一致,则说明当前行情数据有更新,则通过序号查找对应的分块数据,从数据缓存队列获取到对应的行情数据,同时增加增量标识和序号后组成新的数据包发送至当前所有连接的下级子节点客户端,并将本次哈希值及对应的数据块序号更新至历史哈希缓存队列中。
步骤S134e,当数据发送完毕后,继续读取哈希缓存队列直至完毕,当所有增量数据发送完毕,则发送增量结束标记的数据包,通知下级子节点本次更新完成。
步骤S2,下级子节点于接收到上级节点发送的数据流时,解析数据包组装完整行情文件,或直接转发接收到的数据流至下游应用系统,即作为级联的上级节点。
在传统方式下,上级节点的行情文件传输到下级节点时,此时会写入文件,下级节点应用使用行情文件时,则需要读取本地磁盘上的文件,而本发明中,行情数据传输到下级子节点后,不需要写文件,应用可以直接读取流数据使用,从而减少了读盘和落盘消耗。也就是说,如果要兼容旧的应用系统,下级子节点可以选择生产文件,如果新系统,可以直接接收数据流并解析使用,展示行情数据。
具体地,步骤S2进一步包括:
步骤S200,连接至上级节点,接收上级节点发送的数据包,所述数据包中包含有全量或增量标识。
步骤S201,解析数据包头信息,根据数据包头信息中全量或增量标识,读取数据消息体,若为全量数据包,则按数据包的接收顺序,更新对应行情文件,直至接收到结束标记后关闭文件,若为增量数据包,则根据数据包中的序号,更新对应行情文件指定数据块,直至接收到结束标记后关闭文件。
优选地,虽然现有技术与本发明在数据传输过程中都是数据流,但传统方式下,上级节点会读取文件所有内容,并全部传输到下级,传输数据没有标准接口供第三方应用使用,下级子节点只有生成文件后才能给第三方应用使用,占用带宽过高,而本发明中上级检查文件更新,通过全量加增量的方式传输数据,下级应用使用本发明定义的接口(上下级规范一致即可,下发数据包安装约定规范,下游解析使用时也遵循相同规范),可直接使用行情数据,占用带宽更低,同时传输效率更高。
可见,本发明通过实时检测行情文件的更新,将行情数据通过定期增量加实时全量的方式传输至下级客户端节点或应用,下级子节点客户端可以选择继续级联发送其他应用,或者输出行情文件供老旧应用系统使用。
图2为本发明一种行情文件转数据流传输的装置的系统架构图。如图2所示,本发明一种行情文件转数据流传输的装置,包括:
主节点服务端20,用于通过扫描行情文件的方式,检测行情变化,于检测到行情变化时,读取行情数据并按证券代码对行情数据分块以及计算相应数据分块的哈希值,并存入相应的缓存队列,当与下级子节点建立连接时,根据发送数据类型读取缓存队列数据通过数据流传输至下级子节点。
具体地,如图3所示,主节点服务端20进一步包括:
行情市场时间获取单元201,用于扫描行情文件,根据行情文件数据接口规范获取所述行情文件中的行情市场时间。
具体地说,上级节点,启动扫描功能,扫描指定目录的行情文件,根据行情文件数据接口规范获取行情文件中行情市场时间,并将其与前一次获取的行情市场时间对比,判断行情市场时间是否发生变化。
行情更新判断处理单元202,用于根据获得的行情市场时间检测行情是否变化,若行情市场时间未发生变化,则说明本次行情无更新,无需处理,等待下一次扫描检测,若行情市场时间发生变化,则读取行情数据,并按证券代码分块数据,将分块数据存入数据缓存队列,同时,计算每个分块数据的哈希值和序号存入哈希缓存队列。
连接传输单元203,用于等待下级子节点连接,当与下级子节点建立连接时,根据发送数据类型读取缓存队列数据通过数据流传输至下级子节点。
具体地,连接传输单元203进一步包括:
数据加载模块2031,用于初始化服务等待下级连接,加载各缓存队列。
全量传输处理模块2032,用于在检查到当前时间点为设置的全量数据发送时间点时,直接遍历读取数据缓存队列中数据,增加全量标识组成新的数据包,并发送至当前所有下级连接的客户端。在本发明具体实施例中,设置定期发送全量数据,则实时检查当前时间点是否需要发送全量,若当前时间点为全量数据的发送时间点,则直接遍历读取数据缓存队列中数据,并增加全量标识组成新的数据包,发送至当前所有下级连接的客户端。
全量传输处理模块2032具体用于:
读取数据队列中的分块数据,增加全量标识组成新的数据包,并发送数据包至下级子节点客户端,同时将当前分块数据的哈希值及序号更新至历史哈希缓存队列中。
当当前分块数据发送完毕,继续检查数据缓存队列直至完毕,当所有全量发送完毕,发送全量结束标记的数据包,通知下级子节点本次更新完成。
增量传输处理模块2033,用于当前时间点不是设置的全量数据发送时间点进行增量数据发送时,读取哈希缓存队列中数据,根据哈希值对比相对前次数据是否发送变化,遍历读取发生变化的行情数据,增加增量标识组成新的数据包发送至所有下级客户端。
增量传输处理模块2033具体用于:
读取哈希缓存队列的缓存数据,同时根据序号查找对应数据块的历史哈希值。需说明的是,本发明的哈希缓存队列有两个,一个是当前最新数据的哈希缓存队列,另一个则是前一次数据发送完成后的历史哈希缓存队列。
根据哈希值对比当前数据块与前次对应的数据块是否一致,即将当前数据块对应的哈希值与其对应的历史哈希值进行比对,以比对两者是否一致,若一致则说明当前数据块即行情数据未发生变化,若不一致则说明当前数据块即行情数据发生变化。
若根据哈希值判断一致则说明当前数据块,也即当前证券代码对应的行情数据,没有发生变化,无需发送至下级子节点客户端,跳过本次检查,继续对比下一个数据块;若根据哈希值判断当前数据块与前次对应的数据块不一致,则说明当前行情数据有更新,则通过序号从数据缓存队列获取对应的分块数据,同时增加增量标识组成新的数据包,并发送数据,并将本次哈希值及对应的序号更新至历史哈希缓存队列中。
当数据发送完毕后,继续读取哈希缓存队列直至完毕,当所有增量数据发送完毕,则发送增量结束标记的数据包,通知下级子节点本次更新完成。
若干子节点21,各子节点21用于接收上级节点发送的数据包,解析数据包组装完整行情文件,或直接转发接收到的数据流至下游应用系统。。
具体地,子节点21进一步包括:
数据包接收单元210,用于连接至上级节点,接收上级节点发送的数据包,所述数据包中包含有全量或增量标识。
解析处理单元211,用于解析数据包头信息,根据数据包头信息中全量或增量标识,读取数据消息体,若为全量数据包,则按数据包的接收顺序,更新对应行情文件,直至接收到结束标记后关闭文件,若为增量数据包,则根据数据包中的序号,更新对应行情文件指定数据块,直至接收到结束标记后关闭文件。
实施例
图3为本发明实施例所描述的整个发明的架构图,描述了本发明系统的层级关系,首先,本系统主节点服务端,通过扫描行情文件的方式,检测行情变化,读取数据通过数据流传输至下级子节点,下级子节点同时具备发送和接收的功能,从上级的服务端接收的数据可以再次发送至下级子节点或应用系统,或者也可以选择输出行情文件兼容老旧系统,实现了文件转数据流并支持多级转发,且中间节点无需落盘的目的。
图4为本发明实施例中上级节点的文件检测和处理的具体流程图,过程如下:
首先,启动扫描模块服务,扫描指定目录的行情文件,根据行情文件数据接口规范获取文件中行情市场时间。与前一次获取的市场时间对比,判断时间是否发送变化,无变化则说明本次行情无更新,无需处理,等待下一次检测。
如果检测到行情发生变化,则读取行情数据,并按证券代码分块数据,将分块数据存入数据缓存队列。同时,将计算每个分块数据的哈希值和序号存入哈希缓存队列。
图5为本发明实施例中上级节点发送数据流的处理流程图,其过程如下:
第一步,初始化服务等待下级连接,加载各缓存队列。
第二步,定期发送全量数据,检查当前时间点是否需要发送全量。如果是全量,则直接遍历读取数据缓存队列中数据,增加全量标识组成新的数据包,并发送至当前所有下级连接的客户端。
第三步,如果发送类型为增量,则读取哈希缓存队列中数据,对比前次数据是否发送变化,遍历读取发生变化的行情数据,增加增量标识组成新的数据包发送至下级客户端。
图6为本发明实施例中增量数据的发送流程图,增量数据发送过程如下:
首先,读取哈希缓存队列缓存数据,同时查找映射关系表中对应数据块的历史哈希值。注意,本实施例中哈希缓存队列有两个,即当前最新数据的哈希队列,以及前一次数据发送完成后的历史哈希队列。
对比两个数据是否一致,一致则说明当前数据块,也即当前证券代码对应的行情数据,没有发生变化,无需发送至下级客户端,跳过本次检查,对比下一份数据即可。
如果两个数据不一致,则说明当前行情数据有更新,则通过序号从数据缓存队列获取对应的分块数据,同时增加增量标识及数据块序号组成新的数据包,并发送数据。最后,将本次哈希值更新至历史哈希缓存队列中。
数据发送完毕后,继续检查队列直至完成,所有增量发送完毕后,发送增量结束标记的数据包,通知下级本次更新完成。
图7为本发明实施例中全量数据的发送流程图,与增量数据发送类似,全量数据发送过程如下:
首先,读取数据队列中的分块数据,增加全量标识组成新的数据包,并发送数据。最后,将本哈希值更新至历史哈希队列中。
数据发送完毕后,继续检查队列直至完成。所有全量发送完毕后,发送全量结束标记的数据包,通知下级本次更新完成。
图8为本发明实施例中下级子节点接收数据更新行情文件的处理流程图,其过程如下:
首先,连接至上级服务端,接收数据包。解析数据包头信息。
其次,根据包头信息中全量或增量标识,读取数据消息体。如果是全量数据包,则按数据包的接收顺序,更新对应行情文件,直至接收到结束标记后关闭文件。如果是增量数据包,则根据数据包中的序号,更新对应行情文件指定数据块,直至接收到结束标记后关闭文件。
至此,以上则为本发明实施例的具体实现步骤,即,实时检测行情文件的更新,将行情数据通过定期增量加实时全量的方式传输至下级客户端节点或应用,下级客户端节点可以选择继续级联发送其他应用,或者输出行情文件供老旧应用系统使用。
综上所述,本发明一种行情文件转数据流的方法及装置通过检测文件更新变化,将行情数据分块计算哈希值,通过哈希值判断当前证券代码对应的行情内容是否更新,从而实现增量传输,减少数据流量,定期执行全量传输为定期执行,确保下游系统中断或新应用系统接入时,能快速获取到完整行情,同时,本发明端节点还可以选择输出完整行情文件对接老旧系统,或者直接级联转发至下游应用,本发明通过定期全量加实时增量的方式,能有效减少数据的传输,同时能保证下级应用中断的时候保证数据的完整性,给企业特别是证券公司提供行情文件多级级联下高效传输的解决方案。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (10)

1.一种行情文件转数据流传输的方法,包括如下步骤:
步骤S1,主节点服务端通过扫描行情文件的方式,检测行情变化,于检测到行情变化时,读取行情数据并按证券代码对行情数据分块以及计算相应数据分块的哈希值,并存入相应的缓存队列,当与下级子节点建立连接时,根据发送数据类型读取缓存队列数据,将行情数据通过定期增量和实时全量的方式通过数据流传输至下级子节点;
步骤S2,下级子节点于接收到上级节点发送的数据包时,解析数据包组装完整行情文件,或直接转发接收到的数据流至下游应用系统。
2.如权利要求1所述的一种行情文件转数据流传输的方法,其特征在于,步骤S1包括:
步骤S10,扫描行情文件,根据行情文件数据接口规范获取所述行情文件中的行情市场时间,并根据获得的行情市场时间检测行情是否变化;
步骤S11,若行情市场时间未发生变化,则无需处理,等待下一次扫描检测;
步骤S12,若行情市场时间发生变化,则读取行情数据,并按证券代码分块数据,将分块数据存入数据缓存队列,同时,计算每个分块数据的哈希值及对应的序号存入哈希缓存队列;
步骤S13,定义数据接口规范,当与下级子节点连接时,根据发送数据类型读取相应缓存队列数据,利用定期增量和实时全量的方式通过数据流传输至下级子节点。
3.如权利要求2所述的一种行情文件转数据流传输的方法,其特征在于,步骤S13包括:
步骤S131,初始化等待下级子节点连接,加载各缓存队列;
步骤S132,检查当前时间点是否需要发送全量数据;
步骤S133,若当前时间点需发送全量数据,则直接遍历读取数据缓存队列中的数据块,增加全量标识组成新的数据包,并发送至当前所有连接的下级子节点;
步骤S134,若发送类型为增量,则读取哈希缓存队列中数据,根据哈希值对比相对前次数据是否发送变化,遍历读取发生变化的行情数据,增加增量标识组成新的数据包发送至所有下级子节点。
4.如权利要求3所述的一种行情文件转数据流传输的方法,其特征在于,步骤S133包括:
步骤S133a,读取所述数据缓存队列中的分块数据,增加全量标识组成新的数据包,并发送数据包至下级子节点;
步骤S133b,在当前分块数据发送完毕后,继续所述检查数据缓存队列直至完毕,当所有全量发送完毕,发送全量结束标记的数据包,通知下级子节点本次更新完成。
5.如权利要求4所述的一种行情文件转数据流传输的方法,其特征在于,步骤S134包括:
步骤S134a,读取当前数据哈希缓存队列,并获取相应数据块的历史哈希值;
步骤S134b,根据哈希值对比当前数据块与前次对应的数据块是否一致;
步骤S134c,若根据哈希值判断一致则跳过本次检查,继续对比下一个数据块;
步骤S134d,若根据哈希值判断当前数据块与前次对应的数据块不一致,则通过序号查找对应的分块数据,从数据缓存队列获取到对应的行情数据,同时增加增量标识和序号组成新的数据包,将其发送给下级子节点;
步骤S134e,当数据发送完毕,继续读取哈希缓存队列直至完毕,当所有增量数据发送完毕,则发送增量结束标记的数据包,通知下级子节点本次更新完成。
6.如权利要求5所述的一种行情文件转数据流传输的方法,其特征在于,于步骤S134a中,根据历史哈希缓存队列获取对应数据块的历史哈希值。
7.如权利要求6所述的一种行情文件转数据流传输的方法,其特征在于:于步骤S133a中,当将增加全量标识组成的新的数据包发送给下级子节点后,还将当前分块数据的哈希值及对应的序号更新至所述历史哈希缓存队列中。
8.如权利要求7所述的一种行情文件转数据流传输的方法,其特征在于:于步骤S134d中,当将增加增量标识后的新数据包发送给下级子节点后,将当前分块数据的哈希值及对应的序号更新至历史哈希缓存队列中。
9.如权利要求8所述的一种行情文件转数据流传输的方法,其特征在于,步骤S2进一步包括:
步骤S200,连接至上级节点,接收上级节点发送的数据包;
步骤S201,解析数据包头信息,根据数据包头信息中全量或增量标识读取数据消息体,若为全量数据包,则按数据包的接收顺序,更新对应行情文件,直至接收到结束标记后关闭文件,若为增量数据包,则根据数据包中的序号,更新对应行情文件指定数据块,直至接收到结束标记后关闭文件。
10.一种行情文件转数据流传输的装置,包括:
主节点服务端,用于通过扫描行情文件的方式,检测行情变化,于检测到行情变化时,读取行情数据并按证券代码对行情数据分块以及计算相应数据分块的哈希值,并存入相应的缓存队列,当与下级子节点建立连接时,根据发送数据类型读取缓存队列数据,将行情数据通过定期增量和实时全量的方式通过数据流传输至下级子节点;
若干子节点,各子节点用于在接收到上级节点发送的数据包时,解析数据包组装完整行情文件,或直接转发接收到的数据流至下游应用系统。
CN202011640445.8A 2020-12-31 2020-12-31 一种行情文件转数据流传输的方法及装置 Active CN112822256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011640445.8A CN112822256B (zh) 2020-12-31 2020-12-31 一种行情文件转数据流传输的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011640445.8A CN112822256B (zh) 2020-12-31 2020-12-31 一种行情文件转数据流传输的方法及装置

Publications (2)

Publication Number Publication Date
CN112822256A true CN112822256A (zh) 2021-05-18
CN112822256B CN112822256B (zh) 2023-01-17

Family

ID=75858083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011640445.8A Active CN112822256B (zh) 2020-12-31 2020-12-31 一种行情文件转数据流传输的方法及装置

Country Status (1)

Country Link
CN (1) CN112822256B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052543A (zh) * 2021-05-31 2021-06-29 广州宸祺出行科技有限公司 一种区域订单和司机热力的统计储存方法、装置及应用
CN113190481A (zh) * 2021-07-02 2021-07-30 深圳华云信息系统有限公司 数据传输方法、装置、电子设备及计算机可读存储介质
CN114124878A (zh) * 2022-01-27 2022-03-01 深圳华锐金融技术股份有限公司 行情数据下发方法、装置、系统、设备及介质
CN114443566A (zh) * 2022-01-24 2022-05-06 北京中科胜芯科技有限公司 一种增量快照行情数据一致性判定的方法
CN117149527A (zh) * 2023-10-31 2023-12-01 江苏华鲲振宇智能科技有限责任公司 一种服务器数据备份与恢复系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012160157A (ja) * 2011-05-16 2012-08-23 Kawamura Trading Systems Inc 市場取引支援装置及び市場取引支援方法並びにプログラム
CN103873507A (zh) * 2012-12-12 2014-06-18 鸿富锦精密工业(深圳)有限公司 数据分块上传与存储系统及方法
CN110690980A (zh) * 2019-09-19 2020-01-14 深圳证券通信有限公司 一种行情数据的发送算法
CN111046008A (zh) * 2019-12-05 2020-04-21 上海英方软件股份有限公司 一种文件实时同步分发系统及方法
CN111552622A (zh) * 2020-04-30 2020-08-18 上海英方软件股份有限公司 一种行情数据的回放装置及方法
CN111769909A (zh) * 2020-06-16 2020-10-13 上海英方软件股份有限公司 一种基于行情数据级联重传的装置及方法
CN112087470A (zh) * 2020-09-27 2020-12-15 山东云海国创云计算装备产业创新中心有限公司 一种行情数据传输方法及相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012160157A (ja) * 2011-05-16 2012-08-23 Kawamura Trading Systems Inc 市場取引支援装置及び市場取引支援方法並びにプログラム
CN103873507A (zh) * 2012-12-12 2014-06-18 鸿富锦精密工业(深圳)有限公司 数据分块上传与存储系统及方法
CN110690980A (zh) * 2019-09-19 2020-01-14 深圳证券通信有限公司 一种行情数据的发送算法
CN111046008A (zh) * 2019-12-05 2020-04-21 上海英方软件股份有限公司 一种文件实时同步分发系统及方法
CN111552622A (zh) * 2020-04-30 2020-08-18 上海英方软件股份有限公司 一种行情数据的回放装置及方法
CN111769909A (zh) * 2020-06-16 2020-10-13 上海英方软件股份有限公司 一种基于行情数据级联重传的装置及方法
CN112087470A (zh) * 2020-09-27 2020-12-15 山东云海国创云计算装备产业创新中心有限公司 一种行情数据传输方法及相关装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052543A (zh) * 2021-05-31 2021-06-29 广州宸祺出行科技有限公司 一种区域订单和司机热力的统计储存方法、装置及应用
CN113190481A (zh) * 2021-07-02 2021-07-30 深圳华云信息系统有限公司 数据传输方法、装置、电子设备及计算机可读存储介质
CN114443566A (zh) * 2022-01-24 2022-05-06 北京中科胜芯科技有限公司 一种增量快照行情数据一致性判定的方法
CN114443566B (zh) * 2022-01-24 2023-03-24 北京中科胜芯科技有限公司 一种增量快照行情数据一致性判定的方法
CN114124878A (zh) * 2022-01-27 2022-03-01 深圳华锐金融技术股份有限公司 行情数据下发方法、装置、系统、设备及介质
CN114124878B (zh) * 2022-01-27 2022-04-22 深圳华锐金融技术股份有限公司 行情数据下发方法、装置、系统、设备及介质
CN117149527A (zh) * 2023-10-31 2023-12-01 江苏华鲲振宇智能科技有限责任公司 一种服务器数据备份与恢复系统及方法
CN117149527B (zh) * 2023-10-31 2024-03-08 江苏华鲲振宇智能科技有限责任公司 一种服务器数据备份与恢复系统及方法

Also Published As

Publication number Publication date
CN112822256B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN112822256B (zh) 一种行情文件转数据流传输的方法及装置
US11152110B2 (en) Tagging pump messages with identifiers that facilitate restructuring
RU2477517C2 (ru) Система и способ усовершенствованной синхронизации между сервером и клиентом
JP4829316B2 (ja) 中断された同期プロセスに対処してデータを同期させる方法、装置、システム
US6941326B2 (en) Accounting for update notifications in synchronizing data that may be represented by different data structures
US7359920B1 (en) Communication protocol for synchronization of personal information management databases
US8171008B2 (en) Data retrieval
US11670416B2 (en) Tagging pump messages with identifiers that facilitate restructuring
RU2331920C2 (ru) Способ потоковой передачи данных между сервером и клиентом
US20010048728A1 (en) Apparatus and methods for providing data synchronization by facilitating data synchronization system design
US20110149932A1 (en) Zigbee gateway and message identification method of the same
WO2007087746A1 (fr) Procédé, système et dispositif de synchronisation de données
CN112445626B (zh) 一种基于消息中间件的数据处理方法和装置
JP2011118771A (ja) 情報処理装置、情報処理方法、データ管理サーバおよびデータ同期システム
JP2009532803A (ja) ポリシーベースのメッセージ集約フレームワーク
CN111600945A (zh) 一种基于块传输的ftp服务器断点下载方法及装置
US20110093524A1 (en) Access log management method
EP2208317A2 (en) Compressing null columns in rows of the tabular data stream protocol
US20060224758A1 (en) System and method for file header operation in a peer-to-peer network providing streaming services
CN108805741B (zh) 一种电能质量数据的融合方法、装置及系统
CN112597119A (zh) 一种处理日志的生成方法、装置及存储介质
CN112181929A (zh) 云管平台日志处理方法、装置、电子装置和存储介质
CN114979118A (zh) 一种基于浏览器的文件断点续传方法
CN115829521A (zh) 业务流程管理方法、装置、终端设备及存储介质
CN104753874A (zh) 实现Hadoop兼容性的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant