CN115357629A - 用于金融数据流的处理方法、系统、电子装置及存储介质 - Google Patents

Abstract

本发明涉及金融数据处理，具体而言，涉及用于金融数据流的处理方法、系统、电子装置及存储介质。用于金融数据流的处理方法包括，获取包含金融投资标的指标数据；进行定时校核，判断该指标数据是否准确；根据校核结果监控指标数据，并判断是否出现数据缺失；当出现数据缺失时，调用预设的填充数据至缺失数据位置，其中还包括对填充数据的时间进行处理，得到完整的时间序列；将完成时间处理的金融投资标的指标数据，拆分后存储于多个存储单元中；当需要读取时，进行还原，得到用户实时所需要的金融投资标的指标数据。采用本用于金融数据流的处理方法可助力量化交易系统实现高并发、低延迟性能，从容应对高速变化的市场信息。

Description

用于金融数据流的处理方法、系统、电子装置及存储介质

技术领域

本发明涉及金融数据处理，具体而言，涉及一种用于金融数据流的处理系统，还涉及用于金融数据流的处理方法、电子装置及计算机可读存储介质。

背景技术

针对金融领域的海量数据密集计算难题，目前有针对做大数据高性能计算的现有软件或平台，比如有KDB、DolphinDB、ClickHouse。这些平台或软件在数据存储、读取、计算方式、使用体验等上有较大的差异，虽然已有这类平台或软件，但是这类软件或平台储存系统固化，存取速度体验上依然不是很理想，用户体验感不是很好。

发明内容

本发明目的在于提供用于金融数据流的处理方法，还提供了用于金融数据流的处理系统、电子装置及计算机可读存储介质，本处理方法用于对对金融数据进行收集处理，通过对历史既存数据和当天数据先进行校核，进行准确性判断后，再进行数据是否有缺失进行判断，在此基础上进行数据填充、清洗后，完成时间对齐，在此基础上将金融数据通过程序拆分多份将其分别存储，并通过完成时间对齐后得到的时间序列进行还原，由此可在现有计算机上保障金融数据的准确完整的基础上更顺畅实现海量金融数据的微秒级的存取速度，本发明通过下述技术方案实现：

本发明的第一方面，提供了用于金融数据流的处理方法，包括：

获取包含金融投资标的指标数据；上述指标数据包含既存的历史数据和当天的新增数据；

对金融投资标的指标数据进行定时校核，判断该指标数据是否准确；

根据校核结果监控准确的金融投资标的指标数据，并根据预设阈值判断是否出现数据缺失；

当出现数据缺失时，调用预设的填充数据至缺失数据位置；

上述调用预设的填充数据至缺失数据位置包括对填充数据的时间进行处理，使金融投资标的指标数据的数据流时间完整，得到完整的时间序列；

将完成时间处理的金融投资标的指标数据，拆分为数份子数据并分别存储于多个存储单元中；

当需要读取时，按照上述完整的时间序列读取并还原，得到用户实时所需要的金融投资标的指标数据并发送至用户接收端。

金融领域每日都会存有海量数据流，对海量的金融数据进行密集计算，利用做大数据高性能计算的现有软件或平台，在数据存储、读取上目前用户体验感并不理想，主要集中于存储、读取的效率体验不好，在需要对当日的金融数据进行研究，投资决策做出实时判断时，常常会将时间耗费在数据的准确性判断和数据的读取上，这让许多投资者在做投资决策时既要耗费时间等待服务器发送的处理数据，又要注意接收的金融数据是否有缺失，采用本用于金融数据流的处理方法，通过对历史既存数据和当天数据先进行校核，进行准确性判断后，再进行数据是否有缺失进行判断，在此基础上进行数据填充、清洗后，完成时间对齐，由此便能可靠的将金融数据通过程序拆分多份将其分别存储，并通过完成时间对齐后得到的连续的时间序列进行还原，本方法在现有计算机上保障金融数据的准确流程的基础上更顺畅实现海量金融数据的较高存取速度，使用户有更好的体验感，助力量化交易系统实现高并发、低延迟性能，从容应对高速变化的市场信息。

在上述填充数据之前，可对所有指标数据进行清洗。

上述的当天的新增数据即是指当日交易完成后得到的当天数据。

在一些可行的实施例中，根据校核结果监控金融投资标的指标数据，并根据预设阈值判断是否出现数据缺失还包含生成监控结果，当检测的指标数据出现数据缺失，生成表征数据出现缺失的信息文本或标示发送到用户接收端。

在一些可行的实施例中，上述对填充数据的时间进行处理包含将所填充的数据时间信息所采用的最小时间单位进行统一，小于该最小时间单位的其他时间单位数据置零。

在一些可行的实施例中，所述调用预设的填充数据至缺失数据位置，填充包括向前填充、取中位数据填充；或者，填充为0、NaN中的一种或两种的组合。

在一些可行的实施例中，将完成时间处理的金融投资标的指标数据，拆分为数份子数据并分别存储于多个存储单元中包含热点分层；上述热点分层包含将用户常用的数据，且数据读取又耗时的部分数据进行二进制文件内存缓存存储，并实时进行非用户常用数据的更新，以提升多用户情况下的数据读取效率。非用户常用数据即既存在于设备中，设备常调用的数据而非用户主动调出的、用于执行设备功能的数据。

其中，在进行二进制文件内存缓存存储时，包含进行以下操作：

后台处理服务器响应于接收到的初存储请求，将接收到到上述用户常用的数据拆分数份可还原为原上述用户常用的数据的子数据，并发出次存储请求；

存储单元响应于上述次存储请求后，进行读写操作，将上述子数据存储于存储单元。

因子数据通常是在量化研究中，用一些指标（因子）去描述制定者的策略，用于帮助策略筛选或交易股票的，比如选择股票财务报告里净资产收益最靠前的10只票来买入，那这个净资产收益率即为一个因子。

上述二进制文件内存缓存存储时，即在后台服务器中通过配置的数据拆解程序，将接收到的用户常用数据拆分，存储于数个存储单元中，这样将金融投资标的指标数据中的用户常用数据抽离出来，并且通过数据拆解程序将其拆分为多份数据分布的存储于数个存储单元中，不仅让对于金融投资决策非实际造成影响的因子不占用用户请求时的传输效能，也让用户常用的数据能稳定实时保存在多个存储单元中，在收到数据提取请求后，进行数据还原，保障了数据的安全、稳定，同时提高了网络吞吐。

在一些可行的实施例中，用于金融数据流的处理方法还包含对接收数据进行分类，包括将对不同数据接口进行标记，将同一数据接口接收的数据分配于由多个存储单元组成的同一组存储单元中，不同组的存储单元对应配置不同可访问的数据表。这里的可访问的数据表与多组存储单元一一对应。

接收数据进行分类，即股票日K线行情数据和该股票的资金流数据会分开存储，通过这样的方式，需要日K线行情数据时，只需要访问对应的日K线数据表即可，这样能有效快速索引到所需金融数据并读取。

在一些可行的实施例中，用于金融数据流的处理方法还包含对接收数据进行分类，包括按照上述完整的时间序列，将接收到的金融数据流根据时间段拆分后，分别分配于由多个存储单元组成的同一组存储单元中，不同组的存储单元对应配置不同可访问的数据表。这里的可访问的数据表与多组存储单元一一对应，即一个数据表对应一组存储单元。

上述的存储和数据表对应方式，即按照时间拆分存储，例如在需要做投资决策或研究的时候，只需要最新几年的数据，这样更早的数据不会存储在一个或一组存储单元中，也由此提高数据读取效率。

相比于传统的将金融数据存储于一个存储服务器或存储单元中的方式，读取费时、读取程序复杂，识别数据复杂的情况，本用于金融数据流的处理方法将接收到的金融数据经过时间处理并拆分后，分别存储于不同存储单元中，这样也就更利于、方便的建立对应数据表，按不同数据类型和/或不同数据时间特征进行分类后，在进行读取时，只需对应读取某个存储单元或某组存储单元即可，无需遍历所有数据后进行识别、读取，进一步提高了金融数据的读取效率，让用户在做金融投资时，减少了投资决策上的技术上的耗费时间，提高了用户的使用体验。

本发明的另一方面还提供了一种用于金融数据流的处理系统，用于上述第一方面上述的金融数据流的处理方法，该用于金融数据流的处理系统包括：

校核模块，用于对金融投资标的指标数据的准确性进行定时校核；

监控模块，用于根据校核模块校核结果判断是否出现数据缺失；

处理模块，用于对数据缺失的部分进行数据填充；

拆分模块，用于对上述处理后金融数据进行拆分，以得到数份用于存储在不同存储单元的子数据；

还原模块，用于响应用户请求将接收自存储单元的上述数份子数据还原为用户所需金融数据。

在一些可行的实施例中，用于金融数据流的处理系统还包括通信模块和用户终端模块；

上述通信模块与用户终端模块通信连接，用于将还原后的金融投资标的指标数据发送到用户终端模块。

在一些可行的实施例中，用于金融数据流的处理系统还包括存储模块；上述存储模块包含多个分散存储上述子数据的存储单元，上述多个存储单元用于通过IB网络接收用户的数据请求；

上述数据拆分模块响应于接收到的初存储请求，将接收到的上述用户常用的数据拆分数份可还原为原上述用户常用的数据的子数据，并发出次存储请求；存储单元响应于上述次存储请求后，进行读写操作，将上述子数据存储于存储单元。

本发明的另一方面还提供了执行用于金融数据流的处理方法的电子装置，包括：处理器和存储器；存储器用于储存处理器可执行指令；上述处理器被配置为执行上述第一方面的用于金融数据流的处理方法。

本发明的另一方面还提供了显示用于金融数据流的处理方法进行收集处理后得到的信息的电子系统，包括电子装置；

还包括与电子装置通信连接，用于接收经过上述电子装置处理后数据的用户终端；

上述用户终端配置有用于显示特定信息的程序，上述特定信息为：

采用上述第一方面的用于金融数据流的处理方法进行收集处理后得到的信息。

本发明的另一方面还提供了执行用于金融数据流的处理方法的计算机可读存储介质，包括储存的计算机程序，上述程序运行时执行上述第一方面的用于金融数据流的处理方法。

附图说明

为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例1提供的用于金融数据流的处理方法总体流程示意图；

图2为本发明实施例1提供的用于金融数据流的处理方法流程示意图；

图3为本发明实施例2提供的用于金融数据流的处理系统的示意图；

图4为本发明实施例3提供的电子装置示意图；

附图中标记及对应的零部件名称：

1-校核模块，2-监控模块，3-处理模块，4-拆分模块，5-还原模块，6-通信模块，7-用户终端，8-存储模块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实施例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

在本发明的描述中，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

实施例1， 用于金融数据流的处理方法，该处理方法用于对金融数据进行收集处理，即以针对分析海量的金融数据时，造成的延时、数据缺失或不准确的问题，特别是在存取数据时，在目前的硬件基础上，依靠目前现有的KDB、DolphinDB、ClickHouse等软件或平台依然不是很理想的问题。这类金融数据主要为行情指标数据。

上述用于金融数据流的处理方法，总体而言分为两部分。参照图1，S1.金融数据完整性处理和S2.根据完成了完整性处理的金融数据属性进行数据的拆分存储。结合图2，具体而言，该用于金融数据流的处理方法可以按以下步骤进行，包括：

Step1、获取包含金融投资标的指标数据；上述指标数据包含既存的历史数据和当天的新增数据；

Step2、对金融投资标的指标数据进行定时校核，判断该指标数据是否准确；

Step3、根据校核结果监控准确的金融投资标的指标数据，并根据预设阈值判断是否出现数据缺失；

Step4、当出现数据缺失时，调用预设的填充数据至缺失数据位置；上述调用预设的填充数据至缺失数据位置包括对填充数据的时间进行处理，使金融投资标的指标数据的数据流时间完整；

Step5、将完成时间处理的金融投资标的指标数据，拆分为数份子数据并分别存储于多个存储单元中；当需要读取时，按照上述完整的时间序列读取并还原，得到用户实时所需要的金融投资标的指标数据并发送至用户接收端。这里的用户接收端即用户终端，可以是手机，电脑等等。

在进行定时校核时，可以采用AIFlow任务调度工具，每日定时运行数据校核程序，并得到规则化的校核结果，以得到准确的金融投资标的指标数据，再将运行结果送给监控系统，监控系统会根据错误与否发出警报。

在上述进行数据填充之前，可对所有指标数据进行清洗。这里进行清洗是因为在获取的原始金融数据时，该原始金融数据不方便做回测投资研究，为了方便，这里先对原始金融数据进行清洗，把数据构建成更为合适的数据格式，然后再进行后续的填充处理、时间处理操作。

上述校核中的准确性主要是指需要对数据的准确与否做检验，比如股票的成交量和成交价格不会小于0，价格应该在涨跌停价之类。当然还可以是检测项，主要从数据量，数据规则，构建流程等方便做检验。

上述的当天的新增数据即是指当日交易完成后得到的当天数据。

上述的监控是指由程序自动去检测数据，且检测出问题可以是发出警告消息至邮箱或企业微信等。预设的阈值则是指程序检测数据的评判标准的值，比如成交价不会小0，0是一个阈值，数据缺失则是指期望当天有数据，结果却没有，例如当日上交所是有交易，那就应该有相关的股票交易的数据，若没有则是异常情况，则被监测到。

当出现数据缺失时，调用预设的填充数据至缺失数据位置，并对填充数据的时间进行处理，使金融投资标的指标数据的数据流时间完整；时间处理是指在金融市场上，数据随着时间的变化，市场上产生了更多的交易，市场价格也发生变化，交易者一般都会关注这个时间序列数据的变化。处理主要是一些时间格式统一，时间对齐（比如1分钟K线数据，时间会处理到分钟级别上，而秒和毫秒等会置为0），还有包括检测某时间点上是否有数据缺失，是否需要补充等。

在上述的实施例1的方案基础上，还可以进一步优化，根据校核结果监控金融投资标的指标数据，并根据预设阈值判断是否出现数据缺失还包含生成监控结果，当检测的指标数据出现数据缺失，生成表征数据出现缺失的信息文本或标示发送到用户接收端。例如，在终端上收到监控信息，比如可以收到短信或邮件通知等。

上述对填充数据的时间进行处理包含将所填充的数据时间信息所采用的最小时间单位进行统一，小于该最小时间单位的其他时间单位数据置零。即这里指将原有数据和要填充的数据进行时间统一，比如日K线则按日期统一，分钟K线则将时间统一到分钟上，不再有秒和毫秒等。

所述调用预设的填充数据至缺失数据位置，填充包括向前填充、取中位数据填充；或者，填充为0、NaN中的一种或两种的组合。

在一些可行的实施例中，将完成时间处理的金融投资标的指标数据，拆分为数份子数据并分别存储于多个存储单元中包含热点分层；上述热点分层包含将用户常用的数据，且数据读取又耗时的部分数据进行二进制文件内存缓存存储，并实时进行非用户常用数据的更新，以提升多用户情况下的数据读取效率。

上述的读取耗时是指金融市场上有各类数据，且数据量比较大，所以读取耗时比较久，实施时一般会借用性能分析工具或者在各节点打日志的方式来查看耗时部分，当然也可以使用申请人在网络上公开的平台提供的数据API进行调用，便可以取得数据来做分析出耗时的部分数据。本实施例所说的实时进行非用户常用数据的更新即为统计哪些数据的访问次数较多，哪些较少，访问次数多的数据将其作为靠前的非用户常用数据，访问次数少的数据逐渐淘汰，以此进行实时更新。

上述的用户常用的数据包括行情数据、财务数据、资金流数据、因子数据等等。

上述的数据读取又耗时的部分的判断可通过设置的现有数据接口，通过判断请求该接口获取到数据的总共耗时时间，来确定哪些数据耗时较长。

上述的实时进行非用户常用数据的更新，即数据存储时，根据是否为非用户常用数据，将非用户常用数据存储到不同的存储位置，然后调用数据更新接口，将新数据更新。

因子数据通常是在量化研究中，用一些指标（因子）去描述制定者的策略，用于帮助策略筛选或交易股票的，比如选择股票财务报告里净资产收益最靠前的10只票来买入，则这个净资产收益率即为一个因子。

在上述的实施例中，还可以进一步优化，本实施例的用于金融数据流的处理方法还包含对接收数据进行分类，包括将对不同数据接口进行标记，将同一数据接口接收的数据分配于由多个存储单元组成的同一组存储单元中，不同组的存储单元对应配置不同可访问的数据表。这里的可访问的数据表与多组存储单元一一对应。

接收数据进行分类，例如将其中一个数据接口标记为股票日某股票K线行情数据接口，从该数据接口输入的数据均为股票日K线行情数据，将另一个数据接口标记为某股票的资金流数据接口，从该数据接口输入的数据均为股票的资金流数据，将股票日K线行情数据和该股票的资金流数据会分开存储，通过这样的方式，需要日K线行情数据时，只需要访问对应的日K线数据表即可，这样能有效快速索引到所需金融数据并读取。

除了在业务分类上将接收的数据进行分类存储以外，还有一种优化方式或在上述分类方式的基础上进行优化，本实施例的用于金融数据流的处理方法还包含对接收数据进行分类，还包括按照上述完整的时间序列，将接收到的金融数据流根据时间段拆分后，分别分配于由多个存储单元组成的同一组存储单元中，不同组的存储单元对应配置不同可访问的数据表。这里的可访问的数据表与多组存储单元一一对应。

这样的方式即按照时间拆分存储，例如在需要做投资决策或研究的时候，只需要最新几年的数据，这样更早的数据不会存储在一个或一组存储单元中，也由此提高数据读取效率。上述的数据接口可以是计算机程序虚拟的功能模块，也可以是接收服务器传输的对应数据的硬件接口。

本用于金融数据流的处理方法将接收到的金融数据经过时间处理并拆分后，分别存储于不同存储单元中，这样也就更利于、方便的建立对应数据表，按不同数据类型和/或不同数据时间特征进行分类后进行存储，例如图3中的存储单元组1和存储单元组2，在进行读取时，只需对应读取某个存储单元或某组存储单元即可，无需遍历所有数据后进行识别、读取，进一步提高了金融数据的读取效率，让用户在做金融投资时，减少了投资决策上的技术上的耗费时间，提高了用户的使用体验。

实施例2：

如图3，一种用于金融数据流的处理系统，用于上述第一方面上述的金融数据流的处理方法，该用于金融数据流的处理系统包括校核模块1，监控模块2、处理模块3、拆分模块4和还原模块5。

上述的校核模块1用于对金融投资标的指标数据的准确性进行定时校核；

上述的监控模块2用于根据校核模块1校核结果判断是否出现数据缺失；

上述的处理模块3用于对数据缺失的部分进行数据填充；

上述的拆分模块4用于对上述处理后金融数据进行拆分，以得到数份用于存储在不同存储单元的子数据；

上述的还原模块5用于响应用户请求将接收自存储单元的上述数份子数据还原为用户所需金融数据。

这里的校核模块1可以是如在计算机接收到输入的金融数据后，通过预设的程序，调动指令后，开始对接收的金融数据进行校核，例如一种可行的方式是采用AIFlow任务调度工具，每日定时运行数据校核程序，并得到规则化的校核结果，上述的监控模块2根据校核结果判断出错误与否，再由此发出警报，这里的监控模块2可以是预制的程序，也可以是上述AIFlow任务调度工具的一部分功能模块。

当监控模块2判断出，有数据缺失时，根据指令，处理模块3调用预设的填充数据至缺失数据位置，并对填充数据的时间进行处理，使金融投资标的指标数据的数据流时间完整；本实施例说的时间处理是指在金融市场上，数据随着时间的变化，市场上产生了更多的交易，市场价格也发生变化，交易者一般都会关注这个时间序列数据的变化。时间处理是时间格式统一，时间对齐（比如1分钟K线数据，时间会处理到分钟级别上，而秒和毫秒等会置为0），还有包括检测某时间点上是否有数据缺失，是否需要补充等。

在上述的实施方案中，还可以进一步进行优化，用于金融数据流的处理系统还包括通信模块6和用户终端7模块。上述的通信模块6与用户终端7模块通信连接，用于将还原后的金融投资标的指标数据发送到用户终端7模块。通信模块6可以是通过有线或无线的方式，进行收发数据。

在一些可行的实施例中，用于金融数据流的处理系统还包括存储模块8；上述存储模块8包含多个分散存储上述子数据的存储单元，上述多个存储单元用于通过IB网络接收用户的数据请求。在具体实施时，利用分布式 CPU/GPU 算力资源，可通过采用 IB/以太网络直接融合，使得存储、计算和网络可以融合在同一台服务器。在架构上，本金融数据流的处理系统采用Docker容器化构建，这样能更方便定制存储系统，数据模式，针对证券期货类的金融数据的特定使用场景优化，包括存取速度，统一的数据接口更高的使用体验。

上述数据拆分模块4响应于接收到的初存储请求，将接收到的上述用户常用的数据拆分数份可还原为原上述用户常用的数据的子数据，并发出次存储请求；存储单元响应于上述次存储请求后，进行读写操作，将上述子数据存储于存储单元。

实施例3

如图4，一种电子装置，包括：处理器1001和存储器1002；存储器1002用于储存处理器可执行指令；上述处理器1001被配置为执行上述第一方面的用于金融数据流的处理方法。

处理器1001用于支持电子装置以执行上述实施例中的方法操作步骤。存储器1002用于支持电子装置保存执行上述实施例中的方法的计算机程序。该存储器1002和处理器1001耦合。

具体的，上述处理器1001可以包括中央处理器（CPU），或者特定集成电路（Application Special Integrated Circuit，ASIC），或者可以被配置成实施上述用于金融数据流的处理方法的一个或多个集成电路。

存储器1002可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器1002可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器1002可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器1002可在数据处理装置的内部或外部。在特定实施例中，存储器1002是非易失性固态存储器。在特定实施例中，存储器1002包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器1001通过读取并执行存储器1002中存储的计算机程序指令，以实现上述用于金融数据流的处理方法。

在本电子装置的一个进一步实施方案中，本电子装置还可包括通讯接口1003和总线1004。其中，处理器1001、存储器1002、通讯接口1003通过总线1004连接并完成相互间的通信。

通讯接口1003，主要用于实现用于金融数据流的处理方法所需的各模块、装置、单元和/或设备之间的通信。总线1004包括硬件、软件或两者，将本电子装置的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线1004可包括一个或多个总线。尽管本发明描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

实施例4

一种电子系统，包括电子装置； 电子系统还包括与电子装置通信连接，用于接收经过上述电子装置处理后数据的用户终端；上述用户终端配置有用于显示特定信息的程序，上述特定信息为：采用实施例1中用于金融数据流的处理方法进行收集处理后得到的信息。用户终端可以是手机、智能平板设备、电脑等等。

实施例5

将包含执行如实施例一中用于金融数据流的处理方法的计算机程序的计算机存储介质配置到如上述的实施例3中的电子设备或电子装置上，将该计算机存储介中执行用于金融数据流的处理方法的程序进行调用，使该程序应用到电子设备或电子装置中的数据库，程序执行中实时地向数据库中存储数据。

经过上述实施例的说明，可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请所公开的实施例描述的各示例的一种操作系统的保护方法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是电子设备软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述电子装置所实现的功能既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对功能组件或者装置、设备的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述电子装置或计算机存储介质的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.用于金融数据流的处理方法，该处理方法用于对金融数据进行收集处理，其特征在于，所述处理方法包括：

获取包含金融投资标的指标数据；所述指标数据包含既存的历史数据和当天的新增数据；

对金融投资标的指标数据进行定时校核，判断该指标数据是否准确；

根据校核结果监控准确的金融投资标的指标数据，并根据预设阈值判断是否出现数据缺失；

当出现数据缺失时，调用预设的填充数据至缺失数据位置；

所述调用预设的填充数据至缺失数据位置包括对填充数据的时间进行处理，使金融投资标的指标数据的数据流时间完整，得到完整的时间序列；

将完成时间处理的金融投资标的指标数据，拆分为数份子数据并分别存储于多个存储单元中；

当需要读取时，按所述完整的时间序列读取并还原，得到用户实时所需要的金融投资标的指标数据并发送至用户接收端。

2.根据权利要求1所述的用于金融数据流的处理方法，其特征在于，

根据校核结果监控准确的金融投资标的指标数据，并根据预设阈值判断是否出现数据缺失还包含生成监控结果，当检测的指标数据出现数据缺失，生成表征数据出现缺失的信息文本或标示发送到用户接收端。

3.根据权利要求1所述的用于金融数据流的处理方法，其特征在于，

所述对填充数据的时间进行处理包含将所填充的数据时间信息所采用的最小时间单位进行统一，小于该最小时间单位的其他时间单位数据则置零。

4.根据权利要求1所述的用于金融数据流的处理方法，其特征在于，

所述调用预设的填充数据至缺失数据位置，填充包括向前填充、取中位数据填充；或者，

填充为0、NaN中的一种或两种的组合。

5.根据权利要求1～4任意一项所述的用于金融数据流的处理方法，其特征在于，

将完成时间处理的金融投资标的指标数据，拆分为数份子数据并分别存储于多个存储单元中包含热点分层；所述热点分层包含将用户常用的数据且数据读取耗时长的部分数据进行二进制文件内存缓存存储，并实时进行非用户常用数据的更新；

其中，在进行二进制文件内存缓存存储时，包含进行以下操作：

后台处理服务器响应于接收到的初存储请求，将接收到的所述用户常用的数据拆分数份可还原为原所述用户常用的数据的子数据，并发出次存储请求；

存储单元响应于所述次存储请求后，进行读写操作，将所述子数据存储于存储单元。

6.一种用于金融数据流的处理系统，其特征在于，用于如权利要求1～5任意一项所述的金融数据流的处理方法以得到处理后金融数据，该用于金融数据流的处理系统包括：

校核模块，用于对金融投资标的指标数据的准确进行定时校核；

监控模块，用于根据校核模块校核结果判断是否出现数据缺失；

处理模块，用于对数据缺失的部分进行数据填充并使数据时间完整，以得到所述处理后金融数据；

拆分模块，用于对所述处理后金融数据进行拆分，以得到数份用于存储在不同存储单元的子数据；

还原模块，用于响应用户请求将接收自存储单元的所述数份子数据还原为用户所需金融数据。

7.根据权利要求6所述的用于金融数据流的处理系统，其特征在于，

还包括存储模块；

所述存储模块包含多个分散存储所述子数据的存储单元，所述多个存储单元用于通过IB网络接收用户的数据请求；

所述数据拆分模块响应于接收到的初存储请求，将接收到的所述用户常用的数据拆分数份可还原为原所述用户常用的数据的子数据，并发出次存储请求；

存储单元响应于所述次存储请求后，进行读写操作，将所述子数据存储于存储单元。

8.执行权利要求1～5中任意一项所述用于金融数据流的处理方法的电子装置，其特征在于，包括：

处理器；

存储器，用于储存处理器可执行指令；

所述处理器被配置为执行所述用于金融数据流的处理方法。

9.用于显示权利要求1～5中任意一项所述用于金融数据流的处理方法进行收集处理后得到的信息的电子系统，其特征在于，包括权利要求8所述的电子装置；

还包括与电子装置通信连接，用于接收经过所述电子装置处理后数据的用户终端；

所述用户终端配置有用于显示特定信息的程序，所述特定信息为：

采用所述用于金融数据流的处理方法进行收集处理后得到的信息。

10.执行权利要求1～5中任意一项所述用于金融数据流的处理方法的计算机可读存储介质，其特征在于，

包括储存的计算机程序，所述程序运行时执行所述用于金融数据流的处理方法。

Images