CN115686869B - 资源处理方法、系统、电子装置和存储介质 - Google Patents

资源处理方法、系统、电子装置和存储介质 Download PDF

Info

Publication number
CN115686869B
CN115686869B CN202211700922.4A CN202211700922A CN115686869B CN 115686869 B CN115686869 B CN 115686869B CN 202211700922 A CN202211700922 A CN 202211700922A CN 115686869 B CN115686869 B CN 115686869B
Authority
CN
China
Prior art keywords
resource
data
stroke
processing unit
account book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211700922.4A
Other languages
English (en)
Other versions
CN115686869A (zh
Inventor
季山
俞怿梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Maituo Big Data Service Co ltd
Original Assignee
Hangzhou Maituo Big Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Maituo Big Data Service Co ltd filed Critical Hangzhou Maituo Big Data Service Co ltd
Priority to CN202211700922.4A priority Critical patent/CN115686869B/zh
Publication of CN115686869A publication Critical patent/CN115686869A/zh
Application granted granted Critical
Publication of CN115686869B publication Critical patent/CN115686869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种资源处理方法、系统、电子装置和存储介质,根据数据流中各资源在过去n个流转日的日流转量,确定各资源的流动性,其中,数据流包括对应于各资源的逐笔数据;将流动性不低于第一阈值的资源的逐笔数据分发至第一处理单元,将流动性低于第一阈值的资源的逐笔数据分发至第二处理单元,其中,第一处理单元的处理性能高于第二处理单元的处理性能;分别根据第一处理单元和第二处理单元,对分发的逐笔数据进行融合,得到对应于各资源的资源账簿,解决了资源处理过程中计算资源利用率不高的问题,提高了资源处理过程中的计算资源利用率。

Description

资源处理方法、系统、电子装置和存储介质
技术领域
本申请涉及金融数据处理领域,特别是涉及资源处理方法、系统、电子装置和存储介质。
背景技术
资源:具有价值属性,可以用价格体现,用户可以通过向资源流转平台发起请求来获取或者出让资源的所有权,每一个用户发起的请求称之为逐笔数据。
资源账簿:用于反映资源的流转情况,每一份资源都有资源代码,每一份资源都有其自己的账簿,一份资源对应一份账簿。
账簿快照:传统的面向用户的资源处理系统,通过转发资源流转平台发布的账簿快照,向用户提供资源流转信息,资源流转平台提供最快3秒一次的账簿快照。如果把资源流转信息在时间维度上看成是数据流,则账簿快照就是以某一频率在这个数据流上进行切片,统计在一个时间截面的数据。
相关技术提供了一种资源账簿还原方法,通过从资源流转平台获取某份资源的逐笔数据,将逐笔数据分发到重建线程进行处理,检查是否高于某价格档位的全部买单和低于某价格档位的全部卖单都撮合完毕,若是,则切片生成该资源的最新快照数据。该方法在基础设施上存在一个前提,即需要在私域环境实现,其实现过程包括向资源流转平台的网关发送请求,以调用其处理引擎的逐笔数据重建功能,而逐笔数据重建属于资源流转平台的封闭性功能,无法在公网环境实现。若直接将私域环境的数据流拉到公网环境进行处理,需要耗费大量计算资源,对于服务器的计算资源利用率不高。
针对相关技术中存在资源处理过程中计算资源利用率不高的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种资源处理方法、系统、电子装置和存储介质,以解决相关技术中存在资源处理过程中计算资源利用率不高的问题。
第一个方面,在本实施例中提供了一种资源处理方法,包括:
根据数据流中各资源在过去n个流转日的日流转量,确定各所述资源的流动性,其中,所述数据流包括对应于各所述资源的逐笔数据;
将流动性不低于第一阈值的资源的逐笔数据分发至第一处理单元,将流动性低于第一阈值的资源的逐笔数据分发至第二处理单元,其中,所述第一处理单元的处理性能高于所述第二处理单元的处理性能;
分别根据所述第一处理单元和所述第二处理单元,对分发的逐笔数据进行融合,得到对应于各所述资源的资源账簿。
在一个实施例中,根据所述数据流中各资源在过去n个流转日的日流转量,确定各所述资源的流动性,包括:
获取各所述资源在过去n个流转日的日流转量的中位数;
对各所述资源在过去n个流转日的日流转量的中位数,取自然对数,得到各所述资源的流动性。
在一个实施例中,确定所述第一阈值包括:
根据所述n个流转日确定自由度;
获取t分布临界值表,根据所述自由度和预设分位点,在所述t分布临界值表中确定目标t值;
计算各所述资源的流动性的期望值和标准差,并根据所述目标t值、各所述资源的流动性的期望值和标准差,计算得到所述第一阈值。
在一个实施例中,所述第一处理单元的时钟频率,高于所述第二处理单元的时钟频率;或者,
所述第一处理单元的单位处理数据上限值,高于所述第二处理单元的单位处理数据上限值;或者,
所述第一处理单元当前所处理的资源份数,少于所述第二处理单元当前所处理的资源份数。
在一个实施例中,所述资源账簿包括:委托标识、委托的状态和价格档位信息。
在一个实施例中,分别根据所述第一处理单元和所述第二处理单元,对分发的逐笔数据进行融合,得到对应于各所述资源的资源账簿,包括:
根据所述逐笔数据携带的委托标识,确定对应的目标委托;
根据所述逐笔数据所属的业务类型,维护所述目标委托和对应资源的价格档位信息。
在一个实施例中,根据所述逐笔数据所属的业务类型,维护所述目标委托和对应资源的价格档位信息,包括:
当所述逐笔数据的业务类型为委托申报时,记录所述逐笔数据携带的委托标识和初始状态,并更新和所述目标委托处于同一价格档位上其余委托的状态;或者,
当所述逐笔数据的业务类型为委托修改时,更新所述目标委托的状态,并更新和所述目标委托处于同一价格档位上其余委托的状态;或者,
当所述逐笔数据的业务类型为委托撤销时,删除所述目标委托,并更新和所述目标委托处于同一价格档位上其余委托的状态;或者,
当所述逐笔数据的业务类型为成交时,更新所述目标委托的状态,并更新和所述目标委托处于同一价格档位上其余委托的状态。
在一个实施例中,所述资源账簿还包括所述逐笔数据,所述逐笔数据存储于持久化存储区。
在一个实施例中,将所述逐笔数据写入所述持久化存储区,包括:
在所述数据流存在故障的情况下,封存所述数据流中各所述资源的资源账簿;
将故障时点后到达的数据流存储至内存中;
在接收到所述故障时点的数据流的增补文件的情况下,根据所述增补文件和所述故障时点后到达的数据流,对所封存的资源账簿进行修复,直至所修复的资源账簿的时间戳与当前接收到的数据流的时间戳一致。
在一个实施例中,将所述逐笔数据写入所述持久化存储区,包括:
在所述数据流中,在成交的逐笔数据先于任一方委托申报的逐笔数据到达的情况下,暂停更新对应资源的资源账簿;
将该时刻所述成交的逐笔数据和所述委托申报的逐笔数据存储至内存中;
在接收到缺失的委托申报的逐笔数据的情况下,根据在所述内存中存储的逐笔数据,更新对应资源的资源账簿,直至所述内存中存储的逐笔数据被处理完毕。
在一个实施例中,在分别根据所述第一处理单元和所述第二处理单元,对分发的逐笔数据进行融合,得到对应于各所述资源的资源账簿之后,所述方法还包括:
以时间为单位分割所述资源账簿,得到账簿切片;
将所述账簿切片分发至用户。
在一个实施例中,将所述账簿切片分发至用户,包括:
将第一时间节点的账簿切片发送至所述用户,其中,所述第一时间节点的账簿切片包含委托标识、委托的状态、价格档位信息。
在一个实施例中,在将第一时间节点的账簿切片发送至所述用户之后,所述方法还包括:
在内存中载入所述第一时间节点和第二时间节点之间的逐笔数据;
根据所述第一时间节点的账簿切片、所述第一时间节点和所述第二时间节点之间的逐笔数据,还原所述第一时间节点和所述第二时间节点之间的每一笔委托、每一笔委托的状态、对应于每一笔委托的价格档位信息;
将逐笔还原结果按照还原时间顺序依次发送至所述用户。
在一个实施例中,以时间为单位分割所述资源账簿,得到账簿切片,包括:
获取用户发起的请求消息,其中,所述请求消息携带有分割所述资源账簿的频率和价格档位数目;
根据所述请求消息分割所述资源账簿,得到账簿切片,其中,所述账簿切片包括逐笔数据。
第二个方面,在本实施例中提供了一种资源处理系统,包括:第一网关和多个处理单元,所述第一网关和所述多个处理单元连接;其中,
所述第一网关被配置为根据数据流中各资源在过去n个流转日的日流转量,确定各所述资源的流动性,其中,所述数据流包括对应于各所述资源的逐笔数据;将流动性不低于第一阈值的资源的逐笔数据分发至第一处理单元,将流动性低于第一阈值的资源的逐笔数据分发至第二处理单元,其中,所述第一处理单元的处理性能高于所述第二处理单元的处理性能;
所述多个处理单元被配置为对分发的逐笔数据进行融合,得到对应于各所述资源的资源账簿。
在其中一个实施例中,资源处理系统还包括:第二网关,所述第二网关分别连接所述多个处理单元和用户。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的资源处理方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的资源处理方法的步骤。
与相关技术相比,在本实施例中提供的资源处理方法、系统、电子装置和存储介质,根据数据流中各资源在过去n个流转日的日流转量,确定各资源的流动性,其中,数据流包括对应于各资源的逐笔数据;将流动性不低于第一阈值的资源的逐笔数据分发至第一处理单元,将流动性低于第一阈值的资源的逐笔数据分发至第二处理单元,其中,第一处理单元的处理性能高于第二处理单元的处理性能;分别根据第一处理单元和第二处理单元,对分发的逐笔数据进行融合,得到对应于各资源的资源账簿,解决了资源处理过程中计算资源利用率不高的问题,提高了资源处理过程中的计算资源利用率。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是一个实施例中资源处理系统的结构示意图一;
图2是一个实施例中资源处理系统的结构示意图二;
图3是一个实施例中资源处理方法的流程图;
图4是一个实施例中的t分布临界值表;
图5是一个实施例中数据补齐方法的流程图一;
图6是一个实施例中数据补齐方法的流程图二;
图7是一个实施例中计算机设备的结构示意图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
本申请提供的下述实施例,所处理的对象——资源,指的是可以在公共市场或者企业内部通过网络获取所有权的虚拟物品,例如基金、股票或者数字藏品,其中,数字藏品,是指使用区块链技术,对应特定的作品、艺术品生成的唯一数字凭证。相应地,资源流转平台,可以是交易所的处理系统、数据贩售端或者区块链网络平台。
在一个实施例中,参见图1,为本实施例提供的一种资源处理系统的结构示意图,该资源处理系统包括:第一网关和多个处理单元,第一网关和多个处理单元连接。第一网关,可以是一种计算机系统或设备,使用在不同的通信协议、数据格式或语言,甚至体系结构不同的两种系统之间。例如,第一网关对接数据贩售端或者资源流转平台,以接收数据流,并对数据流进行分拣后重新打包,分发至相应处理单元。处理单元,可以为服务器设备,被配置为处理数据流,得到资源账簿。
在一个实施例中,参见图2,为本实施例提供的另一种资源处理系统的结构示意图,在图1的基础上,该资源处理系统还包括第二网关,其可以是一种计算机系统或设备,使用在不同的通信协议、数据格式或语言,甚至体系结构不同的两种系统之间。第二网关的一侧分别与各处理单元连接,第二网关的另一侧与用户连接,第二网关用于将处理单元生成的处理结果发送至用户。
以下将结合图1或者图2所示的资源处理系统,介绍本申请提供的资源处理方法。
在一个实施例中,参见图3,为本实施例提供的一种资源处理方法的流程图,该流程包括如下步骤:
步骤S301,第一网关根据数据流中各资源在过去n个流转日的日流转量,确定各资源的流动性。
其中,数据流包括对应于各资源的逐笔数据。数据流包括第一数据流和第二数据流,两个数据流相互独立,更新速度较快,且更新量较大,称之为全账簿数据。其中,第一数据流包含委托申报、委托修改的逐笔数据,第二数据流包括委托撤销、成交的逐笔数据。其中,委托,是指用户向资源流转平台(例如交易所)发起请求以为其代理获取目标资源的所有权或者出让目标资源的所有权。不管是何种业务类型的逐笔数据,都携带有委托标识,不同业务类型的逐笔数据基于委托标识关联,委托标识包括买方委托标识和卖方委托标识。通过构建第一网关,即可对接多个数据贩售端的API接口,也可对接资源流转平台数据接口,实时接收第一数据流和第二数据流。若某一资源在过去n个流转日的日流转量越多,则该资源的流动性越高。
步骤S302,第一网关将流动性不低于第一阈值的资源的逐笔数据分发至第一处理单元,将流动性低于第一阈值的资源的逐笔数据分发至第二处理单元。
其中,第一处理单元的处理性能高于第二处理单元的处理性能。处理单元的处理性能可以通过处理单元的时钟频率、单位处理数据上限值或者当前所处理的资源份数确定。时钟频率越高,处理性能越好;单位处理数据上限值越高,处理性能越好;当前所处理的资源份数越少,处理性能越好。可选地,第一处理单元的时钟频率,高于第二处理单元的时钟频率;或者,第一处理单元的单位处理数据上限值,高于第二处理单元的单位处理数据上限值;或者,第一处理单元当前所处理的资源份数,少于第二处理单元当前所处理的资源份数。每个处理单元能够处理一份或者多份资源的逐笔数据。
步骤S303,第一处理单元和第二处理单元对分发的逐笔数据进行融合,得到对应于各资源的资源账簿。
资源账簿可以包含委托标识、委托的状态和价格档位信息。其中,委托标识包括买方委托标识和卖方委托标识;委托的状态包括买入(卖出)价格、委托量、在价格档位委托队列中的位置;价格档位信息包括分档资源流转情况,根据委托价格的不同,可以分为一档、五档、十档等资源流转情况,每档资源流转情况包含档位价格和档位报单数量,所有档位可以分别按照委托价格进行排序,例如,买盘按照价格倒序排序,即买一档为买盘最高价,卖盘按照价格升序排序,即卖一档为卖盘最低价。
在上述步骤S301至步骤S303中,通过第一网关实时接收数据流,对数据流中各资源的流动性进行分析,以及对处理单元的处理性能进行分析,根据资源的流动性和处理单元的处理性能,为每份资源合理分配计算资源。例如,为流动性好的资源分配处理性能好、处理资源数少的处理单元,为流动性差的资源分配处理资源数多的处理单元以进行捆绑式处理,以提升计算资源利用率。而且,不需要调用资源流转平台的处理引擎实现逐笔数据重建功能,降低了对于资源流转平台处理引擎的依赖,能够在公网环境下实现资源账簿的更新,当然,也可以在私域环境(如某个交易所的处理系统)下实现资源账簿的更新。通过上述步骤,提升了资源处理过程中的计算资源利用率,而且还能够通用于公网和私域环境。
在一个实施例中,第一网关根据数据流中各资源在过去n个流转日的日流转量,确定各资源的流动性,包括:获取各资源在过去n个流转日的日流转量的中位数;对各资源在过去n个流转日的日流转量的中位数,取自然对数,得到各资源的流动性。示例性地,在每个流转日开始前,获取资源k在过去n个(例如250个)流转日的日流转量,取该n个流转日的日流转量的中位数,并对该中位数取自然对数,得到Logk
在一个实施例中,第一网关确定第一阈值包括:根据n个流转日确定自由度;获取t分布临界值表(如图4所示,也称司徒顿t分布),根据自由度(即表的第一列,V指自由度)和预设分位点,在t分布临界值表中确定目标t值;计算各资源的流动性的期望值和标准差,并根据目标t值、各资源的流动性的期望值和标准差,计算得到第一阈值。
示例性地,设置样本个体数量(n)。当n 是一个较大的自然数时(例如250),根据中央极限定理,这些自然对数所汇总得到的分布呈现或接近正态分布;
根据样本个体数量,确定期望值(μ),其计算公式为:
Figure DEST_PATH_IMAGE001
根据期望值,确定样本方差(s2),其计算公式为:
Figure DEST_PATH_IMAGE002
根据样本方差,确定样本标准差(s),其计算公式为:
Figure DEST_PATH_IMAGE003
根据样本个体数量,确定自由度(D.O.F),其计算公式为:
Figure DEST_PATH_IMAGE004
确定P%分位点所对应的统计分布单侧切点值D(即第一阈值),其计算方法为:首先,从t分布临界值表,根据[1-P%]值(即表中第一行的a值)和自由度找到所对应的t值,自由度分单侧和双侧两种类型。例如,当单侧P%为95%、自由度为249时,所对应的t值是1.645(如表中第三列最后一行所示);然后,根据所找到的t值,确定单侧切点值D,其计算公式为:
Figure DEST_PATH_IMAGE005
示例性地,在每个流转日开始前,获取N个资源在过去n个(例如250个)流转日的日流转量,取该n个流转日中N个日流转量的中位数,并对该N个中位数取自然对数,然后对该N个自然对数进行汇总,形成统计分布,确定P%分位点所对应的统计分布单侧切点值D并将其设定为第一阈值。例如,若Logk >= D,则定义资源k为流动性较好的资源;若Logk < D,则定义资源k为流动性较差的资源。
相关技术的账簿切片,只体现价格档位信息,例如100毫秒更新一次的1档、5档、20档买卖价格档位以及每个档位上的总委托量信息。虽然提升了账簿的更新频率,但是没有考虑或者无法感知逐笔数据中的撤销信息,导致拟合失误,造成大量撮合结果和实际情况存在偏差,破坏了数据的精准度,不能精准地反映市场的真实情况,牺牲数据精准度换来低延时,反而导致推送的账簿切片的可信度降低。
为解决上述问题,在一个实施例中,第一处理单元和第二处理单元,根据逐笔数据携带的委托标识,确定对应的目标委托;根据逐笔数据所属的业务类型,维护目标委托和对应资源的价格档位信息。进一步地,第一处理单元和第二处理单元,根据逐笔数据所属的业务类型,维护目标委托和对应资源的价格档位信息,包括:
当逐笔数据的业务类型为委托申报时,记录逐笔数据携带的委托标识和初始状态,并更新和目标委托处于同一价格档位上其余委托的状态。初始状态包括价格、委托量、在价格档位委托队列中的位置。
当逐笔数据的业务类型为委托修改时,更新目标委托的状态,并更新和目标委托处于同一价格档位上其余委托的状态。
当逐笔数据的业务类型为委托撤销时,删除目标委托,并更新和目标委托处于同一价格档位上其余委托的状态。
当逐笔数据的业务类型为成交时,更新目标委托的状态,并更新和目标委托处于同一价格档位上其余委托的状态。成交的逐笔数据,包含买方委托标识和卖方委托标识。更新和目标委托处于同一价格档位上其余委托的状态,指的是在内存中更新与买方委托和卖方委托处于同一价格档位委托队列的其他委托的状态。
在本实施例中,第一处理单元和第二处理单元,全面追踪每一逐笔数据的委托标识,在内存中存储每一笔委托的状态,直到该笔委托成交或者被撤销,停止追踪。如此设置,能够直接体现委托流级别的信息,例如每一笔委托在价格档位队列上的初始位置和位置变化信息、每一笔委托在整个生命周期中出现的每一次变化,以实现在资源流转中的任意时刻都能还原出每个价格单位上的每一笔委托的状态,真实反映市场全貌,提升了资源账簿的可信度。
在一个实施例中,第一处理单元和第二处理单元,根据逐笔数据所属的业务类型,维护目标委托和对应资源的价格档位信息,包括:当逐笔数据的业务类型为委托申报时,根据资源流转平台规则判断是否需要记录该笔委托的标识和初始状态;若判断为是,则记录逐笔数据携带的委托标识和初始状态,并更新和目标委托处于同一价格档位上其余委托的状态。当逐笔数据的业务类型为委托修改时,根据资源流转平台规则判断是否需要更新目标委托的状态;若判断为是,则更新目标委托的状态,并更新和目标委托处于同一价格档位上其余委托的状态。当逐笔数据的业务类型为委托撤销时,根据资源流转平台规则判断是否需要删除目标委托;若判断为是,则删除目标委托,并更新和目标委托处于同一价格档位上其余委托的状态。当逐笔数据的业务类型为成交时,根据资源流转平台规则判断是否需要更新目标委托的状态;若判断为是,则更新目标委托的状态,同时根据资源流转平台规则判断是否需要更新与买方委托和卖方委托处于同一价格档位委托队列的其他委托的状态并执行相应操作。
示例性地,一些资源流转平台(例如某个证券交易所的处理系统)不在逐笔委托数据中发布市价委托信息。当第一处理单元或者第二处理单元收到一笔成交时,会根据资源流转平台规则判断出该笔成交的主动方。如主动方为买方(卖方)委托,会根据该笔成交的状态信息(如成交价格、成交量)和卖方(买方)委托的状态信息,模拟出一笔买方市价委托申报并将其加载到该笔成交在内存中的位置之前。
在一个实施例中,资源账簿还包括逐笔数据,逐笔数据存储于持久化存储区。持久化存储区可以是磁盘。可选地,逐笔数据可以是包含委托申报、委托修改、委托撤销和成交在内的委托全账簿数据,记录该委托全账簿数据的资源账簿,也称之为委托全账簿。
由于存在资源流转平台数据发布故障,导致还原的资源账簿和实际情况存在偏差。为解决该问题,在一个实施例中,将逐笔数据写入持久化存储区,包括:在数据流存在故障的情况下,封存数据流中各资源的资源账簿;将故障时点后到达的数据流存储至内存中;在接收到故障时点的数据流的增补文件的情况下,根据增补文件和故障时点后到达的数据流,对所封存的资源账簿进行修复,直至所修复的资源账簿的时间戳与当前接收到的数据流的时间戳一致。
示例性地,当第一网关接收到资源流转平台或数据贩售端发布的数据流分发故障告警后,将触发执行数据补齐流程,使得还原的资源账簿和实际情况相符。请参见图5,为本实施例提供的一种数据补齐方法的流程图,该流程包括如下步骤:
步骤S401,第一网关通知处理单元封存当前时刻的资源账簿;
步骤S402,第一网关继续接收数据流,处理单元将数据流中的逐笔数据存储在内存中;
步骤S403,第一网关判断是否是接收到资源流转平台发布的数据流分发故障排除确认消息;若判断为是,则执行步骤S404;若判断为是否,则返回步骤S402;
步骤S404,第一网关读取资源流转平台发布的增补文件,并通知处理单元修复资源账簿;
步骤S405,处理单元分配临时计算资源读取增补文件;
步骤S406,处理单元根据该增补文件和故障告警后接收到的数据流,更新在故障时点封存的资源账簿;
步骤S407,处理单元判断修复后的资源账簿与新接收到的数据流时间戳是否一致;若判断为是,则结束流程;若判断为是否,则返回步骤S406。
除了存在资源流转平台数据发布故障,有时还存在其他不可控因素,导致还原的资源账簿和实际情况存在偏差。在资源流转平台对数据流进行正常分发时,一般情况下两个数据流之间不存在时间异步性,即一笔订单的成交信息一定会在卖方和买方委托的申报信息后被接收到,但正常的数据分发过程中偶尔出现时间异步性。为解决该问题,在一个实施例中,将逐笔数据写入持久化存储区,包括:在数据流中,在成交的逐笔数据先于任一方委托申报的逐笔数据到达的情况下,暂停更新对应资源的资源账簿;将该时刻成交的逐笔数据和委托申报的逐笔数据存储至内存中;在接收到缺失的委托申报的逐笔数据的情况下,根据在内存中存储的逐笔数据,更新对应资源的资源账簿,直至内存中存储的逐笔数据被处理完毕。
示例性地,当第一网关检测到成交数据先于买方(卖方)委托申报数据到达时,将触发执行数据补齐流程,使得还原的资源账簿和实际情况相符。请参见图6,为本实施例提供的另一种数据补齐方法的流程图,该流程包括如下步骤:
步骤S501,第一网关通知处理单元暂停更新资源账簿;
步骤S502,第一网关继续接收数据流,处理单元将数据流中的逐笔数据存储在内存中;
步骤S503,第一网关判断是否是接收到资源流转平台发布的缺失的委托申报信息;若判断为是,则执行步骤S504;若判断为是否,则返回步骤S502;
步骤S504,第一网关通知处理单元更新资源账簿;
步骤S505,处理单元读取内存中存储的逐笔数据,更新资源账簿;
步骤S506,处理单元判断内存中存储的逐笔数据是否被处理完毕;若判断为是,则结束流程;若判断为是否,则返回步骤S505。
以下实施例将介绍基于还原的资源账簿,提供不同类型的业务,例如实时复播委托全账簿、生成更贴近实时变化的资源流转情况、微观市场结构因子。
在一个实施例中,在分别根据第一处理单元和第二处理单元,对分发的逐笔数据进行融合,得到对应于各资源的资源账簿之后,以时间为单位分割资源账簿,得到账簿切片;将账簿切片分发至用户。其中,以时间为单位分割资源账簿,可以是按照预设频率截取资源账簿,得到账簿切片。
不同用户对于委托全账簿数据的使用方式有所不同,有些用户需要依据委托全账簿数据生成500毫秒资源流转情况50档资源流转情况,而有些用户则需要依据委托全账簿数据生成100毫秒5档资源流转情况;有些用户需要依据委托全账簿数据生成标准化微观衍生指标,而有些用户则需要参数可调的微观衍生指标。同时,用户使用委托全账簿数据的方式也在不停地发生演变。为了适应用户的多样化需求,在一个实施例中,以时间为单位分割资源账簿,得到账簿切片,包括:获取用户发起的请求消息,其中,请求消息携带有分割资源账簿的频率和价格档位数目;根据请求消息分割资源账簿,得到账簿切片,其中,账簿切片包括逐笔数据。本实施例为每个客户端提供支持弹性配置的第二网关,允许用户在客户端对接收到的委托全账簿数据进行变换,并且可以在一定范围内自行定义变换参数,无需根据还原后的委托全账簿数据预先生成用户所需要的各种衍生数据,只需在客户端按需实现,节省了大量计算资源。
在一个实施例中,在将账簿切片分发至用户时,将第一时间节点的账簿切片发送至用户,其中,第一时间节点的账簿切片包含委托标识、委托的状态、价格档位信息。在本实施例中,允许用户在客户端中以可视化的方式查看某资源在某一流转日内任意时刻的委托全账簿状态,用户也可以在客户端中从委托全账簿在A时刻的状态直接跳转到B时刻的状态。
在一个实施例中,在将第一时间节点的账簿切片发送至用户之后,在内存中载入第一时间节点和第二时间节点之间的逐笔数据;根据第一时间节点的账簿切片、第一时间节点和第二时间节点之间的逐笔数据,还原第一时间节点和第二时间节点之间的每一笔委托、每一笔委托的状态、对应于每一笔委托的价格档位信息;将逐笔还原结果按照还原时间顺序依次发送至用户。在本实施例中,用户可以在客户端中可以通过逐笔回退或逐笔步进的方式从委托全账簿在A时刻的状态转换到B时刻的状态。示例性地,当用户需要从14点的委托全账簿状态回退到13:54分时,会先载入14点时的委托全账簿状态切片,该切片会以可视化的方式展示在14时每个价格档位的委托队列中每一笔委托的状态。接下来,用户可以通过键盘上的方向键,按照从后往前的次序一笔一笔复现14时至13:54分之间的每一笔委托申报、委托撤销、委托修改和成交以及它们对委托全账簿的影响。用户也可以通过在时间筛选器中直接键入13:54分的方式,在客户端中直接展示13:54分时的委托全账簿状态。本实施例无需在第一处理单元和第二处理单元的内存中存储全天所有的委托全账簿信息,只需要根据所选择的时间段分区片载入。
在一个实施例中,资源流转平台(例如某个证券交易所的处理系统)在每个流转日的开盘集合竞价时段(9:15-9:30),每9秒钟左右会向市场公布一次每一个资源的最新模拟集合竞价和成交量。本实施例在开盘集合竞价阶段,会在接收到委托申报和委托撤销信息后实时更新委托全账簿的状态,并根据资源流转平台的集合竞价计算规则即刻计算出最新的模拟集合竞价和成交量,直至9点25分时开盘集合竞价成交开始被执行。
在一个实施例中,提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,根据数据流中各资源在过去n个流转日的日流转量,确定各资源的流动性,其中,数据流包括对应于各资源的逐笔数据;
S2,将流动性不低于第一阈值的资源的逐笔数据分发至第一处理单元,将流动性低于第一阈值的资源的逐笔数据分发至第二处理单元,其中,第一处理单元的处理性能高于第二处理单元的处理性能;
S3,分别根据第一处理单元和第二处理单元,对分发的逐笔数据进行融合,得到对应于各资源的资源账簿。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的资源处理方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种资源处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储逐笔数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资源处理方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。本申请实施例中涉及对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (16)

1.一种资源处理方法,其特征在于,包括:
根据数据流中各资源在过去n个流转日的日流转量,确定各所述资源的流动性,其中,所述数据流包括对应于各所述资源的逐笔数据;
将流动性不低于第一阈值的资源的逐笔数据分发至第一处理单元,将流动性低于第一阈值的资源的逐笔数据分发至第二处理单元,其中,所述第一处理单元的处理性能高于所述第二处理单元的处理性能;
分别根据所述第一处理单元和所述第二处理单元,对分发的逐笔数据进行融合,得到对应于各所述资源的资源账簿;
所述资源账簿包括委托标识、委托的状态和价格档位信息;分别根据所述第一处理单元和所述第二处理单元,对分发的逐笔数据进行融合,得到对应于各所述资源的所述资源账簿包括:根据所述逐笔数据携带的委托标识,确定对应的目标委托;根据所述逐笔数据所属的业务类型,维护所述目标委托和对应资源的价格档位信息。
2.根据权利要求1所述的资源处理方法,其特征在于,根据所述数据流中各资源在过去n个流转日的日流转量,确定各所述资源的流动性,包括:
获取各所述资源在过去n个流转日的日流转量的中位数;
对各所述资源在过去n个流转日的日流转量的中位数,取自然对数,得到各所述资源的流动性。
3.根据权利要求2所述的资源处理方法,其特征在于,确定所述第一阈值包括:
根据所述n个流转日确定自由度;
获取t分布临界值表,根据所述自由度和预设分位点,在所述t分布临界值表中确定目标t值;
计算各所述资源的流动性的期望值和标准差,并根据所述目标t值、各所述资源的流动性的期望值和标准差,计算得到所述第一阈值。
4.根据权利要求1所述的资源处理方法,其特征在于,所述第一处理单元的时钟频率,高于所述第二处理单元的时钟频率;或者,
所述第一处理单元的单位处理数据上限值,高于所述第二处理单元的单位处理数据上限值;或者,
所述第一处理单元当前所处理的资源份数,少于所述第二处理单元当前所处理的资源份数。
5.根据权利要求1所述的资源处理方法,其特征在于,根据所述逐笔数据所属的业务类型,维护所述目标委托和对应资源的价格档位信息,包括:
当所述逐笔数据的业务类型为委托申报时,记录所述逐笔数据携带的委托标识和初始状态,并更新和所述目标委托处于同一价格档位上其余委托的状态;或者,
当所述逐笔数据的业务类型为委托修改时,更新所述目标委托的状态,并更新和所述目标委托处于同一价格档位上其余委托的状态;或者,
当所述逐笔数据的业务类型为委托撤销时,删除所述目标委托,并更新和所述目标委托处于同一价格档位上其余委托的状态;或者,
当所述逐笔数据的业务类型为成交时,更新所述目标委托的状态,并更新和所述目标委托处于同一价格档位上其余委托的状态。
6.根据权利要求1所述的资源处理方法,其特征在于,所述资源账簿还包括所述逐笔数据,所述逐笔数据存储于持久化存储区。
7.根据权利要求6所述的资源处理方法,其特征在于,将所述逐笔数据写入所述持久化存储区,包括:
在所述数据流存在故障的情况下,封存所述数据流中各所述资源的资源账簿;
将故障时点后到达的数据流存储至内存中;
在接收到所述故障时点的数据流的增补文件的情况下,根据所述增补文件和所述故障时点后到达的数据流,对所封存的资源账簿进行修复,直至所修复的资源账簿的时间戳与当前接收到的数据流的时间戳一致。
8.根据权利要求6所述的资源处理方法,其特征在于,将所述逐笔数据写入所述持久化存储区,包括:
在所述数据流中,在成交的逐笔数据先于任一方委托申报的逐笔数据到达的情况下,暂停更新对应资源的资源账簿;
将该时刻所述成交的逐笔数据和所述委托申报的逐笔数据存储至内存中;
在接收到缺失的委托申报的逐笔数据的情况下,根据在所述内存中存储的逐笔数据,更新对应资源的资源账簿,直至所述内存中存储的逐笔数据被处理完毕。
9.根据权利要求1所述的资源处理方法,其特征在于,在分别根据所述第一处理单元和所述第二处理单元,对分发的逐笔数据进行融合,得到对应于各所述资源的资源账簿之后,所述方法还包括:
以时间为单位分割所述资源账簿,得到账簿切片;
将所述账簿切片分发至用户。
10.根据权利要求9所述的资源处理方法,其特征在于,将所述账簿切片分发至用户,包括:
将第一时间节点的账簿切片发送至所述用户,其中,所述第一时间节点的账簿切片包含委托标识、委托的状态、价格档位信息。
11.根据权利要求10所述的资源处理方法,其特征在于,在将第一时间节点的账簿切片发送至所述用户之后,所述方法还包括:
在内存中载入所述第一时间节点和第二时间节点之间的逐笔数据;
根据所述第一时间节点的账簿切片、所述第一时间节点和所述第二时间节点之间的逐笔数据,还原所述第一时间节点和所述第二时间节点之间的每一笔委托、每一笔委托的状态、对应于每一笔委托的价格档位信息;
将逐笔还原结果按照还原时间顺序依次发送至所述用户。
12.根据权利要求9所述的资源处理方法,其特征在于,以时间为单位分割所述资源账簿,得到账簿切片,包括:
获取用户发起的请求消息,其中,所述请求消息携带有分割所述资源账簿的频率和价格档位数目;
根据所述请求消息分割所述资源账簿,得到账簿切片,其中,所述账簿切片包括逐笔数据。
13.一种资源处理系统,其特征在于,包括:第一网关和多个处理单元,所述第一网关和所述多个处理单元连接;其中,
所述第一网关被配置为根据数据流中各资源在过去n个流转日的日流转量,确定各所述资源的流动性,其中,所述数据流包括对应于各所述资源的逐笔数据;将流动性不低于第一阈值的资源的逐笔数据分发至第一处理单元,将流动性低于第一阈值的资源的逐笔数据分发至第二处理单元,其中,所述第一处理单元的处理性能高于所述第二处理单元的处理性能;
所述多个处理单元被配置为对分发的逐笔数据进行融合,得到对应于各所述资源的资源账簿;
所述资源账簿包括委托标识、委托的状态和价格档位信息;分别根据所述第一处理单元和所述第二处理单元,对分发的逐笔数据进行融合,得到对应于各所述资源的所述资源账簿包括:根据所述逐笔数据携带的委托标识,确定对应的目标委托;根据所述逐笔数据所属的业务类型,维护所述目标委托和对应资源的价格档位信息。
14.根据权利要求13所述的资源处理系统,其特征在于,还包括:第二网关,所述第二网关分别连接所述多个处理单元和用户。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求12中任一项所述的资源处理方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求12中任一项所述的资源处理方法的步骤。
CN202211700922.4A 2022-12-29 2022-12-29 资源处理方法、系统、电子装置和存储介质 Active CN115686869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211700922.4A CN115686869B (zh) 2022-12-29 2022-12-29 资源处理方法、系统、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211700922.4A CN115686869B (zh) 2022-12-29 2022-12-29 资源处理方法、系统、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN115686869A CN115686869A (zh) 2023-02-03
CN115686869B true CN115686869B (zh) 2023-03-21

Family

ID=85056682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211700922.4A Active CN115686869B (zh) 2022-12-29 2022-12-29 资源处理方法、系统、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN115686869B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733198A (zh) * 2011-08-26 2014-04-16 国际商业机器公司 流应用性能监测度量
CN104717130A (zh) * 2015-02-09 2015-06-17 厦门百鱼电子商务有限公司 融入即时通信的有价电子凭证流转的设备及其流转方法
CN114077698A (zh) * 2020-08-18 2022-02-22 腾讯科技(深圳)有限公司 资源增量数据的确定方法、装置、介质以及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396769B1 (en) * 2008-03-24 2013-03-12 Goldman, Sachs & Co. Apparatuses, methods and systems for a fund engine
EP2936420A4 (en) * 2013-06-24 2016-08-03 Aequitas Innovations Inc SYSTEM AND METHOD FOR AUTOMATED TRADING OF FINANCIAL INVESTMENTS
WO2019045900A1 (en) * 2017-08-31 2019-03-07 Flexfunds Etp, Llc SYSTEM FOR ISSUING AND MANAGING STOCKED PRODUCTS AS FINANCIAL INSTRUMENTS AND BALANCING THE INVESTMENT
CN110971709B (zh) * 2019-12-20 2022-08-16 深圳市网心科技有限公司 数据处理方法、计算机设备及存储介质
CN111861743A (zh) * 2020-06-29 2020-10-30 浪潮电子信息产业股份有限公司 一种基于逐笔数据重构市场行情的方法、装置及设备
CN112200683A (zh) * 2020-10-20 2021-01-08 南京艾科朗克信息科技有限公司 一种金融市场会员端全息行情获取方法
CN112965860B (zh) * 2021-03-11 2022-02-11 中科驭数(北京)科技有限公司 一种快照行情分发方法、装置、设备及存储介质
CN113672787B (zh) * 2021-10-22 2022-01-04 杭州迈拓大数据服务有限公司 证券市场交易行为监测方法、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733198A (zh) * 2011-08-26 2014-04-16 国际商业机器公司 流应用性能监测度量
CN104717130A (zh) * 2015-02-09 2015-06-17 厦门百鱼电子商务有限公司 融入即时通信的有价电子凭证流转的设备及其流转方法
CN114077698A (zh) * 2020-08-18 2022-02-22 腾讯科技(深圳)有限公司 资源增量数据的确定方法、装置、介质以及电子设备

Also Published As

Publication number Publication date
CN115686869A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CA3041188C (en) Blockchain smart contract updates using decentralized decision
US10592345B2 (en) Clustered fault tolerance systems and methods using load-based failover
US11157999B2 (en) Distributed data processing
US11546419B2 (en) Methods, devices and systems for a distributed coordination engine-based exchange that implements a blockchain distributed ledger
US7035786B1 (en) System and method for multi-phase system development with predictive modeling
US7895112B2 (en) Order book process and method
CN108446975B (zh) 一种额度管理方法及装置
US8924559B2 (en) Provisioning services using a cloud services catalog
US20040167765A1 (en) System and method for improving predictive modeling of an information system
US20080015970A1 (en) Order Management System and Method for Electronic Securities Trading
US20100228788A1 (en) Update manager for database system
EP3582112B1 (en) Optimized data structure
WO2023207146A1 (zh) Esop系统的服务模拟方法、装置、设备及存储介质
WO2018065411A1 (en) Computer system
US20070083521A1 (en) Routing requests based on synchronization levels
CN107316245A (zh) 费用理算方法及系统
CN115686869B (zh) 资源处理方法、系统、电子装置和存储介质
US11140094B2 (en) Resource stabilization in a distributed network
CN109087201A (zh) 虚拟资源的数据处理方法、服务器及存储介质
CN113971007B (zh) 信息处理方法、装置、电子设备及介质
Burke Designing and Developing Interactive Big Data Decision Support Systems for Performance, Scalability, Availability and Consistency
CN114240674A (zh) 一种定期拆分方法和装置
CN117314603A (zh) 基于区块链系统的资源获取方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Resource processing methods, systems, electronic devices, and storage media

Effective date of registration: 20230512

Granted publication date: 20230321

Pledgee: Hangzhou United Rural Commercial Bank Co.,Ltd. Chunxiao sub branch

Pledgor: Hangzhou Maituo Big Data Service Co.,Ltd.

Registration number: Y2023980040389

PE01 Entry into force of the registration of the contract for pledge of patent right