CN112783633A - 基于资源互斥调度模型的数据更新系统及方法 - Google Patents
基于资源互斥调度模型的数据更新系统及方法 Download PDFInfo
- Publication number
- CN112783633A CN112783633A CN202110187032.7A CN202110187032A CN112783633A CN 112783633 A CN112783633 A CN 112783633A CN 202110187032 A CN202110187032 A CN 202110187032A CN 112783633 A CN112783633 A CN 112783633A
- Authority
- CN
- China
- Prior art keywords
- data
- resource
- market
- product
- updating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
- G06F9/526—Mutual exclusion algorithms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明提供了一种基于资源互斥调度模型的数据更新系统及方法,可应用于数据处理领域和金融领域,所述系统包含:资源缓存模块获取行情推送数据,根据行情推送数据的接收时间和行情推送数据中各行情数据的数据类别,将行情数据存入预设缓存队列;协调线程模块获取各产品的资源种类,根据资源种类构建各产品对应的特性数据;获取缓存队列中的行情数据,根据行情数据的资源种类和特性数据构建产品集合;根据产品集合的资源种类进行互斥调度,将各行情数据分发至不同的执行队列,通过执行队列对应的工作线程计算各产品的资源更新数据;合成计算模块获取各工作线程计算的资源更新数据,通过资源更新数据更新各产品中对应的资源。
Description
技术领域
本发明涉及计算机资源调度领域,可应用于数据处理领域和金融领域,尤指一种基于资源互斥调度模型的数据更新系统及方法。
背景技术
行情和产品类数据往往是多堆垛的关系,例如产品价格生成服务每收到一条行情,都可能触发我行多个金融产品的价格的更新。如图1,行情Q1会触发产品P1、产品P2甚至产品PN的价格的更新。
而不同种类的产品所需要的参数资源不完全相同。如图2,行情Q1触发金融产品P1和金融产品P2价格的更新,金融产品P1和金融产品P2价格更新的过程中需要部分共性资源(白底黑字框),也需要自己产品种类独有的资源(黑底白字框)。这些参数资源有实时变化的可能,要保证资源的可靠性准确性,不能过度依赖NOS缓存,需要实时读表获取最新参数资源。
通常的处理举例如下:接收到一笔行情Q1,为了生成金融产品P1和P2的结构,需要获取共性的资源表A和表N参数,还需要非共性资源表B、C、E、F、G的参数(参考图3)。获取处理产品的非共性资源花费了较高的处理时间。
以上处理存在几个缺点:
行情数据是不规律的推送过来,如图3,每一次推送都调起不同工作线程进行处理。每个工作线程的处理行情数据大小、类型等均不同,并且跟推送处理功能存在耦合。
每个工作线程需要访问和占用的资源无规律可循,线程间存在使用资源类型大量交集的现象,并且是以每一次报价为维度进行对应产品价格的更新。计算机资源使用效率低下。
发明内容
本发明目的在于提供一种基于资源互斥调度模型的数据更新系统及方法,提高处理大规模不同行情数据源的执行效率和对应计算机资源的使用效率。
为达上述目的,本发明所提供的一种基于资源互斥调度模型的数据更新系统,所述系统包含:资源缓存模块、协调线程模块和合成计算模块;所述资源缓存模块用于获取行情推送数据,根据所述行情推送数据的接收时间和所述行情推送数据中各行情数据的数据类别,将所述行情数据存入预设缓存队列;所述协调线程模块与所述资源缓存模块通信连接,用于获取各产品的资源种类,根据所述资源种类构建各产品对应的特性数据;获取缓存队列中的行情数据,根据所述行情数据的资源种类和所述特性数据构建产品集合;根据所述产品集合的资源种类进行互斥调度,将各行情数据分发至不同的执行队列,通过所述执行队列对应的工作线程计算各产品的资源更新数据;所述合成计算模块与所述协调线程模块通信连接,用于获取各工作线程计算的资源更新数据,通过所述资源更新数据更新各产品中对应的资源。
在上述基于资源互斥调度模型的数据更新系统中,优选的,所述协调线程模块还包含数据转换单元和构建单元;所述数据转换单元用于根据所述特性数据通过预设的特性数据字典将各产品转换为结构化数据格式的产品标识数据;所述构建单元用于根据所述行情数据的资源种类和所述特性数据,提取关联的产品标识数据,并根据提供的产品标识数据构建产品标识数据集合。
在上述基于资源互斥调度模型的数据更新系统中,优选的,所述资源缓存模块包含比较单元,所述比较单元用于当同一接收时间存在多条数据类别相同的行情数据时,以后收到的行情数据覆盖先收到的行情数据。
在上述基于资源互斥调度模型的数据更新系统中,优选的,所述协调线程模块包含互斥调度模块,所述互斥调度模块用于比较各产品的资源类型,当两个或多个产品的资源类型均相同时,通过同一工作现场计算资源更新数据。
本发明还提供一种基于资源互斥调度模型的数据更新方法,所述方法:获取行情推送数据,根据所述行情推送数据的接收时间和所述行情推送数据中各行情数据的数据类别,将所述行情数据存入预设缓存队列;获取各产品的资源种类,根据所述资源种类构建各产品对应的特性数据,根据缓存队列中的行情数据的资源种类和所述特性数据构建产品集合;根据所述产品集合的资源种类进行互斥调度,将各行情数据分发至不同的执行队列,通过所述执行队列对应的工作线程计算各产品的资源更新数据;通过所述资源更新数据更新各产品中对应的资源。
在上述基于资源互斥调度模型的数据更新方法中,优选的,根据缓存队列中的行情数据的资源种类和所述特性数据构建产品集合包含:根据所述特性数据通过预设的特性数据字典将各产品转换为结构化数据格式的产品标识数据;根据所述行情数据的资源种类和所述特性数据,提取关联的产品标识数据,并根据提供的产品标识数据构建产品标识数据集合。
在上述基于资源互斥调度模型的数据更新方法中,优选的,将所述行情数据存入预设缓存队列包含:当同一接收时间存在多条数据类别相同的行情数据时,以后收到的行情数据覆盖先收到的行情数据。
在上述基于资源互斥调度模型的数据更新方法中,优选的,将各行情数据分发至不同的执行队列,通过所述执行队列对应的工作线程计算各产品的资源更新数据还包含:比较各产品的资源类型,当两个或多个产品的资源类型均相同时,通过同一工作现场计算资源更新数据。
本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明的有益技术效果在于:通过使用行情资源缓存队列,可及时接收所有的行情,再由协调线程定量获取行情数据屏蔽行情数量波动的影响,化波动为稳定,均衡资源的使用。通过协调线程为每个金融产品的计算生产过程中依赖的参数资源构件资源数据特征,并对构件的数据进行互斥分析调度,使得工作线程获取的资源合理性,专注度增强,总的工作线程获取资源的次数和占用的内存大大减少,从而减缓运行中内存的使用紧张情况,提高平台的处理效率。每一个执行队列,占用资源和更新产品都为通过规则计算固定好,从而在更新时可以通过集中度更高的数据集的方式提交,而不是通常方案的一条条或者零散数据集去做,提高了更新数据库的I/O效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为本发明一实施例所提供的行情与产品的多对多对应关系的示意图;
图2为本发明一实施例所提供的产品占用资源的原理示意图;
图3为本发明一实施例所提供的处理行情的流程示意图;
图4为本发明一实施例所提供的基于资源互斥调度模型的数据更新系统的结构示意图;
图5为本发明一实施例所提供的资源缓存模块的原理示意图;
图6为本发明一实施例所提供的协调线程模块的结构示意图;
图7为本发明一实施例所提供的协调线程模块的应用流程示意图;
图8为本发明一实施例所提供的协调线程模块的资源互斥调度原理示意图;
图9为本发明一实施例所提供的基于资源互斥调度模型的数据更新方法的流程示意图;
图10为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
另外,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
请参考图4所示,本发明所提供的一种基于资源互斥调度模型的数据更新系统,所述系统包含:资源缓存模块、协调线程模块和合成计算模块;所述资源缓存模块用于获取行情推送数据,根据所述行情推送数据的接收时间和所述行情推送数据中各行情数据的数据类别,将所述行情数据存入预设缓存队列;所述协调线程模块与所述资源缓存模块通信连接,用于获取各产品的资源种类,根据所述资源种类构建各产品对应的特性数据;获取缓存队列中的行情数据,根据所述行情数据的资源种类和所述特性数据构建产品集合;根据所述产品集合的资源种类进行互斥调度,将各行情数据分发至不同的执行队列,通过所述执行队列对应的工作线程计算各产品的资源更新数据;所述合成计算模块与所述协调线程模块通信连接,用于获取各工作线程计算的资源更新数据,通过所述资源更新数据更新各产品中对应的资源。
在本发明一实施例中,所述资源缓存模块包含比较单元,所述比较单元用于当同一接收时间存在多条数据类别相同的行情数据时,以后收到的行情数据覆盖先收到的行情数据。具体的,如图5所示,在实际工作中资源缓存模块处理步骤如下:
每一次行情推送数据均直接接收并放入行情资源缓存队列中,每接收成功一次推送数据均告知行情发送平台接收成功。如果接收失败发送失败信号告知行情发送平台请求重发,连续失败三次则不接收该批次行情并发异常监控。行情资源缓存队列按先入先出的原则进行后续处理。该队列将行情接收模块与产品价格生成模块解耦开,确保资源缓存模块正确接收到每一笔价格,并保证了每笔行情的接收时效性。值得说明的是,行情资源缓存队列唯一,并以队列接收的时刻标记标记每一条报价,队列中的价格按照接收的时间顺序有序,每种国际行情在某一时刻也只有一条报价,如果同一个时刻有多条报价,则用后收到的一条报价覆盖先收到的报价,出队后的数据就不存在于行情资源缓存队列中了,不存在抓取的行情数据重叠。
请参考图6所示,所述协调线程模块还包含数据转换单元和构建单元;所述数据转换单元用于根据所述特性数据通过预设的特性数据字典将各产品转换为结构化数据格式的产品标识数据;所述构建单元用于根据所述行情数据的资源种类和所述特性数据,提取关联的产品标识数据,并根据提供的产品标识数据构建产品标识数据集合。进一步,所述协调线程模块包含互斥调度模块,所述互斥调度模块用于比较各产品的资源类型,当两个或多个产品的资源类型均相同时,通过同一工作现场计算资源更新数据。请参考图7所示,所述协调线程模块在实际工作中的处理流程如下:
步骤一:协调线程为获取每个金融产品涉及的资源种类,并为每个金融产品构建一条资源数据特性数据。
具体的:
金融产品P1:{产品属性资源,商品期次资源,产品金融日历资源,客户信息资源};
金融产品P2:{产品属性资源,梯度点差资源,公共交易日历资源,客户信息资源,币种对信息资源};
金融产品P3:{产品金融日历资源,客户信息资源,产品属性资源,商品期次资源};
步骤二:因为资源种类为非结构化数据(如:产品属性,商品期次,梯度点差,金融产品日历等),不利于分析及处理。为每一类资源贴上独立标签,建立资源种类的数据字典将其转换为结构化数据。
具体的:
如表1所示,主题板块数据字典如下:
表1
步骤二中将金融产品资源数据转换后如下:
金融产品P1:{1,2,3,7};
金融产品P2:{1,5,6,7,4};
金融产品P3:{3,7,1,2};
按字典数据数值从小到大排序,步骤三-B中金融产品资源数据转换为:
金融产品P1:{1,2,3,7};
金融产品P2:{1,4,5,6,7};
金融产品P3:{1,2,3,7};
值得说明的是,协调线程的步骤一、步骤二均为该产品价格生成系统初始化时运行,产品与资源的对应关系建立好后放在高速缓存中。产品与资源的对应关系一般情况下不会有变化,若有变化则触发重新执行步骤一、二,并覆盖高速缓存中对应的旧关系数据。
步骤三:协调线程从行情资源缓存队列中获取定量的行情资源并构建涉及的金融产品集合。协调线程从行情资源缓存队列中获取一定数量集的行情资源(平均每秒收到行情的数据数量*N),N为配置的系统参数,跟系统处理时效相关,保证协调线程处理速度稍优先于队列增长速度。这样协调处理线程每次处理的数据了平均化,避免数据量不集中造成的资源浪费或资源不足的情况。
具体的:
行情Q1:{金融产品P1,金融产品P2,金融产品P3,金融产品P4};
行情Q2:{金融产品P2,金融产品P5,金融产品P6};
行情QM:{金融产品P1,金融产品P3,金融产品P8,金融产品PN};
涉及产品集:{金融产品P1,金融产品P2,金融产品P3,金融产品P4,金融产品P5,金融产品PN}。
值得说明的是,行情跟产品的对应关系跟产品与资源的对应关系类似,一般情况下不会有变化,是多对多的关系,可在产品价格生成系统初始化的时候,直接从数据库参数表中根据规则生成固定在高速缓存中;然后每次协调线程处理行情资源时直接读取参数生成要处理的行情及其对应产品(即上面举例)。
步骤四:协调线程根据构建的资源特征进行互斥调度,将行情分类转发到不同执行队列中,使得每一个执行队列对应的工作线程处理的金融产品所需的资源特征一致,避免金融产品资源特征交叉带来的工作线程获取过多资源带来的消耗,金融产品资源特征相同可由同一的工作线程进行处理,而任两个金融产品资源特征集的差集不为空,说明两者之间存在部分资源的互斥,需要由两个工作线程进行处理。
请参考图8所示,通过协调线程进行资源特征的互斥分析划分,将未处理的行情资源分发到不同的工作线程待执行队列中,相较未调度之前,每个工作线程可能都需要获取资源1、2、3、4、5、6、7,调度之后的工作线程需要获取的资源专注度增强,总体要读取的资源数量大大减少,从而减缓运行中内存的使用紧张情况,提高金融市场报价的处理效率。再请参考图8所示,工作线程得到需合成的金融产品集,获取相关的资源数据,为每一个金融产品构建参数数据集,在工作线程生命周期内,资源参数数据集不会发生变化。在不断从工作线程待执行队列中获取行情数据,按照业务规则进行计算。由于每一个工作线程对应特定的产品的价格的更新,不单是在获取资源上总数减少,更新时也可按照产品数据集的方式,由于线程与产品关系绑定,对比技术背景中描述的常规的原方案,数据集集中度增强(原方案一个线程要对应相对多的产品,建立相对多的数据集),数据库交互和commit次数减少,提高数据库访问以及整体效率。
请参考图9所示,本发明还提供一种基于资源互斥调度模型的数据更新方法,所述方法:
步骤S901获取行情推送数据,根据所述行情推送数据的接收时间和所述行情推送数据中各行情数据的数据类别,将所述行情数据存入预设缓存队列;
步骤S902获取各产品的资源种类,根据所述资源种类构建各产品对应的特性数据,根据缓存队列中的行情数据的资源种类和所述特性数据构建产品集合;
步骤S903根据所述产品集合的资源种类进行互斥调度,将各行情数据分发至不同的执行队列,通过所述执行队列对应的工作线程计算各产品的资源更新数据;
步骤S904通过所述资源更新数据更新各产品中对应的资源。
在上述实施例中,步骤S902根据缓存队列中的行情数据的资源种类和所述特性数据构建产品集合包含:根据所述特性数据通过预设的特性数据字典将各产品转换为结构化数据格式的产品标识数据;根据所述行情数据的资源种类和所述特性数据,提取关联的产品标识数据,并根据提供的产品标识数据构建产品标识数据集合。
在本发明一实施例中,将所述行情数据存入预设缓存队列包含:当同一接收时间存在多条数据类别相同的行情数据时,以后收到的行情数据覆盖先收到的行情数据。在另一实施例中,将各行情数据分发至不同的执行队列,通过所述执行队列对应的工作线程计算各产品的资源更新数据还包含:比较各产品的资源类型,当两个或多个产品的资源类型均相同时,通过同一工作现场计算资源更新数据。
本发明的有益技术效果在于:通过使用行情资源缓存队列,可及时接收所有的行情,再由协调线程定量获取行情数据屏蔽行情数量波动的影响,化波动为稳定,均衡资源的使用。通过协调线程为每个金融产品的计算生产过程中依赖的参数资源构件资源数据特征,并对构件的数据进行互斥分析调度,使得工作线程获取的资源合理性,专注度增强,总的工作线程获取资源的次数和占用的内存大大减少,从而减缓运行中内存的使用紧张情况,提高平台的处理效率。每一个执行队列,占用资源和更新产品都为通过规则计算固定好,从而在更新时可以通过集中度更高的数据集的方式提交,而不是通常方案的一条条或者零散数据集去做,提高了更新数据库的I/O效率。
本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图10所示,该电子设备600还可以包括:通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是,电子设备600也并不是必须要包括图10中所示的所有部件;此外,电子设备600还可以包括图10中没有示出的部件,可以参考现有技术。
如图10所示,中央处理器100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中,存储器140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序,以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142,该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143,该数据存储部143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132,以经由扬声器131提供音频输出,并接收来自麦克风132的音频输入,从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器130还耦合到中央处理器100,从而使得可以通过麦克风132能够在本机上录音,且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于资源互斥调度模型的数据更新系统,其特征在于,所述系统包含:资源缓存模块、协调线程模块和合成计算模块;
所述资源缓存模块用于获取行情推送数据,根据所述行情推送数据的接收时间和所述行情推送数据中各行情数据的数据类别,将所述行情数据存入预设缓存队列;
所述协调线程模块与所述资源缓存模块通信连接,用于获取各产品的资源种类,根据所述资源种类构建各产品对应的特性数据;获取缓存队列中的行情数据,根据所述行情数据的资源种类和所述特性数据构建产品集合;根据所述产品集合的资源种类进行互斥调度,将各行情数据分发至不同的执行队列,通过所述执行队列对应的工作线程计算各产品的资源更新数据;
所述合成计算模块与所述协调线程模块通信连接,用于获取各工作线程计算的资源更新数据,通过所述资源更新数据更新各产品中对应的资源。
2.根据权利要求1所述的基于资源互斥调度模型的数据更新系统,其特征在于,所述协调线程模块还包含数据转换单元和构建单元;
所述数据转换单元用于根据所述特性数据通过预设的特性数据字典将各产品转换为结构化数据格式的产品标识数据;
所述构建单元用于根据所述行情数据的资源种类和所述特性数据,提取关联的产品标识数据,并根据提供的产品标识数据构建产品标识数据集合。
3.根据权利要求1所述的基于资源互斥调度模型的数据更新系统,其特征在于,所述资源缓存模块包含比较单元,所述比较单元用于当同一接收时间存在多条数据类别相同的行情数据时,以后收到的行情数据覆盖先收到的行情数据。
4.根据权利要求1所述的基于资源互斥调度模型的数据更新系统,其特征在于,所述协调线程模块包含互斥调度模块,所述互斥调度模块用于比较各产品的资源类型,当两个或多个产品的资源类型均相同时,通过同一工作现场计算资源更新数据。
5.一种基于资源互斥调度模型的数据更新方法,其特征在于,所述方法:
获取行情推送数据,根据所述行情推送数据的接收时间和所述行情推送数据中各行情数据的数据类别,将所述行情数据存入预设缓存队列;
获取各产品的资源种类,根据所述资源种类构建各产品对应的特性数据,根据缓存队列中的行情数据的资源种类和所述特性数据构建产品集合;
根据所述产品集合的资源种类进行互斥调度,将各行情数据分发至不同的执行队列,通过所述执行队列对应的工作线程计算各产品的资源更新数据;
通过所述资源更新数据更新各产品中对应的资源。
6.根据权利要求5所述的基于资源互斥调度模型的数据更新方法,其特征在于,根据缓存队列中的行情数据的资源种类和所述特性数据构建产品集合包含:
根据所述特性数据通过预设的特性数据字典将各产品转换为结构化数据格式的产品标识数据;
根据所述行情数据的资源种类和所述特性数据,提取关联的产品标识数据,并根据提供的产品标识数据构建产品标识数据集合。
7.根据权利要求5所述的基于资源互斥调度模型的数据更新方法,其特征在于,将所述行情数据存入预设缓存队列包含:当同一接收时间存在多条数据类别相同的行情数据时,以后收到的行情数据覆盖先收到的行情数据。
8.根据权利要求5所述的基于资源互斥调度模型的数据更新方法,其特征在于,将各行情数据分发至不同的执行队列,通过所述执行队列对应的工作线程计算各产品的资源更新数据还包含:比较各产品的资源类型,当两个或多个产品的资源类型均相同时,通过同一工作现场计算资源更新数据。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求5至8任一所述方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求5至8任一所述方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110187032.7A CN112783633A (zh) | 2021-02-08 | 2021-02-08 | 基于资源互斥调度模型的数据更新系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110187032.7A CN112783633A (zh) | 2021-02-08 | 2021-02-08 | 基于资源互斥调度模型的数据更新系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112783633A true CN112783633A (zh) | 2021-05-11 |
Family
ID=75761529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110187032.7A Pending CN112783633A (zh) | 2021-02-08 | 2021-02-08 | 基于资源互斥调度模型的数据更新系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112783633A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023175413A1 (en) * | 2022-03-15 | 2023-09-21 | International Business Machines Corporation | Mutual exclusion data class analysis in data governance |
-
2021
- 2021-02-08 CN CN202110187032.7A patent/CN112783633A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023175413A1 (en) * | 2022-03-15 | 2023-09-21 | International Business Machines Corporation | Mutual exclusion data class analysis in data governance |
US12001456B2 (en) | 2022-03-15 | 2024-06-04 | International Business Machines Corporation | Mutual exclusion data class analysis in data governance |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111782470B (zh) | 分布式容器日志数据处理方法及装置 | |
CN111367988A (zh) | 数据导入方法及装置 | |
CN110472109B (zh) | 动态化数据质量分析方法及平台系统 | |
CN112767113A (zh) | 基于区块链的对账数据处理方法、装置、系统 | |
CN113656432A (zh) | 数据对比方法及装置 | |
CN112783633A (zh) | 基于资源互斥调度模型的数据更新系统及方法 | |
CN111383104A (zh) | 基金投资监督指标的获取方法及装置 | |
CN110022323A (zh) | 一种基于WebSocket与Redux的跨终端实时交互的方法和系统 | |
CN112052391B (zh) | 数据推送方法、装置及系统 | |
CN113741860A (zh) | 基于rpa机器人的数据处理方法及装置 | |
CN110297945B (zh) | 基于xbrl的数据信息处理方法及系统 | |
CN112396511A (zh) | 分布式风控变量数据处理方法、装置及系统 | |
CN112116274A (zh) | 调查报告的自动生成方法及装置 | |
CN113837870B (zh) | 金融风险数据审批方法及装置 | |
CN113434423A (zh) | 接口测试方法及装置 | |
CN115495513A (zh) | 一种事件标准化方法及装置 | |
CN108984318B (zh) | 基于驱动模型的消息投递方法、装置及可读存储介质 | |
CN114648410A (zh) | 股票盯盘方法、装置、系统、设备和介质 | |
CN110674119A (zh) | 数据处理方法、系统与计算机可读存储介质 | |
CN113485799B (zh) | 多库执行同一定时任务的方法、装置、设备及存储介质 | |
CN112988603B (zh) | 大数据测试用例生成方法及装置 | |
CN114117209A (zh) | 5g消息的推荐方法及装置 | |
CN114860832A (zh) | 信用卡积分数据处理方法及装置 | |
CN115564563A (zh) | 一种基于5g消息的业务处理方法、装置及设备 | |
CN115099940A (zh) | 一种批量系统中数据的生成方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |