CN117668039A - 资讯数据发布方法、装置、设备及存储介质 - Google Patents
资讯数据发布方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117668039A CN117668039A CN202311715608.8A CN202311715608A CN117668039A CN 117668039 A CN117668039 A CN 117668039A CN 202311715608 A CN202311715608 A CN 202311715608A CN 117668039 A CN117668039 A CN 117668039A
- Authority
- CN
- China
- Prior art keywords
- information data
- information
- requirements
- requirement
- downstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000008569 process Effects 0.000 claims abstract description 35
- 230000004044 response Effects 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000010410 layer Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 239000012792 core layer Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000010970 precious metal Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及信息发布技术领域,尤其涉及一种资讯数据发布方法、装置、设备及存储介质,响应于资讯数据发布程序启动,从预先生成的资讯数据需求表中获取资讯数据需求;基于资讯数据需求从数据库中读取对应的资讯数据,将资讯数据发布至对应的下游资讯消费对象;返回执行从资讯数据需求表中获取资讯数据需求的步骤,直至资讯数据需求表中无资讯数据需求;本申请便于提升资讯数据发布程序的复用性,并便于工作人员对资讯数据的发布过程进行实时监控。
Description
技术领域
本申请涉及信息发布技术领域,尤其涉及一种资讯数据发布方法、装置、设备及存储介质。
背景技术
金融市场领域中,资讯数据是非常重要的一类金融数据,包含基金、股票、债券、外汇、贵金属、宏观指标等,资讯数据发布系统需要将资讯数据及时发布到下游资讯消费部门或者下游资讯消费系统。
目前,资讯数据发布系统发布资讯数据的方式为:资讯数据发布系统先通过其所在公司或者第三方机构获取资讯数据,然后将资讯数据导入至数据库中持久化,进一步的,响应于接收到下游资讯消费部门或者下游资讯消费系统发出资讯获取需求,再将数据库中的资讯数据发布至对应的下游资讯消费部门或者下游资讯消费系统。
但是,不同的下游资讯消费部门或者下游资讯消费系统对接收到的资讯数据的需求不同,如,不同的下游资讯消费部门或者下游资讯消费系统可能对资讯数据要求不同的文件格式(UTF-8或GBK)、不同的文件内容(数据库中的不同字段内容)、不同的文件生成时间以及不同的文件打包方式等;故而,针对不同的下游资讯消费部门或者下游资讯消费系统,需要开发出满足其需求的资讯数据发布程序;且,对于同一个下游资讯消费部门或者下游资讯消费系统,若其后续需要其他的文件格式、文件内容、文件生成时间或者文件打包方式时,则也需要重新开发满足对应需求的资讯数据发布程序;如此,导致资讯数据发布程序众多且分散、复用性低且难以维护。
发明内容
本申请实施例提供一种资讯数据发布方法、装置、设备及存储介质。
第一方面,本申请实施例提供一种资讯数据发布方法,包括:
响应于资讯数据发布程序启动,从预先生成的所述资讯数据需求表中获取资讯数据需求;
基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象;
返回执行所述从所述资讯数据需求表中获取资讯数据需求的步骤,直至所述资讯数据需求表中无所述资讯数据需求;
其中,生成所述资讯数据需求表的步骤包括:
基于历史资讯数据需求生成资讯数据文件属性;
以所述资讯数据文件属性为条件参数生成资讯数据需求配置表;
将从所述下游资讯消费对象获取的资讯数据需求配置进所述资讯数据需求配置表中,生成所述资讯数据需求表。
第二方面,本申请实施例提供一种资讯数据发布装置,包括:
需求获取模块,用于响应于资讯数据发布程序启动,从预先生成的所述资讯数据需求表中获取资讯数据需求;
数据发布模块,用于基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象;
返回循环模块,用于返回执行所述从所述资讯数据需求表中获取资讯数据需求的步骤,直至所述资讯数据需求表中无所述资讯数据需求;
其中,生成所述资讯数据需求表的步骤包括:
基于历史资讯数据需求生成资讯数据文件属性;
以所述资讯数据文件属性为条件参数生成资讯数据需求配置表;
将从所述下游资讯消费对象获取的资讯数据需求配置进所述资讯数据需求配置表中,生成所述资讯数据需求表。
第三方面,本申请实施例提供了一种计算机设备,计算机设备包括存储器和处理器,所述存储器存储有计算机程序,处理器执行该计算机程序时实现上述的方法中的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的方法中的步骤。
第五方面,本申请实施例还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任一方法实施例中的步骤。
上述资讯数据发布方法、装置、设备及存储介质的实施例,预先对历史资讯数据需求进行整理归纳从而得到资讯数据文件属性,然后根据资讯数据文件属性建立对应的资讯数据需求配置表,然后按照资讯数据文件属性将从下游资讯消费对象获取的资讯数据写入资讯数据需求配置表对应的位置处,从而得到资讯数据需求表,资讯数据需求表中具有与每个下游资讯消费对象对应的资讯数据需求,然后根据与每个下游资讯消费对象对应的资讯数据需求从数据库中获取对应的资讯数据,并将获取的资讯数据发布至对应的下游资讯消费对象,然后,再返回执行下一个资讯数据的发布过程;如此便于根据每个下游资讯消费对象对资讯数据的需求,向下游资讯消费对象发布符合需求的资讯数据;如此,不需要再根据每个资讯数据发布程序对资讯数据的要求开发对应的资讯数据发布程序,提升了资讯数据发布程序的复用性,同时也易于对资讯数据发布程序进行维护。此外,在向资讯数据发布程序发布对应的资讯数据的同时,还对发布的过程进行监控,如此便于资讯数据发布方对发布的过程进行实时监控,还便于下游资讯消费对了解发布的过程情况。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例中资讯数据发布方法的应用环境图;
图2为本申请实施例一中提供的一种资讯数据发布方法流程图;
图3为本申请一个实施例中提供的一种资讯数据文件属性种类图;
图4-a为本申请一个实施例中提供的一种资讯数据需求表的部分一;
图4-b为本申请一个实施例中提供的一种资讯数据需求表的部分二;
图4-c为本申请一个实施例中提供的一种资讯数据需求表的部分三;
图5为本申请一个实施例中提供的一种Spring Batch开源批处理架构图;
图6为本申请实施例二中提供的一种资讯数据发布方法流程图;
图7-a为本申请一个实施例中提供的一种发布过程监控表的部分一;
图7-b为本申请一个实施例中提供的一种发布过程监控表的部分二;
图8为本申请一个实施例中提供的一种资讯数据发布装置的结构示意图;
图9为本申请一个实施例中提供的一种计算机设备的结构示意图;
图10为本申请一个实施例中提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本公开进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本公开,并不用于限定本公开。
需要说明的是,本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
为解决上述问题,本公开实施例提供了一种资讯数据发布方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
实施例一
图2为本申请实施例一提供的一种资讯数据发布方法流程图,参考图2,该方法可以由执行该种方法的装置来执行,该装置可以由软件和/或硬件的方式实现,该方法包括:
S110、响应于资讯数据发布程序启动,从预先生成的所述资讯数据需求表中获取资讯数据需求。
其中,预先生成所述资讯数据需求表的步骤包括:
A10、基于历史资讯数据需求生成资讯数据文件属性。
需要说明的是,在金融市场领域中,第三方金融资讯收集机构或者公司对与金融市场有关的资讯数据进行收集,然后将收集到的资讯数据出售至金融资讯发布企业;金融资讯发布企业内设有资讯数据发布系统,资讯数据发布系统用于将得到的资讯数据按照下游资讯消费对象的需求对资讯数据进行处理,然后将处理后的资讯数据发布至对应的下游资讯消费对象;其中,下游资讯消费对象为使用资讯数据的机构或者企业等。
在以往的实施中,下游资讯消费对象将自身对资讯数据的需求发送至资讯数据发布系统;然后,资讯数据发布系统按照需求对相应的资讯数据进行处理,再将处理后的资讯数据发布至对应的下游资讯消费对象。
需要说明的是,在以往的实施中,资讯数据发布系统对下游资讯消费对象发出的对资讯数据的需求进行收集与存储,并形成历史资讯数据需求,历史资讯数据需求为历史的下游资讯消费对象对所需的资讯数据的要求;历史资讯数据需求的种类包括资讯数据的数据归属、数据格式、数据内容以及数据名称等;不同的下游资讯消费对象可能对资讯数据的要求是不同的,故而,不同的下游资讯消费对象的向资讯数据发布系统发送的资讯数据需求可能是不同的,
在实施中,对历史资讯数据需求进行归纳整理,从而得到若干种下游资讯消费对象需要的历史资讯数据需求,然后将不同种类的历史资讯数据需求作为资讯数据文件属性。
A20、以所述资讯数据文件属性为条件参数生成资讯数据需求配置表。
需要说明的是,资讯数据发布系统便于直观了解不同的下游资讯消费对象的资讯数据需求,可以通过设置一个需求表用于存储不同下游资讯消费对象的资讯数据需求,且可以以上述资讯数据文件属性作为该需求表的条件参数,其中,条件参数为该需求表不同字段的字段名称。
在实施中,通过A10步骤得到资讯数据文件属性后,进一步的,将资讯数据文件属性所包含的不同种类的资讯数据需求作为相应的字段名称建立上述需求表,并将该需求表记为资讯数据需求配置表;资讯数据需求配置表用于存储不同下游资讯消费对象的资讯数据需求。
A30、将从所述下游资讯消费对象获取的资讯数据需求配置进所述资讯数据需求配置表中,生成所述资讯数据需求表。
在实施中,资讯数据发布系统对不同下游资讯消费对象发出的资讯数据需求进行接收,然后将每个下游资讯消费对象的每种的资讯数据需求配置进资讯数据需求配置表中对应的字段下;如,资讯数据发布系统接收到的一个下游资讯消费对象发出的资讯数据需求包括数据归属需求、数据格式需求、数据内容需求以及数据名称需求,进一步的,将数据归属需求配置进资讯数据需求表的数据归属需求字段下,将数据格式需求配置进资讯数据需求表的数据格式需求字段下,将数据格式需求配置进资讯数据需求表的数据格式需求字段下,将数据名称需求配置进资讯数据需求表的数据名称需求字段下,从而得到资讯数据需求表。
需要说明的是,资讯数据需求表可以是动态生成的,若有新的下游资讯消费对象向资讯数据发布系统发送资讯数据需求,则继续将新的资讯数据需求继续按照上述方式配置进资讯数据需求表中。
在实施中,资讯数据发布系统基于对应的资讯数据发布程序运行,在实施中,工作人员启动资讯数据发布系统时,对应的资讯数据发布程序也同步启动,且资讯数据发布程序与预设的数据库进行通信连接,需要说明的是,预设的数据库用于存储上述生成的资讯数据需求表;进一步的,资讯数据发布程序从该资讯数据需求表获取排序第一的资讯数据需求,其中,资讯数据需求为相应下游资讯消费对象对应的一组资讯数据要求。
S120、基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象。
需要说明的是的,上述数据库不仅用于存储资讯数据需求表,还用于存储从第三方金融资讯收集机构或者公司获取的资讯数据。
在实施中,资讯数据发布系统启动后,资讯数据发布程序从资讯数据需求表先读取按照获取的排序第一的资讯数据需求,然后按照资讯数据需求对资讯数据的要求从数据库中获取对应的资讯数据;具体的,比如资讯数据需求包括数据归属需求、数据格式需求、数据内容需求以及数据名称需求,则按照数据归属需求、数据格式需求、数据内容需求以及数据名称需求的要求对数据库中的资讯数据进行读取,从而得到对应的下游资讯消费对象所要求的定制化的资讯数据。
S130、返回执行所述从所述资讯数据需求表中获取资讯数据需求的步骤,直至所述资讯数据需求表中无所述资讯数据需求。
需要说明的是,资讯数据需求表中可能存储有不少于一个的资讯数据需求,且由于资讯数据需求表在资讯数据发布系统运行的过程中可以持续动态生成,故资讯数据需求表中的资讯数据需求的数量可能还会进一步增加。
在实施中,资讯数据发布程序获取到与排序第一的资讯数据需求对应的资讯数据后,将资讯数据发布至对应的下游资讯消费对象,并将排序第一的资讯数据需求组从资讯数据需求表删除,或者将其状态记为空;然后,返回执行S110步骤中从所述资讯数据需求表中获取资讯数据需求的步骤,也即,继续获取原本排序第二的资讯数据需求,然后按照排序第二的资讯数据需求对资讯数据的要求从数据库中读取对应的资讯数据,再发布至对应的下游资讯消费对象,并将排序第二的资讯数据需求组从资讯数据需求表删除,或者将其状态记为空;接着,再继续返回执行S110步骤中从所述资讯数据需求表中获取资讯数据需求的步骤,依次类推,直至所述资讯数据需求表中无所述资讯数据需求。
需要说明的是,预先对历史资讯数据需求进行整理归纳从而得到资讯数据文件属性,然后根据资讯数据文件属性建立对应的资讯数据需求配置表,然后按照资讯数据文件属性将从下游资讯消费对象获取的资讯数据写入资讯数据需求配置表中,从而得到资讯数据需求表,资讯数据需求表中具有与不同下游资讯消费对象对应的资讯数据需求,然后根据与每个下游资讯消费对象对应的资讯数据需求从数据库中获取对应的资讯数据,并将获取的资讯数据发布至对应的下游资讯消费对象,然后,再返回执行下一个资讯数据的发布过程;如此便于根据每个下游资讯消费对象对资讯数据的要求,向下游资讯消费对象发布符合要求的资讯数据;如此,不需要再根据每个资讯数据发布程序对资讯数据的需求开发对应的资讯数据发布程序,通过同一个资讯数据发布程序可以实现向不同的下游资讯消费对象发布对应的资讯数据,提升了资讯数据发布程序的复用性,降低了资讯数据发布程序的开发成本,同时也易于对资讯数据发布程序进行维护。
在一个实施例中,基于历史资讯数据需求生成资讯数据文件属性,包括:
A11、获取历史的所述下游资讯消费对象发布的资讯数据需求,得到历史资讯数据需求。
在实施中,下游资讯消费对象在过往向资讯数据发布系统发送资讯数据需求后,资讯数据发布系统对接收到的资讯数据需求进行整理,并将整理后的资讯数据请求存储在预设的数据库中,得到历史资讯数据需求。
A12、归纳整理所述历史资讯数据需求,得到所述资讯数据文件属性;所述资讯数据文件属性至少包括文件归属、文件方式、文件内容以及文件名称中的一种。
在实施中,工作人员获取数据库中存储的历史资讯数据需求,然后对历史资讯数据需求进行归纳与整理,从而总结不同下游资讯消费对象的历史资讯数据需求所涵盖的若干种数据需求,进而得到资讯数据文件属性;且,历史资讯数据需求资讯数据文件属性至少包括文件归属、文件方式、文件内容以及文件名称中的一种。
具体的,参照图3,在本实施例中,资讯数据文件属性包括文件归属、文件方式、文件内容以及文件名称四种情况;其中,文件归属进一步包括:消费系统、资讯数据源以及发布文件路径三种情况;文件方式进一步包括接口、定位文件、实时文件三种情况;文件内容进一步包括增量/全量、数据列字段、数据列格式以及分割符四种情况;文件名称进一步包括文件名与文件格式两种情况。
此外,资讯数据源包括资讯源与资讯品种两种情况;定时文件包括crontab格式。
在一个实施例中,将从所述下游资讯消费对象获取的资讯数据需求配置进所述资讯数据需求配置表中,生成所述资讯数据需求表,包括:
A31、分类校验从所述下游资讯消费对象获取的资讯数据需求,得到验后数据需求。
在实施中,下游资讯消费对象在有获取资讯数据的需要时,主动向资讯数据发布系统发出资讯数据需求,资讯数据发布系统对接收的资讯数据需求中不同种类的数据需求进行分类校验,从而得到与每种数据需求一一对应的验后数据需求。
A32、动态加载所述验后数据需求至所述资讯数据需求配置表,生成所述资讯数据需求表。
在实施中,通过A31步骤得到与每种数据需求一一对应的验后数据需求后,进一步的,将每种验后数据需求加载到通过A20步骤得到的资讯数据需求配置表中;需要说明的是,与资讯数据需求对应的一组验后数据需求与资讯数据需求配置表中的若干字段一一对应;在实施中,得到一组验后数据需求后,进一步的,将该组验后数据需求中的每个验后数据需求加载到资讯数据需求配置表中对应的字段下。
需要说明的是,将已经生成的资讯数据需求加载至资讯数据需求配置表的过程中,还会有新的资讯数据需求生成,后续在完成早先生成的资讯数据需求的加载后,若后续有新的资讯数据需求生成,则继续将新生成的资讯数据需求继续加载到上述资讯数据需求配置表中,从而实现验后数据需求的动态加载,将验后数据需求动态加载到资讯数据需求配置表中对应的字段下后,得到写入有验后数据需求的资讯数据需求配置表,记为资讯数据需求表,参照图4-a、图4-b以及图4-c。
在一个实施例中,响应于资讯数据发布程序启动,从预先生成的所述资讯数据需求表中获取资讯数据需求,包括:
S111、响应于资讯数据发布程序启动,建立所述资讯数据发布程序与所述数据库的通信连接;所述数据库中预先生成有所述资讯数据需求表。
需要说明的是,资讯数据发布程序的程序架构采用如图5所示的Spring Batch开源批处理架构;Spring Batch开源批处理架构包括:应用层、核心层与基础服务层;应用层为用户写入的批处理任务;核心层包括启动和控制批处理任务所需的运行时类,如Job和Step;基础服务层用于为应用层与核心层提供基础服务,其中基础服务包括Reader与Writer。
在实施中,工作人员控制资讯数据发布程序启动启动后,数据发布程序立即建立与数据库的通信连接,以便于资讯数据发布程序对数据库中的资讯数据需求表进行处理。
S112、从所述资讯数据需求表中获取所述资讯数据需求。
在实施中,数据发布程序与数据库建立通信连接后,进一步的,数据发布程序从数据库中的述资讯数据需求表中开始获取第一个资讯数据需求,其中,资讯数据需求包括与对应的下游资讯消费对象对应的若干数据需求。
在一个实施例中,基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象,包括:
S121、基于所述资讯数据需求从所述数据库中获取对应的数据,得到资讯数据。
需要说明的是,Spring Batch开源批处理架构可以基于获取的资讯数据需求创建对应的Job,Job下包含一个Step,Step包含数据读取dataDistReader与数据写入dataDistWriter。
在实施中,数据发布程序从资讯数据需求表中开始获取资讯数据需求后,进一步的,基于资讯数据需求创建对应的Job与Step;然后,通过dataDistReader从数据库中读取满足资讯数据需求的资讯数据。
S122、将所述资讯数据发布至对应的下游资讯消费对象。
在实施中,将读取到的资讯数据通过dataDistWriter写入与对应下游资讯消费对象对应的发布文件,然后将发布文件发送至对应的下游资讯消费对象;需要说明的是,数据库中与单个资讯数据需要对应的资讯数据的数量较多,资讯数据发布程序的读取与写入资讯数据的能力有限,故每次仅能读取并写入一定数量的资讯数据;其中,读取资讯数据也即从数据库中将对应的资讯数据读取出来,写入数据也即将从读取出的资讯数据写入发布文件,发布文件用于后续发送至对应的下游资讯消费对象,从而使下游资讯消费对应获取相应的资讯数据。针对于同一个资讯数据需求,可能要循环作出多次的资讯数据的读取与写入操作。在一个具体的示例中,假设与一个资讯数据需求对应的资讯数据有10000条,资讯数据发布程序每次仅能读取并写入1000条资讯数据;资讯数据发布程序完成一次资讯数据的读取与写入后,进一步的,判断数据库中是否还有其余未完成读取与写入的资讯数据;若有,返回进行下一次的1000条资讯数据读取与写入,以此循环实现对10000条资讯数据的读取与写入,直至完成10000条资讯数据的读取与写入;否则,停止对资讯数据进行读取与写入;将10000条资讯数据均写入到对应的发布文件中后,进一步的,以短信或者邮件等方式将发布文件发送至对应的下游资讯数据消费对象。
图2为一个实施例中资讯数据发布方法的流程示意图。应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行;除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行;并且图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
图6为本申请实施例二提供的另一种资讯数据发布方法流程图,参考图6,该方法可以由执行该种方法的装置来执行,该装置可以由软件和/或硬件的方式实现,该方法包括:
S210、响应于资讯数据发布程序启动,从预先生成的所述资讯数据需求表中获取资讯数据需求。
S220、基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象。
需要说明的是,S210-S220步骤同上述S110-S120步骤,此处不再赘述。
S230、对所述基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象的步骤进行监控,得到发布过程监控信息,并实时可视化所述发布过程监控信息。
需要说明的是,在本实施例中,Spring Batch开源批处理架构在Job的执行阶段提供有拦截器,其中,拦截器用于对Job的执行阶段进行监控,并得到相应的发布过程监控信息。
在实施中,S220步骤在执行的过程中,Spring Batch开源批处理架构通过拦截器对S220步骤的执行过程进行监控,得到相应的发布过程监控信息;进一步的,通过预设的标准监控接口将发布过程监控信息记录在预设的发布过程监控表中,如图7-a与图7-b所示;从而实现对S220步骤执行过程的实时监控;然后,通过资讯数据发布界面对发布过程监控表进行实时可视化展示,以实现对S220步骤的监控。
其中,在本实施例中,拦截器的示例代码如下:
public class DataDistJobListener implements JobExecutionListener{
private long startTime;
private long endTime;
@Override
public void beforeJob(JobExecution jobExecution){
startTime=System.currentTimeMillis();
-----------(略)
LogUtils.info(this.getClass(),"数据发布任务处理开始");
}
@Override
public void afterJob(JobExecution jobExecution){
BatchStatus batchStatus=jobExecution.getStatus();
String parameters=
jobExecution.getJobParameters().getString("parameters");
-----------(略)
LogUtils.info(this.getClass(),"数据发布任务处理结束");
}
需要说明的是,以往仅仅可以通过Spring Batch开源批处理架构对资讯数据的读取与写入过程进行监控,但是工作人员不能实时有效清晰的了解资讯数据的整个发布过程;但是通过拦截器实现对S220整个步骤的实时监控,可以使工作人员及时有效地掌握资讯数据的整个发布过程情况。
S240、返回执行所述从所述资讯数据需求表中获取资讯数据需求的步骤,直至所述资讯数据需求表中无所述资讯数据需求。
需要说明的是,S240同上述S130步骤,此处不再赘述。
图6为一个实施例中资讯数据发布方法的流程示意图。应该理解的是,虽然图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行;除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行;并且图6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本公开实施例还提供了一种用于实现上述所涉及的资讯数据发布方法的资讯数据发布装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个资讯数据发布装置实施例中的具体限定可以参见上文中对于资讯数据发布方法的限定,在此不再赘述。
在一个实施例中,如图8所示,提供了一种资讯数据发布装置,包括:
需求获取模块,用于响应于资讯数据发布程序启动,从预先生成的所述资讯数据需求表中获取资讯数据需求;
数据发布模块,用于基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象;
返回循环模块,用于返回执行所述从所述资讯数据需求表中获取资讯数据需求的步骤,直至所述资讯数据需求表中无所述资讯数据需求;
其中,生成所述资讯数据需求表的步骤包括:
基于历史资讯数据需求生成资讯数据文件属性;
以所述资讯数据文件属性为条件参数生成资讯数据需求配置表;
将从所述下游资讯消费对象获取的资讯数据需求配置进所述资讯数据需求配置表中,生成所述资讯数据需求表。
上述资讯数据发布装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储XX数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资讯数据发布方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,如图10所示,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本公开的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本公开专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本公开构思的前提下,还可以做出若干变形和改进,这些都属于本公开的保护范围。因此,本公开的保护范围应以所附权利要求为准。
Claims (10)
1.一种资讯数据发布方法,其特征在于,包括:
响应于资讯数据发布程序启动,从预先生成的所述资讯数据需求表中获取资讯数据需求;
基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象;
返回执行所述从所述资讯数据需求表中获取资讯数据需求的步骤,直至所述资讯数据需求表中无所述资讯数据需求;
其中,生成所述资讯数据需求表的步骤包括:
基于历史资讯数据需求生成资讯数据文件属性;
以所述资讯数据文件属性为条件参数生成资讯数据需求配置表;
将从所述下游资讯消费对象获取的资讯数据需求配置进所述资讯数据需求配置表中,生成所述资讯数据需求表。
2.根据权利要求1所述的一种方法,其特征在于,所述基于历史资讯数据需求生成资讯数据文件属性,包括:
获取历史的所述下游资讯消费对象发布的资讯数据需求,得到历史资讯数据需求;
归纳整理所述历史资讯数据需求,得到所述资讯数据文件属性;所述资讯数据文件属性至少包括文件归属、文件方式、文件内容以及文件名称中的一种。
3.根据权利要求1所述的一种方法,其特征在于,所述将从所述下游资讯消费对象获取的资讯数据需求配置进所述资讯数据需求配置表中,生成所述资讯数据需求表,包括:
分类校验从所述下游资讯消费对象获取的资讯数据需求,得到验后数据需求;
动态加载所述验后数据需求至所述资讯数据需求配置表,生成所述资讯数据需求表。
4.根据权利要求1所述的一种方法,其特征在于,所述响应于资讯数据发布程序启动,从预先生成的所述资讯数据需求表中获取资讯数据需求,包括:
响应于资讯数据发布程序启动,建立所述资讯数据发布程序与所述数据库的通信连接;所述数据库中预先生成有所述资讯数据需求表;
从所述资讯数据需求表中获取所述资讯数据需求。
5.根据权利要求1所述的一种方法,其特征在于,所述基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象,包括:
基于所述资讯数据需求从所述数据库中获取对应的数据,得到资讯数据;
将所述资讯数据发布至对应的下游资讯消费对象。
6.根据权利要求1所述的一种方法,其特征在于,所述从预先生成的所述资讯数据需求表中获取资讯数据需求后的步骤,还包括:
对所述基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象的步骤进行监控,得到发布过程监控信息,并实时可视化所述发布过程监控信息。
7.一种资讯数据发布装置,其特征在于,所述装置包括:
需求获取模块,用于响应于资讯数据发布程序启动,从预先生成的所述资讯数据需求表中获取资讯数据需求;
数据发布模块,用于基于所述资讯数据需求从数据库中读取对应的资讯数据,将所述资讯数据发布至对应的下游资讯消费对象;
返回循环模块,用于返回执行所述从所述资讯数据需求表中获取资讯数据需求的步骤,直至所述资讯数据需求表中无所述资讯数据需求;
其中,生成所述资讯数据需求表的步骤包括:
基于历史资讯数据需求生成资讯数据文件属性;
以所述资讯数据文件属性为条件参数生成资讯数据需求配置表;
将从所述下游资讯消费对象获取的资讯数据需求配置进所述资讯数据需求配置表中,生成所述资讯数据需求表。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311715608.8A CN117668039A (zh) | 2023-12-13 | 2023-12-13 | 资讯数据发布方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311715608.8A CN117668039A (zh) | 2023-12-13 | 2023-12-13 | 资讯数据发布方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117668039A true CN117668039A (zh) | 2024-03-08 |
Family
ID=90086261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311715608.8A Pending CN117668039A (zh) | 2023-12-13 | 2023-12-13 | 资讯数据发布方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117668039A (zh) |
-
2023
- 2023-12-13 CN CN202311715608.8A patent/CN117668039A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108259553B (zh) | 业务邮件的发送方法及终端设备 | |
CN110377851B (zh) | 多级联动下拉框的实现方法、装置和计算机设备 | |
WO2022022245A1 (zh) | 数字物权凭证的生成方法、装置及设备 | |
CN110837366A (zh) | 一种表单生成方法、电子装置及计算机可读存储介质 | |
CN107679937B (zh) | 定制服务功能的方法、系统、存储介质及设备 | |
CN111784318A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112765497A (zh) | 业务数据分析结果查询展示方法、装置、设备和介质 | |
CN114090608A (zh) | 数据报表的生成方法及装置 | |
CN114693296A (zh) | 优惠券管理方法、装置、电子设备及存储介质 | |
CN116737137A (zh) | 业务流程的生成方法、装置、计算机设备和存储介质 | |
CN117668039A (zh) | 资讯数据发布方法、装置、设备及存储介质 | |
CN115409014A (zh) | 单据模板生成方法、装置、计算机设备和存储介质 | |
CN115729687A (zh) | 任务调度方法、装置、计算机设备、存储介质 | |
CN112328450A (zh) | 数据监控方法、装置、计算机设备及存储介质 | |
CN111311146B (zh) | 信息传递方法及系统、通信系统、计算机可读存储介质 | |
CN111127171A (zh) | 订单数据处理方法、装置、设备及计算机可读存储介质 | |
US20200081727A1 (en) | A method and a system for hosting multiple multi-tenant applications | |
CN117455568B (zh) | 交易激励资源发送方法、装置、计算机设备及存储介质 | |
CN117453759B (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
JP7215779B1 (ja) | データ処理装置、データ処理方法及びプログラム | |
US20230049322A1 (en) | Information processing method, device, system, and computer-readable storage medium | |
CN117436832A (zh) | 业务邮件的处理方法、装置、计算机设备、介质和产品 | |
CN115456583A (zh) | 问卷调查数据处理方法、设备、计算机设备和存储介质 | |
CN113935773A (zh) | 电子资源对象的处理方法、装置、电子设备及存储介质 | |
CN117389605A (zh) | 业务接口配置方法、装置、设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |