CN110442588A - 资讯同步更新方法、装置、计算机设备和存储介质 - Google Patents
资讯同步更新方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110442588A CN110442588A CN201910604102.7A CN201910604102A CN110442588A CN 110442588 A CN110442588 A CN 110442588A CN 201910604102 A CN201910604102 A CN 201910604102A CN 110442588 A CN110442588 A CN 110442588A
- Authority
- CN
- China
- Prior art keywords
- information
- data
- operation flow
- channel side
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 44
- 241000208340 Araliaceae Species 0.000 claims abstract description 28
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims abstract description 28
- 235000003140 Panax quinquefolius Nutrition 0.000 claims abstract description 28
- 235000008434 ginseng Nutrition 0.000 claims abstract description 28
- 239000000284 extract Substances 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 8
- 241001269238 Data Species 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims 1
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003455 independent Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理技术领域，尤其涉及一种资讯同步更新方法、装置、计算机设备和存储介质，包括：接收资讯同步更新指令，提取同步更新指令中的渠道方身份标识ID，以渠道方ID作为查询条件，得到对应的渠道路由；建立与渠道方ID对应的渠道方终端的连接；从所述渠道方终端拉取初始资讯数据，确定初始资讯数据所属的数个业务流程节点；将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，根据计算结果得到资讯更新的时间节点；同步更新在所述资讯更新的时间节点之后的业务流程产生的数据。本申请避免了同步更新过程中重复数据的产生，因而大大提升了用户使用资讯管理系统同步更新资讯的准确性。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种资讯同步更新方法、装置、计算机设备和存储介质。
背景技术
资讯管理系统的资讯通常有固定的来源，系统定时调用渠道方接口拉取资讯存储到资讯数据库，再把增量资讯进行处理后更新至后管数据库，用户通过后管数据库查询得到最新的资讯。
但是，在资讯管理系统拉取数据时，不能有效的清除重复数据，导致资讯管理系统中存在着大量重复内容，使用户不能及时有效的获得需要的资讯。
发明内容
基于此，有必要针对在资讯管理系统拉取数据，不能有效的清除重复数据，导致资讯管理系统中存在着大量重复内容，使用户不能及时有效的获得需要的资讯的问题，提供一种资讯同步更新方法、装置、计算机设备和存储介质。
一种资讯同步更新方法，包括以下步骤：
接收资讯同步更新指令，提取所述同步更新指令中的渠道方身份标识ID，以所述渠道方ID作为查询条件，从本地资讯数据库中提取出所述渠道方ID对应的渠道路由；
根据所述渠道路由，建立与所述渠道方ID对应的渠道方终端的连接；
从所述渠道方终端拉取初始资讯数据，所述初始资讯数据包含有资讯身份标识ID；
根据所述资讯ID，确定初始资讯数据所属的数个业务流程节点；
将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，若所述计算结果非空，则所述计算结果作为资讯更新的时间节点；
抽取在所述资讯更新的时间节点之后的业务流程产生的数据作为待更新的资讯数据，更新所述待更新的资讯数据至所述本地资讯数据库。
在其中一个可能的实施例中，所述从所述渠道方终端拉取初始资讯数据之后，所述方法还包括：
提取所述初始资讯数据中的资讯标签，若任意两个或者以上的资讯信息对应的资讯标签相同，则将具有相同资讯标签的资讯信息进行打包成一资讯数据包；
遍历所述资讯数据包，清除所述资讯数据包中的重复数据后，得到待进行排列的资讯数据。
在其中一个可能的实施例中，所述根据所述资讯ID，确定初始资讯数据所属的数个业务流程节点，包括：
遍历资讯ID的管理文件，从所述管理文件中提取资讯ID对应的数个业务流程节点；
以任一所述业务流程节点作为目标业务流程节点，获取所述目标业务流程节点的输入数据和输出数据；
将所述输入数据或者所述输出数据入参到其它业务流程节点的执行函数中进行运算，若所述执行函数的运算结果非空，则所述执行函数对应的业务流程节点为所述目标业务流程节点的父节点或者子节点；
根据各所述业务流程节点的位置，得到所述业务路程的执行时段。
在其中一个可能的实施例中，所述提取出所述初始资讯数据的资讯ID，将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，若所述计算结果非空，则所述计算结果作为资讯更新的时间节点，包括：
提取出所述初始资讯数据的资讯ID，将所述资讯ID入参到所述资讯管理系统端口的起始时间识别函数进行运算，得到数个起始时间函数值，所述起始时间函数值非空；
将所述起始时间函数值入参到所述资讯管理系统端口的非起始时间识别函数中进行运算，得到数个非起始时间识别函数值；
若任意两个或者两个以上的所述非起始时间识别函数值一致且非空，则从满足函数值一致且非空的至少两个所述非起始时间识别函数中选择一个作为一个资讯更新的时间节点；
否则以任一个非空的所述起始时间函数值分别作为一个所述资讯更新的时间节点。
在其中一个可能的实施例中，所述从所述业务流程序列中抽取出所述时间节点之后的业务流程作为待更新的资讯数据，更新所述待更新的资讯数据至所述本地资讯数据库之后，所述方法还包括：
遍历所述本地资讯数据库，若所述本地资讯数据库中存在有重复数据，则清除所述重复数据；
并向所述重复数据对应的渠道方终端发送业务流程重置指令，所述业务流程重置指令用于指示所述渠道方终端进行业务流程节点进行修正。
一种资讯同步更新装置，包括如下模块：
路由获取模块，设置为接收资讯同步更新指令，提取所述同步更新指令中的渠道方身份标识ID，以所述渠道方ID作为查询条件，从本地资讯数据库中提取出所述渠道方ID对应的渠道路由；
建立连接模块，设置为根据所述渠道路由，建立与所述渠道方ID对应的渠道方终端的连接；
数据拉取模块，设置为从所述渠道方终端拉取初始资讯数据，所述初始资讯数据包含有资讯身份标识ID；
数据处理模块，设置为根据所述资讯ID，确定初始资讯数据所属的数个业务流程节点；将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，若所述计算结果非空，则所述计算结果作为资讯更新的时间节点；抽取在所述资讯更新的时间节点之后的业务流程产生的数据作为待更新的资讯数据，更新所述待更新的资讯数据至所述本地资讯数据库。
在其中一个可能的实施例中，所述数据处理模块，还用于：
提取所述初始资讯数据中的资讯标签，若任意两个或者以上的资讯信息对应的资讯标签相同，则将具有相同资讯标签的资讯信息进行打包成一资讯数据包；遍历所述资讯数据包，清除所述资讯数据包中的重复数据后，得到待进行排列的资讯数据。
在其中一个可能的实施例中，所述数据处理模块，还用于：
遍历资讯ID的管理文件，从所述管理文件中提取资讯ID对应的数个业务流程节点；以任一所述业务流程节点作为目标业务流程节点，获取所述目标业务流程节点的输入数据和输出数据；将所述输入数据或者所述输出数据入参到其它业务流程节点的执行函数中进行运算，若所述执行函数的运算结果非空，则所述执行函数对应的业务流程节点为所述目标业务流程节点的父节点或者子节点；根据各所述业务流程节点的位置，得到所述业务路程的执行时段。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述资讯同步更新方法的步骤。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述资讯同步更新方法的步骤。
与现有机制相比，本申请通过提取同步更新指令中的渠道方身份标识ID，以渠道方ID作为查询条件，得到对应的渠道路由；建立与渠道方ID对应的渠道方终端的连接；确定初始资讯数据所属的数个业务流程节点；将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，根据计算结果得到资讯更新的时间节点；同步更新在所述资讯更新的时间节点之后的业务流程产生的数据，确定了每一个更新发生的时间节点所要更新的数据，从而避免了同步更新过程中重复数据的产生，因而大大提升了用户使用资讯管理系统同步更新资讯的准确性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。
图1为本申请在一个实施例中的一种资讯同步更新方法的整体流程图；
图2为本申请在一个实施例中的一种资讯同步更新方法中的业务流程排序过程示意图；
图3为本申请在一个实施例中的一种资讯同步更新方法中的更新节点获取过程示意图；
图4为本申请在一个实施例中的一种资讯同步更新装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本申请在一个实施例中的一种资讯同步更新方法的整体流程图，一种资讯同步更新方法，包括以下步骤：
S1、接收资讯同步更新指令，提取所述同步更新指令中的渠道方身份标识ID，以所述渠道方ID作为查询条件，从本地资讯数据库中提取出所述渠道方ID对应的渠道路由；
具体的，资讯同步更新的过程中需要对渠道方的身份进行识别，从而能够根据不同的渠道方进行不同的资讯更新。比如，A渠道方的资讯数据格式为XML格式，而B渠道方的资讯数据格式为MQTT格式，对于这两种不同格式，在进行资讯更新时需要针对不同资讯数据格式采用不同的更新和存储文件完成同步更新操作。
在本地资讯数据库中存储有各个渠道方终端的IP地址，以所述渠道方ID作为查询条件进行查询后，可以得到所述渠道方ID对应的渠道方终端的IP地址，通过所述IP地址就可以获得相应的渠道路由。
S2、根据所述渠道路由，建立与所述渠道方ID对应的渠道方终端的连接；
具体的，在得到渠道路由后，可以通过三次握手的方式，建立与渠道方终端的连接。即向所述渠道方终端发送同步序列SYN信号；接收所述渠道方终端对于所述同步序列编号SYN的反馈信息，若所述反馈信息中包含有同步序列接收信号，确定所述渠道方终端已经接收到所述SYN信号；向所述服务器发送确认信号ACK，建立与所述渠道方终端的连接。
S3、从所述渠道方终端拉取初始资讯数据，所述初始资讯数据包含有资讯身份标识ID；
具体的，在从渠道方进行初始资讯数据拉取时可以采用以下方式，先向渠道方发送初始资讯数据拉取请求，渠道方在接收到初始数据拉取请求后，对请求进行整合。如请求拉取的初始资讯数据包括两种类型的资讯数据，即第一资讯数据和第二资讯数据。第一资讯数据或者第二资讯数据可以是文字数据、视频数据、图像数据等等。在上述资讯数据拉取请求中可携带第一数据的标识和第二数据的标识。此外，若上述数据拉取请求是专用于请求拉取第一数据和第二数据的请求消息，则上述数据拉取请求中也可不携带第一数据的标识和第二数据的标识。渠道方终端在接收到相应的拉取初始资讯数据请求后，即发送初始资讯数据至资讯管理系统终端。
S4、根据所述资讯ID，确定初始资讯数据所属的数个业务流程节点；
具体的，在渠道方终端产生资讯数据过程中存在着多个业务流程节点，比如，A渠道方终端每日上午9点会对终端的图像类资讯进行更新，那么每日上午9点就是该渠道方终端进行图像类资讯数据更新的业务流程节点。
S5、将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，若所述计算结果非空，则所述计算结果作为资讯更新的时间节点；
具体的，若所述资讯ID为数字形式，则直接入参到所述时间识别函数中进行计算，若所述资讯ID是非数字形式则进行数字转换，转换规则可以根据64进制转换成十进制的方式，将所述资讯ID的非数字字符转成数字形式。时间识别函数可以采用DATEDIF函数后者MYSQL中的时间处理函数等。
S6、抽取在所述资讯更新的时间节点之后的业务流程产生的数据作为待更新的资讯数据，更新所述待更新的资讯数据至所述本地资讯数据库。
本实施例，通过对渠道方进行业务流程分析，从而避免了同步更新过程中重复数据的产生，因而大大提升了用户使用资讯管理系统同步更新资讯的准确性。
在其中一个实施例中，所述从所述渠道方终端拉取初始资讯数据之后，所述方法还包括：
提取所述初始资讯数据中的资讯标签，若任意两个或者以上的资讯信息对应的资讯标签相同，则将具有相同资讯标签的资讯信息进行打包成一资讯数据包；
遍历所述资讯数据包，清除所述资讯数据包中的重复数据后，得到待进行排列的资讯数据。
本实施例，将资讯数据进行合并打包，从而减少了资讯更新所需要耗费的线程。
图2为本申请在一个实施例中的一种资讯同步更新方法中的业务流程排序过程示意图，如图所示，所述S4、根据所述资讯ID，确定初始资讯数据所属的数个业务流程节点，将各所述业务流程节点进行排序，包括：
S41、遍历资讯ID的管理文件，从所述管理文件中提取资讯ID对应的数个业务流程节点；
具体的，资讯ID的管理文件存储在资讯更新管理系统的后管数据库中，在资讯ID的管理文件中存储有每一个资讯ID对应的业务路程节点，如资讯ID为“篮球”，则业务流程节点可以为两个，一个为中午12点进行NBA数据更新的业务流程节点，另一个为晚上10点的CBA数据更新的业务流程节点。因此，只需要获得资讯ID，就可以在管理文件中查询到该资讯对应的各个业务流程节点。
S42、以任一所述业务流程节点作为目标业务流程节点，获取所述目标业务流程节点的输入数据和输出数据；
具体的，对于业务流程节点的选取，可以将业务流程节点进行编号，然后将编号入参到随机函数进行运算，根据运算结果确定所述目标业务流程节点。在目标业务流程节点的输入数据为上一个业务流程的输出数据，而目标业务流程节点的输出数据是下一个业务流程的输入数据，也就是说业务流程都是相互关联的，要么是并行执行的关系，要么是接续执行的关系。
S43、将所述输入数据或者所述输出数据入参到其它业务流程节点的执行函数中进行运算，若所述执行函数的运算结果非空，则所述执行函数对应的业务流程节点为所述目标业务流程节点的父节点或者子节点；
具体的，执行函数可以应用程序API函数，对所述输入数据或者输出数据进行识别，识别的方式是对输入数据或者输出数据中的特种字符进行识别。识别后得到所述输入数据或者输出数据是属于哪一个API函数入参的自变量，当确定属于哪一个API函数后，将该输入数据或者输出数据入参到对应的API函数中进行计算。计算后得到的结果为正常结果，即是非空的数值，则该业务流程节点是目标业务流程节点的父节点或者子节点。反之，该业务流程节点与目标流程节点是并行执行的关系。
S44、根据各所述业务流程节点的位置，得到所述业务路程的执行时段。
其中，不同的业务流程在执行时存在着时序关系，时序关系是指各流程节点之间启动操作的时间先后关系，对于同一个流程节点下的父节点和子节点而言，该时序关系还可以是指父节点的启动时间与子节点的启动时间、以及子节点的启动时间与子节点的启动时间之间的先后关系。
本实施例，通过执行函数对个业务流程的执行先后顺序进行排列，从而有效的对资讯数据进行分类更新，提升同步更新的速度和准确性。
图3为本申请在一个实施例中的一种资讯同步更新方法中的更新节点获取过程示意图，如图所示，所述S5、将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，若所述计算结果非空，则所述计算结果作为资讯更新的时间节点，包括：
S51、提取出所述初始资讯数据的资讯ID，将所述资讯ID入参到所述资讯管理系统端口的起始时间识别函数进行运算，得到数个起始时间函数值，所述起始时间函数值非空；
具体的，资讯管理系统端口的起始时间识别函数是指在资讯管理系统端口开始工作时最先触发的函数，只有此函数被触发后，资讯管理系统端口才能正常工作。
S52、将所述起始时间函数值入参到所述资讯管理系统端口的非起始时间识别函数中进行运算，得到数个非起始时间识别函数值；
其中，非起始时间识别函数是指不在资讯管理系统端口开始工作时就被触发的函数。
S53、若任意两个或者两个以上的所述非起始时间识别函数值一致且非空，则从满足函数值一致且非空的至少两个所述非起始时间识别函数中选择一个作为一个资讯更新的时间节点；否则以任一个非空的所述起始时间函数值分别作为一个所述资讯更新的时间节点。
本实施例，通过时间识别函数对资讯更新的时间节点进行有效确定，大大提升了资讯同步更新的效率。
在其中一个实施例中，所述S6、从所述业务流程序列中抽取出所述时间节点之后的业务流程作为待更新的资讯数据，更新所述待更新的资讯数据至所述本地资讯数据库之后，所述方法还包括：
遍历所述本地资讯数据库，若所述本地资讯数据库中存在有重复数据，则清除所述重复数据；
其中，清除重复数据时可以采用DataWrangler、Google Refine等数据清洗工具进行清洗。
并向所述重复数据对应的渠道方终端发送业务流程重置指令，所述业务流程重置指令用于指示所述渠道方终端进行业务流程节点进行修正。
本实施例，对于同步更新后的数据进行查重清除，能够及时对渠道方的资讯数据进行管控。
在一个实施例中，提出了一种资讯同步更新装置，如图4所示，包括如下模块：
路由获取模块，设置为接收资讯同步更新指令，提取所述同步更新指令中的渠道方身份标识ID，以所述渠道方ID作为查询条件，从本地资讯数据库中提取出所述渠道方ID对应的渠道路由；
建立连接模块，设置为根据所述渠道路由，建立与所述渠道方ID对应的渠道方终端的连接；
数据拉取模块，设置为从所述渠道方终端拉取初始资讯数据，所述初始资讯数据包含有资讯身份标识ID；
数据处理模块，设置为根据所述资讯ID，确定初始资讯数据所属的数个业务流程节点；将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，若所述计算结果非空，则所述计算结果作为资讯更新的时间节点；抽取在所述资讯更新的时间节点之后的业务流程产生的数据作为待更新的资讯数据，更新所述待更新的资讯数据至所述本地资讯数据库。
在其中一个实施例中，所述数据处理模块，还用于：
提取所述初始资讯数据中的资讯标签，若任意两个或者以上的资讯信息对应的资讯标签相同，则将具有相同资讯标签的资讯信息进行打包成一资讯数据包；遍历所述资讯数据包，清除所述资讯数据包中的重复数据后，得到待进行排列的资讯数据。
本实施例，数据处理模块将资讯数据进行合并打包，从而减少了资讯更新所需要耗费的线程。
在其中一个实施例中，所述数据处理模块，还用于：
遍历资讯ID的管理文件，从所述管理文件中提取资讯ID对应的数个业务流程节点；以任一所述业务流程节点作为目标业务流程节点，获取所述目标业务流程节点的输入数据和输出数据；将所述输入数据或者所述输出数据入参到其它业务流程节点的执行函数中进行运算，若所述执行函数的运算结果非空，则所述执行函数对应的业务流程节点为所述目标业务流程节点的父节点或者子节点；根据各所述业务流程节点的位置，得到所述业务路程的执行时段。
本实施例，数据处理模块对流程节点的为准关系进行确定，进行而将各个流程进行排序，从而可以将同一时间段内并行执行的流程进行打包更新，而对于不同时间段的流程则根据接续关系进行有效的排序，最终使资讯同步更新能够有效进行。
在其中一个实施例中，所述数据处理模块，还用于：
提取出所述初始资讯数据的资讯ID，将所述资讯ID入参到所述资讯管理系统端口的起始时间识别函数进行运算，得到起始时间函数值，所述起始时间函数值非空；将所述起始时间函数值入参到所述资讯管理系统端口的非起始时间识别函数中进行运算；若任意两个或者以上的所述非起始时间识别函数的运算结果一致且非空，则以运算结果作为所述时间节点；否则以所述起始时间函数值作为所述资讯更新的时间节点。
本实施例，数据处理模块应用实践识别函数对资讯更新的时间节点进行了有效的分析，从而能够准确快速的获得所要进行更新的资讯。
在其中一个实施例中，所述数据处理模块，还用于：
遍历所述本地资讯数据库，若所述本地资讯数据库中存在有重复数据，则清除所述重复数据；并向所述重复数据对应的渠道方终端发送业务流程重置指令，所述业务流程重置指令用于指示所述渠道方终端进行业务流程节点进行修正。
本实施例，数据处理模块在完成同步数据更新后对更新后的数据进行再次查重，从而有效的避免了由于渠道方上传数据错误导致的资讯更新错误的情形。
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述资讯同步更新方法的步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中的所述资讯同步更新方法的步骤。其中，所述存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请一些示例性实施例，其中描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种资讯同步更新方法，其特征在于，包括：
接收资讯同步更新指令，提取所述同步更新指令中的渠道方身份标识ID，以所述渠道方ID作为查询条件，从本地资讯数据库中提取出所述渠道方ID对应的渠道路由；
根据所述渠道路由，建立与所述渠道方ID对应的渠道方终端的连接；
从所述渠道方终端拉取初始资讯数据，所述初始资讯数据包含有资讯身份标识ID；
根据所述资讯ID，确定初始资讯数据所属的数个业务流程节点；
将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，若所述计算结果非空，则所述计算结果作为资讯更新的时间节点；
抽取在所述资讯更新的时间节点之后的业务流程产生的数据作为待更新的资讯数据，更新所述待更新的资讯数据至所述本地资讯数据库。
2.根据权利要求1所述的资讯同步更新方法，其特征在于，所述从所述渠道方终端拉取初始资讯数据之后，所述方法还包括：
提取所述初始资讯数据中的资讯标签，若任意两个或者以上的资讯信息对应的资讯标签相同，则将具有相同资讯标签的资讯信息进行打包成一资讯数据包；
遍历所述资讯数据包，清除所述资讯数据包中的重复数据后，得到待进行排列的资讯数据。
3.根据权利要求1所述的资讯同步更新方法，其特征在于，所述根据所述资讯ID，确定初始资讯数据所属的数个业务流程节点，包括：
遍历资讯ID的管理文件，从所述管理文件中提取资讯ID对应的数个业务流程节点；
以任一所述业务流程节点作为目标业务流程节点，获取所述目标业务流程节点的输入数据和输出数据；
将所述输入数据或者所述输出数据入参到其它业务流程节点的执行函数中进行运算，若所述执行函数的运算结果非空，则所述执行函数对应的业务流程节点为所述目标业务流程节点的父节点或者子节点；
根据各所述业务流程节点的位置，得到所述业务路程的执行时段。
4.根据权利要求1所述的资讯同步更新方法，其特征在于，所述提取出所述初始资讯数据的资讯ID，将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，若所述计算结果非空，则所述计算结果作为资讯更新的时间节点，包括：
提取出所述初始资讯数据的资讯ID，将所述资讯ID入参到所述资讯管理系统端口的起始时间识别函数进行运算，得到数个起始时间函数值，所述起始时间函数值非空；
将所述起始时间函数值入参到所述资讯管理系统端口的非起始时间识别函数中进行运算，得到数个非起始时间识别函数值；
若任意两个或者两个以上的所述非起始时间识别函数值一致且非空，则从满足函数值一致且非空的至少两个所述非起始时间识别函数中选择一个作为一个资讯更新的时间节点；
否则以任一个非空的所述起始时间函数值分别作为一个所述资讯更新的时间节点。
5.根据权利要求1所述的资讯同步更新方法，其特征在于，所述从所述业务流程序列中抽取出所述时间节点之后的业务流程作为待更新的资讯数据，更新所述待更新的资讯数据至所述本地资讯数据库之后，所述方法还包括：
遍历所述本地资讯数据库，若所述本地资讯数据库中存在有重复数据，则清除所述重复数据；
并向所述重复数据对应的渠道方终端发送业务流程重置指令，所述业务流程重置指令用于指示所述渠道方终端进行业务流程节点进行修正。
6.一种资讯同步更新装置，其特征在于，包括以下模块：
路由获取模块，设置为接收资讯同步更新指令，提取所述同步更新指令中的渠道方身份标识ID，以所述渠道方ID作为查询条件，从本地资讯数据库中提取出所述渠道方ID对应的渠道路由；
建立连接模块，设置为根据所述渠道路由，建立与所述渠道方ID对应的渠道方终端的连接；
数据拉取模块，设置为从所述渠道方终端拉取初始资讯数据，所述初始资讯数据包含有资讯身份标识ID；
数据处理模块，设置为根据所述资讯ID，确定初始资讯数据所属的数个业务流程节点；将所述资讯ID入参到资讯管理系统端口的时间识别函数中进行计算，若所述计算结果非空，则所述计算结果作为资讯更新的时间节点；抽取在所述资讯更新的时间节点之后的业务流程产生的数据作为待更新的资讯数据，更新所述待更新的资讯数据至所述本地资讯数据库。
7.根据权利要求6所述的资讯同步更新装置，其特征在于，所述数据处理模块，还用于：
提取所述初始资讯数据中的资讯标签，若任意两个或者以上的资讯信息对应的资讯标签相同，则将具有相同资讯标签的资讯信息进行打包成一资讯数据包；遍历所述资讯数据包，清除所述资讯数据包中的重复数据后，得到待进行排列的资讯数据。
8.根据权利要求6所述的资讯同步更新装置，其特征在于，所述数据处理模块，还用于：
遍历资讯ID的管理文件，从所述管理文件中提取资讯ID对应的数个业务流程节点；以任一所述业务流程节点作为目标业务流程节点，获取所述目标业务流程节点的输入数据和输出数据；将所述输入数据或者所述输出数据入参到其它业务流程节点的执行函数中进行运算，若所述执行函数的运算结果非空，则所述执行函数对应的业务流程节点为所述目标业务流程节点的父节点或者子节点；根据各所述业务流程节点的位置，得到所述业务路程的执行时段。
9.一种计算机设备，其特征在于，所述设备包括：
至少一个处理器、存储器和收发器；
其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中存储的程序代码来执行如权利要求1-5中任一项所述资讯同步更新的方法。
10.一种计算机存储介质，其特征在于，其包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述资讯同步更新的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910604102.7A CN110442588A (zh) | 2019-07-05 | 2019-07-05 | 资讯同步更新方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910604102.7A CN110442588A (zh) | 2019-07-05 | 2019-07-05 | 资讯同步更新方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442588A true CN110442588A (zh) | 2019-11-12 |
Family
ID=68429444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910604102.7A Pending CN110442588A (zh) | 2019-07-05 | 2019-07-05 | 资讯同步更新方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442588A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111857764A (zh) * | 2020-06-12 | 2020-10-30 | 浙江大华技术股份有限公司 | 离线数据更新方法、装置、设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003073292A1 (en) * | 2002-02-25 | 2003-09-04 | Siebel Systems, Inc. (A Corporation Of Delaware) | Method and system for server-based operations in server synchronization with a computing device |
| US20070016695A1 (en) * | 2001-09-28 | 2007-01-18 | Rabbers David L | Method and system for client-based operations in server synchronization with a computing device |
| CN107360211A (zh) * | 2017-06-19 | 2017-11-17 | 努比亚技术有限公司 | 一种信息流资讯的下线方法、相关设备及计算机存储介质 |
| CN107784065A (zh) * | 2017-08-17 | 2018-03-09 | 平安壹钱包电子商务有限公司 | 业务数据跟踪方法、装置、计算机设备及存储介质 |
| WO2018120457A1 (zh) * | 2016-12-29 | 2018-07-05 | 平安科技（深圳）有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
| WO2018149373A1 (zh) * | 2017-02-16 | 2018-08-23 | 平安科技（深圳）有限公司 | 文件交互方法、系统、终端设备及介质 |
| CN108804697A (zh) * | 2018-06-15 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 基于Spark的数据同步方法、装置、计算机设备和存储介质 |
| CN109857747A (zh) * | 2018-12-18 | 2019-06-07 | 百度在线网络技术（北京）有限公司 | 数据同步更新方法、系统和计算机设备 |
-
2019
- 2019-07-05 CN CN201910604102.7A patent/CN110442588A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070016695A1 (en) * | 2001-09-28 | 2007-01-18 | Rabbers David L | Method and system for client-based operations in server synchronization with a computing device |
| WO2003073292A1 (en) * | 2002-02-25 | 2003-09-04 | Siebel Systems, Inc. (A Corporation Of Delaware) | Method and system for server-based operations in server synchronization with a computing device |
| WO2018120457A1 (zh) * | 2016-12-29 | 2018-07-05 | 平安科技（深圳）有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
| WO2018149373A1 (zh) * | 2017-02-16 | 2018-08-23 | 平安科技（深圳）有限公司 | 文件交互方法、系统、终端设备及介质 |
| CN107360211A (zh) * | 2017-06-19 | 2017-11-17 | 努比亚技术有限公司 | 一种信息流资讯的下线方法、相关设备及计算机存储介质 |
| CN107784065A (zh) * | 2017-08-17 | 2018-03-09 | 平安壹钱包电子商务有限公司 | 业务数据跟踪方法、装置、计算机设备及存储介质 |
| CN108804697A (zh) * | 2018-06-15 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 基于Spark的数据同步方法、装置、计算机设备和存储介质 |
| CN109857747A (zh) * | 2018-12-18 | 2019-06-07 | 百度在线网络技术（北京）有限公司 | 数据同步更新方法、系统和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| 叶涛;: "移动资讯平台及数据业务发展模式探讨", 江苏通信, no. 05 * |
| 盛逍遥;吴友邦;王翔;李丽;: "智能推荐算法在规国房系统中的应用", 天津科技, no. 09 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111857764A (zh) * | 2020-06-12 | 2020-10-30 | 浙江大华技术股份有限公司 | 离线数据更新方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109491905A (zh) | 前端测试方法、装置及电子设备 | |
| US11055210B2 (en) | Software test equipment and software testing method | |
| CN108733698B (zh) | 一种日志消息的处理方法及后台服务系统 | |
| CN104598551A (zh) | 一种数据统计方法及装置 | |
| US20150026244A1 (en) | Communication system, client terminal, and server device | |
| CN113961332A (zh) | 一种工作流引擎实现的方法、装置、电子设备及存储介质 | |
| CN110532021A (zh) | 分布式控制系统的组态文件的处理方法及装置 | |
| CN104038382B (zh) | 网络监视系统 | |
| CN114328122A (zh) | 一种io全生命周期时延监测方法及相关装置 | |
| CN107871055B (zh) | 一种数据分析方法和装置 | |
| CN106209840A (zh) | 一种网络包去重方法及装置 | |
| CN110442588A (zh) | 资讯同步更新方法、装置、计算机设备和存储介质 | |
| CN115049493A (zh) | 一种区块链数据追踪方法、装置及电子设备 | |
| CN101495978A (zh) | 减少总线连接的消费者和产生者之间的消息流 | |
| JP2007004414A (ja) | 複合サービス部品宛先解決方法 | |
| CN112926855A (zh) | 一种基于知识图谱的营销活动风险控制系统及方法 | |
| CN115174414B (zh) | 自动识别会话中设备、设备路径的方法、系统及电子设备 | |
| CN116760571A (zh) | 资产识别方法、装置、电子设备及存储介质 | |
| CN115842861A (zh) | 边缘连接设备适配方法、装置及计算机可读存储介质 | |
| JP2006228019A (ja) | ビジネスプロセス抽出支援方法、ビジネスプロセス抽出支援システム及びサーバ | |
| CN115865832A (zh) | 服务链路的生成方法及装置、电子设备、存储介质 | |
| US10977146B2 (en) | Application operation monitoring apparatus and application operation monitoring method | |
| CN114221883A (zh) | 消息测试方法、装置、服务器及存储介质 | |
| CN113987107A (zh) | 基于行为树的对话方法、装置及电子设备、存储介质 | |
| CN113421105A (zh) | 基于大数据防欺诈的信息处理方法及人工智能监测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240621 |
|
| AD01 | Patent right deemed abandoned |