CN109684341B - 一种业务数据的实时同步系统及方法 - Google Patents
一种业务数据的实时同步系统及方法 Download PDFInfo
- Publication number
- CN109684341B CN109684341B CN201811574213.XA CN201811574213A CN109684341B CN 109684341 B CN109684341 B CN 109684341B CN 201811574213 A CN201811574213 A CN 201811574213A CN 109684341 B CN109684341 B CN 109684341B
- Authority
- CN
- China
- Prior art keywords
- data
- data acquisition
- acquisition system
- processing
- processing result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hardware Redundancy (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及信息技术领域,尤其涉及一种业务数据的实时同步系统及方法,包括:数据采集系统接收并存储来自数据源的业务数据,并将业务数据转换为报文并输出;前置系统以接收数据采集系统输出的报文;前置系统中包括消息队列,前置系统按照预设规则将报文存储在消息队列中形成队列消息;前置系统还连接中心系统,以将队列消息发送至中心系统中进行处理,以及接收中心系统处理队列消息的处理结果;数据采集系统包括查询单元,预先设置复数个数据表格;同步系统以定时将前置系统接收到的处理结果同步至数据采集系统中,并根据处理结果更新至数据表格中,以供用户查询;避免的数据的丢失,能够对中心系统的数据处理结果进行及时同步,保证用户体验。
Description
技术领域
本发明涉及信息技术领域,尤其涉及一种业务数据的实时同步系统及方法。
背景技术
随着电子商务的发展,电子支付手段已经成为人们生活中不可或缺的工具了。使用者通过操作设备将业务请求上传至数据采集系统中,数据采集系统接收到业务请求后,则需要将这些业务请求发送至一处理中心,从而获取处理中心对于这些业务请求的处理结果。
但是,由于处理中心对业务请求的处理需要的时间并不固定,人工批量获取处理结果会使得数据同步的周期较长,而且业务请求上传的过程中难免会发生数据丢失的情况,这会导致相应的业务请求在很长的时间内无法获得处理结果,从而极大地影响使用者的体验。
发明内容
针对上述问题,本发明提出了一种业务数据的实时同步系统,其中,包括:
数据采集系统,连接至少一个数据源,以接收并存储来自所述数据源的业务数据,并将所述业务数据转换为报文并输出;
前置系统,连接所述数据采集系统,以接收所述数据采集系统输出的所述报文;
所述前置系统中包括一消息队列,所述前置系统按照一预设规则将所述报文存储在所述消息队列中形成队列消息;
所述前置系统还连接一中心系统,以将所述队列消息发送至所述中心系统中进行处理,以及接收所述中心系统处理所述队列消息的处理结果;
所述数据采集系统包括一查询单元,所述查询单元预先设置复数个数据表格,复数个所述数据表格以根据所述队列消息的类型进行编码;
同步系统,分别连接所述前置系统和所述数据采集系统,以定时将所述前置系统接收到的所述处理结果同步至所述数据采集系统中,并根据所述处理结果更新至所述数据表格中,以供用户查询。
上述的实时同步系统,其中,所述数据采集系统还包括:
一分析单元,以根据所述数据表格的标准状态进行比对,以分析输出所述处理结果的结果状态;
所述结果状态为处理失败,则分析对应的失败原因;
一第一判断单元,连接所述分析单元,以判断所述数据采集系统的策略库中是否存在对应所述失败原因的解决方案;
当判断所述数据采集系统的策略库中存在对应所述失败原因的解决方案时,则采用对应所述失败原因的解决方案解决,最后通过一更新单元将所述处理结果的结果状态更新至所述数据表格中,以供所述用户查询。
上述的实时同步系统,其中,所述数据采集系统还包括:
一第二判断单元,连接所述分析单元,以判断所述数据采集系统的策略库中的解决方案是否能解决对应所述失败原因;
当判断所述数据采集系统的策略库中的解决方案不能解决对应所述失败原因时,则采用人工处理对应的所述失败原因,并通过所述更新单元将所述人工处理后的解决方案更新至所述数据采集系统的策略库,同时将所述人工处理的处理状态更新至所述数据表格中,以供所述用户查询。
本发明还包括一种业务数据的实时同步方法,其中,包括:
步骤S1,通过一数据采集系统采集并存储来自数据源的业务数据;
步骤S2,将所述业务数据转换为报文,并按照一预设规则将所述报文存储在一消息队列中形成队列消息;
步骤S3,将所述队列消息发送至一中心系统中进行处理;
步骤S4,通过所述数据采集系统的查询单元,预先设置复数个数据表格,复数个所述数据表格以根据所述队列消息的类型进行编码;
步骤S5,获取所述中心系统处理所述队列消息的处理结果,并定时将获取到的所述处理结果同步至所述数据采集系统中,并根据所述处理结果更新至所述数据表格中,以供用户查询。
上述实时同步方法,其中,所述数据采集系统还包括:
一分析单元,以根据所述数据表格的标准状态进行比对,以分析输出所述处理结果的结果状态;
所述结果状态为处理失败,则分析对应的失败原因;
一第一判断单元,连接所述分析单元,以判断所述数据采集系统的策略库中是否存在对应所述失败原因的解决方案;
当判断所述数据采集系统的策略库中存在对应所述失败原因的解决方案时,则采用对应所述失败原因的解决方案解决,最后通过一更新单元将所述处理结果的结果状态更新至所述数据表格中,以供所述用户查询。
上述实时同步方法,其中,所述数据采集系统还包括:
一第二判断单元,连接所述分析单元,以判断所述数据采集系统的策略库中的解决方案是否能解决对应所述失败原因;
当判断所述数据采集系统的策略库中的解决方案不能解决对应所述失败原因时,则采用人工处理对应的所述失败原因,并通过所述更新单元将所述人工处理后的解决方案更新至所述数据采集系统的策略库,同时将所述人工处理的处理状态更新至所述数据表格中,以供所述用户查询。
上述实时同步方法,其中,所述业务数据对应有预设的业务状态;
将获取到的所述处理结果同步至所述数据源中的方法具体为:
根据所述处理结果对所述数据采集系统中的所述业务状态进行更新。
有益效果:本发明提出的一种业务数据的实时同步系统及方法,对业务数据的传输过程进行了优化,避免的数据的丢失,同时能够对中心系统的数据处理结果进行及时同步,保证了用户体验。
附图说明
图1为本发明一实施例中业务数据的实时同步系统的结构原理图;
图2为本发明一实施例的中心系统的结构原理图;
图3为本发明一实施例中业务数据的实时同步方法的步骤流程图。
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
实施例一
在一个较佳的实施例中,如图1所示,提出了一种业务数据的实时同步系统,其中,包括:
数据采集系统10,连接至少一个数据源,以接收并存储来自数据源的业务数据,并将业务数据转换为报文并输出;
前置系统20,连接数据采集系统10,以接收数据采集系统10输出的报文;
前置系统20中包括一消息队列,前置系统20按照一预设规则将报文存储在消息队列中形成队列消息;
前置系统20还连接一中心系统50,以将队列消息发送至中心系统50中进行处理,以及接收中心系统50处理队列消息的处理结果;
数据采集系统10包括一查询单元100,查询单元100预先设置复数个数据表格,复数个数据表格以根据队列消息的类型进行编码;
同步系统30,分别连接前置系统20和数据采集系统10,以定时将前置系统20接收到的处理结果同步至数据采集系统10中,并根据处理结果更新至数据表格中,以供用户查询。
上述技术方案中,可以按照一预设协议和/或一预设格式将业务数据转换成报文;队列消息在消息队列中可以是按照一预设顺序依次排列的;同步系统30定时同步的时间周期可以在1~60s(秒)之间;数据源可以是手机客户端,或金融业务机具等;查询单元100可以通过队列消息的类型或队列消息的编码来进行查询;业务数据为账户交易查询请求数据,或账户余额查询请求数据,或转账请求数据等。
在一个较佳的实施例中,数据采集系统10还包括:
一分析单元101,以根据数据表格的标准状态进行比对,以分析输出处理结果的结果状态;
结果状态为处理失败,则分析对应的失败原因;
一第一判断单元102,连接分析单元101,以判断数据采集系统的策略库中是否存在对应失败原因的解决方案;
当判断数据采集系统的策略库中存在对应失败原因的解决方案时,则采用对应失败原因的解决方案解决,最后通过一更新单元103将处理结果的结果状态更新至数据表格中,以供用户查询。
在一个较佳的实施例中,数据采集系统10还包括:
一第二判断单元104,连接分析单元101,以判断数据采集系统的策略库中的解决方案是否能解决对应失败原因;
当判断数据采集系统的策略库中的解决方案不能解决对应失败原因时,则采用人工处理对应的失败原因,并通过更新单元将人工处理后的解决方案更新至数据采集系统的策略库,同时将人工处理的处理状态更新至数据表格中,以供用户查询。
上述技术方案中,如图2所示,数据采集系统10包括分析单元101、第一判断单元102、第二判断单元104及更新单元103,其中,第一判断单元102,用以判断数据采集系统的策略库中是否存在对应失败原因的解决方案,第二判断单元104,用以以判断数据采集系统的策略库中的解决方案是否能解决对应失败原因。
进一步地,将分析出的结果状态为处理成功时,则相应的编码指示更新至数据表格中,在数据表格中,每一种处理结果具有一一对应的编码指示;当第一判断单元102判断数据采集系统的策略库中存在对应失败原因的解决方案,则采用对应失败原因的解决方案解决,最后通过更新单元103将处理结果的结果状态更新至数据表格中,以供用户查询;举例来说,“解析文档出错”对应的编码指示为PR01,也可以说是文档格式错误或文档解析错误,可以通过修改文档并重新上传文档数据,更新单元103将处理结果的结果状态更新至数据表格中;当第一判断单元102判断数据采集系统的策略库中不存在对应失败原因的解决方案,则采用人工处理对应的失败原因,举例来说,“报文头解析错误,而没有获取到报文头信息”对应的编码指示为PR04,在本系统中从未出现过的处理结果,则会发出报警信息,以提示人工处理失败原因,并解决本失败原因,然后通过更新单元103将人工处理后的解决方案更新至数据采集系统的策略库,同时将人工处理的处理状态更新至数据表格中,以供用户查询。
需要说明的是,分析单元101分析输出处理结果的结果状态种类很多,按照同类型的处理方法可以解决,并将对应的结果状态更新至数据表格,同时将对应的解决方案更新至数据采集系统的策略库中,在此不再赘述。
在一个较佳的实施例中,数据采集系统10接收的业务数据对应有预设的业务状态;
同步系统30将前置系统20接收到的处理结果同步至数据采集系统10具体为:
根据处理结果对数据采集系统10中的业务状态进行更新。
上述技术方案中,举例来说,数据采集系统10接收的业务数据为转账请求数据,对应的预设的业务状态应为未转账状态,同步系统30接收到处理结果后,则应将数据采集系统10中的业务状态更新为已转账状态;此时,数据源在数据采集系统10中进行查询时,能够查询到同步后的业务状态。
在一个较佳的实施例中,预设规则为:
先存储的报文对应的队列消息优先发送至中心系统50中进行处理。
上述技术方案中,当需要发送的队列消息的流量超出通讯信道能够承载的限度时,则可以将更早存储的报文对应的队列消息优先发送至中心系统中。
实施例二
如图3所示,在一个较佳的实施例中,还提出了一种业务数据的实时同步方法,其中,可以包括:
步骤S1,通过一数据采集系统采集并存储来自数据源的业务数据;
步骤S2,将业务数据转换为报文,并按照一预设规则将报文存储在一消息队列中形成队列消息;
步骤S3,将队列消息发送至一中心系统中进行处理;
步骤S4,通过数据采集系统的查询单元,预先设置复数个数据表格,复数个数据表格以根据队列消息的类型进行编码;
步骤S5,获取中心系统处理队列消息的处理结果,并定时将获取到的处理结果同步至数据采集系统中,并根据处理结果更新至所述数据表格中,以供用户查询。
上述技术方案中,可以按照一预设协议和/或一预设格式将业务数据转换成报文;队列消息在消息队列中可以是按照一预设顺序依次排列的;查询单元可以通过队列消息的类型或队列消息的编码来进行查询;业务数据为账户交易查询请求数据或账户余额查询请求数据。
在一个较佳的实施例中,数据采集系统10还包括:
一第一判断单元102,连接分析单元101,以判断数据采集系统的策略库中是否存在对应失败原因的解决方案;
当判断数据采集系统的策略库中存在对应失败原因的解决方案时,则采用对应失败原因的解决方案解决,最后通过一更新单元103将处理结果的结果状态更新至数据表格中,以供用户查询。
在一个较佳的实施例中,数据采集系统10还包括:
一第二判断单元104,连接分析单元101,以判断数据采集系统的策略库中的解决方案是否能解决对应失败原因;
当判断数据采集系统的策略库中的解决方案不能解决对应失败原因时,则采用人工处理对应的失败原因,并通过更新单元将人工处理后的解决方案更新至数据采集系统的策略库,同时将人工处理的处理状态更新至数据表格中,以供用户查询。
在一个较佳的实施例中,业务数据对应有预设的业务状态;
将获取到的处理结果同步至数据源中的方法具体为:
根据处理结果对数据采集系统中的业务状态进行更新。
在一个较佳的实施例中,预设规则为:
先存储的报文对应的队列消息优先发送至中心系统中进行处理。
综上所述,本发明提出的一种业务数据的实时同步系统及方法,对业务数据的传输过程进行了优化,避免的数据的丢失,同时能够对中心系统的数据处理结果进行及时同步,保证了用户体验。
通过说明和附图,给出了具体实施方式的特定结构的典型实施例,基于本发明精神,还可作其他的转换。尽管上述发明提出了现有的较佳实施例,然而,这些内容并不作为局限。
对于本领域的技术人员而言,阅读上述说明后,各种变化和修正无疑将显而易见。因此,所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容,都应认为仍属本发明的意图和范围内。
Claims (6)
1.一种业务数据的实时同步系统,其特征在于,包括:
数据采集系统,连接至少一个数据源,以接收并存储来自所述数据源的业务数据,并将所述业务数据转换为报文并输出;
前置系统,连接所述数据采集系统,以接收所述数据采集系统输出的所述报文;
所述前置系统中包括一消息队列,所述前置系统按照一预设规则将所述报文存储在所述消息队列中形成队列消息;
所述前置系统还连接一中心系统,以将所述队列消息发送至所述中心系统中进行处理,以及接收所述中心系统处理所述队列消息的处理结果;
所述数据采集系统包括一查询单元,所述查询单元预先设置复数个数据表格,复数个所述数据表格以根据所述队列消息的类型进行编码;
同步系统,分别连接所述前置系统和所述数据采集系统,以定时将所述前置系统接收到的所述处理结果同步至所述数据采集系统中,并根据所述处理结果更新至所述数据表格中,以供用户查询;
所述数据采集系统还包括:
一分析单元,以根据所述数据表格的标准状态进行比对,以分析输出所述处理结果的结果状态;
所述结果状态为处理失败,则分析对应的失败原因;
一第一判断单元,连接所述分析单元,以判断所述数据采集系统的策略库中是否存在对应所述失败原因的解决方案;
当判断所述数据采集系统的策略库中存在对应所述失败原因的解决方案时,则采用对应所述失败原因的解决方案解决,最后通过一更新单元将所述处理结果的结果状态更新至所述数据表格中,以供所述用户查询;
在所述数据表格中,每一种所述处理结果具有一一对应的编码指示;
所述结果状态为处理成功,则将相应的所述编码指示更新至所述数据表格中。
2.根据权利要求1所述的实时同步系统,其特征在于,所述数据采集系统还包括:
一第二判断单元,连接所述分析单元,以判断所述数据采集系统的策略库中的解决方案是否能解决对应所述失败原因;
当判断所述数据采集系统的策略库中的解决方案不能解决对应所述失败原因时,则采用人工处理对应的所述失败原因,并通过所述更新单元将所述人工处理后的解决方案更新至所述数据采集系统的策略库,同时将所述人工处理的处理状态更新至所述数据表格中,以供所述用户查询。
3.根据权利要求1所述的实时同步系统,其特征在于,所述数据采集系统接收的所述业务数据对应有预设的业务状态;
所述同步系统将所述前置系统接收到的所述处理结果同步至所述数据采集系统具体为:
根据所述处理结果对所述数据采集系统中的所述业务状态进行更新。
4.一种业务数据的实时同步方法,其特征在于,包括:
步骤S1,通过一数据采集系统采集并存储来自数据源的业务数据;
步骤S2,将所述业务数据转换为报文,并按照一预设规则将所述报文存储在一消息队列中形成队列消息;
步骤S3,将所述队列消息发送至一中心系统中进行处理;
步骤S4,通过所述数据采集系统的查询单元,预先设置复数个数据表格,复数个所述数据表格以根据所述队列消息的类型进行编码;
步骤S5,获取所述中心系统处理所述队列消息的处理结果,并定时将获取到的所述处理结果同步至所述数据采集系统中,并根据所述处理结果更新至所述数据表格中,以供用户查询;
所述数据采集系统还包括:
一分析单元,以根据所述数据表格的标准状态进行比对,以分析输出所述处理结果的结果状态;
所述结果状态为处理失败,则分析对应的失败原因;
一第一判断单元,连接所述分析单元,以判断所述数据采集系统的策略库中是否存在对应所述失败原因的解决方案;
当判断所述数据采集系统的策略库中存在对应所述失败原因的解决方案时,则采用对应所述失败原因的解决方案解决,最后通过一更新单元将所述处理结果的结果状态更新至所述数据表格中,以供所述用户查询;
在所述数据表格中,每一种所述处理结果具有一一对应的编码指示;
所述结果状态为处理成功,则将相应的所述编码指示更新至所述数据表格中。
5.根据权利要求4所述的实时同步方法,其特征在于,所述数据采集系统还包括:
一第二判断单元,连接所述第一判断单元,以判断所述数据采集系统的策略库中的解决方案是否能解决对应所述失败原因;
当判断所述数据采集系统的策略库中的解决方案不能解决对应所述失败原因时,则采用人工处理对应的所述失败原因,并通过所述更新单元将所述人工处理后的解决方案更新至所述数据采集系统的策略库,同时将所述人工处理的处理状态更新至所述数据表格中,以供所述用户查询。
6.根据权利要求4所述的实时同步方法,其特征在于,所述业务数据对应有预设的业务状态;
将获取到的所述处理结果同步至所述数据源中的方法具体为:
根据所述处理结果对所述数据采集系统中的所述业务状态进行更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811574213.XA CN109684341B (zh) | 2018-12-21 | 2018-12-21 | 一种业务数据的实时同步系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811574213.XA CN109684341B (zh) | 2018-12-21 | 2018-12-21 | 一种业务数据的实时同步系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109684341A CN109684341A (zh) | 2019-04-26 |
CN109684341B true CN109684341B (zh) | 2023-09-08 |
Family
ID=66188893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811574213.XA Active CN109684341B (zh) | 2018-12-21 | 2018-12-21 | 一种业务数据的实时同步系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109684341B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250543A (zh) * | 2016-08-10 | 2016-12-21 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储方法 |
CN106294741A (zh) * | 2016-08-10 | 2017-01-04 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储系统 |
CN106412071A (zh) * | 2016-10-08 | 2017-02-15 | 中国工商银行股份有限公司 | 一种数据同步方法及装置 |
US20180165297A1 (en) * | 2016-12-09 | 2018-06-14 | Salesforce.Com, Inc. | Systems and methods for providing database updates for data visualization |
-
2018
- 2018-12-21 CN CN201811574213.XA patent/CN109684341B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250543A (zh) * | 2016-08-10 | 2016-12-21 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储方法 |
CN106294741A (zh) * | 2016-08-10 | 2017-01-04 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储系统 |
CN106412071A (zh) * | 2016-10-08 | 2017-02-15 | 中国工商银行股份有限公司 | 一种数据同步方法及装置 |
US20180165297A1 (en) * | 2016-12-09 | 2018-06-14 | Salesforce.Com, Inc. | Systems and methods for providing database updates for data visualization |
Also Published As
Publication number | Publication date |
---|---|
CN109684341A (zh) | 2019-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7039394B2 (en) | Communication system and method for compressing information sent by a communication device to a target portable communication device | |
US20100115137A1 (en) | Data compression method and data communication system utilizing the same | |
US6944623B2 (en) | Method for data synchronization in web-based communications management system | |
EP1227396A1 (en) | A method, system and computer program product for synchronizing data represented by different data structures by using update notifications | |
CN105898893B (zh) | 一种移动终端与物联网设备全双工通信的方法 | |
CN109684341B (zh) | 一种业务数据的实时同步系统及方法 | |
US8583752B2 (en) | Wireless data device with confirmation and retry capabilities for pushed data | |
CN101557411A (zh) | 一种在http通信中统一处理请求应答的方法 | |
CN107147561B (zh) | 一种基于xmpp协议的即时通讯方法及系统 | |
CN105471660A (zh) | 一种适用于新型低轨卫星平台的数据获取方法 | |
CN110585724B (zh) | 游戏客户端中的表格数据更新方法、装置 | |
CN106936937B (zh) | 用于互联网业务交互的通用接口的实现方法和装置 | |
CN113794622B (zh) | 消息处理方法、装置、电子设备及存储介质 | |
CN100502284C (zh) | 通信系统中数据同步方法及其装置 | |
CN111787039A (zh) | 用来监测病理参数的系统及方法 | |
CN115632994A (zh) | 消息处理方法和装置、电子设备以及计算机可读介质 | |
CN109729154B (zh) | 一种基于控制器的简单消息订阅发布服务方法 | |
WO2017000713A1 (zh) | 一种光传送网络中时钟时间传送模式同步的方法及装置 | |
CN111784452A (zh) | 一种实现订单完结的消息推送方法及系统 | |
CN113228595B (zh) | 传输记录的方法和装置 | |
KR102412496B1 (ko) | IoT 프로토콜 변환 장치 | |
US20180007390A1 (en) | Smart small form-factor pluggable (sfp) transceiver | |
KR101442485B1 (ko) | 데이터 통신 시스템 및 그 방법 | |
CN113850988B (zh) | 键值修正方法、装置、设备和计算机可读介质 | |
CN117978748A (zh) | 一种消息传输方法、装置、系统及消息接收设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |