CN110147470B - 一种跨机房数据比对系统及方法 - Google Patents

Abstract

本发明提供了一种跨机房数据比对系统及方法，系统包括数据采集模块、分布式比对子系统、消息队列和数据中心；每一机房的数据采集模块，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将字符串存储至该机房的消息队列；每一机房的分布式比对子系统，用于向数据中心发送用于请求比对规则的比对请求，接收数据中心返回的比对规则；从该机房的消息队列中获得字符串，按照比对规则对字符串进行比对，将比对结果存储至该机房的消息队列；数据中心，用于在接收到比对请求后，向该比对请求的发送者返回比对规则；从每一机房的消息队列中获得比对结果。应用本发明实施例，提高了比对计算的时效性。

Description

一种跨机房数据比对系统及方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种跨机房数据比对系统及方法。

背景技术

随着大数据时代的到来，越来越多的业务系统需要进行数据比对。现有的数据比对流程通常为：通过ETL(Extract-Transform-Load)由从各业务系统抽取实时数据，将实时数据与比对规则进行比对，得到实时数据是否符合比对规则的比对结果。由于各业务系统的数据类型通常不同，可能需经过多次ETL抽取，导致中间环节较多，数据的实时性较弱，并且数据比对方法通常是基于单平台进行比对处理，从获得实时数据到完成数据比对需要耗费较长的时间，而且随着待比对的数据量增多，比对计算的时效性会明显降低。

因此有必要设计一种新的跨机房数据比对系统及方法，以克服上述问题。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种跨机房数据比对系统及方法，以实现提高比对计算的时效性。

本发明是这样实现的：

第一方面，本发明提供一种跨机房数据比对系统，所述系统包括数据采集模块、分布式比对子系统、消息队列和数据中心，其中，数据采集模块、分布式比对子系统和消息队列以机房为单位进行部署；

每一机房的数据采集模块，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至该机房的消息队列；

每一机房的分布式比对子系统，用于向所述数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从该机房的消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该机房的消息队列；

所述数据中心，用于在接收到比对请求后，向该比对请求的发送者返回该比对请求所请求的比对规则；从每一机房的消息队列中获得比对结果。

可选的，所述数据中心还用于：

在接收到比对请求后，在向该比对请求的发送者返回该比对请求所请求的比对规则之前，判断该比对请求是否通过审批；

若判定通过审批，则向该比对请求的发送者返回该比对请求所请求的比对规则；若判定未通过审批，则不向该比对请求的发送者返回该比对请求所请求的比对规则。

可选的，所述数据中心还用于：

在接收到比对请求后，判断该比对请求的发送者所处机房的计算资源是否大于预设阈值；

若不大于预设阈值，则从该机房的消息队列中获得字符串，并确定该比对请求所请求的比对规则；按照所确定的比对规则对所得的字符串进行比对，得到比对结果，并将所得的比对结果推送至该机房的消息队列。

可选的，所述数据中心还用于：

将所得的比对结果存储至自身的数据库。

可选的，所述系统还包括数据统计模块，用于：

统计不同机房的比对流程异常总量、每天采集的实时数据总量、所获得的比对规则总量、比对结果总量中的至少一种，其中，比对流程异常总量为超过预设时长没有获得比对结果的次数。

可选的，每一机房的分布式比对子系统还用于：

在检测到查询指令后，显示本地已录入的比对规则和来自数据中心的比对规则；

在检测到删除指令后，从本地已存储的比对规则中删除所述删除指令所指定的比对规则。

可选的，每一机房的分布式比对子系统从该机房的消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，具体为：

通过Spout组件从该机房的消息队列中读取字符串，通过Bolt组件按照所接收的比对规则对所得的字符串进行比对。

可选的，所述字符串为json串。

第二方面，本发明提供一种跨机房数据比对方法，应用于上述任一所述的系统，所述方法包括：

获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至消息队列；

向数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该消息队列，以使所述数据中心从消息队列中获得比对结果。

可选的，从消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，包括：

通过Spout组件从消息队列中读取字符串，通过Bolt组件按照所接收的比对规则对所得的字符串进行比对。

本发明具有以下有益效果：应用本发明实施例，可以通过数据采集模块获得各业务系统的实时数据并进行数据清洗、标准化转化为字符串，写入本地消息队列，然后通过分布式比对子系统依据数据中心下发的比对规则进行比对，将比对结果推送给消息队列，从而数据中心可以从各机房的消息队列中获得比对结果，实现了机房与数据中心的数据共享，并且通过标准化转换为统一格式的字符串，实现了适应各类数据源输入，提供了统一的输出接口，从而提高了采集数据的实时性；各机房在采集到实时数据后由各机房自行进行比对计算，降低了由于数据流转而造成的延迟，并且通过分布式计算可以提高计算效率，从而提升了跨机房比对计算的时效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种跨机房数据比对系统的结构示意图；

图2为本发明实施例提供的一种跨机房数据比对方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为解决现有技术问题，本发明实施例提供了一种跨机房数据比对系统及方法。下面首先对本发明所提供的一种跨机房数据比对系统进行说明。

参见图1，图1为本发明实施例提供的一种跨机房数据比对系统，所述系统包括数据采集模块11、分布式比对子系统12、消息队列13和数据中心14，其中，数据采集模块11、分布式比对子系统12和消息队列13以机房为单位进行部署；

每一机房的数据采集模块11，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至该机房的消息队列13；

每一机房的分布式比对子系统12，用于向所述数据中心14发送用于请求比对规则的比对请求，接收所述数据中心14针对所述比对请求返回的比对规则；从该机房的消息队列13中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该机房的消息队列13；

所述数据中心14，用于在接收到比对请求后，向该比对请求的发送者返回该比对请求所请求的比对规则；从每一机房的消息队列13中获得比对结果。

每个机房可以一台或多台服务器，可以在服务器上部署数据采集模块、分布式比对子系统和消息队列。数据采集模块可以是具有多源数据采集功能的程序代码或者数据采集工具，可以支持Oracle、Mysql、DMDB、Ftp文件、服务接口等多种数据源的采集、清洗和转换。数据采集模块可以通过配置JDBC连接参数、服务器IP信息、服务器登陆信息、文件路径信息、服务接口Url信息等与各业务系统建立通信连接，从而可以获得各业务系统的实时数据，实时数据可以包括车辆数据、人员身份信息数据等等。实时数据可以是多维数据，例如车辆数据可以包括车辆颜色、车牌号、车主等等；人员身份信息数据可以包括人员身份证号、性别、名字等等。在获得实时数据后，可以按照预设数据规则对实时数据进行数据清洗，数据清洗可以包括检查数据一致性，处理无效值和缺失值等，从而提高数据的完整性和准确性，为了便于对不同数据源的数据的统一处理，可以将清洗后的实时数据标准化转化为预设格式的字符串，因此，实现了适应各类数据源输入，并提供了统一的输出接口。预设格式可以是JSON(JavaScript Object Notation，js对象简谱)格式，字符串可以为json串。

消息队列可以为部署了ActiveMQ、RabbitMQ、ZeroMQ或Kafka等消息队列组件的服务器或服务器集群。可以采用主题模式，在消息队列中存放标准化转化后的字符串。在得到字符串后，消息队列还可以将所得的字符串推送给分布式比对子系统，通过分布式比对子系统进行比对计算。消息队列解决了在高并发环境下，由于来不及同步处理而导致的网络堵塞，提高了系统的处理效率和数据的稳定性。

分布式比对子系统可以是一种用于完成比对计算流程的分布式系统，一个机房的分布式比对子系统可以从该机房的消息队列中获得字符串，实现了在采集到实时数据后就可以在机房内进行比对计算，降低了由于数据流转而造成的延迟，提高了比对计算的时效性。

一个机房的分布式比对子系统可以基于Storm(流式)计算进行比对计算，也就是，通过Spout组件从该机房的消息队列中读取字符串，通过Bolt组件按照所接收的比对规则对所得的字符串进行比对。在获得比对结果后，分布式比对子系统还可以新建主题，将比对结果按主题模式写入消息队列(例如，Kafka)，从而机房可以通过消息队列将比对结果推送给数据中心。

数据中心可以包括一台或多台服务器，可以接收来自各机房的比对请求，向该比对请求的发送者返回该比对请求所请求的比对规则；还可以从每一机房的消息队列中获得比对结果。

一种实现方式中，为了实现比对结果的永久存储，分布式比对子系统或数据中心或跨机房数据比对系统的其他模块还可以从消息队列读取比对结果，并将所读取的比对结果写入RDBMS(Relational Database Management System，关系数据库管理系统)或Hbase数据库进行存储，从而实现对比对结果的永久存储，并还可以通过页面展示比对结果，比对结果可以按照业务系统类别分别进行展示。比对结果可以为各实时数据是否满足某个比对规则。

又一种实现方式中，所述数据中心还可以用于：

在接收到比对请求后，在向该比对请求的发送者返回该比对请求所请求的比对规则之前，判断该比对请求是否通过审批；

若判定通过审批，则向该比对请求的发送者返回该比对请求所请求的比对规则；若判定未通过审批，则不向该比对请求的发送者返回该比对请求所请求的比对规则。

具体的，数据中心可以提供人机交互界面，界面可以显示所接收的比对请求，若检测到审批员选中该比对请求并点击人机交互界面的通过按钮，则可以判定该比对请求通过审批；否则，可以判定该比对请求未通过审批。或者，可以采用预设的审批规则判断该比对请求是否通过审批，若比对请求符合预设的审批规则，则可以判定该比对请求通过审批；否则，可以判定该比对请求未通过审批。预设的审批规则可以根据需求事先设定，本发明对此不做限定，例如，若比对请求符合URL格式，则可以判定该比对请求通过审批；否则，可以判定该比对请求未通过审批。

比对规则的形式可以根据需求事先设定，例如，可以包括待比对的车牌号、身份证号等等。比对请求所请求的比对规则可以是某个或某些比对库中的全部或部分规则。

分布式比对子系统也可以提供人机交互界面，操作者可以通过人机交互界面选择比对库，从而在检测到提交按钮或确认按钮后，可以基于所选中的比对库生成比对请求，进而向数据中心发送比对请求，该比对请求可以用于请求所选中的比对库中的所用比对规则；或者，分布式比对子系统在获得消息队列推送的字符串后，可以直接生成比对请求，该比对请求用于请求预设默认比对库中的比对规则或者全部比对库中的比对规则。

一种实现方式中，所述数据中心还用于：

在接收到比对请求后，判断该比对请求的发送者所处机房的计算资源是否大于预设阈值；

若不大于预设阈值，则从该机房的消息队列中获得字符串，并确定该比对请求所请求的比对规则；按照所确定的比对规则对所得的字符串进行比对，得到比对结果，并将所得的比对结果推送至该机房的消息队列。

数据中心可以每隔固定时长或者每达到预设时间点从获取各机房的计算资源；或者，各机房还可以部署有资源模块，资源模块可以每隔固定时长或者每达到预设时间点向数据中心发送本机房的计算资源。计算资源可以包括CPU资源、内存资源、硬盘资源和网络资源等等。

若机房的计算资源是否大于预设阈值，可以表明机房的机房比对能力不足，由机房的分布式比对子系统进行比对会影响比对效率，这种情况下，为了提高比对效率，可以由数据中心进行比对，并将比对结果推送给机房的消息队列。或者该机房还部署有数据库，可以将比对结果直接推送到机房的数据库。

数据中心可以采用Redis数据库存储比对规则，从而提高了比对规则的读写效率。若机房的计算资源大于预设阈值，数据中心可以针对所接收的比对请求，向发送者下发比对规则，从而可以在机房内进行实时数据比对；若机房的计算资源不大于预设阈值，数据中心还可以提供基于Storm流式计算的高性能数据比对服务，也就是，通过Spout组件获取实时数据，通过Bolt组件进行实时比对计算，并将所得的比对结果推送至机房。另外，数据中心在获得比对结果后，还可以将所得的比对结果存储至自身的数据库。例如RDBMS数据库。

另外，若机房的计算资源不大于预设阈值，数据中心还可以向比对请求的发送者发送用于提示计算资源不足的提示信息。

为了便于数据中心将所得的比对结果推送至机房，数据中心还可以部署另一消息队列，从而可以通过该消息队列推送比对结果推送至机房。

为了实现统计分析，所述系统还可以包括数据统计模块，用于：

统计不同机房的比对流程异常总量、每天采集的实时数据总量、所获得的比对规则总量、比对结果总量中的至少一种，其中，比对流程异常总量为超过预设时长没有获得比对结果的总次数。

数据统计模块可以统计所采集的各个业务系统的每天数据总量和相对于昨天的增量；统计针对不同业务系统的每天比对结果总量和相对于昨天的增量；统计针对不同类型的比对规则总量；统计不同机房的比对流程异常总量，当超过预设时长没有比对结果时，认为比对流程出现异常。比对规则的类型可以与照业务类型相同。

每个机房均可以部署数据统计模块，或者，数据统计模块是独立于机房和数据中心的另一台或多台服务器，或者，也可以部署于数据中心。

各机房还可以部署资源共享模块，资源共享模块可以将每天采集的实时数据总量及其增量可以上报给数据统计模块，采集的实时数据上报给数据中心，从而所有的实时数据可以在数据中心汇聚和存储；还可以将本地临时比对库上报给数据中心，从而若本地临时比对库通过数据中心的审批，可以加入到数据中心的比对库；还可以将本地的比对结果增量上报给数据统计模块，比对结果上报给数据中心，从而比对结果可以在数据中心汇聚和存储；还可以查看各机房当前资源的计算能力得分；将本机房的资源计算能力进行定时上报给数据中心，从而数据中心可以对机房计算能力进行评估和监控。

每一机房的分布式比对子系统还用于：

在检测到查询指令后，显示本地已录入的比对规则和来自数据中心的比对规则；在检测到删除指令后，从本地已存储的比对规则中删除所述删除指令所指定的比对规则。

分布式比对子系统在检测到查询指令后，可以查询已接入的比对规则，包括可以本地已录入的比对规则和来自数据中心的比对规则。在检测到新建指令后，可以新建本地临时比对库，并可以在检测到通过审批指令后，将本地临时比对库加入本地比对库；在检测到比对规则请求指令后，可以生成比对请求，用于向数据中心请求比对规则；还可以选择本地比对库，在已选择的本地比对库中进行比对。分布式比对子系统的人机交互界面可以提供查询按钮，在检测到查询按钮被点击后，可以确定检测到查询指令；可以提供新建按钮，在检测到新建按钮被点击后，可以确定检测到新建指令；可以提供用于选择比对库的选择列表，检测到比对库被选中且确认按钮被点击后，可以确定检测到比对规则请求指令。

对于任一机房，操作者可以通过该机房的分布式比对子系统获得用户输入的比对规则，在比对规则未进行本地审批前，可以将比对规则放入本地临时比对库，在比对规则通过审批后，可以将比对规则从本地临时比对库加入到本地比对库。另外，本地比对库的比对规则可以存储至本机房的消息队列，由消息队列推送至数据中心，在比对规则通过数据中心的审批后，可以加入至数据中心的比对库。

应用本发明实施例，可以通过数据采集模块获得各业务系统的实时数据并进行数据清洗、标准化转化为字符串，写入本地消息队列，然后通过分布式比对子系统依据数据中心下发的比对规则进行实时比对，当机房本地计算资源不足时，还可以由数据中心进行比对，将比对结果推送给机房，实现了机房与数据中心的数据共享，并且能够适应各类数据源输入，并能提供统一的输出接口；各机房采集到实时数据后由各机房自行进行比对计算，降低了由于数据流转而造成的延迟，提升比对计算的时效性；采用Redis内存数据库存储比对规则，提升了比对规则的读写效率，支持千万级比对计算毫秒级返回；数据中心可以对机房本地计算资源进行评估，若机房的计算资源大于预设阈值，则由机房进行比对，若机房的计算资源不大于预设阈值，则由数据中心进行比对；实现了合理进行任务调度，提高了资源利用率。

相应于上述跨机房数据比对系统实施例，本发明实施例提供了一种跨机房数据比对方法，参见图2所示，应用于上述的跨机房数据比对系统，所述方法包括：

S201、获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至消息队列；

S202、向数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该消息队列，以使所述数据中心从消息队列中获得比对结果。

应用本发明实施例，可以通过数据采集模块获得各业务系统的实时数据并进行数据清洗、标准化转化为字符串，写入本地消息队列，然后通过分布式比对子系统依据数据中心下发的比对规则进行比对，将比对结果推送给消息队列，从而数据中心可以从各机房的消息队列中获得比对结果，实现了机房与数据中心的数据共享，并且通过标准化转换为统一格式的字符串，实现了适应各类数据源输入，提供了统一的输出接口，从而提高了采集数据的实时性；各机房在采集到实时数据后由各机房自行进行比对计算，降低了由于数据流转而造成的延迟，并且通过分布式计算可以提高计算效率，从而提升了跨机房比对计算的时效性。

可选的，从消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，包括：

通过Spout组件从消息队列中读取字符串，通过Bolt组件按照所接收的比对规则对所得的字符串进行比对。

可选的，所述方法还包括：

在检测到查询指令后，显示本地已录入的比对规则和来自数据中心的比对规则；在检测到删除指令后，从本地已存储的比对规则中删除所述删除指令所指定的比对规则。

可选的，所述字符串为json串。

可选的，所述方法还包括：

统计不同机房的比对流程异常总量、每天采集的实时数据总量、所获得的比对规则总量、比对结果总量中的至少一种，其中，比对流程异常总量为超过预设时长没有获得比对结果的次数。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种跨机房数据比对系统，其特征在于，所述系统包括数据采集模块、分布式比对子系统、消息队列和数据中心，其中，数据采集模块、分布式比对子系统和消息队列以机房为单位进行部署；

每一机房的数据采集模块，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至该机房的消息队列；

每一机房的分布式比对子系统，用于向所述数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从该机房的消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该机房的消息队列；

所述数据中心，用于在接收到比对请求后，向该比对请求的发送者返回该比对请求所请求的比对规则；从每一机房的消息队列中获得比对结果。

2.根据权利要求1所述的系统，其特征在于，所述数据中心还用于：

在接收到比对请求后，在向该比对请求的发送者返回该比对请求所请求的比对规则之前，判断该比对请求是否通过审批；

若判定通过审批，则向该比对请求的发送者返回该比对请求所请求的比对规则；若判定未通过审批，则不向该比对请求的发送者返回该比对请求所请求的比对规则。

3.根据权利要求1所述的系统，其特征在于，所述数据中心还用于：

在接收到比对请求后，判断该比对请求的发送者所处机房的计算资源是否大于预设阈值；

若不大于预设阈值，则从该机房的消息队列中获得字符串，并确定该比对请求所请求的比对规则；按照所确定的比对规则对所得的字符串进行比对，得到比对结果，并将所得的比对结果推送至该机房的消息队列。

4.根据权利要求3所述的系统，其特征在于，所述数据中心还用于：

将所得的比对结果存储至自身的数据库。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括数据统计模块，用于：

统计不同机房的比对流程异常总量、每天采集的实时数据总量、所获得的比对规则总量、比对结果总量中的至少一种，其中，比对流程异常总量为超过预设时长没有获得比对结果的次数。

6.根据权利要求1所述的系统，其特征在于，每一机房的分布式比对子系统还用于：

在检测到查询指令后，显示本地已录入的比对规则和来自数据中心的比对规则；

在检测到删除指令后，从本地已存储的比对规则中删除所述删除指令所指定的比对规则。

7.根据权利要求1所述的系统，其特征在于，每一机房的分布式比对子系统从该机房的消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，具体为：

通过Spout组件从该机房的消息队列中读取字符串，通过Bolt组件按照所接收的比对规则对所得的字符串进行比对。

8.根据权利要求1或7所述的系统，其特征在于，所述字符串为json串。

9.一种跨机房数据比对方法，其特征在于，应用于权利要求1所述的系统，所述方法包括：

获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至消息队列；

向数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该消息队列，以使所述数据中心从消息队列中获得比对结果。

10.根据权利要求9所述的方法，其特征在于，从消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，包括：

通过Spout组件从消息队列中读取字符串，通过Bolt组件按照所接收的比对规则对所得的字符串进行比对。

Images