CN109086390A - 一种实现数据一致性实时监控方法 - Google Patents

Abstract

本发明公开了一种实现数据一致性实时监控方法，采用元数据系统当中配置的rowkey字段作为每条记录的唯一标识，对与rowkey的值进行hash生成每条记录对应的id，在数据源端即CSourse端对每个Destination的数据生成相应的Root_id和每条记录对应的idl，并将其发送到中间件即Kafka和监控任务当中。本发明使用比通用的历史存储数据比对和校验方案更专业和更高效监控实时数据一致性技术避免严重耗内存、严重依赖CPU，减轻系统资源的压力，同时提升了数据的实时性和吞吐量，可以定制化监控更多的数据满足更多的业务需求。

Description

一种实现数据一致性实时监控方法

技术领域

本发明涉及网络通讯领域，具体是一种实现数据一致性实时监控方法。

背景技术

Storm是一个开源的分布式实时计算系统，其中对于Tuple发送成功或失败使用的是Ack机制,Spout每发送一个Tuple，则会发送一个tuple_id和随机的消息id到Ack Bolt当中，同时将id发送到下游接受该条消息的Bolt当中，在该Bolt接受到id，若其下游存在Bolt在生成新的id，将从上游接收到的id和自产生的id进行异或发送到Ack Bolt当中，否则仅将接收到的id发送到Ack Bolt当中去，在Ack Bolt当中如果对流当中的id异或结果不为0,那么就调用fail方法通知上游该条消息处理失败，从而形成一个Tuple树。

市面上的实时数据一致性监控实现方案，都是基于存量数据比对和采样比对进行监控的，都是属于一种离线操作，无法满足实时监控的场景要求，严重影响了监控整个系统当中数据同步的质量时效性。

发明内容

本发明的目的在于提供一种实现数据一致性实时监控方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种实现数据一致性实时监控方法，包括以下步骤，

1)CSource数据源订阅：根据元数据，将不同业务线的不同表同步时拆分成不同的Root_id和消息id并将两部分封装为Msg对象；

a.获取元数据，解析rowkey配置；

b.业务线拆分，获取业务线名、table名、topic名等；

c.生成相应业务线下对应表的Root_id和记录id1；

d.将c当中的内容封装到待发送的记录当中；

e.发送数据到中间件；

f.发送监控项到监控任务适配器当中；

2)MetaData管理模块:将表、索引配置项、rowkey三者之间的关系维护到redis中，索引表示需同步到elasticsearch；

3)PDeal数据处理和同步模块：

a.拉取中间件的数据；

b.解析数据；

c.拆分出上游的Root_id和消息id1；

d.获取元数据判断是否需要同步到ElasticSearch；

e.若仅需将拉取的数据同步到HBase则仅生成一条数据对应的消息id2即可并对id1和id2进行异或处理，若还需同步到ElasticSearch则再生成一个id3，则对id1、id2、id3进行异或处理；

f.将上一步的处理结果和Root_id进行消息的封装发送到监控任务适配器当中；

g.同步数据到Hbase之后将id2相关信息发送到监控任务适配器当中；

h.同步数据到ElasticSearch之后将id3相关信息发送到监控任务适配器当中；

4)MAlarm监控任务适配器模块：

a.针对不同的Root_id下的消息ids进行异或处理；

b.对每条数据处理的结果进行判断，为0则数据同步一致，否则数据同步异常并报警；

c.出现数据同步不一致的情况，消息推送到ABnorDeal异常处理池当中进行后续处理；

5)ABnorDeal异常处理池：

a.对异常信息进行解析处理；

b.针对不同的异常数据进行数据幂等同步处理。

作为本发明进一步的方案：

作为本发明再进一步的方案：

与现有技术相比，本发明的有益效果是：本发明使用比通用的历史存储数据比对和校验方案更专业和更高效监控实时数据一致性技术避免严重耗内存、严重依赖CPU，减轻系统资源的压力，同时提升了数据的实时性和吞吐量，可以定制化监控更多的数据满足更多的业务需求。

附图说明

图1为实现数据一致性实时监控方法的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图，本发明实施例中，一种实现数据一致性实时监控方法，包括以下步骤，

1)CSource数据源订阅：根据元数据，将不同业务线的不同表同步时拆分成不同的Root_id和消息id并将两部分封装为Msg对象；

a.获取元数据，解析rowkey配置；

b.业务线拆分，获取业务线名、table名、topic名等；

c.生成相应业务线下对应表的Root_id和记录id1；

d.将c当中的内容封装到待发送的记录当中；

e.发送数据到中间件；

f.发送监控项到监控任务适配器当中；

2)MetaData管理模块:将表、索引配置项、rowkey三者之间的关系维护到redis中，索引表示需同步到elasticsearch；

3)PDeal数据处理和同步模块：

a.拉取中间件的数据；

b.解析数据；

c.拆分出上游的Root_id和消息id1；

d.获取元数据判断是否需要同步到ElasticSearch；

e.若仅需将拉取的数据同步到HBase则仅生成一条数据对应的消息id2即可并对id1和id2进行异或处理，若还需同步到ElasticSearch则再生成一个id3，则对id1、id2、id3进行异或处理；

f.将上一步的处理结果和Root_id进行消息的封装发送到监控任务适配器当中；

g.同步数据到Hbase之后将id2相关信息发送到监控任务适配器当中；

h.同步数据到ElasticSearch之后将id3相关信息发送到监控任务适配器当中；

4)MAlarm监控任务适配器模块：

a.针对不同的Root_id下的消息ids进行异或处理；

b.对每条数据处理的结果进行判断，为0则数据同步一致，否则数据同步异常并报警；

c.出现数据同步不一致的情况，消息推送到ABnorDeal异常处理池当中进行后续处理；

5)ABnorDeal异常处理池：

a.对异常信息进行解析处理；

b.针对不同的异常数据进行数据幂等同步处理。

本发明基于Storm Ack机制和系统内部的元数据实现一种端到端的数据实时同步一致性的监控方法。采用元数据系统当中配置的rowkey字段作为每条记录的唯一标识，对与rowkey的值进行hash生成每条记录对应的id，在数据源端即CSourse端对每个Destination的数据生成相应的Root_id和每条记录对应的id1，并将其发送到中间件即Kafka和监控任务当中。实时监控任务对从数据源端接收到的消息存储到自己的pendinigmap当中，消费端即PDeal从中间件拉取数据并解析，拿到记录的Root_id和id1同时生成一个新的id2。读取元数据是否需要同步数据到ElasticSearch，如需要则生成id3并将id1、id2、id3进行异或处理,然后将Root_id和异或处理的值发送到监控任务当中，否则仅id1、id2进行异或处理，然后然后将Root_id和异或处理的值发送到监控任务当中。之后对数据进行特定的处理并将数据同步到HBase,同步成功之后将Root_id和id2发送到监控任务当中，同时将处理的数据进一步地同步到ElasticSearch，同步成功之后将Root_id和id3发送到监控任务当中。在设定好的阈值时间范围内监控任务对同一个Root_id下的值再一次的进行异或处理，处理结果如果是0，则该条记录在整个流程当中同步完成且数据一致，否则数据同步在既定的时间内同步失败并报警。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种实现数据一致性实时监控方法，其特征在于，包括以下步骤，

1)CSource数据源订阅：根据元数据，将不同业务线的不同表同步时拆分成不同的Root_id和消息id并将两部分封装为Msg对象；

2)MetaData管理模块:将表、索引配置项、rowkey三者之间的关系维护到redis中，索引同步到elasticsearch中；(原资料描述：索引表示需同步到elasticsearch)

3)PDeal数据处理和同步模块：

4)MAlarm监控任务适配器模块：

5)ABnorDeal异常处理池。

2.根据权利要求1所述的一种实现数据一致性实时监控方法，其特征在于，CSource数据源订阅包括以下步骤：

a.获取元数据，解析rowkey配置；

b.业务线拆分，获取业务线名、table名、topic名等；

c.生成相应业务线下对应表的Root_id和记录id1；

d.将c当中的内容封装到待发送的记录当中；

e.发送数据到中间件；

f.发送监控项到监控任务适配器当中。

3.根据权利要求1所述的一种实现数据一致性实时监控方法，其特征在于，PDeal数据处理和同步模块包括以下步骤：

a.拉取中间件的数据；

b.解析数据；

c.拆分出上游的Root_id和消息id1；

d.获取元数据判断是否需要同步到ElasticSearch；

e.若仅需将拉取的数据同步到HBase则仅生成一条数据对应的消息id2即可，并对id1和id2进行异或处理，若还需同步到ElasticSearch则再生成一个id3，则对id1、id2、id3进行异或处理；

f.将上一步的处理结果和Root_id进行消息的封装发送到监控任务适配器当中；

g.同步数据到Hbase之后将id2相关信息发送到监控任务适配器当中；

h.同步数据到ElasticSearch之后将id3相关信息发送到监控任务适配器当中。

4.根据权利要求1所述的一种实现数据一致性实时监控方法，其特征在于，MAlarm监控任务适配器模块包括以下步骤：

a.针对不同的Root_id下的消息ids进行异或处理；

b.对每条数据处理的结果进行判断，为0则数据同步一致，否则数据同步异常并报警；

c.出现数据同步不一致的情况，消息推送到ABnorDeal异常处理池当中进行后续处理。

5.据权利要求1所述的一种实现数据一致性实时监控方法，其特征在于，ABnorDeal异常处理池包括以下步骤：

a.对异常信息进行解析处理；

b.针对不同的异常数据进行数据幂等同步处理。