CN108564250A - 转发记录实时查看系统、方法、计算机设备及存储介质 - Google Patents

Abstract

本发明属于数据通信技术领域，本发明公开了一种转发记录实时查看系统、方法、计算机设备及存储介质，该系统包括：信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；信息转发客户端用于根据用户指令转发消息服务器发送的消息；消息服务器用于获取信息转发客户端的转发记录数据并触发数据采集集群对转发记录数据进行采集；数据采集集群用于根据触发信息采集消息服务器中的转发记录数据并进行解析和存储；数据分发集群用于读取数据采集集群中存储的转发记录数据并写进数据存储集群；实时查询客户端用于提供信息检索入口并根据信息检索入口中的检索信息实时查询数据存储集群的转发记录数据。

Description

转发记录实时查看系统、方法、计算机设备及存储介质

技术领域

本发明属于数据通信技术领域，更具体地说，是涉及一种转发记录实时查看系统、方法、计算机设备及存储介质。

背景技术

为了促成业务，当业务的APP发布新的业务活动时，需要业务员及时将APP上的业务活动通过自媒体转发给客户，使有意愿的客户购买业务。业务管理员为了考查业务员，需要对业务的转发记录进行监控。

但是，业务管理者在需要查看业务APP的转发记录时，由于APP的转发记录都是T+1天同步到Hadoop，因此业务管理者需要T+1天才能查看业务员关于APP内容的转发记录，不能实时看到业务员的转发记录。

发明内容

有鉴于此，本发明实施例提供一种转发记录实时查看系统、方法、计算机设备和存储介质，以解决不能实时查看业务员转发记录的问题。

本发明是这样实现的：

第一方面，本发明实施例提供一种转发记录实时查看系统，所述转发记录实时查看系统包括信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；

所述信息转发客户端，用于根据用户指令转发所述消息服务器发送的消息；

所述消息服务器，用于获取所述信息转发客户端的转发记录数据并触发所述数据采集集群对所述转发记录数据进行采集；

所述数据采集集群，用于根据触发信息采集所述消息服务器中的转发记录数据并进行解析和存储；

所述数据分发集群，用于读取所述数据采集集群中存储的转发记录数据并写进所述数据存储集群；

所述实时查询客户端，用于提供信息检索入口并根据所述信息检索入口中的检索信息实时查询所述数据存储集群的转发记录数据。

第二方面，本发明实施例提供一种转发记录实时查看方法，所述方法应用于转发记录实时查看系统，所述系统包括信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；

所述信息转发客户端根据用户指令转发所述消息服务器发送的消息；

所述消息服务器获取所述信息转发客户端的转发记录数据并触发所述数据采集集群对所述转发记录数据进行采集；

所述数据采集集群根据触发信息采集所述消息服务器中的转发记录数据并进行解析和存储；

所述数据分发集群读取所述数据采集集群中存储的转发记录数据并写进所述数据存储集群；

所述实时查询客户端根据信息检索入口的检索信息实时查询所述数据存储集群的转发记录数据。

本发明第三方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本发明实施例第二方面所述方法的步骤。

本发明第四方面一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本发明实施例第二方面所述方法的步骤。

本发明实施例提供的转发记录实时查看系统、方法、计算机设备和存储介质，信息转发客户端根据用户指令对消息服务器发送的消息进行转发，消息服务器获取转发记录数据并触发数据采集集群进行采集、解析和存储；数据分发集群再将数据采集集群中的转发记录写进数据存储集群中，由实时查询客户端实现对转发记录数据实时的查询；使用户的转发记录数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，使业务管理人员可以实时监控业务数据的最新情况。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的转发记录实时查看系统的结构示意图；

图2为本发明实施例1进行具体配置的结构示意图；

图3为本发明实施例1的Spark Streaming以receiver方式从Kafka读取数据的示意图；

图4为本发明实施例1的Spark Streaming以direct方式从Kafka读取数据的示意图；

图5为本发明实施例1将转发记录数据写进HBase集群的存储结构示意图；

图6为本发明实施例2提供的转发记录实时查看方法的流程图；

图7为本发明实施例4提供的计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参考图1，其示出了本发明实施例提供的转发记录实时查看系统的结构示意图。

如图1所示，转发记录实时查看系统10包括：信息转发客户端101、消息服务器102、数据采集集群103、数据分发集群104、数据存储集群105和实时查询客户端106。

信息转发客户端101，用于根据用户指令转发消息服务器102发送的消息。

具体地，信息转发客户端101与自媒体平台连接，例如微信、微博等自媒体平台。消息服务器102向用户推送消息，转发客户端101根据用户的指令将消息转发到自媒体平台。例如：保险APP将新办的业务活动信息发送给业务员，业务员通过信息转发客户端101将业务活动信息转发到微信朋友圈，业务员朋友圈的人就可以通过微信朋友圈看到该业务活动信息，查看业务活动信息的内容。

消息服务器102，用于获取信息转发客户端101的转发记录数据并触发数据采集集群103对转发记录数据进行采集。

其中，转发记录数据是指用户通过信息转发客户端101转发时获取的关于转发的用户名、转发时间、转发内容等内容。

具体地，当用户通过信息转发客户端101转发信息到自媒体平台时，消息服务器102获取转发记录数据。当消息服务器102获取转发记录数据时，生成触发信息，并发送至数据采集集群通知进行转发记录数据的采集。其中，触发信息是指信息转发客户端101通过网络协议转发数据时消息服务器102生成的数据记录。

数据采集集群103，用于根据触发信息采集消息服务器102中的转发记录数据并进行解析和存储。

当数据采集集群103接收到消息服务器102发送的触发信息时，获取消息服务器102中的转发记录数据，解析成数据采集集群103可以接收的数据形式并进行存储。

作为一种实施方式，数据采集集群103包括数据采集接口、数据解析模块和存储节点。其中，数据采集接口与消息服务器102和数据解析模块连接，数据解析模块与存储节点连接。当数据采集接口接收到消息服务器102发送的触发信息，数据采集接口启动对转发记录数据进行采集，并将采集到的转发记录数据发送到数据解析模块。由于转发记录数据可能不能为数据采集集群103所接收，因此，数据解析模块将转发记录数据进行解析并转换为数据采集集群103可以接收的数据形式后存储到存储节点。

数据分发集群104，用于读取数据采集集群103中存储的转发记录数据并写进数据存储集群105。

由于数据采集集群103存储的转发记录数据不能提供实时查询的接口，因此需要用数据分发集群104进一步将转发记录数据发送到数据存储集群105中，再通过实时查询客户端106实现对转发记录数据实时的查询。

具体地，数据分发集群104与数据采集集群103和数据存储集群105连接，从数据采集集群103中读取转发记录数据并写进数据存储集群105中，其中，转发记录数据是以流数据的形式写进数据存储集群105中的，即当数据采集集群103有转发记录数据时，数据分发集群104即将转发记录数据实时读取并写入到数据存储集群105中。

实时查询客户端106，用于提供信息检索入口并根据信息检索入口中的检索信息实时查询数据存储集群105的转发记录数据。

具体地，实时查询客户端106与数据存储集群105连接，并提供信息检索入口，用户可以通过信息检索入口获取数据存储集群105中的转发记录数据。

当转发记录数据写进数据存储集群105后，用户可以根据实际需要将转发记录数据的关键字输入到实时查询客户端106的信息检索入口中，进行数据实时的查询。例如，业务员转发了“安心保”业务活动的内容，则业务管理人员可以根据业务员的姓名或者“安心保”等作为关键词，从数据存储集群105中实时查询到转发记录数据。

本发明实施例提供的转发记录实时查看系统，信息转发客户端根据用户指令转发消息服务器发送的消息；消息服务器触发数据采集集群对转发记录数据进行采集；再通过数据分发集群读取数据采集集群的转发记录数据，存储到数据存储集群中；实时查询客户端通过信息检索入口实时查询转发记录数据，使业务管理人员可以查询到业务人员的转发记录数据。

进一步地，请参考图2，其示出了将转发记录实时查看系统10进行具体配置之后的结构示意图。

如图2所示，转发记录实时查看系统10具体配置为：数据采集集群103配置为Kafka集群，数据分发集群104配置为Spark Streaming集群，数据存储集群105配置为HBase集群，实时查询客户端106配置为Phoenix客户端。

其中，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理网站中的所有动作流数据。例如，网页浏览、搜索和其他用户的行动，这些数据通常是由于吞吐量的要求需要通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。

Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。

HBase是一个分布式的、面向列的开源数据库。该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统所提供的分布式数据存储一样，HBase在Hadoop之上提供类似于Bigtable的能力。HBase是Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，另一个不同的是HBase基于列的而不是基于行的模式。

Phoenix是一个Java中间层，可以让开发者在Apache HBase上执行结构化查询语言(Structured Query Language，简称SQL)进行查询。查询引擎可以SQL查询转换为一个或多个HBase Scan，并编排执行以生成标准的JDBC(Java DataBase Connectivity,java数据库连接)结果集。对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。

具体地，Kafka集群103包括数据采集接口、数据解析模块和Kafka存储节点。数据采集接口与消息服务器10和数据解析模块连接，数据解析模块与Kafka存储节点连接。

当信息转发客户端101通过网络协议(例如HTTP协议)json格式数据时，可以通过post或者get的方式进行转发，此时消息服务器102获取转发记录数据并生成触发信息。消息服务器102将获取到的触发信息发送给数据采集接口，数据采集接口启动对转发记录数据进行采集。

由于数据采集接口采集到的转发记录数据是字符串形式的，因此需要将格式解析成Kafka集群可以接收的形式。具体地，数据采集接口将转发记录数据以字符串的形式根据预设周期传送给数据解析模块，预设周期可以根据实际需要(例如数据流入的速度)进行具体设定。数据解析模块将字符串形式的转发记录数据转换为json格式的数据，然后再传送给Kafka存储节点。

Spark Streaming集群104与Kafka存储节点连接，Spark Streaming集群104读取Kafka存储节点的转发记录数据，再将其发送给HBase集群105。当Spark Streaming集群104从Kafka存储节点读取数据时，可以有receiver或者direct两种方式。

请参考图3，其示出了Spark Streaming集群104以receiver方式从Kafka存储节点读取数据的示意图。如图3所示，Spark Streaming集群104通过receiver从Kafka存储节点获取转发记录数据，将其存放在Spark的内存中，然后Spark Streaming会启动job对Spark内存的数据进行处理并写进HBase中。由于在默认的配置下，这种方式可能会因为底层的失败而丢失数据，因此，为了数据的安全，需要启用预写日志机制(Write Ahead Log，简称WAL机制)，该机制可以使从Kafka存储节点接收到的数据同步到HBase中，防止数据的丢失。

请参考图4，其示出了Spark Streaming集群104以direct方式从Kafka存储节点读取数据的示意图。direct方式是指Spark Streaming集群104不通过receiver直接从Kafka存储节点中读取数据。从如图4所示，Spark Streaming集群104直接从Kafka存储节点获取转发记录数据，然后写进HBase中。

应当理解的是，本发明实施例可以采用receiver或者direct两个方式中的至少一个。

当Spark Streaming集群104将转发记录写进HBase集群105时，可以根据转发信息的用户名作为行键将转发记录数据写入HBase集群105中。请参考图5，其示出了将转发记录数据写入HBase集群105的存储结构，将用户名作为行键，可以使数据的存储更有效率，同时方便查询。

由于HBase集群105存储的数据是非关系型的数据，本身的查询语言不支持SQL，因此，为了方便实现查询，需要另外提供一个查询的接口。Phoenix可以为HBase集群105提供SQL查询的支持，可以在命令行下执行，也可以用JDBC接口实现，还可以通过Phoenix客户端实现。本发明实施例中，通过Phoenix客户端实现对转发记录数据的实时查询。

具体地，Phoenix客户端可以用SQL编写脚本从而提供相应查询结果的视图。其中，将关键字作为字段名输入，即可以查询到相应的数据。本实施例中，可以将与有转发记录数据有关的内容作为关键字输入到信息检索入口进行查询。例如，输入某个用户的用户名作为关键字，即可以将该用户所有的转发记录数据都实时地查询出来。业务管理者可以根据需要对业务员的转发记录数据进行实时查询。

本发明实施例提供的转发记录实时查看系统，信息转发客户端根据用户指令对消息服务器发送的消息进行转发，消息服务器获取转发记录数据并触发数据采集集群进行采集、解析和存储；数据分发集群再将数据采集集群中的转发记录写进数据存储集群中，由实时查询客户端实现对转发记录数据实时的查询；使用户的转发记录数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，使业务管理人员可以实时监控业务数据的最新情况。

实施例2

请参考图6，其示出了本发明实施例提供的转发记录实时查看方法的流程图。

本发明实施例的转发记录实时查看方法应用于转发记录实时查看系统，转发记录实时查看系统包括：信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端。如图6所示，转发记录实时查看方法包括以下步骤：

步骤S201，信息转发客户端根据用户指令转发消息服务器发送的消息。

步骤S202，消息服务器获取信息转发客户端的转发记录数据并触发数据采集集群对转发记录数据进行采集。

步骤S203，数据采集集群根据触发信息采集消息服务器中的转发记录数据并进行解析和存储。

步骤S204，数据分发集群读取数据采集集群中存储的转发记录数据并写进数据存储集群。

步骤S205，实时查询客户端根据信息检索入口的检索信息实时查询数据存储集群的转发记录数据。

转发记录实时查看系统可以具体配置为：数据采集集群配置为Kafka集群，数据分发集群配置为Spark Streaming集群，数据存储集群配置为HBase集群，实时查询客户端配置为Phoenix客户端。以下是将转发记录实时查看系统进行具体配置之后的实现方法：

Kafka集群包括数据采集接口、数据解析模块和Kafka存储节点，信息转发客户端通过网络协议转发json格式数据的方式生成触发信息，消息服务器将触发信息发送至所述数据采集接口。

数据采集接口根据触发信息对转发记录数据进行采集，根据预设周期将所述转发记录数据以字符串的形式发送至数据解析模块，数据解析模块将转发记录数据转换为json格式数据并存储到Kafka存储节点，转发记录数据包括：转发信息的用户名、转发时间、转发内容和转发次数。

Spark Streaming集群通过receiver的方式从Kafka中获取转发记录数据，并启用预写日志机制，将转发记录数据写入HBase集群；或者，Spark Streaming集群通过direct的方式从Kafka中获取转发记录数据，并将转发记录数据写入HBase集群。

Spark Streaming集群根据转发信息的用户名或转发内容作用行键将转发记录数据写入HBase集群。

Phoenix客户端根据信息检索入口获取转发记录数据的关键字，运用SQL的方式从HBase集群中实时获取转发记录数据。

本发明实施例提供的转发记录实时查看方法，信息转发客户端根据用户指令对消息服务器发送的消息进行转发，消息服务器获取转发记录数据并触发数据采集集群进行采集、解析和存储；数据分发集群再将数据采集集群中的转发记录写进数据存储集群中，由实时查询客户端实现对转发记录数据实时的查询；使用户的转发记录数据可以实时地被查看，方便了对数据及时性要求比较高的数据的查看，使业务管理人员可以实时监控业务数据的最新情况。

对于方法实施例而言，由于其基本对应于系统实施例，所以相关之处参见系统实施例的部分说明即可。

实施例3

本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例2中转发记录实时查看方法，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现实施例1中转发记录实时查看系统中各模块/单元的功能，为避免重复，这里不再赘述。

可以理解地，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号和电信信号等。

实施例4

图7是本发明一实施例提供的计算机设备的示意图。如图7所示，该实施例的计算机设备30包括：处理器31、存储器32以及存储在存储器32中并可在处理器31上运行的计算机程序33。处理器31执行计算机程序33时实现上述实施例2中转发记录实时查看方法的步骤，例如图6所示的步骤S201至S205。或者，处理器31执行计算机程序33时实现上述各装置实施例中各模块/单元的功能，例如图1所示模块101至106的功能。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种转发记录实时查看系统，其特征在于，所述转发记录实时查看系统包括信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；

所述信息转发客户端，用于根据用户指令转发所述消息服务器发送的消息；

所述消息服务器，用于获取所述信息转发客户端的转发记录数据并触发所述数据采集集群对所述转发记录数据进行采集；

所述数据采集集群，用于根据触发信息采集所述消息服务器中的转发记录数据并进行解析和存储；

所述数据分发集群，用于读取所述数据采集集群中存储的转发记录数据并写进所述数据存储集群；

所述实时查询客户端，用于提供信息检索入口并根据所述信息检索入口中的检索信息实时查询所述数据存储集群的转发记录数据。

2.如权利要求1所述的转发记录实时查看系统，其特征在于，所述数据采集集群为Kafka集群，所述Kafka集群包括数据采集接口、数据解析模块和Kafka存储节点，所述数据采集接口与所述消息服务器和所述数据解析模块连接，所述数据解析模块与所述Kafka存储节点连接；

所述消息服务器，具体用于根据信息转发客户端通过网络协议转发json格式数据的方式生成触发信息，并将所述触发信息发送至所述数据采集接口；

所述Kafka集群，具体用于根据所述触发信息通过数据采集接口对所述转发记录数据进行采集，将所述转发记录数据以字符串的形式根据预设周期发送至所述数据解析模块，所述数据解析模块将所述转发记录数据转换为json格式数据并存储到所述Kafka存储节点，所述转发记录数据包括：转发信息的用户名、转发时间、转发内容和转发次数。

3.如权利要求2所述的转发记录实时查看系统，其特征在于，所述数据分发集群为Spark Streaming集群；

所述Spark Streaming集群，具体用于通过receiver的方式从所述Kafka中获取所述转发记录数据，并启用预写日志机制，将所述转发记录数据写入所述数据存储集群；或者，

所述Spark Streaming集群，具体用于通过direct的方式从所述Kafka中获取所述转发记录数据，并将所述转发记录数据写入所述数据存储集群。

4.如权利要求3所述的转发记录实时查看系统，其特征在于，所述数据存储集群为HBase集群；

所述Spark Streaming集群，具体用于根据所述转发信息的用户名作为行键将所述转发记录数据写入所述HBase集群。

5.如权利要求4所述的转发记录实时查看系统，其特征在于，所述实时查询客户端为Phoenix客户端；

所述Phoenix客户端，具体用于提供信息检索入口，并根据所述信息检索入口获取的所述转发记录数据的关键字，运用SQL的方式从所述HBase集群中实时获取所述转发记录数据。

6.一种转发记录实时查看方法，其特征在于，所述方法应用于转发记录实时查看系统，所述系统包括信息转发客户端、消息服务器、数据采集集群、数据分发集群、数据存储集群和实时查询客户端；

所述信息转发客户端根据用户指令转发所述消息服务器发送的消息；

所述消息服务器获取所述信息转发客户端的转发记录数据并触发所述数据采集集群对所述转发记录数据进行采集；

所述数据采集集群根据触发信息采集所述消息服务器中的转发记录数据并进行解析和存储；

所述数据分发集群读取所述数据采集集群中存储的转发记录数据并写进所述数据存储集群；

所述实时查询客户端根据信息检索入口的检索信息实时查询所述数据存储集群的转发记录数据。

7.如权利要求6所述的转发记录实时查看方法，其特征在于，所述数据采集集群为Kafka集群，所述Kafka集群包括数据采集接口、数据解析模块和Kafka存储节点；

所述信息转发客户端通过网络协议转发json格式数据的方式生成触发信息，所述消息服务器将所述触发信息发送至所述数据采集接口；

所述数据采集接口根据所述触发信息对所述转发记录数据进行采集，根据预设周期将所述转发记录数据以字符串的形式发送至所述数据解析模块，所述数据解析模块将所述转发记录数据转换为json格式数据并存储到所述Kafka存储节点，所述转发记录数据包括：转发信息的用户名、转发时间、转发内容和转发次数。

8.如权利要求7所述的转发记录实时查看方法，其特征在于，所述数据分发集群为Spark Streaming集群，所述数据存储集群为HBase集群，所述实时查询客户端为Phoenix客户端；

所述Spark Streaming集群通过receiver的方式从所述Kafka中获取所述转发记录数据，并启用预写日志机制，将所述转发记录数据写入所述数据存储集群；或者，所述SparkStreaming集群通过direct的方式从所述Kafka中获取所述转发记录数据，并将所述转发记录数据写入所述数据存储集群；

所述Spark Streaming集群根据所述转发信息的用户名或所述转发内容作用行键将所述转发记录数据写入所述HBase集群；

所述Phoenix客户端根据信息检索入口获取所述转发记录数据的关键字，运用SQL的方式从所述HBase集群中实时获取所述转发记录数据。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求6至8任一项所述发记录实时查看方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求6至8任一项所述发记录实时查看方法的步骤。