CN111399749A

CN111399749A - 一种数据处理系统及方法

Info

Publication number: CN111399749A
Application number: CN201910000893.2A
Authority: CN
Inventors: 常耀斌; 王威; 吴娜
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Communications Ltd Research Institute
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Communications Ltd Research Institute
Priority date: 2019-01-02
Filing date: 2019-01-02
Publication date: 2020-07-10
Anticipated expiration: 2039-01-02
Also published as: CN111399749B

Abstract

本发明提供一种数据处理系统及方法，该数据处理系统包括：分布式采集模块，用于获取业务数据；分布式解析模块，包括策略调度器和多个数据处理组件，用于通过所述策略调度器，确定所述业务数据的数据类型，并按照所述业务数据的数据类型，将所述业务数据分发匹配到所述多个数据处理组件中对应的数据处理组件进行解析；分布式存储模块，用于对符合预设要求的解析后的业务数据进行存储。本发明的实施例，可以按照数据类型对获取的业务数据进行有效拆分，从而提高业务数据处理效率，增强数据处理的可用性和可扩展性，满足数据量大且实时性强的数据比如睡眠数据等，对于高可用性和高可扩展性的需求。

Description

一种数据处理系统及方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理系统及方法。

背景技术

目前，健康数据的日活量很大，比如咪咕善跑的云端数据是日活120万。睡眠数据包括文件头和信号体两个部分，每一个文件大小在1K左右，而且每一秒需进行一次数据上传，如果是1000个患者要上传数据并实时显示信号质量，会对采集服务器带来挑战，采集服务器一方面要接收数据，另一方面要解析和存储数据，并转发给对应的监测服务器，这要求中间是秒级处理的速度。因此，睡眠数据的采集存储服务要满足高可用和高并发等需求，至少是1000TPS(Transaction Per Second，每秒数据处理量)的不丢包处理，这给单体应用服务带来极大的压力和挑战。

现有针对医疗数据的高并发分布式采集服务处理系统包括数据采集模块、数据解析模块、数据存储模块和数据转发模块，其中，若任何一个模块改动都需要重新部署和修改，这对于现网中比如睡眠采集业务的高可用和可扩展性等需求带来极大的挑战。

发明内容

本发明实施例提供一种数据处理系统及方法，以解决现有数据处理系统的可用性和可扩展性差的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种数据处理系统，包括：

分布式采集模块，用于获取业务数据；

分布式解析模块，包括策略调度器和多个数据处理组件，用于通过所述策略调度器，确定所述业务数据的数据类型，并按照所述业务数据的数据类型，将所述业务数据分发匹配到所述多个数据处理组件中对应的数据处理组件进行解析；

分布式存储模块，用于对符合预设要求的解析后的业务数据进行存储。

第二方面，本发明实施例提供了一种数据处理方法，应用于数据处理系统，包括：

通过分布式采集模块获取业务数据；

通过分布式解析模块中的策略调度器，确定所述业务数据的数据类型，并按照所述业务数据的数据类型，将所述业务数据分发匹配到多个数据处理组件中对应的数据处理组件进行解析；

通过分布式存储模块，对符合预设要求的解析后的业务数据进行存储。

第三方面，本发明实施例提供了一种数据处理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时实现上述数据处理方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述数据处理方法的步骤。

本发明实施例中，通过分布式采集模块、分布式解析模块和分布式存储模块，可以按照数据类型对获取的业务数据进行有效拆分，从而提高业务数据处理效率，增强数据处理的可用性和可扩展性，满足数据量大且实时性强的数据比如睡眠数据等，对于高可用性和高可扩展性的需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的数据处理系统的结构示意图之一；

图2为本发明实施例的数据处理系统的结构示意图之二；

图3为本发明实施例的数据处理方法的流程图；

图4为本发明实施例的数据处理系统的结构示意图之三。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种数据处理系统的结构示意图，如图1所示，该系统包括：

分布式采集模块1，用于获取业务数据；

分布式解析模块2，包括策略调度器21和多个数据处理组件22，用于通过所述策略调度器21，确定所述业务数据的数据类型，并按照所述业务数据的数据类型，将所述业务数据分发匹配到所述多个数据处理组件22中对应的数据处理组件22进行解析；

分布式存储模块3，用于对符合预设要求的解析后的业务数据进行存储。

其中，上述分布式采集模块1、分布式解析模块2和分布式存储模块3可采用可扩展的结构。上述业务数据的格式可选为：设备标识+数据类型+数据体+检验码。上述策略调度器21在策略调度时，若业务数据是文件，则可解析文件行后，按照数据类型定位到相应的数据处理组件；若业务数据是字符流，则可解析数据中具体字节后，按照数据类型定位到相应的数据处理组件。这样，通过策略调度器21，可将不同类型的业务数据分流到不同的处理通道中，从而保证业务数据的处理效率和准确率。

需指出的是，本发明实施例的数据处理系统除包括分布式采集模块1、分布式解析模块2和分布式存储模块3之外，还可包括分布式转发模块(图未示)，用于将分布式存储模块3中的存储数据进行转发，以进行后续的数据整合和数据建模等业务处理。

本发明实施例的数据处理系统，通过分布式采集模块1、分布式解析模块2和分布式存储模块3，可以按照数据类型对获取的业务数据进行有效拆分，从而提高业务数据处理效率，增强数据处理的可用性和可扩展性，满足数据量大且实时性强的数据比如睡眠数据等，对于高可用性和高可扩展性的需求。

本发明实施例中，可选的，上述分布式采集模块1、分布式解析模块2和分布式存储模块3可采用线程隔离，从而提升日容错性和数据采集效率。

可选的，上述多个数据处理组件22中的每个数据处理组件22对应于一种预设解析子策略，每个数据处理组件22包括数据过滤器221、数据校验器222和数据处理器223，如图2所示。

具体的，所述数据过滤器221用于根据其对应的预设解析子策略，对所述业务数据进行格式转换，得到解析数据。比如业务数据中的数据体一般是字节流或字符串类型，则在进行格式转换时，可将数据体中的字节流转换为java对象，或者将数据体中的字符串转换为json对象。在得到解析结果后，可将解析结果缓存在平台中，以进行后续的验证和存储，从而保证数据解析、验证和存储过程的顺利进行。

所述数据校验器222用于验证所述解析数据是否符合预设要求(如数据格式是否有误)，并当所述解析数据不符合预设要求(如数据格式出现错误)时，向所述数据处理器1223发送通知消息，其中，所述通知消息用于通知所述解析数据不符合预设要求。而当解析数据符合预设要求时，可直接存储。

所述数据处理器223包括容错单元2231，所述容错单元2231用于根据所述通知消息，向所述策略调度器21上报所述数据过滤器221的解析出现错误，以使所述策略调度器21重新为后续对应的业务数据分发匹配数据处理组件，即将后续对应的业务数据分发匹配到其他的数据处理组件22进行解析，防止出现数据流积压的情况。

需说明的是，上述预设解析子策略可以理解为预设的对业务数据进行格式转换的策略，即需将业务数据转换为何种数据格式。上述预设解析子策略可以是按照协议预先定义的，也可以在数据过滤器中预先设置的，本发明实施例不对此进行限制。

以业务数据为健康数据为例，健康数据的数据类型可选为睡眠类型、心电类型或运动类型等；不同的数据类型对应不同的数据处理组件，则相应数据处理组件对应的预设解析子策略可选为睡眠策略、心电策略或运动策略等。

这样，可以按照数据类型定义接口，即增加数据过滤器和数据处理器等进行接口定义的标准化，避免冗余的参数和输入，提高数据处理效率。

可选的，如图2所示，上述数据处理器223还可包括服务自恢复单元2232，该服务自恢复单元2232用于当所述数据处理系统中模块提供的服务中止预设时间时，对所述模块进行服务重启，即按照时间配置进行服务重启。其中，此模块可选的分布式采集模块1、分布式解析模块2、分布式存储模块3和/或分布式转发模块等。

可选的，如图2所示，上述分布式采集模块1包括多个数据接收单元11，所述系统还包括：负载均衡器4；该负载均衡器4用于根据所述多个数据接收单元11的负载情况，控制所述多个数据接收单元11负载均衡的接收所述业务数据。这样，通过负载均衡器4，能够避免分布式采集模块1中有的数据接收单元11的负载大，而有的数据接收单元11的负载小，从而避免由于业务数据并发大而导致丢包情况的发生。

可选的，如图2所示，所述系统还可包括：设备认证器5；该设备认证器5用于接收数据生成设备发送的请求消息，根据所述请求消息，验证所述数据生成设备是否是授权设备，并当所述数据生成设备是授权设备时，向所述分布式采集模块1发送认证成功的信息，以使所述分布式采集模块1获取相应的业务数据。其中该数据生成设备比如为睡眠信号器，或者运动数据跟踪器等。

这样，通过设备认证器5，可以实现权限控制，避免非法设备的接入。

可选的，如图2所示，所述系统还可包括：服务注册模块6；该服务注册模块6用于分别对所述分布式采集模块1、所述分布式解析模块2和所述分布式存储模块3进行注册，实现分布式服务的可扩展能力。此外，该服务注册模块6还可用于分布式转发模块的注册。即该服务注册模块6负责分布式服务的统一注册，具体可实现服务的统一注册、注销和管理。该服务注册模块6可称为服务注册中心。

这样，通过服务注册模块6，可以实现一对多的注册方式，从而实现业务耦合紧密。

可选的，如图2所示，上述分布式存储模块3中的存储数据包括设备数据和信号数据，此外还可包括主键索引，该主键索引中包括设备号、信号标识和随机时间偏移值等。其中，该随机时间偏移值可选为相对于处理时间的偏移值，用于防止出现数据倾斜的情况。

这样，通过主键索引，可以保证针对不同数据(比如设备数据、信号数据)进行快速查询，从而有利于后续数据整合和数据建模等的业务处理。

上述实施例对本发明的数据处理系统进行了说明，下面将结合实施例和附图对本发明的数据处理方法进行说明。

请参见图3，图3是本发明实施例提供的一种数据处理方法的流程图，应用于上述的数据处理系统，如图3所示，该方法包括如下步骤：

步骤301：通过分布式采集模块获取业务数据；

步骤302：通过分布式解析模块中的策略调度器，确定所述业务数据的数据类型，并按照所述业务数据的数据类型，将所述业务数据分发匹配到多个数据处理组件中对应的数据处理组件进行解析；

步骤303：通过分布式存储模块，对符合预设要求的解析后的业务数据进行存储。

本发明实施例的数据处理方法，通过分布式采集模块、分布式解析模块和分布式存储模块，可以按照数据类型对获取的业务数据进行有效拆分，从而提高业务数据处理效率，增强数据处理的可用性和可扩展性，满足数据量大且实时性强的数据比如睡眠数据等，对于高可用性和高可扩展性的需求。

可选的，上述分布式采集模块、分布式解析模块和分布式存储模块之间可采用线程隔离。

上述分布式存储模块中的存储数据包括主键索引，所述主键索引中包括设备号、数据标识和随机时间值。

可选的，所述多个数据处理组件中的每个数据处理组件对应于一种预设解析子策略，步骤302中的对应的数据处理组件对所述业务数据进行解析的过程可包括：

根据预设解析子策略，通过数据过滤器对所述业务数据进行格式转换，得到解析数据；

通过数据校验器验证所述解析数据是否符合预设要求，并当所述解析数据不符合预设要求时，向数据处理器发送通知消息，其中，所述通知消息用于通知所述解析数据不符合预设要求；

根据所述通知消息，通过所述数据处理器向所述策略调度器上报所述数据过滤器的解析出现错误，以使所述策略调度器重新为后续对应的业务数据分发匹配数据处理组件。

可选的，所述分布式采集模块包括多个数据接收单元，所述方法还包括：

根据所述多个数据接收单元的负载情况，控制所述多个数据接收单元负载均衡的接收所述业务数据。

可选的，步骤301之前，所述方法还可包括：

接收数据生成设备发送的请求消息；

根据所述请求消息，验证所述数据生成设备是否是授权设备；

当所述数据生成设备是授权设备时，向所述分布式采集模块发送认证成功的信息，以使所述分布式采集模块获取相应的业务数据。

可选的，所述方法还包括：

分别对所述分布式采集模块、所述分布式解析模块和所述分布式存储模块进行注册。

此外，本发明实施例提供了一种数据处理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器执行时可实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

具体的，参见图4所示，本发明实施例提供了一种数据处理系统，包括总线41、收发机42、天线43、总线接口44、处理器45和存储器46。

在本发明实施例中，所述数据处理系统还包括：存储在存储器46上并可在处理器45上运行的计算机程序。其中，所述计算机程序被处理器45执行时可实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

在图4中，总线架构(用总线41来代表)，总线41可以包括任意数量的互联的总线和桥，总线41将包括由处理器45代表的一个或多个处理器和存储器46代表的存储器的各种电路链接在一起。总线41还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口44在总线41和收发机42之间提供接口。收发机42可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器45处理的数据通过天线43在无线介质上进行传输，进一步，天线43还接收数据并将数据传送给处理器45。

处理器45负责管理总线41和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器46可以被用于存储处理器45在执行操作时所使用的数据。

可选的，处理器45可以是CPU、ASIC、FPGA或CPLD。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种数据处理系统，其特征在于，包括：

分布式采集模块，用于获取业务数据；

2.根据权利要求1所述的系统，其特征在于，所述多个数据处理组件中的每个数据处理组件对应于一种预设解析子策略，所述每个数据处理组件包括数据过滤器、数据校验器和数据处理器；

其中，所述数据过滤器用于根据其对应的预设解析子策略，对所述业务数据进行格式转换，得到解析数据；

所述数据校验器用于验证所述解析数据是否符合预设要求，并当所述解析数据不符合预设要求时，向所述数据处理器发送通知消息，其中，所述通知消息用于通知所述解析数据不符合预设要求；

所述数据处理器包括容错单元，所述容错单元用于根据所述通知消息，向所述策略调度器上报所述数据过滤器的解析出现错误，以使所述策略调度器重新为后续对应的业务数据分发匹配数据处理组件。

3.根据权利要求2所述的系统，其特征在于，所述数据处理器还包括服务自恢复单元，所述服务自恢复单元用于当所述数据处理系统中模块提供的服务中止预设时间时，对所述模块进行服务重启。

4.根据权利要求1所述的系统，其特征在于，所述分布式采集模块包括多个数据接收单元，所述系统还包括：

负载均衡器，用于根据所述多个数据接收单元的负载情况，控制所述多个数据接收单元负载均衡的接收所述业务数据。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括：

设备认证器，用于接收数据生成设备发送的请求消息，根据所述请求消息，验证所述数据生成设备是否是授权设备，并当所述数据生成设备是授权设备时，向所述分布式采集模块发送认证成功的信息，以使所述分布式采集模块获取相应的业务数据。

6.根据权利要求1所述的系统，其特征在于，所述系统还包括：

服务注册模块，用于分别对所述分布式采集模块、所述分布式解析模块和所述分布式存储模块进行注册。

7.根据权利要求1所述的系统，其特征在于，所述分布式存储模块中的存储数据包括主键索引，所述主键索引中包括设备号、数据标识和随机时间值。

8.根据权利要求1至7中任一项所述的系统，其特征在于，所述分布式采集模块、所述分布式解析模块和所述分布式存储模块之间采用线程隔离。

9.一种数据处理方法，应用于数据处理系统，其特征在于，包括：

通过分布式采集模块获取业务数据；

10.根据权利要求9所述的方法，其特征在于，所述多个数据处理组件中的每个数据处理组件对应于一种预设解析子策略，所述对应的数据处理组件对所述业务数据进行解析的过程包括：

11.根据权利要求9所述的方法，其特征在于，所述分布式采集模块包括多个数据接收单元，所述方法还包括：

12.根据权利要求9所述的方法，其特征在于，所述通过分布式采集模块获取业务数据之前，所述方法还包括：

接收数据生成设备发送的请求消息；

13.根据权利要求9所述的方法，其特征在于，所述方法还包括：

14.一种数据处理系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求9至13中任一项所述的数据处理方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求9至13中任一项所述的数据处理方法的步骤。