CN111078707A - 一种数据处理方法与系统 - Google Patents

Abstract

本申请提出一种数据处理方法与系统，涉及数据处理技术领域。该数据处理方法应用于数据处理系统，且数据处理系统包括服务器、中间件以及数据库，中间件分别与服务器、数据库通信连接，服务器还用于与供应商端及第一客户端通信连接，首先由服务器接收客户端或供应商端发送的数据信息，并将数据信息发送至中间件，其中，数据信息均携带有标识信号；然后由中间件依据标识信号对数据信息进行分类处理，并将分类处理后的数据信息发送至数据库进行存储。本申请提供的数据处理方法与系统具有能够更加方便地对数据进行调用，并且提升了工作效率的优点。

Description

一种数据处理方法与系统

技术领域

本申请数据处理技术领域，具体而言，涉及一种数据处理方法与系统。

背景技术

目前，对于互联网公司而言，对于数据的分析处理，能够实现各种功能，例如实现问题排查定位、用户行为分析、流量地区差异分析、货源报价优化的效果。

然而，对于内部有多个系统的公司而言，各个系统或者数据来源的数据格式定义和数据类型多样不统一，很难做到数据统一分析和集中处理，导致不同来源数据各自实现数据收集方案重复工作且效率低。

综上所述，目前对于数据的处理存在数据收集不方便且工作效率低的问题。

发明内容

本申请的目的在于提供一种数据处理方法与系统，以解决现有技术中数据收集不方便且工作效率低的问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

一方面，本申请实施例提供了一种数据处理方法，所述数据处理方法应用于数据处理系统，所述数据处理系统包括服务器、中间件以及数据库，所述中间件分别与所述服务器、所述数据库通信连接，所述服务器还用于与供应商端及第一客户端通信连接，所述数据处理方法包括：

所述服务器接收所述客户端或所述供应商端发送的数据信息，并将所述数据信息发送至所述中间件，其中，所述数据信息均携带有标识信号；

所述中间件依据所述标识信号对所述数据信息进行分类处理，并将分类处理后的数据信息发送至所述数据库进行存储。

另一方面，本申请实施例还提供了一种数据处理系统，所述数据处理系统包括服务器、中间件以及数据库，所述中间件分别与所述服务器、所述数据库通信连接，所述服务器还用于与供应商端及第一客户端通信连接；

所述服务器用于接收所述客户端或所述供应商端发送的数据信息，并将所述数据信息发送至所述中间件，其中，所述数据信息均携带有标识信号；

所述中间件用于依据所述标识信号对所述数据信息进行分类处理，并将分类处理后的数据信息发送至所述数据库进行存储。

相对于现有技术，本申请具有以下有益效果：

本申请提供了一种本申请实施例提供了一种数据处理方法与系统，该数据处理方法应用于数据处理系统，且数据处理系统包括服务器、中间件以及数据库，中间件分别与服务器、数据库通信连接，服务器还用于与供应商端及第一客户端通信连接，首先由服务器接收客户端或供应商端发送的数据信息，并将数据信息发送至中间件，其中，数据信息均携带有标识信号；然后由中间件依据标识信号对数据信息进行分类处理，并将分类处理后的数据信息发送至数据库进行存储。由于本申请设置了中间件，并且服务器接收到的数据均通过中间件进行统一处理，进而使得数据的收集更加方便。并且，由于中间件能够将获取的数据进行分类处理并存储至数据库中，能够在对数据的进行分析时，能够更加方便地对数据进行调用，进而提升工作效率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的数据处理系统的一种模块示意图。

图2为本申请实施例提供的数据处理方法的第一种流程示意图。

图3为本申请实施例提供的服务器的一种模块示意图。

图4为本申请实施例提供的图2中S104的一种子步骤的流程图。

图5为本申请实施例提供的数据处理系统的另一种模块示意图。

图6为本申请实施例提供的数据处理子系统的一种模块示意图。

图7为本申请实施例提供的数据处理方法的第二种流程示意图。

图8为本申请实施例提供的数据处理方法的第三种流程示意图。

图中：100-数据处理系统；110-服务器；111-存储器；112-处理器；113-通信接口；120-中间件；130-数据库；140-数据处理子系统；141-数据收集组件；142-数据处理组件；143-索引建立组件；144-数据处理组件。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

正如背景技术中所述，目前，对于数据的处理，各个系统或者数据来源的数据格式定义和数据类型多样不统一，很难做到数据统一分析和集中处理。同时不同来源数据各自实现数据收集方案重复工作且效率低。进一步地，对于同一公司而言，针对不同来源数据都需要重新定义一套数据格式标准。数据格式标准多样，数据处理很难集中化和全局把控分析，分析价值和效率大打折扣，长此以往，数据处理效率低，数据格式标准沟通及校验成本高。

有鉴于此，本申请提供了一种数据处理方法与系统，通过设置中间件的方式，能够利用中间件对数据进行统一化处理，进而使得数据收集更加方便，且对于数据处理的效率更高。

下面对本申请提供的数据处理方法进行示例性说明：

需要说明的是，本申请提供数据处理方法应用于数据处理系统，请参阅图1，数据处理系统100包括服务器110、中间件120以及数据库130，中间件120分别与服务器110、数据库130通信连接，服务器110还用于与供应商端及第一客户端通信连接。

作为本申请一种可能的实现方式，该数据处理方法包括：

S102，服务器接收客户端或供应商端发送的数据信息，并将数据信息发送至中间件，其中，数据信息均携带有标识信号。

S104，中间件依据标识信号对数据信息进行分类处理，并将分类处理后的数据信息发送至数据库进行存储。

其中，服务器110可以为互联网公司内与用户进行信息交互与处理的设备，请参阅图3，服务器110包括存储器111、处理器112和通信接口113，该存储器111、处理器112和通信接口113相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

存储器111可用于存储软件程序及模块，处理器112通过执行存储在存储器111内的软件程序及模块，从而执行各种功能应用以及数据处理，进而执行本申请实施例提供的数据处理方法的步骤。该通信接口113可用于与其他节点设备进行信令或数据的通信。

其中，存储器111可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除可编程只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。

处理器112可以是一种集成电路芯片，具有信号处理能力。该处理器112可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图3所示的结构仅为示意，服务器110还可以包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3所示的各组件可以采用硬件、软件或其组合实现。

本申请提供的客户端可以为用户使用的手机、电脑等智能终端产品，且该客户端与服务器110之间实现通信连接，以实现数据的交互。例如，客户端上安装有相应的APP，客户端能够通过该APP实现与服务器110之间的通信连接。

供应商端至供应商使用的手机、电脑等智能终端产品，例如，当互联网公司为汽车租赁公司时，该供应商端可以为汽车提供商使用的端口，用户能够向服务器110发送汽车租赁请求，然后由服务器110匹配相应的汽车提供商，进行完成汽车的租赁。

并且，本申请提供的中间件120为硬件形式的中间件120，当然地，在其它的一些实施例中，中间件120也可以为软件形式的中间件120，本申请对此并不做任何限定。

在实际应用，服务器110能够接收客户端或供应商端发送的数据信息，例如，不同供应商端发送的报价信息，或者不同用户发送的租车信息等，并且，由于供应商端的不同，供应商发送的数据的格式也可能不同。同时，对于客户端发送的信息，信息的数据结构也并不相同。

因此，当服务器110接收到服务器110接收客户端或供应商端发送的数据信息，并将数据信息发送至中间件120，并由中间件120进行统一的规范化处理。

作为本申请一种可能的实现方式，客户端或供应商端发送的数据信息中均携带有标识信号，中间件120可以依据标识信号对数据信息进行分类处理，并将分类处理后的数据信息发送至数据库130进行存储。

可选地，请参阅图4，本申请的S104可以包括：

S1041，中间件按字段对数据信息进行分解处理。

S1042，中间件从分解处理后的字段中依据每个字段的顺序确定目标字段，以将目标字段作为标识信号。

S1043，中间件依据标识信号及预设定的协议映射表对数据信息进行分类。

其中，标识信号可以一目标字段。并且，目标字段可以包括多个字节。中间件120在接收到数据信息后，数据信息实际为多个字段组成的信号。例如，以客户端发送的数据信息包括4个字段，且每个字段包括4个比特数据为例进行说明，客户端发送的数据信息可能为0001 0001 0001 0001，其中，每个字段可以对应不同的数据信息，例如，最后一个字段可以标识该数据为用户确认租赁车辆的信息。并且，可以理解地，分析系统在接收到上述的数据信息后，对数据的分解处理中，可以分解出4个字段，且4个字段均为0001。

作为一种可能的实现方式，中间件120从分解处理后的字段中依据每个字段的顺序确定目标字段，以将目标字段作为标识信号。例如，将倒数第二个字段作为目标字段，并将该字段作为标识信号。

进一步地，在确定标识信号后，中间件120还能够依据标识信号及预设定的协议映射表对数据信息进行分类。其中，该协议映射表中包括多个字段与信息类别的对应关系，例如，0001对应用户访问行为，0010对应用户预约行为等。

当然地，在其它的一些实施例中，还可通过多级维度实现对数据信息的分类，例如还可通过字节实现的数据信息分类，例如，在确定目标字段后，目标字段内的第一个字节表该数据的来源，即该数据由客户端发送或由供应商端发送，第二个字节表示是否租赁车辆等，本申请对此并不做任何限定。

换言之，本申请通过标准化通用型的数据结构协议，协议规范统一的数据字段及各字段绑定的数据类型。在中间件120接收到该数据信息后，能够依据通过对数据信息按照字段分解的方式，确定出目标字段（即标识），同时通过目标字段确定出数据信息的类型，并通过中间件120对数据信息进行标准化处理，即将不同格式的数据信息均转换为标准格式，然后由中间件120依据目标字段对数据进行归类，即将数据信息按分类后的信息发送至数据库130中进行存储，进而便于在后期对数据进行处理时，能够更加方便地对数据进行调用。

作为一种实现方式，在数据库130中设置有多个存储空间，且每个存储空间用于存储不同类型的数据。

并且，请参阅图5，本申请提供的数据处理系统还包括数据处理子系统140，请参阅图6，数据处理子系统140包括数据收集组件141、数据处理组件142、索引建立组件143以及数据处理组件144，数据处理子系统140与中间件120通信连接，请参阅图7，该数据处理方法还包括：

S106，数据收集组件收集处理后的数据信息。

S108，数据处理组件对处理后的数据信息按队列方式发送至索引建立组件。

S110，索引建立组件对处理后的数据信息进行分解，并依据分解后的信息建立索引。

S112，数据处理组件按索引对数据进行分析。

作为一种实现方式，数据处理子系统140在对数据进行分析的过程中，首先会利用数据收集组件141进行数据信息的收集，其中，该数据可以为供应商端或客户端的数据，也可以为数据库130中的数据。在获取数据时，数据收集组件141可对原数据进行切分/分解。

并且，对于的已经进行处理后的数据，数据处理组件142会按队列方式发送至索引建立组件143。其中，队列传输按日志进行处理。同时，索引建立组件143对处理后的数据信息进行分解，并依据分解后的信息建立索引，以便于后续对于数据的调用。

进一步，数据处理组件144按索引对数据进行分析，即数据处理组件144能够按照索引确定的相应的数据信息，进而对数据信息进行分析，以得到分析结果，例如通过对相关数据信息的分析，能够实现问题排查定位、用户行为分析、流量地区差异分析、货源报价优先等的功能。

进一步地，数据处理子系统140还包括客户端，在S112之前，请参阅图8，该方法还包括：

S111，数据处理组件接收客户端的分析指令，其中，分析指令关联有数据类型。

S112可以为：

数据处理组件依据数据类型确定索引，以通过索引获取目标数据进行分析，并将分析结果发送至客户端。

即数据处理子系统140能够实现按照客户端的需求进行数据的获取及数据的分析，例如，当客户端的发送的分析指令为分析最便宜的车型时，数据处理子系统140在接收到该分析指令后，会依据该分析指令，按照索引找到所有供应商端的报价数据，并从报价数据中确定最便宜的数据，然后再将数据发送至客户端。

需要说明的是，数据处理子系统140中的客户端，可以指用户使用的端口，也可指的工作人员使用的端口，本申请对此并不做任何限定。

作为的一种可能的实现方式，本申请提供的数据处理子系统140可以为ELKF数据处理系统100， 在此基础上，数据收集组件141可以为Filebeat组件、数据处理组件142可以为Kafka组件、索引建立组件143可以为Logstash组件，数据处理组件144可以为Elasticsearch组件。当然地，在其它的一些实施例中，数据处理子系统140还可以为其它系统，本申请对此并不做任何限定。

第二实施例

请参阅图1与图5，本申请实施例还提供了一种数据处理系统100，该数据处理系统100包括服务器110、中间件120以及数据库130，中间件120分别与服务器110、数据库130通信连接，服务器110还用于与供应商端及第一客户端通信连接，其中，服务器110用于接收客户端或供应商端发送的数据信息，并将数据信息发送至中间件120，其中，数据信息均携带有标识信号，中间件120用于依据标识信号对数据信息进行分类处理，并将分类处理后的数据信息发送至数据库130进行存储。由于本申请提供的数据处理系统100与第一实施例所述的数据处理方法的工作原理相同，因此本申请对此不再进行赘述。

可以理解地，中间件120用于按字段对数据信息进行分解处理；且中间件120还用于从分解处理后的字段中依据每个字段的顺序确定目标字段，以将目标字段作为标识信号，并依据标识信号及预设定的协议映射表对数据信息进行分类。

其中，目标字段包括多个字节。

进一步地，数据处理系统还包括数据处理子系统140，数据处理子系统140包括数据收集组件141、数据处理组件142、索引建立组件143以及数据处理组件144，数据处理子系统140与中间件120通信连接，数据收集组件141用于收集处理后的数据信息，数据处理组件142用于对处理后的数据信息按队列方式发送至索引建立组件143，索引建立组件143用于对处理后的数据信息进行分解，并依据分解后的信息建立索引，数据处理组件144用于按索引对数据进行分析。

同时，数据处理子系统140还包括客户端，数据处理组件144用于接收客户端的分析指令，其中，分析指令关联有数据类型，数据处理组件144用于依据数据类型确定索引，以通过索引获取目标数据进行分析，并将分析结果发送至客户端。

综上所述，本申请提供了一种本申请实施例提供了一种数据处理方法与系统，该数据处理方法应用于数据处理系统，且数据处理系统包括服务器、中间件以及数据库，中间件分别与服务器、数据库通信连接，服务器还用于与供应商端及第一客户端通信连接，首先由服务器接收客户端或供应商端发送的数据信息，并将数据信息发送至中间件，其中，数据信息均携带有标识信号；然后由中间件依据标识信号对数据信息进行分类处理，并将分类处理后的数据信息发送至数据库进行存储。由于本申请设置了中间件，并且服务器接收到的数据均通过中间件进行统一处理，进而使得数据的收集更加方便。并且，由于中间件能够将获取的数据进行分类处理并存储至数据库中，能够在对数据的进行分析时，能够更加方便地对数据进行调用，进而提升工作效率。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种数据处理方法，其特征在于，所述数据处理方法应用于数据处理系统，所述数据处理系统包括服务器、中间件以及数据库，所述中间件分别与所述服务器、所述数据库通信连接，所述服务器还用于与供应商端及第一客户端通信连接，所述数据处理方法包括：

所述服务器接收所述客户端或所述供应商端发送的数据信息，并将所述数据信息发送至所述中间件，其中，所述数据信息均携带有标识信号；

所述中间件依据所述标识信号对所述数据信息进行分类处理，并将分类处理后的数据信息发送至所述数据库进行存储。

2.如权利要求1所述的数据处理方法，其特征在于，所述中间件依据所述标识信号对所述数据信息进行分类处理的步骤包括：

所述中间件按字段对所述数据信息进行分解处理；

所述中间件从分解处理后的字段中依据每个字段的顺序确定目标字段，以将所述目标字段作为标识信号；

所述中间件依据所述标识信号及预设定的协议映射表对所述数据信息进行分类。

3.如权利要求2所述的数据处理方法，其特征在于，所述目标字段包括多个字节。

4.如权利要求1所述的数据处理方法，其特征在于，所述数据处理系统还包括数据处理子系统，所述数据处理子系统包括数据收集组件、数据处理组件、索引建立组件以及数据处理组件，所述数据处理子系统与所述中间件通信连接，所述数据处理方法还包括：

所述数据收集组件收集所述处理后的数据信息；

所述数据处理组件对所述处理后的数据信息按队列方式发送至所述索引建立组件；

所述索引建立组件对所述处理后的数据信息进行分解，并依据分解后的信息建立索引；

所述数据处理组件按索引对数据进行分析。

5.如权利要求4所述的数据处理方法，其特征在于，所述数据处理子系统还包括客户端，所述数据处理方法还包括：

所述数据处理组件接收所述客户端的分析指令，其中，所述分析指令关联有数据类型；

所述数据处理组件依据所述数据类型确定索引，以通过所述索引获取目标数据进行分析，并将分析结果发送至所述客户端。

6.一种数据处理系统，其特征在于，所述数据处理系统包括服务器、中间件以及数据库，所述中间件分别与所述服务器、所述数据库通信连接，所述服务器还用于与供应商端及第一客户端通信连接；

所述服务器用于接收所述客户端或所述供应商端发送的数据信息，并将所述数据信息发送至所述中间件，其中，所述数据信息均携带有标识信号；

所述中间件用于依据所述标识信号对所述数据信息进行分类处理，并将分类处理后的数据信息发送至所述数据库进行存储。

7.如权利要求6所述的数据处理系统，其特征在于，所述中间件用于按字段对所述数据信息进行分解处理；

所述中间件还用于从分解处理后的字段中依据每个字段的顺序确定目标字段，以将所述目标字段作为标识信号；

所述中间件还用于依据所述标识信号及预设定的协议映射表对所述数据信息进行分类。

8.如权利要求7所述的数据处理系统，其特征在于，所述目标字段包括多个字节。

9.如权利要求6所述的数据处理系统系统，其特征在于，所述数据处理系统还包括数据处理子系统，所述数据处理子系统包括数据收集组件、数据处理组件、索引建立组件以及数据处理组件，所述数据处理子系统与所述中间件通信连接，所述数据收集组件用于收集所述处理后的数据信息；

所述数据处理组件用于对所述处理后的数据信息按队列方式发送至所述索引建立组件；

所述索引建立组件用于对所述处理后的数据信息进行分解，并依据分解后的信息建立索引；

所述数据处理组件用于按索引对数据进行分析。

10.如权利要求9所述的数据处理系统，其特征在于，所述数据处理子系统还包括客户端，所述数据处理组件用于接收所述客户端的分析指令，其中，所述分析指令关联有数据类型；

所述数据处理组件用于依据所述数据类型确定索引，以通过所述索引获取目标数据进行分析，并将分析结果发送至所述客户端。

Images