CN115292419B - 基于poH共识的数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于poH共识的数据处理方法，包括：获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库；基于历史证明poH对所述分布式数据库进行数据同步；获取目标数据，基于所述分布式数据库以及所述目标数据，获得所述目标数据对应的双向匹配数据。本发明还公开了一种数据处理装置、设备及存储介质。本发明可以将多来源数据的数据标准进行统一规范，使得分布式数据库各个节点可以进行数据同步，解决了数据孤岛问题，降低了数据处理的成本，提高了数据处理的效率，最终获得有价值的数据。

Description

基于poH共识的数据处理方法、装置、设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种基于poH共识的数据处理方法、装置、设备及存储介质。

背景技术

在科技日新月异的今天，人类社会已经全面进入了大数据时代，数据是各个企业最重要的核心资产。大数据能为企业带来大量的商业价值，企业通过对获取的大数据进行数据分析，可以获得有价值的数据，从而更好地确定发展方向，改进商业模式，从而壮大自身。

然而，企业在处理大数据时还存在“数据孤岛”问题，“数据孤岛”又称“数据的污染”，其在物理性上的定义为：数据在不同部门相互独立存储，独立维护，彼此间相互孤立，形成了物理上的孤岛；在逻辑性上的定义为：不同部门站在自己的角度对数据进行理解和定义，使得一些相同的数据被赋予了不同的含义，无形中加大了跨部门数据合作的沟通成本。

由于通过大数据的治理可以解决“数据孤岛”问题，所以大数据的治理被各大企业所重视，目前在大数据的治理方面比较突出的有大数据开发治理平台 DataWorks，DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。通过DataWorks平台虽然在一定程度上解决了“数据孤岛”问题，但是DataWorks平台所有的数据库必须要手动连接，然后手动引入数据源来进行数据处理，并且需要大量的数据开发工程师来进行数据标准的建立和数据建模，从而处理来自不同来源的数据。这样的方式导致了数据处理的效率低下，且浪费了很多人力物力财力。

因此，有必要提出一种既可以解决“数据孤岛”问题，还可以减少数据处理的成本，并且可以提高数据处理的效率，最终获得有价值的数据的技术方案。

发明内容

本发明的主要目的在于提供一种基于poH共识的数据处理方法，旨在解决多来源数据的数据标准不统一规范，且数据处理的成本高、效率低的技术问题。

为实现上述目的，本发明提供一种基于poH共识的数据处理方法，所述数据处理方法包括以下步骤：

获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库；

基于历史证明poH对所述分布式数据库进行数据同步；

获取目标数据，基于所述分布式数据库以及所述目标数据，获得所述目标数据对应的双向匹配数据。

优选地，所述基于历史证明poH对所述分布式数据库进行数据同步的步骤包括：

基于所述分布式数据库定时建立数据快照；

基于所述数据快照对所述分布式数据库的各个节点进行数据同步。

优选地，所述基于所述数据快照对所述分布式数据库的各个节点进行数据同步的步骤包括：

若第一数据快照建立，则获取所述第一数据快照的第一时间戳信息；

获取各个所述节点的节点数据的第二时间戳信息；

基于所述第一时间戳信息以及所述第二时间戳信息进行数据同步。

优选地，所述获取目标数据，基于所述分布式数据库以及所述目标数据，获得所述目标数据对应的双向匹配数据的步骤包括：

基于所述分布式数据库构建非线性逻辑回归模型；

基于所述非线性逻辑回归模型对所述目标数据进行分析训练，获得所述双向匹配数据。

优选地，所述基于所述非线性逻辑回归模型对所述目标数据进行分析训练，获得所述双向匹配数据的步骤包括：

将所述目标数据输入所述非线性逻辑回归模型进行分析训练，基于所述非线性逻辑回归模型输出所述目标数据对应的第一数据以及第二数据；

对所述第一数据以及所述第二数据进行数据分析，基于所述第一数据以及所述第二数据构建所述双向匹配数据。

优选地，所述获取目标数据，基于所述分布式数据库以及所述目标数据，获得所述目标数据对应的双向匹配数据的步骤之后，还包括：

基于所述双向匹配数据，确定目标群体以及所述目标群体对应的目标信息；

将所述目标信息推送至所述目标群体。

优选地，所述获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库的步骤包括：

基于所述汇总数据对应的各个数据源，确定各个所述数据源对应的各个节点；

基于各个所述节点建立所述分布式数据库，对所述汇总数据进行差别化加密并分配至各个所述节点。

此外，为实现上述目的，本发明还提供一种数据处理装置，所述数据处理装置包括：

获取模块，用于获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库；

同步模块，用于基于历史证明poH对所述分布式数据库进行数据同步；

结果模块，用于获取目标数据，基于所述分布式数据库以及所述目标数据，获得所述目标数据对应的双向匹配数据。

此外，为实现上述目的，本发明还提供一种数据处理设备，其特征在于，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如上所述的数据处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的数据处理方法的步骤。

本发明通过获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库；基于历史证明poH对所述分布式数据库进行数据同步；获取目标数据，基于所述分布式数据库以及所述目标数据，获得所述目标数据对应的双向匹配数据。将多来源数据的数据标准进行统一规范，使得分布式数据库各个节点可以进行数据同步，解决了数据孤岛问题，降低了数据处理的成本，提高了数据处理的效率，最终获得有价值的数据。

附图说明

图1是本发明实施例方案涉及的硬件运行环境中数据处理设备的结构示意图；

图2为本发明基于poH共识的数据处理方法第一实施例的流程示意图；

图3为本发明基于poH共识的数据处理方法一实施例数据处理装置的模块示意图；

图4为本发明基于poH共识的数据处理方法一实施例房产交易数据验证的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境中数据处理设备的结构示意图。

本发明实施例终端可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该数据处理设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，数据处理设备还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理程序。

在图1所示的数据处理设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据处理程序。

在本实施例中，数据处理设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的数据处理程序，其中，处理器1001调用存储器1005中存储的数据处理程序时，执行以下各个实施例中数据处理方法的步骤。

本发明还提供一种基于poH共识的数据处理方法，参照图2，图2为本发明数据处理方法第一实施例的流程示意图。

本实施例中，该方法包括以下步骤：

步骤S101，获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库；

需要说明的是，分布式数据库，其英文名为Distributed Data Base，简称DDB，是由多个局部数据库通过网络连接，共同组成的一个完整的、全局的逻辑上集中、物理上分布的大型数据库。

本实施例中，分布式数据库的各个局部数据库即为分布式数据库的各个节点，由于大数据存在多个数据源，因此多个数据源的汇总数据可以视作获取到的大数据的汇总，获取多个数据源的汇总数据后，就可以根据汇总数据建立分布式数据库。

具体地，每个数据源可以构成一个局部数据库，对应分布式数据库的一个节点，根据各个数据源即可确定各个节点，而后根据各个节点以及汇总数据建立分布式数据库，将汇总数据按照各个数据源分配至分布式数据库的各个节点。

可选地，在根据各个数据源的汇总数据建立分布式数据库时，还可以对汇总数据采用加密算法进行差别化加密，以保障不同主体对于数据不同的密级要求。

步骤S102，基于历史证明poH对所述分布式数据库进行数据同步；

需要说明的是，共识机制，又被称为共识算法，是指网络中的节点如何就哪些区块链交易是有效的这一问题来达成共识，共识算法包括工作证明poW，权益证明poS和历史证明poH等。

本实施例中，为了改善数据质量，则需要根据共识算法使得分布式数据库的各个节点达成共识，例如，根据历史证明poH来使得分布式数据库的各个节点达成共识，从而能够对分布式数据库进行数据同步，建立数据标准。

具体地，分布式数据库根据历史证明poH定时建立数据快照，数据快照中记录着时间戳信息，从而可以根据时间戳信息进行排列，而分布式数据库的各个节点存在内部时钟，当数据快照建立时，各个节点可以根据内部时钟来验证事件和时间的推移，从而进行数据同步，最终将虚假数据剔除，筛选出真实数据。

步骤S103，获取目标数据，基于所述分布式数据库以及所述目标数据，获得所述目标数据对应的双向匹配数据。

本实施例中，由于分布式数据库的各个节点根据历史证明poH达成了共识，完成了数据同步，建立了数据标准，因此当获得目标数据时，根据分布式数据库以及目标数据，即可获得目标数据对应的双向匹配数据。

具体地，根据达成了共识的分布式数据库中的数据建立非线性逻辑回归模型，当分布式数据库任一节点获取到数据，并根据数据标准完成了数据同步后，即可将获取到的数据对应的真实数据作为目标数据，而后，将目标数据输入该非线性逻辑回归模型进行分析训练，从而获得目标数据对应的双向匹配数据，该双向匹配数据即可作为有价值的数据，后续可以通过应用该双向匹配数据来获取价值。

在本实施例中，通过获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库；并基于历史证明poH对所述分布式数据库进行数据同步；而后获取目标数据，基于所述分布式数据库以及所述目标数据，获得所述目标数据对应的双向匹配数据。可以将多来源数据的数据标准进行统一规范，使得分布式数据库各个节点可以进行数据同步，解决了数据孤岛问题，降低了数据处理的成本，提高了数据处理的效率，最终获得有价值的数据。

基于第一实施例，提出本发明数据处理方法的第二实施例，在本实施例中，步骤S102包括：

步骤S201，基于所述分布式数据库定时建立数据快照；

步骤S202，基于所述数据快照对所述分布式数据库的各个节点进行数据同步。

本实施例中，需要根据历史证明poH的共识机制来对分布式数据库进行数据同步，首先，定时根据分布式数据库建立数据快照，而后，根据建立的数据快照对分布式数据库的各个节点进行数据同步。

具体地，分布式数据库的所有数据每隔预设时间建立一个数据快照，由于数据快照中包括时间戳信息，因此各个数据快照根据时间戳信息可以排列顺序，各个节点内部存在时钟，当新的数据快照建立时，获取各个节点的节点数据的时间戳信息，各个节点通过节点数据的时间戳信息对数据快照的时间戳信息进行验证，将时间戳信息匹配的数据作为真实数据，将时间戳不匹配的数据作为虚假数据，这样即视作完成了数据同步。

可选地，基于所述数据快照对所述分布式数据库的各个节点进行数据同步的方法，具体步骤包括：

步骤S301，若第一数据快照建立，则获取所述第一数据快照的第一时间戳信息；

步骤S302，获取各个所述节点的节点数据的第二时间戳信息；

步骤S303，基于所述第一时间戳信息以及所述第二时间戳信息进行数据同步。

本实施例中，最初，分布式数据库建立第一个数据快照，作为初始数据快照记录所有数据，而后，每隔预设时间建立一个数据快照，各个节点通过对数据快照验证进行数据同步，每当最新的数据快照建立时，将该数据快照作为第一数据快照，并获取该数据快照的第一时间戳信息，由于各个节点通过内部时钟为节点数据附加第二时间戳信息，因此可以根据第二时间戳信息对第一时间戳信息进行验证，以进行时间同步，例如，当应用于房地产行业时，设分布式数据库第一个建立的所有数据的数据快照为房产交易数据1，房产交易数据1即为各个不同节点之间一致的初始数据快照，其时间戳信息为“Tue，Aug，23，2022，11:29:12”，设每隔2s建立一个数据快照，则第二个建立的数据快照即为房产交易数据2，其时间戳信息为“Tue，Aug，23，2022，11:29:14”，若第三个建立的数据快照即房产交易数据3为最新的数据快照，其时间戳信息为“Tue，Aug，23，2022，11:29:16”，当其建立时，将其时间戳信息作为第一时间戳信息，此时若不同节点存在房产交易数据4a以及4b，则获取房产交易数据4a以及4b的时间戳信息，作为第二时间戳信息，通过第二时间戳信息对第一时间戳信息进行验证，若房产交易数据4a的时间戳信息为“Tue，Aug，23，2022，11:29:17”，房产交易数据4b的时间戳信息为“Tue，Aug，23，2022，11:29:15”，则说明房产交易数据4a的时间在房产交易数据3的时间之后，其为真实数据，房产交易数据4b的时间在房产交易数据3的时间之前，其时间顺序错误，视作虚假数据，最终，剔出虚假数据，根据真实数据进行数据同步，即可建立数据标准，参照图4，图4为本实施例房产交易数据验证的流程示意图。

在本实施例中，通过若第一数据快照建立，则获取所述第一数据快照的第一时间戳信息；获取各个所述节点的节点数据的第二时间戳信息；基于所述第一时间戳信息以及所述第二时间戳信息进行数据同步。使得分布式数据库可以通过时间戳信息进行各个节点数据的验证，从而根据真实数据进行数据同步，改善了数据的质量。

在本实施例中，通过基于所述分布式数据库定时建立数据快照；基于所述数据快照对所述分布式数据库的各个节点进行数据同步。使得分布式数据库根据历史证明poH达成了共识，改善了数据的质量，解决了数据孤岛问题，后续降低了数据处理的成本，提高了数据处理的效率。

基于第一实施例，提出本发明数据处理方法的第三实施例，在本实施例中，步骤S103包括：

步骤S401，基于所述分布式数据库构建非线性逻辑回归模型；

步骤S402，基于所述非线性逻辑回归模型对所述目标数据进行分析训练，获得所述双向匹配数据。

本实施例中，由于分布式数据库各个节点的数据往往是非线性的，因此可以根据分布式数据库构建非线性逻辑回归模型，而后通过非线性逻辑回归模型对目标数据进行分析训练，从而获得双向匹配数据。

具体地，非线性逻辑回归模型是易于理解和实现的，通过非线性逻辑回归模型可以快速的获得目标数据的二分类的概率值，由于分布式数据库完成了数据同步，建立了数据标准，因此可以根据分布式数据库的构建非线性逻辑回归模型，后续获得目标数据时，将目标数据输入非线性逻辑回归模型进行分析训练，即可通过该模型获得目标数据对应的双向匹配数据。

可选地，基于所述非线性逻辑回归模型对所述目标数据进行分析训练，获得所述双向匹配数据的方法，具体步骤包括：

步骤S501，将所述目标数据输入所述非线性逻辑回归模型进行分析训练，基于所述非线性逻辑回归模型输出所述目标数据对应的第一数据以及第二数据；

步骤S502，对所述第一数据以及所述第二数据进行数据分析，基于所述第一数据以及所述第二数据构建所述双向匹配数据。

本实施例中，将目标数据输入根据分布式数据库构建的非线性逻辑回归模型进行分析训练，即可输出目标数据对应的第一数据以及第二数据，而后根据第一数据以及第二数据进行分析，即可获得目标数据对应的双向匹配数据，例如，应用于房地产行业，目标数据为房源数据，将房源数据输入该模型，就可以通过该模型的分析训练得到用户喜欢的房源，作为第一数据，以及房源匹配的用户，作为第二数据，而后通过第一数据以及第二数据进行数据分析，即可输出一个双向匹配数据，该双向匹配数据包括：a、房源对应的潜在用户；b、用户对应的匹配房源。

在本实施例中，通过将所述目标数据输入所述非线性逻辑回归模型进行分析训练，基于所述非线性逻辑回归模型输出所述目标数据对应的第一数据以及第二数据；对所述第一数据以及所述第二数据进行数据分析，基于所述第一数据以及所述第二数据构建所述双向匹配数据。将目标数据输入非线性逻辑回归模型最终就可以得到有价值的数据，降低了数据处理的成本，提高了数据处理的效率。

在本实施例中，通过基于所述分布式数据库构建非线性逻辑回归模型；基于所述非线性逻辑回归模型对所述目标数据进行分析训练，获得所述双向匹配数据。在多来源数据的数据标准进行统一规范后，通过构建非线性逻辑回归模型并进行分析训练获得最终的有价值数据，降低了数据处理的成本，提高了数据处理的效率。

基于第一实施例，提出本发明数据处理方法的第四实施例，在本实施例中，步骤S103之后，还包括：

步骤S601，基于所述双向匹配数据，确定目标群体以及所述目标群体对应的目标信息；

步骤S602，将所述目标信息推送至所述目标群体。

本实施例中，双向匹配数据作为有价值的数据，获得双向匹配数据后，可以根据该双向匹配数据确定目标群体以及目标群体对应的目标信息，而后将目标信息推送至目标群体，例如，应用于房地产行业，该双向匹配数据包括：a、房源对应的潜在用户；b、用户对应的匹配房源，通过该双向匹配数据，可以确定用户适合的房源信息，并向用户推送，或者，确定适合房源的用户信息，并向房源的房东推送。

可选地，应用于人事招聘，该双向匹配数据还可以包括：c、适合公司的人才，d、适合个人的公司，通过该双向匹配数据，可以确定用户适合的公司的招聘信息，并向用户推送，或者，确定适合公司的用户的应聘信息，并向公司的HR推送。

在本实施例中，通过基于所述双向匹配数据，确定目标群体以及所述目标群体对应的目标信息；将所述目标信息推送至所述目标群体。使得最终获得的双向匹配数据为有价值的数据，可以通过利用该双向匹配数据来产生价值。

基于上述各个实施例，提出本发明数据处理方法的第五实施例，在本实施例中，步骤S101包括：

步骤S701，基于所述汇总数据对应的各个数据源，确定各个所述数据源对应的各个节点；

步骤S702，基于各个所述节点建立所述分布式数据库，对所述汇总数据进行差别化加密并分配至各个所述节点。

本实施例中，为了进行数据集成，首先要建立分布式数据库，根据汇总数据对应的各个数据源，即可确定各个数据源对应的将要建立的分布式数据库的各个节点，而后根据各个节点建立分布式数据库，最终，为了保障数据安全，对汇总数据进行差别化加密后，再将加密后的数据分配至分布式数据库中的对应的各个节点。

可选地，可以采用scrypt加密算法对数据进行差别化加密，设置P1、P2、P3、P4、P5、P6、P7等多个安全级别，各个节点可以共享各自对应的安全级别以下的数据，充分确保了数据的安全。

在本实施例中，通过基于所述汇总数据对应的各个数据源，确定各个所述数据源对应的各个节点；基于各个所述节点建立所述分布式数据库，对所述汇总数据进行差别化加密并分配至各个所述节点。可以进行数据集成，将多来源数据的数据标准进行统一规范，并进行差别化加密，确保了数据的安全，使得后续分布式数据库各个节点可以进行数据同步，以解决数据孤岛问题。

此外，本发明实施例还提出一种数据处理装置，所述数据处理装置包括：

获取模块10，用于获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库；

同步模块20，用于基于历史证明poH对所述分布式数据库进行数据同步；

结果模块30，用于获取目标数据，基于所述分布式数据库以及所述目标数据，获得所述目标数据对应的双向匹配数据。

进一步地，所述同步模块20，还用于：

基于所述分布式数据库定时建立数据快照；

基于所述数据快照对所述分布式数据库的各个节点进行数据同步。

进一步地，所述数据处理装置，还用于：

若第一数据快照建立，则获取所述第一数据快照的第一时间戳信息；

获取各个所述节点的节点数据的第二时间戳信息；

基于所述第一时间戳信息以及所述第二时间戳信息进行数据同步。

进一步地，所述数据处理装置，还用于：

基于所述分布式数据库构建非线性逻辑回归模型；

基于所述非线性逻辑回归模型对所述目标数据进行分析训练，获得所述双向匹配数据。

进一步地，所述数据处理装置，还用于：

将所述目标数据输入所述非线性逻辑回归模型进行分析训练，基于所述非线性逻辑回归模型输出所述目标数据对应的第一数据以及第二数据；

对所述第一数据以及所述第二数据进行数据分析，基于所述第一数据以及所述第二数据构建所述双向匹配数据。

进一步地，所述数据处理装置，还用于：

基于所述双向匹配数据，确定目标群体以及所述目标群体对应的目标信息；

将所述目标信息推送至所述目标群体。

进一步地，所述数据处理装置，还用于：

基于所述汇总数据对应的各个数据源，确定各个所述数据源对应的各个节点；

基于各个所述节点建立所述分布式数据库，对所述汇总数据进行差别化加密并分配至各个所述节点。

此外，本发明实施例还提出一种数据处理方法设备，该数据处理方法设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理方法程序，所述数据处理方法程序被所述处理器执行时实现如上所述的数据处理方法的步骤。

此外，本发明实施例还提出一种计算机可读存储介质，所述介质优选为计算机可读存储介质，其上存储有数据处理方法程序，所述数据处理方法程序被处理器执行时实现如上所述的数据处理方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于poH共识的数据处理方法，其特征在于，所述数据处理方法包括以下步骤：

获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库，其中，所述分布式数据库包括各个节点，各个所述节点内部存在时钟；

基于历史证明poH，在所述分布式数据库中建立初始数据快照，并每隔预设时间在所述分布式数据库中建立数据快照，其中，每个数据快照包括对应的时间戳信息；

若当前数据快照建立，则获取当前数据快照对应的第一时间戳信息，并基于所述时钟获取各个所述节点的节点数据对应的第二时间戳信息；

基于所述第二时间戳信息对所述第一时间戳信息进行验证，将时间戳匹配的节点数据作为真实数据，将时间戳不匹配的节点数据作为虚假数据，剔除所述虚假数据，并基于所述真实数据对各个所述节点进行数据同步；

基于所述分布式数据库构建目标模型，并基于各个所述节点获取待处理的目标数据；

基于所述目标数据以及所述目标模型，获得所述目标数据对应的第一数据以及第二数据，并基于所述第一数据以及所述第二数据获得双向匹配数据，其中，所述双向匹配数据为体现所述第一数据与所述第二数据匹配关系的数据。

2.如权利要求1所述的数据处理方法，其特征在于，所述基于各个所述节点获取待处理的目标数据的步骤包括：

每隔所述预设时间基于所述数据快照获得所述真实数据时，将各个所述节点的真实数据作为所述目标数据。

3.如权利要求1所述的数据处理方法，其特征在于，所述目标模型为非线性逻辑回归模型，所述基于所述目标数据以及所述目标模型，获得所述目标数据对应的第一数据以及第二数据，并基于所述第一数据以及所述第二数据获得双向匹配数据的步骤包括：

将所述目标数据输入所述非线性逻辑回归模型进行分析训练，基于所述非线性逻辑回归模型输出所述第一数据以及所述第二数据；

对所述第一数据以及所述第二数据进行数据分析，基于所述第一数据以及所述第二数据构建所述双向匹配数据。

4.如权利要求1所述的数据处理方法，其特征在于，所述基于所述目标数据以及所述目标模型，获得所述目标数据对应的第一数据以及第二数据，并基于所述第一数据以及所述第二数据获得双向匹配数据的步骤之后，还包括：

基于所述双向匹配数据，确定目标群体以及所述目标群体对应的目标信息；

将所述目标信息推送至所述目标群体。

5.如权利要求1至4任一项所述的数据处理方法，其特征在于，所述获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库的步骤包括：

基于所述汇总数据对应的各个数据源，确定各个所述数据源对应的各个节点；

基于各个所述节点建立所述分布式数据库，对所述汇总数据进行差别化加密并分配至各个所述节点。

6.一种数据处理装置，其特征在于，所述数据处理装置包括：

第一获取模块，用于获取多个数据源的汇总数据，基于所述汇总数据建立分布式数据库，其中，所述分布式数据库包括各个节点，各个所述节点内部存在时钟；

建立模块，用于基于历史证明poH，在所述分布式数据库中建立初始数据快照，并每隔预设时间在所述分布式数据库中建立数据快照，其中，每个数据快照包括对应的时间戳信息；

第二获取模块，用于若当前数据快照建立，则获取当前数据快照对应的第一时间戳信息，并基于所述时钟获取各个所述节点的节点数据对应的第二时间戳信息；

验证模块，用于基于所述第二时间戳信息对所述第一时间戳信息进行验证，将时间戳匹配的节点数据作为真实数据，将时间戳不匹配的节点数据作为虚假数据，剔除所述虚假数据，并基于所述真实数据对各个所述节点进行数据同步；

第三获取模块，用于基于所述分布式数据库构建目标模型，并基于各个所述节点获取待处理的目标数据；

模型训练模块，用于基于所述目标数据以及所述目标模型，获得所述目标数据对应的第一数据以及第二数据，并基于所述第一数据以及所述第二数据获得双向匹配数据，其中，所述双向匹配数据为体现所述第一数据与所述第二数据匹配关系的数据。

7.一种数据处理设备，其特征在于，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如权利要求1至5中任一项所述的数据处理方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至5中任一项所述的数据处理方法的步骤。

Images