CN115455042A - 数据处理方法、设备以及计算机可读存储介质 - Google Patents

Abstract

本发明涉及数据库技术领域，尤其涉及一种数据处理方法、设备以及计算机可读存储介质，其中，所述方法包括：对数据库中的数据进行预处理，所述预处理包括规范第三方数据汇集接口、离线数据导入和表同步处理中的至少一种；将预处理后的所述数据，按照所述数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据；在接收到数据查询请求时，确定所述数据查询请求的协议地址关联的归属区域；确定所述待查询数据的所述区域标识字段中，与所述协议地址关联的所述归属区域相匹配的目标查询数据，并输出所述目标查询数据。达到了减少数据统计时数据统计数量的效果，解决了如何提升数据库的数据处理效率的问题。

Description

数据处理方法、设备以及计算机可读存储介质

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据处理方法、设备以及计算机可读存储介质。

背景技术

在志愿者服务项目中，由于志愿者队伍的人数基数较大，因此涉及到的数据交互规模也较为庞大，该项目的相关信息大多存储于一个大型数据库中。

在相关技术方案中，在数据库中进行数据查询时，数据库每接收到一次查询指令都要在数据库中遍历大量的数据，找到与查询指令相匹配的目标数据。然而，当数据查询的人数较多且操作较频繁时，每一次查询都要遍历大量的数据的方式，会增大数据库的运行负荷，导致数据库中的查询响应速度变慢，造成查询效率降低的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据处理方法，旨在解决如何提升数据库的数据处理效率的问题。

为实现上述目的，本发明提供的一种数据处理方法，所述方法包括：

对数据库中的数据进行预处理，所述预处理包括规范第三方数据汇集接口、离线数据导入和表同步处理中的至少一种；

将预处理后的所述数据，按照所述数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据；

在接收到数据查询请求时，确定所述数据查询请求的协议地址关联的归属区域；

确定所述待查询数据的所述区域标识字段中，与所述协议地址关联的所述归属区域相匹配的目标查询数据，并输出所述目标查询数据。

可选地，所述将预处理后的所述数据，按照所述数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据的步骤之前，包括：

确定所述数据中的目标字段；

将所述目标字段与预设区域规划表中的参考字段进行匹配，根据匹配结果确定所述数据的所述数据来源区域。

可选地，所述预处理包括所述规范第三方数据汇集接口，所述对数据库中的数据进行预处理的步骤包括：

获取来自第三方汇集数据接口发送的数据交互请求；

确定所述数据交互请求与所述数据库之间是否存在数据交互权限的渠道标识；

若所述数据请求中存在所述渠道标识，向所述第三方汇集数据接口分配线程，以通过分配线程后的第三方汇集数据接口，与所述数据库中的数据进行交互。

可选地，所述预处理包括所述离线数据导入，所述对数据库中的数据进行预处理的步骤包括：

获取数据的分区信息，所述分区信息包括离线分区信息和在线分区信息；

根据所述分区信息确定所述数据的目标分区，其中，若所述分区信息为所述离线分区信息，则所述目标分区为离线分区，若所述分区信息为所述在线分区信息，则所述目标分区为在线分区；

将所述在线分区中的数据导入所述数据库，其中，在接收到数据导入请求时，将所述离线分区中的所述数据，导入所述在线分区。

可选地，所述预处理包括所述表同步处理，所述对数据库中的初始数据进行预处理的步骤之前，包括：

基于第一预设周期，定期检查所述初始数据的数据来源表和所述初始数据的目标发送地；

根据所述数据来源表和所述目标发送地，生成需要进行所述表同步处理的目标数据表；

所述对数据库中的初始数据进行预处理的步骤包括：

基于第二预设周期，定期获取所述目标数据表；

通过所述目标数据表的数据接口中的数据变化信息，确定所述目标数据表中相较于上一周期获取时发生变化的动态数据；

根据所述动态数据，更新所述目标数据表，以完成所述表同步处理。

可选地，所述将预处理后的所述数据，按照所述数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据的步骤之后，包括：

在目标时段内，获取位于所述数据库的统计分析区中的持久化数据；

确定所述持久化数据的数据冗余量；

清除所述持久化数据中所述数据冗余量大于冗余阈值的冗余数据，以减小所述数据库在执行数据查询操作时的数据计算量。

可选地，所述确定所述待查询数据的所述区域标识字段中，与所述协议地址关联的所述归属区域相匹配的目标查询数据，并输出所述目标查询数据的步骤之后，包括：

将所述目标查询数据存入所述数据库的数据缓存区，以在预设时间段内接收到针对所述目标查询数据的数据查询请求时，从所述数据缓存区中获取并输出所述目标查询数据。

可选地，所述确定所述数据查询请求的协议地址关联的归属区域的步骤之后，包括：

若未匹配到所述目标查询数据，确定所述数据查询请求的查询权限；

当所述查询权限满足预设全局查询条件时，确定是否存在与所述数据查询请求相匹配的全局查询数据，若存在，则输出所述全局查询数据；

否则，输出查询失败提示。

此外，为实现上述目的，本发明还提供一种数据处理设备，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如上所述的数据处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的数据处理方法的步骤。

本发明实施例提供一种数据处理方法、设备以及计算机可读存储介质。其中，所述方法包括：对数据库中的数据进行预处理，所述预处理包括规范第三方数据汇集接口、离线数据导入和表同步处理中的至少一种；将预处理后的所述数据，按照所述数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据；在接收到数据查询请求时，确定所述数据查询请求的协议地址关联的归属区域；确定所述待查询数据的所述区域标识字段中，与所述协议地址关联的所述归属区域相匹配的目标查询数据，并输出所述目标查询数据。通过自研算法对数据库中的数据做预处理将预处理后的数据按照数据来源区域进行分类，在接收到不同区域的查询请求时，在与查询请求的区域对应的分类数据中进行查询。当数据库的运行负荷较大时，能够有效降低数据查询时的计算次数，减少数据统计时数据统计数量。

附图说明

图1为本发明实施例涉及的数据处理设备的硬件架构示意图；

图2为本发明数据处理方法的第一实施例的流程示意图；

图3为本发明数据处理方法的第二实施例的流程示意图；

图4为一具体实施方式中基于本发明数据处理方法所设置的民政部门管理端的数据查询界面示意图；

图5为一具体实施方式中基于本发明数据处理方法所设置的志愿者队伍管理端的数据查询界面示意图；

图6为一具体实施方式中基于本发明数据处理方法所设置的志愿者用户端的数据查询界面示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本申请通过自研算法对数据库中的数据做预处理，预处理包括：规范第三方数据汇集接口、离线基础数据导入和数据库表同步中的至少一种，将预处理后的数据按照数据来源区域进行分类，在接收到不同区域的查询请求时，在与查询请求的区域对应的分类数据中进行查询。当数据库的运行负荷较大时，通过上述方法，能够有效降低数据查询时的计算次数，减少数据统计时技术数据统计数量。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

作为一种实现方案，数据处理设备的硬件架构可以如图1所示。

本发明实施例方案涉及的是数据处理设备的硬件架构，所述数据处理设备的硬件架构包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。

存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括数据处理程序；而处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：

对数据库中的数据进行预处理，所述预处理包括规范第三方数据汇集接口、离线数据导入和表同步处理中的至少一种；

将预处理后的所述数据，按照所述数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据；

在接收到数据查询请求时，确定所述数据查询请求的协议地址关联的归属区域；

确定所述待查询数据的所述区域标识字段中，与所述协议地址关联的所述归属区域相匹配的目标查询数据，并输出所述目标查询数据。

在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：

确定所述数据中的目标字段；

将所述目标字段与预设区域规划表中的参考字段进行匹配，根据匹配结果确定所述数据的所述数据来源区域。

在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：

获取来自第三方汇集数据接口发送的数据交互请求；

确定所述数据交互请求与所述数据库之间是否存在数据交互权限的渠道标识；

若所述数据请求中存在所述渠道标识，向所述第三方汇集数据接口分配线程，以通过分配线程后的第三方汇集数据接口，与所述数据库中的数据进行交互。

在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：

获取数据的分区信息，所述分区信息包括离线分区信息和在线分区信息；

根据所述分区信息确定所述数据的目标分区，其中，若所述分区信息为所述离线分区信息，则所述目标分区为离线分区，若所述分区信息为所述在线分区信息，则所述目标分区为在线分区；

将所述在线分区中的数据导入所述数据库，其中，在接收到数据导入请求时，将所述离线分区中的所述数据，导入所述在线分区。

在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：

基于第一预设周期，定期检查所述初始数据的数据来源表和所述初始数据的目标发送地；

根据所述数据来源表和所述目标发送地，生成需要进行所述表同步处理的目标数据表；

所述对数据库中的初始数据进行预处理的步骤包括：

基于第二预设周期，定期获取所述目标数据表；

通过所述目标数据表的数据接口中的数据变化信息，确定所述目标数据表中相较于上一周期获取时发生变化的动态数据；

根据所述动态数据，更新所述目标数据表，以完成所述表同步处理。

在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：

在目标时段内，获取位于所述数据库的统计分析区中的持久化数据；

确定所述持久化数据的数据冗余量；

清除所述持久化数据中所述数据冗余量大于冗余阈值的冗余数据，以减小所述数据库在执行数据查询操作时的数据计算量。

在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：

将所述目标查询数据存入所述数据库的数据缓存区，以在预设时间段内接收到针对所述目标查询数据的数据查询请求时，从所述数据缓存区中获取并输出所述目标查询数据。

在一实施例中，处理器101可以用于调用存储器102中存储的数据处理程序，并执行以下操作：

若未匹配到所述目标查询数据，确定所述数据查询请求的查询权限；

当所述查询权限满足预设全局查询条件时，确定是否存在与所述数据查询请求相匹配的全局查询数据，若存在，则输出所述全局查询数据；

否则，输出查询失败提示。

基于上述基于数据库技术的数据处理设备的硬件架构，提出本发明数据处理方法的实施例。

参照图2，在第一实施例中，所述数据处理方法包括以下步骤：

步骤S10，对数据库中的数据进行预处理，所述预处理包括规范第三方数据汇集接口、离线数据导入和表同步处理中的至少一种；

在本实施例中，首先对数据库中的数据做预处理，所述预处理包括规范第三方数据汇集接口、离线数据导入和表同步处理中的至少一种，通过预处理数据库中的数据的目的在于，由于数据库在查询数据时可能还会实时计算汇总的数据，在数据量比较大或查询频率高时会影响到数据库查询数据的效率，基于此，在执行数据查询之前，需要对数据库中的数据先做预处理，从而减少后续执行操作时数据库本身的任务量。需要说明的是，对数据库中的数据进行预处理，并非只是对数据本身做预处理，也包含对数据的交互通道(如数据接口)、如何导入数据做预处理以及数据的载体(如数据表)做预处理。

可选地，规范第三方数据汇集接口的方式可以为：获取来自第三方汇集数据接口发送的数据交互请求；确定所述数据交互请求与所述数据库之间是否存在数据交互权限的渠道标识；若所述数据交互请求中存在所述渠道标识，向所述第三方汇集数据接口分配线程，以通过分配线程后的第三方汇集数据接口，与所述数据库中的数据进行交互。在本实施例中，规范第三方数据汇集接口的目的在于，在很多内部业务系统的数据库中，通常由数据库所在的平台去调用外部的第三方数据汇集接口，当存在多个不同的第三方数据汇集接口的时候，数据库在调用接口时会耗费较长的时间，因此将第三方汇集数据做规范化处理，从而降低数据库在调用接口时所需的时间。在本实施例中，数据交互请求是第三方汇集数据接口在初次与数据库进行交互时进行的请求，通过确定该数据交互请求与数据库之间是否存在渠道标识，渠道标识表征为数据交互权限的标识，具有该渠道标识的第三方汇集数据接口，数据库会向其分配线程，允许其作为数据库中数据的接口。其中，渠道标识可以由第三方在满足数据库的运营商的预设规则时，赋予第三方该渠道标识，例如，向运营商支付一定的费用等。

可选地，离线数据导入的方式可以为：获取数据的分区信息，所述分区信息包括离线分区信息和在线分区信息，然后根据所述分区信息确定所述数据的目标分区，其中，若所述分区信息为所述离线分区信息，则所述目标分区为离线分区，若所述分区信息为所述在线分区信息，则所述目标分区为在线分区，再将所述在线分区中的数据导入所述数据库，并且在接收到数据导入请求时，将所述离线分区中的所述数据，导入所述在线分区。在本实施例中，数据库中存储的数据，除了实时写入的在线数据之外，还有一些数据为离线数据，这些离线数据能够在离线状态下由离线系统经过计算、加工之后又导入数据库中。分区表示一段连续的数据空间，一个分区包含一个起始键值startkey和一个结束键值endkey。基于此，本实施例中，在向数据库中导入数据之前，获取数据中的分区信息，可选地，分区信息可以通过对数据所在的数据表中的起始键值startkey和一个结束键值endkey来提取出数据的分区信息。进一步的，根据分区信息确定出该数据的目标分区为离线分区还是在线分区，若分区信息为离线分区信息，则目标分区为离线分区，若分区信息为在线分区信息，则目标分区为在线分区。进一步的，在向数据库导入数据时，只导入位于在线分区中的数据，而离线分区中的数据，则在接收到数据导入请求时再进行导入，其中，数据导入请求是在离线分区中的数据在本地进行计算和处理后才能接收到的请求。

示例性地，在一些实施方式中，在线数据为数据库中调用较为频繁的数据，例如，在志愿者项目中，在线数据通常为志愿者人数、志愿者姓名、志愿机构等能够通过第三方数据汇集接口对数据库中的数据进行增删改查等操作的数据，而离线数据则通常为一些调用次数较少的数据，例如志愿者项目中的志愿者账户权限、志愿者账户密码等不能通过第三方数据汇集接口进行增删改查等操作的数据。

可选地，表同步处理的方式可以为：首先按照一个预设的周期(即第一预设周期)，定期检查初始数据的数据来源表和目标发送地，根据数据来源表和目标发送地，生成需要进行表同步处理的目标数据表；然后另一个预设的周期(即第二预设周期)定期获取所述目标数据表，通过目标数据表的数据接口中的数据变化信息，确定所述目标数据表中相较于上一周期获取时发生变化的动态数据，再根据动态数据更新目标数据表，更新包括对目标数据表中的数据进行增、删、改、查操作中的至少一种，从而完成所述表同步处理。数据来源表表征为数据的来源方，目标发送地表征为数据最终到达的地方。可选地，在一些具体实施方式中，数据来源表为DDL表。在本实施例中，由于数据库中通常都包含有较多的表，而对单个表中的数据进行处理时，会存在很多的不便，例如，在志愿者项目中，向志愿者人数表中添加一名志愿者的数据信息时，志愿者队伍表中的数据也需要同步更新，若单独针对某一个表进行数据添加显然是不合适的。基于此，按照预设周期获取数据库中的目标数据表，目标数据表为数据库中需要进行表同步处理的数据表(可以为一个或多个)，遍历目标数据表中的数据，并将目标数据表中的数据和上一周期获取的数据对比，确定出区别于上一周期获取时表中发生变化的动态数据，根据动态数据更新目标数据表，以完成表同步处理，从而在一个目标数据表中的数据发生改变时，能在短时间内同步至其他的目标数据表。

需要说明的是，上述预处理过程，可以为一个，也可以为多个，可以根据实际需要进行选择，本实施例不做限定。

步骤S20，将预处理后的所述数据，按照所述数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据；

在本实施例中，经过上述对数据的预处理之后，对可供查询的数据，按照其数据来源区域进行分类，将分类后的数据赋予区域标识字段，作为等待查询的待查询数据，数据来源区域表征为该数据录入地区。在志愿者项目中，通常会在全国各地设置志愿者机构，由各地机构来向数据库中录入各种数据。因此，在录入数据时数据所处的区域即作为数据来源区域，各个区域对应的数据会被赋予区域标识字段，得到待查询数据。

需要说明的是，这种赋予数据额外的标识字段的方式，会一定程度上增加数据库中的数据总量，但利于在数据查询时减少数据库的计算量，经过开发人员测试，在实际运行过程中反而提升了数据库的响应速度。

步骤S30，在接收到数据查询请求时，确定所述数据查询请求的协议地址关联的归属区域；

在按照数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据的步骤之后，当接收到数据查询请求时，确定该请求的协议地址关联的归属区域，协议地址中包含该请求的发送区域，通常按照行政区域进行划分，例如，从北京地区发送的数据查询请求，该请求对应的协议地址的归属区域即为北京地区。

步骤S40，确定所述待查询数据的所述区域标识字段中，与所述协议地址关联的所述归属区域相匹配的目标查询数据，并输出所述目标查询数据。

在确定数据查询请求的协议地址关联的归属区域之后，从与该归属区域相匹配的区域标识字段的待查询数据中，查询出与该数据查询请求对应的目标查询数据，例如，当数据查询请求的归属区域为北京，则从区域标识字段对应的数据来源区域表示为北京的待查询数据中，遍历与所述数据查询请求中的关键字的遍历查询，并在查询到该目标查询数据之后，输出该目标查询数据。

可选地，若未匹配所述目标查询数据，则确定数据查询请求的查询权限，若其查询权限满足全局查询条件，则意味着该数据查询请求能够查询数据来源区域以外的区域的查询权限，即全局查询权限，当数据查询请求存在全局查询权限时，在整个数据库中确定出是否存在与该数据查询请求相匹配的全局查询数据，若匹配到，则输出该全局查询数据，全局查询数据表征为在整个数据库中查找到的数据；若未匹配到，则意味着在数据库中不存在该数据查询请求对应的数据，输出查询失败提示。

需要说明的是，本实施例中基于地区对数据进行分类的原因在于，在志愿者服务项目中，不同地区之间往往不具备数据交互权限，例如，位于深圳地区的志愿者机构，在查询时只具备深圳地区的数据查询权限，然而为了便于管理，所设置的数据库通常需要包含全国各个地区的志愿者机构所汇总的数据，具有整个数据库的查询权限的数据查询请求，才能够在数据库中进行全局查询。并且，基于地区分类对数据分类查询，也能够在调用数据时减小数据库的运行负荷。

可选地，在输出目标查询数据之后，将所述目标查询数据存入所述数据库的数据缓存区，以在接收到针对该目标查询数据的数据查询请求时，从所述数据缓存区中获取并输出所述目标查询数据，在预设时间段内再次接收到该目标查询数据对应的数据查询请求时，不用再次计算。

在本实施例提供的技术方案中，通过对数据库中的数据进行预处理，所述预处理包括规范第三方数据汇集接口、离线数据导入和表同步处理中的至少一种，将预处理后的所述数据，按照所述数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据，在接收到数据查询请求时，确定所述数据查询请求的协议地址关联的归属区域，确定所述待查询数据的所述区域标识字段中，与所述协议地址关联的所述归属区域相匹配的目标查询数据，并输出所述目标查询数据的方式。通过自研算法对数据库中的数据做预处理将预处理后的数据按照数据来源区域进行分类，在接收到不同区域的查询请求时，在与查询请求的区域对应的分类数据中进行查询。当数据库的运行负荷较大时，通过上述方法，能够有效降低数据查询时的计算次数，减少数据统计时数据统计数量。

参照图3，在第二实施例中，基于第一实施例，所述步骤S20之后，包括：

步骤S50，在目标时段内，获取位于所述数据库的统计分析区中的持久化数据；

步骤S60，确定所述持久化数据的数据冗余量；

步骤S70，清除所述持久化数据中所述数据冗余量大于冗余阈值的冗余数据，以减小所述数据库在执行数据查询操作时的数据计算量。

可选地，在本实施例中，在确定出待查询数据之后，获取数据库的统计分析区中的持久化数据。统计分析区，即需要进行OLAP(On-line Analytical Processing，联机分析处理)的数据区域，在该区域中，数据的查询频率较低，但数据量大，通常会涉及较复杂的聚合计算。持久化(Persistence)即把数据(如内存中的对象)保存到可永久保存的存储设备中，持久化数据(Persistence Data)即为数据库中的查询频率较低、需要涉及较为复杂的计算且数据量较大的数据。在目标时段内，获取位于所述数据库的统计分析区中的持久化数据，目标时段为预设的数据库运行负载较低的时段(例如每天的凌晨12：00～04：00)，在这个时段内，计算数据库的统计分析区中的持久化数据的数据冗余量，将数据冗余量大于预设冗余阈值的数据，作为冗余数据清除。从而减小数据库在执行数据查询操作时的数据计算量。

示例性地，在志愿者项目中，在每天的凌晨12：00～04：00这个目标时段，定时计算数据库中的志愿者的活动时长数据，假设一志愿者当天统计到的活动时长为3天，需要将数据更新为4天时，将数据库中的“3”变为“4”，“3”则作为冗余数据进行清除，在后续的查询过程中，只查询到活动时长为4天。

在本实施例提供的技术方案中，在数据库处于空闲时段时对数据库中位于统计分析区的持久化数据中的冗余数据进行清除，从而减小数据库在执行数据查询操作时的数据计算量。

示例性地，在一具体实施方式中，基于本发明数据处理方法，在志愿者项目中所设置数据查询界面示意图，如图4、图5和图6所示。志愿者项目包含三个端：民政部门管理端，志愿者队伍管理端和志愿者用户端。不同端对应的查询功能和查询权限均不同。参照图4，图4为志愿者项目中设置于民政部门管理端中的数据查询界面示意图，可以供志愿者项目的相关部门查询到全国各个城市和各个地区的志愿者的相关信息。参照图5，图5为志愿者项目中设置于志愿者队伍管理端的数据查询界面示意图，可以供志愿者队伍管理员查询到志愿者队伍所在城市的各个地区的志愿者的相关信息。参照图6，图6为志愿者项目中设置于志愿者用户端的数据查询界面示意图，可以供志愿者查询各个地区的志愿者项目，以及志愿者项目相关的信息(如项目人数、项目状态、项目名称等等)。

此外，本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被数据处理设备中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有数据处理程序，所述数据处理程序被处理器执行时实现如上实施例所述的数据处理方法的各个步骤。

其中，所述计算机可读存储介质可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

对数据库中的初始数据进行预处理，所述预处理包括规范第三方数据汇集接口、离线数据导入和表同步处理中的至少一种；

将预处理后的所述初始数据，按照所述初始数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据；

在接收到数据查询请求时，确定所述数据查询请求的协议地址关联的归属区域；

确定所述待查询数据的所述区域标识字段中，与所述协议地址关联的所述归属区域相匹配的目标查询数据，并输出所述目标查询数据。

2.如权利要求1所述的数据处理方法，其特征在于，所述将预处理后的所述初始数据，按照所述初始数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据的步骤之前，包括：

确定所述初始数据中的目标字段；

将所述目标字段与预设区域规划表中的参考字段进行匹配，根据匹配结果确定所述初始数据的所述数据来源区域。

3.如权利要求1所述的数据处理方法，其特征在于，所述预处理包括所述规范第三方数据汇集接口，所述对数据库中的初始数据进行预处理的步骤包括：

获取来自第三方汇集数据接口发送的数据交互请求；

确定所述数据交互请求与所述数据库之间是否存在数据交互权限的渠道标识；

若所述数据请求中存在所述渠道标识，向所述第三方汇集数据接口分配线程，以通过分配线程后的第三方汇集数据接口，与所述数据库中的数据进行交互。

4.如权利要求1所述的数据处理方法，其特征在于，所述预处理包括所述离线数据导入，所述对数据库中的初始数据进行预处理的步骤包括：

获取待导入数据的分区信息，所述分区信息包括离线分区信息和在线分区信息；

根据所述分区信息确定所述待导入数据的目标分区，其中，若所述分区信息为所述离线分区信息，则所述目标分区为离线分区，若所述分区信息为所述在线分区信息，则所述目标分区为在线分区；

将所述在线分区中的待导入数据作为所述初始数据，其中，在接收到数据导入请求时，将所述离线分区中的所述待导入数据，导入所述在线分区。

5.如权利要求1所述的数据处理方法，其特征在于，所述预处理包括所述表同步处理，所述对数据库中的初始数据进行预处理的步骤之前，包括：

基于第一预设周期，定期检查所述初始数据的数据来源表和所述初始数据的目标发送地；

根据所述数据来源表和所述目标发送地，生成需要进行所述表同步处理的目标数据表；

所述对数据库中的初始数据进行预处理的步骤包括：

基于第二预设周期，定期获取所述目标数据表；

通过所述目标数据表的数据接口中的数据变化信息，确定所述目标数据表中相较于上一周期获取时发生变化的动态数据；

根据所述动态数据，更新所述目标数据表，以完成所述表同步处理。

6.如权利要求1所述的数据处理方法，其特征在于，所述将预处理后的所述初始数据，按照所述初始数据的数据来源区域进行分类，得到包含区域标识字段的待查询数据的步骤之后，包括：

在目标时段内，获取位于所述数据库的统计分析区中的持久化数据；

确定所述持久化数据的数据冗余量；

清除所述持久化数据中所述数据冗余量大于冗余阈值的冗余数据，以减小所述数据库在执行数据查询操作时的数据计算量。

7.如权利要求1所述的数据处理方法，其特征在于，所述确定所述待查询数据的所述区域标识字段中，与所述协议地址关联的所述归属区域相匹配的目标查询数据，并输出所述目标查询数据的步骤之后，包括：

将所述目标查询数据存入所述数据库的数据缓存区，以在接收到针对所述目标查询数据的数据查询请求时，从所述数据缓存区中获取并输出所述目标查询数据。

8.如权利要求1所述的数据处理方法，其特征在于，所述确定所述数据查询请求的协议地址关联的归属区域的步骤之后，包括：

若未匹配到所述目标查询数据，确定所述数据查询请求的查询权限；

当所述查询权限满足预设全局查询条件时，确定是否存在与所述数据查询请求相匹配的全局查询数据，若存在，则输出所述全局查询数据；

否则，输出查询失败提示。

9.一种数据处理设备，其特征在于，所述数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至8中任一项所述的数据处理方法的步骤。

Images