CN115705327A - 数据处理的方法、装置、电子设备及介质 - Google Patents

Abstract

本公开涉及一种数据处理的方法、装置、电子设备及介质，可应用于互联网和云服务技术领域，上述数据处理的方法包括：获取用户的待处理数据结构及对应的用户标识；将上述待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表；配置上述数据结构逻辑表与预先构建的物理表之间的映射关系；以及基于上述映射关系，将上述待处理数据结构在上述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域。

Description

数据处理的方法、装置、电子设备及介质

技术领域

本公开涉及互联网技术和云服务技术领域，尤其涉及一种数据处理的方法、装置、电子设备及介质。

背景技术

随着互联网技术的发展，各个机构在业务进行过程中后产生海量的业务数据和内部运维数据等。不同机构通过引入云服务来实现对大量数据的存储和操作管理。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：在不同机构之间，针对同一个对象进行描述的属性信息是有差异的，例如：针对资产这一对象在进行描述时，机构A描述资产的属性信息示例性为：{用户ID，账户，存款金额}；机构B描述资产的属性信息包括：{用户姓名，车辆保有情况，年收入，房产情况}。那么在提供云服务的研发人员进行数据库模型的构建时，为了使云服务能够为不同的机构开展对应的数据库服务，必须考虑不同的机构各自的对象描述方式和类型，这就使得研发人员需要针对不同的机构从零开始构建不同的数据库模型，以便于接入各种新类型的存储对象，如此一来，工作量巨大且不利于数据库的增删查改等操作，同时针对各个机构采用相对独立的代码片段管理，数据库的操作效率低下且存在代码冗余，导致开发和维护成本高，且技术迭代越来越慢。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种数据处理的方法、装置、电子设备及介质。

第一方面，本公开的实施例提供了一种数据处理的方法。上述方法包括：获取用户的待处理数据结构及对应的用户标识；将上述待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表；配置上述数据结构逻辑表与预先构建的物理表之间的映射关系；以及基于上述映射关系，将上述待处理数据结构在上述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域。

根据本公开的实施例，上述待处理数据结构包括：用于描述同一个对象的一组属性信息；针对不同的用户，上述用于描述同一个对象的一组属性信息具有差异。上述配置上述数据结构逻辑表与预先构建的物理表之间的映射关系，包括：针对关联有同一个用户标识的数据结构逻辑表中的一组属性信息，基于元数据形式的描述，从上述预先构建的物理表中确定与每个属性信息的数据类型一致的匹配数据列；确定上述匹配数据列中处于非占用状态的备选数据行；针对关联有同一个用户标识的所有属性信息的匹配数据列，确定处于非占用状态的共同备选数据行；以及基于上述一组属性信息与上述共同备选数据行和上述匹配数据列之间的对应关系，生成数据结构逻辑表与预先构建的物理表之间的映射关系。

根据本公开的实施例，上述基于上述映射关系，将上述待处理数据结构在上述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域，包括：基于上述映射关系，将关联有同一个用户标识的数据结构逻辑表中的一组属性信息存储至上述物理表中对应的共同备选数据行和匹配数据列中，上述共同备选行和上述匹配数据列构成目标物理表区域，上述共同备选数据行与用户标识相关联。

根据本公开的实施例，上述方法还包括：接收用户针对上述待处理数据结构实施的操作指令；将上述操作指令及对应的用户标识以元数据形式进行描述，得到关联有用户标识的操作逻辑表；基于上述映射关系，将上述操作逻辑表解析成针对上述关联有用户标识的目标物理表区域实施的目标操作；以及在上述目标物理表区域执行对应的目标操作。

根据本公开的实施例，上述操作指令包括以下至少之一：新增待处理数据结构的指令、删除待处理数据结构的指令、修改待处理数据结构的指令、查询待处理数据结构的指令、展示待处理数据结构的指令。

根据本公开的实施例，上述方法还包括：构建物理表。其中，上述构建物理表包括：获取已有数据结构的数据类型的信息；基于上述数据类型的信息，生成涵盖上述已有数据结构的数据类型的表格参数组；以及基于上述表格参数组，构建得到一个或多个物理表。

根据本公开的实施例，上述基于上述表格参数组，构建得到一个或多个物理表，包括：基于已有数据结构的数据类型的组合关系，统计上述表格参数组中数据类型的出现频率；根据上述数据类型的出现频率来对上述表格参数组进行划分，得到一组或多组表格参数组；以及将上述一组或多组表格参数组作为物理表的数据列的数据类型参数，以构建得到一个或多个物理表。

根据本公开的实施例，上述根据上述数据类型的出现频率来对上述表格参数组进行划分，包括：根据上述数据类型的出现频率所处的范围区间，将位于同一个范围区间的数据类型进行重组，从而得到一组或多组表格参数组。

第二方面，本公开的实施例提供了一种数据处理的装置。上述装置包括：数据获取模块、逻辑表构建模块、映射关系配置模块和存储模块。上述数据获取模块用于获取用户的待处理数据结构及对应的用户标识。上述逻辑表构建模块用于将上述待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表。上述映射关系配置模块用于配置上述数据结构逻辑表与预先构建的物理表之间的映射关系。上述存储模块用于基于上述映射关系，将上述待处理数据结构在上述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域。

第三方面，本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上所述的数据处理的方法。

第四方面，本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的数据处理的方法。

本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：

通过将待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表，通过配置所述数据结构逻辑表与预先构建的物理表之间的映射关系，便可以将数据结构逻辑表所描述的待处理数据结构存储至预先构建的物理表的目标物理表区域，每个目标物理表区域是关联有用户标识的，从而能够在一张物理表中实现不同类型的待处理数据结构的存储，该处理方式针对各个类型的待处理数据结构是通用的，并且也便于进行后续的增删查改等操作；克服了相关技术中针对不同的机构需要从零开始构建不同的数据库模型，以便于接入各种新类型的存储对象所存在的：数据库的操作效率低下且存在代码冗余，导致开发和维护成本高，且技术迭代越来越慢的技术问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A示意性示出了适用于本公开实施例的数据处理的方法和装置的系统架构；

图1B示意性示出了适用于本公开实施例的数据处理的方法的元数据模型的架构；

图2示意性示出了根据本公开一实施例的数据处理的方法的流程图；

图3示意性示出了根据本公开实施例的操作S203的详细实施流程图；

图4示意性示出了根据本公开另一实施例的数据处理的方法的流程图；

图5示意性示出了根据本公开又一实施例的数据处理的方法的流程图；

图6示意性示出了根据本公开实施例的操作S501的详细实施流程图；

图7示意性示出了根据本公开实施例的数据处理的装置的结构框图；以及

图8示意性示出了本公开实施例提供的电子设备的结构框图。

具体实施方式

相关技术中，在不同机构之间，针对同一个对象进行描述的属性信息是有差异的。例如，以资产作为上述对象的一个示例，不同的机构对于资产这一对象进行描述的属性信息是存在差异的，不同的商家、金融机构、学校等各自描述自身的资产的属性信息是千差万别的。

上述属性信息是针对对象进行描述的信息，可以包括属性参数、属性值和数据类型等。不同机构对于资产进行描述的属性信息具有差异，这一差异体现在属性参数的维度(例如属性参数的个数)、属性参数的名称(针对同一个属性参数描述的方式不同)、属性参数的数据类型等至少一个方面具有差异。

例如，针对资产这一对象在进行描述时，机构A的ABS资产证券化系统对于资产这一对象描述的属性参数示例性为：{用户ID，账户，存款金额}。用户ID、账户、存款金额这些属性参数各自的数据类型依次对应为：数值类型、数值类型、数值类型且精确到小数点后4位。机构B的ABS资产证券化系统对于资产这一对象描述的属性参数包括：{用户姓名，车辆保有情况，年收入，房产情况}，用户姓名、车辆保有情况、年收入、房产情况这些属性参数进行存储的数据类型依次为：文本类型、文本类型、数值类型且精确到小数点后2位、文本类型。各个机构的ABS资产证券化系统的用户产生的数据可以作为属性值。例如机构A的用户R11的资产数据为：{12304(用户R11的ID值)，6012……2507(用户R11的账户)，10万元(用户R11的存款金额)}，机构A的用户R12的资产数据为：{22369(用户R12的ID值)，6012……3066(用户R12的账户)，20万元(用户R12的存款金额)}。机构B的用户R21的资产数据为：{张三(用户R21的姓名)，有1辆轿车(用户R21的车辆保有情况)，50万元(用户R21的年收入)，一套房产(用户R21的房产情况)}，机构B的用户R22的资产数据为：{李四(用户R22的姓名)，有2辆轿车(用户R22的车辆保有情况)，80万元(用户R22的年收入)，1套房产(用户R22的房产情况)}。

在提供云服务的研发人员进行数据库模型的构建时，为了使云服务能够为不同的机构开展对应的数据库服务，必须考虑不同的机构或个人各自的对象描述方式和类型。例如，在对ABS(Asset-Backed Securitization)资产证券化系统提供云服务时，必须考虑不同机构之间针对同一个对象的描述差异。这就使得研发人员需要针对不同的机构从零开始构建不同的数据库模型，以便于接入各种新类型的存储对象，如此一来，工作量巨大且不利于数据库的增删查改等操作，同时针对各个机构采用相对独立的代码片段管理，数据库的操作效率低下且存在代码冗余，导致开发和维护成本高，且技术迭代越来越慢。

以ABS资产证券化系统(一种终端设备上的应用)所对应的云服务(简称ABS云服务)的架构为例。相关技术中，在ABS资产证券化系统所对应的数据库模型时，每次接入新的资产，需要重复以下操作。

首先，调研新的资产类型，根据新的资产类型进行资产维度的数据库建模，设计数据库资产表结构。

然后，研发人员根据数据库模型编写相关的Java对象(POJO，Plain OrdinaryJava Object)的Java类。

接着，研发人员跟进业务流程在服务接口中接收到Json格式的资产数据，同时转换为Java的Bean(java中的一种可复用的类)，在根据相关的业务流程进行Bean的基础操作。

最后，将操作后的Bean对象数据持久化到数据库新资产表中。

新资产的接入存储过程需要每次重新开始，此外，针对资产这一对象的增加、删除、查询、修改和展示等处理操作，均需要编写一套针对新资产类型的对应逻辑。

上述方式中，ABS资产证券化系统中每次接入新的资产，均需要从零开始完成上述所有流程，导致后期研发有重复的工作量，浪费了人力资源。在反复的新资产接入中，每个资产类型采用相对独立的代码片段管理，不利于高效的变更，在业务变更中存在多个地方同时修改，后期研发代码效率太低。在后期代码交接和管理过程中，代码的冗余和繁杂之多，也会导致系统的后期维护成本越来越高，业务支持越来越慢，人力成本越拉越高，技术迭代越来越慢，反复的修补BUG会导致代码的可读性以及传承性出现断裂。

有鉴于此，本公开的实施例提供了一种数据处理的方法、装置、电子设备及介质。上述数据处理的方法包括：获取用户的待处理数据结构及对应的用户标识；将上述待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表；配置上述数据结构逻辑表与预先构建的物理表之间的映射关系；以及基于上述映射关系，将上述待处理数据结构在上述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域。

本公开的实施例中，上述数据处理的方法和装置中，数据处理可以包括但不限于数据的存储、增加、删除、修改、查询、展示等操作。

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1A示意性示出了适用于本公开实施例的数据处理的方法和装置的系统架构。

参照图1A所示，适用于本公开实施例的数据处理的方法和装置的系统架构100包括：终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如ABS资产证券化系统应用，还可以包括其他客户端应用，诸如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是显示屏并且支持网页浏览的各种电子设备，例如电子设备包括但不限于智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的应用界面或网站进行数据处理提供服务支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的数据处理请求进行分析和处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的数据处理的方法一般可以由服务器105或具有一定运算能力的终端设备执行，上述服务器105可以是提供云服务的联网的终端设备。相应地，本公开实施例所提供的数据处理的装置一般可以设置于服务器105中或上述具有一定运算能力的终端设备中。本公开实施例所提供的数据处理的方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理的装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1A中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图1B示意性示出了适用于本公开实施例的数据处理的方法的元数据模型的架构。

参照图1B所示，适用于本公开实施例的数据处理的方法的元数据模型110主要分三层：第一层为物理模型层111，为数据库底层真实的物理表结构和模型；第二层为映射关系层112，表征物理表和逻辑表之间的对应关系，为一一映射的关系(1:1)；第三层为逻辑模型层113a和逻辑元数据(Logic_Meta)层113b，主要来描述业务模型设计的POJO对象，可以用于各种业务操作。虚线箭头示意的是各个层之间的映射关系为一对一(1：1)映射或一对多(1：N)映射。用户例如可以是ABS云服务的租户，该租户的新接入资产的类型共有N种，N≥2，对应有N个物理模型层，与后续操作S201中一组属性信息的属性信息的总数相等。

参照图1B所示，上述元数据模型110中，还可以包括逻辑模型关系(Logic_Relation)层114，用于表征逻辑模型和逻辑模型之间的关系与引用。

参照图1B所示，上述上述元数据模型110中，还可以进一步包括用户的操作指令对应的逻辑层115，用于实现对新接入资产的增删改查等操作。

可以基于图1B所示例的元数据模型110来实现本公开的数据处理的方法。系统框架通过维护定义逻辑模型层和逻辑元数据层(对应于实施操作S201～S202)，用来支撑传统业务的扩展和传统代码中POJO的对象，同时通过物理表与逻辑表的映射关系进行配置，用来定位逻辑层的数据底层真实存储的物理层(对应于操作S203)，例如逻辑层的用户信息UserInfo，包含用户年龄age，用户编码user_id，用户地址user_addr，根据上述表述，可以将UserInfo定义为逻辑层，age，user_id，user_addr定义为逻辑层的元数据，这些元数据同时也可以表述为Java代码Bean的属性信息；由此可以实现新接入资产在物理表的存储(对应于操作S204)。

在底层的物理数据库中存在物理表TableA，包含了字段列为A1，A2，A3，A4，A5等任意多列数据，在制定好物理表模型以后，就可以配置逻辑表UserInfo与TableA的映射关系，将age字段映射到A1列，将user_id字段映射到A2列，将user_addr字段映射到A4列，经过模型的映射关系，可以将业务方法针对UserInfo的操作读写均映射解析到真实的底层物理表TableA中的A1，A2，A4列的操作(对应于后续的操作S401～S404)。

下面结合附图来对本公开的实施例进行详细描述。

本公开的第一个示例性实施例提供了一种数据处理的方法。

图2示意性示出了根据本公开一实施例的数据处理的方法的流程图。

参照图2所示，本公开实施例提供的数据处理的方法，包括以下操作：S201、S202、S203和S204。上述操作S201～S204可以由提供云计算服务的联网的终端设备或服务器来执行。

在操作S201，获取用户的待处理数据结构及对应的用户标识。

在操作S202，将上述待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表。

在操作S203，配置上述数据结构逻辑表与预先构建的物理表之间的映射关系。

在操作S204，基于上述映射关系，将上述待处理数据结构在上述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域。

上述操作S201中，获取的方式可以是从用户提供的数据集中获取待处理数据结构，或者接收用户提供的待处理数据结构。

用户可以是具有数据处理需求的各个机构或个人，不同的用户所对应的待处理数据结构存在差异。根据本公开的实施例，上述待处理数据结构可以是来自各个用户的需要处理的针对同一个对象的数据结构，该数据结构可以是由多个数据构成的二元或更多元的数据组。上述对象可以是各种形式的对象，例如为资产、信用、收入等等，该对象涉及的数据结构能够用一组属性信息来描述，不同用户对于同一个对象描述的属性信息具有差异。这一差异可以体现在属性的维度差异、属性参数的差异、属性值的差异、属性值的类型差异等。

例如，机构A针对资产进行描述的一组属性信息为：属性信息A₁、属性信息A₂、属性信息A₃、属性信息A₄，则获取到的机构A的待处理数据结构及对应的用户标识可以表示为：{用户标识A：A₁、A₂、A₃、A₄}。机构B针对资产进行描述的一组属性信息为：属性信息B₁、属性信息B₂、属性信息B₃、属性信息B₄、属性信息B₅、属性信息B₆，则获取到的机构B的待处理数据结构及对应的用户标识可以表示为：{用户标识B：B₁、B₂、B₃、B₄、B₅、B₆}。

上述操作S202中，元数据为用于描述数据及其环境的数据，主要可以用于描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件纪录等功能。通过将上述待处理数据结构及对应的用户标识以元数据形式进行描述，可以得到关联有用户标识的数据结构逻辑表。

例如，将机构A的待处理数据结构及对应的用户标识：{用户标识A：A₁、A₂、A₃、A₄}以元数据形式进行描述，描述时将各个属性信息A₁、A₂、A₃、A₄作为一数据结构逻辑表的各个数据列信息进行定义，同时关联的用户标识A也作为数据结构逻辑表中的一个数据列的信息，从而得到机构A(关联有用户标识)的数据结构逻辑表。

与此类似，将机构B的待处理数据结构及对应的用户标识：{用户标识B：B₁、B₂、B₃、B₄、B₅、B₆}以元数据形式进行描述，描述时将各个属性信息B₁、B₂、B₃、B₄、B₅、B₆作为数据结构逻辑表的各个数据列信息进行定义，同时关联的用户标识B也作为该数据结构逻辑表中的一个数据列的信息，从而得到机构B(关联有用户标识)的数据结构逻辑表。

采用元数据描述时，上述属性信息A₁～A₄，B₁～B₆中的每个属性信息可以包含属性参数、属性参数值和属性参数值类型(例如为整数、浮点、字符串、自定义等类型)等信息，上述元数据描述的内部实现逻辑可以通过图1B所示例的逻辑模型层113a和逻辑元数据(Logic_Meta)层113b来实现。上述属性信息还可以进一步包括：属性信息的来源、属性信息之间的引用关系等信息。上述关于属性信息的来源、属性信息之间的引用关系等信息的元数据描述可以通过图1B示例的逻辑模型关系层114来实现。

本公开实施例提供的数据架构中，上述数据结构逻辑表作为待处理数据结构描述的一个途径，并不是待处理数据结构实际存储的位置，物理表是待处理数据结构实际存储的位置，因此在操作S203中配置完成数据结构逻辑表与预先构建的物理表之间的映射关系后，在操作S204中基于上述配置好的映射关系来实现待处理数据结构在物理表中的存储。例如，实现机构A的各个属性信息属性信息A₁、A₂、A₃、A₄在目标物理表区域Area(A)(特定的列和行构成的区域)中的存储，实现机构B的各个属性信息属性信息B₁、B₂、B₃、B₄、B₅、B₆在目标物理表区域Area(B)中的存储。

上述操作S204中，在预先构建的物理表中，可以存储多个对应于不同用户标识的待处理数据结构，从而基于用户标识来区分属于不同用户的目标物理表区域。更进一步，基于用户标识的差异，在对各个目标物理表区域进行增加、删除、查询、更改或展示等处理操作时，会关联至对应用户标识的目标物理表区域，实现不同的用户之间共用一个物理表实现各自的待处理数据结构的存储且存储的数据之间相互隔离，对存储后的数据实施的操作也相互隔离。

基于上述操作S201～S204，通过将待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表，通过配置所述数据结构逻辑表与预先构建的物理表之间的映射关系，便可以将数据结构逻辑表所描述的待处理数据结构存储至预先构建的物理表的目标物理表区域，每个目标物理表区域是关联有用户标识的，从而能够在一张物理表中实现不同类型的待处理数据结构的存储，该处理方式针对各个类型的待处理数据结构是通用的，并且也便于进行后续的增删查改等操作；克服了相关技术中针对不同的机构需要从零开始构建不同的数据库模型，以便于接入各种新类型的存储对象所存在的：数据库的操作效率低下且存在代码冗余，导致开发和维护成本高，且技术迭代越来越慢的技术问题。

在ABS资产证券化系统接入新资产的应用场景中，通过ABS元数据的架构设计，将真实的资产的物理存储隔离，抽象出的逻辑表(逻辑层)来适配资产的各种变更，适配任意资产类型。通过统一且通用的基础服务架构设计完成标准的资产操作流程，保证在接入任意资产类型过程中采用的代码为同一套且无增长的代码。采用两层的设计隔离物理模型(物理表)和逻辑模型(逻辑表)，节省研发资源，让后期运维与维护提供统一方便的管理，在后期为适应市场进行业务调整时，可以快速提供配置化支持，节约人力资源。

图3示意性示出了根据本公开实施例的操作S203的详细实施流程图。

根据本公开的实施例，上述待处理数据结构包括：用于描述同一个对象的一组属性信息；针对不同的用户，上述用于描述同一个对象的一组属性信息具有差异。

根据本公开的实施例，参照图3所示，上述配置上述数据结构逻辑表与预先构建的物理表之间的映射关系的操作S203包括以下子操作：S2031、S2032、S2033和S2034。

在子操作S2031，针对关联有同一个用户标识的数据结构逻辑表中的一组属性信息，基于元数据形式的描述，从上述预先构建的物理表中确定与每个属性信息的数据类型一致的匹配数据列。

在子操作S2032，确定上述匹配数据列中处于非占用状态的备选数据行。

在子操作S2033，针对关联有同一个用户标识的所有属性信息的匹配数据列，确定处于非占用状态的共同备选数据行。

在子操作S2034，基于上述一组属性信息与上述共同备选数据行和上述匹配数据列之间的对应关系，生成数据结构逻辑表与预先构建的物理表之间的映射关系。

以机构A的数据结构逻辑表对应的操作S203的实施过程作为示例。类似的，针对机构B的数据结构逻辑表也可以实施上述子操作S2031～S2034，这里不一一举例。

在子操作S2031，根据机构A的数据结构逻辑表中采用元数据形式描述的属性信息A₁～A₄的数据类型，可以在预先构建的物理表中确定与各个属性信息A₁～A₄的数据类型一致的匹配数据列，例如预先构建的物理表中，与A₁、A₂、A₃、A₄依次对应的数据列为P₁、P₃、P₄、P₆。

在子操作S2032，确定上述匹配数据列P₁、P₃、P₄、P₆中处于非占用状态的备选数据行，例如得到的结果为：P₁、P₃、P₄、P₆中处于非占用状态的备选数据行分别为第三数据行C₃、第三数据行C₃～第五数据行C₅、第二数据行C₂～第四数据行C₄、第三数据行C₃。

在子操作S2033，针对关联有同一个用户标识的所有属性信息的匹配数据列，确定处于非占用状态的共同备选数据行。即，通过对所有属性的匹配数据列各自的备选数据行求取交集，对第三数据行C₃、第三数据行C₃～第五数据行C₅、第二数据行C₂～第四数据行C₄、第三数据行C₃求取交集后得到共同备选数据行为第三数据行C₃。

在子操作S2034，可以基于A₁～A₄与共同备选数据行和上述匹配数据列之间的对应关系来生成映射关系，基于A₁对应于数据列P₁和第三数据行C₃的对应关系，可以生成数据结构逻辑表中A₁的位置→物理表中数据列P₁和第三数据行C₃之间的映射关系。类似的，可以生成数据结构逻辑表中A₂的位置→物理表中数据列P₃和第三数据行C₃之间的映射关系，数据结构逻辑表中A₃的位置→物理表中数据列P₄和第三数据行C₃之间的映射关系，数据结构逻辑表中A₄的位置→物理表中数据列P₆和第三数据行C₃之间的映射关系。

根据本公开的实施例，上述基于上述映射关系，将上述待处理数据结构在上述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域的操作S204包括：基于上述映射关系，将关联有同一个用户标识的数据结构逻辑表中的一组属性信息存储至上述物理表中对应的共同备选数据行和匹配数据列中，上述共同备选行和上述匹配数据列构成目标物理表区域，上述共同备选数据行与用户标识相关联。

图4示意性示出了根据本公开另一实施例的数据处理的方法的流程图。

参照图4所示，本公开实施例提供的数据处理的方法除了包括上述操作S201～S204之外，还包括以下操作：S401、S402、S403和S404。

在操作S401，接收用户针对上述待处理数据结构实施的操作指令。

在操作S402，将上述操作指令及对应的用户标识以元数据形式进行描述，得到关联有用户标识的操作逻辑表。

在操作S403，基于上述映射关系，将上述操作逻辑表解析成针对上述关联有用户标识的目标物理表区域实施的目标操作。

在操作S404，在上述目标物理表区域执行对应的目标操作。

根据本公开的实施例，上述操作指令包括以下至少之一：新增待处理数据结构的指令、删除待处理数据结构的指令、修改待处理数据结构的指令、查询待处理数据结构的指令、展示待处理数据结构的指令。

本公开的实施例中，上述操作S401～S404可以在操作S201～S204之后实施，实现的应用场景为：对存储后的待处理数据结构实施新增、删除、修改、查询或展示等至少一种操作。上述操作S401可以和操作S201并行实施或者在一个操作中实施。例如，在获取用户的待处理数据结构及对应的用户标识的同时也可以接收用户针对上述待处理数据结构实施的操作指令。上述操作S402可以和操作S202并行实施或者在一个操作中实施。上述操作S403需要在操作S203之后执行。上述操作S404可以在上述操作S204之后执行。

每个目标物理表区域是关联有用户标识的，从而能够在一张物理表中实现不同类型的待处理数据结构的存储。针对各个类型的待处理数据结构执行的操作指令也是通用的，只需要通过目标物理表区域关联的用户标识定位至对应的目标物理表区域实施对应的目标操作即可。

例如，针对机构A的待处理数据结构实施的操作指令X_A以元数据形式进行描述，得到机构A(关联有用户标识)的操作逻辑表；基于映射关系可以将针对上述机构A的目标物理表区域实施的目标操作X_A解析为针对机构A的目标物理表区域Area(A)(存储有机构A的待处理数据结构的物理表区域)的目标操作Y_A，该目标操作Y_A表征的是对机构A在物理表中存储于特定行、特定列的元素信息的操作。如此一来，基于用户标识能够区分针对不同用户的操作以及区分各个操作对应的不同的物理表操作区域。

图5示意性示出了根据本公开又一实施例的数据处理的方法的流程图。

参照图5所示，本公开实施例提供的数据处理的方法除了包括上述操作S201～S204之外，还包括以下操作S501：构建物理表。在本公开的其他实施例中，上述数据处理的方法可以包括操作S201～S204、S401～S404和操作S501。

上述操作S501可以在操作S203之前执行，以在操作S203中可以调用采用操作S501构建好的物理表。应该理解的是，上述操作S501的构建物理表的操作可以只预先实施一次，在构建得到物理表之后，在每次进行数据处理时只需调用上述构建好的物理表即可，无需每次进行数据处理时都执行上述操作S501。

图6示意性示出了根据本公开实施例的操作S501的详细实施流程图。

根据本公开的实施例，参照图6所示，上述构建物理表的操作S501包括以下子操作：S5011、S5012和S5013。

在子操作S5011，获取已有数据结构的数据类型的信息。

例如，共有S个已有数据结构，获取到的已有数据结构的数据类型包括：数据类型T₁、T₂、……T_M共M个，S≥2且S为整数，M≥2且M为整数，M＞S。

在子操作S5012，基于上述数据类型的信息，生成涵盖上述已有数据结构的数据类型的表格参数组。

则表格参数需要涵盖上述M个数据类型T₁、T₂、……T_M，由此可以得到{T₁、T₂、……T_M}作为表格参数组的一个子集。

在子操作S5013，基于上述表格参数组，构建得到一个或多个物理表。

基于表格参数组，可以对物理表的数据列进行配置，进而得到一个或多个物理表。

根据本公开的实施例，上述基于上述表格参数组，构建得到一个或多个物理表的子操作S5013包括：基于已有数据结构的数据类型的组合关系，统计上述表格参数组中数据类型的出现频率；根据上述数据类型的出现频率来对上述表格参数组进行划分，得到一组或多组表格参数组；以及将上述一组或多组表格参数组作为物理表的数据列的数据类型参数，以构建得到一个或多个物理表。

例如，以M＝10、S＝5为例，5个已有数据结构的数据类型的组合关系分别为：数据结构1的数据类型的组合关系为组合1：{T₁、T₃、T₇}，数据结构2的数据类型的组合关系为组合2：{T₁、T₂、T₇、T₆}，数据结构3的数据类型的组合关系为组合2：{T₁、T₄、T₇、T₈}，数据结构4的数据类型的组合关系为组合4：{T₂、T₃、T₇、T₄}，数据结构5的数据类型的组合关系为组合2：{T₉、T₁₀、T₇、T₅、T₈}。

则基于上述组合关系，可以统计上述表格参数组中数据类型的出现频率分别为：出现频率(T₁)＝3/5；出现频率(T₂)＝2/5；出现频率(T₃)＝2/5；出现频率(T₄)＝2/5；出现频率(T₅)＝1/5；出现频率(T₆)＝1/5；出现频率(T₇)＝5/5；出现频率(T₈)＝2/5；出现频率(T₉)＝1/5；出现频率(T₁₀)＝1/5。

根据本公开的实施例，上述根据上述数据类型的出现频率来对上述表格参数组进行划分，包括：根据上述数据类型的出现频率所处的范围区间，将位于同一个范围区间的数据类型进行重组，从而得到一组或多组表格参数组。上述范围区间可以根据实际需要进行设定，例如可以基于一个阈值划分为高频和低频区间，可以基于两个阈值划分为三个区间，以此类推。特殊情况下，可以只设置一个较大的范围区间，该范围区间可以涵盖所有的出现频率或者90％～95％的出现频率，所有落入该范围区间内的数据类型均进行重组。

例如，将出现频率超过设定频率的数据类型进行重组，得到高频表格参数组；基于上述高频表格参数组，构建得到高频物理表；同理，出现频率低于设定频率的数据类型可以进行重组，得到低频表格参数组；基于上述低频表格参数组，构建得到低频物理表。

本公开的第二个示例性实施例提供了一种数据处理的装置。

图7示意性示出了根据本公开实施例的数据处理的装置的结构框图。

参照图7所示，本公开实施例提供的数据处理的装置700包括：数据获取模块701、逻辑表构建模块702、映射关系配置模块703和存储模块704。

上述数据获取模块701用于获取用户的待处理数据结构及对应的用户标识。

上述逻辑表构建模块702用于将上述待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表。

上述映射关系配置模块703用于配置上述数据结构逻辑表与预先构建的物理表之间的映射关系。上述映射关系配置模块703包括用于实现子操作S2031～S2034的各个功能模块或子模块。

上述存储模块704用于基于上述映射关系，将上述待处理数据结构在上述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域。

根据本公开的实施例，上述数据处理的装置700除了包括上述数据获取模块701、逻辑表构建模块702、映射关系配置模块703和存储模块704之外，还可以包括：操作指令接收模块、操作逻辑表构建模块、操作解析模块和操作实施模块。

上述操作指令接收模块用于接收用户针对上述待处理数据结构实施的操作指令。

上述操作逻辑表构建模块用于将上述操作指令及对应的用户标识以元数据形式进行描述，得到关联有用户标识的操作逻辑表。

上述操作解析模块用于基于上述映射关系，将上述操作逻辑表解析成针对上述关联有用户标识的目标物理表区域实施的目标操作。

上述操作实施模块用于在上述目标物理表区域执行对应的目标操作。

上述数据处理的装置700除了包括上述数据获取模块701、逻辑表构建模块702、映射关系配置模块703和存储模块704之外，还可以包括：物理表构建模块。

上述物理表构建模块用于构建物理表。上述物理表构建模块包括用于实现子操作S5011～S5013的功能模块或子模块。

根据本公开的实施例，上述装置700还可以同时包括数据获取模块701、逻辑表构建模块702、映射关系配置模块703、存储模块704、数据获取模块701、逻辑表构建模块702、映射关系配置模块703和存储模块704和物理表构建模块。

上述数据获取模块701、逻辑表构建模块702、映射关系配置模块703、存储模块704、操作指令接收模块、操作逻辑表构建模块、操作解析模块以及操作实施模块中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。数据获取模块701、逻辑表构建模块702、映射关系配置模块703、存储模块704、操作指令接收模块、操作逻辑表构建模块、操作解析模块以及操作实施模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，数据获取模块701、逻辑表构建模块702、映射关系配置模块703、存储模块704、操作指令接收模块、操作逻辑表构建模块、操作解析模块以及操作实施模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

本公开的第三个示例性实施例提供了一种电子设备。

图8示意性示出了本公开实施例提供的电子设备的结构框图。

参照图8所示，本公开实施例提供的电子设备800包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801、通信接口802和存储器803通过通信总线804完成相互间的通信；存储器803，用于存放计算机程序；处理器801，用于执行存储器上所存放的程序时，实现如上所述的数据处理的方法。

本公开的第四个示例性实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的数据处理的方法。

该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理的方法，其特征在于，包括：

获取用户的待处理数据结构及对应的用户标识；

将所述待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表；

配置所述数据结构逻辑表与预先构建的物理表之间的映射关系；以及

基于所述映射关系，将所述待处理数据结构在所述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域。

2.根据权利要求1所述的方法，其特征在于，所述待处理数据结构包括：用于描述同一个对象的一组属性信息；针对不同的用户，所述用于描述同一个对象的一组属性信息具有差异；

其中，所述配置所述数据结构逻辑表与预先构建的物理表之间的映射关系，包括：

针对关联有同一个用户标识的数据结构逻辑表中的一组属性信息，基于元数据形式的描述，从所述预先构建的物理表中确定与每个属性信息的数据类型一致的匹配数据列；

确定所述匹配数据列中处于非占用状态的备选数据行；

针对关联有同一个用户标识的所有属性信息的匹配数据列，确定处于非占用状态的共同备选数据行；以及

基于所述一组属性信息与所述共同备选数据行和所述匹配数据列之间的对应关系，生成数据结构逻辑表与预先构建的物理表之间的映射关系。

3.根据权利要求2所述的方法，其特征在于，所述基于所述映射关系，将所述待处理数据结构在所述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域，包括：

基于所述映射关系，将关联有同一个用户标识的数据结构逻辑表中的一组属性信息存储至所述物理表中对应的共同备选数据行和匹配数据列中，所述共同备选行和所述匹配数据列构成目标物理表区域，所述共同备选数据行与用户标识相关联。

4.根据权利要求1-3中任一项所述的方法，其特征在于，还包括：

接收用户针对所述待处理数据结构实施的操作指令；

将所述操作指令及对应的用户标识以元数据形式进行描述，得到关联有用户标识的操作逻辑表；

基于所述映射关系，将所述操作逻辑表解析成针对所述关联有用户标识的目标物理表区域实施的目标操作；以及

在所述目标物理表区域执行对应的目标操作。

5.根据权利要求1所述的方法，其特征在于，还包括：构建物理表；

其中，所述构建物理表包括：

获取已有数据结构的数据类型的信息；

基于所述数据类型的信息，生成涵盖所述已有数据结构的数据类型的表格参数组；

基于所述表格参数组，构建得到一个或多个物理表。

6.根据权利要求5所述的方法，其特征在于，所述基于所述表格参数组，构建得到一个或多个物理表，包括：

基于已有数据结构的数据类型的组合关系，统计所述表格参数组中数据类型的出现频率；

根据所述数据类型的出现频率来对所述表格参数组进行划分，得到一组或多组表格参数组；以及

将所述一组或多组表格参数组作为物理表的数据列的数据类型参数，以构建得到一个或多个物理表。

7.根据权利要求6所述的方法，其特征在于，所述根据所述数据类型的出现频率来对所述表格参数组进行划分，包括：

根据所述数据类型的出现频率所处的范围区间，将位于同一个范围区间的数据类型进行重组，从而得到一组或多组表格参数组。

8.一种数据处理的装置，其特征在于，包括：

数据获取模块，用于获取用户的待处理数据结构及对应的用户标识；

逻辑表构建模块，用于将所述待处理数据结构及对应的用户标识以元数据形式进行描述，得到关联有用户标识的数据结构逻辑表；

映射关系配置模块，用于配置所述数据结构逻辑表与预先构建的物理表之间的映射关系；以及

存储模块，用于基于所述映射关系，将所述待处理数据结构在所述预先构建的物理表中进行存储，得到关联有用户标识的目标物理表区域。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

Images