CN113722334A - 数据处理的方法、装置、电子设备及介质 - Google Patents

Abstract

本公开涉及一种数据处理的方法、装置、电子设备及介质，上述方法包括：接收待存储的源数据结构的数据信息及对应的元数据信息；根据上述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将上述源数据结构的数据信息读取至上述目标逻辑表的第一方式为直接读取或映射读取；基于上述第一方式，将上述数据信息读取至上述目标逻辑表，在上述目标逻辑表得到读取信息；根据上述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将上述读取信息写入至上述目标物理表的第二方式为直接写入或映射写入；以及基于上述第二方式，将上述读取信息写入至上述目标物理表。

Description

数据处理的方法、装置、电子设备及介质

技术领域

本公开涉及互联网技术和云计算技术领域，尤其涉及一种数据处理的方法、装置、电子设备及介质。

背景技术

随着互联网技术的发展，各个机构在业务运行过程中会产生海量的业务数据和内部运维数据等。不同机构通过引入云服务来实现对大量数据的存储和操作管理。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：在不同机构之间，针对同一个对象(例如资产)进行描述的属性信息是有差异的，那么在提供云服务的研发人员进行数据库模型的构建时，为了使云服务能够为不同的机构开展对应的数据库服务，必须考虑不同的机构各自的对象描述方式和类型，这就使得研发人员需要针对不同的机构从零开始构建不同的数据库模型，以便于接入各种新类型的存储对象，如此一来，工作量巨大且不利于数据库的增删查改等操作，同时针对各个机构采用相对独立的代码片段管理，数据库的操作效率低下且存在代码冗余，导致开发和维护成本高，且技术迭代越来越慢。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种数据处理的方法、装置、电子设备及介质。

第一方面，本公开的实施例提供了一种数据处理的方法。上述数据处理的方法包括：接收待存储的源数据结构的数据信息及对应的元数据信息；根据上述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将上述源数据结构的数据信息读取至上述目标逻辑表的第一方式为直接读取或映射读取；基于上述第一方式，将上述数据信息读取至上述目标逻辑表，在上述目标逻辑表得到读取信息；根据上述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将上述读取信息写入至上述目标物理表的第二方式为直接写入或映射写入；以及基于上述第二方式，将上述读取信息写入至上述目标物理表。

根据本公开的实施例，上述根据上述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将上述源数据结构的数据信息读取至上述目标逻辑表的第一方式为直接读取或映射读取，包括：确定上述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间是否完全匹配；在上述源数据结构的元数据信息和上述目标逻辑表的元数据信息之间完全匹配的情况下，确定上述第一方式为直接读取，上述直接读取包括：将上述源数据结构中的上述数据信息，按照元数据信息对应的方式读取至上述目标逻辑表的对应列中；在上述源数据结构的元数据信息和上述目标逻辑表的元数据信息之间不完全匹配的情况下，确定上述第一方式为映射读取，上述映射读取包括：将上述源数据结构中的上述数据信息进行映射，按照数据类型一致的方式读取至上述目标逻辑表的对应列中。

根据本公开的实施例，上述将上述源数据结构中的上述数据信息进行映射，按照数据类型一致的方式读取至上述目标逻辑表的对应列中，包括：根据上述源数据结构和上述目标逻辑表各自的元数据信息，确定与上述源数据结构中的上述数据信息的数据类型一致的目标逻辑表中的第一目标数据列；基于上述源数据结构中的各个数据信息与上述第一目标数据列的对应关系，生成上述源数据结构与上述目标逻辑表之间的第一映射关系；以及基于上述第一映射关系，将上述源数据结构中的上述数据信息读取至上述目标逻辑表对应的第一目标数据列中。

根据本公开的实施例，上述根据上述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将上述读取信息写入至上述目标物理表的第二方式为直接写入或映射写入，包括：确定上述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间是否完全匹配；在上述目标逻辑表的元数据信息和上述目标物理表的元数据信息之间完全匹配的情况下，确定上述第二方式为直接写入，上述直接写入包括：将上述目标逻辑表中的上述读取信息，按照元数据信息对应的方式写入至上述目标物理表的对应列中；在上述目标逻辑表的元数据信息和上述目标物理表的元数据信息之间不完全匹配的情况下，确定上述第二方式为映射写入，上述映射写入包括：将上述目标逻辑表中的上述读取信息进行映射，按照数据类型一致的方式写入至上述目标物理表的对应列中。

根据本公开的实施例，上述将上述目标逻辑表中的上述读取信息进行映射，按照数据类型一致的方式写入至上述目标物理表的对应列中，包括：根据上述目标逻辑表和上述目标物理表各自的元数据信息，在上述目标物理表中确定与上述读取信息的数据类型一致的第二目标数据列；基于上述目标逻辑表中的各个信息与上述第二目标数据列的对应关系，生成上述目标逻辑表与上述目标物理表之间的第二映射关系；以及基于上述第二映射关系，将上述目标逻辑表中的上述读取信息写入至上述目标物理表对应的第二目标数据列中。

根据本公开的实施例，上述源数据结构包括：用于描述同一个对象的一组属性信息，以及上述一组属性信息对应的用户标识信息；针对不同的用户，上述用于描述同一个对象的一组属性信息具有差异；上述目标逻辑表和上述目标物理表中均预设有标识数据列，上述标识数据列用于描述用户标识信息；针对同一个用户标识信息对应的源数据结构，对应在上述目标物理表中的同一个物理区域进行存储，上述物理区域的标识数据列中的信息均为当前的用户标识信息；针对不同用户标识信息对应的源数据结构，在上述目标物理表中的不同物理区域进行存储。

根据本公开的实施例，上述方法还包括：接收用户针对上述源数据结构实施的数据操作指令；读取上述数据操作指令，解析得到针对上述目标逻辑表实施的第一操作，并将上述第一操作转换为针对上述目标物理表实施的第二操作；以及针对上述目标物理表实施上述第二操作。

第二方面，本公开的实施例提供了一种数据处理的装置。上述数据处理的装置包括：接收模块、第一确定模块、读取模块、第二确定模块以及写入模块。上述接收模块用于接收待存储的源数据结构的数据信息及对应的元数据信息。上述第一确定模块用于根据所述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将所述源数据结构的数据信息读取至所述目标逻辑表的第一方式，所述第一方式包括直接读取或映射读取。上述读取模块用于基于所述第一方式，将所述数据信息读取至所述目标逻辑表，在所述目标逻辑表得到读取信息。上述第二确定模块用于根据所述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将所述读取信息写入至所述目标物理表的第二方式，所述第二方式包括直接写入或映射写入。上述写入模块用于基于所述第二方式，将所述读取信息写入至所述目标物理表，使得上述待存储的源数据结构实现存储。

第三方面，本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上所述的数据处理的方法。

第四方面，本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的数据处理的方法。

本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：

在源数据结构进行存储的过程中，通过比较源数据结构和预先配置的目标逻辑表各自的元数据信息是否匹配，确定读取至目标逻辑表的读取方式是直接读取还是映射读取，再基于目标逻辑表与目标物理表各自的元数据信息是否匹配，确定将目标逻辑表读取的信息写入至目标物理表的写入方式为直接写入还是映射写入，对于不同类型的源数据结构，均能够基于相同的逻辑表和物理表的模型来实现数据的接入和存储，并且只需要通过在读取过程中和写入过程中采用适配的读取方式和写入方式即可，数据的接入逻辑统一且数据存储模型通用，无需针对新类型的接入数据重复开发新的数据存储模型，节省了系统开发所需的资源和成本，实现了源数据结构的快速接入和持久化存储，有助于降低研发人员的学习成本，提高代码的复用率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了适用于本公开实施例的数据处理的方法和装置的系统架构；

图2示意性示出了根据本公开一实施例的数据处理的方法的流程图；

图3示意性示出了根据本公开实施例的操作S202的详细实施流程图；

图4示意性示出了根据本公开实施例的操作S204的详细实施流程图；

图5示意性示出了根据本公开另一实施例的数据处理的方法的流程图；

图6示意性示出了根据本公开实施例的数据处理的装置的结构框图；以及

图7示意性示出了本公开实施例提供的电子设备的结构框图。

具体实施方式

以资产证券化(ABS，Asset-BackedSecuritization)系统的云服务架构作为示例，由于不同机构对于资产的描述是多样化的，不同机构之间，对于资产进行描述的属性信息在维度上、同一个属性参数的参数类型设置上均会有对应的差异。示例性的，机构A对于资产的属性描述分别包括：{名称、领域、业务、金额}，名称、领域、业务和金额分别对应的数据类型为：字符串中的varchar(64)、varchar(64)、整数类型int(11)、数值类型且精确到小数点后5位等。机构B对于资产的属性描述分别包括：{名称、简称、领域、负债金额、存款金额}，名称、简称、领域、负债金额、存款金额分别对应的数据类型是：字符串中的varchar(128)、varchar(64)、varchar(128)、数值类型且精确到小数点后10位、数值类型且精确到小数点后5位。

为了实现基于一套数据库架构实现针对不同机构用户(也可以描述为云服务的租户)提供云服务，本公开的实施例提供了一种数据处理的方法、装置、电子设备及介质。上述方法包括：接收待存储的源数据结构的数据信息及对应的元数据信息；根据上述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将上述源数据结构的数据信息读取至上述目标逻辑表的第一方式为直接读取或映射读取；基于上述第一方式，将上述数据信息读取至上述目标逻辑表，在上述目标逻辑表得到读取信息；根据上述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将上述读取信息写入至上述目标物理表的第二方式为直接写入或映射写入；以及基于上述第二方式，将上述读取信息写入至上述目标物理表。上述方法能够实现数据库开发代码的复用，数据接入存储的逻辑的通用化、统一化。

本公开的实施例中，上述数据处理的方法和装置中，数据处理可以包括但不限于数据的存储、增加、删除、修改、查询、展示等操作。

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1示意性示出了适用于本公开实施例的数据处理的方法和装置的系统架构。

参照图1所示，图1示意性示出了适用于本公开实施例的数据处理的方法和装置的系统架构100包括：终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如ABS资产证券化系统应用，还可以包括其他客户端应用，诸如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是显示屏并且支持网页浏览的各种电子设备，例如电子设备包括但不限于智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的应用界面或网站进行数据处理提供服务支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的数据处理请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的数据处理的方法一般可以由服务器105或具有一定运算能力的终端设备执行，上述终端设备可以是提供云服务的联网的终端设备。相应地，本公开实施例所提供的数据处理的装置一般可以设置于服务器105中或上述具有一定运算能力的终端设备中。本公开实施例所提供的数据处理的方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理的装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

本公开的第一个示例性实施例提供了一种数据处理的方法。

图2示意性示出了根据本公开实施例的数据处理的方法的流程图。

参照图2所示，本公开实施例提供的数据处理的方法，包括以下操作：S201、S202、S203、S204和S205。操作S201～S205可以由服务器执行，也可以由提供云计算服务的联网的终端设备执行。

在操作S201，接收待存储的源数据结构的数据信息及对应的元数据信息。

在操作S202，根据上述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将上述源数据结构的信息读取至上述目标逻辑表的第一方式为直接读取或映射读取。

在操作S203，基于上述第一方式，将上述数据信息读取至上述目标逻辑表，在上述目标逻辑表得到读取信息。

在操作S204，根据上述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将上述读取信息写入至上述目标物理表的第二方式为直接写入或映射写入。

在操作S205，基于上述第二方式，将上述读取信息写入至上述目标物理表。

上述操作S201的实施场景中，源数据结构可以是云服务的租户(例如为电商企业、金融机构、政府机构等各种类型的具有云服务需求的机构)的各个用户在业务实现过程中或者在各个租户自身的运营、维护等过程中产生的需要进行存储的数据。

具体而言，不同的租户描述同一个对象的属性信息具有差异，即，不同的租户下的用户所产生的源数据结构的信息也存在差异。

元数据信息为用于描述数据及其环境的数据，主要可以用于描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件纪录等功能。这里的元数据信息为用于描述源数据结构的数据信息的信息。

源数据结构可以是由多个数据构成的二元或更多元的数据组。上述对象可以是各种形式的对象，例如为资产、信用、收入、绩效、学术水平等等，该对象涉及的源数据结构能够用一组属性信息来描述，不同用户对于同一个对象描述的属性信息具有差异。这一差异可以体现在属性的维度差异、属性参数的差异、属性值的差异、属性值的类型差异等。

在一些实施例中，上述属性信息关联有用户标识信息，体现在源数据结构的数据信息和元数据信息中进行对应描述。

例如，机构A针对资产这一对象进行描述的一组属性信息为：属性信息A₁、属性信息A₂、属性信息A₃、属性信息A₄，例如可以分别对应于前述的{名称、领域、业务、金额}，则接收到的机构A的待存储的源数据结构的数据信息为：{机构A：资产、金融、贷款、10万元}，对应的元数据信息可以表示为：{用户标识A：A₁、A₂、A₃、A₄，用户标识A的数据类型为数值类型、名称A₁的数据类型为字符串类型中的varchar(64)、领域A₂的数据类型为字符串类型中的varchar(64)、业务A₃的数据类型为整数类型int(11)、金额A₄的数据类型为数值类型且精确到小数点后5位}。具体而言，

针对源数据结构中的数据信息：用户标识A、名称、领域、业务、金额而言，描述各个数据信息的元数据信息可以包含数据来源、引用关系、数据类型(例如为整数、浮点、字符串、自定义等类型)等信息。

在操作S202中，根据源数据结构的元数据信息与目标逻辑表的元数据信息之间的匹配度来确定是采用直接读取或映射读取的方式，以便于在操作S203中采用对应的读取方式，将源数据结构的数据信息读取至预先配置的目标逻辑表中。该目标逻辑表的结构是通用的，针对多个接入的源数据结构，只需要在操作S202中确定读取的方式即可，均能够将各个类型的源数据结构对应读取至目标逻辑表中。

在操作S204中，根据目标逻辑表的元数据信息和目标物理表中的元数据信息之间的匹配度来确定是采用直接写入或映射写入的方式，以便在操作S205中采用对应的写入方式，将目标逻辑表中的读取信息写入至预先配置的目标物理表中。该目标物理表的结构是通用的，针对多个接入的源数据结构，只需要对在操作S204中确定写入的方式即可，均能够将读取至目标逻辑表的读取数据对应写入至目标逻辑表中。

对应于不同类型的源数据结构，体现在构成源数据结构的各个数据(例如为属性信息)之间的维度差异、属性参数的差异、属性值的差异、属性值的类型差异等至少一个方面。

基于上述操作S201～S205，在源数据结构进行存储的过程中，通过比较源数据结构和预先配置的目标逻辑表各自的元数据信息是否匹配，确定读取至目标逻辑表的读取方式是直接读取还是映射读取，再基于目标逻辑表与目标物理表各自的元数据信息是否匹配，确定将目标逻辑表读取的信息写入至目标物理表的写入方式为直接写入还是映射写入，对于不同类型的源数据结构，均能够基于相同的逻辑表和物理表的模型来实现数据的接入和存储，并且只需要通过在读取过程中和写入过程中采用适配的读取方式和写入方式即可，数据的接入逻辑统一且数据存储模型通用，无需针对新类型的接入数据重复开发新的数据存储模型，节省了系统开发所需的资源和成本，实现了源数据结构的快速接入和持久化存储，有助于降低研发人员的学习成本，提高代码的复用率。

图3示意性示出了根据本公开实施例的操作S202的详细实施流程图。

根据本公开的实施例，参照图3所示，根据上述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将上述源数据结构的数据信息读取至上述目标逻辑表的第一方式为直接读取或映射读取的操作S202包括以下子操作：S2021、S2022a和S2022b。针对同一个源数据结构进行存储的情形，上述子操作S2022a或子操作S2022b择一实施，针对多个源数据结构进行存储的情形，上述子操作S2022a和子操作S2022b对应的实施情况可以同时都包含或者只包含其中一种实施情况。

在子操作S2021，确定源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间是否完全匹配。

在子操作S2022a，在上述源数据结构的元数据信息和上述目标逻辑表的元数据信息之间完全匹配的情况下，确定上述第一方式为直接读取，上述直接读取包括：将上述源数据结构中的上述数据信息，按照元数据信息对应的方式读取至上述目标逻辑表的对应列中。

通常情况下，预先配置的目标逻辑表与大部分源数据结构各自的元数据信息均不完全匹配。个别场景下，预先配置的目标逻辑表正好与某个源数据结构各自的元数据信息完全匹配。

例如，以源数据结构的数据信息为：{机构A：资产、金融、贷款、10万元}，对应的元数据信息为以下形式作为示例：{机构A：名称、领域、业务、金额，机构A的数据类型为数值类型、名称的数据类型为字符串类型中的varchar(64)、领域的数据类型为字符串类型中的varchar(64)、业务的数据类型为整数类型int(11)、金额的数据类型为数值类型且精确到小数点后5位}。那么在比对源数据结构的元数据信息和上述目标逻辑表的元数据信息之间是否完全匹配时，需要确定目标逻辑表中是否存在列名称为：机构A(用户标识)、名称、领域、业务、金额的数据列，并且需要确定这些数据列的数据类型是否分别对应为：数值类型、varchar(64)、varchar(64)、int(11)、数值类型且精确到小数点后5位。

在其中一个信息对应不匹配的情况下，视为不完全匹配。如果所有的元数据信息完全一致，则视为完全匹配。

在完全匹配的情况下，例如预先配置的目标逻辑表S中，数据列SL₁、SL₂、SL₃、SL₄、SL₅的列名称分别对应为机构A、名称、领域、业务、金额。数据列SL₁、SL₂、SL₃、SL₄、SL₅的列数据类型分别对应为：数值类型、varchar(64)、varchar(64)、int(11)、数值类型且精确到小数点后5位；则说明源数据结构的元数据信息和上述目标逻辑表的元数据信息之间完全匹配，确定进行读取的第一方式为直接读取。直接读取的方式包括：将上述源数据结构中的上述数据信息{机构A：资产、金融、贷款、10万元}，按照元数据信息对应的方式读取至上述目标逻辑表的对应数据列SL₁、SL₂、SL₃、SL₄、SL₅中。

在子操作S2022b，在上述源数据结构的元数据信息和上述目标逻辑表的元数据信息之间不完全匹配的情况下，确定上述第一方式为映射读取，上述映射读取包括：将上述源数据结构中的上述数据信息进行映射，按照数据类型一致的方式读取至上述目标逻辑表的对应列中。

根据本公开的实施例，上述子操作S2022b中，将上述源数据结构中的上述数据信息进行映射，按照数据类型一致的方式读取至上述目标逻辑表的对应列中，包括：根据上述源数据结构和上述目标逻辑表各自的元数据信息，确定与上述源数据结构中的上述数据信息的数据类型一致的目标逻辑表中的第一目标数据列；基于上述源数据结构中的各个数据信息与上述第一目标数据列的对应关系，生成上述源数据结构与上述目标逻辑表之间的第一映射关系；以及基于上述第一映射关系，将上述源数据结构中的上述数据信息读取至上述目标逻辑表对应的第一目标数据列中。

在不完全匹配的情况下，例如，预先配置的目标逻辑表S中，尽管存在数据类型匹配的数据列，与数值类型、varchar(64)、varchar(64)、int(11)、数值类型且精确到小数点后5位的数据类型分别对应的数据列为：SL₆、SL₇、SL₈、SL₉、SL₁₀，但是这些数据列的列名称中与用户类型、名称、领域、业务、金额不完全一致，则视为不完全匹配的情况。在不完全匹配的情况下，确定进行读取的第一方式为映射读取。映射读取的方式包括：将上述源数据结构中的上述数据信息{机构A：资产、金融、贷款、10万元}进行映射，按照数据类型一致的方式读取至上述目标逻辑表的对应列中，即，将“机构A”这一信息映射读取至数据列SL₆中，将“资产”这一信息映射读取至数据列SL₇中，将“领域”这一信息映射读取至数据列SL₈中，将“业务”这一信息映射读取至数据列SL₉中，将“10万元”这一信息映射读取至数据列SL₁₀中。

上述预先配置的目标逻辑表预先涵盖已有的各种数据类型，还可以新增数据类型，以满足各种数据对象的接入。

在操作S202中，通过预先的判定采用对应的读取方式，使得目标逻辑表可以适配于各种类型的数据结构的接入。

图4示意性示出了根据本公开实施例的操作S204的详细实施流程图。

根据本公开的实施例，参照图4所示，上述根据上述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将上述读取信息写入至上述目标物理表的第二方式的操作S204包括以下子操作：S2041、S2042a和S2042b。

在操作S2041，确定目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间是否完全匹配。

通常情况下，预先配置的目标逻辑表与大部分预先配置的目标物理表各自的元数据信息均不完全匹配。个别场景下，预先配置的目标逻辑表正好与某个预先配置的目标物理表各自的元数据信息完全匹配。

在操作S2042a，在上述目标逻辑表的元数据信息和上述目标物理表的元数据信息之间完全匹配的情况下，确定上述第二方式为直接写入，上述直接写入包括：将上述目标逻辑表中的上述读取信息，按照元数据信息对应的方式写入至上述目标物理表的对应列中。

在完全匹配的情况下，例如预先配置的目标物理表P中，数据列PL₂、PL₃、PL₄、PL₅、PL₆的列名称分别对应与目标逻辑表S的数据列SL₁、SL₂、SL₃、SL₄、SL₅的列名称一致。数据列PL₂、PL₃、PL₄、PL₅、PL₆的列数据类型分别对应为：数值类型、varchar(64)、varchar(64)、int(11)、数值类型且精确到小数点后5位；则说明目标逻辑表的元数据信息和上述目标物理表的元数据信息之间完全匹配，确定进行写入的第二方式为直接写入。直接写入的方式包括：将上述目标逻辑表S中数据列SL₁、SL₂、SL₃、SL₄、SL₅的读取信息{机构A：资产、金融、贷款、10万元}，按照元数据信息对应的方式对应写入至上述目标物理表的对应数据列PL₂、PL₃、PL₄、PL₅、PL₆中。

在操作S2042b，在上述目标逻辑表的元数据信息和上述目标物理表的元数据信息之间不完全匹配的情况下，确定上述第二方式为映射写入，上述映射写入包括：将上述目标逻辑表中的上述读取信息进行映射，按照数据类型一致的方式写入至上述目标物理表的对应列中。

根据本公开的实施例，上述将上述目标逻辑表中的上述读取信息进行映射，按照数据类型一致的方式写入至上述目标物理表的对应列中，包括：根据上述目标逻辑表和上述目标物理表各自的元数据信息，在上述目标物理表中确定与上述读取信息的数据类型一致的第二目标数据列；基于上述目标逻辑表中的各个信息与上述第二目标数据列的对应关系，生成上述目标逻辑表与上述目标物理表之间的第二映射关系；以及基于上述第二映射关系，将上述目标逻辑表中的上述读取信息写入至上述目标物理表对应的第二目标数据列中。

在不完全匹配的情况下，例如，预先配置的目标物理表S中，尽管存在数据类型匹配的数据列，与数值类型、varchar(64)、varchar(64)、int(11)、数值类型且精确到小数点后5位的数据类型分别对应的数据列为：PL₈、PL₉、PL₁₁、PL₁₃、PL₁₆，但是这些数据列的列名称与目标逻辑表S的数据列SL₁、SL₂、SL₃、SL₄、SL₅的列名称不完全一致，则视为不完全匹配的情况。在不完全匹配的情况下，确定进行写入的第二方式为映射写入。映射写入的方式包括：将上述目标逻辑表S中数据列SL₁、SL₂、SL₃、SL₄、SL₅的读取信息{机构A：资产、金融、贷款、10万元}进行映射，按照数据类型一致的方式写入至上述目标物理表的对应列中，即，将目标逻辑表S中数据列SL₁中“机构A”这一读取信息映射写入至目标物理表P的数据列PL₈中，将目标逻辑表S中数据列SL₂中“资产”这一读取信息映射写入至目标物理表P的数据列PL₉中，将目标逻辑表S中数据列SL₃中“领域”这一读取信息映射写入至目标物理表P的数据列PL₁₁中，将目标逻辑表S中数据列SL₄中“业务”这一信息映射写入至目标物理表P的数据列PL₁₃中，将目标逻辑表S中数据列SL₅中“10万元”这一信息写入至目标物理表P的数据列PL₁₆中。

根据本公开的实施例，上述源数据结构包括：用于描述同一个对象的一组属性信息，以及上述一组属性信息对应的用户标识信息；针对不同的用户，上述用于描述同一个对象的一组属性信息具有差异；上述目标逻辑表和上述目标物理表中均预设有标识数据列，上述标识数据列用于描述用户标识信息；针对同一个用户标识信息对应的源数据结构，对应在上述目标物理表中的同一个物理区域进行存储，上述物理区域的标识数据列中的信息均为当前的用户标识信息；针对不同用户标识信息对应的源数据结构，在上述目标物理表中的不同物理区域进行存储。

由于映射写入这种方式的设置，可以实现不同类型的源数据结构在同一个数据库的物理表中的不同物理区域(不同行，数据列的话根据数据类型对应)进行存储。

图5示意性示出了根据本公开另一实施例的数据处理的方法的流程图。

本公开实施例提供的数据处理的方法，除了包括上述操作S201～S205之外，还包括以下操作：S501、S502和S503，在图5中仅示意了操作S501～S503。上述操作S501可以在操作S201～S204之后执行，对于已经实现存储的源数据结构进行对应的增删查改等操作。

在操作S501，接收用户针对上述源数据结构实施的数据操作指令。

上述数据操作指令包括但不限于是：增加、删除、修改、查询等。

在操作S502，读取上述数据操作指令，解析得到针对上述目标逻辑表实施的第一操作，并将上述第一操作转换为针对上述目标物理表实施的第二操作。

在操作S503，针对上述目标物理表实施上述第二操作。

基于上述操作S501～S502，可以基于同一个操作逻辑实现对目标物理表中已经存储的源数据结构(对应于操作S201中待存储的源数据结构)的增删查改等操作，特别是针对携带有不同用户标识(例如租户标识)、存储于同一个物理表的不同区域的数据，能够基于用户标识的区分来对各自的数据进行操作，而不允许访问同一个物理表中的携带其他用户标识的数据，这样也实现了数据操作的隔离。

根据本公开的实施例，在操作S502解析得到第一操作之后，上述方法还可以进一步包括：针对上述目标逻辑表实施上述第一操作。

本公开的第二个示例性实施例提供了一种数据处理的装置。

图6示意性示出了根据本公开实施例的数据处理的装置的结构框图。

参照图6所示，本公开实施例提供的数据处理的装置600包括：接收模块601、第一确定模块602、读取模块603、第二确定模块604以及写入模块605。

上述接收模块601用于接收待存储的源数据结构的数据信息及对应的元数据信息。

上述第一确定模块602用于根据所述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将所述源数据结构的数据信息读取至所述目标逻辑表的第一方式，所述第一方式包括直接读取或映射读取。上述第一确定模块602包括用于实现子操作S2021、S2022a和S2022b的功能模块或子模块。

上述读取模块603用于基于所述第一方式，将所述数据信息读取至所述目标逻辑表，在所述目标逻辑表得到读取信息。

上述第二确定模块604用于根据所述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将所述读取信息写入至所述目标物理表的第二方式，所述第二方式包括直接写入或映射写入。上述第二确定模块604包括用于实现子操作S2041、S2042a和S2042b的功能模块或子模块。

上述写入模块605用于基于所述第二方式，将所述读取信息写入至所述目标物理表，使得上述待存储的源数据结构实现存储。

根据本公开的实施例，上述装置600除了包括上述接收模块601、第一确定模块602、读取模块603、第二确定模块604以及写入模块605之外，还可以包括：操作指令接收模块、解析模块以及操作模块。

上述操作指令接收模块用于接收用户针对上述源数据结构实施的数据操作指令。

上述解析模块用于读取上述数据操作指令，解析得到针对上述目标逻辑表实施的第一操作，并将上述第一操作转换为针对上述目标物理表实施的第二操作。

上述操作模块用于针对上述目标物理表实施上述第二操作。

根据本公开的实施例，上述操作模块还用于针对上述目标逻辑表实施上述第一操作。

上述接收模块601、第一确定模块602、读取模块603、第二确定模块604以及写入模块605中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。接收模块601、第一确定模块602、读取模块603、第二确定模块604以及写入模块605中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，接收模块601、第一确定模块602、读取模块603、第二确定模块604以及写入模块605中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

本公开的第三个示例性实施例提供了一种电子设备。

图7示意性示出了本公开实施例提供的电子设备的结构框图。

参照图7所示，本公开实施例提供的电子设备700包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701、通信接口702和存储器703通过通信总线704完成相互间的通信；存储器703，用于存放计算机程序；处理器701，用于执行存储器上所存放的程序时，实现如上所述的数据处理的方法。

本公开的第四个示例性实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的数据处理的方法。

该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理的方法，其特征在于，包括：

接收待存储的源数据结构的数据信息及对应的元数据信息；

根据所述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将所述源数据结构的数据信息读取至所述目标逻辑表的第一方式为直接读取或映射读取；

基于所述第一方式，将所述数据信息读取至所述目标逻辑表，在所述目标逻辑表得到读取信息；

根据所述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将所述读取信息写入至所述目标物理表的第二方式为直接写入或映射写入；以及

基于所述第二方式，将所述读取信息写入至所述目标物理表。

2.根据权利要求1所述的方法，其特征在于，所述根据所述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将所述源数据结构的数据信息读取至所述目标逻辑表的第一方式为直接读取或映射读取，包括：

确定所述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间是否完全匹配；

在所述源数据结构的元数据信息和所述目标逻辑表的元数据信息之间完全匹配的情况下，确定所述第一方式为直接读取，所述直接读取包括：将所述源数据结构中的所述数据信息，按照元数据信息对应的方式读取至所述目标逻辑表的对应列中；

在所述源数据结构的元数据信息和所述目标逻辑表的元数据信息之间不完全匹配的情况下，确定所述第一方式为映射读取，所述映射读取包括：将所述源数据结构中的所述数据信息进行映射，按照数据类型一致的方式读取至所述目标逻辑表的对应列中。

3.根据权利要求2所述的方法，其特征在于，所述将所述源数据结构中的所述数据信息进行映射，按照数据类型一致的方式读取至所述目标逻辑表的对应列中，包括：

根据所述源数据结构和所述目标逻辑表各自的元数据信息，确定与所述源数据结构中的所述数据信息的数据类型一致的目标逻辑表中的第一目标数据列；

基于所述源数据结构中的各个数据信息与所述第一目标数据列的对应关系，生成所述源数据结构与所述目标逻辑表之间的第一映射关系；以及

基于所述第一映射关系，将所述源数据结构中的所述数据信息读取至所述目标逻辑表对应的第一目标数据列中。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将所述读取信息写入至所述目标物理表的第二方式为直接写入或映射写入，包括：

确定所述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间是否完全匹配；

在所述目标逻辑表的元数据信息和所述目标物理表的元数据信息之间完全匹配的情况下，确定所述第二方式为直接写入，所述直接写入包括：将所述目标逻辑表中的所述读取信息，按照元数据信息对应的方式写入至所述目标物理表的对应列中；

在所述目标逻辑表的元数据信息和所述目标物理表的元数据信息之间不完全匹配的情况下，确定所述第二方式为映射写入，所述映射写入包括：将所述目标逻辑表中的所述读取信息进行映射，按照数据类型一致的方式写入至所述目标物理表的对应列中。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标逻辑表中的所述读取信息进行映射，按照数据类型一致的方式写入至所述目标物理表的对应列中，包括：

根据所述目标逻辑表和所述目标物理表各自的元数据信息，在所述目标物理表中确定与所述读取信息的数据类型一致的第二目标数据列；

基于所述目标逻辑表中的各个信息与所述第二目标数据列的对应关系，生成所述目标逻辑表与所述目标物理表之间的第二映射关系；以及

基于所述第二映射关系，将所述目标逻辑表中的所述读取信息写入至所述目标物理表对应的第二目标数据列中。

6.根据权利要求1所述的方法，其特征在于，所述源数据结构包括：用于描述同一个对象的一组属性信息，以及所述一组属性信息对应的用户标识信息；针对不同的用户，所述用于描述同一个对象的一组属性信息具有差异；

所述目标逻辑表和所述目标物理表中均预设有标识数据列，所述标识数据列用于描述用户标识信息；

针对同一个用户标识信息对应的源数据结构，对应在所述目标物理表中的同一个物理区域进行存储，所述物理区域的标识数据列中的信息均为当前的用户标识信息；针对不同用户标识信息对应的源数据结构，在所述目标物理表中的不同物理区域进行存储。

7.根据权利要求1-6中任一项所述的方法，其特征在于，还包括：

接收用户针对所述源数据结构实施的数据操作指令；

读取所述数据操作指令，解析得到针对所述目标逻辑表实施的第一操作，并将所述第一操作转换为针对所述目标物理表实施的第二操作；以及

针对所述目标物理表实施所述第二操作。

8.一种数据处理的装置，其特征在于，包括：

接收模块，用于接收待存储的源数据结构的数据信息及对应的元数据信息；

第一确定模块，用于根据所述源数据结构的元数据信息和预先配置的目标逻辑表的元数据信息之间的匹配度，确定将所述源数据结构的数据信息读取至所述目标逻辑表的第一方式为直接读取或映射读取；

读取模块，用于基于所述第一方式，将所述数据信息读取至所述目标逻辑表，在所述目标逻辑表得到读取信息；

第二确定模块，用于根据所述目标逻辑表的元数据信息和预先配置的目标物理表的元数据信息之间的匹配度，确定将所述读取信息写入至所述目标物理表的第二方式为直接写入或映射写入；以及

写入模块，用于基于所述第二方式，将所述读取信息写入至所述目标物理表。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

Images