CN112163485A - 数据处理方法、装置、数据库系统及电子设备 - Google Patents

Abstract

本申请提供一种数据处理方法、装置、数据库系统及电子设备，该方法包括：获取源数据中的源感知属性数据；查询是否存在与该源感知属性数据关联同一名单的目标感知名单；若存在，则将该源感知属性数据存储至目标感知名单；否则，依据该源感知属性数据生成对应的感知名单，并保存所生成的感知名单。该方法可以有利于数据的统一管理，避免了数据孤岛。

Description

数据处理方法、装置、数据库系统及电子设备

技术领域

本申请涉及安防领域，尤其涉及一种数据处理方法、装置、数据库系统及电子设备。

背景技术

在物联网感知识别应用中，名单数据作为核心数据用来和从感知设备获取的感知数据进行比对，从而识别出名单中的个体。

当前物联网的感知识别应用已逐渐普及，如工作人员利用人脸照片查询特定用户、旅馆酒店利用人证设备查验入住是否本人等等。其中，各个业务领域的应用侧重点不同，有针对人脸比对的、有人脸比对+证件号匹配的、有手机跟踪的、有指纹比对的等等，不同的业务应用端可以产生不同的感知属性数据。

然而实践发现，目前的物联网感知识别应用方案中，不同业务应用的感知属性数据分离存储，容易形成数据孤岛，例如存在使用人脸比对的应用和指纹比对的应用，当出现需要同时人脸和指纹比对的应用时，无法收集或打通前两个应用的数据，不利于数据整合应用。

发明内容

有鉴于此，本申请提供一种数据处理方法、装置、数据库系统及电子设备。

根据本申请实施例的第一方面，提供一种数据处理方法，包括：

获取源数据中的源感知属性数据；

查询是否存在与该源感知属性数据关联同一名单的目标感知名单；

若存在，则将该源感知属性数据存储至目标感知名单；

否则，依据该源感知属性数据生成对应的感知名单，并保存所生成的感知名单。

根据本申请实施例的第二方面，提供一种数据库系统，包括感知属性数据库和业务属性数据库，所述感知属性数据库包括感知名单，所述业务属性数据库包括业务名单；其中：

感知名单包括用于唯一标识该感知名单的标识信息，以及至少一个数据域，一个数据域用于存储一种类型的感知属性数据；

业务名单包括业务属性数据，以及感知属性数据所属感知名单的标识信息。

根据本申请实施例的第三方面，提供一种数据处理装置，包括：

获取单元，被配置为获取源数据中的源感知属性数据；

查询单元，被配置为查询是否存在与该源感知属性数据关联同一名单的目标感知名单；

处理单元，被配置为若存在与该源感知属性数据关联同一名单的目标感知名单，则将该源感知属性数据存储至目标感知名单；

处理单元，还被配置为若不存在与该源感知属性数据关联同一名单的目标感知名单，则依据该源感知属性数据生成对应的感知名单，并保存所生成的感知名单。

根据本申请实施例的第四方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面的数据处理方法。

根据本申请实施例的第五方面，提供一种非临时性计算机可读存储介质，非临时性计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现第一方面的数据处理方法。

根据本申请实施例的第六方面，提供一种计算机程序，该计算机程序存储于机器可读存储介质，并且当处理器执行该计算机程序时，促使处理器执行第一方面的数据处理方法。

根据本申请实施例的第七方面，提供一种名单管理系统，包括第四方面提供的电子设备以及第三方面提供的数据库系统。

本申请实施例的数据处理方法，获取源数据中的源感知属性数据，查询是否存在与该源感知属性数据关联同一名单的目标感知名单；若存在，则将源感知属性数据存储至目标感知名单；否则，依据该源感知属性数据生成对应的感知名单，并保存所生成的感知名单，通过对感知属性数据统一存储，将关联同一名单的感知属性数据存储至同一条感知名单，有利于数据的统一管理，避免了数据孤岛。

附图说明

图1是本申请一示例性实施例示出的一种数据处理方法的流程示意图；

图2A是本申请一示例性实施例示出的一种业务名单与感知名单之间的引用关系的示意图；

图2B是本申请一示例性实施例示出的一种业务应用数据的示意图；

图2C是本申请一示例性实施例示出的一种感知名单的示意图；

图2D是本申请一示例性实施例示出的一种业务应用数据的存储示意图；

图3是本申请一示例性实施例示出的一种数据处理装置的结构示意图；

图4是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例中涉及的部分技术术语进行简单说明。

名单：物联网应用场景下，被最终识别为唯一单位的实体，如以自然人作为感知识别的唯一单位时，可以称为自然人名单，或，以车辆作为感知识别的唯一单位时，可以称为车辆名单等。

感知属性:可通过物联网感知设备的感知能力获取，用以识别名单的属性。

例如，对于自然人名单，感知属性可以包括但不限于人脸图片、指纹、证件(可以包括证件类型和证件号)、卡号(如小区门禁、员工卡、停车卡这类通过射频识别的属性)、手机(如手机电围等具有唯一标识功能，且能够被感知设备感知的属性)、步态等。

为使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种数据处理方法的流程示意图，如图1所示，该数据处理方法可以包括以下步骤：

需要说明的是，本申请实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

步骤S100、获取源数据中的感知属性数据。

本申请实施例中，源数据可以为业务应用导入的业务应用数据，该业务应用数据可以包括感知属性数据和业务属性数据，或者，预先收集的感知属性数据。

步骤S110、查询是否存在与该感知属性数据关联同一名单的目标感知名单。若是，则转至步骤S120；否则，转至步骤S130。

步骤S120、将该感知属性数据存储至目标感知名单。

本申请实施例中，为了避免出现数据孤岛，可以对感知属性数据进行统一存储，关联同一名单的感知属性数据存储至同一感知名单中。

相应地，当获取到源数据中的感知属性数据(本文中称为源感知属性数据)时，可以依据所获取到的源感知属性数据，查询已有的感知名单，确定是否存在与该源感知属性数据关联同一名单的感知名单(本文中称为目标感知名单)。举例来说，假设获取到的源感知属性数据中包括身份证号码，则可以依据该身份证号码，查询已有的感知名单。当查询到某感知名单中包括的身份证号码与该源感知属性数据中的身份证号码相同时，可以将该感知名单确定为目标感知名单。

若存在，可以将该所获取到的源感知属性数据存储至目标感知名单。

步骤S130、依据所获取到的源感知属性数据生成对应的感知名单，并保存所生成的感知名单。

本申请实施例中，当不存在与所获取到的源感知属性数据关联同一名单的目标感知名单时，可以依据所获取到的源感知属性数据生成对应的感知名单，即新增一条感知名单，并保存该感知名单。

可见，在图1所示方法流程中，通过对感知属性数据统一存储，将关联同一名单的感知属性数据存储至同一条感知名单，有利于数据的统一管理，避免了数据孤岛。

在一个示例中，上述目标感知名单为与源感知属性数据存在至少一个相同的第一感知属性，且该第一感知属性的数据内容相同；其中，第一感知属性为值唯一的感知属性；

或者，

上述目标感知名单为与源感知属性数据存在至少一个相同的第二感知属性，且第二感知属性的数据内容的相似度超过阈值，且目标感知名单与源感知属性数据不存在数据内容互斥的第一感知属性；其中，第二感知属性为值为非唯一的感知属性。

示例性的，在实际应用中，感知属性可以包括值唯一的感知属性(本文中称为第一感知属性)，如身份证号码；以及，值非唯一的感知属性(本文中称为第二感知属性)，如人脸图片、步态等。

当一个感知名单与源感知属性数据存在至少一个相同的第一感知属性，且该第一感知属性的数据内容相同；或者，该感知名单与源感知属性数据存在至少一个相同的第二感知属性，且第二感知属性的数据内容的相似度超过阈值，且该感知名单与源感知属性数据不存在数据内容互斥的第一感知属性时，可以确定该感知名单与源感知属性数据关联同一名单(即该感知名单为目标感知名单)。

举例来说，假设获取到的源感知属性数据中包括身份证号码(属于第一感知属性)和人脸图片(属于第二感知属性)，则可以依据该身份证号码和人脸图片，查询已有的感知名单。

当查询到某感知名单中包括的身份证号码与该源感知属性数据中的身份证号码相同(该身份证号码即为该感知名单与源感知属性数据之间的相同数据，即存在相同的第一感知属性，且该第一感知属性的数据内容相同)时，可以将该感知名单确定为目标感知名单。

当未查询到包括的身份证号码与该源感知属性数据中的身份证号码相同的感知名单，但查询到包括的人脸图片与源感知属性数据中包括的人脸图片的相似度超过预设相似度阈值，且未包括身份证号码的感知名单(即存在相同的第二感知属性，且该第二感知属性的数据内容的相似度超过阈值，且该感知名单与源感知属性数据不存在数据内容互斥的第一感知属性)时，确定该感知名单为目标感知名单。

当某感知名单中包括的人脸图片与源感知属性中包括的人脸图片的相似度超过预设相似度阈值，但该感知名单中包括的身份证号码与源感知属性中包括的身份证号码不同(该感知名单中包括的身份证号码与源感知属性中包括的身份证号码即为该感知名单与源感知属性数据之间的互斥数据，即存在相同的第二感知属性，且该第二感知属性的数据内容的相似度超过阈值，但该感知名单与源感知属性数据存在数据内容互斥的第一感知属性)时，确定该感知名单不是目标感知名单。

需要说明的是，对于值唯一的感知属性(即第一感知属性)，如证件号或卡号等，数据内容的比较的结果包括相同和不相同，而不需要进行相似度确定；对于值非唯一的感知属性(即第二感知属性)，如人脸图片或步态等，数据内容的比较结果包括相似度超过预设相似度阈值和不超过预设相似度阈值。

此外，当获取到的源感知属性数据和已有的某一感知名单既存在相同数据，又存在互斥数据时，则可以进行告警处理，或者，按照其他策略进行处理，本申请实施例对此不做限定。

例如，当获取到的源感知属性数据中包括的值唯一的感知属性数据例如身份证号码与已有的某一感知名单中的身份证号码相同，但该源感知属性数据中包括的值非唯一的感知属性数据例如人脸图片与该感知名单中的人脸图片相似度未超过预设相似度阈值(该情况可以称为同证不同人)，则可以进行告警，由人工介入进行甄别；或者，将该感知名单确定为匹配的目标感知名单，并将该源感知属性数据中包括的人脸图片也保存到该感知名单中(该人脸图片之间的差异可能是由于化妆导致)；或者，将该感知名单确定为匹配的目标感知名单，并剔除不合规人脸图片(可以将与身份证的证件照的相似度低于预设相似度阈值的人脸图片确定为不合规人脸图片)。

又例如，当获取到的源感知属性数据中包括的值唯一的感知属性数据例如身份证号码与已有的某一感知名单中的身份证号码不同，但该源感知属性数据中包括的值非唯一的感知属性数据例如人脸图片与该感知名单中的人脸图片相似度超过预设相似度阈值(该情况可以称为同人不同证)，则可以进行告警，由人工介入进行甄别；或者，确定该源感知属性与该感知名单不匹配(该人脸图片之间的高相似度可能是双胞胎)。

示例性的，当查询到目标感知名单时，可以将源感知属性数据存储至该目标感知名单。

其中，对于目标感知名单和源感知属性数据中均包括的数据，可以不需要再次存储；对于目标感知名单中不包括，但源感知属性数据中包括的数据，可以在目标感知名单中新增感知属性对应的字段。

在一个示例中，感知名单包括用于唯一标识该感知名单的标识信息，以及至少一个数据域，一个数据域用于存储一种类型的感知属性数据，一个数据域中存储的任一感知属性数据设置有唯一标识该感知属性数据的标识信息，也称为数据域标识。

示例性的，为了提高感知属性数据存储的规范化，以提高数据管理效率，可以对感知属性数据进行分类。

以自然人名单为例，感知属性数据可以包括但不限于人脸图片类、指纹类、证件类、卡号类、手机类以及步态类等等。

相应地，用于感知属性数据统一存储的感知名单的结构可以包括用于唯一标识该感知名单的标识信息(如id)，以及至少一个数据域。

其中，用于唯一标识该感知名单的标识信息全局唯一，与感知名单一一对应。

一个数据域用于存储一种类型的感知属性数据。

例如，用于存储人脸图片类感知属性数据的数据域(可以称为人脸域)、用于存储证件类感知属性数据的数据域(可以称为证件域)、用于存储指纹类感知属性数据的数据域(可以称为指纹域)等。

在一个示例中，感知名单中还包括用于唯一标识一个数据域中的一条感知属性数据的数据域标识。

在一个示例中，上述方法还包括：

当源数据还包括业务属性数据时，依据该业务属性数据生成对应的业务名单，并保存所生成的业务名单；其中，该业务名单还包括源感知属性数据所属感知名单的标识信息。

示例性的，当步骤S100中源数据还包括业务属性数据时，例如，源数据为业务应用数据，该业务应用数据除了可以包括上述感知属性数据(即源感知属性数据)之外，还可以包括业务属性数据。

例如，对于自然人名单，对于学生，业务属性数据可以包括学校和学号等；对于企业员工，业务属性数据可以包括企业名称、部门以及工号等。

考虑到不同的业务应用，会导致同一名单同时拥有不同的业务属性数据，例如，应用A是学生业务，那么对于应用A的自然人名单除了感知属性数据外还包括学号等学生属性；应用B是社区业务，则同一自然人名单在应用B上还包括社区属性。

若不同业务应用数据均存储在同一物理表中，则很容易形成稀疏阵列，不利于管理，也容易影响处理性能。

例如，为了实现不同业务应用对应的业务应用数据的存储，物理表需要包括各种不同业务属性数据的存储区域。

假设某一条表项包括学生属性和企业属性，另一个表项包括学生属性和社区属性，则前一条表项的社区属性会是空的，后一条表项的企业属性会是空的，进而，很容易导致业务应用数据存储的物理表形成稀疏阵列，既不利于管理，也容易影响性能。

针对上述问题，对于同一名单，可以将感知属性数据和业务属性数据进行分离，通过感知名单存储感知名单数据，通过业务名单存储业务属性数据以及感知属性数据的引用。

相应地，当源数据还包括业务属性数据时，除了可以按照上述方式进行感知属性数据存储之外，还可以依据该业务属性数据生成对应的业务名单，并保存该业务名单。

示例性的，业务名单除了可以包括业务属性数据，还可以包括源感知属性数据所属感知名单的标识信息。

在一个示例中，感知名单还可以包括用于唯一标识一个数据域中的一条感知属性数据的数据域标识，相应地，业务名单还可以包括源感知数据在所属感知名单中的数据域标识，其具体结构可以在下文中结合具体实例进行说明。

本申请实施例还提供了一种数据库系统，包括感知属性数据库和业务属性数据库，该感知属性数据库包括感知名单，该业务属性数据库包括业务名单；其中：感知名单包括用于唯一标识该感知名单的标识信息，以及至少一个数据域，一个数据域用于存储一种类型的感知属性数据；

业务名单包括业务属性数据，以及感知属性数据所属感知名单的标识信息。

示例性的，当获取到源数据中的感知属性数据(即源感知属性数据)时，可以依据所获取到的源感知属性数据，查询感知属性数据库已有的感知名单，确定是否存在与该源感知属性数据关联同一名单的感知名单(即目标感知名单)。

当查询到目标感知名单时，可以将源感知属性数据存储至该目标感知名单。

其中，对于目标感知名单和源感知属性数据中均包括的数据，可以不需要再次存储；对于目标感知名单中不包括，但源感知属性数据中包括的数据，可以在目标感知名单中新增感知属性对应的字段。

示例性的，为了提高感知属性数据存储的规范化，以提高数据管理效率，可以对感知属性数据进行分类。

以自然人名单为例，感知属性数据可以包括但不限于人脸图片类、指纹类、证件类、卡号类、手机类以及步态类等等。

相应地，用于感知属性数据统一存储的感知名单的结构可以包括用于唯一标识该感知名单的标识信息(如id)，以及至少一个数据域。

其中，用于唯一标识该感知名单的标识信息全局唯一，与感知名单一一对应。

一个数据域用于存储一种类型的感知属性数据。

例如，用于存储人脸图片类感知属性数据的数据域(即人脸域)、用于存储证件类感知属性数据的数据域(即证件域)、用于存储指纹类感知属性数据的数据域(即指纹域)等。

示例性的，当获取到的源数据还包括为业务属性数据时，如源数据为业务应用数据，源数据中通常除了包括上述源感知属性数据之外，还会包括业务属性数据。

例如，对于自然人名单，对于学生，业务属性数据可以包括学校和学号等；对于企业员工，业务属性数据可以包括企业名称、部门以及工号等。

考虑到不同的业务应用，会导致同一名单同时拥有不同的业务属性，例如，应用A是学生业务，那么对于应用A的自然人名单除了感知属性数据外还包括学号等学生属性；应用B是社区业务，则同一自然人名单在应用B上还包括社区属性。

若不同业务应用数据均存储在同一物理表中，则很容易形成稀疏阵列，不利于管理，也容易影响处理性能。

例如，为了实现不同业务应用对应的业务应用数据的存储，物理表需要包括各种不同业务属性数据的存储区域。

假设某一条表项包括学生属性和企业属性，另一个表项包括学生属性和社区属性，则前一条表项的社区属性会是空的，后一条表项的企业属性会是空的，进而，很容易导致业务应用数据存储的物理表形成稀疏阵列。

针对上述问题，对于同一名单，可以将感知属性数据和业务属性数据进行分离，通过感知名单存储感知名单数据，通过业务名单存储业务属性数据以及感知属性数据的引用。

相应地，当源数据还包括业务属性数据时，除了可以按照上述方式进行感知属性数据存储之外，还可以依据该业务属性数据生成对应的业务名单，并保存该业务名单。

示例性的，业务名单包括业务应用数据中的业务属性数据，以及源感知属性数据所属感知名单的标识信息。

在一个示例中，感知名单还可以包括用于唯一标识一个数据域中的一条感知属性数据的数据域标识；业务名单还可以包括感知属性数据在所属感知名单中的数据域标识。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

名单管理系统设计如下：

1、感知属性分类：以自然人名单为例，包括但不限于人脸图片类、指纹类、证件类、卡号类、手机类、步态类等。

2、统一存储：一条感知名单有一个全局唯一id(即用于唯一标识该感知名单的标识信息)，其他感知属性数据分为数据域。以自然人名单为例，一个自然人拥有一个唯一id，人脸图片、指纹、证件、卡号、手机、步态等感知属性数据分别为自然人名单的数据域。

3、业务名单：针对不同业务应用导入的源数据，抽离出业务名单。以自然人名单为例，业务名单包括业务属性数据+感知属性数据的引用。

具体实现流程如下(以自然人名单为例)：

1)、人员名单设计

a)、自然人感知名单(简称感知名单，以表结构为例)：自然人id+感知属性的数据域。

b)、业务名单(也可以称为义务人名单，以表结构为例)：业务id+引用的自然人id(自然人感知名单的id)+引用的所需感知属性的数据域id(即用于唯一标识一个数据域中的一条感知属性数据的数据域标识)+特定的业务域。

c)、自然人和业务人分离：根据不同业务应用需求，从感知名单中派生而出多个业务名单，其示意图可以如图2A所示。

2)、业务应用数据导入

源数据为业务应用数据，业务应用数据包括感知属性数据(即源感知属性数据)和业务属性数据，其中，感知属性数据下沉到感知属性数据库或数据库系统，新增一条感知名单或存储到一条已有的感知名单(即上述目标感知名单)；业务属性数据生成业务名单，同时，引用所导入的感知属性数据，并保存至数据库系统。

以图2B所示业务应用数据为例，一方面，将证件类型(certType)、证件号(certNumber)、人脸图片地址信息(faceUrl)等感知属性数据存储至感知名单。

其中，假设查询到与源数据中的源感知属性数据关联同一感知名单的目标感知名单的自然人id为H01(如图2C所示)，图2C所示的目标感知名单与源感知属性数据包括相同的证件类源感知属性(证件号：330102199001010001)，且不存在互斥数据，则可以将源感知属性数据存储至目标感知名单，其示意图可以如图2D所示。

其中，证件类感知属性数据存储至证件域(包括证件类型：112，证件号：ST2020001)，并分配证件域id(Z02)；人脸图片类感知属性数据存储至人脸域(包括人脸图片地址信息：http://xxxface.jpg)，并分配人脸域id(F01)。

另一方面，依据学号(studnetID)以及学校(school)等业务属性数据生成业务名单，该业务名单包括业务属性数据以及源感知属性数据所属感知名单的自然人id和源感知属性数据在该感知名单中的id。

其中，假设业务名单的id为B01，由于其对应的感知属性数据存储在自然人id为H01的感知名单中，因此，refId(引用的感知属性数据所属感知名单的id)为H01，由于业务应用数据中还包括证件类型、证件号、人脸图片地址信息等感知属性数据，因此，业务名单中还包括各感知属性数据在感知名单H01中的id，即证件类感知属性数据(包括证件类型：112，证件号：ST2020001)在感知名单H01中的id(即Z02)，以及人脸图片类感知属性数据在感知名单H01中的id(即F01)；该业务名单中还包括业务属性数据(学号：2020001，学校：ZJU)。

3)、业务名单数据删除

当需要保留感知属性数据时，仅删除业务名单表中一条表项，业务名单的删除可以不影响感知数据的删除；当不需要保留感知属性数据时，可联动删除该业务名单引用的感知属性数据。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图3，为本申请实施例提供的一种数据处理装置的结构示意图，如图3所示，该数据处理装置可以包括：

获取单元310，被配置为获取源数据中的源感知属性数据；

查询单元320，被配置为查询是否存在与该源感知属性数据关联同一名单的目标感知名单；

处理单元330，被配置为若存在与该源感知属性数据关联同一名单的目标感知名单，则将该源感知属性数据存储至目标感知名单；

处理单元330，还被配置为若不存在与该源感知属性数据关联同一名单的目标感知名单，则依据该源感知属性数据生成对应的感知名单，并保存所生成的感知名单。

在一种可能的实施例中，目标感知名单与源感知属性数据存在至少一个相同的第一感知属性，且该第一感知属性的数据内容相同；或者，

目标感知名单与源感知属性数据存在至少一个相同的第二感知属性，且该第二感知属性的数据内容的相似度超过阈值，且目标感知名单与源感知属性数据不存在数据内容互斥的第一感知属性；其中，第一感知属性为值唯一的感知属性；第二感知属性为值非唯一的感知属性。

在一种可能的实施例中，感知名单包括用于唯一标识该感知名单的标识信息，以及至少一个数据域，一个数据域用于存储一种类型的感知属性数据。

在一种可能的实施例中，感知名单还包括用于唯一标识一个数据域的数据域标识。

在一种可能的实施例中，处理单元330，还被配置为当该源数据还包括业务属性数据时，依据该业务属性数据生成对应的业务名单，并保存所生成的业务名单；其中，该业务名单还包括该源感知属性数据所属感知名单的标识信息。

在一种可能的实施例中，感知名单还包括用于唯一标识一个数据域中的一条感知属性数据的数据域标识；业务名单还包括源感知属性数据在所属感知名单中的数据域标识。

请参见图4，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器401、通信接口402、存储器403和通信总线404。处理器401、通信接口402以及存储器403通过通信总线404完成相互间的通信。其中，存储器403上存放有计算机程序；处理器401可以通过执行存储器403上所存放的程序，执行上文描述的数据处理方法。

本文中提到的存储器403可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器402可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

本申请实施例还提供了一种存储有计算机程序的非临时性机器可读存储介质，例如图4中的存储器403，该计算机程序可由图4所示电子设备中的处理器401执行以实现上文中描述的数据处理方法。

本申请实施例还提供了一种计算机程序，存储于非临时性机器可读存储介质，例如图4中的存储器403，并且当处理器执行该计算机程序时，促使处理器401执行上文中描述的数据处理方法。

本申请实施例还提供了一种名单管理系统，可以包括上述任一实施例中描述的电子设备(结构示意图可以如图3所示)以及任一实施例中描述的数据库系统。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

1.一种数据处理方法，其特征在于，包括：

获取源数据中的源感知属性数据；

查询是否存在与所述源感知属性数据关联同一名单的目标感知名单；

若存在，则将所述源感知属性数据存储至所述目标感知名单；

否则，依据所述源感知属性数据生成对应的感知名单，并保存所生成的感知名单。

2.根据权利要求1所述的方法，其特征在于，

所述目标感知名单与所述源感知属性数据存在至少一个相同的第一感知属性，且所述第一感知属性的数据内容相同；或者，

所述目标感知名单与所述源感知属性数据存在至少一个相同的第二感知属性，且所述第二感知属性的数据内容的相似度超过阈值，且所述目标感知名单与所述源感知属性数据不存在数据内容互斥的第一感知属性；

其中，所述第一感知属性为值唯一的感知属性；所述第二感知属性为值非唯一的感知属性。

3.根据权利要求1或2所述的方法，其特征在于，感知名单包括用于唯一标识该感知名单的标识信息，以及至少一个数据域，一个数据域用于存储一种类型的感知属性数据。

4.根据权利要求3所述的方法，其特征在于，感知名单还包括用于唯一标识一个数据域中的一条感知属性数据的数据域标识。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述源数据还包括业务属性数据时，依据所述业务属性数据生成对应的业务名单，并保存所生成的业务名单；其中，所述业务名单还包括所述源感知属性数据所属感知名单的标识信息。

6.根据权利要求5所述的方法，其特征在于，感知名单还包括用于唯一标识一个数据域中的一条感知属性数据的数据域标识；所述业务名单还包括所述源感知属性数据在所属感知名单中的数据域标识。

7.一种数据库系统，其特征在于，包括感知属性数据库和业务属性数据库，所述感知属性数据库包括感知名单，所述业务属性数据库包括业务名单；其中：

所述感知名单包括用于唯一标识该感知名单的标识信息，以及至少一个数据域，一个数据域用于存储一种类型的感知属性数据；

所述业务名单包括业务属性数据，以及感知属性数据所属感知名单的标识信息。

8.根据权利要求7所述的数据库系统，其特征在于，感知名单还包括用于唯一标识一个数据域中的一条感知属性数据的数据域标识；业务名单还包括感知属性数据在所属感知名单中的数据域标识。

9.一种数据处理装置，其特征在于，包括：

获取单元，被配置为获取源数据中的源感知属性数据；

查询单元，被配置为查询是否存在与所述源感知属性数据关联同一名单的目标感知名单；

处理单元，被配置为若存在与所述源感知属性数据关联同一名单的目标感知名单，则将所述源感知属性数据存储至所述目标感知名单；

所述处理单元，还被配置为若不存在与所述源感知属性数据关联同一名单的目标感知名单，则依据所述源感知属性数据生成对应的感知名单，并保存所生成的感知名单。

10.根据权利要求9所述的装置，其特征在于，感知名单包括用于唯一标识该感知名单的标识信息，以及至少一个数据域，一个数据域用于存储一种类型的感知属性数据。

11.根据权利要求10所述的装置，其特征在于，感知名单还包括用于唯一标识一个数据域中的一条感知属性数据的数据域标识；

所述处理单元，还被配置为当所述源数据还包括业务属性数据时，依据所述业务属性数据生成对应的业务名单，并保存所生成的业务名单；其中，所述业务名单还包括所述源感知属性数据所属感知名单的标识信息和所述源感知属性数据在该感知名单中的数据域标识。

12.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现如权利要求1至6任一项所述的方法。

13.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。

14.一种名单管理系统，其特征在于，包括如权利要求12所述的电子设备，以及如权利要求7或8所述的数据库系统。

Images