CN117688351B - 一种基于模型处理结果的辅助甄别方法、装置及设备 - Google Patents

Abstract

本说明书实施例公开了一种基于模型处理结果的辅助甄别方法、装置及设备，包括：对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合；确定特定数据记录；基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合；对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布；基于所述待核实属性分布，生成反面属性集合和正面属性集合；以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。

Description

一种基于模型处理结果的辅助甄别方法、装置及设备

技术领域

本说明书涉及计算机技术领域，尤其涉及一种基于模型处理结果的辅助甄别方法、装置及设备。

背景技术

随着人工智能的发展，数据标注需求应运而生，结合深度学习的数据标注技术得到了极大发展。数据标注可以是指对未标记标签的文本、视频、图像等数据进行分类得到的分类标签。

在数据标注领域，目前的主要方法是通过样本数据训练生成模型，利用模型来自动进行数据标注。该方法能够降低分析人员的人工标记的工作量，但是由于模型的自身性能、数据特征偏移等原因，在通过模型进行自动打标，实现数据标注的过程中，经常存在结果存疑、错误等现象。但是由于基于模型获得的数据标注结果，通常无法提供用于进一步核实的辅助信息，为了保证数据标注结果的准确性，往往还需要靠人工经验核实或人工查找支撑证据核实，存在工作量大，效率低的问题。

基于此，需要一种基于模型处理结果的辅助甄别方法。

发明内容

本说明书实施例提供一种基于模型处理结果的辅助甄别方法、装置及设备，用于解决以下技术问题：现有技术中，由于基于模型获得的数据标注结果，通常无法提供用于进一步核实的辅助信息，为了保证数据标注结果的准确性，往往还需要靠人工经验核实或人工查找支撑证据核实，存在工作量大，效率低的问题。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供一种基于模型处理结果的辅助甄别方法，包括：

对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合；

确定所述待处理数据集的待甄别数据记录作为特定数据记录；

基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合；

对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布；

基于所述待核实属性分布，生成反面属性集合和正面属性集合；

以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。

本说明书实施例还提供一种基于模型处理结果的辅助甄别装置，包括：

初始化模块，对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合；

待甄别数据记录确定模块，确定所述待处理数据集的待甄别数据记录作为特定数据记录；

属性取值分布集合构建模块，基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合；

待核实属性分布生成模块，对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布；

反面属性集合和正面属性集合生成模块，基于所述待核实属性分布，生成反面属性集合和正面属性集合；

展示模块，以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。

本说明书实施例还提供一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合；

确定所述待处理数据集的待甄别数据记录作为特定数据记录；

基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合；

对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布；

基于所述待核实属性分布，生成反面属性集合和正面属性集合；

以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。

本说明书实施例提供的一种基于模型处理结果的辅助甄别方法，利用数据统计分析、相似度计算等方法，针对模型处理结果即数据标注结果，从数据集中自动识别出具备显著统计特征的正反支撑属性值，辅助用户判断数据标注结果的正确性，提升数据标注准确率，且该方法不需要依赖专家及额外专家模型资源，仅依赖自身数据信息，因此，实现成本低，且能够支持在大规模数据集上应用。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例提供的一种基于模型处理结果的辅助甄别方法的系统架构示意图；

图2为本说明书实施例提供的一种基于模型处理结果的辅助甄别方法的流程示意图；

图3为本说明书实施例提供的一种基于模型处理结果的辅助甄别方法的框架图；

图4为本说明书实施例提供的一种基于模型处理结果的辅助甄别装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

现有技术中，为了核实保证数据标注结果的准确性，往往通过专家审查、交叉验证等方法，对数据标注结果进行核实。

专家审查方法主要是通过领域内的专业人员对数据标注结果进行审查核验，包括对部分抽样结果进行审查、对边界存疑结果进行审查等，最终实现对整体数据标注质量的提升。但是该方法仅能对部分数据进行人工审查，效率严重依赖专家水平和专家数量，在数据标注规模巨大的情况下，该方法无法满足现实业务需求。

交叉验证方法主要是通过不同的模型对同一批数据分别进行打标，形成不同来源的标注结果集合，筛选出标注结果存在冲突的记录，然后对这些记录进行二次人工核实。该方法需要训练或者提供其他同类模型，从而产生了额外成本，并且筛选出的冲突结果缺乏支撑依据，不便于后续的快速人工核实。

基于此，本说明书实施例提供一种基于模型处理结果的辅助甄别方法，利用数据统计分析、相似度计算等方法，针对模型处理结果即数据标注结果，从数据集中自动识别出具备显著统计特征的正反支撑属性值，辅助用户判断数据标注结果的正确性，提升数据标注准确率。

图1为本说明书实施例提供的一种基于模型处理结果的辅助甄别方法的系统架构示意图。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如进行基于模型处理结果的辅助甄别等专用程序。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种专用或通用的电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。

服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。例如，服务器可以进行基于模型处理结果的辅助甄别，以便将基于模型处理结果的辅助甄别结果显示在终端设备服务器101、102、103上，服务器也可以进行基于模型处理结果的辅助甄别，以便将基于模型处理结果的辅助甄别结果显示在终端设备101、102、103上。

服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现为多个服务器组成的分布式服务器集群，也可以实现为单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。

图2为本说明书实施例提供的一种基于模型处理结果的辅助甄别方法的流程示意图。从程序角度而言，流程的执行主体可以为搭载于应用服务器或应用终端的程序。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图2所示，该辅助甄别方法包括：

步骤S201：对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合；

在本说明书实施例中，所述待处理数据为文本类型数据或数值类型数据，所述对待处理数据进行数据转换和数据分段，作为待处理数据集，具体包括：

将所述待处理数据的属性集合中的文本类型数据，转化为第一向量数据，和/或将所述待处理数据的模型识别结果集合中的文本类型数据转化为第二向量数据；

将所述第二向量数据和/或所述待处理数据的模型识别结果集合中的数值类型数据，按照预设分段规则进行数据分段，获得所述数据分段结果；

将所述第一向量数据、所述待处理数据的属性集合中数值类型数据集所述数据分段结果，作为所述待处理数据集。

在本说明书实施例中，待处理的数据能够转化为表格类型的数据，以表格形式进行表示，表格中的字段为数值类型数据或者文本类型数据。

在本说明书实施例中，待处理数据的总属性数为N，总记录数为M。待处理数据的属性集合为K，K={K1,...,Ki,…,KN}，其中：Ki为第i个属性，其中：i∈(1，N)；待处理数据的模型识别结果集合为V，V={V1,...,Vj,…,VM}，其中：Vj为第j条结果，j∈(1，M)。

具体地，若K中有文本类型数据，可以采用Word2Vec算法，将待处理数据的属性集合K中的文本类型数据转换为向量数据，同时，将文本类型数据与向量数据之间的映射关系为字段Kdict；

若待处理数据的模型识别结果集合V的取值为数值类型数据，则将V按照区间均分成H份，记录每个值映射为H个区间的规则Vrule；

若待处理数据的模型识别结果集合V的取值为文本类型，则将对应的文本数据转化为向量数据，同时记录文本与向量之间的映射关系为字段Vdict，然后将V按照区间均分成H份，记录每个值映射为H个区间的规则Vrule。

在本说明书实施例中，所述预设分段规则具体为：所述待处理数据的模型识别结果集合为离散型数据，则所述数据分段结果为离散型数据的类别的个数；所述待处理数据的模型识别结果集合为连续性数据，则所述数据分段结果为10乘以分段系数。在具体实施例中，分段系数可以为30~50之间的数值，分段系数为整数。

继续延续前例，若待处理数据的模型识别结果集合为离散型数据，则H为离散型数据的类别的个数，若待处理数据的模型识别结果集合连续性数据，则H为10*分段系数。

步骤S203：确定所述待处理数据集的待甄别数据记录作为特定数据记录。

在本说明书实施例中，特定数据记录的选取，可以依据用户的需求而定。

继续延续前例，用户限定待处理数据集汇总的某条数据记录s作为特定数据记录，s在待处理的数据的属性集合K中的取值为key=<key1,...,keyi,…,keyN>，在待处理数据的模型识别结果集合V的取值为value。

步骤S205：基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合。

在本说明书实施例中，所述基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，具体包括：

基于所述特定数据记录中的属性集合中的每一个属性，确定所述特定数据记录中的属性集合中每一个属性取值为key_i时对应的结果取值在所述数据分段结果中的分布，作为所述每一个属性的取值分布。

继续延续前例，锁定特定数据记录的属性集合K，统计对应V在H区间的分布。具体地，针对属性集合K的每一个属性Ki，统计Ki取keyi时对应V在H个区间上的分布，记为属性取值分布Ki_statics，Ki_statics={Ki,<W1,W1_num>,…,<Wp,Wp_num>,…, <WH,WH_num>}，其中：Wp为第一区间p，Wp_num为第一区间p的V记录数量，1≤p≤H。

第一区间p可以理解为根据用户需求，从特定数据记录汇总的属性集合中的每一个属性对应的结果集V中选定的区间。

将所有属性取值分布Ki_statics构成属性取值分布集合K_statics，K_statics={K1_statics,…, Ki_statics,…,KN_statics}，1≤i≤N。

步骤S207：对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布。

在锁定特定数据记录的属性集合K，统计对应V在H区间的分布，确定属性取值分布集合后，进一步需要对属性取值分布集合进行分析。

在本说明书实施例中，所述对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布，具体包括：

对所述属性取值分布集合中的每一个属性的属性分布进行计算，若所述属性分布中的Wp_num序列的方差大于第一方差临界值，且所述属性分布对应的结果V值所在的区间Wp_num小于序列均值*第一方差值，则选取所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，所述Wp_num为第一区间p的V记录数量，1≤p≤H，H为对所述待处理数据进行数据分段的数据分段数；

基于所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，生成所述待核实属性分布。

在本说明书实施例中，所述基于所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，生成所述待核实属性分布，具体包括：

所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，按照其属性分成T份，将所述T份中的记录数量分布，作为所述待核实属性分布。

在本说明书实施例中，所述第一方差临界值的计算为：

THR1=(Ki取值key_i时所有记录数总和/H)*THR1_factor；

其中，

THR1为所述第一方差临界值；

Ki为所述特定数据记录中的属性集合中的每一个属性；

key_i为所述特定数据记录中的属性集合中的每一个属性的取值；

H为对所述待处理数据进行数据分段的数据分段数；

THR1_factor为第一方差临界值因子；

所述第一方差值为所述第一方差临界值的预设倍数。

在本说明书实施例中，第一方差临界值用于表示第一区间p的V记录数据记录数量分布是否均匀，属性是否起作用。

在本说明书实施例中，第一方差临界值因子THR1_factor的取值为(0.1，0.5)。

在本说明书实施例中，预设倍数为10%~20%

继续延续前例，若属性取值分布K_i_statics中的Wp_num序列的方差小于等于第一方差临界值表示第一区间p的V记录数量分布均匀，不影响结果，属性不起作用；若属性取值分布Ki_statics中的Wp_num序列的方差大于第一方差临界值表示第一区间p的V记录数量分布不均匀，属性起作用。

THR1_n用于表示value值是否为大概率结果，模型识别结果是否准确。

value值所在的区间Wp_num小于序列均值*THR1_n表示value值不是大概率结果，模型识别结果不准确。

属性取值分布中的Wp_num序列的方差大于第一方差临界值，且所述属性取值分布对应的结果V值所在的区间Wp_num小于序列均值*第一方差值表示该属性起作用，但是属性对应的模型识别结果不正确，或者说属性对应的模型识别结果不支持。

在本说明书实施例中，若属性取值分布中的Wp_num序列的方差大于第一方差临界值，且所述属性取值分布对应的结果V值所在的区间Wp_num小于序列均值*第一方差值，则Ki围绕keyi取数值最近且V取值为value的O条记录。

在本说明书实施例中，所述每一个属性的取值分布中结果V值的若干条记录O具体为：

O=min（10000，M*5%）

其中，每一个属性的取值分布中结果V值的若干条记录O取10000与M*5%的最小值；

M为所述待处理数据的总记录数。

确定O条记录后，将O条记录按照属性Ki取值均分成T份，统计T份中记录数量分布，得到待核实属性分布Ki_w_statics，Ki_w_statics=<Ki,<S1, S1_num>,…,<Sq,Sq_num>,…, <ST, ST_num>>，其中，Sq为第二区间q，Sq_num为第二区间q的记录数量，1≤q≤T。

在本说明书实施例中，若所述每一个属性的取值分布中结果V值的若干条记录为离散型数据，则所述每一个属性的取值分布中结果取值为value的若干条记录为T。

在本说明书实施例中，T的取值可以默认为100，T的取值可以随着业务场景进行调整。

若属性取值分布中的Wp_num序列的方差不大于第一方差临界值，和/或所述属性取值分布对应的结果V值所在的区间Wp_num大于等于序列均值*第一方差值，则继续处理属性取值分布集合中的下一个属性的取值分布。

步骤S209：基于所述待核实属性分布，生成反面属性集合和正面属性集合。

在本说明书实施例中，所述基于所述待核实属性分布，生成反面属性集合和正面属性集合，具体包括：

若所述待核实属性分布中Sq_num序列的方差大于最小第二方差临界值，且所述待核实属性分布的key值所在的区间Sq_num小于序列均值*第二方差值的最小值，则将所述待核实属性分布中Sq_num序列加入到所述反面属性集合，Sq_num为第二区间q的记录数量；

若所述待核实属性分布中Sq_num序列的方差大于最大第二方差临界值，且所述待核实属性分布的key值所在的区间Sq_num大于序列均值*第二方差值的最大值，则将所述待核实属性分布中Sq_num序列加入到所述正面属性集合。

在本说明书实施例中，所述最小第二方差临界值为：

THR2_min=(V取value时所有记录数总和/T)*THR2_min_factor；

其中，

THR2_min为第所述最小第二方差临界值；

V取value时所有记录数总和为所述待处理数据的模型识别结果集合V中结果取值为value的所有记录数总和；

THR2_min_factor为最小第二方差临界值因子；

所述最大第二方差临界值为：

THR2_max=(V取value时所有记录数总和/T)*THR2_max_factor；

其中，

THR2_max为所述最大第二方差临界值；

V取value时所有记录数总和为所述待处理数据的模型识别结果集合V中结果取值为value的所有记录数总和；

THR2_max_factor为最大第二方差临界值因子。

在本说明书实施例中，最小第二方差临界值因子THR2_min_factor的取值为(0.01，0.3)

在本说明书实施例中，最大第二方差临界值因子THR2_max_factor的取值为(0.01，0.3)。

继续延续前例，若Ki_w_statics中Sq_num序列的方差大于THR2_min，且key1值所在的区间Sq_num小于序列均值*THR2_min_n，则将<Ki,<S1, S1_num>,…,<Sq, Sq_num>,…, <ST, ST_num>>加入到反面属性集合N_S；若Ki_w_statics中Sq_num序列的方差大于THR2_max，且key1值所在的区间Sq_num大于等于序列均值*THR2_max_n，则将<Ki,<S1, S1_num>,…,<Sq, Sq_num>,…, <ST, ST_num>>加入到正面属性集合P_S。

步骤S211：以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。

继续延续前例，以二维平面图形式为用户展示各待核实属性分布Ki_w_statics，其中x轴为W1至Wp的分区，y轴为对应区间的记录数量Wp_num；以二维平面图形式为用户展示正面属性集合P_S和反面属性集合N_S，其中x轴为S1到Sq的分区，y轴为对应区间的记录数量Sq_num。

为了进一步理解本说明书实施例提供的基于模型处理结果的辅助甄别方法，下面将进一步说明。

图3为本说明书实施例提供的一种基于模型处理结果的辅助甄别方法的框架图。如图3所示，对待处理数据集进行初始化操作，包括数据转换和数据分段，获得待处理数据集；用户从待处理数据集中选择特定数据记录s；针对特定数据记录s，针对属性集合K中每个Ki，统计生成Ki_statics；利用Ki_statics，构成K_statics；针对每个Ki_w_statics进行计算分类，生成反面属性集合N_S和正面属性集合P_S；最后，以二维方式向用户展示Ki_w_statics，N_S和P_S。

本说明书实施例提供的基于模型处理结果的辅助甄别方法，利用数据统计分析、相似度计算等方法，针对模型处理结果即数据标注结果，从数据集中自动识别出具备显著统计特征的正反支撑属性值，辅助用户判断数据标注结果的正确性，提升数据标注准确率，且该方法不需要依赖专家及额外专家模型资源，仅依赖自身数据信息，因此，实现成本低，且能够支持在大规模数据集上应用。

上述内容详细说明了一种基于模型处理结果的辅助甄别方法，与之相应的，本说明书还提供了一种基于模型处理结果的辅助甄别装置，如图4所示。图4为本说明书实施例提供的一种基于模型处理结果的辅助甄别装置的示意图，该辅助甄别装置包括：

初始化模块401，对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合；

待甄别数据记录确定模块403，确定所述待处理数据集的待甄别数据记录作为特定数据记录；

属性取值分布集合构建模块405，基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合；

待核实属性分布生成模块407，对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布；

反面属性集合和正面属性集合生成模块409，基于所述待核实属性分布，生成反面属性集合和正面属性集合；

展示模块411，以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。

本说明书实施例还提供一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合；

确定所述待处理数据集的待甄别数据记录作为特定数据记录；

基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合；

对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布；

基于所述待核实属性分布，生成反面属性集合和正面属性集合；

以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书实施例提供的装置、电子设备、非易失性计算机存储介质与方法是对应的，因此，装置、电子设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、电子设备、非易失性计算机存储介质的有益技术效果。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种基于模型处理结果的辅助甄别方法，其特征在于，所述辅助甄别方法包括：

对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合，所述待处理数据为文本类型数据或数值类型数据；

确定所述待处理数据集的待甄别数据记录作为特定数据记录；

基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合；

对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布，具体包括：对所述属性取值分布集合中的每一个属性的属性分布进行计算，若所述属性分布中的Wp_num序列的方差大于第一方差临界值，且所述属性分布对应的结果V值所在的区间Wp_num小于序列均值*第一方差值，则选取所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，所述Wp_num为第一区间p的V记录数量，1≤p≤H，H为对所述待处理数据进行数据分段的数据分段数；基于所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，生成所述待核实属性分布；

基于所述待核实属性分布，生成反面属性集合和正面属性集合，具体包括：若所述待核实属性分布中Sq_num序列的方差大于最小第二方差临界值，且所述待核实属性分布的key值所在的区间的Sq_num小于序列均值*第二方差值的最小值，则将所述待核实属性分布中Sq_num序列加入到所述反面属性集合，Sq_num为第二区间q的记录数量；若所述待核实属性分布中Sq_num序列的方差大于最大第二方差临界值，且所述待核实属性分布的key值所在的区间的Sq_num大于序列均值*第二方差值的最大值，则将所述待核实属性分布中Sq_num序列加入到所述正面属性集合；

以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。

2.如权利要求1所述的辅助甄别方法，其特征在于，所述待处理数据为文本类型数据或数值类型数据，所述对待处理数据进行数据转换和数据分段，作为待处理数据集，具体包括：

将所述待处理数据的属性集合中的文本类型数据，转化为第一向量数据，和/或将所述待处理数据的模型识别结果集合中的文本类型数据转化为第二向量数据；

将所述第二向量数据和/或所述待处理数据的模型识别结果集合中的数值类型数据，按照预设分段规则进行数据分段，获得所述数据分段结果；

将所述第一向量数据、所述待处理数据的属性集合中数值类型数据集所述数据分段结果，作为所述待处理数据集。

3.如权利要求2所述的辅助甄别方法，其特征在于，所述预设分段规则具体为：所述待处理数据的模型识别结果集合为离散型数据，则所述数据分段结果为离散型数据的类别的个数；所述待处理数据的模型识别结果集合为连续性数据，则所述数据分段结果为10乘以分段系数。

4.如权利要求1所述的辅助甄别方法，其特征在于，所述基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，具体包括：

基于所述特定数据记录中的属性集合中的每一个属性，确定所述特定数据记录中的属性集合中每一个属性取值为key_i时对应的结果取值在所述数据分段结果中的分布，作为所述特定数据记录中的属性集合中每一个属性的取值分布。

5.如权利要求1所述的辅助甄别方法，其特征在于，所述基于所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，生成所述待核实属性分布，具体包括：

所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，按照其属性分成T份，将所述T份中的记录数量分布，作为所述待核实属性分布。

6.如权利要求1所述的辅助甄别方法，其特征在于，所述第一方差临界值的计算为：

THR1=(Ki取值key_i时所有记录数总和/H)*THR1_factor；

其中，

THR1为所述第一方差临界值；

Ki为所述特定数据记录中的属性集合中的每一个属性；

key_i为所述特定数据记录中的属性集合中的每一个属性的取值；

H为对所述待处理数据进行数据分段的数据分段数；

THR1_factor为第一方差临界值因子；

所述第一方差值为所述第一方差临界值的预设倍数。

7.如权利要求1所述的辅助甄别方法，其特征在于，所述最小第二方差临界值为：

THR2_min=(V取value时所有记录数总和/T)*THR2_min_factor；

其中，

THR2_min为第所述最小第二方差临界值；

V取value时所有记录数总和为所述待处理数据的模型识别结果集合V中结果取值为value的所有记录数总和；

THR2_min_factor为最小第二方差临界值因子；

所述最大第二方差临界值为：

THR2_max=(V取value时所有记录数总和/T)*THR2_max_factor；

其中，

THR2_max为所述最大第二方差临界值；

V取value时所有记录数总和为所述待处理数据的模型识别结果集合V中结果取值为value的所有记录数总和；

THR2_max_factor为最大第二方差临界值因子。

8.一种基于模型处理结果的辅助甄别装置，其特征在于，所述辅助甄别装置包括：

初始化模块，对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合，所述待处理数据为文本类型数据或数值类型数据；

待甄别数据记录确定模块，确定所述待处理数据集的待甄别数据记录作为特定数据记录；

属性取值分布集合构建模块，基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合；

待核实属性分布生成模块，对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布，具体包括：对所述属性取值分布集合中的每一个属性的属性分布进行计算，若所述属性分布中的Wp_num序列的方差大于第一方差临界值，且所述属性分布对应的结果V值所在的区间Wp_num小于序列均值*第一方差值，则选取所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，所述Wp_num为第一区间p的V记录数量，1≤p≤H，H为对所述待处理数据进行数据分段的数据分段数；基于所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，生成所述待核实属性分布；

反面属性集合和正面属性集合生成模块，基于所述待核实属性分布，生成反面属性集合和正面属性集合，具体包括：若所述待核实属性分布中Sq_num序列的方差大于最小第二方差临界值，且所述待核实属性分布的key值所在的区间的Sq_num小于序列均值*第二方差值的最小值，则将所述待核实属性分布中Sq_num序列加入到所述反面属性集合，Sq_num为第二区间q的记录数量；若所述待核实属性分布中Sq_num序列的方差大于最大第二方差临界值，且所述待核实属性分布的key值所在的区间的Sq_num大于序列均值*第二方差值的最大值，则将所述待核实属性分布中Sq_num序列加入到所述正面属性集合；

展示模块，以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。

9.一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

对待处理数据进行数据转换和数据分段，作为待处理数据集，所述待处理数据包括属性集合及模型识别结果集合，所述待处理数据为文本类型数据或数值类型数据；

确定所述待处理数据集的待甄别数据记录作为特定数据记录；

基于所述特定数据记录中的属性集合中每一个属性，确定所述特定数据记录中的属性集合中每一个属性的取值分布，所述特定数据记录中的属性集合中每一个属性的取值分布构成属性取值分布集合；

对所述属性取值分布集合中的每一个属性的属性分布进行计算，生成待核实属性分布，具体包括：对所述属性取值分布集合中的每一个属性的属性分布进行计算，若所述属性分布中的Wp_num序列的方差大于第一方差临界值，且所述属性分布对应的结果V值所在的区间Wp_num小于序列均值*第一方差值，则选取所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，所述Wp_num为第一区间p的V记录数量，1≤p≤H，H为对所述待处理数据进行数据分段的数据分段数；基于所述属性取值分布集合中的每一个属性的属性分布中结果取值为value的若干条记录，生成所述待核实属性分布；

基于所述待核实属性分布，生成反面属性集合和正面属性集合，具体包括：若所述待核实属性分布中Sq_num序列的方差大于最小第二方差临界值，且所述待核实属性分布的key值所在的区间的Sq_num小于序列均值*第二方差值的最小值，则将所述待核实属性分布中Sq_num序列加入到所述反面属性集合，Sq_num为第二区间q的记录数量；若所述待核实属性分布中Sq_num序列的方差大于最大第二方差临界值，且所述待核实属性分布的key值所在的区间的Sq_num大于序列均值*第二方差值的最大值，则将所述待核实属性分布中Sq_num序列加入到所述正面属性集合；

以二维平面图形式展示所述待核实属性分布、所述正面属性集合及所述反面属性集合。