CN108446739B - 一种数据录入监测方法及装置 - Google Patents

Abstract

本发明提供了一种数据录入监测方法及装置，其中，方法包括：获取已经录入的所有数据；其中，所述数据携带有录入该数据的录入对象标识；对已经录入的所有数据进行分类统计，得到分类型数据的第一数据分布结果；获取被监测录入对象标识，从已经录入的所有数据中，提取所述被监测录入对象标识对应的被监测数据，对所述被监测数据进行分类统计，得到第二数据分布结果；计算第一数据分布结果与第二数据分布结果之间的差异程度；根据差异程度和预设的差异程度阈值，判断被监测数据是否异常。本发明能够提高数据录入的准确性。

Description

一种数据录入监测方法及装置

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种数据录入监测方法及装置。

背景技术

在进行数据采集或者数据录入时，如果工作人员故意填入虚假信息，或者数据采集设备出现故障时，录入的数据会有异常数据出现；现有技术中，在进行数据处理时，往往是通过剔除最大值与最小值，与均值进行比较等方式进行处理异常数据，该方法具有一定的准确性，但是却不能够检测出异常数据的来源。

发明内容

有鉴于此，本发明的目的在于提供数据录入监测方法和装置，以实现对数据录入的监测。

第一方面，本发明实施例提供了一种数据录入监测方法，包括：

获取已经录入的所有数据；其中，所述数据携带有录入该数据的录入对象标识；对已经录入的所有数据进行分类统计，得到分类型数据的第一数据分布结果；

获取被监测录入对象标识，从已经录入的所有数据中，提取所述被监测录入对象标识对应的被监测数据，对所述被监测数据进行分类统计，得到第二数据分布结果；

计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度；

根据所述差异程度和预设的差异程度阈值，判断所述被监测数据是否异常。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述对已经录入的所有数据进行分类统计，得到分类型数据的第一数据分布结果，包括：

如果所述已经录入的所有数据为分类型数据，根据每个分类型数据的数量以及所有数据的数量，计算该分类型数据的第一占比，依据各分类型数据的第一占比，得到所述各分类型数据的第一数据分布结果。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对所述被监测数据进行分类统计，得到第二数据分布结果，包括：

根据被监测数据中每个分类型数据的数量以及被监测数据的数量，计算该分类型数据的第二占比，依据各分类型数据的第二占比，得到所述各分类型数据的第二数据分布结果。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度，包括：

对于每一分类型数据，获取该分类型数据在第一数据分布结果中的第一占比，以及，该分类型数据在第二数据分布结果中的第二占比，计算第一占比与第二占比的差值的绝对值，得到该分类型数据的相对差绝对值；

计算各分类型数据的相对差绝对值的和值，得到所述差异程度。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法，还包括：在判断所述被监测数据异常时，对所述被监测数据进行标记，并输出标记后的所述被监测数据、被监测对象标识和预设的提示信息。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述对已经录入的所有数据进行分类统计，得到分类型数据的第一数据分布结果，包括：

对已经录入的所有数据进行分类；

统计每一分类型数据的数量；

根据分类数以及所述每一分类型数据的数量绘制第一数据分布图。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述对所述被监测数据进行分类统计，得到第二数据分布结果，包括：

对所述被监测数据进行分类；

统计每一分类型数据的数据量；

根据分类数以及所述每一分类型数据的数量绘制第二数据分布图。

结合第一方面第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度，包括：

依次计算第一数据分布图上相邻分类之间的连线的第一斜率；

依次计算第二数据分布图上相邻分类之间的连线的第二斜率；

计算第一斜率与对应的第二斜率的差值的绝对值；

对计算得到的绝对值进行求和，得到所述差异程度。

第二方面，本发明实施例还提供了一种数据录入监测装置，所述装置，包括：

第一获取模块，用于获取已经录入的所有数据；其中，所述数据携带有录入该数据的录入对象标识；对已经录入的所有数据进行分类统计，得到分类型数据的第一数据分布结果；

第二获取模块，用于获取被监测录入对象标识，从已经录入的所有数据中，提取所述被监测录入对象标识对应的被监测数据，对所述被监测数据进行分类统计，得到第二数据分布结果；

计算模块，用于计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度；

判断模块，用于根据所述差异程度和预设的差异程度阈值，判断所述被监测数据是否异常。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述获取模块，包括：

第一占比计算单元，用于如果所述已经录入的所有数据为分类型数据，根据每个分类型数据的数量以及所有数据的数量，计算该分类型数据的第一占比，依据各分类型数据的第一占比，得到所述各分类型数据的第一数据分布结果。

本发明实施例提供的一种数据录入监测方法及装置，其中方法部分在数据录入过程中，获取已经录入的所有数据，并对该所有数据进行分类统计，得到分类型数据的第一数据分布结果；并从上述获取的所有数据中提取被监测对象标识对应的被监测数据，对该被监测数据进行分类统计得到被监测数据的第二数据分布结果，根据第一数据分布结果和第二数据分布结果计算差异程度，并根据该差异程度和预设的差异程度阈值，判断被监测数据是否有误，进而可以判断检测录入对象所录入的数据是否有误，本方法可以有效地对数据录入的过程进行监测；提高录入数据的准确率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明一个实施例所提供的一种数据录入监测方法的流程图；

图2示出了本发明一个实施例所提供的另一种数据录入监测方法的流程图；

图3示出了本发明一个实施例所提供的一种数据录入监测装置的结构示意图；

图4示出了本发明一个实施例所提供的另一种数据录入监测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中，在进行数据采集或者数据录入到数据库中时，由于工作人员的疏忽或者数据采集设备的故障，可能会导致录入的数据出现异常，而现有技术中只能对单个的数据进行排查，而不能检测出异常数据的来源；基于此，本发明实施例提供了一种数据录入监测方法及装置，下面通过实施例进行描述。

随着信息技术的不断发展，数据量越来越庞大，在工作人员进行数据录入时，或者数据采集设备进行数据采集并将采集的数据输入至数据库的过程中，为保证数据的准确性，需要对数据进行监测或者筛查。

参照图1所示的实施例，本实施例中提供了一种数据录入监测方法，该方法包括如下步骤：

S101、获取已经录入的所有数据；其中，所述数据携带有录入该数据的录入对象标识；对已经录入的所有数据进行分类统计，得到分类型数据的第一数据分布结果；

上述可以是每间隔预设时间段从数据库中获取已经录入的所有数据，即每间隔预设时间进行数据检测；该已经录入的所有数据可以是在一定时间段内已经录入的所有数据，例如为在一周内录入的所有数据。上述的录入对象可以是工作人员或者数据采集设备，录入的数据均携带有录入该数据的录入对象的标识，该标识可以是工作人员的身份标识，或者是数据采集设备的设备序列号等。

具体的，上述获取的已经录入的所有数据以后，进一步判断该数据是否是分类型数据，如果是则对已经录入的数据进行分类统计；如果获取的已经录入的所有数据不是分类型数据，则首先将该所有数据进行数据转化，转化成分类型数据，该转化的过程，通过举例说明如下：

如果获取的已经录入的所有数据如下表1所示：

收集人员	身高数据(吸毒人员的身高，单位为cm)
		张三	180
张三	170
		张三	165
李四	167
		李四	175
李四	172
		李四	169

表1

为了降低维度，对上述表1中的身高数据进行转化成分类型数据，可以是采用以下方法：确定数据分类区间，例如可以是划分成等宽的3个区间，分别为：[165,170]、[170,175]、[175,180]，将上述的身高数据按照所属的分类区间进行划分；上述表1中的身高数据根据上述的分类区间进行划分以后可以转化成分类型数据，如下表2：

表2

上述进行数据转化以后，得到分类型数据，每个分类型数据的数据量分别为：区间为[165,170]的分类型数据的数据量为3，区间为[170,175]的分类型数据的数据量为2，区间为[175,180]的分类型数据的数据量为2。

如果已经录入的所有数据本身即为为分类型数据，或者如果所述已经录入的所有数据不是分类型数据，需要将不是分类型数据的已经录入的所有数据进行数据转化得到分类型数据后，根据每个分类型数据的数量以及已经录入的所有数据的数量，计算该分类型数据的第一占比，依据各分类型数据的第一占比，得到所述各分类型数据的第一数据分布结果。

S102、获取被监测录入对象标识，从已经录入的所有数据中，提取所述被监测录入对象标识对应的被监测数据，对所述被监测数据进行分类统计，得到第二数据分布结果；

在对某一被监测对象所录入的数据进行监测时，首先获取该被监测对象标识，根据该被监测对象标识进行匹配出数据库中该被监测对象所录入的数据，即被监测数据。

根据被监测数据中每个分类型数据的数量以及被监测数据的数量，计算该分类型数据的第二占比，依据各分类型数据的第二占比，得到所述各分类型数据的第二数据分布结果。

S103、计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度；

上述可以是，对于每一分类型数据，获取该分类型数据在第一数据分布结果中的第一占比，以及，该分类型数据在第二数据分布结果中的第二占比，计算第一占比与第二占比的差值的绝对值，得到该分类型数据的相对差绝对值。

计算各分类型数据的相对差绝对值的和值，得到所述差异程度。

示例性地，已经录入的数据如下表3所示，

收集人员	性别数据
		张三	男
张三	男
		张三	女
李四	女
		李四	男
李四	女
		李四	男

表3

上述的性别数据为分类型数据，并且已经录入的所有数据中，性别为男的这一分类型数据的数据数量为4，性别为女的这一分类型数据的数据数量为3，则每个分类型数据的第一占比分别为0.57(男)和0.43(女)，各类型数据的第一数据分布结果为[男0.57:女0.43]；此时如果被监测对象为张三，则被监测数据即为已经录入的所有数据中张三所录入的数据，被监测数据中每个分类型数据的数据量分别为2(男)和1(女)，被监测数据的数据量为3(男+女)，则被监测数据中每个分类型数据的第二占比分别为0.67和0.33，,此时被监测数据的的第二数据分布结果为[男0.67:女0.33]，对于每一分类型数据，获取该分类型数据在第一数据分布结果中的第一占比，以及，该分类型数据在第二数据分布结果中的第二占比，计算第一占比与第二占比的差值的绝对值，根据该差值的绝对值计算得到差异程度，进而差异程度可计算为|0.57-0.67|+|0.43-0.33|＝0.2。

S104、根据所述差异程度和预设的差异程度阈值，判断所述被监测数据是否异常。

上述的差异程度阈值的设定是根据数据的特点和对数据精确度的要求进行设定的，在具体应用时根据不同的情况会有不同的设定。

上述实施例中，上述方法还包括：

S201、在判断所述被监测数据异常时，对所述被监测数据进行标记，并输出标记后的所述被监测数据、被监测对象标识和预设的提示信息。

本实施例可以对数据录入的过程进行监测，每间隔一段时间，遍历每一个录入对象所录入的数据，分别判断每个录入对象的录入数据是否异常，在数据异常时，输出该异常数据、被监测对象标识和预设的提示信息，该预设的提示信息可以是“数据异常”、“数据出错”等的文字提示信息或者声音提示信息，给工作人员以提示，进而提高数据录入的准确性；或者设置在检测到数据出现异常时，进一步发送上述的异常的被监测数据、被监测对象标识和预设的提示信息至云端，云端进一步将该信息发送至对应的工作人员的终端设备，进而可以实现远程监控与管理。

在另一可能的实施方式中，上述对已经录入的所有数据进行分类统计，得到分类型数据的第一数据分布结果，也可以是对已经录入的所有数据进行分类；然后统计每一分类型数据的数量；根据分类数以及所述每一分类型数据的数量绘制第一数据分布图。

进一步的，上述对被监测数据进行分类统计，得到第二数据分布结果的过程，也可以是对所述被监测数据进行分类；

统计每一分类型数据的数据量；根据分类数以及所述每一分类型数据的数量绘制第二数据分布图。

然后，依次计算第一数据分布图上相邻分类之间的连线的第一斜率；

依次计算第二数据分布图上相邻分类之间的连线的第二斜率；

计算第一斜率与对应的第二斜率的差值的绝对值；

对计算得到的绝对值进行求和，得到所述差异程度。

本实施例中，上述的第一数据分布图和第二数据分布图可以是直方图，上述的连线可以是相邻直方图的起始点、中点和结束点的连线；或者上述的第一数据分布图和第二数据分布图是离散的点状分布图，上述的连线是相邻点的连线。相邻分类之间连线的斜率可以间接的反应数据的分布情况。

参照图2所示的实施例，本实施例中提供了一种数据录入监测装置，该装置200包括：

第一获取模块201，用于获取已经录入的所有数据；其中，所述数据携带有录入该数据的录入对象标识；对已经录入的所有数据进行分类统计，得到分类型数据的第一数据分布结果；

第二获取模块202，用于获取被监测录入对象标识，从已经录入的所有数据中，提取所述被监测录入对象标识对应的被监测数据，对所述被监测数据进行分类统计，得到第二数据分布结果；

计算模块203，用于计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度；

判断模块204，用于根据所述差异程度和预设的差异程度阈值，判断所述被监测数据是否异常。

上述第一获取模块201，包括：

第一占比计算单元，用于如果所述已经录入的所有数据为分类型数据，根据每个分类型数据的数量以及所有数据的数量，计算该分类型数据的第一占比，依据各分类型数据的第一占比，得到所述各分类型数据的第一数据分布结果。

上述第二获取模块，包括：第二占比计算单元，用于根据被监测数据中每个分类型数据的数量以及被监测数据的数量，计算该分类型数据的第二占比，依据各分类型数据的第二占比，得到所述各分类型数据的第二数据分布结果。

上述计算模块，包括：差值计算单元，用于对于每一分类型数据，获取该分类型数据在第一数据分布结果中的第一占比，以及，该分类型数据在第二数据分布结果中的第二占比，计算第一占比与第二占比的差值的绝对值，得到该分类型数据的相对差绝对值；

计算各分类型数据的相对差绝对值的和值，得到所述差异程度。

本发明又一个实施例中，上述的装置，还包括：输出模块401，用于在判断所述被监测数据异常时，对所述被监测数据进行标记，并输出标记后的所述被监测数据、被监测对象标识和预设的提示信息。

在另一可能的实施方式中，上述的第一获取模块，包括：

第一分类单元，用于对已经录入的所有数据进行分类；

第一统计单元，用于统计每一分类型数据的数量；

第一绘制单元，用于根据分类数以及所述每一分类型数据的数量绘制第一数据分布图。

上述的第二获取模块，包括：

第二分类单元，用于对所述被监测数据进行分类；

第二统计单元，用于统计每一分类型数据的数据量；

第二绘制单元，用于根据分类数以及所述每一分类型数据的数量绘制第二数据分布图。

上述的计算模块，包括：

第一计算单元，用于依次计算第一数据分布图上相邻分类之间的连线的第一斜率；

第二计算单元，用于依次计算第二数据分布图上相邻分类之间的连线的第二斜率；

第三计算单元，用于计算第一斜率与对应的第二斜率的差值的绝对值；

求和单元，用于对计算得到的绝对值进行求和，得到所述差异程度。

本发明实施例所提供的进行数据录入监测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的数据录入监测的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据录入监测方法，其特征在于，包括：

获取已经录入的所有数据；其中，所述数据携带有录入该数据的录入对象标识；对已经录入的所有数据进行分类统计，得到对所有数据分类统计后的第一数据分布结果；

获取被监测录入对象标识，从已经录入的所有数据中，提取所述被监测录入对象标识对应的被监测数据，对所述被监测数据进行分类统计，得到第二数据分布结果；

计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度；

根据所述差异程度和预设的差异程度阈值，判断所述被监测数据是否异常。

2.根据权利要求1所述的方法，其特征在于，所述对已经录入的所有数据进行分类统计，得到第一数据分布结果，包括：

如果所述已经录入的所有数据为分类型数据，根据每个分类型数据的数量以及所有数据的数量，计算该分类型数据的第一占比，依据各分类型数据的第一占比，得到所述各分类型数据的第一数据分布结果。

3.根据权利要求2所述的方法，其特征在于，所述对所述被监测数据进行分类统计，得到第二数据分布结果，包括：

根据被监测数据中每个分类型数据的数量以及被监测数据的数量，计算该分类型数据的第二占比，依据各分类型数据的第二占比，得到所述各分类型数据的第二数据分布结果。

4.根据权利要求3所述的方法，其特征在于，所述计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度，包括：

对于每一分类型数据，获取该分类型数据在第一数据分布结果中的第一占比，以及，该分类型数据在第二数据分布结果中的第二占比，计算第一占比与第二占比的差值的绝对值，得到该分类型数据的相对差绝对值；

计算各分类型数据的相对差绝对值的和值，得到所述差异程度。

5.根据权利要求1所述方法，其特征在于，还包括：

在判断所述被监测数据异常时，对所述被监测数据进行标记，并输出标记后的所述被监测数据、被监测对象标识和预设的提示信息。

6.根据权利要求1所述的方法，其特征在于，所述对已经录入的所有数据进行分类统计，得到分类型数据的第一数据分布结果，包括：

对已经录入的所有数据进行分类；

统计每一分类型数据的数量；

根据分类数以及所述每一分类型数据的数量绘制第一数据分布图。

7.根据权利要求6所述的方法，其特征在于，所述对所述被监测数据进行分类统计，得到第二数据分布结果，包括：

对所述被监测数据进行分类；

统计每一分类型数据的数据量；

根据分类数以及所述每一分类型数据的数量绘制第二数据分布图。

8.根据权利要求7所述的方法，其特征在于，所述计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度，包括：

依次计算第一数据分布图上相邻分类之间的连线的第一斜率；

依次计算第二数据分布图上相邻分类之间的连线的第二斜率；

计算第一斜率与对应的第二斜率的差值的绝对值；

对计算得到的绝对值进行求和，得到所述差异程度。

9.一种数据录入监测装置，其特征在于，包括：

第一获取模块，用于获取已经录入的所有数据；其中，所述数据携带有录入该数据的录入对象标识；对已经录入的所有数据进行分类统计，得到对所有数据分类统计后的第一数据分布结果；

第二获取模块，用于获取被监测录入对象标识，从已经录入的所有数据中，提取所述被监测录入对象标识对应的被监测数据，对所述被监测数据进行分类统计，得到第二数据分布结果；

计算模块，用于计算所述第一数据分布结果与所述第二数据分布结果之间的差异程度；

判断模块，用于根据所述差异程度和预设的差异程度阈值，判断所述被监测数据是否异常。

10.根据权利要求9所述的装置，其特征在于，所述第一获取模块，包括：

第一占比计算单元，用于如果所述已经录入的所有数据为分类型数据，根据每个分类型数据的数量以及所有数据的数量，计算该分类型数据的第一占比，依据各分类型数据的第一占比，得到所述各分类型数据的第一数据分布结果。

Images