CN114328452A - 数据稽核方法、装置、平台、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种数据稽核方法、装置、平台、电子设备及存储介质，能够根据当前待处理的数据集合的特征信息，更加智能化地确定与该特征信息对应的数据稽核规则后，使用该目标稽核规则对数据进行处理。从而不需要通过大量人工操作的情况下，即可确定出更加合适的稽核规则对数据进行稽核处理，因此提高了数据稽核时的智能化程度，减少对人工制定稽核规则的以来，进而提高数据稽核的速度和效率。

Description

数据稽核方法、装置、平台、电子设备及存储介质

技术领域

本申请涉及电数字数据处理技术领域，尤其涉及一种数据稽核方法、装置、平台、电子设备及存储介质。

背景技术

随着计算机技术、存储技术的不断发展，人们在日常生活中所需要使用的数据越来越多，作为数据服务的供应商，在对数据进行处理时，更需要保证数据的准确和全面。例如，在数据迁移等应用场景中，数据服务的供应商需要使用稽核规则对数据进行稽核处理后，确定出不符合稽核规则的数据，来保证能够对准确的数据进行后续的进一步处理。

现有技术中，每次对数据进行稽核处理时，都需要用户通过使用Excel函数、ETL工具等方式提前设置稽核规则，才能够使得用于稽核的电子设备根据用户所设置的稽核规则对数据库中的数据进行稽核处理。

采用现有技术，数据稽核时的智能化程度不够，依赖于人工制定稽核规则，从而导致了数据稽核的速度和效率较低。

发明内容

本申请提供一种数据稽核方法、装置、平台、电子设备及存储介质，用于提高数据稽核时的智能化程度，减少对人工制定稽核规则的以来，进而提高数据稽核的速度和效率。

本申请第一方面提供一种数据稽核方法，包括：获取待处理的数据集合；确定所述数据集合的特征信息；其中，所述特征信息包括所述数据集合中数据的来源位置信息，或者所述数据集合中数据的生成时间信息；根据所述特征信息，从映射关系中确定所述特征信息对应的目标稽核规则；其中，所述映射关系包括多个数据集合的特征信息，以及每个特征信息对应的稽核规则；使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果，从而能够根据当前待处理的数据集合的特征信息，更加智能化地确定与该特征信息对应的数据稽核规则后，使用该目标稽核规则对数据进行处理。从而不需要通过大量人工操作的情况下，即可确定出更加合适的稽核规则对数据进行稽核处理，因此提高了数据稽核时的智能化程度，减少对人工制定稽核规则的以来，进而提高数据稽核的速度和效率。

在本申请第一方面中，所述使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果之后，还包括：根据稽核结果，对所述数据集合中不符合所述目标稽核规则的数据进行数据修复，从而实现了数据稽核和数据修复的一体化设计，进一步提高了数据稽核平台的自动化、智能化程度，提高了数据处理的整体速度和效率。

在本申请第一方面中，所述使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果之后，还包括：在显示界面上显示所述稽核结果，从而能够通过可视化的方式，给用户实时展示稽核结果，提高处理效率和用户体验。

在本申请第一方面中，当所述数据集合中包括多个特征信息的数据，所述确定所述数据集合的特征信息，包括：根据所述特征信息，将所述数据集合拆分为多个子集合，每个子集合中数据的特征信息相同；所述根据所述特征信息，从映射关系中确定目标稽核规则，包括：根据所述多个子集合的特征信息，从映射关系中确定每个子集合对应的目标稽核规则；所述使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果，包括：分别使用每个子集合对应的目标稽核规则，对所述多个子集合进行稽核处理，得到每个子集合的稽核结果形成所述数据集合的稽核结果。

在本申请第一方面中，所述确定所述数据集合的特征信息之后，还包括：当所述映射关系中不包括所述特征信息对应的稽核规则时，获取用户输入的第一稽核规则，使用所述第一稽核规则对所述数据集合进行稽核处理，得到稽核结果，并将所述特征信息和所述第一稽核规则存入所述映射关系，因此能够实现映关系的实时获取和更新，丰富应用场景，适用于更多的场合，利于进行推广。

在本申请第一方面中，所述对所述数据集合中的数据进行稽核处理，包括：使用基于Django框架的数据稽核平台，对所述数据集合中的数据进行稽核处理。

本申请第二方面提供一种数据稽核平台，包括：建表模块，用于获取待处理的数据集合；数据稽核模块，用于确定所述数据集合的特征信息，并根据所述特征信息，从映射关系中确定目标稽核规则后，使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理得到稽核结果；其中，所述特征信息包括所述数据集合中数据的来源位置信息，或者所述数据集合中数据的生成时间信息，所述映射关系包括多个数据集合的特征信息，以及每个特征信息对应的稽核规则；查询数据模块，用于从数据库中查询数据；稽核规则配置模块，用于获取稽核规则并存入所述映射关系；数据导出模块，用于将所述稽核结果导出成文件形式进行存储。由于该平台整合了数据稽核过程中常见的功能点及规则，能够针对不同的稽核需求单独进行配置，因此具有数据稽核速度快、效率高、灵活性高、应用范围广泛等特点。

本申请第三方面提供一种数据稽核装置，包括：获取模块，用于获取待处理的数据集合；特征信息确定模块，用于确定所述数据集合的特征信息；其中，所述特征信息包括所述数据集合中数据的来源位置信息，或者所述数据集合中数据的生成时间信息；稽核规则确定模块，用于根据所述特征信息，从映射关系中确定目标稽核规则；其中，所述映射关系包括多个数据集合的特征信息，以及每个特征信息对应的稽核规则；稽核模块，用于使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果。

本申请第四方面提供一种电子设备，包括：处理器以及存储器；其中，存储器中存储有计算机程序，当处理器执行计算机程序时，处理器可用于执行如本申请第一方面任一项所述的数据稽核方法。

本申请第五方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时可用于执行如本申请第一方面任一项所述的数据稽核方法。

本申请提供的数据稽核方法、装置、平台、电子设备及存储介质，能够根据当前待处理的数据集合的特征信息，更加智能化地确定与该特征信息对应的数据稽核规则后，使用该目标稽核规则对数据进行处理。从而不需要通过大量人工操作的情况下，即可确定出更加合适的稽核规则对数据进行稽核处理，因此提高了数据稽核时的智能化程度，减少对人工制定稽核规则的以来，进而提高数据稽核的速度和效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请应用场景的示意图；

图2为本申请提供的数据稽核平台一实施例的结构示意图；

图3为一种数据稽核平台的交互模块的显示界面示意图；

图4为本申请提供的数据稽核平台的另一显示界面示意图；

图5为本申请提供的数据稽核方法一实施例的流程示意图；

图6为本申请提供的映射关系的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在正式介绍本申请实施例之前，先结合附图1，对本申请应用的场景，以及现有场景中所存在的问题进行说明。

图1为本申请应用场景的示意图，如图1所示，本申请应用于电数字数据处理领域中，数据库1中存储有数据，用户3可以通过电脑等电子设备2对数据1中的数据进行处理。所述处理包括：数据获取、数据稽核等，例如，在一些政企业务集约化管理以及数据系统的改造迁移等过程中，需要保证数据的准确，此时用户3可以控制电子设备2对数据库1中数据进行抽取后，使用稽核规则对数据进行稽核处理，识别出数据库1中所存在的不符合稽核规则的数据。

在现有技术中，在每一次对数据库1中的数据进行处理时，用户3都需要在电子设备2中使用Excel函数、ETL工具等方式提前设置稽核规则，使得电子设备2根据用户3所设置的稽核规则对数据库1中的数据进行稽核处理。使得数据稽核的过程中的智能化程度不足，极大地增加了人工制定稽核规则的大量工作时间和工作量，无法适应当前的敏捷开发、处理需求，尤其在电信业务等数据复杂多变的场景下，极大地降低了数据稽核的速度和效率，影响运营商正常的业务开展。

因此，本申请提供一种数据稽核方法、装置、平台、电子设备及存储介质，能够在对数据进行处理时，更加智能化地确定数据稽核规则，从而不需要通过大量人工操作的情况下，即可使用合适的稽核规则对数据进行稽核处理。下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本申请提供的数据稽核平台一实施例的结构示意图，如图2所示的数据稽核平台可以是使用Python语言并基于Django框架实现的。其中，Django是一个基于MVC构造的框架，将接收到用户输入的部分由框架自行处理，所以Django里更关注的是模型(Model)、模板(Template)和视图(Views)，称为MTV模式。Django框架把控制层给封装，通过调用相应的方法，把控制层东西交给Django自动完成，具有调用代码较少、工作效率较高的效果。在具体的实现过程中，数据稽核平台可以使用Python语言基于Django框架使用python+sql编写规则中心，显示界面等对应的前台界面使用js、css和jquery等语言实现。

在一些实施例中，如图2所示的数据稽核平台1可应用于如图1所示的场景中，运行在电子设备2上，该数据稽核平台1具体包括：交互模块10、建表模块11、数据查询模块12、数据稽核模块13、稽核规则配置模块14和数据导出模块15。下面分别对每个模块所实现的功能进行说明。

交互模块10用于数据稽核平台1与用户进行交互，交互模块10可以包括显示器、鼠标、键盘等控制装置。使得用户通过交互模块10，可以实现对数据稽核平台1的控制，以及，数据稽核平台1可以通过交互模块10向用户展示其功能以及处理结果等。

例如，图3为一种数据稽核平台的交互模块的显示界面示意图，如图3所示，交互模块可以通过显示界面，向用户展示其能够提供的功能，例如，在图3所示的显示界面上，包括一级菜单：“建表”(对应于建表模块11的功能)、“查询数据”(对应于数据查询模块12的功能)、“数据稽核”(对应于数据稽核模块13的功能)、“稽核规则”(对应于稽核规则配置模块14的功能)和“数据导出”(对应于数据导出模块15的功能)等点击控件。当检测到用户通过鼠标、触控等方式对“数据稽核”控件的点击操作后，可以在显示界面上显示二级菜单“数据导入”和“数据稽核”，从而在用户的控制下，实现对导入数据的稽核处理。

建表模块11可用于实现的功能包括：功能a，连接数据库，即，根据用户的选择，将数据库中的数据导入数据稽核平台中进行后续计算。功能b，允许用户通过填写相关表字段的方式，创建一张数据表用于后续计算，例如所填写的内容可以包括：“表名”、“表别名”、“字段名”、“字段描述”、“字段类型”、“字段长度”、“是否可为null”、“主键”等表属性字段，“删除当前行”、“新增行”、“全选”、“反选”、“全不选”等功能按钮，从而可以极大地简化建表的流程和难度，对于用户而言只需要按照要求和限制填写正确即可，从而可以提高数据稽核平台的智能化程度，提高用户的使用体验。功能c，sql建表，使用sql语句快速建表，使得数据稽核平台可适用于执行现有技术中的sql建表脚本等，提高数据稽核平台的兼容性。

在一些实施例中，数据稽核平台所处理的数据格式包括：excel文件，csv文件，txt文件，这些文件中包括待处理的数据，文件可以被记为数据集合的形式，本实施例中的数据稽核平台可以实现对上述三种类型文件的前台建表，入库操作，数据和日志导出等操作。

数据查询模块12用于提供数据库中数据的查询功能，可以根据用户选择查询的源数据库和表，通过精准匹配或者模糊查询等方式获取用户希望查询的数据集合或者数据，并通过显示界面向用户显示所查询的结果。在图3所示的显示界面上，当检测到用户通过鼠标、触控等方式对“查询数据”控件的点击操作后，可以在显示界面上显示二级菜单“查询”、“清空”和“删除”等控件。

数据稽核模块13可用于实现的功能包括：数据导入和数据稽核。其中，数据导入可用于用户选择待处理的数据集合。例如，图4为本申请提供的数据稽核平台的另一显示界面示意图，其中，当检测到用户对图3中“数据导入”控件的点击后，在图4所示的显示界面的左上角显示数据稽核模块，在该模块中，用户可以通过点击“选择文件”控件来选择待处理的数据集合，并在点击“提交”控件后，可以对该数据集合进行数据稽核处理。

数据稽核模块可用于根据目标稽核规则，对数据集合进行稽核处理，所述稽核规则包括“是否换行符”，“文件列长”，“字段长度是否与表中字段长度相符”等等，当确定数据集合中的数据符合稽核条件时，可以对数据进行后续的入库等处理，当确定数据集合中的数据不符合稽核条件时，可以在显示界面上显示数据稽核结果，对数据进行实时预警和通知。例如：图4中显示界面右侧的“日志详情”部分，显示有“列数正常”、“第5行，第3列字段有回车”等数据的稽核结果。

稽核规则配置模块14可用于用户提前输入数据稽核规则，本申请实施例对稽核规则的具体实现不作限定，例如包括“空格”，“m列和n列的互斥关系”，“m列和n列的映射关系”，“限定值”等稽核规则。当数据稽核平台通过稽核规则配置模块14确定稽核规则以及映射关系之后，即可通过如图5所示的方式对数据进行稽核处理。或者，稽核规则配置模块还可用于获取用户输入的稽核规则，并根据当前数据集合，存入映射关系中。又或者，本实施例提供的数据稽核平台还可以支持其他方式的稽核处理，例如，用户可以每次输入稽核规则后，使用所输入的稽核规则进行数据稽核处理等。

在一些实施例中，数据稽核平台具体可以采用基于规则的引擎来设计稽核模型，结合SQL配置和逻辑运算共同来实现稽核规则，使得系统具备最大的扩展性，避免增加了新的稽核点就需要重新增加功能。并且电信行业的业务系统版本变动较快，基于配置的规则能够很好的适应这种变化。

数据导出模块15用于对数据稽核结果进行导出操作，将稽核结果导出成文件形式进行存储，以及问题日志的输出等处理。例如，在如图4所示的显示界面的左下角的数据导出播放，用户可以选择导出的数据格式为excel格式、csv格式或者txt等，随后点击导出控件后，数据导出模块15可用于将右侧展示的日志导出成文件并存储在电子设备中。

综上，本实施例提供的数据稽核平台，整合了数据稽核过程中常见的功能点及规则，能够针对不同的稽核需求单独进行配置，其中，包括了稽核流程可以配置，字段映射可配置，数据稽核规则可配置，报表模版可以预定义和配置等。同时，数据稽核平台还可以允许界面化的操作，稽核结果可以直接输出数据的问题所在，便于使用该数据稽核平台的用户更加快速、便捷地定位问题和解决问题。因此，本实施例提供的数据稽核平台具有数据稽核速度快、效率高、灵活性高、应用范围广泛等特点。

本申请还提供一种数据稽核方法，可应用于如图1所示的场景中，由电子设备2、或者电子设备2中运行的数据稽核平台，在对数据库1中的数据进行数据稽核时执行。本实施例中，以电子设备为数据稽核平台作为示例性的说明，例如，图5为本申请提供的数据稽核方法一实施例的流程示意图，如图5所示的方法包括：

S101：获取待处理的数据集合。

在一些实施例中，数据稽核平台可以通过其建表模块，根据用户的指示从数据库中获取待处理的数据集合，数据集合中包括待进行稽核处理的数据。或者，数据稽核平台所在的电子设备在执行其他数据处理任务时，需要对其正在处理的数据集合进行稽核处理时，可以调用数据稽核平台执行本实施例的数据稽核方法。

S102：确定数据集合的特征信息。

在一些实施例中，特征信息包括：数据集合中数据的来源位置信息。例如，根据电信行业的业务特点，运营商可以按照地区对数据的来源位置进行划分，例如，可以确定的数据集合的特征信息为：数据集合1中的数据来自北京市、数据集合2中的数据来自上海市等。或者，还可以对位置信息进行更细化的划分，例如以县、区、小区等地理位置对来源进行区分。

在另一些实施例中，特征信息包括：数据集合中数据的生产时间信息，例如，同样根据电信行业的业务特点，运营商可以按照数据的生成时间进行划分，例如，可以确定的数据集合的特征信息为：数据集合1中的数据为夜间的0点-8点生成的、数据集合2中的数据为上午的8点-12点生成的等。或者，还可以对生成时间以日期、分钟、秒等单位记性更加细化的划分等。

S103：根据特征信息确定对应的目标稽核规则。

在一些实施例中，当确定特征信息后，数据稽核平台中的数据稽核模块可以具体根据待处理数据集合的特征信息，从映射关系中确定目标集合规则。其中，映射关系包括多个数据集合的特征信息，以及每个特征信息所对应的稽核规则。例如，图6为本申请提供的映射关系的示意图，如图6所示的映射关系中，包括特征信息1-N，每个特征信息与一个稽核规则存在对应关系，记为稽核规则1-N。则根据如图6所示的映射关系，数据稽核模块可以从映射关系汇总确定S102中特征信息对应的稽核规则作为目标稽核规则。

在一些实施例中，上述映射关系可以是提前存储在数据稽核平台所在的电子设备中，由数据稽核平台中的数据稽核模块在需要时调用。映射关系中的对应关系可以是指定的、可以是预设的、也可以是数据稽核平台的用户通过稽核规则配置模块所输入并存储的。

在一些实施例中，不同的数据稽核规则是根据对应的数据的特征信息所设置的。例如，当特征信息为数据集合中数据的来源位置信息时，可以根据不同来源位置的信息设置不同的数据稽核规则，示例性地，在对运营商的某种数据的处理过程中，来自北京市的数据的特点为包括无效的回车，则可以将来源位置信息为北京市的数据对应的稽核规则设置为“检测数据中的回车”；来自上海市的数据的特点为数据的行数可能出现错误，则可以将来源位置信息为上海市的数据对应的稽核规则设置为“检测行数”等。

又例如，当特征信息为数据集合中数据的生成时间信息时，当夜间数据的特点为包括无效的空格，则可以将生成时间信息为夜间的数据对应的稽核规则为“检测数据中的空格”；当生成时间信息为上午的数据对应的特点为包括重复的列时，可以将生成时间信息为上午的数据对应的稽核规则设置为“检测数据中数据重复的列”等。

在具体的实现过程中，处于一个数据集合中所有数据的特征信息可以是相同的，因此只需要根据其中一个数据的特征信息即可作为数据集合中所有数据的特征信息。而当数据集合中数据的特征信息不同时，则可以对数据集合按照特征信息进行分类，拆分得到不同的子集合，保证每个子集合中数据的特征信息相同后，使用不同的稽核规则分别对每个子集合的数据进行稽核处理，最终得到每个子集合的稽核结果后，形成整个数据集合的稽核结果。

在一些实施例中，当映射关系中没有与当前数据集合的特征信息对应的稽核规则时，可以通过显示界面提示用户设置稽核规则，接收用户输入的第一稽核规则，对数据集合进行稽核处理后，还将特征信息和该第一稽核规则进行记录并存入映射关系中，使得再下一次获取到的数据集合的特征信息相同时，可以从映射关系中确定对应的稽核规则。

S104：使用目标稽核规则，对S101中获取的数据集合中的数据进行稽核处理。

最终，确定目标稽核规则后，数据稽核平台中的数据稽核模块，使用目标稽核规则对数据集合中的数据进行稽核处理，并得到稽核结果。

在一些实施例，数据稽核平台在得到稽核结果后，可以根据如图4所示的方式，在其显示界面上显示该稽核结果。

在一些实施例中，数据稽核平台还可以在得到数据稽核结果出直接导出数据稽核结果的日志文件，或者，根据如图4所示的方式，在用户的控制下导出该数据稽核结果的日志文件等。

综上，本实施例提供的数据稽核方法，能够根据当前待处理的数据集合的特征信息，更加智能化地确定与该特征信息对应的数据稽核规则后，使用该目标稽核规则对数据进行处理。从而不需要通过大量人工操作的情况下，即可确定出更加合适的稽核规则对数据进行稽核处理，因此提高了数据稽核时的智能化程度，减少对人工制定稽核规则的以来，进而提高数据稽核的速度和效率。

进一步地，在如图5所示的示例中，当数据稽核平台得到稽核结果后，也就确定了数据所存在的问题，因此，数据稽核平台中可以设置修复模块，从而在S105中，根据S104所得到的稽核结果，直接自动对数据集合中与目标稽核规则不符的数据进行修复，从而实现了数据稽核和数据修复的一体化设计，进一步提高了数据稽核平台的自动化、智能化程度，提高了数据处理的整体速度和效率。

在前述各实施例中，对本申请实施例提供的数据稽核方法进行了介绍，而为了实现上述本申请实施例提供的语句处理方法中的各功能，作为执行主体的设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

例如，本申请还提供一种数据稽核装置包括：获取模块，用于获取待处理的数据集合；特征信息确定模块，用于确定数据集合的特征信息；其中，特征信息包括数据集合中数据的来源位置信息，或者数据集合中数据的生成时间信息；稽核规则确定模块，用于根据特征信息，从映射关系中确定目标稽核规则；其中，映射关系包括多个数据集合的特征信息，以及每个特征信息对应的稽核规则；稽核模块，用于使用目标稽核规则，对数据集合中的数据进行稽核处理，得到稽核结果。

或者，本申请提供的数据稽核装置也可以采用如图2所示的结构，其实现方式及原理与图2中相同，不再赘述。

具体地，数据稽核装置中的各模块分别执行的上述步骤的具体原理及实现方式，以及机器学习模型的具体结构可参考本申请前述实施例中的数据稽核方法中的描述，不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。

本申还提供一种电子设备，包括：处理器以及存储器；其中，存储器中存储有计算机程序，当处理器执行计算机程序时，处理器可用于执行如本申请前述实施例中任一的数据稽核方法。

本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被执行时可用于执行如本申请前述实施例中任一的数据稽核方法。

本申请实施例还提供一种运行指令的芯片，所述芯片用于执行如本申请前述任一实施例中由电子设备所执行的数据稽核方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种数据稽核方法，其特征在于，包括：

获取待处理的数据集合；

确定所述数据集合的特征信息；其中，所述特征信息包括所述数据集合中数据的来源位置信息，或者所述数据集合中数据的生成时间信息；

根据所述特征信息，从映射关系中确定所述特征信息对应的目标稽核规则；其中，所述映射关系包括多个数据集合的特征信息，以及每个特征信息对应的稽核规则；

使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果。

2.根据权利要求1所述的方法，其特征在于，所述使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果之后，还包括：

根据稽核结果，对所述数据集合中不符合所述目标稽核规则的数据进行数据修复。

3.根据权利要求1或2所述的方法，其特征在于，所述使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果之后，还包括：

在显示界面上显示所述稽核结果。

4.根据权利要求3所述的方法，其特征在于，

当所述数据集合中包括多个特征信息的数据，所述确定所述数据集合的特征信息，包括：

根据所述特征信息，将所述数据集合拆分为多个子集合，每个子集合中数据的特征信息相同；

所述根据所述特征信息，从映射关系中确定目标稽核规则，包括：

根据所述多个子集合的特征信息，从映射关系中确定每个子集合对应的目标稽核规则；

所述使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果，包括：

分别使用每个子集合对应的目标稽核规则，对所述多个子集合进行稽核处理，得到每个子集合的稽核结果形成所述数据集合的稽核结果。

5.根据权利要求3所述的方法，其特征在于，所述确定所述数据集合的特征信息之后，还包括：

当所述映射关系中不包括所述特征信息对应的稽核规则时，获取用户输入的第一稽核规则，使用所述第一稽核规则对所述数据集合进行稽核处理，得到稽核结果，并将所述特征信息和所述第一稽核规则存入所述映射关系。

6.根据权利要求1所述的方法，其特征在于，所述对所述数据集合中的数据进行稽核处理，包括：

使用基于Django框架的数据稽核平台，对所述数据集合中的数据进行稽核处理。

7.一种数据稽核平台，其特征在于，包括：

建表模块，用于获取待处理的数据集合；

数据稽核模块，用于确定所述数据集合的特征信息，并根据所述特征信息，从映射关系中确定目标稽核规则后，使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理得到稽核结果；其中，所述特征信息包括所述数据集合中数据的来源位置信息，或者所述数据集合中数据的生成时间信息，所述映射关系包括多个数据集合的特征信息，以及每个特征信息对应的稽核规则；

查询数据模块，用于从数据库中查询数据；

稽核规则配置模块，用于获取稽核规则并存入所述映射关系；

数据导出模块，用于将所述稽核结果导出成文件形式进行存储。

8.一种数据稽核装置，其特征在于，包括：

获取模块，用于获取待处理的数据集合；

特征信息确定模块，用于确定所述数据集合的特征信息；其中，所述特征信息包括所述数据集合中数据的来源位置信息，或者所述数据集合中数据的生成时间信息；

稽核规则确定模块，用于根据所述特征信息，从映射关系中确定目标稽核规则；其中，所述映射关系包括多个数据集合的特征信息，以及每个特征信息对应的稽核规则；

稽核模块，用于使用所述目标稽核规则，对所述数据集合中的数据进行稽核处理，得到稽核结果。

9.一种电子设备，其特征在于，包括：处理器以及存储器；其中，存储器中存储有计算机程序，当处理器执行计算机程序时，处理器可用于执行如权利要求1-6任一项所述的数据稽核方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时可用于执行如权利要求1-6任一项所述的数据稽核方法。

Images