CN104636484A - 基于数据监控的监控任务生成方法和装置 - Google Patents

Abstract

本发明公开了基于数据监控的监控任务生成方法和装置，方法包括以下步骤：接收针对数据表中的字段设置监控规则的请求；将被选择的字段与被选择的监控规则进行绑定；针对绑定后的字段和监控规则生成监控任务。监控规则包括同表自查规则、同表联查规则和异表联查规则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控。本发明的有益效果在于：通过将监控规则与数据表中的相应的字段进行绑定，达到发现不符合监控规则的数据的目的。

Description

基于数据监控的监控任务生成方法和装置

技术领域

本发明涉及数据监控技术领域，具体涉及基于数据监控的监控任务生成方法。

背景技术

随着公安信息化工程的不断建设，以及实际应用的成效表明，数据质量至关重要。

众所周知，信息资源是开展信息化侦查最为重要的支撑条件。但是目前公安网系统里所存储的信息资源质量并不高，公安网上的犯罪信息良莠不齐，质量高的和质量低的并存。

简而言之就是信息污染较严重，即信息资源混入了干扰性、欺骗性和误导性的信息。虽然近几年公安信息化建设取得了很大进步，各地区各警种均建立各种各样的信息系统，公安工作的基础数据也在日益完善。如：常(暂)住人口信息，机动车信息，各种证照信息，旅馆业信息，以及刑侦部门收集的大量案件、人员、物品信息等。所有这些，都为信息资源的利用奠定了坚实的基础。但是，在工作中也发现大量虚假、夸大、重复、和过时的无用信息，这些垃圾信息与有效信息混杂在一起，降低了网络信息资源的可靠性和对有效信息的判断，严重影响了民警对有效信息的吸收和利用。民警为了获得有用信息，不得不花大量的时间去阅读那些无关的信息，容易导致无功而返。

主要表现如下：

1、数据录入随意性大，应采必采、当录必录的要求不严，致使缺项多、差错多。

以案件信息为例，案件信息的不报、漏报、错报问题就十分突出。如有一个抓如实立案的典型单位，一年间补立年前案件和隐漏案件就多达1000多起。

2、不严格遵循数据标准规范，或标准修订滞后，给跨地区、跨系统数据整合、清理带来很多困难，大量信息冗余。

目前，随着各单位各部门之间都开发了一些专业软件系统。但由于不严格遵循数据标准规范，数据共享性差，数据格式不同，重复和多余现象经常出现。在跨系统数据整合时会产生大量的信息冗余，这些多余重复的无用信息，非但不能给人们以新的认识，反而还成为人们认识领域的障碍，给信息的甄别带来困难，让民警在分析研判时无从着手。

3、缺乏责任机制确保数据质量的约束机制和激励机制尚不健全。

特别是前几年，“各级加快推进信息化建设，经常组织开展集中突击式的信息资源采集，在短时间内完成海量数据的采集录入，但由于部分民警的信息化应用技能较低、培训学习不够，又缺乏科学合理的约束机制、考核标准来保证信息采集的质量和信息录入的规范化，致使部分单位和个人片面追求考核指标中的数据数量指标，忽视数据质量，甚至采取一些投机取巧的办法加大数据量，在系统中录入了大量的垃圾信息；少数单位仍然存在辅警或聘用人员录入数据的情况，也可能造成录入数据与原始数据有所偏差”。

发明内容

为了克服现有技术的不足，本发明的目的提供一种基于数据监控的监控任务生成方法和装置，通过将监控规则与数据表中的相应的字段进行绑定，可以达到发现不符合监控规则的数据的目的，而且在绑定过程中，通过将专业化的规则语句转换为通俗化的文字描述形式，便于用户理解绑定规则和设置相关参数。

为解决上述问题，本发明所采用的技术方案如下：

方案一：

基于数据监控的监控任务生成方法，包括以下步骤：

S1：接收针对数据表中的字段设置监控规则的请求；

S2：将被选择的字段与被选择的监控规则进行绑定；

S3：针对绑定后的字段和监控规则生成监控任务；

监控规则包括同表自查规则、同表联查规则和异表联查规则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控。

进一步地，将被选择的字段与被选择的监控规则进行绑定的步骤如下：

S21：将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名；

S22：接收设置可调参数的请求；

S23：将被选择的可调参数中的内容设为被选择的字段名；

S24：将经过设置可调参数的文字描述语句再转换为相应的sql语句。

进一步地，在S24之后还包括以下步骤：

S25：对S24中得到的sql语句进行检查，若sql语句中的全部参数不为空，则完成绑定；否则，绑定失败。

方案二：

基于数据监控的监控任务生成装置，包括以下模块：

接收请求模块：用于接收针对数据表中的字段设置监控规则的请求；

绑定模块：用于将被选择的字段与被选择的监控规则进行绑定；

任务生成模块：用于针对绑定后的字段和监控规则生成监控任务；

监控规则包括同表自查规则、同表联查规则和异表联查规则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控。

进一步地，在绑定模块中绑定的步骤如下：

S21：将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名；

S22：接收设置可调参数的请求；

S23：将被选择的可调参数中的内容设为被选择的字段名；

S24：将经过设置可调参数的文字描述语句再转换为相应的sql语句。

进一步地，在S24之后还包括以下步骤：

S25：对S24中得到的sql语句进行检查，若sql语句中的全部参数不为空，则完成绑定；否则，绑定失败。

相比现有技术，本发明的有益效果在于：提供三种类型的数据监控规则，分别为同表自查规则、同表联查规则和异表联查规则，通过三种规则可将所有数据库中的数据表的字段进行关联监控，使监控范围最大化。通过将监控规则与数据表中的相应的字段进行绑定，可以达到发现不符合监控规则的数据的目的，而且在绑定过程中，通过将专业化的规则语句转换为通俗化的文字描述形式，便于用户理解绑定规则和设置相关参数。

附图说明

图1为本发明的基于数据监控的监控任务生成方法的流程图。

图2为本发明中的将被选择的字段与被选择的监控规则进行绑定的子步骤流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

本发明的监控任务生成方法是基于针对不同地区的不同公安部门所建立的数据系统中的数据进行关联监控，目前的公安部门所建立的数据系统中的数据均由不同的数据负责人进行录入和管理，会存在数据质量高低不平的情况，其中可能存在一些虚假、重复或者过期数据，这些数据可以理解为垃圾数据，与有效数据混在一起将大大降低数据系统的数据可靠性和有效性，严重影响了有效数据的利用率，或者有些数据并没有录入系统，因此公安人员在办案时，会出现读取不到相关数据的情况，或者需要花大量时间在混杂了垃圾数据的数据库中读取有效数据的过程。因此需要建立一个数据监控系统，利用其中的数据监控方法对多个数据库之间的数据表及其数据进行关联监控，而监控方法的核心在于监控任务的设置，通过具体的监控规则达到监控数据是否异常的目的。

参考图1和图2为本发明的基于数据监控的监控任务生成方法，监控任务中包括监控规则，设置监控规则是为了评估数据的精确性、完整性、一致性、有效性、唯一性和关联性等基本指标。监控规则包括同表自查规则、同表联查规则和异表联查规则，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，通过监控同一数据表中单个字段值的数据类型、长度、取值范围等，以发现数据表中的错误数据；同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，从而得到字段之间完整性约束，一致性约束，以发现数据表中的错误数据；异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控，从而得到不同数据表字段之间完整性约束，一致性约束，以发现目标数据表中的错误数据。监控规则分为预设监控规则和自定义监控规则，预设监控规则保存于监控规则库中，使用时只需要调用即可，若预设监控规则不能满足监控任务的需求，用户可选择自定义监控规则，自定义监控规则支持sql语句和正则表达式两种规则设置方式，用户根据实际需求设定了监控规则的逻辑后，可通过测试判断该规则是否达到预期的目的。生成监控任务包括以下步骤：

S1：接收针对数据表中的字段设置监控规则的请求；

S2：将被选择的字段与被选择的监控规则进行绑定；

S3：针对绑定后的字段和监控规则生成监控任务；

以用户的角度在设置监控任务时，首先选择数据表，再选择其中的字段，然后选择具体的监控规则与字段进行绑定，便可生成监控任务。其中，同一个字段可以绑定多个监控规则，例如，以身份证字段为例，可以同时绑定多个同表自查规则、同表联查规则和异表联查规则，同表自查规则可以是数据长度检查规则和数据唯一性规则，同表联查规则可以是身份证中的出生日期码与出生日期字段一致性检查规则和身份证中的性别码与性别一致性检查规则，异表联查规则可以是异表身份证重号检查，即针对当前选择的身份证字段中的数据与另一指定的表中的身份证字段中的数据相同而对应的姓名不同的情况进行检查。

对于被选择的字段与被选择的监控规则进行绑定的步骤如下：

S21：将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名；

S22：接收设置可调参数的请求；

S23：将被选择的可调参数中的内容设为被选择的字段名；

S24：将经过设置可调参数的文字描述语句再转换为相应的sql语句。

上述绑定的步骤是为了将监控规则转换为让普通用户也能看懂的文字描述语句，即使不懂sql语句也可以对字段进行规则设置，其中，在每条监控规则中都预设有相应的文字描述语句，文字描述语句相当于将sql语句翻译为通俗文字。首先将规则转换为文字描述形式，在文字描述语句中将可以设置的参数设为可调参数。其中，在绑定同表自查规则时，被选择的当前字段为不可调的默认参数；在绑定同表联查规则时，除了当前被选择的当前字段外，还有相应的关联字段，则关联字段则为可调参数，点击可调参数后会列出当前数据表中的所有字段，以供用户选择，选择某一字段后则该可调参数中的内容便设为刚才选择的字段；在绑定异表联查规则时，除了当前被选择的当前字段外，还有相应的关联字段，则关联字段则为可调参数，点击可调参数后会列出所有已注册的数据表中的所有字段，以供用户选择，选择某一字段后则该可调参数中的内容便设为用户选择的字段，用户选择的字段所对应的数据表名也会被选择。经过用户对可调参数进行设置后的文字描述语句再转换为对应的sql语句，实际上是将用户选择的字段填入sql语句中对应的位置，如果用户选择的字段为另一数据表中的字段，则该字段对应的数据表名也填入sql语句中对应的位置。通过上述的监控规则绑定方法，用户可以直观地对监控规则中的相关的字段进行设置，而且通过将sql语句转换为通俗的文字描述语句，降低用户设置监控规则的难度，提高了易用性。

进一步地，在S24之后还包括以下步骤：

S25：对S24中得到的sql语句进行检查，若sql语句中的全部参数不为空，则完成绑定；否则，绑定失败。该步骤会对该监控规则中的参数进行非空检查，若某个参数为空则会提示对应的参数未设置，若全部参数均为非空则完成监控规则的绑定。

进一步地，除了设置监控规则外，还需要对监控任务进行常规设置，该常规设置与一般的计算机任务相似，包括监控任务执行频率设置、监控任务执行次数设置和监控任务执行时间设置，还可以对监控任务中的监控规则进行启/禁用设置。

本发明的基于数据监控的监控任务生成方法的优点在于：提供三种类型的数据监控规则，分别为同表自查规则、同表联查规则和异表联查规则，通过三种规则可将所有数据库中的数据表的字段进行关联监控，使监控范围最大化。通过将监控规则与数据表中的相应的字段进行绑定，可以达到发现不符合监控规则的数据的目的，而且在绑定过程中，通过将专业化的规则语句转换为通俗化的文字描述形式，便于用户理解绑定规则和设置相关参数。

对应于上述的基于数据监控的监控任务生成方法，还公开了基于数据监控的监控任务生成装置，包括以下模块：

接收请求模块：用于接收针对数据表中的字段设置监控规则的请求；

绑定模块：用于将被选择的字段与被选择的监控规则进行绑定；

任务生成模块：用于针对绑定后的字段和监控规则生成监控任务；

监控规则包括同表自查规则、同表联查规则和异表联查规则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控。

进一步地，在绑定模块中绑定的步骤如下：

S21：将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名；

S22：接收设置可调参数的请求；

S23：将被选择的可调参数中的内容设为被选择的字段名；

S24：将经过设置可调参数的文字描述语句再转换为相应的sql语句。

进一步地，在S24之后还包括以下步骤：

S25：对S24中得到的sql语句进行检查，若sql语句中的全部参数不为空，则完成绑定；否则，绑定失败。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (6)

1.基于数据监控的监控任务生成方法，其特征在于，包括以下步骤：

S1：接收针对数据表中的字段设置监控规则的请求；

S2：将被选择的字段与被选择的监控规则进行绑定；

S3：针对绑定后的字段和监控规则生成监控任务；

监控规则包括同表自查规则、同表联查规则和异表联查规则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控。

2.根据权利要求1所述的基于数据监控的监控任务生成方法，其特征在于，将被选择的字段与被选择的监控规则进行绑定的步骤如下：

S21：将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名；

S22：接收设置可调参数的请求；

S23：将被选择的可调参数中的内容设为被选择的字段名；

S24：将经过设置可调参数的文字描述语句再转换为相应的sql语句。

3.根据权利要求2所述的基于数据监控的监控任务生成方法，其特征在于，在S24之后还包括以下步骤：

S25：对S24中得到的sql语句进行检查，若sql语句中的全部参数不为空，则完成绑定；否则，绑定失败。

4.基于数据监控的监控任务生成装置，其特征在于，包括以下模块：

接收请求模块：用于接收针对数据表中的字段设置监控规则的请求；

绑定模块：用于将被选择的字段与被选择的监控规则进行绑定；

任务生成模块：用于针对绑定后的字段和监控规则生成监控任务；

监控规则包括同表自查规则、同表联查规则和异表联查规则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控。

5.根据权利要求4所述的基于数据监控的监控任务生成装置，其特征在于，在绑定模块中绑定的步骤如下：

S21：将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名；

S22：接收设置可调参数的请求；

S23：将被选择的可调参数中的内容设为被选择的字段名；

S24：将经过设置可调参数的文字描述语句再转换为相应的sql语句。

6.根据权利要求5所述的基于数据监控的监控任务生成装置，其特征在于，在S24之后还包括以下步骤：

S25：对S24中得到的sql语句进行检查，若sql语句中的全部参数不为空，则完成绑定；否则，绑定失败。