CN104636483A - 一种数据监控方法 - Google Patents
一种数据监控方法 Download PDFInfo
- Publication number
- CN104636483A CN104636483A CN201510085491.9A CN201510085491A CN104636483A CN 104636483 A CN104636483 A CN 104636483A CN 201510085491 A CN201510085491 A CN 201510085491A CN 104636483 A CN104636483 A CN 104636483A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- tables
- database
- monitor task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 170
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000011835 investigation Methods 0.000 claims description 23
- 230000003319 supportive effect Effects 0.000 abstract 1
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 241001484259 Lacuna Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据监控方法，包括以下步骤：分别与多个数据库建立连接，以读取数据库中的数据表和数据表中的数据；根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控；完成监控任务后，输出监控报告；根据监控报告中的告警信息所对应的数据表读取该数据表的负责人的联系信息，利用联系信息向该负责人发送告警信息。本发明的有益效果在于：支持多种类型的数据库连接，通过注册的方式将所需的数据表及其数据纳入监控范围内。提供三种类型的数据监控规则，分别为同表自查规则、同表联查规则和异表联查规则，通过三种规则可将所有数据库中的数据表的字段进行关联监控，使监控范围最大化。
Description
技术领域
本发明涉及数据监控技术领域。
背景技术
随着公安信息化工程的不断建设，以及实际应用的成效表明，数据质量至关重要。
众所周知，信息资源是开展信息化侦查最为重要的支撑条件。但是目前公安网系统里所存储的信息资源质量并不高，公安网上的犯罪信息良莠不齐，质量高的和质量低的并存。
简而言之就是信息污染较严重，即信息资源混入了干扰性、欺骗性和误导性的信息。虽然近几年公安信息化建设取得了很大进步，各地区各警种均建立各种各样的信息系统，公安工作的基础数据也在日益完善。如：常(暂)住人口信息，机动车信息，各种证照信息，旅馆业信息，以及刑侦部门收集的大量案件、人员、物品信息等。所有这些，都为信息资源的利用奠定了坚实的基础。但是，在工作中也发现大量虚假、夸大、重复、和过时的无用信息，这些垃圾信息与有效信息混杂在一起，降低了网络信息资源的可靠性和对有效信息的判断，严重影响了民警对有效信息的吸收和利用。民警为了获得有用信息，不得不花大量的时间去阅读那些无关的信息，容易导致无功而返。
主要表现如下：
1、数据录入随意性大，应采必采、当录必录的要求不严，致使缺项多、差错多。
以案件信息为例，案件信息的不报、漏报、错报问题就十分突出。如有一个抓如实立案的典型单位，一年间补立年前案件和隐漏案件就多达1000多起。
2、不严格遵循数据标准规范，或标准修订滞后，给跨地区、跨系统数据整合、清理带来很多困难，大量信息冗余。
目前，随着各单位各部门之间都开发了一些专业软件系统。但由于不严格遵循数据标准规范，数据共享性差，数据格式不同，重复和多余现象经常出现。在跨系统数据整合时会产生大量的信息冗余，这些多余重复的无用信息，非但不能给人们以新的认识，反而还成为人们认识领域的障碍，给信息的甄别带来困难，让民警在分析研判时无从着手。
3、缺乏责任机制确保数据质量的约束机制和激励机制尚不健全。
特别是前几年，“各级加快推进信息化建设，经常组织开展集中突击式的信息资源采集，在短时间内完成海量数据的采集录入，但由于部分民警的信息化应用技能较低、培训学习不够，又缺乏科学合理的约束机制、考核标准来保证信息采集的质量和信息录入的规范化，致使部分单位和个人片面追求考核指标中的数据数量指标，忽视数据质量，甚至采取一些投机取巧的办法加大数据量，在系统中录入了大量的垃圾信息；少数单位仍然存在辅警或聘用人员录入数据的情况，也可能造成录入数据与原始数据有所偏差”。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种数据监控方法，对多个数据库之间的数据表及其数据进行关联监控，通过具体的监控规则达到监控数据是否异常的目的，并且能在监控报告中直观地查看监控结果和是否有异常告警信息。
为解决上述问题，本发明所采用的技术方案如下：
一种数据监控方法，包括以下步骤：
步骤A：分别与多个数据库建立连接，以读取数据库中的数据表和数据表中的数据；
步骤B：根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控；
步骤C：完成监控任务后，输出监控报告。
进一步地，监控任务的设置步骤如下：
接收针对数据表中的字段设置监控规则的请求；
将被选择的字段与被选择的监控规则进行绑定；
针对绑定后的字段和监控规则生成监控任务；
其中，监控规则包括同表自查规则、同表联查规则和异表联查规则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控。
进一步地，将被选择的字段与被选择的监控规则进行绑定的步骤如下：
将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名；
接收设置可调参数的请求；
将被选择的可调参数中的内容设为被选择的字段名；
将经过设置可调参数的文字描述语句再转换为相应的sql语句。
进一步地，监控任务的设置步骤如下：
接收针对两个数据表设置监控规则的请求，监控规则为对两个数据表之间的数据量一致性进行监控；
将两个被选择的数据表进行绑定，两个被选择的数据表位于同一数据库或者位于不同数据库；
针对绑定后的两个数据表生成监控任务。
进一步地，监控任务的设置步骤如下：
接收针对单个数据表设置监控规则的请求，监控规则为对数据表的数据增量进行监控；
根据监控规则中所设置的阈值生成监控任务。
进一步地，在步骤B中，监控任务中包括监控任务执行频率设置、监控任务执行次数设置和监控任务执行时间设置；在步骤C中，每完成一次监控任务，便输出一份监控报告。
进一步地，将步骤B中的监控规则标记为告警规则，当该监控规则所对应的数据表或者数据不满足该监控规则，则在步骤C的监控报告中生成相应的告警信息。
进一步地，在步骤C之后还包括以下步骤：
步骤D：根据告警信息所对应的数据表读取该数据表的负责人的联系信息，利用联系信息向负责人发送告警信息。
进一步地，与数据库建立连接的步骤如下：
读取由用户填入的数据库连接信息；
根据数据库类型读取相应的驱动包；
利用数据库连接信息和读取的驱动包向对应的数据库发起连接；
若连接失败，则返回连接错误信息；
若连接成功，则读取该数据库中的表结构信息。
进一步地，数据库连接信息包括：数据库URL、数据库用户名和数据库密码。
相比现有技术，本发明的有益效果在于：1、支持多种类型的数据库连接，通过注册的方式将所需的数据表及其数据纳入监控范围内。2、提供三种类型的数据监控规则，分别为同表自查规则、同表联查规则和异表联查规则，通过三种规则可将所有数据库中的数据表的字段进行关联监控，使监控范围最大化。3、针对三种类型的数据监控规则设定了大量的预设监控规则，覆盖了常见的数据完整性、一致性、有效性、唯一性和关联性问题，同时也提供了自定义监控规则的方式供用户根据业务的需求进行规则的扩充和更新。4、除了针对字段的监控规则，还设有数据表之间的数据量一致性的监控规则，以及数据表的数据增量异常的监控规则。5、对于生成的监控任务可以根据实际业务需求对任务的执行频率、执行次数、执行开始时间和执行结束时间等常规设置项进行设置。6、对于被标记为告警规则的监控规则，在输出监控报告时也输出相应的告警信息，并且通过告警信息可读取问题数据源头，还可以将告警信息发送至相关的负责人，以提醒负责人核查问题数据。
附图说明
图1为本发明的数据监控方法的流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述：
本发明的数据监控方法主要针对不同地区的不同公安部门所建立的数据系统中的数据进行关联监控，目前的公安部门所建立的数据系统中的数据均由不同的数据负责人进行录入和管理，会存在数据质量高低不平的情况，其中可能存在一些虚假、重复或者过期数据，这些数据可以理解为垃圾数据，与有效数据混在一起将大大降低数据系统的数据可靠性和有效性，严重影响了有效数据的利用率，或者有些数据并没有录入系统，因此公安人员在办案时，会出现读取不到相关数据的情况，或者需要花大量时间在混杂了垃圾数据的数据库中读取有效数据的过程。因此需要建立一个数据监控系统，利用其中的数据监控方法对多个数据库之间的数据表及其数据进行关联监控，通过具体的监控规则达到监控数据是否异常的目的，并且能在监控报告中直观地查看是否有异常告警。
本发明的方法的基本流程如图1所示，包括以下步骤：
S1：分别与多个数据库建立连接，以读取数据库中的数据表和数据表中的数据。
S2：根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控。
S3：完成监控任务后，输出监控报告。
步骤的具体内容在以下的各个实施例中进行描述。
实施例1：
一种数据监控方法，包括以下步骤：
S1：分别与多个数据库建立连接，以读取数据库中的数据表和数据表中的数据。
进一步地，管理员可对经过注册的数据表的基本信息进行编辑，例如对数据表进行中文描述，选择数据表的类型，是否为字典表等不破坏数据表结构的编辑。对于数据表中的字段，也可编辑字段的描述，即对该字段的含义进行解释。
S2：根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控。
设置监控任务中的监控规则是为了评估数据的精确性、完整性、一致性、有效性、唯一性和关联性等基本指标。监控规则包括同表自查规则、同表联查规则和异表联查规则，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，通过监控同一数据表中单个字段值的数据类型、长度、取值范围等，以发现数据表中的错误数据；同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，从而得到字段之间完整性约束，一致性约束，以发现数据表中的错误数据；异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控，从而得到不同数据表字段之间完整性约束或者一致性约束，以发现目标数据表中的错误数据。监控规则分为预设监控规则和自定义监控规则，预设监控规则保存于监控规则库中，使用时只需要调用即可，若预设监控规则不能满足监控任务的需求，用户可选择自定义监控规则，自定义监控规则支持sql语句和正则表达式两种规则设置方式，用户根据实际需求设定了监控规则的逻辑后，可通过测试判断该规则是否达到预期的目的。在步骤S2中，设置监控任务包括以下步骤：
S21：接收针对数据表中的字段设置监控规则的请求。
S22：将被选择的字段与被选择的监控规则进行绑定。
S23：针对绑定后的字段和监控规则生成监控任务。
以用户的角度在设置监控任务时，首先选择数据表，再选择其中的字段，然后选择具体的监控规则与字段进行绑定，便可生成监控任务。其中，同一个字段可以绑定多个监控规则，例如，以身份证字段为例，可以同时绑定多个同表自查规则、同表联查规则和异表联查规则，同表自查规则可以是数据长度检查规则和数据唯一性规则，同表联查规则可以是身份证中的出生日期码与出生日期字段一致性检查规则和身份证中的性别码与性别一致性检查规则，异表联查规则可以是异表身份证重号检查，即针对当前选择的身份证字段中的数据与另一指定的表中的身份证字段中的数据相同而对应的姓名不同的情况进行检查。
对于被选择的字段与被选择的监控规则进行绑定的步骤如下：
S221：将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名。
S222：接收设置可调参数的请求。
S223：将被选择的可调参数中的内容设为被选择的字段名。
S224：将经过设置可调参数的文字描述语句再转换为相应的sql语句。
上述绑定的步骤是为了将监控规则转换为让普通用户也能看懂的文字描述语句，即使不懂sql语句也可以对字段进行规则设置，其中，在每条监控规则中都预设有相应的文字描述语句，文字描述语句相当于将sql语句翻译为通俗文字。首先将规则转换为文字描述形式，在文字描述语句中将可以设置的参数设为可调参数。其中，在绑定同表自查规则时，被选择的当前字段为不可调的默认参数；在绑定同表联查规则时，除了当前被选择的当前字段外，还有相应的关联字段，则关联字段则为可调参数，点击可调参数后会列出当前数据表中的所有字段，以供用户选择，选择某一字段后则该可调参数中的内容便设为刚才选择的字段；在绑定异表联查规则时，除了当前被选择的当前字段外，还有相应的关联字段，则关联字段则为可调参数，点击可调参数后会列出所有已注册的数据表中的所有字段，以供用户选择，选择某一字段后则该可调参数中的内容便设为用户选择的字段，用户选择的字段所对应的数据表名也会被选择。经过用户对可调参数进行设置后的文字描述语句再转换为对应的sql语句，实际上是将用户选择的字段填入sql语句中对应的位置，如果用户选择的字段为另一数据表中的字段，则该字段对应的数据表名也填入sql语句中对应的位置。通过上述的监控规则绑定方法，用户可以直观地对监控规则中的相关的字段进行设置，而且通过将sql语句转换为通俗的文字描述语句，降低用户设置监控规则的难度，提高了易用性。
进一步地，在完成监控规则的参数设置后，会对该监控规则中的参数进行非空检查，若某个参数为空则会提示对应的参数未设置，若全部参数均为非空则完成监控规则的绑定。
进一步地，除了设置监控规则外，还需要对监控任务进行常规设置，该常规设置与一般的计算机任务相似，包括监控任务执行频率设置、监控任务执行次数设置和监控任务执行时间设置，还可以对监控任务中的监控规则进行启/禁用设置。
S3：每完成一次监控任务后，便输出一份监控报告。监控报告以列表的形式写在报告列表中，例如，上面针对某一字段的监控任务每天执行一次，则该字段对应的监控报告则以日期先后顺序排列在报告列表中。
进一步地，在S2中，可将监控规则标记为告警规则，当该监控规则所对应的数据不满足该监控规则时，例如，监控规则是对某字段中的数据进行非空检查，若存在数据为空的情况，则不满足该监控规则，相应地在S3中的监控报告中生成相应的告警信息。用户可以通过点击告警信息查看数据源头。
S4：根据告警信息所对应的数据表读取该数据表的负责人的联系信息，利用联系信息向负责人发送告警信息。通过该步骤可以将告警信息发送至相关负责人手上，以提醒该负责人处理告警信息所对应的问题。
实施例2：
S1：分别与多个数据库建立连接，以读取数据库中的数据表和数据表中的数据。其内容与实施例1中的S1内容相同，不再赘述。
S2：根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控。
该实施例中所设置的监控任务中的监控规则为监控两个数据表之间的数据量一致性，由于在实际情况中，会存在需要将一个数据表中的数据同步至另一数据表的情况，两个数据表可以是在同一数据库中，也可以是在不同数据库中，但是在同步过程中，可能会出现同步重复数据，同步数据不全和丢失等问题，导致两个数据库之间的数据不统一。因此在该步骤中，监控任务的设置包括以下步骤：
S21：接收针对两个数据表设置监控规则的请求，监控规则为对两个数据表之间的数据量一致性进行监控。
S22：将两个被选择的数据表进行绑定，两个被选择的数据表位于同一数据库或者位于不同数据库。
S23：针对绑定后的两个数据表生成监控任务。
以用户的角度设置上述监控任务时，可以通过选择第一数据库中的第一数据表和第二数据库中的第二数据表，提交后便实现将第一数据表和第二数据表绑定并开始执行监控任务。
进一步地，除了设置监控规则外，还需要对监控任务进行常规设置，该常规设置与一般的计算机任务相似，包括监控任务执行频率设置、监控任务执行次数设置、监控任务执行时间设置和监控任务结束时间设置等设置中的一种或多种。
S3：每完成一次监控任务后，便输出一份监控报告。监控报告以列表的形式写在报告列表中，监控报告中可以看出两个数据表各自的数据量。
实施例3：
S1：分别与多个数据库建立连接，以读取数据库中的数据表和数据表中的数据。其内容与实施例1中的S1内容相同，不再赘述。
S2：根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控。
该实施例中所设置的监控任务中的监控规则为对数据表的数据增量进行监控，在实际的数据库正常运行过程中，一般来说，对于一些用于统计流量的数据表的数据增量会维持在一个稳定的范围内，如果突然出现数据量变化过少或过多，很有可能是数据发生异常，如果没有及时的监控，很难发现数据发生异常，也就无法及时排查原因。因此在该步骤中，监控任务的设置包括以下步骤：
S21：接收针对单个数据表设置监控规则的请求，监控规则为对数据表的数据增量进行监控。
S22：根据监控规则中所设置的阈值生成监控任务。
具体地，监控规则中的阈值为阈值范围并由用户设置，监控任务中的执行频率设为一天，即监控数据日增量，则判断数据日增量是否异常的方式如下：统计当前数据表中的平均日增量，当天结束后统计当前数据表的实际日增量，阈值范围为以平均日增量为中心的一个范围值，例如阈值范围的百分比为30％，平均日增量为10000，则阈值范围为[10000*130％,10000*70％]，如果实际日增量不在阈值范围内，则判断为数据增量异常。监控任务的设置除了执行频率外，还可以设置监控任务执行次数、监控任务执行时间和监控任务结束时间等。
S3：每完成一次监控任务后，便输出一份监控报告。监控报告以列表的形式写在报告列表中。
进一步地，在S2中将监控规则设为告警规则，当该监控规则所对应的数据日增量不在阈值范围内时，则不满足该监控规则，相应地在S3中的监控报告中生成相应的告警信息，例如在监控报告中，除了列出实际日增量、平均日增量、阈值范围百分比这些基本信息外，还会生成告警时间和异常比率，异常比率指平均日增量减去实际日增量得到的结果的绝对值再除以平均日增量所得到的百分比。
S4：根据告警信息所对应的数据表读取该数据表的负责人的联系信息，利用联系信息向负责人发送告警信息。通过该步骤可以将告警信息发送至相关负责人手上，以提醒该负责人处理告警信息所对应的问题。
在实施例1-3中的步骤S1的内容相同，具体地，与数据库建立连接的步骤如下：
S11：读取由用户填入的数据库连接信息，数据库连接信息包括：数据库URL、数据库用户名和数据库密码。
S12：根据数据库类型读取相应的驱动包。
S13：利用数据库连接信息和读取的驱动包向对应的数据库发起连接，若连接失败，则返回连接错误信息，若连接成功，则读取该数据库中的表结构信息。
优选地，本方案可连接的数据库类型包括DB2数据库、ORACLE数据库和MYSQL数据库，不同类型的数据库对应有不同的数据库驱动包，根据驱动包才能解析出对应数据库中的结构。
读取了数据库中的表结构信息后，用户可读取数据库中的所有数据表信息，再通过对所需的数据表进行注册便可读取其中的数据结构和数据内容。
本发明的数据监控方法的优点在于：1、支持多种类型的数据库连接，通过注册的方式将所需的数据表及其数据纳入监控范围内。2、提供三种类型的数据监控规则，分别为同表自查规则、同表联查规则和异表联查规则，通过三种规则可将所有数据库中的数据表的字段进行关联监控，使监控范围最大化。3、针对三种类型的数据监控规则设定了大量的预设监控规则，覆盖了常见的数据完整性、一致性、有效性、唯一性和关联性问题，同时也提供了自定义监控规则的方式供用户根据业务的需求进行规则的扩充和更新。4、除了针对字段的监控规则，还设有数据表之间的数据量一致性的监控规则，以及数据表的数据增量异常的监控规则。5、对于生成的监控任务可以根据实际业务需求对任务的执行频率、执行次数、执行开始时间和执行结束时间等常规设置项进行设置。6、对于被标记为告警规则的监控规则，在输出监控报告时也输出相应的告警信息，并且通过告警信息可读取问题数据源头，还可以将告警信息发送至相关的负责人，以提醒负责人核查问题数据。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (10)
1.一种数据监控方法，其特征在于，包括以下步骤：
步骤A：分别与多个数据库建立连接，以读取数据库中的数据表和数据表中的数据；
步骤B：根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控；
步骤C：完成监控任务后，输出监控报告。
2.根据权利要求1所述的数据监控方法，其特征在于，监控任务的设置步骤如下：
接收针对数据表中的字段设置监控规则的请求；
将被选择的字段与被选择的监控规则进行绑定；
针对绑定后的字段和监控规则生成监控任务；
其中，监控规则包括同表自查规则、同表联查规则和异表联查规则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控。
3.根据权利要求2所述的数据监控方法，其特征在于，将被选择的字段与被选择的监控规则进行绑定的步骤如下：
将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名；
接收设置可调参数的请求；
将被选择的可调参数中的内容设为被选择的字段名；
将经过设置可调参数的文字描述语句再转换为相应的sql语句。
4.根据权利要求1所述的数据监控方法，其特征在于，监控任务的设置步骤如下：
接收针对两个数据表设置监控规则的请求，监控规则为对两个数据表之间的数据量一致性进行监控；
将两个被选择的数据表进行绑定，两个被选择的数据表位于同一数据库或者位于不同数据库；
针对绑定后的两个数据表生成监控任务。
5.根据权利要求1所述的数据监控方法，其特征在于，监控任务的设置步骤如下：
接收针对单个数据表设置监控规则的请求，监控规则为对数据表的数据增量进行监控；
根据监控规则中所设置的阈值生成监控任务。
6.根据权利要求1所述的数据监控方法，其特征在于，在步骤B中，监控任务中包括监控任务执行频率设置、监控任务执行次数设置和监控任务执行时间设置；在步骤C中，每完成一次监控任务，便输出一份监控报告。
7.根据权利要求1所述的数据监控方法，其特征在于，将步骤B中的监控规则标记为告警规则，当该监控规则所对应的数据表或者数据不满足该监控规则，则在步骤C的监控报告中生成相应的告警信息。
8.根据权利要求7所述的数据监控方法，其特征在于，在步骤C之后还包括以下步骤：
步骤D：根据告警信息所对应的数据表读取该数据表的负责人的联系信息，利用联系信息向该负责人发送告警信息。
9.根据权利要求1所述的数据监控方法，其特征在于，与数据库建立连接的步骤如下：
读取由用户填入的数据库连接信息；
根据数据库类型读取相应的驱动包；
利用数据库连接信息和读取的驱动包向对应的数据库发起连接；
若连接失败，则返回连接错误信息；
若连接成功，则读取该数据库中的表结构信息。
10.根据权利要求9所述的数据监控方法，其特征在于，数据库连接信息包括：数据库URL、数据库用户名和数据库密码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510085491.9A CN104636483A (zh) | 2015-02-16 | 2015-02-16 | 一种数据监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510085491.9A CN104636483A (zh) | 2015-02-16 | 2015-02-16 | 一种数据监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104636483A true CN104636483A (zh) | 2015-05-20 |
Family
ID=53215229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510085491.9A Pending CN104636483A (zh) | 2015-02-16 | 2015-02-16 | 一种数据监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104636483A (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095056A (zh) * | 2015-08-14 | 2015-11-25 | 焦点科技股份有限公司 | 一种数据仓库数据监控的方法 |
| CN105335457A (zh) * | 2015-09-22 | 2016-02-17 | 武汉达策信息技术有限公司 | 一种预警监控系统及其方法 |
| CN105528278A (zh) * | 2015-12-16 | 2016-04-27 | 电信科学技术第十研究所 | 一种判定指标数据状态的方法、设备及系统 |
| CN106371973A (zh) * | 2016-08-31 | 2017-02-01 | 广州品唯软件有限公司 | 一种数据处理方法、设备和系统 |
| CN106371984A (zh) * | 2016-08-31 | 2017-02-01 | 广州品唯软件有限公司 | 一种数据监控方法、设备和系统 |
| CN106484596A (zh) * | 2016-10-18 | 2017-03-08 | 安徽天达网络科技有限公司 | 一种计算机安全监控系统 |
| CN106713032A (zh) * | 2016-12-21 | 2017-05-24 | 瑞斯康达科技发展股份有限公司 | 一种实现网管业务管理的方法及装置 |
| CN106886558A (zh) * | 2016-12-28 | 2017-06-23 | 浙江宇视科技有限公司 | 一种数据处理方法以及服务器 |
| WO2017107853A1 (zh) * | 2015-12-25 | 2017-06-29 | 阿里巴巴集团控股有限公司 | 一种数据监控管理方法、数据监控方法及系统 |
| CN107451286A (zh) * | 2017-08-11 | 2017-12-08 | 新智数通（北京）技术服务有限公司 | 一种亲属关系的分析方法、装置、存储介质及智能终端 |
| CN108229183A (zh) * | 2017-12-06 | 2018-06-29 | 链家网（北京）科技有限公司 | 一种业务数据监控方法及其监控设备 |
| CN108415990A (zh) * | 2018-02-12 | 2018-08-17 | 苏州朗动网络科技有限公司 | 数据质量监控方法、装置、计算机设备和存储介质 |
| CN109543160A (zh) * | 2018-11-23 | 2019-03-29 | 网易（杭州）网络有限公司 | 数值表的检查方法、检查装置、存储介质与处理器 |
| WO2019062189A1 (zh) * | 2017-09-30 | 2019-04-04 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法、系统及存储介质 |
| CN109767177A (zh) * | 2018-12-20 | 2019-05-17 | 北京航空航天大学 | 一种基于正则表达式的公安交管业务数据处理和录入方法 |
| CN110225077A (zh) * | 2019-04-25 | 2019-09-10 | 深圳壹账通智能科技有限公司 | 变更供应数据的同步方法、装置、计算机设备及计算机存储介质 |
| WO2019232832A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 数据监控方法、装置、计算机设备及存储介质 |
| CN111381768A (zh) * | 2018-12-29 | 2020-07-07 | 北京亿阳信通科技有限公司 | 一种数据监控的方法和装置 |
| CN111427878A (zh) * | 2020-03-20 | 2020-07-17 | 深圳乐信软件技术有限公司 | 数据监控告警方法、装置、服务器和存储介质 |
| CN111782486A (zh) * | 2020-07-03 | 2020-10-16 | 上海浦东发展银行股份有限公司 | 一种基于动态配置的告警实现方法及其系统 |
| CN111782489A (zh) * | 2020-07-16 | 2020-10-16 | 上海乾臻信息科技有限公司 | 数据表监控方法及装置 |
| CN115221009A (zh) * | 2022-09-19 | 2022-10-21 | 中国人寿保险股份有限公司上海数据中心 | 一种信创数据库的监控告警集成系统及其实现方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719237A (zh) * | 2009-12-09 | 2010-06-02 | 南京联创科技集团股份有限公司 | 基于全业务指标规则配置的数据质量监控方法 |
| WO2011153803A1 (zh) * | 2010-06-09 | 2011-12-15 | 中兴通讯股份有限公司 | 一种数据库同步部署及监控的方法和装置 |
| CN103488722A (zh) * | 2013-09-13 | 2014-01-01 | 武汉地大信息工程股份有限公司 | 多源监测数据集成系统及集成方法 |
-
2015
- 2015-02-16 CN CN201510085491.9A patent/CN104636483A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719237A (zh) * | 2009-12-09 | 2010-06-02 | 南京联创科技集团股份有限公司 | 基于全业务指标规则配置的数据质量监控方法 |
| WO2011153803A1 (zh) * | 2010-06-09 | 2011-12-15 | 中兴通讯股份有限公司 | 一种数据库同步部署及监控的方法和装置 |
| CN103488722A (zh) * | 2013-09-13 | 2014-01-01 | 武汉地大信息工程股份有限公司 | 多源监测数据集成系统及集成方法 |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095056A (zh) * | 2015-08-14 | 2015-11-25 | 焦点科技股份有限公司 | 一种数据仓库数据监控的方法 |
| CN105095056B (zh) * | 2015-08-14 | 2018-01-12 | 焦点科技股份有限公司 | 一种数据仓库数据监控的方法 |
| CN105335457A (zh) * | 2015-09-22 | 2016-02-17 | 武汉达策信息技术有限公司 | 一种预警监控系统及其方法 |
| CN105528278A (zh) * | 2015-12-16 | 2016-04-27 | 电信科学技术第十研究所 | 一种判定指标数据状态的方法、设备及系统 |
| CN106919602A (zh) * | 2015-12-25 | 2017-07-04 | 阿里巴巴集团控股有限公司 | 一种数据监控管理方法、数据监控方法及系统 |
| WO2017107853A1 (zh) * | 2015-12-25 | 2017-06-29 | 阿里巴巴集团控股有限公司 | 一种数据监控管理方法、数据监控方法及系统 |
| CN106371973A (zh) * | 2016-08-31 | 2017-02-01 | 广州品唯软件有限公司 | 一种数据处理方法、设备和系统 |
| CN106371984A (zh) * | 2016-08-31 | 2017-02-01 | 广州品唯软件有限公司 | 一种数据监控方法、设备和系统 |
| CN106371984B (zh) * | 2016-08-31 | 2019-03-26 | 广州品唯软件有限公司 | 一种数据监控方法、设备和系统 |
| CN106371973B (zh) * | 2016-08-31 | 2019-04-09 | 广州品唯软件有限公司 | 一种数据处理方法、设备和系统 |
| CN106484596A (zh) * | 2016-10-18 | 2017-03-08 | 安徽天达网络科技有限公司 | 一种计算机安全监控系统 |
| CN106713032A (zh) * | 2016-12-21 | 2017-05-24 | 瑞斯康达科技发展股份有限公司 | 一种实现网管业务管理的方法及装置 |
| CN106713032B (zh) * | 2016-12-21 | 2019-09-17 | 瑞斯康达科技发展股份有限公司 | 一种实现网管业务管理的方法及装置 |
| CN106886558B (zh) * | 2016-12-28 | 2020-10-16 | 浙江宇视科技有限公司 | 一种数据处理方法以及服务器 |
| CN106886558A (zh) * | 2016-12-28 | 2017-06-23 | 浙江宇视科技有限公司 | 一种数据处理方法以及服务器 |
| CN107451286A (zh) * | 2017-08-11 | 2017-12-08 | 新智数通（北京）技术服务有限公司 | 一种亲属关系的分析方法、装置、存储介质及智能终端 |
| WO2019062189A1 (zh) * | 2017-09-30 | 2019-04-04 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法、系统及存储介质 |
| CN108229183A (zh) * | 2017-12-06 | 2018-06-29 | 链家网（北京）科技有限公司 | 一种业务数据监控方法及其监控设备 |
| CN108415990A (zh) * | 2018-02-12 | 2018-08-17 | 苏州朗动网络科技有限公司 | 数据质量监控方法、装置、计算机设备和存储介质 |
| WO2019232832A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 数据监控方法、装置、计算机设备及存储介质 |
| CN109543160A (zh) * | 2018-11-23 | 2019-03-29 | 网易（杭州）网络有限公司 | 数值表的检查方法、检查装置、存储介质与处理器 |
| CN109543160B (zh) * | 2018-11-23 | 2023-08-25 | 网易（杭州）网络有限公司 | 数值表的检查方法、检查装置、存储介质与处理器 |
| CN109767177A (zh) * | 2018-12-20 | 2019-05-17 | 北京航空航天大学 | 一种基于正则表达式的公安交管业务数据处理和录入方法 |
| CN109767177B (zh) * | 2018-12-20 | 2020-11-06 | 北京航空航天大学 | 一种基于正则表达式的公安交管业务数据处理和录入方法 |
| CN111381768A (zh) * | 2018-12-29 | 2020-07-07 | 北京亿阳信通科技有限公司 | 一种数据监控的方法和装置 |
| CN110225077A (zh) * | 2019-04-25 | 2019-09-10 | 深圳壹账通智能科技有限公司 | 变更供应数据的同步方法、装置、计算机设备及计算机存储介质 |
| CN111427878A (zh) * | 2020-03-20 | 2020-07-17 | 深圳乐信软件技术有限公司 | 数据监控告警方法、装置、服务器和存储介质 |
| CN111427878B (zh) * | 2020-03-20 | 2024-02-27 | 深圳乐信软件技术有限公司 | 数据监控告警方法、装置、服务器和存储介质 |
| CN111782486A (zh) * | 2020-07-03 | 2020-10-16 | 上海浦东发展银行股份有限公司 | 一种基于动态配置的告警实现方法及其系统 |
| CN111782486B (zh) * | 2020-07-03 | 2024-04-16 | 上海浦东发展银行股份有限公司 | 一种基于动态配置的告警实现方法及其系统 |
| CN111782489A (zh) * | 2020-07-16 | 2020-10-16 | 上海乾臻信息科技有限公司 | 数据表监控方法及装置 |
| CN111782489B (zh) * | 2020-07-16 | 2024-05-10 | 上海乾臻信息科技有限公司 | 数据表监控方法及装置 |
| CN115221009A (zh) * | 2022-09-19 | 2022-10-21 | 中国人寿保险股份有限公司上海数据中心 | 一种信创数据库的监控告警集成系统及其实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104636483A (zh) | 一种数据监控方法 | |
| CN104636484A (zh) | 基于数据监控的监控任务生成方法和装置 | |
| CN104636485A (zh) | 基于数据监控的多数据源数据关联方法和装置 | |
| Thelwall et al. | M endeley readership altmetrics for medical articles: An analysis of 45 fields | |
| Radulovic et al. | A comprehensive quality model for linked data | |
| WO2014084438A1 (ko) | 온라인을 통한 식품안전 관리 시스템 및 방법 | |
| Hughes | Metadata quality evaluation: Experience from the open language archives community | |
| CN109992576A (zh) | 一种基于大数据技术的政务数据质量评估和异常数据修复技术 | |
| CN110580572A (zh) | 一种产品全寿命追溯系统 | |
| CN109783482A (zh) | 一种数据违规监控方法及装置 | |
| Jonkers et al. | The bibliometric bandwagon: Characteristics of bibliometric articles outside the field literature | |
| CN111159161A (zh) | 基于etl规则的数据质量监控及预警系统和方法 | |
| Johansen et al. | Risk metrics: Interpretation and choice | |
| CN107808003A (zh) | 一种文档管理方法及装置 | |
| CN111898359A (zh) | 一种智能质量检测报告生成方法及系统 | |
| US20150161195A1 (en) | DVIVD Match Audit System and 5 Star Event Data Recorder Method Thereof | |
| Chen et al. | Extended yearly LMDI approaches: a case study of energy consumption | |
| CN110084525A (zh) | 一种基于业务需求的工作管理引擎方法以及装置 | |
| Paridhi et al. | Sustainability reporting: Current state and challenges | |
| Wang et al. | A data management model for intelligent water project construction based on blockchain | |
| Tong et al. | Process safety management in China: Progress and performance over the last 10 years and future development | |
| CN107169294A (zh) | 一种环境试验自动测试系统中Excel报表二次判断处理方法 | |
| Cepeda et al. | Support methodology for product quality assurance: a case study in a company of the automotive industry | |
| CN109388789A (zh) | 零部件检报自定义的数据处理方法及装置 | |
| CN108304731A (zh) | 一种管理企业数据调用的方法、系统及信息处理平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150520 |