CN103268355A - 数据问题处理方法和处理系统 - Google Patents

数据问题处理方法和处理系统 Download PDF

Info

Publication number
CN103268355A
CN103268355A CN2013102205976A CN201310220597A CN103268355A CN 103268355 A CN103268355 A CN 103268355A CN 2013102205976 A CN2013102205976 A CN 2013102205976A CN 201310220597 A CN201310220597 A CN 201310220597A CN 103268355 A CN103268355 A CN 103268355A
Authority
CN
China
Prior art keywords
data
node
path
tables
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102205976A
Other languages
English (en)
Other versions
CN103268355B (zh
Inventor
李敏
傅永财
应放
郑扬飞
张勇
王恺
吴卫荣
刘毅
贾晓霞
金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN201310220597.6A priority Critical patent/CN103268355B/zh
Publication of CN103268355A publication Critical patent/CN103268355A/zh
Application granted granted Critical
Publication of CN103268355B publication Critical patent/CN103268355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据问题处理方法和处理系统,其中数据问题处理方法包括:接收用户输入的数据问题的问题描述信息,包括:目标业务系统信息、出现该数据问题的数据表的数据表名称;查找到与所述问题数据表具有相同数据表名称的数据表所对应的源业务系统;确定出该数据问题的同步路径;并根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,确定出问题节点、非问题节点,进而确定出问题路径区间;确定出的问题路径区间所对应的问题原因内容,确定出对应于该数据问题的问题原因内容的处理方案。提高了处理数据问题的效率,同时降低了人力资源成本;提高了处理数据问题的可靠性和一致性。

Description

数据问题处理方法和处理系统
技术领域
本发明涉及计算机技术领域,尤其涉及数据问题处理方法和处理系统。
背景技术
在信息化建设过程中,大量的数据被不同领域、层次的业务系统采集、存储、管理和应用,为各自业务发展起到了很好的促进作用,但在业务系统之间很多数据是重复的,严重浪费了系统资源;而且各业务系统的数据分别独立存储,形成一个个“信息孤岛”,使得数据利用率低下,业务系统之间很少有数据交互,严重制约着业务系统之间的协作及工作效率的提升。
为了解决上述问题,目前采用如图1a所示的数据共享系统,来实现分布在各业务系统中的数据的交换和共享,提高数据的利用率,避免在数据采集、存贮和管理上重复浪费。具体的,数据共享系统由中央数据库和若干个业务系统组成,每个业务系统只与中央数据库连接进行数据交换;业务系统通过数据交换将待共享的数据写入中央数据库;中央数据库存储各业务系统之间需要共享的数据;业务系统通过数据交换从中央数据库获取需要的已共享数据;运维人员对数据共享系统进行维护。其中,中央数据库中任一数据有且只有唯一一个业务系统来维护;数据交换有多种方式实现,例如采用ETL(Extraction-Transformation-Loading,数据提取、转换和加载)或数据服务等方式实现;业务系统的个数可变,受系统资源的限制。
数据共享系统运行一段时间后,会出现大量的多种多样的数据问题,常见的数据问题包括:数据值错误、数据重复或数据不一致。对于出现的数据问题,目前通常是由运维人员进行人工处理的,因此人力资源成本较高;同时,由于人与人之间知识、技能和习惯等的差异,导致处理数据问题的质量不一致且不稳定,因此整个数据共享系统的数据可靠性难以保证,处理效率也较低;由于人的失误概率较高,因此人工处理数据问题的结果的可靠程度也较低。
综上所述,现有技术对于数据共享系统出现的数据问题进行人工处理,处理效率较低且人力资源成本较高;因此,有必要提供一种效率更高的数据问题处理方法和系统。
发明内容
针对上述现有技术存在的缺陷,本发明提供了一种数据问题的处理方法和处理系统,用以提高数据共享系统中处理数据问题的的效率,降低人力资源成本。
本发明的技术方案提供了一种数据问题处理方法,包括:
接收目标业务系统的用户输入的数据问题的问题描述信息,所述问题描述信息包括:目标业务系统信息、问题数据表的相关信息;所述问题数据表的相关信息包括:出现该数据问题的数据表的数据表名称;
在中央数据库中查找到与所述问题数据表具有相同数据表名称的数据表后,确定出查找到的数据表所对应的源业务系统;
根据确定出的源业务系统,以及所述目标业务系统,确定出该数据问题的同步路径;所述同步路径为所述源业务系统到中央数据库、再到所述目标业务系统的数据交换路径;并
根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点,进而从所述同步路径中确定出问题路径区间;
将确定出的问题路径区间所对应的问题原因内容作为该数据问题的问题原因内容后,确定出对应于该数据问题的问题原因内容的处理方案。
较佳地,所述问题数据表的相关信息还包括:所述问题数据表中出现该数据问题的字段的字段名称;以及
所述根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点具体为:
根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表中、与所述问题描述信息中的字段名称相同的字段中的内容,从各节点中确定出问题节点、非问题节点。
较佳地,所述从各节点中确定出问题节点、非问题节点,进而从所述同步路径中确定出问题路径区间具体包括:
确定所述同步路径中相邻的问题节点与非问题节点之间的数据交换路径为所述问题路径区间。
较佳地,所述问题描述信息还包括:数据问题类型;以及所述问题描述信息中的数据问题类型具体为数据值错误或数据重复;以及
所述根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点具体包括:
将所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,分别与所述问题数据表的内容进行比较;将比较结果为相同的节点确定为问题节点;将比较结果为不同的节点确定为非问题节点。
较佳地,所述问题描述信息中的数据问题类型具体为数据不一致,则所述问题描述信息中的所述出现该数据问题的数据表的数据表名称具体包括:源问题数据表和目标问题数据表的数据表名称;以及所述问题数据表中出现该数据问题的字段的字段名称具体包括:源问题数据字段名称和目标问题数据字段名称;以及
所述根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点具体包括:
对于所述同步路径中的每个节点,获取该节点中与所述源问题数据表的数据表名称相同的数据表中、与所述源问题数据字段名称相同的字段中的内容作为第一内容;获取该节点中与所述目标问题数据表的数据表名称相同的数据表中、与所述目标问题数据字段名称相同的字段中的内容作为第二内容;将第一内容与第二内容进行比较;若比较结果为相同,则确定该节点为非问题节点;否则,确定该节点为问题节点。
本发明的技术方案还提供一种数据问题处理系统,包括:
问题描述信息接收模块,用于接收目标业务系统的用户输入的数据问题的问题描述信息,所述问题描述信息包括:目标业务系统信息、问题数据表的相关信息;所述问题数据表的相关信息包括:出现该数据问题的数据表的数据表名称;
同步路径确定模块,用于在中央数据库中查找到与所述问题数据表具有相同数据表名称的数据表后,确定出查找到的数据表所对应的源业务系统;并根据确定出的源业务系统,以及所述目标业务系统,确定出该数据问题的同步路径;所述同步路径为所述源业务系统到中央数据库、再到所述目标业务系统的数据交换路径;
问题路径区间确定模块,用于根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点,进而从所述同步路径中确定出问题路径区间;
处理方案确定模块,用于将确定出的问题路径区间所对应的问题原因内容作为该数据问题的问题原因内容后,确定出对应于该数据问题的问题原因内容的处理方案。
较佳地,所述问题数据表的相关信息还包括:所述问题数据表中出现该数据问题的字段的字段名称;以及
所述问题路径区间确定模块根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点具体为:
所述问题路径区间确定模块根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表中、与所述问题描述信息中的字段名称相同的字段中的内容,从各节点中确定出问题节点、非问题节点。
较佳地,所述问题描述信息还包括:数据问题类型;以及
所述问题路径区间确定模块具体包括:
数据问题类型判断单元,用于在判断出所述问题描述信息中的数据问题类型为数据值错误或数据重复后,发送第一问题路径区间确定通知;
第一问题节点确定单元,用于接收到第一问题路径区间确定通知后,将所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,分别与所述问题数据表的内容进行比较;将比较结果为相同的节点确定为问题节点;将比较结果为不同的节点确定为非问题节点;在对所述同步路径中所有节点确定为问题节点或非问题节点后,发送第一问题路径区间确定通知;
问题路径区间确定单元,用于接收到第一问题路径区间确定通知后,根据所述第一问题节点确定单元确定的问题节点和非问题节点,将所述同步路径中相邻的问题节点与非问题节点之间的数据交换路径确定为所述问题路径区间。
较佳地,所述问题路径区间确定模块还包括:第二问题节点确定单元;
所述数据问题类型判断单元还用于在判断出所述问题描述信息中的数据问题类型为数据不一致后,发送第二问题路径区间确定通知;以及
第二问题节点确定单元用于对于所述同步路径中的每个节点,获取该节点中与所述源问题数据表的数据表名称相同的数据表中、与所述源问题数据字段名称相同的字段中的内容作为第一内容;获取该节点中与所述目标问题数据表的数据表名称相同的数据表中、与所述目标问题数据字段名称相同的字段中的内容作为第二内容;将第一内容与第二内容进行比较;若比较结果为相同,则确定该节点为非问题节点;否则,确定该节点为问题节点;在对所述同步路径中所有节点确定为问题节点或非问题节点后,发送第二问题路径区间确定通知;
所述问题路径区间确定单元还用于接收到第二问题路径区间确定通知后,根据所述第二问题节点确定单元确定的问题节点和非问题节点,将所述同步路径中相邻的问题节点与非问题节点之间的数据交换路径确定为所述问题路径区间。
较佳地,所述中央数据库、源业务系统、和目标业务系统属于同一数据共享系统;以及
所述数据问题处理系统设置于所述数据共享系统中,或者设置于所述数据共享系统外。
本发明的技术方案提供的数据问题处理系统,根据用户举报数据问题时填写的问题描述信息,确定该数据问题的同步路径,根据同步路径和问题描述信息确定出问题路径区间,再确定出所述问题路径区间对应的预存在数据问题处理系统中的原因信息和处理方案的方法流程,是自动执行的,提高了处理数据问题的效率,同时降低了人力资源成本;另,所述方法流程中大部分步骤,以及预设和已存储在数据问题处理系统中的内容不需要人工干预,消除了人的不稳定因素,提高了处理数据问题的可靠性和一致性。
附图说明
图1a为现有技术的数据共享系统的结构框架示意图;
图1b为本发明实施例的数据问题处理方法流程图;
图2为本发明实施例的数据问题的问题归因的方法流程图;
图3为本发明实施例的数据问题处理系统的内部结构框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举出优选实施例,对本发明进一步详细说明。然而,需要说明的是,说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解,即便没有这些特定的细节也可以实现本发明的这些方面。
本申请使用的“模块”、“系统”等术语旨在包括与计算机相关的实体,例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如,模块可以是,但并不仅限于:处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说,计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内,一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
本发明的发明人,考虑到数据共享系统运行过程中出现的数据问题虽然是多种多样的,但是引发所述数据问题的原因却常常是重复的。例如,有多个业务系统发现某一人员或账号信息不完整,最终确定出的原因是业务系统A与中央数据库之间的数据交换机制有缺陷,导致业务系统A向中央数据库写入了有问题的人员或账号信息,而其它业务系统调用了该有问题的人员或账号信息。而对某个确定的用于数据交换的路径发生数据问题的原因通常是已知的,也已存在对应的解决方案。
基于上述的分析,本发明提供的一种数据问题处理系统根据数据问题确定出原因信息,根据原因信息确定出解决方案来处理数据问题的方法,具体流程图如图1b所示,具体包括如下步骤:
S101:数据问题处理系统获得问题描述信息。
具体的,用户在发现数据问题后,向数据问题处理系统举报该数据问题;举报该数据问题时填写该数据问题的问题描述信息,并发送至数据问题处理系统,从而数据问题处理系统获得数据问题的问题描述信息。数据问题的问题描述信息可以包括:目标业务系统信息、和问题数据表的相关信息。
其中,目标业务系统具体指的是举报该数据问题的用户所使用的业务系统;目标业务系统信息具体可以包括:目标业务系统的标识、编号等信息;问题数据表指的是目标业务系统中出现该数据问题的数据表;数据表在数据共享系统中具有唯一标识,也就是说,该数据表在数据共享系统中具有唯一的数据表名称;问题数据表的相关信息包括:该问题数据表的数据表名称;进一步,问题数据表的相关信息还可包括:该问题数据表中出现该数据问题的字段的字段名称。
数据问题的问题描述信息还包括:数据问题类型;数据问题类型可以包括:数据值错误、数据重复或数据不一致等类型。
具体地,类型为数据值错误的数据问题,其问题描述信息中的问题数据表的相关信息包括:出现数据值错误的数据表名称及字段名称,与数据值错误相关的运算符号,和出现数据值错误的错误值;类型为数据重复的数据问题,其问题描述信息中的问题数据表的相关信息包括:出现数据重复的数据表名称和字段名称;类型为数据不一致的数据问题,其问题描述信息中的问题数据表的相关信息包括:出现数据不一致的源系统名称、源数据表名称和源字段名称,以及出现数据不一致的目标系统名称、目标数据表名称和目标字段名称;
进一步,问题描述信息中还可包括:问题数据;问题数据即为目标业务系统中出现数据问题的共享数据。
S102:数据问题处理系统根据问题描述信息进行问题归因。
根据步骤S101中确定出的问题描述信息,进行问题归因,得到归因的结果的具体方法步骤,将在后面详细介绍。
S103:数据问题处理系统根据归因结果查找处理方案。
具体的,根据步骤S102确定出的归因的结果(问题原因内容),及问题原因内容与处理方案的对应关系,确定出所述问题原因内容对应的处理方案。
若没有查找到该问题原因内容对应的处理方案,则确定出该问题原因内容对应的问题路径区间的源系统的负责人,将问题描述信息推送给该负责人,由该负责人制定新处理方案,并将该新处理方案作为该问题原因内容对应的处理方案添加到处理方案集中。
其中,问题原因内容与处理方案的对应关系、和处理方案集为预先存储在数据问题处理系统中的;确定出所述问题原因内容对应的问题路径区间包含在问题归因的具体方法步骤中,将在后面详细介绍。
S104:数据问题处理系统导出并执行确定出的处理方案。
具体的,根据步骤S103确定出的处理方案,从所述处理方案集中导出所述处理方案,并执行该处理方案。
较优的,针对数据值错误和数据重复对应的处理方案通常包括sql(structured query language,结构化查询语言)脚本,针对数据不一致对应的处理方案通常包括kettle(水壶)任务文件。其中,kettle为一款国外开源的ETL工具。
上述步骤S102中所述的问题归因的方法流程图如图2所示,具体包括如下步骤:
S201:数据问题处理系统根据该数据问题的问题描述信息,确定出该数据问题的同步路径。
数据共享系统中每一个共享数据,是在源业务系统产生的,并通过数据交换路径被导入到中央数据库中,再从中央数据库中通过数据交换路径被目标业务系统调用,所述一个共享数据从源业务系统产生到被目标业务系统调用的整个路径称为该共享数据的同步路径。其中,数据交换路径指业务系统与中央数据库之间交换数据的通道;每一个共享数据通常由一个源业务系统产生;由此,在数据共享系统中的中央数据库中维护了共享数据所属的各数据表与产生该数据表的源业务系统之间的对应关系。
具体的,数据问题处理系统根据步骤S101确定出的问题描述信息中的目标业务系统信息,确定出目标业务系统,即确定出该数据问题的目标业务系统;
数据问题处理系统在中央数据库中查找到与所述问题数据表具有相同数据表名称的数据表,确定出查找到的数据表所对应的源业务系统,从而确定出该数据问题的源业务系统;
在确定出所述数据问题的源业务系统和目标业务系统后,可以确定出该数据问题的同步路径。即该数据问题的同步路径包括:从源业务系统到中央数据库的数据交换路径,再从中央数据库到确定出的目标业务系统的数据交换路径。
例如,出现数据值错误的人员数据表,是由业务系统A通过数据交换路径写入中央数据库E,业务系统B通过数据交换路径从中央数据库E调用该人员数据表,当业务系统B的用户发现该人员数据表中的人员数据出现数据值错误后,填写举报该数据值错误的问题描述信息,根据该问题描述信息中的目标业务系统信息确定出目标业务系统为业务系统B,根据该问题描述信息中的人员数据表确定出中央数据库E中确定出产生该人员数据表的源业务系统为业务系统A,则该数据值错误的同步路径包括:从源业务系统A到中央数据库E的数据交换路径,再从中央数据库E到目标业务系统B的数据交换路径。
S202:数据问题处理系统根据该数据问题的问题描述信息和同步路径,确定出该数据问题的问题路径区间。
具体的,将所述同步路径中的各节点中存储的、与所述问题数据表具有相同数据表名称的数据表的内容与所述问题数据表的内容进行比较;根据比较结果从所述同步路径中确定出问题路径区间:
事实上,所述同步路径中的节点至少包括同步路径中的源业务系统、中央数据库和目标业务系统;也就是说,同步路径中的源业务系统、中央数据库和目标业务系统分别作为该同步路径中的各节点。
若根据步骤S101确定出的数据问题的问题描述信息中的数据问题类型为数据值错误或数据重复,则数据问题处理系统查找出该同步路径的每个节点所存储的、与所述问题数据表具有相同数据表名称的数据表;将查找出的数据表中的内容,分别与所述问题数据表的内容进行比较;将比较结果相同的节点确定为问题节点;将比较结果不同的节点确定为非问题节点;将问题节点与相邻的前一个非问题节点之间的数据交换路径作为所述数据问题的问题路径区间。
若根据步骤S101确定出的数据问题的问题描述信息中的问题种类为数据不一致,则数据问题处理系统对于该同步路径的每个节点,查找出该节点所存储的、与所述源问题数据表具有相同数据表名称的数据表中、与所述源问题数据表中出现问题数据的字段具有相同字段名的字段,将查找出的字段的内容作为第一内容;查找出该节点所存储的、与所述目标问题数据表具有相同数据表名称的数据表中、与所述目标问题数据表中出现问题数据的字段具有相同字段名的字段,将查找出的字段的内容作为第二内容;将第一内容与第二内容进行比较;若比较结果相同,则确定该节点为非问题节点;否则,确定该节点为问题节点。将问题节点与相邻的前一个非问题节点之间的数据交换路径作为所述数据问题的问题路径区间。
例如:某人员数据表出现数据值错误,该数据值错误的同步路径包括:从业务系统A到中央数据库E的数据交换路径,再从中央数据库E到业务系统B的数据交换路径;根据数据值错误的问题描述信息中该人员数据表的名称,分别查找出在业务系统A、中央数据库E和业务系统B处所存储的具有相同数据表名称的人员数据表;将查找出的人员数据表中的内容分别与所述问题描述信息中的人员数据表中的内容比较:若问题描述信息中的人员数据表的内容,与业务系统A处存储的具有相同数据表名称的人员数据表的内容存在不同,而与中央数据库E处存储的具有相同数据表名称的人员数据表的内容相同,则确定业务系统A为非问题节点,中央数据库E为问题节点,从业务系统A到中央数据库E的数据交换路径为所述数据值错误的问题路径区间。
S203:数据问题处理系统根据该数据问题的问题路径区间,确定出对应该数据问题的问题原因内容。
具体的,在数据问题处理系统中预先存储了问题路径区间和问题原因内容的对应关系,数据问题处理系统根据步骤S202确定出的数据问题的问题路径区间,查找出该问题路径区间对应的问题原因内容,作为该数据问题对应的问题原因内容。
其中,问题路径区间与问题原因内容之间的对应关系是预先存储在数据问题处理系统中的。
进一步的,可以对存储在数据问题处理系统中各问题原因内容被归因的频次进行统计;将问题路径区间(数据交换路径)、问题原因内容和归因频次组成一个频次数据表,为数据共享系统的优化提供参考:比如,对频次数据表中数据根据归因频次的数值从大到小排序,选择数值较大的前若干个归因频次对应的数据交换路径优先进行优化。
例如:从业务系统A到中央数据库E的数据交换路径为人员数据出现数据值错误的问题路径区间,而在数据问题处理系统中该问题路径区间对应的问题原因内容预先存储为数据交换不可靠;则该人员数据出现数据值错误对应的问题原因内容为数据交换不可靠。
本发明实施例还提供了一种数据问题处理系统,内容结构框图如图3所示,具体包括:问题描述信息接收模块301,同步路径确定模块302,问题路径区间确定模块303,处理方案确定模块304;
问题描述信息接收模块301用于接收目标业务系统的用户输入的数据问题的问题描述信息,所述问题描述信息包括:目标业务系统信息、问题数据表的相关信息;所述问题数据表的相关信息包括:该问题数据表的数据表名称;所述问题数据表的相关信息还包括:所述问题数据表中出现该数据问题的字段的字段名称;所述问题描述信息还包括:数据问题类型。
同步路径确定模块302用于根据问题描述信息接收模块301接收的数据问题的问题描述信息,在中央数据库中查找到与所述问题数据表具有相同数据表名称的数据表后,确定出查找到的数据表所对应的源业务系统;并根据确定出的源业务系统,以及所述目标业务系统,确定出该数据问题的同步路径;所述同步路径为所述源业务系统到中央数控库、再到所述目标业务系统的数据交换路径。
问题路径区间确定模块303用于根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点,进而从所述同步路径中确定出问题路径区间;问题路径区间确定模块303还用于根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表中、与所述问题描述信息中的字段具有相同字段名的字段中的内容,从各节点中确定出问题节点、非问题节点。该模块的内容结构在后面详细介绍。
处理方案确定模块304,用于将问题路径区间确定模块303确定出的问题路径区间所对应的问题原因内容作为该数据问题的问题原因内容后,确定出对应于该数据问题的问题原因内容的处理方案。
上述的问题路径区间确定模块303内容结构框图如图3所示,具体包括:数据问题类型判断单元401、第一问题节点确定单元402、第二问题节点确定单元403、问题路径区间确定单元404;
数据问题类型判断单元401,用于在判断出问题描述信息接口模块301确定的问题描述信息中的数据问题类型为数据值错误或数据重复后,发送第一问题路径区间确定通知给第一问题节点确定单元402;以及在判断出问题描述信息接口模块301确定的问题描述信息中的数据问题类型为数据不一致后,发送第二问题区间确定通知给第二问题节点确定单元403。
第一问题节点确定单元402用于接收到第一问题路径区间确定通知后,将所述同步路径中各点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,分别与所述问题数据表的内容进行比较;将比较结果为相同的节点确定为问题节点;将比较结果为不同的节点确定为非问题节点;在对所述同步路径中所有节点确定为问题节点或非问题节点后,发送第一问题路径区间确定通知给问题路径区间确定单元404。
第二问题节点确定单元403用于接收到第二问题路径区间确定通知后,对于所述同步路径中的每个节点,获取该节点中与所述源问题数据表的数据表名称相同的数据表中、与所述源问题数据表中出现数据问题的字段具有相同字段名的字段中的内容作为第一内容;获取该节点中与所述目标问题数据表的数据表名称相同的数据表中、与所述目标问题数据表中出现数据问题的字段具有相同字段名的字段中的内容作为第二内容;将第一内容与第二内容进行比较;若比较结果为相同,则确定该节点为非问题节点;否则,确定该节点为问题节点;在对所述同步路径中所有节点确定为问题节点或非问题节点后,发送第二问题路径区间确定通知给问题路径区间确定单元404。
问题路径区间确定单元404,用于接收到第一问题路径区间确定通知后,根据所述第一问题节点确定单元402确定的问题节点和非问题节点,将所述同步路径中相邻的问题节点与非问题节点之间的数据交换路径确定为所述问题路径区间;以及接收到第二问题路径区间确定通知后,根据所述第二问题节点确定单元403确定的问题节点和非问题节点,将所述同步路径中相邻的问题节点与非问题节点之间的数据交换路径确定为所述问题路径区间。
此外,所述中央数据库、源业务系统和目标业务系统属于同一个数据共享系统;而本发明方案提供的数据问题处理系统可以设置于所述数据共享系统中,或者设置于所述数据共享系统外。
本发明的技术方案提供的数据问题处理系统,根据用户举报数据问题时填写的问题描述信息,确定该数据问题的同步路径,根据同步路径和问题描述信息确定出问题路径区间,再确定出所述问题路径区间对应的预存在数据问题处理系统中的原因信息和处理方案的方法流程,是自动执行的,提高了处理数据问题的效率,同时降低了人力资源成本;另,所述方法流程中大部分步骤,以及预设和已存储在数据问题处理系统中的内容不需要人工干预,消除了人的不稳定因素,提高了处理数据问题的可靠性和一致性。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据问题处理方法,其特征在于,包括:
接收目标业务系统的用户输入的数据问题的问题描述信息,所述问题描述信息包括:目标业务系统信息、问题数据表的相关信息;所述问题数据表的相关信息包括:出现该数据问题的数据表的数据表名称;
在中央数据库中查找到与所述问题数据表具有相同数据表名称的数据表后,确定出查找到的数据表所对应的源业务系统;
根据确定出的源业务系统,以及所述目标业务系统,确定出该数据问题的同步路径;所述同步路径为所述源业务系统到中央数据库、再到所述目标业务系统的数据交换路径;并根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点,进而从所述同步路径中确定出问题路径区间;
将确定出的问题路径区间所对应的问题原因内容作为该数据问题的问题原因内容后,确定出对应于该数据问题的问题原因内容的处理方案。
2.如权利要求1所述的方法,其特征在于,所述问题数据表的相关信息还包括:所述问题数据表中出现该数据问题的字段的字段名称;以及所述根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点具体为:
根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表中、与所述问题描述信息中的字段名称相同的字段中的内容,从各节点中确定出问题节点、非问题节点。
3.如权利要求1或2所述的方法,其特征在于,所述从各节点中确定出问题节点、非问题节点,进而从所述同步路径中确定出问题路径区间具体包括:
确定所述同步路径中相邻的问题节点与非问题节点之间的数据交换路径为所述问题路径区间。
4.如权利要求3所述的方法,其特征在于,所述问题描述信息还包括:数据问题类型;以及所述问题描述信息中的数据问题类型具体为数据值错误或数据重复;以及所述根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点具体包括:
将所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,分别与所述问题数据表的内容进行比较;将比较结果为相同的节点确定为问题节点;将比较结果为不同的节点确定为非问题节点。
5.如权利要求4所述的方法,其特征在于,所述问题描述信息中的数据问题类型具体为数据不一致,则所述问题描述信息中的所述出现该数据问题的数据表的数据表名称具体包括:源问题数据表和目标问题数据表的数据表名称;以及所述问题数据表中出现该数据问题的字段的字段名称具体包括:源问题数据字段名称和目标问题数据字段名称;以及所述根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点具体包括:
对于所述同步路径中的每个节点,获取该节点中与所述源问题数据表的数据表名称相同的数据表中、与所述源问题数据字段名称相同的字段中的内容作为第一内容;获取该节点中与所述目标问题数据表的数据表名称相同的数据表中、与所述目标问题数据字段名称相同的字段中的内容作为第二内容;将第一内容与第二内容进行比较;若比较结果为相同,则确定该节点为非问题节点;否则,确定该节点为问题节点。
6.一种数据问题处理系统,其特征在于,包括:
问题描述信息接收模块,用于接收目标业务系统的用户输入的数据问题的问题描述信息,所述问题描述信息包括:目标业务系统信息、问题数据表的相关信息;所述问题数据表的相关信息包括:出现该数据问题的数据表的数据表名称;
同步路径确定模块,用于在中央数据库中查找到与所述问题数据表具有相同数据表名称的数据表后,确定出查找到的数据表所对应的源业务系统;并根据确定出的源业务系统,以及所述目标业务系统,确定出该数据问题的同步路径;所述同步路径为所述源业务系统到中央数据库、再到所述目标业务系统的数据交换路径;
问题路径区间确定模块,用于根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点,进而从所述同步路径中确定出问题路径区间;
处理方案确定模块,用于将确定出的问题路径区间所对应的问题原因内容作为该数据问题的问题原因内容后,确定出对应于该数据问题的问题原因内容的处理方案。
7.如权利要求6所述的系统,其特征在于,所述问题数据表的相关信息还包括:所述问题数据表中出现该数据问题的字段的字段名称;以及所述问题路径区间确定模块根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,从各节点中确定出问题节点、非问题节点具体为:
所述问题路径区间确定模块根据所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表中、与所述问题描述信息中的字段名称相同的字段中的内容,从各节点中确定出问题节点、非问题节点。
8.如权利要求7所述的系统,其特征在于,所述问题描述信息还包括:数据问题类型;以及所述问题路径区间确定模块具体包括:
数据问题类型判断单元,用于在判断出所述问题描述信息中的数据问题类型为数据值错误或数据重复后,发送第一问题路径区间确定通知;
第一问题节点确定单元,用于接收到第一问题路径区间确定通知后,将所述同步路径中各节点存储的、与所述问题数据表具有相同数据表名称的数据表的内容,分别与所述问题数据表的内容进行比较;将比较结果为相同的节点确定为问题节点;将比较结果为不同的节点确定为非问题节点;在对所述同步路径中所有节点确定为问题节点或非问题节点后,发送第一问题路径区间确定通知;
问题路径区间确定单元,用于接收到第一问题路径区间确定通知后,根据所述第一问题节点确定单元确定的问题节点和非问题节点,将所述同步路径中相邻的问题节点与非问题节点之间的数据交换路径确定为所述问题路径区间。
9.如权利要求8所述的系统,其特征在于,所述问题路径区间确定模块还包括:第二问题节点确定单元;
所述数据问题类型判断单元还用于在判断出所述问题描述信息中的数据问题类型为数据不一致后,发送第二问题路径区间确定通知;以及第二问题节点确定单元用于对于所述同步路径中的每个节点,获取该节点中与所述源问题数据表的数据表名称相同的数据表中、与所述源问题数据字段名称相同的字段中的内容作为第一内容;获取该节点中与所述目标问题数据表的数据表名称相同的数据表中、与所述目标问题数据字段名称相同的字段中的内容作为第二内容;将第一内容与第二内容进行比较;若比较结果为相同,则确定该节点为非问题节点;否则,确定该节点为问题节点;在对所述同步路径中所有节点确定为问题节点或非问题节点后,发送第二问题路径区间确定通知;
所述问题路径区间确定单元还用于接收到第二问题路径区间确定通知后,根据所述第二问题节点确定单元确定的问题节点和非问题节点,将所述同步路径中相邻的问题节点与非问题节点之间的数据交换路径确定为所述问题路径区间。
10.如权利要求6-9所述的系统,其特征在于,所述中央数据库、源业务系统、和目标业务系统属于同一数据共享系统;以及所述数据问题处理系统设置于所述数据共享系统中,或者设置于所述数据共享系统外。
CN201310220597.6A 2013-06-05 2013-06-05 数据问题处理方法和处理系统 Active CN103268355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310220597.6A CN103268355B (zh) 2013-06-05 2013-06-05 数据问题处理方法和处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310220597.6A CN103268355B (zh) 2013-06-05 2013-06-05 数据问题处理方法和处理系统

Publications (2)

Publication Number Publication Date
CN103268355A true CN103268355A (zh) 2013-08-28
CN103268355B CN103268355B (zh) 2016-12-28

Family

ID=49011984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310220597.6A Active CN103268355B (zh) 2013-06-05 2013-06-05 数据问题处理方法和处理系统

Country Status (1)

Country Link
CN (1) CN103268355B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101301A1 (zh) * 2015-12-14 2017-06-22 乐视控股(北京)有限公司 数据信息处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020049740A1 (en) * 2000-08-17 2002-04-25 International Business Machines Corporation Method and system for detecting deviations in data tables
CN101625686A (zh) * 2008-07-08 2010-01-13 阿里巴巴集团控股有限公司 一种监控多数据库之间数据一致性的方法及系统
CN102231161A (zh) * 2011-06-30 2011-11-02 北京新媒传信科技有限公司 数据库同步验证及监控方法
CN103019874A (zh) * 2012-12-13 2013-04-03 中国电子科技集团公司第十五研究所 基于数据同步实现异常处理的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020049740A1 (en) * 2000-08-17 2002-04-25 International Business Machines Corporation Method and system for detecting deviations in data tables
CN101625686A (zh) * 2008-07-08 2010-01-13 阿里巴巴集团控股有限公司 一种监控多数据库之间数据一致性的方法及系统
CN102231161A (zh) * 2011-06-30 2011-11-02 北京新媒传信科技有限公司 数据库同步验证及监控方法
CN103019874A (zh) * 2012-12-13 2013-04-03 中国电子科技集团公司第十五研究所 基于数据同步实现异常处理的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邬建锋: "异构数据库数据共享问题研究", 《中国硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101301A1 (zh) * 2015-12-14 2017-06-22 乐视控股(北京)有限公司 数据信息处理方法及装置

Also Published As

Publication number Publication date
CN103268355B (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
CN110209496B (zh) 基于数据处理的任务分片方法、装置及分片服务器
US11586673B2 (en) Data writing and reading method and apparatus, and cloud storage system
CN109150572B (zh) 实现告警关联的方法、装置以及计算机可读存储介质
TWI662426B (zh) 分布式流式資料處理的方法和裝置
US10783163B2 (en) Instance-based distributed data recovery method and apparatus
CN104166738A (zh) 数据库查询处理的方法及装置
CN103945000B (zh) 一种负载均衡方法及负载均衡器
CN103973461A (zh) 一种通知消息的推送方法及消息服务器
US20160225042A1 (en) Determining a cost of an application programming interface
US20220200902A1 (en) Method, apparatus and storage medium for application identification
CN110704484A (zh) 一种对海量实时数据流进行处理的方法及系统
CN104750747A (zh) 将报错信息转换为出错提示的方法和系统
CN110808839B (zh) 一种区块链异常数据的处理方法、装置、设备和介质
CN111181800A (zh) 测试数据处理方法、装置、电子设备及存储介质
CN103713998A (zh) 一种可扩展的在线静态代码缺陷分析方法
CN113849486A (zh) 故障处理方法、其装置、电子设备及计算机可读存储介质
CN110555014B (zh) 一种数据迁移方法和系统、电子设备、存储介质
CN112785124A (zh) 一种电信业务合规性稽核方法及系统
CN104410511B (zh) 一种服务器管理方法及系统
CN107257371B (zh) 基于Handle系统的解析方法及Handle系统
CN106855862A (zh) 一种快速比较方法及装置
US20160225043A1 (en) Determining a cost of an application
CN103268355A (zh) 数据问题处理方法和处理系统
EP3993366B1 (en) Network load balancer, request message distribution method, program product and system
CN105634999A (zh) 一种介质访问控制地址的老化方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant