CN101639849B - 处理数据的方法和装置 - Google Patents

Abstract

本发明提供一种处理数据的方法和装置，涉及数据库领域，所述方法包括：在第一数据库中的至少一个第一数据和第二数据库中的至少一个第二数据之间建立对应关系；根据所述对应关系，从所述第一数据库中获取所述第一数据的第一数值；根据所述对应关系，从所述第二数据库中获取所述第二数据的第二数值；比较所述第一数值和所述第二数值，生成比较结果。本发明能够提高数据库验证的准确性。

Description

处理数据的方法和装置 

技术领域

本发明涉及数据库领域，特别是指一种处理数据的方法和装置。 

背景技术

对数据库提供商而言，保证每次处理、转换以及发布的产品数据的正确性和完整性，是数据生产与出品的一个至关重要的工作。 

对出品数据实施品质保证的方法通常包括以下几种： 

人工检查方式，通过抽样的方式，确认产品数据与规格书的一致性，由于人力所限，人工检查数据的抽样覆盖率偏低，且检查方式缺少科学的记录与评价方法，因此数据检查的准确率比较低。 

人工对比方式，将母库数据的统计结果与产品数据的统计结果进行人工目视比较，选取差异较大的部分进行确认，采用统计结果手动对比的方式，由于人为因素比较大，无法保证数据检查的准确率。 

软件检查方式，通过程序检验数据与规格书的一致性，包括值域检查、唯一性检查、完整性检查、有效字符检查等。理论上，在软件检查认为产品数据无转换错误的前提下，依据交换规格的格式要求进行数据结构相关检查；但是，当转换软件或流程存在漏洞时，不能分析出是否有数据未被输出的情况，同样无法保证数据检查的准确率。 

发明内容

本发明要解决的技术问题是提供一种提高数据检查准确性的处理数据的方法和装置。 

为解决上述技术问题，本发明的实施例提供技术方案如下： 

一方面，提供一种处理数据的方法，包括： 

在第一数据库中的至少一个第一数据和第二数据库中的至少一个第二数 据之间建立对应关系； 

根据所述对应关系，从所述第一数据库中获取所述第一数据的第一数值； 

根据所述对应关系，从所述第二数据库中获取所述第二数据的第二数值； 

比较所述第一数值和所述第二数值，生成比较结果。 

所述对应关系用四则运算公式表示。 

所述根据所述对应关系，从所述第一数据库中获取所述第一数据的第一数值的步骤包括： 

获取所述第一数据库中的第一数据的数值； 

将所述第一数据的数值根据四则运算公式进行计算，得到第一数值； 

所述根据所述对应关系，从所述第二数据库中获取所述第二数据的第二数值的步骤为： 

获取所述第二数据库中第二数据的数值； 

将所述第二数据的数值根据四则运算公式进行计算，得到第二数值。 

所述比较所述第一数值和所述第二数值，生成比较结果的步骤包括： 

计算所述第一数值和所述第二数值的比率，得到比率值；或 

计算所述第一数值和所述第二数值的差值，得到差值。 

所述对应关系为一对一、一对多、多对一或多对多。 

所述第一数据库与所述第二数据库之间的关系为： 

所述第一数据库为母库，所述第二数据库为来自所述母库的产品库；或 

所述第一数据库为母库，所述第二数据库为来自所述母库的作业库；或 

所述第一数据库为母库的产品库，所述第二数据库为来自所述母库的作业库；或 

所述第一数据库为母库的作业库，所述第二数据库为来自所述母库的产品库；或 

所述第一数据库为一数据库的第一版本，所述第二数据库为来自所述数据库的第二版本。 

当所述第一数据库为一数据库的第一版本，所述第二数据库为来自所述数据库的第二版本时，所述第一数据和所述第二数据之间的对应关系为一对一。 

所述第一数据库与所述第二数据库均为电子导航地图数据库。 

另一方面，提供一种处理数据的装置，包括： 

对应关系建立单元，用于在第一数据库中的至少一个第一数据和第二数据库中的至少一个第二数据之间建立对应关系； 

第一获取单元，用于根据所述对应关系，从所述第一数据库中获取所述第一数据的第一数值； 

第二获取单元，用于根据所述对应关系，从所述第二数据库中获取所述第二数据的第二数值； 

比较单元，用于比较所述第一数值和所述第二数值，生成比较结果。 

所述第一获取单元包括： 

第一获取子单元，获取所述第一数据库中的第一数据的数值； 

第一计算单元，将所述第一数据的数值根据四则运算公式进行计算，得到第一数值； 

所述第二获取单元包括： 

第二获取子单元，获取所述第二数据库中第二数据的数值； 

第二计算单元，将所述第二数据的数值根据四则运算公式进行计算，得到第二数值。 

本发明的实施例具有以下有益效果： 

上述方案中，根据第一数据库中第一数据和第二数据库中第二数据之间的对应关系，比较第一数据的第一数值和第二数据的第二数值，生成比较结果。根据比较结果可以得知第二数据库中的数据相对于第一数据库中的数据的变化情况，从而验证第二数据库中的数据相对于第一数据库中的数据的正确性。该方法将数据库中作为最小元素的数据进行比较，提高了验证数据库数据的准确性。 

附图说明

图1为本发明所述的处理数据的方法的一实施例的流程示意图； 

图2为本发明所述的处理数据的方法的另一实施例的流程示意图； 

图3为本发明所述的处理数据的装置的一实施例的结构示意图； 

图4为本发明所述的处理数据的装置的另一实施例的结构示意图； 

图5为本发明应用场景中母库与产品库之间的互差分和自差分关系； 

图6为本发明应用场景中数据统计分析系统的结构示意图。 

具体实施方式

为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。 

本发明的实施例针对现有技术中数据库中数据检测准确率低的技术问题，提供一种处理数据的方法和装置。 

如图1所示，为本发明所述的一种处理数据的方法的一实施例，包括： 

步骤11，在第一数据库中的至少一个第一数据和第二数据库中的至少一个第二数据之间建立对应关系。 

所述对应关系为一对一、一对多、多对一或多对多。即，所述第一数据库中的一个第一数据和第二数据库中的一个第二数据对应，或者，所述第一数据库中的一个第一数据和第二数据库中的多个第二数据对应，或者所述第一数据库中的多个第一数据和第二数据库中的一个第二数据对应，或者所述第一数据库中的多个第一数据和第二数据库中的多个第二数据对应。所述对应关系可以用四则运算公式表示。所述第一数据库和第二数据库之间的关系，可以为：所述第一数据库为母库，所述第二数据库为来自所述母库的产品库；或所述第一数据库为母库，所述第二数据库为来自所述母库的作业库；或所述第一数据库为母库的产品库，所述第二数据库为来自所述母库的作业库；或所述第一数据库为母库的作业库，所述第二数据库为来自所述母库的产品库；或所述第一数据库为一数据库的第一版本，所述第二数据库为来自所述数据库的第二版本。当所述第一数据库为一数据库的第一版本，所述第二数据库为来自所述数据库的第二版本时，所述第一数据和所述第二数据之间的对应关系为一对一。 

步骤12，根据所述对应关系，从所述第一数据库中获取所述第一数据的第一数值。 

步骤13，根据所述对应关系，从所述第二数据库中获取所述第二数据的第二数值。 

步骤14，比较所述第一数值和所述第二数值，生成比较结果。 

上述方案中，根据第一数据库中第一数据和第二数据库中第二数据之间的对应关系，比较第一数据的第一数值和第二数据的第二数值，生成比较结果。根据比较结果可以得知第二数据库中的数据相对于第一数据库中的数据的变化情况，从而验证第二数据库中的数据相对于第一数据库中的数据的正确性。该方法将数据库中作为最小元素的数据进行比较，提高了验证数据库数据的准确性。 

如图2所示，为本发明所述的一种处理数据的方法的另一实施例，包括： 

步骤21，在第一数据库中的至少一个第一数据和第二数据库中的至少一个第二数据之间建立对应关系。 

所述对应关系为一对一、一对多、多对一或多对多。即，所述第一数据库中的一个第一数据和第二数据库中的一个第二数据对应，或者，所述第一数据库中的一个第一数据和第二数据库中的多个第二数据对应，或者所述第一数据库中的多个第一数据和第二数据库中的一个第二数据对应，或者所述第一数据库中的多个第一数据和第二数据库中的多个第二数据对应。所述对应关系可以用四则运算公式表示。所述第一数据库和第二数据库之间的关系，可以为：所述第一数据库为母库，所述第二数据库为来自所述母库的产品库；或所述第一数据库为母库，所述第二数据库为来自所述母库的作业库；或所述第一数据库为母库的产品库，所述第二数据库为来自所述母库的作业库；或所述第一数据库为母库的作业库，所述第二数据库为来自所述母库的产品库；或所述第一数据库为一数据库的第一版本，所述第二数据库为来自所述数据库的第二版本。例如：第一数据库中的第一数据包括：Data1(海淀区的加油站)、Data1(朝阳区的加油站)，第二数据库中的第二数据为：Data2(海淀区和朝阳区的加油站)。第一数据库中的第一数据和第二数据库中的第二数据之间的对应关系为多对一，用四则运算公式表示为：Data1(海淀区的加油站)+Data1(朝阳区的加油站)对应Data2(海淀区和朝阳区的加油站)。 

当所述第一数据库为一数据库的第一版本，所述第二数据库为来自所述数据库的第二版本时，所述第一数据和所述第二数据之间的对应关系为一对一。数据库的第一版本和数据库的第二版本之间的关系可以为：在不同阶段同一数据库处理的不同版本。例如，数据库的第一版本中第一数据为：Data1(海淀区的加油站)，数据库的第二版本中第二数据也同样为：Data2(海淀区的加油站)，用四则运算公式表示为：Data1(海淀区的加油站)对应Data2(海淀区的加油站)。 

步骤22，获取所述第一数据库中的第一数据的数值。例如，在第一数据库中，Data1(海淀区的加油站)的数值为522，Data1(朝阳区的加油站)的数值为622。 

步骤23，将所述第一数据的数值根据四则运算公式进行计算，得到第一数值。例如，将Data1(海淀区的加油站)与Data1(朝阳区的加油站)相加，得到第一数值为1144。 

步骤24，获取所述第二数据库中第二数据的数值。例如，该步骤为，在第二数据库中，Data2(海淀区和朝阳区的加油站)的数值为1143。 

步骤25，将第二数据的数值根据四则运算公式进行计算，得到第二数值。例如，在第二数据库中，Data2(海淀区和朝阳区的加油站)只有一个，因此该步骤的执行结果为Data2(海淀区和朝阳区的加油站)的数值为1143。 

步骤26，比较所述第一数值和所述第二数值，生成比较结果。 

步骤26具体为：计算所述第一数值和第二数值的比率，得到比率值；或计算所述第一数值和第二数值的差值，得到差值。例如，将第一数值1144和第二数值1143相比，差值为1，因此可以知道，从第一数据库转化为第二数据库中，数据发生了变化，需要定位分析发生变化的原因。如果差值为0，则从第一数据库转化为第二数据库的过程中，初步分析为：数据处理没有发生错误。 

另一方面，如图3所示，为本发明所述的处理数据的装置3，包括： 

对应关系建立单元31，用于在第一数据库中的至少一个第一数据和第二数据库中的至少一个第二数据之间建立对应关系； 

第一获取单元32，用于根据所述对应关系，从所述第一数据库中获取所 述第一数据的第一数值； 

第二获取单元33，用于根据所述对应关系，从所述第二数据库中获取所述第二数据的第二数值； 

比较单元34，用于比较所述第一数值和所述第二数值，生成比较结果。 

如图4所示，所述第一获取单元32包括： 

第一获取子单元321，用于获取所述第一数据库中的第一数据的数值； 

第一计算子单元322，用于将所述第一数据的数值根据四则运算公式进行计算，得到第一数值。 

所述第二获取单元33包括： 

第二获取子单元331，用于获取所述第二数据库中的第二数据的数值； 

第二计算子单元332，用于将所述第二数据的数值根据四则运算公式进行计算，得到第二数值。 

上述方案中，根据第一数据库中第一数据和第二数据库中第二数据之间的对应关系，比较第一数据第一数值和第二数据的第二数值，生成比较结果。根据比较结果可以得知第二数据库中的数据相对于第一数据库中的数据的变化情况，从而验证第二数据库中的数据相对于第一数据库中的数据的正确性。该方法将数据库中作为最小元素的数据进行比较，提高了数据验证的准确性。 

本发明可应用于各种领域的数据库，例如导航电子地图数据库。以下以导航电子地图数据库为例，描述本发明所述的处理数据的方法和装置的应用场景。 

本实施例中指的统计，为根据一定的原则对某种规格数据的某些特定要素信息进行数量累计，如母库数据08夏数据中道路等级为1级的道路总长度。 

本实施例中指的互差分，为不同规格数据在分别进行统计后，对统计结果的对比分析，是对所有可差分统计项目统计结果的逐个比较，从而获得数据变化情况。如转换后的产品数据统计结果与转换前母库数据统计结果的对比，可用于分析转换过程的正确性。 

本实施例中指的自差分：为同一规格数据在不同时刻、前后两次统计结果的对比，是对所有有效统计项目两次统计结果的逐个比较，从而获得数据变化的差量。如母库数据08夏统计结果与08冬统计结果的对比差分，可分析出新版数据的长度、里程、数量等的变化情况。如图5所示，为母库与产品库之间的互差分和自差分关系。

本文提出面向多源数据(作业库、母库、产品库)进行统计分析的方法，利用各源数据(作业库、母库、产品库)的统计结果进行差分对比，设计一种数据统计分析系统NaviDSAS，能够实现以下有益效果： 

(1)多源数据数据量的自动化统计、统计结果的自动化自差分与互差分； 

(2)统计、差分结果的可视化展示，直接从oracle数据库输出到excel表格； 

(3)提供基于统计差分之上的分析功能，自动化定位数据的异常变化点。 

本实施例中，能够通过互差分保证出品数据的品质，通过自差分保证每次数据处理过程的品质，并获得数据量的变化情况。由于地图提供商每个对外交换的规格数据都来源于本公司的数据母库，所以，各个产品数据与母库之间必定存在很高的信息一致度，蕴含丰富信息的产品数据至少可达到与母库信息总量高度的一致性，尤其道路数据信息的一致程度会更高。因此，利用母库数据与产品数据各自的统计结果进行自动化互差分对比，能够有效地分析数据转换前后信息量的变化情况，从而验证数据品质。 

由于数据的规格定义的区别，不能使得产品数据的所有要素的数量都与母库一模一样，但大部分数据应该相同。这里的相同，可以是第一数据库的数据和第二数据库的数据的统计结果的数值完全相同，也可以是第二数据库的数据中若干个第二数据通过加减得到的数值与第一数据库中中某个数据的数值相同。 

由于导航电子地图数据本身涉及数据源多样、丰富，制作流程复杂等特点，在其生产过程中，不可避免存在的数据内容的融合和转换，通过自差分，来对各个转换点前后的数据变化的正确性进行验证与分析。而且，同一规格产品数据前后两版统计结果的自动化自差分，能快速帮助地图提供商获得数据变化情况。 

通过互差分，对出品转换前后两种数据规格的统计结果的对比分析，可直观、有效地获取不同规格数据之间的信息量变化，快速定位差异处，帮助人工进行更全面的数据检验，从而保证产品数据出品的完整性，确保需要的数据信息都已经被正确转出。 

通过自差分，对作业过程中某个数据处理环节前后统计结果的对比分析，可快速获得数据异常变化，即非本次处理应该引起的数据变化异常点，同时可以获得新版本产品数据的信息量变化情况。 

下面介绍统计及互差分实现流程。 

本应用场景中，所有统计差分相关数据采用Oracle数据库统一存储，在同一个数据库中进行差分比较方便，且利于管理。 

(1)建立统计规则元数据表，如表格1所示。 

元数据表中记录了各统计项的名称和分类信息，统计结果输出单元可以提取这些信息作为统计结果数据的标题。对于母库和各产品数据的统计，采用结构相同、内容不同的元数据表。 

表格1： 

序号	种类	子种类	类别	项目名  称	项目代码
						1	道路	点属性	高速收费站(16)	点数	Db_Road_node_5
2	道路	点属性	普通收费站(16)	点数	Db_Road_node_6

(2)建立互差分映射表，如表格2所示。 

通过提取各数据规格之间可以进行差分对比的统计项目，形成若干互差分映射表；该表描述了不同数据规格的可差分项之间的对应关系，可差分项之间的差分规则，规则的描述方式采用算术四则表达式的方法。不同的统计类之间的互差分规则，采用独立的互差分映射表存储。 

表格2： 

项  目  序	第一数据库  数据规格	第一数据库  计算公式	第二数据库  数据规则	第二数据库  计算公式
					号
1	Db_Road_node_5，  Db_Road_node_6，  Db_Road_node_7	Db_Road_node_5+  Db_Road_node_6+  Db_Road_node_7	NA_Road_  node_21	NA_Road_  node_21

(3)生成统计结果数据表，如表格3所示。与统计规则项元数据表对应，记录各规格数据的统计结果，不同类型、版本数据的统计结果单独存放，但都采用相同的表结构。 

表格3： 

项目序号	第一数据库数据规格	数值
			1	Db_Road_node_5	5
2	Db_Road_node_6	6

(4)生成差分结果表，将差分结果数据表输出到Excel，存储历次差分结果数据。 

该步骤可以分为两种情况： 

第一种情况：实施互差分：互差分映射表中记录了母库数据统计规则与产品数据统计规则之间的对应关系，执行差分时，根据统计规则的对应关系在母库、产品统计结果表中获得相应的记录，进行差量计算并将结果记录到差分结果表中。 

例如，第一数据库和第二数据库之间的一条差分规则为表格2所示。 

(a)第一数据库中，第一规格数据为Db_Road_node_5、Db_Road_node_6、Db_Road_node_7，从第一数据库中获取Db_Road_node_5、Db_Road_node_6、Db_Road_node_7，对应的值(假设分别为5、6、7)。 

(b)根据第一数据库的计算公式：Db_Road_node_5+Db_Road_node_6+Db_Road_node_7，用获取的数值替换公式中的编号，最后得到计算表达式为5+6+7，计算值为18。 

(c)对于第二数据库，第二规格数据为NA_Road_node_21，获取其对应的值(假设值为17)。 

(d)用获取的值170替换第二数据库计算公式中NA_Road_node_21，计 算得到值17。 

(e)用第一数据库的值18减去第二数据库的值15，得到差分值3，即可得到比较结果。 

第二种情况：实施自差分：无需映射表，根据元数据表查找不同规格数据在不同版本的数据库的统计结果记录，进行差量、变化百分比计算并记录结果。 

相应的，如图6所示，为相应的数据统计分析系统的结构示意图，其功能如下： 

(1)多源数据的统计，包括作业库数据、母库数据、及多个不同规格的产品数据； 

(2)多源数据统计结果自动化地自差分和互差分，得出差分结果； 

(3)多源数据统计、差分结果的自动化、可定制地输出，从oracle数据库输出到excel表格； 

(4)多源数据差分结果的自动化分析，将超过一定变化百分比的异常统计项和数据源(到图幅级)进行自动定位、报告。 

本发明所述的数据处理的方法和装置，通过建立数据统计分析系统，将数据生产与出品中涉及到的不同规格、多源数据之间转换的关键环节管理起来，进行自差分与互差分，实现统计、差分、结果输出的自动化，有效地控制转换、出品环节的品质。 

所述方法实施例是与所述装置实施例相对应的，在方法实施例中未详细描述的部分参照装置实施例中相关部分的描述即可，在装置实施例中未详细描述的部分参照方法实施例中相关部分的描述即可。 

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如上述方法实施例的步骤，所述的存储介质，如：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。 

在本发明各方法实施例中，所述各步骤的序号并不能用于限定各步骤的先后顺序，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，对 各步骤的先后变化也在本发明的保护范围之内。 

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。 

Claims (7)

1.一种处理数据的方法，其特征在于，包括：

在第一数据库中的至少一个第一数据和第二数据库中的至少一个第二数据之间建立对应关系；

根据所述对应关系，从所述第一数据库中获取所述第一数据的第一数值；

根据所述对应关系，从所述第二数据库中获取所述第二数据的第二数值；

比较所述第一数值和所述第二数值，生成比较结果;

所述对应关系用四则运算公式表示，

所述根据所述对应关系，从所述第一数据库中获取所述第一数据的第一数值的步骤包括：

获取所述第一数据库中的第一数据的数值；

将所述第一数据的数值根据四则运算公式进行计算，得到第一数值；

所述根据所述对应关系，从所述第二数据库中获取所述第二数据的第二数值的步骤为：

获取所述第二数据库中第二数据的数值；

将所述第二数据的数值根据四则运算公式进行计算，得到第二数值。

2.根据权利要求1所述的处理数据的方法，其特征在于，所述比较所述第一数值和所述第二数值，生成比较结果的步骤包括：

计算所述第一数值和所述第二数值的比率，得到比率值；或

计算所述第一数值和所述第二数值的差值，得到差值。

3.根据权利要求1所述的处理数据的方法，其特征在于，所述对应关系为一对一、一对多、多对一或多对多。

4.根据权利要求3所述的处理数据的方法，其特征在于，所述第一数据库与所述第二数据库之间的关系为：

所述第一数据库为母库，所述第二数据库为来自所述母库的产品库；或

所述第一数据库为母库，所述第二数据库为来自所述母库的作业库；或

所述第一数据库为母库的产品库，所述第二数据库为来自所述母库的作业 库；或

所述第一数据库为母库的作业库，所述第二数据库为来自所述母库的产品库；或

所述第一数据库为一数据库的第一版本，所述第二数据库为来自所述数据库的第二版本。

5.根据权利要求4所述的处理数据的方法，其特征在于，当所述第一数据库为一数据库的第一版本，所述第二数据库为来自所述数据库的第二版本时，所述第一数据和所述第二数据之间的对应关系为一对一。

6.根据权利要求1所述的处理数据的方法，其特征在于，所述第一数据库与所述第二数据库均为电子导航地图数据库。

7.一种处理数据的装置，其特征在于，包括：

对应关系建立单元，用于在第一数据库中的至少一个第一数据和第二数据库中的至少一个第二数据之间建立对应关系；

第一获取单元，用于根据所述对应关系，从所述第一数据库中获取所述第一数据的第一数值；

第二获取单元，用于根据所述对应关系，从所述第二数据库中获取所述第二数据的第二数值；

比较单元，用于比较所述第一数值和所述第二数值，生成比较结果；

所述第一获取单元包括：

第一获取子单元，获取所述第一数据库中的第一数据的数值；

第一计算单元，将所述第一数据的数值根据四则运算公式进行计算，得到第一数值；

所述第二获取单元包括：

第二获取子单元，获取所述第二数据库中第二数据的数值；

第二计算单元，将所述第二数据的数值根据四则运算公式进行计算，得到第二数值。 

Images