CN101882135A

CN101882135A - 一种数据处理方法和装置

Info

Publication number: CN101882135A
Application number: CN 200910083430
Authority: CN
Inventors: 宫琦; 王涛
Original assignee: Autonavi Software Co Ltd
Current assignee: Alibaba China Co Ltd
Priority date: 2009-05-04
Filing date: 2009-05-04
Publication date: 2010-11-10
Anticipated expiration: 2029-05-04
Also published as: CN101882135B

Abstract

本发明的实施例提供了一种数据处理方法和装置，可解决现有技术中资源浪费及数据表读、写效率降低的问题。所述方法包括：捕获兴趣点信息，所述兴趣点信息包括生产时间、生产工艺和至少一个兴趣点的字段信息；判断兴趣点的字段信息是否包含兴趣点标识，若是，则根据该兴趣点标识更新基础数据表和字段描述信息表，否则，为该条兴趣点信息分配兴趣点标识，并将该条兴趣点信息插入基础数据表中，所述基础数据表包括所有的兴趣点字段、及初始操作时间和初始生产工艺，所述字段描述信息表包括字段名称、生产时间和生产工艺。本发明的实施例通过采用字段描述信息表，可提高信息可信度。

Description

一种数据处理方法和装置

技术领域

本发明涉及一种数据处理技术，尤其涉及一种数据处理方法和装置。

背景技术

以关系数据库存储POI(Point of Interest，兴趣点)相关数据是当今行业内各公司所推崇的存储方法。在现有技术中，一个POI所包括的所有信息(如：名称、地址、电话等)是以一行记录的形式存储在数据库中的。然而，随着信息技术的不断发展，POI数据的来源、及生产工艺趋于多元化，其可信程度、信息字段丰富程度各有不同；在不同的应用领域当中，对数据的可信程度要求也是不同的。例如：在车载导航设备中，所有的字段信息都必须是现场采集或电话核实采集得来的，其他的如网络黄页数据则不能应用于车载导航设备。而网络地图当中，则不需要数据有如此高的可信度，相对的，需要数据的字段信息尽量丰富、更新速度尽量快捷。由此可见，在导航领域，目前行业内不仅关心POI信息本身，而且还需要关心POI的生产工艺及时效。下面介绍现有技术中的几种数据更新方法。

一、在数据库中存储POI的所有自然属性如：名称、地址、坐标等。在多工艺生产数据的情况下，需要针对不同的生产工艺，建立独立的数据表，以达到不同工艺生产数据的区分。

此种方法会造成大量不一致的数据副本。而且，各种生产工艺的数据产品不能得到有机的结合，其间会有大量的重复劳动。POI数据版本管理繁琐、复杂。

二、针对每行POI记录，辅以生产工艺、生产时间字段。当POI信息入库时，在行记录中插入由上层程序给出的生产工艺、生产时间。当POI信息更新时，同时更新行记录的生产工艺、生产时间。提取数据时，行记录的生产工艺、生产时间作为所有字段的属性描述信息。存储POI的表结构如表1所示：

表1

其中，op表示生产工艺，optime表示生产时间。

该方法虽然记录了POI的生产工艺、生产时间，但是，这些描述只精确到行级(即整条POI)，在POI数据生产过程中经常出现一条数据不同字段通过许多不同工艺进行生产，单纯对行级记录描述不能精确描述每个字段的生产工艺、生产时间。导致数据描述不准确，甚至严重影响数据产品的质量。

三、为解决技术二的缺点，针对所有POI信息，在数据库中记录其每一个字段的生产时间、生产工艺。表结构如下所示：

表2

当POI信息入库时，上层程序明确给出每一个字段的生产工艺、生产时间，插入相应的描述字段。

当POI信息更新时，上层程序明确给出每一个字段的生产工艺、生产时间，更新相应的描述字段。

提取数据时，行记录每个字段的生产工艺、生产时间作为该字段的属性描述信息。

在这种技术中，为兼容不同种类POI数据的存储，其数据表的设计本身就存在一定的冗余，针对单条POI记录，其有效信息字段可能很少，而为每一个字段建立相应的描述信息字段，则会造成大量的资源浪费，而且还会导致数据表本身读、写效率降低。

综上所述，在现有技术的导航领域中，为了确保POI数据的准确性，就需要增加信息存储量，这样就会在造成大量的资源浪费的同时，而且还会导致数据表本身读、写效率降低。

发明内容

本发明的实施例提供了一种数据处理方法和装置，可解决现有技术中资源浪费及数据表读、写效率降低的问题。

本发明的实施例提供了一种数据处理方法，该方法包括：

捕获兴趣点信息，所述兴趣点信息包括生产时间、生产工艺和至少一个兴趣点的字段信息；

判断兴趣点的字段信息是否包含兴趣点标识，若是，则根据该兴趣点标识更新基础数据表和字段描述信息表，否则，为该条兴趣点信息分配兴趣点标识，并将该条兴趣点信息插入基础数据表中，所述基础数据表包括所有的兴趣点字段、及初始操作时间和初始生产工艺，所述字段描述信息表包括字段名称、生产时间和生产工艺。

本发明实施例还公开了一种数据处理装置，该装置包括：

基础数据表，用于存储所有的兴趣点字段、及初始操作时间和初始生产工艺；

字段描述信息表，用于存储字段名称、生产时间和生产工艺；

捕获单元，用于捕获兴趣点信息，所述兴趣点信息包括生产时间、生产工艺和至少一个兴趣点的字段信息；

判断单元，用于判断兴趣点的字段信息是否包含兴趣点标识，若是，启动第一处理单元；否则，启动第二处理单元；

第一处理单元，所述第一处理单元包括第一更新单元，用于根据该兴趣点标识更新基础数据表，和第二更新单元，用于根据该兴趣点标识更新字段描述信息表，

第二处理单元，为该条兴趣点信息分配兴趣点标识，并将该条兴趣点信息插入基础数据表中。

本发明的实施例通过采用了字段描述信息表，在字段描述信息表中以行级数据形式，描述POI列级信息的方法，在不改变POI基础信息表的前提下，保存POI所有有效字段的描述信息，从而解决了POI数据多工艺融合生产过程当中同一POI各字段信息生产工艺不同、可信度不同难于精确查询、跟踪、分析、统计的问题。

另外，由于本发明采用增量形式记录字段描述信息，并以行级描述、列级描述相结合的方式，在达成精确描述的前提下，大量节省了存储空间，提高了读、写效率。

附图说明

图1示出了本发明实施例的基础数据表与字段描述信息表之间的关系；

图2示出了本发明实施例的存储数据的方法；

图3示出了本发明实施例的查找数据的方法；

图4示出了本发明实施例的数据处理装置。

具体实施方式

为了便于本领域一般技术人员理解和实现本发明，现结合附图描绘本发明的实施例。

实施例一

本实施例提供了一种数据处理方法，该方法通过以关系数据库存储POI信息，在数据库中建立以POI为记录单位的基础数据表及以POI字段描述信息为记录单位的字段描述信息表，为基础数据表建立POI记录更新监控单元，将基础信息表更新过程中各字段的生产时间和生产工艺描述信息记录到字段描述信息表中。图1示出了基础数据表和字段描述信息表之间的关系。在图1中，基础数据表包括如下字段：所有POI信息、初始生产工艺、初始生产时间、POI ID(POI标识，是表中唯一的标识)，其中，POI信息包括：POI ID、名称、地址和电话等；字段描述信息表包括POI ID(POI标识，是表中唯一的标识)、字段前值、字段后值、字段名称、生产工艺、生产时间字段。

如图2所示，本实施例的数据处理方法包括如下步骤：

步骤21、建立POI基础数据表，该基础数据表包括如下字段：所有POI信息、初始生产工艺、初始生产时间、POI ID(POI标识，是表中唯一的标识)。

步骤22、建立POI字段描述信息表，该字段描述信息表包括POI ID(POI标识，是表中唯一的标识)、字段名称、生产工艺、生产时间字段。

步骤23、POI记录更新监控单元获取预入库POI数据描述信息，该预入库POI数据描述信息包括所有POI信息其中部分字段的值、生产工艺和I生产时间。

步骤24、判断POI数据描述信息是否包含POI ID，如果是，则进入步骤25，否则，进入步骤26。

步骤25、为该POI数据描述信息分配唯一的POI ID，将数据所有有效字段信息、生产工艺、生产时间插入基础数据表，表明本条数据所包含所有字段的生产工艺、生产时间为行级生产工艺字段、生产时间字段所记录值，然后结束本过程。

步骤26、对基础数据表进行更新。即，判断基础数据表是否存在该条POI(POI ID相同)的POI(字段名相同)信息，若是，则更新该POI信息，但不更新生产工艺和生产时间，否则，将该POI信息插入基础数据表中。

步骤27、POI记录更新监控单元捕获更新操作所需更新的字段信息及本次操作的时间及生产工艺。

步骤28、针对每一个需要更新字段，判断字段描述信息表是否存在该条POI(POI ID相同)的该字段(字段名相同)描述信息。如果是进入步骤290，如果否，进入步骤291。

步骤290、用新的生产工艺、生产时间替换字段描述信息表中原有字段描述信息。

步骤291、将新的生产工艺、生产时间插入字段描述信息表以建立新的POI字段描述信息。

步骤292、本条POI数据描述信息是否还包含其它有效字段信息，若是，返回步骤27，否则，结束本过程。

如图3所示，下面描述查询目标POI目标字段描述信息的过程。

步骤30、获得POI标识，根据POI标识检索字段描述信息表。即，根据POI标识判断字段描述信息表中是否存在目标POI目标字段描述信息，如果是，则进入步骤31，否则，进入步骤32。

步骤31、提取字段描述信息表中该POI字段生产工艺描述值、生产时间值，作为该POI字段的生产工艺、生产时间。

步骤32、提取基础信息表中该POI生产工艺描述值、生产时间值，作为该POI字段的生产工艺、生产时间。

通过上述步骤，实现了以基础数据表存储的POI数据为基础，满足多工艺融合生产需求的POI字段级信息存储。

上述步骤21所述POI基础数据表，以POI为单位，存储POI所有业务信息及行级描述信息。如图1所示，POI基础数据表包括如下字段：

POI ID，POI全局唯一标示。

POI名称、地址、电话等约40项POI基础业务信息。

生产工艺，第一次入库POI生产工艺标示。

生产时间，第一次入库POI生产时间。

上述步骤22中，POI字段描述信息表以POI字段为单位，记录POI字段描述信息。如图1所示，POI字段描述信息表包括如下字段：

POI ID，POI全局唯一标识。

字段名称，所记录POI字段的名称，其取值范围为POI基础数据表所有业务字段名。

字段前值，该POI字段更新前，POI基础数据表中该字段所保存的值。

字段后值，该POI字段更新后，POI基础数据表中该字段所保存的值。

生产工艺，该POI字段当前值的生产工艺标识。

生产时间，该POI字段当前值生产时间。

在上述步骤C中，POI记录更新监控单元是以数据库触发器形式实现的，其整个工作过程如图2所示。

当一条新的POI进入系统时，例如一条由网络中获得的POI信息：

名称：川仪大酒店

地址：碚峡路130号

电话：023-68864560

系统首先会为其分配一个全局唯一的POI ID：B100N0000R，并根据其插入时所调用的接口，得知该POI生产工艺为“网络上传”，在插入操作时，其OP为“A”。

insert into tableA

(poiid，name，address，telephone，

op，optime)

Values

(‘B100N0000R，’川仪大酒店’，’碚峡路130号’，，‘023-68864560’，’A’，’2009-2-21’)

(注：op：生产工艺标示；optime：生产时间)

此时该条POI在数据库中存储形式如表3所示：

表3

而后，通过“外业核实”的方式，得知该条POI“名称”，“地址”均准确无误。则核实结果入库时会采用如下语句。

Update tableA

Set

Name＝‘川仪大酒店’，address＝‘碚峡路130号’，op＝‘6’，optime＝‘2009-2-22’

Where poiid＝‘B 100N0000R’

在这种情况下，如果没有“POI记录更新监控单元”的协助工作，或不采用本发明中所提出的“以行级记录描述列级字段”的方式，那么，在数据库中将呈现如表4所示的情况

表4

可见，此时数据库中所表示的意义为，该条POI名称、地址、电话均为2009年2月22日经“外业核实”生产的，然而，在实际生产过程中，电话并未经过“外业核实”，应该是“网络上传”的，其可信程度较“外业核实”要低，而在数据库中无法表示这一情况，造成了数据的不准确，甚至可以称之为错误，其后果在导航行业内是非常严重的。

如果为每一个字段都建立相应的描述，则仅描述OP、OPTIME，就要将基础信息表扩大到三倍，对于每个有数十个信息字段的POI来讲，上百个字段会严重影响表的读、写速度。因此，本发明采用单独建表，在表中“以行的形式描述列级字段”，并且只记录发生变化的字段，即“更新部分”会有效的节省空间开销。

为达成以上目的，本发明中使用了POI记录更新监控单元

POI记录更新监控单元是作用于POI基础数据表的行级触发器，在对POI基础数据表进行更新操作之前被触发。其工作流程为：

判断是否更新了OP、OPTIME，如果否，则停止更新，并向上层抛出异常，如果是则继续执行。

获得本次更新的OP，并存入变量v_op，其在触发器中的表现形式为v_op:＝:new.op。

获得本次更新的OPTIME，并存入变量v_optime，其在触发器中的表现形式为v_optime:＝:new.optime。

保持原基础信息表行级记录OP，OPTIME不变，其在触发器中的表现形式为：new.op＝:old.op，new.optime＝:old.op。

判断所有业务信息字段是否被更新，以下以Name(名称)字段为例：

判断在更新操作中，是否更新了该字段：updating(′NAME′)＝true

如果否则进入下一个字段的判断，如果是则记录字段的更新信息。

对于之前所述的实例，在接收到如前所述的更新操作命令时，更新信息的过程为：

判断该POI‘名称’字段描述信息是否存在，即检索字段描述信息表中是否存在POI ID为‘B100N0000R’，字段名称为‘NAME’的记录，此时，在字段描述信息表中，并不存在这样一条记录，信息更新监控单元会执行如下操作：

insert into tableA_update_log

(poiid，fieldname，op，optime，oldvalue，newvalue)

values

(‘B100N0000R’，′NAME′，‘6’，‘2009-2-22’，:old.NAME，:new.NAME)

同理，对于“地址”字段也会进行上述的判断、描述信息插入操作，其在信息跟新记录表中的表现形式如表5所示：

表5

而基础信息表中的记录情况，仍与表3所示相同。

当作业人员从网上获取了一条新的POI：

名称：川仪大酒店

地址：碚峡路131号

电话：023-68864560

经判定，与之前入库POI为同一条，按一定规则处理后，发出如下更新操作：

Update tableA

Set

Name＝‘川仪大酒店’，address＝‘碚峡路130/131号’，telephone＝’023-68864560’，op＝‘A’，optime＝‘2009-3-1’

Where poiid＝‘B100N0000R’

其更新过程为：

判断该POI‘名称’字段描述信息是否存在，即检索字段描述信息表中是否存在POI ID为‘B100N0000R’，字段名称为‘NAME’的记录，“存在”，判断其前后值是否发生变化，“否”，则不进行字段描述信息表的操作。

判断该POI‘名称’字段描述信息是否存在，即检索字段描述信息表中是否存在POI ID为‘B100N0000R’，字段名称为‘ADDRESS’的记录，“存在”，判断其前后值是否发生变化，“是”，则对字段描述信息表改行记录进行更新操作：

Update tableA_update_log set

Op＝‘A’，

optime＝’2009-3-1’，

oldvalue＝:old.NAME，

newvalue＝:new.NAME

Where poiid＝’B100N0000R’and fieldname＝’ADDRESS’

此时基础信息表内记录如表6所示：

表6

信息字段描述信息表如表7所示：

表7

本发明在应用过程中，POI字段描述信息，即生产工艺、生产时间提取过程如图3所示。以POI ID为‘B100N0000R’的‘NAME’，‘TELEPHONE’字段为例，其步骤为：

检索字段描述信息表中是否存在POI ID为‘B100N0000R’、fieldname为‘NAME’的记录，由于字段描述信息表中存在该记录，则提取该记录的‘op’，‘optime’作为字段描述，即生产工艺为“6(外业核实)”，生产时间“2009-2-22”。检索字段描述信息表中是否存在POI ID为‘B100N0000R’、fieldname为‘TELEPHONE’的记录，由于字段描述信息表中没有该记录，则到基础数据表中提取POI信息，检索到POI ID为‘B100N0000R’的行记录的‘op’，‘optime’作为‘TELEPHONE’字段的描述，即生产工艺为“A(网页上传)”，生产时间“2009-2-21”。

本发明由于采用了字段描述信息表，在字段描述信息表中以行级数据形式，描述POI列级信息的方法，在不改变POI基础信息表的前提下，保存POI所有有效字段的描述信息，从而解决了POI数据多工艺融合生产过程当中同一POI各字段信息生产工艺不同、可信度不同难于精确查询、跟踪、分析、统计的问题。

实施例二

如图4所示，本实施例公开了一种数据处理装置，包括：基础数据表，用于存储所有的POI字段、及初始操作时间和初始生产工艺；字段描述信息表，用于存储字段名称、生产时间和生产工艺；捕获单元，用于捕获POI信息，所述POI信息包括生产时间、生产工艺和至少一个POI的字段信息；判断单元，用于判断POI的字段信息是否包含POI标识，若是，启动第一处理单元；否则，启动第二处理单元；第一处理单元，所述第一处理单元包括第一更新单元，用于根据该POI标识更新基础数据表，和第二更新单元，用于根据该POI标识更新字段描述信息表，第二处理单元，为该条POI信息分配POI标识，并将该条POI信息插入基础数据表中。

所述第一更新单元具体包括：第一判断单元，用于判断基础数据表是否存在该条POI信息，若是，启动更新单元，否则，启动第一插入单元；更新单元，用于更新该POI信息，但不更新生产工艺和生产时间；第一插入单元，用于将该POI信息插入基础数据表中。

所述第二更新元包括：第二判断单元，用于针对每一个更新字段，判断字段描述信息表是否存在该条POI信息的该字段描述信息，若是，启动替换单元；否则，启动第二插入单元；替换单元，用于用新的生产工艺、生产时间替换字段描述信息表中原有字段描述信息；第二插入单元，用于将新的生产工艺、生产时间插入字段描述信息表以建立新的POI字段描述信息。

所述装置还包括：检索单元，用于检索POI信息，所述检索单元包括：获得单元，用于获得POI标识；第三判断单元，用于判断字段描述信息表中是否存在目标POI目标字段描述信息，如果是，启动第一提取单元；否则，启动第二提取单元；第一提取单元，用于提取字段描述信息表中该POI字段生产工艺描述值、生产时间值；第二提取单元，用于提取基础信息表中该POI生产工艺描述值、生产时间值。

上述单元的工作原理可参照实施例一的描述。

虽然通过实施例描绘了本发明，但本领域普通技术人员知道，在不脱离本发明的精神和实质的情况下，就可使本发明有许多变形和变化，本发明的范围由所附的权利要求来限定。

Claims

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据该兴趣点标识更新基础数据表具体包括：

判断基础数据表是否存在该条兴趣点信息，若是，则更新该兴趣点信息，但不更新生产工艺和生产时间，否则，将该兴趣点信息插入基础数据表中。

3.根据权利要求1所述的方法，其特征在于，所述根据该兴趣点标识对字段描述信息表进行更新具体包括：

针对每一个更新字段，判断字段描述信息表是否存在该条兴趣点信息的该字段描述信息，若是，用新的生产工艺、生产时间替换字段描述信息表中原有字段描述信息，否则，将新的生产工艺、生产时间插入字段描述信息表以建立新的兴趣点字段描述信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：检索兴趣点信息，所述检索兴趣点信息包括如下步骤：

获得兴趣点标识，根据兴趣点标识判断字段描述信息表中是否存在目标兴趣点目标字段描述信息，如果是，则提取字段描述信息表中该兴趣点字段生产工艺描述值、生产时间值；否则，提取基础信息表中该兴趣点生产工艺描述值、生产时间值。

5.一种数据处理装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述第一更新单元具体包括：

第一判断单元，用于判断基础数据表是否存在该条兴趣点信息，若是，启动更新单元，否则，启动第一插入单元；

更新单元，用于更新该兴趣点信息，但不更新生产工艺和生产时间；

第一插入单元，用于将该兴趣点信息插入基础数据表中。

7.根据权利要求5所述的装置，其特征在于，所述第二更新元包括：

第二判断单元，用于针对每一个更新字段，判断字段描述信息表是否存在该条兴趣点信息的该字段描述信息，若是，启动替换单元；否则，启动第二插入单元；

替换单元，用于用新的生产工艺、生产时间替换字段描述信息表中原有字段描述信息；

第二插入单元，用于将新的生产工艺、生产时间插入字段描述信息表以建立新的兴趣点字段描述信息。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：检索单元，用于检索兴趣点信息，所述检索单元包括：

获得单元，用于获得兴趣点标识；

第三判断单元，用于判断字段描述信息表中是否存在目标兴趣点目标字段描述信息，如果是，启动第一提取单元；否则，启动第二提取单元；

第一提取单元，用于提取字段描述信息表中该兴趣点字段生产工艺描述值、生产时间值；

第二提取单元，用于提取基础信息表中该兴趣点生产工艺描述值、生产时间值。