CN106033452B - 一种数据更新方法及装置 - Google Patents

一种数据更新方法及装置 Download PDF

Info

Publication number
CN106033452B
CN106033452B CN201510116654.5A CN201510116654A CN106033452B CN 106033452 B CN106033452 B CN 106033452B CN 201510116654 A CN201510116654 A CN 201510116654A CN 106033452 B CN106033452 B CN 106033452B
Authority
CN
China
Prior art keywords
data
target
identification
target data
component information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510116654.5A
Other languages
English (en)
Other versions
CN106033452A (zh
Inventor
陈前进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510116654.5A priority Critical patent/CN106033452B/zh
Publication of CN106033452A publication Critical patent/CN106033452A/zh
Application granted granted Critical
Publication of CN106033452B publication Critical patent/CN106033452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明是关于一种数据更新方法及装置,包括:获取目标数据并提取目标数据的目标参数信息:获取预先存储的数据集合中的所有数据对应的参数信息与数据标识集合之间的对应关系;当对应关系中不存在目标参数信息对应的数据标识集合时,将目标数据存储到数据集合中;当对应关系中存在目标参数信息对应的数据标识集合时,获取数据标识集合中的每个数据标识对应的数据;利用目标数据对每个数据标识对应的数据进行更新。如此可以迅速判断出预先存储的数据集合中是否存在与目标数据为同种数据的数据,以及迅速判断出预先存储的数据集合中哪些数据与目标数据为同种数据,从而可以节省大量的内存资源和所需的时间。

Description

一种数据更新方法及装置
技术领域
本发明涉及互联网领域,尤其涉及一种数据更新方法及装置。
背景技术
数据仓库用于存储数据并对存储的数据进行整合分析,在电商领域,每天都会产生海量的新数据,因此需要以每天产生的新数据作为待更新数据,并利用待更新数据对数据仓库中的已存储数据进行更新。
一般情况下,当需要利用待更新数据对数据仓库中的已存储数据进行更新时,如果数据仓库中存在与待更新数据为同种数据的已存储数据,即,数据仓库中存在数据标识为待更新数据的数据标识的已存储数据,则利用待更新数据对该已存储数据进行更新,如此实现利用待更新数据对数据仓库进行更新。如果数据仓库中不存在与待更新数据为同种数据的已存储数据,则直接将待更新数据存储在数据仓库中,如此实现利用待更新数据对数据仓库进行更新。
目前,现有技术提供了一种数据更新的方法,可以为:当需要利用待更新数据对数据仓库中的已存储数据进行更新时,获取待更新数据的数据标识;对于数据仓库中存储的任一条已存储数据,将该已存储数据的数据标识与待更新数据的数据标识进行匹配,如果该已存储数据的数据标识与待更新数据的数据标识相同,则说明该已存储数据和待更新数据为同种数据,即,确定该已存储数据需要更新,以及利用待更新数据对该已存储数据进行更新;否则,则说明该已存储数据和待更新数据非同种数据,即,确定该已存储数据不需要更新;对于数据仓库中存储的其他每条已存储数据,均执行上述操作;如果每条已存储数据的数据标识均与待更新数据的数据标识不同,则说明待更新数据与数据仓库中的每条已存储数据都为不同种数据,此时需要将待更新数据存储到数据仓库中,如此实现对数据仓库进行更新。
然而,发明人发现现有技术中存在以下问题:将一条已存储数据的数据标识与一条待更新数据的数据标识进行匹配的过程需要耗费一定的内存资源和时间,如果待更新数据包括多条数据且数据仓库中包括多条已存储数据,则在对数据仓库进行更新的整个过程中需要进行多次匹配,这样就会耗费很多内存资源和时间。
发明内容
为克服相关技术中存在的问题,本发明提供一种数据更新方法及装置。
第一方面,一种数据更新方法,所述方法包括:
获取目标数据并提取所述目标数据的目标参数信息,所述目标参数信息至少包括所述目标数据的时间标识和/或所述目标数据的设备标识;
获取预先存储的数据集合中的所有数据对应的参数信息与数据标识集合之间的对应关系;
判断所述对应关系中是否存在所述目标参数信息对应的数据标识集合;
当所述对应关系中不存在所述目标参数信息对应的数据标识集合时,将所述目标数据存储到所述数据集合中;
当所述对应关系中存在所述目标参数信息对应的数据标识集合时,获取所述数据标识集合中的每个数据标识对应的数据;利用所述目标数据对所述每个数据标识对应的数据进行更新。
进一步地,所述目标数据为多个,所述获取目标数据并提取所述目标数据的目标参数信息之后,还包括:
在获取的每个目标数据的目标参数信息中判断是否存在多个目标参数信息为相同的目标参数信息;
当存在多个目标参数信息为相同的目标参数信息时,对相同的目标参数信息进行去除操作,只保留相同的目标参数信息中的一个目标参数信息。
进一步地,所述方法还包括:
获取所述预先存储的数据集合中的每条数据的参数信息和每条数据的数据标识;
在所述预先存储的数据集合中的每条数据的参数信息中,将相同的参数信息归为一类参数信息;
对于每一类参数信息,获取所述一类参数信息对应的数据标识并组成数据标识集合;将所述一类参数信息与组成的数据标识集合存储在参数信息与数据标识集合之间的对应关系中。
进一步地,所述将所述目标数据存储到所述数据集合中之后,还包括:
获取所述目标数据的目标数据标识,并将所述目标参数信息和所述目标数据标识添加至所述对应关系中。
其中,所述利用所述目标数据对所述每个数据标识对应的数据进行更新,包括:
获取所述目标数据的目标数据标识;
判断所述数据标识集合中是否存在与所述目标数据标识相同的数据标识;
当所述数据标识集合中存在与所述目标数据标识相同的数据标识时,利用所述目标数据替换数据标识与所述目标数据标识相同的数据;
当所述数据标识集合中不存在与所述目标数据标识相同的数据标识时,将所述目标数据存储到所述预先存储的数据集合中。
其中,所述利用所述目标数据替换数据标识与所述目标数据标识相同的数据,包括:
获取所述目标数据的目标数据内容;
利用所述目标数据的目标数据内容替换数据标识与所述目标数据标识相同的数据的数据内容。
进一步地,所述方法还包括:
将所述目标数据的目标数据标识添加至所述数据标识集合中。
第二方面、一种数据更新装置,所述装置包括:
第一获取模块,用于获取目标数据并提取所述目标数据的目标参数信息,所述目标参数信息至少包括所述目标数据的时间标识和/或所述目标数据的设备标识;
第二获取模块,用于获取预先存储的数据集合中的所有数据对应的参数信息与数据标识集合之间的对应关系;
第一判断模块,用于判断所述对应关系中是否存在所述目标参数信息对应的数据标识集合;
第一存储模块,用于当所述对应关系中不存在所述目标参数信息对应的数据标识集合时,将所述目标数据存储到所述数据集合中;
第三获取模块,用于当所述对应关系中存在所述目标参数信息对应的数据标识集合时,获取所述数据标识集合中的每个数据标识对应的数据;
更新模块,用于利用所述目标数据对所述每个数据标识对应的数据进行更新。
进一步地,所述目标数据为多个,所述装置还包括:
第二判断模块,用于在获取的每个目标数据的目标参数信息中判断是否存在多个目标参数信息为相同的目标参数信息;
去除模块,用于当存在多个目标参数信息为相同的目标参数信息时,对相同的目标参数信息进行去除操作,只保留相同的目标参数信息中的一个目标参数信息。
进一步地,所述装置还包括:
第四获取模块,用于获取所述预先存储的数据集合中的每条数据的参数信息和每条数据的数据标识;
归类模块,用于在所述预先存储的数据集合中的每条数据的参数信息中,将相同的参数信息归为一类参数信息;
第五获取模块,用于对于每一类参数信息,获取所述一类参数信息对应的数据标识并组成数据标识集合;
第二存储模块,用于将所述一类参数信息与组成的数据标识集合存储在参数信息与数据标识集合之间的对应关系中。
进一步地,所述装置还包括:
第六获取模块,用于获取所述目标数据的目标数据标识;
添加模块,用于将所述目标参数信息和所述目标数据标识添加至所述对应关系中。
其中,所述更新模块包括:
获取单元,用于获取所述目标数据的目标数据标识;
判断单元,用于判断所述数据标识集合中是否存在与所述目标数据标识相同的数据标识;
替换单元,用于当所述数据标识集合中存在与所述目标数据标识相同的数据标识时,利用所述目标数据替换数据标识与所述目标数据标识相同的数据;
存储单元,用于当所述数据标识集合中不存在与所述目标数据标识相同的数据标识时,将所述目标数据存储到所述预先存储的数据集合中。
其中,所述替换单元包括:
获取子单元,用于获取所述目标数据的目标数据内容;
替换子单元,用于利用所述目标数据的目标数据内容替换数据标识与所述目标数据标识相同的数据的数据内容。
进一步地,所述更新模块还包括:
添加单元,用于将所述目标数据的目标数据标识添加至所述数据标识集合中。
本发明的实施例提供的技术方案可以包括以下有益效果:在获取到目标数据之后,只需提取目标数据的目标参数信息,获取预先存储的数据集合中所有数据对应的参数信息与数据标识集合之间的对应关系;判断上述对应关系中是否存在目标参数信息对应的数据标识集合;这样可以迅速判断出预先存储的数据集合中是否存在与目标数据为同种数据的数据,节省了更新所需的时间,当对应关系中不存在目标参数信息对应的数据标识集合时,则说明预先存储的数据集合中不存在与目标数据为同种数据的数据,将目标数据存储到数据集合中;当对应关系中存在目标参数信息对应的数据标识集合时,则说明预先存储的数据集合中可能存在与目标数据为同种数据的数据,获取数据标识集合中的每个数据标识对应的数据;利用目标数据对每个数据标识对应的数据进行更新。这样,在整个更新过程中,无需将预先存储的数据集合中的每条数据的数据标识分别与目标数据的数据标识进行匹配,只需判断参数信息与数据标识集合之间的对应关系中是否存在目标参数信息对应的数据标识集合,这样可以迅速判断出预先存储的数据集合中是否存在与目标数据为同种数据的数据,以及迅速判断出预先存储的数据集合中哪些数据与目标数据为同种数据,从而可以节省大量的内存资源和所需的时间。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种数据更新的方法的流程图。
图2是根据一示例性实施例示出的一种数据更新的方法的流程图。
图3是根据一示例性实施例示出的一种数据更新的方法的流程图。
图4是根据一示例性实施例示出的一种数据更新的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种数据更新的方法的流程图,如图1所示,该方法包括以下步骤。
在步骤S101中,获取目标数据并提取目标数据的目标参数信息。
在本发明实施例中,本地预先存储有数据集合,数据集合中包括多条数据,每条数据都包括数据的参数信息、数据的数据标识以及数据的数据内容。数据的参数信息存储在数据的第一预设字段中,数据的数据标识存储在数据的第二预设字段中,数据的数据内容存储在数据的第三预设字段中。数据标识用于标识数据,数据标识可以为数据的ID(Identity,身份标识号)或名称等。
当某一设备需要生成一条数据时,在生成该数据的数据标识和数据内容之后,会生成该数据的参数信息,该数据的参数信息至少包括该数据的时间标识和/或设备标识,该数据的时间标识为生成该数据的数据内容和数据标识的生成时间,该数据的设备标识为生成该数据的数据内容和数据标识的设备的设备标识,此时,该数据的设备标识即为该某一设备的设备标识。设备标识用于标识设备,设备标识可以为设备的MAC(Media AccessControl,媒体接入控制)地址等。
其中,该数据的参数信息为该数据的固有属性,该数据的参数信息一旦生成则一直保持不变,不会随着数据内容的变化或数据的存储位置的变化而变化。
其中,当要对预先存储的数据集合进行更新时,获取用于对预先存储的数据集合进行更新的数据,即获取目标数据,并从目标数据中提取出目标数据的目标参数信息。
在本发明实施例中,数据的参数信息存储在数据的第一预设字段中,因此,从目标数据的第一预设字段就可以获取到目标数据的目标参数信息。
在步骤S102中,获取预先存储的数据集合中的所有数据对应的参数信息与数据标识集合之间的对应关系。
其中,事先可以将预先存储的数据集合中存储的数据按照数据的参数信息进行分类,包括:
11、获取预先存储的数据集合中的每条数据的参数信息和每条数据的数据标识。
在本发明实施例中,数据的参数信息存储在数据的第一预设字段中,数据的数据标识存储在数据的第二预设字段中,因此,对于预先存储的数据集合中任一条数据,从该数据的第一预设字段就可以获取到该数据的参数信息,以及从该数据的第二预设字段就可以获取到该数据的数据标识。
12、在预先存储的数据集合中的每条数据的参数信息中,将相同的参数信息归为一类参数信息。
在本步骤中,将获取的预先存储的数据集合中每条数据的参数信息组成参数信息集合;对于参数信息集合中的任一条参数信息,在该参数信息集合包括的除该参数信息以外的其他参数信息中判断是否存在与该参数信息相同的参数信息,如果存在与该参数信息相同的参数信息,则将该参数信息和与该参数信息相同的参数信息归为一类参数信息;如果不存在与该参数信息相同的参数信息,则将该参数信息归为一类参数信息。
对于参数信息集合中的其他每条参数信息均执行上述操作,如此实现在预先存储数据集合中的每条数据的参数信息中将相同的参数信息归为一类参数信息。
13、对于任一类参数信息,获取该一类参数信息对应的所有数据的数据标识,并将该一类参数信息对应的所有数据的数据标识组成数据标识集合,以及将该一类参数信息与组成的数据标识集合存储在参数信息与数据标识集合之间的对应关系中。
如果该一类参数信息仅仅包括一个参数信息,则该将参数信息与组成的数据标识集合存储在参数信息与数据标识集合的之间的对应关系中;如果该一类参数信息包括多个参数信息,则从该一类参数信息中随机选择一个参数信息,将选择的参数信息与组成的数据标识集合存储在参数信息与数据标识集合的之间的对应关系中。
进一步地,对于其他每类参数信息,均执行上述操作。
在步骤S103中,判断上述对应关系中是否存在目标参数信息对应的数据标识集合。
具体地,根据目标参数信息查找上述对应关系,如果查找到对应的数据标识集合,则确定上述对应关系中存在目标参数信息对应的数据标识集合;如果未查找到对应的数据表示集合,则确定上述对应关系中不存在目标参数信息对应的数据标识集合。
当上述对应关系中不存在目标参数信息对应的数据标识集合时,在步骤S104中,将目标数据存储到数据集合中。
当上述对应关系中不存在目标参数信息对应的数据标识集合时,说明预先存储的数据集合中不存在数据标识与目标数据的目标数据标识相同的数据,即,预先存储的数据集合中不存在与目标数据为同种数据的数据,对于预先存储的数据集合而言,目标数据是一个新数据,进而需要将目标数据存储到预先存储的数据集合中,以实现利用目标数据对预先存储的数据集合进行更新。
进一步地,获取目标数据的目标数据标识,并将目标参数信息和目标数据标识添加至上述对应关系中,如此实现对上述对应关系进行实时更新,以使之后利用其它目标数据对预先存储的数据集合进行更新时,上述对应关系是最新的。
在本发明实施例中,数据标识存储在数据的第二预设字段中,因此,从目标数据的第二预设字段就可以获取到目标数据的数据标识。
当上述对应关系中存在目标参数信息对应的数据标识集合时,在步骤S105中,获取目标参数信息对应的数据标识集合中的每个数据标识对应的数据,并利用目标数据对每个数据标识对应的数据进行更新。
其中,当上述对应关系中存在目标参数信息对应的数据标识集合时,则说明预先存储的数据标识集合中可能存在一个数据标识与目标数据的数据标识相同的数据,即,预先存储的数据集合中可能存在一个数据与目标数据为同种数据,进而需要判断预先存储的数据标识集合中是否存在一个数据标识与目标数据的数据标识相同的数据,以及利用目标数据对预先存储的数据集合进行更新,具体更新方式参见下文所做介绍,在此不做详述。
在本发明图1所示的实施例中,在获取到目标数据之后,只需提取目标数据的目标参数信息,获取预先存储的数据集合中所有数据对应的参数信息与数据标识集合之间的对应关系;判断上述对应关系中是否存在目标参数信息对应的数据标识集合;这样可以迅速判断出预先存储的数据集合中是否存在与目标数据为同种数据的数据,节省了更新所需的时间,当对应关系中不存在目标参数信息对应的数据标识集合时,则说明预先存储的数据集合中不存在与目标数据为同种数据的数据,将目标数据存储到数据集合中;当对应关系中存在目标参数信息对应的数据标识集合时,则说明预先存储的数据集合中可能存在与目标数据为同种数据的数据,获取数据标识集合中的每个数据标识对应的数据;利用目标数据对每个数据标识对应的数据进行更新。这样,在整个更新过程中,无需将预先存储的数据集合中的每条数据的数据标识分别与目标数据的数据标识进行匹配,只需判断参数信息与数据标识集合之间的对应关系中是否存在目标参数信息对应的数据标识集合,这样可以迅速判断出预先存储的数据集合中是否存在与目标数据为同种数据的数据,以及迅速判断出预先存储的数据集合中哪些数据与目标数据为同种数据,从而可以节省大量的内存资源和所需的时间。
当目标数据为多个时,由于每个目标数据都包含目标参数信息,因此目标参数信息也为多个,则在步骤S103中的判断参数信息与数据标识集合之间的对应关系中是否存在目标参数信息对应的数据标识集合的过程中,需要利用每个目标参数信息分别查找上述对应关系,即,目标参数信息有几个,则需要查找几次上述对应关系;
但是如果多个目标参数信息中有一部分目标参数信息是相同的,则根据这一部分目标参数信息的每个目标参数信息分别查找上述对应关系时,查找到对应的数据标识集合都是相同的,这样就会重复查找到相同的数据标识集合,由于每次根据一个目标参数信息查找上述对应关系都需要耗费一定的内存资源和时间,因此,当相同的目标参数信息较多时,则需要耗费大量的内存资源和时间。
这样,在相同的目标参数信息中,无需分别根据每个参数信息分别查找上述对应关系,只需根据相同的目标参数信息中的一个目标参数信息查找上述对应关系,不仅可以查找出所需的数据标识集合,且可以节省大量的内存资源和时间。
因此,在本发明另一实施例中,参见图2,在步骤S101之后可以包括:
在步骤S201中,在获取的每个目标数据的目标参数信息中判断是否存在多个目标参数信息为相同的目标参数信息;
在步骤S202中,当存在多个目标参数信息为相同的目标参数信息时,对相同的目标参数信息进行去除操作,只保留相同的目标参数信息中的一个目标参数信息;
如此使得在剩下的目标参数信息中任意两个目标参数信息均不相同。
例如,目标数据包括数据1、数据2、数据3和数据4,数据1的参数信息为20141228,数据2的参数信息为20141228,数据3的参数信息为20141228,数据4的参数信息为20141226。
由于数据1的参数信息20141228、数据2的参数信息20141228和数据3的参数信息20141228是相同的,因此,数据1的参数信息、数据2的参数信息、数据3的参数信息分别对应的数据标识集合是相同的,因此,无需利用数据1的参数信息、数据2的参数信息和数据3的参数信息分别查找参数信息与数据标识集合之间的对应关系。
可以将数据1的参数信息20141228、数据2的参数信息20141228和数据3的参数信息20141228进行去除操作,只保留一个参数信息20141228,如此,在步骤S103中的判断参数信息与数据标识集合之间的对应关系中是否存在目标参数信息对应的数据标识集合的过程中,只需要利用一个参数信息20141228查找一次上述对应关系即可查找到参数信息20141228对应的数据标识集合,不仅满足了查找到数据标识集合的要求,且可以减少查找次数,进而节省了内存资源和时间。
在本发明另一实施例中,参见图3,在步骤S105中,利用所述目标数据对所述每个数据标识对应的数据进行更新,包括:
在步骤S301中,获取目标数据的目标数据标识。
在本发明实施例中,数据的数据标识存储在数据的第二预设字段中,因此,从目标数据的第二预设字段就可以获取到目标数据的数据标识。
在步骤S302中,判断数据标识集合中是否存在与目标数据标识相同的数据标识。
数据标识集合中可能包括多个数据标识,这些数据标识均不相同,这些数据标识对应的数据的参数信息与目标数据的目标参数信息是相同的,但是这些数据标识与目标数据的数据标识不一定相同,因此,需要判断数据标识集合中是否存在与目标数据标识相同的数据标识。
例如,数据标识集合中包括第一数据的数据标识、第二数据的数据标识和第三数据的数据标识,第一数据、第二数据和第三数据为互不相同的数据;第一数据的数据标识为A,第二数据的数据标识为B,以及第三数据的数据标识为C;第一数据的参数信息为20141230,第二数据的参数信息为20141230,第三数据的参数信息为20141230。
目标数据的数据标识为K,目标数据的参数信息为20141230。
目标数据的参数信息与第一数据的参数信息相同、与第二数据的参数信息相同、以及与第三数据的参数信息相同。但是,目标数据的数据标识与第一数据的数据标识不同、与第二数据的数据标识不同、以及与第三数据的数据标识不同。
其中,本步骤具体可以为:从数据标识结合中获取一个数据标识,并将获取的数据标识与目标数据标识进行比较,如果获取的数据标识与目标数据标识为相同的数据标识,则确定数据标识集合中存在与目标数据标识相同的数据标识,并结束比较;否则从数据标识结合中获取下一数据标识,并执行上述步骤,直至从数据标识集合中获取最后一个数据标识为止。
如果从数据标识集合中获取最后一个数据标识与目标数据标识不同,则确定数据标识集合中不存在与目标数据标识相同的数据标识。
当数据标识集合中存在与目标数据标识相同的数据标识时,在步骤S303中,利用目标数据替换数据标识与目标数据标识相同的数据。
具体地,可以获取目标数据的目标数据内容;利用目标数据的目标数据内容替换数据标识与目标数据标识相同的数据的数据内容。
在本发明实施例中,数据的数据内容存储在数据的第三预设字段中,如此在本步骤中,获取与目标数据标识相同的数据标识对应的数据,从该数据的第三预设字段中删除该数据的数据内容,
然后获取目标数据的第三预设字段中存储的目标数据内容,将目标数据内容存储在与目标数据标识相同的数据标识对应的数据的第三预设字段中,如此实现利用目标数据替换与目标数据标识相同的数据标识对应的数据。
当数据标识集合中不存在与目标数据标识相同的数据标识时,在步骤S304中,将目标数据存储到预先存储的数据集合中。
进一步地,将目标数据的目标数据标识添加至该数据标识集合中。
图4是根据一示例性实施例示出的一种数据更新装置的框图。参照图4,该装置包括:
第一获取模块11,用于获取目标数据并提取所述目标数据的目标参数信息,所述目标参数信息至少包括所述目标数据的时间标识和/或所述目标数据的设备标识:
第二获取模块12,用于获取预先存储的数据集合中的所有数据对应的参数信息与数据标识集合之间的对应关系;
第一判断模块13,用于判断所述对应关系中是否存在所述目标参数信息对应的数据标识集合;
第一存储模块14,用于当所述对应关系中不存在所述目标参数信息对应的数据标识集合时,将所述目标数据存储到所述数据集合中;
第三获取模块15,用于当所述对应关系中存在所述目标参数信息对应的数据标识集合时,获取所述数据标识集合中的每个数据标识对应的数据;
更新模块16,用于利用所述目标数据对所述每个数据标识对应的数据进行更新。
在本发明图4所示的实施例中,在获取到目标数据之后,只需提取目标数据的目标参数信息,获取预先存储的数据集合中所有数据对应的参数信息与数据标识集合之间的对应关系;判断上述对应关系中是否存在目标参数信息对应的数据标识集合;这样可以迅速判断出预先存储的数据集合中是否存在与目标数据为同种数据的数据,节省了更新所需的时间,当对应关系中不存在目标参数信息对应的数据标识集合时,则说明预先存储的数据集合中不存在与目标数据为同种数据的数据,将目标数据存储到数据集合中;当对应关系中存在目标参数信息对应的数据标识集合时,则说明预先存储的数据集合中可能存在与目标数据为同种数据的数据,获取数据标识集合中的每个数据标识对应的数据;利用目标数据对每个数据标识对应的数据进行更新。这样,在整个更新过程中,无需将预先存储的数据集合中的每条数据的数据标识分别与目标数据的数据标识进行匹配,只需判断参数信息与数据标识集合之间的对应关系中是否存在目标参数信息对应的数据标识集合,这样可以迅速判断出预先存储的数据集合中是否存在与目标数据为同种数据的数据,以及迅速判断出预先存储的数据集合中哪些数据与目标数据为同种数据,从而可以节省大量的内存资源和所需的时间。
进一步地,所述目标数据为多个,所述装置还包括:
第二判断模块,用于在获取的每个目标数据的目标参数信息中判断是否存在多个目标参数信息为相同的目标参数信息;
去除模块,用于当存在多个目标参数信息为相同的目标参数信息时,对相同的目标参数信息进行去除操作,只保留相同的目标参数信息中的一个目标参数信息。
进一步地,所述装置还包括:
第四获取模块,用于获取所述预先存储的数据集合中的每条数据的参数信息和每条数据的数据标识;
归类模块,用于在所述预先存储的数据集合中的每条数据的参数信息中,将相同的参数信息归为一类参数信息;
第五获取模块,用于对于每一类参数信息,获取所述一类参数信息对应的数据标识并组成数据标识集合;
第二存储模块,用于将所述一类参数信息与组成的数据标识集合存储在参数信息与数据标识集合之间的对应关系中。
进一步地,所述装置还包括:
第六获取模块,用于获取所述目标数据的目标数据标识;
添加模块,用于将所述目标参数信息和所述目标数据标识添加至所述对应关系中。
其中,所述更新模块16包括:
获取单元,用于获取所述目标数据的目标数据标识;
判断单元,用于判断所述数据标识集合中是否存在与所述目标数据标识相同的数据标识;
替换单元,用于当所述数据标识集合中存在与所述目标数据标识相同的数据标识时,利用所述目标数据替换数据标识与所述目标数据标识相同的数据;
存储单元,用于当所述数据标识集合中不存在与所述目标数据标识相同的数据标识时,将所述目标数据存储到所述预先存储的数据集合中。
其中,所述替换单元包括:
获取子单元,用于获取所述目标数据的目标数据内容;
替换子单元,用于利用所述目标数据的目标数据内容替换数据标识与所述目标数据标识相同的数据的数据内容。
其中,所述更新模块16还包括:
添加单元,用于将所述目标数据的目标数据标识添加至所述数据标识集合中。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种数据更新方法,其特征在于,所述方法包括:
获取目标数据并提取所述目标数据的目标参数信息,所述目标参数信息至少包括所述目标数据的时间标识和/或所述目标数据的设备标识;
获取预先存储的数据集合中的所有数据对应的参数信息与数据标识集合之间的对应关系;
判断所述对应关系中是否存在所述目标参数信息对应的数据标识集合;
当所述对应关系中不存在所述目标参数信息对应的数据标识集合时,将所述目标数据存储到所述数据集合中;
当所述对应关系中存在所述目标参数信息对应的数据标识集合时,获取所述数据标识集合中的每个数据标识对应的数据;利用所述目标数据对所述每个数据标识对应的数据进行更新。
2.根据权利要求1所述的方法,其特征在于,所述目标数据为多个,所述获取目标数据并提取所述目标数据的目标参数信息之后,还包括:
在获取的每个目标数据的目标参数信息中判断是否存在多个目标参数信息为相同的目标参数信息;
当存在多个目标参数信息为相同的目标参数信息时,对相同的目标参数信息进行去除操作,只保留相同的目标参数信息中的一个目标参数信息。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述预先存储的数据集合中的每条数据的参数信息和每条数据的数据标识;
在所述预先存储的数据集合中的每条数据的参数信息中,将相同的参数信息归为一类参数信息;
对于每一类参数信息,获取所述一类参数信息对应的数据标识并组成数据标识集合;将所述一类参数信息与组成的数据标识集合存储在参数信息与数据标识集合之间的对应关系中。
4.根据权利要求3所述的方法,其特征在于,所述将所述目标数据存储到所述数据集合中之后,还包括:
获取所述目标数据的目标数据标识,并将所述目标参数信息和所述目标数据标识添加至所述对应关系中。
5.根据权利要求3所述的方法,其特征在于,所述利用所述目标数据对所述每个数据标识对应的数据进行更新,包括:
获取所述目标数据的目标数据标识;
判断所述数据标识集合中是否存在与所述目标数据标识相同的数据标识;
当所述数据标识集合中存在与所述目标数据标识相同的数据标识时,利用所述目标数据替换数据标识与所述目标数据标识相同的数据;
当所述数据标识集合中不存在与所述目标数据标识相同的数据标识时,将所述目标数据存储到所述预先存储的数据集合中。
6.根据权利要求5所述的方法,其特征在于,所述利用所述目标数据替换数据标识与所述目标数据标识相同的数据,包括:
获取所述目标数据的目标数据内容;
利用所述目标数据的目标数据内容替换数据标识与所述目标数据标识相同的数据的数据内容。
7.根据权利要求5或6所述的方法,其特征在于,所述方法还包括:
将所述目标数据的目标数据标识添加至所述数据标识集合中。
8.一种数据更新装置,其特征在于,所述装置包括:
第一获取模块,用于获取目标数据并提取所述目标数据的目标参数信息,所述目标参数信息至少包括所述目标数据的时间标识和/或所述目标数据的设备标识;
第二获取模块,用于获取预先存储的数据集合中的所有数据对应的参数信息与数据标识集合之间的对应关系;
第一判断模块,用于判断所述对应关系中是否存在所述目标参数信息对应的数据标识集合;
第一存储模块,用于当所述对应关系中不存在所述目标参数信息对应的数据标识集合时,将所述目标数据存储到所述数据集合中;
第三获取模块,用于当所述对应关系中存在所述目标参数信息对应的数据标识集合时,获取所述数据标识集合中的每个数据标识对应的数据;
更新模块,用于利用所述目标数据对所述每个数据标识对应的数据进行更新。
9.根据权利要求8所述的装置,其特征在于,所述目标数据为多个,所述装置还包括:
第二判断模块,用于在获取的每个目标数据的目标参数信息中判断是否存在多个目标参数信息为相同的目标参数信息;
去除模块,用于当存在多个目标参数信息为相同的目标参数信息时,对相同的目标参数信息进行去除操作,只保留相同的目标参数信息中的一个目标参数信息。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第四获取模块,用于获取所述预先存储的数据集合中的每条数据的参数信息和每条数据的数据标识;
归类模块,用于在所述预先存储的数据集合中的每条数据的参数信息中,将相同的参数信息归为一类参数信息;
第五获取模块,用于对于每一类参数信息,获取所述一类参数信息对应的数据标识并组成数据标识集合;
第二存储模块,用于将所述一类参数信息与组成的数据标识集合存储在参数信息与数据标识集合之间的对应关系中。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
第六获取模块,用于获取所述目标数据的目标数据标识;
添加模块,用于将所述目标参数信息和所述目标数据标识添加至所述对应关系中。
12.根据权利要求10所述的装置,其特征在于,所述更新模块包括:
获取单元,用于获取所述目标数据的目标数据标识;
判断单元,用于判断所述数据标识集合中是否存在与所述目标数据标识相同的数据标识;
替换单元,用于当所述数据标识集合中存在与所述目标数据标识相同的数据标识时,利用所述目标数据替换数据标识与所述目标数据标识相同的数据;
存储单元,用于当所述数据标识集合中不存在与所述目标数据标识相同的数据标识时,将所述目标数据存储到所述预先存储的数据集合中。
13.根据权利要求12所述的装置,其特征在于,所述替换单元包括:
获取子单元,用于获取所述目标数据的目标数据内容;
替换子单元,用于利用所述目标数据的目标数据内容替换数据标识与所述目标数据标识相同的数据的数据内容。
14.根据权利要求12或13所述的装置,其特征在于,所述更新模块还包括:
添加单元,用于将所述目标数据的目标数据标识添加至所述数据标识集合中。
CN201510116654.5A 2015-03-17 2015-03-17 一种数据更新方法及装置 Active CN106033452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510116654.5A CN106033452B (zh) 2015-03-17 2015-03-17 一种数据更新方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510116654.5A CN106033452B (zh) 2015-03-17 2015-03-17 一种数据更新方法及装置

Publications (2)

Publication Number Publication Date
CN106033452A CN106033452A (zh) 2016-10-19
CN106033452B true CN106033452B (zh) 2019-06-25

Family

ID=57150955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510116654.5A Active CN106033452B (zh) 2015-03-17 2015-03-17 一种数据更新方法及装置

Country Status (1)

Country Link
CN (1) CN106033452B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073355B (zh) * 2016-11-15 2020-03-17 杭州海康威视数字技术股份有限公司 一种数据存储和删除方法及装置
CN110569318A (zh) * 2018-05-16 2019-12-13 杭州海康威视数字技术股份有限公司 时空数据的存储方法、查询方法及存储装置、查询装置
CN111949710B (zh) * 2020-08-17 2024-03-22 北京锐安科技有限公司 数据存储方法、装置、服务器及存储介质
CN112354189B (zh) * 2020-11-23 2022-05-20 腾讯科技(深圳)有限公司 一种游戏数据对象匹配方法、装置、设备及存储介质
CN114637548B (zh) * 2022-02-18 2024-09-13 高德信息技术有限公司 依赖模块的加载方法、装置及计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051912A (zh) * 2006-04-05 2007-10-10 迈世亚(北京)科技有限公司 一种数据自动更新方法
CN103873451A (zh) * 2012-12-17 2014-06-18 中国移动通信集团公司 一种数据同步的方法、设备和系统
CN104361034A (zh) * 2014-10-27 2015-02-18 浪潮(北京)电子信息产业有限公司 一种云存储的文件管理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4833273B2 (ja) * 2008-12-09 2011-12-07 富士通株式会社 ストレージ装置、リストア方法およびリストアプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051912A (zh) * 2006-04-05 2007-10-10 迈世亚(北京)科技有限公司 一种数据自动更新方法
CN103873451A (zh) * 2012-12-17 2014-06-18 中国移动通信集团公司 一种数据同步的方法、设备和系统
CN104361034A (zh) * 2014-10-27 2015-02-18 浪潮(北京)电子信息产业有限公司 一种云存储的文件管理方法及装置

Also Published As

Publication number Publication date
CN106033452A (zh) 2016-10-19

Similar Documents

Publication Publication Date Title
CN106033452B (zh) 一种数据更新方法及装置
CN106528395B (zh) 测试用例的生成方法及装置
CN108769823A (zh) 直播间显示方法、装置、设备及存储介质
EP3001333A1 (en) Object search method and apparatus
CN106649610A (zh) 图片标注方法及装置
CN107147560A (zh) 数据分享方法及装置
CN104615658B (zh) 一种确定用户身份的方法
CN104536953B (zh) 一种文本情绪极性的识别方法及装置
CN106886560A (zh) 树形区块链的生成方法及系统
CN106125763A (zh) 飞行器控制方法及装置
JP2013543160A5 (zh)
CN102982125B (zh) 一种用于确定同义文本的方法和装置
CN111783105B (zh) 渗透测试方法、装置、设备及存储介质
CN109309809A (zh) 跨区域目标轨迹跟踪的方法及数据处理方法、装置和系统
CN103455587B (zh) 获取推送内容的方法及装置、接收推送内容的方法及装置
CN106021556A (zh) 地址信息处理方法及装置
CN106296344A (zh) 恶意地址识别方法及装置
CN104272327B (zh) 作业管理方法以及管理系统
CN109634981A (zh) 一种数据库扩充方法及装置
CN107239468A (zh) 任务节点管理方法及装置
CN107392430A (zh) 一种基于物联网的产品生产方法和装置
CN104333614B (zh) 终端识别的方法、装置及系统
CN104253754B (zh) 一种acl快速匹配的方法和设备
GB2442674A (en) Computer system for resource management
CN105279600A (zh) 工序管理系统中的标注扩展赋予方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200923

Address after: Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: Grand Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right