CN105045830A - 一种数据关联方法及装置 - Google Patents

一种数据关联方法及装置 Download PDF

Info

Publication number
CN105045830A
CN105045830A CN201510372332.7A CN201510372332A CN105045830A CN 105045830 A CN105045830 A CN 105045830A CN 201510372332 A CN201510372332 A CN 201510372332A CN 105045830 A CN105045830 A CN 105045830A
Authority
CN
China
Prior art keywords
data
data identifier
identifier
subsystem
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510372332.7A
Other languages
English (en)
Other versions
CN105045830B (zh
Inventor
郑浩
蔡龙军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201510372332.7A priority Critical patent/CN105045830B/zh
Publication of CN105045830A publication Critical patent/CN105045830A/zh
Application granted granted Critical
Publication of CN105045830B publication Critical patent/CN105045830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2452Query translation
    • G06F16/24526Internal representations for queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据关联方法及装置。一种数据关联方法,应用于主系统,该方法可以包括以下步骤:接收用户录入的第一数据标识符,所述第一数据标识符与所述主系统中的第一类数据的第一数据集合具有关联关系;将所述第一数据标识符发送给副系统;接收所述副系统返回的与所述第一数据标识符具有关联关系的所述副系统中的第二类数据的第二数据集合;将所述第一数据集合和所述第二数据集合进行关联;其中,所述第一数据标识符至少包含生成该第一数据标识符的机器的标识和生成该第一数据标识符的时间戳。应用本发明实施例所提供的技术方案,数据标识符在不同系统间具有唯一性,减少了不同系统间数据关联的错误率。

Description

一种数据关联方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种数据关联方法及装置。
背景技术
在企业运营过程的实际业务中,可能需要部署多个系统,参见图1所示,每个系统分别由操作员对其进行管理与维护,不同系统中的数据是无序录入的。在实际应用中,不同系统间的数据,总有相互关联的需求。比如视频网站中的版权管理系统和视频发布系统,视频发布系统中的视频数据需要关联相应的版权数据,才能进行视频发布,同样,版权管理系统中的版权数据也需要与相应的视频数据相关联。
现有的一种数据关联方法是,不同系统间的数据通过数据名称进行关联。
这种方法存在一定的缺点,因为在不同系统中,数据名称并不具有唯一性,不同数据的数据名称可能是相同的,这样可能会导致关联错误,增大关联错误率,使得企业运营受阻,比如视频发布系统与版权管理系统数据关联错误,可能会导致视频数据关联了错误的版权数据,从而带来无版权视频发布造成的法律风险。
发明内容
为解决上述问题,本发明实施例公开了一种数据关联方法及装置。技术方案如下:
一种数据关联方法,应用于主系统,所述方法包括:
接收用户录入的第一数据标识符,所述第一数据标识符与所述主系统中的第一类数据的第一数据集合具有关联关系;
将所述第一数据标识符发送给副系统;
接收所述副系统返回的与所述第一数据标识符具有关联关系的所述副系统中的第二类数据的第二数据集合;
将所述第一数据集合和所述第二数据集合进行关联;
其中,所述第一数据标识符至少包含生成该第一数据标识符的机器的标识和生成该第一数据标识符的时间戳。
在本发明的一种具体实施方式中,还包括:
将所述第一数据集合及所述第一数据标识符发送给所述副系统。
在本发明的一种具体实施方式中,还包括:
接收所述副系统发送的第二数据标识符,所述第二数据标识符与所述副系统中的第二类数据的第三数据集合具有关联关系;
在自身的第一类数据中,查找与所述第二数据标识符具有关联关系的第四数据集合;
将查找到的第四数据集合发送给所述副系统。
在本发明的一种具体实施方式中,在所述接收用户录入的第一数据标识符之后、所述将所述第一数据标识符发送给副系统之前,还包括:
按照预设的校验条件,对所述第一数据标识符进行有效性校验。
在本发明的一种具体实施方式中,在所述将所述第一数据标识符发送给副系统之后,还包括:
判断在设定的时间长度内是否接收到所述副系统返回的与所述第一数据标识符具有关联关系的第二数据集合;
如果否,则将所述第一数据标识符确定为异常数据标识符,记录到异常数据库。
在本发明的一种具体实施方式中,还包括:
接收所述副系统发送的每个异常数据标识符及每个异常数据标识符所关联的第二类数据的数据集合,每个所述异常数据标识符为:所述副系统按照预设第一周期读取所述主系统的异常数据库,并确定自身存储有与该异常数据库中的该异常数据标识符具有关联关系的数据集合时发送的;
针对接收到的每个异常数据标识符,将自身的第一类数据中与该异常数据标识符具有关联关系的数据集合与接收到的与该异常数据标识符具有关联关系的数据集合进行关联。
在本发明的一种具体实施方式中,还包括:
按照预设第二周期,分别读取自身和所述副系统中的所有数据标识符及与每个数据标识符具有关联关系的数据集合;
针对每个数据标识符,判断自身中与该数据标识符具有关联关系的数据集合与所述副系统中该数据标识符具有关联关系的数据集合是否一致,如果否,则将自身与该数据标识符具有关联关系的数据集合发送给所述副系统,或者将该数据标识符发送给所述副系统,并接收所述副系统返回的与该数据标识符具有关联关系的数据集合。
在本发明的一种具体实施方式中,所述数据标识符还包含生成该数据标识符的用户的标识。
一种数据关联装置,应用于主系统,所述装置包括:
数据标识符接收模块,用于接收用户录入的第一数据标识符,所述第一数据标识符与所述主系统中的第一类数据的第一数据集合具有关联关系;所述第一数据标识符至少包含生成该第一数据标识符的机器的标识和生成该第一数据标识符的时间戳;
数据标识符发送模块,用于将所述第一数据标识符发送给副系统;
数据集合接收模块,用于接收所述副系统返回的与所述第一数据标识符具有关联关系的所述副系统中的第二类数据的第二数据集合;
数据集合关联模块,用于将所述第一数据集合和所述第二数据集合进行关联。
在本发明的一种具体实施方式中,还包括:
数据集合及数据标识符发送模块,用于将所述第一数据集合及所述第一数据标识符发送给所述副系统。
在本发明的一种具体实施方式中,所述装置还包括数据集合查找模块和数据集合发送模块:
所述数据标识符接收模块,还用于接收所述副系统发送的第二数据标识符,所述第二数据标识符与所述副系统中的第二类数据的第三数据集合具有关联关系;
所述数据集合查找模块,用于在自身的第一类数据中,查找与所述第二数据标识符具有关联关系的第四数据集合;
所述数据集合发送模块,用于将查找到的第四数据集合发送给所述副系统。
在本发明的一种具体实施方式中,还包括:
校验模块,用于在所述数据标识符接收模块接收用户录入的第一数据标识符之后、所述数据标识符发送模块将所述第一数据标识符发送给副系统之前,按照预设的校验条件,对所述第一数据标识符进行有效性校验。
在本发明的一种具体实施方式中,还包括:
第一判断模块,用于在所述数据标识符发送模块将所述第一数据标识符发送给副系统之后,判断在设定的时间长度内是否接收到所述副系统返回的与所述第一数据标识符具有关联关系的第二数据集合,如果否,则触发异常记录模块;
所述异常记录模块,用于将所述第一数据标识符确定为异常数据标识符,并记录到异常数据库。
在本发明的一种具体实施方式中,还包括异常数据标识符及数据集合接收模块:
所述异常数据标识符及数据集合接收模块,用于接收所述副系统发送的每个异常数据标识符及每个异常数据标识符所关联的第二类数据的数据集合,每个所述异常数据标识符为:所述副系统按照预设第一周期读取所述主系统的异常数据库,并确定自身存储有与该异常数据库中的该异常数据标识符具有关联关系的数据集合时发送的;
所述数据集合关联模块,还用于针对接收到的每个异常数据标识符,将自身的第一类数据中与该异常数据标识符具有关联关系的数据集合与接收到的与该异常数据标识符具有关联关系的数据集合进行关联。
在本发明的一种具体实施方式中,还包括:
读取模块,用于按照预设第二周期,分别读取自身和所述副系统中的所有数据标识符及与每个数据标识符具有关联关系的数据集合;
第二判断模块,用于针对每个数据标识符,判断自身中与该数据标识符具有关联关系的数据集合与所述副系统中该数据标识符具有关联关系的数据集合是否一致,如果否,则触发修复模块;
所述修复模块,用于将自身与该数据标识符具有关联关系的数据集合发送给所述副系统,或者将该数据标识符发送给所述副系统,并接收所述副系统返回的与该数据标识符具有关联关系的数据集合。
应用本发明实施例所提供的技术方案,通过数据标识符将不同系统间与该数据标识符具有关联关系的数据集合进行关联,数据标识符中包含了生成该数据标识符的机器的标识和生成该数据标识符的时间戳,使得数据标识符在不同系统间具有唯一性,这样,减少了不同系统间数据关联的错误率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中不同系统中数据无序录入示意图;
图2为本发明实施例中数据关联方法的一种实施流程图;
图3为本发明实施例中数据标识符生成示意图;
图4为本发明实施例中数据标识符结构的一种示意图;
图5a为本发明实施例中系统接口的一种示意图;
图5b为本发明实施例中系统接口的另一种示意图;
图6为本发明实施例中数据关联装置的一种结构示意图。
具体实施方式
首先对本发明实施例所提供的一种数据关联方法进行说明,该方法可以包括以下步骤:
接收用户录入的第一数据标识符,所述第一数据标识符与所述主系统中的第一类数据的第一数据集合具有关联关系;
将所述第一数据标识符发送给副系统;
接收所述副系统返回的与所述第一数据标识符具有关联关系的所述副系统中的第二类数据的第二数据集合;
将所述第一数据集合和所述第二数据集合进行关联;
其中,所述第一数据标识符至少包含生成该第一数据标识符的机器的标识和生成该第一数据标识符的时间戳。
主系统通过执行上述步骤,通过第一数据标识符实现自身中的第一类数据的第一数据集合与副系统中的第二类数据的第二数据集合的关联,第一数据标识符、第一数据集合、第二数据集合的具体关联方式为现有技术,本发明实施例在此不再赘述。
实际应用中,在每个系统中保存有对应类型的数据,在每个系统中,针对该系统中每个数据的内容,可以将该系统中的数据划分到不同的数据集合中。
在主系统中保存有第一类数据,根据每个第一类数据的内容可以将每个第一类数据划分到不同的数据集合中,即每个数据集合可以包含一个或多个第一类数据,每个数据集合中的第一类数据是捆绑使用的,不同的数据集合需要对应不同的数据标识符,也就是,每个数据集合需要使用唯一一个数据标识符进行标识。主系统接收到的第一数据标识符,与主系统中的第一类数据的第一数据集合具有关联关系,该第一数据标识符至少包含生成该第一数据标识符的机器的标识和生成该第一数据标识符的时间戳。
可以理解的是,本发明实施例中每个数据标识符均至少包含生成该数据标识符的机器的标识和生成该数据标识符的时间戳,这样可以使得主系统中的第一类数据的每个数据集合所关联的数据标识符都是唯一的。
主系统将接收到的第一数据标识符发送给副系统,副系统在其第二类数据中查找与该第一数据标识符具有关联关系的数据集合,并将查找到的第二数据集合返回给主系统,主系统接收到第二数据集合后,将其与第一数据集合进行关联,这样,在主系统中,构成了第一数据标识符、第一数据集合和第二数据集合三者之间的关联关系。
需要说明的是,本发明实施例是从用户录入一个数据标识符的角度进行的描述,当用户同时录入多个数据标识符时,针对每一个数据标识符,主系统均可以使用上述步骤进行相应的数据关联。
应用本发明实施例所提供的技术方案,通过数据标识符将不同系统间与该数据标识符具有关联关系的数据集合进行关联,数据标识符中包含了生成该数据标识符的机器的标识和生成该数据标识符的时间戳,使得数据标识符在不同系统间具有唯一性,这样,减少了不同系统间数据关联的错误率。
为了使本领域技术人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图2所示,为本发明实施例所提供的数据关联方法的一种实施流程图,该方法应用于主系统,可以包括以下步骤:
S110:接收用户录入的第一数据标识符。
所述第一数据标识符与所述主系统中的第一类数据的第一数据集合具有关联关系,所述第一数据标识符至少包含生成该第一数据标识符的机器的标识和生成该第一数据标识符的时间戳。
在本发明实施例中,用户可以理解为管理和维护主系统的人员,如操作员。用户在主系统中录入第一数据标识符时,可以同时录入与该第一数据标识符具有关联关系的第一类数据的第一数据集合,或者,用户在主系统中录入第一数据标识符时,可以同时将该第一数据标识符与主系统中的第一类数据的第一数据集合进行关联。
在图1所示的某企业的分布式非互通系统示意图中,存在多端并发情况,不同系统的操作员在各自系统中进行无序的数据录入。在本发明实施例中,用户可以针对主系统中的每个数据集合生成相应的数据标识符,数据标识符至少包含生成该数据标识符的机器的标识和生成该数据标识符的时间戳,这样,可以保证在多端并发的情况下生成唯一的数据标识符,如图3所示。
在本发明的一种具体实施方式中,数据标识符还可以包含生成该数据标识符的用户的标识。这样,生成的数据标识符具有可追溯性,一旦发生异常,可以根据该数据标识符中用户的标识和时间戳等信息进行纠错处理。当然,数据标识符中还可以包含其他信息,如其所对应的数据类型信息等,本发明实施例对此不做限定。
在本发明的一种具体实施方式中,数据标识符的结构可以是条形码结构,具体的结构如图4所示,该条形码由16位十六进制机器码、8位用户名、14位时间戳构成。
主系统接收到用户录入的第一数据标识符后,可以继续执行步骤S120的操作。
当然,在实际应用中,主系统在接收到用户录入的第一数据标识符之后、在执行步骤S120之前,还可以按照预设的校验条件,对所述第一数据标识符进行有效性校验。具体的校验条件可以是,判断第一数据标识符是否符合数据标识符的预设结构,和/或,判断第一数据标识符是否与主系统中的其他数据标识符重复等。根据预设的校验条件,确定第一数据标识符是否有效,如果无效,则进行相应的错误检查处理,如果有效,则继续执行步骤S120的操作。对接收到的第一数据标识符进行有效性校验,可以防止非法数据录入到主系统中,避免数据关联出现错误。
S120:将所述第一数据标识符发送给副系统。S130:接收所述副系统返回的与所述第一数据标识符具有关联关系的所述副系统中的第二类数据的第二数据集合。
在步骤S110主系统接收到用户录入的第一数据标识符后,将该第一数据标识符发送给副系统。此时,副系统中可能存储有与该第一数据标识符具有关联关系的第二类数据的数据集合,也就是说,维护与管理副系统的人员可能已经将该第一数据标识符与副系统中的第二类数据的数据集合进行了关联。当副系统接收到主系统发送的第一数据标识符后,可以根据该第一数据标识符,在第二类数据中查找与该第一数据标识符具有关联关系的数据集合,并将查找到的数据集合返回给主系统。
S140:将所述第一数据集合和所述第二数据集合进行关联。
经过执行步骤S110至步骤S130,在主系统中,第一数据集合和第二数据集合均与第一数据标识符具有关联关系,据此可以将第一数据集合和第二数据集合进行关联。
应用本发明实施例所提供的技术方案,通过数据标识符将不同系统间与该数据标识符具有关联关系的数据集合进行关联,数据标识符中包含了生成该数据标识符的机器的标识和生成该数据标识符的时间戳,使得数据标识符在不同系统间具有唯一性,这样,减少了不同系统间数据关联的错误率。
在本发明的一个实施例中,该方法还可以包括以下步骤:
将所述第一数据集合及所述第一数据标识符发送给所述副系统。
该步骤可以在步骤S110主系统接收到用户录入的第一数据标识符后执行,还可以在步骤S140主系统将第一数据集合和第二数据集合进行关联之后执行。
在本发明实施例中,主系统和副系统中的数据是需要相互关联的。主系统接收到用户录入的第一数据标识符后,可以主动向副系统发送该第一数据标识符及与该第一数据标识符具有关联关系的第一数据集合。或者主系统从副系统中获得第二数据集合,并将第一数据集合与第二数据集合进行关联后,为使副系统中的第二类数据与主系统中的第一类数据进行关联,主系统可以将第一数据集合及第一数据标识符发送给副系统。这样,副系统可以根据第一数据标识符,将第一数据集合与第二数据集合进行关联。从而实现了主系统、副系统间的数据相互关联的目的。
在本发明的一个实施例中,该方法还可以包括以下步骤:
步骤一:接收所述副系统发送的第二数据标识符,所述第二数据标识符与所述副系统中的第二类数据的第三数据集合具有关联关系;
步骤二:在自身的第一类数据中,查找与所述第二数据标识符具有关联关系的第四数据集合;
步骤三:将查找到的第四数据集合返回给所述副系统。
为方便理解,将上述三个步骤结合起来进行说明。
在实际应用中,主系统向副系统发送数据标识符后,副系统中可能并没有与该数据标识符具有关联关系的数据集合,也就不会向主系统返回相应的数据集合。当管理与维护副系统的人员在副系统中录入第二数据标识符时,副系统将该第二数据标识符发送给主系统,主系统接收到第二数据标识符后,在自身的第一类数据中,查找与该第二数据标识符具有关联关系的第四数据集合,并将查找到的第四数据集合返回给副系统,实现两个系统间的数据关联。
在本发明的一个实施例中,在步骤S120之后,该方法还可以包括以下步骤:
第一个步骤:判断在设定的时间长度内是否接收到所述副系统返回的与所述第一数据标识符具有关联关系的第二数据集合,如果否,则执行第二个步骤;
第二个步骤:将所述第一数据标识符确定为异常数据标识符,添加到异常数据库。
主系统可以维护一个异常数据库,用于记录异常数据标识符。当主系统向副系统发送数据标识符后,在设定的时间长度内没有接收到副系统返回的与该数据标识符具有关联关系的第二数据集合时,可以将该数据标识符确定为异常数据标识符,记录到异常数据库中。
在设定的时间长度内,副系统没有返回与主系统发送的数据标识符具有关联关系的数据集合,可能有两种情况:
一种情况是,副系统中不存在这样的数据集合;
另一种情况是,副系统中存在这样的数据集合,但是数据传输出现异常,主系统没有接收到副系统返回的相应的数据集合。
无论哪种情况,都可以将该数据标识符作为异常数据标识符,记录到异常数据库中。副系统可以按照预设第一周期从主系统的异常数据库中读取每个异常数据标识符,针对每个异常数据标识符,判断本系统中是否存在与该异常数据标识符具有关联关系的第二类数据的数据集合,如果是,则可以表明主系统的数据关联出现问题,副系统可以将判断结果为是的每个异常数据标识符及每个异常数据标识符所关联的第二类数据的数据集合发送给主系统,主系统根据接收到的每个异常数据标识符,将自身的第一类数据中与该异常数据标识符具有关联关系的数据集合与接收到的与该异常数据标识符具有关联关系的数据集合进行关联。进一步的,主系统还可以将关联关系数据返回给副系统。这里的第一周期可以根据具体情况进行设定和调整,本发明实施例对此不做限定。
当然,在实际应用中,为减小数据关联错误率,避免数据关联失败导致企业运营受阻,主系统还可以按照预设第二周期,分别读取自身和所述副系统中的所有数据标识符及与每个数据标识符具有关联关系的数据集合,并针对每个数据标识符,判断自身中与该数据标识符具有关联关系的数据集合与副系统中该数据标识符具有关联关系的数据集合是否一致,如果否,则将自身与该数据标识符具有关联关系的数据集合发送给副系统,或者将该数据标识符发送给副系统,并接收副系统返回的与该数据标识符具有关联关系的数据集合。需要说明的是,第二周期可以根据实际情况进行设定和调整,如设置为一天等,本发明实施例对此不做限定。
在实际应用中,主系统和副系统可以各提供两个对称的数据同步接口,拉Pull接口和推Push接口,参见图5a和图5b所示,主系统通过副系统的Pull接口拉数据(PullData),通过副系统的Push接口推数据(PushData),同样,副系统通过主系统的Pull接口拉数据(PullData),通过主系统的Push接口推数据(PushData)。以视频网站的版权管理系统为主系统、视频发布系统为副系统为例对本发明实施例进行具体说明。主系统中的每个版权数据具有唯一的数据标识符。
对于某个版权数据来说,该版权数据和该版权数据的数据标识符可能还未在主系统中录入,但副系统中待发布的视频数据需要关联该版权数据,在这种情况下,用户可以先生成该版权数据的数据标识符,并将该数据标识符与待发布的视频数据进行关联,副系统先进行相关的视频发布。当主系统接收到录入的数据标识符后,通过副系统的Pull接口从副系统中拉入与该数据标识符具有关联关系的视频数据,并在本系统中将该版权数据与视频数据进行关联,然后再将关联关系数据通过副系统的Push接口推送给副系统,以由副系统进行相应的数据关联;
当数据标识符先在副系统中录入时,副系统可以根据该数据标识符通过主系统的Pull接口拉与该数据标识符具有关联关系的版权数据,并将拉回的版权数据与自身相应的视频数据进行关联,将关联关系数据通过主系统的Push接口推送给主系统,以由主系统进行相应的数据关联。
这样,在视频网站中,根据数据标识符,版权管理系统与视频发布系统之间可以进行版权数据的无缝的共享与关联,减少了版权数据与视频数据关联错误造成的损失,比如无版权视频发布造成的法律风险。
相应于上面的方法实施例,本发明实施例还提供了一种数据关联装置,应用于主系统,参见图6所示,该装置可以包括以下模块:
数据标识符接收模块210,用于接收用户录入的第一数据标识符;
所述第一数据标识符与所述主系统中的第一类数据的第一数据集合具有关联关系;所述第一数据标识符至少包含生成该第一数据标识符的机器的标识和生成该第一数据标识符的时间戳;所述第一数据标识符还可以包含生成该数据标识符的用户的标识。
数据标识符发送模块220,用于将所述第一数据标识符发送给副系统;
数据集合接收模块230,用于接收所述副系统返回的与所述第一数据标识符具有关联关系的所述副系统中的第二类数据的第二数据集合;
数据集合关联模块240,用于将所述第一数据集合和所述第二数据集合进行关联。
应用本发明实施例所提供的装置,通过数据标识符将不同系统间与该数据标识符具有关联关系的数据集合进行关联,数据标识符中包含了生成该数据标识符的机器的标识和生成该数据标识符的时间戳,使得数据标识符在不同系统间具有唯一性,这样,减少了不同系统间数据关联的错误率。
在本发明的一个实施例中,还可以包括以下模块:
数据集合及数据标识符发送模块,用于将所述第一数据集合及所述第一数据标识符发送给所述副系统。
在本发明的一个实施例中,该装置还可以包括数据集合查找模块和数据集合发送模块:
所述数据标识符接收模块210,还用于接收所述副系统发送的第二数据标识符,所述第二数据标识符与所述副系统中的第二类数据的第三数据集合具有关联关系;
所述数据集合查找模块,用于在自身的第一类数据中,查找与所述第二数据标识符具有关联关系的第四数据集合;
所述数据集合发送模块,用于将查找到的第四数据集合发送给所述副系统。
在本发明的一个实施例中,还可以包括以下模块:
校验模块,用于在所述数据标识符接收模块210接收用户录入的第一数据标识符之后、所述数据标识符发送模块220将所述第一数据标识符发送给副系统之前,按照预设的校验条件,对所述第一数据标识符进行有效性校验。
在本发明的一个实施例中,还可以包括以下模块:
第一判断模块,用于在所述数据标识符发送模块220将所述第一数据标识符发送给副系统之后,判断在设定的时间长度内是否接收到所述副系统返回的与所述第一数据标识符具有关联关系的第二数据集合,如果否,则触发异常记录模块;
所述异常记录模块,用于将所述第一数据标识符确定为异常数据标识符,并记录到异常数据库。
在本发明的一个实施例中,还可以包括异常数据标识符及数据集合接收模块:
所述异常数据标识符及数据集合接收模块,用于接收所述副系统发送的异常数据标识符及每个异常数据标识符所关联的第二类数据的数据集合,所述副系统发送的异常数据标识符为:所述副系统按照预设第一周期读取所述主系统的异常数据库,并确定自身存储有与该异常数据库中的异常数据标识符具有关联关系的数据集合的数据标识符;
所述数据集合关联模块240,还用于根据接收到的每个异常数据标识符,将自身的第一类数据中与该异常数据标识符具有关联关系的数据集合与接收到的与该异常数据标识符具有关联关系的数据集合进行关联。
在本发明的一个实施例中,还可以包括以下模块:
读取模块,用于按照预设第二周期,分别读取自身和所述副系统中的所有数据标识符及与每个数据标识符具有关联关系的数据集合;
第二判断模块,用于针对每个数据标识符,判断自身中与该数据标识符具有关联关系的数据集合与所述副系统中该数据标识符具有关联关系的数据集合是否一致,如果否,则触发修复模块;
所述修复模块,用于将自身与该数据标识符具有关联关系的数据集合发送给所述副系统,或者将该数据标识符发送给所述副系统,并接收所述副系统返回的与该数据标识符具有关联关系的数据集合。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (15)

1.一种数据关联方法,其特征在于,应用于主系统,所述方法包括:
接收用户录入的第一数据标识符,所述第一数据标识符与所述主系统中的第一类数据的第一数据集合具有关联关系;
将所述第一数据标识符发送给副系统;
接收所述副系统返回的与所述第一数据标识符具有关联关系的所述副系统中的第二类数据的第二数据集合;
将所述第一数据集合和所述第二数据集合进行关联;
其中,所述第一数据标识符至少包含生成该第一数据标识符的机器的标识和生成该第一数据标识符的时间戳。
2.根据权利要求1所述的方法,其特征在于,还包括:
将所述第一数据集合及所述第一数据标识符发送给所述副系统。
3.根据权利要求1所述的方法,其特征在于,还包括:
接收所述副系统发送的第二数据标识符,所述第二数据标识符与所述副系统中的第二类数据的第三数据集合具有关联关系;
在自身的第一类数据中,查找与所述第二数据标识符具有关联关系的第四数据集合;
将查找到的第四数据集合发送给所述副系统。
4.根据权利要求1所述的方法,其特征在于,在所述接收用户录入的第一数据标识符之后、所述将所述第一数据标识符发送给副系统之前,还包括:
按照预设的校验条件,对所述第一数据标识符进行有效性校验。
5.根据权利要求1所述的方法,其特征在于,在所述将所述第一数据标识符发送给副系统之后,还包括:
判断在设定的时间长度内是否接收到所述副系统返回的与所述第一数据标识符具有关联关系的第二数据集合;
如果否,则将所述第一数据标识符确定为异常数据标识符,记录到异常数据库。
6.根据权利要求5所述的方法,其特征在于,还包括:
接收所述副系统发送的每个异常数据标识符及每个异常数据标识符所关联的第二类数据的数据集合,每个所述异常数据标识符为:所述副系统按照预设第一周期读取所述主系统的异常数据库,并确定自身存储有与该异常数据库中的该异常数据标识符具有关联关系的数据集合时发送的;
针对接收到的每个异常数据标识符,将自身的第一类数据中与该异常数据标识符具有关联关系的数据集合与接收到的与该异常数据标识符具有关联关系的数据集合进行关联。
7.根据权利要求1所述的方法,其特征在于,还包括:
按照预设第二周期,分别读取自身和所述副系统中的所有数据标识符及与每个数据标识符具有关联关系的数据集合;
针对每个数据标识符,判断自身中与该数据标识符具有关联关系的数据集合与所述副系统中该数据标识符具有关联关系的数据集合是否一致,如果否,则将自身与该数据标识符具有关联关系的数据集合发送给所述副系统,或者将该数据标识符发送给所述副系统,并接收所述副系统返回的与该数据标识符具有关联关系的数据集合。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述数据标识符还包含生成该数据标识符的用户的标识。
9.一种数据关联装置,其特征在于,应用于主系统,所述装置包括:
数据标识符接收模块,用于接收用户录入的第一数据标识符,所述第一数据标识符与所述主系统中的第一类数据的第一数据集合具有关联关系;所述第一数据标识符至少包含生成该第一数据标识符的机器的标识和生成该第一数据标识符的时间戳;
数据标识符发送模块,用于将所述第一数据标识符发送给副系统;
数据集合接收模块,用于接收所述副系统返回的与所述第一数据标识符具有关联关系的所述副系统中的第二类数据的第二数据集合;
数据集合关联模块,用于将所述第一数据集合和所述第二数据集合进行关联。
10.根据权利要求9所述的装置,其特征在于,还包括:
数据集合及数据标识符发送模块,用于将所述第一数据集合及所述第一数据标识符发送给所述副系统。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括数据集合查找模块和数据集合发送模块:
所述数据标识符接收模块,还用于接收所述副系统发送的第二数据标识符,所述第二数据标识符与所述副系统中的第二类数据的第三数据集合具有关联关系;
所述数据集合查找模块,用于在自身的第一类数据中,查找与所述第二数据标识符具有关联关系的第四数据集合;
所述数据集合发送模块,用于将查找到的第四数据集合发送给所述副系统。
12.根据权利要求9所述的装置,其特征在于,还包括:
校验模块,用于在所述数据标识符接收模块接收用户录入的第一数据标识符之后、所述数据标识符发送模块将所述第一数据标识符发送给副系统之前,按照预设的校验条件,对所述第一数据标识符进行有效性校验。
13.根据权利要求9所述的装置,其特征在于,还包括:
第一判断模块,用于在所述数据标识符发送模块将所述第一数据标识符发送给副系统之后,判断在设定的时间长度内是否接收到所述副系统返回的与所述第一数据标识符具有关联关系的第二数据集合,如果否,则触发异常记录模块;
所述异常记录模块,用于将所述第一数据标识符确定为异常数据标识符,并记录到异常数据库。
14.根据权利要求13所述的装置,其特征在于,还包括异常数据标识符及数据集合接收模块:
所述异常数据标识符及数据集合接收模块,用于接收所述副系统发送的每个异常数据标识符及每个异常数据标识符所关联的第二类数据的数据集合,每个所述异常数据标识符为:所述副系统按照预设第一周期读取所述主系统的异常数据库,并确定自身存储有与该异常数据库中的该异常数据标识符具有关联关系的数据集合时发送的;
所述数据集合关联模块,还用于针对接收到的每个异常数据标识符,将自身的第一类数据中与该异常数据标识符具有关联关系的数据集合与接收到的与该异常数据标识符具有关联关系的数据集合进行关联。
15.根据权利要求9所述的装置,其特征在于,还包括:
读取模块,用于按照预设第二周期,分别读取自身和所述副系统中的所有数据标识符及与每个数据标识符具有关联关系的数据集合;
第二判断模块,用于针对每个数据标识符,判断自身中与该数据标识符具有关联关系的数据集合与所述副系统中该数据标识符具有关联关系的数据集合是否一致,如果否,则触发修复模块;
所述修复模块,用于将自身与该数据标识符具有关联关系的数据集合发送给所述副系统,或者将该数据标识符发送给所述副系统,并接收所述副系统返回的与该数据标识符具有关联关系的数据集合。
CN201510372332.7A 2015-06-30 2015-06-30 一种数据关联方法及装置 Active CN105045830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510372332.7A CN105045830B (zh) 2015-06-30 2015-06-30 一种数据关联方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510372332.7A CN105045830B (zh) 2015-06-30 2015-06-30 一种数据关联方法及装置

Publications (2)

Publication Number Publication Date
CN105045830A true CN105045830A (zh) 2015-11-11
CN105045830B CN105045830B (zh) 2018-08-07

Family

ID=54452377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510372332.7A Active CN105045830B (zh) 2015-06-30 2015-06-30 一种数据关联方法及装置

Country Status (1)

Country Link
CN (1) CN105045830B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169003A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种数据关联方法及装置
CN108573010A (zh) * 2017-08-25 2018-09-25 北京金山云网络技术有限公司 关联异构系统同义数据的方法、装置、电子设备及介质
CN111858729A (zh) * 2020-07-01 2020-10-30 合肥森亿智能科技有限公司 数据关联方法、系统以及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1856782A (zh) * 2003-09-25 2006-11-01 索尔玛泽株式会社 安全认证服务的方法
CN102663045A (zh) * 2012-03-29 2012-09-12 苏州阔地网络科技有限公司 一种数据信息处理方法及系统
CN102799634A (zh) * 2012-06-26 2012-11-28 中国农业银行股份有限公司 数据存储方法及装置
CN102932492A (zh) * 2011-09-12 2013-02-13 微软公司 用户与ip地址租用事件的关联

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1856782A (zh) * 2003-09-25 2006-11-01 索尔玛泽株式会社 安全认证服务的方法
CN102932492A (zh) * 2011-09-12 2013-02-13 微软公司 用户与ip地址租用事件的关联
CN102663045A (zh) * 2012-03-29 2012-09-12 苏州阔地网络科技有限公司 一种数据信息处理方法及系统
CN102799634A (zh) * 2012-06-26 2012-11-28 中国农业银行股份有限公司 数据存储方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169003A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种数据关联方法及装置
CN108573010A (zh) * 2017-08-25 2018-09-25 北京金山云网络技术有限公司 关联异构系统同义数据的方法、装置、电子设备及介质
CN108573010B (zh) * 2017-08-25 2020-06-19 北京金山云网络技术有限公司 关联异构系统同义数据的方法、装置、电子设备及介质
CN111858729A (zh) * 2020-07-01 2020-10-30 合肥森亿智能科技有限公司 数据关联方法、系统以及终端

Also Published As

Publication number Publication date
CN105045830B (zh) 2018-08-07

Similar Documents

Publication Publication Date Title
CN102985911B (zh) 高度可伸缩和分布式重复数据删除
JP6749926B2 (ja) データを同期する方法、機器、及びシステム
US20120259912A1 (en) Cluster unique identifier
CN104346454A (zh) 基于Oracle数据库的数据一致性校验方法
CN102831052A (zh) 测试用例自动化生成装置及方法
CN107992492B (zh) 一种数据区块的存储方法、读取方法、其装置及区块链
CN110737806B (zh) 面向业务实体的全局id生成方法及装置
EP1725953A1 (en) Apparatus and method for data consistency validation.
CN105045830A (zh) 一种数据关联方法及装置
CN103064757A (zh) 数据备份方法及系统
CN109240854B (zh) 对误操作引起的更改进行数据恢复的方法及系统
CN105657677A (zh) 一种短信发送方法、短信网关及业务平台
EP3026574A1 (en) Affair processing method and device
CN108121774B (zh) 一种数据表备份方法及终端设备
CN109165175A (zh) 设备标识生成方法和装置
CN103516667A (zh) 用于安全性信息数据的容灾备份的系统、方法及设备
CN111163126A (zh) 一种基于Ceph分布式存储的异地备份恢复方法
CN105094959A (zh) 一种提供对账文件的方法和装置
CN105306273A (zh) 流程配置方法及装置
CN105703941A (zh) 配置事务的处理方法及装置
CN102523112A (zh) 信息处理方法及设备
CN104753659A (zh) 一种多网元数据同步加载的方法、装置及系统
CN105743952A (zh) 一种业务处理方法、服务器以及erp客户端
CN104199689A (zh) 综合前端系统的安装方法及装置
CN104239307A (zh) 用户信息存储方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant