CN110069539B - 一种数据关联方法及系统 - Google Patents

一种数据关联方法及系统 Download PDF

Info

Publication number
CN110069539B
CN110069539B CN201910367383.9A CN201910367383A CN110069539B CN 110069539 B CN110069539 B CN 110069539B CN 201910367383 A CN201910367383 A CN 201910367383A CN 110069539 B CN110069539 B CN 110069539B
Authority
CN
China
Prior art keywords
key
value pair
value
memory
message queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910367383.9A
Other languages
English (en)
Other versions
CN110069539A (zh
Inventor
崔智经
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wanyou Network Technology Co ltd
Original Assignee
Shanghai Wanyou Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wanyou Network Technology Co ltd filed Critical Shanghai Wanyou Network Technology Co ltd
Priority to CN201910367383.9A priority Critical patent/CN110069539B/zh
Publication of CN110069539A publication Critical patent/CN110069539A/zh
Application granted granted Critical
Publication of CN110069539B publication Critical patent/CN110069539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供一种数据关联方法及系统,该方法为:从第一消息队列中获取第一键值对。基于第一键值对的第一key,从预设键值对存储器中查询是否存在key与第一key相等的第二消息队列的第二键值对。若是,合并第一键值对和第二键值对,输出合并后的第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器。在本方案中,从需进行数据关联的第一消息队列中获取第一键值对,从键值对存储器查询是否存在key与第一key相等的第二键值对。若是,合并及输出第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器,以供需要与第一消息队列进行数据关联的消息队列查询。实现多个消息队列之间实时关联,关联准确性高,关联成本低。

Description

一种数据关联方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种数据关联方法及系统。
背景技术
随着大数据领域的快速发展,目前越来越多企业将与大数据相关的技术应用于自身业务中。其中,较为常见的与大数据相关的技术产品为数据仓库。
在应用数据仓库实现存储数据和数据分析等功能之前,需要将数据进行提取、转换和加载(Extract、Transform and Load,ETL)。在ETL的过程中,通常需要将多个数据源合并成一个数据源。目前较为常见的数据源合并方式是根据比较数据源的键值对(key:value)实现数据源的合并,具体实现方式为:例如对于均存在多个键值对的第一数据源和第二数据源,逐个获取第一数据源中的第一键值对,基于第一键值对中的key,确定第二数据源中是否存在key与第一键值对中的key相等的第二键值对。若存在,合并第一键值对和第二键值对,实现数据源的关联。在采用以上方式合并多个数据源时,第二数据源中的键值对需要时刻保持不变才能保证合并的准确性。但是由于目前业务数据的快速发展,数据是实时发生变化的,而数据源中的键值对也可能随着发生变化。因此在数据源中的键值对发生变化时,继续采用以上合并数据源的方式会导致关联结果错误,关联准确度低。
发明内容
有鉴于此,本发明实施例提供一种数据关联方法及系统,以解决现有数据关联方法存在的关联准确度低等问题。
为实现上述目的,本发明实施例提供如下技术方案:
本发明实施例第一方面公开了一种数据关联方法,所述方法包括:
从第一消息队列中获取第一键值对;
基于所述第一键值对中的第一key,从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对,其中,所述第二键值对为第二消息队列预先存储于所述键值对存储器中;
若存在,合并所述第一键值对和第二键值对,并输出合并后的所述第一键值对和第二键值对;
若不存在,将所述第一键值对存储至所述键值对存储器中。
优选的,所述合并所述第一键值对和第二键值对,并输出合并后的所述第一键值对和第二键值对之后,所述方法还包括:
删除所述第一key对应的保存时长。
优选的,所述将所述第一键值对存储至所述键值对存储器中之后,还包括:
为所述第一key设置保存时长。
优选的,所述方法还包括:
预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。
优选的,所述方法还包括:
基于预设周期,扫描所述键值对存储器中所有键值对所对应的key的保存时长,删除保存时长大于阈值的key对应的键值对。
本发明实施例第二方面公开了一种数据关联系统,所述系统包括:
获取单元,用于从第一消息队列中获取第一键值对;
查询单元,用于基于所述第一键值对中的第一key,从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对,若存在,执行处理单元,若不存在,执行存储单元,其中,所述第二键值对为第二消息队列预先存储于所述键值对存储器中;
所述处理单元,用于合并所述第一键值对和第二键值对,并输出合并后的所述第一键值对和第二键值对;
所述存储单元,用于将所述第一键值对存储至所述键值对存储器中。
优选的,所述处理单元还用于删除所述第一key对应的保存时长。
优选的,所述存储单元还用于为所述第一key设置保存时长。
优选的,所述存储单元还用于预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。
优选的,所述系统还包括:
扫描单元,用于基于预设周期,扫描所述键值对存储器中所有键值对所对应的key的保存时长,删除保存时长大于阈值的key对应的键值对。
基于上述本发明实施例提供的一种数据关联方法及系统,该方法为:从第一消息队列中获取第一键值对。基于第一键值对的第一key,从预设键值对存储器中查询是否存在key与第一key相等的第二消息队列的第二键值对。若是,合并第一键值对和第二键值对,输出合并后的第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器。在本方案中,从需进行数据关联的第一消息队列中获取第一键值对,从键值对存储器查询是否存在key与第一key相等的第二键值对。若是,合并及输出第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器,以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联,数据关联准确性高,数据关联成本低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据关联方法的流程图;
图2为本发明实施例提供的数据关联的流程示意图;
图3为本发明实施例提供的一种数据关联系统的结构框图;
图4为本发明实施例提供的一种数据关联系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,在第一数据源和第二数据源需要进行数据关联时,第二数据源中的键值对需要时刻保持不变才能保证合并的准确性。但是由于目前业务数据的快速发展,数据是实时发生变化的,而数据源中的键值对也可能随着发生变化。因此在数据源中的键值对发生变化时,继续采用现有合并数据源的方式会导致关联结果错误,关联准确度低。
因此,本发明实施例提供一种数据关联方法及系统,从需要进行数据关联的第一消息队列中获取第一键值对,从键值对存储器查询是否存在key与第一key相等的第二键值对。若是,合并及输出第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器,以供需要与第一消息队列进行数据关联的消息队列查询。以实现多个消息队列之间进行数据实时关联,提高数据关联准确性和降低数据关联成本。
为更好解释说明在本发明实施例中涉及到的消息队列、键值对和键值对存储器的具体用途。通过以下内容对消息队列、键值对和键值对存储器进行说明。
消息队列(Message Queue),通常用于在网络间传输数据。
键值对(KeyValue),通常用于描述对应映射关系,格式为[key:value]。比如对于名字到年龄映射,即key为名字,value为年龄。例如[Mike:30]指的是Mike的年龄为30岁。
键值对存储器(KeyValue Storage),通常用于存储具体的键值对。
参考图1,示出了本发明实施例提供的一种数据关联方法的流程图,所述数据关联方法包括以下步骤:
步骤S101:从第一消息队列中获取第一键值对。
在具体实现步骤S101的过程中,当所述第一消息队列中弹出一个数据时,获取该数据,即获取所述第一键值对。
步骤S102:基于所述第一键值对中的第一key,从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对。若存在,执行步骤S103,若不存在,执行步骤S104。
在具体实现步骤S102的过程中,由上述内容可知,键值对中包含键(key)和值(value)的对应关系,键值对存储器中存储多个键值对。根据所述第一键值对中的第一key,从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对。
例如:所述第一键值对的具体内容为[1:apple],即第一key为1,第一value为apple。假设所述键值对存储器中存储的键值对分别为:[1:red]、[3:yellow]和[5:black]。根据所述第一key从所述键值对存储器中查询key与所述第一key相同的第二键值对为[1:red]。
需要说明的是,所述第二键值对为第二消息队列预先存储于所述键值对存储器中。
步骤S103:合并所述第一键值对和第二键值对,并输出合并后的所述第一键值对和第二键值对。
在具体实现步骤S103的过程中,若根据所述第一key从所述键值对存储器中查询到所述第二键值对,则先合并所述第一键值对和第二键值对,然后输出合并后的所述第一键值对和第二键值对。比如:所述第一键值对的具体内容为[1:apple],即第一key为1,第一value为apple。假设所述键值对存储器中存储的键值对分别为:[1:red]、[3:yellow]和[5:black]。根据所述第一key从所述键值对存储器中查询key与所述第一key相同的第二键值对为[1:red]。合并第一键值对[1:apple]和第二键值对[1:red]得到[1:apple,1:red],输出[1:apple,1:red]。
优选的,在键值过期触发器(KeyExpire Trigger)中预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。
优选的,在执行步骤S103之后,在键值过期触发器中删除所述第一key对应的保存时长。
需要说明的是,所述键值过期触发器用于记录某个key是否过期,比如在所述键值过期触发器中注册一个keyA,保存时长为5分钟。5分钟后,所述键值过期触发器会触发一个事件,用于告知A已经过期。
步骤S104:将所述第一键值对存储至所述键值对存储器中。
在具体实现步骤S104的过程中,若所述键值对存储器中不存在所述第二键值对,则将所述第一键值对存储至所述键值对存储器中,以供需要与所述第一消息队列进行数据关联的其它消息队列查询。
优选的,在实现步骤S104之后,在所述键值过期触发器中为所述第一key设置保存时长。具体保存时长由技术人员根据实际情况进行设置,在本发明实施例中不做具体限定。
优选的,基于预设周期,利用所述键值过期触发器扫描所述键值对存储器中所有键值对所对应的key的保存时长,删除保存时长大于阈值的key对应的键值对。具体的周期和阈值由技术人员根据实际情况进行设置,在本发明实施例中不做具体限定。
在本发明实施例中,从需进行数据关联的第一消息队列中获取第一键值对,从键值对存储器查询是否存在key与第一key相等的第二键值对。若是,合并及输出第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器,以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联,数据关联准确性高和成本低。同时利用键值过期触发器为键值对存储器中的键值对设置保存时长,周期性扫描键值对存储器中的键值对的保存时长,删除保存时长大于阈值的键值对。提高键值对存储器的存储空间利用率,提高数据关联效率。
为更好解释说明上述本发明实施例图1中公开的各个步骤的内容,通过图2中示出的内容进行举例说明。参考图2,示出了本发明实施例提供的数据关联的流程示意图。在所述图2中,存在两个消息队列,分别为消息队列A和消息队列B。
对于所述消息队列A,执行数据关联的步骤包括以下执行步骤:
步骤S201:从所述消息队列A中获取第一键值对T。
步骤S202:基于所述第一键值对T中的第一key,从键值对存储器中查询key与所述第一key相等的第二键值对T'。
步骤S203:判断是否查询到所述第二键值对T',若查询到,执行步骤S204。若查询不到,将所述第一键值对T存储至所述键值存储器中,并利用键值过期触发器设置所述第一键值对T的保存时长。
步骤S204:则合并所述第一键值对T和第二键值对T',然后输出合并后的所述第一键值对T和第二键值对T'。
优选的,基于预设周期,利用所述键值过期触发器扫描所述键值对存储器中所有键值对所对应的key的保存时长,删除保存时长大于阈值的key对应的键值对。
对于所述消息队列B,执行数据关联的步骤包括以下执行步骤:
步骤S201:从所述消息队列B中获取第一键值对T'。
步骤S202:基于所述第一键值对T'中的第一key,从键值对存储器中查询key与所述第一key相等的第二键值对T。
步骤S203:判断是否查询到所述第二键值对T,若查询到,执行步骤S204。若查询不到,将所述第一键值对T存储至所述键值存储器中,并利用键值过期触发器设置所述第一键值对T的保存时长。
步骤S204:则合并所述第一键值对T'和第二键值对T,然后输出合并后的所述第一键值对T'和第二键值对T。
优选的,基于预设周期,利用所述键值过期触发器扫描所述键值对存储器中所有键值对所对应的key的保存时长,删除保存时长大于阈值的key对应的键值对。
需要说明的是,所述消息队列A和消息队列B同时执行上述步骤S201至步骤S204中的内容,可实现所述消息队列A和消息队列B的数据实时关联。
需要说明的是,上述图2中示出的内容仅用于举例说明,上述步骤S201至步骤S204的具体执行原理可参见上述本发明实施例图1中公开的各个步骤对应的内容,在本发明实施例中不做具体限定。
在本发明实施例中,从需进行数据关联的第一消息队列中获取第一键值对,从键值对存储器查询是否存在key与第一key相等的第二键值对。若是,合并及输出第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器,以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联,数据关联准确性高和成本低。同时利用键值过期触发器为键值对存储器中的键值对设置保存时长,周期性扫描键值对存储器中的键值对的保存时长,删除保存时长大于阈值的键值对。提高键值对存储器的存储空间利用率,提高数据关联效率。
与上述本发明实施例提供的一种数据关联方法相对应,参考图3,本发明实施例还提供一种数据关联系统的结构框图,所述数据关联系统包括:获取单元301、查询单元302、处理单元303和存储单元304。
获取单元301,用于从第一消息队列中获取第一键值对。
查询单元302,用于基于所述第一键值对中的第一key,从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对,若存在,执行处理单元303,若不存在,执行存储单元304,其中,所述第二键值对为第二消息队列预先存储于所述键值对存储器中。查询第二键值对的过程参见上述本发明实施例图1中步骤S102相对应的内容。
所述处理单元303,用于合并所述第一键值对和第二键值对,并输出合并后的所述第一键值对和第二键值对。合并所述第一键值对和第二键值对,以及输出合并后的所述第一键值对和第二键值对的过程参见上述本发明实施例图1中步骤S103相对应的内容。
优选的,所述处理单元303还用于删除所述第一key对应的保存时长。
所述存储单元304,用于将所述第一键值对存储至所述键值对存储器中。
优选的,所述存储单元304还用于为所述第一key设置保存时长。
优选的,所述存储单元304还用于预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。
在本发明实施例中,从需进行数据关联的第一消息队列中获取第一键值对,从键值对存储器查询是否存在key与第一key相等的第二键值对。若是,合并及输出第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器,以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联,数据关联准确性高和成本低。
优选的,结合图3,参考图4,示出了本发明实施例提供的一种数据关联系统的结构框图,所述数据关联系统还包括:
扫描单元305,用于基于预设周期,扫描所述键值对存储器中所有键值对所对应的key的保存时长,删除保存时长大于阈值的key对应的键值对。
在具体实现中,基于预设周期,利用所述键值过期触发器扫描所述键值对存储器中所有键值对所对应的key的保存时长,删除保存时长大于阈值的key对应的键值对。
在本发明实施例中,利用键值过期触发器为键值对存储器中的键值对设置保存时长,周期性扫描键值对存储器中的键值对的保存时长,删除保存时长大于阈值的键值对。提高键值对存储器的存储空间利用率,提高数据关联效率。
综上所述,本发明实施例提供一种数据关联方法及系统,该方法为:从第一消息队列中获取第一键值对。基于第一键值对的第一key,从预设键值对存储器中查询是否存在key与第一key相等的第二消息队列的第二键值对。若是,合并第一键值对和第二键值对,输出合并后的第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器。在本方案中,从需进行数据关联的第一消息队列中获取第一键值对,从键值对存储器查询是否存在key与第一key相等的第二键值对。若是,合并及输出第一键值对和第二键值对。若否,将第一键值对存储至键值对存储器,以供需要与第一消息队列进行数据关联的其它消息队列查询。实现多个消息队列之间进行数据实时关联,数据关联准确性高,数据关联成本低。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种数据关联方法,其特征在于,所述方法包括:
从第一消息队列中获取第一键值对;
基于所述第一键值对中的第一key,从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对,其中,所述第二键值对为第二消息队列预先存储于所述键值对存储器中;
若存在,合并所述第一键值对和第二键值对,并输出合并后的所述第一键值对和第二键值对;
若不存在,将所述第一键值对存储至所述键值对存储器中;
基于预设周期,扫描所述键值对存储器中所有键值对所对应的key的保存时长,删除保存时长大于阈值的key对应的键值对。
2.根据权利要求1中的方法,其特征在于,所述合并所述第一键值对和第二键值对,并输出合并后的所述第一键值对和第二键值对之后,还包括:
删除所述第一key对应的保存时长。
3.根据权利要求1所述的方法,其特征在于,所述将所述第一键值对存储至所述键值对存储器中之后,还包括:
为所述第一key设置保存时长。
4.根据权利要求1所述的方法,其特征在于,还包括:
预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。
5.一种数据关联系统,其特征在于,所述系统包括:
获取单元,用于从第一消息队列中获取第一键值对;
查询单元,用于基于所述第一键值对中的第一key,从预设的键值对存储器中查询是否存在key与所述第一key相等的第二键值对,若存在,执行处理单元,若不存在,执行存储单元,其中,所述第二键值对为第二消息队列预先存储于所述键值对存储器中;
所述处理单元,用于合并所述第一键值对和第二键值对,并输出合并后的所述第一键值对和第二键值对;
所述存储单元,用于将所述第一键值对存储至所述键值对存储器中;
扫描单元,用于基于预设周期,扫描所述键值对存储器中所有键值对所对应的key的保存时长,删除保存时长大于阈值的key对应的键值对。
6.根据权利要求5所述的系统,其特征在于,所述处理单元还用于删除所述第一key对应的保存时长。
7.根据权利要求5所述的系统,其特征在于,所述存储单元还用于为所述第一key设置保存时长。
8.根据权利要求5所述的系统,其特征在于,所述存储单元还用于预先为所述键值对存储器中存储的键值对所对应的key设置保存时长。
CN201910367383.9A 2019-05-05 2019-05-05 一种数据关联方法及系统 Active CN110069539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910367383.9A CN110069539B (zh) 2019-05-05 2019-05-05 一种数据关联方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910367383.9A CN110069539B (zh) 2019-05-05 2019-05-05 一种数据关联方法及系统

Publications (2)

Publication Number Publication Date
CN110069539A CN110069539A (zh) 2019-07-30
CN110069539B true CN110069539B (zh) 2021-08-31

Family

ID=67369837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910367383.9A Active CN110069539B (zh) 2019-05-05 2019-05-05 一种数据关联方法及系统

Country Status (1)

Country Link
CN (1) CN110069539B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853564B1 (en) * 2022-06-17 2023-12-26 Western Digital Technologies, Inc. Key value data storage device with improved utilization for short key value pairs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375852A (zh) * 2010-08-24 2012-03-14 中国移动通信集团公司 建立数据索引的方法、利用该索引查询数据的方法和系统
CN102831120A (zh) * 2011-06-15 2012-12-19 腾讯科技(深圳)有限公司 一种数据处理方法及系统
CN102915380A (zh) * 2012-11-19 2013-02-06 北京奇虎科技有限公司 用于对数据进行搜索的方法和系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030084034A1 (en) * 2001-11-01 2003-05-01 Richard Fannin Web-based search system
US7451166B2 (en) * 2005-01-13 2008-11-11 International Business Machines Corporation System and method for maintaining checkpoints of a keyed data structure using a sequential log
US20090192866A1 (en) * 2008-01-30 2009-07-30 Venkatesh Karnam System and method for using key-value pairing to identify uniquely a communication device on a mobile network
CN101770479B (zh) * 2008-12-31 2012-06-13 亿阳信通股份有限公司 一种关联关系的查询方法及装置
CN101799807A (zh) * 2009-02-10 2010-08-11 中国移动通信集团公司 一种异构数据表的合并方法及其系统
US20110184913A1 (en) * 2010-01-28 2011-07-28 Microsoft Corporation Distributed data backup
CN101916272B (zh) * 2010-08-10 2012-04-25 南京信息工程大学 用于深层网数据集成的数据源选择方法
CN102156657A (zh) * 2010-08-26 2011-08-17 高瞻 基于多态进程重组协处理矩阵的多个子任务云异步协同处理方法
CN102547784B (zh) * 2010-12-29 2014-08-06 中国移动通信集团山东有限公司 一种呼叫详细记录的关联方法、生成方法以及装置
CN102117340A (zh) * 2011-04-19 2011-07-06 北京神州数码思特奇信息技术股份有限公司 一种动态数据存储方法
CN102523131A (zh) * 2011-12-07 2012-06-27 上海海高通信发展有限公司 用户上网行为收集方法、分析方法和系统
CN102831102A (zh) * 2012-07-30 2012-12-19 北京亿赞普网络技术有限公司 一种在计算机集群上进行矩阵乘积运算的方法和系统
CN102945240B (zh) * 2012-09-11 2015-03-18 杭州斯凯网络科技有限公司 一种支持分布式计算的关联规则挖掘算法实现方法及装置
CN103019960B (zh) * 2012-12-03 2016-03-30 华为技术有限公司 分布式缓存方法及系统
CN103067376B (zh) * 2012-12-26 2017-03-15 北京讯鸟软件有限公司 一种基于内存的sql注入攻击防护方法
CN104980462B (zh) * 2014-04-04 2018-03-30 深圳市腾讯计算机系统有限公司 分布式计算方法、装置和系统
CN107368517B (zh) * 2017-06-02 2018-07-13 上海恺英网络科技有限公司 一种大数据流查询的方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375852A (zh) * 2010-08-24 2012-03-14 中国移动通信集团公司 建立数据索引的方法、利用该索引查询数据的方法和系统
CN102831120A (zh) * 2011-06-15 2012-12-19 腾讯科技(深圳)有限公司 一种数据处理方法及系统
CN102915380A (zh) * 2012-11-19 2013-02-06 北京奇虎科技有限公司 用于对数据进行搜索的方法和系统

Also Published As

Publication number Publication date
CN110069539A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110309125B (zh) 数据校验方法、电子装置及存储介质
CN108932236B (zh) 一种文件管理方法及装置
US10157228B2 (en) Communication system including a confidence level for a contact type and method of using same
CN105989076A (zh) 一种数据统计方法以及装置
CN109947729B (zh) 一种实时数据分析方法及装置
CN111767314A (zh) 数据缓存及查询方法、装置、懒缓存系统及存储介质
EP3335380B1 (en) Method and system for transaction diagnostics
CN108984754B (zh) 客户信息更新方法、装置、计算机设备及存储介质
CN108388631B (zh) 一种威胁情报共享的方法、代理装置及系统
CN111221742B (zh) 一种测试案例的更新方法、装置、存储介质和服务器
CN110069539B (zh) 一种数据关联方法及系统
CN113672776B (zh) 一种故障分析方法及装置
CN111309696A (zh) 日志处理方法及装置、电子设备、可读介质
CN111159142B (zh) 一种数据处理方法及装置
CN109391658B (zh) 一种账号数据同步方法及其设备、存储介质、终端
CN113407560A (zh) 更新消息处理方法、数据同步方法、配置信息配置方法
CN109271431B (zh) 数据抽取方法、装置、计算机设备及存储介质
CN113986942B (zh) 一种基于人机对话的消息队列管理方法及装置
CN115827646A (zh) 索引配置方法、装置和电子设备
CN111291127B (zh) 一种数据同步方法、装置、服务器及存储介质
CN112291312B (zh) Etl数据同步方法及装置、电子设备、存储介质
CN115470206A (zh) Mes系统对接数据交互方法、系统、计算机设备及存储介质
CN104796519A (zh) 一种终端
CN107657458A (zh) 名单获取方法及装置
CN111382060A (zh) 文件发布记录处理方法、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant