CN106294573A - 一种海量数据实时查询方法及系统 - Google Patents

一种海量数据实时查询方法及系统 Download PDF

Info

Publication number
CN106294573A
CN106294573A CN201610603930.5A CN201610603930A CN106294573A CN 106294573 A CN106294573 A CN 106294573A CN 201610603930 A CN201610603930 A CN 201610603930A CN 106294573 A CN106294573 A CN 106294573A
Authority
CN
China
Prior art keywords
cryptographic hash
data
conditional combination
condition
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610603930.5A
Other languages
English (en)
Inventor
何旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN201610603930.5A priority Critical patent/CN106294573A/zh
Publication of CN106294573A publication Critical patent/CN106294573A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7343Query language or query format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • G06F16/24534Query rewriting; Transformation
    • G06F16/24539Query rewriting; Transformation using cached or materialised query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种海量数据实时查询方法及系统,所述海量数据实时查询方法包括:A、收到查询请求时,将查询条件转换成预设格式的条件组合;B、根据条件组合生成对应的哈希值,根据该哈希值从键值对应表获取预先生成的查询结果;C、反馈查询结果。本发明通过将各种条件组合对应的哈希值和查询结果预先存储,查询时将查询条件转换成对应的条件组合,根据该条件组合生成哈希值,再根据哈希值即可直接调用相应的查询结果,从而达到了快速查询的目的,解决了现有海量数据实时查询等待时间较长的问题。

Description

一种海量数据实时查询方法及系统
技术领域
本发明涉及电视技术,特别涉及一种海量数据实时查询方法及系统。
背景技术
随着智能电视的普及,用户量及视频量都迅速增长。智能电视上都会有根据频道、视频分类、视频地区、视频年代等多个维度的条件组合查询。当用户和视频数量达到一定级别时,基于传统数据库的实时查询方法会遇到瓶颈,导致用户点击查询时的等待时间很长才能显示结果,或者直接显示查询超时或一直缓冲查询,给用户带来不便。
因而现有技术还有待改进和提高。
发明内容
鉴于上述现有技术的不足之处,本发明的目的在于提供一种海量数据实时查询方法及系统,以解决现有海量数据实时查询时等待时间较长的问题。
为了达到上述目的,本发明采取了以下技术方案:
一种海量数据实时查询方法,其包括:
步骤A、收到查询请求时,将查询条件转换成预设格式的条件组合;
步骤B、根据条件组合生成对应的哈希值,根据该哈希值从键值对应表获取预先生成的查询结果;
步骤C、反馈查询结果。
所述的海量数据实时查询方法中,所述步骤A之前,还包括:
步骤A1、初始化时,将各个类别下的所有维度的条件进行排列组合生成对应的条件组合;
步骤A2、将各条件组合生成对应的哈希值,将条件组合和哈希值的对应关系存入数据库中;
步骤A3、以各条件组合在基础数据中进行数据查询,将查询结果与相应的哈希值对应生成键值对应表、并存储至缓存中。
所述的海量数据实时查询方法中,所述类别是需要查询的内容的分类;每个类别下都设置有排序固定的若干个维度,所述维度表示各类别的特征属性:每个维度中设置有排序固定的若干个条件。
所述的海量数据实时查询方法中,在所述步骤A1中,每个维度中只能选择一个条件或不选择,不选择时用空字符表示;根据各维度的顺序将选出的条件或空字符按序用加号连接,每个条件组合以加号开头且以加号+结尾。
所述的海量数据实时查询方法中,还包括:步骤D0、当检测基础数据增删一条数据,且对应增删维度内的条件时;
步骤D1、根据增删的数据的维度查询出所属条件,从所有条件组合中查找与所属条件相关的条件组合及其哈希值;
步骤D2、以查找出的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中。
所述的海量数据实时查询方法中,还包括:步骤D10、当检测基础数据更新一条数据,且维度未变时;
步骤D11、查询出更新的数据各维度下的条件,从现有的条件组合中找出与该条件相关的条件组合;
步骤D12、将找出来的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中。
所述的海量数据实时查询方法中,还包括:步骤D20、当检测基础数据更新一条数据,且维度内的条件也更新时;
步骤D21、查询出该数据更新前后的条件,从所有条件组合中查找与更新前后的条件相关的条件组合及其哈希值;
步骤D22、以查找出的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中。
一种实现所述的海量数据实时查询方法的系统,其包括请求转换模块、处理模块、反馈模块、数据库和缓存服务器;
所述请求转换模块收到查询请求时,将查询条件转换成预设格式的条件组合;处理模块根据条件组合生成对应的哈希值,根据该哈希值从键值对应表获取预先生成的查询结果;反馈模块反馈查询结果;所述数据库存储条件组合和哈希值的对应关系,缓存服务器存储键值对应表。
所述的系统中,所述请求转换模块还用于初始化时,将各个类别下的所有维度的条件进行排列组合生成对应的条件组合;
所述处理模块还用于,将各条件组合生成对应的哈希值,将条件组合和哈希值的对应关系存入数据库中;以各条件组合在基础数据中进行数据查询,将查询结果与相应的哈希值对应生成键值对应表、并存储至缓存中。
所述的系统中,所述处理模块还用于当检测基础数据增删一条数据,且对应增删维度内的条件时;根据增删的数据的维度查询出所属条件,从所有条件组合中查找与所属条件相关的条件组合及其哈希值;以查找出的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中。
相较于现有技术,本发明提供的海量数据实时查询方法及系统,在收到查询请求时,将查询条件转换成预设格式的条件组合;根据条件组合生成对应的哈希值,根据该哈希值从键值对应表获取预先生成的查询结果;反馈查询结果。通过将各种条件组合对应的哈希值和查询结果预先存储,查询时将查询条件转换成对应的条件组合,根据该条件组合生成哈希值,再根据哈希值即可直接调用相应的查询结果,从而达到了快速查询的目的,解决了现有海量数据实时查询等待时间较长的问题。
附图说明
图1为本发明提供的海量数据实时查询方法流程图。
图2为本发明提供的海量数据实时查询的系统的结构框图。
具体实施方式
本发明提供一种海量数据实时查询方法及系统,通过将海量的查询条件设置为若干个固定的维度,各维度有固定可选组合,将各种条件组合对应一种查询结果并存储到缓存中。用户查询时将查询条件转换成对应的条件组合,根据该条件组合即可直接调用对应的查询结果,从而达到了快速显示查询的目的。为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本实施例提供的海量数据实时查询方法可应用与电脑(网页的站内搜索)搜索、智能电视搜索。电脑或智能电视将用户输入的查询请求发送至服务器中,由服务器执行上述海量数据实时查询方法。
请参阅图1,本发明提供的海量数据实时查询方法包括:
S100、收到查询请求时,将查询条件转换成预设格式的条件组合;
S200、根据条件组合生成对应的哈希值,根据该哈希值从键值对应表获取预先生成的查询结果;
S300、反馈查询结果。
本实施例中,当服务器第一次启动时,需进行初始化以生成键值对应表。后续启动时直接使用该键值对应表。则所述进行初始化以生成键值对应表的步骤具体包括:
步骤101、当服务器第一次启动时,将各个类别下的所有维度的条件进行排列组合生成对应的条件组合;
步骤102、将各条件组合生成对应的哈希值,将条件组合和哈希值的对应关系存入数据库中;
步骤103、以各条件组合在基础数据中进行数据查询,将查询结果与相应的哈希值对应生成键值对应表、并存储至缓存中。
本实施例中,所述类别、即需要查询的内容的分类,如美食、视频、音乐、文学等。每个类别下都设置有排序固定的若干个维度,所述维度表示各类别的特征属性。每个维度中设置有排序固定的若干个条件。如,美食的维度可以包括种类(条件包括如火锅、自助餐、西餐等)、地区(即各美食所在地,条件包括如南山区、罗湖区等)、用餐人数(条件包括不限、单人餐、双人餐等)。音乐的维度可以包括风格(条件包括如流行、摇滚、中国风等)、语种(条件包括如国语、粤语、英语等)、主题(条件包括如80后、经典、动漫等)。此处对维度和条件的设置不作限定。
智能电视主要涉及视频方面的搜索查询,此处的类别以视频为例、来阐述所述海量数据实时查询方法。所述视频包括四个维度(频道、分类、地区、年代)和16个条件,其排序如下所述:
a、频道:电影、电视剧、综艺、动漫;
b、分类:喜剧、武侠、历史、爱情、悬疑;
c、地区:大陆、港台、亚洲、美国、欧洲;
d、年代:2015、2014、2013、2012。
每个维度中只能选择一个条件,则每个维度的条件值为0(均不选)或1(选择其中1个条件)。进行排列组合时,若某维度选了其中一个条件,则提取出该条件;若没有选择,则用空字符表示。接着根据各维度的顺序将所选出的条件或空字符按序用加号+连接,每个条件组合以加号+ 开头且以加号+结尾。由于各维度的顺序是固定的,得到的各条件组合也是固定且不相同的。例如:
条件组合1:+电影+喜剧+++;表示条件组合为“电影+喜剧”,“地区”和“年代”中未选条件,则表示对应的全部条件都算。后面倒数第3个加号+与倒数第2个加号+之间,倒数第2个加号+与倒数第1个加号+之间均为空字符。
条件组合2:+电视剧+爱情+大陆++;表示视频限定为大陆拍摄的爱情电视剧,对年代不限制。
条件组合3:++++2012+;表示条件组合只限定视频上映的年代,其他条件不限定。从左起的4个加号之间有3个空字符。
各条件组合分别进行哈希值转换,“电影”、“喜剧”等是固定的字符串,根据字符串生成哈希值是现有技术,此处对此不作详述。条件组合与哈希值的对应关系如下表1所示:
哈希值 条件组合
f9fd261967b441146684a97717673c10 +电影+喜剧+++
6115a1d00cee578a8d4bc9b107a69d21 +电视剧+爱情+大陆++
9d0f5e709d1d1d54276ba3df72853c64 ++++2012+
... ... ... ...
表1
该表1中的哈希值仅为示例。接着以条件组合进行数据查询,查询结果包括所有符合该条件组合的视频及其链接。这样条件组合、哈希值、查询结果之间就形成了一一对应的键值对应表。
在所述步骤S100中,当用户进行查询时,先在智能电视机上选择所需的查询条件,点击查询图标则生成查询请求,解析查询条件并转换成预设格式(以加号连接)的条件组合。如查询条件为“频道=电影&分类=喜剧”,则得到的条件组合为“+电影+喜剧+++”。在步骤S200中,将该条件组合生成哈希值,如“f9fd261967b441146684a97717673c10”;再根据该哈希值从键值对应表中找到早已生成的查询结果。最后即可将查询结果返回给用户的终端。由于事先存储好各种查询条件对应的查询结果,实际查询时即可快速调用出对应的查询结果,大大加快了查询结果的查询速度。
本实施例中的基础数据(即数据资源,如视频,则为视频数据表,其中包含各视频名称、频道、分类、地区、年代、发布时间、内容、播放链接等属性内容,其增加或删除并不会导致维度的变化)都存储于现有的数据库(MySQL(关系型数据库)、Oracle数据库等)中,用户查询请求的结果来自于内存级的缓存服务器(如MemCached、Redis等)。在数据库与缓存服务器之间建立缓存更新服务。当基础数据变更时,缓存更新服务立即将基础数据的变更同步到缓存(即缓存服务器)中。
需要理解的是,服务器中的数据是会变化的,在所述步骤S300之后,若服务器检测到基础数据变化,同步更新缓存中的查询结果。变更的数据涉及到条件组合时,具体包括以下三种情况:
情况一:当基础数据增加或删除一条数据,且对应增删维度内的条件时。根据增删的数据的维度(即条件属性,如频道、分类、地区、年代)查询出所属条件,从所有条件组合中查找与所属条件相关的条件组合及其哈希值;再以查找出的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值对应更新键值对应表、并存储至缓存中。
例如,某个视频上线(新增加一部影片,视频数据表中增加对应的数据)或下线(删除某影片,视频数据表中删除对应的数据);先查询出其所属条件(如在频道中的所属条件是电影,分类中的所属条件是喜剧),再从现有的条件组合中查询出与更改(增减)的条件相关的条件组合,如哪些条件组合中有电影,查找出来。再将这些找出来的条件组合重新进行一次数据查询,获得新的查询结果(若删除则查询结果中无该影片,若新增则查询结果中对应增加该影片)。将新的查询结果与各条件组合的哈希值相对应,从而更新键值对应表。
情况二、当检测基础数据更新一条数据时,如果其维度(频道、分类、地区、年代)没有变化。先查询出更新的数据各维度下的条件,再从现有的条件组合中找出与该条件相关的条件组合,接着将这些找出来的条件组合重新进行一次数据查询,获得新的查询结果。将新的查询结果与各条件组合的哈希值相对应,从而更新键值对应表。
以视频为例,更新的数据是视频的格式(如原来是标清的,后更改为高清的),但没有更改其维度中的条件(频道=电影、分类=喜剧、地区=大陆)。先查询该数据维度下的条件(涉及电影、喜剧、大陆),再从现有的条件组合中找出与电影、喜剧、大陆相关的条件组合,接着将这些找出来的条件组合重新进行一次数据查询,获得新的查询结果。将新的查询结果与各条件组合的哈希值相对应,从而更新键值对应表。这样新查询出的该视频就是高清格式的。
情况三、当检测基础数据更新一条数据时,如果其维度(频道、分类、地区、年代)内的条件也更新时。查询出该数据更新前后的条件,从所有条件组合中查找与更新前后的条件相关的条件组合及其哈希值;再以查找出的条件组合从基础数据中进行数据查询,将查询结果与相应的哈希值对应更新键值对应表、并存储至缓存中。
例如,某个视频的分类由喜剧更改为爱情;更改后则喜剧片中不能出现该视频,爱情片中需出现该视频。因此,需先查询出该数据更新前后的条件分别是喜剧、爱情。再从现有的条件组合中查询出与喜剧、爱情相关的条件组合。再将这些找出来的条件组合重新进行一次数据查询,则与喜剧相关的查询结果中不再出现该视频,与爱情相关的查询结果中显示该视频。最后将新的查询结果与各条件组合的哈希值相对应,从而更新键值对应表。
基于上述的海量数据实时查询方法,本发明实施例还提供一种海量数据实时查询的系统,请参阅图2、所述服务器包括请求转换模块10、处理模块20、反馈模块30、数据库40和缓存服务器50(即缓存),所述请求转换模块10、处理模块20、反馈模块30依次连接。请求转换模块10和反馈模块30与发出查询请求的终端通讯连接。请求转换模块10收到终端的查询请求时,将查询条件转换成预设格式的条件组合。处理模块20根据条件组合生成对应的哈希值,根据该哈希值从键值对应表获取预先生成的查询结果。反馈模块30反馈查询结果给终端。数据库40存储条件组合和哈希值的对应关系,缓存服务器50存储键值对应表。
其中,请求转换模块10还用于初始化时,将各个类别下的所有维度的条件进行排列组合生成对应的条件组合。所述处理模块20还用于将各条件组合生成对应的哈希值,将条件组合和哈希值的对应关系存入数据库中;以各条件组合在基础数据中进行数据查询,将查询结果与相应的哈希值对应生成键值对应表、并存储至缓存中。
本实施例中,所述处理模块20包括:
哈希值单元201,用于初始化时,将各条件组合生成对应的哈希值,将条件组合和哈希值的对应关系存入数据库中;及收到查询请求时,根据条件组合生成对应的哈希值,并存入数据库中;
查询生成单元202,用于初始化时,以各条件组合在基础数据中进行数据查询,将查询结果与相应的哈希值对应生成键值对应表、并存储至缓存中;
获取单元203,用于收到查询请求时,根据哈希值从键值对应表获取预先生成的查询结果。
所述处理模块20还包括:
检测单元,用于检测基础数据是否增删一条数据,且是否对应增删维度内的条件;以及检测基础数据是否更新一条数据,且维度是否更新;
所述查询生成单元202还用于,根据增删的数据的维度内的条件查询出所属条件,从所有条件组合中查找与所属条件相关的条件组合及其哈希值;以查找出的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中;
所述查询生成单元202还用于,查询出更新的数据各维度下的条件,从现有的条件组合中找出与该条件相关的条件组合;将找出来的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中;
所述查询生成单元202还用于,查询出该数据更新前后的条件,从所有条件组合中查找与更新前后的条件相关的条件组合及其哈希值;以查找出的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中。
综上所述,本发明通过将海量的查询条件设置为若干个固定的维度,将各维度的条件进行排列组合生成对应的条件组合,根据条件组合生成哈希值并进行查询获得一种查询结果,将查询结果和哈希值的键值对应表存储到缓存中。在用户查询时将查询条件转换成对应的条件组合,再生成对应的哈希值,由于事先存储好各种查询条件对应的查询结果,通过查询键值对应表即可直接调用对应的查询结果,从而达到了加快查询请求响应速度的目的,还不会出现查询超时或查询出错的问题。
上述功能模块的划分仅用以举例说明,在实际应用中,可以根据需要将上述功能分配由不同的功能模块来完成,即划分成不同的功能模块,来完成上述描述的全部或部分功能。
本领域普通技术人员可以理解上述实施例方法中的全部或部分流程,是可以通过计算机(移动终端)程序来指令相关的硬件完成,所述的计算机(移动终端)程序可存储于一计算机(移动终端)可读取存储介质中,程序在执行时,可包括上述各方法的实施例的流程。其中的存储介质可以为磁碟、光盘等。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及其发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种海量数据实时查询方法,其特征在于,包括:
步骤A、收到查询请求时,将查询条件转换成预设格式的条件组合;
步骤B、根据条件组合生成对应的哈希值,根据该哈希值从键值对应表获取预先生成的查询结果;
步骤C、反馈查询结果。
2.根据权利要求1所述的海量数据实时查询方法,其特征在于,所述步骤A之前,还包括:
步骤A1、初始化时,将各个类别下的所有维度的条件进行排列组合生成对应的条件组合;
步骤A2、将各条件组合生成对应的哈希值,将条件组合和哈希值的对应关系存入数据库中;
步骤A3、以各条件组合在基础数据中进行数据查询,将查询结果与相应的哈希值对应生成键值对应表、并存储至缓存中。
3.根据权利要求2所述的海量数据实时查询方法,其特征在于,所述类别是需要查询的内容的分类;每个类别下都设置有排序固定的若干个维度,所述维度表示各类别的特征属性:每个维度中设置有排序固定的若干个条件。
4.根据权利要求3所述的海量数据实时查询方法,其特征在于,在所述步骤A1中,每个维度中只能选择一个条件或不选择,不选择时用空字符表示;根据各维度的顺序将选出的条件或空字符按序用加号连接,每个条件组合以加号开头且以加号+结尾。
5.根据权利要求2所述的海量数据实时查询方法,其特征在于,还包括:步骤D0、当检测基础数据增删一条数据,且对应增删维度内的条件时;
步骤D1、根据增删的数据的维度查询出所属条件,从所有条件组合中查找与所属条件相关的条件组合及其哈希值;
步骤D2、以查找出的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中。
6.根据权利要求2所述的海量数据实时查询方法,其特征在于,还包括:步骤D10、当检测基础数据更新一条数据,且维度未变时;
步骤D11、查询出更新的数据各维度下的条件,从现有的条件组合中找出与该条件相关的条件组合;
步骤D12、将找出来的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中。
7.根据权利要求2所述的海量数据实时查询方法,其特征在于,还包括:步骤D20、当检测基础数据更新一条数据,且维度内的条件也更新时;
步骤D21、查询出该数据更新前后的条件,从所有条件组合中查找与更新前后的条件相关的条件组合及其哈希值;
步骤D22、以查找出的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中。
8.一种实现权利要求1所述的海量数据实时查询方法的系统,其特征在于,包括请求转换模块、处理模块、反馈模块、数据库和缓存服务器;
所述请求转换模块收到查询请求时,将查询条件转换成预设格式的条件组合;处理模块根据条件组合生成对应的哈希值,根据该哈希值从键值对应表获取预先生成的查询结果;反馈模块反馈查询结果;所述数据库存储条件组合和哈希值的对应关系,缓存服务器存储键值对应表。
9.根据权利要求8所述的系统,其特征在于,所述请求转换模块还用于初始化时,将各个类别下的所有维度的条件进行排列组合生成对应的条件组合;
所述处理模块还用于,将各条件组合生成对应的哈希值,将条件组合和哈希值的对应关系存入数据库中;以各条件组合在基础数据中进行数据查询,将查询结果与相应的哈希值对应生成键值对应表、并存储至缓存中。
10.根据权利要求8所述的系统,其特征在于,所述处理模块还用于当检测基础数据增删一条数据,且对应增删维度内的条件时;根据增删的数据的维度查询出所属条件,从所有条件组合中查找与所属条件相关的条件组合及其哈希值;以查找出的条件组合在更新的基础数据中进行数据查询,将查询结果与相应的哈希值相对应以更新键值对应表、并存储至缓存中。
CN201610603930.5A 2016-07-28 2016-07-28 一种海量数据实时查询方法及系统 Pending CN106294573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610603930.5A CN106294573A (zh) 2016-07-28 2016-07-28 一种海量数据实时查询方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610603930.5A CN106294573A (zh) 2016-07-28 2016-07-28 一种海量数据实时查询方法及系统

Publications (1)

Publication Number Publication Date
CN106294573A true CN106294573A (zh) 2017-01-04

Family

ID=57662528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610603930.5A Pending CN106294573A (zh) 2016-07-28 2016-07-28 一种海量数据实时查询方法及系统

Country Status (1)

Country Link
CN (1) CN106294573A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798389A (zh) * 2017-11-06 2018-03-13 国网重庆市电力公司电力科学研究院 一种图像数据集构建方法、系统及计算机可读存储设备
CN108255959A (zh) * 2017-12-21 2018-07-06 武汉斑马快跑科技有限公司 一种Redis中数据查询方法及装置
CN108334571A (zh) * 2018-01-19 2018-07-27 上海达梦数据库有限公司 层次查询的方法、装置、服务器及存储介质
CN108573035A (zh) * 2018-04-02 2018-09-25 郑州云海信息技术有限公司 一种数据存储方法
CN108664579A (zh) * 2018-05-03 2018-10-16 杭州美登科技股份有限公司 海量数据实时筛选分析方法、系统及存储介质
CN109241196A (zh) * 2017-07-06 2019-01-18 阿里巴巴集团控股有限公司 数据查询方法及装置、设备
WO2019019574A1 (zh) * 2017-12-29 2019-01-31 上海跬智信息技术有限公司 一种新型的olap预计算模型及构建方法
CN109522323A (zh) * 2018-08-28 2019-03-26 湖南大唐先科技有限公司 一种从海量数据中快速检索变化数据段的方法及系统
CN110019255A (zh) * 2017-07-31 2019-07-16 北京嘀嘀无限科技发展有限公司 数据查询方法、装置、服务器及存储介质
CN110324380A (zh) * 2018-03-30 2019-10-11 北京忆芯科技有限公司 利用kv存储设备的云计算与雾计算系统
CN110399438A (zh) * 2018-04-24 2019-11-01 北京视联动力国际信息技术有限公司 一种gis点位信息查询方法及装置
CN111506629A (zh) * 2020-04-22 2020-08-07 合肥工大高科信息科技股份有限公司 一种轨道信息查询方法、服务器、维修机及系统
CN112181872A (zh) * 2018-04-13 2021-01-05 北京忆芯科技有限公司 边缘计算的分布式kv存储系统
CN112487032A (zh) * 2020-11-27 2021-03-12 北京三快在线科技有限公司 数据查询的方法、装置、存储介质及电子设备
CN113220718A (zh) * 2021-05-19 2021-08-06 北京达佳互联信息技术有限公司 数据查询方法、装置、电子设备以及存储介质
CN113542382A (zh) * 2018-03-30 2021-10-22 北京忆芯科技有限公司 云计算与雾计算系统中的kv存储设备
CN113704302A (zh) * 2021-07-30 2021-11-26 济南浪潮数据技术有限公司 基于hash映射的海量数据检索方法、系统、终端及存储介质
CN112181872B (zh) * 2018-04-13 2024-06-04 北京忆芯科技有限公司 边缘计算的分布式kv存储系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436192A (zh) * 2007-11-16 2009-05-20 国际商业机器公司 用于优化针对垂直存储式数据库的查询的方法和设备
CN102473185A (zh) * 2009-07-07 2012-05-23 日本电气株式会社 信息搜索系统、信息管理设备、信息搜索方法、信息管理方法、以及记录介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436192A (zh) * 2007-11-16 2009-05-20 国际商业机器公司 用于优化针对垂直存储式数据库的查询的方法和设备
US20090132474A1 (en) * 2007-11-16 2009-05-21 Li Ma Method and Apparatus for Optimizing Queries over Vertically Stored Database
CN102473185A (zh) * 2009-07-07 2012-05-23 日本电气株式会社 信息搜索系统、信息管理设备、信息搜索方法、信息管理方法、以及记录介质

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241196A (zh) * 2017-07-06 2019-01-18 阿里巴巴集团控股有限公司 数据查询方法及装置、设备
CN110019255A (zh) * 2017-07-31 2019-07-16 北京嘀嘀无限科技发展有限公司 数据查询方法、装置、服务器及存储介质
CN107798389A (zh) * 2017-11-06 2018-03-13 国网重庆市电力公司电力科学研究院 一种图像数据集构建方法、系统及计算机可读存储设备
CN107798389B (zh) * 2017-11-06 2021-05-14 国网重庆市电力公司电力科学研究院 一种图像数据集构建方法、系统及计算机可读存储设备
CN108255959A (zh) * 2017-12-21 2018-07-06 武汉斑马快跑科技有限公司 一种Redis中数据查询方法及装置
WO2019019574A1 (zh) * 2017-12-29 2019-01-31 上海跬智信息技术有限公司 一种新型的olap预计算模型及构建方法
CN108334571A (zh) * 2018-01-19 2018-07-27 上海达梦数据库有限公司 层次查询的方法、装置、服务器及存储介质
CN113660336A (zh) * 2018-03-30 2021-11-16 北京忆芯科技有限公司 利用kv存储设备的云计算与雾计算系统
CN113542382A (zh) * 2018-03-30 2021-10-22 北京忆芯科技有限公司 云计算与雾计算系统中的kv存储设备
CN110324380A (zh) * 2018-03-30 2019-10-11 北京忆芯科技有限公司 利用kv存储设备的云计算与雾计算系统
CN113660336B (zh) * 2018-03-30 2024-03-15 北京忆芯科技有限公司 利用kv存储设备的云计算与雾计算系统
CN113542382B (zh) * 2018-03-30 2024-04-26 北京忆芯科技有限公司 云计算与雾计算系统中的kv存储设备
CN108573035A (zh) * 2018-04-02 2018-09-25 郑州云海信息技术有限公司 一种数据存储方法
CN112181872A (zh) * 2018-04-13 2021-01-05 北京忆芯科技有限公司 边缘计算的分布式kv存储系统
CN112181872B (zh) * 2018-04-13 2024-06-04 北京忆芯科技有限公司 边缘计算的分布式kv存储系统
CN110399438A (zh) * 2018-04-24 2019-11-01 北京视联动力国际信息技术有限公司 一种gis点位信息查询方法及装置
CN108664579A (zh) * 2018-05-03 2018-10-16 杭州美登科技股份有限公司 海量数据实时筛选分析方法、系统及存储介质
CN109522323B (zh) * 2018-08-28 2020-04-24 湖南大唐先一科技有限公司 一种从海量数据中快速检索变化数据段的方法及系统
CN109522323A (zh) * 2018-08-28 2019-03-26 湖南大唐先科技有限公司 一种从海量数据中快速检索变化数据段的方法及系统
CN111506629A (zh) * 2020-04-22 2020-08-07 合肥工大高科信息科技股份有限公司 一种轨道信息查询方法、服务器、维修机及系统
CN111506629B (zh) * 2020-04-22 2024-02-27 合肥工大高科信息科技股份有限公司 一种轨道信息查询方法、服务器、维修机及系统
CN112487032A (zh) * 2020-11-27 2021-03-12 北京三快在线科技有限公司 数据查询的方法、装置、存储介质及电子设备
CN113220718A (zh) * 2021-05-19 2021-08-06 北京达佳互联信息技术有限公司 数据查询方法、装置、电子设备以及存储介质
CN113220718B (zh) * 2021-05-19 2023-01-20 北京达佳互联信息技术有限公司 数据查询方法、装置、电子设备以及存储介质
CN113704302A (zh) * 2021-07-30 2021-11-26 济南浪潮数据技术有限公司 基于hash映射的海量数据检索方法、系统、终端及存储介质

Similar Documents

Publication Publication Date Title
CN106294573A (zh) 一种海量数据实时查询方法及系统
US11281620B2 (en) Method of and system for enhanced local-device content discovery
CN108804532B (zh) 一种查询意图的挖掘和查询意图的识别方法、装置
KR100898454B1 (ko) 통합 검색 서비스 시스템 및 방법
JP5204893B2 (ja) 分散型媒体フィンガープリントリポジトリ
JP5721818B2 (ja) 検索におけるモデル情報群の使用
KR102249436B1 (ko) 지식 패널들을 컨텍스트화
US11216516B2 (en) Method and system for scalable search using microservice and cloud based search with records indexes
US11310066B2 (en) Method and apparatus for pushing information
CN103092958A (zh) 一种搜索结果展示方法和装置
CN102368262A (zh) 一种提供与查询序列相对应的搜索建议的方法与设备
US7814045B2 (en) Semantical partitioning of data
CN101510209A (zh) 实现实时检索的方法、系统和服务器
WO2017080173A1 (zh) 基于自然信息识别的推送系统和方法及一种客户端
CN106970958B (zh) 一种流文件的查询与存储方法和装置
CN105530272A (zh) 一种应用数据的同步方法和装置
CN106126544B (zh) 一种互联网内容的投放方法及装置
CN107015987B (zh) 一种更新和搜索数据库的方法及设备
CN103177066B (zh) 分析和表示人际关系
CN111382182A (zh) 数据处理方法、装置、电子设备及存储介质
CN105468644A (zh) 一种用于在数据库中进行查询的方法与设备
CN104965903A (zh) 一种资源的推荐方法和装置
US9213745B1 (en) Methods, systems, and media for ranking content items using topics
CN103581731A (zh) 视频信息获取的方法及客户端、服务器
CN107341221B (zh) 索引结构的建立、关联检索方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170104

RJ01 Rejection of invention patent application after publication