CN102479223A - 数据查询方法及系统 - Google Patents

数据查询方法及系统 Download PDF

Info

Publication number
CN102479223A
CN102479223A CN201010567565XA CN201010567565A CN102479223A CN 102479223 A CN102479223 A CN 102479223A CN 201010567565X A CN201010567565X A CN 201010567565XA CN 201010567565 A CN201010567565 A CN 201010567565A CN 102479223 A CN102479223 A CN 102479223A
Authority
CN
China
Prior art keywords
query
cluster
query statement
statement
tabulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010567565XA
Other languages
English (en)
Other versions
CN102479223B (zh
Inventor
傅一平
陈永刚
朱骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Zhejiang Co Ltd
Original Assignee
China Mobile Group Zhejiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Zhejiang Co Ltd filed Critical China Mobile Group Zhejiang Co Ltd
Priority to CN201010567565.XA priority Critical patent/CN102479223B/zh
Publication of CN102479223A publication Critical patent/CN102479223A/zh
Application granted granted Critical
Publication of CN102479223B publication Critical patent/CN102479223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了数据查询方法及系统。方法包括:A:将用户输入的原始查询语句转换为标准格式的结构化查询语句后,与知识库中的聚类查询语句进行匹配,若匹配上,执行步骤C;否则,执行步骤B;B:使用原始查询语句查询原始数据库,得到最终查询结果,转至步骤D;C:在中间数据库中查找与匹配上的聚类查询语句对应的查询结果列表,根据原始查询语句在查询结果列表中查询,得到最终查询结果;D:记录该结构化查询语句,对已记录的所有结构化查询语句进行聚类,使用聚类得到的各聚类查询语句查询原始数据库,得到各聚类查询语句对应的查询结果列表,将各聚类查询语句与其查询结果列表的对应关系存储到中间数据库中。本发明提高了数据查询效率。

Description

数据查询方法及系统
技术领域
本发明涉及数据仓库技术领域,具体涉及数据查询方法及系统。
背景技术
随着社会信息化水平的不断提高,越来越多的企事业单位开始越来越重视信息积累对运营决策及营销机会发现的重要作用,纷纷建立自己的数据仓库,并在数据仓库之上建立形式多样的专题应用。
电信运营商数据仓库的建设与应用为战略制定、运营决策提供了科学、系统的数据支撑,并为商机发现、精确营销等提供了有力保障。从一线人员到高层决策者都在频繁地使用构建在数据仓库之上的经营分析系统,以获取对工作有价值的信息。随着经营分析系统上面对各种业务需求的应用越来越多,经营分析系统对不同的业务应用为满足大多数使用人员的数据要求,在数据模型构建上都尽可能做到数据覆盖度足够高,也就是数据粒度足够细、涵盖指标足够多。不同的使用人员对同一个应用分析关注的重点不尽相同,而经营分析系统对众多使用者的关注重点又无法预知,同时也不可能为不同的使用者构建个性化的数据模型,这就造成了不同需求的人员从同一个应用分析模型如:一张数据表或若干表的关联查询数据。面对庞大的数据量、复杂的查询条件,系统还需要根据不同人员的所选维度和指标的不同进行自动汇总,造成查询效率低下、响应时间过长,特别是对于即席查询,这种现象更为严重,使得使用者望而却步。如何提高查询效率、缩短响应时间,在数据模型不变的情况下满足个性化的数据需求,是目前经营分析系统迫切需要解决的问题。
现有技术主要采取两种措施提高查询效率:
其一:通过构建索引,提升查询效率
对于相对固定的查询条件及查询需求,构建索引对查询效率的提升是有帮助的。但是对于字段较多、查询条件复杂多变、进行动态汇总的查询需求,这种索引方式效果不理想,在有些情况下由于动态计算的需要,可能用不上索引,同时条件选项非常多,构建索引的代价也非常大。
其二:通过分表、分区、增加并行度提升查询效率
这种技术对于提升查询效率有一些帮助,但对于字段多、海量记录、动态关联、动态汇总的查询情况,提升幅度有限。分表、分区是在模型构建时考虑的,对于后期真正的使用情况很难预估,同时增加并行度也是受硬件资源限制的。
发明内容
本发明提供数据查询方法及系统,以提高数据查询效率。
本发明的技术方案是这样实现的:
一种数据查询方法,该方法包括:
A:检测到用户输入原始查询语句,将该原始查询语句转换为标准格式的结构化查询语句,将该结构化查询语句与知识库中的聚类查询语句进行匹配,若匹配上,执行步骤C;否则,执行步骤B;
B:使用原始查询语句查询原始数据库,得到最终查询结果,转至步骤D;
C:在中间数据库中查找与匹配上的聚类查询语句对应的查询结果列表,将结构化查询语句转换为原始查询语句,根据该原始查询语句在该查询结果列表中查询,得到最终的查询结果;
D:记录该结构化查询语句,对已记录的所有结构化查询语句进行聚类,使用聚类得到的各聚类查询语句查询原始数据库,得到各聚类查询语句对应的查询结果列表,将各聚类查询语句与其查询结果列表的对应关系存储到中间数据库中。
所述步骤C进一步包括:
当在中间数据库中未查找到与匹配上的聚类查询语句对应的查询结果列表时,使用原始查询语句查询原始数据库,得到最终查询结果,转至步骤D。
所述步骤A之前进一步包括:预定义级别设定规则及级别阈值;
所述对已记录的所有结构化查询语句进行聚类之后、使用聚类得到的各聚类查询语句查询原始数据库之前进一步包括:
根据预定义的级别设定规则,确定各聚类查询语句的级别;
所述使用聚类得到的各聚类查询语句查询原始数据库为:
对于级别达到所述级别阈值的聚类查询语句,使用该聚类查询语句查询原始数据库。
所述步骤A之前进一步包括:预设级别更新周期;
所述级别设定规则为:每隔预设级别更新周期,统计一次各个聚类查询语句的使用次数,使用次数越高的聚类查询语句的级别越高。
所述步骤A之前进一步包括:预设预处理周期;
所述对于级别达到所述级别阈值的聚类查询语句,使用该聚类查询语句查询原始数据库为:
当预设预处理周期到来时,对于级别达到所述级别阈值的聚类查询语句,使用该聚类查询语句查询原始数据库。
所述步骤A之前进一步包括:预设执行周期;
所述使用该聚类查询语句查询原始数据库包括:
在每个预设执行周期到来时,使用各聚类查询语句查询原始数据库;
所述将各聚类查询语句与其查询结果列表的对应关系存储到中间数据库中进一步包括:
记录该查询结果列表对应的执行时间。
所述方法进一步包括:
为每个查询结果列表设定一个生命周期,对于每个查询结果列表,当当前时间与该查询结果列表对应的执行时间的差值大于生命周期时,删除该查询结果列表及其对应的执行时间;或者,
对于每个查询结果列表,当在最近预设时长内,该查询结果列表的访问次数小于预设访问阈值时,删除该查询结果列表及其对应的执行时间。
一种数据查询系统,该系统包括:
第一单元:接收各查询平台发来的结构化查询语句,将该结构化查询语句输出到第二单元,其中,结构化查询语句是按照预定义的标准格式对用户输入的原始查询语句进行转换得到的;
第二单元:接收结构化查询语句,将该结构化查询语句与第三单元中的各聚类查询语句进行匹配,若匹配上,在中间数据库中查找匹配上的聚类查询语句对应的查询结果列表,将结构化查询语句转换为原始查询语句,根据原始查询语句在该查询结果列表中查询,得到最终的查询结果,若未匹配上,使用原始查询语句查询原始数据库,得到最终查询结果;将结构化查询语句输出到第三单元;
第三单元:接收并记录结构化查询语句,对已记录的所有结构化查询语句进行聚类,得到一个或多个聚类查询语句,存储各聚类查询语句,并将各聚类查询语句输出到第四单元;
第四单元:接收聚类查询语句,使用该聚类查询语句查询原始数据库,得到各聚类查询语句对应的查询结果列表,将各聚类查询语句与其查询结果列表的对应关系存储到中间数据库中。
所述第三单元进一步用于,
对已记录的所有结构化查询语句进行聚类之后,根据预定义的级别设定规则,确定各聚类查询语句的级别,对于级别达到预设级别阈值的聚类查询语句,将该聚类查询语句输出到第四单元。
所述第三单元进一步用于,
当预设预处理周期到来时,对于级别达到预设级别阈值的聚类查询语句,将该聚类查询语句输出。
所述第四单元进一步用于,
在每个预设执行周期到来时,使用各聚类查询语句查询原始数据库,记录每个查询结果列表对应的执行时间。
所述系统进一步包括:第五单元,用于为中间数据库中的每个查询结果列表设定一个生命周期,对于每个查询结果列表,当当前时间与该查询结果列表对应的执行时间的差值大于生命周期时,删除该查询结果列表及其对应的执行时间;或者,对于每个查询结果列表,当在最近预设时长内,该查询结果列表的访问次数小于预设访问阈值时,删除该查询结果列表及其对应的执行时间。
与现有技术相比,本发明中,检测到用户输入原始查询语句,将该原始查询语句转换为标准格式的结构化查询语句,对所有结构化查询语句进行聚类,使用聚类得到的各聚类查询语句查询原始数据库,得到各聚类查询语句对应的查询结果列表,将各聚类查询语句与其查询结果列表的对应关系存储到中间数据库中;此后,当一个用户的结构化查询语句与一个聚类查询语句匹配时,直接根据该聚类查询语句从中间数据库中获取查询结果,大大提高了查询效率。
附图说明
图1为本发明实施例提供的数据查询系统的组成图;
图2为本发明实施例提供的数据查询方法流程图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明实施例提供的数据查询系统的组成图,如图1所示,其主要包括:查询平台11、事件数据采集单元12、匹配及查询处理单元13、历史查询语句存储及学习单元14和查询预处理及中间数据存储单元15,其中:
查询平台11:检测到用户输入原始查询语句,向事件数据采集单元12发送查询消息,该查询消息携带查询事件数据,查询事件数据可包括:事件编号、事件名称、查询平台编号、结构化的事件内容。其中,结构化的事件内容包括:结构化的查询语句等,其中,结构化的查询语句中包含查询时间、数据源编号及查询内容。
事件数据采集单元12:接收查询平台11发来的查询消息,对查询消息进行解析,得到结构化的事件内容,将该结构化的事件内容中的结构化查询语句输出到匹配及查询处理单元13。
匹配及查询处理单元13:接收事件数据采集单元12发来的结构化查询语句,将该结构化查询语句与历史查询语句存储及学习单元14的知识库中存储的各聚类查询语句进行匹配,判断是否匹配上,若匹配上,记录匹配上的聚类查询语句的知识库编号,根据该知识库编号在查询预处理及中间数据存储单元15中查找对应的中间数据物理表,若查找到,将结构化的查询语句转换为用户输入的原始查询语句,在查找到的中间数据物理表中继续查找与该原始查询语句匹配的中间数据,将该中间数据作为查询结果返回给前端页面;否则,使用用户输入的原始查询语句,查询原始数据库,将查询结果返回给前端页面;将接收到的结构化查询语句输出到历史查询语句存储及学习单元14中。
历史查询语句存储及学习单元14:接收并记录匹配及查询处理单元13发来的结构化查询语句,根据预设的用户查询行为轨迹分析学习模型,将该结构化查询语句与自身已记录的所有结构化查询语句进行聚类,聚类完成后,得到一个或多个聚类结果即,聚类查询语句,为新产生的各聚类查询语句分配知识库编号,同时按照预定义的级别设定规则,更新各聚类查询语句的级别,将新产生的各聚类查询语句及其编号、级别放入知识库中;当发现预设预处理条件满足时,将级别达到预设级别阈值的各聚类查询语句及其知识库编号携带在预处理请求中发送给查询预处理及中间数据存储单元15。
查询预处理及中间数据存储单元15:接收历史查询语句存储及学习单元14发来的预处理请求,根据该请求中的聚类查询语句查询原始数据库,得到查询结果即中间数据,将该中间数据以物理表的形式存储,记录预处理请求中的知识库编号、聚类查询语句以及中间数据物理表名间的关联关系。
查询预处理及中间数据存储单元15还可用于,当预处理请求中携带执行周期时,将该执行周期一并存储在关联关系中,在每个执行周期到来时,根据该关联关系中的聚类查询语句执行一次查询操作,将查询得到的中间数据以物理表的形式存储,同时将该中间数据物理表名记录到关联关系中。
查询预处理及中间数据存储单元15还可用于,为中间数据物理表中的每条中间数据设定一个生命周期,当一条中间数据的生命周期到达时,即:当前时间与该条中间数据的执行时间之差不小于生命周期时,就将该条中间数据删除;或者,当在最近预设时长内,一条中间数据的访问次数小于预设访问阈值时,则删除该中间数据。
图2为本发明实施例提供的数据查询方法流程图,如图2所示,其具体步骤如下:
步骤201:查询平台11检测到用户输入原始查询语句,向事件数据采集单元12发送查询消息,该查询消息携带查询事件数据,查询事件数据可包括:事件编号、事件名称、查询平台编号、结构化的事件内容。其中,结构化的事件内容包括:结构化的查询语句等,其中,结构化的查询语句中包含查询时间、数据源编号及查询内容。
原始查询语句中包含:查询时间、数据源编号、查询内容等。
结构化的事件内容即,将用户输入的原始查询语句等以预定义的标准格式表示。
查询平台11认为用户发起的每次查询操作都为一次查询事件,会为该事件分配事件编号和事件名称。
数据源编号即用户要查询的数据库的编号。
查询语句可按照查询方式的不同,分类为:指标、维度、选择条件、分组列表等。其中,选择条件为进一步限定的指标,分组列表为指标、维度的组合。指标、维度、选择条件、分组列表等属于查询内容。
查询语句中包含类型字段,用于指示该查询语句的类型,即指示该查询语句是指标、维度、选择条件、分组列表还是其它类型。
查询消息的格式可采用HTTP协议头+XML消息格式,其中,XML消息中携带查询事件数据。
本发明实施例中的查询平台可以为多个,可以为经营分析平台、数据集市平台等。
步骤202:事件数据采集单元12接收查询消息,对查询消息进行解析,得到结构化的事件内容,将该结构化的事件内容中的结构化查询语句输出到匹配及查询处理单元13。
步骤203:匹配及查询处理单元13接收结构化查询语句,将该结构化查询语句与历史查询语句存储及学习单元14的知识库中存储的各聚类查询语句进行匹配,判断是否匹配上,若是,执行步骤204;否则,执行步骤206。
这里,若结构化查询语句与聚类查询语句全部相同或者部分相同,则认为匹配;若完全不相同,则认为不匹配。例如:若结构化查询语句中包含10个指标,聚类查询语句中包含8个指标,其中,结构化查询语句与聚类查询语句有7个指标相同,且两者包含的数据源编号相同,则认为两者匹配。
步骤204:匹配及查询处理单元13记录匹配上的聚类查询语句的知识库编号,根据该知识库编号在查询预处理及中间数据存储单元15中查找对应的中间数据物理表,判断是否查找到,若是,执行步骤205;否则,执行步骤206。
查询预处理及中间数据存储单元15中存储有多个中间数据物理表,每个中间数据物理表中通常包含多条中间数据。
步骤205:匹配及查询处理单元13将结构化的查询语句转换为用户输入的原始查询语句,在查找到的中间数据物理表中继续查找与该原始查询语句匹配的中间数据,将该中间数据作为查询结果返回给前端页面,转至步骤207。
由于每个中间数据物理表中通常包含多条中间数据,因此,需要在该中间数据物理表中查找与用户输入的原始查询语句匹配的中间数据,该数据即为最终的查询结果。
本步骤中的查询处理支持多任务。
步骤206:匹配及查询处理单元13使用用户输入的原始查询语句,查询原始数据库,将查询结果返回给前端页面,转至步骤207。
这里的原始数据库即,原始查询语句中包含的数据源编号对应的数据库。
步骤207:匹配及查询处理单元13将步骤203中接收到的结构化查询语句输出到历史查询语句存储及学习单元14中。
步骤208:历史查询语句存储及学习单元14接收并记录该结构化查询语句,根据预设的用户查询行为轨迹分析学习模型,将该结构化查询语句与自身已记录的所有结构化查询语句进行聚类,聚类完成后,得到一个或多个聚类结果即,聚类查询语句,为新产生的各聚类查询语句分配知识库编号,同时按照预定义的级别设定规则,更新各聚类查询语句的级别,将新产生的各聚类查询语句及其编号、级别放入知识库中。
这里,用户查询行为轨迹分析学习模型可根据实际情况设定,一般地,可设定匹配度大于预设值的结构化查询语句为一类。例如:当两个结构化查询语句中包含的相同指标数大于预设值、且该两个结构化查询语句包含的数据源编号相同时,该两个结构化查询语句归为一类。
级别设定规则可以是:预设一个级别更新周期,在每个级别更新周期内,针对各个聚类,统计该周期内用户使用该聚类进行查询的次数,将该次数作为该聚类查询语句的级别。
聚类结果可以根据实际情况设定,例如:可以设定将一个聚类对应的所有结构化查询语句中的共同内容作为该聚类的聚类结果,即聚类查询语句,如:一个聚类对应n个结构化查询语句,其中,有m(m<n)个指标是该n个结构化查询语句共有的,则将该m个指标和数据源编号作为该聚类的聚类结果,即聚类查询语句;或者,可以设定将一个聚类中,使用次数最高的结构化查询语句作为该聚类的聚类结果,即聚类查询语句,如:一个聚类对应n个结构化查询语句,统计每个结构化查询语句的使用次数,将使用次数最多的结构化查询语句作为聚类结果。
步骤209:历史查询语句存储及学习单元14发现预设预处理条件满足,则将级别达到预设级别阈值的各聚类查询语句及其知识库编号携带在预处理请求中发送给查询预处理及中间数据存储单元15。
这里,预处理条件可以是一个预处理周期,在每个预处理周期开始时,将级别达到预设级别阈值的各聚类查询语句及其知识库编号携带在预处理请求中发送给查询预处理及中间数据存储单元15;也可以是接收到查询预处理及中间数据存储单元15发来的预处理开始指示。
预处理请求中还可携带该聚类查询语句对应的执行周期。这是由于:数据库可能会定期或不定期地更新,因此,对于同一个聚类查询语句来说,其查询结果会定期或不定期地发生变化。因此,历史查询语句存储及学习单元14可为聚类查询语句设定一个执行周期,在每个执行周期到来时,查询预处理及中间数据存储单元15根据该聚类查询语句执行一次查询操作。
步骤210:查询预处理及中间数据存储单元15接收预处理请求,根据该请求中的聚类查询语句查询原始数据库,得到查询结果,即中间数据,将该中间数据以物理表的形式存储,记录预处理请求中的知识库编号、聚类查询语句以及中间数据物理表名间的关联关系。
聚类查询语句中包含数据源编号,本步骤中的原始数据库即为该数据源编号对应的数据库。
这里,需要说明的是,由于聚类查询语句是一个聚类结果,通常其查询范围较宽,因此,使用聚类查询语句查询原始数据库,通常会得到多条中间数据。
另外,当预处理请求中携带执行周期时,本步骤中的关联关系中还需增加该执行周期。在每个执行周期到来时,查询预处理及中间数据存储单元15根据该关联关系中的聚类查询语句执行一次查询操作,将查询得到的中间数据以物理表的形式存储,并将该中间数据物理表名记录到该关联关系中。
同时,查询预处理及中间数据存储单元15每隔一个执行周期会执行一次查询操作,这样,针对同一个聚类查询语句,中间数据物理表中会按照执行时间顺序存储多条中间数据,为了节省存储空间,查询预处理及中间数据存储单元15可以为中间数据设定一个生命周期,当一条中间数据的生命周期到达时,即:当前时间与该条中间数据的执行时间之差不小于生命周期时,就将该条中间数据删除;或者,当在最近预设时长内,一条中间数据的访问次数小于预设访问阈值时,则删除该中间数据。
本发明实施例的典型应用场景可如下:
一、海量清单数据查询
当前移动经营分析系统下沉到一线,为一线工作人员提供支撑,一线人员在实际使用中需要根据清单级数据有针对性地开展工作,对于清单类的数据需求量非常大。由于清单数据量非常庞大,且一线使用人员非常多,频繁的大数据量的查询操作,大大加重了系统负荷,而且使用人员越多,系统资源越紧张、查询效率越低,因此使用人员的各种抱怨不断。应用本发明实施例后,对于那些高频度的查询来说,其查询结果会存储在中间数据物理表中,这样,此后无需再从原始数据库的海量数据中查询,而是直接从中间数据物理表中进行查询,效率大大提高,从而提升用户满意度。
二、复杂重要报表查询
复杂重要报表一般维度和指标非常多,但是不同的使用人员关注重点不同,关注的指标和数据粒度有很大差异,报表设计人员不可能为每个使用人员设计不同指标和数据粒度的报表,而且对于同一个使用人员在不同时间,关注的数据项也是不同的,所以一般查询会采用动态指标选择、动态数据汇总的方式,由于这些报表一般设计粒度比较细,所以数据量非常大,如果查询中进行动态汇总,会大大降低查询效率。应用本发明实施例后,对于包含动态指标选择、动态数据汇总等方式的查询,若其频度较高,则其查询结果会存储在中间数据物理表中,这样,此后用户再作查询时,可直接从中间数据物理表中得到查询结果,效率大大提高。
三、即席查询
即席查询所涉及的数据表可能不止一张,可能涉及多张表的关联,也存在动态汇总数据的情况,由于无法预知用户查询数据内容,用户每次查询时(即使是与上次查询相似的或相同的内容),系统都要重复相同的动作:关联表、动态汇总、从海量数据筛选目标数据,效率非常低下。应用本发明实施例后,对于该类查询,若其频度较高,则其查询结果会存储在中间数据物理表中,这样,此后用户再作查询时,可直接从中间数据物理表中得到查询结果,而无需再进行关联表、动态汇总这些操作了,效率大大提高。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (12)

1.一种数据查询方法,其特征在于,该方法包括:
A:检测到用户输入原始查询语句,将该原始查询语句转换为标准格式的结构化查询语句,将该结构化查询语句与知识库中的聚类查询语句进行匹配,若匹配上,执行步骤C;否则,执行步骤B;
B:使用原始查询语句查询原始数据库,得到最终查询结果,转至步骤D;
C:在中间数据库中查找与匹配上的聚类查询语句对应的查询结果列表,将结构化查询语句转换为原始查询语句,根据该原始查询语句在该查询结果列表中查询,得到最终的查询结果;
D:记录该结构化查询语句,对已记录的所有结构化查询语句进行聚类,使用聚类得到的各聚类查询语句查询原始数据库,得到各聚类查询语句对应的查询结果列表,将各聚类查询语句与其查询结果列表的对应关系存储到中间数据库中。
2.根据权利要求1所述的方法,其特征在于,所述步骤C进一步包括:
当在中间数据库中未查找到与匹配上的聚类查询语句对应的查询结果列表时,使用原始查询语句查询原始数据库,得到最终查询结果,转至步骤D。
3.根据权利要求1所述的方法,其特征在于,所述步骤A之前进一步包括:预定义级别设定规则及级别阈值;
所述对已记录的所有结构化查询语句进行聚类之后、使用聚类得到的各聚类查询语句查询原始数据库之前进一步包括:
根据预定义的级别设定规则,确定各聚类查询语句的级别;
所述使用聚类得到的各聚类查询语句查询原始数据库为:
对于级别达到所述级别阈值的聚类查询语句,使用该聚类查询语句查询原始数据库。
4.根据权利要求1所述的方法,其特征在于,所述步骤A之前进一步包括:预设级别更新周期;
所述级别设定规则为:每隔预设级别更新周期,统计一次各个聚类查询语句的使用次数,使用次数越高的聚类查询语句的级别越高。
5.根据权利要求3所述的方法,其特征在于,所述步骤A之前进一步包括:预设预处理周期;
所述对于级别达到所述级别阈值的聚类查询语句,使用该聚类查询语句查询原始数据库为:
当预设预处理周期到来时,对于级别达到所述级别阈值的聚类查询语句,使用该聚类查询语句查询原始数据库。
6.根据权利要求1所述的方法,其特征在于,所述步骤A之前进一步包括:预设执行周期;
所述使用该聚类查询语句查询原始数据库包括:
在每个预设执行周期到来时,使用各聚类查询语句查询原始数据库;
所述将各聚类查询语句与其查询结果列表的对应关系存储到中间数据库中进一步包括:
记录该查询结果列表对应的执行时间。
7.根据权利要求6所述的方法,其特征在于,所述方法进一步包括:
为每个查询结果列表设定一个生命周期,对于每个查询结果列表,当当前时间与该查询结果列表对应的执行时间的差值大于生命周期时,删除该查询结果列表及其对应的执行时间;或者,
对于每个查询结果列表,当在最近预设时长内,该查询结果列表的访问次数小于预设访问阈值时,删除该查询结果列表及其对应的执行时间。
8.一种数据查询系统,其特征在于,该系统包括:
第一单元:接收各查询平台发来的结构化查询语句,将该结构化查询语句输出到第二单元,其中,结构化查询语句是按照预定义的标准格式对用户输入的原始查询语句进行转换得到的;
第二单元:接收结构化查询语句,将该结构化查询语句与第三单元中的各聚类查询语句进行匹配,若匹配上,在中间数据库中查找匹配上的聚类查询语句对应的查询结果列表,将结构化查询语句转换为原始查询语句,根据原始查询语句在该查询结果列表中查询,得到最终的查询结果,若未匹配上,使用原始查询语句查询原始数据库,得到最终查询结果;将结构化查询语句输出到第三单元;
第三单元:接收并记录结构化查询语句,对已记录的所有结构化查询语句进行聚类,得到一个或多个聚类查询语句,存储各聚类查询语句,并将各聚类查询语句输出到第四单元;
第四单元:接收聚类查询语句,使用该聚类查询语句查询原始数据库,得到各聚类查询语句对应的查询结果列表,将各聚类查询语句与其查询结果列表的对应关系存储到中间数据库中。
9.根据权利要求8所述的系统,其特征在于,所述第三单元进一步用于,
对已记录的所有结构化查询语句进行聚类之后,根据预定义的级别设定规则,确定各聚类查询语句的级别,对于级别达到预设级别阈值的聚类查询语句,将该聚类查询语句输出到第四单元。
10.根据权利要求9所述的系统,其特征在于,所述第三单元进一步用于,
当预设预处理周期到来时,对于级别达到预设级别阈值的聚类查询语句,将该聚类查询语句输出。
11.根据权利要求8所述的系统,其特征在于,所述第四单元进一步用于,
在每个预设执行周期到来时,使用各聚类查询语句查询原始数据库,记录每个查询结果列表对应的执行时间。
12.根据权利要求11所述的系统,其特征在于,所述系统进一步包括:第五单元,用于为中间数据库中的每个查询结果列表设定一个生命周期,对于每个查询结果列表,当当前时间与该查询结果列表对应的执行时间的差值大于生命周期时,删除该查询结果列表及其对应的执行时间;或者,对于每个查询结果列表,当在最近预设时长内,该查询结果列表的访问次数小于预设访问阈值时,删除该查询结果列表及其对应的执行时间。
CN201010567565.XA 2010-11-25 2010-11-25 数据查询方法及系统 Active CN102479223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010567565.XA CN102479223B (zh) 2010-11-25 2010-11-25 数据查询方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010567565.XA CN102479223B (zh) 2010-11-25 2010-11-25 数据查询方法及系统

Publications (2)

Publication Number Publication Date
CN102479223A true CN102479223A (zh) 2012-05-30
CN102479223B CN102479223B (zh) 2014-06-04

Family

ID=46091871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010567565.XA Active CN102479223B (zh) 2010-11-25 2010-11-25 数据查询方法及系统

Country Status (1)

Country Link
CN (1) CN102479223B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279486A (zh) * 2013-04-24 2013-09-04 百度在线网络技术(北京)有限公司 一种提供相关搜索的方法和装置
CN104462317A (zh) * 2014-12-01 2015-03-25 苏州朗米尔照明科技有限公司 一种基于标签的数据筛选方法
CN106649483A (zh) * 2016-10-08 2017-05-10 浪潮软件股份有限公司 一种数据动态查询的方法及装置
CN107273413A (zh) * 2017-05-04 2017-10-20 北京小度信息科技有限公司 中间表的创建方法、查询方法及相关装置
CN107291932A (zh) * 2017-06-30 2017-10-24 北京奇虎科技有限公司 一种数据查询方法和装置
CN107577741A (zh) * 2017-08-28 2018-01-12 深圳市华傲数据技术有限公司 一种数据查询的处理方法及装置
CN108255861A (zh) * 2016-12-29 2018-07-06 北京奇虎科技有限公司 一种广告数据的查询处理方法和装置
CN108509501A (zh) * 2018-02-28 2018-09-07 努比亚技术有限公司 一种查询处理方法、服务器及计算机可读存储介质
CN108509637A (zh) * 2018-04-10 2018-09-07 口碑(上海)信息技术有限公司 数据表关联查询方法及装置
CN109308301A (zh) * 2018-09-28 2019-02-05 中国银行股份有限公司 测试数据的获得方法及装置
CN109388637A (zh) * 2018-09-21 2019-02-26 北京京东金融科技控股有限公司 数据仓库信息处理方法、装置、系统、介质
CN109388658A (zh) * 2018-09-21 2019-02-26 麒麟合盛网络技术股份有限公司 一种数据确定方法和装置
CN109408541A (zh) * 2018-09-03 2019-03-01 平安科技(深圳)有限公司 报表分解统计方法、系统、计算机设备和存储介质
CN109656958A (zh) * 2018-12-18 2019-04-19 北京小米移动软件有限公司 数据查询方法以及系统
CN109684361A (zh) * 2018-12-14 2019-04-26 武汉达梦数据库有限公司 一种规则分析方法以及相应的用于规则分析的装置
WO2019114430A1 (zh) * 2017-12-15 2019-06-20 王碧波 自然语言提问的理解方法、装置及电子设备
CN110019186A (zh) * 2017-09-07 2019-07-16 北京国双科技有限公司 数据存储的方法及装置
CN110334114A (zh) * 2018-02-12 2019-10-15 北京京东尚科信息技术有限公司 一种查询数据的方法和装置
CN110399395A (zh) * 2018-04-18 2019-11-01 福建天泉教育科技有限公司 基于预计算的加速查询方法、存储介质
CN110457540A (zh) * 2019-06-28 2019-11-15 卓尔智联(武汉)研究院有限公司 数据的查询方法、服务平台、终端设备及存储介质
CN110597851A (zh) * 2019-09-20 2019-12-20 四川长虹电器股份有限公司 一种基于大数据的数据处理及报表展示方法
CN111309754A (zh) * 2020-01-22 2020-06-19 王伟 服务数据接入方法、装置、存储介质和电子设备
CN111353049A (zh) * 2020-02-24 2020-06-30 京东方科技集团股份有限公司 数据更新方法、装置、电子设备及计算机可读存储介质
CN111400342A (zh) * 2019-01-03 2020-07-10 百度在线网络技术(北京)有限公司 数据库更新方法、装置、设备及存储介质
CN111886601A (zh) * 2019-03-01 2020-11-03 卡德乐人工智能私人有限公司 用于自适应问答的系统和方法
CN113076330A (zh) * 2020-01-06 2021-07-06 阿里巴巴集团控股有限公司 查询处理方法、装置、数据库系统、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1643390A1 (en) * 2004-09-30 2006-04-05 Microsoft Corporation Search engine based on intent-based query clusters.
CN101127048A (zh) * 2007-08-20 2008-02-20 华为技术有限公司 一种查询结果处理方法与装置
CN101206654A (zh) * 2006-12-22 2008-06-25 英业达股份有限公司 具智能查询能力的数据库查询系统与方法
CN101876979A (zh) * 2009-04-28 2010-11-03 株式会社理光 查询扩展方法及查询扩展设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1643390A1 (en) * 2004-09-30 2006-04-05 Microsoft Corporation Search engine based on intent-based query clusters.
CN101206654A (zh) * 2006-12-22 2008-06-25 英业达股份有限公司 具智能查询能力的数据库查询系统与方法
CN101127048A (zh) * 2007-08-20 2008-02-20 华为技术有限公司 一种查询结果处理方法与装置
CN101876979A (zh) * 2009-04-28 2010-11-03 株式会社理光 查询扩展方法及查询扩展设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
章成志等: "基于混合策略的查询串相似度计算方法", 《全国第八届计算语言学联合学术会议(JSCL-2005)论文集》, 31 December 2005 (2005-12-31), pages 588 - 590 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279486A (zh) * 2013-04-24 2013-09-04 百度在线网络技术(北京)有限公司 一种提供相关搜索的方法和装置
CN103279486B (zh) * 2013-04-24 2019-03-08 百度在线网络技术(北京)有限公司 一种提供相关搜索的方法和装置
CN104462317A (zh) * 2014-12-01 2015-03-25 苏州朗米尔照明科技有限公司 一种基于标签的数据筛选方法
CN106649483A (zh) * 2016-10-08 2017-05-10 浪潮软件股份有限公司 一种数据动态查询的方法及装置
CN108255861A (zh) * 2016-12-29 2018-07-06 北京奇虎科技有限公司 一种广告数据的查询处理方法和装置
CN107273413A (zh) * 2017-05-04 2017-10-20 北京小度信息科技有限公司 中间表的创建方法、查询方法及相关装置
CN107273413B (zh) * 2017-05-04 2020-07-31 北京星选科技有限公司 中间表的创建方法、查询方法及相关装置
CN107291932B (zh) * 2017-06-30 2021-02-05 北京奇虎科技有限公司 一种数据查询方法和装置
CN107291932A (zh) * 2017-06-30 2017-10-24 北京奇虎科技有限公司 一种数据查询方法和装置
CN107577741A (zh) * 2017-08-28 2018-01-12 深圳市华傲数据技术有限公司 一种数据查询的处理方法及装置
CN110019186A (zh) * 2017-09-07 2019-07-16 北京国双科技有限公司 数据存储的方法及装置
WO2019114430A1 (zh) * 2017-12-15 2019-06-20 王碧波 自然语言提问的理解方法、装置及电子设备
CN110334114A (zh) * 2018-02-12 2019-10-15 北京京东尚科信息技术有限公司 一种查询数据的方法和装置
CN110334114B (zh) * 2018-02-12 2024-05-17 北京京东尚科信息技术有限公司 一种查询数据的方法和装置
CN108509501A (zh) * 2018-02-28 2018-09-07 努比亚技术有限公司 一种查询处理方法、服务器及计算机可读存储介质
CN108509637A (zh) * 2018-04-10 2018-09-07 口碑(上海)信息技术有限公司 数据表关联查询方法及装置
CN110399395B (zh) * 2018-04-18 2022-04-01 福建天泉教育科技有限公司 基于预计算的加速查询方法、存储介质
CN110399395A (zh) * 2018-04-18 2019-11-01 福建天泉教育科技有限公司 基于预计算的加速查询方法、存储介质
CN109408541A (zh) * 2018-09-03 2019-03-01 平安科技(深圳)有限公司 报表分解统计方法、系统、计算机设备和存储介质
CN109388637B (zh) * 2018-09-21 2020-09-01 京东数字科技控股有限公司 数据仓库信息处理方法、装置、系统、介质
CN109388637A (zh) * 2018-09-21 2019-02-26 北京京东金融科技控股有限公司 数据仓库信息处理方法、装置、系统、介质
CN109388658A (zh) * 2018-09-21 2019-02-26 麒麟合盛网络技术股份有限公司 一种数据确定方法和装置
CN109308301A (zh) * 2018-09-28 2019-02-05 中国银行股份有限公司 测试数据的获得方法及装置
CN109684361A (zh) * 2018-12-14 2019-04-26 武汉达梦数据库有限公司 一种规则分析方法以及相应的用于规则分析的装置
CN109684361B (zh) * 2018-12-14 2020-10-16 武汉达梦数据库有限公司 一种规则分析方法以及相应的用于规则分析的装置
CN109656958B (zh) * 2018-12-18 2021-11-16 北京小米移动软件有限公司 数据查询方法以及系统
CN109656958A (zh) * 2018-12-18 2019-04-19 北京小米移动软件有限公司 数据查询方法以及系统
CN111400342A (zh) * 2019-01-03 2020-07-10 百度在线网络技术(北京)有限公司 数据库更新方法、装置、设备及存储介质
CN111886601A (zh) * 2019-03-01 2020-11-03 卡德乐人工智能私人有限公司 用于自适应问答的系统和方法
CN111886601B (zh) * 2019-03-01 2024-03-01 卡德乐人工智能私人有限公司 用于自适应问答的系统和方法
CN110457540B (zh) * 2019-06-28 2020-07-14 卓尔智联(武汉)研究院有限公司 数据的查询方法、服务平台、终端设备及存储介质
CN110457540A (zh) * 2019-06-28 2019-11-15 卓尔智联(武汉)研究院有限公司 数据的查询方法、服务平台、终端设备及存储介质
CN110597851A (zh) * 2019-09-20 2019-12-20 四川长虹电器股份有限公司 一种基于大数据的数据处理及报表展示方法
CN113076330A (zh) * 2020-01-06 2021-07-06 阿里巴巴集团控股有限公司 查询处理方法、装置、数据库系统、电子设备及存储介质
CN113076330B (zh) * 2020-01-06 2024-05-17 阿里巴巴集团控股有限公司 查询处理方法、装置、数据库系统、电子设备及存储介质
CN111309754A (zh) * 2020-01-22 2020-06-19 王伟 服务数据接入方法、装置、存储介质和电子设备
CN111353049A (zh) * 2020-02-24 2020-06-30 京东方科技集团股份有限公司 数据更新方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN102479223B (zh) 2014-06-04

Similar Documents

Publication Publication Date Title
CN102479223B (zh) 数据查询方法及系统
US11567978B2 (en) Hybrid structured/unstructured search and query system
Koseleva et al. Big data in building energy efficiency: understanding of big data and main challenges
US8874600B2 (en) System and method for building a cloud aware massive data analytics solution background
CN102081625B (zh) 一种数据查询的方法及查询服务器
CN103838867A (zh) 日志处理方法和装置
CN108268565B (zh) 基于数据仓库处理用户浏览行为数据的方法及系统
CN104536904A (zh) 一种数据管理的方法、设备与系统
CN104239377A (zh) 跨平台的数据检索方法及装置
CN105159845A (zh) 存储器读取方法
US20110131208A1 (en) Systems and methods for large-scale link analysis
CN112817834B (zh) 数据表评估方法及装置
CN112632025A (zh) 一种基于paas平台的电网企业管理决策支持应用系统
CN103455335A (zh) 一种多级分类的Web实现方法
CN104636477A (zh) 一种信息推送前推送列表的去重方法
CN101702020A (zh) 基于网格的遥感数据的获取方法与装置
CN101778400A (zh) 基于数据库的话务量分析与预测系统及使用该系统的话务量预测方法
CN114202138A (zh) 一种基于多维数据分析的线上渠道运营评估方法
CN101901277A (zh) 一种基于用户情景的动态本体建模方法及系统
CN101963993A (zh) 一种数据库单表记录快速查找的方法
CN111382155B (zh) 一种数据仓库的数据处理方法、电子设备及介质
CN116049193A (zh) 数据存储方法及装置
CN103377216A (zh) 产品信息库的构建方法及系统
CN101980209B (zh) 自适应多领域搜索引擎调用方法及系统
Daqing et al. An adaptive data management model for smart grid

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant