CN108717515A - 数据查询方法、装置、服务器和存储介质 - Google Patents

数据查询方法、装置、服务器和存储介质 Download PDF

Info

Publication number
CN108717515A
CN108717515A CN201810415823.9A CN201810415823A CN108717515A CN 108717515 A CN108717515 A CN 108717515A CN 201810415823 A CN201810415823 A CN 201810415823A CN 108717515 A CN108717515 A CN 108717515A
Authority
CN
China
Prior art keywords
data
request
grade
truthful
current queries
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810415823.9A
Other languages
English (en)
Other versions
CN108717515B (zh
Inventor
高剑
王斐
彭锋
董长阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810415823.9A priority Critical patent/CN108717515B/zh
Publication of CN108717515A publication Critical patent/CN108717515A/zh
Application granted granted Critical
Publication of CN108717515B publication Critical patent/CN108717515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据查询方法、装置、服务器和存储介质,该方法包括:响应请求方的当前查询请求,依据所述请求方的检索行为确定所述请求方的查询行为等级;若所述查询行为等级高于等级阈值,或者所述查询行为等级高于等级阈值且所述当前查询请求所属的请求类型是泛需求,则为所述当前查询请求召回真实数据和虚假数据。本发明实施例的技术方案解决了数据供应商数据容易被窃取的问题,提高了数据的安全性。

Description

数据查询方法、装置、服务器和存储介质
技术领域
本发明实施例涉及数据处理技术,尤其涉及一种数据查询方法、装置、服务器和存储介质。
背景技术
随着大数据技术的发展,数据供应商为用户提供的数据质量稳步提升,覆盖范围也在持续扩大,相对的数据供应商为用户提供查询数据时,数据的安全性也受到了严重的威胁。
目前,数据供应商在接收到用户的数据查询指令后,将用户信息与数据库中的黑名单信息进行比对,若不是黑名单中的信息即向用户提供查询数据。从一定程度上能够防止数据的泄露。但是,该方法仅将用户信息与黑名单信息进行比对,形式单一,且黑名单信息的时效性较差,无法避免新增用户对数据的窃取行为,进而未能从根本上解决数据安全性差的问题。
发明内容
本发明实施例提供一种数据查询方法、装置、服务器和存储介质,引入虚假数据,有效的提高了数据的安全性。
第一方面,本发明实施例提供了一种数据查询方法,该方法包括:
响应请求方的当前查询请求,依据所述请求方的检索行为确定所述请求方的查询行为等级;
若所述查询行为等级高于等级阈值,或者所述查询行为等级高于等级阈值且所述当前查询请求所属的请求类型是泛需求,则为所述当前查询请求召回真实数据和虚假数据。
第二方面,本发明实施例还提供了一种数据查询装置,该装置包括:
等级确定模块,用于响应请求方的当前查询请求,依据所述请求方的检索行为确定所述请求方的查询行为等级;
数据召回模块,若所述查询行为等级高于等级阈值,或者所述查询行为等级高于等级阈值且所述当前查询请求所属的请求类型是泛需求,则为所述当前查询请求召回真实数据和虚假数据。
第三方面,本发明实施例还提供了一种服务器,包括:
一个或多个处理器;
至少一个高性能存储单元和至少一个低性能存储单元,用于存储一个或多个程序,以及用于存储数据;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任意实施例所述的数据查询方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的数据查询方法。
本发明通过在响应请求方的当前查询请求时,确定其查询行为等级,若查询行为等级高于等级阈值,或高于等级阈值的同时还属于泛需求,则召回真实数据和虚假数据。解决了数据供应商数据易被窃取的问题,引入虚假数据,有效的提高了数据的安全性。
附图说明
图1A是本发明实施例一提供的一种数据查询方法的流程图;
图1B是本发明实施例一提供的数据召回结果示意图;
图2是本发明实施例二提供的一种数据查询方法的流程图;
图3是本发明实施例三提供的数据查询系统整体架构示意图;
图4是本发明实施例四提供的一种数据查询装置的结构示意图;
图5是本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的数据查询方法的流程图,本实施例可适用于数据供应商提供查询数据时防止数据泄露的情况,该方法可以由本法明实施例提供的数据查询装置或服务器来执行,该装置可采用硬件和/或软件的方式实现。如图1所示,具体包括如下步骤:
S101,响应请求方的当前查询请求,依据请求方的检索行为确定请求方的查询行为等级。
其中,请求方是指进行数据查询的一方,当前查询请求是指请求方根据查询需求输入查询内容后生成的请求,例如,用户从百度地图中搜索附近的超市,则该用户即为请求方,其输入的查询内容为“超市”,点击搜索按钮后生成查询请求,该查询请求代表用户想要搜索附近的超市。请求方的检索行为可以是发起查询请求的次数、频率等。请求方的查询行为可以是请求方对数据的查询行为,例如,用户在百度地图软件上搜索附近超市的行为,也可以是一些数据抓取软件对数据的抓取行为,例如,网络上的爬虫工具抓取数据的行为。
由于抓取数据时对数据的需求量较大,其查询数据的频率和次数明显高于普通用户,因此,可以通过请求方的检索行为对请求方的查询行为分等级来区分该请求方是数据抓取者还是普通用户。可选的,依据请求方的检索行为确定请求方的查询行为等级,可以是:依据请求方的查询次数和/或查询频率确定请求方的查询行为等级。
其中,查询次数是指请求方在该数据供应商提供的查询软件(如,百度地图软件)中累积完成的查询的次数。查询频率是指请求方在该数据供应商提供的查询软件中单位时间内完成的查询次数,即单位时间内查询的密集程度。可选的,根据请求方的查询次数和/或查询频率确定请求方查询行为的等级,可以是预先为累积查询次数和单位时间内的查询频率设置不同等级的阈值范围,将请求方的查询次数和/或查询频率与预先设置的阈值范围进行比较,来确定请求方的等级。接下来以根据查询次数确定请求方查询行为等级为例进行介绍,可以是为累积查询次数设置10个等级,累积查询次数在1-10次为第一等级,累积查询次数在11-20次为第二等级,以此类推,累积查询次数超过50次为第十等级。根据请求方检索行为所属的累积查询次数,判断其所属等级区间,进而得到请求方的查询行为等级。可选的,为了防止普通用户经常使用软件进行查询导致误判为数据抓取行为,可以每隔预设时间对用户的累积查询次数进行清空,例如,可以是一周清空一次。根据查询频率确定请求方的查询行为等级与依据查询次数确定请求方的查询行为等级类似,对此不再进行赘述。
可选的,依据查询次数和查询频率来确定请求方的查询行为等级可以是选择查询次数等级和查询频率等级中较高或较低的等级作为查询行为等级,也可以是将两者等级进行分析处理后得到请求方的查询行为等级,例如,可以是求均值作为查询行为等级;还可以对查询次数和查询频率设置不同的权重系数,结合权重系数确定请求方查询行为等级。
S102,若查询行为等级高于等级阈值,或者查询行为等级高于等级阈值且当前查询请求所属的请求类型是泛需求,则为当前查询请求召回真实数据和虚假数据。
其中,泛需求是指请求方输入的查询内容对应的查询结果比较广泛,几乎覆盖了该场景下的所有需求,例如,用户在百度地图上搜索“娱乐”,该查询请求包含了娱乐场景下的所有需求,如KTV、电影院、台球室等,所以当前的查询请求“娱乐”就属于泛需求。真实数据是与请求方输入的查询请求对应的真实的查询结果。而虚假数据是指仿照真实数据编写的数据或在真实数据的基础上修改部分数据内容后得到的数据,例如,若真实数据为某一超市,可以对该超市的名称、地理位置、距离远近中的至少一项进行纂改后生成虚假数据。
确定请求方是否要抓取数据,导致数据供应商数据的泄露,可以是检测请求方的查询行为等级是否高于等级阈值,例如,等值阈值可以是九级,当请求方的查询行为高于九级时,说明该请求方有抓取数据的可能。由于抓取数据时通常没有明确的搜索目标,所以其对应的查询请求类型通常为泛需求,因此,为了更加准确的辨别请求方的身份,还可以是检测到查询行为等级高于等级阈值且当前查询请求所属的请求类型是泛需求时,说明该请求方有抓取数据的可能。
对于检测到的有抓取数据可能的请求方,可以是基于该请求方的查询请求,为其同时召回该查询请求对应的真实数据和虚假数据,虚假数据作为冗余数据和真实数据混在一起,降低了查询结果的准确性,使得抓取的数据无法正常使用,提高了数据的安全性。需要说明的是,召回数据的过程即为为请求方提供查询结果的过程。示例性的,如图1B所示,用户在百度地图上输入的查询内容为“超市”,检测到该用户的查询等级高于等级阈值,说明该用户有抓取数据的可能,则根据用户输入的查询内容为其召回真实的超市数据和虚假的超市数据,其中,图1B中大星发超市千禧广发店11即为虚假数据。
本实施例提供了一种数据查询方法,通过在响应请求方的当前查询请求时,确定其查询行为等级,若查询行为等级高于等级阈值,或高于等级阈值的同时还属于泛需求,则召回真实数据和虚假数据。解决了数据供应商数据易被窃取的问题,引入虚假数据,有效的提高了数据的安全性。
实施例二
图2本发明实施例二提供的一种数据查询方法的流程图,该方法在上述实施例的基础上进一步的优化,具体给出为当前查询请求召回真实数据和虚假数据具体情况介绍。如图2所示,该方法包括:
S201,响应请求方的当前查询请求,依据请求方的检索行为确定请求方的查询行为等级。
S202,判断查询行为等级是否高于等级阈值,或者查询行为等级是否高于等级阈值且当前查询请求所属的请求类型是泛需求,若是,执行S203,若否,执行S205。
具体的,若请求方的查询行为等级高于等级阈值,或者是查询行为等级高于等级阈值且该查询请求还是泛需求时,说明该请求方的查询行为极可能是抓取行为,执行S203,反之,说明请求方的查询行为是普通用户的查询行为,则执行S205。
S203,从预设的数据索引中的真实数据层中为当前查询请求召回真实数据。
其中,预设的数据索引是对数据供应商的数据按照一定规则进行分类后,建立的多层数据索引关系。其中,每一数据索引层存储着该索引关系对应的数据。具体的,可以是先根据数据的真实性,将数据供应商的数据分为真实数据和虚假数据,将真实数据存储在数据索引的真实数据层中,将虚假数据存储在数据索引的虚假数据层中。召回真实数据时,只需要从预设的数据索引中的真实数据层中查找符合查询请求的真实数据即可。
可选的,每个数据供应商一定存在其特有或重要的数据,可称之为高质量数据,这些数据是数据供应商着重需要保护的数据。例如,百度地图的高质量数据是和其他地图数据供应商相比,其特有的一些兴趣点(Point of Interest,POI)数据。若S202已经判断出请求方的查询行为可能是抓取行为,可选的,从预设的数据索引中的真实数据层中为当前查询请求召回真实数据,包括:
滤除数据索引中的真实数据层包含的高质量数据,从真实数据层包含的低质量数据中为当前查询请求召回真实数据。
其中,真实数据层中存储的真实数据,可以根据其质量的高低分为高质量数据和低质量数据,可以将其分开存储在真实数据层的不同存储区,也可以将其存储在不同的数据存储层中。例如,可以将真实数据中的高质量数据和低质量数据分别存储在高质量数据层和低质量数据层。S202已经判断出请求方的查询行为可能是抓取行为时,过滤掉真实数据中的高质量数据,只召回低质量数据给请求方,例如,可以是过滤掉高质量数据层中的重要数据,只从低质量数据层中获取一些低质量数据给请求方。低质量数据通常是一些不太重要的数据,或是同行业数据供应商所共有的数据,将这些数据提供给抓取行为的请求方,并不会对数据供应带来较大的损失,同时还保证了其高质量的数据的安全性。
S204,从预设的数据索引中的虚假数据层中为当前查询请求召回虚假数据。
对于可能存在抓取行为的请求方,在为其提供真实数据后,为了给其造成干扰,降低其获取数据的准确性,还需要在数据索引中的虚假数据层中根据请求方的查询请求为其召回对应的虚假数据,将虚假数据和真实数据混合在一起返回给请求方。
可选的,即使我们通过查询行为的等级、查询类型两个维度对请求方的查询行为进行判断,但是仍然不排除出现误判的情况,因此,考虑到普通用户获取返回的查找结果后,通常会对查询结果进行排序后只查看前排名靠前的查询结果,即可找到目标查询结果,不会依次查看所有查询结果;而抓取行为与之相反,需要将所有的查询结果都要获取。上述从数据索引中的虚假数据层中为当前查询请求召回虚假数据,包括:
若召回的数据数量大于预设的数量阈值,则从数据索引中的虚假数据层中为当前查询请求召回虚假数据。
其中,预设数量阈值可以是通过统计普通用户查看查询结果的数量,结合具体查询场景预先设定的。其大小可以根据数据供应商数据的更新而改变。
具体的,可以根据S203中召回真实数据的数据量的大小来进一步判断请求方的查询行为是否是抓取行为,用户查看的查询结果越多,需要召回的数据量就越大,若用回真实数据的数量超过了预设的数量数值,说明该请求方查询行为所需的查询结果已经超过普通用户所需的数量,需要为其召回虚假数据。从而对请求方的抓取行为有了更为准确的判断,对于一些经常进行数据查询的用户即使行为等级达到等级阈值,只要其不是抓取行为也能够获取准确的数据,保证数据安全性的同时,提高了用户的使用体验。
S205,从预设的数据索引中的真实数据层中为当前查询请求召回真实数据。
具体的,S202中已经判断出请求方的查询行为是普通用户的查询行为时,即可按照常规的召回数据模式,为其从预设数据索引中的真实数据层中召回与当前查询请求对应的真实数据。
可选的,对于查询行为等级不大于等级阈值的请求行为,为其召回真实数据时,可以从真实数据层中包含的高质量数据和低质量数据中查找符合当前查询请求的真实数据。让普通用户能够享受到软件供应商特有的高质量数据,提高用户的使用体验。
需要说明的是,本实施例S203和S205是同样的步骤,也就是说,本实施例的方案还可以是S202中若查询行为等级高于等级阈值,或者查询行为等级高于等级阈值且当前查询请求所属的请求类型是泛需求时(也就是说请求方的查询行为为抓取行为时),执行S203和S204召回真实数据和虚假数据;否则,仅执行S203召回真实数据。其中不同的是,若请求方的查询行为是普通用户的查询行为时,执行S203只为其召回低质量的真实数据,若请求方的查询行为是抓取行为时,执行S203时将真实数据中的低质量数据和高质量数据都进行召回。
本实施例提供了一种数据查询方法,通过在响应请求方的当前查询请求时,确定其查询行为等级,若查询行为等级高于等级阈值,或高于等级阈值的同时还属于泛需求,则分别从真实数据层召回低质量的真实数据,从虚假数据层召回虚假数据,过滤掉高质量数据,引入虚假数据,有效的提高了数据的安全性。
实施例三
本实施例在上述各实施例的基础上,提供了数据查询方法的一种优选实例,图3为本发明实施例三提供的数据查询系统整体架构示意图,可选的,该数据查询系统可以是数据查询设备,也可以是服务器。如图3所示,数据查询系统整体架构包括:接收(uii-se)模块30、行为判断(anticrawl-proxy)模块31、检索(as)模块32、请求判断(da)模块33、基础搜索(basesearch,bs)模块34以及数据索引层35。
用户在客户端(如智能终端上的应用程序)上输入查询请求后,接收模块30会接收客户端发送的查询请求,查询请求中包含请求方的被叫用户识别号(Called UserIDentification number,CUID)、互联网协议(Internet Protocol,IP)等信息,接收模块30会将请求方的CUID、IP等信息作为参数,以传参的形式请求行为判断模块31确定请求方的查询行为等级,并接收行为判断模块31的判断结果发送至检索模块32。
行为判断模块31是依据接收模块30发送的请求方的CUID、IP等信息以及请求方的查询次数和/或查询频率判断请求方的查询行为是否命中数据库中的黑名单,并对查询行为进行分级。
检索模块32接收到接收模块30发送的请求方查询行为等级后,可按照如下两种方式进行判断,选择数据召回策略:
(一)、若查询行为等级高于等级阈值,则说明该查询行为可能为抓取行为,需要召回虚假数据,否则,只召回真实数据。
(二)、若查询行为等级高于等级阈值且当前查询请求所属的请求类型是泛需求,则说明该查询行为可能为抓取行为,需要召回虚假数据,否则,只召回真实数据。其中,判断当前查询请求所属的请求类型是否是泛需求是检索模块32向请求判断模块33发送判断指令,由请求判断模块33判断后返回给检索模块32的。
检索模块32确定了召回策略后,会通过基础搜索模块34访问数据索引层35进行数据的召回。其中,基础搜索模块34访问数据索引层35进行数据的召回时,根据请求方的查询行为是否为抓取行为采用两种不同的数据召回方法。
具体的,若请求方的查询行为是抓取行为,则基础搜索模块34在行政区划数据层、高质量数据层、低质量数据层,三层索引召回与查询请求对应的数据后,继续在第四层虚假数据层召回与查询请求对应的虚假数据;优选的,为了提高数据的安全性,可以是只召回数据索引层35中低质量数据层和虚假数据层中与查询请求对应的数据。
若请求方的查询行为是普通用户的查询行为时,基础搜索模块34依次在行政区划数据层、高质量数据层、低质量数据层三层索引召回查询请求对应的数据。
可选的,基础搜索模块34可以有多个,多个基础搜索模块34同时并行进行数据索引层35中数据的召回。如图3所示,可以是3个基础搜索模块34同时进行低质量数据层中与查询请求对应的低质量数据的召回。
需要说明的是,图3中四层数据索引层35中各索引层数据建立的过程也就是数据建库过程,具体的,先对融合有虚假数据和真实数据的海量数据进行过滤,丢弃虚假数据中格式不规范的数据,然后从海量数据中将虚假数据和真实数据进行分离,依次经过正排建库和倒排建库,产出倒排索引,将虚假数据作为第四层数据,真实数据按照数据质量高低分为高质量数据层和低质量数据层,并将首层作为行政区划数据层,进而完成四层数据索引层35的建立。
本实施例通过搭建数据查询系统整体架构,将上述各实施例提供的数据查询方法运用到搭建的数据查询系统整体架构中,验证了本发明实施例提供的数据查询方法。解决了数据供应商数据易被窃取的问题,引入虚假数据,有效的提高了数据的安全性。
实施例四
图4是本发明实施例四提供的一种数据查询装置的结构示意图,该装置可执行本发明任意实施例所提供的数据查询方法,具备执行方法相应的功能模块和有益效果。如图4所示,该装置包括:
等级确定模块401,用于响应请求方的当前查询请求,依据请求方的检索行为确定请求方的查询行为等级;
数据召回模块402,若查询行为等级高于等级阈值,或者查询行为等级高于等级阈值且当前查询请求所属的请求类型是泛需求,则为当前查询请求召回真实数据和虚假数据。
本实施例提供了一种数据查询装置,通过在响应请求方的当前查询请求时,确定其查询行为等级,若查询行为等级高于等级阈值,或高于等级阈值的同时还属于泛需求,则召回真实数据和虚假数据。解决了数据供应商数据易被窃取的问题,引入虚假数据,有效的提高了数据的安全性。
进一步地,上述数据召回模块402包括:
真实数据召回单元,用于从预设的数据索引中的真实数据层中为当前查询请求召回真实数据;
虚假数据召回单元,用于从数据索引中的虚假数据层中为当前查询请求召回虚假数据。
进一步地,上述真实数据召回单元具体用于滤除数据索引中的真实数据层包含的高质量数据,从真实数据层包含的低质量数据中为当前查询请求召回真实数据。
进一步地,上述虚假数据召回单元具体用于若召回的数据数量大于预设的数量阈值,则从数据索引中的虚假数据层中为当前查询请求召回虚假数据。
进一步地,上述等级确定模块401具体用于依据请求方的查询次数和/或查询频率确定请求方的查询行为等级。
值得注意的是,上述数据查询装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;例如,该装置可以仅包括接收模块和处理模块,接收模块实现接收客户端发送的查询请求功能;处理模块用于查询行为的等级确定以及数据召回等相关功能。另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
实施例五
图5为本发明实施例五提供的一种服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例性服务器50的框图。图5显示的服务器50仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。如图5所示,该服务器50以通用计算设备的形式表现。该服务器50的组件可以包括但不限于:一个或者多个处理器或者处理单元501,系统存储器502,连接不同系统组件(包括系统存储器502和处理单元501)的总线503。
总线503表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器50访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器502可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)504和/或高速缓存存储器505。服务器50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线503相连。系统存储器502可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块507的程序/实用工具508,可以存储在例如系统存储器502中,这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。
服务器50也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信,还可与一个或者多个使得用户能与该设备交互的设备通信,和/或与使得该服务器50能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且,服务器50还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图5所示,网络适配器512通过总线503与服务器50的其它模块通信。应当明白,尽管图中未示出,可以结合服务器50使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元501通过运行存储在系统存储器502中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据查询方法。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述实施例所述的数据查询方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上述实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员应该明白,上述的本发明实施例的各模块或各操作可以用通用的计算装置来实现,它们可以集中在单个计算装置上,或者分布在多个计算装置所组成的网络上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或操作制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间的相同或相似的部分互相参见即可。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种数据查询方法,其特征在于,包括:
响应请求方的当前查询请求,依据所述请求方的检索行为确定所述请求方的查询行为等级;
若所述查询行为等级高于等级阈值,或者所述查询行为等级高于等级阈值且所述当前查询请求所属的请求类型是泛需求,则为所述当前查询请求召回真实数据和虚假数据。
2.根据权利要求1所述的方法,其特征在于,为所述当前查询请求召回真实数据和虚假数据包括:
从预设的数据索引中的真实数据层中为所述当前查询请求召回真实数据;
从所述数据索引中的虚假数据层中为所述当前查询请求召回虚假数据。
3.根据权利要求2所述的方法,其特征在于,从预设的数据索引中的真实数据层中为所述当前查询请求召回真实数据,包括:
滤除所述数据索引中的真实数据层包含的高质量数据,从所述真实数据层包含的低质量数据中为所述当前查询请求召回真实数据。
4.根据权利要求2所述的方法,其特征在于,从所述数据索引中的虚假数据层中为所述当前查询请求召回虚假数据,包括:
若召回的数据数量大于预设的数量阈值,则从所述数据索引中的虚假数据层中为所述当前查询请求召回虚假数据。
5.根据权利要求1所述的方法,其特征在于,依据所述请求方的检索行为确定所述请求方的查询行为等级,包括:
依据所述请求方的查询次数和/或查询频率确定所述请求方的查询行为等级。
6.一种数据查询装置,其特征在于,包括:
等级确定模块,用于响应请求方的当前查询请求,依据所述请求方的检索行为确定所述请求方的查询行为等级;
数据召回模块,若所述查询行为等级高于等级阈值,或者所述查询行为等级高于等级阈值且所述当前查询请求所属的请求类型是泛需求,则为所述当前查询请求召回真实数据和虚假数据。
7.根据权利要求6所述的装置,其特征在于,所述数据召回模块包括:
真实数据召回单元,用于从预设的数据索引中的真实数据层中为所述当前查询请求召回真实数据;
虚假数据召回单元,用于从所述数据索引中的虚假数据层中为所述当前查询请求召回虚假数据。
8.根据权利要求7所述的装置,其特征在于,所述真实数据召回单元具体用于滤除所述数据索引中的真实数据层包含的高质量数据,从所述真实数据层包含的低质量数据中为所述当前查询请求召回真实数据。
9.根据权利要求7所述的装置,其特征在于,所述虚假数据召回单元具体用于若召回的数据数量大于预设的数量阈值,则从所述数据索引中的虚假数据层中为所述当前查询请求召回虚假数据。
10.根据权利要求6所述的装置,其特征在于,所述等级确定模块具体用于依据所述请求方的查询次数和/或查询频率确定所述请求方的查询行为等级。
11.一种服务器,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据查询方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的数据查询方法。
CN201810415823.9A 2018-05-03 2018-05-03 数据查询方法、装置、服务器和存储介质 Active CN108717515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810415823.9A CN108717515B (zh) 2018-05-03 2018-05-03 数据查询方法、装置、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810415823.9A CN108717515B (zh) 2018-05-03 2018-05-03 数据查询方法、装置、服务器和存储介质

Publications (2)

Publication Number Publication Date
CN108717515A true CN108717515A (zh) 2018-10-30
CN108717515B CN108717515B (zh) 2020-11-10

Family

ID=63899623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810415823.9A Active CN108717515B (zh) 2018-05-03 2018-05-03 数据查询方法、装置、服务器和存储介质

Country Status (1)

Country Link
CN (1) CN108717515B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5624686B1 (ja) * 2008-07-24 2014-11-12 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited ウェブクローラアクセスを阻止するためのシステム及び方法
CN107392022A (zh) * 2017-07-20 2017-11-24 北京小度信息科技有限公司 爬虫识别、处理方法及相关装置
CN107483563A (zh) * 2017-07-31 2017-12-15 九次方大数据信息集团有限公司 防爬虫的数据查询方法和装置以及客户端和服务器
CN107770171A (zh) * 2017-10-18 2018-03-06 厦门集微科技有限公司 服务器反爬虫的验证方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5624686B1 (ja) * 2008-07-24 2014-11-12 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited ウェブクローラアクセスを阻止するためのシステム及び方法
CN107392022A (zh) * 2017-07-20 2017-11-24 北京小度信息科技有限公司 爬虫识别、处理方法及相关装置
CN107483563A (zh) * 2017-07-31 2017-12-15 九次方大数据信息集团有限公司 防爬虫的数据查询方法和装置以及客户端和服务器
CN107770171A (zh) * 2017-10-18 2018-03-06 厦门集微科技有限公司 服务器反爬虫的验证方法及系统

Also Published As

Publication number Publication date
CN108717515B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN104186016B (zh) 定位移动设备
CN106657367A (zh) 一种业务数据获取方法、装置及系统
CN106384512B (zh) 车辆违章信息查询方法以及系统
CN110324228A (zh) 基于聊天群组的数据处理方法、装置和设备
CN106604362B (zh) 一种无线保真Wi-Fi扫描方法及移动终端
CN109035831A (zh) 交通指示灯的识别方法、装置、设备、存储介质及车辆
WO2010131920A2 (ko) 위치기반 데이터 서비스 장치 및 방법
CN106658652A (zh) 连接WiFi热点的方法及装置
CN112541912B (zh) 矿井突发灾害场景中显著性目标的快速检测方法及装置
CN112880696A (zh) 一种基于同时建图与定位的泊车系统及方法
CN112233428B (zh) 车流量预测方法、装置、存储介质及设备
Youting et al. Evaluation methodology for license plate recognition systems and experimental results
CN115827436A (zh) 数据处理方法、装置、设备及存储介质
CN110012426A (zh) 消亡poi的确定方法、装置、计算机设备和存储介质
CN110119456A (zh) 检索图像的方法及装置
CN110072150A (zh) 一种视频播放方法、装置、设备及存储介质
CN109871419A (zh) 一种地图显示方法及装置
CN106102059A (zh) 用于确定无线热点的所有者的方法与设备
CN108717515A (zh) 数据查询方法、装置、服务器和存储介质
CN109389119B (zh) 兴趣点区域确定方法、装置、设备和介质
CN106535102A (zh) 一种移动终端定位方法及移动终端
WO2018004083A1 (ko) 지도 검색 기록을 이용한 유동인구 추정 장치 및 방법
CN114493799A (zh) 一种分库分表管理专车订单数据的方法及系统
CN110660216A (zh) 行程时间阈值确定方法、系统及智能设备
CN111770472A (zh) 车辆定位方法、装置、车辆、存储介质以及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant