CN103365903B - 一种为搜索引擎获取结构化数据的方法、装置与系统 - Google Patents

Abstract

本发明的目的是提供一种用于为搜索引擎获取结构化数据的方法、装置与系统。其中，搜索引擎根据应用网络设备的应用类型信息，确定与所述应用类型信息相对应的应用属性信息，并向所述应用网络设备发送关于结构化数据的数据请求，所述应用网络设备根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据，将所述结构化数据发送至所述搜索引擎，所述搜索引擎根据所述结构化数据，建立或更新结构化数据库。与现有技术相比，本发明中搜索引擎无需抓取及解析网页，即可获取其希望的信息，极大地减轻了搜索引擎的处理负荷。

Description

一种为搜索引擎获取结构化数据的方法、装置与系统

技术领域

本发明涉及搜索引擎技术领域，尤其涉及一种为搜索引擎获取结构化数据的技术。

背景技术

通常地，搜索引擎通过各种网络资源爬取工具，诸如网络爬虫(crawler)、网络蜘蛛(spider)或者机器人(robot)等，抓取网络资源，并对爬取到的网络资源进行分析，从而获得相应的资源内容，以用于更新搜索引擎的索引信息库。

但是，由于上述网络资源爬取工具受到爬取深度、广度、频率的影响，对于一些更新较快或较封闭的网络资源，上述网络资源爬取工具的爬取效果较差，甚至可能根本无法爬取某些资源。而这些网络资源爬取工具不能爬取的网络资源中可能包含用户非常需要的资源，因此，需要一种技术来解决该问题。

发明内容

本发明的目的是提供一种用于为搜索引擎获取结构化数据的方法、装置与系统，以使得搜索引擎无需从应用网络设备抓取及解析网页，即可获得应用网络设备的结构化数据。

根据本发明的一个方面，提供了一种搜索引擎获取结构化数据的方法，其中，该方法包括以下步骤：

a根据应用网络设备的应用类型信息，确定与所述应用类型信息相对应的应用属性信息；

b向所述应用网络设备发送关于结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应；

其中，该方法还包括：

x接收所述应用网络设备基于所述数据请求所发送的结构化数据；

y根据所述结构化数据，建立或更新结构化数据库。

根据本发明的另一个方面，还提供了一种应用网络设备向搜索引擎推送结构化数据的方法，其中，该方法包括以下步骤：

A接收搜索引擎发送的关于结构化数据的数据请求，其中，所述数据请求包括与所述应用网络设备的应用类型信息相对应的应用属性信息；

其中，该方法还包括：

M根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据；

N将所述结构化数据发送至所述搜索引擎。

根据本发明的一个方面，提供了一种用于为搜索引擎获取结构化数据的装置，其中，该装置包括：

应用信息确定装置，用于根据应用网络设备的应用类型信息，确定与所述应用类型信息相对应的应用属性信息；

数据请求发送装置，用于向所述应用网络设备发送关于所述结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应；

数据接收装置，用于接收所述应用网络设备基于所述数据请求所发送的结构化数据；

数据库更新装置，用于根据所述结构化数据，建立或更新结构化数据库。

根据本发明的另一个方面，还提供了一种用于在应用网络设备端向搜索引擎推送结构化数据的装置，其中，该装置包括：

数据请求接收装置，用于接收搜索引擎发送的关于所述结构化数据的数据请求，其中，所述数据请求包括与所述应用网络设备的应用类型信息相对应的应用属性信息；

数据获取装置，用于根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据；

数据发送装置，用于将所述结构化数据发送至所述搜索引擎。

根据本发明的再一个方面，还提供了一种用于获取结构化数据的搜索引擎，其中，该搜索引擎包括如前述根据本发明的一个方面的用于为搜索引擎获取结构化数据的装置。

根据本发明的又一个方面，还提供了一种用于向搜索引擎推送结构化数据的应用网络设备，其中，该应用网络设备包括如前述根据本发明的另一个方面的用于在应用网络设备端向搜索引擎推送结构化数据的装置。

根据本发明的一个方面，还提供了一个为搜索引擎获取结构化数据的系统，其中，该系统包括如前述根据本发明的一个方面的用于为搜索引擎获取结构化数据的装置和如前述根据本发明的另一个方面的用于在应用网络设备端向搜索引擎推送结构化数据的装置。

根据本发明的另一个方面，还提供了一个为搜索引擎获取结构化数据的系统，其中，该系统包括如前述根据本发明的再一个方面的用于获取结构化数据的搜索引擎和如前述根据本发明的又一个方面的用于向搜索引擎推送结构化数据的应用网络设备。

与现有技术相比，本发明中，搜索引擎向应用网络设备发送数据请求，以向其请求获取与其应用类型信息相对应的结构化数据，应用网络设备根据该数据请求，获取相应的结构化数据，并发送给搜索引擎，使得搜索引擎无需抓取及解析网页，即可获取其希望的信息，极大地减轻了搜索引擎的处理负荷。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的用于为搜索引擎获取结构化数据的系统的装置示意图；

图2示出根据本发明一个优选实施例的用于为搜索引擎获取结构化数据的系统的装置示意图；

图3示出根据本发明另一个方面的由搜索引擎和应用网络设备配合实现为搜索引擎获取结构化数据的方法流程图；

图4示出根据本发明一个优选实施例的由搜索引擎和应用网络设备配合实现为搜索引擎获取结构化数据的方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1为根据本发明一个方面的装置示意图，示出一种由搜索引擎和应用网络设备配合实现为搜索引擎获取结构化数据的系统。在此，所述结构化数据包括任何能够用数字或统一的数据模型加以描述的数据，具有固定的属性，诸如固定的格式、类型或长度等。

此外，所述搜索引擎包括各种通用搜索引擎和专用搜索引擎，前者用于非特定领域的信息，向用户提供与其搜索请求相关的搜索结果，诸如百度、谷歌等；后者用于搜索特定领域的信息，向用户提供特定领域内与用户的搜索请求相关的搜索结果，诸如购物搜索引擎、文献搜索引擎等。所述应用网络设备包括但不限于各种向用户提供特定应用服务的网络设备，诸如各种购物网站、招聘网站等。

所述搜索引擎或所述应用网络设备的具体组成包括但不限于网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本领域技术人员应能理解上述搜索引擎以及应用网络设备仅为举例，其他现有的或今后可能出现的搜索引擎或者应用网络设备如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

其中，数据获取装置10可以安装并运行于搜索引擎1、搜索引擎1的操作系统，以用于为搜索引擎1获取结构化数据，并且当搜索引擎1包括由多个服务器或计算机组成的集合时，数据获取装置10可安装并运行于其中部分服务器或计算机。

数据推送装置20可以安装并运行于应用网络设备2、应用网络设备2的操作系统，以用于向搜索引擎1推送结构化数据，并且当应用网络设备2包括由多个服务器或计算机组成的集合时，数据推送装置20可安装并运行于其中部分服务器或计算机。

搜索引擎1与应用网络设备2之间经由网络进行通信，该通信网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。为简化说明起见，本发明以互联网为例予以说明，然而，本领域的技术人员应能理解，该种举例仅为简便地阐述本发明之用，而不应理解为对本发明的任何限制。

如图1所示，数据获取装置10包括应用信息确定装置111、数据请求发送装置112、数据接收装置113和数据库更新装置114；数据推送装置20包括数据请求接收装置121、数据获取装置122和数据发送装置123。具体地，数据获取装置10的应用信息确定装置111根据应用网络设备2的应用类型信息，确定与所述应用类型信息相对应的应用属性信息；数据请求发送装置112根据所述应用属性信息，向应用网络设备2发送关于结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应；相应地，数据推送装置20的数据请求接收装置121接收搜索引擎1发送的关于结构化数据的数据请求，其中，所述数据请求包括与应用网络设备2的应用类型信息相对应的应用属性信息；数据获取装置122根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据；数据发送装置123将所述结构化数据发送至搜索引擎1；相应地，数据获取装置10的数据接收装置113接收应用网络设备2基于所述数据请求发送的结构化数据；数据库更新装置114根据所述结构化数据，建立或更新结构化数据库。

数据获取装置10的应用信息确定装置111根据应用网络设备2的应用类型信息，确定与所述应用类型信息相对应的应用属性信息。在此，所述应用类型信息用于表征应用网络设备所提供应用服务的类型，诸如购物网站、招聘网站、旅游网站等。应用信息确定装置111根据应用网络设备2的应用类型信息，查询预定的应用属性表，获得相应的应用属性信息，所述应用属性信息包括但不限于与各种应用类型信息相对应的具体属性。例如，应用网络设备2的应用类型信息为购物，应用信息确定装置111通过查询预定的应用属性表，确定与购物相对应的应用属性信息，诸如商品名称、价格、品牌、描述信息等。

优选地，应用信息确定装置111还可以根据应用网络设备2的应用类型信息，结合用户搜索行为信息，确定所述应用属性信息。所述用户搜索行为信息可以从搜索引擎的搜索日志中获取，也可以从其他第三方数据库获取，其包括但不限于任何与用户搜索相关的信息，诸如用户输入的搜索关键词、用户浏览的搜索结果、用户基于其选择的搜索结果进一步浏览的关联网页等。例如，应用网络设备2的应用类型信息为文档共享网站，应用信息确定装置111统计用户与该应用类型信息相对应的搜索关键词和相应点击的搜索结果，如用户搜索较多的搜索关键词为文档名称，用户点击的搜索结果中下载较多的文档为txt文档，以确定与该应用类型信息相对应的应用属性信息，即文档名称和文档格式。优选地，应用信息确定装置111还可以将其确定的应用类型信息与应用属性信息的映射关系用于更新前述应用属性表。

进一步地，应用信息确定装置111还可以根据用户搜索行为信息，以及应用网络设备2的应用类型信息，确定所述应用类型信息所对应的用户需求信息，并根据应用网络设备2的应用类型信息，结合所述用户需求信息，确定所述应用属性信息。在此，所述用户需求信息用于表征用户在进行搜索时与应用网络设备2的应用类型信息相对应的搜索意图。例如，应用信息确定装置111根据应用网络设备2的应用类型信息，如招聘网站，统计用户与该应用类型信息相对应的搜索关键词和相应点击的搜索结果，分析该等搜索关键词的共性和用户点击的搜索结果的内容共性，如较多的搜索关键词为职位、地点，用户点击的搜索结果页面中多包含公司名称、公司规模、公司简介和职位描述，据此，应用信息确定装置111确定招聘网站所对应的用户需求信息包括公司名称、地点、公司规模、公司简介、职位、和职位描述；随后，应用信息确定装置111可以直接将该等用户需求信息作为招聘网站所对应的应用属性信息，也可以结合前述应用属性表，将该等用户需求信息和该应用属性表中记载的相应应用属性信息一起作为招聘网站所对应的应用属性信息。进一步地，应用信息确定装置111还可以根据前述用户需求信息更新前述应用属性表。

本领域技术人员还应能理解上述确定应用属性信息的方式仅为举例，其他现有的或今后可能出现的确定应用属性信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

数据获取装置10的数据请求发送装置112根据所述应用属性信息，向应用网络设备2发送关于结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应。与此相对应地，数据推送装置20的数据请求接收装置121接收搜索引擎1发送的关于结构化数据的数据请求，其中，所述数据请求包括与应用网络设备2的应用类型信息相对应的应用属性信息。

在此，数据请求发送装置112向应用网络设备2发送数据请求，以向应用网络设备2请求获取与应用属性信息相对应的结构化数据。例如，数据请求发送装置112在数据请求中写入与每一应用属性信息相对应的结构化数据的字段位置、数据类型、数据格式等。相应地，数据推送装置20的数据请求接收装置121接收该数据请求，以供数据推送装置20中的其他装置基于该数据请求进行后续处理。

数据推送装置20的数据获取装置122根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据。在此，数据获取装置122根据搜索引擎1所请求的应用属性信息，从应用网络设备2的资源信息库中获取与该等应用属性信息相对应的结构化数据。例如，搜索引擎1所请求的应用属性信息包括商品名称、价格、品牌，数据获取装置122根据搜索引擎1所请求的应用属性信息，从应用网络设备2的资源信息库中获取与该等应用属性信息相对应的结构化数据，如Thinkpad SL5002746-27C 15.4寸宽屏笔记本电脑、￥3,299.00、联想。

优选地，数据获取装置122还可以根据所述应用属性信息，确定与所述应用属性信息相对应的应用扩展信息；根据所述应用扩展信息，获取与所述应用扩展信息相对应的结构化数据。例如，接前例，数据获取装置122还根据搜索引擎1所请求的应用属性信息，如商品名称、价格、品牌，确定相应的应用扩展信息，如所属分类、市场价格、用户评分；随后，数据获取装置122从应用网络设备2的资源信息库中获取与该等应用扩展信息相对应的结构化数据，如电脑、￥4,199.00、4.5，并将其与前述应用属性信息相对应的结构化数据一起，提供给数据发送装置123，以由其发送至搜索引擎1。

数据推送装置20的数据发送装置123将数据获取装置122所获取的结构化数据发送至搜索引擎1。与此相对应地，数据获取装置10的数据接收装置113接收应用网络设备2发送的结构化数据。

例如，数据发送装置123基于sitemap协议，按照搜索引擎1发送的数据请求中所指定的字段位置、数据类型、数据格式，将数据获取装置122所获取的各结构化数据写入XML的扩展字段，以生成XML文档，并将其发送至搜索引擎1。相应地，数据获取装置10的数据接收装置113接收该包括所请求的结构化数据的XML文档。

数据获取装置10的数据库更新装置114根据数据接收装置113所接收的结构化数据，建立或更新结构化数据库。例如，数据库更新装置114从前述XML文档的扩展字段中提取与所请求的应用属性信息相对应的赋值，并建立表格，示例如下。

应用属性信息	赋值
		URL	http://www.newegg.com.cn/Product/36-c04-220.htm
商品名称	Thinkpad SL500 2746-27C 15.4寸宽屏笔记本电脑
		价格	￥3,299.00
品牌	联想
		所属分类	电脑
市场价格	￥4,199.00
		用户评分	4.5

据此，数据库更新装置114获取不同应用网络设备2的多个URL的结构化数据，并建立或更新其结构化数据库。

本发明中，搜索引擎向应用网络设备发送数据请求，以向其请求获取与其应用类型信息相对应的结构化数据，应用网络设备根据该数据请求，获取相应的结构化数据，并发送给搜索引擎，使得搜索引擎无需抓取及解析网页，即可获取其希望的信息，极大地减轻了搜索引擎的处理负荷。并且，在搜索引擎向用户进行搜索时，还可将这些结构化数据生成摘要，以作为搜索结果提供给用户。

进一步地，搜索引擎还可以结合上述用户搜索行为信息和/或搜索需求信息，以丰富和细化相应的应用属性信息，以供其据此向应用网络设备发送关于结构化数据的数据请求。之后，搜索引擎从应用网络设备获取内容更丰富的结构化数据，以充实其结构化数据库。当这些结构化数据作为搜索结果被提供给用户时，用户也能够获得更好的搜索体验。

此外，应用网络设备不仅可以基于搜索引擎的数据请求，向其推送结构化数据，还可以根据搜索引擎所请求的应用属性信息，确定相应的应用扩展信息，并将应用扩展信息所对应的结构化数据也推送给搜索引擎，进一步充实了搜索引擎的结构化数据库，以及用户可以获得的搜索结果。

图2为根据本发明一个优选实施例的系统示意图，示出一种由搜索引擎和应用网络设备配合实现为搜索引擎获取结构化数据的系统。如图2所示，数据获取装置10包括应用信息确定装置211、数据请求发送装置212、数据接收装置213、数据库更新装置214、结构化搜索装置215和搜索结果提供装置216；数据推送装置20包括数据请求接收装置221、数据获取装置222和数据发送装置223。

具体地，数据获取装置10的应用信息确定装置211根据应用网络设备2的应用类型信息，确定与所述应用类型信息相对应的应用属性信息；数据请求发送装置212根据所述应用属性信息，向应用网络设备2发送关于结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应；相应地，数据推送装置20的数据请求接收装置221接收搜索引擎1发送的关于结构化数据的数据请求，其中，所述数据请求包括与所述应用网络设备的应用类型信息相对应的应用属性信息；数据获取装置222根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据；数据发送装置223将所述结构化数据发送至搜索引擎1；相应地，数据获取装置10的数据接收装置213接收应用网络设备2基于所述数据请求发送的结构化数据；数据库更新装置214根据所述结构化数据，建立或更新结构化数据库；结构化搜索装置215根据用户的搜索请求，搜索所述结构化数据库，以获得与所述搜索请求相对应的结构化搜索结果；搜索结果提供装置216将所述结构化搜索结果提供给所述用户。

其中，图2所示数据获取装置10中的应用信息确定装置211、数据请求发送装置212、数据接收装置213、数据库更新装置214所执行的操作分别与图1所示数据获取装置10中的应用信息确定装置111、数据请求发送装置112、数据接收装置113、数据库更新装置114所执行的操作的内容相同或基本相同，为简明起见，以引用方式包含于此，不再赘述。

结构化搜索装置215根据用户的搜索请求，搜索所述结构化数据库，以获得与所述搜索请求相对应的结构化搜索结果。搜索结果提供装置216将所述结构化搜索结果提供给所述用户。

例如，数据获取装置10中的各装置和数据推送装置20的各装置在执行相应操作，以使得数据获取装置10根据应用网络设备提供的结构化数据建立结构化数据库后，结构化搜索装置215根据用户的搜索请求，在该结构化数据库中进行匹配查询，以获得多个结构化搜索结果；搜索结果提供装置216根据每个结构化搜索结果，生成相应的摘要，并提供给该用户。

仍参阅图2，在图2所示系统的一个优选示例中，数据获取装置10还包括搜索请求装置217，数据推送装置20还包括搜索装置224。具体地，数据获取装置10的搜索请求装置217将用户的搜索请求发送至应用网络设备2，以向其请求与所述搜索请求所对应的第三方搜索结果；相应地，数据推送装置20的搜索装置224接收搜索引擎1发送的搜索请求；根据所述搜索请求，搜索应用网络设备2的资源索引库，以获得与所述搜索请求相对应的第三方搜索结果；将所述第三方搜索结果发送至搜索引擎1；数据获取装置10的搜索请求装置217接收应用网络设备2基于所述搜索请求发送的第三方搜索结果；数据获取装置10的搜索结果提供装置216将所述第三方搜索结果提供给所述用户。

例如，接前例，在结构化搜索装置215根据用户的搜索请求搜索结构化数据库，且未命中时，搜索请求装置217将该搜索请求发送至应用网络设备2，以向其请求其站内的相应搜索结果；相应地，数据推送装置20的搜索装置224接收该搜索请求，并在其站内的资源索引库进行匹配查询，以获得相应的第三方搜索结果，并将该等第三方搜索结果发送至搜索引擎1；相应地，数据获取装置10的搜索请求装置217接收该等第三方搜索结果；搜索结果提供装置216将该等第三方搜索结果提供给用户。

需要说明的是，本领域技术人员应能理解，上述举例仅为本发明的一个示例，而不应被视为对本发明的任何限制。进一步地，即使在结构化搜索装置215搜索结构化数据库并获得命中结果时，搜索请求装置217仍然可以向应用网络设备2请求获取相应的第三方搜索结果，并由搜索结果提供装置216将结构化搜索结果和第三方搜索结果整合后，如按照搜索结果的权威度重新排序，并将重排后的搜索结果提供给用户。

本领域技术人员还应能理解，上述结构化搜索装置和搜索请求装置可以为两个相互独立的模块，也可以集成为一个模块。

仍参阅图2，在图2所示系统的另一个优选示例中，数据获取装置10还包括普通搜索装置218。普通搜索装置218根据用户的搜索请求，搜索索引信息库，以获得与所述搜索请求相对应的普通搜索结果；搜索结果提供装置216将所述结构化搜索结果与所述普通搜索结果进行整合，将整合后的搜索结果提供给所述用户。

例如，在结构化搜索装置215根据用户的搜索请求搜索结构化数据库的同时，普通搜索装置218也根据该搜索请求，在索引信息库中进行匹配查询，以获得相应的普通搜索结果；搜索结果提供装置216将结构化搜索结果和普通搜索结果整合后，如按照搜索结果的权威度重新排序，并将重排后的搜索结果提供给用户。

以上描述了搜索引擎根据用户的搜索请求，调用不同的功能模块以搜索不同的数据库，并为用户提供相应的搜索结果，最大限度地为用户提供了尽可能丰富的搜索结果，提升了用户的搜索体验。

图3为根据本发明另一个方面的方法流程图，示出一种由搜索引擎和应用网络设备配合实现为搜索引擎获取结构化数据的过程。在此，所述结构化数据包括任何能够用数字或统一的数据模型加以描述的数据，具有固定的属性，诸如固定的格式、类型或长度等。

其中，该过程可以由搜索引擎1或其中的具体功能模块，以及应用网络设备2或其中的具体功能模块，相互配合实现。

如图3所示，在步骤S301中，搜索引擎1根据应用网络设备2的应用类型信息，确定与所述应用类型信息相对应的应用属性信息；在步骤S302中，搜索引擎1根据所述应用属性信息，向应用网络设备2发送关于结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应；相应地，应用网络设备2接收该搜索引擎1发送的关于结构化数据的数据请求，其中，所述数据请求包括与应用网络设备2的应用类型信息相对应的应用属性信息；在步骤S303中，应用网络设备2根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据；在步骤S304中，应用网络设备2将所述结构化数据发送至搜索引擎1；相应地，搜索引擎1接收该应用网络设备2基于所述数据请求发送的结构化数据；在步骤S305中，搜索引擎1根据所述结构化数据，建立或更新结构化数据库。

具体地，在步骤S301中，搜索引擎1根据应用网络设备2的应用类型信息，确定与所述应用类型信息相对应的应用属性信息。在此，所述应用类型信息用于表征应用网络设备所提供应用服务的类型，诸如购物网站、招聘网站、旅游网站等。搜索引擎1根据应用网络设备2的应用类型信息，查询预定的应用属性表，获得相应的应用属性信息，所述应用属性信息包括但不限于与各种应用类型信息相对应的具体属性。例如，应用网络设备2的应用类型信息为购物，搜索引擎1通过查询预定的应用属性表，确定与购物相对应的应用属性信息，诸如商品名称、价格、品牌、描述信息等。

优选地，搜索引擎1还可以根据应用网络设备2的应用类型信息，结合用户搜索行为信息，确定所述应用属性信息。所述用户搜索行为信息可以从搜索引擎的搜索日志中获取，也可以从其他第三方数据库获取，其包括但不限于任何与用户搜索相关的信息，诸如用户输入的搜索关键词、用户浏览的搜索结果、用户基于其选择的搜索结果进一步浏览的关联网页等。例如，应用网络设备2的应用类型信息为文档共享网站，搜索引擎1统计用户与该应用类型信息相对应的搜索关键词和相应点击的搜索结果，如用户搜索较多的搜索关键词为文档名称，用户点击的搜索结果中下载较多的文档为txt文档，以确定与该应用类型信息相对应的应用属性信息，即文档名称和文档格式。优选地，搜索引擎1还可以将其确定的应用类型信息与应用属性信息的映射关系用于更新前述应用属性表。

进一步地，搜索引擎1还可以根据用户搜索行为信息，以及应用网络设备2的应用类型信息，确定所述应用类型信息所对应的用户需求信息，并根据应用网络设备2的应用类型信息，结合所述用户需求信息，确定所述应用属性信息。在此，所述用户需求信息用于表征用户在进行搜索时与应用网络设备2的应用类型信息相对应的搜索意图。例如，搜索引擎1根据应用网络设备2的应用类型信息，如招聘网站，统计用户与该应用类型信息相对应的搜索关键词和相应点击的搜索结果，分析该等搜索关键词的共性和用户点击的搜索结果的内容共性，如较多的搜索关键词为职位、地点，用户点击的搜索结果页面中多包含公司名称、公司规模、公司简介和职位描述，据此，搜索引擎1确定招聘网站所对应的用户需求信息包括公司名称、地点、公司规模、公司简介、职位、和职位描述；随后，搜索引擎1可以直接将该等用户需求信息作为招聘网站所对应的应用属性信息，也可以结合前述应用属性表，将该等用户需求信息和该应用属性表中记载的相应应用属性信息一起作为招聘网站所对应的应用属性信息。进一步地，搜索引擎1还可以根据前述用户需求信息更新前述应用属性表。

本领域技术人员还应能理解上述确定应用属性信息的方式仅为举例，其他现有的或今后可能出现的确定应用属性信息的方式如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

在步骤S302中，搜索引擎1根据所述应用属性信息，向应用网络设备2发送关于结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应。与此相对应地，应用网络设备2接收搜索引擎1发送的关于结构化数据的数据请求，其中，所述数据请求包括与应用网络设备2的应用类型信息相对应的应用属性信息。

在此，搜索引擎1向应用网络设备2发送数据请求，以向应用网络设备2请求获取与应用属性信息相对应的结构化数据。例如，搜索引擎1在数据请求中写入与每一应用属性信息相对应的结构化数据的字段位置、数据类型、数据格式等。相应地，应用网络设备2接收该数据请求，以基于该数据请求进行后续处理。

在步骤S303中，应用网络设备2根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据。在此，应用网络设备2根据搜索引擎1所请求的应用属性信息，从其资源信息库中获取与该等应用属性信息相对应的结构化数据。例如，搜索引擎1所请求的应用属性信息包括商品名称、价格、品牌，应用网络设备2根据搜索引擎1所请求的应用属性信息，从其资源信息库中获取与该等应用属性信息相对应的结构化数据，如Thinkpad SL5002746-27C 15.4寸宽屏笔记本电脑、￥3,299.00、联想。

优选地，应用网络设备2还可以根据所述应用属性信息，确定与所述应用属性信息相对应的应用扩展信息；根据所述应用扩展信息，获取与所述应用扩展信息相对应的结构化数据。例如，接前例，应用网络设备2还根据搜索引擎1所请求的应用属性信息，如商品名称、价格、品牌，确定相应的应用扩展信息，如所属分类、市场价格、用户评分；随后，应用网络设备2从其资源信息库中获取与该等应用扩展信息相对应的结构化数据，如电脑、￥4,199.00、4.5，并将其与前述应用属性信息相对应的结构化数据一起随后发送至搜索引擎1。

在步骤S304中，应用网络设备2将其所获取的结构化数据发送至搜索引擎1。与此相对应地，搜索引擎1接收应用网络设备2发送的结构化数据。

例如，应用网络设备2基于sitemap协议，按照搜索引擎1发送的数据请求中所指定的字段位置、数据类型、数据格式，将其所获取的各结构化数据写入XML的扩展字段，以生成XML文档，并将其发送至搜索引擎1。相应地，搜索引擎1接收该包括所请求的结构化数据的XML文档。

在步骤S305中，搜索引擎1根据其接收的结构化数据，建立或更新结构化数据库。例如，搜索引擎1从前述XML文档的扩展字段中提取与所请求的应用属性信息相对应的赋值，并建立表格，示例如下。

应用属性信息	赋值
		URL	http://www.newegg.com.cn/Product/36-c04-220.htm
商品名称	Thinkpad SL500 2746-27C 15.4寸宽屏笔记本电脑
		价格	￥3,299.00
品牌	联想
		所属分类	电脑
市场价格	￥4,199.00
		用户评分	4.5

据此，搜索引擎1获取不同应用网络设备2的多个URL的结构化数据，并建立或更新其结构化数据库。

需要说明的是，上述各步骤之间不是严格的连续顺序执行关系，如搜索引擎1在步骤S402中向应用网络设备2发送数据请求后，应用网络设备2无需立即根据该数据请求，执行后续的结构化数据获取操作，以及结构化数据提供操作。例如，应用网络设备2可以定时或在有更新事件发生时，将搜索引擎1所请求的结构化数据发送至该搜索引擎1。

本发明中，搜索引擎向应用网络设备发送数据请求，以向其请求获取与其应用类型信息相对应的结构化数据，应用网络设备根据该数据请求，获取相应的结构化数据，并发送给搜索引擎，使得搜索引擎无需抓取及解析网页，即可获取其希望的信息，极大地减轻了搜索引擎的处理负荷。并且，在搜索引擎向用户进行搜索时，还可将这些结构化数据生成摘要，以作为搜索结果提供给用户。

进一步地，搜索引擎还可以结合上述用户搜索行为信息和/或搜索需求信息，以丰富和细化相应的应用属性信息，以供其据此向应用网络设备发送关于结构化数据的数据请求。之后，搜索引擎从应用网络设备获取内容更丰富的结构化数据，以充实其结构化数据库。当这些结构化数据作为搜索结果被提供给用户时，用户也能够获得更好的搜索体验。

此外，应用网络设备不仅可以基于搜索引擎的数据请求，向其推送结构化数据，还可以根据搜索引擎所请求的应用属性信息，确定相应的应用扩展信息，并将应用扩展信息所对应的结构化数据也推送给搜索引擎，进一步充实了搜索引擎的结构化数据库，以及用户可以获得的搜索结果。

图4为根据本发明一个优选实施例的方法流程图，示出一种由搜索引擎和应用网络设备配合实现为搜索引擎获取结构化数据的过程。

具体地，在步骤S401中，搜索引擎1根据应用网络设备2的应用类型信息，确定与所述应用类型信息相对应的应用属性信息；在步骤S402中，搜索引擎1根据所述应用属性信息，向应用网络设备2发送关于结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应；相应地，应用网络设备2接收该搜索引擎1发送的关于结构化数据的数据请求，其中，所述数据请求包括与所述应用网络设备的应用类型信息相对应的应用属性信息；在步骤S403中，应用网络设备2根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据；在步骤S404中，应用网络设备2将所述结构化数据发送至搜索引擎1；相应地，搜索引擎1接收该应用网络设备2基于所述数据请求发送的结构化数据；在步骤S405中，搜索引擎1根据所述结构化数据，建立或更新结构化数据库；在步骤S406中，搜索引擎1根据用户的搜索请求，搜索所述结构化数据库，以获得与所述搜索请求相对应的结构化搜索结果；在步骤S407中，搜索引擎1将所述结构化搜索结果提供给所述用户。

其中，图4所示搜索引擎1在步骤S401、步骤S402、步骤S404和步骤S405中所执行的操作分别与图3所示搜索引擎1在步骤S301、步骤S302、步骤S304和步骤S305中所执行的操作的内容相同或基本相同，为简明起见，以引用方式包含于此，不再赘述。

图4所示应用网络设备2在步骤S402、步骤S403和步骤S404中所执行的操作分别与图3所示应用网络设备2在步骤S302、步骤S303和步骤S304中所执行的操作的内容相同或基本相同，为简明起见，以引用方式包含于此，不再赘述。

在步骤S406中，搜索引擎1根据用户的搜索请求，搜索所述结构化数据库，以获得与所述搜索请求相对应的结构化搜索结果。在步骤S407中，搜索引擎1将所述结构化搜索结果提供给所述用户。

例如，搜索引擎1和应用网络设备2在执行步骤S401-S405，以使得搜索引擎1根据应用网络设备2提供的结构化数据建立结构化数据库后，搜索引擎1根据用户的搜索请求，在该结构化数据库中进行匹配查询，以获得多个结构化搜索结果，并根据每个结构化搜索结果，生成相应的摘要，提供给该用户。

仍参阅图4，在图4所示过程的一个优选示例中，该过程还包括：搜索引擎1将用户的搜索请求发送至应用网络设备2，以向其请求与所述搜索请求所对应的第三方搜索结果；相应地，搜索引擎1接收搜索引擎1发送的搜索请求，根据所述搜索请求，搜索应用网络设备2的资源索引库，以获得与所述搜索请求相对应的第三方搜索结果，并将所述第三方搜索结果发送至搜索引擎1；相应地，搜索引擎1接收应用网络设备2基于所述搜索请求发送的第三方搜索结果，将所述第三方搜索结果提供给所述用户。

例如，接前例，在搜索引擎1根据用户的搜索请求搜索结构化数据库，且未命中时，搜索引擎1将该搜索请求发送至应用网络设备2，以向其请求其站内的相应搜索结果；相应地，应用网络设备2接收该搜索请求，并在其站内的资源索引库进行匹配查询，以获得相应的第三方搜索结果，并将该等第三方搜索结果发送至搜索引擎1；相应地，搜索引擎1接收该等第三方搜索结果，将该等第三方搜索结果提供给用户。

需要说明的是，本领域技术人员应能理解，上述举例仅为本发明的一个示例，而不应被视为对本发明的任何限制。进一步地，即使在搜索引擎1搜索结构化数据库并获得命中结果时，该搜索引擎1仍然可以向应用网络设备2请求获取相应的第三方搜索结果，并将结构化搜索结果和第三方搜索结果整合后，如按照搜索结果的权威度重新排序，并将重排后的搜索结果提供给用户。

仍参阅图4，在图4所示过程的另一个优选示例中，该过程还包括：搜索引擎1根据用户的搜索请求，搜索索引信息库，以获得与所述搜索请求相对应的普通搜索结果，并将所述结构化搜索结果与所述普通搜索结果进行整合，将整合后的搜索结果提供给所述用户。

例如，在搜索引擎1根据用户的搜索请求搜索结构化数据库的同时，该搜索引擎1也根据该搜索请求，在索引信息库中进行匹配查询，以获得相应的普通搜索结果，并将结构化搜索结果和普通搜索结果整合后，如按照搜索结果的权威度重新排序，将重排后的搜索结果提供给用户。

以上描述了搜索引擎根据用户的搜索请求，调用不同的功能模块以搜索不同的数据库，并为用户提供相应的搜索结果，最大限度地为用户提供了尽可能丰富的搜索结果，提升了用户的搜索体验。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。

本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个功能或步骤的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (22)

1.一种搜索引擎获取结构化数据的方法，其中，该方法包括以下步骤：

a根据应用网络设备的应用类型信息，确定与所述应用类型信息相对应的应用属性信息；

b根据所述应用属性信息，向所述应用网络设备发送关于结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应；

其中，该方法还包括：

x接收所述应用网络设备基于所述数据请求发送的结构化数据；

y根据所述结构化数据，建立或更新结构化数据库。

2.根据权利要求1所述的方法，其中，所述步骤a包括：

-根据所述应用网络设备的应用类型信息，结合用户搜索行为信息，确定所述应用属性信息。

3.根据权利要求2所述的方法，其中，所述步骤a包括：

-根据所述用户搜索行为信息，以及所述应用类型信息，确定所述应用类型信息所对应的用户需求信息；

-根据所述用户需求信息，确定所述应用属性信息。

4.根据权利要求1至3中任一项所述的方法，其中，该方法还包括：

-根据用户的搜索请求，搜索所述结构化数据库，以获得与所述搜索请求相对应的结构化搜索结果；

i将所述结构化搜索结果提供给所述用户。

5.根据权利要求4所述的方法，其中，该方法还包括：

-将所述搜索请求发送至所述应用网络设备，以向其请求与所述搜索请求所对应的第三方搜索结果；

-接收所述应用网络设备基于所述搜索请求发送的第三方搜索结果；

其中，所述步骤i包括：

-将所述第三方搜索结果提供给所述用户。

6.根据权利要求4所述的方法，其中，该方法还包括：

-根据所述搜索请求，搜索索引信息库，以获得与所述搜索请求相对应的普通搜索结果；

其中，所述步骤i包括：

-将所述结构化搜索结果与所述普通搜索结果进行整合，将整合后的搜索结果提供给所述用户。

7.一种应用网络设备向搜索引擎推送结构化数据的方法，其中，该方法包括以下步骤：

A接收搜索引擎发送的关于结构化数据的数据请求，其中，所述数据请求包括与所述应用网络设备的应用类型信息相对应的应用属性信息；

其中，该方法还包括：

M根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据；

N将所述结构化数据发送至所述搜索引擎。

8.根据权利要求7所述的方法，其中，所述步骤M还包括：

-根据所述应用属性信息，确定与所述应用属性信息相对应的应用扩展信息；

-根据所述应用扩展信息，获取与所述应用扩展信息相对应的结构化数据。

9.根据权利要求7或8所述的方法，其中，该方法还包括：

-接收所述搜索引擎发送的搜索请求；

-根据所述搜索请求，搜索所述应用网络设备的资源索引库，以获得与所述搜索请求相对应的第三方搜索结果；

-将所述第三方搜索结果发送至所述搜索引擎。

10.一种用于为搜索引擎获取结构化数据的装置，其中，该装置包括：

应用信息确定装置，用于根据应用网络设备的应用类型信息，确定与所述应用类型信息相对应的应用属性信息；

数据请求发送装置，用于根据所述应用属性信息，向所述应用网络设备发送关于结构化数据的数据请求，其中，所述结构化数据与所述应用属性信息相对应；

数据接收装置，用于接收所述应用网络设备基于所述数据请求发送的结构化数据；

数据库更新装置，用于根据所述结构化数据，建立或更新结构化数据库。

11.根据权利要求10所述的装置，其中，所述应用信息确定装置用于：

-根据所述应用网络设备的应用类型信息，结合用户搜索行为信息，确定所述应用属性信息。

12.根据权利要求11所述的装置，其中，所述应用信息确定装置用于：

-根据用户搜索行为信息，以及所述应用类型信息，确定所述应用类型信息所对应的用户需求信息；

-根据所述应用网络设备的应用类型信息，结合所述用户需求信息，确定所述应用属性信息。

13.根据权利要求10至12中任一项所述的装置，其中，该装置还包括：

结构化搜索装置，用于根据用户的搜索请求，搜索所述结构化数据库，以获得与所述搜索请求相对应的结构化搜索结果；

搜索结果提供装置，用于将所述结构化搜索结果提供给所述用户。

14.根据权利要求13所述的装置，其中，该装置还包括：

搜索请求装置，用于将所述搜索请求发送至所述应用网络设备，以向其请求与所述搜索请求所对应的第三方搜索结果；

-接收所述应用网络设备基于所述搜索请求发送的第三方搜索结果；

其中，所述搜索结果提供装置用于：

-将所述第三方搜索结果提供给所述用户。

15.根据权利要求13所述的装置，其中，该装置还包括：

普通搜索装置，用于根据所述搜索请求，搜索索引信息库，以获得与所述搜索请求相对应的普通搜索结果；

其中，所述搜索结果提供装置用于：

-将所述结构化搜索结果与所述普通搜索结果进行整合，将整合后的搜索结果提供给所述用户。

16.一种用于在应用网络设备端向搜索引擎推送结构化数据的装置，其中，该装置包括：

数据请求接收装置，用于接收搜索引擎发送的关于结构化数据的数据请求，其中，所述数据请求包括与所述应用网络设备的应用类型信息相对应的应用属性信息；

数据获取装置，用于根据所述应用属性信息，获取与所述应用属性信息相对应的结构化数据；

数据发送装置，用于将所述结构化数据发送至所述搜索引擎。

17.根据权利要求16所述的装置，其中，所述数据获取装置还用于：

-根据所述应用属性信息，确定与所述应用属性信息相对应的应用扩展信息；

-根据所述应用扩展信息，获取与所述应用扩展信息相对应的结构化数据。

18.根据权利要求16或17所述的装置，其中，该装置还包括搜索装置，所述搜索装置用于：

-接收所述搜索引擎发送的搜索请求；

-根据所述搜索请求，搜索所述应用网络设备的资源索引库，以获得与所述搜索请求相对应的第三方搜索结果；

-将所述第三方搜索结果发送至所述搜索引擎。

19.一种用于获取结构化数据的搜索引擎，其中，该搜索引擎包括如权利要求10至15中任一项所述的装置。

20.一种用于向搜索引擎推送结构化数据的应用网络设备，其中，该应用网络设备包括如权利要求16至18中任一项所述的装置。

21.一种为搜索引擎获取结构化数据的系统，其中，该系统包括如权利要求10至15中任一项所述的装置，以及如权利要求16至18中任一项所述的装置。

22.一种为搜索引擎获取结构化数据的系统，其中，该系统包括如权利要求19所述的搜索引擎和如权利要求20所述的应用网络设备。