CN101847161A

CN101847161A - 搜索网页的方法和建立数据库的方法

Info

Publication number: CN101847161A
Application number: CN201010189350A
Authority: CN
Inventors: 唐堂正明
Original assignee: SUZHOU SOUTU NETWORK TECHNOLOGY Co Ltd
Current assignee: SUZHOU SOUTU NETWORK TECHNOLOGY Co Ltd
Priority date: 2010-06-02
Filing date: 2010-06-02
Publication date: 2010-09-29

Abstract

本发明属于搜索引擎领域，特别是涉及搜索网页的方法和建立数据库的方法及其在商品搜索中的应用。利用能够从互联网上自动收集网页的蜘蛛程序从互联网提取各个网站的信息，包括网页文字、图片、视频、音声等建立数据库。在完成根据用户搜索条件进行第一轮搜索后，从与用户搜索条件匹配最好或满足其他条件下的每个行数据中选择一个或多个新的信息数据作为新的搜索条件进行下一轮搜索。重复此过程直至搜索完成后按一定的排列顺序返回结果。也可以用上述方法在原来的索引数据库中加入分类重组索引数据库。这样有助于挖掘更深层的相关信息。本发明可以广泛应用于互联网搜索、移动终端搜索等领域，尤其适用于网上购物的商品搜索等领域。

Description

搜索网页的方法和建立数据库的方法

技术领域

本发明属于搜索引擎领域，特别是涉及利用基于内容的多媒体搜索技术和基于关键词的文本搜索技术以及它们的组合技术进行搜索网页的方法和建立数据库的方法及其在商品搜索中的应用。

背景技术

单纯基于文本使用关键词从互联网中搜索网页信息、图片、视频、音乐等的著名搜索引擎有百度、谷歌、必应和雅虎等。但是它们的索引数据库通常只包括网页地址(URL)、编码类型、关键词、关键词位置、生成时间、大小和与其他网页的链接关系等。而且搜索条件一般也只限于关键词。

发明内容

本发明所要解决的技术问题是更深层次的信息搜索。本发明为了解决上述技术问题所采用的技术方案之一是：建立包含网页基本信息、图片、视频、音声等信息的多维信息索引数据库。其中网页基本信息包括网页地址(URL)、编码类型、关键词、关键词位置、生成时间、大小和与其他网页的链接关系等。图片、视频、音声等信息则包括从网页中的图片、视频、音声等信息中提取的特征值，譬如图像的颜色、形状、纹理、空间关系等特征值、以及生成时间、大小、标注、格式等。搜索时，以计算机、手机等输入设备取得一个或多个搜索条件，系统根据需要进行特征值抽取等处理后由搜索系统程序从上述多维信息索引数据库中找到相关数据，实现第一轮对多维索引数据库的搜索。之后系统从上述搜索结果中指定一个或多个，譬如从匹配度最高的一个多维数据中选择一个或多个其他信息作为新的搜索条件进行下一轮搜索。重复此过程直至搜索完成后由页面生成系统将搜索结果的链接地址和页面内容摘要、图片等内容组织起来按一定排列顺序返回给用户。

本发明为了解决上述技术问题所采用的技术方案之二是：对上述多维信息索引数据库按以下方法重新组织，建立新的索引数据库，以增加搜索范围和提高搜索速度。首先在索引数据库中的任意一个索引行数据中选择一个或多个索引数据以外的列数据作为搜索条件在上述多维信息索引数据库中搜索具有相同或相似列的行数据，并将其归为同类或相似类建立索引数据库，然后依次在这些行数据中选择另一个或多个其他数据作为新的搜索条件，重复以上过程直至新的索引数据库建成。这样对具有上述索引数据库结构的网页索引数据库进行搜索时，搜索条件符合同类或相似列数据中任意一条或多条都可以视为符合此搜索条件，页面生成系统将搜索结果的链接地址和页面内容摘要、图片等内容组织起来按一定排列顺序返回给用户。

具体实施方式

下面首先从搜索过程来阐述本发明的技术方案的具体实施方式，然后以商品搜索为实施例对本发明进一步说明。

本发明的网页搜索的步骤主要包括：

(1)从互联网抓取网页。利用能够从互联网上自动收集网页的网络蜘蛛程序，自动访问互联网，并沿着任何网页中的所有网页地址(URL)爬到其他网页，重复此过程，并把爬过的所有网页收集到服务器中。

(2)建立索引数据库。由索引系统程序对收集回来的网页进行分析，提取相关网页基本信息(包括网页地址(URL)、编码类型、关键词、关键词位置、生成时间、大小和与其他网页的链接关系等)。同时对网页里可能存在的图片、视频、音声等信息进行特征值抽取处理，提取相关的特征值信息(譬如图片的颜色、形状、纹理、空间关系等)，以及生成时间、大小、标注、格式等。根据一定的相关度算法进行计算，得到每一个网页针对页面内容中及超链中每一个关键词、特征值的相关度(或重要性)，然后用这些相关信息建立网页索引数据库。

(3)在索引数据库中搜索。当用户输入搜索条件，譬如：关键词、图片、视频、音声等信息或它们的特征值请求搜索后，如果是图片、视频、音声等信息则进行特征值抽取后，分解搜索请求，由搜索系统从网页索引数据库中找到符合该搜索条件的所有相关网页。

(4)对搜索结果进行排序。所有相关网页针对该搜索条件的相关信息在索引库中都有记录，只需综合相关信息和网页级别形成相关度数值，然后进行排序，相关度越高，排序越靠前。

(5)根据搜索结果请求二次搜索。对(4)的搜索结果进行分析，如果需要，对排名最前或排名前几位的网页的索引数据中其他一个或多个列数据作为新的搜索条件返回(3)请求新的一轮搜索。当然新的搜索条件可以是事先指定的也可以提示给用户由用户选择。

如果不需要则进入(6)。

(6)组织结果返回给用户。最后由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。

本发明的基于索引数据库分类的搜索方法的步骤主要包括：

(3)建立包括分类的新索引数据库。在上述关键词、特征值等中选择一个或几个列数据作为搜索条件在上述网页索引数据库中搜索具有相同或相似列数据的行数据，并从中选择一个或几个数据列使其具有和搜索条件相同或相似的索引功能，并根据一定的相关度算法进行计算，给出它们的相关度(或重要性)。重复以上过程以建立新的索引数据库。也就是说以后凡是以上述搜索条件进行搜索时，不仅可以搜到原索引数据库的数据，还可以搜到新追加的索引数据。

(4)在新索引数据库中搜索。当用户输入搜索条件，譬如：关键词、图片、视频、音声等信息或它们的特征值请求搜索后，如果是图片、视频、音声等信息则进行特征值抽取后，分解搜索请求，由搜索系统从新网页索引数据库中找到符合该搜索条件的所有相关网页。

(5)对搜索结果进行排序。所有相关网页针对该搜索条件的相关信息在索引库中都有记录，只需综合相关信息和网页级别形成相关度数值，然后进行排序，相关度越高，排序越靠前。

下面以商品搜索为实施例对本发明进一步说明。

本发明用于商品搜索时具体搜索的步骤主要包括：

(1)从互联网抓取购物网站网页。利用能够从互联网上自动收集网页的网页蜘蛛程序，自动访问分布在网络上的购物网站，并把所有网页收集到服务器中

(2)建立商品索引数据库。由索引系统程序对收集回来的网页进行分析，提取每个商品的网页基本信息，包括网页地址(URL)、编码类型、商品名、型号、商家名、商品简介、价格以及生成时间、大小和与其他网页的链接关系等。同时对网页里的商品图片进行特征值抽取处理，提取图片的颜色、形状、纹理等特征值，以及生成时间、大小、标注、格式等。根据一定的相关度算法进行计算，得到每一个商品针对每一个关键词(譬如商品名、型号、商家名、商品简介、价格等)、特征值(譬如图片的颜色、形状、纹理等)的相关度(或重要度)，然后用这些相关信息建立商品网页索引数据库。

(3)在商品索引数据库中搜索。当用户输入搜索条件，譬如关键词或图片或两者的组合，请求搜索后，如果需要则抽取图片特征值，分解搜索请求，由搜索系统从商品数据库中找到符合该搜索条件的所有相关商品。

(4)对搜索结果进行排序。所有相关商品针对该搜索条件的相关信息在索引库中都有记录，只需综合相关信息和商品级别形成相关度数值，然后进行排序，相关度越高，排名越靠前。

(5)根据搜索结果，请求二次搜索。对(4)的搜索结果进行分析，如果需要，对排名最前或排名前几位的商品的索引数据中其他一个或多个列数据作为新的搜索条件返回(3)请求下一轮搜索。譬如对尚未作为搜索条件的商品型号、图片及相关图片等作为新的搜索条件返回(3)请求下一轮搜索。这样如果用户输入的搜索条件是商品图片，第一轮搜索即可以搜索到使用同一商品图片或相似商品图片的所有商品信息。如果这些商品信息中包括不同的商品图片，由此进行二次搜索可以获得使用该图片的商品信息。同时从上述图片搜索的结果里还可以获得诸如商品型号、名称、商家名等信息，由此进行关键词搜索可以获得所有使用同一商品型号的商品信息，包括商品图片信息等。而这些商品图片信息又可以作为下一轮搜索的条件。重复上述搜索直至满足搜索要求。这样可以搜索到不同网站、不同店铺的同一商品或相似商品，即使它们使用不同的商品名、不同的商品图片、不同的型号。

如果不需要，则进入(6)。

(6)组织结果返回给用户。最后由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户

本发明的基于索引数据库分类的商品搜索方法的步骤主要包括：

(3)建立包括分类的新商品索引数据库。在上述关键词、特征值等中选择一个或几个数据搜索条件在上述网页索引数据库中搜索具有相同或相似列数据的行数据，从中选择一个或几个列数据使其具有和搜索条件相同或相似的索引功能，并根据一定的相关度算法进行计算，给出它们的相关度(或重要性)。重复以上过程以建立新的索引数据库。譬如对于索引中的商品型号，首先搜索相同或相似的商品型号的行数据，然后用这些行数据中的一张或几张图片搜索相同或相似的行数据。如果符合一定条件，这些行数据的商品型号如果使用不同名称等，则使其具有和原索引相同或相似的索引功能；对于商品图片索引也一样，首先搜索相同或相似的商品图片的行数据，然后用这些行数据中的一个或多个商品型号搜索具有相同或相似列数据的行数据。如果符合一定条件，这些行数据的商品图片如果使用不同商品图片等，则可使这些新的商品图片等具有和原索引相同或相似的索引功能。然后根据一定的相关度算法进行计算，给出它们的相关度(或重要性)。重复以上过程以建立新的商品索引数据库。这样以后凡是以上述搜索条件进行搜索时，不仅可以搜到原索引数据库的数据，还可以搜到新追加的索引数据。

(4)在新商品索引数据库中搜索。当用户输入搜索条件，譬如关键词或图片或两者的组合，请求搜索后，如果需要则抽取图片特征值，分解搜索请求，由搜索系统从商品数据库中找到符合该搜索条件的所有相关商品。

(5)组织结果返回给用户。最后由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户

上述基于内容的多媒体搜索技术和基于关键词文本搜索技术和它们的组合技术进行搜索网页的方法和建立数据库的方法可以用于挖掘更深层次的数据，提高搜索精度和增加搜索范围。特别是用于商品搜索时，本发明可以搜索到不同网站、不同店铺的同一商品或相似商品，即使它们使用不同的商品名、不同的商品图片、不同的型号，还可以搜索类似商品的信息，实现真正的商品全网搜索。

Claims

1.一种网页的搜索方法，其特征在于把网站的信息，网页基本信息、图片、视频、音声等信息，其中网页基本信息包括网页所在URL、编码类型、关键词、关键词位置、生成时间、大小和与其他网页的链接关系等，图片、视频、音声等信息则包括从图片、视频、音声等信息中提取的特征值，如图像的颜色、形状、纹理、空间关系等，建立多维信息索引数据库，然后在多维信息数据空间中由搜索系统程序从多维信息索引数据中找到完全符合用户搜索条件、或计算用户搜索条件与目标数据之间的相似程度，实现第一轮对多维数据的搜索，之后从上述搜索结果中指定一个或多个，譬如匹配度最高的一个多维行数据中选择一个或多个其他信息数据作为新的搜索条件进行下一轮搜索，重复此过程直至搜索完成后按一定的排列顺序向用户返回结果。

2.根据权利要求1所述的搜索方法，其特征是多维行数据中的图片、视频或音声等信息包括他们的生成时间、大小、格式、标注等，以及从图片、视频或音声等提取的特征值。

3.根据权利要求1所述的搜索方法，其特征是所有搜索条件可以是文字也可以是图片、视频或音声等任何数据。

4.根据权利要求1所述的搜索方法，其特征是所有搜索条件可以是图片、视频或音声等，也可以是从图片、视频或音声等提取的特征值。

5.根据权利要求1所述的搜索方法，其特征是所有搜索条件可以是一个数据或特征值数据，也可以是多个的任意组合。

6.根据权利要求1所述的搜索方法，其特征是新一轮的搜索可以是自动的也可以提示给用户选择决定。

7.根据权利要求1所述的搜索方法应用于商品搜索时，商品的多维信息索引数据可包括商品名、分类、型号、尺寸、图案、样式、板型、适合人群、材质、名称、价格，商家名、简要说明、链接等网页信息和商品图片的颜色、形状、纹理等特征信息，搜索时可以从一张商品的图片搜索同样或相似图片的所有商品，并从中获得同样或相似图片的其他图片信息和商品型号、名称、商家名等信息，然后以获得的其他新的图片信息进行下一轮同样的搜索，直至搜索结束；同时以获得的商品型号、名称、商家名等进行关键词搜索，以获得新的商品图片等，根据需要以上述新的商品图片信息进行下一轮搜索以获得所有相同或相似的商品信息，包括商品图片等，或商品型号等，直至搜索结束；搜索时也可以直接从商品型号、名称等进行关键词搜索以获得商品图片信息，然后以商品图片信息搜索同样或相似的商品，并重复搜索直至达到搜索要求为止。

8.一种索引数据库的建立方法，其特征在于把网页的信息，网页基本信息、图片、视频、音声等信息，其中网页基本信息包括网页所在URL、编码类型、关键词、关键词位置、生成时间、大小和与其他网页的链接关系等，图片、视频、音声等信息则包括从图片、视频、音声等信息中提取的特征值，如图像的颜色、形状、纹理、空间关系等，建立多维信息索引数据库，然后在索引数据库中的任意一个索引数据中选择一个或多个索引数据以外的数据作为搜索条件在上述多维信息索引数据库中搜索具有相同或相似列数据的行数据，并将其归为同类或相似类建立新的索引数据库，然后依次在这些行数据中选择另一个或多个其他数据作为新的搜索条件，重复以上过程直至新的索引数据库建成。

9.根据权利要求8所述的索引数据库的建立方法应用于商品搜索时，商品的多维信息索引数据可包括商品名、分类、型号、尺寸、图案、样式、板型、适合人群、材质、名称、价格、商家名、简要说明、链接等网页信息和商品图片的颜色、形状、纹理等特征信息，索引数据库可以从一张商品的图片搜索同样或相似图片的所有商品，并从中获得同样或相似图片的其他图片信息和商品型号、名称、商家名等信息，进行同类或相似类化的归类处理，然后以获得的其他新的图片信息进行下一轮同样的搜索，直至搜索结束；同时以获得的商品型号、名称、商家名等进行关键词搜索，以获得新的商品图片等，根据需要以上述新的商品图片信息进行下一轮搜索以获得所有相同或相似的商品信息，包括商品图片等，或商品型号等，进行同类或相似类化的归类处理，直至搜索结束；搜索时也可以直接从商品型号、名称等进行关键词搜索以获得商品图片信息，然后以商品图片信息搜索同样或相似的商品，并进行同类或相似类化的归类处理，重复搜索直至达到搜索要求为止。