CN105447095A - 网站信息收集方法及系统 - Google Patents

Abstract

本发明公开一种网站信息收集方法，包括步骤：获取输入的查询信息，所述查询信息包括待查询的网站域名和选择使用的搜索引擎；对所述查询信息进行解析，获取待查询的网站域名和选择使用的搜索引擎；根据所述选择使用的搜索引擎调用所述搜索引擎对应的类库和功能插件；通过所述功能插件分析所述搜索引擎的使用规则和语法结构；基于所述搜索引擎的使用规则向所述搜索引擎的服务器发送对所述网站域名进行搜索的请求；以及接收并输出所述搜索引擎的搜索结果。相应地，本发明还公开一种网站信息收集系统。本发明采用的技术方案，简化了现有网站信息的收集流程，提高了网站信息收集的工作效率和搜索结果的全面性。

Description

网站信息收集方法及系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种网站信息收集方法及系统。

背景技术

随着互联网技术的高速发展和广泛应用，互联网上的网站信息越来越多地受到网络黑客和网络病毒的侵袭。网站信息通常包含大量的重要信息，比如域名地址信息、IP地址信息、电子邮件地址信息、甚至还包括特别重要的网络结构、系统版本和物理位置信息等。因此，现有的网络安全技术通常采用在单独的搜索引擎网页的搜索栏输入网站域名进行查询搜索，以收集该网站的重要信息，并对相应的信息安全进行加固。但是这种网站信息收集方法通常只在一个或少数几个搜索引擎网页上单独进行输入和检索，查询检索非常繁琐和耗时，同时由于受限于搜索引擎的数量导致查询结果并不全面，而输出的查询结果只能以各个独立的搜索引擎网站网页方式呈现而并不能整合在一起输出，影响对查询到的网站信息的分析和处理。

发明内容

鉴于此，本发明提供一种网站信息收集方法及系统，解决现有网站信息收集的工作效率低、收集的信息结果不全面的技术问题。

根据本发明的一个实施例，提供一种网站信息收集方法，包括步骤：获取输入的查询信息，所述查询信息包括待查询的网站域名和选择使用的搜索引擎；对所述查询信息进行解析，获取待查询的网站域名和选择使用的搜索引擎；根据所述选择使用的搜索引擎调用所述搜索引擎对应的类库和功能插件；通过所述功能插件分析所述搜索引擎的使用规则和语法结构；基于所述搜索引擎的使用规则向所述搜索引擎的服务器发送对所述网站域名进行搜索的请求；以及接收并输出所述搜索引擎的搜索结果。

优选的，所述搜索结果以HTML格式输出。

优选的，所述对所述查询信息进行解析包括：识别所述查询信息的关键字；根据识别到的关键字确定待查询的网站域名和选择使用的搜索引擎。

优选的，所述搜索引擎包括但不限于baidu、google、googleCSE、bing、bingapi、pgp、linkedin、google-profiles、people123、jigsaw、twitter或googleplus及其组合。

优选的，所述查询信息中选择使用的搜索引擎包括所有预设的搜索引擎。

根据本发明的另一实施例，提供一种网站信息收集系统，包括：查询获取单元，用于获取输入的查询信息，所述查询信息包括待查询的网站域名和选择使用的搜索引擎；查询解析单元，用于对所述查询信息进行解析，获取待查询的网站域名和选择使用的搜索引擎；功能插件调用单元，用于根据所述选择使用的搜索引擎调用所述搜索引擎对应的类库和功能插件；搜索引擎分析单元，用于通过所述功能插件分析所述搜索引擎的使用规则和语法结构；搜索请求发送单元，用于基于所述搜索引擎的使用规则向所述搜索引擎的服务器发送对所述网站域名进行搜索的请求；以及接收与输出单元，用于接收并输出所述搜索引擎的搜索结果。

优选的，所述接收与输出单元将所述搜索结果以HTML格式输出。

优选的，所述查询解析单元包括：关键字识别单元，用于识别所述查询信息的关键字；以及确定单元，用于根据识别到的关键字确定待查询的网站域名和选择使用的搜索引擎。

优选的，所述搜索引擎包括但不限于baidu、google、googleCSE、bing、bingapi、pgp、linkedin、google-profiles、people123、jigsaw、twitter或googleplus及其组合。

优选的，所述查询信息中选择使用的搜索引擎包括所有预设的搜索引擎。

本发明提供的网站信息收集方法及系统，分析输入的查新信息获取待查询的网站域名和选择使用的搜索引擎，并通过功能插件分析搜索引擎的使用规则和语法结构并向所有选择使用的搜索引擎服务器发送搜索查询请求，最终收集和输出HTML格式的搜索结果。相比传统的在多个搜索引擎网站单独输入满足使用规则和语法结构的网站域名进行查询搜索，本发明通过功能插件聚合搜索引擎，仅通过一次查询信息的输入就可以实现多个搜索引擎的查询搜索，简化了现有网站信息收集的流程，提高了网站信息收集的工作效率和搜索结果的全面性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例中网站信息收集方法的流程示意图。

图2为本发明一个实施例中对查询信息进行解析的流程示意图。

图3为本发明另一个实施例中网站信息收集系统的结构示意图。

图4为本发明另一个实施例中查询解析单元的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步更详细的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

图1为本发明一个实施例中网站信息收集方法的流程示意图。如图所示，本发明实施例提供的所述网站信息收集方法，包括：

步骤S100：获取输入的查询信息，所述查询信息包括待查询的网站域名和选择使用的搜索引擎。

具体的，用户可在命令行输入查询信息，所述查询信息可包括待查询的网站域名和选择使用的搜索引擎。比如，用户按照查询信息预设的标准规则在命令行输入：./findweb.py–dcnbeta.com–bbaidu，其中findweb.py表示查询网站信息的指令，–dcnbeta.com表示待查询的网站域名为cnbeta.com，–bbaidu表示选择使用的搜索引擎为baidu。当用户选择使用多个搜索引擎google、bing和twitter时，可以在命令行输入：/findweb.py–dcnbeta.com–bgooglebingtwitter，这样就可以选择这三个搜索引擎依次进行查询搜索。在实际应用中，为了获取更为全面的查询结果，用户还可以选择使用所有预先设置的搜索引擎全部依次进行查询搜索，此时可以在命令行输入：./findweb.py–dcnbeta.com–ball，其中all表示选择使用所有预先设置的搜索引擎。所述搜索引擎可以为baidu、google、googleCSE、bing、bingapi、pgp、linkedin、google-profiles、people123、jigsaw、twitter或googleplus及其组合。

步骤S102：对所述查询信息进行解析，获取待查询的网站域名和选择使用的搜索引擎。

图2为本发明一个实施例中对查询信息进行解析的流程示意图。如图所示，在命令行获取输入的查询信息后，对所述查询信息进行解析包括：

步骤S202：识别所述查询信息的关键字。所述关键字包括指令代码和标识符。由于所述查询信息包括待查询的网站域名和选择使用的搜索引擎，并且这些信息是以预设标准规则进行输入的，可通过预设的指令代码和标识符来导出指令信息、待查询的网站域名和选择使用的搜索引擎。比如，当获取到用户输入的查询信息为./findweb.py–dcnbeta.com–ball时，可识别指令代码./findweb.py表示查询网站信息、–d为网站域名的标识符，–b为搜索引擎的标识符。

步骤S204：根据识别到的关键字确定待查询的网站域名和选择使用的搜索引擎，也即分别是标识符-d和-b后面导出的网站域名cnbeta.com和搜索引擎信息all。在实际应用中，为了最全面地查询网站信息获得尽可能多的网站重要信息，经常会需要选择使用所有可能的搜索引擎进行查询搜索，为了方便用户进行输入，所述预设标准规则将all作为选择使用所有预设的搜索引擎的标识符。

步骤S104：根据所述选择使用的搜索引擎调用所述搜索引擎对应的类库和功能插件。

在解析出待查询的网站域名和选择使用的搜索引擎后，调用所述搜索引擎对应的类库和功能插件。所述类库和功能插件为预先根据分析出不同搜索引擎的使用规则和语法结构开出出来的。比如，当解析出选择使用的搜索引擎为google时，调用预先设置的google的类库和功能插件。

步骤S106：通过所述功能插件分析所述搜索引擎的使用规则和语法结构。

具体的，分析出搜索引擎对应的使用规则和语法结构，比如google默认检索词之间为AND连接，*为通配符，Intitle网页标题检索，Intext网页正文检索，Site特定网站检索等规则和语法。

步骤S108：基于所述搜索引擎的使用规则向所述搜索引擎的服务器发送对所述网站域名进行搜索的请求。

具体的，基于所述搜索引擎的使用规则，将待查询的网站域名转化为满足所述搜索引擎使用规划和语法结构的查询词，并将查询词发送给选择使用的搜索引擎服务器进行搜索。所述搜素引擎服务器对接收到的查询词进行检索并在互联网上抓取所述网站域名相关的重要信息，并反馈搜索查询结果。

步骤S110：接收并输出所述搜索引擎的搜索结果。

具体的，接收所有选择使用的搜索引擎的搜索结果，并以HTML格式输出所有的搜索结果。所有选择使用的搜索引擎的搜索结果聚合以HTML格式输出，便于对收集到的网站重要信息的进一步分析和处理。

在本发明实施例中，分析输入的查新信息获取待查询的网站域名和选择使用的搜索引擎，并通过功能插件分析搜索引擎的使用规则和语法结构并向所有选择使用的搜索引擎服务器发送搜索查询请求，最终收集和输出HTML格式的搜索结果。相比传统的在多个搜索引擎网站单独输入满足使用规则和语法结构的网站域名进行查询搜索，本发明通过功能插件聚合搜索引擎，仅通过一次查询信息的输入就可以实现多个搜索引擎的查询搜索，简化了现有网站信息收集的流程，提高了网站信息收集的工作效率和搜索结果的全面性。

基于上述方法实施例，本发明另一实施例提供一种网站信息收集系统10，参见图3，其包括查询获取单元102、查询解析单元104、功能插件调用单元106、搜索引擎分析单元108、搜索请求发送单元110和接收与输出单元110。

所述查询获取单元102，用于获取输入的查询信息，所述查询信息包括待查询的网站域名和选择使用的搜索引擎。用户可在命令行输入查询信息，所述查询信息可包括待查询的网站域名和选择使用的搜索引擎。比如，用户按照查询信息预设的标准规则在命令行输入：./findweb.py–dcnbeta.com–bbaidu，其中findweb.py表示查询网站信息的指令，–dcnbeta.com表示待查询的网站域名为cnbeta.com，–bbaidu表示选择使用的搜索引擎为baidu。当用户选择使用多个搜索引擎google、bing和twitter时，可以在命令行输入：/findweb.py–dcnbeta.com–bgooglebingtwitter，这样就可以选择这三个搜索引擎依次进行查询搜索。在实际应用中，为了获取更为全面的查询结果，用户还可以选择使用所有预先设置的搜索引擎全部依次进行查询搜索，此时可以在命令行输入：./findweb.py–dcnbeta.com–ball，其中all表示选择使用所有预先设置的搜索引擎。所述搜索引擎可以为baidu、google、googleCSE、bing、bingapi、pgp、linkedin、google-profiles、people123、jigsaw、twitter或googleplus及其组合。

所述查询解析单元104，用于对所述查询信息进行解析，获取待查询的网站域名和选择使用的搜索引擎。图4为本发明实施例中查询解析单元的结构示意图。如图所示，所述查询解析单元104包括关键字识别单元1042和确定单元1044。

所述关键字识别单元1042，用于识别所述查询信息的关键字。所述关键字包括指令代码和标识符。由于所述查询信息包括待查询的网站域名和选择使用的搜索引擎，并且这些信息是以预设标准规则进行输入的，可通过预设的指令代码和标识符来导出指令信息、待查询的网站域名和选择使用的搜索引擎。比如，当获取到用户输入的查询信息为./findweb.py–dcnbeta.com–ball时，所述关键字识别单元1042可识别指令代码./findweb.py表示查询网站信息、–d为网站域名的标识符，–b为搜索引擎的标识符。

所述确定单元1044，可根据所述关键字识别单元1042识别到的关键字确定待查询的网站域名和选择使用的搜索引擎，也即分别是标识符-d和-b后面导出的网站域名cnbeta.com和搜索引擎信息all。在实际应用中，为了最全面地查询网站信息获得尽可能多的网站重要信息，经常会需要选择使用所有可能的搜索引擎进行查询搜索，为了方便用户进行输入，所述预设标准规则将all作为选择使用所有预设的搜索引擎的标识符。

所述功能插件调用单元106，用于根据所述选择使用的搜索引擎调用所述搜索引擎对应的类库和功能插件。在所述查询解析单元104解析出待查询的网站域名和选择使用的搜索引擎后，所述功能插件调用单元106可调用所述搜索引擎对应的类库和功能插件。所述类库和功能插件为预先根据分析出不同搜索引擎的使用规则和语法结构开出出来的。比如，当所述查询解析单元104解析出选择使用的搜索引擎为google时，调用预先设置的google的类库和功能插件。

所述搜索引擎分析单元108，用于通过所述功能插件分析所述搜索引擎的使用规则和语法结构。具体的，所述搜索引擎分析单元108分析出搜索引擎对应的使用规则和语法结构，比如google默认检索词之间为AND连接，*为通配符，Intitle网页标题检索，Intext网页正文检索，Site特定网站检索等规则和语法。

所述搜索请求发送单元110，用于基于所述搜索引擎的使用规则向所述搜索引擎的服务器发送对所述网站域名进行搜索的请求。具体的，基于所述搜索引擎的使用规则，所述搜索请求发送单元110将待查询的网站域名转化为满足所述搜索引擎使用规划和语法结构的查询词，并将查询词发送给选择使用的搜索引擎服务器进行搜索。所述搜素引擎服务器对接收到的查询词进行检索并在互联网上抓取所述网站域名相关的重要信息，并反馈搜索查询结果。

所述接收与输出单元112，用于接收并输出所述搜索引擎的搜索结果。具体的，所述接收与输出单元112接收所有选择使用的搜索引擎的搜索结果，并以HTML格式输出所有的搜索结果。所有选择使用的搜索引擎的搜索结果聚合以HTML格式输出，便于对收集到的网站重要信息的进一步分析和处理。

综上所述，本发明提供的网站信息收集方法及系统，分析输入的查新信息获取待查询的网站域名和选择使用的搜索引擎，并通过功能插件分析搜索引擎的使用规则和语法结构并向所有选择使用的搜索引擎服务器发送搜索查询请求，最终收集和输出HTML格式的搜索结果。相比传统的在多个搜索引擎网站单独输入满足使用规则和语法结构的网站域名进行查询搜索，本发明通过功能插件聚合搜索引擎，仅通过一次查询信息的输入就可以实现多个搜索引擎的查询搜索，简化了现有网站信息收集的流程，提高了网站信息收集的工作效率和搜索结果的全面性。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种网站信息收集方法，其特征在于，包括步骤：

获取输入的查询信息，所述查询信息包括待查询的网站域名和选择使用的搜索引擎；

对所述查询信息进行解析，获取待查询的网站域名和选择使用的搜索引擎；

根据所述选择使用的搜索引擎调用所述搜索引擎对应的类库和功能插件；

通过所述功能插件分析所述搜索引擎的使用规则和语法结构；

基于所述搜索引擎的使用规则向所述搜索引擎的服务器发送对所述网站域名进行搜索的请求；以及

接收并输出所述搜索引擎的搜索结果。

2.如权利要求1所述的网站信息收集方法，其特征在于，所述搜索结果以HTML格式输出。

3.如权利要求1所述的网站信息收集方法，其特征在于，所述对所述查询信息进行解析包括：识别所述查询信息的关键字；根据识别到的关键字确定待查询的网站域名和选择使用的搜索引擎。

4.如权利要求1所述的网站信息收集方法，其特征在于，所述搜索引擎包括但不限于baidu、google、googleCSE、bing、bingapi、pgp、linkedin、google-profiles、people123、jigsaw、twitter或googleplus及其组合。

5.如权利要求1所述的网站信息收集方法，其特征在于，所述查询信息中选择使用的搜索引擎包括所有预设的搜索引擎。

6.一种网站信息收集系统，其特征在于，包括：

查询获取单元，用于获取输入的查询信息，所述查询信息包括待查询的网站域名和选择使用的搜索引擎；

查询解析单元，用于对所述查询信息进行解析，获取待查询的网站域名和选择使用的搜索引擎；

功能插件调用单元，用于根据所述选择使用的搜索引擎调用所述搜索引擎对应的类库和功能插件；

搜索引擎分析单元，用于通过所述功能插件分析所述搜索引擎的使用规则和语法结构；

搜索请求发送单元，用于基于所述搜索引擎的使用规则向所述搜索引擎的服务器发送对所述网站域名进行搜索的请求；以及

接收与输出单元，用于接收并输出所述搜索引擎的搜索结果。

7.如权利要求6所述的网站信息收集系统，其特征在于，所述接收与输出单元将所述搜索结果以HTML格式输出。

8.如权利要求6所述的网站信息收集系统，其特征在于，所述查询解析单元包括：关键字识别单元，用于识别所述查询信息的关键字；以及确定单元，用于根据识别到的关键字确定待查询的网站域名和选择使用的搜索引擎。

9.如权利要求6所述的网站信息收集系统，其特征在于，所述搜索引擎包括但不限于baidu、google、googleCSE、bing、bingapi、pgp、linkedin、google-profiles、people123、jigsaw、twitter或googleplus及其组合。

10.如权利要求6所述的网站信息收集系统，其特征在于，所述查询信息中选择使用的搜索引擎包括所有预设的搜索引擎。