CN103886033B - 用于安全产业链的智能垂直搜索装置和方法 - Google Patents

Abstract

本发明公开了一种用于安全产业链的智能垂直搜索装置和方法，用于安全产业链的智能垂直搜索装置包括，爬行器引擎即搜索器引擎；调度；下载器：下载器抓取网页并将网页内容返还给蜘蛛；蜘蛛：蜘蛛是爬行器用户自己定义用来解析网页并抓取制定URL返回的内容的类，每个蜘蛛能处理一个域名或一组域名，即用来定义特定网站的抓取和解析规则；搜素因子库；项目管道；下载器中间件；蜘蛛中间件；调度中间件：调度中间件是介于爬行器引擎和调度之间的中间件，负责处理从爬行器引擎发送到调度的请求和响应，并提供了一个自定义的代码来拓展爬行器的功能。实现可靠、准确、实时且智能搜索的优点。

Description

用于安全产业链的智能垂直搜索装置和方法

技术领域

本发明涉及用于安全产业链的智能垂直搜索装置和方法，具体地，涉及一种用于药品、食品和医疗器械安全产业链智能垂直搜索装置和方法。

背景技术

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。据win咨询数据，2005年全球共产生了1300亿GB(千兆字节)的数据。预计2020年将增至40万亿GB。而每天产生的25GB数据中，仅有0.5％被充分利用，展现出其分析价值。2010年，大数据产业的价值为32亿美元。到2015年预计这一数字将高达169亿美元。

在药品、食品、医疗器械安全产业链云计算集群服务平台中，2012年积累核心业务数据到200万份，关联文献数据1000万份，2014年核心业务数据积累达到500万份。每年以250％增长。如表一所示：

表一、药品、食品、医疗器械安全产业链云计算集群服务平台Big Data大数据表：

基于药品、食品、医疗器械安全领域，面对如此庞大的数据，并逐年增长，目前，通用的搜索引擎主要是google、百度、搜狗以及雅虎等，主要都是基于通用的搜索引擎技术，其数据来源主要是互联网开放的网页内容，并通过汇集，直接呈现给用户，中间加入了其商业行为。其缺点主要如下：

1.数据来源不具有权威性，是互联网开放的网页内容；

2.不能提供行业垂直搜索服务，包括行业Big Data大数据的智能挖掘与分析；

3.缺乏垂直行业Big Data大数据的智能挖掘与分析权威依据；

4.缺乏垂直行业闭环式搜索服务；

5.搜索结果的精准度不高，只是文献级别的结果呈现。

发明内容

本发明的目的在于，针对上述问题，提出一种用于安全产业链的智能垂直搜索装置和方法，以实现可靠、准确、实时且智能搜索的优点。

为实现上述目的，本发明采用的技术方案是：

一种用于安全产业链的智能垂直搜索装置，包括

爬行器引擎即搜索器引擎：爬行器引擎用来控制整个系统的数据处理流程，并进行事务处理的触发；

调度：调度程序从爬行器引擎接收请求并排序列入队列，并在爬行器引擎发出请求后返还给调度程序；

下载器：下载器抓取网页并将网页内容返还给蜘蛛；

蜘蛛：蜘蛛是爬行器用户自己定义用来解析网页并抓取制定URL返回的内容的类，每个蜘蛛能处理一个域名或一组域名，即用来定义特定网站的抓取和解析规则；

搜索因子库：包括标准因子库、权重因子库和域库：标准因子库记载药和器械的数据，也就是第一搜索对象，域库：负责权威认证的互联网范围；

项目管道：项目管道负责处理蜘蛛从网页中抽取的项目，验证和存储数据，当页面被蜘蛛解析后，将被发送到项目管道；项目管道通常执行的过程有：清洗HTML数据，验证解析到的数据即检查项目是否包含必要的字段，检查是否是重复数据如果重复就删除，将解析到的数据存储到数据库中；

下载器中间件：下载中间件是位于爬行器引擎和下载器之间的钩子框架，负责处理爬行器引擎与下载器之间的请求及响应；

蜘蛛中间件：蜘蛛中间件是介于爬行器引擎和蜘蛛之间的钩子框架，负责处理蜘蛛的响应输入和请求输出；提供一个自定义代码的方式来拓展爬行器的功能；

调度中间件：调度中间件是介于爬行器引擎和调度之间的中间件，负责处理从爬行器引擎发送到调度的请求和响应，并提供了一个自定义的代码来拓展爬行器的功能。

根据本发明的优选实施例，还包括，安全认证模块：负责内部用户安全认证；

用户行为识别记忆模块：负责垂直闭环搜索中用户的智能行为识别和记忆，为用户提供智能使用导向和服务。

同时本发明技术方案公开一种用于安全产业链的智能垂直搜索装置的搜索方法，包括以下步骤：

步骤1、爬行器引擎打开一个域名，蜘蛛处理这个域名，并让蜘蛛获取第一个爬取的URL；

步骤2、引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度；

步骤3、引擎从调度那获取下一步进行爬取的页面；

步骤4、调度将下一个爬取的URL返回给引擎，引擎通过下载中间件发送到下载器；

步骤5、当网页被下载器下载完成以后，响应内容通过下载中间件被发送到爬行器引擎；

步骤6、爬行器引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理；

步骤7、蜘蛛处理响应并返回爬取到的项目，然后给爬行器引擎发送新的请求；

步骤8、爬行器引擎将抓取到的项目发送到项目管道，并向调度发送请求；

步骤9、返回步骤2直到调度中没有请求，然后断开引擎与域之间的联系。

本发明的技术方案具有以下有益效果：

本发明的技术方案，以药品、食品、医疗器械安全行业标准和海量数据作为支撑，数据源是政府机构以及终端安全认证用户的数据积累以及中外FDA安全文献，其为政府机构和终端安全认证机构进行使用，是垂直行业专用搜索引擎，搜索的结果具有保密、可靠、准确、实时且智能等特点，为终端用户提供拉和推双通道智能服务，并与公司的药品、食品、医疗器械安全产业链云计算集群服务平台实现互联互通。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明实施例所述的用于安全产业链的智能垂直搜索装置原理框；

图2为用于安全产业链的智能垂直搜索装置工作框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，一种用于安全产业链的智能垂直搜索装置，包括

爬行器引擎即搜索器引擎：爬行器引擎用来控制整个系统的数据处理流程，并进行事务处理的触发；

调度：调度程序从爬行器引擎接收请求并排序列入队列，并在爬行器引擎发出请求后返还给调度程序；

下载器：下载器抓取网页并将网页内容返还给蜘蛛；

蜘蛛：蜘蛛是爬行器用户自己定义用来解析网页并抓取制定URL返回的内容的类，每个蜘蛛能处理一个域名或一组域名，即用来定义特定网站的抓取和解析规则；

搜索因子库：包括标准因子库、权重因子库和域库：标准因子库记载药和器械的数据，也就是第一搜索对象，域库：负责权威认证的互联网范围；

项目管道：项目管道负责处理蜘蛛从网页中抽取的项目，验证和存储数据，当页面被蜘蛛解析后，将被发送到项目管道；项目管道通常执行的过程有：清洗HTML数据，验证解析到的数据即检查项目是否包含必要的字段，检查是否是重复数据如果重复就删除，将解析到的数据存储到数据库中；

下载器中间件：下载中间件是位于爬行器引擎和下载器之间的钩子框架，负责处理爬行器引擎与下载器之间的请求及响应；

蜘蛛中间件：蜘蛛中间件是介于爬行器引擎和蜘蛛之间的钩子框架，负责处理蜘蛛的响应输入和请求输出；提供一个自定义代码的方式来拓展爬行器的功能；

调度中间件：调度中间件是介于爬行器引擎和调度之间的中间件，负责处理从爬行器引擎发送到调度的请求和响应，并提供了一个自定义的代码来拓展爬行器的功能。

搜索装置还包括，安全认证模块：负责内部用户安全认证；

用户行为识别记忆模块：负责垂直闭环搜索中用户的智能行为识别和记忆，为用户提供智能使用导向和服务。

具体为：

1)爬行器Engine(搜索器引擎)：爬行器引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。

2)Scheduler(调度)：调度程序从爬行器引擎接收请求并排序列入队列，并在爬行器引擎发出请求后返还给他们。

3)Downloader(下载器)：下载器的主要职责是抓取网页并将网页内容返还给蜘蛛(Spiders)。

4)Spiders(蜘蛛)：蜘蛛是有爬行器用户自己定义用来解析网页并抓取制定URL返回的内容的类，每个蜘蛛都能处理一个域名或一组域名。换句话说就是用来定义特定网站的抓取和解析规则。

5)搜索因子库：是垂直行业权威搜索因子，主要包括标准因子库(药和器械)，也就是第一搜索对象；权重因子库；域库，负责权威认证的互联网范围。

6)Item Pipeline(项目管道)：项目管道的主要责任是负责处理有蜘蛛从网页中抽取的项目，他的主要任务是验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。每个项目管道的组件都是有一个简单的方法组成的Python类。获取了项目并执行类的方法，同时还需要确定的是是否需要在项目管道中继续执行，下一步或是直接丢弃掉不处理。项目管道通常执行的过程有：清洗HTML数据、验证解析到的数据(检查项目是否包含必要的字段)、检查是否是重复数据(如果重复就删除)、将解析到的数据存储到数据库中。

7)Downloader middlewares(下载器中间件)：下载中间件是位于爬行器引擎和下载器之间的钩子框架，主要是处理爬行器引擎与下载器之间的请求及响应。它提供了一个自定义的代码的方式来拓展爬行器的功能。下载中间器是一个处理请求和响应的钩子框架。他是轻量级的，对爬行器尽享全局控制的底层的系统。

8)Spider middlewares(蜘蛛中间件)：蜘蛛中间件是介于爬行器引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。它提供一个自定义代码的方式来拓展爬行器的功能。蜘蛛中间件是一个挂接到爬行器的蜘蛛处理机制的框架，你可以插入自定义的代码来处理发送给蜘蛛的请求和返回蜘蛛获取的响应内容和项目。

9)Scheduler middlewares(调度中间件)：调度中间件是介于爬行器引擎和调度之间的中间件，主要工作是处从爬行器引擎发送到调度的请求和响应。他提供了一个自定义的代码来拓展爬行器的功能。

10)安全认证模块：负责集群平台内部用户安全认证，类似于QQ认证登录；

11)用户行为识别记忆：负责垂直闭环搜索中用户的智能行为识别和记忆，为用户提供智能使用导向和服务。

同时本发明技术方案公开一种用于安全产业链的智能垂直搜索装置的搜索方法，包括以下步骤：

步骤1、爬行器引擎打开一个域名，蜘蛛处理这个域名，并让蜘蛛获取第一个爬取的URL；

步骤2、引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度；

步骤3、引擎从调度那获取下一步进行爬取的页面；

步骤4、调度将下一个爬取的URL返回给引擎，引擎通过下载中间件发送到下载器；

步骤5、当网页被下载器下载完成以后，响应内容通过下载中间件被发送到爬行器引擎；

步骤6、爬行器引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理；

步骤7、蜘蛛处理响应并返回爬取到的项目，然后给爬行器引擎发送新的请求；

步骤8、爬行器引擎将抓取到的项目发送到项目管道，并向调度发送请求；

步骤9、返回步骤2直到调度中没有请求，然后断开引擎与域之间的联系。

在其搜索引擎技术架构集群里，当一个任务被提交的时候，任务线程和工作线程两个角色分别启动任务类线程和工作类线程。对于一个爬行器的作业，当任务类线程启动完成后，会通知工作类线程，工作类线程等待所有工作类线程启动完成后开始运行作业。在一个爬行器作业任务中启动时，会启动一个消息队列(Message Queue，主要操作是put和get行为，工作类抓取到的对象会被put到队列中，而要抓取新的对象时，只要从队列中取即可)，每个工作线程角色上都存在消息队列节点，同时会有一个去重模块(bloom filter实现)。其搜索引擎技术架构如图2所示：

本发明技术方案可应用于分布式云计算和大数据Big Data技术，由云计算网络、APP/Mobile APP、PC、iPad等终端组成。用户需要先通过药品、食品、医疗器械安全产业链云计算集群服务平台安全认证，或者向申请并通过认证的社会公众用户，方可使用。本搜索引擎提供两种服务模式：

1)嵌入在药品、食品、医疗器械安全产业链云计算集群服务平台内部，是一个类似于集群平台中的精灵，随时提供搜索服务，并及时提供用户智能安全服务；

2)Mobile APP，用户通过手机下载，进行安全认证登录后，即可使用，服务模式类似QQ、百度、搜狗弹出广告栏等。

本技术方案还使用以下技术，物理连接，也包括通过Wi-Fi、3G、4G、GPRS等多种无线连接方式，连接终端包括PC、手机、IPad等多种支持Mobile APP的应用设备，只要信号和数据能可靠传输即可。

多个分布式终端设备及用户，其分布于各个生产企业、流通企业、使用机构以及监管机构，可以使用PC、iPad、Mobile phone多种电子设备使用。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种用于安全产业链的智能垂直搜索装置，其特征在于，包括

爬行器引擎即搜索器引擎：爬行器引擎用来控制整个系统的数据处理流程，并进行事务处理的触发；

调度：调度程序从爬行器引擎接收请求并排序列入队列，并在爬行器引擎发出请求后返还给调度程序；

下载器：下载器抓取网页并将网页内容返还给蜘蛛；

蜘蛛：蜘蛛是爬行器用户自己定义用来解析网页并抓取制定URL返回的内容的类，每个蜘蛛能处理一个域名或一组域名，即用来定义特定网站的抓取和解析规则；

搜索因子库：包括标准因子库、权重因子库和域库：标准因子库记载药和器械的数据，也就是第一搜索对象，域库：负责权威认证的互联网范围；

项目管道：项目管道负责处理蜘蛛从网页中抽取的项目，验证和存储数据，当页面被蜘蛛解析后，将被发送到项目管道；项目管道通常执行的过程有：清洗HTML数据，验证解析到的数据即检查项目是否包含必要的字段，检查是否是重复数据如果重复就删除，将解析到的数据存储到数据库中；

下载器中间件：下载中间件是位于爬行器引擎和下载器之间的钩子框架，负责处理爬行器引擎与下载器之间的请求及响应；

蜘蛛中间件：蜘蛛中间件是介于爬行器引擎和蜘蛛之间的钩子框架，负责处理蜘蛛的响应输入和请求输出；提供一个自定义代码的方式来拓展爬行器的功能；

调度中间件：调度中间件是介于爬行器引擎和调度之间的中间件，负责处理从爬行器引擎发送到调度的请求和响应，并提供了一个自定义的代码来拓展爬行器的功能。

2.根据权利要求1所述的用于安全产业链的智能垂直搜索装置，其特征在于，还包括，

安全认证模块：负责内部用户安全认证；

用户行为识别记忆模块：负责垂直闭环搜索中用户的智能行为识别和记忆，为用户提供智能使用导向和服务。

3.一种权利要求2所述的用于安全产业链的智能垂直搜索装置的搜索方法，其特征在于，包括以下步骤：

步骤1、爬行器引擎打开一个域名，蜘蛛处理这个域名，并让蜘蛛获取第一个爬取的URL；

步骤2、引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度；

步骤3、引擎从调度那获取下一步进行爬取的页面；

步骤4、调度将下一个爬取的URL返回给引擎，引擎通过下载中间件发送到下载器；

步骤5、当网页被下载器下载完成以后，响应内容通过下载中间件被发送到爬行器引擎；

步骤6、爬行器引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理；

步骤7、蜘蛛处理响应并返回爬取到的项目，然后给爬行器引擎发送新的请求；

步骤8、爬行器引擎将抓取到的项目发送到项目管道，并向调度发送请求；

步骤9、返回步骤2直到调度中没有请求，然后断开引擎与域之间的联系。