CN101320373B - 网站支撑数据库安全搜索引擎系统 - Google Patents

Abstract

本发明公开了一种网站支撑数据库安全搜索引擎系统。系统对网站支撑数据库存放的网页文本信息的访问角色信息和显示网址进行描述；直接对网页文本信息建立索引，索引中包含显示网址信息和访问角色信息；按照用户提交的查询关键字从牵引库中获取匹配的记录，根据用户所对应的访问控制规则对匹配记录进行过滤，并返回给用户；用户通过原始页面查看网页文本信息。本发明实现对网站文本信息的深度、全面搜索，索引中包含网页文本信息的访问角色信息，用户只能查看到其权限许可范围内的网页文本信息，实现安全搜索，索引中包含网页文本信息的显示网址信息，用户通过显示网址信息在原始页面中查看网页文本信息，继承传统搜索引擎突出的优点，符合用户操作习惯。

Description

网站支撑数据库安全搜索引擎系统 

技术领域

本发明属于计算机检索技术，具体涉及一种网站支撑数据库安全搜索引擎系统，该系统结合了互联网搜索引擎、数据库全文检索及基于访问控制的搜索引擎等技术，对网站支撑数据库中所存放的网页文本信息及其描述信息建立索引，用户可检索出其权限许可范围内的所有文本资源，并以原始网页的形式展示文本资源。 

背景技术

随着互联网技术的迅猛发展，越来越多的企业和组织用网站的形式发布消息和资源、实现业务流程，这种方式极大地方便了管理者对资源的管理和用户对资源的访问和使用。随着信息资源不断完善丰富、业务流程灵活性要求不断提高，通过静态页面的超级链接的形式访问所有的信息资源已经不够现实，一些资源往往需要用户在特定页面中选择或输入相关条件后才能在网页上显示出来。同时，不同的企业或组织为了自身的利益或其他目的对其网站中的资源实施访问控制，将不同资源的访问权限授予不同的用户群体，访问控制技术在提高资源安全性的同时，也为搜索引擎对资源的检索设置了障碍。 

传统搜索引擎系统通过爬行器对所有的网站资源进行爬行，对所获得的资源通过分词等技术建立全文索引文件，并将所建立的全文索引文件置于服务器端，当用户查询资源时，搜索程序通过分词技术将用户查询条件分解为索引项在已建立的索引文件中进行搜索，并将搜索到的结果反馈给用户。由此可以看出，传统搜索引擎系统无法采集到受控的资源，比如不同权限的用户可访问不同的资源。其次，传统搜索引擎系统注重通用性，不会获取用户身份，因此无法根据用户的不同而返回不同的搜索结果。 

基于访问控制的安全搜索引擎系统对传统搜索引擎系统进行改进，不仅能够对网络中受安全访问控制下的文件进行信息检索，还能够对安全访 问控制下的资源进行分析，并通过用户信息建立索引，自动实现对复杂访问控制环境下受控资源的检索与访问。该系统解决了传统搜索引擎系统不能检索受控资源的问题，可以根据用户身份信息检索到用户权限许可范围内的网页资源，但是该系统只能检索到爬行器所能收集到的网页资源，对于爬行器不能收集到的资源则无能为力，如上文所述，网站中大量的资源往往需要用户在特定页面中选择或输入相关条件后才能在网页上显示出来，对于这部分资源基于访问控制的安全搜索引擎则无法检索。 

数据库全文检索系统对数据库的文本字段建立索引，在索引的支持下能够实现很高的查全率。将数据库全文检索系统直接用于网站支撑数据库存在以下两个问题：第一个问题是安全问题，系统虽然能够保证查全率，但是不能根据用户的身份确定用户所能查看的信息资源，使得该系统无法应用于有受控资源的网站，现有一些数据库全文检索产品通过为用户和资源指定安全标签实现分级访问控制，能够部分解决这个问题，但是由于分级访问控制较为僵化，无法适应于现代电子政务和电子商务的灵活性需求；第二个问题是查询结果显示问题，数据库全文检索系统往往通过定制界面展示检索到的信息资源，而搜索引擎系统往往在检索出信息资源后以原始页面的形式显示该信息，以原始页面的形式显示信息除了更符合用户习惯外，显示页面前还要通过网站的访问控制检查，更加安全。数据库全文检索系统的一个典型代表是北京拓尔思信息技术有限公司的TRS产品，该产品就存在上述的两个问题，一是采用分级访问控制方法，过于僵化不能满足各种组织的灵活的访问控制需求，二是不能以原始网页的形式显示检索出的信息，除了不符合用户习惯外还避开网站的访问控制检查，还存在安全隐患。 

发明内容

本发明的目的在于提供一种网站支撑数据库安全搜索引擎系统，该系统能够对存放网页文本信息的数据库进行深度检索，并且查全率高，安全性强。 

本发明提供的网站支撑数据库安全搜索引擎系统，其特征在于：该系统包括登录模块、访问控制模块、数据库、数据库更新探测模块、信息描述模块、索引模块、索引库和检索模块；

登录模块用于接受用户提供的身份信息并进行认证； 

访问控制模块用于控制用户对资源网页的访问，用户通过登录模块的认证后，从访问控制模块获取用户的角色信息，当用户请求访问资源网页时，访问控制模块对比用户的角色信息和允许访问该资源网页的角色信息进行访问控制，通过访问控制的用户请求被授权访问资源网页；当访问控制模块改变网页文本信息的访问角色信息，访问控制模块向信息描述模块提交网页文本信息的显示网址和改变后的访问角色信息； 

数据库用于支撑网站的运行，存储网页中显示的文本信息以及该文本信息的访问角色信息和显示网址信息； 

数据库更新探测模块用于探测数据库中数据表的更新，当探测到数据库中数据表有新增网页文本信息条目时通知信息描述模块，信息描述模块将该新增网页文本信息的访问角色信息和显示网址信息写回数据库的数据表中；当数据库更新探测模块探测到数据库中数据表中网页文本信息、网页文本信息的访问角色信息及显示网址信息有更新时通知索引模块； 

信息描述模块为管理员提供一个对数据库中数据表中存放的网页文本信息的访问角色信息和显示网址进行描述的接口，根据网站的业务逻辑确定网页文本信息的显示网址，根据访问控制模块的访问控制逻辑确定网页文本信息的访问角色信息； 

索引模块从数据库中获取网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息，并实时地更新索引库中的索引； 

索引库中存放索引模块根据从数据库中获取的信息所建立的索引； 

检索模块为用户提供搜索引擎的使用界面，并提供搜索服务，搜索引擎的使用界面接受通过登录模块认证的用户的查询关键字，对关键字进行分词，检索模块向访问控制模块提交用户角色信息，获取该角色对应的访问控制规则；根据关键字分词结果和用户请求中携带的访问控制规则对索引库进行检索，对从索引库返回命中的记录用用户对应角色信息的访问控制规则进行过滤，确定用户所能查看的网页文本信息，并返回网页文本信 息的显示网址信息。 

本发明提出的网站支撑数据库安全搜索引擎系统部署后能够对存放网页文本信息的数据库进行深度检索，不仅能够对网页中现存的文本信息进行信息检索，还能够对需要用户在网页中输入相关查询条件后才能在网页中显示出的文本信息进行信息检索；被检索的文本信息既包括公开网页中的文本信息，也包括受安全访问控制网页中的文本信息。本发明系统在信息描述模块和数据库的支持下，索引模块对数据库中的网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息建立索引，检索模块利用索引库为用户提供检索服务，为用户提供其权限许可范围内所有满足检索条件的网页文本信息，并以原始网页的形式展现给用户。由于大量存在需要用户在网页中输入相关查询条件后才能在网页中显示出的文本信息，普通的搜索引擎系统无法对网站进行深度搜索，无法检索出需要用户在网页中输入相关查询条件后才能在网页中显示出的文本信息。普通的数据库检索工具能够对网站支撑数据库进行深度搜索，但是不能适应复杂访问控制策略，而且检索结果不能以原始网页的形式展现给用户。具体而言，本发明具有如下优点： 

(1)查全率高：本系统针直接对网站支撑数据库中的网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息建立索引，不仅能够对网页中现存的文本信息进行信息检索，还能够对需要用户在网页中输入相关查询条件后才能在网页中显示出的文本信息进行信息检索，对网站进行深度搜索。 

(2)安全性强：本系统的信息描述模块根据访问控制模块的访问控制逻辑确定网页文本信息的访问角色信息，索引模块在对网页文本信息建立索引的同时，将网页文本信息的访问角色信息也添加到索引中，检索模块根据关键字分词结果和用户请求中携带的用户角色信息对索引库进行检索，对比用户请求中携带的角色信息和索引库中所存放的网页文本信息的访问角色信息，确定用户所能查看的网页文本信息，并返回网页文本信息的显示网址信息，提供给用户的网址都是用户权限许可范围内网址，确保网页文本信息的安全。 

附图说明

图1是本发明系统的结构示意图。 

图2是本发明系统中信息描述模块结构示意图。 

图3是本发明系统中数据库中存放网页文本信息及其显示网址和访问控制信息的表结构。 

图4是本发明系统中检索模块结构示意图。 

图5是本发明系统的检索工作流程图。 

具体实施方式

如图1所示，本发明系统包括登录模块100、访问控制模块200、数据库600、数据库更新探测模块800、信息描述模块700、索引模块400、索引库500和检索模块300。 

登录模块100接受用户提供的身份信息并进行认证，如果认证通过，登录模块100根据用户标识从访问控制模块200获取该用户的角色信息，将角色信息添加在用户会话中并转向用户请求资源网页，如果认证没有通过，则拒绝用户登录并返回错误信息； 

访问控制模块200用于控制用户对资源网页的访问，用户通过登录模块100的认证后，从访问控制模块200获取用户的角色信息，当用户请求访问资源网页时对比用户的角色信息和允许访问该资源网页的角色信息进行访问控制，通过访问控制的用户请求被授权访问资源网页，没有通过访问控制的用户请求被拒绝；当访问控制模块200改变网页文本信息的访问角色信息，访问控制模块200向信息描述模块700提交网页文本信息的显示网址和改变后的访问角色信息； 

数据库600用于支撑网站的运行，存储网页中显示的文本信息以及该文本信息的访问角色信息和显示网址信息； 

数据库更新探测模块800用于探测数据库600中数据表的更新，当探 测到数据库600中数据表有新增网页文本信息条目时通知信息描述模块700，信息描述模块700将该新增网页文本信息的访问角色信息和显示网址信息写回数据库600的数据表中；当数据库更新探测模块800探测到数据库600中数据表中网页文本信息、网页文本信息的访问控制角色信息及显示网址信息有更新时通知索引模块400； 

信息描述模块700为管理员提供一个对数据库600中数据表中存放的网页文本信息的访问角色信息和显示网址进行描述的接口，根据网站的业务逻辑确定网页文本信息的显示网址，根据访问控制模块200的访问控制逻辑确定网页文本信息的访问角色信息，网页文本信息的访问角色信息确定哪些角色可以访问该网页文本信息，网页文本信息的显示网址确定网页文本信息的显示网址；当网站的业务逻辑发生变化造成网页文本信息的显示网址发生变化时，信息描述模块700更新数据库600中数据表中存放的对应网页文本信息的显示网址，将更新后的显示网址提交给访问控制模块200以获取网页文本信息的访问角色信息，信息描述模块700更新数据库600中数据表中存放的对应网页文本信息的访问角色信息；当数据库更新探测模块800探测到数据库600中数据表有新增网页文本信息条目通知信息描述模块700时，信息描述模块700根据网站的业务逻辑确定新增网页文本信息的显示网址，从访问控制模块200获取网页文本信息的访问角色信息，将网页文本信息的显示网址和访问角色信息写回数据库600中；当访问控制模块200改变网页文本信息的访问角色信息，访问控制模块200向信息描述模块700提交网页文本信息的显示网址和改变后的访问角色信息，信息描述模块700将接收到的网页文本信息的访问角色信息写入数据库600的数据表对应条件的访问角色字段。 

索引模块400从数据库600中获取网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息，网页文本信息由数据库600中数据表的若干字段组成，对所获取的这些信息建立索引，存放在索引库500，当数据库更新探测模块800探测数据库600中网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息的更新时将更新通知索引模块400，索引模块400接到通知后实时地更新索引库500中的索引； 

索引库500中存放索引模块400根据从数据库600中获取的信息所建立的索引； 

检索模块300为用户提供搜索引擎的使用界面，并提供搜索服务，搜索引擎的使用界面接受通过登录模块100认证的用户的查询关键字，对关键字进行分词，根据关键字分词结果和用户请求中携带的用户角色信息对索引库500进行检索，对比用户请求中携带的角色信息和索引库500中所存放的网页文本信息的访问角色信息，确定用户所能查看的网页文本信息，并返回网页文本信息的显示网址信息； 

整个网站支撑数据库安全搜索引擎系统模块功能描述以及模块间的数据流传递细节如下： 

整个系统流程包括： 

(1)对数据库中存放的网页文本信息的访问角色信息和显示网址进行描述，其过程包括： 

信息描述流程针对的对象是管理员用户，管理员用户通过系统提供的接口对数据库中存放的网页文本信息的访问角色信息和显示网址进行描述，具体流程如下： 

(1.1)管理员使用登录模块100输入登录信息。 

(1.2)登录模块100通对用户输入的登录信息进行认证，如果认证通过，则登录模块100从访问控制模块200获取该管理员用户的角色信息，并对其开放管理员权限(即可对数据库中存放的网页文本信息的访问角色信息和显示网址进行描述)，进入步骤(1.3)，否则返回登录失败信息，退出流程。 

(1.3)管理员通过信息描述模块700向数据库600提交网页文本信息的访问角色信息和显示网址，网页文本信息的显示网址由网站的业务逻辑确定，网页文本信息的访问角色信息由访问控制模块200的访问控制逻辑确定。 

(2)索引模块400从数据库600中获取网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息建立索引，其过程包括： 

索引模块400对从数据库600中获取网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息建立索引分为两个阶段，第一个阶段为初始化阶段，第二个阶段为实时更新阶段，两个阶段的具体流 程如下： 

(2.1)初始化阶段索引模块400遍历数据库中存放网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息的数据表(数据表为物理存在的表或者由多个物理存在的表通过连接操作而成的逻辑数据表)，对数据表中的每条记录里的存放网页文本信息的字段建立索引，同时在索引中加入网页文本信息的访问角色信息及网页文本信息的显示网址信息，建立的索引存放于索引库500中。 

(2.2)实时更新阶段索引模块400实时接收数据库更新探测模块800的更新通知，接收到数据库600中网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息的更新通知时，更新索引库500，保证索引库和数据库的实时同步。 

(3)向用户提供搜索服务，其过程包括： 

搜索流程针对的对象是所有使用该系统的用户，用户通过登录模块100进行身份认证并获得自己的角色信息，然后通过检索模块300提交查询关键字，即能够得到该用户权限许可范围内的查询结果。 

(3.1)用户通过登录模块100进行身份认证后，从访问控制模块200获得自己的角色信息，然后在检索模块300为用户提供搜索引擎的使用界面上输入查询关键字。 

(3.2)检索模块300向索引库500提交用户提供的关键字，在索引库中找到匹配关键字的所有条目，向访问控制模块200提交用户携带的角色信息和被检索出条目的访问角色信息，由访问控制模块200根据其访问控制规则确定用户所能访问的被检索出的条目，并将这些用户所能访问的命中条目的网页文本信息显示网址排序后返回给用户。 

信息描述模块700可以采用如图2所示的功能模块予以具体实现，它包括网页文本信息的显示网址描述模块720、网页文本信息的访问角色信息描述模块710，信息描述模块700有系统初始化阶段和守候阶段两个工作阶段，信息描述模块700在这两个阶段时网页文本信息的显示网址描述模块720和网页文本信息的访问角色信息描述模块710的详细功能流程如下： 

信息描述模块700处于初始化阶段时，网页文本信息的显示网址描述 模块720从数据库600的数据表中依次获取条目的主键ID，数据表的内容如图3所示，包括ID、网页文本信息、访问角色、显示网址等字段，根据网站的业务逻辑确定该主键ID所对应的网页文本信息的显示网址信息，将所获得的显示网址信息写回数据库600的数据表中的显示网址字段；网页文本信息的访问角色信息描述模块710从数据库600的数据表中依次获取条目的显示网址，将所获得的显示网址提交给访问控制模块200，访问控制模块200确定显示网址的访问角色信息，并将访问角色信息返回网页文本信息的访问角色信息模块710，网页文本信息的访问角色信息模块710将所获得的访问角色信息写回数据库600的数据表中的访问角色字段。 

信息描述模块700处于守候阶段时，当网站的业务逻辑发生变化造成网页文本信息的显示网址发生变化时，网页文本信息的显示网址描述模块720更新数据库600中数据表中存放的对应网页文本信息的显示网址，将更新后的显示网址提交给访问控制模块200以获取网页文本信息的访问角色信息，网页文本信息的访问角色信息描述模块710更新数据库600中数据表中存放的对应网页文本信息的访问角色信息；当数据库更新探测模块800探测到数据库600中数据表有新增网页文本信息条目通知信息描述模块700时，网页文本信息的显示网址描述模块720从数据库600的数据表中获取新增条目的主键ID，根据网站的业务逻辑确定该主键ID所对应的网页文本信息的显示网址信息，将所获得的显示网址信息写回数据库600的数据表中的显示网址字段，将所获得的显示网址提交给访问控制模块200以获取网页文本信息的访问角色信息，网页文本信息的访问角色信息描述模块710更新数据库600中数据表中存放的对应网页文本信息的访问角色信息；当访问控制模块200改变网页文本信息的访问角色信息，访问控制模块200向网页文本信息的访问角色信息描述模块710提交网页文本信息的显示网址和改变后的访问角色信息，网页文本信息的访问角色信息描述模块710将接收到的网页文本信息的访问角色信息写入数据库600的数据表对应条件的访问角色字段。 

检索模块300以索引库500为基础，为用户提供安全的深度搜索服务。查询检索模块300包括关键字提交模块310、后台检索模块320和快照生成模块330。 

用户通过登录模块100的认证后，从访问控制模块200获取用户的角色信息，向关键字提交模块310提交查询关键字，关键字提交模块310获得用户输入的查询关键字后，将关键字分割成若干个具有词义的单词，并将分词后的关键字及用户请求中所携带的用户角色信息传递给后台检索模块320；后台检索模块320向访问控制模块200提交用户角色信息，获取该角色对应的访问控制规则，后台检索模块320将接收到的关键字提交给索引库500进行检索，然后根据从访问控制模块200获取的角色对应的访问控制规则从索引库500获取用户权限许可范围内的检索结果并排序；快照生成模块330能够根据返回结果集生成结果快照，使检索结果易于阅读，并负责生成结果页面将结果显示给用户。 

检索模块300内各模块间的数据流传递细节如下：关键字提交模块310在收到登录模块100传递来的查询关键字和用户角色信息，对查询关键字进行适当策略的分词，使检索结果更加精准，然后将分词后的检索词及用户角色信息提交给后台检索模块320；后台检索模块320接收分词后的检索词以及用户角色信息，将用户角色信息提交给访问控制模块200，从访问控制模块200获取该角色对应的访问控制规则，然后将关键词提交给索引库500与索引中对应域进行匹配，对从索引库600返回命中的记录用用户对应角色信息的访问控制规则进行过滤，对过滤后的返回结果集进行排序，然后将结果集与关键词交给快照生成模块330，其中结果集中的每条结果记录包括网页URL、标题和内容四个域；快照生成模块330将索引标题和内容字段中与关键词相关内容高亮显示，并在内容字段中取出最相关的段落显示在结果返回页面，使用户更加直观地阅读结果集，流程如图5所示。 

Claims (3)

1.一种网站支撑数据库安全搜索引擎系统，其特征在于：该系统包括登录模块(100)、访问控制模块(200)、数据库(600)、数据库更新探测模块(800)、信息描述模块(700)、索引模块(400)、索引库(500)和检索模块(300)；

登录模块(100)用于接受用户提供的身份信息并进行认证；

访问控制模块(200)用于控制用户对资源网页的访问，用户通过登录模块(100)的认证后，从访问控制模块(200)获取用户的角色信息，当用户请求访问资源网页时，访问控制模块(200)对比用户的角色信息和允许访问该资源网页的角色信息进行访问控制，通过访问控制的用户请求被授权访问资源网页；当访问控制模块(200)改变网页文本信息的访问角色信息，访问控制模块(200)向信息描述模块(700)提交网页文本信息的显示网址和改变后的访问角色信息；

数据库(600)用于支撑网站的运行，存储网页中显示的文本信息以及该文本信息的访问角色信息和显示网址信息；

数据库更新探测模块(800)用于探测数据库(600)中数据表的更新，当探测到数据库(600)中数据表有新增网页文本信息条目时通知信息描述模块(700)，信息描述模块(700)将该新增网页文本信息的访问角色信息和显示网址信息写回数据库(600)的数据表中；当数据库更新探测模块(800)探测到数据库(600)中数据表中网页文本信息、网页文本信息的访问角色信息及显示网址信息有更新时通知索引模块(400)；

信息描述模块(700)为管理员提供一个对数据库(600)中数据表中存放的网页文本信息的访问角色信息和显示网址进行描述的接口，根据网站的业务逻辑确定网页文本信息的显示网址，根据访问控制模块(200)的访问控制逻辑确定网页文本信息的访问角色信息；

索引模块(400)从数据库(600)中获取网页文本信息、网页文本信息的访问角色信息及网页文本信息的显示网址信息，并实时地更新索引库 (500)中的索引；

索引库(500)中存放索引模块(400)根据从数据库(600)中获取的信息所建立的索引；

检索模块(300)为用户提供搜索引擎的使用界面，并提供搜索服务，搜索引擎的使用界面接受通过登录模块(100)认证的用户的查询关键字，对关键字进行分词，检索模块(300)向访问控制模块(200)提交用户角色信息，获取该角色对应的访问控制规则；根据关键字分词结果和用户请求中携带的访问控制规则对索引库(500)进行检索，对从索引库(600)返回命中的记录用用户对应角色信息的访问控制规则进行过滤，确定用户所能查看的网页文本信息，并返回网页文本信息的显示网址信息。

2.根据权利要求1所述的网站支撑数据库安全搜索引擎系统，其特征在于：

信息描述模块(700)包括网页文本信息的访问角色信息描述模块(710)和网页文本信息的显示网址描述模块(720)；

网页文本信息的访问角色信息描述模块(710)用于从数据库(600)的数据表中依次获取条目的显示网址，将所获得的显示网址提交给访问控制模块(200)，并将所获得的访问角色信息写回数据库(600)的数据表中的访问角色字段；

网页文本信息的显示网址描述模块(720)从数据库(600)的数据表中获取新增条目的主键ID，根据网站的业务逻辑确定该主键ID所对应的网页文本信息的显示网址信息，将所获得的显示网址信息写回数据库(600)的数据表中的显示网址字段。

3.根据权利要求1或2所述的网站支撑数据库安全搜索引擎系统，其特征在于： 

检索模块(300)包括关键字提交模块(310)、后台检索模块(320)和快照生成模块(330)； 

关键字提交模块(310)通过登录模块(100)获得用户输入的查询关键字后，将关键字分割成若干个具有词义的单词，并将分词后的关键字及 用户请求中所携带的用户角色信息传递给后台检索模块(320)； 

后台检索模块(320)用于向访问控制模块(200)提交用户角色信息，获取该角色对应的访问控制规则，后台检索模块(320)将接收到的关键字提交给索引库(500)进行检索，然后根据从访问控制模块(200)获取的角色对应的访问控制规则从索引库(500)获取用户权限许可范围内的检索结果并排序； 

快照生成模块(330)根据返回结果集生成结果快照，并负责生成结果页面将结果显示给用户。 

Images