CN102103595A

CN102103595A - 一种基于搜索引擎的群体智能系统

Info

Publication number: CN102103595A
Application number: CN2009101888796A
Authority: CN
Inventors: 吴桂荣
Original assignee: Individual
Current assignee: Individual
Priority date: 2009-12-16
Filing date: 2009-12-16
Publication date: 2011-06-22

Abstract

本发明涉及一种基于搜索引擎的智能群体系统。系统实现自动知识网络发现、分析与挖掘，优化信息检索结果质量。本发明，利用用户在信息检索中思维活动过程，将用户作为群体智能系统的信息处理单元，设置处理逻辑。将用户检索过程行为及特征作为知识节点，推断其与潜在知识的概率测度，合成潜在知识网。通过大量用户间的搜索行为及特征进行交叉与融合，将潜在知识网络利用共有节点合并，实现语义及知识关联。在信息检索时，根据知识网络路径提供最优搜索结果，形成群体正向反馈，启发式寻优。

Description

一种基于搜索引擎的群体智能系统

所属技术领域

本发明涉及一种人机交互信息检索处理系统。使用群体智能、蚁群算法、数据挖掘和搜索引擎技术，分析和利用用户信息检索过程的思维活动，通过证据理论及不确定性推理对信息处理，产生知识网络集，提高检索结果质量。

背景技术

一、人工智能

人工智能(Artificial Intelligence)，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。“人工智能”一词最初是在1956年Dartmouth学会上提出的。从那以后，研究者们发展了众多理论和原理，人工智能的概念也随之扩展。人工智能涉及到其它诸如意识、自我、心灵(包括无意识的精神)等等问题。目前对人工智能的定义大多可划分为四类，即机器“像人一样思考”、“像人一样行动”、“理性地思考”和“理性地行动”。这里“行动”应广义地理解为采取行动，或制定行动的决策。

人工智能特点是利用计算机技术，建立智能数据库，通过某种策略让计算机像人类一样思考，按照相应的规范和要求，作出预期的行动和决策。

二、蚁群算法与群体智能

蚁群算法(ant colony optimization，ACO)，又称蚂蚁算法，是一种用来在图中寻找优化路径的机率型算法。它由Marco Dorigo于1992年在他的博士论文中提出，其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。

各个蚂蚁在没有事先告诉他们食物在什么地方的前提下开始寻找食物。其中一只找到食物以后，它会向环境释放一种信息素，吸引其他的蚂蚁过来，这样越来越多的蚂蚁会找到食物！有些蚂蚁并没有象其它蚂蚁一样总重复同样的路，他们会另辟蹊径，如果令开辟的道路比原来的其他道路更短，渐渐，更多的蚂蚁被吸引到这条较短的路上来。最后，经过一段时间运行，可能会出现一条最短的路径被大多数蚂蚁重复着。

蚁群算法是一种模拟进化算法，初步的研究表明该算法具有许多优良的性质。将蚁群算法设计的结果与遗传算法设计的结果进行了比较，数值仿真结果表明，蚁群算法具有一种新的模拟进化优化方法的有效性和应用价值。

蚁群算法是一种求解组合最优化问题的新型通用启发式方法，该方法具有正反馈、分布式计算和富于建设性的贪婪启发式搜索的特点。

群体智能是近年来发展迅速的人工智能学科领域。通过研究分散、自组织的动物群体和人类社会的智能行为，学者们提出了许多迥异于传统思路的智能算法，很好地解决了不少原来非常棘手的复杂工程问题。

三、搜索引擎

随着网络信息资源的急剧增长，人们越来越多地关注如何快速有效地从海量的网络信息中，抽取出潜在的、有价值的信息，使之有效地在判断、思考、决策中发挥作用。搜索引擎一般由搜索器、索引器、检索器和用户接口四个部分组成。①搜索器：其功能是在互联网中漫游，发现和搜集信息。它要尽可能多、尽可能快地搜集新信息和定期更新旧信息，以避免死连接和无效连接，为此搜索器的实现常采用分布式、并行计算技术，以提高信息发现和更新的速度。②索引器：其功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。索引器可以使用集中式索引算法或分布式索引算法。③检索器：其功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。④用户接口：其作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。分为简单接口和复杂接口两种。简单接口只提供用户输入查询串的文本框，复杂接口可以让用户对查询进行限制[5]。

四、数据挖掘

数据挖掘是指从大型数据库的数据中提取人们感兴趣的知识，而这些知识是隐含的、事先未知的、潜在的有用信息。①分类模型。其主要功能是根据商业数据的属性将数据分派到不同的组中，通过分析分组中数据的各种属性，找出数据的属性模型。②关联模型。主要是描述了一组数据项目的密切度或关系，通过挖掘数据派生关联规则，了解客户的行为。③顺序模型。主要用于分析数据仓库中的某类与时间相关的数据，并发现某一时间段内数据的相关处理模型。它是一种在关联模型中增加了时间属性的特定的关联模型。④聚簇模型。主要用于当要分析的数据缺乏描述信息或无法组织成任何分类模式时，按照某种相近程度度量方法将用户数据分成互不相同的一些分组。进而，通过采用聚簇模型，根据部分数据发现规律，找出对全体数据的描述。根据用法不同，网络数据挖掘又分为：①网络内容挖掘。②网络结构挖掘。③网络用法挖掘。

五、不确定性理论和证据理论

无论人文社会科学的知识，还是自然科学的知识，都具有确定性和不确定性，其不确定性主要源于客现世界本身具有不确定、变动不居的性质，因此，人们的知识必定限于特定的历史阶段和特定的社会条件。知识的相对性就成了知识的不确定性的重要特征。知识的不确定性表现为：

(1)知识构成的前提就存在不确定性。知识是人类认识的结晶，其形成依赖两个前提：经验基础和理性基础。经验为知识的形成提供素材，理性对经验所提供的材料进行统整、加工、概括，二者缺一不可，然而经验常常因人而异，用既定的理性、逻辑去整理已经观察到的现实，是非常有限的，因为现实的复杂性通常超出理性与逻辑的力量。

(2)知识生成过程的不确定性。知识生产复杂多变，除了必然、逻辑、理性的因素，还充满着许多偶然的因素和非理性的力量如直觉、灵感、顿悟。弗雷明发现青霉素便是其中最为典型的一例。波兰尼的缄默知识理论亦证明“科学的进步在每一阶段都取决于难以界定的思维力量”。

(3)知识成果的不确定性。这主要体现在知识的增长与变化方面。“二战”以后出现所谓“知识爆炸”及科技成果转换加快的现象就是最好的说明。

随机性真正为人类所认识，要归功于前苏联数学家柯尔莫哥洛夫。他在测度论基础上，于1933年在其《概率论的基本概念》一文中，首次提出并建立了概率论的公理化方法，使得人们可以用数学的方法研究随机性，将“随机性”用“概率”予以量化表示。借助于随机变量的分布函数，人们可以研究随机现象的全部统计特征。

以贝叶斯公式为基础的贝叶斯理论，在人工智能中一直是处理不确定性的重要工具。贝叶斯网用图形模式表示随机变量间的依赖关系，提供一种框架结构来表示因果信息。贝叶斯网可以表达各个节点间的条件独立关系。人们可以直观地从贝叶斯网中得出属性间的条件独立以及依赖关系。另外，贝叶斯网还给出了事件的联合概率分布，根据网络结构以及条件概率表可以得到每个基本事件的概率。贝叶斯理论利用先验知识和样本数据来获得对未知样本的估计，而概率是先验信息和样本数据信息在贝叶斯理论中的表现形式。这样，贝叶斯理论使得不确定知识表示和推理在逻辑上非常清晰并且易于理解。此外，在基于概率的不确定性知识表示研究方面，Shortliff等人提出了带可信度的不确定推理之后，Dempster和Shafer又提出证据理论，引入信任函数和似然函数来描述命题的不确定性。证据理论满足比概率论弱的公理，又称为广义概率论。当先验知识很难获得时，证据理论可以区分不确定和不知道的差异，比概率论更合适。而当先验概率已知时，证据理论就变成了概率论[5]。

六、现有技术存在问题

1、人工智能技术，虽然近年来发展较快，但是一直未找到可适用于广泛领域的载体。各种神经网络、专家系统、决策系统多建立在模型基础之上，单一应用成本较高，模型效果难以验证和预测，模型同现实有一定脱节。技术难以充分利用和调动社会资源。现主要用于航空、航天、经济政策等大规模、高新科技应用。

2、数据挖掘与知识挖掘均是被动型知识挖掘，难以实现自动化知识发现要求。

3、现有的搜索技术主要是“关键字”搜索，即用户输入和结果输出必须存在关键字匹配，信息与信息之间关联，信息语义结构未被充分利用。

3、目前的搜索引擎存在搜索速度慢、死链接太多、重复信息或不相关信息较多，难以满足人们的各种信息需求，搜索引擎将向智能化、精确化、交叉语言检索、多媒体检索、专业化等适应不同用户需求的方向发展。

互联网络爆炸式的信息膨胀，存在大量的有价值信息。传统搜索引擎本身只能不断提高链接准确度，及关键字匹配度，按信息质量排名。神经网络、人工智能、数据挖掘、证据理论等技术及应用方式过于复杂，难以贴近普通民众，未能发挥出信息潜在价值。

六、参考资料

[1]蔡自兴，徐光佑人工智能及其应用北京：清华大学出版社，2004。8

[2]张文修，梁怡，徐萍基于包含度的不确定性推理北京：清华大学出版社，2007。3

[3]探讨搜索引擎技术在网络信息挖掘的应用程序员，2006

[4]徐扬，乔全喜，陈超平，秦克云不确定性推理成都：西南交通大学出版社，1994

[5]李德毅，刘常昱，杜鹢，韩旭不确定性人工智能软件学报，2004

发明内容

针对现有技术存在问题及技术趋势，本发明在搜索引擎基础上，建立群体智能系统，实现知识自动发现与挖掘，提高信息检索结果质量。

用户使用搜索引擎时，是一次连续性的思维活动过程。信息检索活动最初时，用户会使用“关键字”或“关键字组合”来检索，搜索引擎返回信息检索结果。用户选择性查看信息检索结果。然后，用户根据结果是否满意更换“关键字”或“关键字组合”重新检索。用户在检索过程中不断调整方法和策略，作出相应判断，如：质量越高的资料查看时间越长，无价值内容被快速关闭，无关联关键字被快速更换。这些信息都潜在反映了同用户意图之间关系。

系统角度观察，用户在信息检索时，思维活动过程是一个信息处理过程。信息处理内容包括关键字和检索结果。此过程具有较强的目的性。思维活动过程中涉及的信息，可以提取成一个有价值信息集。

人类社会是群体社会，将每一次信息检索活动视为“群体”中的“个体”活动。参考蚁群系统，设计基于搜索引擎的群体算法，通过正反馈，将个体思维活动作为分布式计算单元，利用贪婪启发式搜索，获得较高质量信息。现在，信息检索次数达到数亿次每日，意味着同一行为特征被多次验证的概率极高。

将用户一次信息检索思维活动过程视为一次知识证明过程。设用户最终为获取潜在知识D，潜在知识D构成包括：关键字、检索结果、结果顺序、查看内容、查看顺序、查看时长、关键字变换规律等用户行为及特征，同时还包含可靠性及之间关系。

贝斯公式也称作后验概率公式，在已知结果发生情况下，寻求结果发生原因。

P (D_{j} / x) = \frac{p (x / D_{j}) P (D_{j})}{Σ_{i = 1}^{n} P (X / D_{i}) P (D_{i})}

其中：

P(D)＝P(D)P(x/D)+P(D^c)P(x/D^c)

将用户内容查看时长、关键字变换规律等可测行为及特征，视作概率测度，用P(D)表示对用户需要获取知识D的信任程度。由于实际问题不确定性及单一用户对问题的局限性，每个用户对信息处理方式及习惯也不同，从而产生不一致的评价。但相对于n个用户，就形成一组概率测度，将这些概率测度加权平均形成一种新的概率测度，通过这组概率测度获得概率上界和概率下界，形成信任区间。利用mass函数合成信任度(内容可靠性)与似然度(相互关系)。

关键字、检索结果、结果顺序、查看内容、查看顺序、查看时长、关键字变换规律等所产生信任度、似然度及可能性、必然性，形成潜在知识的贝叶斯(Bayes)网络。通过贝叶斯(Bayes)方法扩展，由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表节点间的互相关系，用条件概率进行表达关系强度，由信任度、似然度、包含度、蕴含度关系构成。节点变量是任何信息的抽象，如：关键字，查看时长，变换规律等。

在本发明中，结果信度与似然度可体现在检索结果列表上，信任度与似然度较高内容顺序靠前。通过多用户所交叉与融合形成贝叶斯网络，检索结果从贝叶斯网络中提取信度和似然度较高的内容。根据用户检索行为及特征，将知识网络中最匹配路径内容优先提供给用户。此时，检索结果不仅仅依赖于“关键字”，包括真实语义及知识关联。如：主题可以从最初的“电脑”逐渐变成“IT行业”、“售后服务”、“品牌”。利用信任度与似然度反馈到检索结果排列顺序，能够影响到参与人判断，通过群体智能特性，迅速收敛，形成一种正向反馈过程。

传统的搜索引擎算法，易将部分高质量信息误判为低质量信息。用户查看靠后的内容概率较低，从而导致隐性缺失。假设用户为具有处理能力的智能个体，则可按一定比例将信息质量较低的信息随机出现在列表前端，通过其反馈特征，影响知识网络。

将这种交互过程视为一个智能化群体系统，每一个用户为信息处理单元，一种可编程、高效及具有不确定性处理能力的信息处理单元。通过分布式的个体计算，获得群体计算能力。整个系统成为具有知识自动发现、刷选、分析、挖掘、组合能力的智能化系统。

本技术方案与其它现有方案相比，具有如下优势：

1、充分注意到信息检索中用户个体的思维活动过程。相较于一般智能搜索算法，本发明有意识将用户视为一个信息处理单元，通过设计基于群体智能的分布式计算，将人类思维这种独特的信息处理能力加以利用。

2、每个参与人既是信息生产人，也是信息受益人。

3、本发明仅需对结果进行重新排序和规划，可使用已有搜索引擎技术，建立和投资成本较低。

4、本发明可实现自动化知识发现与挖掘。

5、本发明将贵族化、高档化的神经网络、人工智能等技术进行综合平民化应用。从而将大量低质量、未经筛选、高潜力信息纳入其中，发现和产生知识网。

附图说明

通过附图对实施本发明进一步说明：

图1，一般信息检索系统结构示意图。

图2，围绕搜索引擎所组成的群体智能系统示意图。

图3，知识贝叶斯网络示意图。

图4，共有节点合并知识网络示意图。

图5，系统结构图。

图6，信息检索过程群体智能示意图。

具体实施方式

一、达成本发明一些相关思路

1、可将用户信息检索行为所蕴含的思维活动过程视为一次可编程信息处理过程。

2、如图1所示，信息检索主体是：搜索引擎服务器及用户端。用户向搜索引擎发出检索请求，搜索引擎返回检索结果。大量的用户间，检索内容既有交叉也有重叠。

3、如图2所示，将图1结构抽象成群体智能系统，搜索引擎作为群体智能系统的核心处理单元，用户则为其中分布式高效信息处理单元。

4、用户在使用搜索引擎过程中，所表现的行为及特征，实现概率测度。

5、如图3所示，将其所蕴含潜在知识网络以贝斯叶网络形式表现出来。节点之间以概率测度表示，通过不确定性理论和证据理论推导出节点间信任度与似然度。

6、如图4所示，用户之间检索内容既有交叉也有重叠，可通过共有节点，对知识网络进行融合，推导出更为可靠的知识网络。

7、将用户假设为群体智能系统的信息处理单元，设计相应程序逻辑，通过用户参与，实现群体系统效果。

二、实施方法

如图5所示，本实施例中，通过搜索引擎接口，将信息检索功能和群体智能系统结合。用户通过搜索引擎接口，输入关键字，查看检索结果。检索结果包含知识节点和原始检索结果，系统根据知识网络上节点可信度与似然度质量重排检索结果，原始结果和低质量内容节点排在列表后端。

基于搜索引擎的智能群体系统组建方法，其中包括以下步骤：

(S11)建立与搜索引擎接口。

(S12)建立知识网络库。

(S13)建立用户输入接口处理用户输入。

(S14)建立输出接口，返回检索结果。

(S15)构建知识处理系统，实现基于用户行为及特征，知识网络合成及合并。

(S16)控制和定义智能个体处理逻辑。

本系统可独立于搜索引擎，也可集成在搜索引擎之中，在本实施例中，独立于搜索引擎，使用搜索引擎接口，向搜索引擎转发“关键字”请求，获得检索结果。

在本实施例中，知识网络库包括节点和网络关系。关键字、检索结果、结果顺序、查看内容、查看顺序、查看时长、关键字变换规律等用户行为及特征构成知识节点。度量这些特征关系，如查看时长(信息质量越高的内容用户查看时间越长)。合成信任度、似然度、包含度、蕴含度为主的潜在知识网。

群体智能算法是基于种群行为对给定的目标进行寻优的启发式搜索算法，其寻优过程体现了随机、并行和分布式等特点。我们假设使用检索系统的用户是群体系统的处理单元(智能个体)，使其处于合理的寻优进程之中，保证具有最佳的寻优收敛特征，其智能寻优方式的实现是通过整个智能体群的总体优化特征来体现的。

如图6所示，将用户检索过程行为及特征，推断其与潜在知识的概率测度，合成潜在知识网。通过多用户的搜索行为进行交叉与融合，实现潜在知识网络共有节点的合并。在信息检索时，根据知识网络路径提供最优搜索结果。形成群体正向反馈，启发式寻优。

在本实施例中，将提供给用户(智能个体)处理内容设计符合一般信息检索过程，不改变输入、列表、内容模式下，通过结果排序、人性化操作功能，实现处理逻辑的交互要求。

在本实施例中，系统实现如下人机交互处理过程：

(S21)系统提供检索输入界面。

(S22)用户输入关键词，提交输入。

(S23)系统向搜索引擎发出请求，接收搜索引擎返回结果。

(S24)系统将结果集按知识网络库最优路径匹配。

(S25)系统根据预设群体算法，对结果进行重排，设置处理逻辑。

(S26)系统将处理后检索结果集输出给用户。

(S27)用户查看检索结果及相应内容。

(S28)系统收集用户处理过程和用户行为及特征。

(S29)系统通过上述信息(节点和关系)，构建潜在知识网络。

(S30)查看知识网络库是否已有共有节点，如有则合并知识网络。

在步骤(S25)中，处理逻辑为一组为实现某种目的，提供用户处理的一组操作或会话。在本实施例中包括：将一些质量权度较低检索结果，提高到前端。从用户行为判断是否具有价值。在结果中提供排序功能，用户可删除认为质量较低内容，也可提高质量较高内容测度。

在步骤(S27)中，如果用户检索结果不满意，可转至(S22)重新设置关键字。

在具有知识网络库时，系统可根据知识网络上最优路径，对用户进行建议。如提供最优关键字建议。

用户查看内容和顺序匹配已有知识网络相应节点时，自动优化检索结果，提供知识网络上最优路径。将已有知识网络中语义层次匹配内容显示到检索结果中。

通过本实施例看出，本发明通过搜索引擎，充分利用人类思维活动过程，将用户变成群体系统中智能个体(信息处理单元)，构筑群体智能系统。这一过程是对生物思维高度抽象化应用。

本实施例是示范性实施例并且是优选实施例，但并非本发明之全部，按照本发明所构思的其它形式实施应用，也应受本发明保护。

Claims

1.本发明涉及一种基于搜索引擎的群体智能系统，其特征在于搜索引擎技术上实现群体智能，自动知识网络发现，优化信息检索质量。

2.权利1所述的群体智能系统，其特征在于将信息检索用户作为群体智能系统中的个体信息处理单元。

3.权利1所述的搜索引擎，其特征在于至少使用一种搜索引擎，为用户提供信息检索接口。

4.权利1和权利3所述搜索引擎，其特征在于使用含搜索器、索引器、检索器和用户接口的搜索引擎。

5.权利3和权利4所述基于搜索引擎的群体智能系统，其特征在于系统自动提取用户行为与特征，包括以下一项或多项：关键字、检索结果、结果顺序、查看内容、查看顺序、查看时长、关键字变换规律。

6.权利1和权利5所述群体智能系统，其特征在于将可度量用户检索行为及特征作为潜在知识的概率测度，合成信任度与似然度。

7.权利5和权利6所述群体智能系统，其特征在于通过信任度、似然度，形成潜在知识网络。变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表节点间的互相关系，用条件概率表达关系强度。

8.权利6和权利7所述群体智能系统，其特征在于利用用户间检索特征的交叉与重叠，通过共有节点合并潜在知识的交叉与融合，合并知识网络。

9.权利1和权利8所述基于搜索引擎的群体智能系统，其特征在于检索过程，根据特征节点匹配，从知识网络路径选择最佳检索结果。

10.根据权利2和权利9所述群体智能系统，其特征在于用户作为群体智能系统中的个体信息处理单元及可编程单元，设计交互处理逻辑，收集用户处理过程信息，形成启发式反馈。