CN101290619A - 基于内容的藏文网站唐卡图像搜索引擎智能机器人搜索方法 - Google Patents

Abstract

基于内容的藏文网站唐卡图像搜索引擎智能机器人搜索方法属于图像内容的搜索引擎领域，其特征在于提出了W.M.A的搜索方案：将唐卡检索样本图像分块，对每个子块进行小波帧包分解得各子带信道，计算各子块与子块之间的距离，将距离差值小于阈值的距离值归为同类并标号，用二元量形成匹配对列表和颜色对直方图，采用直方图方法进行匹配；以知识库和图像数据库为后台，与藏文文本特征相结合，构建适合于藏文网站和唐卡图像本身特征的、基于多任务的多线程模式唐卡图像搜索引擎智能机器人搜索方法。本发明在基于内容的藏文网站唐卡图像搜索引擎系统中自动搜索唐卡图像，并自动进行相似分类，查全率依据经验统计达到89.6％。

Description

基于内容的藏文网站唐卡图像搜索引擎智能机器人搜索方法

技术领域

基于内容的藏文网站唐卡图像搜索引擎智能机器人搜索方法属于图像内容的搜索引擎领域。

背景技术

现实世界中，数字图像的数量正在飞速增长，每天，由各种途径产生出G级字节量的图像，然而，如果我们不对它们进行有效的组织，就无法达到高效率的浏览和利用。随着互联网的高速发展，网上的多媒体信息也急剧增加，因此人们对多媒体信息的检索需求也就随之而来。传统的信息检索主要集中于文字的检索，在多媒体方面的研究并不是很多。互联网上的多媒体以图像为主，图像的检索经历了两个阶段：第一阶段是以关键字为基础的检索，第二阶段是以图像自身的内容为基础的检索，即基于内容的图像检索。近年来，各国研究者纷纷加入该领域的研究，它涉及到图像处理、机器视觉、模式识别、数据库技术以及信息检索等学科。

图像检索技术已广泛应用于军事、信息安全、时装和艺术设计、媒体、医学、地理信息和遥感系统、教育和培训、家庭娱乐等领域。关于网络搜索技术研究仍然是世界各个大学、各大公司的研究热点，研究主要集中在个人隐私、欺诈行为、多媒体搜索和个性化等方面。目前已有不少应用于实践环境的基于内容图像检索系统，如由IBM公司开发的最早商业化QBIC系统，以及由哥伦比亚大学研发的WebSeek系统、麻省理工学院研发的Photobook系统、渐江大学研发的WebscopeCBR系统等。以google、baidu、天网等为主的搜索引擎技术也取得了长足的发展，但目前主要集中在基于文本信息处理基础上的搜索，在图像内容搜索主要是文本搜索技术与相似形状搜索技术相结合的搜索方式，并且不是太成熟。如何将图像检索技术成功地运用到图像搜索上来，这正是目前研究的一个热点。

“唐卡”，系藏语音译，意为“卷轴画”，其品种多种多样，除彩绘唐卡外，还有刺绣、堆秀、缂丝、贴花及珍珠唐卡等；唐卡的题材广泛，内容涉及历史事件、宗教、人物、风土人情、民间传说、神话故事、建筑布局等，堪称藏族的“百科全书”。唐卡艺术是千百年来藏民族在文化、历史的发展中积累的重要遗产，具有鲜明的藏文化特点，浓厚的宗教色彩和独特的艺术风格，是雪域高原的文化瑰宝，传袭藏传佛教及其艺术之博大与精深。特别是经典之作更显珍贵，不仅具有很高观赏性，而且是藏学研究领域极为珍贵的形象资料和实物史料，在国内外都有极高的学术价值。唐卡在国外特别是东南亚地区以及我国西南、西北久负盛名，作为艺术品，越来越多地受到收藏者青睐。在英国伦敦克里斯蒂拍卖行香港分行的一次拍卖活动中，一幅明代宫廷巨幅唐卡，受到了海内外人士的关注，最终以400多万美元的价格拍卖成交，创下了亚洲织物类拍卖品价格的新高。唐卡这一民族文化遗产作为一种资源对其收集、挖掘、整理、保护，以电子形式存储和管理，构架和实现基于内容的唐卡图像智能搜索引擎这一网上特定主题的服务，通过对全球唐卡的搜索、分类，以满足人们对唐卡艺术信息的欣赏、保护、收集、查询、修复、共享、商务、研究和再创造等方面的需要，使珍贵的唐卡艺术得以发扬光大并焕发出新的艺术魅力，将是非常有价值的工作。

基于内容的唐卡图像智能搜索引擎方法与平台的研究具有广阔的应用前景，其应用将产生一定的社会和经济效益。首先，这项工作可以实现唐卡这一民族文化遗产的虚拟保护。唐卡是具体的实物，不可能永久保存；唐卡艺术是人类智慧的结晶，很多经典之作精美绝伦，留给后人无限的研究空间，而图像正是这样的媒介和载体；随着社会的发展，唐卡艺术其绘画技艺得不到延续，唐卡图像的保存也将促进这一绘画技艺的传授。第二，实现文化的交流与共享。随着世界各民族文化交流日益频繁，民族文化受到世人的特别关注。作为唐卡知识库的一个重要应用--网上基于内容和知识的唐卡图像搜索引擎，将为世人提供对唐卡图像的交流和共享的平台。第三，促进唐卡的产业化开发，促进民族地区经济的繁荣和发展。西藏、青海、甘肃和四川的一些藏区，是唐卡艺术的故乡，唐卡这一富有民族特色的艺术品，受到世界各国收藏者和爱好者的关注。第四，唐卡图像搜索引擎为使用者提供便利，为管理者创造商机。随着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。从全社会的角度看，民族文化艺术得到世界的关注，唐卡艺术具有鲜明的藏文化特点，因而倍受人们的青睐。

本发明在考虑唐卡图像内容特点的基础上，根据唐卡图像强象似性等特点，选择了适当的相似性匹配方法，抽取其图像内容的基本的内容特征和语义特征，以知识库和图像库为后台，实现了基于内容的藏文网站唐卡图像搜索引擎智能机器人搜索方法，解决了藏文网站没有图像内容搜索引擎的关键技术，为唐卡图像内容的研究与开发拓展了思路，对加速藏区信息化和国际化的具有相当意义。这是目前其它文献里面都没有的方法。

发明内容

基于内容的藏文网站唐卡图像搜索引擎的搜索功能是基于内容的藏文网站唐卡图像搜索引擎的重要组成部分和必要的环节。基于内容的藏文网站唐卡图像搜索引擎智能机器人是基于内容的藏文网站唐卡图像搜索引擎平台关键技术，提供了对基于内容的藏文网站唐卡图像搜索引擎中的藏文网站中唐卡图像的智能搜索的支持。能够很好满足基于内容的藏文网站唐卡图像搜索引擎的处理需求。

本发明由以下几个部分组成：唐卡图像内容及语义的确定、唐卡图像搜索算法的设计、唐卡图像数据库、知识库的设计、唐卡图像智能机器人设计。

1.唐卡图像内容及语义的确定

1.1基于图像内容检索与搜索的概念

基于图像内容检索主要思想是根据图像所包含的色彩、纹理、形状以及对象的空间关系等信息，建立图像的特征矢量作为其索引，检索方法主要是基于图像的多维特征进行相似查询。图像内容检索分为图像库整体图像检索和图像内的部分图像检索两种，本课题主要研究图像库整体图像检索。与基于图像内容检索相比较，基于图像内容检索是基于静态数据库的，图像内容已存在于相对固定的数据库中，数据变化小。而基于内容的藏文网站图像搜索则是针对动态的知识库而言的，数据库中的图像数据随着知识库的规则对引擎的驱动而不停地发生变化。

1.2唐卡图像内容与语义的表示

唐卡图像内容在基本的底层视觉特征包括颜色、纹理、形状、空间关系、边缘、变换系数，像素及其所构成的直方图、n阶矩、表达空间的向量、子区域等。其相应的表示方法有颜色直方图、颜色一致性矢量、颜色相关图、颜色矩等，通过颜色像素值获取。在不受约束的图像中，纹理的外观由不同于Brodatz集描述，其相应的表示方法有极坐标图、矩、高阶统计量、分布特征、拓扑纹理、形态学分解描述、不变直方图等，其获取的方法有MRSAR模型、Markov模型、多通道Gabor滤波、小波变换、TWT、PWT等。图像的形状是其固有的外形轮廓图和几何特征的统称，用面积、离心率、圆形度、形状矩、曲率、分形维等全局和局部特征来表示，通过计算相应特征值来获取。唐卡图像的语义从3个层次来表示：第1个层为特征语义，即利用图像的颜色、纹理和形状等低层特征及其组合；第2个层次为对象语义，包括目标、空间关系等；第3个层次为抽象语义，包括场景、情感、行为等。唐卡图像中颜色的使用所表达的语义，不同的颜色组合导致诸如和谐、不和谐、平静和兴奋等效果，其颜色情感值为：

$\mathrm{CE}=\sqrt{{\left[K_L(L^{*}-L_0^{+})\right]}^2+{\left[K_A(L^{*}-L_0^{+})\right]}^2+{\left[K_B(b^{*}-b_0^{+})\right]}^2}+k_M.$

基于语义的图像内容表示对图像深层的领域知识的获取与表达有着相当的优越性，从图像表义的本身出发，在整体的高度上描述了图像，这对提高图像搜索的准确度有着重要的作用。

1.3唐卡图像内容与语义的获取

依据唐卡的各种场景，综合分析其唐卡深层语义，以唐卡的颜色，形状以及颜色的分布和灰度分布(包含位置的近远、光与影的配置、虚实与疏密的分布)，作为唐卡图像的感性特征，以唐卡的色彩、造型和面料确立唐卡的风格，从唐卡部件或细节(装饰)确立唐卡的情感。

基本数据：颜色、纹理、形状、空间关系、边缘、变换系数，图像的文本描述、图像存储位置及其它网络信息如URL等，用像素(R、G、B或其它空间)及其所构成的直方图、n阶矩、表达空间的2-D向量、子区域及文本等表达。

语义数据：目标、场景、情感(如赏心悦目、使人振奋、感化熏陶)、行为(如表演、跳舞)、空间关系等，用一组对象与基本数据表达。

找出唐卡图像文件夹库中的唐卡图像的语义达表具体的方式，将唐卡图像文件夹库中的唐卡图像基本数据与语义数据输入到唐卡图像内容数据库EB中。

2.唐卡图像搜索算法的设计

2.1唐卡图像特征

藏族唐卡作为文化传播的一种艺术形式，其神秘的宗教色彩与浓郁的艺术风格体现了生活在世界屋脊上的藏民族的审美特征，成为一种越来越多地引起广大人们欣赏的审美形式，这样，对藏族唐卡的分门别类和检索就成为一种必然。如何对藏族唐卡图像进行分类与检索，采取常用的方式如全局图灰度累积直方图法、均匀分块比较法等进行藏族唐卡的分类与检索时，发现效果不佳，其主要原因是由于唐卡图像自身的强相似性(所谓强相似性就是指图像因其画面丰满、格调一致等，引起的全局灰度、对比度分布总体类似或总体均匀，分块后灰度、对比度分布类似)引起的，“唐卡图像整个画面布局平稳，画中主体周围上下左右都有规律，有秩序地安排处理各种形象，……二是满，唐卡艺术的构图多采用二维空间样式，打破各种透视法则，充分利用画面的各个角度，上下左右，平展地均衡地铺满各种形象，几乎不留空白”。唐卡图像灰图直方图如图1所示。灰图直方图的对称性说明了唐卡图像布局的平稳性与对称性，累积直方图的近似线性关系说明了唐卡图像布局的丰满性与多彩性，由此说明了唐卡图像具有强相似性。

2.2W.M.A算法

为了能从“相似”的唐卡图像中找出差异，我们首先将唐卡图像分块，分成的子块具有400-600个左右的像素。为了更好地获取图像的局部信息，再对每一个子块进行小波帧包分解，将低频段和高频段同时进行分解，得到一系列小波包，与小波帧分解相结合得到以下小波帧包分解基函数{W¹ _n}(其中i＝0～∞，n＝0～2ⁱ⁺¹-1)为：

$W_{2n}^{i+1}\left(l\right)=\sqrt{2}\underset{k}{\mathrm{\Σ}}h\left(k\right)W_{2n}^i(l-2^{i}k)$

$W_{2n+1}^{i+1}\left(l\right)=\sqrt{2}\underset{k}{\mathrm{\Σ}}g\left(k\right)W_{2n}^i(l-2^{i}k)$

其中，h(k)为低通滤波器系数，g(k)为满足完全重构条件的高通滤波器系数，W⁰ ₀(1)为尺度函数，W⁰ ₁(1)为母小波，i为尺度因子，n为振荡系数。

现有唐卡图像的颜色信息表达为3维RGB空间上的向量。为提取有用的颜色特征，往往需要将RGB空间变换成其它颜色空间。虽然HSV变换非常适于人眼的视觉特性，然而，这类变换却容易产生一些难以去除的奇异值，因而不适于进一步的变换及特征提取。为克服HSV变换的上述缺点，对彩色空间进行Karhunen-Loeve变换：

$\left[\begin{array}{c}{k}_1\\ k_2\\ k_3\end{array}\right]=\left[\begin{array}{ccc}0.333& 0.333& 0.333\\ 0.500& 0.000& -0.500\\ -0.500& 1.000& -0.500\end{array}\right]\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

K-L变换将图像空间变换为正交空间，产生在统计特性上是不相关的3个分量，变换不会产生奇异值。经K-L变换以后，分量k₁代表信号的亮度或强度，k₂和k₃分别与色度有关。

在K-L空间上，每个分量都经小波帧分解，分别分解为4个子带信道。为避免不必要的全域分解，将能量 $e^2=\frac{1}{\mathrm{MN}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}|x_{i,j}-\mathrm{mean}\left(x_{\mathrm{ij}}\right)|$ (M，N分别为子带图像的宽与高，mean()表示取均值)作为是否对

每一个子带信道需作进一步分解的衡量标准。把k₁的能量作为确定小波帧树型分解结构的尺度，令e² _max，k1为k₁的4个子带信道中能量最大者，T为预先设定的常量，若k₁的子带信道i(i＝1～4)的能量e² _i，k1满足e² _i，k1≥e² _max，k1则信道i中含有重要的信息，信道i被进一步分解，否则信道i不再被进一步分解。

在每一次小波帧分解后，令某一分辨率下某个子带的系数为{d^k _im.n}(i＝1～3，m∈[1，M]，n∈[1，N])，则对每一个子带信道提取以下特征：

$C^{k^i{k}^j}=\underset{m=1}{\overset{N}{\mathrm{\Σ}}}\underset{n=1}{\overset{M}{\mathrm{\Σ}}}|(d_{m,n}^{k_i}-\mathrm{mean}\left(d_{m,n}^{k_i}\right))\·(d_{m,n}^{k_i}-\mathrm{mean}\left(d_{m,n}^{k_j}\right))|$

当i＝j时，C^kikj对应于k1(纹理)、k2、k3(颜色)的方差，而当i≠j时，C^kikj对应于纹理与颜色的相关性。为去除冗余，对C^kikj进行如下的归一化处理：

$C^{\mathrm{kikj}}=\left\{\begin{array}{cc}{C}^{\mathrm{kikj},}& i=j\\ \frac{C^{\mathrm{kikj}}}{C^{\mathrm{kikj}}\·C^{\mathrm{kikj}}}.& i\≠j\end{array}\right.$

计算每个子块与周围8个相邻子块之间的距离尺度：

$D_i=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}(\frac{f_i^q}{f_i}+\frac{f_i}{f_i^q}-2)$

f^q ₁和f₁分别为样本图像和待定图像的第i个特征，k为特征总数，D_i由迭代计算得到。D_i值越大表示子块的差距越明显，越能反映图像的特征。

计算每个子块与周围8个D_i的距离平均值D_av，取远小于距离平均值D_av的距离值(D_av*5％)作为阈值，将距离差值小于阈值的距离值归为同类，并对距离值进行标号，用二元量(相邻子块距离的序号k，该距离的匹配对个数n_k)形成匹配对列表。这样产生了一个反映子块颜色直方图差别的颜色对直方图：横轴表示距离值标号，纵轴表示具有这一距离值的颜色匹配对个数。

由于颜色对直方图是一种人为的标号量化过程，为克服量化的主观性，我们采用累积直方图，这是一个1-D离散函数：

$I\left(k\right)=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}\frac{n_k}{N}$ k＝0，1，…，L-1

其中k为距离排序后的标号，L为最大标号，n_k为该距离(标号)下的匹配对个数，N为匹配对总数。

有了颜色对累积直方图，就可以借助颜色对累积直方图的距离来进行匹配检索。实验证明，基于L₁范数或直方图相交方法的效果更好，我们采用直方图匹配法进行检索：

$M_E(Q,D)=\sqrt{\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{[I_Q\left(k\right)-I_D\left(k\right)]}^2}$

M_e(Q，D)为欧氏距离函数。为了防止计算量过大，我们可以将L映射到某一区间例如[0，255]，映射公式为：

$k^{\′}=[\frac{k}{L}\×255]k=\mathrm{0,1},...,L-1$ []表示取整合并

L′＝255k′＝0，1，…，L′-1

以上方法综合利用了小波帧包分解(Wavelet frame packet analysised)、匹配对(Match paired)与累计直方图(Accumulative level histogram)的知识，我们把这种方法简称为W.M.A.。

3.唐卡图像数据库、知识库的设计

基于内容的藏文网站唐卡图像搜索引擎智能机器人是基于内容的藏文网站唐卡图像搜索引擎平台关键技术，其位置如图2所示。

3.1唐卡图像数据库的设计

藏文图像内容搜索引擎由图像数据库和知识库构成。为了保证图像操作(读取、保存)的快捷以及避免图像数据库的尺寸过大，采用图像数据本身以文件的形式存储，而在库中只保存图像文件的路径。采用流行的界面技术，符合现行软件设计要求，采用可视和可调相结合的方法，使得使用者可以在主界面上方便快捷地进行相应的操作，并且针对大批量图像问题设置了自动化的智能方式进行操作。

3.2唐卡图像知识库的设计

藏文图像内容搜索引擎由图像数据库和知识库构成。为了使藏文图像内容搜索引擎具有启发式推理能力，系统建立文本与图像内容特征相结合的知识库。在知识库中知识表示就是研究用机器表示知识的可行性、有效性、通用性的原则和方法。常用的知识表示方法有：逻辑模式、框架模式、语义网络、产生式系统、剧本、过程性知识表示等。藏文图像内容搜索引擎通过用户输入样本图像或图像相关文本关键字进行搜索，其知识库如图3。

4.唐卡图像智能机器人设计

4.1基于消息代理的分布式系统通信

消息代理是一种面向消息的中间件，其基本结构如图4所示，提供应用集成所必须的数据的递送、收集、翻译、过滤、映射和路由等功能，屏蔽不同的硬件平台、数据库、消息格式、通信协议之间的鸿沟与差异，提供应用到应用之间的高效、便捷的通信能力。消息代理中间件有内置的数据规范化工具，替换一个应用时，不会影响到与其它数据交换伙伴的应用接口。

在Web图像内容搜索中主要是用并行计算来提高其搜索速度，这里应用消息代理服务来实现并行计算。消息代理服务提供了CORBA、COM等对象间的通信耦合和解耦，建立了一种用户请求对象和图像搜索对象之间的通信模型，如图5。这种模型允许多个用户请求对象和多个图像搜索对象通过消息代理进行通信，它们之间的通信是通过各自的代理对象进行的，并不直接进行通信。用户请求对象和图像搜索对象在通信之前，都必须获得一个消息代理，用户请求对象获得一个图像搜索对象消息代理，用户请求对象获得一个图像检索对象消息代理，消息代理之间来完成信息的交换。

用户请求对象主要完成向各服务器广播用户的搜索请求内容和接收搜索返回结果数据的任务。图像搜索对象由搜索模块、索引模块和数据库模块构成，这3个模块共同完成检索任务。

4.2集中控制式MAS通信

集中控制式MAS中的Agent有两种类型，即应用Agent(AA)和管理Agents(MA)，其示意图如图6所示。应用Agent：在系统中完成特定领域的具有业务处理；管理Agent对应用Agent的行为具有完全的控制权，管理Agent负责保证各应用Agent行为之间的协调，包括对任务进行规划、分解和运行安排，向应用Agent发布控制命令和监视任务的完成情况。集中控制式MAS可以降低系统的复杂性，减少Agent之间直接协商的通讯开销，但要求管理Agent具有强的规划处理能力。

多文种网站图像内容搜索引擎系统由三层构成：第一层是搜索预处理层，负责完成用户与系统交互及信息检索前的准备工作；第二层是代理搜索层，该层完成与后台搜索引擎的交互，获取用户需要的查询条目；最后一层是图像内容整合显示层，用于把各个搜索引擎Agent获得的条目进行相应调整，从中选择最能满足用户需求的若干条，并以统一的界面呈现给用户。架构如图7所示。

MAS是多个Agent组织一起来共同完成特定任务的系统，因此各Agent之间必定存在着一定的组织协作形式，当Agent接到某项任务，其根据推理判断决定是否需要其它Agent的协作，如果需要，通过通讯器传送通讯语句来告知相应的Agent完成某项任务(子任务)。在多文种网站图像内容搜索引擎体系结构中采用采用集中控制方式的多Agent协作体系结构，控制Agent起管理、控制作用。它接收到任务后，进行任务分解，然后统一规划、协调并分派工作。负责向各Agent发送命令并监视各Agent的工作完成情况，以及与其它Agent的同步与通讯。

Agent使用规定的协议相互交换信息，用于建立通信和协调机制。其具体通信过程如图8所示。唐卡图像搜索引擎智能机器人中的网站的获取、图像的下载、图像的匹配等各Agent相互通知该世界中已经探索过的部分，使每个Agent可能少做一些探索，向其他Agent询问世界特定部分的情况，回答问题，请求或者命令其他Agent采取行动，许诺做某事或者提供帮助，确认请求和提议，分享感受和经验。在面向消息的智能机器人多Agent系统中，发送Agent把特定消息传送至另一Agent(接收Agent)，两Agent之间的消息是直接交换的，执行中没有缓冲。

唐卡图像搜索引擎智能机器人中线程池间各Agent的通信存在以下问题：每个Agent对于所要完成的任务拥有全面的信息或能力，系统的宏观的问题求解；Agent成员之间以及与系统的目标、意愿和行为的一致；合作对象的明确选择；冲突的检测和协调；通信的协商的合时合理；对分散的共享数据和资源的有效分配和管理；系统的安全机制；Agent的灵活管理方式；有效及时地对环境的变化做出反应等。为了有效地解决这些问题，我们采用集中式管理的通信机制，负责对所有或部分Agent成员的行为、协作、任务分配以及共享资源等进行统一的协调和管理，可以是管理Agent、协调Agent、监督Agent等，与各Agent成员之间具有一定程度的管理和被管理的关系，如图9所示。

智能机器人中集中式MAS机制在一定程度上推理成员Agent的能力行为，判断成员Agent之间行为的相互影响，帮助成员Agent更为迅速和准确地确定协作对象，组织成员Agent之间的相互合作，协调成员Agent之间的矛盾和冲突，使成员Agent通过学习产生对整体行为有益的影响。集中式MAS机制推测协作对象的行为和通信，减少了协调和通信代价，提高了成员之间协作的有效性。

4.3CBIR藏文网站唐卡图像搜索引擎智能机器人设计中的线程池技术

唐卡图像搜索引擎智能机器人使用多Agent，网站的获取、图像的下载、图像的匹配等Agent如何并行地协同工作，使得搜索工作持续进行，开始采用的是采用多线程技术进行处理的。我们发现，这样处理存在以下问题：

其一，网站的获取、图像的下载、图像的匹配等Agent及其自身的线程创建和销毁对象很费时间，创建一个对象要获取内存资源或者其它更多资源。提高智能机器人效率的方式就是尽可能减少创建和销毁对象的次数，特别是一些很耗资源的对象创建和销毁。

其二，智能机器人采用多线程技术创建的线程花费了大量时间在睡眠状态来等待事件的发生，还有一些线程进入睡眠状态后定期被唤醒以轮询工作方式来改变或者更新状态信息。这样降低整个搜索的吞吐量，导致系统性能的下降而不是最初设计时期望要提高系统性能。

采用线程池技术可以更有效地使用线程，它为智能机器人提供一个由系统管理的工作者线程池。至少会有一个线程来监听放到线程池的所有等待操作，当等待操作完成后，线程池中将会有一个工作者线程来执行相应的回调函数。在系统启动或空闲时创建一定量的线程保存在线程池中，在系统关闭时销毁线程及其资源。当有任务来时不需要创建就从线程池中取一线程执行任务，执行完任务后又放回至空闲线程池中。如果长时间没有任务执行也可销毁一定量的线程，使线程池中保持一定的线程数。当有任务来时线程池中没有空闲线程，且此时线程数没有达到最大线程数时，创建新线程。如果达到最大线程数而没有空闲线程时，任务等待，直到池中有空闲线程。采用线程池技术解决了网站的获取、图像的下载、图像的匹配等多Agent地协同工作的效率问题，特别是图像匹配与网站的获取、图像的下载不同速度的协同问题，具有相当的优越性。

简单线程池存在一些问题，如果有大量的线程要求智能机器人为其服务，但由于线程池的工作线程是有限的，智能机器人只能为部分线程服务，其它线程提交的任务，只能在任务队列中等待处理。但智能机器人的响应时间要求不能太长，则需要调整优化线程池尺寸，主要有下列优化措施：

其一，动态增加工作线程。在智能机器人线程池中提供一个可以动态改变的工作线程数目的功能，以适应线程变化的需要。一旦请求变少了将逐步减少线程池中工作线程的数目。线程增加采用超前方式，即批量增加一批工作线程。同时在线程池中限制线程池中工作线程数目的上限和下限，以防止这种灵活的方式也就变成一种错误的方式或者灾难，因为频繁的创建线程或者短时间内产生大量的线程将会背离使用线程池原始初衷-减少创建线程的次数。

其二，优化工作线程数目。根据统计学的原理来统计线程的请求数目，比如高峰时段平均一秒钟内有多少任务要求处理，并根据系统的承受能力及客户的忍受能力来平衡估计一个合理的线程池尺寸。线程池的尺寸确实很难确定，智能机器人中采用实验结果的经验值来做为线程池的尺寸。

其三，智能机器人提供多个线程池。智能机器人根据不同任务或者任务优先级来采用不同线程池处理。网站的获取、图像的下载、图像的匹配等Agent采用不同的线程池进行处理，分而治之，体现不同任务的任务优先级。

智能机器人中的网站的获取、图像的下载、图像的匹配等Agent需要大量的线程来完成任务，且完成任务的时间比较短，使用线程池技术取得了较好的效果。

4.4唐卡图像智能机器人设计

藏文图像内容搜索引擎采用Spider程序进行构造。构造时采用基于多任务的多线程池模式，即采用非递归的设计方案，Spider程序在发现每个新网页或图像URL时，它将使用一个不调用自身的方法，而是使用多线程池。为得到Spider程序的处理，每一个新发现的网页或图像URL放入多线程池。给定Spider程序一个要访问的网页或图像URL，把这一网页或图像URL加入到它的多线程池中去；当Spider程序发现新的网页或图像URL时，把它们加入到多线程池；当Spider程序处理完当前的URL，在多线程池中查找要处理的下一URL。总体设计方案如图10。

基于内容的藏文网站唐卡图像搜索引擎智能机器人主体由多线程池循环模块构成，系统模块设计方案如图11所示。多线程池循环模块是基于内容的藏文网站唐卡图像搜索引擎智能机器人的主控模块，负责在网络上循环搜索唐卡图像。唐卡图像搜索引擎智能机器人同时也就是知识库专家系统中的推理机，与知识库专家系统成为一体，以线程池的方式工作，多个Agent相互协作，这对提高机器人的搜索效率有着重要的作用。采用CstringArray的方式存放各种要处理的数据：

typedef struct

{

  CStringArray arrLinks；

  CStringArray arrMedia；

  CByteArray arrOffsite；

  int nIndex；

}LINKS；

多线程池循环模块是基于内容的藏文网站唐卡图像搜索引擎智能机器人的主控模块，负责在网络上循环搜索唐卡图像，其具体用到的主要函数如下：

    static UINT DownloadThread(LPVOID lpvData)；

    //唐卡图像下载多线程函数

  BOOL MatchTangKa(CString & strMedia)；

    //唐卡图像匹配函数

    BOOL ShouldQueuePage(CString & strNewPage，BOOL bOffsite)；

    //判断网页是否进入队列函数

    void FixupLinks()；

    //链接修复函数

    void ResetLink(int nLevel)；

    //链接重置函数

    void SetMediaCacheEntry(LPCTSTR lpszMedia，LPCTSTR lpszFileName)；

    //唐卡图像入口函数

    BOOL GetMedia(CString & strMedia，CString & strFileName)；

    //获取唐卡图像函数

    BOOL ShouldGetMedia(CString & strMedia，MAP_FILES * & pMapEntry)；

    //判断是否获取唐卡图像函数

    BOOL ShouldGetPage(CString & strPage，MAP_FILES * & pMapEntry)；

    //判断是否获取网页函数

    BOOL GetPage(CString & strPage，CString & strFileName，LINKS & linkEntry)；

    //获取网页函数

    void SetPageCacheEntry(LPCTSTR lpszPage，LPCTSTR lpszFileName，int nLevel)；//网页入

          口函数

   void ClearCacheMaps()；//清除缓存函数

根据输入的URL建立多IP数组线程；依据各个IP建立各自的多线程；各个多线程完成每个IP的唐卡图像搜索；通过多线程池，反复，至规定宽度与深度页面全部搜索完成。TangKa CBIR Robot系统运行结果如图12所示。

该方法依据唐卡图像的特征，在以前基于图像内容检索的算法的基础上提出新的W.M.A算法，适合藏文网站和唐卡图像本身特征，与藏文文本特征相结合，以知识库和图像数据库为后台，具有启发式功能，为以后向其它多文种网站搜索引擎结合给出扩展结接口。在该方法下形成的软件系统包括基于内容的藏文网站唐卡图像搜索引擎智能机器人程序，用于基于内容的藏文网站唐卡图像搜索引擎系统中在Internet中自动搜索唐卡图像，并自动进行相似分类。

附图说明

图1唐卡图像彩绘大观灰图直方图。

图2基于内容的藏文网站唐卡图像搜索引擎平台总体架构。

图3藏文图像内容搜索引擎知识库关联图。

图4消息代理中间件的基本结构。

图5消息代理服务结构图。

图6集中控制式MAS。

图7多文种网站图像内容搜索引擎系统架构。

图8多Agent通信过程。

图9智能机器人中线程池集中式管理的通信机制。

图10基于内容的藏文网站唐卡图像搜索引擎搜索方案。

图11基于内容的藏文网站唐卡图像搜索引擎智能机器人系统模块间关系。

图12TangKa CBIR Robot系统运行结果。

图13基于W.M.A算法的CBIR唐卡图像搜索结果。

具体实施方式

建立专门唐卡图像网站www.Tangka.net，并同时与其它搜索引擎如baidu、google等建立元接口，与其它藏文网站如www.tonger.net等建立唐卡图像的搜索源。通过基于的CBIR藏文网站唐卡图像搜索引擎智能机器人进行搜索，将搜索的唐卡图像的内容特征放入知识库，唐卡图像本身放入唐卡图像库，再通过动态ASP平台显示出搜索结果。

实施例：基于内容的静态藏文网站唐卡图像搜索引擎系统

从内部唐卡图像网www.Tangka.net上共搜索411幅唐卡图像进入唐卡图像数据库，依据W.M.A.方法，在给定小波变换层数为2、欧氏参数为0.3的条件下共搜索出8幅唐卡图像，其查准率为100％，其查全率依据经验统计达到89.6％，基本上达到了实际的需要要求，如图13所示。

Claims (1)

1.基于内容的藏文网站唐卡图像搜索引擎智能机器人搜索方法，其特征是：采用基于W.M.A的算法，以唐卡图像数据库、知识库为后台，以多线程的方式唐卡图像搜索引擎智能机器人搜索方法。

W.M.A方法的特征是：能从“相似”的唐卡图像中找出差异，通过小波帧包分析挖掘出了“相似”中的“不同”，同时又通过欧氏距离保证了“不同”间的“相似”，再辅以累计直方图保证比较的“连续性”，从而达到了优良的检索效果。具体为：

首先将唐卡图像分块，分成的子块具有400-600个左右的像素。为了更好地获取图像的局部信息，再对每一个子块进行小波帧包分解，将低频段和高频段同时进行分解，得到一系列小波包，与小波帧分解相结合得到以下小波帧包分解基函数{Wⁱ _n}(其中i＝0～∞，n＝0～2ⁱ⁺¹-1)为：

$W_{2n}^{i+1}\left(l\right)=\sqrt{2}\underset{k}{\mathrm{\Σ}}h\left(k\right)W_{2n}^i(l-2^{i}k)$

$W_{2n+1}^{i+1}\left(l\right)=\sqrt{2}\underset{k}{\mathrm{\Σ}}g\left(k\right)W_{2n}^i(l-2^{i}k)$

其中，h(k)为低通滤波器系数，g(k)为满足完全重构条件的高通滤波器系数，W⁰ ₀(1)为尺度函数，W⁰ ₁(1)为母小波，i为尺度因子，n为振荡系数。

现有唐卡图像的颜色信息表达为3维RGB空间上的向量。为提取有用的颜色特征，往往需要将RGB空间变换成其它颜色空间。虽然HSV变换非常适于人眼的视觉特性，然而，这类变换却容易产生一些难以去除的奇异值，因而不适于进一步的变换及特征提取。为克服HSV变换的上述缺点，对彩色空间进行Karhunen-Loeve变换：

$\left[\begin{array}{c}{k}_1\\ k_2\\ k_3\end{array}\right]=\left[\begin{array}{ccc}0.333& 0.333& 0.333\\ 0.500& 0.000& -0.500\\ -0.500& 1.000& -0.500\end{array}\right]\·\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

K-L变换将图像空间变换为正交空间，产生在统计特性上是不相关的3个分量，变换不会产生奇异值。经K-L变换以后，分量k₁代表信号的亮度或强度，k₂和k₃分别与色度有关。

在K-L空间上，每个分量都经小波帧分解，分别分解为4个子带信道。为避免不必要的全域分解，将能量 $e^2=\frac{1}{\mathrm{MN}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}|x_{i,j}-\mathrm{mean}\left(x_{\mathrm{ij}}\right)|$ (M，N分别为子带图像的宽与高，mean()表示取均值)作为是否对每一个子带信道需作进一步分解的衡量标准。把k₁的能量作为确定小波帧树型分解结构的尺度，令e² _max，k1为k₁的4个子带信道中能量最大者，T为预先设定的常量，若k₁的子带信道i(i＝1～4)的能量e² _i，k1满足e² _i，k1≥e² _max，k1则信道i中含有重要的信息，信道i被进一步分解，否则信道i不再被进一步分解。

在每一次小波帧分解后，令某一分辨率下某个子带的系数为{d^k _im，n}(i＝1～3，m∈[1，M]，n∈[1，N])，则对每一个子带信道提取以下特征：

$C^{k^i{k}^j}=\underset{m=1}{\overset{N}{\mathrm{\Σ}}}\underset{n=1}{\overset{M}{\mathrm{\Σ}}}|(d_{m,n}^{k_i}-\mathrm{mean}\left(d_{m,n}^{k_i}\right))\·(d_{m,n}^{k_i}-\mathrm{mean}\left(d_{m,n}^{k_i}\right))|$

当i＝j时，c^kikj对应于k1(纹理)、k2、k3(颜色)的方差，而当i≠j时，C^kikj对应于纹理与颜色的相关性。为去除冗余，对C^kikj进行如下的归一化处理：

$C^{\mathrm{kikj}}=\left\{\begin{array}{cc}{C}^{\mathrm{kikj}},& i=j\\ \frac{C^{\mathrm{kikj}}}{C^{\mathrm{kikj}}\·C^{\mathrm{kikj}*}}& i\≠j\end{array}\right.$

计算每个子块与周围8个相邻子块之间的距离尺度：

$D_i=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}(\frac{{f_i}^q}{f_i}+\frac{f_i}{{f_i}^q}-2)$

f^q ₁和f_i分别为样本图像和待定图像的第i个特征，k为特征总数，D_i由迭代计算得到。D_i值越大表示子块的差距越明显，越能反映图像的特征。

计算每个子块与周围8个D_i的距离平均值D_av，取远小于距离平均值D_av的距离值(D_av*5％)作为阈值，将距离差值小于阈值的距离值归为同类，并对距离值进行标号，用二元量(相邻子块距离的序号k，该距离的匹配对个数n_k)形成匹配对列表。这样产生了一个反映子块颜色直方图差别的颜色对直方图：横轴表示距离值标号，纵轴表示具有这一距离值的颜色匹配对个数。

由于颜色对直方图是一种人为的标号量化过程，为克服量化的主观性，我们采用累积直方图，这是一个1-D离散函数：

$I\left(k\right)=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}\frac{n_k}{N},k=\mathrm{0,1},\·\·\·,L-1$

其中k为距离排序后的标号，L为最大标号，n_k为该距离(标号)下的匹配对个数，N为匹配对总数。

有了颜色对累积直方图，就可以借助颜色对累积直方图的距离来进行匹配检索。实验证明，基于L₁范数或直方图相交方法的效果更好，我们采用直方图匹配法进行检索：

$M_E(Q,D)=\sqrt{\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{[I_Q\left(k\right)-I_D\left(k\right)]}^2}$

M_E(Q，D)为欧氏距离函数。为了防止计算量过大，我们可以将L映射到某一区间例如[0，255]，映射公式为： $k^{\′}=[\frac{k}{L}\×255],k=\mathrm{0,1},\·\·\·,L-1$ []表示取整合并

L′＝255k′＝0，1，…，L′-1

藏文图像内容搜索引擎采用Spider程序进行构造。构造时采用基于多任务的多线程池模式，即采用非递归的设计方案，Spider程序在发现每个新网页或图像URL时，它将使用一个不调用自身的方法，而是使用多线程池。为得到Spider程序的处理，每一个新发现的网页或图像URL放入多线程池。给定Spider程序一个要访问的网页或图像URL，把这一网页或图像URL加入到它的多线程池中去；当Spider程序发现新的网页或图像URL时，把它们加入到多线程池；当Spider程序处理完当前的URL，在多线程池中查找要处理的下一URL。

基于内容的藏文网站唐卡图像搜索引擎智能机器人主体由多线程池循环模块构成。多线程池循环模块是基于内容的藏文网站唐卡图像搜索引擎智能机器人的主控模块，负责在网络上循环搜索唐卡图像。唐卡图像搜索引擎智能机器人同时也就是知识库专家系统中的推理机，与知识库专家系统成为一体，以线程池的方式工作，多个Agent相互协作，这对提高机器人的搜索效率有着重要的作用。采用CstringArray的方式存放各种要处理的数据：

typedef struct

{

   CStringArray arrLinks；

   CStringArray arrMedia；

   CByteArray arrOffsite；

   int nIndex；

}LINKS；

多线程池循环模块是基于内容的藏文网站唐卡图像搜索引擎智能机器人的主控模块，负责在网络上循环搜索唐卡图像，其具体用到的主要函数如下：

  static UINT DownloadThread(LPVOID lpvData)；

  //唐卡图像下载多线程函数

BOOL MatchTangKa(CString&strMedia)；

  //唐卡图像匹配函数

  BOOL ShouldQueuePage(CString& strNewPage，BOOL bOffsite)；

//判断网页是否进入队列函数

void FixupLinks()；

//链接修复函数

void ResetLink(int nLevel)；

//链接重置函数

void SetMediaCacheEntry(LPCTSTR lpszMedia，LPCTSTR lpszFileName)；

//唐卡图像入口函数

BOOL GetMedia(CString& strMedia，CString& strFileName)；

//获取唐卡图像函数

BOOL ShouldGetMedia(CString& strMedia，MAP_FILES*& pMapEntry)；

//判断是否获取唐卡图像函数

BOOL ShouldGetPage(CString& strPage，MAP_FILES*& pMapEntry)；

//判断是否获取网页函数

BOOL GetPage(CString& strPage，CString& strFileName，LINKS& linkEntry)；

//获取网页函数

void SetPageCacheEntry(LPCTSTR lpszPage，LPCTSTR lpszFileName，int nLevel)；//网页入口函数

void ClearCacheMaps()；//清除缓存函数

根据输入的URL建立多IP数组线程；依据各个IP建立各自的多线程；各个多线程完成每个IP的唐卡图像搜索；通过多线程池，反复，至规定宽度与深度页面全部搜索完成。

Images