CN103207910A - 基于分层特征和遗传规划相关反馈的图像检索方法 - Google Patents

基于分层特征和遗传规划相关反馈的图像检索方法 Download PDF

Info

Publication number
CN103207910A
CN103207910A CN2013101193204A CN201310119320A CN103207910A CN 103207910 A CN103207910 A CN 103207910A CN 2013101193204 A CN2013101193204 A CN 2013101193204A CN 201310119320 A CN201310119320 A CN 201310119320A CN 103207910 A CN103207910 A CN 103207910A
Authority
CN
China
Prior art keywords
image
retrieval
similarity
user
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101193204A
Other languages
English (en)
Other versions
CN103207910B (zh
Inventor
李登峰
杨晓慧
朱秀阁
彭李超
刘占卫
吴国昌
蔡利君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN201310119320.4A priority Critical patent/CN103207910B/zh
Publication of CN103207910A publication Critical patent/CN103207910A/zh
Application granted granted Critical
Publication of CN103207910B publication Critical patent/CN103207910B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分层特征和遗传规划相关反馈的图像检索方法，包括以下步骤：（1）对用户提交的检索图像进行自适应分割，得到分割区域；（2）对检索图像提取全局特征；分割区域提取局部底层特征；（3）对于标准图像库中的每一幅图像计算对应于分割区域的最优区域；（4）构建全局-最优区域相似度匹配模式；（5）通过赋予相似度匹配模式中各种相似度以平均权重来计算检索图像和标准图像库中每一幅图像的相似度；根据相似度进行排序得到初始检索结果并把与用户最相似的前若干幅图像返回用户端；（6）用户参与反馈，直到检索出满意的图像。能够更接近用户的检索意图，可以有效地提取图像的内容特征，并能快速有效地完成检索过程。

Description

基于分层特征和遗传规划相关反馈的图像检索方法
技术领域
本发明涉及图像检索领域，尤其涉及一种基于分层特征和遗传规划相关反馈的图像检索方法。
背景技术
目前, 随着多媒体和互联网技术的快速发展，人们接触到越来越多的各种信息。图像作为一种内容丰富和表现直观的多媒体信息，长期以来受到人们的青睐。如何快速并且有效的搜寻到自己需要的信息? 20世纪90年代出现了基于内容的图像检索(Content Based Image Retrieval，CBIR)，其从可视化角度对图像检索进行探讨。所谓CBIR，就是通过提取图像的底层特征，比如颜色、纹理等特征来表示图像内容，图像之间的匹配是图像特征的匹配。
对图像内容的描述包括全局描述子和局部描述子。常见的全局描述子有局部二值模式(Local Binary Pattern，LBP), 梯度方向直方图(Histogram of Oriented Gradients，HOG)以及颜色直方图等。全局描述子的鲁棒性较强，受噪声的影响较小。然而,在检索的过程中,根据人眼视觉感知特性, 用户常常对图像中的某一目标感兴趣, 提取图像的全局特征往往不能满足用户的检索需求。相对于全局特征而言, 局部特征，如尺度不变特征变换，对单一目标的描述更为有力。基于区域的图像检索首先将图像分割成区域, 通过区域间的匹配完成图像间的匹配, 在一定程度上克服了基于全局特征的图像检索的缺陷。由于分割技术至今仍然是计算机视觉的一大难题, 图像中的一个目标常常被分割成好几个区域，或者分割的每个区域并不代表一个明确的目标, 因此，基于区域的图像检索也有自身的局限性. 如何结合全局和区域特征各自的优点来表达图像的内容是个有趣的问题。
图像所蕴含的丰富内容是底层视觉特征远远不能表达的, 如何减少图像的底层特征和高层语义之间的“语义鸿沟”是CBIR的重要研究课题。相关反馈是减小语义鸿沟的一种有效的方法, 首先在信息检索中提出，20世纪90年代引入图像检索, 并且证明能够很好的提高检索性能。相关反馈包括四个部分: (1) 系统将初始检索结果中的最相似的前若干幅图像返回给用户；(2) 用户标注正例和负例；(3) 通过用户标注的正例和负例来学习用户的检索需求；(4) 将图像库的图像重新排序。
常见的相关反馈方法包括权重更新法, 概率模型法，机器学习法以及基于知识的方法。其中权重更新法由于其策略简单，实时性强，受到了广泛的关注和显著的发展。这种方法通过用户的标注学习更新特征权重从而在一定程度上满足用户的检索主观性。但是这些策略只是通过线性结合单独特征，很难表达用户的视觉特性。Cristiano Dalmaschio Ferreira等人首先将遗传规划(Genetic Programming，GP)引入到相关反馈。GP是一种进化式机器学习方法, 试图通过某种方式模拟进化过程的内在机制, 并通过随机扰动或突变, 通过定义一个适应度函数来进行评估, 进而获取适应度最大的解, 常用于信息检索等。实验结果表明, 借助GP获取特征的非线性组合在一定程度上能够更接近用户的检索意图。然而,它们分别是基于全局特征的相关反馈和基于均匀分割区域的相关反馈，提出的检索模式不适用于一般的分割结果。
发明内容
本发明的目的是提供一种基于分层特征和遗传规划相关反馈的图像检索，提出的检索模式适用于一般的分割结果，能够有效地检索相关图像。
本发明采用下述技术方案：一种基于分层特征和遗传规划相关反馈的图像检索方法，包括以下步骤：
（1）、对用户提交的检索图像                                               
Figure 2013101193204100002DEST_PATH_IMAGE002
进行自适应分割，得到分割区域
Figure 2013101193204100002DEST_PATH_IMAGE004
；
（2）、对检索图像
Figure 884041DEST_PATH_IMAGE002
提取全局特征；分割区域
Figure 2013101193204100002DEST_PATH_IMAGE006
提取局部底层特征；
（3）、对于标准图像库中的每一幅图像
Figure 2013101193204100002DEST_PATH_IMAGE008
，
Figure 2013101193204100002DEST_PATH_IMAGE010
，计算对应于分割区域
Figure 2013101193204100002DEST_PATH_IMAGE012
，
Figure 2013101193204100002DEST_PATH_IMAGE014
的最优区域，其中
Figure 2013101193204100002DEST_PATH_IMAGE016
是标准图像库中的图像数量；
（4）、构建全局-最优区域相似度匹配模式；
（5）、通过赋予全局-最优区域相似度匹配模式中的所有相似度以平均权重来计算检索图像
Figure 737597DEST_PATH_IMAGE002
和标准图像库中每一幅图像
Figure 816411DEST_PATH_IMAGE008
的相似度；根据
Figure 252072DEST_PATH_IMAGE018
对
Figure 23719DEST_PATH_IMAGE008
进行排序，得到初始检索结果并把与用户最相似的前若干幅图像返回用户端；
（6）、用户参与反馈，直到检索出满意的图像。
所述的步骤（1)中的自适应分割的具体方法如下所述：（11）、将图像进行均值漂移分割；
（12）、将分割区域作为该图像的节点，对该图像用规范割进行聚类；
（13）对聚类后的每个分割区域分别提取R、G、B颜色通道的平均像素值作为该区域的三维特征；
（14）将聚类数目
Figure 2013101193204100002DEST_PATH_IMAGE020
初始化为2；
（15）随机选择
Figure 161308DEST_PATH_IMAGE020
个分割区域的特征向量作为初始类别中心，将所有分割区域归并到最近的类别中，并重新计算类别中心；
（16）、计算准则函数
Figure 2013101193204100002DEST_PATH_IMAGE022
，其中
Figure 2013101193204100002DEST_PATH_IMAGE024
是
Figure 981496DEST_PATH_IMAGE020
个类别，
Figure 2013101193204100002DEST_PATH_IMAGE026
是类别中心，
Figure 2013101193204100002DEST_PATH_IMAGE028
是属于
Figure 2013101193204100002DEST_PATH_IMAGE030
类别的区域的特征向量，如果
Figure 2013101193204100002DEST_PATH_IMAGE032
大于等于预先设定的阈值
Figure 2013101193204100002DEST_PATH_IMAGE034
，
Figure 2013101193204100002DEST_PATH_IMAGE036
，转到(15)；如果小于预先设定的阈值
Figure 401162DEST_PATH_IMAGE034
，则停止迭代。
所述的步骤（2）中的全局特征包括颜色和纹理特征，全局特征中的颜色特征为颜色直方图256维、颜色矩9维；全局特征中的纹理特征为：边界/内部像素分类（Border/Interior pixel Classification，BIC）特征128维、Gabor小波变换特征48维；
    所述的步骤（2）中的底层特征包括颜色、纹理和形状特征；
    区域局部底层特征包括颜色、纹理和形状特征，其中颜色特征为：将图像由RGB颜色空间转换到L*u*v*空间，提取L*，u*，v*区域平均颜色作为每一个区域的3维颜色特征；其中形状特征：区域的1维密度比、2维质心、4维矩形盒子、7维不变矩作为14维形状特征；其中纹理特征：计算区域的共生矩阵，提取能量、惯性、熵、匀度四个统计特性作为16维纹理特征。
所述的步骤（3）中对于标准图像库中的每一幅图像
Figure 26048DEST_PATH_IMAGE008
，
Figure 446665DEST_PATH_IMAGE010
，计算对应于分割区域
Figure 919234DEST_PATH_IMAGE012
，
Figure 32684DEST_PATH_IMAGE014
的最优区域，其中
Figure 895598DEST_PATH_IMAGE016
是标准图像库中的图像数量。
所述的步骤（4）全局-最优区域相似度匹配模式是将检索图像
Figure 119905DEST_PATH_IMAGE002
与标准图像库里的每一幅图像
Figure 2013101193204100002DEST_PATH_IMAGE038
的全局特征和最优区域特征的相似度组合起来的一种模式。
所述的步骤（5）初始检索结果是按照将全局-最优区域相似度匹配模式中的所有相似度加权平均得到的线性相似度对标准图像库进行排序的结果。
所述的步骤（6）包括以下步骤：
（61）、如果用户对检索结果满意，则停止检索，否则进入步骤（62）；
（62）、用户标注系统返回的检索结果为正例或反例；
（63）、根据适应度函数选择个体，然后进行复制、交叉和变异操作，借助遗传规划算法学习最优的特征相似度结合非线性方式；
（64）、按照非线性相似度重新计算
Figure 362494DEST_PATH_IMAGE002
和
Figure 646845DEST_PATH_IMAGE038
的相似度，对图像库中的所有图像重新排序，并输出前若干幅最相似图像；
（65）、反复进行（62）-（64），直到检索到令用户比较满意的图像。
本发明的有益效果：本发明提供图像的一种分层特征表示方法，并借助遗传规划算法获取特征的非线性组合，利用非线性特征检索图像在一定程度上能够更接近用户的检索意图，可以有效地提取图像的内容特征，并能快速有效地完成检索过程。 
附图说明
图1 本发明的方法流程图；
图2 为图库中的例图；
图3 全局-最优区域相似度匹配模式图；
图4 遗传规划个体的一个例子图；
图5 相关反馈的比较图（基于正例和基于正负例）； 
图6 各种方法相关反馈结果的比较图；
图7 用户标注的图像数目不同时对应的平均查准率 (Average Precision, AP)示意图；
图8 基于最优区域和基于全部区域的图像检索结果的比较图；
图9 系统初始检索的鲁棒性测试图。
具体实施方式
如图1所示，本发明公开的一种基于分层特征和遗传规划相关反馈的图像检索方法，具体包括以下步骤：
（1）、对用户提交的检索图像
Figure 59371DEST_PATH_IMAGE002
进行自适应分割，得到分割区域
Figure 25053DEST_PATH_IMAGE004
；
    均值漂移 (Mean Shift,MS) 和规范割 (Normalized Cuts, NC) 是两种常用的图像分割方法，但是MS易产生过分割，NC计算复杂度太高。Wenbin Tao等人将MS和NC结合，提出了一种新的图像分割方法，MS-Ncut，即将MS和NC结合，在一定程度上缓解了过分割和计算复杂度，先用均值漂移分割方法对图像进行分割；然后在前一步所得到的过分割的图像基础上用规范切的方法进行区域合并。但是MS-Ncut方法需要预先设置分割数目来结束合并过程。本发明是一种基于MS-Ncut并且能自动确定分割数的分割方法，即自适应MS-Ncut方法，具体方法如下所述：
（11）、将图像进行均值漂移分割；
（12）、考虑到图理论中图
Figure 2013101193204100002DEST_PATH_IMAGE040
的定义，
Figure 2013101193204100002DEST_PATH_IMAGE042
，其中是图的顶点，
Figure 2013101193204100002DEST_PATH_IMAGE046
是顶点与顶点之间的权重，将该图像看作是图理论中的图
Figure 393587DEST_PATH_IMAGE040
，将分割区域作为该图像的节点，对该图像用规范割进行聚类；
（13）对聚类后的每个分割区域分别提取R、G、B颜色通道的平均像素值作为该区域的三维特征；
（14）将聚类数目
Figure 520943DEST_PATH_IMAGE020
初始化为2；
（15）随机选择
Figure 420765DEST_PATH_IMAGE020
个分割区域的特征向量作为初始类别中心，将所有分割区域归并到最近的类别中，并重新计算类别中心； 
（16）计算准则函数
Figure 2013101193204100002DEST_PATH_IMAGE048
，其中
Figure 2013101193204100002DEST_PATH_IMAGE050
是
Figure 173827DEST_PATH_IMAGE020
个类别，
Figure 2013101193204100002DEST_PATH_IMAGE052
是类别中心，
Figure 2013101193204100002DEST_PATH_IMAGE054
是属于
Figure 413178DEST_PATH_IMAGE030
类别的区域的特征向量，如果
Figure 773752DEST_PATH_IMAGE032
大于等于预先设定的阈值
Figure 347822DEST_PATH_IMAGE034
，，转到(15)；如果
Figure 608219DEST_PATH_IMAGE032
小于预先设定的阈值
Figure 342957DEST_PATH_IMAGE034
，则停止迭代。
（2）、对检索图像
Figure 951793DEST_PATH_IMAGE002
提取全局特征；分割区域
Figure 2013101193204100002DEST_PATH_IMAGE056
提取局部底层特征；
所述的全局特征包括颜色和纹理特征，全局特征中的颜色特征为：颜色直方图256维、颜色矩9维（3个颜色分量，每个分量上3个低阶矩）；全局特征中的纹理特征为：边界/内部像素分类（Border/Interior pixel Classification，BIC）特征128维、Gabor小波变换特征48维；
所述的区域局部底层特征包括颜色、纹理和形状特征，其中颜色特征为：将图像由RGB颜色空间转换到L*u*v*空间，提取L*，u*，v*区域平均颜色作为每一个区域的3维颜色特征；其中形状特征：区域的1维密度比、2维质心、4维矩形盒子、7维不变矩作为14维形状特征；其中纹理特征：计算区域的共生矩阵，提取能量、惯性、熵、匀度四个统计特性作为16维纹理特征。
（3）、对于标准图像库中的每一幅图像
Figure 312236DEST_PATH_IMAGE008
，
Figure 322917DEST_PATH_IMAGE010
，计算对应于分割区域，
Figure 324688DEST_PATH_IMAGE014
的最优区域，其中
Figure 36292DEST_PATH_IMAGE016
是标准图像库中的图像数量，具体计算最优区域的步骤如下，首先给出最优区域的定义：
若把图像自身看作0层分割，自适应分割结果看作1层分割，则结合全局特征和区域特征可以建立一种图像的层描述，借助全局特征和局部特征优势互补来表示图像的内容。更进一步地，在所有分割区域中选取具有最具有代表性的区域进行匹配，不仅能减少检索的时间，而且能提高检索的有效性。对于基于全局特征的图像, 把原图看作这里的最优区域即可。基于此，提出最优区域的定义。
定义1 (最优区域, Optimal Region, OR) 设两幅图像和
Figure 2013101193204100002DEST_PATH_IMAGE060
， 其中
Figure 2013101193204100002DEST_PATH_IMAGE062
和
Figure 2013101193204100002DEST_PATH_IMAGE064
分别为两幅图像对应的分割区域。如果用
Figure 2013101193204100002DEST_PATH_IMAGE066
表示基于特征描述子计算的区域之间的相似度（相似度是距离的负指数函数，即
Figure 2013101193204100002DEST_PATH_IMAGE068
，其中
Figure 2013101193204100002DEST_PATH_IMAGE070
是距离），则区域
Figure 2013101193204100002DEST_PATH_IMAGE072
的最优区域为
Figure 2013101193204100002DEST_PATH_IMAGE074
, 如果满足
Figure DEST_PATH_IMAGE076
,           (1)
对应的相似度为
Figure DEST_PATH_IMAGE078
称为最优区域相似度，记为
Figure DEST_PATH_IMAGE080
。
下面的例子进一步阐述了最优区域的概念。如图2所示，以Corel图像库中的两幅图像(a)和(b)为例。用自适应MS-Ncut算法对两幅图像进行分割，分别得到四个区域，表示为
Figure DEST_PATH_IMAGE082
和
Figure DEST_PATH_IMAGE084
，提取步骤（2）中所述的区域颜色特征，两幅图像区域间的距离矩阵为
其中
Figure DEST_PATH_IMAGE088
表示区域
Figure DEST_PATH_IMAGE090
和
Figure DEST_PATH_IMAGE092
的距离。取相似度
Figure DEST_PATH_IMAGE094
是距离的负指数函数，根据定义1，基于该颜色特征描述子，区域的最优区域为
Figure DEST_PATH_IMAGE098
。因为
Figure DEST_PATH_IMAGE100
, 即
Figure DEST_PATH_IMAGE102
。同理，区域
Figure DEST_PATH_IMAGE104
的最优区域为
Figure DEST_PATH_IMAGE106
，区域
Figure DEST_PATH_IMAGE108
的最优区域为
Figure DEST_PATH_IMAGE110
，区域
Figure DEST_PATH_IMAGE112
的最优区域为。
若提取步骤（2）中的区域形状特征，则图像
Figure DEST_PATH_IMAGE114
和
Figure DEST_PATH_IMAGE116
的区域距离矩阵
Figure DEST_PATH_IMAGE118
为
Figure DEST_PATH_IMAGE120
，
则基于该纹理特征描述子，
Figure 856316DEST_PATH_IMAGE096
的最优区域都是
Figure DEST_PATH_IMAGE122
，
Figure DEST_PATH_IMAGE124
的最优区域都是
Figure DEST_PATH_IMAGE126
，
Figure DEST_PATH_IMAGE128
的最优区域都是
Figure 564378DEST_PATH_IMAGE110
，的最优区域是
Figure 799368DEST_PATH_IMAGE126
。
     由定义1和上面的实例说明，最优区域具有以下特征：1) 是在特征描述子指定的前提下，对图像中的某个区域而言的；2) 在特征描述子指定的前提下，图像的某个区域的最优区域是图像中和该区域相似度最大的区域；3）一幅图像的最优区域个数是
Figure DEST_PATH_IMAGE132
，其中
Figure DEST_PATH_IMAGE134
是图像的分割区域数目，
Figure DEST_PATH_IMAGE136
是提取图像特征的描述子的数目。由最优区域的定义和以上特征知，图像
Figure DEST_PATH_IMAGE138
的每个区域的最优区域数目图像
Figure DEST_PATH_IMAGE140
的区域数目，减少了和
Figure 295574DEST_PATH_IMAGE140
的相似度匹配的计算复杂度；同时由于参与匹配的是相似度最大的区域，抓住了图像内容的重点。
（4）、构建全局-最优区域相似度匹配模式；全局-最优区域相似度匹配模式(Global-Optimal Regions Similarity Pattern, GORSP)是将检索图像与图像库的每一幅图像
Figure DEST_PATH_IMAGE142
的全局特征和最优区域特征的相似度组合起来的一种模式。
首先给出要用到的简单相似度描述子定义：
  定义2 (简单相似度描述子) 简单相似度描述子
Figure DEST_PATH_IMAGE144
定义为
Figure DEST_PATH_IMAGE146
, 其中
Figure DEST_PATH_IMAGE148
是特征提取函数, 将图像
Figure DEST_PATH_IMAGE150
映射为特征空间
Figure DEST_PATH_IMAGE152
中的一个点
Figure DEST_PATH_IMAGE154
 (
Figure 927598DEST_PATH_IMAGE150
的特征向量)。
Figure DEST_PATH_IMAGE156
是相似度函数，用来计算两幅图像的相似度。
    定义3 (全局-最优区域相似度描述子) 全局-最优区域相似度描述子
Figure DEST_PATH_IMAGE158
定义为
Figure DEST_PATH_IMAGE160
, 其中,
Figure DEST_PATH_IMAGE162
是
Figure DEST_PATH_IMAGE164
个简单全局相似度描述子的集合， 是
Figure DEST_PATH_IMAGE168
个简单区域相似度描述子的集合，
Figure DEST_PATH_IMAGE170
是全局-最优区域相似度结合函数，结合由
Figure DEST_PATH_IMAGE172
和
Figure DEST_PATH_IMAGE174
计算得到的相似度值和
Figure DEST_PATH_IMAGE178
，用以计算两幅图像的相似度。
把基于全局-最优区域相似度描述子求取两幅图像相似度的方式称为GORSP。图2给出GORSP的例子：首先用和
Figure DEST_PATH_IMAGE182
获得图像
Figure 424568DEST_PATH_IMAGE138
和
Figure 281666DEST_PATH_IMAGE140
的特征向量，然后用
Figure DEST_PATH_IMAGE184
计算两幅图像的全局相似度
Figure DEST_PATH_IMAGE186
，用
Figure DEST_PATH_IMAGE188
计算两幅图像的最优区域相似度
Figure DEST_PATH_IMAGE190
，最后用
Figure DEST_PATH_IMAGE192
来结合这些相似度以计算得到两幅图像和的最终相似度。需要说明的是对于不同的检索图像，由于其分割区域数目不同，得到的最优区域相似度个数是不同的。
根据人眼视觉特性，用户对图像中的不同区域的关注度和敏感度不同。同时，用户不仅仅关注某一个目标，而且关注这个目标所处的背景，最优区域就是在视觉相似度上和用户提供的检索图像区域接近的区域，因此会被用户更多的关注。另外，区域与区域之间并不是独立的，而是相互联系的，提取图像的全局特征有助于将不同的区域联系起来，因此，GORSP是基于人眼视觉特性而提出来的。
（5）、通过赋予全局-最优区域相似度匹配模式中的所有相似度以平均权重来计算检索图像
Figure 797464DEST_PATH_IMAGE002
和标准图像库中每一幅图像
Figure 379624DEST_PATH_IMAGE008
的相似度
Figure DEST_PATH_IMAGE194
；根据
Figure 928417DEST_PATH_IMAGE194
对
Figure 954141DEST_PATH_IMAGE008
进行排序，得到初始检索结果并把与用户最相似的前若干幅图像返回用户端；
初始检索结果是按照将全局-最优区域相似度匹配模式中的所有相似度加权平均得到的线性相似度对标准图像库进行排序的结果。按照式(2)给出初始检索结果：
Figure DEST_PATH_IMAGE196
,            (2)
由式(2)知，图像
Figure 221175DEST_PATH_IMAGE138
和
Figure 420075DEST_PATH_IMAGE140
的相似度
Figure DEST_PATH_IMAGE198
定义为全局和最优区域相似度的线性组合，其中线性权重简单取为均值。
（6）、用户参与反馈，直到检索出满意的图像；
此处介绍两种基于遗传规划的相关反馈策略，一种检索框架中只包括用户标注的正例, 记为Global-optimal regions 
Figure DEST_PATH_IMAGE200
，另一种则不仅包括正例, 同时还包括负例，记为Global-optimal regions
Figure DEST_PATH_IMAGE202
。
对于Global-optimalregions 
Figure 948008DEST_PATH_IMAGE202
，实现的具体步骤为：
（61）、如果用户对检索结果满意，则停止检索，否则进入步骤（62）；
（62）、用户标注系统返回的检索结果为正例或反例；
    设和
Figure DEST_PATH_IMAGE206
是用户从参与检索到找到满意检索结果所标记的所有正例和负例图像的集合。同时设
Figure DEST_PATH_IMAGE208
是从正例中随机选择的子集(
Figure DEST_PATH_IMAGE210
, 
Figure DEST_PATH_IMAGE212
, 
Figure DEST_PATH_IMAGE214
, 不失一般性，取
Figure DEST_PATH_IMAGE216
)，则可构造基于正例的检索模式:
Figure DEST_PATH_IMAGE218
 ；
（63）、根据适应度函数选择个体，然后进行复制、交叉和变异操作，借助遗传规划算法学习最优的特征相似度结合非线性方式；
具体包括以下过程：
（63-1）、确定个体的表达形式，即确定终端集和函数集：
遗传规划的个体是以全局和最优区域简单描述子相似度为叶节点的树状结构，如图3。此个体的表达式为：
Figure DEST_PATH_IMAGE220
，以
Figure DEST_PATH_IMAGE222
为终端，以
Figure DEST_PATH_IMAGE224
为函数；
（63-2）、随机生成初始种群：
种群规模控制种群中个体的数量，规模大能提供遗传进化的多样性，但同时带来较大的计算时间，反之亦然。通常，对于难度较大的问题，适当增加种群规模，以加大问题搜索空间。这里采用的初始种群的个数为60，随机产生初始种群。所采用的GP算法的初始种群是60个具有类似图4结构的个体构成的。但是图4中的终端和函数只是采用的一部分，采用的树的叶节点集合为全局和最优区域简单描述子相似度，函数集合为
Figure DEST_PATH_IMAGE226
；
为了保证初始种群中树的结构和规模保持多样性，第一代种群采用满树和生长树混合的生长方式(Ramped half and half)产生程序树，每一个深度的生成树，满树和生长树生成方式各占50%。这里限定程序树的深度为5，初始种群中树的深度为2到5的各占25%。初始种群随机产生，是简单描述子和运算符的随机组合，并没有特意把初始结果的相似度特征函数作为初始个体之一；
（63-3）计算种群中个体的适应度：
首先给出所用的训练集； 
设
Figure DEST_PATH_IMAGE228
是训练集, 
Figure DEST_PATH_IMAGE230
, 的个数是的数据库图像，本文取
Figure DEST_PATH_IMAGE238
。
Figure DEST_PATH_IMAGE240
分别从
Figure DEST_PATH_IMAGE242
，
Figure DEST_PATH_IMAGE244
和未标注图像中随机选取，其中
Figure DEST_PATH_IMAGE246
的个数
Figure DEST_PATH_IMAGE248
，
Figure DEST_PATH_IMAGE250
的个数
Figure DEST_PATH_IMAGE252
，
Figure DEST_PATH_IMAGE254
的个数；
给定一个种群个体
Figure DEST_PATH_IMAGE258
, 图像
Figure DEST_PATH_IMAGE260
和检索模式
Figure DEST_PATH_IMAGE262
的相似度定义为
Figure DEST_PATH_IMAGE264
                      (3)
将训练集
Figure 898296DEST_PATH_IMAGE232
中的图像
Figure DEST_PATH_IMAGE266
按照公式(3)计算与
Figure 590309DEST_PATH_IMAGE262
的相似度，并按照从大到小的顺序形成有序序列
Figure DEST_PATH_IMAGE268
，
Figure 514271DEST_PATH_IMAGE258
的适应度函数选取
Figure DEST_PATH_IMAGE270
,                   (4)
其中
Figure DEST_PATH_IMAGE272
是有序序列
Figure DEST_PATH_IMAGE274
的第
Figure DEST_PATH_IMAGE276
个图像, 如果
Figure 975340DEST_PATH_IMAGE272
是正例图像，则, 否则
Figure DEST_PATH_IMAGE280
；
（63-4）、根据适应度选择个体执行遗传操作，即复制、交叉和变异，生成下一代：根据个体的适应度函数采用规模为2的锦标赛方法对个体进行选择，对选择后的个体进行复制、交叉和变异的遗传操作，得到新一代个体。其中复制采用适应度优先法，从父代个体中根据适应度选择优秀个体放进交配池，以备交叉变异产生下一代；交叉采用子树交换的方式，随机选择两个父代个体的节点进行交换以产生两个新的个体，这里采用的交叉概率为0.8；变异时用随机产生的子树代替个体中任意选择的一个子树，以产生新种群里的后代，这里采用的变异概率为0.2；
（63-5）、循环执行(63-3)和(63-4)，直到满足预先设定的适应度值或培养的代数的终止条件；
（64）、按照得到的最优非线性相似度重新计算
Figure 592135DEST_PATH_IMAGE002
和的相似度，对图像库中的所有图像重新排序，并输出前若干幅最相似图像；
（65）、反复进行（62）-（64），直到检索到令用户比较满意的图像。
    对于Global-optimal regions 
Figure 46567DEST_PATH_IMAGE202
，实现的具体步骤为：
    在(61)-(65)中，将(62)中的检索模式更改为：基于正例和负例的检索模式
Figure DEST_PATH_IMAGE282
构造为
Figure DEST_PATH_IMAGE284
，其中
Figure DEST_PATH_IMAGE286
，
Figure DEST_PATH_IMAGE288
，
Figure DEST_PATH_IMAGE290
，
Figure DEST_PATH_IMAGE292
，是常数，本文中我们取；
并且，(63-3)中
Figure DEST_PATH_IMAGE298
更改为
Figure DEST_PATH_IMAGE302
.                    (5)
本发明的方法可以用仿真实验给予进一步的展示：
1 仿真内容：对常用的图像检索实验数据库Corel 5000进行实验。该图像库包括50类，每类100幅，每幅图像的大小是
Figure DEST_PATH_IMAGE304
或者
Figure DEST_PATH_IMAGE306
。实验从相关反馈性能、最优区域的有效性、算法的鲁棒性以及时间复杂度4个方面验证本文检索框架的有效性，应用本发明方法和基于均匀分块的方法、基于全局特征的方法、基于最优区域的方法和基于粒子群的方法进行比较。五种比较的方法分别记做本文的五种对比方法分别记为：Global-optimal regions
Figure DEST_PATH_IMAGE308
、Uniform segmentation  
Figure 63939DEST_PATH_IMAGE308
、Global 
Figure 399106DEST_PATH_IMAGE308
、Optimal regions 
Figure 128027DEST_PATH_IMAGE308
、PSO。 
2 仿真结果：在给出仿真结果之前，先介绍评估检索结果好坏的客观指标：第一个客观指标是采用前
Figure DEST_PATH_IMAGE310
幅最相似图像的平均查准率, 即对所有检索示例图像的前
Figure DEST_PATH_IMAGE312
幅最相似图像的查准率求平均，
Figure DEST_PATH_IMAGE314
,                       (6)
其中表示对于检索示例图像
Figure DEST_PATH_IMAGE318
返回前
Figure DEST_PATH_IMAGE320
幅最相似图像的查准率,即返回的相关图像的个数与
Figure 331475DEST_PATH_IMAGE320
的比值；
Figure DEST_PATH_IMAGE322
是检索示例图像集
Figure 16404DEST_PATH_IMAGE002
的个数. 我们在每类中随机选择30幅作为检索示例图像，共有1500幅检索示例图像。与检索示例图像属于同一类的图像称为相关图像，否则称为不相关图像。为避免随机选择带来的偏差，我们将实验多次得到的
Figure DEST_PATH_IMAGE324
求平均作为最终的结果。
    
Figure DEST_PATH_IMAGE326
曲线图是衡量CBIR系统的另一个常用的客观指标。不仅包含相关图像的多少，而且反映了相关图像的排序。
A 相关反馈性能
相关反馈性能从三个侧面进行了测试，首先考察了正例图像与正负例图像分别参与反馈时的相关反馈性能的比较；其次在同等平台下比较了我们提出的两种方法与其他三种方法，给出了
Figure DEST_PATH_IMAGE328
和曲线图等客观指标的比较结果；最后评价了用户标注图像的数量对我们算法的影响，即考虑了用户的标注负担的问题。
图5给出了前4种方法自身
Figure 857463DEST_PATH_IMAGE200
和
Figure 739969DEST_PATH_IMAGE202
的比较结果。可以看出，10次反馈中
Figure 92453DEST_PATH_IMAGE202
优于
Figure 972684DEST_PATH_IMAGE200
。这说明在基于GP的反馈策略中，用户标注的负例对反馈检索是有一定贡献的。鉴于这个结果，在下面的实验中，基于均匀分块的方法、基于全局特征的方法、基于最优区域的方法只有
Figure DEST_PATH_IMAGE330
策略参与比较。
图6(a)是从初始检索到10次反馈的不同方法的
Figure 597569DEST_PATH_IMAGE328
的比较，图6(b)是反馈5次后的
Figure 18186DEST_PATH_IMAGE326
曲线图。图6(a)考察了反馈1次至10次的检索性能，然而在实际应用中考虑到用户的耐性以及时间的有限性，我们在图6(b)中给出反馈5次后的
Figure 428439DEST_PATH_IMAGE326
曲线图。从图6(a)可以看出，反馈10次后我们基于正例的方法Global-optimal regions
Figure DEST_PATH_IMAGE332
的
Figure 276309DEST_PATH_IMAGE328
分别高于PSO，Global 
Figure 388491DEST_PATH_IMAGE202
，Uniform segmentation 
Figure 612799DEST_PATH_IMAGE202
，Optimal regions 
Figure 939875DEST_PATH_IMAGE202
 0.2%，11.12%，11.74%，19.99%。我们基于正负例的方法Global-optimal regions
Figure 161909DEST_PATH_IMAGE202
的
Figure 574436DEST_PATH_IMAGE328
分别比这四种方法高9.8%，20.72%，21.34%，29.59%。优于Global ，Uniform segmentation
Figure 518438DEST_PATH_IMAGE202
两种方法突出了我们提出的检索模式对一般分割方法的普遍适用性以及优势。优于PSO方法说明了我们本文提出的检索框架式有效的。图6(b)表明在返回前10幅到前80幅相关图像，我们的基于正负例的方法是占有优势的，返回前90幅和返回前100幅两种情况下，Global 
Figure 160641DEST_PATH_IMAGE202
是最好的。考虑到在实际应用中，用户所需要的相关图像的有限性，我们的方法还是比较有竞争力的，返回的相关图像不仅多，而且排序靠前。
此外还考察了用户的标注对我们的方法产生的影响，即用户在每次反馈过程中标注的图像数量对检索结果的影响。以方法Global-optimal regions
Figure 60463DEST_PATH_IMAGE202
为例，图7考察了当用户标记
Figure DEST_PATH_IMAGE334
幅图像时反馈1-10次对应的平均查准率 (AP )，本实验中，
Figure DEST_PATH_IMAGE336
分别取5，10，20，30，50。图7表明，
Figure DEST_PATH_IMAGE338
时，检索结果最好，即用户每次反馈过程中标注5幅图像检索结果最好。实验结果说明在用户能承受的负担内，我们的方法能产生比较理想的检索结果。分析其原因是，我们的正例图像集合和负例图像集合
Figure DEST_PATH_IMAGE342
是一个用户从参与检索到找到满意检索结果所标记的所有正例和负例图像的集合，因此积累了足够的标注图像。
B 最优区域的有效性
提取图像的最优区域进行检索可以提高检索的有效性和减少检索时间。这部分，我们把基于最优区域的图像检索(Optimal regions , Optimalregions 
Figure 161198DEST_PATH_IMAGE200
)和基于全部区域的图像检索(All regions , Allregions )作比较。
两种方法的初始检索和反馈的对比结果见图8。图8表明，初始检索阶段，基于最优区域的图像检索比基于全局区域的图像检索高出10.77%。五次反馈后，基于正负例的最优区域方法比基于正负例的全部区域的方法高出4.06%，基于正例的最优区域方法比基于正例的全部区域方法高出7.53%。因此，和全部区域参与检索的方法相比，基于最优区域的检索方法更有优势。
然而也注意到，基于最优区域的图像检索方法在第一次反馈后
Figure 372551DEST_PATH_IMAGE328
下降了大约1%，这是由于基于区域的图像检索本身的缺点所致，比如分割结果的不尽人意等。因此，只有将基于全局特征和基于最优区域特征的方法结合起来，优势互补，才能提高检索结果（见图5）。
C 鲁棒性
图9给出我们提出的检索系统的鲁棒性测试结果。第一行给出了当目标图像变亮、变暗程度不断加大, 滤波窗口的尺寸变大和旋转角度的加大后, 相似度匹配后目标图像在图像库中的排序。 第二行给出了变化后的目标图像和目标图像的距离。从图9的实验结果可以看出, 在对目标图像进行一定范围的变化下，目标图像的排序以及和改变后的目标图像的距离变化不大。因此，该实验说明我们的方法有较强的鲁棒性。
D 时间复杂度
对每幅检索图像进行分割，提取全局特征和区域特征，计算最优区域以及在图像库中进行匹配排序的平均时间是0.4355s。基于正例的相关反馈和基于正负例的相关反馈平均一次反馈的时间分别为0.8032s和0.9116s。因此，适用于实时的图像检索系统。
根据算法的各步骤分析，该算法的时间复杂度由对用户提交的检索示例图像进行图像分割、提取特征，计算最优区域、对图像库图像进行排序和相关反馈的时间复杂度组成。其中图像分割的时间复杂度是
Figure DEST_PATH_IMAGE344
,其中
Figure DEST_PATH_IMAGE346
和分别是图像的宽度和高度；提取特征的时间复杂度是
Figure DEST_PATH_IMAGE350
，其中
Figure DEST_PATH_IMAGE352
是对检索示例图像进行自适应MS-Ncut分割得到的区域数；计算检索示例图像相对于图像库图像的最优区域的时间复杂度是
Figure DEST_PATH_IMAGE354
，其中
Figure DEST_PATH_IMAGE356
是图像库中图像的数量；对图像库图像进行排序的时间复杂度是
Figure 487049DEST_PATH_IMAGE354
；相关反馈的时间复杂度是GP算法的复杂度+
Figure 95885DEST_PATH_IMAGE354
。对于更大的图像库(10000幅以上)，可以考虑使用快速近邻法进行匹配，即首先将图像库图像分级，构造成树状结构，然后通过一定的规则将用户提交的检索示例图像和树状结构的某一分枝进行比较来减少计算量。
E 其他说明
由定义3知，即使不同图像的分割数目不同，同一幅检索图像在和不同图像匹配时，最优区域相似度描述子的个数是相同的，因此，在进行GP进化时，种群个体的树状结构的终端集合不需要改变。所以，算法的复杂度不会因为不同图像分割区域数目的不同而增加。
另外，系统是开放的系统，现有的任何一种合适的分割方法都可以嵌入到本发明的图像检索系统中，例如，Jifeng Ning，Pablo Arbeláez提出的分层分割和自适应分割方法。综合考虑时间复杂度和分割效果，本发明的检索系统中采取了自适应MS-Ncut分割方法。
由上述具体实施方法可见，本发明提出了一种有用户参与的交互式图像检索方法，该方法通过遗传规划学习相似度的非线性结合来实现的：(1) 给出了一种快速的自适应图像分割算法；(2) 定义了最优区域的概念, 只基于最优区域参与图像间的匹配检索, 既减小了时间复杂度又增加了图像匹配的有效性；(3) 构建了一种全局-最优区域相似度检索模式，在保持了图像检索的鲁棒性的同时更加符合人眼视觉特性；(4) 在图像自适应分割的基础上，基于全局-最优区域相似度模式进行基于遗传规划的相关反馈。

Claims (7)

1.一种基于分层特征和遗传规划相关反馈的图像检索方法，其特征在于：包括以下步骤：
（1）、对用户提交的检索图像                                               
Figure 2013101193204100001DEST_PATH_IMAGE002
进行自适应分割，得到分割区域
Figure 2013101193204100001DEST_PATH_IMAGE004
；
（2）、对检索图像
Figure 799877DEST_PATH_IMAGE002
提取全局特征；分割区域
Figure 2013101193204100001DEST_PATH_IMAGE006
提取局部底层特征；
（3）、对于标准图像库中的每一幅图像，
Figure 2013101193204100001DEST_PATH_IMAGE010
，计算对应于分割区域
Figure 2013101193204100001DEST_PATH_IMAGE012
，
Figure 2013101193204100001DEST_PATH_IMAGE014
的最优区域，其中
Figure 2013101193204100001DEST_PATH_IMAGE016
是标准图像库中的图像数量；
（4）、构建全局-最优区域相似度匹配模式；
（5）、通过赋予全局-最优区域相似度匹配模式中的所有相似度以平均权重来计算检索图像
Figure 779335DEST_PATH_IMAGE002
和标准图像库中每一幅图像的相似度
Figure 2013101193204100001DEST_PATH_IMAGE018
；根据对
Figure 955604DEST_PATH_IMAGE008
进行排序，得到初始检索结果并把与用户最相似的前若干幅图像返回用户端；
（6）、用户参与反馈，直到检索出满意的图像。
2.根据权利要求1所述的基于分层特征和遗传规划相关反馈的图像检索方法，其特征在于：所述的步骤（1)中的自适应分割的具体方法如下所述：（11）、将图像进行均值漂移分割；
（12）、将分割区域作为该图像的节点，对该图像用规范割进行聚类；
（13）对聚类后的每个分割区域分别提取R、G、B颜色通道的平均像素值作为该区域的三维特征；
（14）将聚类数目初始化为2；
（15）随机选择
Figure 715750DEST_PATH_IMAGE020
个分割区域的特征向量作为初始类别中心，将所有分割区域归并到最近的类别中，并重新计算类别中心；
（16）、计算准则函数
Figure 2013101193204100001DEST_PATH_IMAGE022
，其中
Figure 2013101193204100001DEST_PATH_IMAGE024
是
Figure 169734DEST_PATH_IMAGE020
个类别，
Figure 2013101193204100001DEST_PATH_IMAGE026
是类别中心，
Figure 2013101193204100001DEST_PATH_IMAGE028
是属于
Figure 2013101193204100001DEST_PATH_IMAGE030
类别的区域的特征向量，如果
Figure 2013101193204100001DEST_PATH_IMAGE032
大于等于预先设定的阈值
Figure 2013101193204100001DEST_PATH_IMAGE034
，
Figure 2013101193204100001DEST_PATH_IMAGE036
，转到(15)；如果小于预先设定的阈值
Figure 162146DEST_PATH_IMAGE034
，则停止迭代。
3.根据权利要求1所述的基于分层特征和遗传规划相关反馈的图像检索方法，其特征在于：所述的步骤（2）中的全局特征包括颜色和纹理特征，全局特征中的颜色特征为颜色直方图256维、颜色矩9维；全局特征中的纹理特征为：边界/内部像素分类（Border/Interior pixel Classification，BIC）特征128维、Gabor小波变换特征48维；
    所述的步骤（2）中的底层特征包括颜色、纹理和形状特征；
    区域局部底层特征包括颜色、纹理和形状特征，其中颜色特征为：将图像由RGB颜色空间转换到L*u*v*空间，提取L*，u*，v*区域平均颜色作为每一个区域的3维颜色特征；其中形状特征：区域的1维密度比、2维质心、4维矩形盒子、7维不变矩作为14维形状特征；其中纹理特征：计算区域的共生矩阵，提取能量、惯性、熵、匀度四个统计特性作为16维纹理特征。
4.根据权利要求1所述的基于分层特征和遗传规划相关反馈的图像检索方法，其特征在于：所述的步骤（3）中对于标准图像库中的每一幅图像
Figure 93193DEST_PATH_IMAGE008
，，计算对应于分割区域，
Figure 312448DEST_PATH_IMAGE014
的最优区域，其中
Figure 742293DEST_PATH_IMAGE016
是标准图像库中的图像数量。
5.根据权利要求1所述的基于分层特征和遗传规划相关反馈的图像检索方法，其特征在于：所述的步骤（4）全局-最优区域相似度匹配模式是将检索图像
Figure 983918DEST_PATH_IMAGE002
与标准图像库里的每一幅图像
Figure 2013101193204100001DEST_PATH_IMAGE038
的全局特征和最优区域特征的相似度组合起来的一种模式。
6.根据权利要求5所述的基于分层特征和遗传规划相关反馈的图像检索方法，其特征在于：所述的步骤（5）初始检索结果是按照将全局-最优区域相似度匹配模式中的所有相似度加权平均得到的线性相似度对标准图像库进行排序的结果。
7.根据权利要求1所述的基于分层特征和遗传规划相关反馈的图像检索方法，其特征在于：所述的步骤（6）包括以下步骤：
（61）、如果用户对检索结果满意，则停止检索，否则进入步骤（62）；
（62）、用户标注系统返回的检索结果为正例或反例；
（63）、根据适应度函数选择个体，然后进行复制、交叉和变异操作，借助遗传规划算法学习最优的特征相似度结合非线性方式；
（64）、按照非线性相似度重新计算
Figure 196725DEST_PATH_IMAGE002
和
Figure 840196DEST_PATH_IMAGE038
的相似度，对图像库中的所有图像重新排序，并输出前若干幅最相似图像；
（65）、反复进行（62）-（64），直到检索到令用户比较满意的图像。
CN201310119320.4A 2013-04-08 2013-04-08 基于分层特征和遗传规划相关反馈的图像检索方法 Expired - Fee Related CN103207910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310119320.4A CN103207910B (zh) 2013-04-08 2013-04-08 基于分层特征和遗传规划相关反馈的图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310119320.4A CN103207910B (zh) 2013-04-08 2013-04-08 基于分层特征和遗传规划相关反馈的图像检索方法

Publications (2)

Publication Number Publication Date
CN103207910A true CN103207910A (zh) 2013-07-17
CN103207910B CN103207910B (zh) 2017-02-08

Family

ID=48755131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310119320.4A Expired - Fee Related CN103207910B (zh) 2013-04-08 2013-04-08 基于分层特征和遗传规划相关反馈的图像检索方法

Country Status (1)

Country Link
CN (1) CN103207910B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440646A (zh) * 2013-08-19 2013-12-11 成都品果科技有限公司 用于颜色分布和纹理分布图像检索的相似度获取方法
CN103530405A (zh) * 2013-10-23 2014-01-22 天津大学 一种基于分层结构的图像检索方法
CN103914527A (zh) * 2014-03-28 2014-07-09 西安电子科技大学 一种基于新编码方式的遗传规划算法的图形图像识别与匹配方法
CN103942571A (zh) * 2014-03-04 2014-07-23 西安电子科技大学 一种基于遗传规划算法的图形图像分类方法
CN104077344A (zh) * 2013-12-31 2014-10-01 河南大学 基于自适应学习区域重要性的交互式图像检索方法及系统
WO2015042891A1 (zh) * 2013-09-27 2015-04-02 华为技术有限公司 图像语义分割的方法和装置
WO2015096676A1 (zh) * 2013-12-27 2015-07-02 同方威视技术股份有限公司 基于透视图像内容的检索系统、检索方法以及安全检查设备
CN105045907A (zh) * 2015-08-10 2015-11-11 北京工业大学 一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树的构建方法
CN105160029A (zh) * 2015-09-30 2015-12-16 努比亚技术有限公司 图像检索装置及方法
CN106096255A (zh) * 2016-06-03 2016-11-09 宁波大红鹰学院 一种红外诊断系统及方法
WO2017114237A1 (zh) * 2015-12-30 2017-07-06 华为技术有限公司 一种图像查询方法和装置
CN108134848A (zh) * 2018-02-07 2018-06-08 北京航空航天大学 一种基于图论k-分割的soa系统资源优化方法
CN108831158A (zh) * 2018-08-20 2018-11-16 贵州宜行智通科技有限公司 违停监测方法、装置及电子终端
CN110334758A (zh) * 2019-06-28 2019-10-15 西安理工大学 基于拓扑特征的图拓扑结构的相似度计算方法
CN111178409A (zh) * 2019-12-19 2020-05-19 浙大网新系统工程有限公司 基于大数据矩阵稳定性分析的图像匹配与识别系统
CN113343009A (zh) * 2021-01-05 2021-09-03 辽宁工程技术大学 一种基于K-centroid聚类和相关反馈的图像检索方法
CN113673695A (zh) * 2021-07-07 2021-11-19 华南理工大学 基于新型特征自动构造的人群行为规则自动提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1761205A (zh) * 2005-11-18 2006-04-19 郑州金惠计算机系统工程有限公司 基于内容的网络色情图像和不良图像检测系统
CN101021903A (zh) * 2006-10-10 2007-08-22 鲍东山 视频字幕内容分析系统
CN102402621A (zh) * 2011-12-27 2012-04-04 浙江大学 一种基于图像分类的图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1761205A (zh) * 2005-11-18 2006-04-19 郑州金惠计算机系统工程有限公司 基于内容的网络色情图像和不良图像检测系统
CN101021903A (zh) * 2006-10-10 2007-08-22 鲍东山 视频字幕内容分析系统
CN102402621A (zh) * 2011-12-27 2012-04-04 浙江大学 一种基于图像分类的图像检索方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440646B (zh) * 2013-08-19 2016-08-10 成都品果科技有限公司 用于颜色分布和纹理分布图像检索的相似度获取方法
CN103440646A (zh) * 2013-08-19 2013-12-11 成都品果科技有限公司 用于颜色分布和纹理分布图像检索的相似度获取方法
WO2015042891A1 (zh) * 2013-09-27 2015-04-02 华为技术有限公司 图像语义分割的方法和装置
CN103530405A (zh) * 2013-10-23 2014-01-22 天津大学 一种基于分层结构的图像检索方法
CN103530405B (zh) * 2013-10-23 2016-08-31 天津大学 一种基于分层结构的图像检索方法
WO2015096676A1 (zh) * 2013-12-27 2015-07-02 同方威视技术股份有限公司 基于透视图像内容的检索系统、检索方法以及安全检查设备
CN104077344B (zh) * 2013-12-31 2018-07-17 河南大学 基于自适应学习区域重要性的交互式图像检索方法及系统
CN104077344A (zh) * 2013-12-31 2014-10-01 河南大学 基于自适应学习区域重要性的交互式图像检索方法及系统
CN103942571B (zh) * 2014-03-04 2017-02-08 西安电子科技大学 一种基于遗传规划算法的图形图像分类方法
CN103942571A (zh) * 2014-03-04 2014-07-23 西安电子科技大学 一种基于遗传规划算法的图形图像分类方法
CN103914527B (zh) * 2014-03-28 2017-02-15 西安电子科技大学 一种基于新编码方式的遗传规划算法的图形图像识别与匹配方法
CN103914527A (zh) * 2014-03-28 2014-07-09 西安电子科技大学 一种基于新编码方式的遗传规划算法的图形图像识别与匹配方法
CN105045907A (zh) * 2015-08-10 2015-11-11 北京工业大学 一种用于个性化社会图像推荐的视觉注意-标签-用户兴趣树的构建方法
CN105045907B (zh) * 2015-08-10 2018-03-09 北京工业大学 一种用于个性化社会图像推荐的视觉注意‑标签‑用户兴趣树的构建方法
CN105160029A (zh) * 2015-09-30 2015-12-16 努比亚技术有限公司 图像检索装置及方法
CN105160029B (zh) * 2015-09-30 2019-04-16 努比亚技术有限公司 图像检索装置及方法
WO2017114237A1 (zh) * 2015-12-30 2017-07-06 华为技术有限公司 一种图像查询方法和装置
CN106933867A (zh) * 2015-12-30 2017-07-07 杭州华为企业通信技术有限公司 一种图像查询方法和装置
CN106933867B (zh) * 2015-12-30 2020-02-21 杭州华为企业通信技术有限公司 一种图像查询方法和装置
US11361019B2 (en) 2015-12-30 2022-06-14 Huawei Technologies Co., Ltd. Image query method and apparatus
CN106096255A (zh) * 2016-06-03 2016-11-09 宁波大红鹰学院 一种红外诊断系统及方法
CN108134848A (zh) * 2018-02-07 2018-06-08 北京航空航天大学 一种基于图论k-分割的soa系统资源优化方法
CN108831158A (zh) * 2018-08-20 2018-11-16 贵州宜行智通科技有限公司 违停监测方法、装置及电子终端
CN110334758A (zh) * 2019-06-28 2019-10-15 西安理工大学 基于拓扑特征的图拓扑结构的相似度计算方法
CN111178409A (zh) * 2019-12-19 2020-05-19 浙大网新系统工程有限公司 基于大数据矩阵稳定性分析的图像匹配与识别系统
CN111178409B (zh) * 2019-12-19 2021-11-16 浙大网新系统工程有限公司 基于大数据矩阵稳定性分析的图像匹配与识别系统
CN113343009A (zh) * 2021-01-05 2021-09-03 辽宁工程技术大学 一种基于K-centroid聚类和相关反馈的图像检索方法
CN113673695A (zh) * 2021-07-07 2021-11-19 华南理工大学 基于新型特征自动构造的人群行为规则自动提取方法
CN113673695B (zh) * 2021-07-07 2023-07-21 华南理工大学 基于新型特征自动构造的人群行为规则自动提取方法

Also Published As

Publication number Publication date
CN103207910B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN103207910A (zh) 基于分层特征和遗传规划相关反馈的图像检索方法
Altenberger et al. A non-technical survey on deep convolutional neural network architectures
CN105809672B (zh) 一种基于超像素和结构化约束的图像多目标协同分割方法
CN107506793B (zh) 基于弱标注图像的服装识别方法及系统
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN108596329A (zh) 基于端到端深度集成学习网络的三维模型分类方法
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
CN104331716A (zh) 面向大规模训练数据的svm主动学习分类算法
CN110737805B (zh) 图模型数据的处理方法、装置和终端设备
CN110443257A (zh) 一种基于主动学习的显著性检测方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN106778791A (zh) 一种基于多重感知器的木材视觉识别方法
CN112766170A (zh) 基于簇类无人机图像的自适应分割检测方法及装置
Kontogianni et al. Interactive object segmentation in 3d point clouds
CN108229505A (zh) 基于fisher多级字典学习的图像分类方法
Pellegrini et al. Neural network pruning denoises the features and makes local connectivity emerge in visual tasks
CN111353525A (zh) 一种不均衡不完整数据集的建模及缺失值填补方法
CN110853052A (zh) 一种基于深度学习的土家织锦图案图元的分割方法
Olague et al. Hands-on artificial evolution through brain programming
CN114548868A (zh) 基于机器视觉的仓库堆垛物品盘库计数方法及装置
Lu et al. Deep conditional color harmony model for image aesthetic assessment
CN118450176B (zh) 基于人工智能的情感识别与视频内容匹配系统
Muniz et al. Generative Design applied to Cloud Modeling
Lei et al. Learning deep classifiers with deep features
Zhang et al. Multi-level ensemble network for scene recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170208

Termination date: 20170408

CF01 Termination of patent right due to non-payment of annual fee