CN107291855A - 一种基于显著对象的图像检索方法及系统 - Google Patents

一种基于显著对象的图像检索方法及系统 Download PDF

Info

Publication number
CN107291855A
CN107291855A CN201710430625.5A CN201710430625A CN107291855A CN 107291855 A CN107291855 A CN 107291855A CN 201710430625 A CN201710430625 A CN 201710430625A CN 107291855 A CN107291855 A CN 107291855A
Authority
CN
China
Prior art keywords
image
notable object
notable
query
query image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710430625.5A
Other languages
English (en)
Inventor
吴金亮
王港
陈金勇
程起敏
涂丛欢
李森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
CETC 54 Research Institute
Original Assignee
Huazhong University of Science and Technology
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, CETC 54 Research Institute filed Critical Huazhong University of Science and Technology
Priority to CN201710430625.5A priority Critical patent/CN107291855A/zh
Publication of CN107291855A publication Critical patent/CN107291855A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Abstract

本发明公开了一种基于显著对象的图像检索方法及系统，包括：通过对包含显著对象的查询图像进行显著性检测，确定查询图像的显著对象所在的区域；确定查询图像的显著对象所在的区域的视觉特征；确定查询图像的显著对象的语义类别；将查询图像的显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，确定所述图像库中与所述查询图像的相似度大于相似度阈值的图像。本发明通过图像显著对象所在区域的视觉特征进行图像检索，避免背景的干扰，并通过确定查询图像显著对象的语义类别，过滤掉图像库中不同语义类别的图像，缩小了图像检索的语义鸿沟，降低了图像检索的复杂度，进一步提升了图像检索的准确性。

Description

一种基于显著对象的图像检索方法及系统
技术领域
本发明属于图像检索领域，更具体地，涉及一种基于显著对象的图像检索方法及系统。
背景技术
随着可获取图像数据量的急剧增加，对图像检索的应用需求不断提高，如何从海量图像数据快速有效地实现感兴趣目标的检索，近年来一直是计算机视觉领域的研究热点，得到来自科研人员和商业机构的关注，在医学、遥感、社交媒体、电子商务、交通、刑侦等领域均有广泛应用。基于内容的图像检索能够克服单纯基于文本的图像检索在主观性和歧义性方面的缺点，而图像内容的描述和提取是决定基于内容的图像检索性能最关键的因素。图像主要包括显著对象和背景两部分，例如在草地上拍摄狗得到的图像，图像中狗为显著对象，草地为背景。显著对象所属的种类可称为语义类别，例如显著对象为狗的图像的语义类别为狗，显著对象为马匹的图像的语义类别为马匹等。
在包含显著对象的图像中，若图像显著对象语义类别相同但是背景不同，则背景会对图像视觉特征的计算产生干扰。研究者们尝试利用图像显著性来解决这一方面的问题，比如融合视觉显著性到图像视觉计算中，尽管在一定程度上可以抑制背景的干扰，但是会增加特征计算复杂度，并且不能完全消除背景的干扰。
由图像低视觉特征与高层语义之间的语义鸿沟会造成图像检索准确度降低。采用词袋模型缩小语义鸿沟的思路是，通过创建图像特征与视觉词汇之间的映射来构造图像特征描述子，但是由于提取视觉词汇是基于整幅图像，这样容易引入噪声。另外，随着深度学习的发展，利用深度学习网络的特征学习能力获取图像深度特征来实现检索的研究也取得了一定的成果，但是直接由深度网络获取的图像特征维度较大，在进行特征匹配时计算量大、耗时长。
综上，现有图像检索方法中，图像语义类别相同时背景的干扰以及图像低层视觉特征与高层语义之间的语义鸿沟均会造成图像检索的准确度降低。
发明内容
针对现有技术的缺陷，本发明的目的在于解决现有检索方法中，图像语义类别相同时背景干扰和图像低层视觉特征与高层语义之间的语义鸿沟等均会使得图像检索的准确度降低的技术问题。
为实现上述目的，第一方面，本发明实施例提供了一种基于显著对象的图像检索方法，包括：通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域；确定所述查询图像的显著对象所在的区域的视觉特征；确定所述显著对象的语义类别；将所述查询图像的显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，确定所述图像库中与所述查询图像的相似度大于相似度阈值的图像。
本发明实施例通过提取显著对象的视觉特征，并基于显著对象的视觉特征进行图像检索，减少了背景干扰，提高了图像检索的准确度，通过判别显著对象的语义类别，仅对图像库中相同语义类别的图像进行检索，缩小了检索目标范围，在降低图像检索的复杂度的同时，有效提高了图像检索的准确度。
可选地，通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域，包括：通过对包含显著对象的查询图像进行多尺度下的显著性检测，对每一层尺度下的查询图像进行超像素分割，分割后的每一块为一个超像素，所述多尺度通过图像金字塔实现；根据每一层尺度下的每一个超像素与邻近超像素的色彩对比度和空间对比度确定该层尺度下的显著图；通过对每层尺度下的显著图融合得到所述查询图像的显著图；通过对所述查询图像的显著图进行自适应阈值分割确定所述查询图像的显著对象所在的区域。
可选地，确定所述查询图像的显著对象所在的区域的视觉特征，包括：所述视觉特征包括颜色特征、纹理特征以及关键点特征中的至少一种；所述颜色特征包括HSV直方图特征、颜色矩特征以及颜色相关图中的至少一种，所述纹理特征包括Gabor变换特征和小波矩特征。
可选地，本发明提供的图像检索方法还包括：通过对图像库中的每幅图像进行显著性检测，确定图像库中的每幅图像的显著对象所在的区域；确定所述图像库中每幅图像的显著对象所在的区域的视觉特征；通过对每幅图像的显著对象所在的区域进行训练得到网络分类器，所述网络分类器用于确定图像中显著对象所属的语义类别。
可选地，确定所述查询图像的显著对象的语义类别，包括：通过将所述查询图像的显著对象输入至所述网络分类器，确定所述查询图像的显著对象的语义类别。
可选地，将所述显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，包括：通过特征距离度量方式进行所述相似度度量，所述特征距离度量方式为以下几种距离度量方式之一：相关距离(Correlation)、余弦距离(Cosine)、曼哈顿距离(Cityblock)、欧氏距离(Euclidean)、明可夫斯基距离(Minkowski)和切比雪夫距离(Chebychev)等。
可选地，所述网络分类器的结构为以下几种网络结构之一：AlexNet网络、LeNet网络、GoogLeNet网络、VGG网络以及ResNet网络。
可选地，所述HSV直方图特征通过以下步骤得到：在HSV颜色空间，将所述显著对象对应的图像像素划分到等量空间C中，所述HSV直方图特征通过以下公式确定：
其中，h(c)表示HSV直方图特征，(x,y)为像素点坐标S(x,y)＝1表示显著对象所在区域的像素点集合，I(x,y)表示查询图像中像素(x,y)的HSV值，M和N分别为查询图像的长宽，c为等量空间C中的一个单元，δ[·]用来判别像素值是否属于等量空间C中当前单元c。
所述颜色矩特征根据颜色均值和标准差确定，所述颜色均值和标准差分别从R、G以及B通道提取，所述色彩均值μk和标准差σk通过以下公式确定：
其中，Ik(x,y)表示坐标(x,y)的像素颜色值。
所述颜色相关图通过颜色自相关图确定，所述颜色自相关图为只计算图像中具有相同灰度值像素的空间关系，不考虑背景像素。
本发明通过颜色自相关图，不考虑背景像素，降低了特征计算复杂度，提高了图像检索效率。
可选地，所述Gabor变换特征通过多尺度多方向的滤波器组计算各个尺度下不同方向子带系数的均值和标准差确定，所述均值和方差代表系数的边缘分布，所述边缘分布用于确定Gabor变换特征向量。所述小波矩特征获取所述显著对象所在区域的总特征维度为190维，以作为所述显著对象的特征描述子。
第二方面，本发明实施例提供了一种基于显著对象的图像检索系统，包括：显著性检测模块，用于通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域；视觉特征确定模块，用于确定所述查询图像的显著对象所在的区域的视觉特征；语义类别确定模块，用于确定所述查询图像的显著对象的语义类别；相似度度量模块，用于将所述查询图像的显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，确定所述图像库中与所述查询图像的相似度大于相似度阈值的图像。
可选地，本发明提供的图像检索系统还包括：图像库显著性检测模块，用于对图像库中的每个图像进行显著性检测，确定图像库中的每个图像的显著对象所在的区域；训练模块，用于通过对每个图像的显著对象所在的区域进行训练得到网络分类器，所述网络分类器用于确定图像中显著对象所属的语义类别。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
(1)本发明不同于传统的基于全图进行视觉特征的图像检索方法，本发明直接计算图像显著对象所在区域的视觉特征，避免背景带来的干扰，通过对图像显著对象的更准确地描述，大大提升了图像检索的准确度。
(2)本发明通过确定查询图像显著对象的语义类别，过滤掉图像库中不同语义类别的图像，缩小了图像检索的语义鸿沟，降低了图像检索的复杂度，进一步提升了图像检索的准确性。
附图说明
图1为本发明实施例提供的一种基于图像显著对象的图像检索方法流程示意图；
图2为本发明实施例提供的一种基于图像显著对象的图像检索系统的结构示意图；
图3为本发明实施例提供另一种基于图像显著对象的图像检索方法的流程图；
图4为本发明实施例提供另一种基于图像显著对象的图像检索系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为本发明实施例提供的一种基于图像显著对象的图像检索方法流程示意图；包括步骤S101至步骤S104。
S101，通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域。
具体地，通过对包含显著对象的查询图像进行多尺度下的显著性检测，对每一层尺度下的查询图像进行超像素分割，分割后的每一块为一个超像素，所述多尺度通过图像金字塔实现；根据每一层尺度下的每一个超像素与邻近超像素的色彩对比度和空间对比度确定该层尺度下的显著图；通过对每层尺度下的显著图融合得到所述查询图像的显著图；通过对所述查询图像的显著图进行自适应阈值分割确定所述查询图像的显著对象所在的区域。
S102，确定所述查询图像的显著对象所在的区域的视觉特征。
具体地，所述视觉特征包括颜色特征、纹理特征以及关键点特征中的至少一种；所述颜色特征包括HSV直方图特征、颜色矩特征以及颜色相关图中的至少一种，所述纹理特征包括Gabor变换特征和小波矩特征。
可选地，所述颜色HSV直方图特征通过以下步骤得到：在HSV颜色空间，将所述显著对象对应的图像像素划分到等量空间C中，所述HSV直方图特征通过以下公式确定：
其中，h(c)表示HSV直方图特征，(x,y)为像素点坐标S(x,y)＝1表示显著对象所在区域的像素点集合，I(x,y)表示查询图像中像素(x,y)的HSV值，M和N分别为查询图像的长宽，c为等量空间C中的一个单元，δ[·]用来判别像素值是否属于等量空间C中当前单元c。
所述颜色矩特征根据颜色均值和标准差确定，所述颜色均值和标准差分别从R、G以及B通道提取，所述颜色均值μk和标准差σk通过以下公式确定：
其中，Ik(x,y)表示坐标(x,y)的像素颜色值。
所述颜色相关图通过颜色自相关图确定，所述颜色自相关图为只计算图像中具有相同灰度值像素的空间关系，不考虑背景像素。
本发明通过颜色自相关图，不考虑背景像素，降低了特征计算复杂度，提高了图像检索效率。
可选地，所述Gabor变换特征通过多尺度多方向的滤波器组计算各个尺度下不同方向子带系数的均值和标准差确定，所述均值和方差代表系数的边缘分布，所述边缘分布用于确定Gabor变换特征向量。所述小波矩特征获取所述显著对象所在区域的总特征维度为190维，以作为所述显著对象的特征描述子。
S103，确定所述查询图像的显著对象的语义类别。
具体地，本发明提供的图像检索方法还包括：通过对图像库中的每幅图像进行显著性检测，确定图像库中的每幅图像的显著对象所在的区域；通过对每幅图像的显著对象所在的区域进行训练得到网络分类器，所述网络分类器用于确定图像中显著对象所属的语义类别。
其中，语义类别可以为马匹、花朵、狗、建筑等。
具体地，通过将所述查询图像的显著对象输入至所述网络分类器，确定所述查询图像的显著对象的语义类别。
S104，将所述查询图像的显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，确定所述图像库中与所述查询图像的相似度大于相似度阈值的图像。
需要说明的是，相似度阈值可根据实际需要预设，大于相似度阈值的图像均作为与查询图像相似的图像输出，也可以定义输出图像个数，按相似度由大到小依次输出所需个数的图像作为与查询图像相似的图像。
本发明实施例提供的图像检索方法可适用于电子商务中的以图搜图，可输入某物品的图片以查询相似的物品。还可适用于其它类似需求的图像检索方法中，本发明不对此做任何限定。
通过特征距离度量方式进行所述相似度度量，所述特征距离度量方式为以下几种距离度量方式之一：相关距离(Correlation)、余弦距离(Cosine)、曼哈顿距离(Cityblock)、欧氏距离(Euclidean)、明可夫斯基距离(Minkowski)和切比雪夫距离(Chebychev)等。
本发明实施例通过提取显著对象的视觉特征，并基于显著对象的视觉特征进行图像检索，减少了背景干扰，提高了图像检索的准确度，通过判别显著对象的语义类别，仅对图像库中相同语义类别的图像进行检索，降低图像检索复杂度的同时，进一步提高了图像检索的准确度。
相应地，图2为本发明实施例提供的一种基于图像显著对象的图像检索系统的结构示意图；包括：查询图像显著性检测模块、视觉特征确定模块、语义类别确定模块、相似度度量模块、图像库显著性检测模块以及训练模块。
查询图像显著性检测模块，用于通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域；视觉特征确定模块，用于确定所述查询图像的显著对象所在的区域的视觉特征；语义类别确定模块，用于确定所述查询图像的显著对象的语义类别；相似度度量模块，用于将所述查询图像的显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，确定所述图像库中与所述查询图像的相似度大于相似度阈值的图像。
可选地，图像库显著性检测模块，用于对图像库中的每个图像进行显著性检测，确定图像库中的每个图像的显著对象所在的区域；训练模块，用于通过对每个图像的显著对象所在的区域进行训练得到网络分类器，所述网络分类器用于确定图像中显著对象所属的语义类别。
可以理解的是，图2所示的图像检索系统可以包括更多或者更少的部件，各部件的功能可参见图1、图3所示的方法实施例，在此不做赘述。
图3为本发明实施例提供另一种基于图像显著对象的图像检索方法的流程图；包括如下步骤：
S1：从图像库中选取样本图像训练深度网络分类器，本发明选用卷积神经网络对样本图像进行训练，经典的卷积神经网络有AlexNet网络、LeNet网络、GoogLeNet网络、VGG网络和ResNet网络，本实施例选用AlexNet网络，将样本图像尺寸归一化到256×256后输入到网络训练，样本类别数为图像库图像所属语义类别数，得到网络分类器。
S2：输入一幅查询图像I，图像尺寸为M×N，本发明针对包含显著对象的图像数据，因此输入的查询图像包含显著对象。
S3：对包含显著对象的查询图像进行显著性检测，得到图像显著图S。然后基于图像显著图自动分割出显著对象所在的区域。
其中，对图像进行多尺度下的显著性检测，图像多尺度是由图像金字塔实现，常用的金字塔结构有高斯金字塔、拉普拉斯金字塔和小波金字塔等，本实施例选用高斯金字塔得到多尺度图像，本实施例的多尺度为三层尺度，即L＝3。
对每一层尺度下的图像，对图像进行超像素分割，分割后的每一块为一个超像素，本实施例通过计算每一个超像素与周边邻近超像素的色彩对比度和空间对比度得到该尺度下的显著图Sl，然后将每层所得的显著图融合得到最终显著图显著图像素S(x,y)与原始查询图像像素I(x,y)一一对应，显著图像素的灰度值表示对应原始查询图像像素的显著度。
通过得到的图像显著图S，我们使用自适应阈值分割得到图像显著对象所在区域，其中M和N为显著图S的长宽值，(x,y)为像素点坐标。显著对象所在区域即S(x,y)＝1对应的区域，图像像素I(x,y)在R、G、B三个颜色通道的灰度值保持不变，背景即S(x,y)＝0对应的区域，图像像素I(x,y)的灰度值置为零。
S4：计算查询图像显著对象所在区域的视觉特征，常用的视觉特征包括色彩特征、纹理特征、关键点特征(例如SIFT特征)等，本实施例选用基本的HSV直方图特征、颜色矩特征和颜色相关图作为图像颜色特征，Gabor变换特征和小波矩特征作为纹理特征。
在HSV颜色空间，图像像素被划分到8×2×2的等量空间C中，其中不考虑S(x,y)＝0对应的背景像素，计算公式为：
其中，h(c)表示HSV直方图特征，I(x,y)代表像素(x,y)的HSV值，M和N分别为图像的长宽，c为等量空间C中的某一单元，δ[·]用来判别像素值是否属于当前单元，HSV颜色空间下，图像颜色直方图特征长度为32。
颜色矩特征分别由颜色均值和标准差获取，我们分别从R、G、B三个颜色通道计算颜色均值和标准差，获取长度为6的颜色矩特征，计算公式如下：
颜色相关图可以描述颜色的空间相关性，计算公式为：
其中，Pr为一种表示相关性的符号，Ic(x),Ic(y)是图像中灰度值为c(x),c(y)的像素的总和，c(x),c(y)为显著对象中两种不同的颜色，x,y∈{1,2,...,n}，k∈{1,2,...,d}，n是颜色系列总数，d是像素间的最大距离。|p1-p2|是像素p1与p2之间的距离。本实施例在计算颜色特征时，为了降低特征计算复杂度，采用颜色自相关图，也就是只计算每幅图像中具有相同灰度值像素的空间关系，其中不考虑S(x,y)＝0的背景像素，颜色自相关特征维度为64。
本实施例计算显著对象Gabor变换纹理特征，为了充分获取各个尺度和方向上的纹理特征，我们选用的Gabor变换滤波器包括四个尺度：0.05、0.1、0.2和0.4，包括六个相同间隔的不同方向，这样就得到了多尺度多方向的滤波器组，然后计算各个尺度下不同方向子带系数的均值和标准差，用均值和标准差代表系数的边缘分布并构建纹理特征向量。
把分割出的显著对象所在区域彩色图像转变为灰度图像，对其中背景区域进行灰度均值填充以弱化分割边界处的纹理。本实施例滤波器尺度为FM，方向子带数为FN，设wmn(,x)y为第m层第n个方向子带上坐标为(x,y)的子带系数，其中m＝1,2,K,FM，n＝1,2...,FN，则对应子带上均值μmn和标准差σmn的计算公式为：
通过上述公式计算出均值和标准差之后，得到显著对象的纹理特征向量为：
ftexture＝(μ11,σ11,μ12,σ12,...,μFMFN,σFMFN)
另外，由于小波矩特征的平移旋转和尺度不变性，本实施例还计算了图像的小波矩特征，最终获取图像显著对象所在区域的总特征维度为190维，以此作为图像的特征描述子。
S5：将步骤S3所得的显著对象图像输入到由步骤S1训练所得的网络分类器中，其中图像尺寸归一化到256×256，得到查询图像显著对象的语义类别。
S6：对待检索图像库中所有图像进行步骤S3～S5的操作，获取图像库中所有图像的视觉特征和语义类别库。
S7：基于查询图像语义类别将待检索的图像库目标范围缩小到同语义类别图像，将查询图像特征与图像库中同类别的图像特征进行相似性度量，返回与查询图像视觉特征相似的图像集合。
其中，相似性度量方式选用特征距离度量方式，常用的特征距离计算方式有：相关距离(Correlation)、余弦距离(Cosine)、曼哈顿距离(Cityblock)、欧氏距离(Euclidean)、明可夫斯基距离(Minkowski)和切比雪夫距离(Chebychev)等，本实施例选用相关距离度量方式计算图像相似度，计算公式为A＝[a1,a2,...,an]为查询图像特征，而B＝[b1,b2,...,bn]是图像库中某幅图像的特征。
本发明通过分割出图像显著对象，提取显著对象所在区域的视觉特征作为图像特征描述子，避免背景信息的干扰。另外通过深度网络获取查询图像中显著对象的语义类别信息，过滤掉返回的不同语义类别图像，缩小目标检索范围，提高图像检索性能。
图4为本发明实施例提供另一种基于图像显著对象的图像检索系统的结构示意图，如图所示，包括离线模块和在线模块：
离线模块包括以下子模块：分类器训练子模块和特征库建库子模块。
分类器训练子模块，用于训练深度网络分类器。本实施例选用卷积神经网络对样本图像进行训练确定语义类别，经典的卷积神经网络有AlexNet网络、LeNet网络、GoogLeNet网络、VGG网络和ResNet网络，本实施例选用AlexNet网络，将样本图像尺寸归一化到256×256后输入到网络训练，样本类别数为图像库图像所属类别数，得到网络分类器。
特征库建库子模块，用于构建待检索的图像特征库和类别库。对图像库中的图像进行显著性检测后得到图像显著图，基于显著图使用自动阈值分割出图像显著对象所在区域，然后基于显著对象所在区域计算图像视觉特征，包括颜色特征和纹理特征，得到图像特征库。另外，将图像库输入到训练好的分类器，得到图像类别库。
在线检索模块包括以下子模块：在线输入子模块、类别判定子模块、特征计算子模块以及检索输出子模块。
在线输入子模块，用于输入查询图像，其中查询图像包含显著对象。
类别判定子模块，用于判断查询显著对象的类别，使用离线训练好的分类器判别查询图像显著对象类别。
特征计算子模块，用于分割出查询图像显著对象区域，并计算图像显著对象的视觉特征。其中图像显著图是基于多尺度显著性检测模型得到，基于显著图使用自动阈值分割出图像显著对象，然后计算显著对象所在区域的颜色和纹理特征得到查询图像特征向量。
检索输出子模块，基于查询图像语义类别将待检索的图像库目标范围缩小到同语义类别图像，然后利用相关距离度量方式计算查询图像显著对象特征与图像库中同语义类别图像特征的相似度，返回并输出显示与查询图像相似的图像集合。
可以理解的是，图4所示的图像检索系统可以包括更多或者更少的部件，各部件的功能可参见图1、图3所示的方法实施例，在此不做赘述。
综上所述，针对包含显著对象的图像数据，本发明实施例提供了一种基于显著对象的图像检索方法和系统，通过自动分割出显著对象保留图像显著对象并计算特征，消除背景信息干扰，另外本发明利用训练所得深度网络分类器，获取查询图像语义类别，进行同类别图像匹配检索，缩小语义鸿沟，提升图像检索准确度。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于显著对象的图像检索方法，其特征在于，包括：
通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域；
确定所述查询图像的显著对象所在的区域的视觉特征；
确定所述查询图像的显著对象的语义类别；
将所述查询图像的显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，确定所述图像库中与所述查询图像的相似度大于相似度阈值的图像。
2.根据权利要求1所述的图像检索方法，其特征在于，通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域，包括：
通过对包含显著对象的查询图像进行多尺度下的显著性检测，对每一层尺度下的查询图像进行超像素分割，分割后的每一块为一个超像素，所述多尺度通过图像金字塔实现；
根据每一层尺度下的每一个超像素与邻近超像素的色彩对比度和空间对比度确定该层尺度下的显著图；
通过对每层尺度下的显著图融合得到所述查询图像的显著图；
通过对所述查询图像的显著图进行自适应阈值分割确定所述查询图像的显著对象所在的区域。
3.根据权利要求1所述的图像检索方法，其特征在于，确定所述查询图像的显著对象所在的区域的视觉特征，包括：
所述视觉特征包括颜色特征、纹理特征以及关键点特征中的至少一种；所述颜色特征包括HSV直方图特征、颜色矩特征以及颜色相关图中的至少一种，所述纹理特征包括Gabor变换特征和小波矩特征。
4.根据权利要求1所述的图像检索方法，其特征在于，还包括：
通过对图像库中的每幅图像进行显著性检测，确定图像库中的每幅图像的显著对象所在的区域；
通过对每幅图像的显著对象所在的区域进行训练得到网络分类器，所述网络分类器用于确定图像中显著对象所属的语义类别。
5.根据权利要求4所述的图像检索方法，其特征在于，确定所述查询图像的显著对象的语义类别，包括：
通过将所述查询图像的显著对象输入至所述网络分类器，确定所述查询图像的显著对象的语义类别。
6.根据权利要求5所述的图像检索方法，其特征在于，将所述显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，包括：
通过特征距离度量方式进行所述相似度度量，所述特征距离度量方式为以下几种距离度量方式之一：相关距离、余弦距离、曼哈顿距离、欧氏距离、明可夫斯基距离和切比雪夫距离。
7.根据权利要求4或5所述的图像检索方法，其特征在于，所述网络分类器的结构为以下几种网络结构之一：AlexNet网络、LeNet网络、GoogLeNet网络、VGG网络以及ResNet网络。
8.根据权利要求3所述的图像检索方法，其特征在于，所述Gabor变换特征通过多尺度多方向的滤波器组计算各个尺度下不同方向子带系数的均值和标准差确定，所述均值和标准差代表系数的边缘分布，所述边缘分布用于确定Gabor变换特征向量；
所述小波矩特征获取所述显著对象所在区域的总特征维度为190维，以作为所述显著对象的特征描述子。
9.一种基于显著对象的图像检索系统，其特征在于，包括：
查询图像显著性检测模块，用于通过对包含显著对象的查询图像进行显著性检测，确定所述查询图像的显著对象所在的区域；
视觉特征确定模块，用于确定所述查询图像的显著对象所在的区域的视觉特征；
语义类别确定模块，用于确定所述查询图像的显著对象的语义类别；
相似度度量模块，用于将所述查询图像的显著对象的视觉特征与图像库中相同语义类别的图像的显著对象的视觉特征进行相似度度量，确定所述图像库中与所述查询图像的相似度大于相似度阈值的图像。
10.根据权利要求9所述的图像检索系统，其特征在于，还包括：
图像库显著性检测模块，用于对图像库中的每幅图像进行显著性检测，确定图像库中的每幅图像的显著对象所在的区域；
训练模块，用于通过对每幅图像的显著对象所在的区域进行训练得到网络分类器，所述网络分类器用于确定图像中显著对象所属的语义类别。
CN201710430625.5A 2017-06-09 2017-06-09 一种基于显著对象的图像检索方法及系统 Pending CN107291855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710430625.5A CN107291855A (zh) 2017-06-09 2017-06-09 一种基于显著对象的图像检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710430625.5A CN107291855A (zh) 2017-06-09 2017-06-09 一种基于显著对象的图像检索方法及系统

Publications (1)

Publication Number Publication Date
CN107291855A true CN107291855A (zh) 2017-10-24

Family

ID=60097846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710430625.5A Pending CN107291855A (zh) 2017-06-09 2017-06-09 一种基于显著对象的图像检索方法及系统

Country Status (1)

Country Link
CN (1) CN107291855A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647705A (zh) * 2018-04-23 2018-10-12 北京交通大学 基于图像和文本语义相似度的图像语义消歧方法和装置
CN108733780A (zh) * 2018-05-07 2018-11-02 浙江大华技术股份有限公司 一种图片搜索方法及装置
CN109460623A (zh) * 2018-11-22 2019-03-12 上海华力微电子有限公司 相似版图判断方法
CN110232378A (zh) * 2019-05-30 2019-09-13 苏宁易购集团股份有限公司 一种图像兴趣点检测方法、系统及可读存储介质
CN110288667A (zh) * 2018-03-19 2019-09-27 北京大学 一种基于结构引导的图像纹理迁移方法
CN110647632A (zh) * 2019-08-06 2020-01-03 上海孚典智能科技有限公司 基于机器学习的图像与文本映射技术
CN111369624A (zh) * 2020-02-28 2020-07-03 北京百度网讯科技有限公司 定位方法和装置
US10762373B2 (en) 2018-03-30 2020-09-01 Baidu Online Network Technology (Beijing) Co., Ltd. Image recognition method and device
CN111783836A (zh) * 2020-06-04 2020-10-16 北京思特奇信息技术股份有限公司 一种远程巡店方法及装置
CN111930987A (zh) * 2020-08-11 2020-11-13 复旦大学 一种基于机器视觉颜色识别的智慧城域定位方法及系统
CN112102256A (zh) * 2020-08-22 2020-12-18 复旦大学 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统
CN113127670A (zh) * 2019-12-31 2021-07-16 飞书数字科技(上海)有限公司 目标颜色搜索的方法、装置、存储介质与处理器
CN113344030A (zh) * 2021-05-11 2021-09-03 淮阴工学院 一种基于判决相关分析的遥感图像特征融合方法及系统
WO2022241987A1 (zh) * 2021-05-18 2022-11-24 稿定（厦门）科技有限公司 图像检索方法及装置
CN115953559A (zh) * 2023-01-09 2023-04-11 支付宝(杭州)信息技术有限公司 虚拟对象处理方法及装置
WO2023197827A1 (en) * 2022-04-12 2023-10-19 Hong Kong Applied Science and Technology Research Institute Company Limited Fine-grained visual content search platform

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073748A (zh) * 2011-03-08 2011-05-25 武汉大学 一种基于视觉关键词的遥感影像语义检索方法
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法
CN104574402A (zh) * 2015-01-12 2015-04-29 东华大学 一种改进的显著性检测方法
CN105760886A (zh) * 2016-02-23 2016-07-13 北京联合大学 一种基于目标识别与显著性检测的图像场景多对象分割方法
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073748A (zh) * 2011-03-08 2011-05-25 武汉大学 一种基于视觉关键词的遥感影像语义检索方法
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法
CN104574402A (zh) * 2015-01-12 2015-04-29 东华大学 一种改进的显著性检测方法
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
CN105760886A (zh) * 2016-02-23 2016-07-13 北京联合大学 一种基于目标识别与显著性检测的图像场景多对象分割方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288667A (zh) * 2018-03-19 2019-09-27 北京大学 一种基于结构引导的图像纹理迁移方法
US10762373B2 (en) 2018-03-30 2020-09-01 Baidu Online Network Technology (Beijing) Co., Ltd. Image recognition method and device
CN108647705A (zh) * 2018-04-23 2018-10-12 北京交通大学 基于图像和文本语义相似度的图像语义消歧方法和装置
CN108733780A (zh) * 2018-05-07 2018-11-02 浙江大华技术股份有限公司 一种图片搜索方法及装置
CN108733780B (zh) * 2018-05-07 2020-06-23 浙江大华技术股份有限公司 一种图片搜索方法及装置
US11409984B2 (en) 2018-05-07 2022-08-09 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image searching
CN109460623A (zh) * 2018-11-22 2019-03-12 上海华力微电子有限公司 相似版图判断方法
CN110232378A (zh) * 2019-05-30 2019-09-13 苏宁易购集团股份有限公司 一种图像兴趣点检测方法、系统及可读存储介质
CN110647632A (zh) * 2019-08-06 2020-01-03 上海孚典智能科技有限公司 基于机器学习的图像与文本映射技术
CN110647632B (zh) * 2019-08-06 2020-09-04 上海孚典智能科技有限公司 基于机器学习的图像与文本映射技术
CN113127670A (zh) * 2019-12-31 2021-07-16 飞书数字科技(上海)有限公司 目标颜色搜索的方法、装置、存储介质与处理器
CN111369624A (zh) * 2020-02-28 2020-07-03 北京百度网讯科技有限公司 定位方法和装置
CN111783836A (zh) * 2020-06-04 2020-10-16 北京思特奇信息技术股份有限公司 一种远程巡店方法及装置
CN111930987A (zh) * 2020-08-11 2020-11-13 复旦大学 一种基于机器视觉颜色识别的智慧城域定位方法及系统
CN111930987B (zh) * 2020-08-11 2023-12-26 复旦大学 一种基于机器视觉颜色识别的智慧城域定位方法及系统
CN112102256A (zh) * 2020-08-22 2020-12-18 复旦大学 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统
CN112102256B (zh) * 2020-08-22 2022-04-12 复旦大学 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统
CN113344030A (zh) * 2021-05-11 2021-09-03 淮阴工学院 一种基于判决相关分析的遥感图像特征融合方法及系统
CN113344030B (zh) * 2021-05-11 2023-11-03 淮阴工学院 一种基于判决相关分析的遥感图像特征融合方法及系统
WO2022241987A1 (zh) * 2021-05-18 2022-11-24 稿定（厦门）科技有限公司 图像检索方法及装置
WO2023197827A1 (en) * 2022-04-12 2023-10-19 Hong Kong Applied Science and Technology Research Institute Company Limited Fine-grained visual content search platform
CN115953559A (zh) * 2023-01-09 2023-04-11 支付宝(杭州)信息技术有限公司 虚拟对象处理方法及装置
CN115953559B (zh) * 2023-01-09 2024-04-12 支付宝(杭州)信息技术有限公司 虚拟对象处理方法及装置

Similar Documents

Publication Publication Date Title
CN107291855A (zh) 一种基于显著对象的图像检索方法及系统
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN108319964B (zh) 一种基于混合特征和流形学习的火灾图像识别方法
CN107067415B (zh) 一种基于图像匹配的目标定位方法
Li et al. SAR image change detection using PCANet guided by saliency detection
CN106815601A (zh) 基于递归神经网络的高光谱图像分类方法
Niu et al. Meta-metric for saliency detection evaluation metrics based on application preference
CN107016409A (zh) 一种基于图像显著区域的图像分类方法和系统
CN109035300B (zh) 一种基于深度特征与平均峰值相关能量的目标跟踪方法
CN110297232A (zh) 基于计算机视觉的单目测距方法、装置及电子设备
CN107784663A (zh) 基于深度信息的相关滤波跟踪方法及装置
Xie et al. Combination of dominant color descriptor and Hu moments in consistent zone for content based image retrieval
CN104850822B (zh) 基于多特征融合的简单背景下的叶片识别方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN103218825A (zh) 一种尺度不变的时空兴趣点快速检测方法
EP3553700A2 (en) Remote determination of containers in geographical region
CN110659374A (zh) 一种基于神经网络提取车辆特征值及属性的以图搜图方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN112990313A (zh) 高光谱图像异常检测方法、装置、计算机设备及存储介质
Yuan et al. Image feature based GPS trace filtering for road network generation and road segmentation
CN107609507B (zh) 基于特征张量和支持张量机的遥感图像目标识别方法
Elmikaty et al. Car detection in aerial images of dense urban areas
Elmannai et al. Classification using semantic feature and machine learning: Land-use case application
Shanmugavadivu et al. FOSIR: fuzzy-object-shape for image retrieval applications
CN112712066B (zh) 图像识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024

RJ01 Rejection of invention patent application after publication