CN112766291B - 一种场景图像中特定目标对象的匹配方法 - Google Patents

一种场景图像中特定目标对象的匹配方法 Download PDF

Info

Publication number
CN112766291B
CN112766291B CN201911060675.4A CN201911060675A CN112766291B CN 112766291 B CN112766291 B CN 112766291B CN 201911060675 A CN201911060675 A CN 201911060675A CN 112766291 B CN112766291 B CN 112766291B
Authority
CN
China
Prior art keywords
matrix
image
clustering
similarity
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911060675.4A
Other languages
English (en)
Other versions
CN112766291A (zh
Inventor
郑李明
于涛
崔兵兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuanjue Information And Technology Co
Original Assignee
Nanjing Yuanjue Information And Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yuanjue Information And Technology Co filed Critical Nanjing Yuanjue Information And Technology Co
Priority to CN201911060675.4A priority Critical patent/CN112766291B/zh
Priority to PCT/CN2019/122673 priority patent/WO2021082168A1/zh
Publication of CN112766291A publication Critical patent/CN112766291A/zh
Application granted granted Critical
Publication of CN112766291B publication Critical patent/CN112766291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种场景图像中特定目标对象的匹配方法，涉及图像处理领域，针对现有的图像聚类及特征匹配算法计算复杂度高，效率低下，难以适应当前的大数据环境的问题，现提出如下方案，通过对场景图像进行超像素图块的分割，提取超像素中心属性，计算反映超像素图块之间相邻关系的邻接矩阵，计算反映相邻超像素图块之间的超像素的相似度矩阵，根据相似度矩阵对超像素图块进行聚类，在场景图像中对特定目标对象进行图像选择与特征提取，搜索与目标对象的特征值相近的颜色图块。本发明通过上述技术方案，提高了对场景图像中特定目标对象的匹配计算的速度，实现了匹配的高效率、方便快捷，优化了该技术在视觉导航、目标测量、目标追踪与定位等领域的应用。

Description

一种场景图像中特定目标对象的匹配方法
技术领域
本发明属于图像处理领域，涉及一种基于图像聚类算法的应用方法，尤其是一种可以运用于视觉导航、目标追踪与定位、全景融合、三维仿真等领域的对于场景图像中特定目标对象的匹配方法。
背景技术
图像聚类是利用计算机对图像库中的图像进行分析，把图像中的每个像元或区域划归为若干种特征类别中的一种，以代替人类对图像的视觉判别。图像聚类的过程实质上就是基于知识的图像理解过程，同时也是人类对图像的视觉判别的延伸和发展。
图像聚类技术就是根据图像的语义和感知特征进行检索，具体实现就是从图像数据中提取出特定的信息线索或特征指标，然后根据这些线索从大量存储在图像数据库的图像中进行查找，检索出具有相似特征的图像数据。图像聚类技术是先对图像按照某种相似性原则进行聚类，把相似的图像聚合为一类，检索过程在类内进行，从而大大的缩小图像检索范围，就能够达到快速准确检索图像的目的。
图像聚类技术在各行各业都有着广泛的应用前景。例如在公安行业，随着公安信息化的不断发展，图像识别技术已在公安行业广泛应用，通过摄像头抓拍、图片结构化等手段获取了视频图片，形成了动态资源库。基于图像聚类的机器视觉分析技术可以为公安治安防控、刑侦破案、反恐防暴等工作提供有力支撑。又例如在导航领域，目前有通过安装在车身上的摄像头，利用周围环境信息来导航的视觉自动导航系统。通过摄像头获取的图像信息，经过分析处理可以得到车辆相对于道路的位置与姿态信息，做出相应的路径规划，实现车辆的自动导航。
目前常规的图像聚类方法是谱聚类法。谱聚类法的主要优点是谱聚类只需要数据之间的相似度矩阵，因此对于处理稀疏数据的聚类很有效，这点传统聚类算法比如K-Means很难做到。并且由于使用了降维，因此在处理高维数据聚类时的复杂度比传统聚类算法好。但是谱聚类法的主要缺点是如果最终聚类的维度非常高，则由于降维的运算复杂度会较高，因此谱聚类的运行速度较慢且最后的聚类效果不够理想。
特征匹配是对多幅图像中具有相同或者相似特征的关键目标对象进行匹配，是图像聚类和机器视觉识别等技术的关键环节，在全景融合、监控、直播及三维仿真等领域有着重要应用。基于当前图像聚类方法采用的视觉特征缺乏自主学习能力，导致图像表达能力不强，计算复杂度较高，聚类效率低，难以适应当前的大数据环境的问题，因此对场景图像中特定目标对象的匹配实现起来效率也十分低下。
因此，寻找一种高效率且方便快捷的图像聚类方法，然后基于该图像聚类方法实现场景图像中特定目标对象的匹配，已经成为进行图像处理工作的重要基础和必不可少的重要环节。
发明内容
针对上述背景技术中所提到的目前的图像聚类以及特征匹配计算复杂度较高，效率低下，难以适应当前的大数据环境的问题，本发明提出了一种场景图像中特定目标对象的匹配方法，目的在于实现对于场景图像中特定目标对象匹配工作的高效率和方便快捷。
为了达到上述目的，本发明提供如下技术方案：
一种场景图像中特定目标对象的匹配方法，包括以下步骤：
第一步、对场景图像进行超像素图块的分割并提取各个超像素图块中的超像素中心属性，所述超像素中心属性包含位置中心和色彩中心；
第二步、获得反映各个超像素图块之间相邻关系的邻接矩阵；
第三步、根据所述邻接矩阵获得反映相邻超像素图块之间的相似程度的相似度矩阵，所述相似度包含位置相邻关系和色彩的相似程度；
第四步、根据所述相似度矩阵对超像素图块完成聚类；
第五步、在聚类后的场景图像中对特定目标对象进行图像选择与特征提取；
第六步、在场景图像中搜索与目标对象的特征值相近的颜色图块。
优选的，所述超像素中心属性包括如下属性：在图像中的坐标center(x，y)，颜色color_info(l，a，b)，超像素唯一标识id labels，超像素个数num_pixels。
优选的，所述计算邻接矩阵的具体的算法实现如下：
其中，i，j分别是代表超像素图块序号；
邻接矩阵E中每个元数e(i，j)满足如下函数关系：
其中，超像素图块自身与自身之间的关系定义为相邻。
优选的，所述计算相似度矩阵的步骤是根据邻接矩阵中超像素图块的相邻关系计算两个超像素的相似度，当相似度必须大于一定阈值时将相应元数值置1，否则置为0，具体的算法实现如下：
(1)从CIE Lab色彩空间转换为LθM色彩空间
θ′＝atan2(B，A)θ′∈(-π，π] (公式3-1)
l＝L l∈[0，100]
(2)相似度计算
其中，Lth,θth,Mth,Lth0,θth0分别为LθM色彩空间中三个分量的阈值，MCth为以模长分量区分彩色和黑白颜色空间的阈值，通常取值为小于等于2，Li,Lj,θi,θj,Mi,Mj分别为超像素图块i，j在LθM色彩空间中的均值；w(i,j)表示为两个超像素图块的相似度，其中取值为1则为相似，取值为0则为不相似。
优选的，所述聚类的步骤是利用相似度w(i,j)生成相似度矩阵W，W即为聚类关系图。
优选的，所述基于相似度矩阵W完成聚类的具体的算法实现包括：将相似度矩阵W转换为三角矩阵的步骤，
相似度矩阵
三角矩阵，将左下角全部置零，
优选的，所述基于相似度矩阵W完成聚类的具体的算法实现包括：完成聚类的步骤，
对三角矩阵执行聚类算法
第一步：
从矩阵的第n行n列开始，搜索所有n列上为1的数组，如果第n列上为1的数组只有第n行，则a(n，n)＝1，否则a(n，n)＝0。
公式如下：
如果
a(n，n)＝0
则对这些数组按照“行降序”的顺序将其各列(1、2、3……n)进行逻辑或运算，并将结果赋值给n列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中；列的非零项或运算算法如下：
赋值运算：
a(n，n)＝0
本次运算结束；
第二步：
从矩阵的第n-1行n-1列开始，搜索所有n-1列上为1的数组，如果第n-1列上为1的数组只有第n-1行，则a(n-1，n-1)＝1否则a(n-1，n-1)＝0
公式如下：
如果
a(n-1，n-1)＝0
则对这些数组按照“行降序”的顺序将其各列(1、2、3……n-1)进行逻辑或运算，并将结果赋值给n-1列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中；列的非零项或运算算法如下：
赋值运算：
a(n-1，n～n-1)＝0
，本次运算结束；
第三步：
以此类推，从矩阵的第i行i列开始，搜索所有i列上为1的数组，如果第i列上为1的数组只有第i行，则a(i，i)＝1否则a(i，i)＝0
公式如下：
如果
a(i，i)＝0
则对这些数组按照“行降序”的顺序将其各列(1、2、3……n)进行逻辑或运算，并将结果赋值给i列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中；列中的非零项或运算算法如下：
赋值运算：
a(i，n～n-i)＝0
本次运算结束；
第四步：
根据以上的算法将三角矩阵的每一行都遍历一遍，将得到如下类似矩阵：
则矩阵中所有非零的行数组即为聚类图块的数组。
优选的，所述场景图像中特定目标对象的图像选择与特征提取是指根据图像聚类结果在场景中选择特定目标对象的图像块并提取出对应图块中L、θ、M的取值。
优选的，所述搜索与目标对象图块的特征值相近的颜色图块的具体方法如下：
其中Lth,θth,Mth分别为LθM色彩空间中三个分量的阈值，MCth为以模长分量区分彩色和黑白颜色空间的阈值，通常取值为小于等于2，Li,Lj,θi,θj,Mi,Mj分别为超像素图块i，j在LθM色彩空间中的均值；其中i表示样本图像中已选定的目标对象的图块号，j表示搜索图像的图块号；w(i,j)表示为两个超像素图块的相似度，其中取值为1则为相似，取值为0则为不相似；
对搜索图像的图块进行如下操作：
如果w(i,j)＝1，则保留搜索图像图块中像素的原始数值不变；
如果w(i,j)＝0，则将搜索图像图块中像素的值设置为不在色彩空间的数值如-1，则该图块将不参与后面的运算；
将搜索到的图块构建邻接矩阵：
三角矩阵，将左下角全部置零：
对三角矩阵采用与上述同样的聚类的方法完成对目标对象的聚类；从而实现在不同场景图像中对目标对象的匹配：
矩阵中所有非零的行数组即为目标对象聚类图块。
由于采用上述方案，本发明的有益效果是：
本发明采用的图像聚类方法是模拟人眼对物件识别的过程的聚类方法，首先通过对图像进行超像素图块的分割，提取各个超像素图块中的超像素中心属性，接着计算反映各个超像素图块之间相邻关系的邻接矩阵，然后根据邻接矩阵计算反映相邻超像素图块之间的超像素的相似程度的相似度矩阵，最后根据相似度矩阵对超像素图块完成聚类。
本发明方法与传统的谱聚类、直方图聚类方法的运算性能的比较如下：
计算机的配置：CPU+GPU
其中：CPU型号i5＝4590主频：3.3GHz；
GPU的CUDA核心数2880主频705MHz。
运算图像的分辨率为：1920×1080
不同图像聚类方法的运算性能的比较：
聚类方法名称 迭次数 运算时间(单位：秒)
谱聚类 5 180
直方图 5 60
新型类谱聚类(本专利) 1 0.05
由上述对比表格可知，本发明提出的聚类方法在运算性能上，明显优于传统的谱聚类、直方图聚类方法。
本发明在采用全新理念的图像聚类方法的基础上，基于同样的理念提出场景图像中特定目标对象的匹配方法。首先在聚类后的场景图像中对特定目标对象进行图像选择与特征提取；然后在场景图像中搜索与目标对象的特征值相近的颜色图块。
通过本发明的技术方案，可以提高对图像聚类和特定目标对象的匹配计算的运算速度，从而优化目标追踪与定位、全景融合及三维仿真等领域的应用。
附图说明
图1是样本场景原始图像。
图2是样本聚类分割后的图像。
图3是样本场景中的目标对象为人和包的对应图块的提取。
具体实施方式
下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
以下通过一个实施例对本发明的计算过程以及聚类和匹配效果进行验证。
请参见图1，为样本场景原始图像。
本发明的算法具体步骤如下：
步骤一、重算聚类中心Seed。
这一步骤是对图像中的每个像素加标签的一个过程，该过程使得具有相同标签的像素具有某种共同视觉特性。超像素分割的结果是图像上子区域的集合，这些子区域的全体覆盖了整个图像，或是从图像中提取的轮廓线的集合，例如边缘检测。一个超像素图块中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。
在计算机视觉领域，超像素被广泛应用于图像分割与理解的初始阶段，使用超像素可以有效减少图像局部信息的冗余，使图像处理复杂度降低。像素并不是人类视觉的着重点。因为人类获得图像是从许多的像素点的组合的一个区域而来的，单一的某个像素点并不什么实际意义，只有组合在一起对人类而言才有意义。因而在这种情形下有了“超像素”的概念。所谓超像素，即在图像中由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。所以，以超像素代替原来的像素点作为图的节点进行图像分割可以大大减小图像处理的规模，带来计算上的优势。
本发明中定义超像素中心属性如下：
代码实现如下：
上述代码仅作为参考。
步骤二、计算邻接矩阵E。
本发明的这一步骤考虑到，由于在对超像素图块的聚类中，只需考虑邻接的超像素图块之间相互聚类，而对于不相邻的超像素图块无需进行计算，所以我们首先给出邻接矩阵E，这一步骤计算邻接矩阵是为后续的相似度聚类服务的。
本发明采用并行计算：
(注：i,j分别是代表超像素图块序号)
邻接矩阵E中每个元数e(i,j)满足如下函数关系：
(注：超像素图块自身与自身之间的关系定义为相邻)
步骤三、相似度矩阵W
相似度量用于比较图像的一个函数。图像与图像之间或者图像的一部分之间的相似度是计算机视觉领域底层十分重要的问题。对于我们提出的图像聚类算法而言，相似度起着决定性的关键作用，不同的相似度量方式会导致截然不同的聚类效果。
本发明这一步骤的算法思想是根据邻接矩阵E中超像素图块的相邻关系计算两个超像素的相似度，当相似度必须大于一定阈值时将相应元数值置1，否则置为0，具体的算法实现如下。
(注：算法可以根据场景的不同而改变为不同的参数和公式)
计算公式如下：
首先是色彩空间的变换，CIE LabLθM，即从CIE Lab空间转换为LθM空间。
这一步骤有效的模拟了人类对不同色彩饱和度条件下对基于物体表面颜色和亮度的识别方式的转换，实现的对场景图像中不同色彩饱和度物体的有效聚类，提高了图像的聚类效果和抗干扰能力，对图像聚类分割的降维效果明显，可有效提高图像分析的效率和准确度。
此色彩空间具体可参见申请人的公开号为CN104063707A、专利号为ZL201410334974.3的中国专利申请文件《基于人类视觉多尺度感知特性的彩色图像聚类分割方法》上所述的色彩空间。
θ′＝atan2(B，A)θ′∈(-π，π] (公式3-1)
l＝L l∈[0，100]
代码实现如下：
/>
然后是，相似度计算
其中Lth，θth，Mth，Lth0，θth0分别为LθM色彩空间中三个分量的阈值，MCth为以模长分量区分彩色和黑白颜色空间的阈值，通常取值为小于等于2，Li，Lj，θi，θj，Mi，Mj分别为超像素图块i，j在LθM色彩空间中的均值。w(i，j)表示为两个超像素图块的相似度，其中取值为1则为相似，取值为0则为不相似。
步骤四、聚类
本步骤的算法是利用相似度w(i，j)生成相似度矩阵W(W即为聚类关系图)；
基于相似度矩阵W完成聚类的算法步骤如下：
首先，相似度矩阵W转换为三角矩阵
相似度矩阵
三角矩阵(将左下角全部置零)
然后，完成聚类
对三角矩阵执行聚类算法
第一步：
从矩阵的第n行n列开始，搜索所有n列上为1的数组，如果第n列上为1的数组只有第n行，则a(n，n)＝1，否则a(n，n)＝0。
公式如下：
如果
a(n，n)＝0
则对这些数组按照“行降序”的顺序将其各列(1、2、3......n)进行逻辑或运算，并将结果赋值给n列中行号最小的非零数组[0，0，……a(imin，imin)，……，a(imin，n-1)，a(imin，n)]中。列的非零项或运算算法如下：
赋值运算：
a(n，n)＝0
本次运算结束。
第二步：
从矩阵的第n-1行n-1列开始，搜索所有n-1列上为1的数组，如果第n-1列上为1的数组只有第n-1行，则a(n-1，n-1)＝1否则a(n-1，n-1)＝0
公式如下：
如果
a(n-1，n-1)＝0
则对这些数组按照“行降序”的顺序将其各列(1、2、3......n-1)进行逻辑或运算，并将结果赋值给n-1列中行号最小的非零数组[0，0，……a(imin，imin)，……，a(imin，n-1)，a(imin，n)]中。列的非零项或运算算法如下：
赋值运算：
a(n-1，n～n-1)＝0
，本次运算结束。
第三步：
以此类推，从矩阵的第i行i列开始，搜索所有i列上为1的数组，如果第i列上为1的数组只有第i行，则a(i，i)＝1否则a(i，i)＝0
公式如下：
如果
a(i，i)＝0
则对这些数组按照“行降序”的顺序将其各列(1、2、3......n)进行逻辑或运算，并将结果赋值给i列中行号最小的非零数组[0，0，……a(imin，imin)，……，a(imin，n-1)，a(imin，n)]中。列中的非零项或运算算法如下：
赋值运算：
a(i，n～n-i)＝0
，本次运算结束。
第四步：
根据以上的算法将三角矩阵的每一行都遍历一遍，将得到如下类似矩阵：
则矩阵中所有非零的行数组即为聚类图块的数组。
请参见图2，为样本聚类分割后的图像。
步骤五、场景中特定目标对象的图像选择与特征提取
第一步：
根据图像聚类结果在场景中选择特定目标对象的图像块并提取出对应图块中L、θ、M的取值。
例如图3所示的场景中的目标对象为人和包及对应图块的L、θ、M特征值。由此得到图像中的目标对象图块的特征值如下：
人物的图块特征值
图块名称 L θ M
头部 52.9208 65.7256 8.59028
衣领 50.6847 264.383 6.21815
上衣 56.4843 256.406 8.63319
手臂1 52.2053 80.9778 11.6405
手臂2 54.0127 32.8274 3.96128
手臂3 54.9561 75.5989 17.0923
裤子1 42.6731 230.979 3.41989
裤子2 37.0021 178.001 1.57844
裤子3 48.9932 232.782 4.12733
裤子4 47.4722 187.426 1.55389
裤子5 43.5705 220.827 2.29207
裤子6 48.948 241.587 3.6887
裤子7 48.8031 200.716 1.69321
鞋子1 55.207 210.237 3.21031
鞋子2 52.885 181.793 3.26188
包的图块特征值
图块名称 L θ M
包的黄色块 78.3918 94.3349 49.0715
包的红色块1 83.085 20.7271 11.8367
包的红色块2 58.9622 27.184 34.9523
注：上述颜色是指的样本图像的实际颜色，本申请文件中附图的由于格式规定只提供黑白图样作为参考。
步骤六、目标对象的搜索
根据如前所述的步骤一至五的图像聚类方法，得到场景聚类分割图，并在场景中利用(公式3-4)搜索目标对象图块的特征值相近的颜色图块。具体方法法如下：
其中Lth,θth,Mth分别为LθM色彩空间中三个分量的阈值，MCth为以模长分量区分彩色和黑白颜色空间的阈值，通常取值为小于等于2，Li,Lj,θi,θj,Mi,Mj分别为超像素图块i，j在LθM色彩空间中的均值。其中i表示样本图像中已选定的目标对象的图块号，j表示搜索图像的图块号。w(i,j)表示为两个超像素图块的相似度，其中取值为1则为相似，取值为0则为不相似。
对搜索图像的图块进行如下操作：
如果w(i,j)＝1，则保留搜索图像图块中像素的原始数值不变；
如果w(i,j)＝0，则将搜索图像图块中像素的值设置为不在色彩空间的数值如-1，则该图块将不参与后面的运算。
然后，将搜索到的图块构建邻接矩阵：
三角矩阵，将左下角全部置零：
同样采用步骤四中完成聚类的方法完成对目标对象的聚类。从而实现在不同场景图像中对目标对象的匹配。
矩阵中所有非零的行数组即为目标对象聚类图块。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (8)

1.一种场景图像中特定目标对象的匹配方法，其特征在于，包括以下步骤：
第一步、对场景图像进行超像素图块的分割并提取各个超像素图块中的超像素中心属性，所述超像素中心属性包含位置中心和色彩中心；
第二步、获得反映各个超像素图块之间相邻关系的邻接矩阵；
第三步、根据所述邻接矩阵中超像素图像块的相邻关系计算相邻两个超像素的相似度，获得反映相邻超像素图块之间相似程度的相似度矩阵，所述相似度包含位置相邻关系和色彩的相似程度，当相似度必须大于一定阈值时将相应元数值置1，否则置为0，具体的算法实现如下：
(1)从CIE Lab色彩空间转换为LθM色彩空间
l＝Ll∈[0，100]
(2)相似度计算
其中，Lth,θth,Mth,Lth0,θth0分别为LθM色彩空间中三个分量的阈值，MCth为以模长分量区分彩色和黑白颜色空间的阈值，通常取值为小于等于2，Li,Lj,θi,θj,Mi,Mj分别为超像素图块i，j在LθM色彩空间中的均值；w(i,j)表示为两个超像素图块的相似度，其中取值为1则为相似，取值为0则为不相似；
第四步、根据所述相似度矩阵对超像素图块完成聚类；
第五步、在聚类后的场景图像中对特定目标对象进行图块选择与特征值提取；
第六步、在场景图像中搜索与目标对象的特征值相近的颜色图块。
2.根据权利要求1所述的场景图像中特定目标对象的匹配方法，其特征在于，所述超像素中心属性包括如下属性：在图像中心的坐标center(x,y)，颜色均值color_info(l,a,b)，超像素唯一标识id labels，超像素个数num_pixels。
3.根据权利要求2所述的场景图像中特定目标对象的匹配方法，其特征在于，计算所述邻接矩阵的具体的算法实现如下：
其中，i,j分别是代表超像素图块序号；
邻接矩阵E中每个元数e(i,j)满足如下函数关系：
其中，超像素图块自身与自身之间的关系定义为相邻。
4.根据权利要求3所述的场景图像中特定目标对象的匹配方法，其特征在于，所述聚类的步骤是利用相似度w(i,j)生成相似度矩阵W，W即为聚类关系图。
5.根据权利要求4所述的场景图像中特定目标对象的匹配方法，其特征在于，所述基于相似度矩阵W完成聚类的具体的算法实现包括：将相似度矩阵W转换为三角矩阵的步骤，
相似度矩阵
三角矩阵，将左下角全部置零，
6.根据权利要求5所述的场景图像中特定目标对象的匹配方法，其特征在于，所述基于相似度矩阵W完成聚类的具体的算法实现包括：完成聚类的步骤，
对三角矩阵执行聚类算法
第一步：
从矩阵的第n行n列开始，搜索所有n列上为1的数组，如果第n列上为1的数组只有第n行，则a(n，n)＝1，否则a(n，n)＝0
公式如下：
如果
a(n，n)＝0
则对这些数组按照“行降序”的顺序将其各列(1、2、3……n)进行逻辑或运算，并将结果赋值给n列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中；列的非零项或运算算法如下：
a(imin,n)＝a(imin,n)∪...∪a(n,n)
a(imin,n-1)＝a(imin,n-1)∪...∪a(n,n-1)
…………………………………………
a(imin,imin)＝a(imin,imin)∪...∪a(n,imin)
赋值运算：
a(n，n)＝0
本次运算结束；
第二步：
从矩阵的第n-1行n-1列开始，搜索所有n-1列上为1的数组，如果第n-1列上为1的数组只有第n-1行，则a(n-1，n-1)＝1否则a(n-1，n-1)＝0
公式如下：
如果
a(n-1，n-1)＝0
则对这些数组按照“行降序”的顺序将其各列(1、2、3……n-1)进行逻辑或运算，并将结果赋值给n-1列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中；列的非零项或运算算法如下：
a(imin,jn)＝a(imin,jn)∪...∪a(n,jn)
a(imin,jn-1)＝a(imin,jn-1)∪...∪a(n,jn-1)
…………………………………………
a(imin,imin)＝a(imin,jmin)∪...∪a(n,imin)
赋值运算：
a(n-1，n～n-1)＝0
本次运算结束；
第三步：
以此类推，从矩阵的第i行i列开始，搜索所有i列上为1的数组，如果第i列上为1的数组只有第i行，则a(i，i)＝1否则a(i，i)＝0
公式如下：
如果
a(i，i)＝0
则对这些数组按照“行降序”的顺序将其各列(1、2、3……n)进行逻辑或运算，并将结果赋值给i列中行号最小的非零数组[0,0,……a(imin,imin),……,a(imin,n-1),a(imin,n)]中；列中的非零项或运算算法如下：
a(imin,jn)＝a(imin,jn)∪...∪a(n,jn)
a(imin,jn-1)＝a(imin,jn-1)∪...∪a(n,jn-1)
…………………………………………
a(imin,imin)＝a(imin,jmin)∪...∪a(n,imin)
赋值运算：
a(i，n～n-i)＝0
本次运算结束；
第四步：
根据以上的算法将三角矩阵的每一行都遍历一遍，将得到如下类似矩阵：
则矩阵中所有非零的行数组即为聚类图块的数组。
7.根据权利要求6所述的场景图像中特定目标对象的匹配方法，其特征在于，所述场景图像中特定目标对象的图像选择与特征提取是指根据图像聚类结果在场景中选择特定目标对象的图像块并提取出对应图块中L、θ、M的取值。
8.根据权利要求7所述的场景图像中特定目标对象的匹配方法，其特征在于，所述搜索与目标对象图块的特征值相近的颜色图块的具体方法如下：
其中Lth,θth,Mth分别为LθM色彩空间中三个分量的阈值，MCth为以模长分量区分彩色和黑白颜色空间的阈值，通常取值为小于等于2，Li,Lj,θi,θj,Mi,Mj分别为超像素图块i，j在LθM色彩空间中的均值；其中i表示样本图像中已选定的目标对象的图块号，j表示搜索图像的图块号；w(i,j)表示为两个超像素图块的相似度，其中取值为1则为相似，取值为0则为不相似；
对搜索图像的图块进行如下操作：
如果w(i,j)＝1，则保留搜索图像图块中像素的原始数值不变；
如果w(i,j)＝0，则将搜索图像图块中像素的值设置为不在色彩空间的数值如-1，则该图块将不参与后面的运算；
将搜索到的图块构建邻接矩阵：
三角矩阵，将左下角全部置零：
对三角矩阵采用与权利要求7同样的聚类的方法完成对目标对象的聚类；从而实现在不同场景图像中对目标对象的匹配：
矩阵中所有非零的行数组即为目标对象聚类图块。
CN201911060675.4A 2019-11-01 2019-11-01 一种场景图像中特定目标对象的匹配方法 Active CN112766291B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911060675.4A CN112766291B (zh) 2019-11-01 2019-11-01 一种场景图像中特定目标对象的匹配方法
PCT/CN2019/122673 WO2021082168A1 (zh) 2019-11-01 2019-12-03 一种场景图像中特定目标对象的匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911060675.4A CN112766291B (zh) 2019-11-01 2019-11-01 一种场景图像中特定目标对象的匹配方法

Publications (2)

Publication Number Publication Date
CN112766291A CN112766291A (zh) 2021-05-07
CN112766291B true CN112766291B (zh) 2024-03-22

Family

ID=75692124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911060675.4A Active CN112766291B (zh) 2019-11-01 2019-11-01 一种场景图像中特定目标对象的匹配方法

Country Status (2)

Country Link
CN (1) CN112766291B (zh)
WO (1) WO2021082168A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569513B (zh) * 2021-06-30 2024-04-16 广东国腾量子科技有限公司 一种基于波导模式的片上多维逻辑门设计方法
CN113838061A (zh) * 2021-07-28 2021-12-24 中科云谷科技有限公司 用于图像标注的方法、装置及存储介质
CN114998792B (zh) * 2022-05-30 2024-05-14 中用科技有限公司 一种具有ai网络摄像头的安全监控方法
CN115457050B (zh) * 2022-08-29 2023-06-27 武汉纺织大学 一种基于超像素的古代壁画图像优化分割方法及系统
CN116128916B (zh) * 2023-04-13 2023-06-27 中国科学院国家空间科学中心 一种基于空间能流对比度的红外弱小目标增强方法
CN116704249B (zh) * 2023-06-07 2024-05-24 唯思电子商务(深圳)有限公司 基于视觉大模型的相似背景图像归类方法
CN117173175B (zh) * 2023-11-02 2024-02-09 湖南格尔智慧科技有限公司 一种基于超像素的图像相似度检测方法
CN117746260B (zh) * 2024-02-20 2024-05-31 山东省国土测绘院 遥感数据智能解析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105118049A (zh) * 2015-07-22 2015-12-02 东南大学 一种基于超像素聚类的图像分割方法
CN109522908A (zh) * 2018-11-16 2019-03-26 董静 基于区域标签融合的图像显著性检测方法
CN110111338A (zh) * 2019-04-24 2019-08-09 广东技术师范大学 一种基于超像素时空显著性分割的视觉跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413316B (zh) * 2013-08-24 2016-03-02 西安电子科技大学 基于超像素和优化策略的sar图像分割方法
CN107209938A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于生成图像的初始超像素标签图的方法和装置
CN107341812B (zh) * 2017-07-04 2019-11-08 太原理工大学 一种基于超像素和密度聚类的序列肺结节图像分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105118049A (zh) * 2015-07-22 2015-12-02 东南大学 一种基于超像素聚类的图像分割方法
CN109522908A (zh) * 2018-11-16 2019-03-26 董静 基于区域标签融合的图像显著性检测方法
CN110111338A (zh) * 2019-04-24 2019-08-09 广东技术师范大学 一种基于超像素时空显著性分割的视觉跟踪方法

Also Published As

Publication number Publication date
WO2021082168A1 (zh) 2021-05-06
CN112766291A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112766291B (zh) 一种场景图像中特定目标对象的匹配方法
Torralba et al. Statistical context priming for object detection
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
CN108537239B (zh) 一种图像显著性目标检测的方法
Wang et al. An effective method for plate number recognition
CN110110755B (zh) 基于ptgan区域差距与多重分支的行人重识别检测方法及装置
Yadav et al. Survey on content-based image retrieval and texture analysis with applications
Scharwächter et al. Low-level fusion of color, texture and depth for robust road scene understanding
Shah et al. A novel biomechanics-based approach for person re-identification by generating dense color sift salience features
KR101742115B1 (ko) 건물 인식을 위한 멀티뷰 영상에서의 인라이어 선택 및 잉여 제거 방법
Cui et al. Vehicle re-identification by fusing multiple deep neural networks
Bouma et al. Re-identification of persons in multi-camera surveillance under varying viewpoints and illumination
Zohourian et al. Superpixel-based Road Segmentation for Real-time Systems using CNN.
TW202121331A (zh) 基於機器學習的物件辨識系統及其方法
Zang et al. Traffic lane detection using fully convolutional neural network
CN103324753A (zh) 基于共生稀疏直方图的图像检索方法
Liao et al. Deep-learning-based object-level contour detection with CCG and CRF optimization
Recky et al. Window detection in complex facades
CN109255052B (zh) 一种基于多特征的三阶段车辆检索方法
Deshmukh et al. Real-time traffic sign recognition system based on colour image segmentation
CN106603888A (zh) 图像颜色提取处理结构
Yuan et al. Rgb-d saliency detection: Dataset and algorithm for robot vision
Kara et al. Image segmentation-based unsupervised multiple objects discovery
Lafuente-Arroyo et al. Traffic sign classification invariant to rotations using support vector machines
Jin et al. A method for traffic signs detection, tracking and recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant