CN112287935B - 一种基于显著性先验的图像语义分割方法及系统 - Google Patents

一种基于显著性先验的图像语义分割方法及系统 Download PDF

Info

Publication number
CN112287935B
CN112287935B CN202010915346.XA CN202010915346A CN112287935B CN 112287935 B CN112287935 B CN 112287935B CN 202010915346 A CN202010915346 A CN 202010915346A CN 112287935 B CN112287935 B CN 112287935B
Authority
CN
China
Prior art keywords
depth
prior
significant value
block
superpixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010915346.XA
Other languages
English (en)
Other versions
CN112287935A (zh
Inventor
李庆武
丁成龙
叶倩
陈俊锋
余志宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010915346.XA priority Critical patent/CN112287935B/zh
Publication of CN112287935A publication Critical patent/CN112287935A/zh
Application granted granted Critical
Publication of CN112287935B publication Critical patent/CN112287935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著性先验的图像语义分割方法及系统，本发明计算基于深度紧密性的显著值、基于位置先验的显著值、基于颜色先验的显著值，基于条件随机场生成融合多尺度特征的显著图，清晰度和辨识度高，提高了分割精确度。

Description

一种基于显著性先验的图像语义分割方法及系统
技术领域
本发明涉及一种基于显著性先验的图像语义分割方法及系统，属于图像处理以及计算机视觉技术领域。
背景技术
图像语义分割是根据像素的语义对图像像素进行标注形成不同分割区域。语义分割是计算机视觉研究中的一个重要领域，其主要任务是让计算机能够知道图像中每个像素“是什么”。语义分割是图像理解的基石性技术，在自动驾驶系统的街景识别与理解、无人机着陆点判断、医学图像的病灶识别与定位中具有举足轻重的作用。
图像语义分割作为计算机视觉中的基础性技术，是将图像中的对象按照轮廓分割并语义标注出来，使得图像更加容易理解与分析。随着深度学习方法被提出及推广，与图像语义分割相结合，形成当前主流的图像语义分割方法模型，通过卷积神经网络、深度学习等方法提取像素特征，并训练基于像素的模型，最后逐一标注像素语义结果。然而，该模型没有模拟生物视觉的识别过程，单纯计算机式的从像素的角度出发，忽略了对象的整体性特性，将对图像对象的语义识别转化为对单个像素的逐一识别，虽然在提取像素的特征过程中融入了全局或者局部特征，但依然无法很好的考虑同一对象的像素之间的联系，造成图像对象的丢失以及图像对象轮廓的缺失问题，以至于最终语义分割结果精确度不足，在实际应用中受到限制，并且无法达到理想的实用性。
发明内容
本发明提供了一种基于显著性先验的图像语义分割方法及系统，解决了现有分割结果精确度不足的问题。
为了解决上述技术问题，本发明所采用的技术方案是：
一种基于显著性先验的图像语义分割方法，包括，
对待分割图像进行超像素分割，获得超像素块；
根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值；
基于条件随机场将所有显著值对应的显著图进行融合；
提取融合后显著图的多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。
根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值，具体过程为，
根据超像素块，构建融合颜色信息和深度线索的图模型；
根据图模型和目标深度紧密性，计算基于深度紧密性的显著值；
根据图模型和目标位置先验，计算基于位置先验的显著值；
根据图模型和目标颜色先验，计算基于颜色先验的显著值；
将超像素块映射至深度图，构建融合颜色信息和深度线索的图模型；其中，图模型为G＝(V,E)，V为超像素块集合，E为两超像素块相连构成的边的集合，每条边配置有相应的权重，
Figure GDA0002852290280000021
其中，ci为第i个超像素块vi的RGB、LAB六维颜色空间特征向量，cj为第j个超像素块vj的RGB、LAB六维颜色空间特征向量，wij为边eij的权重，eij为vi、vj相连构成的边，σ为控制vi、vj相似程度的调节参数，di为深度空间下vi内包含的所有像素点均值，dj为深度空间下vj内包含的所有像素点均值，μd为评估深度特征的深度置信值。
基于深度紧密性的显著值计算公式为，
Vm(i)＝λVbm(i)+(1-λ)Vfm(i)
其中，Vm(i)为第i个超像素块基于深度紧密性的显著值，λ为深度紧密性调节参数，Vbm(i)为第i个超像素块基于背景目标种子点的显著值，Vfm(i)为第i个超像素块基于前景目标种子点的显著值；
Figure GDA0002852290280000031
Figure GDA0002852290280000032
其中，D为两对应超像素间度的矩阵，α为控制平衡系数，wij为边的权重，eij为第i个超像素块和第j个超像素块相连构成的边，W为wij的矩阵，FG和BG分别为前景目标种子和背景目标种子集合，Fr(j)表示第j个超像素块区域为前景，fc表示第c个查询节点的排序值，查询节点为原始深度图的显著前景目标位置。
基于位置先验的显著值计算公式为，
Figure GDA0002852290280000033
其中，VP(i)为第i个超像素块基于位置先验的显著值，β为位置最优先验调节系数，bi为第i个超像素块的质心，r为中心lr的位置，lr为像素数最大的目标所在区域的中心。
基于颜色先验的显著值计算公式为，
Figure GDA0002852290280000041
其中，Vc(i)为第i个超像素块基于颜色先验的显著值，N为超像素块个数，nj为第j个超像素块包含的像素个数，bj为第j个超像素块的质心，r为中心lr的位置，lr为像素数最大的目标所在区域的中心，fij为查询节点排序优化后的度向量中第i行第j列的值，查询节点为原始深度图的显著前景目标位置。
提取融合后显著图的前景、背景多维特征，将多维特征输入预先训练的SVM分类器，获得图像语义分割结果。
一种基于显著性先验的图像语义分割系统，包括，
超像素分割模块：对待分割图像进行超像素分割，获得超像素块；
显著值计算模块：根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值；
融合模块：基于条件随机场将所有显著值对应的显著图进行融合；
分类模块：提取融合后显著图的多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行基于显著性先验的图像语义分割方法。
一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行基于显著性先验的图像语义分割方法的指令。
本发明所达到的有益效果：本发明计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值，基于条件随机场生成融合多尺度特征的显著图，清晰度和辨识度高，提高了分割精确度；同时本发明采用条件随机场，能够较好地解决了标记问题。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种基于显著性先验的图像语义分割方法，包括以下步骤：
步骤1，对待分割图像进行超像素分割，获得超像素块。
对待分割图像通过全局特征计算相应的显著图，在CIELAB颜色空间上采用简单线性迭代聚类(SLIC)算法对图像进行分割获得超级像素。具体方法如下：
设定聚类中心：首先设置欲分割出的超像素个数，在包含N1个像素的输入图像中，分割出K1个尺寸均匀的超像素，分割出的每个超级像素应包含N1/K1个像素。在图像中均匀分配聚类中心，即种子点，则两相邻聚类中心在图中的距离(步长)约为
Figure GDA0002852290280000051
为了产生大小相似的超像素，SLIC方法先采用网格法初始化聚类中心，并为每个聚类中心分配不同的标签。将聚类中心移动到其3*3领域的最小梯度处，以避免其位于图像边缘或噪声处。
SLIC方法的聚类方式与K均值聚类相似，但搜索范围远小于后者，为2S×2S。凭借计算每个像素与范围内的聚类中心之间的距离D′，便可确定每个像素点的标签。在处理过程中，该方法充分考虑到提取信息的全面性，计算距离：SLIC中的距离分为空间与颜色两方面。2S×2S领域内所有像素点，分别按下式计算像素点和该聚类中心的两种距离，公式如下：
Figure GDA0002852290280000061
Figure GDA0002852290280000062
Figure GDA0002852290280000063
其中，dc为颜色距离，ds为空间距离，x、y分别表示像素点在X轴和Y轴两个方向上的坐标值，xir、yir分别表示聚类中心在两个坐标轴上的坐标值。L、a、b分别为像素点在CIELAB颜色空间的三个分量，Lir、air、bir分别表示聚类中心在CIELAB颜色空间的三个分量，Ns为两相邻聚类中心在图中的距离，
Figure GDA0002852290280000064
Nc为最大的颜色距离，D′为每个像素与范围内的聚类中心之间的距离。
由于针对不同输入图片的类型与大小都不尽相同，在此用一个固定常数t来代入计算，综合两种距离得到D′如下：
Figure GDA0002852290280000065
因为每个像素点周围均有若干个聚类中心，在此方法中，分别度量该像素点与周围各个种子点间的距离，选取其中最小值对应的聚类中心作为该像素点的类标签。
迭代聚类：重复上面步骤直到图像中每个像素点所属种子点不再变动，即误差收敛，一般进行10次迭代。
增强连通性：经过上述迭代优化可能会有若干种误差，可以利用增强连通性来削弱误差带来的影响。具体方法为：首先建立标记表，将-1赋值给表内各个元素，依照由左至右，由上至下的顺序把过小尺寸的超像素、出现多连通的超像素重新分配给邻近的超像素，遍历过程中，用对应的标签标记每个像素点，待所有像素点均得到相应标签为止。
步骤2，根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值。
具体过程如下：
21)根据超像素块，构建融合颜色信息和深度线索的图模型。
SLIC算法将图像Porigin分割成个近似均匀的超像素块，将超像素块映射至深度图，构建融合颜色信息和深度线索的图模型；其中，图模型为G＝(V,E)，V为超像素块集合，E为两超像素块相连构成的边的集合，每条边配置有相应的权重，
Figure GDA0002852290280000071
其中，ci为第i个超像素块vi的RGB、LAB六维颜色空间特征向量，cj为第j个超像素块vj的RGB、LAB六维颜色空间特征向量，wij为边eij的权重，eij为vi、vj相连构成的边，σ为控制vi、vj相似程度的调节参数，di为深度空间下vi内包含的所有像素点均值，dj为深度空间下vj内包含的所有像素点均值，μd为评估深度特征的深度置信值；
μd＝exp((1-md)*CV*H)-1
其中，md为深度图所在空间的深度均值，CV为差异指数，H表示深度信息分布的随机性，μd与深度信息呈正相关，μd取值越大，深度信息越佳。
22)根据图模型和目标深度紧密性，计算基于深度紧密性的显著值；根据图模型和目标位置先验，计算基于位置先验的显著值；根据图模型和颜色先验，计算基于颜色先验的显著值。
基于深度紧密性的显著值计算，具体如下：
假设原始深度图的显著前景目标位于l1、l2、l3、l4顶点附近，以这4个顶点作为查询节点进行流形排序，其优化公式表示如下：
Figure GDA0002852290280000081
其中，f*为n维度向量，fa、fb分别为节点la、lb的排序值，ωab为以la、lb为查询节点的两超像素间距，
Figure GDA0002852290280000082
表示两对应超像素间的度，
Figure GDA0002852290280000083
表示两对应超像素间的度，ya＝1表示查询节点la存在，ya＝0表示查询节点la不存在，μ为调节系数。
为提高效率，采用非归一化的拉普拉斯矩阵来进行最优解的计算，如下：
f*＝(D-αW)-1y
其中，D＝diag{d11,d22,...,dnn}为两对应超像素间度的矩阵，α为控制平衡系数，W为wij的矩阵，y为每个查询节点的存在的指向向量。
超像素区域越松散，其属于背景区域的概率越大，判断某一区域松散程度的公式定义为：
Figure GDA0002852290280000084
其中，N为超像素块个数，De(j)表示第j个超像素块的松散程度，f*＝[fij]n×k，ni为第i个超像素块包含的像素个数，bi为第i个超像素块的质心，fij为查询节点排序优化后的度向量f*中第i行第j列的值；
空间均值μj定位为：
Figure GDA0002852290280000091
Figure GDA0002852290280000092
其中，
Figure GDA0002852290280000093
分别表示第j个超像素块在X轴和Y轴两个方向上的空间均值，
Figure GDA0002852290280000094
分别表示第i个超像素块质心在X轴和Y轴两个方向上的值。
若当前区域属于前景目标，则De(j)取值较小，定义Fr(j)＝1-De(j)表示当前区域为前景，取Fm＝median{Fr(1),Fr(2),...,Fr(j)}作为前景与背景种子的分界点，构成前景目标种子和背景目标种子集合FG、BG。通常来讲，指定区域的显著值越大，距离背景种子越远，与背景种子的相似性成反比关系。
第i个超像素块基于背景目标种子点的显著值，其计算公式定义如下：
Figure GDA0002852290280000095
第i个超像素块基于前景目标种子点的显著值，其计算公式定义如下：
Figure GDA0002852290280000096
其中，Vbm(i)为第i个超像素块基于背景目标种子点的显著值，Vfm(i)为第i个超像素块基于前景目标种子点的显著值，fc表示第c个查询节点lc的排序值，加权融合后，得到基于深度紧密性的显著值，
Vm(i)＝λVbm(i)+(1-λ)Vfm(i)
其中，Vm(i)为第i个超像素块基于深度紧密性的显著值，λ为深度紧密性调节参数，一般取0.4。
基于位置先验的显著值计算，具体如下：
假设图像的前景目标多数位于l1、l2、l3、l4附近，以这4个节点为中心各自围成A1、A2、A3、A4个矩形区域，构建集合Z＝{Ae}，e∈[1,4]。以A1为起始区域，由上述的
Figure GDA0002852290280000101
得
Figure GDA0002852290280000102
进而计算出基于区域A1的初始显著值，记作
Figure GDA0002852290280000103
Figure GDA0002852290280000104
同理，计算剩余矩形区域的初始显著值
Figure GDA0002852290280000105
对其融合后初步得到显著图
Figure GDA0002852290280000106
其中，norm(·)表示归一化函数，使Vfus∈[0，1]。
依次计算初始显著图中位于矩形区域A1、A2、A3、A4的像素数pe，e∈[1,4]，将像素数降序排序后获取最大像素数所在区域的查询节点lr，即lr为像素数最大的目标所在区域的中心，以查询节点lr为初始点进行位置先验，显著性计算的数学公式定义为：
Figure GDA0002852290280000107
其中，VP(i)为第i个超像素块基于位置先验的显著值，β为位置最优先验调节系数，bi为第i个超像素块的聚类中心，r为中心lr的位置。
基于颜色先验的显著值计算，具体如下：
通常来讲，在整幅图像中显著前景目标由背景所包围，且背景的整体颜色较前景更为弥散，也就是在某一特定区域表现出较大空间颜色差异的一般多为背景，其显著值定义如下：
Figure GDA0002852290280000111
其中，Vc(i)为第i个超像素块基于颜色先验的显著值，nj为第j个超像素块包含的像素个数，bj为第j个超像素块的质心，r为查询节点中心lr的位置，fij为度向量f*中第i行第j列的值。
步骤3，基于条件随机场将所有显著值对应的显著图进行融合。
把上述图像显著性检测看成从背景分离显著性区域的二值标记问题，在条件随机场(CRF)框架下，输入图像I(p)的图像标注A(p)的条件概率为：
Figure GDA0002852290280000112
其中，Z为配分函数，E(A|I)为能量函数，A(p)＝1，说明该像素p属于显著区域，A(p)＝0说明该像素属于背景区域。
为了更加精确的检测显著性区域，需要融合多种显著性特征，将能量函数定义为K个显著性特征函数和这些特征的成对特征函数的线性组合，可以表示为：
Figure GDA0002852290280000113
其中，λk是第k个显著性特征的权值，p,p′是邻近的像素对。
显著性特征函数Fk(p)决定像素p是否属于显著性区域，可以定义为：
Fk(p)＝||A(p)-Sk(p)||1
其中，|| ||1为L1范数，Sk(p)为第k个特征的归一化特征显著图。
成对特征函数作为颜色差异惩罚项，颜色越相似的邻近像素对，分配到不同的标注的可能性越小。
成对特征函数可以表示为：
Figure GDA0002852290280000121
其中，σr为权值参数，d(p,p′)为像素对之间颜色差异归一化的L2范数。
为了获得最优的线性特征巧合，CRF学习的目标是在最大化似然值的标准下获得融合的线性权重参数λ＝{λ1,λ2,…λk}。为了得到最优的特征线性组合，对N幅训练图像
Figure GDA0002852290280000122
运用最大似然估计进行训练，对其取log之后表达式是凸函数，具有最优解
Figure GDA0002852290280000123
式中，A,I分别表示为训练的图像样本和标注。
步骤4，提取优化后显著图的前景、背景多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。
利用上述显著性算法提取自然图像的前景区域Aft、背景区域Abt；将原始图像在HSV颜色空间进行色调、色饱和度及亮度的非均匀量化，考虑到通常情况下一幅自然图像所含颜色在整个颜色空间所占比例微乎其微，大多数前景目标或背景区域的主色数不超过4，因此这里用颜色直方图信息在区域Aft、Abt选取4个主色，利用颜色信息结合显著信息进行正负训练样本的选取；在训练样本中提取12维像素级特征向量Fim＝{uim,him,rim}，其中，uim表示RGB、Lab六维颜色信息；表示4维纹理特征，将原始图像与求导后的高斯核函数相卷积，得到{0°,45°,90°,135°}这四个方向的梯度值，作为该像素的纹理信息；rim表示像素im的空间坐标信息(xim,yim)；将提取的12维像素级特征向量作为输入，投入SVM分类器进行训练，训练结束后根据SVM的输出结果对整幅自然图像逐像素分类，进而实现显著目标的精确语义分割。
支持向量机分类器：支持向量机是用来进行解决分类问题的常用分类器工具，通过组建最优分类面从而达到类别之间的分类间隔趋向最大化来进行实现，分类间隔最大化代表分类器拥有更好的泛化能力。针对有监督分类问题，假设训练集可表示为xie，T＝{(xie,yie)∣xie∈Rn},yie∈{±1},ie＝1,...,l。其中xie是n维空间上的第ie个样本点，yie是对应正类与对应负类的标记，假设分类超平面表示为：
w·x+b＝0
其中，w为超平面的法向量，b为截距。
上式可转化为下式：
yie((w·xie)+b)≥1,ie＝1,2,...,n
相关决策函数可表达为式：
f(x)＝sgn(w·xie+b)
在上式中的sgn()表示符号函数，具体规则如下：
Figure GDA0002852290280000131
求解最优超平面可转变为二次凸优化问题，具体表示方式如下式所示：
Figure GDA0002852290280000132
s.t yie((w·xie)+b)-1≥0
ie＝1,...,l
为简化计算，将拉格朗日乘子α＝{α1,α2,...,αl}T引入上式，表现形式如下：
Figure GDA0002852290280000141
s.t.∑yieαie＝0
0≤αie≤C,ie＝1,...,l
其中，αie为拉格朗日乘子中第ie项。
那么其决策函数可表达如下形式：
Figure GDA0002852290280000142
对于非线性可分的样本集时，支持向量机可釆用核函数方法把原始输入数据空间向高维核函数空间进行映射，从而可将非线性可分样本集转变成特征空间线性问题。设Φ(·):Rn→Rn′是将原始输入数据空间向高维特征空间进行映射，那么xie·xje则可用由Φ(xie)TΦ(xje)来替换，如果存在核函数K(x·y)满足如下条件表达式：
K(xie·xje)＝Φ(xie)TΦ(xje)
那么，上述决策函数可转变成如下形式：
Figure GDA0002852290280000143
上述方法计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值，基于条件随机场生成融合多尺度特征的显著图，清晰度和辨识度高，提高了分割精确度；同时本发明采用条件随机场，能够较好地解决了标记问题。
一种基于显著性先验的图像语义分割系统，包括，
超像素分割模块：对待分割图像进行超像素分割，获得超像素块；
显著值计算模块：根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值；
融合模块：基于条件随机场将所有显著值对应的显著图进行融合；
分类模块：提取融合后显著图的多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行基于显著性先验的图像语义分割方法。
一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行基于显著性先验的图像语义分割方法的指令。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (8)

1.一种基于显著性先验的图像语义分割方法，其特征在于：包括，
对待分割图像进行超像素分割，获得超像素块；
根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值，具体包括：
根据超像素块，构建融合颜色信息和深度线索的图模型，
根据图模型和目标深度紧密性，计算基于深度紧密性的显著值，
基于深度紧密性的显著值计算公式为，
Vm(i)＝λVbm(i)+(1-λ)Vfm(i)
其中，Vm(i)为第i个超像素块基于深度紧密性的显著值，λ为深度紧密性调节参数，Vbm(i)为第i个超像素块基于背景目标种子点的显著值，Vfm(i)为第i个超像素块基于前景目标种子点的显著值，
Figure FDA0003564980090000011
Figure FDA0003564980090000012
其中，D为两对应超像素间度的矩阵，α为控制平衡系数，wij为边eij的权重，eij为第i个超像素块和第j个超像素块相连构成的边，W为wij的矩阵，FG和BG分别为前景目标种子和背景目标种子集合，Fr(j)表示第j个超像素块区域为前景，fc表示第c个查询节点的排序值，查询节点为原始深度图的显著前景目标位置，
根据图模型和目标位置先验，计算基于位置先验的显著值，
根据图模型和目标颜色先验，计算基于颜色先验的显著值；
基于条件随机场将所有显著值对应的显著图进行融合；
提取融合后显著图的多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。
2.根据权利要求1所述的一种基于显著性先验的图像语义分割方法，其特征在于：将超像素块映射至深度图，构建融合颜色信息和深度线索的图模型；其中，图模型为G＝(V,E)，V为超像素块集合，E为两超像素块相连构成的边的集合，每条边配置有相应的权重，
Figure FDA0003564980090000021
其中，ci为第i个超像素块vi的RGB、LAB六维颜色空间特征向量，cj为第j个超像素块vj的RGB、LAB六维颜色空间特征向量，wij为边eij的权重，eij为vi、vj相连构成的边，σ为控制vi、vj相似程度的调节参数，di为深度空间下vi内包含的所有像素点均值，dj为深度空间下vj内包含的所有像素点均值，μd为评估深度特征的深度置信值。
3.根据权利要求1所述的一种基于显著性先验的图像语义分割方法，其特征在于：基于位置先验的显著值计算公式为，
Figure FDA0003564980090000022
其中，VP(i)为第i个超像素块基于位置先验的显著值，β为位置最优先验调节系数，bi为第i个超像素块的质心，r为中心lr的位置，lr为像素数最大的目标所在区域的中心。
4.根据权利要求1所述的一种基于显著性先验的图像语义分割方法，其特征在于：基于颜色先验的显著值计算公式为，
Figure FDA0003564980090000031
其中，Vc(i)为第i个超像素块基于颜色先验的显著值，N为超像素块个数，nj为第j个超像素块包含的像素个数，bj为第j个超像素块的质心，r为中心lr的位置，lr为像素数最大的目标所在区域的中心，fij为查询节点排序优化后的度向量中第i行第j列的值，查询节点为原始深度图的显著前景目标位置。
5.根据权利要求1所述的一种基于显著性先验的图像语义分割方法，其特征在于：提取融合后显著图的前景、背景多维特征，将多维特征输入预先训练的SVM分类器，获得图像语义分割结果。
6.一种基于显著性先验的图像语义分割系统，其特征在于：包括，
超像素分割模块：对待分割图像进行超像素分割，获得超像素块；
显著值计算模块：根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值；
具体包括：
根据超像素块，构建融合颜色信息和深度线索的图模型，
根据图模型和目标深度紧密性，计算基于深度紧密性的显著值，
基于深度紧密性的显著值计算公式为，
Vm(i)＝λVbm(i)+(1-λ)Vfm(i)
其中，Vm(i)为第i个超像素块基于深度紧密性的显著值，λ为深度紧密性调节参数，Vbm(i)为第i个超像素块基于背景目标种子点的显著值，Vfm(i)为第i个超像素块基于前景目标种子点的显著值，
Figure FDA0003564980090000041
Figure FDA0003564980090000042
其中，D为两对应超像素间度的矩阵，α为控制平衡系数，wij为边eij的权重，eij为第i个超像素块和第j个超像素块相连构成的边，W为wij的矩阵，FG和BG分别为前景目标种子和背景目标种子集合，Fr(j)表示第j个超像素块区域为前景，fc表示第c个查询节点的排序值，查询节点为原始深度图的显著前景目标位置，
根据图模型和目标位置先验，计算基于位置先验的显著值，
根据图模型和目标颜色先验，计算基于颜色先验的显著值；
融合模块：基于条件随机场将所有显著值对应的显著图进行融合；
分类模块：提取融合后显著图的多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。
7.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至5所述的方法中的任一方法。
8.一种计算设备，其特征在于：包括，
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至5所述的方法中的任一方法的指令。
CN202010915346.XA 2020-09-03 2020-09-03 一种基于显著性先验的图像语义分割方法及系统 Active CN112287935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010915346.XA CN112287935B (zh) 2020-09-03 2020-09-03 一种基于显著性先验的图像语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010915346.XA CN112287935B (zh) 2020-09-03 2020-09-03 一种基于显著性先验的图像语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN112287935A CN112287935A (zh) 2021-01-29
CN112287935B true CN112287935B (zh) 2022-07-29

Family

ID=74420525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010915346.XA Active CN112287935B (zh) 2020-09-03 2020-09-03 一种基于显著性先验的图像语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN112287935B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160251B (zh) * 2021-05-24 2023-06-09 北京邮电大学 一种基于显著性先验的图像自动分割方法
CN113570590B (zh) * 2021-08-03 2022-06-07 江苏仁和医疗器械有限公司 一种基于视觉感知的面部神经麻痹患者康复检测系统
CN115115654B (zh) * 2022-06-14 2023-09-08 北京空间飞行器总体设计部 一种基于显著性和近邻形状查询的物体图像分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320281B (zh) * 2018-01-19 2021-11-09 福建师范大学 一种基于多特征扩散的图像显著性检测方法及终端
CN108549891B (zh) * 2018-03-23 2019-10-01 河海大学 基于背景与目标先验的多尺度扩散显著目标检测方法
CN110458172A (zh) * 2019-08-16 2019-11-15 中国农业大学 一种基于区域对比度检测的弱监督图像语义分割方法

Also Published As

Publication number Publication date
CN112287935A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
Zhang et al. Detection of co-salient objects by looking deep and wide
CN112287935B (zh) 一种基于显著性先验的图像语义分割方法及系统
CN112101150B (zh) 一种基于朝向约束的多特征融合行人重识别方法
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
US10102443B1 (en) Hierarchical conditional random field model for labeling and segmenting images
CN105701502B (zh) 一种基于蒙特卡罗数据均衡的图像自动标注方法
Zhang et al. A multilevel point-cluster-based discriminative feature for ALS point cloud classification
Arteta et al. Interactive object counting
Wang et al. Multi-image semantic matching by mining consistent features
CN106055573B (zh) 一种多示例学习框架下的鞋印图像检索方法及系统
CN108846404B (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
Batra et al. Learning class-specific affinities for image labelling
CN110443257B (zh) 一种基于主动学习的显著性检测方法
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
Dev et al. Multi-level semantic labeling of sky/cloud images
CN110147841A (zh) 基于弱监督及无监督部件检测和分割的细粒度分类方法
CN107315984B (zh) 一种行人检索的方法及装置
Khan et al. A framework for head pose estimation and face segmentation through conditional random fields
Saxena et al. Coordinated local metric learning
CN108664968B (zh) 一种基于文本选取模型的无监督文本定位方法
Su et al. Region-based image retrieval system with heuristic pre-clustering relevance feedback
Huang et al. Efficient optimization for linear dynamical systems with applications to clustering and sparse coding
García-Lamont et al. Color image segmentation using saturated RGB colors and decoupling the intensity from the hue
Maggiori et al. Optimizing partition trees for multi-object segmentation with shape prior
CN115203408A (zh) 一种多模态试验数据智能标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant