CN108470178B - 一种结合深度可信度评价因子的深度图显著性检测方法 - Google Patents

一种结合深度可信度评价因子的深度图显著性检测方法 Download PDF

Info

Publication number
CN108470178B
CN108470178B CN201810121931.5A CN201810121931A CN108470178B CN 108470178 B CN108470178 B CN 108470178B CN 201810121931 A CN201810121931 A CN 201810121931A CN 108470178 B CN108470178 B CN 108470178B
Authority
CN
China
Prior art keywords
depth
map
value
pixel
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810121931.5A
Other languages
English (en)
Other versions
CN108470178A (zh
Inventor
周洋
刘晓琪
尉婉丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810121931.5A priority Critical patent/CN108470178B/zh
Publication of CN108470178A publication Critical patent/CN108470178A/zh
Application granted granted Critical
Publication of CN108470178B publication Critical patent/CN108470178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Abstract

本发明涉及一种结合深度可信度估计的深度图像显著性检测方法。相对于平面图像，立体图像中所包含的深度特征对于目标物体的显著性检测提供了更有效的信息。本发明包括深度可信度评价因子计算、预处理和深度显著性检测；深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度；深度图可信度越好，提取目标物体的有用信息越多。此外，图像中距离人眼较近但非显著物体所在的区域对于显著性检测会造成一定影响；针对该情况提出一种预处理方式来降低地面等这类背景区域的干扰；最后，结合深度可信度评价因子进行基于深度紧凑性和对比度的显著性计算得到最终显著结果图。本发明获得的深度显著图质量较高，与视觉注意机制保持良好一致。

Description

一种结合深度可信度评价因子的深度图显著性检测方法
技术领域
本发明属于视频图像处理技术领域，具体涉及一种结合深度图可信性评价因子的深度图显著性检测方法。
背景技术
近年来，在计算机视觉、神经科学等多个领域中对于人类视觉注意力机制的建模和研究已经成为主流。视觉注意力机制可以帮助人类快速地识别视觉显著区域，进而从大量复杂的视觉信息中获取有价值的内容。因此，模仿人类视觉机制进行显著性区域检测是计算机视觉领域的热门研究内容之一。如今，多媒体技术迅速成为当前的热门技术，立体视频(图像)备受社会各界关注，三维摄像机、立体电视机等数码媒体产品受到人们的追捧，成为信息技术的主流媒体并深深地影响着我们的日常生活。之所以立体视频技术相对于传统的二维视频技术更加热门，是因为它可以给观众提供一种更真实的体验感，其包含的深度信息具有丰富的视觉层次感，同时也有更强的视觉冲击。
针对显著性检测技术，传统的检测模型大部分是基于图像的颜色，亮度等特性而采用不同的算法进行显著性检测，但日常生活中人眼除了接收到颜色、亮度等信息，深度信息也是信息特征之一。在立体图像的显著性计算过程中，深度特征可以提供更准确的位置信息。简单来说，深度图像的像素值能反映场景中物体到相机的距离，可应用于立体场景中目标区域的提取。而到目前为止，对于立体图像的显著性检测模型仍然没有系统完整的框架，而针对于深度图的研究和计算也才逐步兴起。
鉴于上述现状，需要对立体图像和深度信息进行进一步的研究和学习，充分利用深度图像中的有效信息，进行显著性计算，并且与立体图像显著性计算的其他特征计算融合，准确的检测出立体图像的显著区域。
发明内容
本发明针对现有技术的不足，提供一种结合深度可信度评价因子的计算方法。该方法具体包括以下步骤：
步骤一：输入深度图，采用SLIC算法将深度图分割为超像素块，并构建图G＝(V,E)；节点V由超像素分割产生，并设定为每一个超像素块的质心；边缘E连接相邻像素块；(SLIC算法为已有技术)
步骤二：深度可信度评价因子分析
深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度；以超像素块为单元，结合均值、方差、熵值的物理意义，首先定义每个超像素块的参数并将其归一化，具体如下:
Figure BDA0001572352510000021
Figure BDA0001572352510000022
Figure BDA0001572352510000023
其中，m和s分别表示深度图的深度平均值和标准差，mi表示超像素块i的深度均值，0≤i≤N,N为超像素块的个数，本文取200。H为二维图像熵，表示深度值分布的随机性，pl为某个深度灰度值在该图像中出现的概率，可由灰度直方图获得，L为灰度等级；C0为控制常量，设定其值为2.0；
融合各超像素块的参数得出深度图可信度评价因子λ如下：
Figure BDA0001572352510000024
其中，N为SLIC算法计算时的超像素块个数，N取200；
步骤三：深度图预处理
在初步获取深度图像后，图像中距离人眼较近但非显著物体所在区域对于显著性检测会造成一定影响，比如地面；针对该情况提出一种预处理方式来降低地面等这类背景区域的干扰；具体如下：
Figure BDA0001572352510000031
式中，Ik表示原始深度图中某像素点k的深度值，I′k表示预处理后的像素点k的深度值；
Figure BDA0001572352510000032
为像素点k所在行的深度平均值；
步骤四：深度图显著区域检测
1)基于紧凑度和对比度的显著性计算；在完成深度可靠性因子评价和图像预处理后，从深度紧凑度和深度对比度两方面进行显著性检测计算；
a)基于紧凑度的显著性计算Scom
预处理后，定义两个超像素块的相似度为：
Figure BDA0001572352510000033
其中，m′i和m′j分别表示预处理后超像素块i，j的深度平均值，0≤i,j≤N,C1为控制常量，取值0.1；
结合深度可靠性评价因子计算基于紧凑度的超像素块i的深度显著性值具体如下：
Figure BDA0001572352510000034
其中，nj为超像素块j包含的像素点个数，m′j为预处理后超像素块的深度平均值，λj为超像素块j的评价系数，σ2为控制因子，取值为0.1；
Figure BDA0001572352510000035
为超像素块的质心坐标，
Figure BDA0001572352510000036
为输入深度图的质心位置，具体如下：
Figure BDA0001572352510000037
Figure BDA0001572352510000038
其中Ik表示原始深度图中的像素值，xk，yk表示对应像素值的横纵坐标，w×h表示深度图中包含的像素点个数；基于紧凑对比度的超像素块i的显著图值Scom(i)计算如下：
Scom(i)＝1-norm(Sdc(i))
其中norm(·)为归一化函数，用来将Sdc(i)的值归一化到0到1之间。然后再把Scom(i)映射到[0,255]空间得到深度紧凑性显著性图Scom。
b)基于对比度的显著性计算Scon
预处理后，我们将灰度作为深度图的像素特征值，并计算深度图直方图，得到每一个灰度等级的概率fl，同时计算各像素特征值的距离矩阵D(I'k,Il')，进而得到基于对比度的第k个像素点的显著图值Scon(k)如下：
Figure BDA0001572352510000041
其中，D(I′k,I′l)＝||I′k-I′l||表示第k像素点的深度值I′k与其它像素点深度值I′l空间距离；
2)将获取的深度紧凑度显著图Scom和深度对比度显著图Scon进行线性加权融合，获取深度显著图SMdepth：
SMdepth＝αScom+(1-α)Scon；
其中：α和(1-α)为Scom和Scon的权重因子，取值0.5。
本申请在深度图显著性处理研究领域中提出了一种检测技术，尽可能地根据人眼视觉注意力机制原理提取出深度图中目标物体所在区域。该检测技术主要分为深度图可信度评价因子计算、深度图预处理及显著性计算三部分，其中深度图可信度评价因子主要依据图像像素灰度均值、标准差、熵等变化规律对于原深度图中包含有效信息的多少进行度量；对于深度图像中距离人眼较近但并非目标物体所在区域的像素点进行预处理，降低背景部分对于后续显著性计算带来的干扰，降低计算复杂度；深度图显著性计算主要包括两方面：基于紧凑度的计算和基于对比度的计算，并进行融合获取最终的深度显著图。该深度图显著性模型可应用于立体图像或视频的显著性提取中。
附图说明
图1是本发明方法的流程图；
图2是原始深度图；
图3超像素分割结果；
图4是深度图预处理结果；
图5是基于紧凑度的显著性计算结果；
图6是基于对比度的显著性计算结果；
图7是深度图的显著区域检测图；
图8是不同的深度图检测结果图；8(a)为深度图，8(b)为SLIC结果，8(c)为预处理结果图，8(d)为紧凑度显著结果图，8(e)为对比度显著结果图，8(f)为最终显著结果图；
图9是不同模型方法结果对比图；9(a)为灰度图，9(b)为深度图，9(c)为GBVS方法结果图，9(d)为PCA方法结果图，9(e)为DSR方法结果图，9(f)为GR方法结果图，9(g)为ACSD方法结果图，9(h)为本方法结果图，9(i)为groundtruth。
具体实施方式
如图1所示，一种结合深度可信度评价因子的深度图显著性检测方法，该方法具体包括以下步骤：
步骤一：输入深度图，如图2所示，采用SLIC算法将深度图分割为超像素块，并构建图G＝(V,E)；节点V由超像素分割产生，并设定为每一个超像素块的质心；边缘E连接相邻像素块,如图3所示；
(SLIC算法为已有技术)
步骤二：深度可信度评价因子分析
深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度；以超像素块为单元，结合均值、方差、熵值的物理意义，首先定义每个超像素块的参数并将其归一化，具体如下:
Figure BDA0001572352510000061
Figure BDA0001572352510000062
Figure BDA0001572352510000063
其中，m和s分别表示深度图的深度平均值和标准差，mi表示超像素块i的深度均值，0≤i≤N,N为超像素块的个数，本文取200。H为二维图像熵，表示深度值分布的随机性，pl为某个深度灰度值在该图像中出现的概率，可由灰度直方图获得，L为灰度等级；C0为控制常量，设定其值为2.0；
融合超像素块的参数得出深度图可信度评价因子λ如下：
Figure BDA0001572352510000064
其中，N为SLIC算法计算时的超像素块个数，N取200；
步骤三：深度图预处理
在初步获取深度图像后，图像中距离人眼较近但非显著物体所在区域对于显著性检测会造成一定影响，比如地面；针对该情况提出一种预处理方式来降低地面等这类背景区域的干扰；具体如下：
Figure BDA0001572352510000065
式中，Ik表示原始深度图中某像素点k的深度值，I′k表示预处理后的像素点k的深度值；
Figure BDA0001572352510000066
为像素点k所在行的深度平均值；预处理结果如图4所示。
步骤四：深度图显著区域检测
1)基于紧凑度和对比度的显著性计算；在完成深度可靠性因子评价和图像预处理后，从深度紧凑度和深度对比度两方面进行显著性检测计算；
a)基于紧凑度的显著性计算Scom
预处理后，定义两个超像素块的相似度为：
Figure BDA0001572352510000067
其中，m′i和m′j分别表示预处理后超像素块i，j的深度平均值，0≤i,j≤N,C1为控制常量，取值0.1；
结合深度可靠性评价因子计算基于紧凑度的超像素块i的深度显著性值具体如下：
Figure BDA0001572352510000071
其中，nj为超像素块j包含的像素点个数，m′j为预处理后超像素块的深度平均值，λj为超像素块j的评价系数，σ2为控制因子，取值为0.1；
Figure BDA0001572352510000075
为超像素块的质心坐标，
Figure BDA0001572352510000072
为输入深度图的质心位置，具体如下：
Figure BDA0001572352510000073
Figure BDA0001572352510000074
其中Ik表示原始深度图中的像素值，xk，yk表示对应像素值的横纵坐标，w×h表示深度图中包含的像素点个数；基于紧凑对比度的超像素块i的显著图值Scom(i)计算如下：
Scom(i)＝1-norm(Sdc(i))
其中norm(·)为归一化函数，用来将Sdc(i)的值归一化到0到1之间。然后再把Scom(i)映射到[0,255]空间得到深度紧凑性显著性图Scom。
基于紧凑度计算的显著性结果图如图5所示。
b)基于对比度的显著性计算Scon
预处理后，我们将灰度作为深度图的像素特征值，并计算深度图直方图，得到每一个灰度等级的概率fl，同时计算各像素特征值的距离矩阵D(I'k,I'l)，进而得到基于对比度的第k个像素点的显著图值Scon(k)如下：
Figure BDA0001572352510000081
其中，D(I′k,I′l)＝||I′k-I′l||表示第k像素点的深度值I′k与其它像素点深度值I′l空间距离；基于对比度计算的显著性结果图如图6所示。
2)将获取的深度紧凑度显著图Scom和深度对比度显著图Scon进行线性加权融合，获取深度显著图SMdepth：
SMdepth＝αScom+(1-α)Scon；
其中：α和(1-α)为Scom和Scon的权重因子，α取值为0.5。最终深度显著性检测结果图如图7所示。
为验证本发明方法的准确性，选取了NJU-2000数据集中的深度图进行测试，测试结果如图8(a)-(f)所示。并与现有的其他方法结果进行比较，如图9(a)-(i)所示实验结果验证了本发明能够有效的检测出深度图的显著区域。
本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (1)

1.一种结合深度可信度评价因子的深度图显著性检测方法，其特征在于能够对深度图所包含目标区域的有效信息进行度量，并滤除部分背景区域的干扰，该方法具体包括以下步骤：
步骤一：输入深度图，采用SLIC算法将深度图分割为超像素块，并构建图G＝(V,E)；节点V由超像素分割产生，并设定为每一个超像素块的质心；边缘E连接相邻像素块；
步骤二：深度可信度评价因子分析
深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度；以超像素块为单元，结合均值、方差、熵值的物理意义，首先定义每个超像素块的参数并将其归一化，具体如下:
Figure FDA0002992215380000011
Figure FDA0002992215380000012
Figure FDA0002992215380000013
其中，m和s分别表示深度图的深度平均值和标准差，mi表示超像素块i的深度均值，0≤i≤N,N为超像素块的个数；H为二维图像熵，表示深度值分布的随机性，pl为某个深度灰度值在该图像中出现的概率，可由灰度直方图获得，L为灰度等级；C0为控制常量，设定其值为2.0；
融合各超像素块的参数得出深度图可信度评价因子λ如下：
Figure FDA0002992215380000014
其中，N为SLIC算法计算时的超像素块个数，N取200；
步骤三：深度图预处理
在初步获取深度图像后，图像中距离人眼较近但非显著物体所在区域对于显著性检测会造成影响；针对这种影响提出一种预处理方式来降低背景区域地面的干扰；具体如下：
Figure FDA0002992215380000021
式中，Ik表示原始深度图中某像素点k的深度值，Ik′表示预处理后的像素点k的深度值；
Figure FDA0002992215380000022
为像素点k所在行的深度平均值；
步骤四：深度图显著区域检测
1)基于紧凑度和对比度的显著性计算；在完成深度可靠性因子评价和图像预处理后，从深度紧凑度和深度对比度两方面进行显著性检测计算；
a)基于紧凑度的显著性计算Scom
预处理后，定义两个超像素块的相似度为：
Figure FDA0002992215380000023
其中，m′i和m′j分别表示预处理后超像素块i，j的深度平均值，0≤i,j≤N,C1为控制常量，取值0.1；
结合深度可靠性评价因子计算基于紧凑度的超像素块i的深度显著性值具体如下：
Figure FDA0002992215380000024
其中，nj为超像素块j包含的像素点个数，m′j为预处理后超像素块的深度平均值，λj为超像素块j的评价系数，σ2为控制因子，取值为0.1；
Figure FDA0002992215380000025
为超像素块的质心坐标，
Figure FDA0002992215380000026
为输入深度图的质心位置，具体如下：
Figure FDA0002992215380000027
Figure FDA0002992215380000031
其中Ik表示原始深度图中的像素值，xk，yk表示对应像素值的横纵坐标，w×h表示深度图中包含的像素点个数；基于深度紧凑度的超像素块i的显著图值Scom(i)计算如下：
Scom(i)＝1-norm(Sdc(i))
其中norm(·)为归一化函数，用来将Sdc(i)的值归一化到0到1之间；然后再把Scom(i)映射到[0,255]空间得到深度紧凑性显著性图Scom；
b)基于对比度的显著性计算Scon
预处理后，我们将灰度作为深度图的像素特征值，并计算深度图直方图，得到每一个灰度等级的概率fl，同时计算各像素特征值的距离矩阵D(I'k,I’l)，进而得到基于对比度的第k个像素点的显著图值Scon(k)如下：
Figure FDA0002992215380000032
其中，D(I′k,I′l)＝||I′k-I′l||表示第k像素点的深度值I′k与其它像素点深度值I′l空间距离；
2)将获取的深度紧凑度显著图Scom和深度对比度显著图Scon进行线性加权融合，获取深度显著图SMdepth：
SMdepth＝αScom+(1-α)Scon；
其中：α和(1-α)为Scom和Scon的权重因子，取值0.5。
CN201810121931.5A 2018-02-07 2018-02-07 一种结合深度可信度评价因子的深度图显著性检测方法 Active CN108470178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810121931.5A CN108470178B (zh) 2018-02-07 2018-02-07 一种结合深度可信度评价因子的深度图显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810121931.5A CN108470178B (zh) 2018-02-07 2018-02-07 一种结合深度可信度评价因子的深度图显著性检测方法

Publications (2)

Publication Number Publication Date
CN108470178A CN108470178A (zh) 2018-08-31
CN108470178B true CN108470178B (zh) 2021-09-07

Family

ID=63266208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810121931.5A Active CN108470178B (zh) 2018-02-07 2018-02-07 一种结合深度可信度评价因子的深度图显著性检测方法

Country Status (1)

Country Link
CN (1) CN108470178B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189294B (zh) * 2019-04-15 2021-05-07 杭州电子科技大学 基于深度可信度分析的rgb-d图像显著性检测方法
CN110276260B (zh) * 2019-05-22 2021-06-08 杭州电子科技大学 一种基于深度摄像头的商品检测方法
CN110458797B (zh) * 2019-06-18 2023-05-30 南开大学 一种基于深度图过滤器的显著性物体检测方法
CN112085683B (zh) * 2020-08-14 2024-04-09 杭州电子科技大学 一种显著性检测中的深度图可信度检测方法
CN113282088A (zh) * 2021-05-21 2021-08-20 潍柴动力股份有限公司 工程车的无人驾驶方法、装置、设备、存储介质及工程车

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869172A (zh) * 2016-04-19 2016-08-17 天津大学 一种深度图可靠性评价测度方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699151B2 (en) * 2016-06-03 2020-06-30 Miovision Technologies Incorporated System and method for performing saliency detection using deep active contours

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869172A (zh) * 2016-04-19 2016-08-17 天津大学 一种深度图可靠性评价测度方法

Also Published As

Publication number Publication date
CN108470178A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN110490158B (zh) 一种基于多级模型的鲁棒人脸对齐方法
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN111428689B (zh) 一种多池化信息融合的人脸图像特征提取方法
US20180357819A1 (en) Method for generating a set of annotated images
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN110176016B (zh) 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN111091075A (zh) 人脸识别方法、装置、电子设备及存储介质
CN110021029A (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN109523590B (zh) 一种基于样例的3d图像深度信息视觉舒适度评估方法
CN111784658A (zh) 一种用于人脸图像的质量分析方法和系统
CN111882516A (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN108564020A (zh) 基于全景3d图像的微手势识别方法
CN106446764B (zh) 基于改进的模糊颜色聚合向量的视频目标检测方法
CN107194406A (zh) 一种基于cs特征值的全景机器视觉目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant