CN110211115B - 一种基于深度引导元胞自动机的光场显著性检测实现方法 - Google Patents

一种基于深度引导元胞自动机的光场显著性检测实现方法 Download PDF

Info

Publication number
CN110211115B
CN110211115B CN201910477922.4A CN201910477922A CN110211115B CN 110211115 B CN110211115 B CN 110211115B CN 201910477922 A CN201910477922 A CN 201910477922A CN 110211115 B CN110211115 B CN 110211115B
Authority
CN
China
Prior art keywords
depth
guided
background
map
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910477922.4A
Other languages
English (en)
Other versions
CN110211115A (zh
Inventor
朴永日
张淼
李啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201910477922.4A priority Critical patent/CN110211115B/zh
Publication of CN110211115A publication Critical patent/CN110211115A/zh
Application granted granted Critical
Publication of CN110211115B publication Critical patent/CN110211115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于,包括如下步骤:A、背景种子选取Bk;B、得到深度引导的显著性图SdI(i);C、通过深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)得到显著性结果
Figure DDA0002082878660000011
D、对所述显著性结果
Figure DDA0002082878660000012
进行后处理得到最终显著性预测结果。本发明构建了深度引导的元胞自动机模型利用图像相似区域之间的相互作用更新优化显著性预测结果,本方法对于很多有挑战性的场景都能取得准确的预测结果。

Description

一种基于深度引导元胞自动机的光场显著性检测实现方法
技术领域
本发明涉及到计算机视觉及光场技术领域,是一种利用光场多模态信息进行显著性检测,并通过深度引导元胞自动机模型优化更新,实现复杂场景下高质量的显著性检测结果的方法,具体为一种基于深度引导元胞自动机的光场显著性检测实现方法。
背景技术
显著性检测是指在一幅图像里,寻找出最吸引人类视觉注意的像素或区域。显著性检测可以作为图像处理任务的预处理过程。让计算机先检测出人类所感兴趣的区域,然后对检测出的区域进行后续方法的处理。比如,在进行目标识别时,我们不需要对整张图像进行滑动窗遍历,而是先进行显著性检测,然后只对显著性区域的目标进行识别。准确可靠的显著性检测可以节省计算量的同时,提高精确度,使许多视觉图形学中的图像跟踪和识别处理任务受益。
根据输入图像的不同类型,显著性检测可以分为三种:2D显著性检测、3D显著性检测和光场(4D)显著性检测。2D显著性检测的输入是RGB彩色图像;3D显著性检测的输入是三维形式的图像,包括RGB彩色图像和相对应的深度图像;4D光场显著性检测的输入是光场图像,包括全聚焦RGB图像、焦点堆栈图像(一系列聚焦在不同深度层面物体上的聚焦切片图像)和深度图。光场图像的具体形式如图1所示。
最常见的显著性检测方法是2D显著性检测,它们使用2D视觉信息,比如图像颜色、亮度和纹理等。尽管这些方法在现存的2D显著性检测数据库上取得了很好的检测结果,但是它们在复杂场景下,仍然存在着错检和漏检的问题,比如当背景杂乱时,当背景区域和前景物体有着相似的颜色时。这是因为这些方法都是基于一些潜在的假设,比如说,前景和背景的颜色对比度一般比较高(颜色先验),图像的背景区域颜色一般比较简单平滑,出现在图像边缘的一般是显著性物体(边界先验)等等。但是,现实生活中的场景多种多样,这样的假设经常被打破。
3D图像里的深度图像提供了场景的空间分布信息,在一定程度上可以改善显著性检测的结果。但是目前大部分的检测方法基于深度先验(即显著性物体出现在靠近拍摄者的区域),因此需要高质量的深度图。不准确的深度图会使方法出现错检或漏检问题。对于前背景颜色、深度相似等复杂场景,3D显著性检测方法不能准确检测出显著性区域。
因此,我们考虑,对于生活中的复杂场景(比如前背景颜色、深度相似),利用其他的信息(比如人眼在不同深度层面的移动过程),可否帮助区分显著性物体和背景区域,提高检测结果的精确度。受此启发,随着光场相机的出现,光场显著性检测方法近些年来被提出。光场显著性方法通过利用光场数据里丰富的信息来实现高质量的检测。近些年提出的一些优秀的光场显著性检测方法证明了在显著性检测里,使用丰富的光场信息(包括深度信息、聚焦信息、位置信息和颜色信息等)的有效性。但是,现有的光场显著性检测方法存在着以下两个问题。首先,光场的相关信息在使用的过程中,通常是以简单的线性方法进行结合,光场各个信息之间的互补性和相互作用性并没有考虑在内。其次,图像的空间一致性也往往被忽略。因为以上两个问题,光场显著性检测方法在复杂场景下,检测的显著性区域仍然存在着错检、漏检的情况。
目前的显著性检测方法在复杂场景下存在着漏检和错检问题,日常生活中存在很多复杂场景,研究在复杂场景下的显著性检测有着重要意义。
发明内容
根据上述提出的技术问题,而提供一种基于深度引导元胞自动机的光场显著性检测实现方法。本发明采用的技术手段如下:
一种基于深度引导元胞自动机的光场显著性检测实现方法,包括如下步骤:
A、背景种子选取Bk,其步骤如下:
A1、选取背景切片IB
根据图像信息计算焦点堆栈里不同聚焦切片(Ik,k=1,2,…K)的聚焦区域;
利用深度图计算图像物体重心(xo,yo);以图像重心为中心,设计逆物体偏置的高斯滤波器G(x,y),根据每张聚焦切片的聚焦区域与物体重心的位置来选取最大概率聚焦在背景区域的切片作为背景切片IB
A2、得到物体引导的深度图dog(i):
通过简单线性迭代聚类方法(SLIC)把全聚焦图像分成N个超像素,每个超像素用i表示;
根据背景切片IB的聚焦区域、超像素的位置信息和深度信息,计算每个超像素的前景概率Pfg(i);
将前景概率和深度图相乘,计算得到物体引导的深度图dog(i);
A3、选取背景种子Bk:将基于深度先验和基于边缘先验选取背景种子结合,作为最终的背景种子Bk
基于深度先验选取深度先验背景种子:对于非边缘的超像素,将每个超像素对应的物体引导的深度图设定阈值TH1,把小于阈值的区域认为是深度先验背景种子;
基于边缘先验选取边缘先验背景种子:对于边缘超像素,选取在物体引导的深度图中的值小于阈值TH2的边缘超像素作为边缘先验背景种子;
将所述深度先验背景种子和边缘先验背景种子的并集作为背景种子Bk
所述阈值TH1和所述TH2定义如下:
Figure BDA0002082878640000031
Figure BDA0002082878640000032
其中,Th1和Th2分别为控制参数,
Figure BDA0002082878640000033
表示所述物体引导的深度图里所有像素的平均值;
B、得到深度引导的显著性图SdI(i),其包括如下步骤:
B1、得到基于对比的显著性图:
所述基于对比的显著性图Scc(i)通过计算超像素i和背景种子Bk之间的特征距离得到;
B2、得到深度引导的显著性图SdI(i):
所述深度引导的显著性图SdI(i)通过权重相乘所述基于对比的显著性图Scc(i)和所述物体引导的深度图dog(i)得到;
C、通过深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)得到显著性结果
Figure BDA0002082878640000041
其包括如下步骤:
C1、构建深度引导的元胞自动机图模型:
在所述元胞自动机图模型里,每一个所述超像素代表一个元胞,每个超像素的显著性预测值就是当前元胞的状态,每个元胞的下一个状态由此元胞当前的状态和它的邻居的当前状态来决定,如果两个所述元胞在所述深度引导的元胞自动机图模型里相连接,则这两个元胞互为邻居;
对于所述深度引导的元胞自动机图模型中位于图像边缘的元胞,只有属于背景种子Bk中的元胞互相连接;
对于所述深度引导的元胞自动机图模型中不属于图像边缘的元胞,它们的邻居区域NB*(i)不仅需要是元胞i在所述深度引导的元胞自动机图模型里的2层邻居,而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围内;
NB*(i)={j|(j∈NB(i))∩||(dog(j)-dog(i)||<Th3)}
其中,NB(i)是元胞i在图模型里的2层邻居(包括包围当前元胞i的元胞,以及和这些元胞有着共同边缘的其他元胞),而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围里,也就是元胞和它的邻居应该是属于同一个物体的;Th3是控制当前元胞邻居的常量参数,j代表超像素;
C2、使用所述深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)进行优化更新:
每一个元胞的下一个状态St+1由当前状态St及其邻居的状态决定,元胞下一个状态St+1定义如下:
Figure BDA0002082878640000051
其中,E是单位矩阵;当t=0时,初始状态的St是在所述步骤B中得到的深度引导的显著性图SdI,显著性结果
Figure BDA0002082878640000052
是经过TS时间之后的显著性图;DF*是初始影响因子矩阵DF中的数值归一化之后得到的影响因子矩阵,其用于控制邻居对当前元胞的影响;
Figure BDA0002082878640000053
DF为对角矩阵,DF=diag{∑jdf1j,∑jdf2j,…∑jdfNj}
df(i,j)是所述初始影响因子矩阵DF中的矩阵元素,且为所述深度引导的元胞自动机模型中元胞i及其邻居j之间的影响因子,定义为GIE,LAB颜色空间和深度空间的差异;
Figure BDA0002082878640000054
其中,
Figure BDA0002082878640000055
是控制相似性的常量;CD(i,j)是颜色空间的差异,DD(i,j)是深度空间的差异;
Figure BDA0002082878640000056
为初始相干矩阵Cd中的数值归一化之后得到的相干矩阵,其用于权衡元胞当前状态和它的邻居状态的重要性;
Figure BDA0002082878640000057
Figure BDA0002082878640000061
初始的相干矩阵Cd=diag{Cd1,Cd2,...,CdN};
Figure BDA0002082878640000062
其中,a和b为用来控制元胞当前的状态和邻居的状态对下一状态的影响权重的常量;
D、对所述显著性结果
Figure BDA0002082878640000063
进行后处理得到最终显著性预测结果,其包括如下步骤:
D1、融合
通过贝叶斯融合框架来融合所述深度引导的显著性图SdI(i)和显著性结果
Figure BDA0002082878640000064
得到融合预测结果
Figure BDA0002082878640000065
Figure BDA0002082878640000066
其中,
Figure BDA0002082878640000067
是把SdI(i)作为先验,得到的
Figure BDA0002082878640000068
的后验概率;
Figure BDA0002082878640000069
是把
Figure BDA00020828786400000610
作为先验,得到的SdI(i)的后验概率;
D2、优化:
使用像素级别的显著性细化模型CRF来优化融合预测结果
Figure BDA00020828786400000611
得到高质量精确的最终显著性预测结果。
进一步地,在所述步骤A2中所述的N取300。
进一步地,步骤A3中所述的Th1取0.2-0.5,所述的Th2取1.7-1.9。
进一步地,在所述步骤C1中所述的Th3取0.35-0.50。
进一步地,步骤C2中所述的TS取20。
进一步地,步骤C2中所述的a取0.6,b取0.2。
本发明针对目前显著性检测方法对于生活中的多种复杂场景(比如杂乱的背景区域;背景区域和前景区域颜色、深度相似;显著性物体出现在图像的边缘区域等)并不能取得准确的检测结果这一问题,提出了一种基于深度引导元胞自动机的光场显著性检测实现方法。这一方法考虑了光场数据的颜色、深度和聚焦等多模态特征之间的相关性。首先,方法使用光场多模态特征构建了物体引导的深度图。与初始的深度图相比,在物体引导的深度图里,显著性物体相对突出,背景区域相对不明显。物体引导的深度图可以作为一个引导者来利用光场多模态不同信息之间的互补性和相互作用性。然后,方法构建了深度引导的元胞自动机模型(Depth-induced Cellular Automata(DCA))来利用图像相似区域之间的相互作用(图像的空间一致性)更新优化显著性预测结果。每个像素下一个状态的显著性值由像素当前状态的显著性值和像素邻居的显著性值来决定。光场图像包含的多模态信息被用来定义各个像素的邻居和像素的更新原则。实验结果表明,本发明提出的基于深度引导的元胞自动机的显著性检测方法对于很多有挑战性的场景都能取得准确的预测结果。
基于上述理由本发明可在计算机视觉及光场等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明背景技术中提到的光场图像示意图。
图2是本发明具体实施方式中一种基于深度引导元胞自动机的光场显著性检测实现方法流程图。
图3是本发明具体实施方式中深度引导的元胞自动机中的图模型。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图2-图3所示,一种基于深度引导元胞自动机的光场显著性检测实现方法,包括如下步骤:
A、背景种子选取Bk,其步骤如下:
A1、选取背景切片IB
根据图像信息计算焦点堆栈里不同聚焦切片(Ik,k=1,2,…K)的聚焦区域;
利用深度图计算图像物体重心(xo,yo);以图像重心为中心,设计逆物体偏置的高斯滤波器G(x,y),根据每张聚焦切片的聚焦区域与物体重心的位置来选取最大概率聚焦在背景区域的切片作为背景切片IB
物体重心(xo,yo)可由如下公式计算:
Figure BDA0002082878640000081
其中,
Figure BDA0002082878640000082
是把深度图d(x,y)的像素沿x轴计算得的一维深度图,
Figure BDA0002082878640000083
是沿着y轴的一维深度图,W和H分别表示聚焦切片的宽和高;
高斯滤波器G(x,y)的计算公式如下:
Figure BDA0002082878640000084
其中,σx 2和σy 2定义了提出的逆物体偏置的高斯滤波器的大小,本实施例中σx=0.45×W,σy=0.25×H;
每个聚焦切片Ik,(k=1,2,…K)的背景概率BLS(Ik)可由以下公式计算得到:
Figure BDA0002082878640000091
其中
Figure BDA0002082878640000092
是不同深度聚焦切片的背景概率权重,λ=0.2。
我们选取背景概率BLS(Ik)最高的聚焦切片Ik为最终的背景切片IB
A2、得到物体引导的深度图dog(i):
通过简单线性迭代聚类方法(SLIC)把全聚焦图像分成N个超像素,N为300,每个超像素用i表示;
根据背景切片IB的聚焦区域、超像素的位置信息和深度信息,计算每个超像素的前景概率Pfg(i);前景概率Pfg(i)的计算公式如下:
Figure BDA0002082878640000093
其中,
Figure BDA0002082878640000094
是背景切片IB对应的聚焦图
Figure BDA0002082878640000095
上超像素点i的聚焦值,σB是控制前景概率的常量,本实施例σB=0.2,C是坐标为(x0,y0)的物体中心,Upos(i)是超像素i的位置坐标,d(i)表示深度图上的超像素i的深度值(在光场显著性检测LFSD数据库里,像素深度值d(i)越大,当前像素越靠近拍摄者中深度值大的区域);
将前景概率和深度图相乘,计算得到物体引导的深度图dog(i);
dog(i)=d(i)×Pfg(i)   (5)
A3、选取背景种子Bk:将基于深度先验和基于边缘先验选取背景种子结合,作为最终的背景种子Bk
基于深度先验选取深度先验背景种子:对于非边缘的超像素,将每个超像素对应的物体引导的深度图设定阈值TH1,把小于阈值的区域认为是深度先验背景种子;但是,对于深度图不准确或者深度图变化范围很小的场景,单纯的给物体引导的深度图设定阈值确定背景区域是不可靠的或者不足够的。所以作为补充,接下来基于边缘先验选取边缘先验背景种子;
基于边缘先验选取边缘先验背景种子:对于边缘超像素,选取在物体引导的深度图中的值小于阈值TH2的边缘超像素作为边缘先验背景种子;
将所述深度先验背景种子和边缘先验背景种子的并集作为背景种子Bk
所述阈值TH1和所述TH2定义如下:
Figure BDA0002082878640000101
Figure BDA0002082878640000102
其中,Th1和Th2分别为控制参数,Th1取0.3,Th2取1.8,
Figure BDA0002082878640000103
表示所述物体引导的深度图里所有像素的平均值;
B、得到深度引导的显著性图SdI(i),其包括如下步骤:
B1、得到基于对比的显著性图:
所述基于对比的显著性图Scc(i)通过计算超像素i和背景种子Bk之间的特征距离得到;
Figure BDA0002082878640000104
其中,Wpos(i,j)是超像素i和超像素j之间的空间距离,CD(i,j)是超像素i和超像素j之间的颜色距离。
Figure BDA0002082878640000105
PD(i,j)=||Upos(i)-Upos(j)||   (10)
DD(i,j)=||dog(i)-dog(j)||   (11)
CD(i,j)=||Ufea(i)-Ufea(j)||   (12)
其中,Ufea(i)是超像素i在CIE LAB颜色空间的颜色特征,σ1是控制权重的常数,本实施例中设置σ1=1.3;
B2、得到深度引导的显著性图SdI(i):
所述深度引导的显著性图SdI(i)通过权重相乘所述基于对比的显著性图Scc(i)和所述物体引导的深度图dog(i)得到;
SdI(i)=Sccw(i)×dogw(i)   (13)
其中,dogw(i)是经过变权重得到的物体引导的深度图;
Sccw(i)是变化权重之后的基于对比的显著性图;
Figure BDA0002082878640000111
Figure BDA0002082878640000112
其中,
Figure BDA0002082878640000113
Figure BDA0002082878640000114
C、通过深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)得到显著性结果
Figure BDA0002082878640000115
其包括如下步骤:
C1、构建深度引导的元胞自动机图模型:
在所述元胞自动机图模型里,每一个所述超像素代表一个元胞,每个超像素的显著性预测值就是当前元胞的状态,每个元胞的下一个状态由此元胞当前的状态和它的邻居的当前状态来决定,如果两个所述元胞在所述深度引导的元胞自动机图模型里相连接,则这两个元胞互为邻居;
对于所述深度引导的元胞自动机图模型中位于图像边缘的元胞,只有属于背景种子Bk中的元胞互相连接;
对于所述深度引导的元胞自动机图模型中不属于图像边缘的元胞,它们的邻居区域NB*(i)不仅需要是元胞i在所述深度引导的元胞自动机图模型里的2层邻居,而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围内;
NB*(i)={j|(j∈NB(i))∩||(dog(j)-dog(i)||<Th3)}   (16)
其中,NB(i)是元胞i在图模型里的2层邻居(包括包围当前元胞i的元胞,以及和这些元胞有着共同边缘的其他元胞),而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围里,也就是元胞和它的邻居应该是属于同一个物体的;Th3是控制当前元胞邻居的常量参数,j代表超像素;
C2、使用所述深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)进行优化更新:
每一个元胞的下一个状态St+1由当前状态St及其邻居的状态决定,元胞下一个状态St+1定义如下:
Figure BDA0002082878640000121
其中,E是单位矩阵;当t=0时,初始状态的St是在所述步骤B中得到的深度引导的显著性图SdI,显著性结果
Figure BDA0002082878640000122
是经过TS时间之后的显著性图,其中TS=20;DF*是初始影响因子矩阵DF中的数值归一化之后得到的影响因子矩阵,其用于控制邻居对当前元胞的影响;
Figure BDA0002082878640000123
DF为对角矩阵,DF=diag{∑jdf1j,∑jdf2j,…∑jdfNj}   (19)
df(i,j)是所述初始影响因子矩阵DF中的矩阵元素,且为所述深度引导的元胞自动机模型中元胞i及其邻居j之间的影响因子,定义为GIE,LAB颜色空间和深度空间的差异;
Figure BDA0002082878640000131
其中,
Figure BDA0002082878640000132
是控制相似性的常量;CD(i,j)是颜色空间的差异,DD(i,j)是深度空间的差异;
Figure BDA0002082878640000133
为初始相干矩阵Cd中的数值归一化之后得到的相干矩阵,其用于权衡元胞当前状态和它的邻居状态的重要性;
Figure BDA0002082878640000134
Figure BDA0002082878640000135
初始的相干矩阵Cd=diag{Cd1,Cd2,...,CdN};
Figure BDA0002082878640000136
其中,a和b为用来控制元胞当前的状态和邻居的状态对下一状态的影响权重的常量,本实施例中a为0.6,b为0.2;
D、对所述显著性结果
Figure BDA0002082878640000137
进行后处理得到最终显著性预测结果,其包括如下步骤:
D1、融合
通过贝叶斯融合框架来融合所述深度引导的显著性图SdI(i)和显著性结果
Figure BDA0002082878640000138
得到融合预测结果
Figure BDA0002082878640000139
Figure BDA00020828786400001310
其中,
Figure BDA00020828786400001311
是把SdI(i)作为先验,得到的
Figure BDA00020828786400001312
的后验概率;
Figure BDA0002082878640000141
是把
Figure BDA0002082878640000142
作为先验,得到的SdI(i)的后验概率;
D2、优化:
使用像素级别的显著性细化模型CRF来优化融合预测结果
Figure BDA0002082878640000143
得到高质量精确的最终显著性预测结果。
图3示意了本文提出的深度引导的元胞自动机图模型(DCA模型)中具体的构图过程。在本文提出的DCA模型中,对于位于图像边缘的元胞,只有属于背景种子中的元胞(即图像边缘使用圆形标记的元胞)互相连接,它们的状态互相影响。三角形标记的元胞,不属于背景种子,所以,它们并不和圆形元胞相连。
对于图模型中不属于图像边缘的元胞,它们的邻居区域不仅需要是元胞在图模型里的2层邻居(包括包围当前元胞的元胞,以及和这些元胞有着共同边缘的其他元胞),而且需要元胞及其邻居在物体引导的深度图的值在相同的范围里。使用平行四边形表示当前研究的元胞,它的邻居包括五角星和五边形对应的元胞。正方形标记的元胞不是平行四边形元胞的邻居,因为正方形和平行四边形超像素对应的物体引导深度图的值并不在同一个范围。
DCA模型为每个元胞定义了更加合理的邻居,减少了属于不同类别像素之间的干扰。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于,包括如下步骤:
A、背景种子选取Bk,其步骤如下:
A1、选取背景切片IB
根据图像信息计算焦点堆栈里不同聚焦切片Ik的聚焦区域,其中k=1,2,…K;
利用深度图计算图像物体重心(xo,yo);以图像重心为中心,设计逆物体偏置的高斯滤波器G(x,y),根据每张聚焦切片的聚焦区域与物体重心的位置来选取最大概率聚焦在背景区域的切片作为背景切片IB
每个聚焦切片Ik的背景概率BLS(Ik)可由以下公式计算得到:
其中是不同深度聚焦切片的背景概率权重,选取背景概率BLS(Ik)最高的聚焦切片Ik为最终的背景切片IB
A2、得到物体引导的深度图dog(i):
通过简单线性迭代聚类方法(SLIC)把全聚焦图像分成N个超像素,每个超像素用i表示;
根据背景切片IB的聚焦区域、超像素的位置信息和深度信息,计算每个超像素的前景概率Pfg(i);前景概率Pfg(i)的计算公式为:
其中,是背景切片IB对应的聚焦图上超像素点i的聚焦值,σB是控制前景概率的常量,C是坐标为(x0,y0)的物体中心,Upos(i)是超像素i的位置坐标,d(i)表示深度图上的超像素i的深度值;
将前景概率和深度图相乘,计算得到物体引导的深度图dog(i);
A3、选取背景种子Bk:将基于深度先验和基于边缘先验选取背景种子结合,作为最终的背景种子Bk
基于深度先验选取深度先验背景种子:对于非边缘的超像素,将每个超像素对应的物体引导的深度图设定阈值TH1,把小于阈值的区域认为是深度先验背景种子;
基于边缘先验选取边缘先验背景种子:对于边缘超像素,选取在物体引导的深度图中的值小于阈值TH2的边缘超像素作为边缘先验背景种子;
将所述深度先验背景种子和边缘先验背景种子的并集作为背景种子Bk
所述阈值TH1和所述TH2定义如下:
其中,Th1和Th2分别为控制参数,表示所述物体引导的深度图里所有像素的平均值;
B、得到深度引导的显著性图SdI(i),其包括如下步骤:
B1、得到基于对比的显著性图:
所述基于对比的显著性图Scc(i)通过计算超像素i和背景种子Bk之间的特征距离得到;
其中,Wpos(i,j)是超像素i和超像素j之间的空间距离,CD(i,j)是超像素i和超像素j之间的颜色距离;
PD(i,j)=||Upos(i)-Upos(j)||
DD(i,j)=||dog(i)-dog(j)||
CD(i,j)=||Ufea(i)-Ufea(j)||
其中,Ufea(i)是超像素i在CIE LAB颜色空间的颜色特征,σ1是控制权重的常数;B2、得到深度引导的显著性图SdI(i):
所述深度引导的显著性图SdI(i)通过权重相乘所述基于对比的显著性图Scc(i)和所述物体引导的深度图dog(i)得到;
SdI(i)=Sccw(i)×dogw(i)
其中,dogw(i)是经过变权重得到的物体引导的深度图;Sccw(i)是变化权重之后的基于对比的显著性图;
C、通过深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)得到显著性结果其包括如下步骤:
C1、构建深度引导的元胞自动机图模型:
在所述元胞自动机图模型里,每一个所述超像素代表一个元胞,如果两个所述元胞在所述深度引导的元胞自动机图模型里相连接,则这两个元胞互为邻居;
对于所述深度引导的元胞自动机图模型中位于图像边缘的元胞,只有属于背景种子Bk中的元胞互相连接;
对于所述深度引导的元胞自动机图模型中不属于图像边缘的元胞,它们的邻居区域NB*(i)不仅需要是元胞i在所述深度引导的元胞自动机图模型里的2层邻居,而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围内;
NB*(i)={j|(j∈NB(i))∩||(dog(j)-dog(i))||<Th3}
其中,NB(i)是元胞i在图模型里的2层邻居,Th3是控制当前元胞邻居的常量参数,j代表超像素;
C2、使用所述深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)进行优化更新:
每一个元胞的下一个状态St+1由当前状态St及其邻居的状态决定,元胞下一个状态St+1定义如下:
其中,E是单位矩阵;当t=0时,初始状态的St是在所述步骤B中得到的深度引导的显著性图SdI,显著性结果是经过TS时间之后的显著性图;DF*是初始影响因子矩阵DF中的数值归一化之后得到的影响因子矩阵,其用于控制邻居对当前元胞的影响;
DF为对角矩阵,DF=diag{∑jdf1j,∑jdf2j,…∑jdfNj}
df(i,j)是所述初始影响因子矩阵DF中的矩阵元素,且为所述深度引导的元胞自动机模型中元胞i及其邻居j之间的影响因子,定义为GIE,LAB颜色空间和深度空间的差异;
其中,是控制相似性的常量;CD(i,j)是颜色空间的差异,DD(i,j)是深度空间的差异;
为初始相干矩阵Cd中的数值归一化之后得到的相干矩阵,其用于权衡元胞当前状态和它的邻居状态的重要性;
初始的相干矩阵Cd=diag{Cd1,Cd2,...,CdN};
其中,a和b为用来控制元胞当前的状态和邻居的状态对下一状态的影响权重的常量;
D、对所述显著性结果进行后处理得到最终显著性预测结果,其包括如下步骤:
D1、融合
通过贝叶斯融合框架来融合所述深度引导的显著性图SdI(i)和显著性结果得到融合预测结果
其中,)是把SdI(i)作为先验,得到的的后验概率;是把作为先验,得到的SdI(i)的后验概率;
D2、优化:
使用像素级别的显著性细化模型CRF来优化融合预测结果得到最终显著性预测结果。
2.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:在所述步骤A2中所述的N取300。
3.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:步骤A3中所述的Th1取0.2-0.5,所述的Th2取1.7-1.9。
4.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:在所述步骤C1中所述的Th3取0.35-0.50。
5.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:步骤C2中所述的TS取20。
6.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:步骤C2中所述的a取0.6,b取0.2。
7.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:在所述步骤C2中,
CN201910477922.4A 2019-06-03 2019-06-03 一种基于深度引导元胞自动机的光场显著性检测实现方法 Active CN110211115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910477922.4A CN110211115B (zh) 2019-06-03 2019-06-03 一种基于深度引导元胞自动机的光场显著性检测实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910477922.4A CN110211115B (zh) 2019-06-03 2019-06-03 一种基于深度引导元胞自动机的光场显著性检测实现方法

Publications (2)

Publication Number Publication Date
CN110211115A CN110211115A (zh) 2019-09-06
CN110211115B true CN110211115B (zh) 2023-04-07

Family

ID=67790368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910477922.4A Active CN110211115B (zh) 2019-06-03 2019-06-03 一种基于深度引导元胞自动机的光场显著性检测实现方法

Country Status (1)

Country Link
CN (1) CN110211115B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881925B (zh) * 2020-08-07 2023-04-18 吉林大学 一种基于相机阵列选择性光场重聚焦的显著性检测方法
CN113469175B (zh) * 2021-06-22 2024-02-02 成都理工大学 一种结合图论与改进层次元胞自动机的图像显著性检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法
CN108154150A (zh) * 2017-12-18 2018-06-12 北京工业大学 一种基于背景先验的显著性检测方法
CN108416347A (zh) * 2018-01-04 2018-08-17 天津大学 基于边界先验和迭代优化的显著目标检测算法
CN108776815A (zh) * 2018-06-04 2018-11-09 国网辽宁省电力有限公司信息通信分公司 一种基于深度特征的显著性目标检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2430558A1 (en) * 2000-12-06 2002-06-13 Curagen Corporation Proteins and nucleic acids encoding same
CN101888282B (zh) * 2010-04-22 2012-11-14 北京邮电大学 一种基于随机性分析的数据加密功能的检验方法
CN103384469B (zh) * 2010-11-05 2016-06-15 斯坦福大学托管董事会 光控cns功能障碍
WO2013049699A1 (en) * 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
CN104662589B (zh) * 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US9462164B2 (en) * 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
CN104978548B (zh) * 2014-04-02 2018-09-25 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
KR102205000B1 (ko) * 2014-05-30 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실에 대한 어드레스 가능 포커스를 가진 자유형 광학 시스템을 사용하여 입체영상을 디스플레이하기 위한 방법들 및 시스템들
CN105701813A (zh) * 2016-01-11 2016-06-22 深圳市未来媒体技术研究院 一种光场图像的显著性检测方法
CN105913070B (zh) * 2016-04-29 2019-04-23 合肥工业大学 一种基于光场相机的多线索显著性提取方法
CN107133558B (zh) * 2017-03-13 2020-10-20 北京航空航天大学 一种基于概率传播的红外行人显著性检测方法
CN107146219B (zh) * 2017-04-13 2019-12-17 大连理工大学 一种基于流形正则化支持向量机的图像显著性检测方法
CN107292923B (zh) * 2017-06-29 2019-03-01 北京大学深圳研究生院 基于深度图挖掘的后向传播图像视觉显著性检测方法
GB2587769B (en) * 2018-01-23 2022-02-02 Canon Kk Method and system for updating auto-setting of cameras
CN111480183B (zh) * 2017-11-20 2023-08-08 上海科技大学 用于产生透视效果的光场图像渲染方法和系统
CN107862698B (zh) * 2017-11-29 2019-01-08 首都师范大学 基于k均值聚类的光场前景分割方法及装置
CN108596919B (zh) * 2018-04-24 2021-07-13 重庆邮电大学 一种基于深度图的自动图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法
CN108154150A (zh) * 2017-12-18 2018-06-12 北京工业大学 一种基于背景先验的显著性检测方法
CN108416347A (zh) * 2018-01-04 2018-08-17 天津大学 基于边界先验和迭代优化的显著目标检测算法
CN108776815A (zh) * 2018-06-04 2018-11-09 国网辽宁省电力有限公司信息通信分公司 一种基于深度特征的显著性目标检测方法

Also Published As

Publication number Publication date
CN110211115A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
Zhu et al. A three-pathway psychobiological framework of salient object detection using stereoscopic technology
US11120556B2 (en) Iterative method for salient foreground detection and multi-object segmentation
US9042648B2 (en) Salient object segmentation
US8787658B2 (en) Image segmentation using reduced foreground training data
CN107862698B (zh) 基于k均值聚类的光场前景分割方法及装置
US9105093B2 (en) Method and apparatus for bi-layer segmentation
CN105184763B (zh) 图像处理方法和装置
US20070031037A1 (en) Stereo image segmentation
EP3140781B1 (en) A real- time, semi-automatic method for target tracking window initialization in thermal imagery
US20150036921A1 (en) Image composition evaluating apparatus, information processing apparatus and methods thereof
Amer et al. Monocular extraction of 2.1 d sketch using constrained convex optimization
Hua et al. Extended guided filtering for depth map upsampling
CN109685806B (zh) 图像显著性检测方法及装置
CN110705634B (zh) 一种鞋跟型号识别方法、装置及存储介质
CN110211115B (zh) 一种基于深度引导元胞自动机的光场显著性检测实现方法
Price et al. Stereocut: Consistent interactive object selection in stereo image pairs
Moghaddam et al. An automatic feature construction method for salient object detection: A genetic programming approach
Grady et al. An energy minimization approach to the data driven editing of presegmented images/volumes
CN109191485B (zh) 一种基于多层超图模型的多视频目标协同分割方法
Sormann et al. Graph cut based multiple view segmentation for 3d reconstruction
Li et al. Saliency detection via alternative optimization adaptive influence matrix model
Du et al. Salient object segmentation based on depth-aware image layering
Kong et al. Stereo Matching via Learning Multiple Experts Behaviors.
Yao et al. Stacking learning with coalesced cost filtering for accurate stereo matching
Wang et al. Confidence-driven image co-matting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant