CN110211115A - 一种基于深度引导元胞自动机的光场显著性检测实现方法 - Google Patents

一种基于深度引导元胞自动机的光场显著性检测实现方法 Download PDF

Info

Publication number
CN110211115A
CN110211115A CN201910477922.4A CN201910477922A CN110211115A CN 110211115 A CN110211115 A CN 110211115A CN 201910477922 A CN201910477922 A CN 201910477922A CN 110211115 A CN110211115 A CN 110211115A
Authority
CN
China
Prior art keywords
depth
cellular
guidance
pixel
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910477922.4A
Other languages
English (en)
Other versions
CN110211115B (zh
Inventor
朴永日
张淼
李啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201910477922.4A priority Critical patent/CN110211115B/zh
Publication of CN110211115A publication Critical patent/CN110211115A/zh
Application granted granted Critical
Publication of CN110211115B publication Critical patent/CN110211115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于,包括如下步骤:A、背景种子选取Bk;B、得到深度引导的显著性图SdI(i);C、通过深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)得到显著性结果D、对所述显著性结果进行后处理得到最终显著性预测结果。本发明构建了深度引导的元胞自动机模型利用图像相似区域之间的相互作用更新优化显著性预测结果,本方法对于很多有挑战性的场景都能取得准确的预测结果。

Description

一种基于深度引导元胞自动机的光场显著性检测实现方法
技术领域
本发明涉及到计算机视觉及光场技术领域,是一种利用光场多模态信息进行显著性检测,并通过深度引导元胞自动机模型优化更新,实现复杂场景下高质量的显著性检测结果的方法,具体为一种基于深度引导元胞自动机的光场显著性检测实现方法。
背景技术
显著性检测是指在一幅图像里,寻找出最吸引人类视觉注意的像素或区域。显著性检测可以作为图像处理任务的预处理过程。让计算机先检测出人类所感兴趣的区域,然后对检测出的区域进行后续方法的处理。比如,在进行目标识别时,我们不需要对整张图像进行滑动窗遍历,而是先进行显著性检测,然后只对显著性区域的目标进行识别。准确可靠的显著性检测可以节省计算量的同时,提高精确度,使许多视觉图形学中的图像跟踪和识别处理任务受益。
根据输入图像的不同类型,显著性检测可以分为三种:2D显著性检测、3D显著性检测和光场(4D)显著性检测。2D显著性检测的输入是RGB彩色图像;3D显著性检测的输入是三维形式的图像,包括RGB彩色图像和相对应的深度图像;4D光场显著性检测的输入是光场图像,包括全聚焦RGB图像、焦点堆栈图像(一系列聚焦在不同深度层面物体上的聚焦切片图像)和深度图。光场图像的具体形式如图1所示。
最常见的显著性检测方法是2D显著性检测,它们使用2D视觉信息,比如图像颜色、亮度和纹理等。尽管这些方法在现存的2D显著性检测数据库上取得了很好的检测结果,但是它们在复杂场景下,仍然存在着错检和漏检的问题,比如当背景杂乱时,当背景区域和前景物体有着相似的颜色时。这是因为这些方法都是基于一些潜在的假设,比如说,前景和背景的颜色对比度一般比较高(颜色先验),图像的背景区域颜色一般比较简单平滑,出现在图像边缘的一般是显著性物体(边界先验)等等。但是,现实生活中的场景多种多样,这样的假设经常被打破。
3D图像里的深度图像提供了场景的空间分布信息,在一定程度上可以改善显著性检测的结果。但是目前大部分的检测方法基于深度先验(即显著性物体出现在靠近拍摄者的区域),因此需要高质量的深度图。不准确的深度图会使方法出现错检或漏检问题。对于前背景颜色、深度相似等复杂场景,3D显著性检测方法不能准确检测出显著性区域。
因此,我们考虑,对于生活中的复杂场景(比如前背景颜色、深度相似),利用其他的信息(比如人眼在不同深度层面的移动过程),可否帮助区分显著性物体和背景区域,提高检测结果的精确度。受此启发,随着光场相机的出现,光场显著性检测方法近些年来被提出。光场显著性方法通过利用光场数据里丰富的信息来实现高质量的检测。近些年提出的一些优秀的光场显著性检测方法证明了在显著性检测里,使用丰富的光场信息(包括深度信息、聚焦信息、位置信息和颜色信息等)的有效性。但是,现有的光场显著性检测方法存在着以下两个问题。首先,光场的相关信息在使用的过程中,通常是以简单的线性方法进行结合,光场各个信息之间的互补性和相互作用性并没有考虑在内。其次,图像的空间一致性也往往被忽略。因为以上两个问题,光场显著性检测方法在复杂场景下,检测的显著性区域仍然存在着错检、漏检的情况。
目前的显著性检测方法在复杂场景下存在着漏检和错检问题,日常生活中存在很多复杂场景,研究在复杂场景下的显著性检测有着重要意义。
发明内容
根据上述提出的技术问题,而提供一种基于深度引导元胞自动机的光场显著性检测实现方法。本发明采用的技术手段如下:
一种基于深度引导元胞自动机的光场显著性检测实现方法,包括如下步骤:
A、背景种子选取Bk,其步骤如下:
A1、选取背景切片IB
根据图像信息计算焦点堆栈里不同聚焦切片(Ik,k=1,2,…K)的聚焦区域;
利用深度图计算图像物体重心(xo,yo);以图像重心为中心,设计逆物体偏置的高斯滤波器G(x,y),根据每张聚焦切片的聚焦区域与物体重心的位置来选取最大概率聚焦在背景区域的切片作为背景切片IB
A2、得到物体引导的深度图dog(i):
通过简单线性迭代聚类方法(SLIC)把全聚焦图像分成N个超像素,每个超像素用i表示;
根据背景切片IB的聚焦区域、超像素的位置信息和深度信息,计算每个超像素的前景概率Pfg(i);
将前景概率和深度图相乘,计算得到物体引导的深度图dog(i);
A3、选取背景种子Bk:将基于深度先验和基于边缘先验选取背景种子结合,作为最终的背景种子Bk
基于深度先验选取深度先验背景种子:对于非边缘的超像素,将每个超像素对应的物体引导的深度图设定阈值TH1,把小于阈值的区域认为是深度先验背景种子;
基于边缘先验选取边缘先验背景种子:对于边缘超像素,选取在物体引导的深度图中的值小于阈值TH2的边缘超像素作为边缘先验背景种子;
将所述深度先验背景种子和边缘先验背景种子的并集作为背景种子Bk
所述阈值TH1和所述TH2定义如下:
其中,Th1和Th2分别为控制参数,表示所述物体引导的深度图里所有像素的平均值;
B、得到深度引导的显著性图SdI(i),其包括如下步骤:
B1、得到基于对比的显著性图:
所述基于对比的显著性图Scc(i)通过计算超像素i和背景种子Bk之间的特征距离得到;
B2、得到深度引导的显著性图SdI(i):
所述深度引导的显著性图SdI(i)通过权重相乘所述基于对比的显著性图Scc(i)和所述物体引导的深度图dog(i)得到;
C、通过深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)得到显著性结果其包括如下步骤:
C1、构建深度引导的元胞自动机图模型:
在所述元胞自动机图模型里,每一个所述超像素代表一个元胞,每个超像素的显著性预测值就是当前元胞的状态,每个元胞的下一个状态由此元胞当前的状态和它的邻居的当前状态来决定,如果两个所述元胞在所述深度引导的元胞自动机图模型里相连接,则这两个元胞互为邻居;
对于所述深度引导的元胞自动机图模型中位于图像边缘的元胞,只有属于背景种子Bk中的元胞互相连接;
对于所述深度引导的元胞自动机图模型中不属于图像边缘的元胞,它们的邻居区域NB*(i)不仅需要是元胞i在所述深度引导的元胞自动机图模型里的2层邻居,而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围内;
NB*(i)={j|(j∈NB(i))∩||(dog(j)-dog(i)||<Th3)}
其中,NB(i)是元胞i在图模型里的2层邻居(包括包围当前元胞i的元胞,以及和这些元胞有着共同边缘的其他元胞),而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围里,也就是元胞和它的邻居应该是属于同一个物体的;Th3是控制当前元胞邻居的常量参数,j代表超像素;
C2、使用所述深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)进行优化更新:
每一个元胞的下一个状态St+1由当前状态St及其邻居的状态决定,元胞下一个状态St+1定义如下:
其中,E是单位矩阵;当t=0时,初始状态的St是在所述步骤B中得到的深度引导的显著性图SdI,显著性结果是经过TS时间之后的显著性图;DF*是初始影响因子矩阵DF中的数值归一化之后得到的影响因子矩阵,其用于控制邻居对当前元胞的影响;
DF为对角矩阵,DF=diag{∑jdf1j,∑jdf2j,…∑jdfNj}
df(i,j)是所述初始影响因子矩阵DF中的矩阵元素,且为所述深度引导的元胞自动机模型中元胞i及其邻居j之间的影响因子,定义为GIE,LAB颜色空间和深度空间的差异;
其中,是控制相似性的常量;CD(i,j)是颜色空间的差异,DD(i,j)是深度空间的差异;
为初始相干矩阵Cd中的数值归一化之后得到的相干矩阵,其用于权衡元胞当前状态和它的邻居状态的重要性;
初始的相干矩阵Cd=diag{Cd1,Cd2,...,CdN};
其中,a和b为用来控制元胞当前的状态和邻居的状态对下一状态的影响权重的常量;
D、对所述显著性结果进行后处理得到最终显著性预测结果,其包括如下步骤:
D1、融合
通过贝叶斯融合框架来融合所述深度引导的显著性图SdI(i)和显著性结果得到融合预测结果
其中,是把SdI(i)作为先验,得到的的后验概率;是把作为先验,得到的SdI(i)的后验概率;
D2、优化:
使用像素级别的显著性细化模型CRF来优化融合预测结果得到高质量精确的最终显著性预测结果。
进一步地,在所述步骤A2中所述的N取300。
进一步地,步骤A3中所述的Th1取0.2-0.5,所述的Th2取1.7-1.9。
进一步地,在所述步骤C1中所述的Th3取0.35-0.50。
进一步地,步骤C2中所述的TS取20。
进一步地,步骤C2中所述的a取0.6,b取0.2。
本发明针对目前显著性检测方法对于生活中的多种复杂场景(比如杂乱的背景区域;背景区域和前景区域颜色、深度相似;显著性物体出现在图像的边缘区域等)并不能取得准确的检测结果这一问题,提出了一种基于深度引导元胞自动机的光场显著性检测实现方法。这一方法考虑了光场数据的颜色、深度和聚焦等多模态特征之间的相关性。首先,方法使用光场多模态特征构建了物体引导的深度图。与初始的深度图相比,在物体引导的深度图里,显著性物体相对突出,背景区域相对不明显。物体引导的深度图可以作为一个引导者来利用光场多模态不同信息之间的互补性和相互作用性。然后,方法构建了深度引导的元胞自动机模型(Depth-induced Cellular Automata(DCA))来利用图像相似区域之间的相互作用(图像的空间一致性)更新优化显著性预测结果。每个像素下一个状态的显著性值由像素当前状态的显著性值和像素邻居的显著性值来决定。光场图像包含的多模态信息被用来定义各个像素的邻居和像素的更新原则。实验结果表明,本发明提出的基于深度引导的元胞自动机的显著性检测方法对于很多有挑战性的场景都能取得准确的预测结果。
基于上述理由本发明可在计算机视觉及光场等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明背景技术中提到的光场图像示意图。
图2是本发明具体实施方式中一种基于深度引导元胞自动机的光场显著性检测实现方法流程图。
图3是本发明具体实施方式中深度引导的元胞自动机中的图模型。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图2-图3所示,一种基于深度引导元胞自动机的光场显著性检测实现方法,包括如下步骤:
A、背景种子选取Bk,其步骤如下:
A1、选取背景切片IB
根据图像信息计算焦点堆栈里不同聚焦切片(Ik,k=1,2,…K)的聚焦区域;
利用深度图计算图像物体重心(xo,yo);以图像重心为中心,设计逆物体偏置的高斯滤波器G(x,y),根据每张聚焦切片的聚焦区域与物体重心的位置来选取最大概率聚焦在背景区域的切片作为背景切片IB
物体重心(xo,yo)可由如下公式计算:
其中,是把深度图d(x,y)的像素沿x轴计算得的一维深度图,是沿着y轴的一维深度图,W和H分别表示聚焦切片的宽和高;
高斯滤波器G(x,y)的计算公式如下:
其中,σx 2和σy 2定义了提出的逆物体偏置的高斯滤波器的大小,本实施例中σx=0.45×W,σy=0.25×H;
每个聚焦切片Ik,(k=1,2,…K)的背景概率BLS(Ik)可由以下公式计算得到:
其中是不同深度聚焦切片的背景概率权重,λ=0.2。
我们选取背景概率BLS(Ik)最高的聚焦切片Ik为最终的背景切片IB
A2、得到物体引导的深度图dog(i):
通过简单线性迭代聚类方法(SLIC)把全聚焦图像分成N个超像素,N为300,每个超像素用i表示;
根据背景切片IB的聚焦区域、超像素的位置信息和深度信息,计算每个超像素的前景概率Pfg(i);前景概率Pfg(i)的计算公式如下:
其中,是背景切片IB对应的聚焦图上超像素点i的聚焦值,σB是控制前景概率的常量,本实施例σB=0.2,C是坐标为(x0,y0)的物体中心,Upos(i)是超像素i的位置坐标,d(i)表示深度图上的超像素i的深度值(在光场显著性检测LFSD数据库里,像素深度值d(i)越大,当前像素越靠近拍摄者中深度值大的区域);
将前景概率和深度图相乘,计算得到物体引导的深度图dog(i);
dog(i)=d(i)×Pfg(i) (5)
A3、选取背景种子Bk:将基于深度先验和基于边缘先验选取背景种子结合,作为最终的背景种子Bk
基于深度先验选取深度先验背景种子:对于非边缘的超像素,将每个超像素对应的物体引导的深度图设定阈值TH1,把小于阈值的区域认为是深度先验背景种子;但是,对于深度图不准确或者深度图变化范围很小的场景,单纯的给物体引导的深度图设定阈值确定背景区域是不可靠的或者不足够的。所以作为补充,接下来基于边缘先验选取边缘先验背景种子;
基于边缘先验选取边缘先验背景种子:对于边缘超像素,选取在物体引导的深度图中的值小于阈值TH2的边缘超像素作为边缘先验背景种子;
将所述深度先验背景种子和边缘先验背景种子的并集作为背景种子Bk
所述阈值TH1和所述TH2定义如下:
其中,Th1和Th2分别为控制参数,Th1取0.3,Th2取1.8,表示所述物体引导的深度图里所有像素的平均值;
B、得到深度引导的显著性图SdI(i),其包括如下步骤:
B1、得到基于对比的显著性图:
所述基于对比的显著性图Scc(i)通过计算超像素i和背景种子Bk之间的特征距离得到;
其中,Wpos(i,j)是超像素i和超像素j之间的空间距离,CD(i,j)是超像素i和超像素j之间的颜色距离。
PD(i,j)=||Upos(i)-Upos(j)|| (10)
DD(i,j)=||dog(i)-dog(j)|| (11)
CD(i,j)=||Ufea(i)-Ufea(j)|| (12)
其中,Ufea(i)是超像素i在CIE LAB颜色空间的颜色特征,σ1是控制权重的常数,本实施例中设置σ1=1.3;
B2、得到深度引导的显著性图SdI(i):
所述深度引导的显著性图SdI(i)通过权重相乘所述基于对比的显著性图Scc(i)和所述物体引导的深度图dog(i)得到;
SdI(i)=Sccw(i)×dogw(i) (13)
其中,dogw(i)是经过变权重得到的物体引导的深度图;
Sccw(i)是变化权重之后的基于对比的显著性图;
其中,
C、通过深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)得到显著性结果其包括如下步骤:
C1、构建深度引导的元胞自动机图模型:
在所述元胞自动机图模型里,每一个所述超像素代表一个元胞,每个超像素的显著性预测值就是当前元胞的状态,每个元胞的下一个状态由此元胞当前的状态和它的邻居的当前状态来决定,如果两个所述元胞在所述深度引导的元胞自动机图模型里相连接,则这两个元胞互为邻居;
对于所述深度引导的元胞自动机图模型中位于图像边缘的元胞,只有属于背景种子Bk中的元胞互相连接;
对于所述深度引导的元胞自动机图模型中不属于图像边缘的元胞,它们的邻居区域NB*(i)不仅需要是元胞i在所述深度引导的元胞自动机图模型里的2层邻居,而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围内;
NB*(i)={j|(j∈NB(i))∩||(dog(j)-dog(i)||<Th3)} (16)
其中,NB(i)是元胞i在图模型里的2层邻居(包括包围当前元胞i的元胞,以及和这些元胞有着共同边缘的其他元胞),而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围里,也就是元胞和它的邻居应该是属于同一个物体的;Th3是控制当前元胞邻居的常量参数,j代表超像素;
C2、使用所述深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)进行优化更新:
每一个元胞的下一个状态St+1由当前状态St及其邻居的状态决定,元胞下一个状态St+1定义如下:
其中,E是单位矩阵;当t=0时,初始状态的St是在所述步骤B中得到的深度引导的显著性图SdI,显著性结果是经过TS时间之后的显著性图,其中TS=20;DF*是初始影响因子矩阵DF中的数值归一化之后得到的影响因子矩阵,其用于控制邻居对当前元胞的影响;
DF为对角矩阵,DF=diag{∑jdf1j,∑jdf2j,…∑jdfNj} (19)
df(i,j)是所述初始影响因子矩阵DF中的矩阵元素,且为所述深度引导的元胞自动机模型中元胞i及其邻居j之间的影响因子,定义为GIE,LAB颜色空间和深度空间的差异;
其中,是控制相似性的常量;CD(i,j)是颜色空间的差异,DD(i,j)是深度空间的差异;
为初始相干矩阵Cd中的数值归一化之后得到的相干矩阵,其用于权衡元胞当前状态和它的邻居状态的重要性;
初始的相干矩阵Cd=diag{Cd1,Cd2,...,CdN};
其中,a和b为用来控制元胞当前的状态和邻居的状态对下一状态的影响权重的常量,本实施例中a为0.6,b为0.2;
D、对所述显著性结果进行后处理得到最终显著性预测结果,其包括如下步骤:
D1、融合
通过贝叶斯融合框架来融合所述深度引导的显著性图SdI(i)和显著性结果得到融合预测结果
其中,是把SdI(i)作为先验,得到的的后验概率;是把作为先验,得到的SdI(i)的后验概率;
D2、优化:
使用像素级别的显著性细化模型CRF来优化融合预测结果得到高质量精确的最终显著性预测结果。
图3示意了本文提出的深度引导的元胞自动机图模型(DCA模型)中具体的构图过程。在本文提出的DCA模型中,对于位于图像边缘的元胞,只有属于背景种子中的元胞(即图像边缘使用圆形标记的元胞)互相连接,它们的状态互相影响。三角形标记的元胞,不属于背景种子,所以,它们并不和圆形元胞相连。
对于图模型中不属于图像边缘的元胞,它们的邻居区域不仅需要是元胞在图模型里的2层邻居(包括包围当前元胞的元胞,以及和这些元胞有着共同边缘的其他元胞),而且需要元胞及其邻居在物体引导的深度图的值在相同的范围里。使用平行四边形表示当前研究的元胞,它的邻居包括五角星和五边形对应的元胞。正方形标记的元胞不是平行四边形元胞的邻居,因为正方形和平行四边形超像素对应的物体引导深度图的值并不在同一个范围。
DCA模型为每个元胞定义了更加合理的邻居,减少了属于不同类别像素之间的干扰。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于,包括如下步骤:
A、背景种子选取Bk,其步骤如下:
A1、选取背景切片IB
根据图像信息计算焦点堆栈里不同聚焦切片(Ik,k=1,2,…K)的聚焦区域;
利用深度图计算图像物体重心(xo,yo);以图像重心为中心,设计逆物体偏置的高斯滤波器G(x,y),根据每张聚焦切片的聚焦区域与物体重心的位置来选取最大概率聚焦在背景区域的切片作为背景切片IB
A2、得到物体引导的深度图dog(i):
通过简单线性迭代聚类方法(SLIC)把全聚焦图像分成N个超像素,每个超像素用i表示;
根据背景切片IB的聚焦区域、超像素的位置信息和深度信息,计算每个超像素的前景概率Pfg(i);
将前景概率和深度图相乘,计算得到物体引导的深度图dog(i);
A3、选取背景种子Bk:将基于深度先验和基于边缘先验选取背景种子结合,作为最终的背景种子Bk
基于深度先验选取深度先验背景种子:对于非边缘的超像素,将每个超像素对应的物体引导的深度图设定阈值TH1,把小于阈值的区域认为是深度先验背景种子;
基于边缘先验选取边缘先验背景种子:对于边缘超像素,选取在物体引导的深度图中的值小于阈值TH2的边缘超像素作为边缘先验背景种子;
将所述深度先验背景种子和边缘先验背景种子的并集作为背景种子Bk
所述阈值TH1和所述TH2定义如下:
其中,Th1和Th2分别为控制参数,表示所述物体引导的深度图里所有像素的平均值;
B、得到深度引导的显著性图SdI(i),其包括如下步骤:
B1、得到基于对比的显著性图:
所述基于对比的显著性图Scc(i)通过计算超像素i和背景种子Bk之间的特征距离得到;
B2、得到深度引导的显著性图SdI(i):
所述深度引导的显著性图SdI(i)通过权重相乘所述基于对比的显著性图Scc(i)和所述物体引导的深度图dog(i)得到;
C、通过深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)得到显著性结果其包括如下步骤:
C1、构建深度引导的元胞自动机图模型:
在所述元胞自动机图模型里,每一个所述超像素代表一个元胞,如果两个所述元胞在所述深度引导的元胞自动机图模型里相连接,则这两个元胞互为邻居;
对于所述深度引导的元胞自动机图模型中位于图像边缘的元胞,只有属于背景种子Bk中的元胞互相连接;
对于所述深度引导的元胞自动机图模型中不属于图像边缘的元胞,它们的邻居区域NB*(i)不仅需要是元胞i在所述深度引导的元胞自动机图模型里的2层邻居,而且需要元胞i及其邻居在物体引导的深度图的值在相同的范围内;
NB*(i)={j|(j∈NB(i))∩||(dog(j)-dog(i)||<Th3)}
其中,NB(i)是元胞i在图模型里的2层邻居,Th3是控制当前元胞邻居的常量参数,j代表超像素;
C2、使用所述深度引导的元胞自动机模型优化所述深度引导的显著性图SdI(i)进行优化更新:
每一个元胞的下一个状态St+1由当前状态St及其邻居的状态决定,元胞下一个状态St+1定义如下:
其中,E是单位矩阵;当t=0时,初始状态的St是在所述步骤B中得到的深度引导的显著性图SdI,显著性结果是经过TS时间之后的显著性图;DF*是初始影响因子矩阵DF中的数值归一化之后得到的影响因子矩阵,其用于控制邻居对当前元胞的影响;
DF为对角矩阵,DF=diag{∑jdf1j,∑jdf2j,…∑jdfNj}
df(i,j)是所述初始影响因子矩阵DF中的矩阵元素,且为所述深度引导的元胞自动机模型中元胞i及其邻居j之间的影响因子,定义为GIE,LAB颜色空间和深度空间的差异;
其中,是控制相似性的常量;CD(i,j)是颜色空间的差异,DD(i,j)是深度空间的差异;
为初始相干矩阵Cd中的数值归一化之后得到的相干矩阵,其用于权衡元胞当前状态和它的邻居状态的重要性;
初始的相干矩阵Cd=diag{Cd1,Cd2,...,CdN};
其中,a和b为用来控制元胞当前的状态和邻居的状态对下一状态的影响权重的常量;
D、对所述显著性结果进行后处理得到最终显著性预测结果,其包括如下步骤:
D1、融合
通过贝叶斯融合框架来融合所述深度引导的显著性图SdI(i)和显著性结果得到融合预测结果
其中,是把SdI(i)作为先验,得到的的后验概率;是把作为先验,得到的SdI(i)的后验概率;
D2、优化:
使用像素级别的显著性细化模型CRF来优化融合预测结果得到最终显著性预测结果。
2.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:在所述步骤A2中所述的N取300。
3.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:步骤A3中所述的Th1取0.2-0.5,所述的Th2取1.7-1.9。
4.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:在所述步骤C1中所述的Th3取0.35-0.50。
5.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:步骤C2中所述的TS取20。
6.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:步骤C2中所述的a取0.6,b取0.2。
7.根据权利要求1所述的一种基于深度引导元胞自动机的光场显著性检测实现方法,其特征在于:在所述步骤C2中,
CN201910477922.4A 2019-06-03 2019-06-03 一种基于深度引导元胞自动机的光场显著性检测实现方法 Active CN110211115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910477922.4A CN110211115B (zh) 2019-06-03 2019-06-03 一种基于深度引导元胞自动机的光场显著性检测实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910477922.4A CN110211115B (zh) 2019-06-03 2019-06-03 一种基于深度引导元胞自动机的光场显著性检测实现方法

Publications (2)

Publication Number Publication Date
CN110211115A true CN110211115A (zh) 2019-09-06
CN110211115B CN110211115B (zh) 2023-04-07

Family

ID=67790368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910477922.4A Active CN110211115B (zh) 2019-06-03 2019-06-03 一种基于深度引导元胞自动机的光场显著性检测实现方法

Country Status (1)

Country Link
CN (1) CN110211115B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881925A (zh) * 2020-08-07 2020-11-03 吉林大学 一种基于相机阵列选择性光场重聚焦的显著性检测方法
CN113469175A (zh) * 2021-06-22 2021-10-01 成都理工大学 一种结合图论与改进层次元胞自动机的图像显著性检测方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002227239A1 (en) * 2000-12-06 2002-06-18 Curagen Corporation Proteins and nucleic acids encoding same
CN101888282A (zh) * 2010-04-22 2010-11-17 北京邮电大学 一种基于随机性分析的数据加密功能的检验方法
US20130077882A1 (en) * 2011-09-28 2013-03-28 Pelican Imaging Corporation Systems and methods for decoding light field image files
CN103384469A (zh) * 2010-11-05 2013-11-06 斯坦福大学托管董事会 光控cns功能障碍
US20140232822A1 (en) * 2013-02-21 2014-08-21 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
CN104978548A (zh) * 2014-04-02 2015-10-14 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
CN105701813A (zh) * 2016-01-11 2016-06-22 深圳市未来媒体技术研究院 一种光场图像的显著性检测方法
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法
CN105913070A (zh) * 2016-04-29 2016-08-31 合肥工业大学 一种基于光场相机的多线索显著性提取方法
CN106664400A (zh) * 2014-05-30 2017-05-10 奇跃公司 用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和增强现实的立体视觉的方法和系统
CN107133558A (zh) * 2017-03-13 2017-09-05 北京航空航天大学 一种基于概率传播的红外行人显著性检测方法
CN107146219A (zh) * 2017-04-13 2017-09-08 大连理工大学 一种基于流形正则化支持向量机的图像显著性检测方法
CN107292923A (zh) * 2017-06-29 2017-10-24 北京大学深圳研究生院 基于深度图挖掘的后向传播图像视觉显著性检测方法
CN107346061A (zh) * 2012-08-21 2017-11-14 Fotonation开曼有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
GB201801110D0 (en) * 2018-01-23 2018-03-07 Canon Kk Method and system for updating auto-setting of cameras
CN107862698A (zh) * 2017-11-29 2018-03-30 首都师范大学 基于k均值聚类的光场前景分割方法及装置
CN108154150A (zh) * 2017-12-18 2018-06-12 北京工业大学 一种基于背景先验的显著性检测方法
CN108416347A (zh) * 2018-01-04 2018-08-17 天津大学 基于边界先验和迭代优化的显著目标检测算法
CN108596919A (zh) * 2018-04-24 2018-09-28 重庆邮电大学 一种基于深度图的自动图像分割方法
CN108776815A (zh) * 2018-06-04 2018-11-09 国网辽宁省电力有限公司信息通信分公司 一种基于深度特征的显著性目标检测方法
WO2019096310A1 (en) * 2017-11-20 2019-05-23 Shanghaitech University Light field image rendering method and system for creating see-through effects

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002227239A1 (en) * 2000-12-06 2002-06-18 Curagen Corporation Proteins and nucleic acids encoding same
CN101888282A (zh) * 2010-04-22 2010-11-17 北京邮电大学 一种基于随机性分析的数据加密功能的检验方法
CN103384469A (zh) * 2010-11-05 2013-11-06 斯坦福大学托管董事会 光控cns功能障碍
US20130077882A1 (en) * 2011-09-28 2013-03-28 Pelican Imaging Corporation Systems and methods for decoding light field image files
CN107346061A (zh) * 2012-08-21 2017-11-14 Fotonation开曼有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US20140232822A1 (en) * 2013-02-21 2014-08-21 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
CN104978548A (zh) * 2014-04-02 2015-10-14 汉王科技股份有限公司 一种基于三维主动形状模型的视线估计方法与装置
CN106664400A (zh) * 2014-05-30 2017-05-10 奇跃公司 用于采用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和增强现实的立体视觉的方法和系统
CN105701813A (zh) * 2016-01-11 2016-06-22 深圳市未来媒体技术研究院 一种光场图像的显著性检测方法
CN105894502A (zh) * 2016-03-30 2016-08-24 浙江大学 基于超图模型的rgbd图像显著性检测方法
CN105913070A (zh) * 2016-04-29 2016-08-31 合肥工业大学 一种基于光场相机的多线索显著性提取方法
CN107133558A (zh) * 2017-03-13 2017-09-05 北京航空航天大学 一种基于概率传播的红外行人显著性检测方法
CN107146219A (zh) * 2017-04-13 2017-09-08 大连理工大学 一种基于流形正则化支持向量机的图像显著性检测方法
CN107292923A (zh) * 2017-06-29 2017-10-24 北京大学深圳研究生院 基于深度图挖掘的后向传播图像视觉显著性检测方法
WO2019096310A1 (en) * 2017-11-20 2019-05-23 Shanghaitech University Light field image rendering method and system for creating see-through effects
CN107862698A (zh) * 2017-11-29 2018-03-30 首都师范大学 基于k均值聚类的光场前景分割方法及装置
CN108154150A (zh) * 2017-12-18 2018-06-12 北京工业大学 一种基于背景先验的显著性检测方法
CN108416347A (zh) * 2018-01-04 2018-08-17 天津大学 基于边界先验和迭代优化的显著目标检测算法
GB201801110D0 (en) * 2018-01-23 2018-03-07 Canon Kk Method and system for updating auto-setting of cameras
CN108596919A (zh) * 2018-04-24 2018-09-28 重庆邮电大学 一种基于深度图的自动图像分割方法
CN108776815A (zh) * 2018-06-04 2018-11-09 国网辽宁省电力有限公司信息通信分公司 一种基于深度特征的显著性目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAOQIAN WANG: "Accurate saliency detection based on depth feature of 3D iamges", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
YONGRI PIAO: "Depth-induced Cellular Automata for Light Field Saliency", 《102TH FRONTIERS IN OPTICS / LASER SCIENCE》 *
叶子童: "基于引导Boosting算法的显著性检测", 《计算机应用》 *
叶润春: "显著性检测的优化模型及在图像压缩中的应用", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
方向: "基于双随机游走与深度多层网络的显著性检测", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881925A (zh) * 2020-08-07 2020-11-03 吉林大学 一种基于相机阵列选择性光场重聚焦的显著性检测方法
CN111881925B (zh) * 2020-08-07 2023-04-18 吉林大学 一种基于相机阵列选择性光场重聚焦的显著性检测方法
CN113469175A (zh) * 2021-06-22 2021-10-01 成都理工大学 一种结合图论与改进层次元胞自动机的图像显著性检测方法
CN113469175B (zh) * 2021-06-22 2024-02-02 成都理工大学 一种结合图论与改进层次元胞自动机的图像显著性检测方法

Also Published As

Publication number Publication date
CN110211115B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN105989347B (zh) 客观题智能阅卷方法及系统
CN109033998A (zh) 基于注意力机制卷积神经网络的遥感影像地物标注方法
Yu et al. Context-based hierarchical unequal merging for SAR image segmentation
Ni et al. Learning to photograph: A compositional perspective
CN108388905B (zh) 一种基于卷积神经网络和邻域上下文的光源估计方法
CN107862698A (zh) 基于k均值聚类的光场前景分割方法及装置
CN107346420A (zh) 一种基于深度学习的自然场景下文字检测定位方法
CN109635694A (zh) 一种行人检测方法、装置、设备及计算机可读存储介质
CN109543688A (zh) 一种新型的基于多层卷积神经网络的水表读数检测与识别的方法
CN106611421B (zh) 基于特征学习和素描线段约束的sar图像分割方法
Rodriguez et al. Optical fish trajectory measurement in fishways through computer vision and artificial neural networks
CN110097101A (zh) 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法
CN105068918B (zh) 一种页面测试方法及装置
CN107730515A (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN109472259A (zh) 基于能量优化的图像协同显著性检测方法
CN107392929A (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN102930251B (zh) 两维收藏品数据收录与甄别的装置和方法
Rong et al. Pest Identification and Counting of Yellow Plate in Field Based on Improved Mask R‐CNN
CN110705634B (zh) 一种鞋跟型号识别方法、装置及存储介质
CN106991686A (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN110211115A (zh) 一种基于深度引导元胞自动机的光场显著性检测实现方法
Mould et al. A benchmark image set for evaluating stylization.
CN110119460A (zh) 图像检索方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant