CN107610148A - 一种基于双目立体视觉系统的前景分割方法 - Google Patents
一种基于双目立体视觉系统的前景分割方法 Download PDFInfo
- Publication number
- CN107610148A CN107610148A CN201710848174.7A CN201710848174A CN107610148A CN 107610148 A CN107610148 A CN 107610148A CN 201710848174 A CN201710848174 A CN 201710848174A CN 107610148 A CN107610148 A CN 107610148A
- Authority
- CN
- China
- Prior art keywords
- pixel
- foreground
- map
- background
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双目立体视觉系统的前景分割方法，利用双目立体视觉系统获取同一物体的左视图和右视图，将左视图的前景与背景区分开以及将右视图的前景与背景区分开，定义一个能量方程，利用该能量方程给前景中的前景像素点与背景中的背景像素点赋予不同的标签，从而将前景与背景区分开。本发明的有益效果是：本发明通过定义一个能量方程给图片中的前景像素点和背景像素点赋予不同的标签，从而使得前景像素点和背景像素点能够准确的区分开，提高了前景分割准确度，并且本方案能够实现双目彩色图像的前景分割，使得本方案适用范围广。
Description
技术领域
本发明涉及计算机视觉和计算机图形学领域，具体的说，是一种基于双目立体视觉系统的前景分割方法。
背景技术
随着科技的进步，双目立体图像在人们的生活中逐渐占有一席之地，在各个领域的应用，也变得越来越重要。如对象追踪，自动导航，医学辅助诊断，虚拟现实，地图绘制等。图像工程通常能够分为三个层次，图像处理、图像分析和图像理解。而图像分割作为从图像处理到图像分析过程的关键步骤，长期以来也一直是研究的焦点及难点。近年来，活动轮廓模型因其具备易于建模且数学求解高效等优点，成为分割领域的一大热点。该类方法使用从图像数据获得的约束信息和目标的位置、大小及形状等先验知识，并将其统一于一个特征提取过程中，可有效地对目标进行分割。
按照轮廓曲线类型的不同，活动轮廓模型可分为两类：参数活动轮廓模型和几何活动轮廓模型。参数活动轮廓模型又称Snake模型，这类模型对初始位置敏感，需将其设置在感兴趣目标附近，而在曲线演化过程中应对拓扑变化的能力也较差。几何活动轮廓模型将高维曲面函数(水平集函数)的零水平集表示为平面的闭合曲线，采用水平集的形式来描述曲线的演化，因而隐含有拓扑变化的能力。但是仅采用边缘信息的水平集算法，对弱边缘和不连续边缘较敏感。Chan和Vese在《IEEE Transactions on Image Processing》2001，10(2)，pp.266-277上发表的文章《Active contours without edges》提出了一种Chan-Vese模型，简称CV模型，利用匀质区域相似性的信息，采取匀质的全局统计假设，能够较好的分割出弱边缘或不连续边缘的目标。但对于非匀质的图像，则不能得到正确的分割结果，并且只能进行灰度分割。在CV模型的基础上，Lankton和Tannenbaum在《IEEE Transactions onImage Processing》2008，17(11)，pp.2029-2039上发表的文章”Localizing region-basedactive contours”提出了一种基于局部信息的几何活动轮廓模型，简称LCV模型，该模型直接统计局部像素灰度均值，很好的解决了分割非匀质图像的问题。但已提出的几种活动轮廓模型都仅局限于分割单目灰度图像，不能很好的应用于双目彩色图像。
发明内容
本发明的目的在于提供一种能够对双目立体视觉系统所获取的视图进行前景分割的基于双目立体视觉系统的前景分割方法。
本发明通过下述技术方案实现：一种基于双目立体视觉系统的前景分割方法，利用双目立体视觉系统获取同一物体的左视图和右视图，将左视图的前景与背景区分开以及将右视图的前景与背景区分开，定义一个能量方程，利用该能量方程给前景中的前景像素点与背景中的背景像素点赋予不同的标签，从而将前景与背景区分开。本方案通过定义一个能量方程给图片中的前景像素点和背景像素点赋予不同的标签，从而使得前景像素点和背景像素点能够准确的区分开，提高了前景分割准确度，并且本方案能够实现双目彩色图像的前景分割，使得本方案适用范围广。
所述的能量方程为：
E＝∑iP(ci,li)+∑i，jS(ci,li；cj,lj) (1)
其中：ci和cj是相邻的像素点，
li是像素点ci对应的二值标签，
lj是像素点cj对应的二值标签，
P是数据项，
S是平滑项，
E是能量值，
使E为最小值即可得到最优的分割结果。
还包括对前景像素点与背景像素点进行优化处理，所述的优化处理包括以下几个步骤：
步骤S1：计算原始视差图，根据左视图和右视图的原始视差图，由于前景的视差值大于背景的视差值，根据原始视差图能够区分原始视差图中的前景像素点和背景像素点；
步骤S2：规整原始视差图，根据左视图或右视图得到相对应的超像素图，超像素图根据像素间的颜色相似度和空间邻接关系将图像像素组合成一系列的超像素块，结合原始视差图与超像素图，将原始视差图划分为一系列位置、尺寸与超像素块一一对应的区域，对原始视差图所划分区域内的视差值求平均，作为调整后的视差值，从而使原始视差图所划分区域内的视差值保持一致，并降低原始视差图内的噪声点；
步骤S3：生成三色图，对视差值设定一个阀值，步骤S2中，调整后的视差值大于阀值时，对应的像素点为前景，调整后的视差值小于阀值时，对应的像素点为背景，其余像素点为不确定点，不确定点组成不确定区域，使用不同的颜色分别表示前景、背景和不确定区域以生成三色图，其中根据左视图得到的超像素图为左视超像素图，根据左视超像素图调整后得到的视差值为左视视差图，根据左视视差图得到的三色图为左视三色图，根据右视图得到的超像素图为右视超像素图，根据右视超像素图调整后得到的视差值为右视视差图，根据右视视差图得到的三色图为右视三色图；
步骤S4：优化分割，对步骤S3中三色图的不确定区域进行精确分割，从而区分不确定区域内的前景与背景。
所述的步骤S4中，利用颜色信息进行精细分割，其具体包括以下几个步骤：
步骤S41：从全局考虑，选择前景或背景中的像素点，用K-means的方法对前景或背景中的像素点在颜色空间上进行聚类，从而得到多个聚类中心，将不确定的像素点和所有聚类中心在颜色空间上进行比较，当该像素点和前景的聚类中心更像时，认为这个像素点是前景，反之，该像素点就被认为是背景，判断的条件用下列公式表示：
其中：C(i)表示点Ci的颜色，
表示前景的聚类中心，
表示背景的聚类中心，
通过计算C(i)和各聚类中心的差，能够判断Ci是前景像素点还是背景像素点，这里用概率的形式来表示如下
Pg(ci,li)定义为全局的概率；
步骤S42：从局部考虑，将不确定的像素点与其周围的像素点进行比较，以不确定的像素点为中心画一个窗口，窗口内包含有前景的像素点和背景的像素点，然后将不确定的像素点分别与窗口内前景的像素点和背景的像素点进行比较，如果和前景的像素点更相似，就判断不确定的像素点为前景的像素点，反之，则判断为背景的像素点，判断的条件用下列公式表示：
其中：表示前景像素点的颜色，
表示背景像素点的颜色，
m代表前景像素点的个数，
n代表背景像素点的个数，根据和的值估计Ci是前景像素点或者是背景像素点，用概率的形式能够表示如下
Pl(ci,li)定义为局部的概率；
步骤S43：同时考虑全局概率和局部概率，得到综合后的概率：
P(ci,li)＝Pg(ci,li)·Pl(ci,li) (8)
P(ci,li)定义为数据项；
步骤S44：考虑像素点的相似性和连续性，定义一个平滑项：
S(ci,li；cj,lj)＝|li-lj|·1/(1+||c(i)-c(j)||) (9)；
步骤S45：将公式(8)、(9)带入到公式(1)中得到优化后的分割结果。
所述的步骤S1中，还包括对前景像素点与背景像素点进行优化处理，所述的优化处理包括计算原始视差图，设置一个与原始视差图相关的全局能量函数：
其中：p和q代表图像的像素点，
Np指像素点p的所有临近像素点，
Dp和Dq分别表示p点和q点的视差值，
C(p,Dp)表示像素点p的视差值等于Dp时的cost，cost表示在p点以Dp关联的左右视图对应像素点的颜色差异
P1和P2表示惩罚系数，
I[]为一个判真函数，判断[]中的条件是否为真，若为真则返回1，即此项存在；若为假则返回0，此项被忽略；
使Ed值最小以得到最优的视差图。
所述的步骤S2中，对原始视差图所划分区域内的视差值求平均的公式为：
Davery＝∑p∈SDp/n (11)
其中：S代表整个超像素块，
p是其中的一个像素点，
n是超像素块S中像素点的个数，
Dp是像素点p的视差值，
Davery是超像素块内的平均视差值。
所述的步骤S3中，对视差值设定阀值的公式为：
DT＝(Dmax+Dmin)/2 (12)
其中：DT表示阈值，
Dmax表示最大视差值，
Dmin表示最小视差值。
所述的步骤S3中，得到左视三色图，通过以下公式得到右视三色图：
Tr(x+dx,y)＝Tl(x，y) (13)
其中：dx是右图相对左图的视差值，
Tl(x,y)是左视三色图中点(x,y)的颜色值，
Tr(x+dx,y)是映射后右图三色图中(x,y)对应点的颜色值，得到右视三色图之后，通过公式(3)也可得到相对应的左视三色图。
本发明与现有技术相比，具有以下优点及有益效果：
本发明通过定义一个能量方程给图片中的前景像素点和背景像素点赋予不同的标签，从而使得前景像素点和背景像素点能够准确的区分开，提高了前景分割准确度，并且本方案能够实现双目彩色图像的前景分割，使得本方案适用范围广。
附图说明
图1为双目视觉系统分割的流程图；
图2是用超像素规整视差图的示意图；
图3为实施例8中得到两个视角的三色图的示意图；
图4为说明三色图的作用以及局部数据项的窗口的选定。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例1：
本实施例中，一种基于双目立体视觉系统的前景分割方法，利用双目立体视觉系统获取同一物体的左视图和右视图，为了将左视图的前景与背景区分开以及将右视图的前景与背景区分开，定义一个能量方程，利用该能量方程给前景中的前景像素点与背景中的背景像素点赋予不同的标签，从而将前景与背景区分开。本方案通过定义一个能量方程给图片中的前景像素点和背景像素点赋予不同的标签，从而使得前景像素点和背景像素点能够准确的区分开，提高了前景分割准确度，并且本方案能够实现双目彩色图像的前景分割，使得本方案适用范围广。并且前景分割的过程无需人工干预，能够自动完成。
实施例2：
在上述实施例的基础上，本实施例中，所述的能量方程为：
E＝∑iP(ci,li)+∑i，jS(ci,li；cj,lj) (1)
其中ci和cj是相邻的像素点，
li是像素点ci对应的二值标签，
lj是像素点cj对应的二值标签，
P是数据项，
S是平滑项，
E是能量值，
使E为最小值即可得到最优的分割结果。
通过定义该能量方程给图片中的前景像素点和背景像素点赋予不同的标签而得到分割结果，使得所得的分割结果同时满足数据项与平滑项，使得分割结果正确，还能够有效避免现有技术条件下其他分割方法中容易出现的空洞和不连续现象，有利于保证分割后图片边缘的完整性与流畅性。
实施例3：
在上述实施例的基础上，本实施例中，还包括对前景像素点与背景像素点进行优化处理，所述的优化处理包括以下几个步骤：
步骤S1：计算原始视差图，根据左视图和右视图的原始视差图，由于前景的视差值大于背景的视差值，根据原始视差图能够区分原始视差图中的前景像素点和背景像素点，但是原始的视差图存在噪声、空洞，在物体边缘甚至存在错误的视差值，如图1(c)所示，使得前景像素点与背景像素点的不是很明显。
步骤S2：为了去掉噪声点、填补空洞点以及调整错误的视差值，提高原始视差图的清晰度以及完整性，需要对原始视差图进行规整，根据彩色的左视图或右视图得到相对应的超像素图，如图1(d)所示，超像素图根据像素间的颜色相似度和空间邻接关系将图像像素组合成一系列的超像素块，结合原始视差图与超像素图，将原始视差图划分为一系列位置、尺寸与超像素块一一对应的区域，对原始视差图所划分区域内的视差值求平均，作为调整后的视差值，从而使原始视差图所划分区域内的视差值保持一致，规整后的视差图如图2(d)或如图1(e)所示。由图2(d)相较于图2(c)，以及图1(e)相较于图1(c)，利用超像素图对原始视差图进行规整，有效降低了原始视差图中的噪声点。所述的噪声点为图像中的粗糙部分，也指图像中不该出现的外来像素，通常由电子干扰产生。
步骤S3：生成三色图，对视差值设定一个阀值，步骤S2中，调整后的视差值大于阀值时，对应的像素点为前景，调整后的视差值小于阀值时，对应的像素点为背景，其余像素点为不确定点，不确定点组成不确定区域，使用不同的颜色分别表示前景、背景和不确定区域以生成三色图，其中根据左视图得到的超像素图为左视超像素图，根据左视超像素图调整后得到的视差值为左视视差图，根据左视视差图得到的三色图为左视三色图，根据右视图得到的超像素图为右视超像素图，根据右视超像素图调整后得到的视差值为右视视差图，根据右视视差图得到的三色图为右视三色图，生成的三色图如图1(f)、图3(c)、图3(d)所示。
步骤S4：优化分割，对步骤S3中三色图的不确定区域进行精细分割，从而区分不确定区域内的前景与背景。将原始的彩色左视图、右视图分别转化成三色图，能够增加前景像素点与背景像素点的区别度，有利于保证分割的精度和提高计算效率。
实施例4：
在上述实施例的基础上，本实施例中，所述的步骤S4中，利用颜色信息进行精确分割，其具体包括以下几个步骤：
步骤S41：如图2所示，从全局考虑，选择前景或背景中的像素点，用K-means的方法对前景或背景中的像素点在颜色空间上进行聚类，从而得到多个聚类中心，将不确定的像素点和所有聚类中心在颜色空间上进行比较，当该像素点和前景的聚类中心更像时，认为这个像素点是前景，反之，该像素点就被认为是背景，判断的条件用下列公式表示：
其中C(i)表示点Ci的颜色，
表示前景的聚类中心，
表示背景的聚类中心，
通过计算C(i)和各聚类中心的差，能够判断Ci是前景像素点还是背景像素点，这里用概率的形式来表示如下
Pg(ci,li)定义为全局的概率。使用K-means聚类算法寻找聚类中心，将不确定的像素点和所有聚类中心在颜色空间上进行比较，能极大提高计算效率。因为若不聚类，则需要将不确定的像素点和所有前景背景像素点直接进行比较，而前景和背景像素点的数量非常庞大，则会导致计算量庞大，并且使得整个计算周期很长。
步骤S42：如图3所示，从局部考虑，将不确定的像素点与其周围的像素点进行比较，以不确定的像素点为中心画一个窗口，窗口内包含有前景的像素点和背景的像素点，然后将不确定的像素点分别与窗口内前景的像素点和背景的像素点进行比较，如果和前景的像素点更相似，就判断不确定的像素点为前景的像素点，反之，则判断为背景的像素点，判断的条件用下列公式表示：
其中表示前景像素点的颜色，
表示背景像素点的颜色，
m代表前景像素点的个数，
n代表背景像素点的个数，
根据和的值估计Ci是前景像素点或者是背景像素点，用概率的形式能够表示如下
Pl(ci,li)定义为局部的概率。
步骤S43：同时考虑全局概率和局部概率，得到综合后的概率：
P(ci,li)＝Pg(ci,li)·Pl(ci,li) (8)
P(ci,li)定义为数据项。利用全局概率能指出未确定区域内像素属于前景和背景的总体概率，但在图像边缘处，即前景与背景的交界边缘处，仅仅有总体概率容易产生误判。引入局部概率能更精确的分割出图像前景与背景的交界边缘，从而提高分割的精确度。
步骤S44：考虑像素点的相似性和连续性，定义一个平滑项：
S(ci,li；cj,lj)＝|li-lj|·1/(1+||c(i)-c(j)||) (9)。
步骤S45：将公式(8)、(9)带入到公式(1)中得到优化后的分割结果。以此对不确定区域内像素点的划分变得简单，并且充分的考虑到像素点的相似性与连续性，从而更加准确的区分前景像素点与背景像素点，使得计算的过程简单迅速。公式(9)能够鼓励相邻的像素有相同的二值标签，从而提高分割的空间连续性，降低噪声，减少噪声点，有利于使图像分割后的边缘保持平滑，从而得到最优的分割结果。
实施例5：
在上述实施例的基础上，本实施例中，所述的步骤S1中，还包括对前景像素点与背景像素点进行优化处理，所述的优化处理包括计算原始视差图，设置一个与原始视差图相关的全局能量函数：
其中p和q代表图像的像素点，
Np指像素点p的所有临近像素点，
Dp和Dq分别表示p点和q点的视差值，
C(p,Dp)表示像素点p的视差值等于Dp时的cost，cost表示在p点以Dp关联的左右视图对应像素点的颜色差异，
P1和P2表示惩罚系数，
I[]为一个判真函数，判断[]中的条件是否为真，若为真则返回1，即此项存在；若为假则返回0，此项被忽略；
公式(10)第二项表示如果相邻像素有相同的视差值，则累加惩罚系数P1；
公式(10)第三项表示如果相邻像素有不同的视差值，则累加惩罚系数P2；
公式(10)的第二项与第三项为互斥条件，即对任意点q该两项不可能同时存在，有且仅有一项存在。
其中P1<P2，鼓励相邻的像素值尽可能拥有相同的视差值，以获得视差的空间连续性。
使Ed值最小以得到最优的视差图。
实施例6：
在上述实施例的基础上，本实施例中，所述的步骤S2中，对原始视差图所划分区域内的视差值求平均的公式为：
Davery＝∑p∈SDp/n (11)
其中S代表整个超像素块，
p是其中的一个像素点，
n是超像素块S中像素点的个数，
Dp是像素点p的视差值，
Davery是超像素块内的平均视差值。
实施例7：
在上述实施例的基础上，本实施例中，所述的步骤S3中，对视差值设定阀值的公式为：
DT＝(Dmax+Dmin)/2 (12)
其中DT表示阈值，Dmax表示最大视差值，Dmin表示最小视差值。
实施例8：
在上述实施例的基础上，本实施例中，如图4所示，所述的步骤S3中，得到左视三色图，通过以下公式得到右视三色图：
Tr(x+dx,y)＝Tl(x，y) (13)
其中dx是右图相对左图的视差值，Tl(x,y)是左视三色图中点(x,y)的颜色值，Tr(x+dx,y)是映射后右图三色图中(x,y)对应点的颜色值，得到右视三色图之后，通过公式(3)也可得到相对应的左视三色图。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (8)
1.一种基于双目立体视觉系统的前景分割方法，利用双目立体视觉系统获取同一物体的左视图和右视图，将左视图的前景与背景区分开以及将右视图的前景与背景区分开，其特征在于：定义一个能量方程，利用该能量方程给前景中的前景像素点与背景中的背景像素点赋予不同的标签，从而将前景与背景区分开。
2.根据权利要求1所述的一种基于双目立体视觉系统的前景分割方法，其特征在于：所述的能量方程为：
E＝∑iP(ci,li)+∑i，jS(ci,li；cj,lj) (1)；
其中：ci和cj是相邻的像素点，
li是像素点ci对应的二值标签，
lj是像素点cj对应的二值标签，
P是数据项，
S是平滑项，
E是能量值，使E为最小值即可得到最优的分割结果。
3.根据权利要求2所述的一种基于双目立体视觉系统的前景分割方法，其特征在于：还包括对前景像素点与背景像素点进行优化处理，所述的优化处理包括以下几个步骤：
步骤S1：计算原始视差图，根据左视图和右视图的原始视差图，由于前景的视差值大于背景的视差值，根据原始视差图能够区分原始视差图中的前景像素点和背景像素点；
步骤S2：规整原始视差图，根据左视图或右视图得到相对应的超像素图，超像素图根据像素间的颜色相似度和空间邻接关系将图像像素组合成一系列的超像素块。结合原始视差图与超像素图，将原始视差图划分为一系列位置、尺寸与超像素块一一对应的区域，对原始视差图所划分区域内的视差值求平均，作为调整后的视差值，从而使原始视差图所划分区域内的视差值保持一致；借助超像素规整，能够降低原始视差图中的噪声点。
步骤S3：生成三色图，对视差值设定一个阀值，步骤S2中，调整后的视差值大于阀值时，对应的像素点为前景，调整后的视差值小于阀值时，对应的像素点为背景，其余像素点为不确定点，不确定点组成不确定区域，使用不同的颜色分别表示前景、背景和不确定区域以生成三色图，其中根据左视图得到的超像素图为左视超像素图，根据左视超像素图调整后得到的视差值为左视视差图，根据左视视差图得到的三色图为左视三色图，根据右视图得到的超像素图为右视超像素图，根据右视超像素图调整后得到的视差值为右视视差图，根据右视视差图得到的三色图为右视三色图；
步骤S4：优化分割，对步骤S3中三色图的不确定区域进行精细分割，从而区分不确定区域内的前景与背景。
4.根据权利要求3所述的一种基于双目立体视觉系统的前景分割方法，其特征在于：所述的步骤S4中，利用颜色信息进行精确分割，其具体包括以下几个步骤：
步骤S41：从全局考虑，选择前景或背景中的像素点，用K-means的方法对前景或背景中的像素点在颜色空间上进行聚类，从而得到多个聚类中心，将不确定的像素点和所有聚类中心在颜色空间上进行比较，当该像素点和前景的聚类中心更像时，认为这个像素点是前景，反之，该像素点就被认为是背景，判断的条件用下列公式表示：
<mrow>
<msub>
<mi>d</mi>
<mi>F</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>min</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>G</mi>
<mi>F</mi>
<mi>k</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mi>d</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>min</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>G</mi>
<mi>B</mi>
<mi>k</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中：C(i)表示点Ci的颜色，
表示前景的聚类中心，
表示背景的聚类中心，
通过计算C(i)和各聚类中心的差，能够判断Ci是前景像素点还是背景像素点，用概率的形式来表示如下：
<mrow>
<msub>
<mi>P</mi>
<mi>g</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>d</mi>
<mi>F</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>d</mi>
<mi>F</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>d</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>d</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>d</mi>
<mi>F</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>d</mi>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
Pg(ci,li)定义为全局的概率；
步骤S42：从局部考虑，将不确定的像素点与其周围的像素点进行比较，以不确定的像素点为中心画一个窗口，窗口内包含有前景的像素点和背景的像素点，然后将不确定的像素点分别与窗口内前景的像素点和背景的像素点进行比较，如果和前景的像素点更相似，就判断不确定的像素点为前景的像素点，反之，则判断为背景的像素点，判断的条件用下列公式表示：
<mrow>
<msub>
<mover>
<mi>d</mi>
<mo>^</mo>
</mover>
<mi>F</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>min</mi>
<mi>m</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>W</mi>
<mi>F</mi>
<mi>m</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mover>
<mi>d</mi>
<mo>^</mo>
</mover>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>min</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>W</mi>
<mi>b</mi>
<mi>n</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中：表示前景像素点的颜色，
表示背景像素点的颜色，
m代表前景像素点的个数，
n代表背景像素点的个数，
根据和的值估计Ci是前景像素点或者是背景像素点，用概率的形式能够表示如下：
<mrow>
<msub>
<mi>P</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mover>
<mi>d</mi>
<mo>^</mo>
</mover>
<mi>F</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mover>
<mi>d</mi>
<mo>^</mo>
</mover>
<mi>F</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mover>
<mi>d</mi>
<mo>^</mo>
</mover>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mover>
<mi>d</mi>
<mo>^</mo>
</mover>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mover>
<mi>d</mi>
<mo>^</mo>
</mover>
<mi>F</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mover>
<mi>d</mi>
<mo>^</mo>
</mover>
<mi>B</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>,</mo>
<msub>
<mi>l</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
Pl(ci,li)定义为局部的概率；
步骤S43：同时考虑全局概率和局部概率，得到综合后的概率：
P(ci,li)＝Pg(ci,li)·Pl(ci,li) (8)
P(ci,li)定义为数据项；
步骤S44：考虑像素点的相似性和连续性，定义一个平滑项：
S(ci,li；cj,lj)＝|li-lj|·1/(1+||c(i)-c(j)||) (9)；
步骤S45：将公式(8)、(9)带入到公式(1)中得到优化后的分割结果。
5.根据权利要求4所述的一种基于双目立体视觉系统的前景分割方法，其特征在于：所述的步骤S1中，还包括对前景像素点与背景像素点进行优化处理，所述的优化处理包括计算原始视差图，设置一个与原始视差图相关的全局能量函数：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>E</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msub>
<mo>&Sigma;</mo>
<mi>p</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>C</mi>
<mo>(</mo>
<mi>p</mi>
<mo>,</mo>
<msub>
<mi>D</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mi>p</mi>
</msub>
</mrow>
</msub>
<msub>
<mi>P</mi>
<mn>1</mn>
</msub>
<mi>I</mi>
<mo>&lsqb;</mo>
<mo>|</mo>
<msub>
<mi>D</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>q</mi>
</msub>
<mo>|</mo>
<mo>=</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<msub>
<mo>&Sigma;</mo>
<mrow>
<mi>q</mi>
<mo>&Element;</mo>
<msub>
<mi>N</mi>
<mi>p</mi>
</msub>
</mrow>
</msub>
<msub>
<mi>P</mi>
<mn>2</mn>
</msub>
<mi>I</mi>
<mo>&lsqb;</mo>
<mo>|</mo>
<msub>
<mi>D</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>q</mi>
</msub>
<mo>|</mo>
<mo>></mo>
<mn>1</mn>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中：p和q代表图像的像素点，
Np指像素点p的所有临近像素点，
Dp和Dq分别表示p点和q点的视差值，
C(p,Dp)表示像素点p的视差值等于Dp时的cost，cost表示在p点以Dp关联的左右视图对应像素点的颜色差异，
P1和P2表示惩罚系数，
I[]为一个判真函数，判断[]中的条件是否为真，若为真则返回1，即此项存在，若为假则返回0，此项被忽略；
公式(10)第二项表示如果相邻像素有相同的视差值，则累加惩罚系数P1，
公式(10)第三项表示如果相邻像素有不同的视差值，则累加惩罚系数P2，
公式(10)的第二项与第三项为互斥条件，即对任意点q该两项不可能同时存在，有且仅有一项存在，
其中P1<P2，鼓励相邻的像素值尽可能拥有相同的视差值，以获得视差的空间连续性；
使Ed值最小以得到最优的视差图。
6.根据权利要求4所述的一种基于双目立体视觉系统的前景分割方法，其特征在于：所述的步骤S2中，对原始视差图所划分区域内的视差值求平均的公式为：
Davery＝∑p∈SDp/n (11)；
其中：S代表整个超像素块，
p是其中的一个像素点，
n是超像素块S中像素点的个数，
Dp是像素点p的视差值，
Davery是超像素块内的平均视差值。
7.根据权利要求4所述的一种基于双目立体视觉系统的前景分割方法，其特征在于：所述的步骤S3中，对视差值设定阀值的公式为：
DT＝(Dmax+Dmin)/2 (12)；
其中：DT表示阈值，
Dmax表示最大视差值，
Dmin表示最小视差值。
8.根据权利要求7所述的一种基于双目立体视觉系统的前景分割方法，其特征在于：所述的步骤S3中，得到左视三色图，通过以下公式得到右视三色图：
Tr(x+dx,y)＝Tl(x,y) (13)；
其中：dx是右图相对左图的视差值，
Tl(x,y)是左视三色图中点(x,y)的颜色值，
Tr(x+dx,y)是映射后右图三色图中(x,y)对应点的颜色值，得到右视三色图之后，通过公式(3)也可得到相对应的左视三色图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710848174.7A CN107610148B (zh) | 2017-09-19 | 2017-09-19 | 一种基于双目立体视觉系统的前景分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710848174.7A CN107610148B (zh) | 2017-09-19 | 2017-09-19 | 一种基于双目立体视觉系统的前景分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107610148A true CN107610148A (zh) | 2018-01-19 |
| CN107610148B CN107610148B (zh) | 2020-07-28 |
Family
ID=61060189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710848174.7A Active CN107610148B (zh) | 2017-09-19 | 2017-09-19 | 一种基于双目立体视觉系统的前景分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610148B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280952A (zh) * | 2018-01-25 | 2018-07-13 | 盛视科技股份有限公司 | 一种基于前景目标分割的旅客尾随监测方法 |
| CN108428235A (zh) * | 2018-02-07 | 2018-08-21 | 西北大学 | 彩色地形图中线要素分割方法 |
| CN108682039A (zh) * | 2018-04-28 | 2018-10-19 | 国网山西省电力公司电力科学研究院 | 一种双目立体视觉测量方法 |
| CN109840894A (zh) * | 2019-01-30 | 2019-06-04 | 湖北亿咖通科技有限公司 | 视差图精修方法、装置及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102592268A (zh) * | 2012-01-06 | 2012-07-18 | 清华大学深圳研究生院 | 一种分割前景图像的方法 |
| CN103237228A (zh) * | 2013-04-28 | 2013-08-07 | 清华大学 | 双目立体视频的时空一致性分割方法 |
| CN103955945A (zh) * | 2014-05-23 | 2014-07-30 | 哈尔滨师范大学 | 基于双目视差和活动轮廓的自适应彩色图像分割方法 |
| CN105957078A (zh) * | 2016-04-27 | 2016-09-21 | 浙江万里学院 | 一种基于图割的多视点视频分割方法 |
| CN106485716A (zh) * | 2016-09-09 | 2017-03-08 | 辽宁工程技术大学 | 一种基于区域划分与Gamma混合模型的多视SAR图像分割方法 |
| US20170116741A1 (en) * | 2015-10-26 | 2017-04-27 | Futurewei Technologies, Inc. | Apparatus and Methods for Video Foreground-Background Segmentation with Multi-View Spatial Temporal Graph Cuts |
| KR20170098135A (ko) * | 2016-02-19 | 2017-08-29 | 한국과학기술원 | 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템 |
-
2017
- 2017-09-19 CN CN201710848174.7A patent/CN107610148B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102592268A (zh) * | 2012-01-06 | 2012-07-18 | 清华大学深圳研究生院 | 一种分割前景图像的方法 |
| CN103237228A (zh) * | 2013-04-28 | 2013-08-07 | 清华大学 | 双目立体视频的时空一致性分割方法 |
| CN103955945A (zh) * | 2014-05-23 | 2014-07-30 | 哈尔滨师范大学 | 基于双目视差和活动轮廓的自适应彩色图像分割方法 |
| US20170116741A1 (en) * | 2015-10-26 | 2017-04-27 | Futurewei Technologies, Inc. | Apparatus and Methods for Video Foreground-Background Segmentation with Multi-View Spatial Temporal Graph Cuts |
| KR20170098135A (ko) * | 2016-02-19 | 2017-08-29 | 한국과학기술원 | 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템 |
| CN105957078A (zh) * | 2016-04-27 | 2016-09-21 | 浙江万里学院 | 一种基于图割的多视点视频分割方法 |
| CN106485716A (zh) * | 2016-09-09 | 2017-03-08 | 辽宁工程技术大学 | 一种基于区域划分与Gamma混合模型的多视SAR图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| V. KOLMOGOROV等: "Bi-layer segmentation of binocular stereo video", 《2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280952A (zh) * | 2018-01-25 | 2018-07-13 | 盛视科技股份有限公司 | 一种基于前景目标分割的旅客尾随监测方法 |
| CN108428235A (zh) * | 2018-02-07 | 2018-08-21 | 西北大学 | 彩色地形图中线要素分割方法 |
| CN108428235B (zh) * | 2018-02-07 | 2021-08-27 | 西北大学 | 彩色地形图中线要素分割方法 |
| CN108682039A (zh) * | 2018-04-28 | 2018-10-19 | 国网山西省电力公司电力科学研究院 | 一种双目立体视觉测量方法 |
| CN108682039B (zh) * | 2018-04-28 | 2022-03-25 | 国网山西省电力公司电力科学研究院 | 一种双目立体视觉测量方法 |
| CN109840894A (zh) * | 2019-01-30 | 2019-06-04 | 湖北亿咖通科技有限公司 | 视差图精修方法、装置及存储介质 |
| CN109840894B (zh) * | 2019-01-30 | 2021-02-09 | 湖北亿咖通科技有限公司 | 视差图精修方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107610148B (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610148B (zh) | 一种基于双目立体视觉系统的前景分割方法 | |
| CN111480183B (zh) | 用于产生透视效果的光场图像渲染方法和系统 | |
| CN106991686B (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
| CN103955710B (zh) | 类地重力场环境下单目视觉空间识别方法 | |
| CN111047603B (zh) | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 | |
| CN104966286A (zh) | 一种3d视频显著性检测方法 | |
| CN110853064B (zh) | 一种基于最小模糊散度的图像协同分割方法 | |
| CN108629809B (zh) | 一种精确高效的立体匹配方法 | |
| CN109859249B (zh) | Rgbd序列中基于自动分层的场景流估计方法 | |
| CN107085848A (zh) | 一种rgb‑d图显著性的检测方法 | |
| CN101765019B (zh) | 一种用于运动模糊和光照变化图像的立体匹配方法 | |
| Mörwald et al. | Geometric data abstraction using b-splines for range image segmentation | |
| CN103955945A (zh) | 基于双目视差和活动轮廓的自适应彩色图像分割方法 | |
| CN104331890B (zh) | 一种全局视差估计方法和系统 | |
| CN102740096A (zh) | 一种基于时空结合的动态场景立体视频匹配方法 | |
| CN102663762B (zh) | 医学图像中对称器官的分割方法 | |
| Dong et al. | Outlier detection and disparity refinement in stereo matching | |
| CN104077603B (zh) | 类地重力场环境下室外场景单目视觉空间识别方法 | |
| Tan et al. | Stereo matching using cost volume watershed and region merging | |
| El Ansari et al. | Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS) | |
| CN106097336B (zh) | 基于置信传播和自相似差异测度的前后景立体匹配方法 | |
| CN104408710B (zh) | 一种全局视差估计方法和系统 | |
| CN109961413B (zh) | 大气光方向优化估计的图像去雾迭代算法 | |
| CN112308897A (zh) | 一种基于邻域信息约束与自适应窗口的立体匹配方法 | |
| TWI831183B (zh) | 影像物件標籤方法與電路系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |