CN110490877B - 基于Graph Cuts的双目立体图像对目标分割方法 - Google Patents

基于Graph Cuts的双目立体图像对目标分割方法 Download PDF

Info

Publication number
CN110490877B
CN110490877B CN201910599606.4A CN201910599606A CN110490877B CN 110490877 B CN110490877 B CN 110490877B CN 201910599606 A CN201910599606 A CN 201910599606A CN 110490877 B CN110490877 B CN 110490877B
Authority
CN
China
Prior art keywords
image
calculating
foreground
weight
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910599606.4A
Other languages
English (en)
Other versions
CN110490877A (zh
Inventor
金海燕
周挺
肖照林
蔡磊
李秀秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910599606.4A priority Critical patent/CN110490877B/zh
Publication of CN110490877A publication Critical patent/CN110490877A/zh
Application granted granted Critical
Publication of CN110490877B publication Critical patent/CN110490877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的基于Graph Cuts理论的双目立体图像对目标分割方法，首先，输入双目立体图像中的左右两幅图像，通过立体匹配算法计算得到两幅图像的视差图；其次，计算图像的权重信息；然后，根据权重信息构造Graph Cuts方法的图模型，得到立体图像对的分割结果；最后，将分割结果使用膨胀、腐蚀等形态学操作填补分割结果中小的空洞，去除分割结果中小的连通区域，再使用中值滤波进行平滑，得到最终的分割结果。本发明公开的方法相比传统图像分割方法加强了传统方法中构建的邻域系统，提高图像边缘处的分割精度，同时更好地使用了双目图像的深度信息，得到更好的分割结果。

Description

基于Graph Cuts的双目立体图像对目标分割方法
技术领域
本发明属于计算机数字图像处理技术领域，具体涉及一种基于Graph Cuts理论的双目立体图像对目标分割方法。
背景技术
双目立体视觉技术是使用左右两台摄像机同时拍摄同一场景，得到双目立体图像对，然后通过立体匹配算法计算出左右两幅图像中像素点的位置视差，结合摄像机的标定参数，使用三角视差原理就可以计算出图像中的像素点在空间中的三维坐标值。相较于传统的单目视觉，双目立体视觉可以记录场景的深度信息。要获取立体图像对中的深度信息，就需要对双目立体图像对中的左右图像进行立体匹配。由于真实场景中物体的轮廓复杂，场景中物体的光照不均，拍摄图像中产生的噪声，以及左右图像由于视差原因会产生遮挡，以上因素都会影响到立体匹配结果的精度，导致立体匹配很难得到理想的匹配结果，最终会影响获取的深度信息的精确度。
图像分割一直是计算机视觉领域的研究热点，图像分割就是将图像中的前景目标从图像中分离出来。目前，立体图像分割方法主要有两类，一种是协同分割，由于双目立体图像可以看作是从移动摄像机拍摄的静态场景中的两帧图像，因此协同分割和视频分割的方法可以应用于双目立体图像目标分割的问题，但是这种方法没有利用到立体图像对中的对极几何特性，而且用户需要在第一帧图像中完整的选择出图像中的对象，这使得用户的交互变得十分复杂。另一种是基于显著性的分割，这种方法分别对立体图像对中的左右图像进行显著性检测，得到显著图，然后求得图像对的深度图，然后将显著图和深度图融合得到最终的分割结果，这种方法的分割结果对图像的显著性检测结果依赖过大，并且没有充分利用到深度信息。
发明内容
本发明的目的是提供一种基于Graph Cuts理论的双目立体图像对目标分割方法，解决了传统方法中存在的邻域系统薄弱、交互复杂、深度信息利用不充分的问题。
本发明所采用的技术方案是，基于Graph Cuts理论的双目立体图像对目标分割方法，具体操作包括如下步骤：
步骤1，对立体图像对进行立体匹配、边缘检测和纹理检测：
输入双目立体图像中的左右两幅图像，通过立体匹配算法计算得到两幅图像的视差图，再分别计算左右两幅图像的纹理特征，得到左右两幅图像的纹理图像，然后通过边缘检测算法分别计算出左右两幅图像的边缘图像；
步骤2，计算图像的背景和前景权重、局部邻域权重、非局部邻域权重和跨视图权重信息；
步骤3，根据步骤2的权重信息构造Graph Cuts方法的图模型，得到立体图像对的分割结果；
步骤4，将步骤3得到的分割结果进行后处理：
使用形态学操作填补分割结果中小的空洞，去除分割结果中小的连通区域，最后使用中值滤波进行平滑，得到最终的分割结果。
本发明的其他特点还在于，
步骤2中包括如下过程：
步骤2.1，通过原始图像、视差图像和纹理图像计算出左右视图中每一个像素点的前景权重和背景权重；
步骤2.2，通过原始图像和纹理图像计算出左右视图中每一个像素点的局部邻域权重；
步骤2.3，通过原始图像、纹理图像和边缘图像计算左右视图的非局部邻域权重；
步骤2.4，通过原始图像、纹理图像和视差图像计算跨视图权重。
优选的，步骤1中图像的纹理图像和图像的边缘图像的计算过程如下：输入双目立体图像中的左右两幅图像，通过公式(1)计算出左右视图中每个像素点的LBP特征值，得到了左右视图的LBP纹理特征图像，再通过边缘检测算法分别计算出左右视图的边缘图像；
Figure GDA0003160446370000031
其中，xc表示中心像素点c的行，yc表示中心像素点c的列，p表示3×3窗口中除中心像素点外的第p个像素点；I(c)表示中心像素点的灰度值，I(p)表示领域内第p个像素点的灰度值。
优选的，步骤2.1中前景权重和背景权重的计算过程如下：
步骤2.1.1，用户通过交互界面标记出左右视图中一部分前景像素点和背景像素点，然后获得这些像素点在原始图像中的颜色特征，在纹理图像中的纹理特征，在视差图像中的深度特征，从而得到左右视图的颜色、纹理和深度的前景背景先验信息；
步骤2.1.2，将获得的前景和背景的先验信息分别构成两组5维数据，使用前景的先验信息估计一个前景高斯混合模型，使用背景的先验信息估计一个背景高斯混合模型；
步骤2.1.3，使用前景高斯混合模型计算图像中其他像素点属于前景对象的概率，并归一化得到前景概率图，即前景权重，使用背景高斯混合型计算图像中其他像素点属于背景对象的概率，并归一化得到背景概率图，即背景权重。
优选的，步骤2.2中计算每个像素点与其邻域内其他像素点之间的局部邻域权重的具体过程如下：
通过公式(2)计算图像中每一个像素点与其相邻的上下左右像素点之间的权重：
Figure GDA0003160446370000041
其中，
Figure GDA0003160446370000042
是图像中所有邻域像素的集合，Wlocal(i,j)表示i和j之间的权重，ci和cj表示像素点i和j的颜色特征，ti和tj表示像素点i和j的纹理特征；λc和λt是两个用于平衡颜色特征和纹理特征的参数，规定0≤λc≤1，0≤λt≤1，且λc+λt＝1；σ表示图像邻域内所有像素点的方差。
优选的，步骤2.3中计算每一个像素点与其相应的最相似的K个像素点的非局部邻域权重的具体过程如下：
步骤2.3.1，输入左右视图的边缘图像，通过边缘图像得到图像边缘处的像素点的位置；
步骤2.3.2，以每一个边缘像素点为中心，构造一个大小为M×M的矩形，通过公式(3)计算矩形内其他像素点与中心像素点的相似度，找出与中心像素点最相似的K个像素点：
Figure GDA0003160446370000051
其中，S(i,j)表示i和j的相似度，ci和cj表示像素点i和j的颜色特征，ti和tj表示像素点i和j的纹理特征；
步骤2.3.3，使用公式(4)计算每个边缘像素点与其最相似的K个像素点之间的权重：
Figure GDA0003160446370000052
其中，Wnonlocal(i,j)表示i和j的非局部邻域权重，β是一个自由参数，
Figure GDA0003160446370000053
和
Figure GDA0003160446370000054
表示以i和j为中心的大小为N×N的矩阵内像素点的颜色特征，
Figure GDA0003160446370000055
和
Figure GDA0003160446370000056
表示以i和j为中心的大小为N×N的矩阵内像素点的纹理特征，函数
Figure GDA0003160446370000057
输出一个N×N的矩阵，输出矩阵的每个元素是通过计算
Figure GDA0003160446370000058
和
Figure GDA0003160446370000059
中相同位置元素的欧几里得距离的平方获取，
Figure GDA00031604463700000510
是一个N×N大小的高斯核，运算符⊙表示两个矩阵的元素乘法，运算符||·||1表示计算矩阵的l1范式，即计算矩阵中所有元素之和的绝对值。
优选的，步骤2.4中计算跨视图邻域权重的具体过程如下：
步骤2.4.1，输入左右视图的视差图像，对左右视差图像进行一致性检测，从左视差图上取一点i，从右视差图上取一点j，构成一个点对(i,j)；
若(i,j)满足公式(5)，则点对(i,j)通过一致性检测；
Figure GDA00031604463700000511
其中，xi和xj分别表示i点和j点所在的行，yi和yj分别表示i点和j点所在的列，di和dj分别表示i点和j点的视差值；
若(i,j)不满足公式(5)，那么(i,j)没有通过一致性检测；
步骤2.4.2，通过公式(6)为通过一致性检测的点对计算跨视图邻域权重；
Wcrossview(i,j)＝exp(-γ((ci-cj)2+(ti-tj)2)) (6)
其中，Wcrossview(i,j)表示像素点i和j之间的跨视图邻域权重，γ是一个调整跨视图邻域权重大小的自由参数。
优选的，步骤3的具体过程如下：
使用Graph Cuts第三方库构造一个图模型，其数学表达式如式(7)所示：
E(x)＝Edata(x)+Esmooth(x)+Enonlocal(x)+Ecrossview(x) (7)
其中，Edata(x)表示背景和前景权重；Esmooth(x)代表局部邻域权重；Enonlocal(x)表示非局部邻域权重；Ecrossview(x)表示跨视图权重；
将步骤2计算的每个权重信息输入到图模型中，通过Graph Cuts优化方法求得能量函数E(x)的最小值，在求取函数E(x)最小值的过程中将构造的图模型中的一些边切断，将这个图模型从优化前的一个整体分割成两个部分，这两个部分就是分割出来的图像前景和背景，从而得到双目立体图像对的初步分割结果。
优选的，步骤4的具体过程如下：
步骤4.1，将步骤3得到的分割结果使用一个5×5大小的结构元素依次进行形态学操作，将分割结果中较小的独立的点去除；
步骤4.2，统计分割结果中前景对象中的连通区域，得到每一个连通区域的像素点个数，将像素个数小于阈值T的连通区域设置为背景区域，将图像背景中较小的独立连通区域去除，修补背景对象中的小孔洞；
步骤4.3，将步骤4.2的处理结果反转，即将前景设置为背景，背景设置为前景，然后再执行步骤4.2的操作，将分割结果中图像前景中较小的独立联通区域去除，修补前景对象中的小孔洞；
步骤4.4，使用中值滤波对步骤4.3中的处理结果进行滤波将原始分割图像的边缘平滑，得到最终的分割图像。
本发明的有益效果是，基于Graph Cuts理论的双目立体图像对目标分割方法，通过计算图像的纹理特征、边缘图像、原始图像的前景背景概率、局部邻域权重、非局部邻域权重和跨视图邻域权重分割立体图像对，然后采用形态学操作填补分割结果中小的空洞，去除分割结果中小的连通区域，最后对处理结果使用中值滤波进行平滑，得到最终的分割结果。与传统图像分割方法相比加强了传统方法中构建的邻域系统，能够提高图像边缘处的分割精度，同时更好地使用了双目图像的深度信息，得到更好的分割结果。
附图说明
图1是本发明的基于Graph Cuts的双目立体图像对目标分割方法的流程图；
图2是本发明的基于Graph Cuts的双目立体图像对目标分割方法中计算像素点前景和背景概率的流程图；
图3是本发明的基于Graph Cuts的双目立体图像对目标分割方法中计算局部邻域权重的流程图；
图4是本发明的基于Graph Cuts的双目立体图像对目标分割方法中计算非局部邻域权重的流程图；
图5是本发明的基于Graph Cuts的双目立体图像对目标分割方法中计算跨视图邻域权重的流程图；
图6是本发明的基于Graph Cuts的双目立体图像对目标分割方法中分割结果后处理的流程图；
图7是输入的原始双目立体图像；
图8是实施例中由原始图像计算得到的视差图像；
图9是实施例中由原始图像计算得到的边缘检测图像；
图10是实施例中由原始图像计算得到的纹理图像；
图11是实施例中输入的用户交互图像；
图12是实施例中计算得到的左视图的前景背景概率图像；
图13是实施例中计算得到的右视图的前景背景概率图像；
图14是实施例中没有后处理的分割结果；
图15是实施例中后处理之后的分割结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的基于Graph Cuts的双目立体图像对目标分割方法使用的是双目立体图像对，该双目立体图像对包含左视图和右视图两张图像，这两张图像是使用已经标定的双目相机拍摄得到的，在使用双目相机拍摄到图像后，需要对图像进行初步的处理，包括，
(1)畸变矫正
由于相机物镜系统设计、制作、装配所引起的像点偏离其理想位置的误差称为相机的光学畸变，相机畸变分为径向畸变和切向畸变两类，相机畸变会导致相机采集到的原始图像失真。因此，为了消除原始图像的失真，需要使用标定得到的相机内参对采集到的原始图像进行畸变矫正。
(2)单应性变换
在理想的双目相机模型中，两个相机的光轴是平行的，但是在实际的应用中，可能会由于装配原因导致两个相机的光轴不平行，这就会导致拍摄得到的左右视图中的对应像素点不在同一水平线上，这会给后续的立体匹配带来一定的难度，因此为了减小立体匹配时寻找匹配像素点的难度，需要对两张图像进行单应性变换矫正来保证左右视图中对应像素点在同一水平线上。
在对相机采集到的原始图像进行上述矫正之后，就可以得到标准的双目立体图像对，后续的步骤就是基于标准的双目立体图像对来展开的。
本发明的基于Graph Cuts的双目立体图像对目标分割方法，总体流程如图1所示，具体包括以下步骤：
步骤1，计算视差图像：
输入双目立体图像中的左右两幅图像，通过立体匹配算法计算出左右视图中的对应像素点，通过对应像素点在左右视图中位置的变化就可以计算出在左右视图中这两个像素点的视差，得到左右视差图；
步骤2，计算纹理图像和边缘检测图像：
输入双目立体图像对的左右两幅图像，通过公式(1)计算出左右视图中每个像素点的LBP特征值，就得到了左右视图的LBP纹理特征图像，再通过边缘检测算法分别计算出左右视图的边缘图像；
Figure GDA0003160446370000091
其中，xc表示中心像素点c的行，yc表示中心像素点c的列，p表示3×3窗口中除中心像素点外的第p个像素点；I(c)表示中心像素点的灰度值，I(p)表示领域内第p个像素点的灰度值；
步骤3，计算像素点属于前景和背景的概率：
如图2所示，用户通过交互界面标记出左右视图中一部分前景像素点和背景像素点，然后获得这些像素点在原始图像中的颜色特征，在纹理图像中的纹理特征，在视差图像中的深度特征，从而得到左右视图的颜色、纹理和深度的前景背景先验信息；将获得的前景和背景的先验信息分别构成两组5维数据，使用前景的先验信息估计一个前景高斯混合模型，使用背景的先验信息估计一个背景高斯混合模型；使用前景高斯混合模型计算图像中其他像素点属于前景对象的概率，并归一化得到前景概率图，即前景权重，使用背景高斯混合型计算图像中其他像素点属于背景对象的概率，并归一化得到背景概率图，即背景权重；
步骤4，计算局部邻域权重：
计算左右视图中每一个像素点与其四邻域内的其他像素点之间的权重。
如图3所示，步骤4的具体过程如下：
首先计算图像邻域内所有像素点的方差，得到公式(2)中的参数σ；然后确定计算权重时平衡颜色特征与纹理特征权重的参数，即λc和λt，并保证λc和λt满足条件0≤λc≤1，0≤λt≤1，且λc+λt＝1；最后，通过公式(2)计算图像中每一个像素点与其相邻的上下左右像素点之间的权重。
Figure GDA0003160446370000101
其中，
Figure GDA0003160446370000102
是图像中所有邻域像素的集合，Wlocal(i,j)表示像素点i和j之间的权重，ci和cj表示像素点i和j的颜色特征，ti和tj表示像素点i和j的纹理特征；λc和λt是两个用于平衡颜色特征和纹理特征的参数，规定0≤λc≤1，0≤λt≤1，且λc+λt＝1；σ表示图像邻域内所有像素点的方差；
步骤5，计算非局部邻域权重：
为左右视图的边缘检测结果中的所有像素点构建非局部邻域系统，以此来加强图像中边缘像素点的邻域系统，提升图像边缘的分割精度。
如图4所示，步骤5中非局部邻域系统的具体构建过程如下：
步骤5.1，输入左右视图的边缘图像，通过边缘图像得到图像边缘处的像素点的位置，为这些边缘处的像素点计算非局部邻域权重；
步骤5.2，以每一个边缘像素点为中心，构造一个大小为M×M的矩形，通过公式(3)计算矩形内其他像素点与中心像素点的相似度，找出与中心像素点最相似的K个像素点；
Figure GDA0003160446370000111
其中，S(i,j)表示i和j的相似度，ci和cj表示像素点i和j的颜色特征，ti和tj表示像素点i和j的纹理特征；
步骤5.3，使用公式(4)计算每个边缘像素点与其最相似的K个像素点之间的权重；
Figure GDA0003160446370000112
其中，Wnonlocal(i,j)表示i和j的非局部邻域权重，β是一个自由参数，
Figure GDA0003160446370000113
和
Figure GDA0003160446370000114
表示以i和j为中心的大小为N×N的矩阵内像素点的颜色特征，
Figure GDA0003160446370000115
和
Figure GDA0003160446370000116
表示以i和j为中心的大小为N×N的矩阵内像素点的纹理特征，函数
Figure GDA0003160446370000117
输出一个N×N的矩阵，输出矩阵的每个元素是通过计算
Figure GDA0003160446370000118
和
Figure GDA0003160446370000119
中相同位置元素的欧几里得距离的平方获取，
Figure GDA00031604463700001110
是一个N×N大小的高斯核，运算符⊙表示两个矩阵的元素乘法，运算符||·||1表示计算矩阵的l1范式，也就是计算矩阵中所有元素之和的绝对值。
步骤6，计算跨视图邻域权重：
通过视差图找到左右视图中匹配的像素点，在匹配的像素点之间构建跨视图邻域系统，以此来加强左右视图中相匹配像素点之间的联系，尽可能使得左右视图中相匹配的像素点同时分割到前景或背景。
如图5所示，步骤6中跨视图邻域系统的具体构建过程如下：
步骤6.1，输入左右视图的视差图像，对左右视差图像进行一致性检测，我们从左视差图上取一点i，从右视差图上取一点j，这两个点构成一个点对(i,j)；
若(i,j)满足公式(5)，那么点对(i,j)便通过了一致性检测；
Figure GDA0003160446370000121
其中，xi和xj分别表示i点和j点所在的行，yi和yj分别表示i点和j点所在的列，di和dj分别表示i点和j点的视差值；
若(i,j)不满足公式(5)，那么(i,j)没有通过一致性检测；
步骤6.2，通过公式(6)为通过一致性检测的点对计算跨视图邻域权重；
Wcrossview(i,j)＝exp(-γ((ci-cj)2+(ti-tj)2)) (6)
其中，Wcrossview(i,j)表示像素点i和j之间的跨视图邻域权重，γ是一个调整跨视图邻域权重大小的自由参数；
步骤7的具体过程如下：
使用Graph Cuts第三方库构造一个图模型，其数学表达式如式(7)所示：
E(x)＝Edata(x)+Esmooth(x)+Enonlocal(x)+Ecrossview(x) (7)
其中，Edata(x)表示背景和前景权重；Esmooth(x)代表局部邻域权重；Enonlocal(x)表示非局部邻域权重；Ecossview(x)表示跨视图权重；
将步骤3-6计算的每个权重信息输入到图模型中，通过Graph Cuts优化方法求得能量函数E(x)的最小值，在求取函数E(x)最小值的过程中会将构造的图模型中的一些边切断，将这个图模型从优化前的一个整体分割成两个部分，这两个部分就是分割出来的图像前景和背景，从而得到双目立体图像对的初步分割结果。
步骤8的具体过程如下：
由于步骤7得到的分割结果中前景和背景中会含有独立的较小的连通区域，且在前景和背景中会含有很多孔洞，因此我们需要去除这些小的连通区域，并且修补前景和背景中的孔洞，才能得到最终的分割结果。
如图6所示，步骤8中后处理的具体过程如下：
步骤8.1，对分割结果使用一个5×5大小的结构元素进行膨胀操作，再进行腐蚀操作，这一操作的目的是将分割结果中较小的独立的点去除。
步骤8.2，统计分割结果中前景对象中的连通区域，得到每一个连通区域的像素点个数，将像素个数小于阈值T的连通区域设置为背景区域，此操作的目的是将图像背景中较小的独立连通区域去除，修补背景对象中的小孔洞。
步骤8.3，将步骤8.2的处理结果反转，即将前景设置为背景，背景设置为前景，然后再执行步骤8.2的操作，这一操作的目的是将分割结果中图像前景中较小的独立联通区域去除，修补前景对象中的小孔洞。
步骤8.4，使用中值滤波对步骤8.3中的处理结果进行滤波操作，这一操作的目的是对原始分割图像的边缘平滑，得到最终的分割图像。
实施例
下面通过对一组仿真数据的操作实例来说明本发明的基于Graph Cuts的双目立体图像对目标分割方法的实现过程。
(1)执行步骤1和步骤2，计算双目立体图像对的视差图像、边缘图像和纹理图像。图7是原始双目立体图像对，图8是左右视图的视差图，图9是左右视图的边缘检测结果图像，图10是左右视图的纹理图像。
(2)执行步骤3，计算左右视图中每个像素点点属于前景和背景的概率，得到左右视图的前景和背景概率图像。图11是用户的左右视图交互图像，图12是左视图的前景和背景概率图像，图13是右视图的前景和背景概率图像。
(3)执行步骤4、步骤5和步骤6，计算局部邻域权重、非局部邻域权重和跨视图邻域权重，构建出局部邻域系统、非局部邻域系统和跨视图邻域系统。
(4)执行步骤7，构造图Graph Cuts图模型，将计算好的权重输入到图模型中，然后对图模型进行分割，得到分割结果。图14是没有经过后处理的分割结果。
(5)执行步骤8，对分割结果进行后处理，修补分割结果中的孔洞，去除小的连通区域，对分割结果进行平滑，得到最终分割结果。图15是对步骤7的结果后处理之后的结果。

Claims (9)

1.基于Graph Cuts理论的双目立体图像对目标分割方法，其特征在于，具体操作包括如下步骤：
步骤1，对立体图像对进行立体匹配、边缘检测和纹理检测：
输入双目立体图像中的左右两幅图像，通过立体匹配算法计算得到两幅图像的视差图，再分别计算左右两幅图像的纹理特征，得到左右两幅图像的纹理图像，然后通过边缘检测算法分别计算出左右两幅图像的边缘图像；
步骤2，计算图像的背景和前景权重、局部邻域权重、非局部邻域权重和跨视图权重信息；
步骤3，根据步骤2的权重信息构造Graph Cuts方法的图模型，得到立体图像对的分割结果；
步骤4，将步骤3得到的分割结果进行后处理：
使用形态学操作填补分割结果中小的空洞，去除分割结果中小的连通区域，最后使用中值滤波进行平滑，得到最终的分割结果。
2.如权利要求1所述的基于Graph Cuts理论的双目立体图像对目标分割方法，其特征在于，所述步骤2中包括如下过程：
步骤2.1，通过原始图像、视差图像和纹理图像计算出左右视图中每一个像素点的前景权重和背景权重；
步骤2.2，通过原始图像和纹理图像计算出左右视图中每一个像素点的局部邻域权重；
步骤2.3，通过原始图像、纹理图像和边缘图像计算左右视图的非局部邻域权重；
步骤2.4，通过原始图像、纹理图像和视差图像计算跨视图权重。
3.如权利要求1所述的基于Graph Cuts理论的双目立体图像对目标分割方法，其特征在于，所述步骤1中图像的纹理图像和图像的边缘图像的计算过程如下：输入双目立体图像中的左右两幅图像，通过公式(1)计算出左右视图中每个像素点的LBP特征值，得到了左右视图的LBP纹理特征图像，再通过边缘检测算法分别计算出左右视图的边缘图像；
Figure FDA0003160446360000021
其中，xc表示中心像素点c的行，yc表示中心像素点c的列，p表示3×3窗口中除中心像素点外的第p个像素点；I(c)表示中心像素点的灰度值，I(p)表示领域内第p个像素点的灰度值。
4.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法，其特征在于，所述步骤2.1中前景权重和背景权重的计算过程如下：
步骤2.1.1，用户通过交互界面标记出左右视图中一部分前景像素点和背景像素点，然后获得这些像素点在原始图像中的颜色特征，在纹理图像中的纹理特征，在视差图像中的深度特征，从而得到左右视图的颜色、纹理和深度的前景背景先验信息；
步骤2.1.2，将获得的前景和背景的先验信息分别构成两组5维数据，使用前景的先验信息估计一个前景高斯混合模型，使用背景的先验信息估计一个背景高斯混合模型；
步骤2.1.3，使用前景高斯混合模型计算图像中其他像素点属于前景对象的概率，并归一化得到前景概率图，即前景权重，使用背景高斯混合型计算图像中其他像素点属于背景对象的概率，并归一化得到背景概率图，即背景权重。
5.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法，其特征在于，所述步骤2.2中计算每个像素点与其邻域内其他像素点之间的局部邻域权重的具体过程如下：
通过公式(2)计算图像中每一个像素点与其相邻的上下左右像素点之间的权重：
Figure FDA0003160446360000031
其中，
Figure FDA0003160446360000032
是图像中所有邻域像素的集合，Wlocal(i,j)表示i和j之间的权重，ci和cj表示像素点i和j的颜色特征，ti和tj表示像素点i和j的纹理特征；λc和λt是两个用于平衡颜色特征和纹理特征的参数，规定0≤λc≤1，0≤λt≤1，且λc+λt＝1；σ表示图像邻域内所有像素点的方差。
6.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法，其特征在于，所述步骤2.3中计算每一个像素点与其相应的最相似的K个像素点的非局部邻域权重的具体过程如下：
步骤2.3.1，输入左右视图的边缘图像，通过边缘图像得到图像边缘处的像素点的位置；
步骤2.3.2，以每一个边缘像素点为中心，构造一个大小为M×M的矩形，通过公式(3)计算矩形内其他像素点与中心像素点的相似度，找出与中心像素点最相似的K个像素点：
Figure FDA0003160446360000033
其中，S(i,j)表示i和j的相似度，ci和cj表示像素点i和j的颜色特征，ti和tj表示像素点i和j的纹理特征；
步骤2.3.3，使用公式(4)计算每个边缘像素点与其最相似的K个像素点之间的权重：
Figure FDA0003160446360000041
其中，Wnonlocal(i,j)表示i和j的非局部邻域权重，β是一个自由参数，
Figure FDA0003160446360000042
和
Figure FDA0003160446360000043
表示以i和j为中心的大小为N×N的矩阵内像素点的颜色特征，
Figure FDA0003160446360000044
和
Figure FDA0003160446360000045
表示以i和j为中心的大小为N×N的矩阵内像素点的纹理特征，函数
Figure FDA0003160446360000046
输出一个N×N的矩阵，输出矩阵的每个元素是通过计算
Figure FDA0003160446360000047
和
Figure FDA0003160446360000048
中相同位置元素的欧几里得距离的平方获取，
Figure FDA0003160446360000049
是一个N×N大小的高斯核，运算符⊙表示两个矩阵的元素乘法，运算符||·||1表示计算矩阵的l1范式，即计算矩阵中所有元素之和的绝对值。
7.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法，其特征在于，所述步骤2.4中计算跨视图邻域权重的具体过程如下：
步骤2.4.1，输入左右视图的视差图像，对左右视差图像进行一致性检测，从左视差图上取一点i，从右视差图上取一点j，构成一个点对(i,j)；
若(i,j)满足公式(5)，则点对(i,j)通过一致性检测；
Figure FDA00031604463600000410
其中，xi和xj分别表示i点和j点所在的行，yi和yj分别表示i点和j点所在的列，di和dj分别表示i点和j点的视差值；
若(i,j)不满足公式(5)，那么(i,j)没有通过一致性检测；
步骤2.4.2，通过公式(6)为通过一致性检测的点对计算跨视图邻域权重；
Wcrossview(i,j)＝exp(-γ((ci-cj)2+(ti-tj)2)) (6)
其中，Wcrossview(i,j)表示像素点i和j之间的跨视图邻域权重，γ是一个调整跨视图邻域权重大小的自由参数。
8.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法，其特征在于，所述步骤3的具体过程如下：
使用Graph Cuts第三方库构造一个图模型，其数学表达式如式(7)所示：
E(x)＝Edata(x)+Esmooth(x)+Enonlocal(x)+Ecrossview(x) (7)
其中，Edata(x)表示背景权重和前景权重；Esmooth(x)代表局部邻域权重；Enonlocal(x)表示非局部邻域权重；Ecrossview(x)表示跨视图权重；
将步骤2计算的每个权重信息输入到图模型中，通过Graph Cuts优化方法求得能量函数E(x)的最小值，在求取函数E(x)最小值的过程中将构造的图模型中的一些边切断，将这个图模型从优化前的一个整体分割成两个部分，这两个部分就是分割出来的图像前景和背景，从而得到双目立体图像对的初步分割结果。
9.如权利要求2所述的基于Graph Cuts理论的双目立体图像对目标分割方法，其特征在于，所述步骤4的具体过程如下：
步骤4.1，将步骤3得到的分割结果使用一个5×5大小的结构元素依次进行形态学操作，将分割结果中较小的独立的点去除；
步骤4.2，统计分割结果中前景对象中的连通区域，得到每一个连通区域的像素点个数，将像素个数小于阈值T的连通区域设置为背景区域，将图像背景中较小的独立连通区域去除，修补背景对象中的小孔洞；
步骤4.3，将步骤4.2的处理结果反转，即将前景设置为背景，背景设置为前景，然后再执行步骤4.2的操作，将分割结果中图像前景中较小的独立联通区域去除，修补前景对象中的小孔洞；
步骤4.4，使用中值滤波对步骤4.3中的处理结果进行滤波将原始分割图像的边缘平滑，得到最终的分割图像。
CN201910599606.4A 2019-07-04 2019-07-04 基于Graph Cuts的双目立体图像对目标分割方法 Active CN110490877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910599606.4A CN110490877B (zh) 2019-07-04 2019-07-04 基于Graph Cuts的双目立体图像对目标分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910599606.4A CN110490877B (zh) 2019-07-04 2019-07-04 基于Graph Cuts的双目立体图像对目标分割方法

Publications (2)

Publication Number Publication Date
CN110490877A CN110490877A (zh) 2019-11-22
CN110490877B true CN110490877B (zh) 2021-10-22

Family

ID=68546791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910599606.4A Active CN110490877B (zh) 2019-07-04 2019-07-04 基于Graph Cuts的双目立体图像对目标分割方法

Country Status (1)

Country Link
CN (1) CN110490877B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907616B (zh) * 2021-04-27 2022-05-03 浙江大学 一种基于热成像背景滤除的行人检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034247B (zh) * 2010-12-23 2013-01-02 中国科学院自动化研究所 一种基于背景建模对双目视觉图像的运动捕捉方法
CN104680510B (zh) * 2013-12-18 2017-06-16 北京大学深圳研究生院 Radar视差图优化方法、立体匹配视差图优化方法及系统
CN105005988B (zh) * 2015-06-30 2018-03-06 陕西师范大学 一种基于交互式图像分割的立体匹配方法
CN105719294B (zh) * 2016-01-21 2018-09-25 中南大学 一种乳腺癌病理学图像有丝分裂核自动分割方法
CN107871321B (zh) * 2016-09-23 2021-08-27 南开大学 图像分割方法及装置
CN107578419B (zh) * 2017-09-13 2020-07-21 温州大学 一种基于一致性轮廓提取的立体图像分割方法
CN109544619A (zh) * 2018-11-06 2019-03-29 深圳市爱培科技术股份有限公司 一种基于图割的双目视觉立体匹配方法及系统

Also Published As

Publication number Publication date
CN110490877A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
US11763485B1 (en) Deep learning based robot target recognition and motion detection method, storage medium and apparatus
CN109636732B (zh) 一种深度图像的空洞修复方法以及图像处理装置
Xiao et al. Fast image dehazing using guided joint bilateral filter
US7379583B2 (en) Color segmentation-based stereo 3D reconstruction system and process employing overlapping images of a scene captured from viewpoints forming either a line or a grid
Lee et al. Local disparity estimation with three-moded cross census and advanced support weight
CN111402170B (zh) 图像增强方法、装置、终端及计算机可读存储介质
Zuo et al. Explicit edge inconsistency evaluation model for color-guided depth map enhancement
Mishiba Fast depth estimation for light field cameras
CN111480183B (zh) 用于产生透视效果的光场图像渲染方法和系统
Ben-Ari et al. Stereo matching with Mumford-Shah regularization and occlusion handling
CN107886471B (zh) 一种基于超像素投票模型的照片多余物体去除方法
CN109859249B (zh) Rgbd序列中基于自动分层的场景流估计方法
CN111914913B (zh) 一种新型立体匹配优化方法
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
Haq et al. An edge-aware based adaptive multi-feature set extraction for stereo matching of binocular images
CN111127353B (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
CN110490877B (zh) 基于Graph Cuts的双目立体图像对目标分割方法
Mukherjee et al. A hybrid algorithm for disparity calculation from sparse disparity estimates based on stereo vision
Srikakulapu et al. Depth estimation from single image using defocus and texture cues
Kim et al. Multi-view object extraction with fractional boundaries
CN113888614B (zh) 深度恢复方法、电子设备和计算机可读存储介质
Fan et al. Collaborative three-dimensional completion of color and depth in a specified area with superpixels
Zhu et al. Hybrid scheme for accurate stereo matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant