CN110738676A - 一种结合RGBD数据的GrabCut自动分割算法 - Google Patents
一种结合RGBD数据的GrabCut自动分割算法 Download PDFInfo
- Publication number
- CN110738676A CN110738676A CN201910873135.1A CN201910873135A CN110738676A CN 110738676 A CN110738676 A CN 110738676A CN 201910873135 A CN201910873135 A CN 201910873135A CN 110738676 A CN110738676 A CN 110738676A
- Authority
- CN
- China
- Prior art keywords
- depth
- image
- data
- pixel
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 33
- 239000000203 mixture Substances 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 8
- 230000018109 developmental process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000007493 shaping process Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000010363 phase shift Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000003238 somatosensory effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合RGBD数据的GrabCut自动分割算法：首先将深度相机Kinect V2采集到的深度、颜色等数据通过彩色图的像素点对应深度图的坐标系来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的能量方程，实现对人物轮廓进行自动分割。我们改进后的Grabcut算法解决了原有算法在复杂静态背景下存在人物上下半身的服饰颜色差异大时分割不完整、前背景颜色相近时分割不准确、需要用户交互的问题，并且具有自动分割人物轮廓、实时性强、分割准确度高等特点。进一步利用多边形拟合绘制人物轮廓，实现轮廓矢量化。
Description
技术领域
本技术着重于Kinect相机下用图像分割相关技术以及RGBD图实时标注并拟合人物轮廓，属于图像分割领域。在Kinect相机采集的视频序列中，利用特定的技术和算法去除背景等干扰信息，只保留有关人体的关键数据(如身体尺寸、姿势、着装颜色等)，再将人物边界轮廓序列化，为接下来一系列研究(如行为分析、目标跟踪、模板匹配等)提供有效的处理数据，打下坚实的基础。
背景技术
人体轮廓提取的精准程度和分割速度决定了人物行为处理分析以及后续处理操作的最终效果，而拟合操作能以最少的点保留其轮廓关键特征，减少数据量。人体轮廓识别的重点是构建一种对处于复杂场景的人物进行准确识别的图像特征描述。
现有的大多数人体轮廓提取技术大都依赖于RGB图像，而RGB图像的质量易受强光、剧烈的光照强度变化、多物体重叠遮挡与数据传输损失等因素的影响。这也就导致算法或者模型受到局限，适应性低。最重要的是人物运动比较复杂，导致有些方法因为过于简单而识别精度达不到要求，另一些模型却因为过于复杂而无法适用于实际情况。到目前为止，基于人体运动的复杂性、环境的多变性以及当前研究现状和技术水平并不能构造一个满足所有情形的人体轮廓识别体系，并且其人体轮廓提取与拟合算法的分割精准度、健壮性和实时性三方面之间的统一仍然是难题。
完整的人物轮廓是特征提取与表达、目标分类与识别等系统后期处理的前提条件。近年来，有研究人员将GrabCut算法应用到人物轮廓分割上并取得一定效果，但其使用过程中需要人工手动框选前景区域，不适合实时人物轮廓提取。
本发明提出结合RGBD数据的GrabCut自动分割算法，利用Kinect 相机所提供的数据特性，初步提取前景框，同时添加第四通道深度来改进 Grabcut算法，使其实现自动分割人物。本发明依赖的关键技术介绍如下：
(1)GrabCut算法
GrabCut算法是基于图论的经典图像分割算法。它通过用户指定前景框来得到目标前景样本集和背景样本集，并采用三维高斯混合模型来表示颜色统计的权重、均值、协方差分布，以此来确定当前像素属于前/背景的可能性大小。然后收敛能量方程，从而产生全局最优解，完成对所有像素的标记，最后利用最大流/最小割算法进行分割。
(2)基于二值图像的轮廓提取算法
该算法利用Canny算子描述轮廓的完整边界特征，其中外边界代表值为一的连通域，孔边界表示值为零的连通域。通过标记不同的边界以代表他们层级、边界性质的值，勾画整幅二值图轮廓边界之间的层次等级关系。
本发明所改进的GrabCut算法并利用放缩图片的方式减少计算数据量、提高精准度，分割所用时间比openCV实现的GrabCut减少5倍左右，处理一帧的速度基本上在0.09s左右，相当于1秒可以处理11帧，满足实时要求，并且精准度较高。在人物未超出Kinect检测范围以及光照变化不剧烈的情况下，依然能在人物服饰颜色相差较大时能有较好的分割效果，获取细节明显、较为完整的人物轮廓。
发明内容
为解决上述技术问题，我们提出了一种结合RGBD数据的GrabCut 自动分割算法，该技术根据深度相机Kinect V2采集到的深度、颜色等数据通过彩色图的像素点对应深度图的坐标系来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的能量方程，实现对人物轮廓进行自动分割。该方法包括以下步骤：
S1、基于Kinect相机的场景深度、颜色等数据采集；
S2、深度图修复以及初步分割人物前景图；
S3、初始化GrabCut掩码，结合RGBD四通道数据自动分割人物目标；
S4、矢量化轮廓边缘并绘制人物轮廓线。
2、如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S1具体包括以下处理：
随着强大的测距传感器的出现以及深度数据(depth，即深度相机拍摄的场景每个点到相机面的距离)提取技术日趋成熟，RGB-D图像(RGB+ Depth Map，Depth Map是包括场景深度数据的图像或通道)逐渐受到了图像研究人员的关注。RGB-D相机与我们平时使用的普通相机不同，它同时装载了光学RGB相机和深度相机。因而该相机可以同时采集场景中各个点的纹理信息和深度信息。Kinect V2相机(微软于2014年10月发布的第二代3D体感摄像机，也称为深度相机，在计算机视觉领域常用于教学或科研实验)证明了物体识别系统的准确性可以通过附加深度信息的方式得到大幅提高，而不再仅仅依赖于颜色信息。Kinect采用Time of Flight (TOF)技术来得到目标物体距离相机所在垂直平面的距离。TOF利用连续波调制相位偏移与物体距离成正比的关系，计算出深度。利用微软提供的开发组件读取kinect传输过来的数据，其中颜色信息以RGB的格式保存为BGR三通道的彩色图，深度信息以8位无符号整型形式保存为灰度图。与此同时，保存对应的由kinect提供的人物索引值(BodyIndex)数据源。
3、如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S2具体包括以下处理：
Kinect在渲染Depth Map时，将没有识别到的领域默认填充为黑色。但“黑洞”将影响后续的运算，因此在进行初步前景分割前先采用像素滤波器修复深度图像。遍历整幅深度图，选定深度值为0的像素点为待修改的滤波像素点，建立一个以该像素点为核心的两层滤波器。然后寻找该滤波器器内深度值不为0的像素点，分别记录两层滤波方框内深度值不为0 的像素点的数量，然后与自定义阈值比较。若内外层中记录的深度值非零的像素数目超过了阈值，则该待修改的滤波像素点的深度值将以该两层滤波器内出现频率最高且不为0的深度值进行赋值，最终完成修复。本发明像素滤波器内外层阈值分别为2,5；内层大小为3*3，外层大小为5*5；
深度相机与彩色相机之间存在间距、其视野范围以及分辨率不一致，导致RGB图片不能按像素点与深度图直接对应。因此进行坐标空间的映射校准，利用开发组件的接口类能把以深度相机为原点的坐标系与彩色相机的空间坐标系链接起来，寻找映射到深度帧中与彩色帧相对应的像素点。再对比人物索引数据，确定用户的深度像素并保留相应位置的RGB值，从而得到初步前景图。为了降低数据量，现将上一步提取到的初步前景图中的每个像素点与合理的阈值进行比较，从而获取与初步前景图相对应的二值图像。由于初步前景二值图像仍然存在一些边缘干扰项，采取数学形态学处理来去除，提供更好的GrabCut初始掩码(掩码也是最终图割结果)。
如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S3具体包括以下处理：
遍历步骤S2初步提取到的初步前景二值图找到包含所有人物目标的最小矩形框，并记录其所在位置与大小。二值图经过数据拷贝之后，重新将白色前景像素赋值为3、黑色背景像素分赋值为0，并缩小图像尺寸至一半大小后，以此初始化GrabCut的掩码。
提取矩形框与初始化掩码之后，以标记图代替人工框选前景、背景种子集。这样便使得GrabCut算法由用户交互式转换为自动化。
最先GrabCut算法的原作者定义了一个Gibbs能量方程：
E(α，k，θz)＝U(α，k，θ，z)+V(α，z) #(1)
其中，U(α，k，θ，z)是区域项，表示着图像像素集的整体性质；V(α，z) 是边界项，表示两两像素点的纹理颜色差异。求解出能量方程E的最小值，换而言之，找到了分割整幅图像所花费最小代价或者损失。
区域项U由现在图像包含了RGB颜色空间的像素点zn，使用图片的区域像素整体性和边缘像素差异作为分割软指标，GMMs(高斯混合模型) 的每个GMM进行全协方差高斯混合，分别作用于前/背景。GMMs添加矢量k＝{k1，…，kn，…，kN}，其中kn∈{1，…K}(K个分量，通常K ＝5)是为了分配给图中每个像素以概率最大的GMM分量，从而更加有效地处理GMMs。若标记αn＝0则该像素属于背景模型的某个高斯分量，若标记αn＝1则该像素属于前景的某个高斯分量。
D(αn，kn，θ，zn)＝-log p(zn|αn，kn，θ)-log π(αn，kn) #(3)
其中，p(zn|αn，kn，θ)为GMMs的概率分布，π(αn，kn)为GMMs所包含的样本数/所有采样像素数即权重系数，解得：
因此高斯参数模型θ变换为：
θ＝{π(α，k)，μ(α，k)，∑(α，k)，α＝0，1，k＝1...K} #(5)
其中，π为高斯混合系数、μ为均值、α为不透明度，∑求和为协方差， k∈{1，…K}为分量数量
使用颜色空间中的欧几里德距离来计算边界项：
β＝(2<(zm-zn)2>)-1 #(7)
其中，C为相邻像素对，γ为常数项(一般为50)，dis(·)是相邻像素的欧几里德距离，β由图像的对比度决定。
在之前的预处理过程中，利用Kienct原始数据生成了矩形和掩码。为了更有效利用深度数据，接下来将深度信息融合到GrabCut的能量函数公式(1)中。
对区域项的改进：
新增加的深度图区域项U中的dn包含了RGB图像每个像素点的深度信息，其余参数含义与之前RGB图像的区域项一致。此时利用RGB图像与Depth图像进行GMMs估计，需要求解的参数有：前/背景第k个高斯模型的权重π、均值μ以及协方差∑。
对边界项的改进：
β1＝(2<(dm-dn)2>)-1 #(11)
GrabCut算法中边界项主要由颜色的欧式距离计算得出，基于此，本文新增加的深度图边界项V中由dmn(RGB图像每个像素点的深度信息) 之间的欧式距离来改进，其余参数含义与之前RGB图像的边界项一致。
结合公式(8)(9)(10)(11)，最终能量公式(1)变为：
E(α，k，θ，z，d)＝U(α，k，θ，z)+U(α，k，θ，d)+V(α，z)+V(α，d) #(12)
将新添加的深度图区域项和边界项添加入能量公式中，表示深度信息 depth以彩色帧中RGB三通道相同的方式，作为第四通道加入高斯混合模型中相关参数的计算，使得能量函数融合RGBD的信息，更加准确地分割出人物。
改进后的程序流程为：
(1)制作RGBD图片
首先创建一个存放八位无符号整形四通道的图片数据集Mat，再分别将步骤S1得到的彩色图以及灰度图的数据分离出来，然后按B/G/R/D顺序(这是因为openCV是按BGR的顺序存放RGB图片数据，为保持程序逻辑一致性)将数据保存到Mat，融合RGB-D四通道数据，根据图片像素相对位置不变的关系，缩小图片至原来的一半大小来减少计算量。
(2)初始化GrabCut算法
在GrabCut中，GMMs(高斯混合模型)估计对颜色通道具有很好的鲁棒性，且理论上GMMs可以逼近任何概论分布，所以直接将深度数据作为高斯混合模型的第4通道进行计算，在原先RGB三维的基础上添加深度信息，重新调整了单高斯模型参数个数(4个均值、16个协方差、1 个权重系数),初始化前景、背景GMMs。
(3)学习参数，重构高斯模型
利用kmeans聚类将当前未知像素的RGBD四通道数据融入到模型内部权重系数、均值、协方差矩阵的计算，完成像素概率估计，并将该像素添加到所属概率最大的前景或背景混合多高斯模型的单高斯分量kn中。 GMMs迭代收敛完成后，构建网络流图，并计算其边权值。
(4)生成图割结果
先运用最大流/最小割算法分割该网络流图，然后放大图片至原来大小，最后显示图割结果。
4、如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S4具体包括以下处理：
利用基于二值图像的轮廓算法提取人体轮廓，假设f(i,j)为图像第i行，第j列的像素点的值(只有0，1两种值)，其思想如下：
(1)确定二值图像外边界、孔边界的层次等级关系。运用Canny算子描述图中人物轮廓的完整边界特征，其中外边界代表值为一的连通域，孔边界表示值为零的连通域。
(2)通过标记不同的边界以代表他们层级、边界性质的值，勾画整幅人物二值图轮廓边界之间的层次等级关系。
(3)遍历每一行像素，碰到下列情况停止遍历：
(a)f(i,j-1)＝0,f(i,j)＝1；这时f(i,j)是外边界起点
(b)f(i,j)>＝1,f(i,j+1)＝0；这时f(i,j)是孔边界起点
(4)再从该起点入手，指定给新边界以唯一的标示符New Border Denote(NBD)并标注该边界的点。起先NBD赋值为1，当碰到一个新边界时，NBD++。倘若过程中碰到f(i,j)＝1,f(i,j+1)＝0，将f(i,j)赋值为-NBD, 即f(i,j)为右边界终点。
最终定位人体轮廓并保存人物轮廓向量集，以多边形拟合人物轮廓，在RGB图片上绘制轮廓线。
附图说明
图1为本发明技术路线图；
图2为深度图修复效果对比图，其中图像(a)为噪点显示为蓝色的深度图，图像(b)为噪点修复后深度图，图像(c)为灰度显示的修复前的深度图，图像(d)为灰度显示的修复后的深度图；
图3为初步目标前景示例图，其中图像(a)为场景RGB原图，图像(b) 为初步前景图；
图4为初步目标前景二值示例图，其中图像(a)为单人示例图，图像(b) 为多人示例图；
图5为形态学处理后的二值示例图，其中图像(a)为单人示例图，图像 (b)为多人示例图；
图6为最终分割效果对比示例图，分为图6A、图6B、图6C三组。图6A是模拟多人的场景，图6B是模拟人物背对Kinect相机走动的场景，图6C是模拟人物上下衣物颜色差异大的场景。各组的图像(a)为本发明分割结果示例图，各组的图像(b)为(a)对应的绘制人物轮廓RGB图，各组的图像(c)为openCV版GrabCut算法分割结果示例图，各组的图像(d)为(c)对应的绘制人物轮廓RGB图；
图7为人物轮廓拟合绘制结果示例图，其中图像(a)为单人示例图，图像(b)为多人示例图；
图8为结合RGBD数据的GrabCut自动分割算法的结果图，其中图像 (a)为RGB原图，图像(b)为其对应的深度图，图像(c)为修复后的深度图，图像(d)为初步前景图，图像(e)为二值图，图像(f)为形态学处理后的二值图，图像(g)为最终GrabCut分割结果图、图像(h)为人物轮廓图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
本发明的结合RGBD数据的GrabCut自动分割算法是根据Kinect采集到的深度、颜色等数据通过彩色图的像素点对应深度图的坐标系来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的能量方程，实现对人物轮廓进行自动分割。本发明的技术具体包括如下步骤：
S1、基于Kinect相机的场景深度、颜色等数据采集。
利用微软提供的开发组件读取kinect传输过来的数据，其中颜色信息以RGB的格式保存为BGR三通道的彩色图，深度信息以8位无符号整型形式保存为灰度图。与此同时，保存对应的由kinect提供的人物索引值 (BodyIndex)数据源。
图8的(a)(b)是本发明中Kinect相机采集深度、颜色数据的举例；
S2、深度图修复以及初步分割人物前景图。
Kinect在渲染Depth Map时，将没有识别到的领域默认填充为黑色。但“黑洞”将影响后续的运算，因此在进行初步前景分割前先采用像素滤波器修复深度图像。遍历整幅深度图，选定深度值为0的像素点为待修改的滤波像素点，建立一个以该像素点为核心的两层滤波器。然后寻找该滤波器器内深度值不为0的像素点，分别记录两层滤波方框内深度值不为0 的像素点的数量，然后与自定义阈值比较。若内外层中记录的深度值非零的像素数目超过了阈值，则该待修改的滤波像素点的深度值将以该两层滤波器内出现频率最高且不为0的深度值进行赋值，最终完成修复。本发明像素滤波器内外层阈值分别为2,5；内层大小为3*3，外层大小为5*5。
为更好地展示修复效果，将灰度深度图转换为红蓝两色图，其中红色的深浅表示距离远近，蓝色表示深度值为0的噪点。从图2中可以看出噪点被大面积修复，人物内部“黑洞”区域已被合理填充。
深度相机与彩色相机之间存在间距、其视野范围以及分辨率不一致，导致RGB图片不能按像素点与深度图直接对应。因此进行坐标空间的映射校准，利用开发组件的接口类能把以深度相机为原点的坐标系与彩色相机的空间坐标系链接起来，寻找映射到深度帧中与彩色帧相对应的像素点。再对比人物索引数据，确定用户的深度像素并保留相应位置的RGB值，从而得到初步前景图。图3是本发明初步提取目标前景的示例图，可以看出仍然存在不属于人物目标的干扰像素集以及人体部分，因此需要进一步处理。
为了降低数据量，现将上一步提取到的初步前景图中的每个像素点与合理的阈值进行比较，从而获取与初步前景图相对应的二值图像。图4是本发明初步提取目标前景二值化的示例图。
由于初步前景二值图像仍然存在一些边缘干扰项，采取数学形态学处理来去除，提供更好的GrabCut初始掩码(掩码也是最终图割结果)。图5 是本发明初步提取目标前景二值化的示例图。
S3、初始化GrabCut掩码，结合RGBD四通道数据进行人物的自动分割。
遍历步骤S2初步提取到的初步前景二值图找到包含所有人物目标的最小矩形框，并记录其所在位置与大小。二值图经过数据拷贝之后，重新将白色前景像素赋值为3、黑色背景像素分赋值为0，并缩小图像尺寸至一半大小后，以此初始化GrabCut的掩码。
提取矩形框与初始化掩码之后，以标记图代替人工框选前景、背景种子集。这样便使得GrabCut算法由用户交互式转换为自动化。
将新添加的深度图区域项和边界项添加入能量公式中，表示深度信息 depth以彩色帧中RGB三通道相同的方式，作为第四通道加入高斯混合模型中相关参数的计算，使得能量函数融合RGBD的信息，更加准确地分割出人物。
改进后的程序流程为：
(1)制作RGBD图片
首先创建一个存放八位无符号整形四通道的图片数据集Mat，再分别将步骤S1得到的彩色图以及灰度图的数据分离出来，然后按B/G/R/D顺序(这是因为openCV是按BGR的顺序存放RGB图片数据，为保持程序逻辑一致性)将数据保存到Mat，融合RGB-D四通道数据，根据图片像素相对位置不变的关系，缩小图片至原来的一半大小来减少计算量。
(2)初始化GrabCut算法
在GrabCut中，GMMs(高斯混合模型)估计对颜色通道具有很好的鲁棒性，且理论上GMMs可以逼近任何概论分布，所以直接将深度数据作为高斯混合模型的第4通道进行计算，在原先RGB三维的基础上添加深度信息，重新调整了单高斯模型参数个数(4个均值、16个协方差、1 个权重系数),初始化前景、背景GMMs。
(3)学习参数，重构高斯模型
利用kmeans聚类将当前未知像素的RGBD四通道数据融入到模型内部权重系数、均值、协方差矩阵的计算，完成像素概率估计，并将该像素添加到所属概率最大的前景或背景混合多高斯模型的单高斯分量kn中。 GMMs迭代收敛完成后，构建网络流图，并计算其边权值。
(4)生成图割结果
先运用最大流/最小割算法分割该网络流图，然后放大图片至原来大小，最后显示图割结果。
图6是三组本发明最终分割结果的示例图。
S4、矢量化轮廓边缘并绘制人物轮廓线。
利用基于二值图像的轮廓算法提取人体轮廓，确定二值图像外边界、孔边界的层次等级关系。运用Canny算子描述图中人物轮廓的完整边界特征，其中外边界代表值为一的连通域，孔边界表示值为零的连通域。通过标记不同的边界以代表他们层级、边界性质的值，勾画整幅人物二值图轮廓边界之间的层次等级关系。最终定位人体轮廓并保存人物轮廓向量集，以多边形拟合人物轮廓，在RGB图片上绘制轮廓线。
图7是本发明人物轮廓拟合绘制结果示例图示例图；图8是本发明结合RGBD数据的GrabCut自动分割算法的流程结果图。
本发明的技术可以通过计算机软件来实现，例如使用C++编写，开发环境例如是Windows 10系统、QtCreator5.10.0、openCV3.2.0。装配Kinect v2相机并安装相应开发组件包。
实验证明，本发明所改进的GrabCut算法分割所用时间比openCV实现的GrabCut减少5倍左右，处理一帧的速度基本上在0.09s左右，相当于1秒可以处理11帧，满足实时要求，并且精准度较高。在人物未超出 Kinect检测范围以及光照变化不剧烈的情况下，依然能在人物服饰颜色相差较大时能有较好的分割效果，获取细节明显、较为完整的人物轮廓。
以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种结合RGBD数据的GrabCut自动分割算法，该技术根据深度相机Kinect V2采集到的深度、颜色等数据通过彩色图的像素点对应深度图的坐标系来初步分割包含人物的前景，并作为GrabCut的掩码框。然后将深度数据作为高斯混合模型的第四通道中来改进GrabCut算法的能量方程，实现对人物轮廓进行自动分割。该方法包括以下步骤：
S1、基于Kinect相机的场景深度、颜色等数据采集；
S2、深度图修复以及初步分割人物前景图；
S3、初始化GrabCut掩码，结合RGBD四通道数据进行人物的自动分割；
S4、矢量化轮廓边缘并绘制人物轮廓线。
2.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S1具体包括以下处理：
随着强大的测距传感器的出现以及深度数据(depth，即深度相机拍摄的场景每个点到相机面的距离)提取技术日趋成熟，RGB-D图像(RGB+Depth Map，Depth Map是包括场景深度数据的图像或通道)逐渐受到了图像研究人员的关注。RGB-D相机与我们平时使用的普通相机不同，它同时装载了光学RGB相机和深度相机。因而该相机可以同时采集场景中各个点的纹理信息和深度信息。Kinect V2相机(微软于2014年10月发布的第二代3D体感摄像机，也称为深度相机，在计算机视觉领域常用于教学或科研实验)证明了物体识别系统的准确性可以通过附加深度信息的方式得到大幅提高，而不再仅仅依赖于颜色信息。Kinect采用Time of Flight(TOF)技术来得到目标物体距离相机所在垂直平面的距离。TOF利用连续波调制相位偏移与物体距离成正比的关系，计算出深度。利用微软提供的开发组件读取kinect传输过来的数据，其中颜色信息以RGB的格式保存为BGR三通道的彩色图，深度信息以8位无符号整型形式保存为灰度图。与此同时，保存对应的由kinect提供的人物索引值(BodyIndex)数据源。
3.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S2具体包括以下处理：
Kinect在渲染Depth Map时，将没有识别到的领域默认填充为黑色。但“黑洞”将影响后续的运算，因此在进行初步前景分割前先采用像素滤波器修复深度图像。遍历整幅深度图，选定深度值为0的像素点为待修改的滤波像素点，建立一个以该像素点为核心的两层滤波器。然后寻找该滤波器器内深度值不为0的像素点，分别记录两层滤波方框内深度值不为0的像素点的数量，然后与自定义阈值比较。若内外层中记录的深度值非零的像素数目超过了阈值，则该待修改的滤波像素点的深度值将以该两层滤波器内出现频率最高且不为0的深度值进行赋值，最终完成修复。本发明像素滤波器内外层阈值分别为2，5；内层大小为3*3，外层大小为5*5；
深度相机与彩色相机之间存在间距、其视野范围以及分辨率不一致，导致RGB图片不能按像素点与深度图直接对应。因此进行坐标空间的映射校准，利用开发组件的接口类能把以深度相机为原点的坐标系与彩色相机的空间坐标系链接起来，寻找映射到深度帧中与彩色帧相对应的像素点。再对比人物索引数据，确定用户的深度像素并保留相应位置的RGB值，从而得到初步前景图。为了降低数据量，现将上一步提取到的初步前景图中的每个像素点与合理的阈值进行比较，从而获取与初步前景图相对应的二值图像。由于初步前景二值图像仍然存在一些边缘干扰项，采取数学形态学处理来去除，提供更好的GrabCut初始掩码(掩码也是最终图割结果)。
4.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S3具体包括以下处理：
遍历步骤S2初步提取到的初步前景二值图找到包含所有人物目标的最小矩形框，并记录其所在位置与大小。二值图经过数据拷贝之后，重新将白色前景像素赋值为3、黑色背景像素分赋值为0，并缩小图像尺寸至一半大小后，以此初始化GrabCut的掩码。
提取矩形框与初始化掩码之后，以标记图代替人工框选前景、背景种子集。这样便使得GrabCut算法由用户交互式转换为自动化。
最先GrabCut算法的原作者定义了一个Gibbs能量方程：
E(α，k，θ，z)＝U(α，k，θ，z)+V(α，z) #(1)
其中，U(α，k，θ，z)是区域项，表示着图像像素集的整体性质；V(α，z)是边界项，表示两两像素点的纹理颜色差异。求解出能量方程E的最小值，换而言之，找到了分割整幅图像所花费最小代价或者损失。
区域项U由现在图像包含了RGB颜色空间的像素点zn，使用图片的区域像素整体性和边缘像素差异作为分割软指标，GMMs(高斯混合模型)的每个GMM进行全协方差高斯混合，分别作用于前/背景。GMMs添加矢量k＝{k1，…，kn，…，kN}，其中kn∈{1，…K}(K个分量，通常K＝5)是为了分配给图中每个像素以概率最大的GMM分量，从而更加有效地处理GMMs。若标记αn＝0则该像素属于背景模型的某个高斯分量，若标记αn＝1则该像素属于前景的某个高斯分量。
D(αn，kn，θ，zn)＝-log p(zn|αn，kn，θ)-logπ(αn，kn) #(3)
其中，p(zn|αn，kn，θ)为GMMs的概率分布，π(αn，kn)为GMMs所包含的样本数/所有采样像素数即权重系数，解得：
因此高斯参数模型0变换为：
θ＝{π(α，k)，μ(α，k)，∑(α，k)，α＝0，1，k＝1...K} #(5)
其中，π为高斯混合系数、μ为均值、α为不透明度，∑求和为协方差，k∈{1，…K}为分量数量
使用颜色空间中的欧几里德距离来计算边界项：
β＝(2<(zm-zn)2>)-1 #(7)
其中，C为相邻像素对，γ为常数项(一般为50)，dis(·)是相邻像素的欧几里德距离，β由图像的对比度决定。
在之前的预处理过程中，利用Kienct原始数据生成了矩形和掩码。为了更有效利用深度数据，接下来将深度信息融合到GrabCut的能量函数公式(1)中。
对区域项的改进：
新增加的深度图区域项U中的dn包含了RGB图像每个像素点的深度信息，其余参数含义与之前RGB图像的区域项一致。此时利用RGB图像与Depth图像进行GMMs估计，需要求解的参数有：前/背景第k个高斯模型的权重π、均值μ以及协方差∑。
对边界项的改进：
β1＝(2<(dm-dn)2>)-1 #(11)
GrabCut算法中边界项主要由颜色的欧式距离计算得出，基于此，本文新增加的深度图边界项V中由dmn(RGB图像每个像素点的深度信息)之间的欧式距离来改进，其余参数含义与之前RGB图像的边界项一致。
结合公式(8)(9)(10)(11)，最终能量公式(1)变为：
E(α，k，θ，z，d)＝U(α，k，θ，z)+U(α，k，θ，d)+V(α，z)+V(α，d) #(12)
将新添加的深度图区域项和边界项添加入能量公式中，表示深度信息depth以彩色帧中RGB三通道相同的方式，作为第四通道加入高斯混合模型中相关参数的计算，使得能量函数融合RGBD的信息，更加准确地分割出人物。
改进后的程序流程为：
(1)制作RGBD图片
首先创建一个存放八位无符号整形四通道的图片数据集Mat，再分别将步骤S1得到的彩色图以及灰度图的数据分离出来，然后按B/G/R/D顺序(这是因为openCV是按BGR的顺序存放RGB图片数据，为保持程序逻辑一致性)将数据保存到Mat，融合RGB-D四通道数据，根据图片像素相对位置不变的关系，缩小图片至原来的一半大小来减少计算量。
(2)初始化GrabCut算法
在GrabCut中，GMMs(高斯混合模型)估计对颜色通道具有很好的鲁棒性，且理论上GMMs可以逼近任何概论分布，所以直接将深度数据作为高斯混合模型的第4通道进行计算，在原先RGB三维的基础上添加深度信息，重新调整了单高斯模型参数个数(4个均值、16个协方差、1个权重系数)，初始化前景、背景GMMs。
(3)学习参数，重构高斯模型
利用kmeans聚类将当前未知像素的RGBD四通道数据融入到模型内部权重系数、均值、协方差矩阵的计算，完成像素概率估计，并将该像素添加到所属概率最大的前景或背景混合多高斯模型的单高斯分量kn中。GMMs迭代收敛完成后，构建网络流图，并计算其边权值。
(4)生成图割结果
先运用最大流/最小割算法分割该网络流图，然后放大图片至原来大小，最后显示图割结果。
5.如权利要求1所述的结合RGBD数据的GrabCut自动分割算法，其特征在于，所述步骤S4具体包括以下处理：
利用基于二值图像的轮廓算法提取人体轮廓，假设f(i，j)为图像第i行，第j列的像素点的值(只有0，1两种值)，其思想如下：
(1)确定二值图像外边界、孔边界的层次等级关系。运用Canny算子描述图中人物轮廓的完整边界特征，其中外边界代表值为一的连通域，孔边界表示值为零的连通域。
(2)通过标记不同的边界以代表他们层级、边界性质的值，勾画整幅人物二值图轮廓边界之间的层次等级关系。
(3)遍历每一行像素，碰到下列情况停止遍历：
(a)f(i，j-1)＝0，f(i，j)＝1；这时f(i，j)是外边界起点
(b)f(i，j)＞＝1，f(i，j+1)＝0；这时f(i，j)是孔边界起点
(4)再从该起点入手，指定给新边界以唯一的标示符New Border Denote(NBD)并标注该边界的点。起先NBD赋值为1，当碰到一个新边界时，NBD++。倘若过程中碰到f(i，j)＝1，f(i，j+1)＝0，将f(i，j)赋值为-NBD，即f(i，j)为右边界终点。
最终定位人体轮廓并保存人物轮廓向量集，以多边形拟合人物轮廓，在RGB图片上绘制轮廓线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910873135.1A CN110738676A (zh) | 2019-09-17 | 2019-09-17 | 一种结合RGBD数据的GrabCut自动分割算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910873135.1A CN110738676A (zh) | 2019-09-17 | 2019-09-17 | 一种结合RGBD数据的GrabCut自动分割算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110738676A true CN110738676A (zh) | 2020-01-31 |
Family
ID=69267827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910873135.1A Pending CN110738676A (zh) | 2019-09-17 | 2019-09-17 | 一种结合RGBD数据的GrabCut自动分割算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738676A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275723A (zh) * | 2020-02-18 | 2020-06-12 | 南京邮电大学 | 一种基于Grab Cut算法的图像分割方法 |
| CN111443211A (zh) * | 2020-03-04 | 2020-07-24 | 重庆大学 | 一种多血型系统自动检测卡及检测方法 |
| CN111524233A (zh) * | 2020-03-25 | 2020-08-11 | 青岛联合创智科技有限公司 | 一种静态场景动态目标的三维重建方法 |
| CN112241714A (zh) * | 2020-10-22 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像中指定区域的识别方法、装置、可读介质和电子设备 |
| CN114419144A (zh) * | 2022-01-20 | 2022-04-29 | 珠海市一杯米科技有限公司 | 基于外部轮廓形状分析的卡片定位方法 |
| CN114627289A (zh) * | 2022-02-25 | 2022-06-14 | 中国科学院沈阳自动化研究所 | 基于投票机制的工业零件实例分割方法 |
| CN114638832A (zh) * | 2022-05-19 | 2022-06-17 | 深圳市中科先见医疗科技有限公司 | 一种基于分水岭算法的dpcr液滴荧光检测方法 |
| CN114838665A (zh) * | 2022-07-04 | 2022-08-02 | 江西农业大学 | 一种基于黑皮鸡枞菌的尺寸原位测量方法 |
| CN115311396A (zh) * | 2022-08-09 | 2022-11-08 | 北京飞渡科技有限公司 | 一种超高建筑物屋顶轮廓线的自动提取方法及系统 |
| CN116433701A (zh) * | 2023-06-15 | 2023-07-14 | 武汉中观自动化科技有限公司 | 一种工件孔洞轮廓的提取方法、装置、设备及存储介质 |
| CN116758136A (zh) * | 2023-08-21 | 2023-09-15 | 杭州蓝芯科技有限公司 | 一种货物体积实时在线识别方法、系统、设备以及介质 |
| CN117422754A (zh) * | 2023-10-30 | 2024-01-19 | 河南送变电建设有限公司 | 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备 |
| CN117437217A (zh) * | 2023-12-18 | 2024-01-23 | 武汉博源新材料科技集团股份有限公司 | 一种基于图像识别的纸塑产品分拣方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787938A (zh) * | 2016-02-25 | 2016-07-20 | 上海大学 | 一种基于深度图的人物分割方法 |
| CN108596919A (zh) * | 2018-04-24 | 2018-09-28 | 重庆邮电大学 | 一种基于深度图的自动图像分割方法 |
| CN110084243A (zh) * | 2019-03-13 | 2019-08-02 | 南京理工大学 | 一种基于二维码和单目相机的档案识别与定位方法 |
-
2019
- 2019-09-17 CN CN201910873135.1A patent/CN110738676A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787938A (zh) * | 2016-02-25 | 2016-07-20 | 上海大学 | 一种基于深度图的人物分割方法 |
| CN108596919A (zh) * | 2018-04-24 | 2018-09-28 | 重庆邮电大学 | 一种基于深度图的自动图像分割方法 |
| CN110084243A (zh) * | 2019-03-13 | 2019-08-02 | 南京理工大学 | 一种基于二维码和单目相机的档案识别与定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| GARAM KIM ET AL.: "Depth Guided Selection of adaptive region of interest for Grabcut-based image segmentation" * |
| 刘辉等: "融合深度信息的Grabcut 自动图像分割" * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275723A (zh) * | 2020-02-18 | 2020-06-12 | 南京邮电大学 | 一种基于Grab Cut算法的图像分割方法 |
| CN111275723B (zh) * | 2020-02-18 | 2022-07-29 | 南京邮电大学 | 一种基于Grab Cut算法的图像分割方法 |
| CN111443211A (zh) * | 2020-03-04 | 2020-07-24 | 重庆大学 | 一种多血型系统自动检测卡及检测方法 |
| CN111524233A (zh) * | 2020-03-25 | 2020-08-11 | 青岛联合创智科技有限公司 | 一种静态场景动态目标的三维重建方法 |
| CN111524233B (zh) * | 2020-03-25 | 2023-06-13 | 青岛联合创智科技有限公司 | 一种静态场景动态目标的三维重建方法 |
| CN112241714A (zh) * | 2020-10-22 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像中指定区域的识别方法、装置、可读介质和电子设备 |
| CN112241714B (zh) * | 2020-10-22 | 2024-04-26 | 北京字跳网络技术有限公司 | 图像中指定区域的识别方法、装置、可读介质和电子设备 |
| CN114419144A (zh) * | 2022-01-20 | 2022-04-29 | 珠海市一杯米科技有限公司 | 基于外部轮廓形状分析的卡片定位方法 |
| CN114627289A (zh) * | 2022-02-25 | 2022-06-14 | 中国科学院沈阳自动化研究所 | 基于投票机制的工业零件实例分割方法 |
| CN114627289B (zh) * | 2022-02-25 | 2024-04-16 | 中国科学院沈阳自动化研究所 | 基于投票机制的工业零件实例分割方法 |
| CN114638832A (zh) * | 2022-05-19 | 2022-06-17 | 深圳市中科先见医疗科技有限公司 | 一种基于分水岭算法的dpcr液滴荧光检测方法 |
| CN114838665B (zh) * | 2022-07-04 | 2022-09-02 | 江西农业大学 | 一种基于黑皮鸡枞菌的尺寸原位测量方法 |
| CN114838665A (zh) * | 2022-07-04 | 2022-08-02 | 江西农业大学 | 一种基于黑皮鸡枞菌的尺寸原位测量方法 |
| CN115311396A (zh) * | 2022-08-09 | 2022-11-08 | 北京飞渡科技有限公司 | 一种超高建筑物屋顶轮廓线的自动提取方法及系统 |
| CN116433701B (zh) * | 2023-06-15 | 2023-10-10 | 武汉中观自动化科技有限公司 | 一种工件孔洞轮廓的提取方法、装置、设备及存储介质 |
| CN116433701A (zh) * | 2023-06-15 | 2023-07-14 | 武汉中观自动化科技有限公司 | 一种工件孔洞轮廓的提取方法、装置、设备及存储介质 |
| CN116758136B (zh) * | 2023-08-21 | 2023-11-10 | 杭州蓝芯科技有限公司 | 一种货物体积实时在线识别方法、系统、设备以及介质 |
| CN116758136A (zh) * | 2023-08-21 | 2023-09-15 | 杭州蓝芯科技有限公司 | 一种货物体积实时在线识别方法、系统、设备以及介质 |
| CN117422754A (zh) * | 2023-10-30 | 2024-01-19 | 河南送变电建设有限公司 | 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备 |
| CN117422754B (zh) * | 2023-10-30 | 2024-05-28 | 河南送变电建设有限公司 | 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备 |
| CN117437217A (zh) * | 2023-12-18 | 2024-01-23 | 武汉博源新材料科技集团股份有限公司 | 一种基于图像识别的纸塑产品分拣方法及系统 |
| CN117437217B (zh) * | 2023-12-18 | 2024-03-08 | 武汉博源新材料科技集团股份有限公司 | 一种基于图像识别的纸塑产品分拣方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738676A (zh) | 一种结合RGBD数据的GrabCut自动分割算法 | |
| CN107862667B (zh) | 一种基于高分辨率遥感影像的城市阴影检测与去除方法 | |
| CN107452010B (zh) | 一种自动抠图算法和装置 | |
| CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
| Xiao et al. | Multiple view semantic segmentation for street view images | |
| Bray et al. | Posecut: Simultaneous segmentation and 3d pose estimation of humans using dynamic graph-cuts | |
| WO2018023916A1 (zh) | 一种彩色图像去阴影方法和应用 | |
| CN109712223B (zh) | 一种基于纹理合成的三维模型自动上色方法 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN105740945A (zh) | 一种基于视频分析的人群计数方法 | |
| CN110717896A (zh) | 基于显著性标签信息传播模型的板带钢表面缺陷检测方法 | |
| CN109087330A (zh) | 一种基于由粗到精图像分割的运动目标检测方法 | |
| CN110268442B (zh) | 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 | |
| CN109784216B (zh) | 基于概率图的车载热成像行人检测RoIs提取方法 | |
| CN107909079A (zh) | 一种协同显著性检测方法 | |
| CN113705579A (zh) | 一种视觉显著性驱动的图像自动标注方法 | |
| CN115690513A (zh) | 一种基于深度学习的城市行道树种类识别方法 | |
| CN108022245A (zh) | 基于面线基元关联模型的光伏面板模板自动生成方法 | |
| CN107204000A (zh) | 基于Kinect深度相机的人体分割方法 | |
| CN116993947B (zh) | 一种三维场景可视化展示方法及系统 | |
| CN113643281A (zh) | 一种舌体图像分割方法 | |
| CN109635715A (zh) | 一种遥感图像建筑物提取方法 | |
| Wang | Image matting with transductive inference | |
| CN113724273B (zh) | 一种基于神经网络区域目标分割的边缘光影融合方法 | |
| Szeliski et al. | Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200131 |
|
| WD01 | Invention patent application deemed withdrawn after publication |