CN107133964B - 一种基于Kinect的抠像方法 - Google Patents
一种基于Kinect的抠像方法 Download PDFInfo
- Publication number
- CN107133964B CN107133964B CN201710403755.XA CN201710403755A CN107133964B CN 107133964 B CN107133964 B CN 107133964B CN 201710403755 A CN201710403755 A CN 201710403755A CN 107133964 B CN107133964 B CN 107133964B
- Authority
- CN
- China
- Prior art keywords
- image
- pixels
- kinect
- pixel
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000010586 diagram Methods 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000003628 erosive effect Effects 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000000877 morphologic effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 2
- 241000760358 Enodes Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于Kinect的抠像方法，该方法包括：通过OpenNI和OpenCV函数库，使用Kinect拍摄目标图像，得到彩色图像和深度图像，通过OpenNI中的视角转换函数，将彩色图像和深度图像调整至同一视角；借助所述彩色图像信息对所述深度图像进行迭代的图像滤波，得到前景轮廓图像；将所述前景轮廓图像通过形态学腐蚀膨胀算法生成三元图，并将前景轮廓图像中在给定阈值范围内的像素定义为未知区域的像素；对步骤3生成的三元图进行去除细缝和孔洞的处理算法，生成最终的三元图。与传统抠像方法相比，本发明省去了任何形式的人机交互，利用Kinect自动生成抠像所用的三元图，再结合共用的样本点抠像算法，可以达到实时抠像效果。
Description
【技术领域】
本发明属于图像处理领域，尤其涉及一种基于Kinect的抠像方法。
【背景技术】
抠像技术是一种十分重要的图像处理技术，它应用于影视作品创作中，还应用于医疗，农业，工业中。但通常情况下图像，图像中的前景部分和背景部分时常会出现覆盖问题，也就是说前景部分存在透明的像素，因此如何准确地分离前景部分和背景部分，是抠像技术研究的主要内容。
【发明内容】
为了解决现有技术中的上述问题，基于对传统图像滤波算法的分析，本发明提出了借助Kinect体感设备拍摄的深度图像，对Kinect拍摄的彩色图像进行抠像。提出了一种新的颜色距离滤波器，三元图自动生成方法实现抠像。
本发明采用的技术方案具体如下：
一种基于Kinect的抠像方法，包括以下步骤：
步骤1：通过OpenNI和OpenCV函数库，使用Kinect拍摄目标图像，得到彩色图像和深度图像，通过OpenNI中的视角转换函数，将彩色图像和深度图像调整至同一视角；
步骤2：借助所述彩色图像信息对所述深度图像进行迭代的图像滤波，得到前景轮廓图像；
步骤3：将所述前景轮廓图像通过形态学腐蚀膨胀算法生成三元图，并将前景轮廓图像中在给定阈值范围内的像素定义为未知区域的像素；
步骤4：对步骤3生成的三元图进行去除细缝和孔洞的处理算法，生成最终的三元图。
进一步地，所述步骤2中使用颜色距离滤波器RF进行图像滤波，所述颜色距离滤波器RF通过以下函数定义，即：
其中，I表示深度图像，
表示彩色图像，RF[I]p表示图像I中位置p的像素经过所述颜色距离滤波器输出的结果。
和
分别是彩色图像中位置p和位置q的像素值；
σr是颜色距离参数，Gσr就是颜色距离高斯函数，具体地
Wp是权重值，其等于下式：
进一步地，图像滤波的迭代次数为5。
进一步地，步骤2中选择感兴趣的图像区域ROI进行滤波，其中ROI通过如下公式定义：
其中，S是对于物体抠像的Kinect的深度图像二值化后的图像，或是对于人物抠像的人物识别图像，erode是腐蚀运算，dilate是膨胀运算。
进一步地，所述步骤3具体包括：设FS为经过滤波的图像，FSp是FS在位置p的像素值，在设置好阈值参数Tl和Th后，将FS用Th阈值化后对其进行参数4*4矩阵的形态学腐蚀膨胀算法操作，得到初始的三元图，然后，如果FSp的值介于Tl和Th之间，那么位置p的像素被认为是未知区域的像素。
进一步地，所述步骤4具体包括：
步骤4.1：获取前景轮廓外周围的边界像素，记为背景像素，背景像素的集合记为背景像素集B_set；将RGB空间的每一个通道均分为16个区间，这样三个通道一共可得到4096个区间，将得到的背景像素与这些区间相匹配，检查其RGB像素值所在的区间，记录落入最多背景像素的若干区间及相邻区间，作为背景区间集B_bin；
步骤4.2：对于前景轮廓的像素p，记为前景像素，与步骤4.1相同地计算其所位于的区间，记录各个前景像素的所落入的区间，作为前景区间集F_bin，如果F_bin中存在一个或多个区间也属于背景区间集B_bin，则将该一个或多个区间所对应的前景像素记录为可能是细缝或孔洞的像素集F_cand；
步骤4.3：对于任意一个像素m∈F_cand，计算距离m最近的N个背景像素，以及该N个背景像素的RGB像素值所位于的区间，如果其中有一个区间属于背景区间集B_bin，则该像素m是细缝或孔洞的点，其中N是预定义的数值；
步骤4.4：将三元图中属于细缝或孔洞的点都定义为未知区域。
本发明的有益效果为：与传统基于三元图的抠像方法相比，省去了任何形式的人机交互，利用Kinect自动生成抠像所用的三元图，再结合共用的样本点抠像方法，可以达到实时抠像效果。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明抠像方法的基本流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
在下述具体实施方式的说明中，Iq表示图像I中位置为q的像素值，F[I]表示图像I通过F滤波器后的输出结果，S为空间距离域，R为颜色距离域，‖‖表示2范数。
参见附图1，本发明的基于Kinect的抠像方法的具体步骤说明如下：
步骤1：通过OpenNI和OpenCV函数库，使用Kinect拍摄目标图像，得到彩色图像和深度图像，通过OpenNI中的视角转换函数，将彩色图像和深度图像调整至同一视角。
步骤2：使用本发明的颜色距离滤波器(RF)借助所述彩色图像信息对所述深度图像进行迭代的图像滤波，得到边缘较为准确的前景轮廓图像。
所述颜色距离滤波器RF通过以下函数定义，即：
其中，I表示深度图像，
表示彩色图像，RF[I]p表示图像I中位置p的像素经过所述颜色距离滤波器输出的结果。
和
分别是彩色图像中位置p和位置q的像素值。
σr是颜色距离参数，Gσr就是颜色距离高斯函数，具体地
其中exp是以自然常数e为底的指数函数。
Wp是权重值，其等于下式：
但是，如果将整个图像进行滤波会花费很长时间，而且对于确知信息也没必要进行滤波，所以本发明选择感兴趣的图像区域ROI进行滤波，由于Kinect产生的数据主要在边界上有误差，因此通过如下公式定义ROI：
其中，S是对于物体抠像的Kinect的深度图像二值化后的图像，或是对于人物抠像的人物识别图像。erode是腐蚀运算，dilate是膨胀运算。
为了检测方法性能，本发明分别测试了颜色距离滤波器的迭代使用，最终经过实验发现，5次的迭代运算可以得到很好的运算效果，并且运算时间也可以接受。通过颜色距离滤波器的迭代使用，图像不仅不会受到空间因素的影响，并且还可以达到高斯平滑的滤波效果。
步骤3：将经过图像滤波后前景轮廓图像通过形态学腐蚀膨胀算法生成三元图，并将前景轮廓图像中在给定阈值范围内的像素定义为未知区域的像素。
具体地，设FS为经过滤波的图像，FSp是FS在位置p的像素值。在设置好阈值参数Tl和Th后，将FS用Th阈值化后对其进行参数4*4矩阵的形态学腐蚀膨胀算法操作，得到初始的三元图。然后，如果FSp的值介于Tl和Th之间，那么位置p的像素被认为是未知区域的像素。即：
这样就获得了一个基本准确的三元图，通过实验发现5次迭代颜色距离滤波器使用的时间相对较少，并且得到的三元图比较准确，未知区域所占的比例也比较少。
步骤4：对步骤3生成的三元图进行去除细缝和孔洞的处理算法，生成最终的三元图。具体处理算法如下：
鉴于深度图像技术本身的精度问题，他们产生的深度信息无法非常准确地探测到前景内的细缝和孔洞。本发明提出了一种方法可以较为有效地来解决简单背景下的细缝和孔洞问题。首先假设，用颜色滤波器可以得到准确的前景轮廓，方法的核心是采样前景轮廓之外的背景像素用于剔除前景中的细缝和孔洞。
步骤4.1：获取前景轮廓外周围的边界像素，记为背景像素，背景像素的集合记为背景像素集B_set。将RGB空间的每一个通道均分为16个区间，这样三个通道一共可得到16*16*16＝4096个区间，将得到的背景像素与这些区间相匹配，检查其RGB像素值所在的区间，记录落入最多背景像素的若干区间及相邻区间，作为背景区间集B_bin。
步骤4.2：对于前景轮廓的像素p，记为前景像素，与步骤4.1相同地计算其所位于的区间，记录各个前景像素的所落入的区间，作为前景区间集F_bin，如果F_bin中存在一个或多个区间，该区间也属于背景区间集B_bin，说明该区间对应的前景像素与背景颜色相似，则将该一个或多个区间所对应的前景像素记录为可能是细缝或孔洞的像素集F_cand。
步骤4.3：对于任意一个像素m∈F_cand，计算距离m最近的N个背景像素，以及该N个背景像素的RGB像素值所位于的区间，如果其中有一个区间属于背景区间集B_bin，则该像素m是细缝或孔洞的点。其中N是预定义的数值。
步骤4.4：将三元图中属于细缝或孔洞的点都定义为未知区域。
经过大量实践证明，上述方法可以成功地找到细缝或孔洞。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。
Claims (5)
1.一种基于Kinect的抠像方法，其特征在于，包括以下步骤：
步骤1：通过OpenNI和OpenCV函数库，使用Kinect拍摄目标图像，得到彩色图像和深度图像，通过OpenNI中的视角转换函数，将彩色图像和深度图像调整至同一视角；
步骤2：借助所述彩色图像信息对所述深度图像进行迭代的图像滤波，得到前景轮廓图像；
步骤3：将所述前景轮廓图像通过形态学腐蚀膨胀算法生成三元图，并将前景轮廓图像中在给定阈值范围内的像素定义为未知区域的像素；
步骤4：对步骤3生成的三元图进行去除细缝和孔洞的处理算法，生成最终的三元图；
其中，所述步骤4具体包括：
步骤4.1：获取前景轮廓外周围的边界像素，记为背景像素，背景像素的集合记为背景像素集B_set；将RGB空间的每一个通道均分为16个区间，这样三个通道一共可得到4096个区间，将得到的背景像素与这些区间相匹配，检查其RGB像素值所在的区间，记录落入最多背景像素的若干区间及相邻区间，作为背景区间集B_bin；
步骤4.2：对于前景轮廓的像素p，记为前景像素，与步骤4.1相同地计算其所位于的区间，记录各个前景像素的所落入的区间，作为前景区间集F_bin，如果F_bin中存在一个或多个区间也属于背景区间集B_bin，则将该一个或多个区间所对应的前景像素记录为可能是细缝或孔洞的像素集F_cand；
步骤4.3：对于任意一个像素m∈F_cand，计算距离m最近的N个背景像素，以及该N个背景像素的RGB像素值所位于的区间，如果其中有一个区间属于背景区间集B_bin，则该像素m是细缝或孔洞的点，其中N是预定义的数值；
步骤4.4：将三元图中属于细缝或孔洞的点都定义为未知区域。
2.根据权利要求1所述的基于Kinect的抠像方法，其特征在于，所述步骤2中使用颜色距离滤波器RF进行图像滤波，所述颜色距离滤波器RF通过以下函数定义，即：
其中，I表示深度图像，
表示彩色图像，RF[I]p表示图像I中位置p的像素经过所述颜色距离滤波器输出的结果，
和
分别是彩色图像中位置p和位置q的像素值；
σr是颜色距离参数，Gσr就是颜色距离高斯函数，具体地
Wp是权重值，其等于下式：
3.根据权利要求1-2任意一项所述的基于Kinect的抠像方法，其特征在于，图像滤波的迭代次数为5。
4.根据权利要求1-2任意一项所述的基于Kinect的抠像方法，其特征在于，步骤2中选择感兴趣的图像区域ROI进行滤波，其中ROI通过如下公式定义：
其中，S是对于物体抠像的Kinect的深度图像二值化后的图像，或是对于人物抠像的人物识别图像，erode是腐蚀运算，dilate是膨胀运算。
5.根据权利要求1-2任意一项所述的基于Kinect的抠像方法，其特征在于，所述步骤3具体包括：设FS为经过滤波的图像，FSp是FS在位置p的像素值，在设置好阈值参数Tl和Th后，将FS用Th阈值化后对其进行参数4*4矩阵的形态学腐蚀膨胀算法操作，得到初始的三元图，然后，如果FSp的值介于Tl和Th之间，那么位置p的像素被认为是未知区域的像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710403755.XA CN107133964B (zh) | 2017-06-01 | 2017-06-01 | 一种基于Kinect的抠像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710403755.XA CN107133964B (zh) | 2017-06-01 | 2017-06-01 | 一种基于Kinect的抠像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107133964A CN107133964A (zh) | 2017-09-05 |
| CN107133964B true CN107133964B (zh) | 2020-04-24 |
Family
ID=59733411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710403755.XA Active CN107133964B (zh) | 2017-06-01 | 2017-06-01 | 一种基于Kinect的抠像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107133964B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136144B (zh) * | 2019-05-15 | 2021-03-16 | 北京华捷艾米科技有限公司 | 一种图像分割方法、装置及终端设备 |
| CN111223108A (zh) * | 2019-12-31 | 2020-06-02 | 上海影卓信息科技有限公司 | 基于背景幕抠图和融合的方法和系统 |
| CN113689364B (zh) * | 2021-10-27 | 2022-04-08 | 北京美摄网络科技有限公司 | 一种图像处理方法和装置 |
| CN114267149B (zh) * | 2021-12-30 | 2024-09-06 | 浙江顶视智能科技有限公司 | 一种早期火灾检测预警方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104935832A (zh) * | 2015-03-31 | 2015-09-23 | 浙江工商大学 | 针对带深度信息的视频抠像方法 |
| CN105590312A (zh) * | 2014-11-12 | 2016-05-18 | 株式会社理光 | 前景图像分割方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013539074A (ja) * | 2010-09-24 | 2013-10-17 | カール・ツァイス・マイクロスコピー・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | ３ｄ局在顕微鏡法並びに４ｄ局在顕微鏡法及び追跡方法並びに追跡システム |
-
2017
- 2017-06-01 CN CN201710403755.XA patent/CN107133964B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105590312A (zh) * | 2014-11-12 | 2016-05-18 | 株式会社理光 | 前景图像分割方法和装置 |
| CN104935832A (zh) * | 2015-03-31 | 2015-09-23 | 浙江工商大学 | 针对带深度信息的视频抠像方法 |
Non-Patent Citations (2)
| Title |
|---|
| Color image guided locality regularized representation for Kinect depth holes filling;Hu Jinhui;《Proc of Visual Communications and Image Processing》;20131231;全文 * |
| 一种融合深度信息的彩色图像分割算法研究;冯祥群;《中国优秀硕士论文全文数据库》;20170215;第3章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107133964A (zh) | 2017-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803554B2 (en) | Image processing method and device | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| Shen et al. | Automatic portrait segmentation for image stylization | |
| CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
| CN107133964B (zh) | 一种基于Kinect的抠像方法 | |
| CN110930427B (zh) | 一种基于语义轮廓信息的图像分割方法、设备和存储介质 | |
| CN109871829B (zh) | 一种基于深度学习的检测模型训练方法和装置 | |
| CN104715480B (zh) | 一种基于统计背景模型的目标检测方法 | |
| Chen et al. | Method on water level ruler reading recognition based on image processing | |
| CN108830883B (zh) | 基于超像素结构的视觉注意sar图像目标检测方法 | |
| CN110852207A (zh) | 基于面向对象影像分类技术的蓝色屋顶建筑物提取方法 | |
| CN107392211B (zh) | 基于视觉稀疏认知的显著目标检测方法 | |
| Xu et al. | BgCut: automatic ship detection from UAV images | |
| Yao et al. | A novel technique for analysing histogram equalized medical images using superpixels | |
| CN117853722A (zh) | 一种融合超像素信息的钢材金相组织分割方法 | |
| CN108764343B (zh) | 一种跟踪算法中的跟踪目标框的定位方法 | |
| CN104680181B (zh) | 基于似然比特征的sar图像超像素分割方法 | |
| CN111738310B (zh) | 物料分类方法、装置、电子设备和存储介质 | |
| CN110276260B (zh) | 一种基于深度摄像头的商品检测方法 | |
| CN106934846B (zh) | 一种布料图像处理方法及系统 | |
| CN104504692A (zh) | 基于区域对比度的图像中显著对象的提取方法 | |
| Jin et al. | A color image segmentation method based on improved K-means clustering algorithm | |
| CN111445510A (zh) | 一种图像中直线的检测方法 | |
| CN113421301B (zh) | 一种田间作物中心区域定位方法及系统 | |
| Wang et al. | Global contrast of superpixels based salient region detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 307, 309 and 311, Room 959, Jiayuan Road, Yuanhe Street, Xiangcheng District, Suzhou City, Jiangsu Province Applicant after: Jiangsu fire Interactive Technology Co., Ltd. Address before: High tech Zone Suzhou city Jiangsu province 215000 Chuk Yuen Road No. 209 Applicant before: Jiangsu fire Interactive Technology Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |