CN107133964B - 一种基于Kinect的抠像方法 - Google Patents

一种基于Kinect的抠像方法 Download PDF

Info

Publication number
CN107133964B
CN107133964B CN201710403755.XA CN201710403755A CN107133964B CN 107133964 B CN107133964 B CN 107133964B CN 201710403755 A CN201710403755 A CN 201710403755A CN 107133964 B CN107133964 B CN 107133964B
Authority
CN
China
Prior art keywords
image
pixel
kinect
pixels
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710403755.XA
Other languages
English (en)
Other versions
CN107133964A (zh
Inventor
杨振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Abacus Industrial Technology Co ltd
Original Assignee
Jiangsu Huomi Interactive Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huomi Interactive Technology Co ltd filed Critical Jiangsu Huomi Interactive Technology Co ltd
Priority to CN201710403755.XA priority Critical patent/CN107133964B/zh
Publication of CN107133964A publication Critical patent/CN107133964A/zh
Application granted granted Critical
Publication of CN107133964B publication Critical patent/CN107133964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于Kinect的抠像方法，该方法包括：通过OpenNI和OpenCV函数库，使用Kinect拍摄目标图像，得到彩色图像和深度图像，通过OpenNI中的视角转换函数，将彩色图像和深度图像调整至同一视角；借助所述彩色图像信息对所述深度图像进行迭代的图像滤波，得到前景轮廓图像；将所述前景轮廓图像通过形态学腐蚀膨胀算法生成三元图，并将前景轮廓图像中在给定阈值范围内的像素定义为未知区域的像素；对步骤3生成的三元图进行去除细缝和孔洞的处理算法，生成最终的三元图。与传统抠像方法相比，本发明省去了任何形式的人机交互，利用Kinect自动生成抠像所用的三元图，再结合共用的样本点抠像算法，可以达到实时抠像效果。

Description

一种基于Kinect的抠像方法
【技术领域】
本发明属于图像处理领域，尤其涉及一种基于Kinect的抠像方法。
【背景技术】
抠像技术是一种十分重要的图像处理技术，它应用于影视作品创作中，还应用于医疗，农业，工业中。但通常情况下图像，图像中的前景部分和背景部分时常会出现覆盖问题，也就是说前景部分存在透明的像素，因此如何准确地分离前景部分和背景部分，是抠像技术研究的主要内容。
【发明内容】
为了解决现有技术中的上述问题，基于对传统图像滤波算法的分析，本发明提出了借助Kinect体感设备拍摄的深度图像，对Kinect拍摄的彩色图像进行抠像。提出了一种新的颜色距离滤波器，三元图自动生成方法实现抠像。
本发明采用的技术方案具体如下：
一种基于Kinect的抠像方法，包括以下步骤：
步骤1：通过OpenNI和OpenCV函数库，使用Kinect拍摄目标图像，得到彩色图像和深度图像，通过OpenNI中的视角转换函数，将彩色图像和深度图像调整至同一视角；
步骤2：借助所述彩色图像信息对所述深度图像进行迭代的图像滤波，得到前景轮廓图像；
步骤3：将所述前景轮廓图像通过形态学腐蚀膨胀算法生成三元图，并将前景轮廓图像中在给定阈值范围内的像素定义为未知区域的像素；
步骤4：对步骤3生成的三元图进行去除细缝和孔洞的处理算法，生成最终的三元图。
进一步地，所述步骤2中使用颜色距离滤波器RF进行图像滤波，所述颜色距离滤波器RF通过以下函数定义，即：
Figure BDA0001310418920000021
其中，I表示深度图像，
Figure BDA0001310418920000022
表示彩色图像，RF[I]p表示图像I中位置p的像素经过所述颜色距离滤波器输出的结果。
Figure BDA0001310418920000023
和
Figure BDA0001310418920000024
分别是彩色图像中位置p和位置q的像素值；
σr是颜色距离参数，Gσr就是颜色距离高斯函数，具体地
Figure BDA0001310418920000025
Wp是权重值，其等于下式：
Figure BDA0001310418920000026
进一步地，图像滤波的迭代次数为5。
进一步地，步骤2中选择感兴趣的图像区域ROI进行滤波，其中ROI通过如下公式定义：
Figure BDA0001310418920000031
其中，S是对于物体抠像的Kinect的深度图像二值化后的图像，或是对于人物抠像的人物识别图像，erode是腐蚀运算，dilate是膨胀运算。
进一步地，所述步骤3具体包括：设FS为经过滤波的图像，FSp是FS在位置p的像素值，在设置好阈值参数Tl和Th后，将FS用Th阈值化后对其进行参数4*4矩阵的形态学腐蚀膨胀算法操作，得到初始的三元图，然后，如果FSp的值介于Tl和Th之间，那么位置p的像素被认为是未知区域的像素。
进一步地，所述步骤4具体包括：
步骤4.1：获取前景轮廓外周围的边界像素，记为背景像素，背景像素的集合记为背景像素集B_set；将RGB空间的每一个通道均分为16个区间，这样三个通道一共可得到4096个区间，将得到的背景像素与这些区间相匹配，检查其RGB像素值所在的区间，记录落入最多背景像素的若干区间及相邻区间，作为背景区间集B_bin；
步骤4.2：对于前景轮廓的像素p，记为前景像素，与步骤4.1相同地计算其所位于的区间，记录各个前景像素的所落入的区间，作为前景区间集F_bin，如果F_bin中存在一个或多个区间也属于背景区间集B_bin，则将该一个或多个区间所对应的前景像素记录为可能是细缝或孔洞的像素集F_cand；
步骤4.3：对于任意一个像素m∈F_cand，计算距离m最近的N个背景像素，以及该N个背景像素的RGB像素值所位于的区间，如果其中有一个区间属于背景区间集B_bin，则该像素m是细缝或孔洞的点，其中N是预定义的数值；
步骤4.4：将三元图中属于细缝或孔洞的点都定义为未知区域。
本发明的有益效果为：与传统基于三元图的抠像方法相比，省去了任何形式的人机交互，利用Kinect自动生成抠像所用的三元图，再结合共用的样本点抠像方法，可以达到实时抠像效果。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明抠像方法的基本流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
在下述具体实施方式的说明中，Iq表示图像I中位置为q的像素值，F[I]表示图像I通过F滤波器后的输出结果，S为空间距离域，R为颜色距离域，‖‖表示2范数。
参见附图1，本发明的基于Kinect的抠像方法的具体步骤说明如下：
步骤1：通过OpenNI和OpenCV函数库，使用Kinect拍摄目标图像，得到彩色图像和深度图像，通过OpenNI中的视角转换函数，将彩色图像和深度图像调整至同一视角。
步骤2：使用本发明的颜色距离滤波器(RF)借助所述彩色图像信息对所述深度图像进行迭代的图像滤波，得到边缘较为准确的前景轮廓图像。
所述颜色距离滤波器RF通过以下函数定义，即：
Figure BDA0001310418920000051
其中，I表示深度图像，
Figure BDA0001310418920000052
表示彩色图像，RF[I]p表示图像I中位置p的像素经过所述颜色距离滤波器输出的结果。
Figure BDA0001310418920000053
和
Figure BDA0001310418920000054
分别是彩色图像中位置p和位置q的像素值。
σr是颜色距离参数，Gσr就是颜色距离高斯函数，具体地
Figure BDA0001310418920000055
其中exp是以自然常数e为底的指数函数。
Wp是权重值，其等于下式：
Figure BDA0001310418920000056
但是，如果将整个图像进行滤波会花费很长时间，而且对于确知信息也没必要进行滤波，所以本发明选择感兴趣的图像区域ROI进行滤波，由于Kinect产生的数据主要在边界上有误差，因此通过如下公式定义ROI：
Figure BDA0001310418920000061
其中，S是对于物体抠像的Kinect的深度图像二值化后的图像，或是对于人物抠像的人物识别图像。erode是腐蚀运算，dilate是膨胀运算。
为了检测方法性能，本发明分别测试了颜色距离滤波器的迭代使用，最终经过实验发现，5次的迭代运算可以得到很好的运算效果，并且运算时间也可以接受。通过颜色距离滤波器的迭代使用，图像不仅不会受到空间因素的影响，并且还可以达到高斯平滑的滤波效果。
步骤3：将经过图像滤波后前景轮廓图像通过形态学腐蚀膨胀算法生成三元图，并将前景轮廓图像中在给定阈值范围内的像素定义为未知区域的像素。
具体地，设FS为经过滤波的图像，FSp是FS在位置p的像素值。在设置好阈值参数Tl和Th后，将FS用Th阈值化后对其进行参数4*4矩阵的形态学腐蚀膨胀算法操作，得到初始的三元图。然后，如果FSp的值介于Tl和Th之间，那么位置p的像素被认为是未知区域的像素。即：
Figure BDA0001310418920000062
这样就获得了一个基本准确的三元图，通过实验发现5次迭代颜色距离滤波器使用的时间相对较少，并且得到的三元图比较准确，未知区域所占的比例也比较少。
步骤4：对步骤3生成的三元图进行去除细缝和孔洞的处理算法，生成最终的三元图。具体处理算法如下：
鉴于深度图像技术本身的精度问题，他们产生的深度信息无法非常准确地探测到前景内的细缝和孔洞。本发明提出了一种方法可以较为有效地来解决简单背景下的细缝和孔洞问题。首先假设，用颜色滤波器可以得到准确的前景轮廓，方法的核心是采样前景轮廓之外的背景像素用于剔除前景中的细缝和孔洞。
步骤4.1：获取前景轮廓外周围的边界像素，记为背景像素，背景像素的集合记为背景像素集B_set。将RGB空间的每一个通道均分为16个区间，这样三个通道一共可得到16*16*16＝4096个区间，将得到的背景像素与这些区间相匹配，检查其RGB像素值所在的区间，记录落入最多背景像素的若干区间及相邻区间，作为背景区间集B_bin。
步骤4.2：对于前景轮廓的像素p，记为前景像素，与步骤4.1相同地计算其所位于的区间，记录各个前景像素的所落入的区间，作为前景区间集F_bin，如果F_bin中存在一个或多个区间，该区间也属于背景区间集B_bin，说明该区间对应的前景像素与背景颜色相似，则将该一个或多个区间所对应的前景像素记录为可能是细缝或孔洞的像素集F_cand。
步骤4.3：对于任意一个像素m∈F_cand，计算距离m最近的N个背景像素，以及该N个背景像素的RGB像素值所位于的区间，如果其中有一个区间属于背景区间集B_bin，则该像素m是细缝或孔洞的点。其中N是预定义的数值。
步骤4.4：将三元图中属于细缝或孔洞的点都定义为未知区域。
经过大量实践证明，上述方法可以成功地找到细缝或孔洞。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (5)

1.一种基于Kinect的抠像方法，其特征在于，包括以下步骤：
步骤1：通过OpenNI和OpenCV函数库，使用Kinect拍摄目标图像，得到彩色图像和深度图像，通过OpenNI中的视角转换函数，将彩色图像和深度图像调整至同一视角；
步骤2：借助所述彩色图像信息对所述深度图像进行迭代的图像滤波，得到前景轮廓图像；
步骤3：将所述前景轮廓图像通过形态学腐蚀膨胀算法生成三元图，并将前景轮廓图像中在给定阈值范围内的像素定义为未知区域的像素；
步骤4：对步骤3生成的三元图进行去除细缝和孔洞的处理算法，生成最终的三元图；
其中，所述步骤4具体包括：
步骤4.1：获取前景轮廓外周围的边界像素，记为背景像素，背景像素的集合记为背景像素集B_set；将RGB空间的每一个通道均分为16个区间，这样三个通道一共可得到4096个区间，将得到的背景像素与这些区间相匹配，检查其RGB像素值所在的区间，记录落入最多背景像素的若干区间及相邻区间，作为背景区间集B_bin；
步骤4.2：对于前景轮廓的像素p，记为前景像素，与步骤4.1相同地计算其所位于的区间，记录各个前景像素的所落入的区间，作为前景区间集F_bin，如果F_bin中存在一个或多个区间也属于背景区间集B_bin，则将该一个或多个区间所对应的前景像素记录为可能是细缝或孔洞的像素集F_cand；
步骤4.3：对于任意一个像素m∈F_cand，计算距离m最近的N个背景像素，以及该N个背景像素的RGB像素值所位于的区间，如果其中有一个区间属于背景区间集B_bin，则该像素m是细缝或孔洞的点，其中N是预定义的数值；
步骤4.4：将三元图中属于细缝或孔洞的点都定义为未知区域。
2.根据权利要求1所述的基于Kinect的抠像方法，其特征在于，所述步骤2中使用颜色距离滤波器RF进行图像滤波，所述颜色距离滤波器RF通过以下函数定义，即：
Figure FDA0002312960250000021
其中，I表示深度图像，
Figure FDA0002312960250000022
表示彩色图像，RF[I]p表示图像I中位置p的像素经过所述颜色距离滤波器输出的结果，
Figure FDA0002312960250000023
和
Figure FDA0002312960250000024
分别是彩色图像中位置p和位置q的像素值；
σr是颜色距离参数，Gσr就是颜色距离高斯函数，具体地
Figure FDA0002312960250000025
Wp是权重值，其等于下式：
Figure FDA0002312960250000026
3.根据权利要求1-2任意一项所述的基于Kinect的抠像方法，其特征在于，图像滤波的迭代次数为5。
4.根据权利要求1-2任意一项所述的基于Kinect的抠像方法，其特征在于，步骤2中选择感兴趣的图像区域ROI进行滤波，其中ROI通过如下公式定义：
Figure FDA0002312960250000031
其中，S是对于物体抠像的Kinect的深度图像二值化后的图像，或是对于人物抠像的人物识别图像，erode是腐蚀运算，dilate是膨胀运算。
5.根据权利要求1-2任意一项所述的基于Kinect的抠像方法，其特征在于，所述步骤3具体包括：设FS为经过滤波的图像，FSp是FS在位置p的像素值，在设置好阈值参数Tl和Th后，将FS用Th阈值化后对其进行参数4*4矩阵的形态学腐蚀膨胀算法操作，得到初始的三元图，然后，如果FSp的值介于Tl和Th之间，那么位置p的像素被认为是未知区域的像素。
CN201710403755.XA 2017-06-01 2017-06-01 一种基于Kinect的抠像方法 Active CN107133964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710403755.XA CN107133964B (zh) 2017-06-01 2017-06-01 一种基于Kinect的抠像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710403755.XA CN107133964B (zh) 2017-06-01 2017-06-01 一种基于Kinect的抠像方法

Publications (2)

Publication Number Publication Date
CN107133964A CN107133964A (zh) 2017-09-05
CN107133964B true CN107133964B (zh) 2020-04-24

Family

ID=59733411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710403755.XA Active CN107133964B (zh) 2017-06-01 2017-06-01 一种基于Kinect的抠像方法

Country Status (1)

Country Link
CN (1) CN107133964B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136144B (zh) * 2019-05-15 2021-03-16 北京华捷艾米科技有限公司 一种图像分割方法、装置及终端设备
CN110673741A (zh) * 2019-11-07 2020-01-10 合肥探奥自动化有限公司 一种基于体感识别及抠像融合技术的互动装置
CN111223108A (zh) * 2019-12-31 2020-06-02 上海影卓信息科技有限公司 基于背景幕抠图和融合的方法和系统
CN115082327A (zh) * 2021-03-12 2022-09-20 中兴通讯股份有限公司 拍摄图像处理方法、装置、控制器及设备
CN113689364B (zh) * 2021-10-27 2022-04-08 北京美摄网络科技有限公司 一种图像处理方法和装置
CN114267149B (zh) * 2021-12-30 2024-09-06 浙江顶视智能科技有限公司 一种早期火灾检测预警方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935832A (zh) * 2015-03-31 2015-09-23 浙江工商大学 针对带深度信息的视频抠像方法
CN105590312A (zh) * 2014-11-12 2016-05-18 株式会社理光 前景图像分割方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039636A2 (en) * 2010-09-24 2012-03-29 Christian Soeller "3d localisation microscopy and 4d localisation microscopy and tracking methods and systems"

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590312A (zh) * 2014-11-12 2016-05-18 株式会社理光 前景图像分割方法和装置
CN104935832A (zh) * 2015-03-31 2015-09-23 浙江工商大学 针对带深度信息的视频抠像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Color image guided locality regularized representation for Kinect depth holes filling;Hu Jinhui;《Proc of Visual Communications and Image Processing》;20131231;全文 *
一种融合深度信息的彩色图像分割算法研究;冯祥群;《中国优秀硕士论文全文数据库》;20170215;第3章 *

Also Published As

Publication number Publication date
CN107133964A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107133964B (zh) 一种基于Kinect的抠像方法
Shen et al. Automatic portrait segmentation for image stylization
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
Jia et al. Category-independent object-level saliency detection
Kumar et al. Review on image segmentation techniques
Xu et al. Learning-based shadow recognition and removal from monochromatic natural images
US9449253B2 (en) Learning painting styles for painterly rendering
CN109636732A (zh) 一种深度图像的空洞修复方法以及图像处理装置
CN111738318A (zh) 一种基于图神经网络的超大图像分类方法
CN110930427B (zh) 一种基于语义轮廓信息的图像分割方法、设备和存储介质
CN101488224B (zh) 基于相关性度量的特征点匹配方法
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN110633651A (zh) 一种基于图像拼接的异常细胞自动识别方法
WO2017181892A1 (zh) 前景分割方法及装置
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN103971367B (zh) 水文资料图像分割方法
CN109886170A (zh) 一种钉螺智能检测识别与统计系统
Vyavahare et al. Segmentation using region growing algorithm based on CLAHE for medical images
Prasad et al. Real-time object detection and tracking in an unknown environment
Yao et al. A novel technique for analysing histogram equalized medical images using superpixels
CN111161348B (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
Dewan et al. A method for automatic segmentation of nuclei in phase-contrast images based on intensity, convexity and texture
Sheth et al. Object saliency using a background prior
CN110276260B (zh) 一种基于深度摄像头的商品检测方法
Wang et al. Global contrast of superpixels based salient region detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 307, 309 and 311, Room 959, Jiayuan Road, Yuanhe Street, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant after: JIANGSU HUOMI INTERACTIVE TECHNOLOGY CO.,LTD.

Address before: High tech Zone Suzhou city Jiangsu province 215000 Chuk Yuen Road No. 209

Applicant before: JIANGSU HUOMI INTERACTIVE TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20250224

Address after: Room 501-2432, Office Building, Development Zone, No. 8, Xingsheng South Road, Economic Development Zone, Miyun District, Beijing 101500 (Central Office Area of Economic Development Zone)

Patentee after: Beijing Abacus Industrial Technology Co.,Ltd.

Country or region after: China

Address before: Room 307, 309, 311, Yuanhe Building, 959 Jiayuan Road, Yuanhe Street, Xiangcheng District, Suzhou City, Jiangsu Province, China 215131

Patentee before: JIANGSU HUOMI INTERACTIVE TECHNOLOGY CO.,LTD.

Country or region before: China