CN107610041B - 基于3d体感摄像头的视频人像抠图方法及系统 - Google Patents
基于3d体感摄像头的视频人像抠图方法及系统 Download PDFInfo
- Publication number
- CN107610041B CN107610041B CN201710705293.7A CN201710705293A CN107610041B CN 107610041 B CN107610041 B CN 107610041B CN 201710705293 A CN201710705293 A CN 201710705293A CN 107610041 B CN107610041 B CN 107610041B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- color
- camera
- portrait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003238 somatosensory effect Effects 0.000 title claims abstract description 18
- 230000001360 synchronised effect Effects 0.000 claims abstract description 33
- 238000002156 mixing Methods 0.000 claims abstract description 18
- 238000009877 rendering Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000012536 storage buffer Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种基于3D体感摄像头的视频人像抠图方法及系统。方法包括：利用摄像头获取目标视频图像的深度图序列帧和彩色图序列帧，对其进行时间戳标记；并对每一帧的深度图和彩色图进行同步，根据摄像头的预设参数，对同步的深度图帧和彩色图帧进行对齐插值匹配；根据深度图序列帧得到最终轮廓掩膜图；对同步的彩色图帧和最终轮廓掩膜图进行混合、优化和渲染，得到人像抠图图像，将其呈现给用户。能够实时同步的获取目标视频图像的深度图和彩色图，并且对深度图和彩色图进行同步和配准匹配，根据深度图信息和彩色图信息对图像中的前景和背景进行识别，将其实时融合到视频图像中实现人像抠图，有效的提高了实时人像抠图的效率和效果。
Description
技术领域
本发明涉及一种计算机视觉及图像处理方法，特别涉及一种基于3D体感摄像头的视频人像抠图方法和一种视频人像抠图系统。
背景技术
一般的，视频人像(包括头部和整个身体部分)抠图的方法是将视频中的图像帧以较高的精度区分为前景序列，背景序列和透明度序列，从而将视频中的前景人像提取出来。目前多数视频人像抠图算法是将静态图像抠图算法扩展到视频抠图，如贝叶斯抠图算法和迭代视频抠图算法等，抠图算法通常是采用标记关键帧，通过标记传播策略将关键帧的标记传播到其他帧上，再对各帧图像进行人像抠图。显然现有的视频抠图效果和速度直接依赖于所采用的标记传播策略和静态抠图算法的性能。总的来说，现有的视频人像抠图算法存在以下主要的问题：1)由于抠图算法和传播策略本身的缺陷，使得视频中的人像抠图效果不理想。2)由于抠图算法的运行效率较低，导致抠图速度不理想
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种基于3D体感摄像头的视频人像抠图方法和一种视频人像抠图系统。
为了实现上述目的，本发明的第一方面，提供了一种基于3D体感摄像头的视频人像抠图方法，所述方法包括：
利用3D体感摄像头获取目标视频图像的深度图序列帧和彩色图序列帧；
对所述深度图序列帧和彩色图序列帧进行时间戳标记；
获取每一帧的深度图，以及与每一帧所述深度图基于时间戳同步的每一帧的彩色图，根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配；
根据所述深度图序列帧确定目标视频图像中的人像的初始轮廓掩膜图，并基于所述初始轮廓掩膜图，提取所述初始轮廓掩膜图中的人像像素，且对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图；
获取纹理图；
对同步的彩色图帧和所述最终轮廓掩膜图进行混合，得到初始人像抠图图像；
对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像；
基于所述中间人像抠图图像，利用所述纹理图进行渲染，以得到最终人像抠图图像，将所述最终人像抠图图像呈现给用户。
优选地，所述3D体感摄像头包括深度摄像机和彩色摄像机，所述深度摄像机用于获取目标视频图像的深度图序列帧，所述彩色摄像机用于获取目标视频图像的彩色图序列帧。
优选地，所述3D体感摄像头的预设参数包括：
所述深度摄像机和所述彩色摄像机相对位置参数和视场角参数。
优选地，所述深度摄像机和所述彩色摄像机相对位置参数包括：
深度摄像机的内部参数和镜头参数、彩色摄像机的内部参数和镜头参数以及深度摄像机和彩色摄像机的夹角与相对距离中的至少一者。
优选地，所述彩色摄像机的分辨率高于所述深度摄像机的分辨率。
优选地，所述对所述深度图序列帧和彩色图序列帧进行时间戳标记的步骤中：
基于系统时钟对所述深度图序列帧和彩色图序列帧进行时间戳标记。
优选地，所述根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配的步骤包括：
根据所述深度摄像机和所述彩色摄像机的相对位置参数，将每一帧深度图信息和同步的每一帧彩色图信息进行对齐匹配和映射；其中，一个像素的深度图信息与一个或者多个像素的彩色图信息对应；
对所述深度图信息进行亚像素补插值处理，对彩色图信息进行边缘优化处理；
优选地，所述对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图的步骤包括：
将其余像素全都设置成黑色，并对所述人像边缘像素进行平滑处理，以得到所述最终轮廓掩膜图形。
优选地，所述对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像的步骤包括：
对所述初始人像抠图图像进行边缘优化处理和/或腐蚀膨胀处理，以得到所述中间人像抠图图像。
本发明的第二方面，提供一种视频人像抠图系统，所述视频人像抠图系统包括3D体感摄像头，图像处理模块和显示模块，其中，
所述3D体感摄像头用于获取目标视频图像的深度图序列帧和彩色图序列帧；
所述图像处理模块包括标记子模块、匹配子模块、提取子模块、混合子模块、优化子模块和渲染子模块；其中，
所述标记子模块用于对所述深度图序列帧和彩色图序列帧进行时间戳标记；
所述匹配子模块用于获取每一帧的深度图，以及与每一帧所述深度图基于时间戳同步的每一帧的彩色图，根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配；
所述提取子模块用于根据所述深度图序列帧确定目标视频图像中的人像的初始轮廓掩膜图，并基于所述初始轮廓掩膜图，提取所述初始轮廓掩膜图中的人像像素，且对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图；
所述混合子模块用于对同步的彩色图帧和所述最终轮廓掩膜图进行混合，得到初始人像抠图图像；
所述优化子模块用于对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像；
所述渲染子模块用于基于所述中间人像抠图图像，利用纹理图进行渲染，以得到最终人像抠图图像，将所述最终人像抠图图像呈现给用户；
所述显示模块用于获取用户输入的纹理图；以及，
向用户显示所述最终人像抠图图像。
本发明的基于3D体感摄像头的视频人像抠图方法，其能够实时同步的获取目标视频图像的深度图和彩色图，并且对深度图和彩色图进行同步和配准匹配，根据深度图信息和彩色图信息对图像中的前景和背景进行识别，将前景和背景图实时融合到视频图像中实现人像抠图，有效的提高了实时人像抠图的效率和效果。本发明的基于3D体感摄像头的视频人像抠图方法可以作为娱乐，医学，体育，虚拟现实，增强现实，混合现实等具体应用系统的输入。
本发明的视频人像抠图系统，其能够实时同步的获取目标视频图像的深度图和彩色图，并且对深度图和彩色图进行同步和配准匹配，根据深度图信息和彩色图信息对图像中的前景和背景进行识别，将前景和背景图实时融合到视频图像中实现人像抠图，有效的提高了实时人像抠图的效率和效果。本发明的基于3D体感摄像头的视频人像抠图系统可以作为娱乐，医学，体育，虚拟现实，增强现实，混合现实等具体应用系统的输入。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明第一实施例中基于3D体感摄像头的视频人像抠图方法的流程图；
图2为本发明第二实施例中视频人像抠图系统的结构示意图。
附图标记说明
100：视频人像抠图系统；
110：3D体感摄像头；
111：深度摄像机；
112：彩色摄像机；
120：图像处理模块；
121：标记子模块；
122：匹配子模块；
123：提取子模块；
124：混合子模块；
125：优化子模块；
126：渲染子模块；
130：显示模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
参考图1，本发明的第一方面，涉及一种基于3D体感摄像头的视频人像抠图方法S100，所述方法S100包括：
S110、利用3D体感摄像头获取目标视频图像的深度图序列帧和彩色图序列帧。
需要说明的是，对于3D体感摄像头具体的种类并没有作出限定。具体地，例如，该3D体感摄像头可以包括深度摄像机和彩色摄像机，其中，深度摄像机和彩色摄像机可以采用固定相机的组件实现固定。所述深度摄像机用于获取目标视频图像的深度图序列帧，所述彩色摄像机用于获取目标视频图像的彩色图序列帧。当然，该3D体感摄像头还可以是其他类型的摄像头，其只要能够满足获取目标视频图像的深度图序列帧和彩色图序列帧即可。
S120、对所述深度图序列帧和彩色图序列帧进行时间戳标记。
具体地，在本步骤中，其所采用的时间戳的方法可以是基于系统的时钟标记，还可以是基于模组硬件的时钟标记。当然，还可以采用其他类型的时间戳的方法。
S130、获取每一帧的深度图，以及与每一帧所述深度图基于时间戳同步的每一帧的彩色图，根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配。
具体地，在本步骤中，可以将步骤S120中的深度图时间戳标记记为Tdepth，所述彩色图时间戳标记记为Tcolor，深度图和彩色图时间戳差的标记记为ΔT，其中ΔT＝Tdepth-Tcolor，根据不同的时间戳记法得到视为同步的时间戳差上限ΔTmax和下限ΔTmin，如ΔT∈[ΔTmin，ΔTmax]，则视为同步的一帧，如ΔT＜ΔTmin，则视为深度图帧滞后，丢弃当前深度图帧，取下一帧深度图，如ΔT＞ΔTmax，则视为彩色图帧滞后，丢弃当前彩色图帧，取下一帧彩色图。
具体地，上述对齐插值匹配可以是基于3D体感摄像头的预设参数，将每一帧的深度图信息和同步的一帧的彩色图信息进行映射，其中，边角等特征点要对齐，深度图帧和彩色图帧进行映射，一个像素的深度图可以对应于一个或多个像素的彩色图，接着对深度图进行亚像素插值处理，亚像素插值可以是本领域内熟悉的插值方法，如快速双线性插值法，双三次样条插值法等方法。
当然，除了上述所列举的同步深度图帧和彩色图帧的方法以外，还可以采取其他的方式，在此并不作限定。
S140、根据所述深度图序列帧确定目标视频图像中的人像的初始轮廓掩膜图，并基于所述初始轮廓掩膜图，提取所述初始轮廓掩膜图中的人像像素，且对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图。
具体地，可以利用深度图进行人像检测，获取人体的区域轮廓，提取出人体轮廓的像素制作成初始轮廓掩膜图，在基于深度图信息将人体轮廓分离出来时，可以先使用拉普拉斯-高斯算子等方法，对深度图像进行滤波去噪声平滑，采用噪声阈值处理。
S150、获取纹理图。
具体地，在步骤中，可以通过键盘、鼠标、触摸屏等输入设备获取用户所输入的纹理图。
S160、对同步的彩色图帧和所述最终轮廓掩膜图进行混合，得到初始人像抠图图像。
具体地，在步骤中，可以将同步的彩色图帧和所述最终轮廓掩膜图进行Alpha混合，以得到所述初始人像抠图图像。
更具体地，上述Alpha混合可以采用下述混合公式进行混合：
I(R，G，G)＝(Color(R，G，B)*Mask(R，G，B)+Texture(R，G，B)*(255-Mask(R，G，B)))/255。
其中，所述I(R，G，G)为所述初始人像抠图图像，所述Color(R，G，B)为同步的彩色图帧，所述Mask(R，G，B)为所述最终轮廓掩膜图，所述Texture(R，G，B)为所述纹理图。
当然，除了上述的Alpha混合以外，还可以采用其他的混合方式将同步的彩色图帧和所述最终轮廓掩膜图进行混合，以得到初始人像抠图图像，在此并不作限定。
S170、对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像。
具体地，在本步骤中，可以检测所述初始人像抠图图像，当所述初始人像抠图图像出现明显的噪点时，可以使用OpenCV中的<cvErode>函数，定义合适的结构元素对源图像进行腐蚀，去掉多余的噪声点以后，紧接着用<cvDilate>函数对得到的结果图像进行膨胀，以此去除大多数的噪声点，得到优化后的中间人像抠图图像。
S180、基于所述中间人像抠图图像，利用所述纹理图进行渲染，以得到最终人像抠图图像，将所述最终人像抠图图像呈现给用户。
具体地，在本步骤中，首先，使用GPU通用计算并行加速有如下一些方案：CUDA、OpenCL、OpenGL(ES)，CUDA只适用到NVIDIA的GPU，对于OpenCL，虽然有不少移动GPU已经支持，比如Arm的mali系列(T628之后)，且有相应的支持库。但是，一方面由于移动设备在系统层面上没有支持，没有相应的系统API，兼容性还是比较差，另一方面，OpenCL操作完成后的内存传到OpenGL还是需要同步一下，会影响效率。最后就只剩下OpenGL(ES)，用Computeshader实现。
其次、使用Compute Shader定义相应的Shader程式，程式结构如下：
其中，SSBO为一种vbo(GL_SHADER_STORAGE_BUFFER)，用于存储自定义类型的数据，主要就是对彩色图帧和最终轮廓掩膜图帧的混合参数等，Image为一个2D Array纹理。
本实施例的基于3D体感摄像头的视频人像抠图方法，其能够实时同步的获取目标视频图像的深度图和彩色图，并且对深度图和彩色图进行同步和配准匹配，根据深度图信息和彩色图信息对图像中的前景和背景进行识别，将前景和背景图实时融合到视频图像中实现人像抠图，有效的提高了实时人像抠图的效率和效果。本实施例的基于3D体感摄像头的视频人像抠图方法可以作为娱乐，医学，体育，虚拟现实，增强现实，混合现实等具体应用系统的输入。
优选地，所述3D体感摄像头包括深度摄像机和彩色摄像机，所述深度摄像机用于获取目标视频图像的深度图序列帧，所述彩色摄像机用于获取目标视频图像的彩色图序列帧。
优选地，所述3D体感摄像头的预设参数包括：
所述深度摄像机和所述彩色摄像机相对位置参数和视场角参数。
具体地，所述深度摄像机和所述彩色摄像机相对位置参数包括：
深度摄像机的内部参数和镜头参数、彩色摄像机的内部参数和镜头参数以及深度摄像机和彩色摄像机的夹角与相对距离中的至少一者。
上述深度摄像机和所述彩色摄像机相对位置参数可以通过摄像机标定获得。
优选地，所述彩色摄像机的分辨率高于所述深度摄像机的分辨率。
优选地，上述步骤S120中，采用基于系统时钟对所述深度图序列帧和彩色图序列帧进行时间戳标记。
优选地，所述步骤S130包括：
根据所述深度摄像机和所述彩色摄像机的相对位置参数，将每一帧深度图信息和同步的每一帧彩色图信息进行对齐匹配和映射；其中，一个像素的深度图信息与一个或者多个像素的彩色图信息对应；
对所述深度图信息进行亚像素补插值处理，对彩色图信息进行边缘优化处理。
具体地，对齐匹配的方法可以参考前文相关记载，在此不作赘述。
优选地，步骤S140包括：
将其余像素全都设置成黑色，并对所述人像边缘像素进行平滑处理，以得到所述最终轮廓掩膜图形。
优选地，步骤S170包括：
对所述初始人像抠图图像进行边缘优化处理和/或腐蚀膨胀处理，以得到所述中间人像抠图图像。
本发明的基于3D体感摄像头的视频人像抠图方法，能够用于各种视频人像抠图场合下的精准快速抠图，能够快速的将人像从背景中提取出来。其中，基于深度图的人像轮廓提取功能能够精确的提取出人像轮廓，从而保证了整个视频中人像抠图的质量。特别在基于时间戳的同步抠图功能，其能够实现人像移动时没有拖影，从而进一步提高了人像抠图的质量。另外，采用OpenGL(移动平台是OpenGL ES)和Compute Shader技术，依靠GPU图形处理器实现通用并行计算来加速该方法的执行，从而满足特别是在低性能的移动设备上的实时性要求。
本发明的第二方面，如图2所示，提供一种视频人像抠图系统100，所述视频人像抠图系统100包括3D体感摄像头110，图像处理模块120和显示模块130，其中，
所述3D体感摄像头110用于获取目标视频图像的深度图序列帧和彩色图序列帧。其中，所述3D体感摄像头110可以包括深度摄像机111和彩色摄像机112，其中，所述深度摄像机111用于获取深度图序列帧，所述彩色摄像机112用于获取彩色图序列帧。
所述图像处理模块120包括标记子模块121、匹配子模块122、提取子模块123、混合子模块124、优化子模块125和渲染子模块126；其中，
所述标记子模块121用于对所述深度图序列帧和彩色图序列帧进行时间戳标记；
所述匹配子模块122用于获取每一帧的深度图，以及与每一帧所述深度图基于时间戳同步的每一帧的彩色图，根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配；
所述提取子模块123用于根据所述深度图序列帧确定目标视频图像中的人像的初始轮廓掩膜图，并基于所述初始轮廓掩膜图，提取所述初始轮廓掩膜图中的人像像素，且对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图；
所述混合子模块124用于对同步的彩色图帧和所述最终轮廓掩膜图进行混合，得到初始人像抠图图像；
所述优化子模块125用于对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像；
所述渲染子模块126用于基于所述中间人像抠图图像，利用纹理图进行渲染，以得到最终人像抠图图像，将所述最终人像抠图图像呈现给用户；
所述显示模块130用于获取用户输入的纹理图；以及，
向用户显示所述最终人像抠图图像。
需要说明的是，对于显示模块130的具体结构并没有作出限定，例如，该显示模块130可以是液晶显示屏、OLED显示屏、具有触控功能的液晶显示屏或具有触控功能的OLED显示屏等。
本实施例的视频人像抠图系统，其能够实时同步的获取目标视频图像的深度图和彩色图，并且对深度图和彩色图进行同步和配准匹配，根据深度图信息和彩色图信息对图像中的前景和背景进行识别，将前景和背景图实时融合到视频图像中实现人像抠图，有效的提高了实时人像抠图的效率和效果。本实施例的视频人像抠图系统可以作为娱乐，医学，体育，虚拟现实，增强现实，混合现实等具体应用系统的输入。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种基于3D体感摄像头的视频人像抠图方法，其特征在于，所述方法包括：
利用3D体感摄像头获取目标视频图像的深度图序列帧和彩色图序列帧；
对所述深度图序列帧和彩色图序列帧进行时间戳标记；
获取每一帧的深度图，以及与每一帧所述深度图基于时间戳同步的每一帧的彩色图，根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配；
根据所述深度图序列帧确定目标视频图像中的人像的初始轮廓掩膜图，并基于所述初始轮廓掩膜图，提取所述初始轮廓掩膜图中的人像像素，且对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图；
获取纹理图；
对同步的彩色图帧和所述最终轮廓掩膜图进行混合，得到初始人像抠图图像；
对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像；
基于所述中间人像抠图图像，利用所述纹理图进行渲染，以得到最终人像抠图图像，将所述最终人像抠图图像呈现给用户。
2.根据权利要求1所述的视频人像抠图方法，其特征在于，所述3D体感摄像头包括深度摄像机和彩色摄像机，所述深度摄像机用于获取目标视频图像的深度图序列帧，所述彩色摄像机用于获取目标视频图像的彩色图序列帧。
3.根据权利要求2所述的视频人像抠图方法，其特征在于，所述3D体感摄像头的预设参数包括：
所述深度摄像机和所述彩色摄像机相对位置参数和视场角参数。
4.根据权利要求3所述的视频人像抠图方法，其特征在于，所述深度摄像机和所述彩色摄像机相对位置参数包括：
深度摄像机的内部参数和镜头参数、彩色摄像机的内部参数和镜头参数以及深度摄像机和彩色摄像机的夹角与相对距离中的至少一者。
5.根据权利要求2所述的视频人像抠图方法，其特征在于，所述彩色摄像机的分辨率高于所述深度摄像机的分辨率。
6.根据权利要求1至5任意一项所述的视频人像抠图方法，其特征在于，所述对所述深度图序列帧和彩色图序列帧进行时间戳标记的步骤中：
基于系统时钟对所述深度图序列帧和彩色图序列帧进行时间戳标记。
7.根据权利要求2至5任意一项所述的视频人像抠图方法，其特征在于，所述根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配的步骤包括：
根据所述深度摄像机和所述彩色摄像机的相对位置参数，将每一帧深度图信息和同步的每一帧彩色图信息进行对齐匹配和映射；其中，一个像素的深度图信息与一个或者多个像素的彩色图信息对应；
对所述深度图信息进行亚像素补插值处理，对彩色图信息进行边缘优化处理。
8.根据权利要求1至5任意一项所述的视频人像抠图方法，其特征在于，所述对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图的步骤包括：
将其余像素全都设置成黑色，并对所述人像边缘像素进行平滑处理，以得到所述最终轮廓掩膜图形。
9.根据权利要求1至5任意一项所述的视频人像抠图方法，其特征在于，所述对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像的步骤包括：
对所述初始人像抠图图像进行边缘优化处理和/或腐蚀膨胀处理，以得到所述中间人像抠图图像。
10.一种视频人像抠图系统，其特征在于，所述视频人像抠图系统包括3D体感摄像头，图像处理模块和显示模块，其中，
所述3D体感摄像头用于获取目标视频图像的深度图序列帧和彩色图序列帧；
所述图像处理模块包括标记子模块、匹配子模块、提取子模块、混合子模块、优化子模块和渲染子模块；其中，
所述标记子模块用于对所述深度图序列帧和彩色图序列帧进行时间戳标记；
所述匹配子模块用于获取每一帧的深度图，以及与每一帧所述深度图基于时间戳同步的每一帧的彩色图，根据所述3D体感摄像头的预设参数，对获得的同步的深度图帧和彩色图帧进行对齐插值匹配；
所述提取子模块用于根据所述深度图序列帧确定目标视频图像中的人像的初始轮廓掩膜图，并基于所述初始轮廓掩膜图，提取所述初始轮廓掩膜图中的人像像素，且对其余像素和人像边缘的像素进行预处理，以得到最终轮廓掩膜图；
所述混合子模块用于对同步的彩色图帧和所述最终轮廓掩膜图进行混合，得到初始人像抠图图像；
所述优化子模块用于对所述初始人像抠图图像进行优化处理，得到中间人像抠图图像；
所述渲染子模块用于基于所述中间人像抠图图像，利用纹理图进行渲染，以得到最终人像抠图图像，将所述最终人像抠图图像呈现给用户；
所述显示模块用于获取用户输入的纹理图；以及，向用户显示所述最终人像抠图图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710705293.7A CN107610041B (zh) | 2017-08-16 | 2017-08-16 | 基于3d体感摄像头的视频人像抠图方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710705293.7A CN107610041B (zh) | 2017-08-16 | 2017-08-16 | 基于3d体感摄像头的视频人像抠图方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107610041A CN107610041A (zh) | 2018-01-19 |
| CN107610041B true CN107610041B (zh) | 2020-10-27 |
Family
ID=61064397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710705293.7A Active CN107610041B (zh) | 2017-08-16 | 2017-08-16 | 基于3d体感摄像头的视频人像抠图方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610041B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108256497A (zh) * | 2018-02-01 | 2018-07-06 | 北京中税网控股股份有限公司 | 一种视频图像处理方法及装置 |
| US11870972B2 (en) * | 2018-10-02 | 2024-01-09 | Within Unlimited, Inc. | Methods, systems and devices supporting real-time shared virtual reality environment |
| TWI701639B (zh) * | 2018-12-11 | 2020-08-11 | 緯創資通股份有限公司 | 辨識影像中前景物件的方法與電子裝置 |
| CN109840881B (zh) * | 2018-12-12 | 2023-05-05 | 奥比中光科技集团股份有限公司 | 一种3d特效图像生成方法、装置及设备 |
| CN109936709B (zh) * | 2019-01-25 | 2020-12-18 | 北京电影学院 | 一种基于时间信息的图像提取方法 |
| CN110060351B (zh) * | 2019-04-01 | 2023-04-07 | 叠境数字科技（上海）有限公司 | 一种基于rgbd相机的动态三维人物重建和直播方法 |
| CN110547782B (zh) * | 2019-05-06 | 2022-12-09 | 苏宁金融服务(上海)有限公司 | 一种用于无接触式测量的脉率信号处理方法及装置 |
| CN110460824B (zh) * | 2019-07-03 | 2022-10-11 | 青岛小鸟看看科技有限公司 | 一种图像数据的帧同步方法和相机 |
| CN110619285B (zh) * | 2019-08-29 | 2022-02-11 | 福建天晴数码有限公司 | 人体骨骼关键点提取方法及计算机可读存储介质 |
| CN111462278B (zh) * | 2020-03-17 | 2022-10-25 | 稿定（厦门）科技有限公司 | 基于深度的素材排序渲染方法、介质、设备及装置 |
| CN112308977B (zh) * | 2020-10-29 | 2024-04-16 | 字节跳动有限公司 | 视频处理方法、视频处理装置和存储介质 |
| TWI757965B (zh) * | 2020-11-10 | 2022-03-11 | 鈊象電子股份有限公司 | 擴增實境體感遊戲機之深度學習方法 |
| CN112580644A (zh) * | 2020-12-08 | 2021-03-30 | 平安国际智慧城市科技股份有限公司 | 基于视频流抠图时间的测试方法、装置及可读存储介质 |
| CN113043938A (zh) * | 2021-01-14 | 2021-06-29 | 田井乐 | 机械抬升式仓库驱动平台 |
| CN113192206B (zh) * | 2021-04-28 | 2023-04-07 | 华南理工大学 | 基于目标检测和背景去除的三维模型实时重建方法及装置 |
| CN114820686B (zh) * | 2022-05-16 | 2022-12-16 | 北京百度网讯科技有限公司 | 抠图的方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101098475A (zh) * | 2007-07-10 | 2008-01-02 | 浙江大学 | 一种数字视频处理中交互式时空一致的视频抠图方法 |
| US20120313940A1 (en) * | 2007-03-12 | 2012-12-13 | Conversion Works, Inc. | Systems and methods for filling light in frames during 2-d to 3-d image conversion |
| CN103051915A (zh) * | 2013-01-14 | 2013-04-17 | 清华大学 | 一种交互式立体视频关键帧的制作方法及制作装置 |
| CN106530309A (zh) * | 2016-10-24 | 2017-03-22 | 成都品果科技有限公司 | 一种基于移动平台的视频抠图方法及系统 |
| CN106952270A (zh) * | 2017-03-01 | 2017-07-14 | 湖南大学 | 一种单一背景图像的快速抠图方法 |
-
2017
- 2017-08-16 CN CN201710705293.7A patent/CN107610041B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120313940A1 (en) * | 2007-03-12 | 2012-12-13 | Conversion Works, Inc. | Systems and methods for filling light in frames during 2-d to 3-d image conversion |
| CN101098475A (zh) * | 2007-07-10 | 2008-01-02 | 浙江大学 | 一种数字视频处理中交互式时空一致的视频抠图方法 |
| CN103051915A (zh) * | 2013-01-14 | 2013-04-17 | 清华大学 | 一种交互式立体视频关键帧的制作方法及制作装置 |
| CN106530309A (zh) * | 2016-10-24 | 2017-03-22 | 成都品果科技有限公司 | 一种基于移动平台的视频抠图方法及系统 |
| CN106952270A (zh) * | 2017-03-01 | 2017-07-14 | 湖南大学 | 一种单一背景图像的快速抠图方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107610041A (zh) | 2018-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610041B (zh) | 基于3d体感摄像头的视频人像抠图方法及系统 | |
| CN105026997B (zh) | 投影系统、半导体集成电路及图像修正方法 | |
| CN104574501B (zh) | 一种针对复杂三维场景的高质量纹理映射方法 | |
| CN105374019B (zh) | 一种多深度图融合方法及装置 | |
| CN103607584B (zh) | 一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法 | |
| US9942535B2 (en) | Method for 3D scene structure modeling and camera registration from single image | |
| KR101310589B1 (ko) | 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들 | |
| AU2017246716A1 (en) | Efficient determination of optical flow between images | |
| JP6491517B2 (ja) | 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置 | |
| CN101593349B (zh) | 将二维影像转换为三维影像的方法 | |
| EP2533191B1 (en) | Image processing system, image processing method, and program | |
| Mori et al. | Efficient use of textured 3D model for pre-observation-based diminished reality | |
| GB2452944A (en) | Imaging system and method for generating a depth map using three light sources having different frequencies | |
| CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
| CN112241960A (zh) | 一种基于深度信息的抠图方法及系统 | |
| CN108197555B (zh) | 一种基于人脸追踪的实时人脸融合方法 | |
| JP4819834B2 (ja) | 立体映像処理装置及び立体映像処理方法 | |
| JP6061334B2 (ja) | 光学式シースルー型ｈｍｄを用いたａｒシステム | |
| TWI820246B (zh) | 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品 | |
| CN110310325B (zh) | 一种虚拟测量方法、电子设备及计算机可读存储介质 | |
| CN116205961A (zh) | 多镜头组合影像和激光雷达点云的自动配准方法及其系统 | |
| RU2735066C1 (ru) | Способ отображения широкоформатного объекта дополненной реальности | |
| EP3327662B1 (en) | Image processing device, image processing method, and program | |
| Won et al. | Active 3D shape acquisition using smartphones | |
| Zheng et al. | Pixel-wise closed-loop registration in video-based augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |