CN111105493A - 基于多视角立体视觉的人体手部三维采集方法 - Google Patents

Abstract

本发明公开了一种基于多视角立体视觉的人体手部三维采集方法，包括图像采集环境搭建，环形相机阵列标定，以及基于图像像素匹配生成点云的系统化方法。搭建一个适合手部图像采集的实验室环境，使用特殊笼型采集装置和灯带光源。环形标定相机阵利用SFM算法和特殊标定物估计相机的内外参数。通过颜色信息获取手部图像的二值化掩码。通过匹配算法进行图像对的匹配并恢复物体的深度信息，计算三维点云。本发明的手部三维采集方法具体、实际、有效，图像细致清晰，标定相机精度高，很好地恢复了手部三维信息。

Description

基于多视角立体视觉的人体手部三维采集方法

技术领域

本发明涉一种基于多视角立体视觉的人体手部三维采集方法，属于计算机视觉中的三维重建技术领域。

背景技术

计算机视觉中，三维重建作为其中一个重要的领域，一直备受关注。实现恢复物体三维信息的方法有很多，主要分为两大类，分别是主动方法和被动方法。主动方法是指利用如激光等发射到物体表面，利用返回的信息获取表面的深度。主要有莫尔条纹法、飞行时间法、结构光法和三角测距法等。被动方法是指通过采集物体表面的光线信息，获取图像，再利用算法计算深度信息。被动式方法设备简单，使用范围更广。

基于图像的立体视觉三维重建，主要包括双目立体视觉和多视角三维重建。其中双目立体视觉发展较早，相对成熟。由于双目立体视觉的局限性，需要更多相机视角，对生成的三维模型施加进一步约束，或者丰富更多的三维信息。多视角三维重建有基于轮廓和基于像素特征的方法。

在图像采集的环境搭建中，依据光照分为恒光照系统以及变光照系统。恒光照系统采用恒定光源提供照明，无需随光源进行特殊的控制。目前基于多视角的人体三维采集主要集中于人脸和身体，少有针对手部的三维采集。

基于图像的三维重建对图像质量和目标物体的材质纹理有很高的要求。人体皮肤颜色均一、图像特征不明显，这对基于图像的人体三维重建提出了巨大挑战。手部相对于脸部，拥有更多的重复纹理。传统的脸部重建方法基于脸部半球的几何特征，手部的三维几何结构为扁平面和细长圆柱体，传统环境搭建和重建算法不再适用于手部。基于被动式多视角方法的手部的三维信息采集有很大的挑战。

发明内容

为解决上述技术问题，本发明提供以下技术方案：

一种基于多视角立体视觉的人体手部三维采集方法，包括以下具体步骤：

步骤1，手部图像采集环境搭建，即为搭建包括升降旋转式笼型采集器、以及固定在升降旋转式笼型采集器上的相机和光源的三维重建采集系统，以采集手部图像；

步骤2，制作一个基于计算机视觉领域的随机特征的标定物体，所述标定物体由一个圆柱体侧面和一个长方形底部平面组成，圆柱体侧面放置在长方形底部平面上，圆柱体侧面的高度高于手掌长度；

步骤3，将标定物体放置在升降旋转式笼型采集器的中心，转动标定物体的同时，控制所有相机拍摄标定物体，得到若干组标定物体的图像，其中最后一组标定物体的图像设定为标定图像，其余设定为辅助图像；

步骤4，将辅助图像和标定图像同时使用SFM算法估计相机内外参数，得到标定图像对应的相机内外参数，完成相机标定；

步骤5，将被采集者的手部放置在升降旋转式笼型采集器的中心，控制所有相机拍摄被采集者的手部，得到一组同步的多视角的手部图像；

步骤6，通过步骤5采集的多视角手部图像中的颜色信息，获取其的二值化掩码；

步骤7，基于步骤4得到的标定图像对应的相机内外参数、步骤5得到的手部图像以及步骤6获取的二值化掩码，获取被采集者的手部三维点云。

进一步的，手部图像的二值化掩码，是通过基于颜色信息分割算法和人工交互修改的方式获取的，具体为：首先，将手部图像转换到YCbCr色彩空间进行阈值分割，获取初始的二值化掩码，即YCbCr色彩空间中在三个维度落在有效范围内的像素被置为255，其余置为0，Y有效范围为0-255，Cb有效范围为0-122，Cr有效范围为131-255；其次，通过人工交互修改的方式标记手部有效范围。

进一步的，图像像素匹配，是通过双目匹配算法进行图像对的匹配并恢复物体的深度信息的。

进一步的，像素匹配选用的算法是基于RGB信息的NCC(归一化互相关)模板匹配方法，得到手部正面和背面的视差深度图。在边缘匹配时，识别掩码信息，滑窗提取原图像素计算匹配NCC值时，不提取掩码外部像素，只计算掩码内部的像素。

进一步的，基于多视角立体视觉的人体手部三维采集方法所述升降旋转式笼型采集器包括笼型相机固定支架、外部升降旋转机构，所述笼型相机固定支架包括上部圆环、中部圆环、下部圆环、连接在中部和下部圆环之间的若干侧柱，连接在上部和中部圆环之间的若干斜柱，上部圆环内还连接有十字支架，相机固定在侧柱上，光源固定在十字支架上；所述外部升降旋转机构包括连接在笼型相机固定支架两侧的轴承、连接在支撑框和笼型相机固定支架之间的丝杆结构、与丝杆结构连接的支撑框。

进一步的，三维重建采集系统采集手部图像的步骤包括：多视点三维重建采集系统中的笼型相机固定支架处于高位倾斜姿态，把手部支撑架放置在笼型相机固定支架稍前方；同时调整两侧丝杆，升降笼型相机固定支架至合适高度固定；在调整笼型相机固定支架角度至45°倾斜，固定角度；根据被采集者身体结构，调整手部支撑架的位置和高度；被采集者伸出手臂，放置在手部支撑架上，使手部位于笼型相机固定支架正中采集区域，并能保持相对稳定；控制相机进行采集。

进一步的，步骤1中笼型相机固定支架上安装4个单反相机，每两个为一相机对，分别置于支架内部的正前面和正后面。

进一步的，步骤3中标定物体每转动15°，控制所有相机拍摄标定物体。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明提供的手部三维采集方法具体、实际、有效，出色地环境搭很好的适应了手部三维几何结构，确保了高质量地图像采集。创新地标定方法高精度地标定相机。改进的重建算法获取的三维点云很好地恢复了手部三维信息。

附图说明

图1是基于多视角立体视觉的人体手部三维采集方法框架示意图；

图2是采集系统示意图；

图3是特制标定物示意图；

图4是边缘匹配的效果改进示意图，(a)为改进前边缘匹配情况，(b)为改进后边缘匹配情况；

图5是手部高精度指纹细节示意图；

图6是手部三维点云示意图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明是基于多视角立体的算法，设计一套如图1所示的适用于手部三维采集的系统方法。该方法具体分为七个步骤，划分成四个部分具体实施：手部图像采集环境搭建(本发明所搭建的是CN201811487954的一种可调节多视点的三维重建采集系统，如图2所示)，相机标定，二值化掩码生成以及图像像素匹配。

手部图像采集环境搭建

在特殊的三维采集系统笼型支架内部固定相机。共使用四台佳能80D相机，分别放置在笼型支架内部的正前面和正后面，分别作为一号相机对和二号相机对，采集手部正面和背面的图像。相机通过球型云台固定在支架的滑块上，可以任意角度调整相机位置和朝向。相机通过无线快门控制同时曝光。为了提升拍摄的同步性，每两台相机通过快门线分线连接至同一无线快门接受端。经过测试，四台相机同步延迟(最先曝光与最后曝光时差)小于10ms。这样做克服了由于手部很难保持相对静止，导致的人在完成某一手部姿势时仍会有晃动的问题。避免照片模糊或者采集的图像不是同一时刻的问题。保证了深度信息计算的正确。

采集时，预先调整好相机的角度和拍摄参数，以保证采集过程曝光正确和焦点准确。

在笼型采集支架的内部四周，固定高亮LED灯带。使用LED灯带边缘在整体支架内部提供均匀的光源，这样可以避免造成大面积的阴影或者集中的阴影，达到无影照明的效果。经过测试，此种光源布置方案可以凸显手部细节纹理，提高成像质量，如图5所示。

采集时，根据被采集者的身高，调整支架到合适高度和角度，全方位采集手部图像。

该笼型支架，保证在手部周围架设相机，保证了拍摄角度，也保证了人体的其他部分不对手部造成遮挡，可以更好地获取手部整体的三维信息。

相机标定

首先制作一个基于计算机视觉领域的随机特征的标定物体，如图3所示，该标定物体被设计由两个部分组成，圆柱体侧面和底部平面，大小为整个手掌大小。本发明方案采用的是具有大量图像学特征的随机特征图案作为标定物体的表面。随机特征使用OpenCV函数库生成随机特征矩阵，保存成图像格式，再通过普通打印机打印为实体图片，称为随机特征标定纸。在具体实现中，对随机特征图像做了反转处理，生成成对的随机特征，分别放置于标定物底面和侧面圆柱。这是利用SFM特征提取对镜像特征不鲁棒的特性。标定物几何结构分为两个部分，一是底部平面，二是圆柱体侧面。底部平面和侧面圆柱均贴上随机特征标定纸。底部平面和侧面圆柱均采用亚克力塑料制作，圆柱外径150mm、高200mm。圆柱尺寸略大于手部轮廓，与相机视野相匹配，可以最大化标定精度。

标定需要先采集标定物的图像，由于算法需要密集视角的图像，本发明采集大于30个视角的标定物体的图像，用于SFM特征点提取和匹配。采集时，保持相机和笼型支架固定，转动标定物体，以改变标定物体和相机之间的角度。每个视角的变换不超过15°。该标定物体的图像为辅助标定图像，该辅助标定图像用于解决由于相机位置稀疏导致的标定失败。所有相机同步采集的最后一组标定物体的图像被设定为标定图像。运行SFM算法时将辅助标定图像和标定图像一起作为SFM算法的输入，算法提取所有图像特征点匹配并估计所有视角相机参数。标定图像对应的相机参即为获取的相机参数，作为图像像素匹配的输入。

二值化掩码

采集的手部图像，通过基于颜色信息分割算法和人工交互修改的方式获取手部图像的二值化掩码。首先，图像被转换到YCbCr色彩空间进行阈值分割。对于本发明中采集的图像，归一化到0至255，Y有效范围为0-255，Cb有效范围为0-122，Cr有效范围为131-255。即YCbCr空间中在三个维度落在有效范围内的像素被置为255(白色)，其余置为0(黑色)。算法初步获取的二值化掩码，经过人工交互修改后精确的标记了手部的有效范围。

图像像素匹配

总体来说，这一部分输入为手部图像和手部图像对应的二值化掩码以及相机参数，输出手部三维点云。

首先，选定一个相机对获取的手部图像和并通过上一步获取其二值化掩码，使用相机标定步骤得到的相机参数，对齐图像和二值化掩码，并通过坐标变换计算对齐图像后的新的相机参数。

接着，使用计算机视觉领域常用的高斯模糊的方法，生成上一步得到的对齐的手部图像和二值化掩码的图像金字塔。从低分辨率层向高分辨率层进行像素匹配，低层输出的深度图作为高层匹配的指导，每层输出的视差深度图，利用约束项排除错误匹配并迭代优化，像素匹配选用的算法是基于RGB信息的NCC(归一化互相关)模板匹配方法，得到手部正面和背面的视差深度图。

尤其需要说明的是，在边缘匹配时，识别掩码信息，滑窗提取原图像素计算匹配NCC值时，不提取掩码外部像素，只计算掩码内部的像素。通过这样限制边缘匹配滑窗获取像素的方法，提升边缘点的匹配质量，如图4中的(a)和(b)所示。原因在于，手指呈细长圆柱形，按照传统方法对掩码做图像学腐蚀处理，会丢失大量手指信息。因此本方案在具体实施中，不对掩码做图像学腐蚀，但是这样会造成的边缘误匹配。

最后，通过对齐图像后的新的相机参数和获取正面和背面的视差深度图，计算视差深度图中的像素点三维空间位置，得这个相机对获取的三维点云。

一号相机对和二号相机对分别获取手部正面和背面的三维点云，如图6所示。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.基于多视角立体视觉的人体手部三维采集方法，其特征在于，包括以下具体步骤：

步骤1，手部图像采集环境搭建：搭建包括升降旋转式笼型采集器、以及固定在升降旋转式笼型采集器上的相机和光源的三维重建采集系统，以采集手部图像；

步骤2，制作一个基于计算机视觉领域的随机特征的标定物体，所述标定物体由一个圆柱体侧面和一个长方形底部平面组成，圆柱体侧面放置在长方形底部平面上，圆柱体侧面的高度高于手掌长度；

步骤3，将标定物体放置在升降旋转式笼型采集器的中心，转动标定物体的同时，控制所有相机拍摄标定物体，得到若干组标定物体的图像，其中最后一组标定物体的图像设定为标定图像，其余设定为辅助图像；

步骤4，将辅助图像和标定图像同时使用SFM算法估计相机内外参数，得到标定图像对应的相机内外参数，完成相机标定；

步骤5，将被采集者的手部放置在升降旋转式笼型采集器的中心，控制所有相机拍摄被采集者的手部，得到一组同步的多视角的手部图像；

步骤6，通过步骤5采集的多视角手部图像中的颜色信息，获取其的二值化掩码；

步骤7，基于步骤4得到的标定图像对应的相机内外参数、步骤5得到的手部图像以及步骤6获取的二值化掩码，通过图像像素匹配，获取被采集者的手部三维点云。

2.根据如权利要求1所述的基于多视角立体视觉的人体手部三维采集方法，其特征在于，步骤6中通过基于颜色信息分割算法和人工交互修改的方式获取手部图像的二值化掩码，具体为：

首先，将手部图像转换到YCbCr色彩空间进行阈值分割，获取初始的二值化掩码，即YCbCr色彩空间中在三个维度落在有效范围内的像素被置为255，其余置为0，Y有效范围为0-255，Cb有效范围为0-122，Cr有效范围为131-255；其次，通过人工交互修改的方式标记手部有效范围。

3.根据如权利要求1所述的基于多视角立体视觉的人体手部三维采集方法，其特征在于，步骤7中通过双目匹配算法进行图像对的匹配并恢复物体的深度信息。

4.根据如权利要求1所述的基于多视角立体视觉的人体手部三维采集方法，其特征在于，图像像素匹配选用的算法是基于RGB信息的归一化互相关NCC模板匹配方法，得到手部正面和背面的视差深度图，其中，在边缘匹配时，识别掩码信息，滑窗提取原图像素计算匹配NCC值时，不提取掩码外部像素，只计算掩码内部的像素。

5.根据如权利要求1所述的基于多视角立体视觉的人体手部三维采集方法，其特征在于，所述升降旋转式笼型采集器包括笼型相机固定支架、外部升降旋转机构，所述笼型相机固定支架包括上部圆环、中部圆环、下部圆环、连接在中部和下部圆环之间的若干侧柱，连接在上部和中部圆环之间的若干斜柱，上部圆环内还连接有十字支架，相机固定在侧柱上，光源固定在十字支架上；所述外部升降旋转机构包括连接在笼型相机固定支架两侧的轴承、连接在支撑框和笼型相机固定支架之间的丝杆结构、与丝杆结构连接的支撑框。

6.根据如权利要求5所述的基于多视角立体视觉的人体手部三维采集方法，其特征在于，所述三维重建采集系统采集手部图像的步骤包括：

多视点三维重建采集系统中的笼型相机固定支架处于高位倾斜姿态，把手部支撑架放置在笼型相机固定支架稍前方；

同时调整两侧丝杆，升降笼型相机固定支架至合适高度固定；

在调整笼型相机固定支架角度至45°倾斜，固定角度；

根据被采集者身体结构，调整手部支撑架的位置和高度；

被采集者伸出手臂，放置在手部支撑架上，使手部位于笼型相机固定支架正中采集区域，并能保持相对稳定；

控制相机进行采集。

7.根据如权利要求1所述的基于多视角立体视觉的人体手部三维采集方法，步骤3中标定物体每转动15°，控制所有相机拍摄标定物体。

8.根据如权利要求1所述的基于多视角立体视觉的人体手部三维采集方法，步骤1中笼型相机固定支架上安装4个单反相机，每两个为一相机对，分别置于支架内部的正前面和正后面。

Images