CN109801374A - 一种通过多角度图像集重构三维模型的方法、介质及系统 - Google Patents

Abstract

本发明提供了一种通过多角度图像集重构三维模型的方法、介质及系统，包括：根据预定的拍摄角度和拍摄距离，提示并获取对目标连续拍摄到的图像集；提取多张图像中目标的特征点像素在图像中的位置，计算特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标；将所有特征点像素的相对坐标拟合得到目标的重构三维模型。本发明无需赖特种激光，雷达，红外等设备，通过单一的二维图形采集设备，多次换角度拍摄目标的二维图像，经过空间几何方法计算出特征点像素的空间坐标，再进行拟合，构造出目标的三维模型，确保可靠便利，并满足曲面上高精度的要求。

Description

一种通过多角度图像集重构三维模型的方法、介质及系统

技术领域

本发明涉及测量、建模领域，具体地，涉及一种通过多角度图像集重构三维模型的方法、介质及系统。

背景技术

随着基于RGB图像测绘的应用场景需要增多，从局部测量到整体测量，从表面细节的局部测量，以及通过若干种影像比例换算来评定最佳距离，而在测绘人体场景中面临尺寸精度要求高，表面曲度变化大，环境干扰因素多等。

目前市面上主要有三种方法，(一)通过特有激光器扫描，再基于激光扫描获得的信息重新构造曲面，由多台同时扫描或单台多次变角度扫描缝合成像面；(二)通过相控雷达扫描，根据返回的若干个点的距离信息测绘面距离；(三)通过红外线光捕捉到一片片局部的深度信息后，拟合重构曲面。这三种各有优点，但在人体尺寸测绘上，在半分钟内的可接受扫描时间内，且在拍摄距离最佳的1米距离，第一种特种光学器件的造价高，精度的稳定性需通过定期人工干预调教，固定安装后单次扫描速度最快，但易受到外部环境光和物体反射干扰，需要不定期校准设备和水平；第二种的三维信息提取时间久，且曲面精度难提升，小物体表面信息遗失严重；第三种依赖专有红外特性，在现有红外传感器可靠视距范围内，拍摄物体深度信息的精度提升受硬件制约，对环境光照和拍摄目标上的色彩依存度大，需要不定期校准设备和水平。

中国发明专利CN201610791587.1公开了一种基于人体扫描仪的标定方法及人体扫描系统，通过特有多个摄像头组成的人体扫描仪器，固定在特定位置对人体采取静态扫描，仍然依赖于特有的物理设备。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种通过多角度图像集重构三维模型的方法、介质及系统。

根据本发明提供的一种通过多角度图像集重构三维模型的方法，包括步骤：

交互拍摄步骤：根据预定的拍摄角度和拍摄距离，提示并获取对目标连续拍摄到的图像集；

特征点空间坐标构造步骤：提取多张图像中目标的特征点像素在图像中的位置，计算特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标；

点云集拟合成像步骤：将所有特征点像素的相对坐标拟合得到目标的重构三维模型。

较佳的，所述交互拍摄步骤具体包括：

提示并获取预定拍摄角度和拍摄距离的连续拍摄的图像集，判断拍摄得到的每张图像是否符合要求；

在不符合要求的情况下，增强提示并获取重新拍摄的图像集，直至所有图像都符合要求。

较佳的，所述特征点空间坐标构造步骤具体包括：

根据图像的拍摄角度和拍摄距离，将图像放置在空间内，计算图像中特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标，将所有特征点像素的相对坐标加权平均换算得到加权平均后的相对坐标。

较佳的，所述点云集拟合成像步骤采用分层拟合，具体包括：

第一拟合子步骤：通过直线拟合方式拟合相邻第一距离内的特征点像素；

第二拟合子步骤：通过多顶点贝塔曲线拟合方式拟合相邻第二距离内的特征点像素；

第三拟合子步骤：通过多顶点折直线拟合方式拟合相邻第三距离内的特征点像素；

其中，第一距离的长度小于第二距离的长度，第二距离的长度小于第三距离的长度。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时上述的通过多角度图像集重构三维模型的方法的步骤。

根据本发明提供的一种通过多角度图像集重构三维模型的系统，包括：

交互拍摄模块：根据预定的拍摄角度和拍摄距离，提示并获取对目标连续拍摄到的图像集；

特征点空间坐标构造模块：提取多张图像中目标的特征点像素在图像中的位置，计算特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标；

点云集拟合成像模块：将所有特征点像素的相对坐标拟合得到目标的重构三维模型。

较佳的，所述交互拍摄模块包括：

提示并获取预定拍摄角度和拍摄距离的连续拍摄的图像集，判断拍摄得到的每张图像是否符合要求；

在不符合要求的情况下，增强提示并获取重新拍摄的图像集，直至所有图像都符合要求。

较佳的，所述特征点空间坐标构造模块包括：

根据图像的拍摄角度和拍摄距离，将图像放置在空间上，计算图像中特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标。

较佳的，所述点云集拟合成像模块采用分层拟合，具体包括：

通过直线拟合方式拟合相邻第一距离内的特征点像素；

通过多顶点贝塔曲线拟合方式拟合相邻第二距离内的特征点像素；

通过多顶点折直线拟合方式拟合相邻第三距离内的特征点像素；

其中，第一距离的长度小于第二距离的长度，第二距离的长度小于第三距离的长度。

较佳的，所述特征点空间坐标构造模块还包括：

将所有特征点像素的相对坐标加权平均换算得到加权平均后的相对坐标。

与现有技术相比，本发明具有如下的有益效果：

本发明无需赖特种激光，雷达，红外等设备，通过单一的二维图形采集设备，多次换角度拍摄目标的二维图像，经过空间几何方法计算出特征点像素的空间坐标，再进行拟合，构造出目标的三维模型，确保可靠便利，并满足曲面上高精度的要求。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的流程图；

图2、3为本发明交互拍摄的示意图；

图4为本发明特征点空间坐标构造的示意图；

图5为本发明点云集拟合成像的局部示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供的一种通过多角度图像集重构三维模型的方法，主要包括三个步骤：

交互拍摄步骤：如图2、3中的虚线所示，根据预定的拍摄角度和拍摄距离，提示并获取对目标连续拍摄到的图像集；为了更准确的实现建模，拍摄角度、距离越多越好，且需要覆盖目标的各个角度，对精度有要求的部位可以更加近距离拍摄，对精度要求低的部位，可远距离拍摄。

特征点空间坐标构造步骤：提取多张图像中目标的特征点像素在图像中的位置，计算特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标；

点云集拟合成像步骤：将所有特征点像素的相对坐标拟合得到目标的重构三维模型。

所有特征点像素的相对坐标可按OBJ格式规范，存储在文件系统中。

具体的，交互拍摄步骤具体包括：

提示并获取预定拍摄角度和拍摄距离的连续拍摄的图像集，判断拍摄得到的每张图像是否符合要求，符合要求分为像素符合度，特定部分的曲线特征信息完整度，特定部位和角度等拍摄要求符合度，环境光照等参考信息符合度，特定部位的图像锐化度符合度，图像集数量综合覆盖表面的程度，局部细节需要高清结合拍摄设备的物理传感器核定拍摄距离和方位；

在不符合要求的情况下，增强提示并获取重新拍摄的图像集，直至所有图像都符合要求。

特征点空间坐标构造步骤具体包括：

根据图像的拍摄角度和拍摄距离，将图像放置在如图4所示的空间内，具体的做法是，在首张图片拍摄后，建立一个特定的基准坐标系，后续的每一张图片，都被两个约束条件所约束，以确保坐标系的融合准确性A)根据拍摄设备本身的陀螺仪和重力传感器来做旋转和距离的推算；B)根据拍摄提示框的要求，每个目标拍摄身体部位都有特有的曲线图像特征，结合最初的基准坐标系和基准图，界定当前拍摄目标部位和角度是否满足拍摄空间要求，好让图像能放满整个空间内。计算图像中特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标，将所有特征点像素的相对坐标加权平均换算得到加权平均后的更准确的相对坐标。

如图5所示，点云集拟合成像步骤采用分层拟合，具体包括：

第一拟合子步骤：通过直线拟合方式拟合相邻第一距离内的特征点像素；

第二拟合子步骤：通过多顶点贝塔曲线：贝塔曲线是遵循了贝塔分布函数的曲线“贝塔分布(Beta Distribution)是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数”而连续多段的贝塔曲线是因为有多个相近的起始点组成的多段单条贝塔曲线构成的，从连续的形式上看类似多个顶点的一整条贝塔曲线，最后整条拟合方式拟合相邻第二距离内的特征点像素；

第三拟合子步骤：通过多顶点折直线，多个不同起始点的直线，连续拟合在一起就类似一条多段连续的多折点直线，拟合方式拟合相邻第三距离内的特征点像素；

其中，第一距离的长度小于第二距离的长度，第二距离的长度小于第三距离的长度。

实施例一，通过拍摄照片的方式：

1、在手机上根据互动提示，拍摄目标不同角度、不同距离的照片集。

2、照片集要有重叠区，确保所有照片的特征点像素能覆盖目标的重构全表面，如果部分覆盖的区域无任何标志性特征点需要借助环境和拍摄角度来增加重叠区中的特征点像素数量。

3、如果不满足拍摄距离、拍摄角度或拍摄目标时给予提醒(或者增强提醒，引导使用者更规范的操作)，确保拍摄按照程序设计的设计数据集完备。

4、提取照片中的特征点像素在超过三张图片中的对应相对位置，采用空间几何方法计算出这些像素点的三维空间的相对坐标，最终形成具有三维空间相对坐标的多个特征点像素，这些点的坐标集就是目标的点云集。

5、用点云集的坐标，分步从密集曲面区域先开始拟合，对高精度有要求的区域其次拟合，最后大片面积最后拟合，并剔除拟合过程中的噪点，完成最终整个目标的三维建模。

连续拍摄照片集是为了确保平面数据在至少3个不同角度以上拍摄过程中都存在，并且拍照覆盖了所有表面，这样借助拍摄的距离和三点定位空间几何方法，来确定主要特征点像素的相对三维空间坐标，最终形成目标表面上，主要特征点像素在新的坐标系中的相对三维空间坐标，连续拍照的数量越多，有明显内容差异的照片部分交集越多，可辨识的相对坐标关系就越多。

在获得到符合全角度清晰的连续照片集，计算得到绝大多数(超过80％以上的特征性像素)特征点像素的相对三维坐标关系，通过以下加权转换表格，加权平均换算出准确的空间坐标。

表1加权转换表格

举例一：

如果四个角度范围都有，转换后的相对坐标就是：

{[∑(2xX1,3xX2,1.5xX3,1xX4)]/7.5，[∑(2xY1,3xY2,1.5xY3,1xY4)]/7.5，[∑(2xZ1,3xZ2,1.5xZ3,1xZ4)]/7.5}。

举例二：

如果某个角度范围没有，对应减少加权值和分母数。假设如果没有(X2,Y2,Z2)和(X4,Y4,Z4)则转换相对坐标是：{[∑(2xX1,1.5xX3]/3.5，[∑(2xY1,1.5xY3)]/3.5，[∑(2xZ1，1.5xZ3)]/3.5}。

举例三：

如果某个角度范围没有，某个角度范围有多个，对应减少加权值和分母数。假设如果没有(X2,Y2,Z2)和(X4,Y4,Z4)，但有(X3,Y1,Z3)则转换相对坐标是：{[∑(2xX1,1.5xX3,1.5xX3a]/5，[∑(2xY1,1.5xY3,2xY1a)]/5.5，[∑(2xZ1,1.5xZ3,1.5xZ3a)]/5}。

实施例二，通过拍摄视频的方式：

拍摄视频的原理与上述照片的原理相同，只要视频中拍摄设备的移动速度不影响每帧画中的图像清晰度，那么按照视频由图片组成的原则，将视频先拆分成若干张满足第一条的标准要求照片集，则遵循用同样的方法构建等比例高精度三维人体模型。

在上述一种通过多角度图像集重构三维模型的方法的基础上，本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时上述的通过多角度图像集重构三维模型的方法。

在上述一种通过多角度图像集重构三维模型的方法的基础上，本发明还提供一种通过多角度图像集重构三维模型的系统，包括：

交互拍摄模块：根据预定的拍摄角度和拍摄距离，提示并获取对目标连续拍摄到的图像集；

特征点空间坐标构造模块：提取多张图像中目标的特征点像素在图像中的位置，计算特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标；

点云集拟合成像模块：将所有特征点像素的相对坐标拟合得到目标的重构三维模型。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种通过多角度图像集重构三维模型的方法，其特征在于，包括步骤：

交互拍摄步骤：根据预定的拍摄角度和拍摄距离，提示并获取对目标连续拍摄到的图像集；

特征点空间坐标构造步骤：提取多张图像中目标的特征点像素在图像中的位置，计算特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标；

点云集拟合成像步骤：将所有特征点像素的相对坐标拟合得到目标的重构三维模型。

2.根据权利要求1所述的通过多角度图像集重构三维模型的方法，其特征在于，所述交互拍摄步骤具体包括：

提示并获取预定拍摄角度和拍摄距离的连续拍摄的图像集，判断拍摄得到的每张图像是否符合要求；

在不符合要求的情况下，增强提示并获取重新拍摄的图像集，直至所有图像都符合要求。

3.根据权利要求1所述的通过多角度图像集重构三维模型的方法，其特征在于，所述特征点空间坐标构造步骤具体包括：

根据图像的拍摄角度和拍摄距离，将图像放置在空间内，计算图像中特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标，将所有特征点像素的相对坐标加权平均换算得到加权平均后的相对坐标。

4.根据权利要求1所述的通过多角度图像集重构三维模型的方法，其特征在于，所述点云集拟合成像步骤采用分层拟合，具体包括：

第一拟合子步骤：通过直线拟合方式拟合相邻第一距离内的特征点像素；

第二拟合子步骤：通过多顶点贝塔曲线拟合方式拟合相邻第二距离内的特征点像素；

第三拟合子步骤：通过多顶点折直线拟合方式拟合相邻第三距离内的特征点像素；

其中，第一距离的长度小于第二距离的长度，第二距离的长度小于第三距离的长度。

5.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4中任意一项所述的通过多角度图像集重构三维模型的方法的步骤。

6.一种通过多角度图像集重构三维模型的系统，其特征在于，包括：

交互拍摄模块：根据预定的拍摄角度和拍摄距离，提示并获取对目标连续拍摄到的图像集；

特征点空间坐标构造模块：提取多张图像中目标的特征点像素在图像中的位置，计算特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标；

点云集拟合成像模块：将所有特征点像素的相对坐标拟合得到目标的重构三维模型。

7.根据权利要求6所述的通过多角度图像集重构三维模型的系统，其特征在于，所述交互拍摄模块包括：

提示并获取预定拍摄角度和拍摄距离的连续拍摄的图像集，判断拍摄得到的每张图像是否符合要求；

在不符合要求的情况下，增强提示并获取重新拍摄的图像集，直至所有图像都符合要求。

8.根据权利要求6所述的通过多角度图像集重构三维模型的系统，其特征在于，所述特征点空间坐标构造模块包括：

根据图像的拍摄角度和拍摄距离，将图像放置在空间上，计算图像中特征点像素在空间中的相对坐标，得到所有特征点像素的相对坐标。

9.根据权利要求6所述的通过多角度图像集重构三维模型的系统，其特征在于，所述点云集拟合成像模块采用分层拟合，具体包括：

通过直线拟合方式拟合相邻第一距离内的特征点像素；

通过多顶点贝塔曲线拟合方式拟合相邻第二距离内的特征点像素；

通过多顶点折直线拟合方式拟合相邻第三距离内的特征点像素；

其中，第一距离的长度小于第二距离的长度，第二距离的长度小于第三距离的长度。

10.根据权利要求6所述的通过多角度图像集重构三维模型的系统，其特征在于，所述特征点空间坐标构造模块还包括：

将所有特征点像素的相对坐标加权平均换算得到加权平均后的相对坐标。