CN104424630A - 三维重建方法及装置、移动终端 - Google Patents

Abstract

本发明公开了一种三维重建方法及装置、移动终端，其中，该三维重建方法包括：向物体投射线状激光；从至少两个角度连续采集被线状激光照射的物体的图像信息，并连续采集摄像头的运动信息；根据所述图像信息，得到每个采集时刻所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标；根据所述运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系以及根据所述三维坐标和所述位置关系对所述物体进行三维重建。本发明实施例的三维重建方法及装置、移动终端，可以从不同角度连续采集到物体的图像信息和连续采集摄像头的运动信息，根据采集到的信息能够对物体实现快速和全方位的三维扫描和重建。

Description

三维重建方法及装置、移动终端

技术领域

本发明涉及三维信息技术领域，尤其涉及一种三维重建方法及装置、移动终端。

背景技术

三维扫描和重建是集光、机、电和计算机技术于一体的高新技术，主要用于对物体外部结构及色彩进行扫描，以获得物体的空间坐标。其重要意义在于能够将物体的立体信息转换为计算机能直接处理的数字信号，为实物数字化提供了相当方便快捷的手段。三维扫描和重建技术在很多领域都有广泛的应用，如在工业上用于逆向工程计算，在医疗上用于面形检测，在生产中用于产品质量控制等。

现有技术中，通常采用以下两种装置实现对物体的三维扫描和重建。其一是由线激光投射器、摄像头以及外部辅助定位装置组成的手持式三维扫描装置，通过外部辅助定位装置进行激光跟踪或者在室内进行无线定位来实现三维扫描和重建。该装置的主要缺点是设备体积较大因而便携性较差，容易受空间范围限制，而且其三维重建结果没有实现颜色信息的采集，因此，颜色信息缺失严重。其二是具有后置摄像头和微型投影仪的手机，利用投射出的多幅结构光实现三维扫描和重建。该装置的主要缺点是成本比较高，而且只能测量一个面，由于没有将所采集的图像信息关联起来，因此，没有实现对物体的全方位的三维重建，也没有获得物体的颜色信息。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是如何实现一种三维重建方法和装置，可以对物体进行快速、全方位的三维扫描和重建。

解决方案

为了解决上述问题，在第一方面，本发明提出了一种三维重建方法，包括：向物体投射线状激光；从至少角度连续采集被线状激光照射的物体的图像信息，并连续采集摄像头的运动信息；根据所述图像信息，得到每个采集时刻所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标；根据所述运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系；以及根据所述三维坐标和所述位置关系对所述物体进行三维重建。

结合第一方面，在一种可能的实现方式中，所述根据所述图像信息，得到每个采集时刻所述物体在相应采集时刻的摄像头坐标系下的三维坐标之前，所述方法还包括：标定所述摄像头的内参数和外参数；则所述根据所述图像信息得到每个采集时刻所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标包括：根据每个采集时刻采集到的所述图像信息以及所述内参数和外参数，换算出所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标。

结合第一方面，在一种可能的实现方式中，所述运动信息包括加速度、角速度以及航向，所述根据所述运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系包括：根据加速度、角速度以及航向，采用航位推算法推算出所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。

结合第一方面，在一种可能的实现方式中，所述根据所述三维坐标和所述位置关系对所述物体进行三维重建包括：根据所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，将物体在对应于每个采集时刻的摄像头坐标系下的三维坐标转换成全局三维坐标系下的三维坐标。

结合第一方面，在一种可能的实现方式中，在所述根据所述三维坐标和所述位置关系对所述物体进行三维重建之后，所述方法还包括：计算不同采集时刻的摄像头坐标系之间的相对关系，根据所述相对关系建立不同采集时刻的所述物体的图像信息之间的映射关系。

结合第一方面，在一种可能的实现方式中，所述根据所述相对关系建立不同采集时刻的所述物体的图像信息的映射关系，包括：将第i-1采集时刻所述物体扫描线上的点在摄像头坐标系下的三维坐标映射到第i采集时刻下的摄像头坐标系中，计算所述点在第i采集时刻下的图像坐标，根据所述点在第i采集时刻下的图像坐标得到所述点的像素值，其中，i为大于1的任意整数。

结合第一方面，在一种可能的实现方式中，所述建立不同采集时刻的物体的图像信息的映射关系之后还包括：将三维重建的结果与建立映射关系的结果进行融合。

在第二方面，本发明提出了一种三维重建装置，包括：线激光投射器，用于向物体投射线状激光；摄像头，用于从不同角度连续采集被所述线状激光照射的所述物体的图像信息；传感器，用于连续采集所述摄像头的运动信息；以及处理器，与所述摄像头、所述线性激光投射器以及传感器连接，所述处理器包括：图像信息处理模块，用于根据所述图像信息，得到每个采集时刻所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标；运动信息处理模块，用于根据所述运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系；以及三维重建模块，用于根据所述三维坐标和所述位置关系，对所述物体进行三维重建。

结合第二方面，在一种可能的实现方式中，所述处理器还包括标定模块，用于标定所述摄像头的内参数和外参数；则所述图像信息处理模块具体用于根据每个采集时刻采集到的所述图像信息以及所述内参数和外参数，计算出所述物体在对应于每个采集时刻的所述摄像头坐标系下的三维坐标。

结合第二方面，在一种可能的实现方式中，所述运动信息包括加速度、角速度以及航向，所述运动信息处理模块具体用于根据所述加速度、角速度以及航向，采用航位推算法推算出所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。

结合第二方面，在一种可能的实现方式中，所述三维重建模块具体用于根据所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，将物体在对应于每个采集时刻的摄像头坐标系下的三维坐标转换成全局三维坐标系下的三维坐标。

结合第二方面，在一种可能的实现方式中，所述处理器还包括色彩映射还原模块，用于计算不同采集时刻的各所述摄像头坐标系之间的相对关系，根据所述相对关系建立不同采集时刻的所述物体的图像信息之间的映射关系。

结合第二方面，在一种可能的实现方式中，所述色彩映射还原模块具体用于将第i-1采集时刻所述物体扫描线上的点在摄像头坐标系下的三维坐标映射到第i采集时刻下的摄像头坐标系中，计算所述点在第i采集时刻下的图像坐标，根据所述点在第i采集时刻下的图像坐标得到所述点的像素值，其中，i为大于1的任意整数。

结合第二方面，在一种可能的实现方式中，所述处理器还包括融合模块，用于将三维重建的结果与建立映射关系的结果进行融合。

在第三方面，本发明提供了一种移动终端，所述移动终端包括上述三维重建装置。

有益效果

本发明实施例的三维重建方法及装置、移动终端，可以从不同角度连续采集到的物体的图像信息和连续采集摄像头的运动信息，根据采集到的信息能够对物体实现快速和全方位的三维扫描和重建。

根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

图1示出了本发明一个实施例提供的三维重建方法的流程图；

图2示出了本发明另一个实施例提供的三维重建方法的流程图；

图3示出了本发明又一个实施例提供的三维重建方法的流程图；

图4示出了本发明又一个实施例提供的色彩映射还原方法的示意图；

图5示出了本发明一个实施例提供的三维重建装置的结构框图；

图6示出了图4中线激光投射器的线激光工作原理的示意图；

图7示出了本发明另一个实施例提供的移动终端三维扫描原理的示意图；

图8示出了本发明又一个实施例提供的三维重建装置的结构框图；

图9示出了本发明又一个实施例提供的三维重建装置的结构框图；

图10示出了本发明又一个实施例提供的三维重建装置的结构框图。

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有这些具体细节，本发明同样可以实施。在另外一些实例中，对于大家熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

为了便于理解，将首先介绍本发明所基于的线结构光视觉检测基本原理，本发明所涉及的几种坐标系及各坐标系坐标之间的关系。

一、线结构光视觉检测基本原理

进行三维扫描时，首先由激光投射器向物体投射线状激光，投射的线状激光形成一个激光投射平面，激光平面投射与物体表面相交时，会在物体表面形成一条亮的扫描线，即光条。由于光条包含了激光投射平面与物体相交的所有表面点，因此根据光条的坐标可以得到物体的相应的表面点的三维坐标(x_w,y_w,z_w)。该三维坐标映射到激光投射平面上，则得到光条的二维图像，光条的二维图像上的点坐标记为(u,v)，根据二维图像的点坐标(u,v)即可以计算出其对应的物体表面点的三维坐标(x_w,y_w,z_w)，这就是线结构光视觉检测基本原理。上述计算三维坐标(x_w,y_w,z_w)的过程如式1所示。

(x_w,y_w,z_w)=f(u,v)    式1

二、常用坐标系及其相互关系

（1）图像坐标系

摄像头采集的数字图像在计算机内可以存储为数组，数组中的每一个元素(像素，pixel)的值即图像点的亮度(灰度)，在图像上定义直角坐标系u,v作为图像坐标系，该图像坐标系上的像素(u,v)分别是该像素在数组中的列数和行数，故(u,v)是以像素为单位的图像坐标系的坐标。由于图像坐标系只表示像素位于数字图像的列数和行数，并没有用物理单位表示出该像素在图像中的物理位置，因而需要再建立以物理单位(例如厘米)表示的图像坐标系，以物理单位度量的图像坐标系的坐标采用(x,y)来表示。在该坐标系中，原点O定义在摄像头光轴和图像平面的交点处，称为图像的主点，原点一般位于图像中心处，且x轴和y轴通常分别与直角坐标系的u轴和v轴平行。若O在u,v坐标系下的坐标为(u₀,v₀)，每一像素在x轴和y轴方向上的物理尺寸分别为dx、dy，则图像中任意一个像素在两个坐标系下的坐标的关系如式2。

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/\mathrm{dx}& 0& u_0\\ 0& 1/\mathrm{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$ 式2

（2）摄像头坐标系

摄像头坐标系坐标采用（X_c,Y_c,Z_c）来表示。该坐标系以摄像头光心O_c为原点，X_c轴和Y_c轴分别与图像坐标系的x轴和y轴平行，Z_c轴为摄像头的光轴，与图像平面垂直。光轴与图像平面的交点为图像坐标系的原点，由摄像头光心与X_c,Y_c,Z_c轴组成的直角坐标系称为摄像头坐标系。O_cO为摄像头焦距f。摄像头坐标系与图像坐标系之间的关系可以由式3和式4来表示：

$x=\frac{{\mathrm{fX}}_c}{Z_c}$ 式3

$y=\frac{{\mathrm{fY}}_c}{Z_c}$ 式4

式3和式4可以由齐次坐标与矩阵表示为式5：

$Z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$ 式5

（3）全局三维坐标系

由于摄像头可安装在任何位置，因此还需要选择一个基准坐标系来描述摄像头的位置，并用其描述环境中任何物体的位置，本申请中选用世界坐标系作为基准坐标系，世界坐标系也称为全局三维坐标系O_w-X_wY_wZ_w，该全局三维坐标系可以任意指定。

实施例1

图1示出了本发明一个实施例提供的三维重建方法的流程图。如图1所示，该三维重建方法主要包括：

步骤S100、向物体投射线状激光；

步骤S110、从至少两个角度连续采集被线状激光照射的物体的图像信息，并连续采集摄像头的运动信息；

步骤S120、根据采集到的图像信息，得到每个采集时刻该物体在对应于每个采集时刻的摄像头坐标系下的三维坐标；

步骤S130、根据采集到的运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系；以及

步骤S140、根据上述三维坐标和位置关系对物体进行三维重建。

具体地，该摄像头可以内置于三维重建装置中，该三维重建装置可以为移动终端例如智能手机，在其上可以安装一个线激光投射器，这个线激光投射器可以与移动终端的外部接口例如音频接口相连，当需要对物体进行三维扫描和重建时，线激光投射器控制线状光源向物体发射线状激光，线状激光是指与被通过一个激光投射平面，投射在物体上时，在物体形成一条亮线。因此，当向物体发射线状激光时，会形成一个激光投射平面。激光投射平面与物体相交形成一条亮的扫描线，即光条。然后，内置于三维重建装置的摄像头会在预定的时间长度范围内例如0.5秒内连续采集反射回来的物体的扫描线的图像信息，并且在上述时间长度范围内通过内置于三维重建装置上的传感器连续采集摄像头的运动信息，该运动信息主要可以包括加速度、角速度以及航向等，三维重建装置可以用该运动信息来确定摄像头在空间的位置和姿态。然后，三维重建装置对每个采集时刻所采集到的图像信息和运动信息做相应的处理，具体为根据每个采集时刻所采集到的图像信息，得到每个采集时刻物体在对应于每个采集时刻的摄像头坐标系下的三维坐标。例如，可以根据在T1采集时刻所采集到的图像信息，得到物体在T1采集时刻的摄像头坐标系下的三维坐标；根据在T2采集时刻所采集到的图像信息，得到物体在T2采集时刻的摄像头坐标系下的三维坐标，以此类推，就可得到每个采集时刻物体在对应于每个采集时刻的摄像头坐标系下的三维坐标。根据每个采集时刻所采集到的运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。例如，可以根据在T1采集时刻所采集到的运动信息，得到T1采集时刻的摄像头坐标系相对全局三维坐标系的位置关系；可以根据在T2采集时刻所采集到的运动信息，得到T2采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，以此类推，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。在一种可能的实现方式中，可以将启动三维扫描和重建时的摄像头坐标系设定为全局三维坐标系。最后，根据所得到的每个采集时刻物体在对应于每个采集时刻的摄像头坐标系下的三维坐标以及每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，得到物体的全局三维坐标，从而对物体进行三维重建。

优选地，可以控制三维重建装置绕物体一周连续采集物体的图像信息，从而实现连续、全方位的采集物体的图像信息。

进一步地，为提高扫描重建的速度和效率，采集图像信息与采集运动信息可以同时进行。

本发明实施例的三维重建方法，三维重建装置可以从不同角度连续采集到的物体的图像信息和连续采集摄像头的运动信息，根据采集到的信息能够对物体实现快速和全方位的三维扫描和重建。

实施例2

图2示出了本发明另一个实施例提供的三维重建方法的流程图。图2与图1标号相同的步骤具有相同的含义，如图2所示，本实施例与上一实施例的主要区别在于，上述根据采集到的图像信息，得到每个采集时刻该物体在对应于每个采集时刻的摄像头坐标系下的三维坐标之前，所述方法还包括：

步骤S200、标定摄像头的内参数和外参数。

相应地，上述根据采集到的图像信息，得到每个采集时刻该物体在对应于每个采集时刻的摄像头坐标系下的三维坐标具体可以包括：

步骤S210、根据每个采集时刻采集到的图像信息以及上述内参数和外参数，计算出该物体在对应于每个采集时刻的摄像头坐标系下的三维坐标。

对于上述步骤S200，在确定物体在摄像头坐标系下的三维坐标之前，需要首先对摄像头的内参数和外参数进行标定。其中，内参数反映的是摄像头本身的内在属性，外参数表示的是模块坐标系与摄像头坐标系的位置关系。其中，模块坐标系O_L-X_LY_LZ_L的O_L-X_LY_L坐标面为激光投射平面，O_LZ_L与激光投射平面正交。外参数通常可以由旋转矩阵R和平移向量T来表示，R表示模块坐标系相对于摄像头坐标系的旋转，R是3×3正交单位矩阵，记为

$R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]$ 式6

其中，(r₁,r₄,r₇)、(r₂,r₅,r₈)及(r₃,r₆,r₉)分别表示模块坐标系O_L-X_LY_LZ_L上X_L轴、Y_L轴、Z_L轴上的单位向量。T表示摄像头坐标系相对于模块坐标系的平移，T是3维平移向量，记为

$T=\left[\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right]$ 式7

其中，T_x、T_y以及T_z为模块坐标系原点在摄像头坐标系下的坐标。

对于上述步骤S210，在三维重建装置连续扫描物体的过程中，根据内参数对采集到的各图像信息进行校正，并逐行计算光条的中心，得到光条中心的坐标数组，即得到一组光条中心的图像坐标，根据每个光条中心的图像坐标及标定的内参数和外参数，计算出其映射在模块坐标系下的坐标，进而计算出其在对应于每个采集时刻的摄像头坐标系下的三维坐标。根据一组光条中心的图像坐标就可以计算出物体整个扫描线的在摄像头坐标系下的三维坐标，连续扫描物体，重复利用上述方法就可以计算出整个物体在摄像头坐标系下的三维坐标。下面以某个光条中心为例来说明上述方法，假设在T1采集时刻，计算出的某光条中心的坐标为（x,y），映射在T1采集时刻模块坐标系下的坐标为(x_L,y_L,z_L)（其中z_L=0），而在T1采集时刻摄像头坐标系下的坐标为(x_C,y_C,z_C)，则根据式8可以由光条中心的坐标（x,y）计算出映射在T1采集时刻模块坐标系下的坐标(x_L,y_L,z_L)；

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{fr}}_1& {\mathrm{fr}}_2& {\mathrm{fT}}_x\\ {\mathrm{fr}}_4& {\mathrm{fr}}_5& {\mathrm{fT}}_y\\ r_7& r_8& T_z\end{array}\right]\left[\begin{array}{c}{x}_L\\ y_L\\ 1\end{array}\right]$ 式8

根据式9可以由模块坐标系下的坐标(x_L,y_L,z_L)换算得到其映射在T1采集时刻的摄像头坐标系下的坐标(x_C,y_C,z_C)。

$\left[\begin{array}{c}{x}_C\\ y_C\\ z_C\end{array}\right]=R\left[\begin{array}{c}{x}_L\\ y_L\\ z_L\end{array}\right]+T$ 式9

重复使用上述计算方法就可以计算得到整个物体在每个采集时刻摄像头坐标系下的三维坐标。

在一种可能的具体实施方式中，所述运动信息包括加速度、角速度以及航向，上述根据采集到的运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系具体可以包括：

步骤S220、根据所述加速度、角速度以及航向，采用航位推算法推算出每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。

具体地，在三维重建装置连续扫描物体的过程中，通过传感器可以得到每一采集时刻的摄像头的运动信息。该传感器主要可以包括三轴加速度传感器、三轴陀螺仪以及三轴电子罗盘。三轴加速度传感器主要用于测量摄像头的三轴加速度，三轴陀螺仪主要用于测量摄像头的三轴角速度，三轴电子罗盘主要用于测量摄像头的三轴航向。例如，在第k个采集时刻，三轴加速度传感器可以测量出摄像头的三轴加速度，三轴陀螺仪可以测量出摄像头的三轴角速度，三轴电子罗盘可以测量出摄像头的三轴航向，然后利用航位推算法即可推导出在第k个采集时刻摄像头坐标系相对全局三维坐标系的位置关系。具体地，在第k个采集时刻，三轴加速度传感器可以测量出摄像头的三轴加速度分别为a_x,a_y,a_z，通过对三轴加速度a_x,a_y,a_z分别进行二重积分可以得到三轴的位移x,y,z;然后通过差分可以得到相邻两个测量时刻三维重建装置的三轴位移Δx,Δy,Δz和三轴旋转角度Δθ,Δφ。具体计算步骤如式10-12。

v_x(k)=v_x(k-1)+Δt*a_x(k-1)

v_y(k)=v_y(k-1)+Δt*a_y(k-1)    式10

v_z(k)=v_z(k-1)+Δt*a_z(k-1)

Δx=x(k)-x(k-1)=Δt*v_x(k-1)

Δy=y(k)-y(k-1)=Δt*v_y(k-1)    式11

Δz=z(k)-z(k-1)=Δt*v_z(k-1)

Δθ=θ(k)-θ(k-1)=Δt*ω_θ(k-1)    式12

Δφ=φ(k)-φ(k-1)=Δt*ω_φ(k-1)

其中，Δt为采样间隔，即为第k个采集时刻和第k-1个采集时刻的间隔。

相邻两个测量时刻摄像头坐标系的相对位置关系可以用旋转和平移表示，具体如下式13、14。

$\left[\begin{array}{c}{X}_{k-1}\\ Y_{k-1}\\ Z_{k-1}\end{array}\right]=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{X}_k\\ Y_k\\ Z_k\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δx}\\ \mathrm{\Δy}\\ \mathrm{\Δz}\end{array}\right]$ 式13

r₁₁=cosΔφcosΔθ

r₂₁=sinΔφcosΔθ

式14

r₃₁=-sinΔθ

其中， $\left[\begin{array}{c}{X}_{k-1}\\ Y_{k-1}\\ Z_{k-1}\end{array}\right],$ $\left[\begin{array}{c}{X}_k\\ Y_k\\ Z_k\end{array}\right]$ 表示物体在第k-1采集时刻、第k采集时刻的摄像头坐标系下的坐标。

通过多次迭代，可以得到当前测量时刻摄像头坐标系相对全局三维坐标系的相对位置关系。同理，可以根据所测量到每个采集时刻摄像头的加速度、角速度，同样可以利用航位推算法推算出对应于每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。这样，就可以得到不同采集时刻摄像头坐标系的相对位置关系，从而得到一个连续的摄像头坐标系序列。其中，可以通过三轴角速度推算出三轴旋转角度，也可以通过三轴航向推算出三轴旋转角度。

在一种可能的具体实施方式中，上述根据三维坐标和位置关系对物体进行三维重建包括：

步骤S230、根据每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，将物体在对应于每个采集时刻的摄像头坐标系下的三维坐标转换成全局三维坐标系下的三维坐标。

对于上述步骤S230，在步骤S210得到每个采集时刻物体在对应于每个采集时刻的摄像头坐标系下的三维坐标以及步骤S220得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系后，就可以换算出每个采集时刻物体在全局三维坐标系下的三维坐标，从而进行物体的三维重建。

本发明实施例的三维重建方法，三维重建装置可以从不同角度连续采集到物体的图像信息，得到每个采集时刻该物体在对应于每个采集时刻的摄像头坐标系下的三维坐标以及连续采集摄像头的运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，从而实现对物体快速和全方位的三维扫描和重建。

实施例3

图3示出了本发明又一个实施例提供的三维重建方法的流程图。图3与图1、图2标号相同的步骤具有相同的含义，如图3所示，本实施例与上一实施例的主要区别在于，在所述根据所述三维坐标和所述位置关系对物体进行三维重建之后，所述方法还包括：

步骤S240、计算不同采集时刻的各摄像头坐标系之间的相对关系，根据该相对关系建立不同采集时刻的物体的图像信息之间的映射关系。

具体地，如图4所示，根据上述步骤S220，可以得到一个连续的摄像头坐标系序列，即可以得到任意两个采集时刻下摄像头坐标系的相对位置关系，例如，任取两个采集时刻T0、T1，这两个采集时刻的摄像头坐标系之间的相对位置关系可以用旋转矩阵H₀和平移矩阵G₀来表示，其中，H₀为3*3旋转矩阵，G₀为3*1平移矩阵。在T0采集时刻，物体上的扫描线上的某一被测点被线状激光所覆盖，其在摄像头坐标系下的三维坐标为P₀(x₀,y₀,z₀)；在T1采集时刻，该被测点显现自身真实颜色，假设该被测点在T1采集时刻的摄像头坐标系下的三维坐标为P₁(x₁,y₁,z₁)，该被测点在两个采集时刻摄像头坐标系下的映射关系如式15。

$\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]=H_0\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right]+G_0$ 式15

根据式10，可以得到P₁(x₁,y₁,z₁)，若该被测点在T1时刻的图像坐标为S(X₁,Y₁)，则将P₁(x₁,y₁,z₁)代入上述式3和式4可计算出S(X₁,Y₁)，最后，根据式2就可以得到该坐标的像素值，从而得到该被测点的真实颜色信息,即能实现被测点的色彩还原，遍历该扫描线上的被测点即可实现整个扫描线的色彩还原。

同理，记录物体的扫描线上的某一被测点在T1采集时刻下的摄像头坐标系坐标，若T1、T2采集时刻下两摄像头坐标系之间的相对位置关系用旋转矩阵H₁和平移矩阵G₁来表示，则将H₁、G₁分别替代H₀、G₀，将物体的扫描线上的某一被测点在T1采集时刻下的摄像头坐标系坐标替代P₀(x₀,y₀,z₀)，根据式10同样可以得到T1采集时刻的某被测点在T2采集时刻的摄像头坐标系下的坐标，从而得到该被测点在T2采集时刻的图像坐标，进一步地根据式2可以得到该图像坐标的像素值，从而得到该被测点的真实颜色信息,即能实现被测点的色彩还原，遍历该扫描线上的点即可实现整个扫描线的色彩还原。依此类推，循环采用上述方法即可实现整个物体的色彩还原。

优选地，在一种可能的具体实现方式中，步骤S240所选的两个采集时刻可以为相邻的采集时刻。从而提高被测点的色彩还原精度。

在一种可能的实现方式中，所述建立不同采集时刻的物体的图像信息的映射关系之后还包括：

步骤S250、将三维重建的结果与建立映射关系的结果进行融合。

具体地，将三维重建的结果，即物体上每个被测点对应的位置和建立映射关系的结果，即色彩还原中每个被测点的颜色对应起来，从而实现物体的三维重建和色彩还原。

本实施例提供的三维重建方法，通过建立相邻采集时刻的图像信息的映射关系，能够实现物体的彩色纹理的还原。

实施例4

图5示出了本发明一个实施例提供的三维重建装置的结构框图。如图5所示，该三维重建装置100主要包括：摄像头41、传感器42、处理器43以及线激光投射器44。上述三维重建装置可以为一个移动终端。线激光投射器44主要用于向物体投射线状激光；摄像头41主要用于从至少两个角度连续采集物体被线状激光照射的图像信息；传感器42主要用于连续采集摄像头41的运动信息；处理器43分别与摄像头41和传感器42以及线激光投射器44连接，可以包括以下模块：图像信息处理模块431、运动信息处理模块432、三维重建模块433。图像信息处理模块431主要用于根据摄像头41所采集到的图像信息，得到每个采集时刻物体在对应于每个采集时刻的摄像头坐标系下的三维坐标；运动信息处理模块432主要用于根据该运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系；三维重建模块433主要用于根据所述三维坐标和所述位置关系，对物体进行三维重建。

具体地，摄像头41、传感器42以及处理器43均可以内置于三维重建装置100中，该三维重建装置100可以为移动终端例如智能手机在其上可以安装一个线激光投射器44。线激光投射器44可以与移动终端的外部接口例如音频接口相连。还可以设置一个三维扫描控制开关来控制三维重建装置进行三维扫描，当需要对物体进行三维扫描和重建时，利用三维扫描控制开关启动三维扫描，线激光投射器44控制线状光源向物体发射线激光，形成一个激光投射平面。

图6为线激光投射器44的线激光工作原理的示意图，如图6所示，以安装在智能手机上的线激光投射器44为例介绍线激光工作原理。线激光投射器44安装在智能手机上，与智能手机的外部接口例如音频接口相连，当需要对物体进行三维扫描和重建时，利用三维扫描控制开关启动三维扫描，智能手机的左声道或者右声道产生一定频率的方波，经过线激光投射器44内置的微型变压器441和整流器442为其激光二极管443供电，然后柱面镜444将激光二极管443发射的激光变为线状激光，激光投射平面与物体相交形成一条亮的扫描线，即光条，即可启动三维扫描。包括：摄像头41采集反射回来的物体的图像信息，传感器42采集摄像头的运动信息。

优选地，可以控制三维重建装置绕物体一周，这样摄像头41就可以连续采集物体的图像信息，从而实现连续、全方位的采集物体的图像信息。

进一步地，为提高扫描重建的速度和效率，摄像头41采集图像信息与传感器42采集运动信息可以同时进行。

图7为移动终端三维扫描和重建的原理示意图。如图7所示，移动终端主要可以包括摄像头、线激光投射器，音频接口以及传感器。上述线激光投射器可以外接在音频接口上。可以通过移动移动终端来实现全面、连续、快速的采集物体的图像信息以及摄像头的运动信息，从而计算出物体在全局三维坐标系下的坐标，最后实现物体的三维扫描和重建。

本发明实施例的三维重建装置，可以从不同角度连续采集到的物体的图像信息和连续采集摄像头的运动信息，根据采集到的信息能够对物体实现快速和全方位的三维扫描和重建。

实施例5

图8示出了本发明又一个实施例提供的三维重建装置的结构框图。图8与图5标号相同的组件具有相同的功能，如图8所示，本实施例与上一实施例的主要区别在于，本实施例的三维重建装置200的处理器43还可以包括标定模块434，该标定模块434主要用于标定摄像头41的内参数和外参数。相应地，图像信息处理模块431具体可以用于根据摄像头41每个采集时刻采集到的图像信息以及内参数和外参数，换算出该物体在对应于每个采集时刻的摄像头坐标系下的三维坐标。

具体地，图像信息处理模块431在确定物体在对应于每个采集时刻的摄像头坐标系下的三维坐标之前，需要首先利用标定模块434对摄像头41的内参数和外参数进行标定。其中，内参数和外参数的定义可以参照上述实施例的相关说明。之后，图像信息处理模块431可以内参数对采集到的各图像信息进行校正，识别并计算出光条中心的图像坐标，利用光条中心的图像坐标，并根据标定模块434标定的内参数和外参数计算出物体在激光投射平面下的坐标以及物体在相应采集时刻的摄像头坐标系下的三维坐标。

在一种可能的具体实施方式中，所述运动信息包括加速度、角速度以及航向，运动信息处理模块432具体可以用于根据所述加速度、角速度以及航向，采用航位推算法推算出每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。

具体地，在三维重建装置连续扫描物体的过程中，三维重建装置通过传感器42得到每一采集时刻的摄像头41的运动信息。该传感器42具体可以包括三轴加速度传感器421、三轴陀螺仪422以及三轴电子罗盘423。三轴加速度传感器421主要用于测量摄像头41的加速度，三轴陀螺仪422主要用于测量摄像头41的角速度，三轴电子罗盘423用于测量摄像头41的航向。然后根据所测量到的摄像头41的加速度、角速度以及航向，利用航位推算法推算出每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，这样，就可以得到不同采集时刻摄像头坐标系的相对位置关系，从而得到一个连续的摄像头坐标系序列。

在一种可能的具体实施方式中，三维重建模块433具体可以用于根据摄像头坐标系相对全局三维坐标系的位置关系，将每个采集时刻物体在对应于每个采集时刻的摄像头坐标系下的三维坐标转换成全局三维坐标系下的三维坐标，从而进行物体的三维重建。

本发明实施例的三维重建装置，可以从不同角度连续采集到的物体的图像信息，得到每个采集时刻该物体在对应于每个采集时刻的摄像头坐标系下的三维坐标以及连续采集摄像头的运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，从而实现对物体快速和全方位的三维扫描和重建。

实施例6

图9示出了本发明又一个实施例提供的三维重建装置的结构框图。图9与图8、图5标号相同的组件具有相同的功能，如图9所示，本实施例与上一实施例的主要区别在于，本实施例的三维重建装置300中处理器43还包括色彩映射还原模块435，色彩映射还原模块435主要用于计算不同采集时刻的各所述摄像头坐标系之间的相对关系，根据该相对关系建立不同采集时刻的物体的图像信息的映射关系。

具体地，根据运动信息处理模块432的处理结果，可以得到一个连续的摄像头坐标系序列，任取两个采集时刻的摄像头坐标系，两个摄像头坐标系之间的相对关系以及实现被测点的色彩还原方法具体可以参照上述实施例中的相关描述。

优选地，在一种可能的具体实现方式中，色彩映射还原模块435所选的两个采集时刻可以为相邻时刻，从而实现该被测点的彩色还原，从而被整个扫描线的彩色还原，进而实现整个物体的彩色还原。

在一种可能的具体实现方式中，处理器43还可以包括融合模块436，融合模块436主要用于将三维重建的结果与建立映射关系的结果进行融合。

本实施例提供的三维重建装置，可以通过建立相邻采集时刻的图像信息的映射关系，能够实现物体的彩色纹理的还原。

需要说明的是，上述摄像头、传感器、处理器均可以内置于三维重建装置，且上述线激光投射器也可以安装在三维重建装置上，三维重建装置可以为移动终端，例如智能手机、PAD等。这样，本申请中的三维重建装置具有便携性的优点。

实施例7

图10示出了本发明又一个实施例提供的三维重建装置的结构框图。所述三维重建装置700可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算节点的具体实现做限定。

所述三维重建装置700包括处理器(processor)710、通信接口(Communications Interface)720、存储器(memory array)730和总线740。其中，处理器710、通信接口720、以及存储器730通过总线740完成相互间的通信。

通信接口720用于与网元通信，其中网元包括例如虚拟机管理中心、共享存储等。

处理器710用于执行程序。处理器710可能是一个中央处理器CPU，或者是专用集成电路ASIC（Application Specific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器730用于存放文件。存储器730可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器730也可以是存储器阵列。存储器730还可能被分块，并且所述块可按一定的规则组合成虚拟卷。

在一种可能的实现方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于执行以下步骤：

向物体投射线状激光；

从至少角度连续采集被线状激光照射的物体的图像信息，并连续采集摄像头的运动信息；

根据所述图像信息，得到每个采集时刻所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标；

根据所述运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系；以及

根据所述三维坐标和所述位置关系对所述物体进行三维重建。

在一种可能的实现方式中，所述根据所述图像信息，得到每个采集时刻所述物体在相应采集时刻的摄像头坐标系下的三维坐标之前，上述程序还包括：标定所述摄像头的内参数和外参数；则所述根据所述图像信息得到每个采集时刻所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标包括：根据每个采集时刻采集到的所述图像信息以及所述内参数和外参数，换算出所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标。

在一种可能的实现方式中，所述运动信息包括加速度、角速度以及航向，所述根据所述运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系包括：根据加速度、角速度以及航向，采用航位推算法推算出所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。

在一种可能的实现方式中，所述根据所述三维坐标和所述位置关系对所述物体进行三维重建包括：根据所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，将物体在对应于每个采集时刻的摄像头坐标系下的三维坐标转换成全局三维坐标系下的三维坐标。

在一种可能的实现方式中，所述根据所述三维坐标和所述位置关系对所述物体进行三维重建之后还包括：计算不同采集时刻的摄像头坐标系之间的相对关系，根据所述相对关系建立不同采集时刻的所述物体的图像信息之间的映射关系。

在一种可能的实现方式中，所述根据所述相对关系建立不同采集时刻的所述物体的图像信息的映射关系，包括：将第i-1采集时刻所述物体扫描线上的点在摄像头坐标系下的三维坐标映射到第i采集时刻下的摄像头坐标系中，计算所述点在第i采集时刻下的图像坐标，根据所述点在第i采集时刻下的图像坐标得到所述点的像素值，其中，i为大于1的任意整数。

在一种可能的实现方式中，所述建立不同采集时刻的物体的图像信息的映射关系之后还包括：将三维重建的结果与建立映射关系的结果进行融合。

本领域普通技术人员可以意识到，本文所描述的实施例中的各示例性单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时，则在一定程度上可认为本发明的技术方案的全部或部分（例如对现有技术做出贡献的部分）是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的存储介质中，包括若干指令用以使得计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种三维重建方法，其特征在于，包括：

向物体投射线状激光；

从至少两个角度连续采集所述线状激光照射的所述物体的图像信息，并连续采集摄像头的运动信息；

根据所述图像信息，得到每个采集时刻所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标；

根据所述运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系；以及

根据所述三维坐标和所述位置关系对所述物体进行三维重建。

2.根据权利要求1所述的三维重建方法，其特征在于，所述根据所述图像信息，得到每个采集时刻所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标之前，所述方法还包括：

标定所述摄像头的内参数和外参数；

则所述根据所述图像信息得到每个采集时刻所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标包括：

根据每个采集时刻采集到的所述图像信息以及所述内参数和外参数，计算所述物体在对应于每个采集时刻的摄像头坐标系下的三维坐标。

3.根据权利要求2所述的三维重建方法，其特征在于，所述运动信息包括加速度、角速度以及航向，所述根据所述运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系包括：

根据所述加速度、角速度以及航向，采用航位推算法计算所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。

4.根据权利要求3所述的三维重建方法，其特征在于，所述根据所述三维坐标和所述位置关系对所述物体进行三维重建包括：

根据所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，将物体在对应于每个采集时刻的摄像头坐标系下的三维坐标转换成全局三维坐标系下的三维坐标。

5.根据权利要求1-4中任一项所述的三维重建方法，其特征在于，在所述根据所述三维坐标和所述位置关系对所述物体进行三维重建之后，所述方法还包括：

计算不同采集时刻的摄像头坐标系之间的相对关系，根据所述相对关系建立不同采集时刻的所述物体的图像信息之间的映射关系。

6.根据权利要求5所述的三维重建方法，其特征在于，所述根据所述相对关系建立不同采集时刻的所述物体的图像信息的映射关系，包括：

将第i-1采集时刻所述物体扫描线上的点在摄像头坐标系下的三维坐标映射到第i采集时刻下的摄像头坐标系中，计算所述点在第i采集时刻下的图像坐标，根据所述点在第i采集时刻下的图像坐标得到所述点的像素值，其中，i为大于1的任意整数。

7.一种三维重建装置，其特征在于，包括：

线激光投射器，用于向物体投射线状激光；

摄像头，用于从至少两个角度连续采集被所述线状激光照射的所述物体的图像信息；

传感器，用于连续采集所述摄像头的运动信息；以及

处理器，与所述摄像头、线性激光投射器以及传感器连接，所述处理器包括：

图像信息处理模块，用于根据所述图像信息，得到每个采集时刻所述物体在对于于每个采集时刻的摄像头坐标系下的三维坐标；

运动信息处理模块，用于根据所述运动信息，得到每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系；以及

三维重建模块，用于根据所述三维坐标和所述位置关系，对所述物体进行三维重建。

8.根据权利要求7所述的三维重建装置，其特征在于，所述处理器还包括标定模块，用于标定所述摄像头的内参数和外参数；

则所述图像信息处理模块具体用于根据每个采集时刻采集到的所述图像信息以及所述内参数和外参数，计算出所述物体在对应于每个采集时刻的所述摄像头坐标系下的三维坐标。

9.根据权利要求8所述的三维重建装置，其特征在于，所述运动信息包括加速度、角速度以及航向，所述运动信息处理模块具体用于根据所述加速度、角速度以及航向，采用航位推算法推算出所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系。

10.根据权利要求9所述的三维重建装置，其特征在于，所述三维重建模块具体用于根据所述每个采集时刻的摄像头坐标系相对全局三维坐标系的位置关系，将物体在对应于每个采集时刻的摄像头坐标系下的三维坐标转换成全局三维坐标系下的三维坐标。

11.根据权利要求7-9任一项所述的三维重建装置，其特征在于，所述处理器还包括色彩映射还原模块，用于计算不同采集时刻的各所述摄像头坐标系之间的相对关系，根据所述相对关系建立不同采集时刻的所述物体的图像信息之间的映射关系。

12.根据权利要求11所述的三维重建装置，其特征在于，所述色彩映射还原模块具体用于将第i-1采集时刻所述物体扫描线上的点在摄像头坐标系下的三维坐标映射到第i采集时刻下的摄像头坐标系中，计算所述点在第i采集时刻下的图像坐标，根据所述点在第i采集时刻下的图像坐标得到所述点的像素值，其中，i为大于1的任意整数。

13.一种移动终端，其特征在于，所述移动终端包括：如权利要求7-12任一项所述的三维重建装置。