CN104661010A - 三维立体模型的建立方法和装置 - Google Patents

Abstract

本发明揭露一种三维立体模型建立方法和装置。三维立体模型建立方法是用以对一实体对象建立一三维立体模型。首先，将多个影像的深度数据转换为多个三维点云信息。接着，根据这些三维点云信息，分别计算一相机在拍摄每一影像时，相对于此相机在拍摄前一影像时的一移动参数。当根据每一影像的对应移动参数将每一影像的三维点云信息合并于前一影像的三维点云信息时，计算一合并能量值。接着，变化移动参数，以最小化合并能量值，并根据变化后的移动参数决定一相机移动路径。最后根据此相机移动路径，建立该实体对象的一三维立体模型。

Description

三维立体模型的建立方法和装置

技术领域

本发明涉及一种建立方法，尤其涉及一种三维立体模型的建立方法和其对应装置。

背景技术

随着影像处理技术的进步，视觉效果的呈现逐渐地由二维平面拓展至三维空间。传统上建立三维影像的方法，是使用单一台相机，环绕一实体对象依序拍摄多张二维影像，再搭配此二维影像相对应的深度信息，来建立对应的三维影像。其中深度信息代表二维影像中各个对象的远近距离，能推论出何者对象在二维影像中的前面，即在画面前方或在画面后方。通过二维影像和深度信息转换出的三维点云，来合成出此实体对象的三维立体模型。在合成的过程中，是利用相邻两影像的深度信息，来分别决定拍摄此相邻两影像时相机的旋转角度与位移量，并根据此旋转角度与位移量，将后一影像三维点云叠合在前一影像的对应三维点云上，当各角度影像的三维点云均叠合在一起时，即能合成三维立体模型。

然而，上述的叠合方法，在相邻两影像叠合部分具对应的三维点云时，的确可完整建构三维立体模型。然，一旦在叠合计算旋转角度与位移量发生误差，造成某一拍摄影像叠合部分的三维点云无法和前一影像的三维点云进行对应，即使仅为单一影像误差，亦无法完成三维立体模型的建构。再者，上述的叠合方法，是根据拍摄进度，依序将拍摄影像的三维点云叠合在前一拍摄影像的对应三维点云上，当拍摄结束后，三维立体模型的建构亦完成。因此，叠合计算所发生误差会持续累积，而无法即时更正，造成呈现的三维立体模型有破洞或和实体对象外观不合。

发明内容

鉴于上述，本发明提供一种三维立体模型建立方法和装置，利用连续影像的深度信息，先推估一最佳相机移动路径，再根据此相机路径，进行各影像的三维点云叠合，借以避免因为旋转角度与位移量计算误差，造成三维立体模型的建构失败。

本发明的一方面是在提供一种三维立体模型建立方法，是用以对一实体对象建立一三维立体模型。首先，将多个影像的深度数据转换为多个三维点云信息。接着，根据这些三维点云信息，分别计算一相机在拍摄每一影像时，相对于此相机在拍摄前一影像时的一移动参数。当根据每一影像的对应移动参数将每一影像的三维点云信息合并于前一影像的三维点云信息时，计算一合并能量值。接着，变化移动参数，以最小化合并能量值，并根据变化后的移动参数决定一相机移动路径。最后根据此相机移动路径，建立该实体对象的一三维立体模型。

本发明的另一方面是在提供一种包含软件的计算机程序产品。其中此软件是由一处理器系统实行，以执行下述步骤建立一实体对象的三维立体模型。首先，将多个影像的深度数据转换为多个三维点云信息。接着，根据这些三维点云信息，分别计算一相机在拍摄每一影像时，相对于此相机在拍摄前一影像时的一移动参数。当根据每一影像的对应移动参数将每一影像的三维点云信息合并于前一影像的三维点云信息时，计算一合并能量值。接着，变化移动参数，以最小化合并能量值，并根据变化后的移动参数决定一相机移动路径。最后根据此相机移动路径，建立该实体对象的一三维立体模型。

本发明的另一方面是在提供一种产生三维立体模型的装置，是用以产生一实体对象的一三维立体模型。包含：一输入、一转换器、一移动参数值产生器、一第一计算器、一第二计算器、一相机移动路径产生器和一三维立体模型产生器。输入，是用以接收多个影像的深度数据，其中是以一相机环绕实体对象依序对实体对象拍摄这些影像。转换器，是用以将这些影像的深度数据转换为多个三维点云信息。移动参数值产生器，是用以根据这些三维点云信息，分别产生相机在拍摄每一影像时，相对于在拍摄前一影像时的一移动参数。第一计算器，当根据每一影像的对应移动参数将每一影像的三维点云信息合并于前一影像的三维点云信息时，计算一合并能量值。第二计算器，变化这些移动参数，以最小化合并能量值。相机移动路径产生器，根据变化后的这些移动参数产生一相机移动路径。一三维立体模型产生器，根据相机移动路径，产生实体对象的一三维立体模型。

综上所述，本发明三维立体模型的重建方法，是先根据计算出的相机旋转量和位移量，建构一合理的相机拍摄路径。接着，再根据相邻两影像的三维点云和对应的相机旋转量和位移量最佳化此相机路径。最后，再依此最佳相机路径进行三维点云叠加。

附图说明

图1为根据本发明一实施例的三维立体模型重建方法流程图；

图2展示一种计算机可读媒体；

图3为根据本发明一实施例用以产生一实体对象的三维立体模型装置概略图；

图4所示为根据本发明一实施利由一相机对一欲建构三维立体模型的实体对象进行连续拍摄的概略图。

具体实施方式

以下为本发明较佳具体实施例以所附附图加以详细说明，下列的说明及附图使用相同的参考数字以表示相同或类似元件，并且在重复描述相同或类似元件时则予省略。

有别于传统三维立体模型的重建方法，在相机完成一影像拍摄后，即根据相机的旋转量和位移量，进行本次拍摄影像和前次拍摄影像的三维点云叠加，因随机误差使得旋转量和位移量计算产生错误，而无法进行三维点云叠加的错误，或是即使可进行三维点云叠加，但因为误差累积而使得最终三维立体模型重建失败的危险。因此，本发明的三维立体模型的重建方法，在相机完成实体对象的一影像拍摄后，并不先进行本次拍摄影像和前次拍摄影像的三维点云叠加，而是在完成实体对象的各角度影像拍摄后，先计算出拍摄各影像时的对应相机旋转量和位移量，并根据一设定门槛值，进行即时旋转量和位移量修正，依此先建构一合理的相机拍摄路径。接着，再根据各影像的三维点云和对应的相机旋转量和位移量最佳化此相机路径。最后，再依此最佳相机路径进行三维点云叠加。由于，相邻影像的三维点云叠加是根据误差排除后的最佳相机路径，因此，可完全解决已知因为误差问题或错误累积造成的三维立体模型重建失败。

图1为根据本发明一实施例的三维立体模型重建方法流程图。本发明的流程100，首先于步骤101，进行影像深度数据转换，以转换成步骤102的三维点云信息，以及步骤103的像素颜色信息。在一实施例中，如图4所示，本发明是由一使用者手持一相机401对一欲建构三维立体模型的实体对象402，例如一人物，以环绕一圈的方式进行连续性拍摄，以获得时间连续的多幅二维影像以及对应的影像深度数据。再将所撷取的影像深度数据转换成对应三维点云信息以及像素颜色信息。其中，图4中绘出多台相机401，仅是用以代表在一连续时间下相机401的不同拍摄角度。而本发明即是用以建立相机401在对实体对象402进行拍摄时的最佳移动路径，并依此最佳移动路径建构三维立体模型，借以解决已知因为误差问题或错误累积造成的三维立体模型重建失败。其中，所使用的相机401，例如为微软开发的Kinect，Kinect有三个镜头，中间的镜头是RGB彩色摄影机，用来录制彩色图像。左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的3D结构光深度感应器，用来撷取深度数据。而影像深度数据的转换，是由微软开发的kinect for window SDK软件进行。使用者手持Kinect装置向欲重建的物体进行各角度与位置的拍摄，Kinect装置所获得的色彩与深度数据则透过KinectFusion演算法计算后可获得三维点云(Point Cloud)，和每个影像画面的深度与色彩数据。

接着于步骤104，进行相机拍摄移动参数推估。在此步骤中是通过两相邻影像间的视角转换关系，来推估相机拍摄移动参数。其中，相机移动参数包含旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]共六项参数，而连续影像中任相邻两张影像皆可计算出对应的此六项相机移动参数。例如，前一影像的三维点云信息和后一影像的三维点云信息均有自己的初始座标，通过相机拍摄时的旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]六项参数组成的转换矩阵，可描述前一影像的三维点云信息和后一影像的三维点云信息的关系，如下：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\\ 1\end{array}\right]=\left[\begin{array}{cc}& T_x\\ R_{3\×3}& T_y\\ & T_z\\ 0_{1\×3}& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

whereR＝R_x(θ_x)R_y(θ_y)R_z(θ_z)

$\mathrm{where}{R}_x\left(\mathrm{\θ}\right)=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ 0& \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]$ $R_y\left(\mathrm{\θ}\right)=\left[\begin{array}{ccc}\cos \mathrm{\θ}& 0& \sin \mathrm{\θ}\\ 0& 1& 0\\ -\sin \mathrm{\θ}& 0& \cos \mathrm{\θ}\end{array}\right]$ $R_z\left(\mathrm{\θ}\right)=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin & 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]$

其中，(x,y,z)为前一影像上的三维点云位置。(x’,y’,z’)为后一影像上的三维点云位置。两者之间的视角转换关可由相机的六个移动参数，旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]描述。换言之，通过前一影像的三维点云位置和后一影像上的三维点云位置，可计算出相机的六个移动参数，旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]。由于，在进行连续影像拍摄以建构三维立体模型时，相机的视角变化不可能突然发生大转变。也就是说，拍摄本次影像造成的相机视角转换变化与拍摄前次影像造成的相机视角转换变化需近似且平滑。因此，本发明在建构相机拍摄路径时，会检测相机视角转换参数，亦即旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]的变化，并和设定的旋转向量参数变化门槛值和平移向量参数变化门槛值进行比较。一旦，其中一视角转换参数变化超过门槛值，代表此部分的相机视角转换并不合哩，此时会利用内插法，由相邻两点推估此部分相机视角转换。值得注意的是，此步骤仅决定出一合理的相机移动路径，然最佳的相机移动路径，将于后续的步骤决定出。

接着于步骤105，进行时间序列参数空间映射。即是根据一连续时间轴，将步骤104进行推估相机连续视角转换时所使用的旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]映射(mapping)到一参数空间。此步骤的主要目的是为后续在此参数空间中决定一旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]的最佳解，以决定最佳的相机移动路径。在一实施例中，若相机环绕一实体对象连续拍摄照片影像数量为100张，且由相邻两影像的深度信息可用以决定当相机在拍摄此相邻两影像时其对应的6个运动参数，分别为旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]。因此，若拍摄照片影像数量为100张，则用以推估相机移动路径的运动参数共有600个。本步骤，即是根据相机拍摄时的一连续时间轴，将推估相机移动路径有关的600个运动参数映射到一600维的参数空间中。

接着于步骤106，进行相机最佳移动路径重建。由于在一参数空间中的每一点均会对应到一相机移动路径，改变其中一参数解，相机移动路径即会对应改变，因此步骤即是在此600维的参数空间中找出一最佳相机移动路径。为求得最佳的相机移动路径，当于步骤106建立出一相机移动路径后，本发明会分别于步骤107进行三维点云合并能量估算，以及于步骤108进行颜色数据合并的能量估算，并于步骤109，以步进式最佳演算法进行上述的能量估算，以求得让能量最小化的移动参数。其中，所使用的最佳演算法可为粒子群演算法（Particle Swarm Optimization,PSO）或基因演算法(GeneticAlgorithms,GA)。当利用最佳演算法最小化上述的能量估算值后，即可获得最佳相机移动路径，并于步骤110，输出此最佳的相机移动路径。反之，当利用最佳演算法进行上述的能量估算后，若其三维点云合并能量值和颜色数据合并能量值仍未低于一门槛值时，会重新执行步骤106，再次于参数空间中搜寻一相机移动路径，并再次进行步骤107的三维点云合并能量估算，以及步骤108的颜色数据合并能量估算。

其中三维点云合并能量估算，即是用以判定当相邻两影像以步骤106决定出的旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]进行合并时，其用以进行合并的对应三维点云间是否具有一定的一致性，很小的变异性，亦即对应的能量函数很低。因为，若相邻两影像间据以合并的三维点云间一致性越高，代表在此相机移动路径下，相机在拍摄前一张影像与后一张影像时，因移动相机所造成的相机视角转换参数，旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]共六项参数，可让据此参数进行合并之前一张影像与后一张影像完美合并，因此，此相机移动路径符合需求。反之，若相邻两影像间据以合并的三维点云间一致性不高，变异性很大，亦即对应的能量函数很高。代表在此相机移动路径下，相机在拍摄前一张影像与后一张影像时，因移动相机所造成的相机视角转换参数，旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]共六项参数，无法让据此参数进行合并之前一张影像与后一张影像进行合并，因此，此相机移动路径不符合需求。

另外，颜色数据的能量估算，是用以判定当相邻两影像以步骤106决定出的旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]进行合并时，欲进行合并的相邻两影像的像素颜色信息是否具有适当的一致性。也就是说，若颜色差距最小，则表示其对应的能量函数相对最低。因为相邻两影像间据以合并处的三维点云间其颜色数据应具有适当的一致性，一致性越高，代表其为欲进行合并的相邻两影像的重叠处的可能性越高，表示此相机移动路径符合需求。值得注意的是，上述颜色数据的能量估算为一选择步骤，也就是说，即使不执行此步骤，仍可通过三维点云合并能量估算搜寻出的一最佳相机移动路径。当选择不执行步骤108的颜色数据能量估算时，则于步骤109仅需以最佳演算法进行三维点云合并能量估算。

当于步骤110建构出最佳相机移动路径后，即可于步骤111进行三维点云合并。亦即根据此最佳相机移动路径，每次拍摄一影像时，对应前一拍摄影像相机的旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]，将相邻两影像三维点云依序合并，以于步骤112，合成实体对象的三维立体模型。

图2展示一种计算机可读媒体。此计算机可读媒体200包括一计算机程序201，此计算机程序201包括用于造成一处理器系统实行如图1所展示的方法100的指令。此计算机程序201可通过磁化计算机可读媒体200而予以实现。然值得注意的是，虽然在图2中将计算机可读媒体200展示为一光碟，然而计算机可读媒体200可为任何适当计算机可读媒体，诸如一硬盘、固态记忆体、快闪记忆体等。

图3为根据本发明一实施例用以产生一实体对象的三维立体模型装置概略图。本发明用以产生一实体对象三维立体模型的装置300包括：一输入301、一转换器302、一移动参数值产生器303、一第一计算器304、一第二计算器305、一相机移动路径产生器306和一三维立体模型产生器307。其中，输入301是用以接收多个影像的深度数据。在一实施例中，本发明是由一相机对一欲建构三维立体模型的实体对象以环绕一圈的方式进行连续性拍摄，以获得时间连续的多幅二维影像以及对应的影像深度数据。再将所撷取的影像深度数据传送给转换器302以转换成对应三维点云信息，以及像素颜色信息。

移动参数值产生器303，是用以根据转换器302转换出的三维点云信息，分别产生相机在拍摄每一影像时，相对于在拍摄前一影像时的一移动参数和移动参数变化量。其中，移动参数值产生器303是通过两相邻影像间的视角转换关系，来推估相机拍摄移动参数。其中，相机移动参数包含旋转向量[RxRy Rz]与平移向量[Tx Ty Tz]共六项参数，而连续影像中任相邻两张影像皆可计算出对应的此六项相机移动参数。也就是说，通过相机拍摄时的旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]六项参数组成的转换矩阵，可描述前一影像的三维点云信息和后一影像的三维点云信息的关系。因此，通过前一影像的三维点云信息和后一影像的三维点云信息可推论出相机拍摄时的旋转向量[Rx Ry Rz]与平移向量[Tx Ty Tz]。此外，移动参数值产生器303并会将检测到的移动参数变化量和设定的移动参数值变化门槛值进行比较。一旦，其中一移动参数变化超过门槛值，代表此部分的相机移动并不合哩，此时会利用内插法，由相邻两点推估此部分相机移动。

第一计算器304，在每一影像根据其对应的移动参数将三维点云信息合并于前一影像的三维点云信息时，计算此时的合并能量值。其中三维点云合并能量估算，即是用以判定当后一影像的三维点云根据对应的移动参数和前一影像的三维点云合并时，其用以进行合并的两影像间的三维点云是否具有一定的一致性，很小的变异性，亦即对应的能量函数的合并能量值很低。因为，若相邻两影像间据以合并的三维点云间一致性越高，代表在此相机移动路径下，可让据此移动参数进行合并的前一张影像与后一张影像完美合并，因此，此相机移动路径符合需求。反之，若相邻两影像间据以合并的三维点云间一致性不高，变异性很大，亦即对应的能量函数的合并能量值很高，此相机移动路径则不符合需求。此时，第二计算器305，变化所述移动参数，以最小化该合并能量值，找出最符合的移动参数。其中，第二计算器305是以所使用的最佳演算法可为粒子群演算法（Particle Swarm Optimization,PSO）或基因演算法(Genetic Algorithms,GA)变化所述移动参数，以最小化该合并能量值。接着，相机移动路径产生器306，根据可最小化合并能量值的所述移动参数产生一相机移动路径。三维立体模型产生器，根据此相机移动路径，将相邻两影像三维点云依序合并，以产生实体对象的三维立体模型。

综上所述，本发明三维立体模型的重建方法，是先根据计算出的相机旋转量和位移量，建构一合理的相机拍摄路径。接着，再根据相邻两影像的三维点云和对应的相机旋转量和位移量最佳化此相机路径。最后，再依此最佳相机路径进行三维点云叠加。由于，本案是在完成最佳相机路径建构后，再进行相邻影像的三维点云叠加，因此，可完全解决已知因为误差问题造成的三维立体模型重建失败。且通过本案的方法，在拍摄影像时不需对相机进行特别的定位，因为均可在后续的最佳相机路径建构流程时，将不合理的拍摄角度进行修正，来建构出三维立体模型。

虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (16)

1.一种三维立体模型建立方法，其特征在于，用以对一实体对象建立一三维立体模型，至少包含：

将多个影像的深度数据转换为多个三维点云信息，其中是以环绕该实体对象的方式，依序对该实体对象拍摄所述影像；

根据所述多个三维点云信息，分别计算一相机在拍摄每一所述影像时，相对于该相机在拍摄前一影像时的一移动参数；

根据每一所述影像的对应移动参数将每一所述影像的三维点云信息合并于前一影像的三维点云信息时，计算一合并能量值；

变化所述移动参数，以最小化该合并能量值；

根据变化后的所述移动参数决定一相机移动路径；以及

根据该相机移动路径，建立该实体对象的一三维立体模型。

2.根据权利要求1所述的三维立体模型建立方法，其特征在于，根据该相机移动路径，建立该实体对象的该三维立体模型，还包括：根据变化后的所述移动参数合并所述多个三维点云信息。

3.根据权利要求1所述的三维立体模型建立方法，其特征在于，最小化该合并能量值，是以粒子群演算法或基因演算法进行。

4.根据权利要求1所述的三维立体模型建立方法，其特征在于，还包括将所述影像的深度数据转换为颜色信息。

5.根据权利要求4所述的三维立体模型建立方法，其特征在于，还包括根据一对应移动参数合并于前一影像的三维点云信息时的一颜色信息能量值计算每一所述影像的三维点云信息。

6.根据权利要求1所述的三维立体模型建立方法，其特征在于，每一所述移动参数包括该相机移动时的旋转向量与平移向量。

7.根据权利要求1所述的三维立体模型建立方法，其特征在于，根据所述多个三维点云信息，分别计算一相机在拍摄每一所述影像时，相对于该相机在拍摄前一影像时的一移动参数，还包括：

计算一相机在拍摄每一所述影像时，相对于该相机在拍摄前一影像时的一移动参数变化量；

判断该移动参数变化量是否在一设定范围内；以及

当该移动参数变化量超出该设定范围时，变化该移动参数。

8.根据权利要求1所述的三维立体模型建立方法，其特征在于，是使用一内插法变化该移动参数。

9.一种产生三维立体模型装置，其特征在于，是用以产生一实体对象的一三维立体模型，至少包含：

一输入，是用以接收多个影像的深度数据，其中是以一相机环绕该实体对象依序对该实体对象拍摄所述影像；

一转换器，是用以将所述影像的深度数据转换为多个三维点云信息；

一移动参数值产生器，是用以根据所述多个三维点云信息，分别产生该相机在拍摄每一所述影像时，相对于在拍摄前一影像时的一移动参数；

一第一计算器，当根据每一所述影像的对应移动参数将每一所述影像的三维点云信息合并于前一影像的三维点云信息时，计算一合并能量值；

一第二计算器，变化所述移动参数，以最小化该合并能量值；

一相机移动路径产生器，根据变化后的所述移动参数产生一相机移动路径；以及

一三维立体模型产生器，根据该相机移动路径，产生该实体对象的一三维立体模型。

10.根据权利要求9所述的产生三维立体模型装置，其特征在于，该三维立体模型产生器是根据变化后的所述移动参数合并所述多个三维点云信息以产生该实体对象的该三维立体模型。

11.根据权利要求9所述的产生三维立体模型装置，其特征在于，该第二计算器是执行一粒子群演算法或一基因演算法进行以最小化该合并能量值。

12.根据权利要求9所述的产生三维立体模型装置，其特征在于，该转换器还用以将所述影像的深度数据转换为颜色信息。

13.根据权利要求12所述的产生三维立体模型装置，其特征在于，当根据每一所述影像的对应移动参数将每一所述影像的三维点云信息合并于前一影像的三维点云信息时，该第一计算器还计算一颜色信息能量值。

14.根据权利要求9所述的产生三维立体模型装置，其特征在于，每一所述移动参数包括该相机移动时的旋转向量与平移向量。

15.根据权利要求9所述的产生三维立体模型装置，其特征在于，该移动参数值产生器还根据所述多个三维点云信息，分别产生一相机在拍摄每一所述影像时，相对于该相机在拍摄前一影像时的一移动参数变化量；以及当该移动参数变化量超出一设定范围时，变化该移动参数。

16.根据权利要求15所述的产生三维立体模型装置，其特征在于，是使用一内插法变化该移动参数。