CN104517280B - 三维成像方法 - Google Patents

Abstract

本发明涉及一种三维成像方法，包括实时处理和后处理两部分。所述实时处理部分是相机在进行移动三维扫描过程中在计算机上对二维图像进行快速处理，实时显示出相机的位置和扫描出的三维模型。所述后处理部分是对实时处理部分中采集的数据进行二次处理，以得到重建后的三维数据。所述三维成像方法可以精确地测量手持式扫描过程中相机的相对位置，并极大地减小了因多组三维点云叠加引起的最终三维图像的较大精度误差，从而提高三维成像的精确性。

Description

三维成像方法

技术领域

本发明属于相机领域，具体涉及一种三维成像方法。

背景技术

在三维成像领域，当三维相机的视野小于物体的形状或者相机需要多个视角才能完整拍摄物体时，通常需要使用移动相机(比如手持式扫描)来获取物体的完整三维图像。而进行手持式三维扫描时，除了需要在单个时间进行三维点云重建以外，还需要精确地测量不同时间段的相机相对位置，从而可以将多组三维点云叠加来最终重建物体的完整三维形状。而目前在三维数据的重建过程中，往往会因为多组三维点云叠加等原因引起最终三维图像存在较大的精度误差，成像失真较为严重。

发明内容

为了解决上述问题，发明提供一种三维成像方法，包括实时处理和后处理两部分：

所述实时处理部分是相机在进行移动三维扫描过程中在计算机上对二维图像进行快速处理，实时显示出相机的位置和扫描出的三维模型；

所述后处理部分是对实时处理部分中采集的数据进行二次处理，以得到重建后的三维数据。

进一步地，所述实时处理部分包括如下步骤：

步骤一，初始处理；相机在三维扫描过程的每个独立时刻，采集到一帧二维图像并分成左右两幅图像或者上下两幅图像，通过图像处理方法处理左右两幅图像或者上下两幅图像以得到密集三维点云，同时，搜索含有二维信息的粗略特征点，然后通过增加特征信息得到更细化的特征点，最后通过图像处理方法得到更细化的特征点的三维坐标，并进入步骤二；

步骤二，恢复相机位置；先分析当前帧的特征点情况，然后判断特征点数目是否足够以及包含的特征信息是否丰富；如果否则抛弃当前帧并继续采集下一帧图像，如果是则将当前帧里的特征点与最后一个已知相机位置采集到的图像中的特征点进行特征比对，并判断是否有足够的特征点匹配并得到粗略的相机位置，如果否则增大已知相机位置的搜索范围，或当已知相机位置已经是最大搜索范围时，则抛弃当前帧，如果是则进入步骤三；

步骤三，细化相机位置并合并三维点云；先扭曲当前帧并与匹配的已知帧再次对比，得到更精确的相机位置，然后将当前帧合并到整体坐标系并实时显示三维数据，同时将当前帧的特征点加入特征点库。

进一步地，所述后处理部分包括如下步骤：

步骤一，随机选定一帧作为空间上的根节点；

步骤二，以根节点为圆心，从近到远逐渐搜索空间内各帧与根节点的特征点进行对比；

步骤三，判断各帧是否与根节点存在能够进行互相关比对的匹配的特征点，如果是则进入步骤四，如果否则进入步骤五；

步骤四，标记此帧为根节点的相邻帧，扭曲所述相邻帧并与根节点进行互相关比对，然后返回步骤三；

步骤五，标记此帧为根节点的子节点，以各子节点为圆心，从近到远逐渐搜索各子节点的相邻帧和子节点，直到空间内所有的帧都被搜索到并被标记为相邻帧或子节点，然后进入步骤六；

步骤六，各相邻帧的实时位置通过扭曲与子节点或根节点进行互相关比对，得到后处理位置，同时各相邻帧的三维点云也使用后处理位置与子节点进行比对和平均，从而合并成以子节点为中心的三维点云，各子节点合并得到的三维点云通过与根节点比对和平均后合并成三维模型。

本发明的有益效果在于：所述三维成像方法可以精确地测量手持式扫描过程中相机的相对位置，并极大地减小了因多组三维点云叠加引起的最终三维图像的较大精度误差，从而提高三维成像的精确性。

附图说明

图1为本发明所述的实时处理部分的初始处理步骤的流程框图；

图2为本发明所述的实时处理部分的恢复相机位置和细化相机位置并合并三维点云步骤的流程框图；

图3为本发明所述的后处理部分的流程框图。

具体实施方式

下面将结合附图对本发明的具体实施例进行详细说明。

如图1、图2和图3所示，三维成像方法分为实时处理和后处理两部分。实时处理是在手持式相机移动扫描过程中在计算机上对二维图像进行快速处理，实时显示出相机的位置和扫描出的三维模型。后处理是在扫描完成后对采集的数据进行再次处理以得到更精确的三维数据。

如图1和图2所示的实时处理的工作流程框图，主要分为初始处理、恢复相机位置、和细化相机位置并合并三维点云三步。在初始处理阶段，手持式三维扫描过程的每个独立的时刻(t0，t1，t2，…，tn)，相机芯片上都会采集到一帧二维图像并可以分成左右(或上下)两幅图像。在实时处理，通过立体成像中常用的图像处理方法(如互相关、最小二乘法等)比对左右(或上下)两幅图像就可以得到这个时刻的密集三维点云。同时，系统还将寻找图像中的二维特征点并进行粗略的特征描述，特征点的寻找可以使用已有的SIFT算法或自定义的特征来实现。由于三维几何形状的特性，寻找到的每个二维特征点附近都有特定的三维点云的坐标和角度分布信息，因此我们可以进一步增加特征点的特征描述，得到更细化的特征点。然后，对已经细化的特征点进行立体图像处理，得到特征点的三维坐标。因此，初始处理后当前帧会含有一个密集的三维点云和一个稀疏的三维特征点云。

完成当前帧的初始处理后，系统开始寻找当前帧的相机位置。首先假定除第一帧(t0)以外所有时刻(t1，t2，…，tn)的相机位置都已经丢失，需要通过恢复相机位置来继续手持式扫描。具体方法是先分析当前帧的特征点情况，包括特征点数目是否足够、包含的特征信息描述是否丰富等。如果特征点情况不能满足进一步处理需要，系统会抛弃当前帧并继续下一帧图像采集。如果特征点情况较好，系统将当前帧里的特征点与最后一个已知相机位置采集到的图像中的特征点进行特征比对。由于每个时刻采集到的图像都包含有特征点，所有已知相机位置的特征点都会被收集到位于整体坐标系下的特征点库中以便新的帧进行特征比对。如果当前帧与最后一个相机位置图像的比对没有足够的特征点匹配，系统将以最后一个相机位置为圆心逐步增大搜索范围，直到当前帧和搜索范围内的帧比对获得足够的特征点匹配为止。如果搜索范围已经达到扫描的最大范围但当前帧仍然无法获得足够特征点匹配，说明当前帧的相机位置离已经扫描过的区域太远，应当把当前帧抛弃并采集新的一帧图像。由于特征点的三维坐标在初始处理中已经测得，因此当前帧和已知位置获得足够特征点匹配后系统可以很容易计算出两者的相对位置，称为当前帧的粗略位置。此时当前帧的相机位置已经成功恢复。

计算出相机的粗略位置后，系统将通过图像扭曲的方法使当前帧变得与匹配的已知帧更 相似，然后系统将扭曲后的当前帧和已知帧互相关对比，从而得到更精确的相机位置，称为当前帧的实时位置。利用得到的实时位置，系统可将当前帧得到的密集三维点云转换到整体坐标系下，与之前扫描出的三维点云一起在屏幕上实时显示。同时，当前帧中的三维特征点也将转换到整体坐标系下并加入特征点库以便新的帧进行特征比对。到这一阶段为止，当前帧的实时处理已经完成，系统将采集下一帧图像。

当手持式实时扫描结束时，物体的三维模型重建也已经完成。由于实时处理过程中主要是根据不同帧在时间上的相邻或相近的原则进行比对和合并，容易造成最终三维模型重建因误差叠加而引起的较大偏差。这时系统将对采集到的所有数据进行后处理以得到更精确的三维数据。由于实时处理后得到的三维模型已经把扫描中采集到的所有时刻的帧在空间上连成了一个整体，后处理可以利用空间上的连续性将不同时刻的帧根据空间上的远近进行重新排列和比对，从而减少相邻或相近时刻帧比对而引起的误差叠加。具体方法是首先随机选定一帧作为空间上的根节点，可以是第一帧、最后一帧、或者空间里中心位置的帧等。以根节点为圆心，从近到远逐渐搜索空间内各帧与根节点的特征点比对情况。如果某一帧与根节点存在足够多的特征点匹配，可以扭曲此帧进而与根节点进行更精确的互相关比对，那么此帧被认为是根节点的相邻帧。此帧被标记为相邻帧之后将不再被继续搜索。如果某一帧与根节点存在一些特征点匹配但不足以进一步进行互相关比对，那么此帧被认为是根节点的子节点。然后以各子节点为圆心，同样从近到远逐渐搜索各子节点的相邻帧和子节点，直到空间内所有的帧都被搜索到并被标记为相邻帧或子节点为止。所有帧搜索并标记完成后，各相邻帧的实时位置将通过扭曲和其节点(子节点或根节点)进行互相关比对得到更精确的后处理位置。同时各相邻帧的密集三维点云也将使用后处理位置与其节点进行比对和平均，从而合并成更精确、范围更大、以节点为中心的三维点云。然后，各子节点合并得到的三维点云在通过与根节点比对和平均最终合并成一个更精确的完整三维模型。

与实时处理阶段各帧的密集三维点云采用相邻或相近时间的原则合并相比，后处理中合并三维点云的方法更注重三维点云的在整体坐标系下的一致性，通过平均不同帧(不同时刻)获得的空间内相同的点得到该点更接近于真实值的三维坐标。

在对手持式相机实时获取的图像数据处理中，本方法首先假定当前帧的相机位置丢失并采用初始处理、恢复相机位置、细化相机位置并合并三维点云的方式对图像进行快速且相对精确的手持式三维重建。尤其在恢复相机位置中，恢复的方法是以位置丢失前的最后位置为圆心进行某个半径范围内的搜索，并逐渐扩大半径范围直到搜索到特征点匹配；相对于对整个特征点的数据库从头开始进行线性搜索以获得特征点匹配，整个过程比较漫长且使用过多 的计算资源。由于在扫描过程中丢失相机位置后，相机往往在离最后的扫描位置比较近的地方，因此使用这种搜索方法可以大大提高相机位置恢复的速度和减少计算资源的使用。

在实时处理中系统会从图像上获取一些特征点以方便不同帧的图像比对，从而得到当前帧的相机位置。首先根据点的大小和相机芯片像素来调整找到粗略的二维特征点，同时通过的互相关比对等方法找到密集的三维坐标；然后通过三维点云的坐标和角度分布和来进一步丰富特征点的特征，从而提高特征点匹配的效率，提高相机位置恢复的速度。如果使用彩色的相机芯片，可利用在几种不同颜色通道下的特征点来提高特征点的获取和匹配。使用立体图像比对的方法获取选择的特征点的三维坐标。

选择更合理的图像部分进行互相关比对来避免因误差累积引起的偏差。在做不同时刻的图像的比对前，往往是先将一个时刻(t2)的图像扭曲或者投射到之前(t1)的图像平面以减少两组图像间的差异。在比对过程中，常见的方法是对t1和t2的左右图像分别进行互相关比对来获得各自时间的三维坐标，对t1和t2的左(或右)图像进行互相关比对来获得两个时间的姿态关联进而得到相机的姿态变化；由于任何一次互相关比对本身存在误差，上述的比对方法的最终误差是t1和t2的左(或右)图像互相关误差和t2的左右图像互相关误差的叠加。本系统采用的新方法仍然对t1时间的左右图像进行比对以获得三维坐标，但用t1的左(或右)图像分别与t2的左和右图像进行互相关比对以获得两个时间的姿态关联，并避免由于使用不同参照图像进行比对所引起的误差叠加。

三维扫描中位置相近的三维点云往往存在很多相同的点。当进行多组相似的三维点云比对时，每个匹配的点都有一个误差范围，一般情况下这个范围是以该点的平均值为球心的一个球状结构。而由于三维光学系统的特殊性，每一个点的三维坐标误差范围实际上是一个以平均值为中心的圆柱形，并且圆柱形的高与球形的直径一致。由于相机姿态的变化，每组点云里点的这种误差圆柱形的角度也各异；在这种情况下，每进行一次点云比对，相同的点的误差范围就会减小一圈，因此在同一空间位置的多次扫描会不断提高测量的精度。

三维光学系统的标定是三维图像／点云重建的标尺，直接决定了最终三维数据的精度。通常的标定方法是选择一个垂直于深度方向的标准的点阵，沿着系统的深度方向移动到不同位置并探测每个位置上点阵上所有点的平面和深度位置，这样就形成了一系列垂直于深度方向的不连续三维点阵平面。现有的方法下相邻平面间的数据空隙通过线性或非线性的数学模型拟合来填补，从而获得一个连续的三维点阵矩阵。新的方法将在每一个三维点阵平面上加入光学系统的光线追踪方向来进行数据拟合，这样获得的连续三维点阵矩阵将更接近于真实的光学系统，从而提高三维重建的精度。

本发明所述的三维成像方法可以精确地测量手持式扫描过程中相机的相对位置，并极大地减小了因多组三维点云叠加引起的最终三维图像的较大精度误差，从而提高三维成像的精确性。

以上所述的内容仅仅是本发明的具体实施例，并不是对本发明的限制。本领域的技术人员在该实施例的启示下所作出的由常规技术手段变化所得的发明创造，都在本发明的保护范围内。

Claims (1)

1.一种三维成像方法，包括实时处理和后处理两部分，其特征在于：

所述实时处理部分是相机在进行移动三维扫描过程中在计算机上对二维图像进行快速处理，实时显示出相机的位置和扫描出的三维模型；

所述后处理部分是对实时处理部分中采集的数据进行二次处理，以得到重建后的三维数据；

所述实时处理部分包括如下步骤：

步骤一，初始处理；相机在三维扫描过程的每个独立时刻，采集到一帧二维图像并分成左右两幅图像或者上下两幅图像，通过图像处理方法处理左右两幅图像或者上下两幅图像以得到密集三维点云，同时，搜索含有二维信息的粗略特征点，然后通过增加特征信息得到更细化的特征点，最后通过图像处理方法得到更细化的特征点的三维坐标，并进入步骤二；

步骤二，恢复相机位置；先分析当前帧的特征点情况，然后判断特征点数目是否足够以及包含的特征信息是否丰富；如果否则抛弃当前帧并继续采集下一帧图像，如果是则将当前帧里的特征点与最后一个已知相机位置采集到的图像中的特征点进行特征比对，并判断是否有足够的特征点匹配并得到粗略的相机位置，如果否则增大已知相机位置的搜索范围，或当已知相机位置已经是最大搜索范围时，则抛弃当前帧，如果是则进入步骤三；

步骤三，细化相机位置并合并三维点云；先扭曲当前帧并与匹配的已知帧再次对比，得到更精确的相机位置，然后将当前帧合并到整体坐标系并实时显示三维数据，同时将当前帧的特征点加入特征点库；

所述后处理部分包括如下步骤：

步骤一，随机选定一帧作为空间上的根节点；

步骤二，以根节点为圆心，从近到远逐渐搜索空间内各帧与根节点的特征点进行对比；

步骤三，判断各帧是否与根节点存在能够进行互相关比对的匹配的特征点，如果是则进入步骤四，如果否则进入步骤五；

步骤四，标记此帧为根节点的相邻帧，扭曲所述相邻帧并与根节点进行互相关比对，然后返回步骤三；

步骤五，标记此帧为根节点的子节点，以各子节点为圆心，从近到远逐渐搜索各子节点的相邻帧和子节点，直到空间内所有的帧都被搜索到并被标记为相邻帧或子节点，然后进入步骤六；

步骤六，各相邻帧的实时位置通过扭曲与子节点或根节点进行互相关比对，得到后处理 位置，同时各相邻帧的三维点云也使用后处理位置与子节点进行比对和平均，从而合并成以子节点为中心的三维点云，各子节点合并得到的三维点云通过与根节点比对和平均后合并成三维模型。