CN111462213A

CN111462213A - 一种在运动过程中获取物体3d坐标及尺寸的设备及方法

Info

Publication number: CN111462213A
Application number: CN202010182913.5A
Authority: CN
Inventors: 左忠斌; 左达宇
Original assignee: Tianmu Aishi Beijing Technology Co Ltd
Current assignee: Tianmu Aishi Beijing Technology Co Ltd
Priority date: 2020-03-16
Filing date: 2020-03-16
Publication date: 2020-07-28
Anticipated expiration: 2040-03-16
Also published as: WO2021185218A1; CN111462213B; CN113379822B; CN113379822A

Abstract

本发明实施例提供了一种3D建模中的采集设备及方法，(1)利用采集设备采集目标物多个图像；(2)标定装置获取采集设备在采集每个图像时采集设备的位置和姿态信息；(3)处理器根据上述多个图像合成目标物三维模型，同时根据采集设备位置和姿态信息得到同名像点对应的三维坐标，从而获得具有精准三维坐标的三维模型点云。通过对相机位置和姿态获取的方法实现目标物体的绝对尺寸标定，并且采用同名像点解算的方式，无需提前对目标物进行标定物放置，或投射标定点。

Description

一种在运动过程中获取物体3D坐标及尺寸的设备及方法

技术领域

本发明涉及形貌测量技术领域，特别涉及3D形貌测量技术领域。

背景技术

目前在利用视觉方式进行3D采集和测量时，通常使得相机相对目标物转动，或在目标物周边设置多个相机同时进行采集。例如南加州大学的DigitaL EmiLy项目，采用球型支架，在支架上不同位置不同角度固定了上百个相机，从而实现人体的3D采集和建模。然而无论哪种方式，都需要相机与目标物距离较短，至少应当在可布置的范围内，这样才能形成相机在不同位置采集目标物图像。

然而在一些应用中，无法环绕目标物进行图像的采集。例如监控探头在采集被监控区域时，由于区域较大、距离较远，且采集对象不固定，因此难以围绕目标对象设置相机，或使得相机围绕目标对象转动。在这种情形下如何进行目标对象的3D采集与建模是亟待解决的问题。

更进一步的问题，对于这些远距离的目标即使完成3D建模，如何得到其准确的尺寸，从而使得3D模型具有绝对的尺寸也是没有解决的问题。例如对远处一个建筑进行建模时，为了获得其绝对尺寸，现有技术通常是在建筑上或旁边设置标定物，根据标定物的大小从而获得建筑物3D模型的大小。然而并不是所有情况都允许我们去目标物附近放置标定物，此时即使获得3D模型，也无法获得绝对尺寸，也就无法获知物体的真实大小。例如，在河对岸的一个房屋，如果要对其进行建模必须要在房屋上放置标定物，然而如果无法过河将难以完成这个工作。除了距离远之外，也存在距离并不远，但目标物上由于某种原因无法放置标定物，例如古董花瓶的三维建模中，处于保护的目的不能在花瓶上贴标定点或标定物，此时如何获得花瓶模型的绝对尺寸成为巨大的问题。而且有些物体3D模型扫描时不仅无法放置标定物，即使使用光束打到物体上形成标定光点也是不期望的。此时如何进行目标物尺寸的测量成为难题。

另外，有时3D采集建模装置需要放置在移动装置上，例如在自动驾驶汽车上使用，或安装在机器人上使用，为它们提供3D视觉。而它们所遇到的目标物是不确定的，此时不可能在车辆或机器人行驶的所有区域全部放置标定物。那么在这种情况下如何获得周边目标物的3D尺寸成为一个难题。

在现有技术中也曾提出使用包括旋转角度、目标物尺寸、物距的经验公式限定相机位置，从而兼顾合成速度和效果。然而在实际应用中发现：除非有精确量角装置，否则用户对角度并不敏感，难以准确确定角度；目标物尺寸难以准确确定，例如上述河边房屋的3D模型构建的场景中。并且测量的误差导致相机位置设定误差，从而会影响采集合成速度和效果；准确度和速度还需要进一步提高。

因此，目前急需解决以下技术问题：①能够在目标物上或周边没有标定物的情况下，获得目标物的3D尺寸。特别是能够适用于变化的周边环境的3D尺寸测量。②同时兼顾合成速度和合成精度。③采集较远物体的三维模型。

发明内容

鉴于上述问题，提出了本发明提供一种克服上述问题或者至少部分地解决上述问题的标定设备及方法。

本发明实施例提供了一种3D建模中的采集设备及方法，

(1)利用采集设备采集目标物多个图像；

(2)标定装置获取采集设备在采集每个图像时采集设备的位置和姿态信息；

(3)处理器根据上述多个图像合成目标物三维模型，同时根据采集设备位置和姿态信息得到同名像点对应的三维坐标，从而获得具有精准三维坐标的三维模型点云。

在可选的实施例中：位置信息包括XYZ坐标，姿态信息包括偏角、倾角和旋角。

在可选的实施例中：处理器还根据结合采集设备以下参数进行同名像点三维坐标计算：像主点坐标(x₀,y₀)，焦距f，径向畸变差系数k₁，径向畸变差系数 k₂，切向畸变差系数p₁，切向畸变差系数p₂，图像传感元件非正方形比例系数α，和/或图像传感元件非正交性的畸变系数β。

在可选的实施例中：图像采集装置转动采集一组图像时的位置符合如下条件：

其中L为相邻两个采集位置图像采集装置光心的直线距离；f为图像采集装置的焦距；d为图像采集装置感光元件的矩形长度；M为图像采集装置感光元件沿着光轴到目标物表面的距离；μ为经验系数。

在可选的实施例中：μ<0.482，μ<0.357，或μ<0.198。

在可选的实施例中：采集设备为3D图像采集设备时，3D图像采集设备的相邻两个采集位置符合如下条件：

其中L为相邻两个采集位置图像采集装置光心的直线距离；f为图像采集装置的焦距；d为图像采集装置感光元件的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数。

在可选的实施例中：δ<0.603，δ<0.410，δ<0.356。或δ<0.311；或δ<0.284；或δ<0.261；或δ<0.241；或δ<0.107。

在可选的实施例中：得到同名像点对应的三维坐标是通过对匹配的同名像点进行空间前方交会解算实现的。

在可选的实施例中：获得目标物的绝对尺寸。

本发明另一实施例还提供了一种标定设备及方法，应用于上述的设备或方法。

发明点及技术效果

1、通过对相机位置和姿态获取的方法实现目标物体的绝对尺寸标定，并且采用同名像点解算的方式，无需提前对目标物进行标定物放置，或投射标定点。

2、通过优化相机采集图片的位置，保证能够同时提高合成速度和合成精度。优化相机采集位置时，无需测量角度，无需测量目标尺寸，适用性更强。

3、首次提出通过相机光轴与转盘呈一定夹角而非平行的方式转动来采集目标物图像，实现3D合成和建模，而无需绕目标物转动，提高了场景的适应性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例中标定装置应用于3D智能视觉设备的示意图；

图2为本发明实施例中标定装置应用于3D图像采集设备的示意图；

图3为本发明实施例中标定装置应用于机载式3D图像采集设备的示意图；

图4为本发明实施例中标定装置应用于车载式3D图像采集设备的示意图；

其中，图像采集装置1、转动装置2、筒状外壳3、旋转装置4、标定装置 5、目标物6。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

3D采集标定流程

当要采集的目标物在不断变化，或者目标物距离较远，或目标物上无法放置标志点等情况时，此时可以：

设置以采集设备的位置和姿态的坐标系xyz，以及以标定空间的坐标系 XYZ。

在采集设备上放置位姿传感器，实时测量采集设备的6个位姿，分别是Xs、 Ys、Zs、

偏角、ω倾角、κ旋角。其中Xs、Ys、Zs为图像采集中心在标定空间坐标系中的XYZ轴坐标；

为z轴在XZ坐标面上的投影与Z轴的夹角；ω为z轴与XZ坐标面之间的夹角；κ为Y轴在xy坐标面上的投影与y轴的夹角。

1、利用采集设备采集物体的多个图像，具体采集过程和要求下面将详述。在采集过程中，利用位姿传感器记录每个采集时刻的6个位姿参数。也就是记录每个图像的6个位姿参数(外部参数)。

2、对所有采集图像进行特征点提取，并进行特征点匹配。获取影像间大量同名像素点对。采用SURF算子对照片进行特征点提取与匹配。SURF特征匹配方法主要包含三个过程，特征点检测、特征点描述和特征点匹配。该方法使用Hessian矩阵来检测特征点，用箱式滤波器(Box Filters)来代替二阶高斯滤波，用积分图像来加速卷积以提高计算速度，并减少了局部影像特征描述符的维数，来加快匹配速度。

3、在所有照片的内参数、外参数已知的情况下，可对匹配的同名像点进行空间前方交会解算，得到同名像点对应的三维坐标，即得到了具有精准三维坐标的点云，获得了目标的三维尺寸。

4、同名像点的空间前方交会的解算过程如下：两张影像的同名像点 (x₁，y₁)，(x₂，y₂)，影像外方位元素为

传感器的焦距为f，传统摄影测量一般采用如下的点投影系数方法，进行空间前方交会，获取点的物方空间坐标(X，Y，Z)：

其中：

在多张影像同名像点的物方点解算过程中，物方空间点在多张影像上成像，此时，基于两像点交会的点投影系数方法并不适用。多光线前方交会的基本思想为：在共线条件方程的基础上，将物方点坐标当成未知参数，将像点坐标当作观测值，通过平差方法解算地面坐标。

设有共线条件方程，写成像点表示形式为：

以(X，Y，Z)为未知参数，对共线条件方程进行线性化，得到误差方程式：

对于每一个影像像点，可以得到两个误差方程式，如果有n张匹配影像，那么可以获取2n个误差方程。将误差方程式用矩阵形式表示为：

V＝A·X-L中：

于是，在给定迭代收敛阈值的条件下，通过最小二乘方法，计算X。

X＝(A^T·A)^-1·(A^T·L)最终，地面点坐标(X，Y，Z)表示为：

(X，Y，Z)^T＝(X₀，Y₀，Z₀)^T+(ΔX，ΔY，ΔZ)^T。

其中，在上述步骤3中，相机的内参数主要包括像主点x₀，像主点y₀，焦距(f)，径向畸变差系数k₁，径向畸变差系数k₂，切向畸变差系数p₁，切向畸变差系数p₂，CCD非正方形比例系数α，CCD非正交性的畸变系数β。这些参数均可在相机检校场获得。

标定装置结构

标定装置可以由位置传感器和姿态传感器构成(也可以将检测位置和姿态的模块合并为位姿传感器，即可以检测位置和姿态的定位定向系统)。例如常见的位置传感器包括GPS定位模块、北斗模块等；常见的姿态传感器包括IMU 惯性传感器、陀螺仪等。

当标定装置5应用于上述3D智能视觉设备时，请参考图1，其可以位于筒状外壳上，或外壳内，并且标定装置与智能视觉设备的图像采集装置的相对位置固定，且提前标定好。

当标定装置5应用于通常的3D图像采集设备(例如带轨道的相机)时，请参考图2，标定装置位于相机周边，例如可以位于相机外壳上，或通过固定板安装在相机外壳上。并且标定装置与智能视觉设备的图像采集装置的相对位置固定，且提前标定好。

利用3D智能视觉设备

包括图像采集装置1、转动装置2和筒状外壳3。如图1，图像采集装置1 安装在转动装置2上，转动装置2容纳在筒状外壳3内，并且可以在筒状外壳内自由转动。

图像采集装置1用于通过图像采集装置1的采集区域与目标物相对运动采集目标物一组图像；采集区域移动装置，用于驱动图像采集装置的采集区域与目标物产生相对运动。采集区域为图像采集装置的有效视场范围。

图像采集装置1可以为相机，转动装置2可以为转盘。相机设置2在转盘上，且相机光轴与转盘面呈一定夹角，转盘面与待采集目标物近似平行。转盘带动相机转动，从而使得相机在不同位置采集目标物的图像。

进一步，相机通过角度调整装置安装在转盘上，角度调整装置可以转动从而调整图像采集装置1的光轴与转盘面的夹角，调节范围为-90°<γ<90°。在拍摄较近目标物时，可以使得图像采集装置1光轴向转盘中心轴方向偏移，即将γ向-90°方向调节。而在拍摄腔体内部时，可以使得图像采集装置1光轴向偏离转盘中心轴方向偏移，即将γ向90°方向调节。上述调节可以手动完成，也可以给3D智能视觉设备设置测距装置，测量其距离目标物的距离，根据该距离来自动调整γ角度。

转盘可通过传动装置与电机连接，在电机的驱动下转动，并带动图像采集装置1转动。传动装置可以为齿轮系统或传动带等常规机械结构。

为了提高采集效率，转盘上可以设置多个图像采集装置1。多个图像采集装置1沿转盘圆周依次分布。例如可以在转盘任意一条直径两端分别设置一个图像采集装置1。也可以每隔60°圆周角设置一个图像采集装置1，整个圆盘均匀设置6个图像采集装置1。上述多个图像采集装置可以为同一类型相机，也可以为不同类型相机。例如在转盘上设置一个可见光相机及一个红外相机，从而能够采集不同波段图像。

图像采集装置1用于采集目标物的图像，其可以为定焦相机，或变焦相机。特别是即可以为可见光相机，也可以为红外相机。当然，可以理解的是任何具有图像采集功能的装置均可以使用，并不构成对本发明的限定，例如可以为 CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。

转动装置2除了转盘，也可以为转动臂、转动梁、转动支架等多种形式，只要能够带动图像采集装置转动即可。无论使用哪种方式，图像采集装置1的光轴与转动面均具有一定的夹角γ。

通常情况下，光源位于图像采集装置1的镜头周边分散式分布，例如光源为在镜头周边的环形LED灯，位于转盘上；也可以设置在筒状外壳的横截面上。特别是可以在光源的光路上设置柔光装置，例如为柔光外壳。或者直接采用 LED面光源，不仅光线比较柔和，而且发光更为均匀。更佳地，可以采用OLED 光源，体积更小，光线更加柔和，并且具有柔性特性，可以贴附于弯曲的表面。光源也可以设置于其他能够为目标物提供均匀照明的位置。光源也可以为智能光源，即根据目标物及环境光的情况自动调整光源参数。

在进行3D采集时，图像采集装置在不同采集位置光轴方向相对于目标物不发生变化，通常大致垂直于目标物表面，此时相邻两个图像采集装置1的位置，或图像采集装置1相邻两个采集位置满足如下条件：

μ＜0.482

其中L为相邻两个采集位置图像采集装置1光心的直线距离；f为图像采集装置1的焦距；d为图像采集装置感光元件(CCD)的矩形长度；M为图像采集装置1感光元件沿着光轴到目标物表面的距离；μ为经验系数。

当上述两个位置是沿图像采集装置1感光元件长度方向时，d取矩形长度；当上述两个位置是沿图像采集装置1感光元件宽度方向时，d取矩形宽度。

图像采集装置1在上述两个位置中的任何一个位置时，感光元件沿着光轴到目标物表面的距离作为M。

如上所述，L应当为两个图像采集装置1光心的直线距离，但由于图像采集装置1光心位置在某些情况下并不容易确定，因此在某些情况下也可以使用图像采集装置1的感光元件中心、图像采集装置1的几何中心、图像采集装置与云台(或平台、支架)连接的轴中心、镜头近端或远端表面的中心替代，经过试验发现由此带来的误差是在可接受的范围内的，因此上述范围也在本发明的保护范围之内。

利用本发明装置，进行实验，得到了如下实验结果。

从上述实验结果及大量实验经验可以得出，μ的值应当满足μ<0.482，此时已经能够合成部分3D模型，虽然有一部分无法自动合成，但是在要求不高的情况下也是可以接受的，并且可以通过手动或者更换算法的方式弥补无法合成的部分。特别是μ的值满足μ<0.357时，能够最佳地兼顾合成效果和合成时间的平衡；为了获得更好的合成效果可以选择μ<0.198，此时合成时间会上升，但合成质量更好。而当μ为0.5078时，已经无法合成。但这里应当注意，以上范围仅仅是最佳实施例，并不构成对保护范围的限定。

以上数据仅为验证该公式条件所做实验得到的，并不对发明构成限定。即使没有这些数据，也不影响该公式的客观性。本领域技术人员可以根据需要调整设备参数和步骤细节进行实验，得到其他数据也是符合该公式条件的。

本发明所述的相邻采集位置是指，在图像采集装置相对目标物移动时，移动轨迹上的发生采集动作的两个相邻位置。这通常对于图像采集装置运动容易理解。但对于目标物发生移动导致两者相对移动时，此时应当根据运动的相对性，将目标物的运动转化为目标物不动，而图像采集装置运动。此时再衡量图像采集装置在转化后的移动轨迹中发生采集动作的两个相邻位置。

利用3D图像采集设备

(1)采集区域移动装置为旋转结构

如图2，目标物6固定于某一位置，旋转装置4驱动图像采集装置1围绕目标物6转动。旋转装置4可以通过旋转臂带动图像采集装置1围绕目标物6 转动。当然这种转动并不一定是完整的圆周运动，可以根据采集需要只转动一定角度。并且这种转动也不一定必须为圆周运动，图像采集装置1的运动轨迹可以为其它曲线轨迹，只要保证相机从不同角度拍摄物体即可。

旋转装置也可以驱动图像采集装置自转，通过自转使得图像采集装置能够从不同角度采集目标物图像。

旋转装置可以为悬臂、转台、轨道等多种形态，也可以手持、使用车载或机载，如图3，使得图像采集装置1能够产生运动即可。

除了上述方式，在某些情况下也可以将相机固定，承载目标物的载物台转动，使得目标物面向图像采集装置的方向时刻变化，从而使得图像采集装置能够从不同角度采集目标物图像。但此时计算时，仍然可以按照转化为图像采集装置运动的情况下来进行计算，从而使得运动符合相应经验公式(具体下面将详细阐述)。例如，载物台转动的场景下，可以假设载物台不动，而图像采集装置旋转。通过利用经验公式设定图像采集装置旋转时拍摄位置的距离，从而推导出其转速，从而反推出载物台转速，以方便进行转速控制，实现3D采集。当然，这种场景并不常用，更为常用的还是转动图像采集装置。

图像采集装置用于采集目标物的图像，其可以为定焦相机，或变焦相机。特别是即可以为可见光相机，也可以为红外相机。当然，可以理解的是任何具有图像采集功能的装置均可以使用，并不构成对本发明的限定，例如可以为 CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。

设备还包括处理器，也称处理单元，用以根据图像采集装置采集的多个图像，根据3D合成算法，合成目标物3D模型，得到目标物3D信息。

(2)采集区域移动装置为平动结构

除了上述旋转结构外，图像采集装置可以以直线轨迹相对目标物运动。例如图像采集装置位于直线轨道上或位于直线行驶的汽车或无人机上，沿直线轨道依次经过目标物进行拍摄，如图4，在过程中图像采集装置保持不转动。其中直线轨道也可以用直线悬臂代替。但更佳的是，在图像采集装置整体沿直线轨迹运动时，其进行一定的转动，从而使得图像采集装置4的光轴朝向目标物 1。

(3)采集区域移动装置为无规则运动结构

有时，采集区域移动并不规则，例如在手持图像采集装置时，或车载或机载时，行进路线为不规则路线时，此时难以以严格的轨道进行运动，图像采集装置的运动轨迹难以准确预测。因此在这种情况下如何保证拍摄图像能够准确、稳定地合成3D模型是一大难题，目前还未有人提及。更常见的方法是多拍照片，用照片数量的冗余来解决该问题。但这样合成结果并不稳定。虽然目前也有一些通过限定相机转动角度的方式提高合成效果，但实际上用户对于角度并不敏感，即使给出优选角度，在手持拍摄的情况下用户也很难操作。因此本发明提出了通过限定两次拍照相机移动距离的方式来提高合成效果、缩短合成时间的方法。

在无规则运动的情况下，可以在移动终端或图像采集装置中设置传感器，通过传感器测量图像采集装置两次拍摄时移动的直线距离，在移动距离不满足上述关于L(具体下述条件)的经验条件时，向用户发出报警。所述报警包括向用户发出声音或灯光报警。当然，也可以在用户移动图像采集装置时，手机屏幕上显示，或语音实时提示用户移动的距离，以及可移动的最大距离L。实现该功能的传感器包括：测距仪、陀螺仪、加速度计、定位传感器和/或它们的组合。

(4)多相机方式

可以了解，除了通过相机与目标物相对运动从而使得相机可以拍摄目标物不同角度的图像外，还可以再目标物周围不同位置设置多个相机，从而可以实现同时拍摄目标物不同角度的图像。

采集区域相对目标物运动时，特别是图像采集装置围绕目标物转动，在进行3D采集时，图像采集装置在不同采集位置光轴方向相对于目标物发生变化，此时相邻两个图像采集装置的位置，或图像采集装置相邻两个采集位置满足如下条件：

δ<0.603

其中L为相邻两个采集位置图像采集装置光心的直线距离；f为图像采集装置的焦距；d为图像采集装置感光元件(CCD)的矩形长度或宽度；T为图像采集装置感光元件沿着光轴到目标物表面的距离；δ为调整系数。

当上述两个位置是沿图像采集装置感光元件长度方向时，d取矩形长度；当上述两个位置是沿图像采集装置感光元件宽度方向时，d取矩形宽度。

图像采集装置在两个位置中的任何一个位置时，感光元件沿着光轴到目标物表面的距离作为T。除了这种方法外，在另一种情况下，L为A_n、A_n+1两个图像采集装置光心的直线距离，与A_n、A_n+1两个图像采集装置相邻的A_n-1、A_n+2两个图像采集装置和A_n、A_n+1两个图像采集装置4各自感光元件沿着光轴到目标物表面的距离分别为T_n-1、T_n、T_n+1、T_n+2，T＝(T_n-1+T_n+T_n+1+T_n+2)/4。当然可以不只限于相邻4个位置，也可以用更多的位置进行平均值计算。

利用本发明装置，进行实验，得到了如下实验结果。

更换相机镜头，再次实验，得到了如下实验结果。

更换相机镜头，再次实验，得到了如下实验结果。

如上所述，L应当为两个图像采集装置光心的直线距离，但由于图像采集装置光心位置在某些情况下并不容易确定，因此在某些情况下也可以使用图像采集装置的感光元件中心、图像采集装置的几何中心、图像采集装置与云台(或平台、支架)连接的轴中心、镜头近端或远端表面的中心替代，经过试验发现由此带来的误差是在可接受的范围内的，因此上述范围也在本发明的保护范围之内。

通常情况下，现有技术中均采用物体尺寸、视场角等参数作为推算相机位置的方式，并且两个相机之间的位置关系也采用角度表达。由于角度在实际使用过程中并不好测量，因此在实际使用时较为不便。并且，物体尺寸会随着测量物体的变化而改变。上述不方便的测量以及多次重新测量都会带来测量的误差，从而导致相机位置推算错误。而本方案根据大量实验数据，给出了相机位置需要满足的经验条件，不仅避免测量难以准确测量的角度，而且不需要直接测量物体大小尺寸。经验条件中d、f均为相机固定参数，在购买相机、镜头时，厂家即会给出相应参数，无需测量。而T仅为一个直线距离，用传统测量方法，例如直尺、激光测距仪均可以很便捷的测量得到。因此，本发明的经验公式使得准备过程变得方便快捷，同时也提高了相机位置的排布准确度，使得相机能够设置在优化的位置中，从而在同时兼顾了3D合成精度和速度。

从上述实验结果及大量实验经验可以得出，δ的值应当满足δ<0.603，此时已经能够合成部分3D模型，虽然有一部分无法自动合成，但是在要求不高的情况下也是可以接受的，并且可以通过手动或者更换算法的方式弥补无法合成的部分。特别是δ的值满足δ<0.410时，能够最佳地兼顾合成效果和合成时间的平衡；为了获得更好的合成效果可以选择δ<0.356，此时合成时间会上升，但合成质量更好。当然为了进一步提高合成效果，可以选择δ<0.311。而当δ为0.681 时，已经无法合成。但这里应当注意，以上范围仅仅是最佳实施例，并不构成对保护范围的限定。

并且从上述实验可以看出，对于相机拍照位置的确定，只需要获取相机参数(焦距f、CCD尺寸)、相机CCD与物体表面的距离T即可根据上述公式得到，这使得在进行设备设计和调试时变得容易。由于相机参数(焦距f、CCD尺寸) 在相机购买时就已经确定，并且是产品说明中就会标示的，很容易获得。因此根据上述公式很容易就能够计算得到相机位置，而不需要再进行繁琐的视场角测量和物体尺寸测量。特别是在一些场合中，需要更换相机镜头，那么本发明的方法直接更换镜头常规参数f计算即可得到相机位置；同理，在采集不同物体时，由于物体大小不同，对于物体尺寸的测量也较为繁琐。而使用本发明的方法，无需进行物体尺寸测量，能够更为便捷地确定相机位置。并且使用本发明确定的相机位置，能够兼顾合成时间和合成效果。因此，上述经验条件是本发明的发明点之一。

本发明所述的转动运动，为在采集过程中前一位置采集平面和后一位置采集平面发生交叉而不是平行，或前一位置图像采集装置光轴和后一位置图像采集位置光轴发生交叉而不是平行。也就是说，图像采集装置的采集区域环绕或部分环绕目标物运动，均可以认为是两者相对转动。虽然本发明实施例中列举更多的为有轨道的转动运动，但是可以理解，只要图像采集设备的采集区域和目标物之间发生非平行的运动，均是转动范畴，均可以使用本发明的限定条件。本发明保护范围并不限定于实施例中的有轨道转动。

3D合成建模装置及方法

处理器，也称处理单元，用以根据图像采集装置采集的多个图像，根据3D 合成算法，合成目标物3D模型，得到目标物3D信息。图像采集装置1将采集到的多个图像发送给处理单元，处理单元根据上述所述一组图像中的多个图像得到目标物的3D信息。当然，处理单元可以直接设置在图像采集装置1所在的壳体内，也可以通过数据线或通过无线方式与图像采集装置连接。例如可以使用独立的计算机、服务器及集群服务器等作为处理单元，图像采集装置1采集到的图像数据传输至其上，进行3D合成。同时，也可以将图像采集装置1 的数据传输至云平台，利用云平台的强大计算能力进行3D合成。

处理单元中执行如下方法：

1、对所有输入照片进行图像增强处理。采用下述滤波器增强原始照片的反差和同时压制噪声。

式中：g(x，y)为原始影像在(x，y)处灰度值，f(x，y)为经过WaLLis滤波器增强后该处的灰度值，m_g为原始影像局部灰度均值，s_g为原始影像局部灰度标准偏差，m_f为变换后的影像局部灰度目标值，s_f为变换后影像局部灰度标准偏差目标值。c∈(0，1)为影像方差的扩展常数，b∈(0，1)为影像亮度系数常数。

该滤波器可以大大增强影像中不同尺度的影像纹理模式，所以在提取影像的点特征时可以提高特征点的数量和精度，在照片特征匹配中则提高了匹配结果可靠性和精度。

2、对输入的所有图像进行特征点提取，并进行特征点匹配，获取稀疏特征点。采用SURF算子对照片进行特征点提取与匹配。SURF特征匹配方法主要包含三个过程，特征点检测、特征点描述和特征点匹配。该方法使用Hessian 矩阵来检测特征点，用箱式滤波器(BoxFiLters)来代替二阶高斯滤波，用积分图像来加速卷积以提高计算速度，并减少了局部影像特征描述符的维数，来加快匹配速度。主要步骤包括①构建Hessian矩阵，生成所有的兴趣点，用于特征提取，构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变点)；②构建尺度空间特征点定位，将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；③特征点主方向的确定，采用的是统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向；④生成64维特征点描述向量,特征点周围取一个4*4的矩形区域块，但是所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。该haar 小波特征为水平方向值之后、垂直方向值之后、水平方向绝对值之后以及垂直方向绝对值之和4个方向，把这4个值作为每个子块区域的特征向量，所以一共有4*4*4＝64维向量作为Surf特征的描述子；⑤特征点匹配，通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好。

3、输入匹配的特征点坐标，利用光束法平差，解算稀疏的目标物三维点云和拍照相机的位置和姿态数据，即获得了稀疏目标物模型三维点云和位置的模型坐标值；以稀疏特征点为初值，进行多视照片稠密匹配，获取得到密集点云数据。该过程主要有四个步骤：立体像对选择、深度图计算、深度图优化、深度图融合。针对输入数据集里的每一张影像，我们选择一张参考影像形成一个立体像对，用于计算深度图。因此我们可以得到所有影像的粗略的深度图，这些深度图可能包含噪声和错误，我们利用它的邻域深度图进行一致性检查，来优化每一张影像的深度图。最后进行深度图融合，得到整个场景的三维点云。

4、利用密集点云进行目标物曲面重建。包括定义八叉树、设置函数空间、创建向量场、求解泊松方程、提取等值面几个过程。由梯度关系得到采样点和指示函数的积分关系，根据积分关系获得点云的向量场，计算指示函数梯度场的逼近，构成泊松方程。根据泊松方程使用矩阵迭代求出近似解，采用移动方体算法提取等值面，对所测点云重构出被测物体的模型。

5、目标物模型的全自动纹理贴图。表面模型构建完成后，进行纹理贴图。主要过程包括：①纹理数据获取通过图像重建目标的表面三角面格网；②重建模型三角面的可见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像；③三角面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关系，将三角面聚类生成为若干参考图像纹理贴片；④纹理贴片自动排序生成纹理图像。对生成的纹理贴片，按照其大小关系进行排序，生成包围面积最小的纹理图像，得到每个三角面的纹理映射坐标。

应用举例

例如在自动驾驶汽车中安装3D采集设备，这样采集设备不仅可以获得周围建筑物的3D模型，还能够获得其真实尺寸大小。这样能够使得自动驾驶汽车识别周边环境更加准确。

在机器人上安装3D采集设备，可以使得机器人具有3D视觉，相当于为机器人安装了更为精确的眼睛。机器人也能够实时获知周边环境的情况和具体尺寸大小，从而使得机器人能够准确判断周边环境，做出正确决策。

除此之外，在飞机、无人机、轮船及各种移动设备上均可以使用该采集设备从而获得需要的3D模型和尺寸。

当然，虽然上述应用均在移动装置上使用，但实际上该设备和方法也可以用于固定的采集中。例如，在路口的路灯上设置3D采集设备，可以随时采集路上行人、车辆的3D模型，同时获得其尺寸，从而能够精确识别和判断是何种车辆。甚至可以获得行人的准确三维轮廓，这样可以比二维识别方式更加准确，确定行人身份。这在安全监控中是非常有利的。

虽然上述实施例中记载图像采集装置采集图像，但不应理解为仅适用于单张图片构成的图片组，这只是为了便于理解而采用的说明方式。图像采集装置也可以采集视频数据，直接利用视频数据或从视频数据中截取图像进行3D合成。但合成时所利用的视频数据相应帧或截取的图像的拍摄位置，依然满足上述经验公式。

上述目标物体、目标物、及物体皆表示预获取三维信息的对象。可以为一实体物体，也可以为多个物体组成物。例如可以为大楼、桥梁等。所述目标物的三维信息包括三维图像、三维点云、三维网格、局部三维特征、三维尺寸及一切带有目标物三维特征的参数。本发明里所谓的三维是指具有XYZ三个方向信息，特别是具有深度信息，与只有二维平面信息具有本质区别。也与一些称为三维、全景、全息、三维，但实际上只包括二维信息，特别是不包括深度信息的定义有本质区别。

本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于本发明装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序 (例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims

1.一种3D采集系统及方法，其特征在于：

(1)利用采集设备采集目标物多个图像；

(3)处理器根据上述多个图像合成目标物三维模型，同时根据采集设备位置和姿态信息得到同名像点对应的三维坐标，从而获得具有三维坐标的三维模型点云。

2.如权利要求1所述的系统及方法，其特征在于：位置信息包括XYZ坐标，姿态信息包括偏角、倾角和旋角。

3.如权利要求1所述的系统及方法，其特征在于：处理器还根据结合采集设备以下参数进行同名像点三维坐标计算：像主点坐标(x₀,y₀)，焦距f，径向畸变差系数k₁，径向畸变差系数k₂，切向畸变差系数p₁，切向畸变差系数p₂，图像传感元件非正方形比例系数α，和/或图像传感元件非正交性的畸变系数β。

4.如权利要求1所述的系统及方法，其特征在于：图像采集装置转动采集一组图像时的位置符合如下条件：

5.如权利要求4所述的系统及方法，其特征在于：μ<0.482，μ<0.357，或μ<0.198。

6.如权利要求1所述的系统及方法，其特征在于：采集设备为3D图像采集设备时，3D图像采集设备的相邻两个采集位置符合如下条件：

7.如权利要求6所述的系统及方法，其特征在于：δ<0.603，δ<0.410，δ<0.356。或δ<0.311；或δ<0.284；或δ<0.261；或δ<0.241；或δ<0.107。

8.如权利要求1所述的系统及方法，其特征在于：得到同名像点对应的三维坐标是通过对匹配的同名像点进行空间前方交会解算实现的。

9.如权利要求1所述的系统或方法，其特征在于：获得目标物的绝对尺寸。

10.一种标定设备及方法，其特征在于：应用于上述权利要求1-9的设备或方法。