CN116802459A - 多照相机三维捕获与重建系统 - Google Patents

Abstract

一种多照相机三维捕获和重建系统，包括：机械结构(10)；被放置在所述结构(10)上的至少五个照相机(11～15)；其特征在于，所述至少五个照相机(11～15)是各自使用鱼眼光学器件的照相机；所述至少五个照相机(11～15)被配置为使得，与所述系统的向前方向相比：第一前照相机(11)的光学器件指向0°±10°；第二右前照相机(12)的光学器件指向+45°±10°；第三左前照相机(13)的光学器件指向‑45°±10°；第四右后照相机(14)的光学器件指向60°±20°；第五左后照相机(15)的光学器件指向‑60°±20°；x定义所述第二右前照相机(12)和所述第三左前照相机(13)之间的距离，所述第三左前照相机(13)与所述第五左后照相机(15)之间的距离y等于或大于距离x，其中，y大于或等于10cm。

Description

多照相机三维捕获与重建系统

技术领域

本发明涉及多照相机三维(3D)捕获和重建系统。

背景技术

对于在建筑、考古、地质和基础设施领域中运行的许多现实，3D捕获和重建系统具有共通的实际问题，即，在诸如隧道、狭窄楼梯、阁楼、地下设施、地下墓穴、渡槽等的勘测环境中，经典技术在时间和成本方面不可持续。即，所有这些环境的特点是结构复杂，很少或没有照明，在长时间停留的情况下可能存在危险，并且最重要的是隧道形状，因此是宽度非常窄、高度很小但非常长的环境。市场几乎没有提供勘测这些环境的可能性；要找到足够灵活以在狭窄但又很长的环境中移动并且能够检测非常近的物体的仪器，确实很困难。

今天所有可能的测量技术，诸如动态捕获扫描仪系统，存在沿着主要测量方向的误差传播的问题，从而导致难以预测或控制并且常常不能在后处理中被校正的甚至显著的偏差。

出于这种原因，它们本身在度量方面并不可靠，需要支持、校正和验证测量，这些并不总是可能的，并且非常困难。

经典的测量技术需要捕获时间和在现场花费的时间，这在物理上或经济上通常是不可能的。收集非常冗余的数据(考虑到环境的形状)的需要也使得后处理边界可行。

发明内容

本发明的目的是，提供克服已知技术的缺点的多照相机3D捕获和重建系统。

另一目的是，提供特别设计用于小和狭窄环境的多照相机3D捕获和重建系统。

另一目的是，提供易于操作的系统。

根据本发明，这些目的以及其它目的通过多照相机三维捕获和重建系统实现，该多照相机三维捕获和重建系统包括：机械结构；被放置在所述结构上的至少五个照相机；其特征在于，所述至少五个照相机是各自使用鱼眼光学器件的照相机；所述至少五个照相机被配置为使得，与所述系统的向前方向相比：第一前照相机的光学器件指向0°±10°；第二右前照相机的光学器件指向+45°±10°；第三左前照相机的光学器件指向-45°±10°；第四右后照相机的光学器件指向60°±20°；第五左后照相机的光学器件指向-60°±20°；x定义所述第二右前照相机和所述第三左前照相机之间的距离，所述第三左前照相机与所述第五左后照相机之间的距离y等于或大于距离x，其中，x大于或等于10cm。

在从属权利要求中描述了本发明的其它特征。

与已知技术的解决方案相比，该解决方案的优点是多种多样的。

该系统允许对人工和自然密闭空间进行三维重建和摄影检查，以解决测量准确性和可重复性的问题。

它在包括高分辨率3D几何信息和完整摄影文档的需要360度数字化的情况下得到了自然的应用，这在数字信息领域越来越普遍和必要，并为建模(建筑信息建模-BIM)、虚拟现实(VR)和增强现实(AR)体验以及“在线数据共享”的领域的开发开辟了可能性。

该系统被设计为由以正常步行速度穿过待勘测环境/隧道的单个操作员独立持有和使用，并允许在很短的时间内完成完全自动的捕获。或者，该系统可以被安装在推车上。

利用图像匹配原理、数字摄影测量规则、利用来自运动算法的结构和专门为参考应用类型设计的多照相机系统，该设备旨在成为市场上现代动态3D勘测系统的替代品，从而提供高精度的形状测量并以卓越的质量捕获图像，这是用于表面数字化和详细检查的最佳特性。

该设备使得能够限制长捕获期间漂移误差的传播。这是由于鱼眼光学器件的视角的组合利用：以使得除了操作员之外的整个场景始终被完整地拍摄的方式布置的至少五个照相机；摄影镜头的捕获的精确同步；照相机之间固定距离的精确校准；以及通过来自运动结构过程(Structure From Motion process)的数据处理。所有这些允许识别围绕结构的各方向上的大量关键点以及形成结构的一部分的照相机之间以及在移动期间结构本身的连续位置之间的图像(同源点)之间的大量约束。宽视角意味着，在相同的关键点不再落入照相机的视场内之前，它们可以被识别并且用作结构的大量连续位置中的约束(同源点)。这些约束的冗余减少长捕获中的漂移误差。

由于鱼眼光学系统的宽视角，该设备使得能够减少360°3D重建所需的图像数量，这允许通过使用仅仅五个照相机获得除操作员外的取景场景的完全覆盖。并且，该结构的宽视角使得能够获得大的约束冗余(连接结构的后续位置的同源点)，同时允许拍摄基准和拍摄距离(bp/dp)之间的大比率，即，结构的两个连续位置的重心的距离与“结构的重心和拍摄表面之间的距离”之间的比率等于1：1，而相反，通过使用直投影光学器件，该比率必须更低(约1：2)，从而显著增加所需图像的数量。

该设备使得能够通过利用校准照相机的固定相对位置和照相机的同步直接按比例获得重建，而不需要额外的支持测量。

它还使得即使对于非专业摄影测量师也可以实现快速的捕获；这也可以通过将结构安装在车辆上或以其它运动模式按完全自主的方式实现。

该设备使用全局快门式照相机，并且使用鱼眼镜头。

以不同的角度布置并且指向结构重心的外侧的具有视角190°(大于150°)的鱼眼光学器件允许对操作员以外的取景场景进行半球形拍摄，从而允许全向约束点，这些全向约束点同时使最终重建和在捕获时刻对设备的确定更加稳健；并且，减小的焦距有利于宽景深，这允许非常近的物体和远处的物体同时对焦，从而改善后续图像处理的结果。

照相机之间的相对布置，特别是照相机的拍摄中心之间的显著距离的存在，特别是沿着仪器的指向方向以及行走方向，允许同源点的精确三角测量和得到的三维重建的缩放。

即使在非常大的环境中，照相机之间的约束、固定和校准位置也允许实现自动和精确的尺寸标注(dimensioning)。

设备还是便携的并且重量轻，因此它可以被用在极端条件下。

可以通过使照相机更接近或者进一步分开，按比例增加仪器的尺寸，以使其更好地适应或多或少宽敞的环境，并且可以增加照相机的数量，如有必要，可以增加任何数量的照相机。

仪器可以长时间自主工作，因此，即使对于很长时间的拍摄，也可以很容易地将其安装在移动支架上，并且即使是非专业的摄影测量师也可以使用。

能够与诸如例如热感照相机的其它传感器集成，这些传感器有助于进一步改善精度和/或扩展获取的数据的类型。

还能够实时处理或预处理数据。

附图说明

从通过附图中的非限制性示例示出的本发明的实际实施例的以下详细描述，本发明的特征和优点将清晰，其中，

图1示出根据本发明的从上方观察的多照相机3D捕获和重建系统；

图2示出根据本发明的从侧面观察的多照相机3D捕获和重建系统；

图3示出根据本发明的多照相机3D捕获和重建系统的控制中心的框图；

图4示意性地示出根据本发明的多照相机3D捕获和重建系统的照相机的第一布置；

图5示意性地示出根据本发明的多照相机3D捕获和重建系统的照相机的第二布置；

图6示意性地示出根据本发明的多照相机3D捕获和重建系统的照相机的第三布置；

图7示意性地示出根据本发明的多照相机3D捕获和重建系统的照相机的第四布置；

图8示意性地示出根据本发明的多照相机3D捕获和重建系统的第五照相机布置。

具体实施方式

参考附图，根据本发明的多照相机3D捕获和重建系统包括机械结构10，在该机械结构10上放置有至少五个照相机11～15。在结构10上，还优选存在屏幕17(可由平板或智能电话替换)，并且优选存在至少一个LED照明灯18。屏幕和灯也可以被放置在其它结构上。

诸如惯性传感器或热感照相机(未示出)的其它传感器也可以被安装在结构10上。

照相机10～15、屏幕17、灯18和其它传感器电连接到可移动的控制中心20，该控制中心20包括用于管理系统、用于图像捕获和存储以及可能对捕获的图像进行第一处理的计算机21以及电源电池22。

在其一个实施例中，结构10基本上由杆30组成，该杆30具有放置在其前端的第一照相机11。垂直于杆30的第一横杆31被放置在杆30的前端附近。前照相机12和13被放置在第一横杆31的端部。

垂直于杆30的第二横杆32被放置在第一横杆31的后部。后照相机14和15被放置在第二横杆32的端部。

允许操作者携带系统的垂直手柄33被放置在杆30下方的重心位置。

在替代性实施例中，结构10包括金属板，该金属板成形为所有照相机之间的刚性紧固件，因此没有杆和横杆。

关于具有位于前方即在照相机11～15的向前方向上的角度0°的水平轴，第一前照相机11的光学器件指向0°，第二右前照相机12的光学器件指向+45°，第三左前照相机13的光学器件指向-45°(315°)，第四右后照相机14的光学器件指向60°，第五左后照相机15的光学器件指向-60°(300°)。

照相机11～13所指向的上述角度可以通过在水平面上移动(右/左)并沿0°的垂直面定位而变化约±10°，即，在水平位置，该角度可以变化约±20°(上/下)。

照相机14～15所处的上述角度在紧固在结构上的过程中可以沿水平面(右/左)和垂直面(上/下)变化约±20°。

前照相机12和13以及后照相机14和15彼此对准，并且基本上位于正方形或矩形的顶点处。

与前照相机12和13相比，前照相机1稍微向前，以避免干扰它们。

照相机11～15基本上位于同一水平面上。

优选地，前照相机11被升高几厘米以避免对照相机12和13的取景干扰。

照相机的优选布置是，照相机12～15被布置在正方形的顶点上，使得前照相机11被布置在中央和正面。

另一种布置使得后照相机14和15以小于前照相机12和13之间的距离的距离彼此更靠近。

在本说明书中，照相机之间的距离意指照相机自身的传感器中心之间的距离。

另一种布置将前照相机12和13设置为以小于后照相机14和15之间的距离的距离彼此更靠近。

另一种布置将前照相机12和13以及后照相机14和15设置为彼此更靠近并且被布置在矩形的顶点上。

另一种布置将前照相机12和13以及后照相机14和15设置为间隔开并且布置在矩形的顶点上。照相机之间的距离可以被定义，使得如果x是照相机12和13之间(或照相机14和15之间)的距离，则照相机13～15之间(或照相机12和14之间)的距离y等于或大于距离x，这里，y大于或等于10cm，因此，照相机12～15将被布置在沿设备的移动方向伸长的正方形或矩形上。

前照相机11总是布置在中央，即，与照相机12和照相机13相距x/2的距离。

前照相机11可以与照相机12和13对准，或者为了避免干扰，与它们相比可以处于更向前的位置。

还能够基于参考环境(通常是隧道)的宽度z确定照相机12和14之间或照相机13和15之间的距离y，并且优选地，距离y将等于z/4±10％。

从而，这种几何结构对于z/2～4z的隧道宽度是有效的。

因此，对于0.4m～8m的隧道宽度，距离y通常在10cm至200cm之间。

对于各照相机11～15，使用分辨率为2448×2048像素、探测器距离为3.45μm的2/3″彩色照相机。

也可以使用在分辨率和辐射测量能力方面具有不同特征的照相机。

照相机使用鱼眼光学系统，该鱼眼光学系统需要在单次拍摄中的图像之间具有足够的覆盖范围，即使在近距离观察时，在连续拍摄之间也具有覆盖隧道大部分的稳健重叠，并且具有允许镜头锁定焦点的非常宽的景深。使用具有等距投影、190°视场、7.2mm图像圆以及在任何情况下最小150°视场的鱼眼光学器件。

照相机取向角随着使用的鱼眼光学器件的覆盖范围和采用的鱼眼投影而变。

还使用全局快门型照相机的传感器，并因此使用同时捕获组成图像的所有像素的图像捕获方法。

类似地，通过将照相机紧固在其位置，以约0.1mm的精度定期校准照相机的几何配置，以确保3D重建的精确缩放。

照相机也必须同步，这是通过使用设备的照相机之间的硬件连接实现的。准确的同步对于避免由于在照相机和取景场景之间存在相对移动而导致的失真是重要的。同步线缆将主照相机11连接到从照相机12～15，该连接确保向着主照相机捕获信号也导致从照相机的捕获。

同步误差和照相机系统与取景场景之间的相对偏移的同时存在，导致照相机之间的几何比率(校准距离)根据同步误差的类型、偏移的类型及其方向以及照相机与拍摄表面之间的距离以可变的方式变形。假设照相机在拍摄时刻的实际位置随移动而变化(如果一个照相机即使比另一个稍晚地拍摄，则两个照相机在各自拍摄时刻的位置之间的距离随着偏移速度的增加而增加)，这种变形的存在防止在处理期间将校准的距离施加为固定约束；而将校准的距离施加为约束会偏移三维重建中的变形。

同步问题是从照相机的观点解决的。事实上，考虑到照相机是静止的而取景场景是运动的。在存在同步误差的情况下，场景的点P将在时间tO由照相机1拍摄，并且在时间t1由照相机2拍摄。位置t1处的点P在与它在时间tO时投影到的位置不同的位置被投影到照相机2的传感器上。这两个点之间的距离为z，并且，如果z减去照相机2的传感器的两个像素，则失真不产生影响。通过将由于同步误差和物体与照相机之间的相对运动的存在而引起的、图像空间中的物体的给定点的偏移误差的最大阈值定义为等于2个像素，解决同步问题。

对于约1m/s的规则慢速行走速度和50cm的待检测物体的距离，估计的最大可接受同步误差为约1ms，以满足该偏移误差减去两个像素的大小的条件。

在设备的一个实施例中测量的同步误差为200μs，这允许最高移动速度为5m/s(相当于18km/h)地无失真地捕获50cm距离处的表面。由照相机拍摄的图像被存储在车载计算机21上。在提供照相机之间的已知校准距离作为约束的摄影测量流水线(来自运动的结构)之后获得按比例重建的数据处理步骤在后期制作中(离线)进行，但是，为了验证在屏幕17上预览的结果，也可以用计算机21在车上执行低分辨率三维重建。

仪器由操作员手动携带，该操作员可以从屏幕17设定拍摄参数并且在勘测期间控制图像的拍摄。

可以以诸如单次拍摄、定时序列拍摄或视频的不同模式拍摄图像。一旦开始捕获，操作员简单地在场景中走动，从而对物体进行取景。

Claims (11)

1.一种多照相机三维捕获和重建系统，包括：机械结构(10)；被放置在所述结构(10)上的至少五个照相机(11～15)；其特征在于，所述至少五个照相机(11～15)是各自使用鱼眼光学器件的照相机；所述至少五个照相机(11～15)被配置为使得，与所述系统的向前方向相比：第一前照相机(11)的光学器件指向0°±10°；第二右前照相机(12)的光学器件指向+45°±10°；第三左前照相机(13)的光学器件指向-45°±10°；第四右后照相机(14)的光学器件指向60°±20°；第五左后照相机(15)的光学器件指向-60°±20°；x定义所述第二右前照相机(12)和所述第三左前照相机(13)之间的距离，所述第三左前照相机(13)与所述第五左后照相机(15)之间的距离y等于或大于距离x，其中，x大于或等于10cm。

2.根据权利要求1所述的系统，其特征在于，所述至少五个照相机(11～15)被配置为使得，与穿过所述至少五个照相机(11～15)中的各照相机的垂直平面相比，它们以0°±20°的角度被放置。

3.根据权利要求1所述的系统，其特征在于，所述第二照相机(12)、所述第三照相机(13)、所述第四照相机(14)和所述第五照相机(15)基本上位于正方形的顶点上。

4.根据权利要求3所述的系统，其特征在于，所述第二照相机(12)和所述第四照相机(14)之间的距离y以及所述第三照相机(13)和所述第五照相机(15)之间的距离y在10cm和200cm之间。

5.根据权利要求1所述的系统，其特征在于，所述第二照相机(12)、所述第三照相机(13)、所述第四照相机(14)和所述第五照相机(15)基本上位于矩形的顶点上。

6.根据权利要求1所述的系统，其特征在于，所述第一照相机(11)、所述第二照相机(12)、所述第三照相机(13)、所述第四照相机(14)和所述第五照相机(15)基本上位于同一水平面内。

7.根据权利要求1所述的系统，其特征在于，与所述第二照相机(12)、所述第三照相机(13)、所述第四照相机(14)和所述第五照相机(15)相比，所述第一照相机(11)升高。

8.根据权利要求1所述的系统，其特征在于，所述至少五个照相机(11～15)使用全局快门类型的图像捕获方法。

9.根据权利要求1所述的系统，其特征在于，与所述第二照相机(12)和所述第三照相机(13)相比，所述第一照相机(11)处于更向前的位置。

10.根据权利要求1所述的系统，其特征在于，所述系统还包括便携的控制中心(20)，便携的控制中心(20)包括电源电池(22)和计算机(21)。

11.根据权利要求1所述的系统，其特征在于，所述系统是便携的。