CN103003666A - 用于三维空间测量的平行的在线-离线重构 - Google Patents

Abstract

介绍用于对空间（1）进行自动三维测量的测量装置（3）、测量系统（5）以及相应的方法。测量装置（3）具有照相机传感器装置（7），所述照相机传感器装置构造为，生成低分辨率的视频拍摄（31）。照相机传感器装置（7）还构造为，在空间中的几何上合适的位置处自动生成高分辨率的图像。在此，高分辨率图像的自动拍摄基于视频拍摄的三维实时重构（23）。

Description

用于三维空间测量的平行的在线-离线重构

技术领域

本发明涉及用于对空间进行自动三维测量的一种测量装置和一种测量系统。本发明还涉及一种相应的方法、一种当其在处理器上实施时可以实施所述方法的计算机程序元件、以及一种计算机可读介质，在所述介质上存储程序元件。

背景技术

空间的三维测量例如对于手工业者和建筑师来说是有很大兴趣的，以便可以尽可能快地检测空间的“实际状态”并且可以计划例如排队等候的工作，如厨房的安装、窗户的安装以及粉刷工作。

在执行测量时，例如用户利用设备拍摄空间的单个视图，从这些单个视图中可以产生空间的三维重构。当然重构的质量依赖于在空间中的单幅拍摄的几何布置。对于单幅拍摄的最优布置来说，需要用户具有算法的专家知识。

发明内容

因此本发明的任务可看作为，提供使得能够对空间进行质量较高的三维重构的改善的装置和方法。

所述任务可以通过根据独立权利要求的本发明的主题来解决。本发明的有利的实施方式在从属权利要求中描述。

以下根据本发明的实施方式对装置的特征、细节以及可能的优点进行详细讨论。

根据本发明的第一方面，描述了用于对空间进行自动三维测量的测量装置。所述测量装置具有照相机传感器装置，所述照相机传感器装置构造为，生成低分辨率的视频拍摄和高分辨率的图像。高分辨率的图像基于视频拍摄的三维实时重构在空间中的几何上合适的位置处被自动产生。

高分辨率图像的自动拍摄可以在无需用户的辅助动作的情况下进行。例如，自动拍摄通过与测量装置直接或无线连接的控制单元或计算单元被触发。自动拍摄可以包括照相机传感器的触发并且必要时包括数据的存储。可替换地，自动拍摄可意味着从存储器调用特定的数据。

照相机传感器装置可以例如具有高分辨率的传感器，所述传感器产生高分辨率的图像。为了产生低分辨率的视频拍摄，可以例如降低高分辨率的图片的像素。为此照相机装置可以具有这样的照相机传感器，所述照相机传感器可以快速地在低分辨率的实况图像和高分辨率的单幅拍摄之间转换。高分辨率的单幅拍摄可以被存储或被缓存并被降低像素。降低像素的拍摄可以用于三维实时重构。位于存储器或缓存中的高分辨率的单幅拍摄可以对于之后的或同时的高质量的重构而被再次调用。

可替换地，照相机传感器装置可以具有第一和第二照相机传感器。第一照相机传感器可以是高分辨率的照相机并且第二照相机传感器可以是有视频功能的照相机。

与高分辨率的图像相比，视频拍摄具有较低的分辨率。低的分辨率可以例如涉及到空间细节。低的分辨率的结果是，视频拍摄的数据大小小于高分辨率的图像。由于较小的数据大小，视频拍摄可以被实况地、也就是实时地处理。所述处理可以在线进行，也就是说数据不必被缓存，并且处理结果、即三维实时重构可以作为直接的反馈被转发给用户。低的分辨率可以在空间上被理解。在此，视频拍摄的时间分辨率可以是高的，例如视频拍摄可以实况地以高的帧速率来拍摄。

根据对空间的实时重构，空间中的位置可以被确定，所述位置在几何上适合于拍摄高分辨率的图像。在几何上合适的位置可以根据低分辨率的视频拍摄中的基准点来确定。高分辨率的图像与视频拍摄相比具有高质量和更大的数据大小。所述图像可以是在空间中的合适的几何位置处的单幅拍摄。

根据一个实施例，测量装置还具有输出单元，所述输出单元可以输出三维实时重构。由此可以实现对用户的反馈以及将用户连续地引导至空间中的合适的几何位置，所述位置适合于高分辨率的图像的拍摄。输出单元可以例如构造为显示器。

根据本发明的第二方面描述了用于对空间进行自动三维测量的测量系统。所述测量系统具有上述测量装置和计算单元。

计算单元可以例如是膝上型电脑、个人数字助理（PDA）或平板个人电脑。计算单元还可以无线地、也就是说例如借助于电磁信号例如通过蓝牙或WLAN与测量装置相连接。可替换地，计算单元可以直接集成到测量装置中。

通过照相机传感器装置拍摄到的低分辨率的视频拍摄直接在线地被传导到计算单元。基于所述视频拍摄，计算单元实时地产生空间的三维重构。计算单元还构造为，从三维实时重构出发来确定空间中的位置，在所述位置处应当拍摄高分辨率的图像。合适的位置的确定基于三维算法并且同样实时地并行于视频图像的拍摄并且并行于三维实时重构发生。计算单元还构造为，通过照相机传感器装置触发高分辨率图像的自动拍摄。

根据一个实施例，计算单元还构造为，在拍摄高分辨率的图像以后，基于所述图像产生第二三维重构。为此，高分辨率的图像可以在其拍摄以后被存储。由此，第二三维重构可以离线地、也就是说非实时地发生。这可以是有利的，因为对具有大的数据大小的高分辨率图像的处理可能是耗费时间的。可替换地，第二三维重构可以并行于实时重构发生。第二三维重构与实时重构相比更精确、即例如更详细和更接近真实。

根据本发明的第三方面描述了用于对空间进行自动三维测量的方法。所述方法适用于对上述测量系统进行运行和控制。

根据本发明的第四方面描述了计算机程序元件，所述计算机程序元件构造为，当其在处理器上实施时可以实施上述方法。

根据本发明的第五方面描述了计算机可读介质，在所述介质上存储上述计算机程序元件。

根据本发明的测量装置、测量系统和根据本发明的方法具有以下优点：实现了对要测量空间的非常精确的高质量的三维重构。该重构全自动地发生，由此精确性和稳固性得以提高，因为不必再动用用户知识。还实时地实现了用户引导。由此在不具备关于三维重构的专家知识的情况下也可使用所述系统。通过基于视频拍摄的实时重构，还得出在检测时的更少的时间成本。

通过多个过程的并行运行——也就是视频图像的拍摄、三维实时重构的产生以及高分辨率图像的拍摄，可以实现将稍后的拍摄全自动地集成到之前的高质量的三维重构中以及对初始确定的空间几何结构的细化。另外，还可以事后全自动地将其他传感器数据——例如远红外（FIR）数据、雷达数据、太拉赫兹（THz）数据、X射线数据以及墙体扫描数据——集成到现有的三维空间模型中。

另外可以实现容易理解的实况可视化。还为用户实时地与空间关联地带来所获得的测量结果。

附图说明

本发明的其他特征和优点对于专业人员来说从随后参照附图对示例性实施方式的描述中可以看出，然而所述实施方式不应被解释为限制本发明。

图1示意性地示出根据本发明的一个实施例的用于自动的三维空间测量的测量系统的前视图和后视图，

图2示意性地示出根据本发明的一个实施例的对要测量的空间的俯视图，所述空间具有拍摄位置和重构结果，

图3 示意性地示出根据本发明的一个实施例的实时重构和用户引导。

所有附图仅仅是根据本发明的装置或其组成部分以及相应方法步骤的示意性图示。尤其是间距和大小关系在附图中没有比例正确地被再现。在不同的附图中，相对应的元素配备有相同的附图标记。

具体实施方式

在图1中示出根据本发明的一个实施例的用于自动的三维空间测量的测量装置和测量系统。图1A示出测量系统的前视图，并且图1B示出后视图。利用该测量装置提供用于全自动地拍摄合适的高分辨率的单个视图的方案，并且通过重构的内部空间实现连续的实时用户引导。

根据该实施例，测量系统5具有照相机装置7。该照相机装置由第一照相机传感器9和第二照相机传感器11组成。第二照相机传感器11构造为有视频功能的照相机并且第一照相机传感器9构造为高分辨率的照相机。

测量装置3或测量系统5还具有位置测量装置18,19。在测量装置3的前面，位置测量装置18构造为多个相对于照相机校准的单光束的激光测距仪18。在图1B中的测量装置3的背面，位置测量装置19构造为运动学传感器19，例如加速度传感器、旋转速率传感器和/或地点传感器。位置测量装置18,19可以提供使得能够确定测量装置3在空间中的位置——例如x坐标、y坐标和z坐标——的数据。另外，位置测量装置18,19可以提供使得能够确定测量装置的取向——例如相对于水平方向和垂直方向的倾斜角——的数据。

尤其是可以将例如借助于激光测距仪18的距离测量数据用于高分辨率图像的度量缩放。另外，所述数据可以用于三维实时重构23和用于第二精确重构25。

另外，借助于运动学传感器19所确定的数据例如可以用于测量装置3的坐标系的事先对准。

测量装置还具有输出单元17。该输出单元布置在朝向用户的一侧上并且例如构造为显示器，该显示器可以显示视频照相机的实况图像以及空间的为此重叠的实时重构。如在图3中所示，在输出单元17上可以实现用户引导35，所通过的方式是将视频拍摄31和实时重构23重叠。

测量装置5还装备有计算单元21。在所示的实施例中计算单元21直接集成到该系统中。可替换地，计算单元可以是外部设备，例如膝上型电脑或PDA，其例如与测量装置3无线连接。测量装置3还具有外壳、在侧面的合适的把手和例如蓄电池的能量源27。测量系统5和测量装置3可以是手持式的设备并且必要时集成在手工工具中。

图2示意性示出了根据本发明的一个实施例的对要测量的空间的俯视图，所述空间具有拍摄位置和重构结果。出于空间测量的目的，用户可以与测量装置3一起进入空间1，并且例如通过接通照相机9,11来初始化测量。可替换地，初始化可以按照如下方式发生：为了定义直观的坐标系，测量系统5或测量装置3可以利用拍摄在空间角落中被初始化，该空间角落随后表示三维重构的空间坐标系。测量系统3的粗略实时定位的初始化可以借助于与第一次拍摄重叠的拍摄来实现。

在测量开始以后，用户可以与测量装置3一起移动穿过空间1。例如用于可以背着墙沿空间移动。在测量初始化以后，通过第二照相机传感器11自动地拍摄低分辨率的实况视频图像。这些图像可以直接在测量装置3背面上的输出单元17处被用户看到。实况视频拍摄被传送至计算单元21。在那里实时地创建空间的三维实时重构。实时重构23可以如图3中所示将第二照相机传感器11的实况图像投影在输出单元17上。实时重构23例如可以与视频拍摄31半透明地重叠。由此用户在线地、即实时地获得关于重构状态的反馈。

在实时重构23范围中计算的空间点在图2中表示为圆圈。基于视频拍摄的实时重构23表示粗略的近似，这从点23与实际空间边界的偏差可以看出。

计算单元21确定了空间中的几何上合适的位置15，所述位置对于借助于第一照相机传感器9来拍摄高分辨率的单个视图是适当的。

高分辨率的拍摄适用于高质量的以及精确的三维重构25。在图2中通过十字示出第二三维重构25。该重构的精确度可从十字直接位于空间边界上来看出。在空间1中测量装置3的几何上合适的位置15是通过条纹状的照相机来表明的。

计算单元21初始化通过第一照相机传感器9对高分辨率图像的自动拍摄。高分辨率的单个视图可以用于在后处理步骤中细化实时重构。通过涉及测量系统在拍摄时刻的位置和取向的数据，可以在其稳固性和速度方面对后处理进行改善。数据和信息可以借助于位置测量装置18，19来提供。激光测距仪18可以构造为，针对分别至空间中的至少一个参考点的视频拍摄以及高分辨率图像来确定距离。测量装置的当前位置的确定在此可以参照视频拍摄中的参考点或基准点来进行。基准点在此可以例如是显著的特征点，例如在相应的拍摄中的门框或插座。基于距离测量，三维实时重构和/或高度精确的第二三维重构例如可以被以度量方式缩放，即配置标尺。由此，距离测量的数据可以在三维重构或建模中使用。

另外，计算单元基于高分辨率图像计算第二精确的三维重构。所述计算可以例如离线进行。对此高分辨率图像可以被保存。可替换地，实时用户引导可以通过视频数据与基于高分辨率的单幅拍摄的精确三维重构合并。例如在输出单元17上的测量结果的直观可视化可以通过增强现实（Argmented Reality）（扩展的现实技术）来改善。

与有实时能力的三维用户引导相组合地实现内部空间的三维几何结构的测量的测量系统可以实施多个并行运行的工作过程。测量系统通过有视频功能的照相机11的粗略实时跟踪——必要时由惯性传感器或运动学传感器19和利用照相机9对几何上合适的高分辨率的单个视图的自动拍摄支持，与对空间几何结构的粗略的三维实时重构23并行运行，通过该粗略的三维实施重构可以在线定位测量系统。进一步的工作步骤、也就是高度精确的三维重构25（基于自动产生的单个视图和可用的关于测量系统3在单幅拍摄时刻的粗略位置和取向的先验信息）同样地可以与之前所述的工作步骤并行地或在其之后运行。

详细地，实时跟踪和高分辨率的单幅拍摄的拍摄利用下述步骤运行：在拍摄中探测简单的自然的基准点；在不断更新的初始化重构中寻找对应的点；在初始化重构的当前帧中通过对应特征确定当前的测量系统位置和取向；为粗略的三维实时重构23确定合适的帧并将该帧转发给第二工作步骤；为高分辨率的单幅拍摄确定良好的几何条件并且利用随后向第三工作步骤转发这些单幅拍摄和所属的照相机位置来触发高分辨率照相机9。粗略的实时重构23的并行运行的工作步骤可以具体地具有以下步骤：处理实时跟踪系统的帧；将这些帧中的自然的基准点集成到已有的初始化重构中；通过本地的和快速的优化方法更新初始化重构。

基于单幅拍摄的高度精确的第二三维重构25的其它并行运行或可替换地随后运行的工作步骤可以包括以下步骤：在高分辨率的单幅拍摄中探测复杂的并且非常精确的自然基准点；可选地探测自然的边缘特征，以便也能为纹理较弱的区域配备图像特征；在搜索空间的限制下通过来自第一工作步骤的先验位置信息来确定在单幅拍摄之间的对应特征，由此可以提高稳固性和分析速度；对应的图像特征至高度精确的三维点线云的自动三维重构25；高度精确的三维重构以及可选的集成激光测量至三维CAD空间模型的三维建模。

在图3中示意性地示出根据本发明的一个实施例的实时重构和用户引导。在右边的椭圆中示意性地表明在线进行的实时重构23。对此可以例如建模三角测量的三维网络（网格）29。在左边的椭圆中表明了视频拍摄31的实况图像。三维实时重构23可以投影到视频拍摄31的二维图像中。该投影可以例如与视频拍摄31的实况图像半透明地重叠。该重叠用附图标记33表明。用户引导35由箭头表明。

通过快速和粗略的实时定位，测量系统在每个时刻都知道，其在内部空间中恰好位于何处以及到目前为止的三维重构有多好。因此可以为用户一方面在线地可视化当前的位置并且给出关于到目前为止的测量状态的反馈。这可以例如通过交通灯颜色进行，例如绿色代表质量高的实时重构，黄色代表不精确的实时重构以及红色代表非实时重构。可替换地，用户可以通过箭头被引向希望的位置。通过在线可视化，用户可以简单地识别，内部空间的哪些区域已被检测以及哪些区域还要被处理。

如图3中所示，用户引导可以通过在线重构的三维点云的互连接线被进一步优化。为此，对于在线产生的三维点云直接地并且同样实时地计算数据的三角测量。到目前为止重构的区域的因此获得的三维网格现在可以在每个时刻投影回到照相机的实况图像中。所述区域通过适合的可视化可以在图像中被标记，对于所述区域已经可以计算出三维几何结构。附加地，支持性的图像信息、例如在图3中所示的箭头可以有效地引导用户以完全地检测空间几何结构。

如果实时跟踪例如被中断，空间测量可以通过重新记录内部空间的已经被拍摄的区域重新开始。这可以借助于存储所拍摄的图像以及从中获得的信息如下进行：用户例如一直移动测量装置3，直到在实况拍摄中已存储的基准点被重新找到并且系统再次定位。然后用户可以在该位置处继续进行对空间1的测量。

最后应注意，用语如“具有”或相似的用语不应排除可以配备其他的元件或步骤。此外要指出的是，“一”或“一个”不排除多数。此外与不同实施方式相结合描述的特征可以相互任意组合。另外应注意，在权利要求中的附图标记不应被解释为对权利要求的范围是限制性的。

Claims (11)

1.用于对空间进行自动三维测量的测量装置（3），所述测量装置（3）具有：

照相机传感器装置（7）；

其中照相机传感器装置（7）构造为，生成低分辨率的视频拍摄；

其中照相机传感器装置（7）构造为，在空间中的几何上合适的位置（15）处自动生成高分辨率的图像；

其中高分辨率的图像的自动拍摄基于视频拍摄的三维实时重构（23）。

2.根据权利要求1的测量装置（3），还具有

输出单元（17）；

其中输出单元（7）构造为输出三维实时重构（23），由此能实时地实现连续的用户引导。

3.根据权利要求1和2之一的测量装置（3），还具有

位置测量装置（18,19）；

其中位置测量装置（18,19）构造为，针对分别至空间中的至少一个参考点的视频拍摄以及高分辨率图像来确定距离。

4.用于对空间进行自动三维测量的测量系统（5），所述测量系统（5）具有：

根据权利要求1至3之一的测量装置（3）；

计算单元（21）；

其中计算单元（21）构造为，基于视频拍摄产生三维实时重构（23）；

其中计算单元（21）构造为，基于三维实时重构（23）确定空间中的位置（15），所述位置对于空间的三维重构的拍摄所依据的图像在几何上是合适的；

其中计算单元（21）构造为，在所确定的位置（15）处开始高分辨率图像的自动拍摄。

5.根据权利要求4的测量系统（5），

其中计算单元（21）构造为，基于高分辨率图像产生第二三维重构。

6.用于对空间进行自动三维测量的方法，所述方法具有以下步骤：

生成低分辨率的视频拍摄（31）；

基于低分辨率的视频拍摄（31）产生三维实时重构（23）；

基于三维实时重构（23）确定空间（1）中的位置（15），所述位置对于空间的三维重构的拍摄所依据的图像在几何上是合适的；

在所确定的位置（15）处自动拍摄高分辨率的图像。

7.根据权利要求6的方法，还具有

在输出单元（17）上输出三维实时重构（23）；

将用户引导至针对拍摄高分辨率的图像所确定的位置（15）。

8.根据权利要求6和7之一的方法，还具有

确定用于生成低分辨率的视频拍摄（31）的测量装置（3）在空间中的当前位置；

在三维实时重构（23）时使用所述当前位置；

其中对测量装置（3）的当前位置的确定参照低分辨率的视频拍摄中的参考点进行。

9.根据权利要求6至8之一的方法，还具有

基于高分辨率的图像产生第二三维重构（25）；

其中第二三维重构（25）比三维实时重构（23）更精确。

10.计算机程序元件，

其中所述计算机程序元件构造为，当其在处理器上实施时实施根据权利要求6至9之一的方法。

11.计算机可读介质，

其中在所述介质上存储根据权利要求10的程序元件。

Images