CN108346134A - 对着色的三维点云进行图像修复的方法和装置 - Google Patents
对着色的三维点云进行图像修复的方法和装置 Download PDFInfo
- Publication number
- CN108346134A CN108346134A CN201810062536.4A CN201810062536A CN108346134A CN 108346134 A CN108346134 A CN 108346134A CN 201810062536 A CN201810062536 A CN 201810062536A CN 108346134 A CN108346134 A CN 108346134A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- video camera
- change point
- cloud
- centre
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004040 coloring Methods 0.000 title claims abstract description 14
- 230000008439 repair process Effects 0.000 title abstract description 5
- 230000008859 change Effects 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
- G01C1/02—Theodolites
- G01C1/04—Theodolites combined with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/002—Active optical surveying means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
对着色的三维点云进行图像修复的方法和装置。本发明涉及用于着色三维点云的方法,该方法包括:利用测量仪器,测量环境的点云,该点云的每个点由以仪器中心为原点的仪器坐标系内的坐标表征。利用第一摄像机,捕捉环境的第一图像,第一图像的每个像素值被指派给第一摄像机坐标系内的坐标,该第一摄像机坐标系以第一投影中心作为原点,第一投影中心具有相对于仪器中心的第一视差移位。利用测量仪器包括的计算机:将点云从仪器坐标系变换到第一摄像机坐标系,获得第一变换点云。在第一变换点云内,检测可从第一投影中心的视角公开看到的一个或更多个未遮住点。向第一变换点云中的每个未遮住点,指派在第一摄像机坐标系中具有对应坐标的像素值。
Description
技术领域
本发明涉及根据权利要求1所述的方法和根据权利要求12所述的测量仪器。
背景技术
生成三维点云被用于测量诸如施工工地、建筑物外表、工业设施、房屋内部或任何其它适用环境的许多不同环境。由其获得的测量可以被用于获取环境的准确三维(3D)模型,其中,模型由点云构成。这种云中的点按照坐标系中的坐标来存储,该坐标系可以由记录该点云的测量仪器来定义。通常来说,该测量仪器以仪器中心构成坐标系的原点,具体来说由测量仪器的所谓的节点(nodal point)来构成坐标系的原点。通常通过将利用激射束测量的距离(借助于飞行时间法)与测量距离的对准相关联来对所述点进行测量。通常来说,坐标系是球面坐标系,使得点由参照该坐标系的原点的距离值、俯仰角以及方位角来表征。
常见的测量仪器包括用于发出扫描射束和用于接收反射的射束以便测量所述射束指向的点的距离的单元。通常来说,这些测量仪器还包括可旋转地改变射束方向的装置,通常是垂直旋转轴和水平旋转轴,其中,两个轴都利用角传感器来感测。通常来说,垂直轴的旋转通过方位角测量,而水平轴的旋转通过俯仰角测量。如果测量仪器被具体实施为激光扫描仪,则所述轴中的一个可以是慢轴,而另一个是快轴。
通过观察发出信号与接收信号之间的时间,可以利用行进时间测量(飞行时间)法计算该距离。所述对准角利用设置在垂直轴和水平轴处的所述角传感器来实现。
为了提供在图形上更符合人机工程学的可视化,可以以数字方式将点云着色。在不同应用中,因此,通过至少一个摄像机的成像数据来支持地面测量,所述至少一个摄像机与测量仪器组合,所述组合通过将摄像机包括在该仪器中或者将摄像机安装在与该仪器相同的平台上实现。
这种点云着色在现有技术中是已知的,并且例如在US20140063489A1、US2016061954A1以及US20120070077A1中进行了描述。
然而,现有技术仅提供了解决因摄像机和测量仪器的不同视角而出现的视差错误的复杂解决方案。例如,根据US20140063489A1,摄像机被并入激光扫描仪内部,并且多个组件被设置成使得该摄像机和扫描仪具有相同的视角。这种构造需要很高的技术成本,因此非常昂贵。根据US20120070077A1,摄像机被凭经验地带入到其中测量仪器已经处于以扫描该环境的同一位置。这个过程需要组件的额外高的精度。
因此,本发明的目的是提供一种允许利用测量仪器测量的点云的正确着色的另选的、特别是改进的测量仪器和方法。
至少通过根据权利要求1所述的方法和/或根据权利要求12所述的测量仪器来实现这种另选例或改进。具体来说,这种另选例或改进通过从属于权利要求1和/或12的权利要求来实现。
如果测量仪器上的摄像机被离轴布置,则这种离轴放置会导致视差。结果,可能发生不正确的着色。视差效应发生在其中摄像机“看着”所测量的环境的与测量仪器所看的部分不同部分的区域。为了避免因摄像机的视差而造成的不正确着色,实现了用于识别这些特定区域的算法,包括使用3D数据。万一没有可用于扫描点的匹配颜色,可以基于或根据来自周围点的颜色来着色该扫描点。该颜色可以利用所讨论的3D点的距离或强度以及相邻颜色来估计。这个过程被称作图像修复(In-painting)。
受视差影响的3D点和对应图像像素利用投影几何来检测。3D点和对应图像像素可以通过基于相邻颜色填充它们来修正。这些颜色可以基于来自相应3D点的反射激光的特性(例如,强度、距离以及信噪比)来选择。
视差点的检测和所使用的图像修复算法允许在节点外部具有摄像机传感器而不具有伪着色的扫描点,并且使用节点外的摄像机易于布置摄像机和进行光学设计。
发明内容
本发明涉及一种用于着色三维点云的方法,其中,所述方法包括以下步骤:
利用测量仪器,测量环境的点云,其中,所述点云的每个点由仪器坐标系内的坐标表征,该仪器坐标系以仪器中心作为原点。
利用所述测量仪器包括的第一摄像机,捕捉所述环境的第一图像,其中,所述第一图像的每个像素值被指派给第一摄像机坐标系内的坐标,该第一摄像机坐标系以第一投影中心作为原点,其中,所述第一投影中心相对于所述仪器中心具有第一视差移位。
利用计算机:
将所述点云从所述仪器坐标系变换到所述第一摄像机坐标系,从而获得第一变换点云。
在所述第一变换点云内,检测一个或更多个未遮住点,所述一个或更多个未遮住点从所述第一投影中心的视角可公开看到。换句话说,未遮住点是与所述第一个投影中心有直接视线的点。
向所述第一变换点云中的每个未遮住点指派像素值,该未遮住点在所述第一摄像机坐标系中具有对应坐标。通过指派像素,所述点云可以被认为是着色的。可选地,着色的点云然后可以从所述第一摄像机坐标系重新转换到所述仪器坐标系。
所述计算机可以被并入所述测量仪器中,或者被具体实施为云计算机、智能电话或平板计算机。所述仪器中心(仪器坐标系内到所述点云的原点)可以被称为所述测量仪器的“节点”。不必要但可选的是,所述节点可以由所述测量仪器的方位轴与俯仰轴的交叉点来定义。然而,所述仪器中心(或“节点”)可以任意定位,使得其成为一个虚拟点,不会置于物理物体上。例如,所述仪器中心可以位于所述测量仪器的射束引导单元内部或所述测量仪器的射束引导单元上,或者可以在测量仪器结构周围或测量仪器结构内部的“空中”。
在实施方式中,所述方法还包括以下步骤:利用所述计算机,在所述第一变换点云内,检测因所述第一视差移位而从所述第一投影中心的视角不可见的一个或更多个遮住点,并且向所述第一变换点云中的每个遮住点指派替代像素值,该替代像素值是基于指派给与所述第一变换点云中的所述遮住点相邻的点的像素值确定的。与所述被遮住点相邻的点可以是未遮住点,或者本身可以是已被分配了替代像素值的遮住点。
检测遮住点考虑了视角移位(点云变换)之前的可见性如何。例如,如果点群(被识别为平面)必须被“穿透”以到达一个特定的点,则该特定点可以被检测为遮住点。
在另一实施方式中,所述方法可以包括以下步骤:
利用所述测量仪器包括的第二摄像机,捕捉所述环境的第二图像,其中,所述第二图像的每个像素值被指派给第二摄像机坐标系内的坐标,该第二摄像机坐标系以第二投影中心作为原点,其中,所述第二投影中心相对于所述仪器中心具有第二视差移位。
利用所述计算机:
将所述点云从所述仪器坐标系变换到所述第二摄像机坐标系,从而获得第二变换点云。
在所述第二变换点云内,检测一个或更多个未遮住点,所述一个或更多个未遮住点从所述第二投影中心的视角可公开看到。
向所述第二变换点云中的每个未遮住点指派像素值,每个未遮住点在所述第二摄像机坐标系中对应坐标。
在所述方法的另一实施方式中,借助于所述计算机,执行以下步骤:
在所述第二变换点云内,检测因所述第二视差移位而从所述第二投影中心的视角不可见的一个或更多个遮住点。
向所述第二变换点云中的每个遮住点指派替代像素值,该替代像素值是基于指派给与所述第二变换点云中的所述遮住点相邻的点的像素值确定的。
而且,所述方法可以包括以下步骤:
利用所述测量仪器包括的第二摄像机,捕捉所述环境的第二图像,其中,所述第二图像的每个像素值被指派给第二摄像机坐标系内的坐标,该第二摄像机坐标系以第二投影中心作为原点,其中,所述第二投影中心相对于所述仪器中心具有第二视差移位。
利用所述计算机:
将所述点云从所述仪器坐标系变换到所述第二摄像机坐标系,从而获得第二变换点云。
在所述第一变换点云内,检测因所述第一视差移位而从所述第一投影中心的视角不可见的一个或更多个遮住点。
在所述第二变换点云内,确定所述第一变换点云的所述一个或更多个遮住点的对应点。
在所述对应点内,检测可从所述第二投影中心的视角公开看到的一个或更多个未遮住对应点。
向所述第一变换点云中的每个遮住点指派所述第二图像的像素值,在所述第二变换点云中存在所述第一变换点云中的每个遮住点的未遮住的对应点,所述第二图像具有所述第二变换点云的未遮住的对应点的对应坐标。
所述第一摄像机和所述第二摄像机中的至少一个摄像机可以是广角摄像机、全景摄像机以及球形摄像机中的一种。
所述像素值的坐标、所述点云中的点的坐标、所述第一变换点云中的点的坐标以及所述第二变换点云中的点的坐标中的至少一个可以至少包括俯仰角和方位角。
所述点云中的点的坐标、所述第一变换点云中的点的坐标以及所述第二变换点云中的点的坐标中的至少一个可以包括俯仰角、方位角以及距离值。
可以至少基于所述第一摄像机的焦距,将所述第一图像的每个像素值指派给所述第一摄像机坐标系内的坐标。因此,可以至少基于所述第二摄像机的焦距,将所述第二图像的每个像素值指派给所述第二摄像机坐标系内的坐标。
所述未遮住点和所述遮住点中的至少一个基于利用3D点投影、平面检测、特征检测以及对象检测中的一个的检测算法来检测。
本发明还涉及一种测量仪器,该测量仪器用于在以仪器中心作为原点的仪器坐标系内生成点云。
所述测量仪器可以包括:基部;主体,该主体被安装在所述基部中,使得所述主体可围绕方位轴相对于所述基部旋转;射束引导单元,该射束引导单元安装在所述主体中,使得所述射束引导单元可围绕俯仰轴相对于所述主体旋转,其中,所述射束引导单元可以被配置成向环境引导发送射束,并且接收来自所述环境的接收射束。所述接收射束可以被视为从所述环境反射的所述发送射束。
该测量仪器还可以包括:具有第一投影中心的第一摄像机,其相对于所述仪器中心具有第一视差移位;以及计算机,其用于控制所述主体、所述射束引导单元以及所述第一摄像机。所述测量仪器被配置成,执行如本文所述的方法。
所述第一摄像机可以具有第一焦距,基于该第一焦距,可以将坐标(特别是俯仰角和方位角)指派给所述第一摄像机的每个像素值。
所述测量仪器可以包括具有第二投影中心的第二摄像机,其相对于所述仪器中心具有第二视差移位,其中,所述计算机还可以被配置成控制所述第二摄像机。
根据本发明的测量仪器可以是被配置成生成三维点云的任何测量仪器,诸如全站仪、经纬仪或激光扫描仪。
在特定情况下,所述测量仪器被具体实施为全站仪或经纬仪,所述射束偏转单元包括:用于提供所述发送射束的发射单元;以及用于检测所述接收射束的检测单元。
在特定情况下,所述测量仪器被具体实施为激光扫描仪,所述主体包括用于提供所述发送射束的发射单元以及用于检测所述接收射束的检测单元。在所述激光扫描仪中,所述射束引导单元被具体实施为偏转器,特别是镜子,所述偏转器被配置成朝向所述环境偏转来自所述发射单元的所述发送射束,并且朝向所述检测单元偏转来自所述环境的所述接收射束。
附图说明
下面,通过参照伴随附图的示例性实施方式对本发明进行详细描述,其中:
图1示出了根据本发明的、被具体实施为激光扫描仪的一个实施方式;
图2示出了本发明解决的视差问题的示意图;
图3、图4、图5例示了因视差移位而造成的摄像机和测量仪器的不同视角;
图6示出了根据本发明的方法的步骤;
图7和图8示出了根据本发明的、具有多个摄像机的测量仪器的另一些示例性实施方式;以及
图9示出了根据本发明的测量仪器的实施方式。
具体实施方式
图1示出了被具体实施为激光扫描仪的示例性测量仪器1,其被配置成执行根据本发明的方法。该测量仪器包括主体2和可选地安装在三脚架9上的基部3。围绕轴V提供了主体2与基部3之间的受控机动相对旋转。主体2包括发射单元4、接收单元5以及射束引导单元6,其中,发射单元4和接收单元5在这个示例中被组合为一个部分;然而,它们可以用分开的组件具体实施,例如,与分束器结合。射束引导单元6被安装在主体中,使得射束引导单元6可通过马达(未示出)围绕俯仰轴H旋转。在旋转的同时,引导单元6使来自发射单元4的发送射束T朝着环境偏转,并将从该环境返回的接收射束R朝着接收单元5偏转。外壳2包含至少一个摄像机7,特别是广角摄像机、全景摄像机、球形摄像机或类似装置。该摄像机可以安装或附接至外壳或基部3或三脚架9,只要在扫描仪与摄像机之间存在限定或可确定的姿态(=位置和取向)差异即可。所述一个或多个摄像机特别是可以并入外壳中。在所示示例中,外壳2包含计算机8。然而,该计算机也可以在激光扫描仪1的外部,例如,由具有与激光扫描仪永久无线连接的云计算机具体实施。计算机8被配置成控制测量仪器的所述组件并且执行根据本发明的方法的步骤。
图2示出了向3D点云中的点错误指派像素的一般问题。当测量仪器1瞄准环境10的示例性点12并且摄像机7尝试捕捉同一点时,其因障碍物11而无法这样做。在没有根据本发明的方法的情况下,障碍物11的像素将被错误地指派给点12。
这种错误指派问题因一方面测量仪器的仪器中心16(其还可以被称为“节点”并且定义为仪器坐标系的原点(在该仪器坐标系内记录所述点云))与另一方面摄像机的投影中心17(其是摄像机的视角顶点(还被称为入射瞳孔或“无视差点”))之间的视差移位而造成。视差移位可以由线段a、b及c限定(c未示出,因为其被认为是垂直于a和b)。所以在所示示例中,视差移位是二维(a、b)的,但当然可以是三维(a、b、c)的。视差移位也可以由连接节点16和投影中心17的线段限定,其中,该连接线段可以由参照以节点16作为其原点的扫描仪坐标系的距离值、方位角及俯仰角来表达。
因为测量仪器和摄像机从不同视角“感知”所述环境,所以可能存在对于测量仪器和摄像机中的一方可见而另一方不可见的点,反之亦然。这在图4和图5中示出。
图4示出了测量仪器如何从其仪器中心16捕捉环境10。在图4的右侧看到的阴影表面未被点云捕获,因此对于测量仪器是未知的。
图5示出了摄像机如何从其投影中心17捕获同一环境10。在图5的右侧看到的阴影表面未被图像捕获,因此对于摄像机是未知的。
参照图6,执行以下步骤以避免点云的错误着色。
步骤20是利用测量仪器1对环境进行测量以便在以测量仪器1的仪器中心16作为其原点的坐标系内获取该环境的三维点云。例如,所述仪器坐标系可以是按两个角度(俯仰角和方位角)和距离值来存储点的球面坐标系。所述角度由测量仪器1所包括的角编码器检测到。俯仰角表示射束引导单元6围绕水平轴H的旋转位置。方位角表示主体2围绕垂直轴V的旋转位置。距离值利用飞行时间法测量,即,通过发出发送射束T和接收作为从环境反射的反射发送射束T的接收射束B来测量。测量发送和接收期间的时间,并借助于光速知识来计算出距离值。
步骤21是利用摄像机捕获环境的图像,特别是该环境的已被获取了点云的相同部分。测量仪器的位置在测量点云与捕捉图像之间保持不变。虽然不知道环境中的物体在图像中有多远(深度),但在至少知道摄像机的投影中心17的焦距和位置,可以将对准角度指派给图像的每个像素。这些对准角度也是以投影中心17为其原点的摄像机坐标系的坐标。因此,图像的每个像素可以被指派给所述摄像机坐标系内的俯仰角和方位角。因为无法从图像本身导出距离,所以像素的坐标仅包括所述角度。
步骤22将点云从仪器坐标系变换到摄像机坐标系。这可以在知道投影中心17与仪器中心16之间的视差移位的情况下由计算机8执行。点云的实际(绝对)形状没有改变。随着变换,执行“观看”点云的视角的改变。即,现在的原点不再是节点17,而是投影中心16。
步骤23向点云的从新的视角(投影中心17)能够公开地(即,直接地)看到的每个点指派具有相应坐标的像素。可使用平面检测、特征检测或对象检测的检测算法可以检测公开可见的未遮住点。因为点云没有“填满”的墙壁或平面,而是多孔的,所以当然点可以是(可以这么说)“可见的”,尽管实际上位于障碍物后面。因此,所述检测算法可以考虑点云的特征以便在执行视角改变时检测什么将遮住点和什么不遮住点。检测算法也可以考虑利用摄像机拍摄的图像。
对应坐标是指像素和点相对于投影中心17具有相同或基本相同的俯仰角和相同的方位角。
作为步骤23的结果,从投影中心17不可见的那些点将不被指派给像素值,以使它们最初保持未着色。仅从投影中心17可见的那些点将被着色,而点云的从摄像机视角而言被遮住的那些点被忽略。
在另一可选步骤(图6中未示出)中,那些不可见的(被遮住的)点还是可以被着色:
计算机8可以基于指派给与不可见点相邻的点的像素中的一个,确定要指派给不可见点的替代像素值。具体来说,该确定可以使用以下中的至少一个:平面检测、特征检测、材料检测或对象表面检测(例如,基于接收射束R和/或发送射束T的信噪比分析)以及图像处理。
图7和图8示出了由激光扫描仪1的主体2所包括的多个摄像机7,这些摄像机朝不同的方向瞄准,从而当图像被合并时提供广角视图(高达360度的视图)。每个摄像机7用它们相应的投影中心作为原点构成自己的摄像机坐标系。可以针对所述多个摄像机中的每一个执行本申请中说明的步骤20、21、22、23和另一些可选步骤。
通常,图像数据采集是测量3D点云的另一个步骤。这是一个必须尽可能快的耗时任务。同时,高分辨率的成像数据和良好的图像质量是可取的。
根据本发明的测量仪器提供高分辨率、高质量图像,并且仍然非常快速地获取所有需要的图像。这可以利用超过一个摄像机来完成。以尽可能大地覆盖所需垂直视野(例如,160°)和水平视野的方式来放置摄像机。
利用该设置,扫描仪可以根据所使用摄像机数量的因素,而减少必须采取的瞄准方向。
图9示出了根据本发明的、具体实施为经纬仪的测量仪器,其具有基部3,主体2安装在基部3上,使得主体2能够围绕方位轴V旋转。射束引导单元6被安装在主体2中,使得射束引导单元6能够围绕俯仰轴H旋转。摄像机7可以附接至或集成在经纬仪1中。射束引导单元6可以包括用于提供发送射束T的发射单元4和用于检测接收射束R的检测单元5。
用于控制经纬仪1的组件和用于执行根据本发明的方法的计算机8被包括在经纬仪1中,例如,包括在主体2内(如图所示)。
尽管上面例示了本发明,但部分参照一些优选实施方式,必须明白,可以制成这些实施方式的许多变型例和不同特征的组合。这些变型例全部落入所附权利要求书的范围内。
Claims (15)
1.一种用于着色三维点云的方法,该方法包括以下步骤:
·利用测量仪器,测量环境(10)的点云,其中,所述点云的每个点由仪器坐标系内的坐标表征,所述仪器坐标系以仪器中心(16)作为原点,
·利用由所述测量仪器包括的第一摄像机,捕捉所述环境的第一图像,其中,所述第一图像的每个像素值被指派给第一摄像机坐标系内的坐标,所述第一摄像机坐标系以第一投影中心作为原点,其中,所述第一投影中心具有相对于所述仪器中心的第一视差移位,
·利用计算机(8),
□将所述点云从所述仪器坐标系变换到所述第一摄像机坐标系,从而获得第一变换点云,
□在所述第一变换点云内,检测能够从所述第一投影中心的视角公开看到的一个或更多个未遮住点,
□向所述第一变换点云中的每个未遮住点指派在所述第一摄像机坐标系中具有对应坐标的像素值。
2.根据权利要求1所述的方法,所述方法包括以下步骤:
·利用所述计算机(8),
□在所述第一变换点云内,检测一个或更多个遮住点,所述一个或更多个遮住点因所述第一视差移位而不能从所述第一投影中心的视角看到,并且
□向所述第一变换点云中的每个遮住点指派替代像素值,该替代像素值基于指派给与所述第一变换点云中的所述遮住点相邻的点的像素值来确定。
3.根据权利要求1或2所述的方法,所述方法包括以下步骤:
·利用由所述测量仪器包括的第二摄像机,捕捉所述环境的第二图像,其中,所述第二图像的每个像素值被指派给第二摄像机坐标系内的坐标,该第二摄像机坐标系以第二投影中心作为原点,其中,所述第二投影中心具有相对于所述仪器中心的第二视差移位,
·利用所述计算机(8),
□将所述点云从所述仪器坐标系变换到所述第二摄像机坐标系,从而获得第二变换点云,
□在所述第二变换点云内,检测能够从所述第二投影中心的视角公开看到的一个或更多个未遮住点,
□向所述第二变换点云中的每个未遮住点指派在所述第二摄像机坐标系中具有对应坐标的像素值。
4.根据权利要求3所述的方法,所述方法包括以下步骤:
·利用所述计算机(8),
□在所述第二变换点云内,检测一个或更多个遮住点,所述一个或更多个遮住点因所述第二视差移位而不能从所述第二投影中心的视角看到,以及
□向所述第二变换点云中的每个遮住点指派替代像素值,所述替代像素值基于指派给与所述第二变换点云中的所述遮住点相邻的点的像素值来确定。
5.根据前述权利要求中任一项所述的方法,所述方法包括以下步骤:
·利用由所述测量仪器包括的第二摄像机,捕捉所述环境的第二图像,其中,所述第二图像的每个像素值被指派给第二摄像机坐标系内的坐标,所述第二摄像机坐标系以第二投影中心作为原点,其中,所述第二投影中心具有相对于所述仪器中心的第二视差移位,以及
·利用所述计算机(8),
□将所述点云从所述仪器坐标系变换到所述第二摄像机坐标系,从而获得第二变换点云,
□在所述第一变换点云内,检测一个或更多个遮住点,所述一个或更多个遮住点因所述第一视差移位而不能从所述第一投影中心的视角看到,
□在所述第二变换点云内,确定所述第一变换点云的所述一个或更多个遮住点的对应点,
□在所述对应点内,检测能够从所述第二投影中心的视角公开看到的一个或更多个未遮住的对应点,
□向所述第一变换点云中的每个遮住点指派所述第二图像的像素值,所述第二变换点云中存在所述第一变换点云中的每个遮住点的未遮住的对应点,所述第二图像的像素值具有所述第二变换点云中的未遮住的对应点的对应坐标。
6.根据前述权利要求中任一项所述的方法,其中,
所述第一摄像机(7)和所述第二摄像机(7’)中的至少一个摄像机是广角摄像机、全景摄像机以及球形摄像机中的一种。
7.根据前述权利要求中任一项所述的方法,其中,
所述像素值的坐标、所述点云的点的坐标、所述第一变换点云的点的坐标以及所述第二变换点云的点的坐标中的至少一个至少包括俯仰角和方位角。
8.根据前述权利要求中任一项所述的方法,其中,
所述点云的点的坐标、所述第一变换点云的点的坐标以及所述第二变换点云的点的坐标中的至少一个包括俯仰角、方位角以及距离值。
9.根据前述权利要求中任一项所述的方法,其中,
至少基于所述第一摄像机的焦距,将所述第一图像的每个像素值指派给第一摄像机坐标系内的坐标。
10.根据权利要求3至9中任一项所述的方法,其中,
至少基于所述第二摄像机的焦距,将所述第二图像的每个像素值指派给第二摄像机坐标系内的坐标。
11.根据前述权利要求中任一项所述的方法,其中,所述未遮住点和所述遮住点中的至少一方基于利用3D点投影、平面检测、特征检测以及对象检测中的一个的检测算法来检测。
12.一种测量仪器(1),该测量仪器用于在以仪器中心(16)作为原点的仪器坐标系内生成点云,该测量仪器包括
·基部,
·主体,该主体安装在所述基部上,使得所述主体能够围绕方位轴相对于所述基部旋转,
·射束引导单元(6),该射束引导单元安装在所述主体中,使得所述射束引导单元能够围绕俯仰轴相对于所述主体旋转,其中,所述射束引导单元被配置成
□向着环境(10)引导发送射束(T),以及
□接收来自所述环境的接收射束(R),
·第一摄像机(7),该第一摄像机具有第一投影中心(17),所述第一投影中心具有相对于所述仪器中心(16)的第一视差移位,以及
·计算机(8),该计算机用于控制所述主体、所述射束引导单元以及所述第一摄像机,
其中,
所述测量仪器被配置成执行根据权利要求1至11中任一项所述的方法。
13.根据权利要求12所述的测量仪器(1),其中,
所述第一摄像机具有第一焦距,基于该第一焦距,将特别是俯仰角和方位角的坐标指派给所述第一摄像机的每个像素值。
14.根据权利要求12或13所述的测量仪器(1),所述测量仪器还包括:
·第二摄像机(7’),该第二摄像机具有第二投影中心,所述第二投影中心具有相对于所述仪器中心(16)的第二视差移位,
其中,所述计算机(8)还被配置成控制所述第二摄像机。
15.根据权利要求12至14中任一项所述的测量仪器(1),其中,
所述主体包括:
·发射单元(4),该发射单元用于提供所述发送射束(T),
·检测单元(5),该检测单元用于检测所述接收射束(R),
并且其中,
所述射束引导单元被具体实施为偏转器,所述射束引导单元被设置成,
□将来自所述发射单元(4)的所述发送射束偏转向所述环境(10),以及
□将来自所述场景的所述接收射束偏转向所述检测单元(5)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17152842.5A EP3351899B1 (en) | 2017-01-24 | 2017-01-24 | Method and device for inpainting of colourised three-dimensional point clouds |
EP17152842.5 | 2017-01-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108346134A true CN108346134A (zh) | 2018-07-31 |
CN108346134B CN108346134B (zh) | 2022-04-05 |
Family
ID=57890698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810062536.4A Active CN108346134B (zh) | 2017-01-24 | 2018-01-23 | 对三维点云进行着色的方法和测量仪器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11568520B2 (zh) |
EP (1) | EP3351899B1 (zh) |
CN (1) | CN108346134B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615594A (zh) * | 2018-11-30 | 2019-04-12 | 四川省安全科学技术研究院 | 一种激光点云空洞修补着色方法 |
CN111784834A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种点云地图生成方法、装置以及电子设备 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3351899B1 (en) * | 2017-01-24 | 2020-06-17 | Leica Geosystems AG | Method and device for inpainting of colourised three-dimensional point clouds |
GB2576548B (en) * | 2018-08-23 | 2021-11-03 | Sony Interactive Entertainment Inc | Method and system for reconstructing colour and depth information of a scene |
CN111369609B (zh) * | 2020-03-04 | 2023-06-30 | 山东交通学院 | 一种基于点云曲面特征约束的建筑物局部变形分析方法 |
CN112419400A (zh) * | 2020-09-28 | 2021-02-26 | 广东博智林机器人有限公司 | 机器人的位置检测方法、检测装置、处理器和电子设备 |
CN113362445B (zh) * | 2021-05-25 | 2023-05-05 | 上海奥视达智能科技有限公司 | 基于点云数据重建对象的方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202013001538U1 (de) * | 2013-02-19 | 2013-03-19 | Ulrich Clauss | Anordnung zur Aufnahme geometrischer und photometrischer Objektdaten im Raum |
CN103017739A (zh) * | 2012-11-20 | 2013-04-03 | 武汉大学 | 基于激光雷达点云与航空影像的真正射影像的制作方法 |
CN103959012A (zh) * | 2011-12-06 | 2014-07-30 | 赫克斯冈技术中心 | 6自由度位置和取向确定 |
US20150193963A1 (en) * | 2014-01-08 | 2015-07-09 | Here Global B.V. | Systems and Methods for Creating an Aerial Image |
CN104778691A (zh) * | 2015-04-07 | 2015-07-15 | 中北大学 | 一种三维点云数据的处理方法 |
CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003295582A1 (en) * | 2002-11-15 | 2004-06-15 | Warner Bros. Entertainment Inc. | Reverse-rendering method for digital modeling |
US7860299B2 (en) * | 2005-02-10 | 2010-12-28 | Trimble Ab | Methods and apparatus for image processing |
WO2007148219A2 (en) * | 2006-06-23 | 2007-12-27 | Imax Corporation | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition |
GB2447258A (en) * | 2007-03-05 | 2008-09-10 | Geospatial Res Ltd | Camera mount for colour enhanced laser imagery |
US20100157280A1 (en) * | 2008-12-19 | 2010-06-24 | Ambercore Software Inc. | Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions |
US8189943B2 (en) * | 2009-03-17 | 2012-05-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for up-sampling depth images |
US8270752B2 (en) * | 2009-03-17 | 2012-09-18 | Mitsubishi Electric Research Laboratories, Inc. | Depth reconstruction filter for depth coding videos |
DE102009015921A1 (de) | 2009-03-25 | 2010-09-30 | Faro Technologies, Inc., Lake Mary | Verfahren zum optischen Abtasten und Vermessen einer Umgebung |
US20110115812A1 (en) * | 2009-11-13 | 2011-05-19 | Harris Corporation | Method for colorization of point cloud data based on radiometric imagery |
WO2011097018A1 (en) * | 2010-02-05 | 2011-08-11 | Trimble Navigation Limited | Systems and methods for processing mapping and modeling data |
JP5664261B2 (ja) * | 2011-01-18 | 2015-02-04 | 株式会社ニコン | 画像処理装置、および画像処理プログラム |
US9070216B2 (en) * | 2011-12-14 | 2015-06-30 | The Board Of Trustees Of The University Of Illinois | Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring |
US10848731B2 (en) * | 2012-02-24 | 2020-11-24 | Matterport, Inc. | Capturing and aligning panoramic image and depth data |
US9324190B2 (en) * | 2012-02-24 | 2016-04-26 | Matterport, Inc. | Capturing and aligning three-dimensional scenes |
US9074878B2 (en) | 2012-09-06 | 2015-07-07 | Faro Technologies, Inc. | Laser scanner |
US9986154B2 (en) * | 2014-05-21 | 2018-05-29 | Here Global B.V. | Developing a panoramic image |
US9903950B2 (en) | 2014-08-27 | 2018-02-27 | Leica Geosystems Ag | Multi-camera laser scanner |
CN107076558B (zh) * | 2014-10-24 | 2019-09-13 | 株式会社尼康·天宝 | 测量仪以及程序 |
US10459084B2 (en) * | 2014-12-30 | 2019-10-29 | Nokia Technologies Oy | Range sensing using a hybrid range sensing device |
US9715016B2 (en) * | 2015-03-11 | 2017-07-25 | The Boeing Company | Real time multi dimensional image fusing |
EP3086283B1 (en) * | 2015-04-21 | 2019-01-16 | Hexagon Technology Center GmbH | Providing a point cloud using a surveying instrument and a camera device |
JP7012642B2 (ja) * | 2015-11-09 | 2022-01-28 | ヴァーシテック・リミテッド | アーチファクトを意識したビュー合成のための補助データ |
WO2017168472A1 (ja) * | 2016-03-30 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 位置推定装置、位置推定方法及び制御プログラム |
US9947099B2 (en) * | 2016-07-27 | 2018-04-17 | Microsoft Technology Licensing, Llc | Reflectivity map estimate from dot based structured light systems |
US10031231B2 (en) * | 2016-09-12 | 2018-07-24 | Delphi Technologies, Inc. | Lidar object detection system for automated vehicles |
JP2018065290A (ja) * | 2016-10-19 | 2018-04-26 | 富士ゼロックス株式会社 | データ処理装置、立体造形システム及びプログラム |
CN106780586B (zh) * | 2016-11-14 | 2019-08-27 | 厦门大学 | 一种基于地面激光点云的太阳能潜力评估方法 |
SG10201700299QA (en) * | 2017-01-13 | 2018-08-30 | Otsaw Digital Pte Ltd | Three-dimensional mapping of an environment |
EP3351899B1 (en) * | 2017-01-24 | 2020-06-17 | Leica Geosystems AG | Method and device for inpainting of colourised three-dimensional point clouds |
US10237532B2 (en) * | 2017-03-07 | 2019-03-19 | Trimble Ab | Scan colorization with an uncalibrated camera |
EP3425333B1 (en) * | 2017-07-04 | 2020-10-14 | Hexagon Technology Center GmbH | Surveying instrument for scanning an object and image acquisition of the object |
JP7448485B2 (ja) * | 2018-05-01 | 2024-03-12 | コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション | ポイントクラウドの着色において使用される方法及びシステム |
-
2017
- 2017-01-24 EP EP17152842.5A patent/EP3351899B1/en active Active
-
2018
- 2018-01-23 CN CN201810062536.4A patent/CN108346134B/zh active Active
- 2018-01-24 US US15/879,303 patent/US11568520B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103959012A (zh) * | 2011-12-06 | 2014-07-30 | 赫克斯冈技术中心 | 6自由度位置和取向确定 |
CN103017739A (zh) * | 2012-11-20 | 2013-04-03 | 武汉大学 | 基于激光雷达点云与航空影像的真正射影像的制作方法 |
DE202013001538U1 (de) * | 2013-02-19 | 2013-03-19 | Ulrich Clauss | Anordnung zur Aufnahme geometrischer und photometrischer Objektdaten im Raum |
US20150193963A1 (en) * | 2014-01-08 | 2015-07-09 | Here Global B.V. | Systems and Methods for Creating an Aerial Image |
CN104778691A (zh) * | 2015-04-07 | 2015-07-15 | 中北大学 | 一种三维点云数据的处理方法 |
CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
Non-Patent Citations (4)
Title |
---|
JUNHUA SUN等: "An automatic 3D point cloud registration method based on regional curvature maps", 《IMAGE AND VISION COMPUTING》 * |
TENG WU等: "Automatic cloud detection for high resolution satellite stereo images and its application in terrain extraction", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 * |
张卡等: "基于多视影像匹配的三维彩色点云自动生成", 《光学精密工程》 * |
王研等: "影像密集匹配技术辅助三维激光扫描仪对点云的提取", 《测绘技术装备》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615594A (zh) * | 2018-11-30 | 2019-04-12 | 四川省安全科学技术研究院 | 一种激光点云空洞修补着色方法 |
CN111784834A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种点云地图生成方法、装置以及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
EP3351899B1 (en) | 2020-06-17 |
CN108346134B (zh) | 2022-04-05 |
EP3351899A1 (en) | 2018-07-25 |
US11568520B2 (en) | 2023-01-31 |
US20180211367A1 (en) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108346134A (zh) | 对着色的三维点云进行图像修复的方法和装置 | |
EP3665506B1 (en) | Apparatus and method for generating a representation of a scene | |
US10366511B2 (en) | Method and system for image georegistration | |
CN109556580B (zh) | 测绘仪器、ar系统和相对于参照系定位ar装置的方法 | |
US10535148B2 (en) | Scanner VIS | |
US10337865B2 (en) | Geodetic surveying system | |
JP4757142B2 (ja) | 撮影環境校正方法及び情報処理装置 | |
US7751651B2 (en) | Processing architecture for automatic image registration | |
KR100800554B1 (ko) | 이동형 사진측량 시스템에서의 레이저 스캐너와 카메라영상정보를 이용한 3차원 모델링 방법 | |
JP7300948B2 (ja) | 測量データ処理装置、測量データ処理方法、測量データ処理用プログラム | |
JP2014529727A (ja) | 自動シーン較正 | |
US9683833B2 (en) | Surveying apparatus having a range camera | |
US11015932B2 (en) | Surveying instrument for scanning an object and image acquisition of the object | |
JP4077385B2 (ja) | 画像処理を用いたグローバル座標取得装置 | |
JP2019045299A (ja) | 3次元情報取得装置 | |
CN112907647B (zh) | 一种基于固定式单目摄像机的三维空间尺寸测量方法 | |
Schneider et al. | Integrated processing of terrestrial laser scanner data and fisheye-camera image data | |
Reulke et al. | Mobile panoramic mapping using CCD-line camera and laser scanner with integrated position and orientation system | |
CN108458692A (zh) | 一种近距离三维姿态测量装置及测量方法 | |
JP5409451B2 (ja) | 3次元変化検出装置 | |
JP4565898B2 (ja) | 傾き補正機能を備える3次元物体測量装置 | |
Li et al. | A new ground-based stereo panoramic scanning system | |
Cai et al. | Texture Mapping Method of Laser Point Cloud and Digital Image Based on Projection Transformation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |