CN105190234A - 三维表面测量的装置和方法 - Google Patents

三维表面测量的装置和方法 Download PDF

Info

Publication number
CN105190234A
CN105190234A CN201380065581.0A CN201380065581A CN105190234A CN 105190234 A CN105190234 A CN 105190234A CN 201380065581 A CN201380065581 A CN 201380065581A CN 105190234 A CN105190234 A CN 105190234A
Authority
CN
China
Prior art keywords
video camera
laser
image
relative
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380065581.0A
Other languages
English (en)
Other versions
CN105190234B (zh
Inventor
阿诺德·杜蒙
弗雷德·雅隆
帕特里克·雷蒙德
杰森·克斯特纳
马达夫·帕里米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BP Corp North America Inc
Original Assignee
BP Corp North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BP Corp North America Inc filed Critical BP Corp North America Inc
Publication of CN105190234A publication Critical patent/CN105190234A/zh
Application granted granted Critical
Publication of CN105190234B publication Critical patent/CN105190234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

用于表面的三维测量的系统和方法。在一个实施例中,测量系统包括激光投影仪、第一摄像机和处理器。激光投影仪被配置成将激光投影发射到用于激光三角测量的表面上。第一摄像机被配置成提供表面的图像,并且以相对于激光投影仪的斜角设置。处理器被配置成将摄影测量处理应用于图像,基于摄影测量处理的结果来计算用于激光三角测量的校准,并且基于校准,经激光三角测量,计算由激光投影照射的表面的点的坐标。

Description

三维表面测量的装置和方法
相关申请的交叉引用
本申请要求2012年12月14日提交的,名为“ApparatusandMethodforMeasuringSubseaStructures”的美国临时专利申请No.61/737,499的优先权,通过引用将其全部内容合并于此。
背景技术
各种光学方法可以应用于物体的测量和/或建模。摄影测量是从物体的照片抽取测量的技术。例如,可以使用摄影测量来产生地图(例如,航空摄影测量)和/或从照片产生工业设施(近景摄影测量)模型。在摄影测量中,从不同角度拍摄现场的图像并且经光束法平差数学例程,将物体的二维测量转换成三维坐标。摄影测量要求使用靶来关联图像并且限制到可视指示器的测量,诸如点和自然特征(即角、边缘、圆柱)。当提供产生良好相交几何结构和高冗余的不同角度的多个图像时,近景摄影测量能提供良好结果。立体摄影测量允许测量表面上的点,但在精度方面有局限,因为立体传感器仅具有准平行的两个视线。
激光三角测量是可以用于小表面的高密度测量的光学技术。在激光三角测量中,根据预定校准几何结构,投影例如线、点或图案的激光源安装有光学传感器(例如,摄像机)。通过光学传感器,使激光投影成三角形。为提供多次测量,可以在激光前安装旋转镜,允许光学传感器“扫描”具有点的高密度的大表面。
发明内容
在此公开了一种用于三维测量的系统和方法以及表面和物体的建模。在一个实施例中,测量系统包括激光投影仪、第一摄像机和处理器。激光投影仪被配置成将激光投影发射到用于激光三角测量的表面上。第一摄像机被配置成提供表面的图像,并且相对于激光投影仪,以斜角设置。处理器被配置成将摄影测量处理应用于图像,基于摄影测量处理的结果来计算用于激光三角测量的校准,并且基于该校准,计算经激光三角测量,由激光投影照射的表面的点的坐标。
在另一实施例中,用于激光三角测量的方法包括:当第一摄像机沿表面移动时,经第一摄像机,拍摄表面的图像。由与第一摄像机一起沿表面移动的激光源产生的激光投影照射表面。将摄影测量处理应用于图像。基于摄影测量处理的结果,计算用于激光三角测量的校准。经激光三角测量,基于校准,计算由激光投影照射的表面的点的坐标。
在又一实施例中,非瞬时计算机可读介质编码有指令,当指令被执行时,使处理器从自第一摄像机接收到的图像流抽取表面的图像。指令还使处理器将摄影测量处理应用于图像,并且基于摄影测量处理的结果,计算激光三角测量的校准。指令还进一步使处理器经激光三角测量,基于校准,计算由在图像中拍摄的激光投影照射的表面的点的坐标。
附图说明
为示例性实施例的详细描述,现在将参考附图,在附图中:
图1示出了根据在此公开的原理的提供表面测量的装置的示意性表示;
图2示出了根据在此公开的原理的摄影测量体系轴的说明性表示;
图3示出了根据在此公开的原理的激光平面定位的说明性表示;
图4示出了根据在此公开的原理的激光轴定义的说明性表示;
图5示出了根据在此公开的原理的第一摄像机相对于第二摄像机的定位的说明性表示;
图6A-6B示出了根据在此公开的原理的适于水下用途的测量装置的视图;
图7A-7D示出了根据在此公开的原理的适于用在测量装置中的摄像机和激光的视图;
图8A-8B示出了根据在此公开的原理的适于用在测量装置中的摄像机和发光二极管(LED)的视图;
图9A-9B示出了根据在此公开的原理的设置在用在测量装置中的前端口中的摄像机和激光的视图;
图10示出了根据在此公开的原理的设置在用在测量装置中的前端口中的摄像机和激光的视图;
图11A-11B示出了根据在此公开的原理的适合安装用在测量装置中的摄像机和激光(或LED)的支架的视图;以及
图12示出了根据在此公开的原理的用于激光三角测量的方法的流程图。
符号和名称
在下述论述和权利要求中,以开放式使用术语“包括”和“包含”,由此应当解释为“包括但不限于…”。术语“连接”、“啮合”、“耦接”、“附接”或描述元件之间的交互的任何其他术语的任何形式的任何使用不意在将这种交互限制到元件之间的直接交互,而是可以包括在此所述的元件之间的间接交互。术语“软件”包括能在处理器上运行的任何可执行代码,与用来存储软件的介质无关。因此,在存储器(例如,非易失存储器)中存储的代码,有时称为“嵌入式固件”包括在软件的定义内。表述“基于”意在指“至少部分地基于”。因此,如果X基于Y,X可以基于Y和任何数目的附加因素。
具体实施方式
在下述附图和描述中,在整个说明书和附图中,通常由相同的参考数字标记相同的部件。附图不一定按比例绘制。本发明的某些特征可以以放大比例示出或相当于示意形式,以及为了清楚和简明起见,可以不示出常规元件的一些细节。本公开内容容许不同形式的实施例。详细地描述和在图中示出具体实施例,应当理解到本公开内容视为公开内容的原理的示例,而不旨在将公开内容限制到在此所图示和所描述的实施例。应充分认识到,可单独地采用下文讨论的实施例的不同教导和组件或以任何合适的组合来产生所需结果。
尽管诸如摄影测量和激光三角测量的光学技术可以用于测量物体,但这些技术呈现使用有问题的困难,特别是在恶劣环境,诸如海底。例如,摄影测量要求增加现场的靶以便关联图像,并且限定到诸如点和自然特征(即,角、边缘、圆柱)的可视指示器的测量。此外,摄影测量可能要求在测量前,在尽可能接近将进行摄影测量的条件的条件下,执行用于水下校准的过程。常规的激光三角测量也可以用在海底和其他恶劣环境中,但要求高传感器稳定度,并且在尽可能接近将执行激光三角测量的条件的条件下,在测量前的传感器校准。这些限制使常规摄影测量和激光三角测量技术难以用在海底和其他恶劣环境中。
本公开内容的实施例包括用于在海底和其他恶劣环境中提供三维测量和物体的建模的方法和装置。例如可以由人工操作者、无人驾驶飞行器(UAV)、水下遥控操作潜水器(ROV)等等运送和/或操作在此公开的测量装置。实施例允许在不同实施例(例如,海底和其他恶劣环境)中,两个实体(诸如点、线、边缘、圆柱等等)以及表面上的点的高密度的测量,而无需预校准。实施例通过结合摄影测量和激光三角测量来提供新颖的自校准技术实现操作而无需预校准。
图1图示了根据在此公开的原理的提供表面测量的装置100的示意性表示。测量装置100包括摄像机102和激光投影仪106。光源104可以包括在装置100中,用于协同摄像机102操作。一些实施例可以另外包括紧临激光投影仪106的第二摄像机108。摄像机108的光轴可以基本上与由激光投影仪106产生的激光投影平行(例如,在平行的2°内)。每一摄像机102、108能拍摄高清视频(例如,1,280×720像素、1,920×1,080像素或更高)。摄像机102和108的每一个包括图像传感器,诸如电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器、或其他适当的图像传感器。激光投影仪106可以包括激光二极管或其他激光源,以及产生定义空间中的平面的激光图像的旋转镜或其他装置。
以离激光投影仪106预定距离或角度设置摄像机102。摄像机102和激光投影仪106之间的距离(d)取决于摄像机102的图像传感器与待测量的物体之间的距离(D)。例如,d可以为D的1/3或1/2。类似地,以相对于激光投影仪106的预定角度设置摄像机102。例如,可以将摄像机102设置成以约30°角查看由激光投影仪106投影的激光平面(即,激光平面和摄像机102的光轴之间的角度为约30°(例如30°±3°)来产生良好相交几何结构)。因此,如果将激光投影仪106设置成基本上垂直于安装结构110,那么,以相对于安装结构110约60°角设置摄像机102。装置100可以设置在用在水下、核、热真空,或其他恶劣环境中的罐或其他壳体中。
装置100还包括耦接到摄像机102,108和激光投影仪106的处理系统112。处理系统112可以控制由激光投影仪106产生激光投影和控制由摄像机102,108拍摄图像。处理系统112包括处理器114和存储器116。存储器116可以是存储由摄像机102,108拍摄的图像和/或存储用于处理所拍摄的图像的指令的半导体存储器或其他存储设备(例如,光学,磁等等)。例如,如在此所述,用于摄影测量处理、基于摄影测量处理的结果,计算激光三角测量校准,以及执行校准的激光三角测量的指令可以存储在存储器116中,用于由处理器114执行。
处理器114可以是通用微处理器、数字信号处理器或其他适当的指令执行设备。处理系统112可以设置在摄像机102和激光投影仪106附近(例如,在共用壳体中),或远离摄像机102和激光投影仪106设置。例如,处理系统112可以经敷设电缆或其他通信媒介(例如,经射频通信),远程地耦接到摄像机102,108。在一些实施例中,摄像机102,108或与摄像机102,108有关的存储器可以存储所拍摄的图像,用于由处理系统112后续处理。由处理系统112执行的处理包括光学传感器的现场校准来实现激光三角测量。在一些实施例中,处理系统112可以是计算机,诸如台式计算机、笔记本计算机、机架式计算机、服务器计算机、嵌入式计算机等等。
为通过现场校准执行激光三角测量,装置100(经处理系统112)首先应用提供点(以及用于其他实体)的3D坐标和相对于3D点集在空间中的摄像机102的3D位置和方位的摄影测量技术(即,来自由摄像机102,108拍摄的视频的图像的3D处理)。作为摄影测量计算的一部分,处理系统112执行计算摄像机102的光学-机械参数以及激光投影仪106相对于摄像机102的精确位置和方位的校准例程。摄像机的光学-机械参数包括:c(主距)、xp、yp(基准中心)、K1,K2,K3(径向畸变)、P1,P2(偏心畸变)、和其他参数,诸如AP1,AP2(像素的正交性)。已经确定激光投影仪106相对于摄像机102的位置和方位,处理系统112能在每一图像上,使以任何所需分辨率测量的表面上投影的激光线的点成三角形。“激光三角形点”将处于与“摄影测量点”相同的体系轴中。通过以所选择的速率,从视频选择图像,装置100能获得任何表面上高密度的3D点。
利用现场校准的激光三角测量能进一步描述如下。使装置100离测量现场适当距离。激光投影仪106将激光线投影到待测量的物体/表面上。摄像机102录制包括在物体上投影的激光线的高清视频。装置100在录制视频时,绕或沿(在诸如管的线性物体的情况下)物体移动。装置100可以手动地移动或通过任何类型的托架或机器人(UAV,ROV等等)移动。处理系统112从由摄像机102提供的图像提取图像。例如,如果摄像机102提供高清视频流,那么处理系统7能从视频流提取各个图像或画面。在一些实施例中,图像可以手动地被提取或由不同系统提取并且提供给处理系统112。
处理系统112经图像处理算法,识别所有图像上的共有“摄影测量点”。一旦识别到这些点,则处理系统执行摄影测量计算并且产生下述输出:
·摄影测量点的3D坐标;
·摄像机位置的3D坐标和方位;
·传感器的校准(即,摄像机的光学-机械参数以及激光平面相对于摄像机的位置和方位);
·“激光三角测量点”的3D坐标。
处理系统112可以应用如下摄影测量处理。图2示出了根据在此公开的原理的摄影测量系统的说明性表示。摄像机102和108的每一个具有在摄像机的图像传感器上居中且定向的其自己的体系轴。在图像拍摄期间,在世界体系轴中,给定摄像机102,108的位置和方位。“世界体系轴”被引用为:(OXYZ),以及“摄像机体系轴”被引用为:(oxyz)。
由处理系统112应用的摄影测量共线方程描述在摄像机图像传感器上测量的(透视中心)和在物体上成像的点均在同一线上。补偿在摄像机图像传感器上测量的点的光学畸变和制造缺陷。摄影测量共线方程可以表示为:
c , m , M al i g n e d ↔ c m → = k R C M →
↔ x + d x y + d y - c = kR T X M - X C Y M - Y C Z M - Z C - - - ( 1 )
↔ x + d x = r 11 ( X M - X C ) + r 21 ( Y M - Y C ) + r 31 ( Z M - Z C ) r 13 ( X M - X C ) + r 23 ( Y M - Y C ) + r 33 ( Z M - Z C ) y + d y = r 12 ( X M - X C ) + r 22 ( Y M - Y C ) + r 32 ( Z M - Z C ) r 13 ( X M - X C ) + r 23 ( Y M - Y C ) + r 33 ( Z M - Z C )
其中:
(x,y)T是摄像机体系轴中的点m的坐标;
(dx,dy)T是光学畸变的校正;
R是摄像机体系轴到世界体系轴的旋转矩阵;
(XM,YM,ZM)T是世界体系轴中的点M的坐标;
(XC,YC,ZC)T是(在图像拍摄期间),摄像机的透视中心的坐标;以及
k是之间的比例因子。
在系统100中,存在待校正的三种畸变:径向畸变、偏心畸变和图像传感器的制造缺陷。处理系统112将补偿应用于先前补偿主点(CCD上的透视中心的投影)的偏心的坐标。通过作为摄像机体系轴中的透视中心(或基准中心)的坐标的(xp,yp)T,补偿公式包括:
x = x - x p y = y - y p , 和(2)
r2=x2+y2(3)
d x = r d x + d d x + p d x d y = r d y + d d y - - - ( 4 )
其中:
(rdx,rdy)T是径向畸变向量;
(ddx,ddy)T是偏心畸变向量;以及
(pdx,O)T是像素失真向量。
以及:
{ r d x = x ( K 1 r 2 + K 2 r 4 + K 3 r 6 ) r d y = y ( K 1 r 2 + K 2 r 4 + K 3 r 6 ) - - - ( 5 )
{ d d x = P 1 ( r 2 + 2 x 2 ) + 2 P 2 x y d d y = P 2 ( r 2 + 2 y 2 ) + 2 P 1 x y - - - ( 6 )
{pdx=AP1x+AP2y(7)
处理系统112可以计算用于激光三角测量的校准如下。在空间中投影的激光形成平面。处理系统112通过计算摄像机体系轴中的位置来校准激光平面。图3示出了根据在此公开的原理的激光平面定位相对于摄像机102的说明性表示。由与摄像机体系轴的原点的(数学最小)距离dl和摄像机体系轴中的法线定义激光平面。
图4示出了根据在此公开的原理的激光轴定义的说明性表示。在定义用于激光的体系轴中,激光轴的原点是在摄像机体系轴的原点的激光平面上的投影,激光平面的OZ轴与OZ轴相交,并且OX轴垂直于激光平面。根据该定义,能产生诸如会聚(OZ轴和激光平面OZ轴之间)的度量特性,基数(摄像机原点和激光原点之间的距离)。(ol,xl,zl)定义如下:
(ol,xl)轴通过o并且将o投影在激光平面上;以及
(ol,zl)轴与摄像机光学轴同时发生。
根据摄像机体系轴或在激光体系轴中,计算点的坐标。摄像机体系轴中的激光点可以计算如下:
c l → = k R T c L → - - - ( 8 )
其中:
在摄像机体系轴中;以及
在激光体系轴中。
↔ x l + d x Y l + d y - c = kR T x l - x C y l - y C z l - z C - - - ( 9 )
摄像机激光
体系轴体系轴
此外,L属于激光平面,因此:
xL=O(10)
等式(9)和(10)产生三个独立的等式,允许计算激光体系轴中的激光点(xL,yL,zL)的坐标。
因为系统100的一些实施例包括两个摄像机102,108,所以处理系统112能计算摄像机102相对于摄像机108的位置。图5示出了根据在此公开的原理的第一摄像机(摄像机102)相对于第二摄像机(摄像机108)的定位的说明性表示。
x y z 2 = R i x y z 1 + T i → - - - ( 11 )
其中:
Ti:在摄像机2体系轴中的摄像机1位置;以及
Ri:将摄像机1体系轴的矩阵旋转成摄像机2体系轴。
能在不使用激光摄像机102的位置的情况下定义用于激光摄像机102的共线方程。相反,可以基于激光摄像机102相对于导向摄像机108的位置和方位来定义用于激光摄像机102的共线方程,这基本上减少用于光束法平差的参数数量。
用于激光摄像机102的共线方程如下:
x + d x y + d y - C 1 = λ [ Ri T [ R 2 T x - x 2 y - y 2 z - z 2 + 0 0 C 2 - T i ] + 0 0 - C 1 ] - - - ( 12 )
其中:
(Ti,Ri)是激光摄像机相对于导向摄像机的相对位置;
((X2,Y2,Z2)T,R2)是世界体系轴中的导向(pilot)摄像机的位置;
C1和C2是激光摄像机和导向摄像机的主距。
图6A-6B示出了根据在此公开的原理的适于水下用途的测量系统100的至少一部分的视图。激光投影仪106设置在第一罐或壳体602中,以及摄像机102设置在第二壳体604中。
图7A-7D示出了根据在此公开的原理的适于用在测量系统100中的摄像机108和激光投影仪106的视图。
图8A-8B示出了根据在此公开的原理的适合用在系统100中的摄像机和发光二极管(LED)104的视图。
图9A-9B示出了根据在此公开的原理的设置在用在测量系统100中的壳体602的前端口中的摄像机108和激光投影仪106的视图。
图10示出了根据在此公开的原理的设置在用在测量系统10中的壳体604的前端口中的摄像机102和LED(光104)的视图。
图11A-11B示出了根据在此公开的原理的适合于安装用在测量系统100中的摄像机108和激光投影仪106的支架702的视图。
图12示出了根据在此公开的原理的用于激光三角测量的方法的流程图。尽管为方便起见,顺序地描述,但所示的至少一些动作能以不同顺序执行和/或并行地执行。另外,一些实施例可以仅执行所示的一些动作。在一些实施例中,该方法的至少一些操作编码在作为在计算机可读存储设备116中存储的软件编程、提供给处理器114的指令中。
在框1202,沿待测量的表面移动测量系统100,或其一部分,包括激光源106和摄像机102。移动可以是手动的或通过车辆运送。例如,可以将测量系统100、或其相关部分封装在压力容器或其他壳体中,并且通过遥控操作的车辆沿待测量的表面运送。
在框1204,激光源106发射照射待测量的表面的激光投影。激光投影可以形成空间中的平面和表面上的线。摄像机102拍摄由激光投影照射的表面的图像。例如,摄像机102可以拍摄表面和激光投影的高清视频。在一些实施例中,可以由与摄像机102有关的光源104,提供表面的另外的照射。可以通过处理系统112,控制激光投影的生成和图像的拍摄。
在框1206,处理系统112应用图像处理技术来识别在所拍摄的图像上的点和/或特征。在识别图像上的共有点后,处理系统112将摄影测量处理应用于图像。摄影测量处理确定点的3D坐标,以及摄像机102的3D坐标和方位。处理系统112还可以计算摄像机102的光学参数。
在框1208,处理系统112基于摄影测量处理的结果,计算激光校准。处理系统112确定相对于摄像机102的激光投影的位置。
在框1210,处理系统112经激光三角测量,应用校准,计算由激光投影照射的表面上的点的3D坐标。
在一些实施例中,用于在任一环境中,物体和表面的3D测量和建模的方法包括:
提供在支架上组装的至少一个摄像机和一个激光线投影仪的组件;
四处测量并且拍摄测量环境和物体上投影的激光线的视频;
手动或自动地:
从视频提取图像;
确定图像之间的关联点;
确定关联点的3D(xyz)坐标;
确定摄像机的光学参数;
确定摄像机的位置;
确定激光平面相对于摄像机的相对位置和方位;以及
确定激光三角测量点的3d坐标(xyz)。
在一些实施例中,用于在任何环境中,物体和表面的3D测量和建模的方法包括:
由摄像机提供静态图像或视频图像(高清或非高清);
其中,可以安装和使用多个摄像机,允许立体视觉和附加测量;以及
提供图形投影,诸如激光线。
在一些实施例中,用于在任何环境中,物体和表面的3D测量和建模的系统包括:
摄像机;
激光器;
自校准模块,该自校准模块集成在摄像机的光学-机械参数以及激光相对于摄像机的相对位置和方位的每一测量建模中;
自校准模块,该自校准模块考虑由于媒介(空气、光学、玻璃,水)的光学偏差;以及
自校准模块,该自校准模块延伸到任何变焦位置。
上述论述旨在说明本公开内容的各个原理和实施例。尽管已经示出和描述了某些实施例,但在不背离本公开内容的精神和教导的情况下,本领域的技术人员能对其进行修改。在此所述的实施例仅是示例性的,而不是限制。因此,保护范围不受上述描述的限制,而仅由权利要求限定,范围包括权利要求的主题的所有等同物。

Claims (21)

1.一种测量系统,包括:
激光投影仪,所述激光投影仪被配置成将激光投影发射到用于激光三角测量的表面上;
第一摄像机,所述第一摄像机被配置成提供所述表面的图像,并且以相对于所述激光投影仪的斜角设置;以及
处理器,所述处理器被配置成:
将摄影测量处理应用于所述图像;
基于所述摄影测量处理的结果,计算用于激光三角测量的校准;以及
经激光三角测量,基于所述校准,计算由所述激光投影照射的所述表面的点的坐标。
2.如权利要求1所述的系统,其中,相对于所述激光投影仪,安装所述第一摄像机,使得所述第一摄像机的光轴以约30度角与所述激光投影相交。
3.如权利要求1所述的系统,其中,所述第一摄像机被配置成拍摄视频,并且所述处理器被配置成从所述视频提取画面作为所述图像。
4.如权利要求1所述的系统,其中,所述处理器被配置成,作为摄影测量处理的一部分:
识别所述图像上的所述表面的点;
在三维中计算所述点的坐标;以及
确定所述第一摄像机相对于所述坐标的位置和方位。
5.如权利要求4所述的系统,其中,所述处理器被配置成,作为计算用于激光三角测量的所述校准的一部分,确定下述至少一个:
所述第一摄像机的光学参数;以及
所述激光投影相对于所述第一摄像机的位置和方位。
6.如权利要求1所述的系统,进一步包括第二摄像机,所述第二摄像机被配置成拍摄所述表面的图像,并且设置成使得所述第二摄像机的光轴近似平行于所述激光投影仪的发射。
7.如权利要求6所述的系统,其中,所述处理器被配置成作为摄影测量处理的一部分,确定所述第一摄像机相对于所述第二摄像机的位置的位置。
8.如权利要求1所述的系统,其中,所述激光投影在所述表面上形成线。
9.一种用于激光三角测量的方法,包括:
当第一摄像机沿表面移动时,经所述第一摄像机,拍摄所述表面的图像;
用与所述第一摄像机一起沿所述表面移动的激光源产生的激光投影,照射所述表面;
将摄影测量处理应用于所述图像;
基于所述摄影测量处理的结果,计算激光三角测量的校准;以及
经所述激光三角测量,基于所述校准,计算由所述激光投影照射的所述表面的点的坐标。
10.如权利要求9所述的方法,其中,相对于所述激光源安装所述第一摄像机,使得所述第一摄像机的光轴以约30度角与所述激光投影相交。
11.如权利要求9所述的方法,进一步包括由所述第一摄像机拍摄视频并且从所述视频提取图像。
12.如权利要求9所述的方法,其中,所述应用摄影测量处理包括:
识别所述图像上的所述表面的点;
在三维中计算所述点的坐标;以及
确定所述第一摄像机相对于所述坐标的位置和方位。
13.如权利要求12所述的方法,其中,计算校准包括下述至少一个:
确定所述第一摄像机的光学参数;以及
确定所述激光投影相对于所述摄像机的位置和方位。
14.如权利要求9所述的方法,进一步包括:
当所述第一摄像机沿所述表面移动时,经第二摄像机,拍摄所述表面的图像;
其中,所述第二摄像机被设置成使所述第二摄像机的光轴近似平行于所述激光投影仪的发射。
15.如权利要求14所述的方法,其中,所述应用摄影测量处理包括确定所述第一摄像机相对于所述第二摄像机的位置的位置。
16.如权利要求9所述的方法,其中,用激光投影照射所述表面包括:将激光线投影在所述表面上。
17.一种编码有指令的非瞬时计算机可读介质,当所述指令被执行时,使处理器:
从自第一摄像机接收到的图像流提取表面的图像;
将摄影测量处理应用于所述图像;
基于所述摄影测量处理的结果,计算用于激光三角测量的校准;以及
经激光三角测量,基于所述校准,计算由在所述图像中捕捉的激光投影照射的所述表面的点的坐标。
18.如权利要求17所述的编码有指令的计算机可读介质,当所述指令被执行时,作为所述摄影测量处理的一部分,使处理器:
识别所述图像上的所述表面的点;
在三维中计算所述点的坐标;以及
确定所述第一摄像机相对于所述坐标的位置和方位。
19.如权利要求17所述的编码有指令的计算机可读介质,当所述指令被执行时,作为计算用于激光三角测量的校准的一部分,使处理器确定下述至少一个:
所述第一摄像机的光学参数;
由所述第一摄像机和所述表面之间的媒介引起的光学偏差;以及
所述激光投影相对于所述第一摄像机的位置和方位。
20.如权利要求17所述的编码有指令的计算机可读介质,当所述指令被执行时,使处理器:
从自第二摄像机接收到的图像流提取所述表面的图像;以及
确定所述第一摄像机相对于所述第二摄像机的位置的位置。
21.如权利要求17所述的编码有指令的计算机可读介质,当所述指令被执行时,使处理器触发激光源来产生所述激光投影;其中,所述激光投影在所述表面上形成线。
CN201380065581.0A 2012-12-14 2013-12-16 三维表面测量的装置和方法 Active CN105190234B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261737499P 2012-12-14 2012-12-14
US61/737,499 2012-12-14
PCT/US2013/075354 WO2014133646A2 (en) 2012-12-14 2013-12-16 Apparatus and method for three dimensional surface measurement

Publications (2)

Publication Number Publication Date
CN105190234A true CN105190234A (zh) 2015-12-23
CN105190234B CN105190234B (zh) 2018-05-18

Family

ID=50983096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380065581.0A Active CN105190234B (zh) 2012-12-14 2013-12-16 三维表面测量的装置和方法

Country Status (12)

Country Link
US (1) US10397550B2 (zh)
EP (1) EP2932191A2 (zh)
JP (1) JP6317760B2 (zh)
CN (1) CN105190234B (zh)
AU (1) AU2013379669B2 (zh)
BR (1) BR112015013804B1 (zh)
CA (1) CA2912859C (zh)
EA (1) EA031929B1 (zh)
MX (1) MX353350B (zh)
MY (1) MY181876A (zh)
PH (1) PH12015501343B1 (zh)
WO (1) WO2014133646A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976148A (zh) * 2017-12-25 2018-05-01 国家海洋局第二海洋研究所 一种深海生物测量装置及其生物特征的测量方法
CN109118577A (zh) * 2018-07-23 2019-01-01 国家深海基地管理中心 基于载人潜水器的水下激光扫描重构系统及其方法
CN111354036A (zh) * 2018-12-20 2020-06-30 核动力运行研究所 一种应用于压力容器的水下光学定位算法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6217227B2 (ja) * 2013-08-12 2017-10-25 株式会社リコー 校正装置、方法及びプログラム
DE102014019670B3 (de) * 2014-12-30 2016-06-30 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mittels Redundanzen
RU2655012C2 (ru) * 2015-09-22 2018-05-23 Общество с ограниченной ответственностью "Нординкрафт Санкт-Петербург" Способ измерения геометрических параметров электросварных труб различного диаметра и система для его осуществления
US9963246B2 (en) * 2016-03-28 2018-05-08 Amazon Technologies, Inc. Combining depth and thermal information for object detection and avoidance
DE102016221040A1 (de) * 2016-10-26 2018-04-26 Robert Bosch Gmbh Verfahren zur Lokalisierung einer Vorrichtung in einem System
CN108257182A (zh) * 2016-12-29 2018-07-06 深圳超多维光电子有限公司 一种立体摄像头模组的标定方法及装置
US11450148B2 (en) * 2017-07-06 2022-09-20 Wisconsin Alumni Research Foundation Movement monitoring system
US10928196B2 (en) 2017-12-28 2021-02-23 Topcon Positioning Systems, Inc. Vision laser receiver
CN110530889A (zh) * 2018-05-25 2019-12-03 上海翌视信息技术有限公司 一种适用于工业生产线的光学检测方法
US11544870B2 (en) 2018-08-30 2023-01-03 Hunter Engineering Company System and method for verification of vehicle service target positioning
US11763486B2 (en) 2018-08-30 2023-09-19 Hunter Engineering Company Method and apparatus for placement of ADAS fixtures during vehicle inspection and service
US11145084B2 (en) 2018-08-30 2021-10-12 Hunter Engineering Company Method and apparatus for guiding placement of ADAS fixtures during vehicle inspection and service
JP7349702B2 (ja) * 2018-10-01 2023-09-25 株式会社コムビック 非接触測定装置
US11461906B2 (en) * 2018-12-31 2022-10-04 Numeric Engineering, Inc. Systems and methods for monitoring offshore structures
JP7434008B2 (ja) * 2019-04-01 2024-02-20 キヤノンメディカルシステムズ株式会社 医用画像処理装置およびプログラム
DE102019204613A1 (de) * 2019-04-01 2020-10-01 Micro-Epsilon Optronic Gmbh Messsystem zur optischen Messung
EP3839418A1 (en) * 2019-12-18 2021-06-23 Hexagon Technology Center GmbH Optical sensor with overview camera
US11872965B2 (en) * 2020-05-11 2024-01-16 Hunter Engineering Company System and method for gyroscopic placement of vehicle ADAS targets
CN113310428B (zh) * 2021-06-11 2023-06-02 安徽工程大学 一种基于线结构光的同步传动表面轮廓测量系统及测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1314056A (zh) * 1999-06-11 2001-09-19 埃米尔·亨德里克斯 用单部手持摄像机获取三维景象
US20020189115A1 (en) * 2001-06-15 2002-12-19 Jackson David A. Self-calibrating position determination system
CN1605829A (zh) * 2004-11-11 2005-04-13 天津大学 视觉测量系统现场校准装置及校准方法
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN102112845A (zh) * 2008-08-06 2011-06-29 形创有限公司 用于表面特征自适应性三维扫描的系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4979815A (en) * 1989-02-17 1990-12-25 Tsikos Constantine J Laser range imaging system based on projective geometry
US6590640B1 (en) 2000-07-20 2003-07-08 Boards Of Regents, The University Of Texas System Method and apparatus for mapping three-dimensional features
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
JP4656745B2 (ja) * 2001-03-09 2011-03-23 西松建設株式会社 トンネル坑内の形状測定方法
US8428393B2 (en) * 2003-03-14 2013-04-23 Rudolph Technologies, Inc. System and method of non-linear grid fitting and coordinate system mapping
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
EP1524494A1 (en) * 2003-10-17 2005-04-20 inos Automationssoftware GmbH Method for calibrating a camera-laser-unit in respect to a calibration-object
DE10359415A1 (de) * 2003-12-16 2005-07-14 Trimble Jena Gmbh Verfahren zur Kalibrierung eines Vermessungsgeräts
US7429999B2 (en) * 2004-05-24 2008-09-30 CENTRE DE RECHERCHE INDUSTRIELLE DU QUéBEC Camera calibrating apparatus and method
JP4542821B2 (ja) * 2004-05-25 2010-09-15 学校法人愛知学院 画像処理方法、画像処理装置、および画像処理プログラム
JP4290733B2 (ja) * 2004-08-03 2009-07-08 有限会社テクノドリーム二十一 3次元形状計測方法及びその装置
US8082120B2 (en) * 2005-03-11 2011-12-20 Creaform Inc. Hand-held self-referenced apparatus for three-dimensional scanning
JP4871352B2 (ja) * 2005-03-11 2012-02-08 クリアフォーム インク. 3次元スキャンの自動参照システム及び装置
US8625854B2 (en) * 2005-09-09 2014-01-07 Industrial Research Limited 3D scene scanner and a position and orientation system
CA2606267A1 (fr) * 2007-10-11 2009-04-11 Hydro-Quebec Systeme et methode de cartographie tridimensionnelle d'une surface structurelle
EP2112467A3 (en) * 2008-04-21 2011-07-06 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for fluorescent immersion range scanning
JP2012519277A (ja) * 2009-02-27 2012-08-23 ボディー サーフェイス トランスレーションズ, インコーポレイテッド 三次元表示を使用する物理パラメータの推定
US11403739B2 (en) * 2010-04-12 2022-08-02 Adobe Inc. Methods and apparatus for retargeting and prioritized interpolation of lens profiles
US8430319B2 (en) * 2011-02-08 2013-04-30 Symbol Technologies, Inc. Imaging reader for electro-optically reading two-dimensional symbols with controller having limited internal memory
KR20140115062A (ko) * 2013-03-20 2014-09-30 한국전자통신연구원 수중물체 형상측정 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1314056A (zh) * 1999-06-11 2001-09-19 埃米尔·亨德里克斯 用单部手持摄像机获取三维景象
US20020189115A1 (en) * 2001-06-15 2002-12-19 Jackson David A. Self-calibrating position determination system
CN1605829A (zh) * 2004-11-11 2005-04-13 天津大学 视觉测量系统现场校准装置及校准方法
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN102112845A (zh) * 2008-08-06 2011-06-29 形创有限公司 用于表面特征自适应性三维扫描的系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976148A (zh) * 2017-12-25 2018-05-01 国家海洋局第二海洋研究所 一种深海生物测量装置及其生物特征的测量方法
CN107976148B (zh) * 2017-12-25 2024-05-03 自然资源部第二海洋研究所 一种深海生物测量装置及其生物特征的测量方法
CN109118577A (zh) * 2018-07-23 2019-01-01 国家深海基地管理中心 基于载人潜水器的水下激光扫描重构系统及其方法
CN109118577B (zh) * 2018-07-23 2023-03-10 国家深海基地管理中心 基于载人潜水器的水下激光扫描重构系统及其方法
CN111354036A (zh) * 2018-12-20 2020-06-30 核动力运行研究所 一种应用于压力容器的水下光学定位算法

Also Published As

Publication number Publication date
EP2932191A2 (en) 2015-10-21
MY181876A (en) 2021-01-11
US20150317780A1 (en) 2015-11-05
US10397550B2 (en) 2019-08-27
CA2912859C (en) 2021-01-26
PH12015501343A1 (en) 2015-09-07
PH12015501343B1 (en) 2015-09-07
WO2014133646A3 (en) 2014-11-06
JP6317760B2 (ja) 2018-04-25
EA201591144A1 (ru) 2016-01-29
CA2912859A1 (en) 2014-09-04
EA031929B1 (ru) 2019-03-29
WO2014133646A2 (en) 2014-09-04
AU2013379669A1 (en) 2015-07-02
MX353350B (es) 2018-01-10
CN105190234B (zh) 2018-05-18
JP2016509199A (ja) 2016-03-24
AU2013379669B2 (en) 2017-08-17
MX2015007555A (es) 2015-10-20
BR112015013804B1 (pt) 2021-02-09

Similar Documents

Publication Publication Date Title
CN105190234A (zh) 三维表面测量的装置和方法
US10019809B2 (en) Underwater 3D image reconstruction utilizing triple wavelength dispersion and camera system thereof
CN104616292B (zh) 基于全局单应矩阵的单目视觉测量方法
US8295587B2 (en) Image processing apparatus, image processing method, image processing program and position detecting apparatus as well as mobile object having the same
KR101694969B1 (ko) 카메라 캘리브레이션 방법 및 장치
US11290704B2 (en) Three dimensional scanning system and framework
WO2013005265A1 (ja) 三次元座標計測装置及び三次元座標計測方法
JP5011528B2 (ja) 3次元距離計測センサおよび3次元距離計測方法
JP2015128242A (ja) 画像投影装置及びそのキャリブレーション方法
JP7486740B2 (ja) テレセントリックラインスキャンカメラを用いて物体を効率的に3次元再構成するためのシステムおよび方法
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
Zhou et al. A two-step calibration method of lenslet-based light field cameras
WO2011118476A1 (ja) 3次元距離計測装置及びその方法
JP2017528714A (ja) 3次元座標の光学測定のための方法および3次元測定デバイスの制御
Dolereit et al. Underwater stereo calibration utilizing virtual object points
Holdener et al. Design and implementation of a novel portable 360 stereo camera system with low-cost action cameras
JP2007033087A (ja) キャリブレーション装置及び方法
JP5648159B2 (ja) 3次元相対座標計測装置およびその方法
US20230070281A1 (en) Methods and systems of generating camera models for camera calibration
KR102077934B1 (ko) 비디오를 이용하여 객체의 가상 리트로피팅을 수행하기 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치
Hensel et al. Experimental setup for neural networks and camera-based navigation of mobile systems
OA17428A (en) Apparatus and method for three dimensional surface measurement.
CN117953068A (zh) 一种机器人相机标定方法、系统、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant