CN115200505A - 一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法 - Google Patents

一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法 Download PDF

Info

Publication number
CN115200505A
CN115200505A CN202210829794.7A CN202210829794A CN115200505A CN 115200505 A CN115200505 A CN 115200505A CN 202210829794 A CN202210829794 A CN 202210829794A CN 115200505 A CN115200505 A CN 115200505A
Authority
CN
China
Prior art keywords
refraction
infrared
camera
parameters
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210829794.7A
Other languages
English (en)
Inventor
邵新星
童子祥
谷柳凝
侯士通
胡晓函
吴刚
何小元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210829794.7A priority Critical patent/CN115200505A/zh
Publication of CN115200505A publication Critical patent/CN115200505A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Hydrology & Water Resources (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，该方法包括如下步骤：（1）搭建基于红外衍射光斑和双目视觉的水下光学三维形貌测量系统；（2）构建水下红外相机成像模型，对水下红外相机系统的折射参数进行标定，校正因为介质折射率不同导致的偏差；（3）在被测物体表面投射红外衍射光斑，作为被测物表面的形貌信息载体；（4）相机采集图像，基于浑水图像退化模型对采集的图像做图像增强处理；（5）通过计算得到某阶段物体表面局部光学三维形貌点云数据，移动光学测量装置得到各阶段物体表面局部光学三维形貌点云数据。本发明克服水下测量中的光线折射问题，消除了折射产生的误差，提高了水下光学测量方法的精度。

Description

一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法
技术领域
本发明涉及水下高精度测量领域，具体涉及一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法。
背景技术
基于光学的三维形貌测量方法包括三维数字散斑相关法、栅线投影法、线结构光法等，应用三角测量原理进行三维形貌测量。光学测量方法的优点是非接触、测量精度高，速度快。
基于光学测量的水下测量技术面临的主要问题是：1、水下待测物体表面自然纹理特征度不够；2、水下多介质折射带来的误差影响；3、浑水情况下成像质量差。
通过红外衍射技术可以在水下待测物体表面打上光学标记，解决水下物体自然纹理弱的问题。通过建立水下折射成像模型，消除光线折射带来的成像误差。通过图像增强技术，消除浑水成像对图像质量的影响。进而，可以将光学测量方法运用在高精度水下测量领域，适用于更多的水下测量场景。
发明内容
针对现有技术的不足，本发明提供了一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，可以通过红外衍射光斑赋予待测表面信息，构建水下折射矫正模型和浑水成像模型对图像进行矫正，利用基于双目视觉的三维测量方法得到高精度的水下物体形三维点云信息，克服水下测量中的光线折射问题，消除了折射产生的误差，提高了水下光学测量方法的精度。
为解决现有技术问题，本发明采取的技术方案为：
一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，包括以下步骤：
步骤1，搭建水下光学三维形貌测量系统，将红外相机、相机防水罩、相机固定架、DOE激光器根据测量方案合理放置并固定，使用标定板对红外相机的内参和外参进行标定；
步骤2，根据步骤1中标定出的相机内参和外参，对水下相机的折射参数进行标定，得到水下折射成像模型，所述水下折射成像模型用以校正光线在经过不同介质时由折射率不同引起的误差；
步骤3，设置DOE激光器的参数，使DOE激光器在水下物体表面上投射的衍射光斑能够覆盖红外相机视场，并且单个光斑的大小在红外相机画面中占据5-10个像素，所述衍射光斑作为被测物表面的形貌信息载体；
步骤4，通过红外相机采集红外光斑图像，基于水下图像退化模型，对采集的图像做图像增强处理，获得高质量红外衍射光斑；
步骤5，通过计算得到某阶段物体表面局部光学三维形貌点云数据，移动光学测量装置得到各阶段物体表面局部光学三维形貌点云数据。
作为改进的是，内参标定参数包括：镜头焦距f，主点位置(u0，v0)，像元尺寸(Sx，Sy)以及镜头畸变参数，所述的镜头畸变参数包括6阶径向畸变参数K1、K2、K3、K4、K5、K6和2阶切向畸变数P1、P2；外参标定参数包括：两台红外相机之间的旋转矩阵R和平移矩阵t，所述旋转矩阵R包括r11、r12、r13、r21、r22、r23、r31、r32、r33六个参数，平移矩阵t包括t1、t2、t3三个参数。
进一步地，步骤2中对水下相机的折射参数进行标定，具体步骤如下：当步骤1中所述红外相机的个位为2个时，两台红外相机(C0、C1)放置于有透明平板观察窗的防水罩中，来自P点的光线经由水体、玻璃观察窗、空气三种介质成像于感光靶面，空气、玻璃、水的折射率分别为n1、n2、n3，倘若不做任何折射校正处理，得到的三维点即为P′，||P-P′||即为误差；
在左相机坐标系C0-XYZ中，C0＝(0，0，0)，C1＝t＝(tx，ty，tz)，其中t为相机外参中的平移矩阵，利用P′点在左相机(C0)和右相机(C1)中的坐标，可以得到光线向量l1和l1′：
Figure BDA0003744448890000021
则在左相机坐标系C0-XYZ中，l1和l1′向量所处的直线方程为：
Figure BDA0003744448890000031
根据空气层厚度D1以及折射面法向量n，可以得到折射面Π1的方程：
Π1：nTX+D1＝0
光线l1和光线l1′与折射面Π1的交点分别为P1、P1′：
Figure BDA0003744448890000032
当光线经过空气和玻璃的折射面Π1时，由于折射率不同会发生折射，根据斯涅耳定律，折射后的光线向量l2和l2′分别为：
Figure BDA0003744448890000033
假设P1、P1′的坐标分别为(X1，Y1，Z1)和(X1′，Y1′，Z1′)，则l2和l2′向量所处的直线方程为：
Figure BDA0003744448890000034
根据玻璃层厚度D2以及折射面法向量n，可以得到折射面Π2的方程：
Π2：nTX+D1+D2＝0
光线l2和光线l2′与折射面Π2的交点分别为P2、P2′：
Figure BDA0003744448890000035
同理，折射后的光线向量l3和l3′分别为：
Figure BDA0003744448890000041
利用最小二乘法计算l3和l3′的交点，可以得到真实物点P，即消除了折射的影响，因此，标定的折射模型中应包括以下参数：相机光心到观察窗内表面的距离D1，观察窗厚度D2，观察窗平面的法向量n＝(nx，ny，nz)。
进一步地，为了标定出折射模型中的折射参数，需要对折射模型进行标定，即确定观察窗内外折射面在相机坐标系下的方程，使用的方法包括但不限于：在观察窗内外表面布置普通散斑、标志点、荧光散斑。
进一步地，步骤5中所述计算采用的光学三维形貌测量方法为三维数字散斑相关法、栅线投影法(面结构光法)或线结构光法。
有益效果：
与现有技术相比，本发明一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，通过红外衍射技术可以在水下待测物体表面打上光学标记，解决水下物体自然纹理弱的问题。通过建立水下折射成像模型，消除光线折射带来的成像误差。通过图像增强技术，消除浑水成像对图像质量的影响。进而，可以将光学测量方法运用在高精度水下测量领域，适用于更多的水下测量场景。
具体优势如下：
1、为了克服水下待测物体表面自然纹理弱，特征信息不丰富的问题，创新性地使用了红外衍射光斑技术，相比于可见光，红外光穿透能力强，更能适应混水环境；此外该技术产生的光斑是面阵，具有三维重建面积大，速度快的优势；
2、创新性地使用了基于双目视觉测量的水下折射矫正技术，能够克服水下测量中的光线折射问题，消除了折射产生的误差，得到真实的物体三维点云，提高了水下光学测量方法的精度。
附图说明
图1为本发明基于红外衍射光斑和双目视觉的浑水三维点云测量方法的流程图；
图2为水下相机折射成像模型图；
图3为DOE红外激光器和红外相机放置示意图；
图4为观察窗表面的荧光散斑；
图5为衍射光斑；
图6为图像增强处理：处理前(左)、处理后(右)；
图7为折射矫正结果：未消除折射误差(上)、消除折射误差(下)、真实位置(下)。
具体实施方式
下面结合具体实施案例对本发明作进一步的说明。
实施例1
一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，其中所用到的光学测量方法为三维数字散斑相关方法，采用的散斑为红外衍射光斑。
具体步骤如下：
(1)将红外相机、相机防水罩、相机固定架、DOE激光器根据测量方案合理放置并固定。使用标定板对红外相机的内参和外参进行标定。其中，内参标定参数包括：镜头焦距f，主点位置(u0，v0)，像元尺寸(Sx，Sy)以及镜头畸变参数，其中所述的镜头畸变参数包括6阶径向畸变参数K1、K2、K3、K4、K5、K6和2阶切向畸变数P1、P2。其中，外参标定参数包括：两台红外相机之间的旋转矩阵R和平移矩阵t，其中，R中包括r11、r12、r13、r21、r22、r23、r31、r32、r33六个参数，t中包括t1、t2、t3三个参数；
(2)在观察窗内外表面依次喷涂荧光散斑，利用空气中双目视觉成像技术对观察窗表面(折射面)进行形貌测量，即可得到水下相机折射成像模型的折射参数：相机光心到观察窗内表面的距离D1，观察窗厚度D2，观察窗平面的法向量n，用以校正光线在经过不同介质时由折射率不同引起的误差，如图4所示；
(3)调整DOE激光器的参数，使DOE激光器在水下物体表面上投射的衍射光斑能够覆盖红外相机整个视场，并且单个光斑的大小在红外相机画面中占据5-10个像素，如图5所示；
(4)通过红外相机采集红外光斑图像，利用暗通道先验算法对采集的图像做图像增强处理，获得高质量红外衍射光斑；
(5)基于数字图像相关方法，对步骤(4)中左右相机采集的某阶段光斑图像进行立体匹配，结合步骤(1)、(2)得到的相机内外参数和折射参数，对图像中一一匹配的计算点做三维重构，得到物体表面局部光学三维形貌点云数据，接着移动双目相机得到其他区域的局部光学三维形貌点云数据；如果不修正水下折射对三维重建的影响，将有高达40mm的形貌测量误差，通过本专利中提出的基于红外衍射光斑和双目视觉的浑水三维点云测量方法，可以有效消除由折射带来的误差影响，将形貌测量误差缩小到2mm以内。通过位移实验，证明了该方法可以将位移测量误差由22％降到3.6％。

Claims (5)

1.一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，其特征在于，包括以下步骤：
步骤1，搭建水下光学三维形貌测量系统，将红外相机、相机防水罩、相机固定架、DOE激光器根据测量方案合理放置并固定，使用标定板对红外相机的内参和外参进行标定；
步骤2，根据步骤1中标定出的相机内参和外参，对水下相机的折射参数进行标定，得到水下折射成像模型，所述水下折射成像模型用以校正光线在经过不同介质时由折射率不同引起的误差；
步骤3，设置DOE激光器的参数，使DOE激光器在水下物体表面上投射的衍射光斑能够覆盖红外相机视场，并且单个光斑的大小在红外相机画面中占据5-10个像素，所述衍射光斑作为被测物表面的形貌信息载体；
步骤4，通过红外相机采集红外光斑图像，基于水下图像退化模型，对采集的图像做图像增强处理，获得高质量红外衍射光斑；
步骤5，通过计算得到某阶段物体表面局部光学三维形貌点云数据，移动光学测量装置得到各阶段物体表面局部光学三维形貌点云数据。
2.根据权利要求1所述的一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，其特征在于，内参标定参数包括：镜头焦距f，主点位置(u0,v0)，像元尺寸(Sx,Sy)以及镜头畸变参数，所述的镜头畸变参数包括6阶径向畸变参数K1、K2、K3、K4、K5、K6和2阶切向畸变数P1、P2；外参标定参数包括：两台红外相机之间的旋转矩阵R和平移矩阵t，所述旋转矩阵R包括r11、r12、r13、r21、r22、r23、r31、r32、r33六个参数，平移矩阵t包括t1、t2、t3三个参数。
3.根据权利要求1所述的一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，其特征在于，步骤2中对水下相机的折射参数进行标定，具体步骤如下：当步骤1中所述红外相机的个位为2个时，两台红外相机(C0、C1)放置于有透明平板观察窗的防水罩中，来自P点的光线经由水体、玻璃观察窗、空气三种介质成像于感光靶面，空气、玻璃、水的折射率分别为n1、n2、n3，倘若不做任何折射校正处理，得到的三维点即为P′,‖P-P′‖即为误差；在左相机坐标系C0-XYZ中，C0＝(0,0,0)，C1＝t＝(tx,ty,tz)，其中t为相机外参中的平移矩阵，利用P′点在左相机(C0)和右相机(C1)中的坐标，可以得到光线向量l1和l1′：
Figure FDA0003744448880000021
则在左相机坐标系C0-XYZ中，l1和l1′向量所处的直线方程为：
Figure FDA0003744448880000022
根据空气层厚度D1以及折射面法向量n，可以得到折射面Π1的方程：
Π1：nTX+D1＝0
光线l1和光线l1′与折射面Π1的交点分别为P1、P1′:
Figure FDA0003744448880000023
当光线经过空气和玻璃的折射面Π1时，由于折射率不同会发生折射,根据斯涅耳定律，折射后的光线向量l2和l2′分别为：
Figure FDA0003744448880000024
假设P1、P1′的坐标分别为(X1,Y1,Z1)和(X1′,Y1′,Z1′)，则l2和l2′向量所处的直线方程为：
Figure FDA0003744448880000025
根据玻璃层厚度D2以及折射面法向量n，可以得到折射面Π2的方程：
Π2：nTX+D1+D2＝0
光线l2和光线l2′与折射面Π2的交点分别为P2、P2′:
Figure FDA0003744448880000031
同理，折射后的光线向量l3和l3′分别为：
Figure FDA0003744448880000032
利用最小二乘法计算l3和l3′的交点，可以得到真实物点P，即消除了折射的影响，因此，标定的折射模型中应包括以下参数：相机光心到观察窗内表面的距离D1，观察窗厚度D2，观察窗平面的法向量n＝(nx,ny,nz)。
4.根据权利要求1所述的一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，其特征在于，为了标定出折射模型中的折射参数，需要对折射模型进行标定，即确定观察窗内外折射面在相机坐标系下的方程，使用的方法包括但不限于：在观察窗内外表面布置普通散斑、标志点、荧光散斑。
5.根据权利要求1所述的一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法，其特征在于，步骤5中所述计算采用的光学三维形貌测量方法为三维数字散斑相关法、栅线投影法或线结构光法。
CN202210829794.7A 2022-07-13 2022-07-13 一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法 Pending CN115200505A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210829794.7A CN115200505A (zh) 2022-07-13 2022-07-13 一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210829794.7A CN115200505A (zh) 2022-07-13 2022-07-13 一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法

Publications (1)

Publication Number Publication Date
CN115200505A true CN115200505A (zh) 2022-10-18

Family

ID=83582205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210829794.7A Pending CN115200505A (zh) 2022-07-13 2022-07-13 一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法

Country Status (1)

Country Link
CN (1) CN115200505A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116817794A (zh) * 2023-06-27 2023-09-29 浙江大学 一种基于结构光的水下高精度三维成像装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116817794A (zh) * 2023-06-27 2023-09-29 浙江大学 一种基于结构光的水下高精度三维成像装置及方法
CN116817794B (zh) * 2023-06-27 2024-02-13 浙江大学 一种基于结构光的水下高精度三维成像装置及方法

Similar Documents

Publication Publication Date Title
CN110197466B (zh) 一种广角鱼眼图像矫正方法
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN102509261B (zh) 一种鱼眼镜头的畸变校正方法
CN108020175B (zh) 一种多光栅投影双目视觉舌体表面三维整体成像方法
CN107025670A (zh) 一种远心相机标定方法
CN113129430B (zh) 基于双目结构光的水下三维重建方法
CN106990776B (zh) 机器人归航定位方法与系统
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN110689581A (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN102768762B (zh) 一种针对盾构隧道病害数字照相检测的数码相机标定方法及其装置
CN106952309A (zh) 快速标定tof深度相机多种参数的设备及方法
CN111709985B (zh) 一种基于双目视觉的水下目标测距方法
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN108550171B (zh) 基于交比不变性的含有八卦编码信息的线阵相机标定方法
CN114283203A (zh) 一种多相机系统的标定方法及系统
CN115205466A (zh) 一种基于结构光的输电通道三维重建方法和系统
CN116625258A (zh) 链条间距测量系统及链条间距测量方法
CN115200505A (zh) 一种基于红外衍射光斑和双目视觉的浑水三维点云测量方法
CN110146032B (zh) 基于光场分布的合成孔径相机标定方法
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN114972447A (zh) 一种基于无人机拍照的水体表面流迹线测量方法
CN114170321A (zh) 一种基于测距的相机自标定方法及系统
CN113963065A (zh) 一种基于外参已知的镜头内参标定方法及装置、电子设备
RU2692970C2 (ru) Способ калибровки видеодатчиков многоспектральной системы технического зрения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination