CN112946687A - 一种用于tof相机水下成像的图像深度矫正方法 - Google Patents

一种用于tof相机水下成像的图像深度矫正方法 Download PDF

Info

Publication number
CN112946687A
CN112946687A CN202110086451.1A CN202110086451A CN112946687A CN 112946687 A CN112946687 A CN 112946687A CN 202110086451 A CN202110086451 A CN 202110086451A CN 112946687 A CN112946687 A CN 112946687A
Authority
CN
China
Prior art keywords
underwater
tof camera
transparent medium
sealed shell
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110086451.1A
Other languages
English (en)
Other versions
CN112946687B (zh
Inventor
高剑
边琛益
梁晓敏
张元旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110086451.1A priority Critical patent/CN112946687B/zh
Publication of CN112946687A publication Critical patent/CN112946687A/zh
Application granted granted Critical
Publication of CN112946687B publication Critical patent/CN112946687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出一种用于TOF相机水下成像的折射矫正方法，首先利用TOF相机采集水下图像信息，获取未校正前的图像深度；进一步求解TOF相机产生的光信号在相机与水下密封外壳透明介质之间的空气中的传播距离和传播时间，以及光信号在水下密封外壳透明介质内的传播距离以及传播时间；再根据公式解算出TOF相机校正后的深度信息。本发明针对TOF相机深度信息矫正需求，在snell定理的基础上结合TOF相机深度信息成像原理推导出TOF相机水下深度信息获取的定义式，实现TOF相机水下成像的折射矫正。

Description

一种用于TOF相机水下成像的图像深度矫正方法
技术领域
本发明涉及相机水下成像技术领域，具体为一种用于TOF相机水下成像的图像深度矫正方法。
背景技术
随着海洋地质勘察、海洋资源勘探、军民用水下实验的研究与发展，水下光学成像、摄影摄像技术成为了探索海洋奥秘的基本方法之一，水下摄像机已成为水下机器人的标准配置。基于飞行时间原理(TOF)相机在普通相机二维成像的基础上增加了红外线相机，可以实现深度信息的识别和采集，获取物体之间更加丰富的位置关系，能够快速完成对目标的识别与追踪，目前在水下对接，水下抓取等方向有着极为广阔的应用前景。为了确保其能在水下环境工作，一般都会摄像机镜头前加装防水外壳，但由于光线在不同介质中会发生折射现象，从而导致生成的图像发生变化，影响图像形成的几何结构。
发明内容
目前对于水下相机折射矫正的研究和方法都是针对传统的二维成像的针孔相机模型，并没有相关文献针对TOF相机深度信息矫正技术的研究。
为了确保TOF相机可以在水下环境中使用，通常会通过水密外壳对相机进行密封处理，TOF相机的深度信息是通过红外相机采集光线折返时间进行求解，由于密封外壳以及光线在不同介质中传播会发生折射的原因，TOF相机在水下密封外壳中采集到深度信息无法真实反馈水中目标物的深度距离，本发明在光线折射模型的基础上，结合TOF相机独特的深度信息获取原理，提出了一种TOF相机水下成像的折射矫正方法，通过该方法可以获得TOF相机在密封外壳中矫正后的深度信息，为TOF相机在水下的广阔应用前景提供了基础且必要的条件。
本发明的技术方案为：
所述一种用于TOF相机水下成像的折射矫正方法，包括以下步骤：
步骤1：采集水下图像信息
利用TOF相机采集水下图像信息，获取未校正前的图像深度dm：
dm＝(tm/2)cair
其中tm是由TOF相机记录的光信号从相机中发射到光信号从目标物返回的时间，cair为光信号在空气中的传播速度；
步骤2：求解TOF相机产生的光信号在相机与水下密封外壳透明介质之间的空气中的传播距离la和传播时间ta，以及光信号在水下密封外壳透明介质内的传播距离lh以及传播时间th；
步骤3：根据公式
dw＝xo+lwXw||Xw||
解算出TOF相机校正后的深度信息dw，深度信息dw为水下密封外壳透明介质外平面点x0与水中目标物点xw之间的深度信息；取x0为坐标原点，Xw表示光信号从x0坐标原点到水中目标物xw的向量，Xw||Xw||与Xw向量同向的单位向量，lw表示x0与xw的距离，根据公式
Figure BDA0002911008330000021
计算得到，其中ηh是光信号在水下密封外壳透明介质的折射率，ηw是光信号在水中的折射率。
进一步的，步骤2中，光信号在相机与水下密封外壳透明介质之间的空气中的传播距离la和在水下密封外壳透明介质内的传播距离lh为：
la＝da/cosθa
lh＝dh/cosθh
其中da与dh分别为相机与水下密封外壳透明介质的距离，以及水下密封外壳透明介质的厚度；θa为光信号由空气进入水下密封外壳透明介质的入射角，θh为经过水下密封外壳透明介质的折射角。
进一步的，步骤2中，光信号在相机与水下密封外壳透明介质之间的空气中的传播时间ta和在水下密封外壳透明介质内的传播时间th为：
Figure BDA0002911008330000031
Figure BDA0002911008330000032
其中ηh是光信号在水下密封外壳透明介质的折射率。
进一步的，水下密封外壳透明介质采用石英玻璃，光信号在石英玻璃中的折射率ηh＝1.4584，光信号在水中的折射率ηw＝1.335。
有益效果
本发明针对TOF相机深度信息矫正需求，在snell定理的基础上结合TOF相机深度信息成像原理推导出TOF相机水下深度信息获取的定义式，实现TOF相机水下成像的折射矫正。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1:TOF相机水下折射模型。
具体实施方式
本发明提出了一种用于TOF相机水下成像的折射矫正方法，在snell定理的基础上结合TOF相机深度信息成像原理推导出TOF相机水下深度信息获取的定义式，实现TOF相机水下成像的折射矫正。
具体步骤如下：
步骤1：采集水下图像信息
建立如图1所示的TOF相机模型，利用TOF相机采集水下图像信息，获取未校正前的图像深度dm：
dm＝(tm/2)cair
其中tm是由TOF相机记录的光信号从相机中发射到光信号从目标物返回的时间，cair为光信号在空气中的传播速度。
步骤2：求解TOF相机产生的光信号在空气和水下密封外壳透明介质(图1中的玻璃)中的传播距离以及传播时间：
步骤2.1求解光信号在空气和玻璃中的传播距离
如图1，TOF相机发射的光信号在经过防水玻璃外壳以及水中时会发生折射，其中θa为光信号由空气进入玻璃外壳的入射角，θh为经过玻璃外壳介质的折射角，θw为光信号进入水中的折射角，da与dh分别为TOF相机距离玻璃外壳的距离和玻璃外壳的厚度，可以通过测量可得，利用勾股定理可求光信号在空气中和玻璃中的传播距离la，lh为：
la＝da/cosθa
lh＝dh/cosθh
步骤2.2求解光信号在空气和玻璃中的传播时间
Figure BDA0002911008330000041
Figure BDA0002911008330000042
其中ta、th，分别表示光线在空气、玻璃中的传播时间，ηh是玻璃外壳的折射率，由光线折射snell定理可以求得光线在石英玻璃中的折射率ηh＝1.4584。
步骤3：对TOF相机获取图像的深度信息dm进行矫正
由图1我们可以看出TOF相机记录光信号的时间tm应该为光信号在空气中的传播时间ta，玻璃外壳中的传播时间th，以及水中的传播时间tw传播时间总和：
tm＝ta+th+tw
TOF相机在水下环境应用时我们需要的深度信息为玻璃壳外平面点x0与水中目标物点xw之间的深度信息dw：
dw＝xo+lwXw||Xw||
其中取x0为坐标原点，lw表示x0与xw的距离，Xw表示光信号从x0坐标原点到水中目标物xw的向量，Xw/||Xw||与Xw向量同向的单位向量。所以我们只需要获得lw便可以求解出TOF相机校正后的深度信息dw：
lw＝(tw×cair)/2ηw
其中ηw是光信号在水中的折射率，由光线折射snell定理可以求得光线在水中的折射率ηw＝1.335。
由步骤1公式可得：
Figure BDA0002911008330000051
结合步骤2中求解的ta、th可得光信号在水中的传播时间为：
tw＝tm-(ta+th)
Figure BDA0002911008330000052
结合上述公式便可求得lw为：
Figure BDA0002911008330000053
进而得到TOF相机校正后的深度信息dw。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种用于TOF相机水下成像的折射矫正方法，其特征在于：包括以下步骤：
步骤1：采集水下图像信息
利用TOF相机采集水下图像信息，获取未校正前的图像深度dm：
dm＝(tm/2)cair
其中tm是由TOF相机记录的光信号从相机中发射到光信号从目标物返回的时间，cair为光信号在空气中的传播速度；
步骤2：求解TOF相机产生的光信号在相机与水下密封外壳透明介质之间的空气中的传播距离la和传播时间ta，以及光信号在水下密封外壳透明介质内的传播距离lh以及传播时间th；
步骤3：根据公式
dw＝xo+lwXw/||Xw||
解算出TOF相机校正后的深度信息dw，深度信息dw为水下密封外壳透明介质外平面点x0与水中目标物点xw之间的深度信息；取x0为坐标原点，Xw表示光信号从x0坐标原点到水中目标物xw的向量，Xw/||Xw||与Xw向量同向的单位向量，lw表示x0与xw的距离，根据公式
Figure FDA0002911008320000011
计算得到，其中ηh是光信号在水下密封外壳透明介质的折射率，ηw是光信号在水中的折射率。
2.根据权利要求1所述一种用于TOF相机水下成像的折射矫正方法，其特征在于：步骤2中，光信号在相机与水下密封外壳透明介质之间的空气中的传播距离la和在水下密封外壳透明介质内的传播距离lh为：
la＝da/cosθa
lh＝dh/cosθh
其中da与dh分别为相机与水下密封外壳透明介质的距离，以及水下密封外壳透明介质的厚度；θa为光信号由空气进入水下密封外壳透明介质的入射角，θh为经过水下密封外壳透明介质的折射角。
3.根据权利要求1所述一种用于TOF相机水下成像的折射矫正方法，其特征在于：步骤2中，光信号在相机与水下密封外壳透明介质之间的空气中的传播时间ta和在水下密封外壳透明介质内的传播时间th为：
Figure FDA0002911008320000021
Figure FDA0002911008320000022
其中ηh是光信号在水下密封外壳透明介质的折射率。
4.根据权利要求1所述一种用于TOF相机水下成像的折射矫正方法，其特征在于：水下密封外壳透明介质采用石英玻璃，光信号在石英玻璃中的折射率ηh＝1.4584，光信号在水中的折射率ηw＝1.335。
CN202110086451.1A 2021-01-22 2021-01-22 一种用于tof相机水下成像的图像深度矫正方法 Active CN112946687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110086451.1A CN112946687B (zh) 2021-01-22 2021-01-22 一种用于tof相机水下成像的图像深度矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110086451.1A CN112946687B (zh) 2021-01-22 2021-01-22 一种用于tof相机水下成像的图像深度矫正方法

Publications (2)

Publication Number Publication Date
CN112946687A true CN112946687A (zh) 2021-06-11
CN112946687B CN112946687B (zh) 2022-07-26

Family

ID=76235895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110086451.1A Active CN112946687B (zh) 2021-01-22 2021-01-22 一种用于tof相机水下成像的图像深度矫正方法

Country Status (1)

Country Link
CN (1) CN112946687B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100141928A1 (en) * 2008-12-08 2010-06-10 Carl Embry Continuous Index of Refraction Compensation Method for Measurements in a Medium
CN103868455A (zh) * 2014-03-25 2014-06-18 大连理工大学 一种视觉重建水槽内目标点空间坐标的方法
CN105678742A (zh) * 2015-12-29 2016-06-15 哈尔滨工业大学深圳研究生院 一种水下相机标定方法
CN105698767A (zh) * 2015-12-30 2016-06-22 哈尔滨工业大学深圳研究生院 一种基于视觉的水下测量方法
KR20160102711A (ko) * 2015-02-23 2016-08-31 한국전자통신연구원 수중에 잠긴 물체의 3차원 형상 생성 장치 및 그 방법
CN107300382A (zh) * 2017-06-27 2017-10-27 西北工业大学 一种用于水下机器人的单目视觉定位方法
US20190154439A1 (en) * 2016-03-04 2019-05-23 May Patents Ltd. A Method and Apparatus for Cooperative Usage of Multiple Distance Meters
CN110737942A (zh) * 2019-10-12 2020-01-31 清华四川能源互联网研究院 水下建筑模型建立方法、装置、设备及存储介质
CN110763152A (zh) * 2019-10-09 2020-02-07 哈尔滨工程大学 一种水下主动旋转结构光三维视觉测量装置及测量方法
CN110779498A (zh) * 2019-09-19 2020-02-11 中国科学院测量与地球物理研究所 基于无人机多视点摄影的浅水河流水深测绘方法及系统
CN111006610A (zh) * 2019-12-13 2020-04-14 中国科学院光电技术研究所 一种基于结构光三维测量的水下三维测量数据校正方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100141928A1 (en) * 2008-12-08 2010-06-10 Carl Embry Continuous Index of Refraction Compensation Method for Measurements in a Medium
CN103868455A (zh) * 2014-03-25 2014-06-18 大连理工大学 一种视觉重建水槽内目标点空间坐标的方法
KR20160102711A (ko) * 2015-02-23 2016-08-31 한국전자통신연구원 수중에 잠긴 물체의 3차원 형상 생성 장치 및 그 방법
CN105678742A (zh) * 2015-12-29 2016-06-15 哈尔滨工业大学深圳研究生院 一种水下相机标定方法
CN105698767A (zh) * 2015-12-30 2016-06-22 哈尔滨工业大学深圳研究生院 一种基于视觉的水下测量方法
US20190154439A1 (en) * 2016-03-04 2019-05-23 May Patents Ltd. A Method and Apparatus for Cooperative Usage of Multiple Distance Meters
CN107300382A (zh) * 2017-06-27 2017-10-27 西北工业大学 一种用于水下机器人的单目视觉定位方法
CN110779498A (zh) * 2019-09-19 2020-02-11 中国科学院测量与地球物理研究所 基于无人机多视点摄影的浅水河流水深测绘方法及系统
CN110763152A (zh) * 2019-10-09 2020-02-07 哈尔滨工程大学 一种水下主动旋转结构光三维视觉测量装置及测量方法
CN110737942A (zh) * 2019-10-12 2020-01-31 清华四川能源互联网研究院 水下建筑模型建立方法、装置、设备及存储介质
CN111006610A (zh) * 2019-12-13 2020-04-14 中国科学院光电技术研究所 一种基于结构光三维测量的水下三维测量数据校正方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHENYI BIAN ET AL.: "Visual Docking Control of an AUV with a Moving Station Using a Cross-Tracking Approach with Unscented Kalman Filtering", 《GLOBAL OCEANS 2020: SINGAPORE–U.S.GULF COAST》 *
QI CHEN ET AL.: "Characterizing the performance impacts of target surface on underwater pulse laser ranging system", 《JOURNAL OF QUANTITATIVE SPECTROSCOPY AND RADIATIVE TRANSFER》 *
SUNDARA TEJASWI DIGUMARTI ET AL.: "Underwater 3D Capture using a Low-Cost Commercial Depth Camera", 《2016 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV)》 *
吴康彪等: "基于线结构光视觉的燃料组件变形测量技术研究", 《计算机测量与控制》 *
唐昆: "两栖球形机器人水下定位系统研究", 《中国优秀硕士论文电子期刊》 *
林正日: "基于TOF的单视角物体三维表面重建研究", 《中国优秀硕士论文电子期刊》 *

Also Published As

Publication number Publication date
CN112946687B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN110044300B (zh) 基于激光器的两栖三维视觉探测装置及探测方法
Digumarti et al. Underwater 3D capture using a low-cost commercial depth camera
Bruno et al. Experimentation of structured light and stereo vision for underwater 3D reconstruction
CN107063117A (zh) 基于光场成像的水下激光同步扫描三角测距成像系统和方法
WO2018049949A1 (zh) 一种基于手持式光场相机的距离估计方法
CN111915678B (zh) 一种基于深度学习的水下单目视觉目标深度定位融合估计方法
CN112509065B (zh) 一种应用于深海机械臂作业的视觉引导的方法
CN107358632A (zh) 应用于水下双目立体视觉的水下摄像机标定方法
CN105716581B (zh) 基于双介质摄影技术的水下物点坐标确定方法和装置
JP2016099140A (ja) 水底観測システム
WO2020140397A1 (zh) 一种基于光线逆追踪技术还原井下图像的方法
CN106597469B (zh) 主动成像的激光摄像头的成像方法
CN103226693B (zh) 基于全景立体视觉的捕捞对象的识别和空间定位装置及方法
US20200348414A1 (en) Underwater imaging system with multiple connected autonomous underwater vehicles
Sun et al. Visual measurement and control for underwater robots: A survey
CN115359127A (zh) 一种适用于多层介质环境下的偏振相机阵列标定方法
CN112946687B (zh) 一种用于tof相机水下成像的图像深度矫正方法
CN117332370A (zh) 一种水下目标声光全景协同识别装置及识别方法
Fan et al. Robust photometric stereo in a scattering medium via low-rank matrix completion and recovery
Zhang et al. A 3D urban scene reconstruction enhancement approach based on adaptive viewpoint selection of panoramic videos
Liu et al. A novel visual measurement method for three-dimensional trajectory of underwater moving objects based on deep learning
Gracias et al. Application challenges of underwater vision
JP2019215364A (ja) 水底観測システム
Traffelet et al. Target-based calibration of underwater camera housing parameters
WO2021148050A1 (zh) 一种三维空间相机及其拍照方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant