CN113739720B - 一种融合声学与光学方法的水下高精度测量和缺陷检测方法 - Google Patents

一种融合声学与光学方法的水下高精度测量和缺陷检测方法 Download PDF

Info

Publication number
CN113739720B
CN113739720B CN202111006002.8A CN202111006002A CN113739720B CN 113739720 B CN113739720 B CN 113739720B CN 202111006002 A CN202111006002 A CN 202111006002A CN 113739720 B CN113739720 B CN 113739720B
Authority
CN
China
Prior art keywords
optical
dimensional
point cloud
underwater
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111006002.8A
Other languages
English (en)
Other versions
CN113739720A (zh
Inventor
邵新星
谷柳凝
侯士通
吴刚
何小元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202111006002.8A priority Critical patent/CN113739720B/zh
Publication of CN113739720A publication Critical patent/CN113739720A/zh
Application granted granted Critical
Publication of CN113739720B publication Critical patent/CN113739720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Abstract

本发明提供了一种融合声学与光学方法的水下高精度测量和缺陷检测方法，可得到水下结构的多尺度声光融合三维形貌点云，以更好地检测水下结构的损伤、缺陷等信息。该方法主要包括如下步骤：(1)在水下测量平台上安装导航设备、光学三维形貌测量装置、三维声呐测量装置。(2)利用光学三维形貌测量装置得到被测面整体光学三维形貌点云数据。(3)利用三维声呐获取水下被测面整体声学三维形貌点云数据。(4)将被测面整体的声学、光学三维形貌点云数据进行融合，实现水下结构三维形貌的高精度测量。(5)基于声学、光学融合三维形貌点云数据，利用深度学习算法实现水下缺陷自动定位。

Description

一种融合声学与光学方法的水下高精度测量和缺陷检测方法
技术领域
本发明涉及水下高精度测量领域，具体涉及一种融合声学与光学方法的水下高精度测量和缺陷检测方法。
背景技术
水下三维声呐系统通过发射密集的波束并获取目标物表面的回波，然后转换为电信号后进行处理以获取物体表面的高密度点云数据，在军事、海洋测绘、水声通信、渔业、水下结构检测等方面应用广泛。具有适用于水下复杂环境、精度较高等、测量范围广、测量速度快的特点。然而，声呐技术的测量分辨率有一定的限制，无法胜任水下精细结构的检测任务，如大坝、桥墩的局部缺陷的检测。
基于光学的三维形貌测量方法包括三维数字散斑相关法、栅线投影法、线结构光法等，应用三角测量原理进行三维形貌测量。光学测量方法的优点是非接触、测量精度非常高。若将声呐测量技术和基于光学的三维形貌测量方法结合用于水下测量，将声学和光学点云数据进行匹配融合，可以得到信息丰富、从粗到细不同分辨率的声光融合三维点云，能在多尺度上更好地检测水下结构的形貌和损伤等细节信息。
发明内容
发明目的：本发明的目的是提供一种融合声学与光学方法的水下高精度测量和缺陷检测技术，可以得到信息丰富、从粗到细不同分辨率的声光融合三维点云，能在多尺度上更好地检测水下结构的形貌和损伤等信息。
技术方案：一种融合声学与光学方法的水下高精度测量和缺陷检测方法，该方法包括以下步骤：
(1)在可移动的水下测量平台上安装三维声呐测量装置、GPS、惯性制导单元、由投影仪和相机组成的光学三维形貌测量装置，相机被封装于具有透明观察窗的防水外壳中；
(2)在水下被测面上选择一位置作为初始位置，并将测量平台置于初始位置，使用测量平台上的光学三维形貌测量装置测得到初始位置在预设距离范围内被测面局部光学三维形貌点云；
(3)移动测量平台到被测面其他位置，使用光学三维形貌测量装置测得测量平台移动后所处位置在预设距离范围内的被测面局部光学三维形貌点云，同时保证测量平台移动前后测得的两组被测面局部光学三维形貌点云有重叠部分；将GPS、惯性制导单元提供的测量平台整体的位移和转动数据作为测量平台移动前后得到的两组被测面局部光学三维形貌点云之间坐标转换矩阵的初值，并将坐标转换矩阵初值代入基于点云特征匹配的三维点云配准算法的迭代过程中，最终得到以上两组点云之间精确的坐标转换矩阵，从而将测量平台移动前后得到的两组被测面局部光学三维形貌点云转换到同一坐标系下，实现三维形貌拼接；
(4)重复步骤(3)，不断移动测量平台，将每次移动后测得的被测面局部光学三维形貌点云依次拼接到本次移动前已测得并拼接为一体的被测面三维形貌点云上，直到得到被测面整体光学三维形貌点云；
(5)利用三维声呐获取整个水下被测面的声学三维形貌点云数据；
(6)将被测面整体光学三维形貌点云进行稀疏抽样，并将抽样后的光学三维形貌点云与声学三维形貌点云进行点云特征匹配，得到上述两组点云之间的坐标转换矩阵，利用得到的坐标转化矩阵将原始被测面整体光学三维形貌点云和声学三维形貌点云转换到同一坐标系下，从而得到整个被测面的声学、光学融合三维形貌点云；
(7)基于声学、光学融合三维形貌点云数据，通过人工识别的方法标记被测面缺陷的位置，建立被测面缺陷点云数据集，并输入到检测被测面缺陷的深度学习算法中，对算法进行训练使算法能够自动识别定位被测面缺陷。
进一步的，光学三维形貌测量装置中的相机为近红外相机；光学三维形貌测量装置所基于的测量方法为双相机三维数字散斑相关法或栅线投影法或线结构光法。
进一步的，相机的成像模型为折射成像模型：相机被封装于有透明平板观察窗的防水外壳中，相机光心到观察窗内表面的垂直距离为d，透明平板观察窗表面所在平面的法向量为
Figure BDA0003237228870000021
光线首先由水体出发，在水体和透明平板观察窗的交界面发生第一次折射，进入厚度为h的透明平板观察窗，之后光线在透明观察窗和空气的交界面发生第二次折射，进入空气，光线最终进入相机并成像于相机的感光靶面。
有益效果：与现有技术相比，本发明的技术方案具有以下有益效果：
(1)通过建立相机折射成像模型修正了水下光学测量方法中因光线折射对测量带来的偏差；采用近红外相机来获得高质量、噪声较少的水下图像。以上两点一定程度上提高了水下光学测量的精度。
(2)利用多波束声呐获取水下物体稀疏三维点云数据，并融合声光测量各自的优势，创新地将声学点云数据和光学点数据进行匹配融合，得到信息丰富的、从粗到细不同分辨率的被测面三维形貌点云，可以用于对水下结构做更精细的检测。
附图说明
图1为发明方法流程图；
图2为水下相机折射成像模型示意图；
图3为声学和光学三维点云融合方法示意图。
具体实施方式
下面结合具体实施案例对本发明作进一步的说明。
(1)在可移动的水下测量平台上安装三维声呐测量装置、GPS、惯性制导单元。在水下测量平台上安装由投影仪和两个近红外相机组成的基于双相机三维数字散斑相关法的光学三维形貌测量系统，其中每个相机都单独被封装于带有平板状、透明观察窗的防水外壳中。
(2)在水下被测面上选择一位置作为初始位置，并将测量平台置于初始位置。使用测量平台上的光学三维形貌测量装置得到初始位置在预设距离范围内被测面局部光学三维形貌点云；
(3)移动测量平台到被测面其他位置，使用光学三维形貌测量装置测得测量平台移动后所处位置在预设距离范围内的被测面局部光学三维形貌点云，同时保证测量平台移动前后测得的两组被测面局部光学三维形貌点云有重叠部分；将GPS、惯性制导单元提供的测量平台整体的位移和转动数据作为测量平台移动前后得到的两组被测面局部光学三维形貌点云之间坐标转换矩阵的初值，并将坐标转换矩阵初值代入基于点云特征匹配的三维点云配准算法的迭代过程中，最终得到以上两组点云之间精确的坐标转换矩阵，从而将测量平台移动前后得到的两组被测面局部光学三维形貌点云转换到同一坐标系下，实现三维形貌拼接；
(4)重复步骤(3)，不断移动测量平台，将每次移动后测得的被测面局部光学三维形貌点云依次拼接到本次移动前已测得并拼接为一体的被测面三维形貌点云上，直到得到被测面整体光学三维形貌点云；
(5)利用三维声呐获取整个水下被测面的声学三维形貌点云数据；
(6)将被测面整体光学三维形貌点云进行稀疏抽样，并将抽样后的光学三维形貌点云与声学三维形貌点云进行点云特征匹配，得到上述两组点云之间的坐标转换矩阵，利用得到的坐标转化矩阵将原始被测面整体光学三维形貌点云和声学三维形貌点云转换到同一坐标系下，从而得到整个被测面的声学、光学融合三维形貌点云；
(7)基于声学、光学融合三维形貌点云数据，通过人工识别的方法标记被测面缺陷的位置，建立被测面缺陷点云数据集，并输入到检测被测面缺陷的深度学习算法中，对算法进行训练使算法能够自动识别定位被测面缺陷。

Claims (3)

1.一种融合声学与光学方法的水下高精度测量和缺陷检测方法，其特征在于，该方法包括以下步骤：
(1)在可移动的水下测量平台上安装三维声呐测量装置、GPS、惯性制导单元、由投影仪和相机组成的光学三维形貌测量装置，相机被封装于具有透明观察窗的防水外壳中；
(2)在水下被测面上选择一位置作为初始位置，并将测量平台置于初始位置，使用测量平台上的光学三维形貌测量装置测得到初始位置在预设距离范围内被测面局部光学三维形貌点云；
(3)移动测量平台到被测面其他位置，使用光学三维形貌测量装置测得测量平台移动后所处位置在预设距离范围内的被测面局部光学三维形貌点云，同时保证测量平台移动前后测得的两组被测面局部光学三维形貌点云有重叠部分；将GPS、惯性制导单元提供的测量平台整体的位移和转动数据作为测量平台移动前后得到的两组被测面局部光学三维形貌点云之间坐标转换矩阵的初值，并将坐标转换矩阵初值代入基于点云特征匹配的三维点云配准算法的迭代过程中，最终得到两组点云之间精确的坐标转换矩阵，从而将测量平台移动前后得到的两组被测面局部光学三维形貌点云转换到同一坐标系下，实现三维形貌拼接；
(4)重复步骤(3)，不断移动测量平台，将每次移动后测得的被测面局部光学三维形貌点云依次拼接到本次移动前已测得并拼接为一体的被测面三维形貌点云上，直到得到被测面整体光学三维形貌点云；
(5)利用三维声呐获取整个水下被测面的声学三维形貌点云数据；
(6)将被测面整体光学三维形貌点云进行稀疏抽样，并将抽样后的光学三维形貌点云与声学三维形貌点云进行点云特征匹配，得到上述两组点云之间的坐标转换矩阵，利用得到的坐标转化矩阵将原始被测面整体光学三维形貌点云和声学三维形貌点云转换到同一坐标系下，从而得到整个被测面的声学、光学融合三维形貌点云；
(7)基于声学、光学融合三维形貌点云数据，通过人工识别的方法标记被测面缺陷的位置，建立被测面缺陷点云数据集，并输入到检测被测面缺陷的深度学习算法中，对算法进行训练使算法能够自动识别定位被测面缺陷。
2.根据权利要求1所述的一种融合声学与光学方法的水下高精度测量和缺陷检测方法，其特征在于，光学三维形貌测量装置中的相机为近红外相机；光学三维形貌测量装置所基于的测量方法为双相机三维数字散斑相关法，或栅线投影法，或线结构光法。
3.根据权利要求1所述的一种融合声学与光学方法的水下高精度测量和缺陷检测方法，其特征在于，相机的成像模型为折射成像模型：相机被封装于有透明平板观察窗的防水外壳中，相机光心到观察窗内表面的垂直距离为d，透明平板观察窗表面所在平面的法向量为
Figure FDA0003629540100000011
光线首先由水体出发，在水体和透明平板观察窗的交界面发生第一次折射，进入厚度为h的透明平板观察窗，之后光线在透明观察窗和空气的交界面发生第二次折射，进入空气，光线最终进入相机并成像于相机的感光靶面。
CN202111006002.8A 2021-08-30 2021-08-30 一种融合声学与光学方法的水下高精度测量和缺陷检测方法 Active CN113739720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111006002.8A CN113739720B (zh) 2021-08-30 2021-08-30 一种融合声学与光学方法的水下高精度测量和缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111006002.8A CN113739720B (zh) 2021-08-30 2021-08-30 一种融合声学与光学方法的水下高精度测量和缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113739720A CN113739720A (zh) 2021-12-03
CN113739720B true CN113739720B (zh) 2022-06-17

Family

ID=78733938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111006002.8A Active CN113739720B (zh) 2021-08-30 2021-08-30 一种融合声学与光学方法的水下高精度测量和缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113739720B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100298B (zh) * 2022-08-25 2022-11-29 青岛杰瑞工控技术有限公司 一种用于深远海视觉养殖的光-声图像融合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110081836A (zh) * 2019-05-31 2019-08-02 常州长光智能科技发展有限公司 便携式工具痕迹三维形貌重构装置
CN110989638A (zh) * 2019-12-06 2020-04-10 南京邮电大学 一种基于自主航行技术的水下建筑物缺陷检测方法
CN112345552A (zh) * 2020-11-18 2021-02-09 西安热工研究院有限公司 一种用于大坝水下表面缺陷检测的装置
CN112489110A (zh) * 2020-11-25 2021-03-12 西北工业大学青岛研究院 一种水下动态场景光学混合三维成像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020000375A2 (pt) * 2017-07-10 2020-07-14 3D at Depth, Inc. sistemas e métodos ópticos de posicionamento embaixo d'água

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110081836A (zh) * 2019-05-31 2019-08-02 常州长光智能科技发展有限公司 便携式工具痕迹三维形貌重构装置
CN110989638A (zh) * 2019-12-06 2020-04-10 南京邮电大学 一种基于自主航行技术的水下建筑物缺陷检测方法
CN112345552A (zh) * 2020-11-18 2021-02-09 西安热工研究院有限公司 一种用于大坝水下表面缺陷检测的装置
CN112489110A (zh) * 2020-11-25 2021-03-12 西北工业大学青岛研究院 一种水下动态场景光学混合三维成像方法

Also Published As

Publication number Publication date
CN113739720A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Shang et al. Measurement methods of 3D shape of large-scale complex surfaces based on computer vision: A review
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
CN109443321B (zh) 一种监测大型结构形变的串并联像机网络测量方法
CN103759669A (zh) 一种大型零件的单目视觉测量方法
CN109146958B (zh) 一种基于二维图像的交通标志空间位置测量方法
Menna et al. A photogrammetric approach to survey floating and semi-submerged objects
CN110796681A (zh) 一种用于船舶协同工作的视觉定位系统及方法
CN111854622B (zh) 一种大视场光学动态变形测量方法
CN105046715A (zh) 一种基于空间解析几何的线阵相机标定方法
CN111307046B (zh) 基于半球图像的树高测量方法
CN110047111A (zh) 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN105806318A (zh) 基于运动时间量的空间三维信息视觉测量方法
CN112344877B (zh) 无人机测量大型岩体结构面三维形貌参数的装置及方法
CN113739720B (zh) 一种融合声学与光学方法的水下高精度测量和缺陷检测方法
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN110146032B (zh) 基于光场分布的合成孔径相机标定方法
CN205352322U (zh) 一种大型复杂曲面测量系统
CN112665523B (zh) 一种复杂型面的联合测量方法
CN110686593B (zh) 一种测量拼接焦平面中图像传感器相对位置关系的方法
TW201907136A (zh) 立體影像與雷射掃描測距整合方法
CN117031513A (zh) 一种道路及附属物的实时监测定位方法、系统及装置
CN115690380B (zh) 一种配准方法及系统
CN114966793B (zh) 三维测量系统、方法及gnss系统
CN113280807B (zh) 一种移动机器人定位装置、方法及系统
CN114972447A (zh) 一种基于无人机拍照的水体表面流迹线测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant