CN103226828A - 一种水下机器人声视觉三维成像的图像配准方法 - Google Patents
一种水下机器人声视觉三维成像的图像配准方法 Download PDFInfo
- Publication number
- CN103226828A CN103226828A CN2013101211927A CN201310121192A CN103226828A CN 103226828 A CN103226828 A CN 103226828A CN 2013101211927 A CN2013101211927 A CN 2013101211927A CN 201310121192 A CN201310121192 A CN 201310121192A CN 103226828 A CN103226828 A CN 103226828A
- Authority
- CN
- China
- Prior art keywords
- theta
- image
- prime
- rotation
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000003384 imaging method Methods 0.000 title claims abstract description 10
- 230000000007 visual effect Effects 0.000 title abstract description 4
- 229910052704 radon Inorganic materials 0.000 claims description 9
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 230000002411 adverse Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000012800 visualization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及声纳图像处理领域,具体涉及一种服水下机器人摇摆引起的目标声纳图像旋转,消除三维重建扭曲失真的不利影响的水下机器人声视觉三维成像图像配准的方法。本发明包括如下步骤:(1)检测目标图像的旋转角度;(2)校正目标图像的旋转;(3)重建校正后的图像序列。本发明不需要任何先验知识,能够自适应的对声纳图像序列进行校正,使它们在轴向对齐。克服了传统配准方法必须有参考图像的缺点。本发明是一种快速的自动配准方法,计算量小。
Description
技术领域
本发明涉及声纳图像处理领域,具体涉及一种服水下机器人摇摆引起的目标声纳图像旋转,消除三维重建扭曲失真的不利影响的水下机器人声视觉三维成像图像配准的方法。
背景技术
近年来,成像声纳在水声领域受到广泛关注和发展,其中三维成像声纳在水质浑浊和光照条件较差的条件下仍可获取水下目标的外形轮廓的细节信息和环境信息。借助计算机可视化技术,可将这些信息以生动的三维图形图像的方式表现出来,通过缩放、移动、转动和测距等操作从各种视角进行观察和分析,提高水下探测的效率。
三维成像声纳是一种高分辨率的图像声纳,能够提供非常优秀的图像质量。它以波束形成或声透镜技术为基础,主要有两种技术路线:一是采用一维线阵,通过其机械平移合成二维面阵;第二种是直接采用二维面阵,从而在水平、垂直、距离3个方向上直接获得分辨率。两种方式都是先形成轴向对齐的二维图像序列,然后进行计算机三维合成。
把图像声纳装载到各种水下智能机器人(Automatic Underwater Vechile,AUV)、遥控水下机器人(ROV)和水下无人潜器(UUV)上进行水下作业,可对水下堤坝、管道、桥墩和海港等进行探测。水下机器人携带高分辨率图像声纳从水面垂直下潜,对目标坝体等进行扫描,获得目标一帧一帧的二维图像。为了确保图像序列的垂直轴向对齐,在下潜过程中声纳与目标的相对方向必须保持一致。
水下机器人依靠螺旋桨控制其在水中运动,但由于其非线性水动力学特性、水流的随机干扰和差分反馈控制机制等因素的影响,在下潜过程中会左右摇摆。与机器人刚性连接的图像声纳也跟着左右摇摆,其采集的目标图像则以声纳为中心左右旋转,导致各帧图像不能轴向对齐,三维重建的图像会出现扭曲失真的现象。现有的图像配准技术主要应用在医学图像领域,以相位相关技术为主,但相位相关技术需要原始图像或者参考图像的全部和部分信息,使应用受到限制。
本发明涉及的声纳图像三维重建配准技术不依靠任何先验知识,能够自适应的对声纳图像序列进行自动校正,使其轴向对齐,解决由于水下机器人左右摇摆引起的声纳图像三维重建扭曲失真。
发明内容
本发明的目的在于提供了一种更简便、计算量更小的水下机器人声视觉三维成像图像配准方法。
本发明的目的是这样实现的:
本发明包括如下步骤:
(1)检测目标图像的旋转角度:
1)分割目标图像,将图像声纳获取的图像I(x,y)转变成灰度图像Igray(x,y),将目标与背景分离,即
2)提取目标边缘,其中Igray(x,y)的梯度向量为
向量的幅值为
对梯度图像进行二值化处理,即
其中,max_value和min_value为以梯度图像的每个像素为中心的一个邻域窗口的最大值和最小值,局部梯度最大的点就是图像的边缘点;
3)对二值化的边缘图像G(x,y)在角度θ∈(-90,90)进行Radon变换,
其中
4)检测水下机器人摇摆角度,将R(θ,x′)的每列的最大值投影到θ轴上,
R(θ)的最大值对应的角度为摇摆角度,
(2)校正目标图像的旋转:
把二值化的声纳图像G(x,y)反向旋转θrotation度,则旋转后的图像像素和原图像像素的关系为:
(3)重建校正后的图像序列:
1)读入三维离散数据场;
2)扫描相邻两层图像数据,逐个构造体素,每个体素的八个顶点来自相邻的两层图像数据;
3)将每个体素顶点的函数值与给定的等值面作比较,构造索引表;
4)从索引表中获取与等值面相交的边界体素;
5)确定体素棱边与等值面的交点,形成三角面片;
6)计算体素顶点和三角面片顶点的法向量;
7)根据三角面片顶点坐标和法向量绘制等值面。
本发明的有益效果在于:
本发明专门针对携带高分辨率图像声纳的水下机器人对堤坝、港口、管道和桥墩等具有较规则边界的水下目标进行探测而设计,用于消除由于机器人左右摇摆引起的三维成像几何畸变。本发明不需要任何先验知识,能够自适应的对声纳图像序列进行校正,使它们在轴向对齐。克服了传统配准方法必须有参考图像的缺点。本发明是一种快速的自动配准方法,计算量小。传统的基于灰度图配准方法的遍历搜索和基于特征的配准方法都是非常耗时的计算,克服了传统方法计算量大的缺点。
附图说明
图1是本发明方法的步骤流程图;
图2是Radon变换的原理;
图3是目标边缘图像在(-90°,90°)上的Radon变换;
图4是Radon变换的最大值在θ轴上的投影。
具体实施方式
为了克服水下机器人摇摆引起的目标声纳图像旋转,消除三维重建扭曲失真的不利影响,本发明提供了一种自动检测图像旋转角度并对其进行校正的方法。该方法不需要参考图像等先验知识,能够自适应的使目标的二维声纳图像序列在垂直轴向对齐,实现三维重建时的图像序列配准。
本发明是专门针对水下机器人利用高分辨率图像声纳对堤坝、港口、管道和桥墩等水下目标进行探测而设计的方法。其工作原理是利用目标边界蕴含的丰富特征在垂直方向的走势比较稳定的特点,利用Radon变换检测各帧图像的相对旋转角度。
下面对本发明做进一步描述,整个处理流程如附图1所示:
水下机器人携带图像声纳在信道水池中垂直下潜,把用采集到的声纳图像序列作为实施数据对象,目标为水池池壁。选取其中的40帧图像序列,每幅图像的大小为500×700。
(1)首先将声纳图像I(x,y)转换成灰度图像Igray(x,y),简单地采用matlab函数rgb2gray就可实现,其中x为图像的横坐标,y为图像的纵坐标;
(2)令T=64,根据下面的公式对目标进行分割:
(3)用Roberts算子计算目标图像的梯度,其计算公式如下:
也可简单的应用Matlab函数edge来实现,参数用“roberts”。
(4)根据下面的公式将梯度图像二值化:
(5)对二值化的图像在正负90度之间做Radon变换,其原理如附图2所示,计算公式如下:
其中,
(6)用matlab函数radon来实现,角度范围为(-900,900),如附图3所示。
(7)根据下面的公式,把Radon变换投影到θ轴上,其结果如附图4所示:
(8)根据下面的公式,计算投影的最大值对应的角度就是机器人旋转的角度,图4中峰值对应的横坐标就是旋转角度。
(9)用下面的公式,根据检测的角度,反向旋转目标图像,这样目标都被校正到同一标准。
(10)对所有的所有图像重复(1)~(9)的操作。
(11)校正后的图像序列形成离散三维数据场,用可视化工具软件VTK(VisualizationToolkit)进行三维重建。具体实现的步骤如下:
a)用vtkRenderer创建流水线绘制对象;
b)用vtkRenderWindow创建绘制窗口;
c)用vtkBMPReader创建读取数据对象,读取声纳图像序列,用SetDataExtent函数设置读取数据的大小和范围,用SetFilePrefix函数设置数据路径;
d)用vtkMarchingCubes对象抽取等值面,用函数SetValue设置抽取的等值面灰度值为32;
e)用vtkStripper和vtkPolyDataMapper建立三角带和数据映射对象;
f)用vtkActor对象实现绘制,并用SetMapper函数来接受几何数据,设置颜色和透明度等属性;
g)用vtkCamera对象设置视角、观察位置和焦点等参数;
h)用vtkRenderWindowInteractor对象实现与三维绘制的目标进行交互。
Claims (1)
1.一种水下机器人声视觉三维成像的图像配准方法,其特征在于,包括如下步骤:
(1)检测目标图像的旋转角度:
1)分割目标图像,将图像声纳获取的图像I(x,y)转变成灰度图像Igray(x,y),将目标与背景分离,即
2)提取目标边缘,其中Igray(x,y)的梯度向量为
向量的幅值为
对梯度图像进行二值化处理,即
其中,max_value和min_value为以梯度图像的每个像素为中心的一个邻域窗口的最大值和最小值,局部梯度最大的点就是图像的边缘点;
3)对二值化的边缘图像G(x,y)在角度θ∈(-90,90)进行Radon变换,
其中
4)检测水下机器人摇摆角度,将R(θ,x′)的每列的最大值投影到θ轴上,
R(θ)的最大值对应的角度为摇摆角度,
(2)校正目标图像的旋转:
把二值化的声纳图像G(x,y)反向旋转θrotation度,则旋转后的图像像素和原图像像素的关系为:
(3)重建校正后的图像序列:
1)读入三维离散数据场;
2)扫描相邻两层图像数据,逐个构造体素,每个体素的八个顶点来自相邻的两层图像数据;
3)将每个体素顶点的函数值与给定的等值面作比较,构造索引表;
4)从索引表中获取与等值面相交的边界体素;
5)确定体素棱边与等值面的交点,形成三角面片;
6)计算体素顶点和三角面片顶点的法向量;
7)根据三角面片顶点坐标和法向量绘制等值面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310121192.7A CN103226828B (zh) | 2013-04-09 | 2013-04-09 | 一种水下机器人声视觉三维成像的图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310121192.7A CN103226828B (zh) | 2013-04-09 | 2013-04-09 | 一种水下机器人声视觉三维成像的图像配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103226828A true CN103226828A (zh) | 2013-07-31 |
CN103226828B CN103226828B (zh) | 2015-09-30 |
Family
ID=48837263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310121192.7A Active CN103226828B (zh) | 2013-04-09 | 2013-04-09 | 一种水下机器人声视觉三维成像的图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103226828B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103744085A (zh) * | 2014-01-17 | 2014-04-23 | 哈尔滨工程大学 | 水下机器人五分量测距声纳斜井三维成像系统及成像方法 |
CN104635744A (zh) * | 2014-12-18 | 2015-05-20 | 西北工业大学 | 一种自主水下运载体随机耦合多载荷布放方法 |
CN105205817A (zh) * | 2015-09-17 | 2015-12-30 | 哈尔滨工程大学 | 一种基于声呐图像边缘角点直方图的水下地形匹配方法 |
CN105869138A (zh) * | 2015-02-06 | 2016-08-17 | 中国船舶重工集团公司第七二六研究所 | 一种基于图像匹配的吊放式声纳方位修正方法 |
CN106097315A (zh) * | 2016-06-03 | 2016-11-09 | 河海大学常州校区 | 一种基于声呐图像的水下构筑物裂缝提取方法 |
CN108596102A (zh) * | 2018-04-26 | 2018-09-28 | 北京航空航天大学青岛研究院 | 基于rgb-d的室内场景物体分割分类器构造方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021208105A1 (de) * | 2021-07-27 | 2023-02-02 | Atlas Elektronik Gmbh | Unterwasserfahrzeug mit einer Vielzahl von Wasserschallwandlern, die ein Lineararray bilden |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1584584A (zh) * | 2004-05-28 | 2005-02-23 | 哈尔滨工程大学 | 堤坝隐患检测水下机器人系统及检测方法 |
WO2007095962A1 (de) * | 2006-02-17 | 2007-08-30 | Atlas Elektronik Gmbh | Verfahren zum erzeugen eines sonarbildes |
CN101650426A (zh) * | 2008-12-26 | 2010-02-17 | 中国科学院声学研究所 | 一种合成孔径声纳图像数据拼接系统及方法 |
CN102445692A (zh) * | 2011-09-26 | 2012-05-09 | 哈尔滨工程大学 | 基于二维图像声纳的水下运动目标位置测定方法 |
CN102446367A (zh) * | 2011-09-19 | 2012-05-09 | 哈尔滨工程大学 | 基于多波束声纳海底测量数据构建三维地形矢量模型的方法 |
-
2013
- 2013-04-09 CN CN201310121192.7A patent/CN103226828B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1584584A (zh) * | 2004-05-28 | 2005-02-23 | 哈尔滨工程大学 | 堤坝隐患检测水下机器人系统及检测方法 |
WO2007095962A1 (de) * | 2006-02-17 | 2007-08-30 | Atlas Elektronik Gmbh | Verfahren zum erzeugen eines sonarbildes |
CN101650426A (zh) * | 2008-12-26 | 2010-02-17 | 中国科学院声学研究所 | 一种合成孔径声纳图像数据拼接系统及方法 |
CN102446367A (zh) * | 2011-09-19 | 2012-05-09 | 哈尔滨工程大学 | 基于多波束声纳海底测量数据构建三维地形矢量模型的方法 |
CN102445692A (zh) * | 2011-09-26 | 2012-05-09 | 哈尔滨工程大学 | 基于二维图像声纳的水下运动目标位置测定方法 |
Non-Patent Citations (4)
Title |
---|
ABD-KRIM SEGHOUANE: "MAXIMUM LIKELIHOOD BLIND IMAGE RESTORATION VIA ALTERNATING MINIMIZATION", 《2010 IEEE 17TH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》, 29 September 2010 (2010-09-29) * |
CHENCHEN LIU ET AL: "A Noval Acoustical Vision System Design for Automated", 《THE 7TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION》, 27 June 2008 (2008-06-27) * |
刘晨晨: "基于Radon变换的水声图像矩特征提取与分类", 《计算机工程》, vol. 33, no. 17, 30 September 2007 (2007-09-30) * |
张锁平: "基于Radon变换和梯度跟踪的海岸线提取算法", 《光电工程》, vol. 36, no. 3, 31 March 2009 (2009-03-31) * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103744085A (zh) * | 2014-01-17 | 2014-04-23 | 哈尔滨工程大学 | 水下机器人五分量测距声纳斜井三维成像系统及成像方法 |
CN103744085B (zh) * | 2014-01-17 | 2016-01-27 | 哈尔滨工程大学 | 水下机器人五分量测距声纳斜井三维成像系统及成像方法 |
CN104635744A (zh) * | 2014-12-18 | 2015-05-20 | 西北工业大学 | 一种自主水下运载体随机耦合多载荷布放方法 |
CN104635744B (zh) * | 2014-12-18 | 2017-06-06 | 西北工业大学 | 一种自主水下运载体随机耦合多载荷布放方法 |
CN105869138A (zh) * | 2015-02-06 | 2016-08-17 | 中国船舶重工集团公司第七二六研究所 | 一种基于图像匹配的吊放式声纳方位修正方法 |
CN105205817A (zh) * | 2015-09-17 | 2015-12-30 | 哈尔滨工程大学 | 一种基于声呐图像边缘角点直方图的水下地形匹配方法 |
CN105205817B (zh) * | 2015-09-17 | 2017-11-17 | 哈尔滨工程大学 | 一种基于声呐图像边缘角点直方图的水下地形匹配方法 |
CN106097315A (zh) * | 2016-06-03 | 2016-11-09 | 河海大学常州校区 | 一种基于声呐图像的水下构筑物裂缝提取方法 |
CN108596102A (zh) * | 2018-04-26 | 2018-09-28 | 北京航空航天大学青岛研究院 | 基于rgb-d的室内场景物体分割分类器构造方法 |
CN108596102B (zh) * | 2018-04-26 | 2022-04-05 | 北京航空航天大学青岛研究院 | 基于rgb-d的室内场景物体分割分类器构造方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103226828B (zh) | 2015-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103226828B (zh) | 一种水下机器人声视觉三维成像的图像配准方法 | |
Roman et al. | Application of structured light imaging for high resolution mapping of underwater archaeological sites | |
Weidner et al. | Underwater cave mapping using stereo vision | |
CN103606139A (zh) | 一种声纳图像拼接方法 | |
WO2005033629A2 (en) | Multi-camera inspection of underwater structures | |
CN114034288B (zh) | 海底微地形激光线扫描三维探测方法及系统 | |
CN101251379A (zh) | 一种面向水下运载器的实时双目视觉导引方法 | |
Westman et al. | Wide aperture imaging sonar reconstruction using generative models | |
Wang et al. | Acoustic camera-based pose graph slam for dense 3-d mapping in underwater environments | |
Pavin | Underwater object recognition in photo images | |
Massot-Campos et al. | Submap bathymetric SLAM using structured light in underwater environments | |
Servos et al. | Underwater stereo SLAM with refraction correction | |
CN108961203A (zh) | 一种融合超声和机器视觉技术的中空板式陶瓷膜缺陷的三维重建方法 | |
Papadopoulos et al. | 3D-surface reconstruction for partially submerged marine structures using an autonomous surface vehicle | |
Hurtós et al. | A novel blending technique for two-dimensional forward-looking sonar mosaicing | |
CN103744085B (zh) | 水下机器人五分量测距声纳斜井三维成像系统及成像方法 | |
CN104392428A (zh) | 一种针对侧扫声纳图像的拼接系统 | |
Joshi et al. | Underwater exploration and mapping | |
Skarlatos et al. | Image-based underwater 3D reconstruction for Cultural Heritage: from image collection to 3D. Critical steps and considerations | |
Li et al. | Vision-based shipwreck mapping: on evaluating features quality and open source state estimation packages | |
Prabhakar et al. | 3D surface reconstruction of underwater objects | |
Yin et al. | Study on underwater simultaneous localization and mapping based on different sensors | |
CN117764937A (zh) | 一种用于船体图像合成处理的线扫检测方法 | |
Hernández et al. | Autonomous seabed inspection for environmental monitoring | |
Hurtós Vilarnau | Forward-looking sonar mosaicing for underwater environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231225 Address after: Room 301, No. 727, Haijing Road, Lincheng Street, Zhoushan Marine Science City, Dinghai District, Zhoushan City, Zhejiang Province 316022 Patentee after: Haizhuoke (Zhejiang Free Trade Zone) Technology Co.,Ltd. Address before: 150001 Intellectual Property Office, Harbin Engineering University science and technology office, 145 Nantong Avenue, Nangang District, Harbin, Heilongjiang Patentee before: HARBIN ENGINEERING University |