CN107871115B - 一种基于图像的海底热液喷口的识别方法 - Google Patents

一种基于图像的海底热液喷口的识别方法 Download PDF

Info

Publication number
CN107871115B
CN107871115B CN201610934179.7A CN201610934179A CN107871115B CN 107871115 B CN107871115 B CN 107871115B CN 201610934179 A CN201610934179 A CN 201610934179A CN 107871115 B CN107871115 B CN 107871115B
Authority
CN
China
Prior art keywords
image
hydrothermal
plume
frame
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610934179.7A
Other languages
English (en)
Other versions
CN107871115A (zh
Inventor
李雪峰
李岩
田宇
徐会希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201610934179.7A priority Critical patent/CN107871115B/zh
Publication of CN107871115A publication Critical patent/CN107871115A/zh
Application granted granted Critical
Publication of CN107871115B publication Critical patent/CN107871115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/513Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像的海底热液喷口识别方法,包括以下步骤:利用稀疏表示去除背景和扩散的热液羽流,能够十分精确的分割出纹理分明的岩石和热液羽流主体部分;利用光流法确定图像中是否含有热液羽流,分割出热液羽流主体;并且利用热液羽流喷口周围的灰度特性十分有效的确定了热液羽流喷口的具体位置。该方法具有良好的抗干扰性,对光照条件不敏感,可以极大的降低扩散的热液羽流以及海水反射光线的干扰,不仅适用于固定视场的视频图像,在镜头移动速度缓慢的情况下本发明方法同样具有较好的效果。

Description

一种基于图像的海底热液喷口的识别方法
技术领域
本发明属于图像识别及检测领域,具体说是一种基于图像的海底热液喷口的识别方法。
背景技术
海底热液矿床富含铜、铅、锌、锰、铁、镉、钼、钒、锡、银、金等金属,硫化物矿产开发经济可行性比大洋锰结核更为有利,因此,海底热液矿产资源的开发被认为是更加现实、更有希望的金属物新的供应来源,是具有极大潜在开发价值的重要海底矿产资源;此外,海底热液喷口一般生活着许多耐高温、耐高压、不怕剧毒、无需氧气的生物群落,具有较高的科研价值。世界上众多国家把海底热液矿床看作是未来战略性金属的潜在来源,纷纷制订了长远的探测和开发计划。我国2007年在西南印度洋首次发现新的海底热液活动区,2010年我国科学家再度发现5个热液区,2015年1月首次采集到海底高温热液区流体,并测量了一个热液喷口温度。
目前对海底热液检测的方法主要是基于化学元素、温度、盐度的检测等,这些方法不但识别效率低,并且在有些情况下无法实现。人们从外界接收的各种信息中80%以上是通过视觉获得的,目前所提出的仅有的几个基于视觉的方法基本是基于固定视场摄像机的,这些方法在实际应用中并没有太大的价值。
发明内容
本发明目的是提供一种基于图像的海底热液喷口的识别方法,能够十分有效的确定了热液羽流喷口的具体位置。
本发明为实现上述目的所采用的技术方案是:一种基于图像的海底热液喷口的识别方法,包括以下步骤:
步骤1:采集样本图像;
步骤2:对采集的样本图像进行训练得到稀疏表示的字典;
步骤3:采集一对图像,所述一对图像包括连续两帧,定义第一帧图像为第
一帧原始图像E0;
步骤4:采用稀疏表示滤除第一帧原始图像E0中的背景和扩散的热液羽流,
获取被保留的图像E1;
步骤5:对图像E1采用光流法获取热液羽流主体部分图像E2;
步骤6:对热液羽流主体部分的图像E2,采用热液羽流喷口周围灰度信息确
定热液羽流喷口位置。
所述样本图像为背景和扩散的热液羽流图像,且样本图像块的大小为n×n个像素。
所述对采集的样本图像进行训练得到稀疏表示的字典,包括:
a.将每个样本图像块各像素的RGB三个通道的灰度值排列成一个n×n×3行、1列的多维数组,将所有样本块对应的数组组合成一个样本集;
b.对样本集中的各像素的RGB三个通道的灰度值按照稀疏表示方法进行训练得到稀疏表示的字典。
所述采用稀疏表示滤除第一帧原始图像E0中的背景和扩散的热液羽流,获取被保留的图像E1,包括:
a.将第一帧原始图像E0分割为多个的n行n列的图像块,图像边缘处剩余的不足n×n的区域应作为边界舍弃、不做处理;
b.对划分的每个n行n列图像块利用训练得到稀疏表示的字典进行稀疏表示,假设第一帧原始图像E0各个像素三个通道的灰度值为:IRx、IGx、IBx,利用训练得到稀疏表示的字典进行稀疏表示后的各个像素三个通道的灰度值为:
Figure BDA0001138432360000031
那么第一帧原始图像E0各块的稀疏表示误差为如下公式(1)或公式(2):
Figure BDA0001138432360000032
Figure BDA0001138432360000033
其中,x表示第几个像素;
c.将满足E∈[Tl,Th]的图像块作为纹理明显的岩石或者热液羽流主体得以保留,将E>Th的图像块作为纹理色彩特别明显的岩石区域被删除,将E<Tl的图像块作为背景或者扩散的热液羽流被删除;将被保留的图像块保存为图像E1;其中,阈值T1、Th为阈值。
所述对图像E1采用光流法获取热液羽流主体部分图像E2,包括:
根据公式(6)判断图像E1中的各个图像块是否包含热液羽流主体,并将判定为包含热液羽流主体的所有图像块定义为该第一帧图像的热液羽流主体图像E2;
所述公式(6)按照如下步骤建立:
a.采用光流法计算该第一帧图像与下一帧图像的光流强度和光流方向,获取图像E0中各个像素的光流强度,并计算图像E0中各像素点的光流强度的均值
Figure BDA0001138432360000034
以及图像E1中各个图像块的光流强度的均值
Figure BDA0001138432360000035
如果满足公式(3)则认为存在热液羽流的区域,否则认为不存在热液羽流;其中,H为的经验阈值且H≥0;其中,所述图像E0已经包含了图像E1的光流信息;
Figure BDA0001138432360000036
b.考虑喷口处的热液羽流主体部分相对于扩散的热液羽流存在着较大的方向向上的纵向速度分量时:定义第i个像素点的纵向的光流强度分量为vy i,且向下为正方向,按照公式(4)计算第i个像素点的光流特性fy i;其中,|vy i|表示vy i的绝对值;
fy i=|vy i|-vy i (4)
c.考虑扩散的羽流以及漂浮的杂质在水流的作用下相比热液羽流主体部分会具有较大的横向速度分量时:对公式(4)改进为如下式(5);其中,
Figure BDA0001138432360000041
Figure BDA0001138432360000042
表示第i个像素处的横向光流强度分量,取向右为正方向,m、q分别表示图像E0的宽度和长度;
Figure BDA0001138432360000043
d.将图像中各像素光流的横向和纵向分量均考虑在内时,公式(3)可改进为:
Figure BDA0001138432360000044
其中
Figure BDA0001138432360000045
表示按照公式(5)计算的图像E1中第j个像素所定义的值;
Figure BDA0001138432360000046
m、q分别表示图像E0的宽度和长度,
Figure BDA0001138432360000047
式中
Figure BDA0001138432360000048
表示按照公式(5)计算的图像E0中第i个像素所定义的值,H为经验阈值且H≥0。
所述对热液羽流主体部分的图像E2,采用热液羽流喷口周围灰度信息确定热液羽流喷口位置,包括:
a.对热液羽流主体部分图像E2,采用形态学连通域的面积滤波方法滤除图像中小于阈值要求的热液羽流的连通区域,获取疑似热液羽流区域;
b.如果该疑似热液羽流区域的底部距离该帧图像画面底部边缘的距离大于L,那么热液羽流喷口被认为存在于该疑似热液羽流区域最底部的下方;
那么,首先在热液羽流主体部分图像E2上,对每个疑似热液羽流区域的底部设置一个高h、宽与该疑似热液羽流区域的最下一行像素数相同的区域;
对该区域中每一行的灰度取中值,得到一个含有h个数据的数组;之后对该数组中所有数据依次对前后两个数据作差值从而获得一组差值数据;
对该组差值数据进行中值滤波以去除噪声干扰,获取一组平滑的差值数据;
在这组平滑的差值数据中,从前向后找到第一个大于等于阈值△的数据,并将其对应的坐标位置作为热液羽流喷口位置;其中,L取大于h的值,△为阈值;
c.如果该疑似热液羽流区域的底部距离该帧图像画面底部边缘的距离不大于L,则认为热液喷口不存在于本帧图像中而存在于该图像画面的下方,此时需要调整摄像机姿态向下捕获图像返回步骤3。
所述阈值△计算如下:
当max(A)≥Te时,Δ=0.5×(max(A)+mean(A)) (7)
其中,max(A)为h个数据的数组中的最大值,mean(A)是h个数据的平均值,Te是预设经验值;
当max(A)<Te时,通常被认为是热液羽流喷口位置的定位错误,需要重新捕获图像返回步骤3。
还包括以下步骤:
a.当检测出第一帧对图像上的热液羽流喷口位置时,还需要顺序采集M-1个帧对的图像,所述每个帧对图像包含2帧图像;
对这M-1个帧对图像,分别采用步骤3至步骤6检测热液喷口位置,加上第一帧对图像上的热液羽流喷口位置,一共得到M组热液喷口位置;
求取这M组位置的中值,如果在这M个帧对图像中至少存在P个帧对图像满足:在这P个帧对图像中获取到的所有热液喷口的位置与这M组位置的中值的距离均小于阈值L,则认为获取到了有效的热液喷口位置,并且将这P组位置中的最后一组位置被认为是首次获取的有效的热液喷口的位置;其中,M、P、L为经验值,M取5,P取3,L取0.2倍的图像E0最小值边长;
b.若之前M个帧对中已获得有效的热液喷口的位置,那么若下一帧对中的所有热液喷口的位置与之前检测的M个帧对得到的有效的热液喷口的位置的距离均小于L,则认为该下一帧对中获取的热液喷口位置为热液喷口的最新位置;否则认为该帧对中所确定的热液喷口位置无效,需要继续采集下一帧对图像继续判断热液喷口的最新位置;
如果连续W个帧对的图像中均未获取到有效热液喷口的位置,则认为已经跟丢有效的热液喷口位置,需要重新返回步骤a;其中,W的取值范围为5-10。
本发明具有以下有益效果及优点:
1.本发明方法利用稀疏表示方法和光流场方法能够从复杂的场景中十分有效的分割出热液羽流主体部分,利用本发明方法中提出的基于喷口周围灰度变化的位置定位算法可以有效的确定喷口的位置。
2.本发明方法具有良好的抗干扰性,对光照条件不敏感,可以极大降低热液羽流以及海水反射光线的干扰。
3.本发明方法不仅适用于固定视场的视频图像,在镜头移动速度较慢的情况下本发明方法同样具有较好的效果。所以本发明方法可用于自主水下机器人以及载人潜水器对海底热液的勘测任务。
附图说明
图1为本发明方法流程图;
图2为本发明方法中采样示意图;
图3为本发明方法中图数据排列方式;
图4为本发明方法中分块保留方法;
图5为本发明方法中背景和非背景区域的E值曲线;
图6为本发明方法中“热液羽流底部”所取区域;
图7为本发明方法中灰度特性曲线;
图8为本发明方法中仿真效果。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示,一种基于图像的海底热液喷口的识别方法,包括以下步骤:采集样本图像;
对采集的样本图像进行训练得到稀疏表示的字典;
采用稀疏表示滤除背景和扩散的热液羽流;
采用光流法获取热液羽流主体;
采用热液羽流喷口周围灰度信息确定热液羽流喷口位置。
以下具体说明各个步骤:
(1)在本发明中,在稀疏表示的学习过程中需要获取大量的图像样本作为输入数据,为了便于用户操作,我们事先编写了一个样本采集程序(采样示意如图2所示),该程序可以同时导入多幅RGB图像,并可将图像分割为用户设定的样本块(区域),用户只需要用鼠标选取意欲取样的图像块进行保存便可方便快捷的生成大量的样本图像。
(2)在本发明总体运行过程中,首先需获取包含海底热液的视频图像,利用事先编写的图像采样程序在图像中采集大小为n×n(如16×16)的背景及扩散的热液羽流的RGB图像样本作为稀疏表示的字典学习样本,每幅图像中获取的样本的数量均是不定的,但是选取的样本必须具有代表且不可重复。如图3所示,将样本各个通道各像素的灰度值按列排列成一个n×n×3×1的多维数据,将所有的样本按照上述方式组合成一个样本集(最后所得到的样本集的样本数应大于字典的原子数),然后利用该样本集对字典进行学习,获得一个具有良好特性的字典。
(3)将欲处理的图像分割为最大数量的n×n的图像区域,图像边缘处剩余的不足n×n的区域应作为边界舍弃、不做处理,如下图4所示。对划分的每个n×n图像区域利用(2)中学习训练所得的字典进行稀疏表示,假设原图像块各个像素的RGB值分别为:IRx、IGx、IBx,稀疏表示的图像块的各个像素为:
Figure BDA0001138432360000081
Figure BDA0001138432360000082
那么各块稀疏表示的误差为如下公式(1)或公式(2):
Figure BDA0001138432360000083
Figure BDA0001138432360000084
前者式(1)是为了理论理解,后者式(2)则是为了简化工程应用中的数学计算。
通过预先设置经验阈值T,将在图像中满足:E≥Tl并且E≤Th的区域被识别为纹理明显的岩石或者热液羽流主体得以保留;而满足:E<Tl的区域被识别为背景或者扩散的热液羽流,E>Th的区域被识别为纹理色彩特别明显的岩石区域,这些区域都不是我们所关心的,所以需要被删除。其中,Tl、Th跟摄像机具体的参数和照明条件有关,对于不同的摄像机需要根据本发明方法进行重新估算,我们自己做的实验值是分别取750和2720。
(4)对步骤(3)中所提的阈值T的选择方法说明如下:
1)由于稀疏表示所用的字典是对背景和扩散的热液羽流样本进行学习得到的,所以理论上,我们用稀疏表示所描述的背景(包含扩散的热液羽流)应该与原图中的热液羽流区域更加相似,所以E值应该相对较小。字典中含有较少的热液羽流主体与岩石的成分,所以稀疏表示所得的非背景区域应该与原图具有较大的差异,即E值较大。而那些纹理色彩特别复杂(E值特别大)的区域很明显并不是我们想要检测的热液羽流区域。
2)基于步骤(4)中1)所描述的原理,我们另外采集100组背景区域的样本和100组非背景区域的样本用稀疏表示进行描述并计算E值,如下图5所示。根据观察,我们可以基于经验选择一个具有较大区分性的阈值。
(5)理论上热液喷口处的热液羽流流速要比(热液羽流)上部和(热液羽流)扩散区域的速度更大,因此烟口处的光流强度(模值)理论上应大于其他区域,所以我们可以利用光流的模值作为特征来识别喷口处的羽流区域,具体方法如下:
首先利用光流算法获取上述原图与该图像后相邻一帧图像的光流信息,获取各个像素的光流强度(模值),并计算全局光流强度的均值
Figure BDA0001138432360000091
以及E>T区域的光流均值
Figure BDA0001138432360000092
设定一个较小的经验阈值H,如果
Figure BDA0001138432360000093
H≥0则认为存在热液羽流的区域,否则认为不存在热液羽流,如下公式(3)所示。(H取的值为1.5,但是并不绝对,不会太大)
Figure BDA0001138432360000094
事实上这种方法存在着很大的局限性。由于喷口附近海水流速较大,所以扩散的热液羽流在海水的带动下也会具有比较大的速度,这种速度往往包含着较大的横向速度,并且其模值较大,所以仅仅利用模值为特征来识别喷口处的热液羽流往往会有较大的误识别率。总体而言,烟口处的羽流相对于其他(羽流)区域存在着较大的方向向上的速度分量,而具有较小的横向的速度分量,所以相比光流的模值,向上的光流分量具有更加优秀的特性。这里,我们设纵向的光流分量为vy i(向下为正方向),那么我们可以按照下式(4)取fy i为新的光流特性。
fy i=|vy i|-vy i (4)
其中,|vy i|表示vy i的绝对值。
根据以上描述我们可以了解到:由于热液喷口处的压力较大,所以喷口处的热液羽流会具有较大的纵向速度分量并且横向分量相对较小,而扩算的羽流以及漂浮的杂质在水流的作用下则会具有较大的横向速度分量,这样横向的光流特性则又可以作为一个新的特征用以识别喷口处的羽流区域。基于上述特点,我们对上式(4)做如下公式(5)改进。
Figure BDA0001138432360000101
其中,
Figure BDA0001138432360000102
Figure BDA0001138432360000103
表示第i个像素处的横向光流(向右为正方向)分量,m、q分别表示图像的宽度和长度(像素)。
那么式(3)可改为:
Figure BDA0001138432360000104
其中
Figure BDA0001138432360000105
表示按照公式(5)计算的区域中第j个像素所定义的值;
Figure BDA0001138432360000106
Figure BDA0001138432360000107
式中
Figure BDA0001138432360000108
表示按照公式(5)计算的原始图像中第i个像素所定义的值
,H为经验阈值,H取值为1.5。实验证明:公式(6)比公式(3)正确率提高了20%以上,尤其在扩散的羽流相对明显、运动比较剧烈的情况下效果更加突出。
(6)步骤(5)中所述的光流方法并不特指为某一种光流算法,因为多种算法均具有较好的效果,但是所述的光流方法是特指的稠密的光流方法,比如HS光流方法就具有非常好的效果(由于稀疏的光流方法并不能保证每个块中均具有一定数量的光流特征,所以在本发明中稀疏的光流方法并不能适用于全部场景)。步骤(5)中的经验阈值H的选取需要根据多组试验进行确定,当H=0时同样可以识别出热液羽流,但是此时在没有热液羽流的图像中也会把运动较大的位置误认为为热液羽流;而如果H过大,则会过滤掉过多的热液羽流区域。
(7)如果图像中某些区域被认为存在热液羽流,此时为了去除海洋中漂浮的杂质以及海洋生物的干扰(这些干扰所形成的误识别区域一般面积较小),可以采用形态学连通域面积滤波方法滤除图像中较小的被认为为存在的热液羽流的连通区域。如果经形态学处理后确实存在较大的“热液羽流”区域,并且该区域的底部距离图像底部边缘的距离大于L(L一般为一个大于h的值)那么热液喷口被认为存在于该区域最底部的下方,否则则认为热液喷口不存在于本幅图像中而存在于该图像的下方。
(8)为了得到热液羽流喷口的精确位置,如图6所示在“热液羽流”区域(每个连通域)的底部对原图的灰度图像设置一个宽与“热液羽流底部”平齐,高h(如64)像素的区域,并对该区域中每一行取中值,故得到一个含有h个数据的数据组,之后对前后两个数据取差值从而获得一组梯度数据,对该组数据进行中值滤波以去除噪声干扰。设置经验阈值△,从前向后第一个大于等于阈值△的数据的位置被认为为热流口的位置。以该像素点为中点向左右展开成一个喷口界面,在图像中反应的是一条线段,线段包含的像素数与“热液羽流底部”最底部一行像素数相同,如图8中红线即为喷口位置。(h取值根据工程需要,这里取的是63)。
(9)步骤(8)的原理主要描述如下:
一般而言,热液喷口部分的热液羽流密度较大、运动规律、灰度相对均匀,且灰度值较低,所以一般情况下很难得到准确的光流信息,甚至在极端的情况下热液喷口会被误识别为背景过滤掉,因此我们一般只能识别出接近热液喷口上方的一部分热液羽流而不能精确的识别热液喷口根部的羽流,所以仅仅依赖于识别区域的底部是很难定位到精确的热液喷口的位。而岩石灰度值相对较高,纹理清晰,所以如果在热液喷口处取一定的区域进行灰度分析,该区域的灰度从上到下在热液喷口处应有明显的变化,为了便于提取由上到下的灰度变化规律,我们选取每行像素的中值作为该行灰度的特征,则得到的灰度变换规律如下图所示(如图7①线所示,图中蓝框所标位置为热液喷口位置);为了提取灰度变换规律,我们对前后灰度取差值,得到差值变化曲线(如图7②线),此外为了降低干扰,我们对差值曲线进行中值滤波(如图7③线)可以得到一个平滑的灰度增益变化曲线。对多组曲线进行观察可以得到一个较好的经验阈值△。事实上由于热液喷口处热液羽流的灰度基本保值不变,所以经验阈值选取一个较小的值(如3或4)即可得到良好的效果。
为了增强算法的适应性,我们取选取这h个数据的均值和最大值的平均值为阈值△。另外,当该组数据整体都比较小时,通常被认为是热液羽流区域的定位出现了错误,所以在这种情况下无法获得热液喷口的位置,需要重新采样执行以上过程(即在该对图像中不能发现热液喷口的位置,需要重新获取下两帧图像进行重新定位)。具体描述如下式所示。
Figure BDA0001138432360000121
其中Te表示预设的阈值,max(A)表示该组数据的最大值,mean(A)表示该组数据的均值。
(10)在实际执行过程中,图像中喷口的定位往往会出现错误,为了增强算法整体的鲁棒性,我们采用位置约束来去除执行过程中产生的大部分的错误定位,对该方法具体描述如下:
1)在首次定位热液喷口时,需要首先获取之后M对帧图像中检测到的热液喷口位置,并求取这M组位置的中值(如果一对图像中同时含有多个位置,则同时保留多个中值),如果在这M对图像中至少存在P对图像,在这P对图像中获取到的热液喷口的位置与中值的距离小于阈值L,则认为获取到了有效的热液喷口位置(如果存在多个位置,则对于所有的位置与距离据自己“最近”中值的距离应都小于阈值L)。那么这P组位置的中值,或者这P组位置中的最后一组位置被认为为首次获取的热液喷口的位置。(一般取M为5,P为3,L为0.2倍的图像最小值边长,即取图像最小边长的0.2倍)。
2)若之前M对帧中已获得有效的位置,那么若该下一帧对中的位置与最近有效帧的位置的距离小于L则认为该帧中获取的热液喷口位置有效,为热液喷口的最新位置。如果该帧获取的位置与最近有效帧的位置的距离大于L或者有某一个位置大于(对于存在多个热液喷口的情况)L时则认为该帧中所确定的位置无效,然后需要选取后两帧图像继续执行该步操作;如果连续W帧对中均未获取到有效位置,则认为已经跟丢有效的热液喷口位置,需要重新执行第1)步。(W的取值范围一般为5-10)。
(11)在实际应用中所有的学习与阈值的选取都是事先处理好,所以以上步骤在工程实际应用中,除在首次工程设计时需要全部执行外,一般的作业过程中并不需要每次都执行上述所有步骤。在实际应用中上述的字典和阈值是被确定好的,所以可直接调取使用,因此在实际作业过程中一般只需要执行步骤(3)、(5)、(8)、(10)即可。此外,为了实现图像的实时性处理,在工程设计中所有图像运算的并行计算都被放置于GPU中,由于上述步骤并不复杂,所以在实际应用中该方法具有较好的实时性和较好的准确性。仿真效果如下图8所示,图中实线段即为应用本发明方法所识别得到的热液喷口位置。

Claims (7)

1.一种基于图像的海底热液喷口的识别方法,其特征在于,包括以下步骤:
步骤1:采集样本图像;
步骤2:对采集的样本图像进行训练得到稀疏表示的字典;
步骤3:采集一对图像,所述一对图像包括连续两帧,定义第一帧图像为第一帧原始图像E0;
步骤4:采用稀疏表示滤除第一帧原始图像E0中的背景和扩散的热液羽流,获取被保留的图像E1;
步骤5:对图像E1采用光流法获取热液羽流主体部分图像E2;
步骤6:对热液羽流主体部分的图像E2,采用热液羽流喷口周围灰度信息确定热液羽流喷口位置;包括:
a.对热液羽流主体部分图像E2,采用形态学连通域的面积滤波方法滤除图像中小于阈值要求的热液羽流的连通区域,获取疑似热液羽流区域;
b.如果该疑似热液羽流区域的底部距离该帧图像画面底部边缘的距离大于L,那么热液羽流喷口被认为存在于该疑似热液羽流区域最底部的下方;
那么,首先在热液羽流主体部分图像E2上,对每个疑似热液羽流区域的底部设置一个高h、宽与该疑似热液羽流区域的最下一行像素数相同的区域;
对该区域中每一行的灰度取中值,得到一个含有h个数据的数组;之后对该数组中所有数据依次对前后两个数据作差值从而获得一组差值数据;
对该组差值数据进行中值滤波以去除噪声干扰,获取一组平滑的差值数据;
在这组平滑的差值数据中,从前向后找到第一个大于等于阈值△的数据,并将其对应的坐标位置作为热液羽流喷口位置;其中,L取大于h的值,△为阈值;
c.如果该疑似热液羽流区域的底部距离该帧图像画面底部边缘的距离不大于L,则认为热液喷口不存在于本帧图像中而存在于该图像画面的下方,此时需要调整摄像机姿态向下捕获图像返回步骤3。
2.按照权利要求1所述一种基于图像的海底热液喷口的识别方法,其特征在于,所述样本图像为背景和扩散的热液羽流图像,且样本图像块的大小为n×n个像素。
3.按照权利要求1所述一种基于图像的海底热液喷口的识别方法,其特征在于所述对采集的样本图像进行训练得到稀疏表示的字典,包括:
a.将每个样本图像块各像素的RGB三个通道的灰度值排列成一个n×n×3行、1列的多维数组,将所有样本块对应的数组组合成一个样本集;
b.对样本集中的各像素的RGB三个通道的灰度值按照稀疏表示方法进行训练得到稀疏表示的字典。
4.按照权利要求1所述一种基于图像的海底热液喷口的识别方法,其特征在于所述采用稀疏表示滤除第一帧原始图像E0中的背景和扩散的热液羽流,获取被保留的图像E1,包括:
a.将第一帧原始图像E0分割为多个的n行n列的图像块,图像边缘处剩余的不足n×n的区域应作为边界舍弃、不做处理;
b.对划分的每个n行n列图像块利用训练得到稀疏表示的字典进行稀疏表示,假设第一帧原始图像E0各个像素三个通道的灰度值为:IRx、IGx、IBx,利用训练得到稀疏表示的字典进行稀疏表示后的各个像素三个通道的灰度值为:
Figure FDA0002914097040000021
那么第一帧原始图像E0各块的稀疏表示误差为如下公式(1)或公式(2):
Figure FDA0002914097040000031
Figure FDA0002914097040000032
其中,x表示第几个像素;
c.将满足E∈[Tl,Th]的图像块作为纹理明显的岩石或者热液羽流主体得以保留,将E>Th的图像块作为纹理色彩特别明显的岩石区域被删除,将E<Tl的图像块作为背景或者扩散的热液羽流被删除;将被保留的图像块保存为图像E1;其中,阈值Tl、Th为阈值。
5.按照权利要求1所述一种基于图像的海底热液喷口的识别方法,其特征在于,所述对图像E1采用光流法获取热液羽流主体部分图像E2,包括:
根据公式(6)判断图像E1中的各个图像块是否包含热液羽流主体,并将判定为包含热液羽流主体的所有图像块定义为该第一帧图像的热液羽流主体图像E2;
所述公式(6)按照如下步骤建立:
a.采用光流法计算该第一帧图像与下一帧图像的光流强度和光流方向,获取图像E0中各个像素的光流强度,并计算图像E0中各像素点的光流强度的均值
Figure FDA0002914097040000033
以及图像E1中各个图像块的光流强度的均值
Figure FDA0002914097040000034
如果满足公式(3)则认为存在热液羽流的区域,否则认为不存在热液羽流;其中,H为经验阈值且H≥0;其中,所述图像E0已经包含了图像E1的光流信息;
Figure FDA0002914097040000035
b.考虑喷口处的热液羽流主体部分相对于扩散的热液羽流存在着较大的方向向上的纵向速度分量时:定义第i个像素点的纵向的光流强度分量为vy i,且向下为正方向,按照公式(4)计算第i个像素点的光流特性fy i;其中,|vy i|表示vy i的绝对值;
fy i=|vy i|-vy i (4)
c.考虑扩散的羽流以及漂浮的杂质在水流的作用下相比热液羽流主体部分会具有较大的横向速度分量时:对公式(4)改进为如下式(5);其中,
Figure FDA0002914097040000041
Figure FDA0002914097040000042
表示第i个像素处的横向光流强度分量,取向右为正方向,m、q分别表示图像E0的宽度和长度;
Figure FDA0002914097040000043
d.将图像中各像素光流的横向和纵向分量均考虑在内时,公式(3)可改进为:
Figure FDA0002914097040000044
其中
Figure FDA0002914097040000045
表示按照公式(5)计算的图像E1中第j个像素所定义的值;
Figure FDA0002914097040000046
m、q分别表示图像E0的宽度和长度,
Figure FDA0002914097040000047
式中
Figure FDA0002914097040000048
表示按照公式(5)计算的图像E0中第i个像素所定义的值,H为经验阈值且H≥0。
6.按照权利要求1所述一种基于图像的海底热液喷口的识别方法,其特征在于所述阈值△计算如下:
当max(A)≥Te时,Δ=0.5×(max(A)+mean(A)) (7)
其中,max(A)为h个数据的数组中的最大值,mean(A)是h个数据的平均值,Te是预设经验值;
当max(A)<Te时,通常被认为是热液羽流喷口位置的定位错误,需要重新捕获图像返回步骤3。
7.按照权利要求1所述一种基于图像的海底热液喷口的识别方法,其特征在于,还包括:
a.当检测出第一帧对图像上的热液羽流喷口位置时,还需要顺序采集M-1个帧对的图像,所述每个帧对图像包含2帧图像;
对这M-1个帧对图像,分别采用步骤3至步骤6检测热液喷口位置,加上第一帧对图像上的热液羽流喷口位置,一共得到M组热液喷口位置;
求取这M组位置的中值,如果在这M个帧对图像中至少存在P个帧对图像满足:在这P个帧对图像中获取到的所有热液喷口的位置与这M组位置的中值的距离均小于阈值L,则认为获取到了有效的热液喷口位置,并且将这P组位置中的最后一组位置被认为是首次获取的有效的热液喷口的位置;其中,M、P、L为经验值,M取5,P取3,L取0.2倍的图像E0最小值边长;
b.若之前M个帧对中已获得有效的热液喷口的位置,那么若下一帧对中的所有热液喷口的位置与之前检测的M个帧对得到的有效的热液喷口的位置的距离均小于L,则认为该下一帧对中获取的热液喷口位置为热液喷口的最新位置;否则认为该帧对中所确定的热液喷口位置无效,需要继续采集下一帧对图像继续判断热液喷口的最新位置;
如果连续W个帧对的图像中均未获取到有效热液喷口的位置,则认为已经跟丢有效的热液喷口位置,需要重新返回步骤a;其中,W的取值范围为5-10。
CN201610934179.7A 2016-11-01 2016-11-01 一种基于图像的海底热液喷口的识别方法 Active CN107871115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610934179.7A CN107871115B (zh) 2016-11-01 2016-11-01 一种基于图像的海底热液喷口的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610934179.7A CN107871115B (zh) 2016-11-01 2016-11-01 一种基于图像的海底热液喷口的识别方法

Publications (2)

Publication Number Publication Date
CN107871115A CN107871115A (zh) 2018-04-03
CN107871115B true CN107871115B (zh) 2021-05-04

Family

ID=61761850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610934179.7A Active CN107871115B (zh) 2016-11-01 2016-11-01 一种基于图像的海底热液喷口的识别方法

Country Status (1)

Country Link
CN (1) CN107871115B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569607B (zh) * 2019-09-11 2024-02-23 西安科技大学 一种预测喷流沉积矿床热液喷口位置的方法
CN111445444B (zh) * 2020-03-11 2020-12-01 中南大学 一种基于极化特征的铁水流速检测方法
CN111856576A (zh) * 2020-07-27 2020-10-30 广州海洋地质调查局 一种羽状流识别方法及处理终端
CN116681935B (zh) * 2023-05-31 2024-01-23 国家深海基地管理中心 一种深海热液喷口自主识别定位方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699512A (zh) * 2009-10-30 2010-04-28 无锡景象数字技术有限公司 一种基于背景差异抠图和稀疏光流法的深度的生成方法
CN103077401A (zh) * 2012-12-27 2013-05-01 深圳市赛为智能股份有限公司 一种基于光流上下文直方图的异常行为检测方法及系统
CN103119609A (zh) * 2012-09-27 2013-05-22 华为技术有限公司 一种确定视频前景主体图像区域的方法和装置
CN103400156A (zh) * 2013-07-04 2013-11-20 西安电子科技大学 基于cfar和稀疏表示的高分辨sar图像舰船检测方法
CN103440502A (zh) * 2013-09-06 2013-12-11 重庆大学 基于混合高斯稀疏表示的红外小目标检测方法
CN103971137A (zh) * 2014-05-07 2014-08-06 上海电力学院 基于结构性稀疏特征学习的三维动态人脸表情识别方法
CN104463869A (zh) * 2014-12-05 2015-03-25 西安交通大学 一种视频火焰图像复合识别方法
CN104615999A (zh) * 2015-02-15 2015-05-13 北京师范大学 基于稀疏表示分类的滑坡泥石流区域检测方法
CN105741252A (zh) * 2015-11-17 2016-07-06 西安电子科技大学 基于稀疏表示与字典学习的视频图像分级重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699512A (zh) * 2009-10-30 2010-04-28 无锡景象数字技术有限公司 一种基于背景差异抠图和稀疏光流法的深度的生成方法
CN103119609A (zh) * 2012-09-27 2013-05-22 华为技术有限公司 一种确定视频前景主体图像区域的方法和装置
CN103077401A (zh) * 2012-12-27 2013-05-01 深圳市赛为智能股份有限公司 一种基于光流上下文直方图的异常行为检测方法及系统
CN103400156A (zh) * 2013-07-04 2013-11-20 西安电子科技大学 基于cfar和稀疏表示的高分辨sar图像舰船检测方法
CN103440502A (zh) * 2013-09-06 2013-12-11 重庆大学 基于混合高斯稀疏表示的红外小目标检测方法
CN103971137A (zh) * 2014-05-07 2014-08-06 上海电力学院 基于结构性稀疏特征学习的三维动态人脸表情识别方法
CN104463869A (zh) * 2014-12-05 2015-03-25 西安交通大学 一种视频火焰图像复合识别方法
CN104615999A (zh) * 2015-02-15 2015-05-13 北京师范大学 基于稀疏表示分类的滑坡泥石流区域检测方法
CN105741252A (zh) * 2015-11-17 2016-07-06 西安电子科技大学 基于稀疏表示与字典学习的视频图像分级重建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Action Recognition Using Sparse Representation on Covariance Manifolds of Optical Flow;Kai Guo等;《IEEE Conference Publication》;20101007;第188-195页 *
Sparse coding with fast image alignment via large displacement optical flow;Xiaoxia Sun等;《IEEE Conference Publication》;20160519;第2404-2408页 *
一种自主水下机器人追踪深海热液浮力羽流的基于行为规划算法;田宇 等;《Proceedings of the 32nd Chinese Control Conference》;20130728;第5819-5826页 *
基于多运动特征的森林火灾烟雾图像识别算法;吴梦宇 等;《北京林业大学学报》;20130531;第35卷(第3期);第154-158页 *
海底热液喷口图像增强与分割算法研究;夏谦;《中国优秀硕士学位论文全文数据库 信息科技辑》;20060515(第5期);I138-465 *
自主水下机器人深海热液羽流追踪仿真环境;田宇 等;《机器人》;20120331;第34卷(第2期);第159-196页 *

Also Published As

Publication number Publication date
CN107871115A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107871115B (zh) 一种基于图像的海底热液喷口的识别方法
Chuang et al. Automatic fish segmentation via double local thresholding for trawl-based underwater camera systems
CN108470338B (zh) 一种水位监测方法
CN105787950B (zh) 一种基于行梯度累加对红外图像海天线进行检测的方法
CN112883861B (zh) 一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法
CN110084302B (zh) 一种基于遥感图像的裂缝检测方法
CN106530313A (zh) 一种基于区域分割的海天线实时检测方法
CN113822352A (zh) 基于多特征融合的红外弱小目标检测方法
CN109409378A (zh) 一种纳西东巴经书的数字化处理方法
CN107808391B (zh) 一种基于特征选择与光滑表示聚类的视频动态目标提取方法
CN110766721B (zh) 一种基于机载视觉的着舰合作目标检测方法
CN106666767B (zh) 一种基于视觉技术的高效葵花籽脱壳方法
Fan et al. Estimating the aquatic-plant area on a pond surface using a hue-saturation-component combination and an improved Otsu method
CN107967452B (zh) 一种基于视频的深海矿物分布识别方法及系统
CN110097549A (zh) 基于形态学的水陆空交界线检测方法、系统、介质和设备
Zou et al. Fish tracking based on feature fusion and scale adaptation in a real-world underwater environment
CN111161323B (zh) 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN109840498B (zh) 一种实时行人检测方法及神经网络、目标检测层
Kezia et al. A color-texture based segmentation method to extract object from background
Feng et al. Real-time riverbank line detection for USV system
CN114037737B (zh) 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法
Galloway et al. Predicting dreissenid mussel abundance in nearshore waters using underwater imagery and deep learning
Ge et al. Real-time object detection algorithm for Underwater Robots
Lai et al. Underwater target tracking via 3D convolutional networks
Horak et al. Water quality assessment by image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant