CN115147710A - 基于异质滤波探测与水平集分割的声纳图像目标处理方法 - Google Patents
基于异质滤波探测与水平集分割的声纳图像目标处理方法 Download PDFInfo
- Publication number
- CN115147710A CN115147710A CN202210836901.9A CN202210836901A CN115147710A CN 115147710 A CN115147710 A CN 115147710A CN 202210836901 A CN202210836901 A CN 202210836901A CN 115147710 A CN115147710 A CN 115147710A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- target
- hca
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于异质滤波探测与水平集分割的声纳目标处理方法;该方法如下:一、图像采集;二、去噪处理;三、超像素图像分割;四、异质滤波目标探测;五、自适应阈值处理;六、目标精分割;本发明根据侧扫声纳成像特点,采用分步异质滤波方法对图像进行处理,一方面有效去除了声纳图像中强度不均匀的成像效应,另一方面有效增强了图像的目标亮区与暗区,有效提高目标探测的虚警正确率。本发明中的自适应阈值处理根据异质滤波后图像的局部信息特点,确定阈值直接对滤波图像进行区域分割,得到目标的初始轮廓。本发明中基于水平集的精分割以阈值处理的结果为初始轮廓,结合超像素边界约束,将分割轮廓驱动到超像素边界,得到精确的目标轮廓。
Description
技术领域
本发明属于侧扫声纳图像实现海底目标的探测与分割处理领域,具体涉及一种基于异质滤波的目标探测及水平集目标分割的声纳目标处理方法。
背景技术
随着水下矿产勘探、水下救援、水下辅助养殖等水下勘察活动越来越多,水下目标探测手段越来越多且探测技术日益成熟,有助于进行水下资源的利用与开发,同时能够提高水下活动的安全性。
目前主流的水下目标探测手段包括声学与光学两种,水下光学目标探测主要通过光学相机获取水下图像并通过目标识别手段达到探测目的,但由于水下光线较暗,并且水下光学可视距离较短,导致光学成像效果较差,同时由于水体对光的衰减效应,水下光学图像往往具有对比度低、形状畸变等固有缺陷,限制了水下光学目标探测的应用。水下声学目标探测手段中,主动侧扫声纳具有探测范围广、分辨率高等特点被广泛应用,但是其在图像获取质量与目标探测方面均存在诸多问题,且对于应用广泛的基于机器视觉的目标探测识别方法而言,主动侧扫声纳由于其扫描成像的成本高,数据集少使得机器视觉方法的应用受到限制。而采用人工判读的方法进行声纳目标探测与分割来获取水下目标的位置与轮廓信息往往费时费力。
在实际应用中,如果能够充分运用水下声纳的成像特点,对声纳图像进行处理以消除水下成像噪声干扰,并自适应的凸显出水下目标的位置与轮廓特征,可以极大提高水下目标声学探测效率。
发明内容
本发明的目的在于提供一种从声纳图像采集输入到声纳图像中目标的位置与形状获取输出的声纳图像目标处理方法。
该基于异质滤波探测与水平集分割的声纳目标处理方法,包括以下步骤:
步骤一:图像采集。
采集侧扫声纳数据,得到声纳图像。
步骤二:去噪处理。
对声纳图像进行非局部均值图像去噪处理。
步骤三:超像素图像分割。
将声纳图像分割为多个S×S像素的超像素区域,S为预设的超像素区域宽度。在超像素区域中心设置超像素中心,针对以超像素中心为中心的2S×2S邻域区域内,以邻域中所有像素与超像素中心像素的像素值距离、像素坐标距离以及LDZP纹理描述值距离为聚类距离,进行局部超像素中心迭代与像素标签迭代,实现局部迭代聚类,将图像分割为多个超像素,且超像素边缘接近目标边缘,以每个超像素区域的像素均值作为超像素的像素值,生成超像素图像。
步骤四:异质滤波目标探测。
针对超像素图像中的每个像素,分别进行目标亮区异质滤波后按比例缩放到灰度像素范围内,得到亮区滤波图像HCAHO;针对超像素图像中的每个像素,分别进行目标暗区异质滤波后按比例缩放到灰度像素范围内,得到暗区滤波图像HCAHS;将亮区滤波图像HCAHO和暗区滤波图像HCAHS融合,得到异质滤波图像HCAH。
步骤五:自适应阈值处理。
对异质滤波图像的每个像素分别计算局部方差与均值,进行基于局部信息的自适应阈值分割,得到亮暗区域的交界位置。根据亮暗区域的像素值特征进行自适应区域扩张,得到包含目标粗分割轮廓的自适应阈值处理图像HCAA。
步骤六:目标精分割。
以自适应阈值处理图像HCAA中目标粗分割轮廓作为初始化轮廓,构建基于距离正则化的水平集函数模型,结合超像素边界构建图像能量函数,并进行水平集演化,得到目标的精分割轮廓。
作为优选,步骤一中,通过声纳器件采集声纳数据,并将声纳数据保存为可解读的XTF文件,解析XTF文件获取声纳可视化数据并生成声纳可视化瀑布图;针对可视化数据,对瀑布图采用半帧交叉截取方法将图像截取成固定大小的声纳图像。
作为优选,步骤二中,将声纳图像中的每个像素分别作为目标像素,并对目标像素进行以下处理:针对在图像全域中除目标像素外的所有像素,都计算其邻域与目标像素的邻域的局部相似度;并用除目标像素外的所有像素以局部相似度为权重的加权均值代替目标像素的像素值。
作为优选,步骤三中进行超像素分割的过程为:
3-1.根据声纳图像大小,将声呐图像的被处理部分划分为若干个S×S像素的子区域;分别计算各子区域中心的4×4邻域的梯度值,将种子点置于梯度值最小的位置。以各子区域的种子点为超像素中心。为各个子区域分配初始类标签。
3-2.以种子点的2S×2S邻域为搜索范围,计算搜索范围每个像素点与种子点的距离度量D如下:
其中,dc为当前像素点与相邻的种子点的像素值距离;ds为当前像素点与相邻的种子点的像素坐标距离;dt为当前像素点与相邻的种子点的LDZP纹理描述值距离。
以距离度量D最小为标准将各像素归入不同种子点对应的类中。
3-3.以同一类标签的各像素的坐标平均值作为该类标签的种子点位置,更新该类标签的种子点位置。
3-4.根据步骤3-2和步骤3-3进行类标签与类种子点位置的迭代更新,直至每个类种子点的位置不再发生变化为止。
3-5.针对类标签矩阵,按从左到右,从上到下的顺序将不连续的类、像素数量小于预设值的类重新分配给邻近的类,直至重新分配完毕,得到最终的超像素分割图像以及超像素类标签矩阵。
3-6.对于每个类,分别计算其所有像素值的均值作为该类对应的超像素的像素值,并以超像素中心的坐标位置为映射位置,生成超像素图像ISP。
作为优选,步骤四的过程如下:
4-1.亮区滤波。
构建亮区异质滤波器fo如下:
其中,fo[2,2]=3的位置为卷积中心,以亮区异质滤波器fo作为卷积核在超像素图像ISP上进行卷积操作,根据卷积结果区分出目标亮区Ωo。
将目标亮区Ωo中的所有像素的卷积结果HCAHO_o按比例缩放至127.5~255灰度级,得到亮区滤波图像HCAHO。
4-2.暗区滤波。
构建暗区异质滤波器fs为:
其中,fo[2,3]=-3的位置为卷积中心,以暗区异质滤波器fs作为卷积核在超像素图像ISP上进行卷积操作,根据卷积结果区分出目标暗区Ωs。
将目标暗区Ωs中的所有像素的卷积结果HCAHS_s按比例缩放至127.5~255灰度级,得到亮区滤波图像HCAHS。
4-3.将亮区滤波图像HCAHO和暗区滤波图像HCAHS融合,得到异质滤波图像HCAH如下:
HCAH=(HCAHO+HCAHS)-127.5
作为优选,步骤五的具体过程如下:
5-1.根据构建目标亮区处理图像HCAAo如下:
其中,HCAAo(i)、HCAH(i)分别为目标亮区处理图像HCAAo、异质滤波图像HCAH中超像素点i的像素值;σi 2为异质滤波图像HCAH中以超像素点i为中心的3×3邻域的像素值方差,μi为异质滤波图像HCAH中以超像素点i为中心的3×3邻域的像素值均值;ko为亮区的自适应阈值。
根据构建目标暗区处理图像HCAAs如下:
其中,HCAAo(i)、HCAH(i)分别为目标暗区处理图像HCAAo、异质滤波图像HCAH中超像素点i的像素值;ks为暗区的自适应阈值。
5-2.将目标亮区处理图像HCAAo与目标暗区处理图像HCAAs融合,得到自适应阈值处理图像HCAA如下:
HCAA=(HCAAo+HCAAs)-127.5
作为优选,步骤六的具体过程如下:
6-1.以自适应阈值处理图像HCAA中的亮区轮廓和暗区轮廓为初始轮廓,对目标区域构建基于距离正则化的水平集能量函数Γ(φ1,φ2,f1,f2,f3)为:
Γ(φ1,φ2,f1,f2,f3)=ε(φ1,φ2,f1,f2,f3)+RP(φ1,φ2)+E(φ1,φ2)
其中,ε(φ1,φ2,f1,f2,f3)为局部拟合能量,RP(φ1,φ2)为距离正则化项;E(φ1,φ2)为超像素约束项。
局部拟合能量ε(φ1,φ2,f1,f2,f3)的表达式如下:
其中,φ1为目标亮区的水平集函数,φ2为目标暗区的水平集函数,f1为φ1的零级曲线内部的图像局部拟合能量;f2为φ2的零级曲线内部的图像局部拟合能量,f3为图像轮廓外部的局部拟合能量。K为高斯核函数,λi为局部拟合能量项的参数,vi为长度惩罚项的参数,H(·)为Heaviside函数,表达式为:
其中,∈为Heaviside函数参数。
距离正则化项RP(φ1,φ2)的表达式如下:
其中,μi为距离正则化项参数;P(·)为双井势函数,其表达式如下:
超像素约束项E(φ1,φ2)的表达式如下:
6-2.构建双区域水平集演化方程如下:
其中,div(·)为散度操作,δ(·)的表达式如下:
6-3.根据以上水平集演化方程,对目标亮区与暗区的初始轮廓进行演化,直至演化收敛,得到声纳图像中目标的精确轮廓。
本发明的有益效果为:
1.本发明根据侧扫声纳成像特点,采用分步异质滤波方法对图像进行处理,一方面有效去除了声纳图像中强度不均匀的成像效应,另一方面有效增强了图像的目标亮区与暗区,有效提高目标探测的虚警正确率。
2.本发明中的自适应阈值处理根据异质滤波后图像的局部信息特点,确定阈值直接对滤波图像进行区域分割,得到目标的初始轮廓与位置。
3.本发明中基于水平集的精分割以阈值处理的结果为初始轮廓,结合超像素边界约束,将分割轮廓驱动到超像素边界,得到精确的目标轮廓,以保留更精确的目标特征信息,为特征的提取与识别分类提供保障。
附图说明
图1为本发明的处理流程图;
图2为本发明步骤一中瀑布图半帧交叉截取方法的示意图;
图3为本发明步骤二中非局部均值去噪的效果图;
图4为本发明步骤三种超像素分割的效果图;
图5为本发明步骤四中分步异质滤波的流程图;
图6为本发明步骤五中自适应阈值处理的流程图;
图7为本发明步骤六中水平集分割的效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种基于异质滤波探测与水平集分割的声纳目标处理方法,具体步骤如下:
步骤一:采集侧扫声纳数据。通过声纳器件采集声纳数据并将声纳数据保存为可解读的XTF文件,解析XTF文件获取声纳可视化数据并生成声纳可视化瀑布图;针对可视化数据,对瀑布图采用半帧交叉截取方法将图像截取成宽为1166像素、高为376像素的固定大小声纳图像,根据侧扫声纳图像的左右半侧图像具有成像对称性,以下以右半侧图像为处理示例。
本实施例中,根据预知的水下目标在声纳图像中的大小,采用半帧交叉截取方法进行声纳数据可视化处理,防止在进行可视化帧截取时,由于目标位置在帧分割线上而被分割到不同帧上,保证声纳目标图像的完整性。
步骤二:进行非局部均值图像去噪处理,去除图像中的散斑噪声,以提高声纳图像质量。
将声纳图像中的每个像素分别作为目标像素进行非局部均值图像去噪处理,具体过程为:针对在图像全域的除目标像素外的所有像素,都计算其邻域与目标像素的邻域的局部相似度;并用除目标像素外的所有像素以局部相似度为权重的加权均值代替目标像素的像素值,实现声纳图像去噪。具体过程如下:
针对声纳图像I中的像素p,采用图像I中其他像素q的加权和作为其像素值,即非局部均值去噪后的图像NL[v](p)为:
其中,每个像素q的权值w(p,q)是以q为中心的局部邻域与以p为中心的局部邻域的相似度,即像素q的权值w(p,q)为:
步骤三:进行图像超像素图像分割,以生成按目标边界分割的超像素,提高图像处理速度。
进行超像素分割的过程如下:将图像分割为多个12×12像素的超像素区域,并在超像素区域中心设置超像素中心,针对以超像素中心为中心的24×24邻域区域内,以邻域中所有像素与超像素中心像素的像素值距离、像素坐标距离以及LDZP纹理描述值距离为聚类距离,进行局部超像素中心迭代与像素标签迭代,实现局部迭代聚类,将图像分割为多个超像素,且超像素边缘尽量接近目标边缘,以每个超像素区域的像素均值作为超像素的像素值,生成超像素图像ISP。
3-1.根据声纳图像大小,将声纳右半侧图像预分48×30个为12×12像素的子区域,以12个像素为步长S均匀分配48×30个种子点为超像素中心,并计算子区域中心的4×4邻域的梯度值,将种子点置于梯度值最小的位置。
3-2.为48×30个子区域分配初始类标签,并以种子点的2S×2S邻域为搜索范围,分别计算每个像素与各个种子点的距离度量D,并将该像素类标签更新为与其距离最小的种子点的类标签,其中对于声纳的一维灰度图像的灰度值、像素(x,y)坐标以及LDZP纹理描述值作为距离度量的依据:
像素值距离度量表示为:
其中,NL[v]i为当前像素点的像素值;NL[v]j为种子点的像素值。
像素坐标距离度量表示为:
其中,(xi,yi)为当前像素点的坐标;(xi,yi)为种子点的坐标。
LDZP纹理描述值距离度量表示为:
其中,n为以像素点i或j为中心的局部邻域的像素点索引;N为邻域的像素点数量,对于3×3的局部邻域,N=8。LDZPi,n为以像素i为中心的局部邻域中第n个索引像素点的LDZP纹理描述值;LDZPj,n为以像素j为中心的局部邻域中第n个索引像素点的LDZP纹理描述值。
得到距离度量D为:
以距离度量D最小为标准将各像素归入不同种子点对应的类中。
3-3.根据步骤3-2为每个像素更新其类标签,以同一类标签的各像素的x坐标与y坐标的平均值作为该类标签的种子点位置,更新该类标签的种子点位置。
3-4.根据以上步骤3-2与步骤3-3进行全局像素类标签与类种子点位置的迭代更新,直至每个类种子点的位置不再发生变化为止,根据经验,一般迭代10次左右即可得到较理想的分类结果。
3-5.经过以上迭代优化过程,迭代结果可能出现多连通情况、超像素过小、单个超像素被分为多个不连续超像素等情况,通过连通性增强解决以上问题,针对类标签矩阵,按从左到右,从上到下顺序将不连续的类、尺寸过小的类重新分配给邻近的类,直至重新分配完毕,得到最终的超像素分割图像以及超像素类标签矩阵。类标签内像素数量小于60,则该类标签判定为尺寸过小。
3-6.对于每个类,分别计算其所有像素值的均值作为该类对应的超像素的像素值,并以超像素中心的坐标位置为映射位置,生成48×30个像素的超像素图像ISP。
步骤四:异质滤波目标探测。针对海底目标的声纳成像特点,采取异质滤波器进行图像滤波,针对超像素图像中的每个像素,分别进行目标亮区异质滤波后按比例缩放到灰度像素范围内,得到亮区滤波图像HCAHO,分别进行目标暗区异质滤波后按比例缩放到灰度像素范围内,得到暗区滤波图像HCAHS;将亮区滤波图像HCAHO和暗区滤波图像HCAHS相加,得到异质滤波图像HCAH,具体过程如下:
强度不均匀的声纳图像区域一般可分为局部强度相似的背景区Ωb、局部区域带有暗区的目标亮区Ωo以及局部区域带有亮区的目标暗区Ωs。针对以上声纳图像特点,异质滤波的步骤分为亮区滤波与暗区滤波,其过程如下:
4-1.亮区滤波。
设计亮区异质滤波器fo为:
其中,fo[2,2]=3的位置为卷积中心,以亮区异质滤波器fo作为卷积核在超像素图像ISP上进行卷积操作:
(1)当对局部强度相似的背景区Ωb的超像素b进行卷积操作时,由于背景区的局部强度相似,使得在背景区超像素b的卷积结果HCAHO_b≈0;
(2)当对局部区域带有暗区的目标亮区Ωo的超像素o进行卷积操作时,由于右侧声纳图像的Ωo区表现为亮区的右侧邻域为暗区,使得在目标亮区Ωo的超像素i的卷积结果HCAHO_o>>0;
(3)当对局部区域带有亮区的目标暗区Ωs的超像素s进行卷积操作时,由于右侧声纳图像的Ωs区表现为暗区的左侧邻域为亮区,使得在目标暗区Ωs的超像素s的卷积结果HCAHO_s≈0;
根据以上卷积操作,由超像素图像得到亮区异质滤波结果,将所有像素的卷积结果HCAHO_o按比例缩放至127.5~255灰度级,得到亮区滤波图像HCAHO如下:
HCAHO=Homax(fo×ISP)
其中,Homax(·)为所有卷积结果HCAHO_o的最大值为上限的缩放计算。
4-2.暗区滤波。
设计暗区异质滤波器fs为:
其中,fo[2,3]=-3的位置为卷积中心,以暗区异质滤波器fs作为卷积核在超像素图像ISP上进行卷积操作:
(1)当对局部强度相似的背景区Ωb的超像素b进行卷积操作时,由于背景区的局部强度相似,使得在背景区超像素b的卷积结果HCAHS_b≈0;
(2)当对局部区域带有暗区的目标亮区Ωo的超像素o进行卷积操作时,由于右侧声纳图像的Ωo区表现为亮区的右侧邻域为暗区,使得在目标亮区Ωo的超像素i的卷积结果HCAHS_o≈0;
(3)当对局部区域带有亮区的目标暗区Ωs的超像素s进行卷积操作时,由于右侧声纳图像的Ωs区表现为暗区的左侧邻域为亮区,使得在目标暗区Ωs的超像素s的卷积结果HCAHS_s>>0;
根据以上卷积操作,由超像素图像得到暗区异质滤波结果,将所有像素的卷积结果HCAHS_s按比例缩放至0~127.5灰度级,得到暗区滤波图像HCAHS如下:
HCAHS=127.5-Hsmax(fs*ISP)
其中,Hsmax(·)为所有卷积结果HCAHS_s的最大值为上限的缩放计算。
4-3.融合以上得到的亮区滤波图像HCAHO和暗区滤波图像HCAHS,得到异质滤波图像HCAH为:
HCAH=(HCAHO+HCAHS)-127.5
步骤五:自适应阈值处理。对异质滤波图像的每个像素分别计算局部方差与均值,进行基于局部信息的自适应阈值分割,得到精确的目标亮暗区域的交界位置,并根据亮暗区域的像素值特征进行自适应区域扩张,得到目标粗分割的轮廓HCAA,具体过程如下:
异质滤波图像HCAH中目标亮区Ωto像素值远大于127.5,目标暗区Ωts像素值远小于127.5,背景区的像素值在127.5附近,根据异质滤波图像HCAH中像素值分布特征,将自适应阈值处理分为目标亮区Ωto处理与目标暗区Ωts处理两步。
令xi为异质滤波图像HCAH中超像素点i的像素值,σi 2为异质滤波图像HCAH中以超像素点i为中心的3×3邻域的像素值方差,μi为异质滤波图像HCAH中以超像素点i为中心的3×3邻域的像素值均值,将异质滤波图像HCAH的各像素值代入下式,得到目标亮区Ωto处理图像HCAAo如下:
其中,ko为亮区的自适应阈值,可根据实验环境中目标大小与成像质量自适应设置。
将异质滤波图像HCAH的各像素值代入下式,得到目标暗区Ωts处理图像HCAAs如下:
其中,ks为暗区的自适应阈值,可根据实验环境中目标大小与成像质量自适应设置。
之后,将目标亮区Ωto处理图像HCAAo与目标暗区Ωts处理图像HCAAs融合,得到自适应阈值处理图像HCAA如下:
HCAA=(HCAAo+HCAAs)-127.5
异质滤波图像HCAH中目标亮区Ωto与目标暗区Ωts的处理相关的像素局部分布特征具有相似性,以下以目标亮区Ωto处理为例进行说明:
首先分析不同区域中局部均值与方差的关系可知:
(1)在背景区域Ωb中,令n为3(下同),表示以超像素i为中心的3×3局部邻域,μb为超像素i局部邻域的均值,其局部方差σb 2为:
由于背景区域Ωb中局部像素值相似,可得到背景区域超像素值xb与其局部邻域均值μb和方差σb 2的关系为:
(2)在目标亮区Ωto中,μto为超像素i的局部均值,xto为目标亮区超像素值,其局部方差σto 2可表示为:
由于目标亮区Ωto中像素值大于背景超像素值,可得到目标亮区超像素值xto与局部区域均值μto和方差σto 2的关系为:
(3)在目标暗区Ωts中,μts为超像素i的局部均值,xto为目标暗区超像素值,其局部方差σts 2可表示为:
由于目标暗区Ωts中像素值小于背景超像素值,可得到目标暗区超像素值xts与局部区域均值μts和方差σts 2的关系为:
根据以上图像的局部信息特点,目标亮区Ωto处理有以下分析:
首先确定目标亮区的局部信息关系为:
其次假定局部信息的阈值μ和σ2为:
由以上分析的图像局部信息特点,根据局部信息阈值μ的关系可得:
(2xto-μto)μto≥k·μ≥(2xb-μb)μb
由以上分析的图像局部信息特点,根据局部信息阈值σ2的关系可得:
σto 2+(2xto-μto)μto≥σto 2+kμ≥σ2+kμ
由以上分析,得到目标亮区Ωto像素值与其局部均值方差和阈值的关系为:
即,当目标亮区Ωto处理中像素的像素值满足以上公式时,该像素为目标亮区的像素,不满足以上公式时,该像素为背景区的像素,公式表达如下:
其中ko为自适应阈值,可根据实验环境中目标大小与成像质量自适应设置。
由于HCAH图像中目标亮区Ωto与目标暗区Ωts的处理相关的像素局部分布特征具有相似性,进行目标暗区Ωts处理时,先将图像在0~255灰度级内翻转,按照目标亮区处理步骤即可得到目标暗区Ωts处理的结果。公式表达如下:
根据以上分析,得到目标亮区Ωto处理图像HCAAo与目标暗区Ωts处理图像HCAAs,对以上两图像进行融合得到自适应阈值处理图像HCAA为:
HCAA=(HCAAo+HCAAs)-127.5
步骤六:进行水平集函数的目标精分割。以自适应阈值处理图像HCAA中目标粗分割区域为初始化轮廓,对图像构建基于距离正则化的水平集函数模型,结合超像素边界构建图像能量函数,并根据曲线演化理论与水平集理论得到演化函数进行水平集演化,得到最终的目标精分割轮廓。具体过程如下:
根据自适应阈值处理图像HCAA中目标区域的亮区轮廓和暗区轮廓为初始轮廓,对目标区域构建基于距离正则化的水平集能量函数Γ(φ1,φ2,f1,f2,f3)为:
Γ(φ1,φ2,f1,f2,f3)=ε(φ1,φ2,f1,f2,f3)+RP(φ1,φ2)+E(φ1,φ2)
其中,ε(φ1,φ2,f1,f2,f3)为局部拟合能量,表示为:
其中,φ1为目标亮区的水平集函数,φ2为目标暗区的水平集函数,f1为φ1的零级曲线内部的图像局部拟合能量,f2为φ2的零级曲线内部的图像局部拟合能量,f3为图像轮廓外部的局部拟合能量。K为高斯核函数,λi为局部拟合能量项的参数,vi为长度惩罚项的参数,H(·)为Heaviside函数,可表示为:
其中,∈为Heaviside函数参数,可根据具体实现选择参数大小。
RP(φ1,φ2)为距离正则化项,保持水平集函数的符号距离属性,避免耗时的重新初始化操作,同时使得水平集函数平滑,导数计算更加精确,表示为:
其中,μi为距离正则化项参数,采用的双井势函数为P(s)可表示为:
E(φ1,φ2)为超像素约束项,驱动水平集的零集曲线更接近与超像素边界,以消除图像噪声干扰,得到更加精确的目标轮廓,表示为:
根据以上建立的水平集能量函数,得到双区域水平集演化方程为:
其中,div(·)为散度操作,δ(·)可表示为:
根据以上水平集演化方程,对目标亮区与暗区的初始轮廓进行演化,直至演化收敛,得到声纳图像中目标的精确轮廓。
以下提供具体案例,对本发明的声纳目标探测效果进行验证:
步骤一:对声纳器件采集保存的水下声纳数据XTF文件进行解析,将数据可视化为瀑布图,采用半帧交叉截取方法,将1166个像素宽的瀑布图像,每隔188个像素的截取一帧1166×376像素的图像,并记录每帧图像起始位置对应的瀑布图位置,以便在后续处理中准确定位目标的实际位置。对每帧图像,以中线分割为左右半帧图像,并将左半边图像进行左右翻转,根据侧扫声纳成像特点实现图像左右一致性处理并记录翻转位置。以此将声纳数据可视化为方便处理的半帧右侧图像,转入步骤二。
步骤二:对半帧右侧声纳图像I中的像素p,采用图像I中其他像素q的加权和作为其像素值,即采用非局部均值方法对图像像素值进行重置,得到去噪后的图像NL[v](p)为:
其中每个像素q的权值w(p,q)是以q为中心的局部邻域与以p为中心的局部邻域的相似度,即像素q的权值w(p,q)为:
步骤三:根据声纳图像中目标区域的大小,以12像素为步长,将步骤二中得到的图像预设为48×30个超像素区域并预设每个区域的类标签。根据去噪后的图像,计算图像的LDZP局部纹理描述值,并根据图像像素值、局部纹理描述值和像素坐标作为像素距离度量,依次重置每个超像素中心的24×24像素邻域内每个像素的类标签,并根据每类像素的坐标值均值重置每个超像素的位置。根据以上方法进行迭代更新,直至超像素位置不再改变或者迭代次数到达10次停止,得到超像素分割结果。对分割结果进行连通性增强解决,针对类标签矩阵,按从左到右,从上到下顺序将不连续的超像素、尺寸过小的超像素重新分配给邻近的超像素,直至重新分配完毕,得到最终的超像素分割的图像以及超像素类标签矩阵。对于每类超像素,计算该类超像素中所有像素的灰度均值作为该超像素的灰度值,并以超像素中心的坐标位置为映射位置,生成48×30个像素的超像素图像ISP,转入步骤四。
步骤四:对步骤三得到的超像素图像ISP进行分步异质滤波,采用两种不同的滤波卷积核(亮区异质滤波器fo和暗区异质滤波器fs)对超像素图像ISP进行卷积操作并进行归一化操作,得到两种异质滤波结果图像HCAHO和HCAHS,融合两种异质滤波结果图像HCAHO和HCAHS得到分步异质滤波处理结果HCAH,转入步骤五。
步骤五:对步骤四得到的分步异质滤波处理结果HCAH进行自适应阈值处理,首先对每个超像素的3×3邻域计算其局部均值与方差作为该超像素的局部信息,以目标亮区为例(目标暗区在像素值上与目标亮区具有对称相似性,将图像按像素值在0~255灰度级内翻转即可按照目标亮区的处理方法对目标暗区进行处理),将满足公式的超像素标记目标亮区像素,其中x为超像素灰度值,μ为超像素的3×3邻域均值,σ2为超像素的3×3邻域方差,k为自适应阈值,可根据实验环境中目标大小与成像质量自适应设置,得到目标亮区图像HCAAO,对分步异质滤波处理结果HCAH在0~255灰度级内翻转并进行亮区处理相似操作得到目标暗区图像HCAAS,融合目标亮区图像HCAAO与目标暗区图像HCAAS得到自适应阈值处理后的图像HCAA,该图像表示了声纳图像中目标的位置与粗分割轮廓,转入步骤六。
步骤六:根据步骤五中得到的声纳目标的位置与粗分割轮廓,进行基于水平集方法的精确分割。以粗分割轮廓为目标的初始区域,将水平集方法扩展到双目标领域,构建基于水平集函数的全局能量函数,并添加超像素边界的约束项,根据曲线演化原理得到水平集函数的演化函数进行水平集零集轮廓演化,将零集轮廓驱动到目标边界,得到水下声纳图像目标的精确分割轮廓。
图2为瀑布图半帧交叉截取方法示意图,以图像第一列回波数据为起始,每188列回波数据重启一帧,每376列回波数据为一帧图像将声纳原始数据可视化为方便处理的图像。在此种图像截取方法下,能够保证每个目标都能够完整地存在于一帧图像中,避免被截断为两部分而导致探测丢失。
图3为非局部均值去噪效果图,图中可以看出该步骤能够有效滤除由于海底混响和器件噪声导致的图像中的散斑噪声,能够有效避免噪声对后续处理效果的影响。
图4为超像素分割效果图,该实施例图以12像素为步长,被迭代分割为48×30个超像素,图中绿色点为超像素中心位置,可见超像素边界贴近于目标边界,有利于后续水平集精分割处理中超像素边界约束的效果。
图5为分步异质滤波流程图,分步异质滤波分别对超像素图像进行亮区滤波与暗区滤波,滤波中对卷积结果进行0值截取并归一化到0~255灰度级,其中对该实施例图,亮区卷积结果HCAHO_o的最大值为628.26,暗区卷积结果HCAHS_s的最大值为542.58。并对滤波归一化结果HCAHO和HCAHS,得到异质滤波图像HCAH。
图6为自适应阈值处理流程图,以3×3局部区域为超像素的局部邻域计算每个超像素的局部均值与方差,并进行亮区与暗区的自适应阈值处理,其中对该实施例图,选取的亮区阈值ko为210,暗区阈值ks为195,得到目标亮区处理图像HCAAo与目标暗区处理图像HCAAs,对以上两图像进行融合得到自适应阈值处理图像HCAA。
图7为水平集分割效果图,其中以粗分割轮廓为初始区域,随着水平集函数演化迭代次数的增加,分割轮廓不断向目标轮廓逼近,直至随着演化使得全局能量函数收敛到最小值或迭代次数到达指定迭代次数,则迭代停止,其中对该实施例图,各个参数为:λ1=λ2=λ3=1、v1=v2=0.03×2552、σ=5、μ1=μ2=1、α1=α2=150,∈=1.0,迭代次数达到280次时分割轮廓完全达到预期的目标轮廓,得到最精确的分割结果。
本说明书中引用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (7)
1.基于异质滤波探测与水平集分割的声纳图像目标处理方法,其特征在于:包括以下步骤:
步骤一:图像采集;
采集侧扫声纳数据,得到声纳图像;
步骤二:去噪处理;
对声纳图像进行非局部均值图像去噪处理;
步骤三:超像素图像分割;
将声纳图像分割为多个S×S像素的超像素区域,S为预设的超像素区域宽度;在超像素区域中心设置超像素中心,针对以超像素中心为中心的2S×2S邻域区域内,以邻域中所有像素与超像素中心像素的像素值距离、像素坐标距离以及LDZP纹理描述值距离为聚类距离,进行局部超像素中心迭代与像素标签迭代,实现局部迭代聚类,将图像分割为多个超像素,且超像素边缘接近目标边缘,以每个超像素区域的像素均值作为超像素的像素值,生成超像素图像;
步骤四:异质滤波目标探测;
针对超像素图像中的每个像素,分别进行目标亮区异质滤波后按比例缩放到灰度像素范围内,得到亮区滤波图像HCAHO;针对超像素图像中的每个像素,分别进行目标暗区异质滤波后按比例缩放到灰度像素范围内,得到暗区滤波图像HCAHS;将亮区滤波图像HCAHO和暗区滤波图像HCAHS融合,得到异质滤波图像HCAH;
步骤五:自适应阈值处理;
对异质滤波图像的每个像素分别计算局部方差与均值,进行基于局部信息的自适应阈值分割,得到亮暗区域的交界位置;根据亮暗区域的像素值特征进行自适应区域扩张,得到包含目标粗分割轮廓的自适应阈值处理图像HCAA;
步骤六:目标精分割;
以自适应阈值处理图像HCAA中目标粗分割轮廓作为初始化轮廓,构建基于距离正则化的水平集函数模型,结合超像素边界构建图像能量函数,并进行水平集演化,得到目标的精分割轮廓。
2.根据权利要求1所述的基于异质滤波探测与水平集分割的声纳图像目标处理方法,其特征在于:步骤一中,通过声纳器件采集声纳数据,并将声纳数据保存为可解读的XTF文件,解析XTF文件获取声纳可视化数据并生成声纳可视化瀑布图;针对可视化数据,对瀑布图采用半帧交叉截取方法将图像截取成固定大小的声纳图像。
3.根据权利要求1所述的基于异质滤波探测与水平集分割的声纳图像目标处理方法,其特征在于:步骤二中,将声纳图像中的每个像素分别作为目标像素,并对目标像素进行以下处理:针对在图像全域的除目标像素外的所有像素,均计算其邻域与目标像素的邻域的局部相似度;并用除目标像素外的所有像素以局部相似度为权重的加权均值代替目标像素的像素值。
4.根据权利要求1所述的基于异质滤波探测与水平集分割的声纳图像目标处理方法,其特征在于:步骤三中进行超像素分割的过程为:
3-1.根据声纳图像大小,将声呐图像的被处理部分划分为若干个S×S像素的子区域;分别计算各子区域中心的4×4邻域的梯度值,将种子点置于梯度值最小的位置;以各子区域的种子点为超像素中心;为各个子区域分配初始类标签;
3-2.以种子点的2S×2S邻域为搜索范围,计算搜索范围每个像素点与种子点的距离度量D如下:
其中,dc为当前像素点与相邻的种子点的像素值距离;ds为当前像素点与相邻的种子点的像素坐标距离;dt为当前像素点与相邻的种子点的LDZP纹理描述值距离;
以距离度量D最小为标准将各像素归入不同种子点对应的类中;
3-3.以同一类标签的各像素的坐标平均值作为该类标签的种子点位置,更新该类标签的种子点位置;
3-4.根据步骤3-2和步骤3-3进行类标签与类种子点位置的迭代更新,直至每个类种子点的位置不再发生变化为止;
3-5.针对类标签矩阵,按从左到右,从上到下的顺序将不连续的类、像素数量小于预设值的类重新分配给邻近的类,直至重新分配完毕,得到最终的超像素分割图像以及超像素类标签矩阵;
3-6.对于每个类,分别计算其所有像素值的均值作为该类对应的超像素的像素值,并以超像素中心的坐标位置为映射位置,生成超像素图像ISP。
5.根据权利要求1所述的基于异质滤波探测与水平集分割的声纳图像目标处理方法,其特征在于:步骤四的过程如下:
4-1.亮区滤波;
构建亮区异质滤波器fo如下:
其中,fo[2,2]=3的位置为卷积中心,以亮区异质滤波器fo作为卷积核在超像素图像ISP上进行卷积操作,根据卷积结果区分出目标亮区Ωo;
将目标亮区Ωo中的所有像素的卷积结果HCAHO_o按比例缩放至127.5~255灰度级,得到亮区滤波图像HCAHO;
4-2.暗区滤波;
构建暗区异质滤波器fs为:
其中,fo[2,3]=-3的位置为卷积中心,以暗区异质滤波器fs作为卷积核在超像素图像ISP上进行卷积操作,根据卷积结果区分出目标暗区Ωs;
将目标暗区Ωs中的所有像素的卷积结果HCAHS_s按比例缩放至127.5~255灰度级,得到亮区滤波图像HCAHS;
4-3.将亮区滤波图像HCAHO和暗区滤波图像HCAHS融合,得到异质滤波图像HCAH如下:
HCAH=(HCAHO+HCAHS)-127.5。
6.根据权利要求1所述的基于异质滤波探测与水平集分割的声纳图像目标处理方法,其特征在于:步骤五的具体过程如下:
5-1.根据构建目标亮区处理图像HCAAo如下:
其中,HCAAo(i)、HCAH(i)分别为目标亮区处理图像HCAAo、异质滤波图像HCAH中超像素点i的像素值;σi 2为异质滤波图像HCAH中以超像素点i为中心的3×3邻域的像素值方差,μi为异质滤波图像HCAH中以超像素点i为中心的3×3邻域的像素值均值;ko为亮区的自适应阈值;
根据构建目标暗区处理图像HCAAs如下:
其中,HCAAo(i)、HCAH(i)分别为目标暗区处理图像HCAAo、异质滤波图像HCAH中超像素点i的像素值;ks为暗区的自适应阈值;
5-2.将目标亮区处理图像HCAAo与目标暗区处理图像HCAAs融合,得到自适应阈值处理图像HCAA如下:
HCAA=(HCAAo+HCAAs)-127.5。
7.根据权利要求1所述的基于异质滤波探测与水平集分割的声纳图像目标处理方法,其特征在于:步骤六的具体过程如下:
6-1.以自适应阈值处理图像HCAA中的亮区轮廓和暗区轮廓为初始轮廓,对目标区域构建基于距离正则化的水平集能量函数Γ(φ1,φ2,f1,f2,f3)为:
Γ(φ1,φ2,f1,f2,f3)=ε(φ1,φ2,f1,f2,f3)+RP(φ1,φ2)+E(φ1,φ2)
其中,ε(φ1,φ2,f1,f2,f3)为局部拟合能量,RP(φ1,φ2)为距离正则化项;E(φ1,φ2)为超像素约束项;
局部拟合能量ε(φ1,φ2,f1,f2,f3)的表达式如下:
其中,φ1为目标亮区的水平集函数,φ2为目标暗区的水平集函数,f1为φ1的零级曲线内部的图像局部拟合能量;f2为φ2的零级曲线内部的图像局部拟合能量,f3为图像轮廓外部的局部拟合能量;K为高斯核函数,λi为局部拟合能量项的参数,vi为长度惩罚项的参数,H(·)为Heaviside函数,表达式为:
其中,∈为Heaviside函数参数;
距离正则化项RP(φ1,φ2)的表达式如下:
其中,μi为距离正则化项参数;P(·)为双井势函数,其表达式如下:
超像素约束项E(φ1,φ2)的表达式如下:
6-2.构建双区域水平集演化方程如下:
其中,div(·)为散度操作,δ(·)的表达式如下:
6-3.根据以上水平集演化方程,对目标亮区与暗区的初始轮廓进行演化,直至演化收敛,得到声纳图像中目标的精确轮廓。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210836901.9A CN115147710A (zh) | 2022-07-15 | 2022-07-15 | 基于异质滤波探测与水平集分割的声纳图像目标处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210836901.9A CN115147710A (zh) | 2022-07-15 | 2022-07-15 | 基于异质滤波探测与水平集分割的声纳图像目标处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115147710A true CN115147710A (zh) | 2022-10-04 |
Family
ID=83411233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210836901.9A Pending CN115147710A (zh) | 2022-07-15 | 2022-07-15 | 基于异质滤波探测与水平集分割的声纳图像目标处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115147710A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115601630A (zh) * | 2022-12-15 | 2023-01-13 | 山东天意装配式建筑装备研究院有限公司(Cn) | 用于墙板模具自动清理机的污渍识别方法 |
CN115984145A (zh) * | 2023-02-27 | 2023-04-18 | 湖南城市学院 | 一种精准鱼道过鱼识别方法 |
CN116563289A (zh) * | 2023-07-11 | 2023-08-08 | 凯德技术长沙股份有限公司 | 一种基于机器视觉的贴标品质检测方法和系统 |
CN117152221A (zh) * | 2023-10-26 | 2023-12-01 | 山东科技大学 | 一种图像非刚性配准方法、系统、设备和存储介质 |
CN117314763A (zh) * | 2023-08-17 | 2023-12-29 | 贵州医科大学附属口腔医院 | 一种基于机器学习的口腔卫生管理方法及系统 |
-
2022
- 2022-07-15 CN CN202210836901.9A patent/CN115147710A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115601630A (zh) * | 2022-12-15 | 2023-01-13 | 山东天意装配式建筑装备研究院有限公司(Cn) | 用于墙板模具自动清理机的污渍识别方法 |
CN115984145A (zh) * | 2023-02-27 | 2023-04-18 | 湖南城市学院 | 一种精准鱼道过鱼识别方法 |
CN115984145B (zh) * | 2023-02-27 | 2024-02-02 | 湖南城市学院 | 一种精准鱼道过鱼识别方法 |
CN116563289A (zh) * | 2023-07-11 | 2023-08-08 | 凯德技术长沙股份有限公司 | 一种基于机器视觉的贴标品质检测方法和系统 |
CN116563289B (zh) * | 2023-07-11 | 2023-09-29 | 凯德技术长沙股份有限公司 | 一种基于机器视觉的贴标品质检测方法和系统 |
CN117314763A (zh) * | 2023-08-17 | 2023-12-29 | 贵州医科大学附属口腔医院 | 一种基于机器学习的口腔卫生管理方法及系统 |
CN117152221A (zh) * | 2023-10-26 | 2023-12-01 | 山东科技大学 | 一种图像非刚性配准方法、系统、设备和存储介质 |
CN117152221B (zh) * | 2023-10-26 | 2024-01-16 | 山东科技大学 | 一种图像非刚性配准方法、系统、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115147710A (zh) | 基于异质滤波探测与水平集分割的声纳图像目标处理方法 | |
CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
CN109840913B (zh) | 一种乳腺x线图像中肿块分割的方法和系统 | |
CN102156996B (zh) | 一种图像边缘检测的方法 | |
CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
Ofir et al. | On detection of faint edges in noisy images | |
CN104217422A (zh) | 一种自适应窄带水平集的声纳图像检测方法 | |
CN105913425B (zh) | 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法 | |
CN107590512A (zh) | 一种模板匹配中参数的自适应方法和系统 | |
CN109410147A (zh) | 一种超空泡图像增强方法 | |
CN113344810A (zh) | 基于动态数据分布的图像增强方法 | |
CN113592782A (zh) | 一种复合材料碳纤维芯棒x射线图像缺陷提取方法及系统 | |
AlAzawee et al. | Using morphological operations—Erosion based algorithm for edge detection | |
CN112396618B (zh) | 一种基于图像处理的晶界提取及晶粒度测量方法 | |
Reddy et al. | Canny scale edge detection | |
CN112016391B (zh) | 基于高分辨率卫星遥感影像的鱼塘识别方法、系统及介质 | |
CN116739943A (zh) | 图像平滑处理方法及目标轮廓提取方法 | |
CN115457296A (zh) | 一种面向非平稳纹理结构属性的结构提取方法 | |
Khan et al. | Segmentation of single and overlapping leaves by extracting appropriate contours | |
Xing et al. | Robust mesh denoising based on collaborative filters | |
CN113763404A (zh) | 基于优化标记和边缘约束分水岭算法的泡沫图像分割方法 | |
Zhengtao et al. | Fast capsule image segmentation based on linear region growing | |
Liu et al. | Pointwise shape-adaptive texture filtering | |
CN114677303B (zh) | 一种基于集成边缘数据增强的亚像素边缘检测方法 | |
CN111476821B (zh) | 基于在线学习的目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |