CN102142136B - 基于神经网络的声纳图像的超分辨率重建方法 - Google Patents

基于神经网络的声纳图像的超分辨率重建方法 Download PDF

Info

Publication number
CN102142136B
CN102142136B CN201110052542A CN201110052542A CN102142136B CN 102142136 B CN102142136 B CN 102142136B CN 201110052542 A CN201110052542 A CN 201110052542A CN 201110052542 A CN201110052542 A CN 201110052542A CN 102142136 B CN102142136 B CN 102142136B
Authority
CN
China
Prior art keywords
image
resolution
band
matrix
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110052542A
Other languages
English (en)
Other versions
CN102142136A (zh
Inventor
程倩倩
范新南
李庆武
霍冠英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201110052542A priority Critical patent/CN102142136B/zh
Publication of CN102142136A publication Critical patent/CN102142136A/zh
Application granted granted Critical
Publication of CN102142136B publication Critical patent/CN102142136B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

一种基于神经网络的声纳图像的超分辨率重建方法，对待超分辨率重建的声纳图像r进行超分辨率重建，包括以下步骤：对一幅高分辨率声纳图像和4幅降质样本图像，先进行非下采样轮廓波分解，再进行神经网络训练；对待超分辨率重建的声纳图像r，先进行立方插值，将插值后图像作为高分辨率的低通子带系数
Figure DEST_PATH_IMAGE002
；对声纳图像r再进行非下采样轮廓波分解，然后将待超分辨率重建的声纳图像r的各带通方向子带系数输入训练好的神经网络得到高分辨率的各带通方向子带系数
Figure DEST_PATH_IMAGE004
，最后进行非下采样轮廓波逆变换，得到超分辨率重建的声纳图像R。本发明超分辨率重建的声纳图像具有更好的边缘、细节保持效果，目视效果更好，有利于海底勘测和后续水下目标定位识别等处理。

Description

基于神经网络的声纳图像的超分辨率重建方法
技术领域
本发明属于图像信号处理技术领域，具体地说涉及一种基于神经网络的声纳图像的超分辨率重建方法。
背景技术
21世纪是人类探索与开发海洋的世纪，海洋勘测和海军国防建设的技术需求在不断地提高，使得水下声纳技术越来越受到重视。然而，由于海洋中声音种类多种多样，导致声纳仪器设备得到的声纳图像通常分辨率较低，目标边缘恶化，不易识别。有效提高声纳图像的分辨率，增强边缘细节将有利于海底勘测和后续的水下目标定位识别等处理。
图像空间分辨率是对图像细节分辨能力的一种度量，也是评价目标细微程度的关键性指标，所以图像的超分辨率重建一直是人们研究的热点课题。利用多幅具有互补信息的低分辨率声纳图像来重构一幅高分辨率声纳图像的超分辨重建，为有效提高声纳图像的分辨率提供了解决途径。目前，超分辨率重建技术主要分为频域法和空域法。频域法最早是由Tsai和Huang在1984年提出的，该方法缺乏灵活性，不能推广到一般的非平移运动模型。相比于频域法，空域法能够方便的融合各种先验信息，降质模型涉及范围广，具有更大的灵活性。其方法主要有非均匀插值法，迭代反投影（IBP）算法，凸集投影（POCS）算法，最大后验概率估计算法 (MAP)和最大似然估计方法（ML），混合ML/MAP/POSC，自适应滤波法，超分辨率盲重建法等。近年来，人们又提出基于学习的超分辨率方法（间接地最大后验概率估计和直接的最大后验概率估计）、图像类推方法和神经网络方法等。然而，对于分辨率低、边缘纹理模糊声纳图像，当前的各种超分辨方法大都存在边缘模糊、有用信息量少、纹理细节弱、信噪比低等问题。
发明内容
本发明的目的是要提供一种边缘纹理清晰、有用信息量较丰富、信噪比高的基于神经网络的声纳图像的超分辨率重建方法。
本发明实现上述目的的技术方案是，一种基于神经网络的声纳图像的超分辨率重建方法，其创新点在于：对待超分辨率重建的声纳图像r进行超分辨率重建，包括以下步骤： 
（1）对一幅高分辨率声纳图像进行降质样本构建，先生成该高分辨率声纳图像的4幅副本图像，再分别对该4幅副本图像进行移位和降采样，从而生成4幅降质样本图像；
（2）对步骤（1）中的高分辨率声纳图像进行非下采样轮廓波分解，得到高分辨率声纳图像的K个带通方向子带系数和1个低通子带系数；再对4幅降质样本图像依次进行非下采样轮廓波分解，每一幅降质样本图像均得到K个带通方向子带系数和1个低通子带系数，K为正整数；
（3）创建三层的误差反向传播神经网络结构，输入层神经元为16个，隐含层神经元为                                                
Figure 135830DEST_PATH_IMAGE001
个，输出层神经元为16个；
（4）对步骤（2）中的高分辨率声纳图像的K个带通方向子带系数进行分块，得到高分辨率声纳图像的图像子块
Figure 201110052542X100002DEST_PATH_IMAGE002
Figure 305168DEST_PATH_IMAGE003
，该高分辨率声纳图像的图像子块
Figure 84905DEST_PATH_IMAGE002
的大小为4*4，其中d代表第d个带通方向子带系数，n代表第n块图像子块，n为正整数；接着对第m幅降质样本图像的K个带通方向子带系数进行分块，得到第m幅降质样本图像的图像子块
Figure 201110052542X100002DEST_PATH_IMAGE004
Figure 729382DEST_PATH_IMAGE005
，该第m幅降质样本图像的图像子块的大小为4*4，其中 m代表第m幅降质样本图像，d代表第d个带通方向子带系数，n代表第n块图像子块，n为正整数；
（5）将步骤（4）中的高分辨率声纳图像的图像子块
Figure 201110052542X100002DEST_PATH_IMAGE006
Figure 992315DEST_PATH_IMAGE003
进行标准化，即将高分辨率声纳图像的图像子块
Figure 134715DEST_PATH_IMAGE006
的大小由4*4转变成16*1，接着对高分辨率声纳图像的图像子块
Figure 333615DEST_PATH_IMAGE006
进行归一化，即使高分辨率声纳图像的图像子块的系数值分布在[-1,1]之间；再将高分辨率声纳图像的图像子块
Figure 248055DEST_PATH_IMAGE006
按照1到n的顺序从右到左竖向排列成矩阵
Figure 376285DEST_PATH_IMAGE007
Figure 113297DEST_PATH_IMAGE003
，其中d代表第d个带通方向子带系数；
（6）将步骤（4）中的第m幅降质样本图像的图像子块
Figure 318724DEST_PATH_IMAGE005
进行标准化，即将第m幅降质样本图像的图像子块
Figure 560350DEST_PATH_IMAGE004
的大小由4*4转变成16*1，接着对第m幅降质样本图像的图像子块
Figure 710839DEST_PATH_IMAGE004
进行归一化，即使第m幅降质样本图像的图像子块的系数值分布在[-1,1]之间；再将第m幅降质样本图像的图像子块
Figure 938744DEST_PATH_IMAGE004
按照1到n的顺序从右到左竖向排列成矩阵
Figure 201110052542X100002DEST_PATH_IMAGE008
Figure 44497DEST_PATH_IMAGE005
，其中m代表第m幅降质样本图像，d代表第d个带通方向子带系数；
（7）将矩阵
Figure 998677DEST_PATH_IMAGE009
Figure 201110052542X100002DEST_PATH_IMAGE010
、矩阵 、矩阵
Figure 201110052542X100002DEST_PATH_IMAGE014
和矩阵
Figure 94307DEST_PATH_IMAGE015
Figure 201110052542X100002DEST_PATH_IMAGE016
逐个作为误差反向传播神经网络的训练输入样本矩阵，矩阵
Figure 852178DEST_PATH_IMAGE017
Figure 201110052542X100002DEST_PATH_IMAGE018
作为误差反向传播神经网络的训练目标样本矩阵，进行4*n次神经网络训练；接着将其它的矩阵
Figure 456859DEST_PATH_IMAGE008
Figure 399408DEST_PATH_IMAGE019
逐个作为误差反向传播神经网络的训练输入样本矩阵，相对应的矩阵
Figure 211243DEST_PATH_IMAGE007
Figure 201110052542X100002DEST_PATH_IMAGE020
作为误差反向传播神经网络的训练目标样本矩阵，再进行(K-1)*4*n次神经网络训练，从而得到训练好的神经网络，其中隐含层的传递函数为tansig函数，输出层的传递函数为logsig函数，网络训练函数为trainlm函数，即采用Levenberg-Marquardt最优化算法进行神经网络训练；
（8）将待超分辨率重建的声纳图像r进行立方插值，该待超分辨率重建的声纳图像r的大小为X*Y，插值后图像的大小变为2X*2Y，然后再对插值后图像进行非下采样轮廓波分解，得到1个低通子带系数和K个带通方向子带系数，再对插值后图像的K个带通方向子带系数进行分块，得到插值后图像的图像子块（），图像子块
Figure 208556DEST_PATH_IMAGE021
的大小为4*4，其中d代表第d个带通方向子带系数，p代表第p块图像子块，接着对插值后图像的图像子块
Figure 695907DEST_PATH_IMAGE021
进行标准化，即将插值后图像的图像子块
Figure 496504DEST_PATH_IMAGE021
的大小由4*4转变成16*1，接着再对插值后图像的图像子块
Figure 720812DEST_PATH_IMAGE021
进行归一化，即使插值后图像的图像子块
Figure 159140DEST_PATH_IMAGE021
的系数值分布在[-1,1]之间；再将插值后图像的图像子块
Figure 318857DEST_PATH_IMAGE023
按照1到n的顺序从右到左竖向排列成矩阵
Figure 201110052542X100002DEST_PATH_IMAGE024
（d=1），再将插值后图像的其它图像子块
Figure 105285DEST_PATH_IMAGE025
也按照1到p的顺序从右到左竖向排列，得到矩阵集合
Figure 201110052542X100002DEST_PATH_IMAGE026
；
（9）依次将矩阵集合
Figure 385481DEST_PATH_IMAGE026
中的矩阵输入步骤（7）中训练好的误差反向传播神经网络，依次输出高分辨率的带通方向子带系数的块矩阵
Figure 442430DEST_PATH_IMAGE027
；
（10）对步骤（9）中的高分辨率的带通方向子带系数的块矩阵
Figure 632103DEST_PATH_IMAGE027
进行逆归一化，即使高分辨率的带通方向子带系数的块矩阵
Figure 905827DEST_PATH_IMAGE027
的系数值还原到原先的取值范围，接着对高分辨率的带通方向子带系数的块矩阵
Figure 347304DEST_PATH_IMAGE027
进行逆标准化，即将高分辨率的带通方向子带系数的块矩阵
Figure 25803DEST_PATH_IMAGE027
的大小由16*1转变成原先的4*4，再将高分辨率的带通方向子带系数的块矩阵
Figure 386377DEST_PATH_IMAGE027
按照1到p的顺序合并成大小为2X*2Y的高分辨率的K个带通方向子带系数
Figure 201110052542X100002DEST_PATH_IMAGE028
；
（11）将步骤（8）中的插值后图像作为高分辨率的低通子带系数
Figure 22764DEST_PATH_IMAGE029
，再将高分辨率的低通子带系数
Figure 267932DEST_PATH_IMAGE029
与步骤（10）中的高分辨率的各带通方向子带系数
Figure 158527DEST_PATH_IMAGE028
一起进行非下采样轮廓波逆变换，得到超分辨率重建的声纳图像R，从而完成对待超分辨率重建的声纳图像r的超分辨率重建。  
步骤（1）中，将该幅高分辨率声纳图像，记为L，用S表示分辨率，
样本构建的具体步骤如下：
1）将该幅高分辨率声纳图像L分别在水平方向上平移x个像素，在垂直反向上平移y个像素，其中
Figure 201110052542X100002DEST_PATH_IMAGE030
，得到4幅位移图像
Figure 207779DEST_PATH_IMAGE031
；
2）分别对4幅位移图像
Figure 201110052542X100002DEST_PATH_IMAGE032
先进行2倍降采样，再进行双线性插值，得到4幅降质样本图像
Figure 190517DEST_PATH_IMAGE033
。
步骤（2）中，对高分辨率声纳图像进行J级非下采样轮廓波分解，得到低通子带系数
Figure 201110052542X100002DEST_PATH_IMAGE034
和各尺度上的带通方向子带系数
Figure 616206DEST_PATH_IMAGE035
，其中
Figure 201110052542X100002DEST_PATH_IMAGE036
表示尺度，表示子带方向，
Figure 201110052542X100002DEST_PATH_IMAGE038
表示尺度上分解的方向数。
步骤（3）中，隐含层神经元个数
Figure 192440DEST_PATH_IMAGE001
，根据如下公式确定：
Figure 904044DEST_PATH_IMAGE039
其中，为输入层神经元个数，
Figure 18500DEST_PATH_IMAGE041
为输出层神经元个数，
Figure 201110052542X100002DEST_PATH_IMAGE042
为[1,10]之间的常数。
tansig函数如下所示： tansig(n) = 2/(1+exp(-2*n))-1  ，
logsig函数如下所示： logsig(n) = 1 / (1 + exp(-n))  。
非下采样轮廓波变换的各向异性和平移不变性有利于声纳图像边缘纹理的保护，快速收敛的神经网络模拟并泛化高分辨率声纳图像的各带通方向子带系数与降质样本图像的各带通方向子带系数间的非线性映射关系。因为有外部数据的支持，添加的纹理细节更加合理并接近真实，超分辨率重建的声纳图像具有更好的边缘细节保持效果，视觉效果较好，边缘纹理较突出，有用信息量多。
附图说明
图1为本发明的超分辨率重建方法流程图；
图2为本发明的神经网络训练流程图；
图3为本发明的神经网络结构图；
图4为声纳图像的超分辨率重建结果图；
图5为图4的局部区域放大图。
具体实施方式
以下结合附图对本发明做进一步详细描述。
如图1~3所示，一种基于神经网络的声纳图像的超分辨率重建方法，对待超分辨率重建的声纳图像r进行超分辨率重建，包括以下步骤： 
（1）对一幅高分辨率声纳图像进行降质样本构建，先生成该高分辨率声纳图像的4幅副本图像，再分别对该4幅副本图像进行移位和降采样，从而生成4幅降质样本图像；
（2）对步骤（1）中的高分辨率声纳图像进行非下采样轮廓波分解，得到高分辨率声纳图像的K个带通方向子带系数和1个低通子带系数；再对4幅降质样本图像依次进行非下采样轮廓波分解，每一幅降质样本图像均得到K个带通方向子带系数和1个低通子带系数，K为正整数；
（3）创建三层的误差反向传播神经网络结构，输入层神经元为16个，隐含层神经元为
Figure 32723DEST_PATH_IMAGE001
个，输出层神经元为16个；如图3所示，输入层为x1~x16，输出层为y1~y16。
（4）对步骤（2）中的高分辨率声纳图像的K个带通方向子带系数进行分块，得到高分辨率声纳图像的图像子块
Figure 992982DEST_PATH_IMAGE002
Figure 118064DEST_PATH_IMAGE003
，该高分辨率声纳图像的图像子块
Figure 477239DEST_PATH_IMAGE002
的大小为4*4，其中d代表第d个带通方向子带系数，n代表第n块图像子块，n为正整数；接着对第m幅降质样本图像的K个带通方向子带系数进行分块，得到第m幅降质样本图像的图像子块
Figure 733088DEST_PATH_IMAGE005
，该第m幅降质样本图像的图像子块
Figure 186764DEST_PATH_IMAGE004
的大小为4*4，其中 m代表第m幅降质样本图像，d代表第d个带通方向子带系数，n代表第n块图像子块，n为正整数； 
（5）将步骤（4）中的高分辨率声纳图像的图像子块
Figure 901910DEST_PATH_IMAGE006
Figure 382570DEST_PATH_IMAGE003
进行标准化，即将高分辨率声纳图像的图像子块
Figure 48912DEST_PATH_IMAGE006
的大小由4*4转变成16*1，接着对高分辨率声纳图像的图像子块
Figure 781376DEST_PATH_IMAGE006
进行归一化，即使高分辨率声纳图像的图像子块
Figure 852493DEST_PATH_IMAGE006
的系数值分布在[-1,1]之间；再将高分辨率声纳图像的图像子块
Figure 504055DEST_PATH_IMAGE006
按照1到n的顺序从右到左竖向排列成矩阵
Figure 424737DEST_PATH_IMAGE007
，其中d代表第d个带通方向子带系数；
（6）将步骤（4）中的第m幅降质样本图像的图像子块
Figure 618007DEST_PATH_IMAGE004
Figure 706049DEST_PATH_IMAGE005
进行标准化，即将第m幅降质样本图像的图像子块
Figure 349913DEST_PATH_IMAGE004
的大小由4*4转变成16*1，接着对第m幅降质样本图像的图像子块进行归一化，即使第m幅降质样本图像的图像子块
Figure 827479DEST_PATH_IMAGE004
的系数值分布在[-1,1]之间；再将第m幅降质样本图像的图像子块
Figure 460323DEST_PATH_IMAGE004
按照1到n的顺序从右到左竖向排列成矩阵 ，其中m代表第m幅降质样本图像，d代表第d个带通方向子带系数；
（7）将矩阵
Figure 727247DEST_PATH_IMAGE009
Figure 32458DEST_PATH_IMAGE010
、矩阵
Figure 382405DEST_PATH_IMAGE011
Figure 798474DEST_PATH_IMAGE012
、矩阵
Figure 441945DEST_PATH_IMAGE013
Figure 153943DEST_PATH_IMAGE014
和矩阵
Figure 758231DEST_PATH_IMAGE015
Figure 837045DEST_PATH_IMAGE016
逐个作为误差反向传播（BP）神经网络的训练输入样本矩阵，矩阵
Figure 90358DEST_PATH_IMAGE018
作为误差反向传播（BP）神经网络的训练目标样本矩阵，进行4*n次神经网络训练；接着将其它的矩阵
Figure 683406DEST_PATH_IMAGE008
Figure 565912DEST_PATH_IMAGE019
逐个作为误差反向传播神经网络的训练输入样本矩阵，相对应的矩阵
Figure 793762DEST_PATH_IMAGE007
Figure 110211DEST_PATH_IMAGE020
作为误差反向传播神经网络的训练目标样本矩阵，再进行(K-1)*4*n次神经网络训练，从而得到训练好的神经网络，其中隐含层的传递函数为tansig函数，输出层的传递函数为logsig函数，网络训练函数为trainlm函数，即采用Levenberg-Marquardt最优化算法进行神经网络训练；
（8）将待超分辨率重建的声纳图像r进行立方插值，该待超分辨率重建的声纳图像r的大小为X*Y，插值后图像的大小变为2X*2Y，然后再对插值后图像进行非下采样轮廓波分解，得到1个低通子带系数和K个带通方向子带系数，再对插值后图像的K个带通方向子带系数进行分块，得到插值后图像的图像子块
Figure 548146DEST_PATH_IMAGE021
（
Figure 844129DEST_PATH_IMAGE022
），图像子块
Figure 693530DEST_PATH_IMAGE021
的大小为4*4，其中d代表第d个带通方向子带系数，p代表第p块图像子块，接着对插值后图像的图像子块
Figure 416767DEST_PATH_IMAGE021
进行标准化，即将插值后图像的图像子块
Figure 341997DEST_PATH_IMAGE021
的大小由4*4转变成16*1，接着再对插值后图像的图像子块
Figure 940207DEST_PATH_IMAGE021
进行归一化，即使插值后图像的图像子块
Figure 142649DEST_PATH_IMAGE021
的系数值分布在[-1,1]之间；再将插值后图像的图像子块按照1到n的顺序从右到左竖向排列成矩阵
Figure 216358DEST_PATH_IMAGE024
（d=1），再将插值后图像的其它图像子块
Figure 854143DEST_PATH_IMAGE025
也按照1到p的顺序从右到左竖向排列，得到矩阵集合
Figure 409627DEST_PATH_IMAGE026
；
（9）依次将矩阵集合
Figure 864879DEST_PATH_IMAGE026
中的矩阵输入步骤（7）中训练好的误差反向传播神经网络，依次输出高分辨率的带通方向子带系数的块矩阵
Figure 640069DEST_PATH_IMAGE027
；
（10）对步骤（9）中的高分辨率的带通方向子带系数的块矩阵
Figure 559573DEST_PATH_IMAGE027
进行逆归一化，即使高分辨率的带通方向子带系数的块矩阵
Figure 595662DEST_PATH_IMAGE027
的系数值还原到原先的取值范围，接着对高分辨率的带通方向子带系数的块矩阵
Figure 97181DEST_PATH_IMAGE027
进行逆标准化，即将高分辨率的带通方向子带系数的块矩阵的大小由16*1转变成原先的4*4，再将高分辨率的带通方向子带系数的块矩阵
Figure 837790DEST_PATH_IMAGE027
按照1到p的顺序合并成大小为2X*2Y的高分辨率的K个带通方向子带系数
Figure 993965DEST_PATH_IMAGE028
；
（11）将步骤（8）中的插值后图像作为高分辨率的低通子带系数
Figure 167851DEST_PATH_IMAGE029
，再将高分辨率的低通子带系数
Figure 652053DEST_PATH_IMAGE029
与步骤（10）中的高分辨率的各带通方向子带系数
Figure 825545DEST_PATH_IMAGE028
一起进行非下采样轮廓波逆变换，得到超分辨率重建的声纳图像R，从而完成对待超分辨率重建的声纳图像r的超分辨率重建。
步骤（1）中，将该幅高分辨率声纳图像，记为L，用S表示分辨率，
样本构建的具体步骤如下：
1）将该幅高分辨率声纳图像L分别在水平方向上平移x个像素，在垂直反向上平移y个像素，其中
Figure 210128DEST_PATH_IMAGE030
，得到4幅位移图像
Figure 53450DEST_PATH_IMAGE031
；
2）分别对4幅位移图像
Figure 526413DEST_PATH_IMAGE032
先进行2倍降采样，再进行双线性插值，得到4幅降质样本图像
Figure 972438DEST_PATH_IMAGE033
。
步骤（2）中，对高分辨率声纳图像进行J级非下采样轮廓波分解，得到低通子带系数
Figure 978571DEST_PATH_IMAGE034
和各尺度上的带通方向子带系数
Figure 491330DEST_PATH_IMAGE035
，其中
Figure 74758DEST_PATH_IMAGE036
表示尺度，
Figure 199840DEST_PATH_IMAGE037
表示子带方向，表示尺度
Figure 871703DEST_PATH_IMAGE036
上分解的方向数。
步骤（3）中，隐含层神经元个数
Figure 817794DEST_PATH_IMAGE001
，根据如下公式确定：
Figure 245102DEST_PATH_IMAGE039
其中，为输入层神经元个数，
Figure 440908DEST_PATH_IMAGE041
为输出层神经元个数，
Figure 110180DEST_PATH_IMAGE043
为[1,10]之间的常数。
tansig函数如下所示： tansig(n) = 2/(1+exp(-2*n))-1  ，
logsig函数如下所示： logsig(n) = 1 / (1 + exp(-n))  。
本发明的效果可通过以下对比实验进一步说明。
1．实验条件
采用主观和客观两种测度，对本发明提供的方法进行评估，并与双立方插值、凸集投影（POCS）和迭代反投影（IBP）方法进行对比实验。实验数据是由声纳设备MSTL在华盛顿湖164英尺的湖底获取的飞行器图，声纳工作频率为600 kHz。计算机硬件配置为Pentium（R）4，主频3GHz，软件平台为Matlab R2007。
2．实验内容
本发明在具体实施时，非下采样轮廓波的分解层数及每层分解的方向数的选取有较大的灵活性，但每层的方向数应为2的幂数。多尺度分解层数通常可取为2，按照从低分辨率层到高分辨率层，方向分解数通常可取为4和8，尺度分解的1D原型滤波器组一般采用‘9-7’滤波器，方向分解的1D原型滤波器组一般采用‘dmaxflat’滤波器。
A．主观实验，如图4、图5所示。
图4(a)是待超分辨率重建的声纳图像，大小为128*128。
图4(b)是本发明超分辨率重建的声纳图像，其中非下采样金字塔滤波器和方向滤波器分别为‘maxflat’和‘dmaxflat7’，方向数分别为4和8；图4(c)是对图4(a)进行立方插值后的声纳图像；图4(d)是采用IBP方法超分辨率重建的声纳图像，迭代的次数为40；图4(e)采用POCS方法超分辨率重建的声纳图像，迭代次数为10。
从视觉效果看，本发明超分辨率重建的声纳图像4(b)的边缘更为清晰完整，纹理更分明，没有震荡条纹，噪声也较少。立方插值后的声纳图像4(c)的边缘较平滑，纹理较弱。IBP方法超分辨率重建的声纳图像4(d)的有用信息量较少，边缘模糊。POCS方法超分辨率重建的声纳图像4(e)的边缘呈现点状，纹理信息较少。
为了更清晰说明效果，对超分辨率重建的声纳图像的局部区域进行放大比较，如图5所示。本发明的局部放大图5(a)的边缘突出，纹理信息更加突出和丰富。立方插值方法的局部放大图5(b)的边缘平滑，纹理特征较突出。IBP方法的局部放大图5(c)的边缘马赛克现象比较明显。POCS方法的局部放大图5(d)的边缘较明显，但纹理弱。
B．客观实验，如表1所示。
表1给出了各种方法得到的声纳图像的超分辨率重建结果图的标准偏差、梯度和信息熵，并且进行了定量比较。通常，标准偏差越大，图像的灰度级分布越均匀，目视效果越好；梯度越大，图像的细节反差越大，纹理特征更为突出，清晰度较高；信息熵越大，图像的信息量越丰富。本发明具有最高的标准偏差值和信息熵值，表明其灰度分布均匀，信息量较多，目视效果较好。表1的定量分析与前面的主观视觉效果相一致，说明了本发明提供方法的有效性。
表1 超分辨率重建的声纳图像的质量参数
方法 凸集投影 立方插值 本发明
标准偏差 24.9017 26.4959 30.8370
梯度 3.1371 3.6878 6.9359
信息熵 5.1048 5.5105 5.6015

Claims (5)

1.一种基于神经网络的声纳图像的超分辨率重建方法，其特征在于：对待超分辨率重建的声纳图像r进行超分辨率重建，包括以下步骤： 
（1）对一幅高分辨率声纳图像进行降质样本构建，先生成该高分辨率声纳图像的4幅副本图像，再分别对该4幅副本图像进行移位和降采样，从而生成4幅降质样本图像；
（2）对步骤（1）中的高分辨率声纳图像进行非下采样轮廓波分解，得到高分辨率声纳图像的K个带通方向子带系数和1个低通子带系数；再对4幅降质样本图像依次进行非下采样轮廓波分解，每一幅降质样本图像均得到K个带通方向子带系数和1个低通子带系数，K为正整数；
（3）创建三层的误差反向传播神经网络结构，输入层神经元为16个，隐含层神经元为                                                
Figure 695503DEST_PATH_IMAGE001
个，输出层神经元为16个；
（4）对步骤（2）中的高分辨率声纳图像的K个带通方向子带系数进行分块，得到高分辨率声纳图像的图像子块
Figure 449833DEST_PATH_IMAGE002
，
Figure 186845DEST_PATH_IMAGE003
，该高分辨率声纳图像的图像子块
Figure 710230DEST_PATH_IMAGE002
的大小为4*4，其中d代表第d个带通方向子带系数，n代表第n块图像子块，n为正整数；接着对第m幅降质样本图像的K个带通方向子带系数进行分块，得到第m幅降质样本图像的图像子块
Figure 77757DEST_PATH_IMAGE004
，其中
Figure 319383DEST_PATH_IMAGE005
，该第m幅降质样本图像的图像子块
Figure 594506DEST_PATH_IMAGE004
的大小为4*4，其中 m代表第m幅降质样本图像，d代表第d个带通方向子带系数，n代表第n块图像子块，n为正整数；
（5）将步骤（4）中的高分辨率声纳图像的图像子块
Figure 237977DEST_PATH_IMAGE006
进行标准化，其中
Figure 510827DEST_PATH_IMAGE003
，即将高分辨率声纳图像的图像子块的大小由4*4转变成16*1，接着对高分辨率声纳图像的图像子块
Figure 318563DEST_PATH_IMAGE006
进行归一化，即使高分辨率声纳图像的图像子块
Figure 816540DEST_PATH_IMAGE006
的系数值分布在[-1,1]之间；再将高分辨率声纳图像的图像子块按照1到n的顺序从右到左竖向排列成矩阵
Figure 476509DEST_PATH_IMAGE007
，其中
Figure 359014DEST_PATH_IMAGE003
，其中d代表第d个带通方向子带系数；
（6）将步骤（4）中的第m幅降质样本图像的图像子块
Figure 711498DEST_PATH_IMAGE004
进行标准化，其中
Figure 654046DEST_PATH_IMAGE005
，即将第m幅降质样本图像的图像子块
Figure 29664DEST_PATH_IMAGE004
的大小由4*4转变成16*1，接着对第m幅降质样本图像的图像子块
Figure 450281DEST_PATH_IMAGE004
进行归一化，即使第m幅降质样本图像的图像子块
Figure 922851DEST_PATH_IMAGE004
的系数值分布在[-1,1]之间；再将第m幅降质样本图像的图像子块
Figure 36300DEST_PATH_IMAGE004
按照1到n的顺序从右到左竖向排列成矩阵
Figure 899214DEST_PATH_IMAGE008
，其中m代表第m幅降质样本图像，d代表第d个带通方向子带系数；
（7）当
Figure 185019DEST_PATH_IMAGE009
时，为矩阵，当
Figure 819579DEST_PATH_IMAGE011
时，为矩阵
Figure 847578DEST_PATH_IMAGE012
，当
Figure 29161DEST_PATH_IMAGE013
时，为矩阵
Figure 218834DEST_PATH_IMAGE014
，当
Figure 56340DEST_PATH_IMAGE015
时，为矩阵
Figure 622450DEST_PATH_IMAGE016
，将矩阵
Figure 924119DEST_PATH_IMAGE010
、矩阵
Figure 284693DEST_PATH_IMAGE012
、矩阵
Figure 609495DEST_PATH_IMAGE014
和矩阵逐个作为误差反向传播神经网络的训练输入样本矩阵，当时矩阵
Figure 666947DEST_PATH_IMAGE018
作为误差反向传播神经网络的训练目标样本矩阵，进行4*n次神经网络训练；接着将其它的矩阵
Figure 213466DEST_PATH_IMAGE008
，其中
Figure 386958DEST_PATH_IMAGE019
逐个作为误差反向传播神经网络的训练输入样本矩阵，相对应的矩阵
Figure 397639DEST_PATH_IMAGE007
，其中
Figure 365595DEST_PATH_IMAGE020
，作为误差反向传播神经网络的训练目标样本矩阵，再进行(K-1)*4*n次神经网络训练，从而得到训练好的神经网络，其中隐含层的传递函数为tansig函数，输出层的传递函数为logsig函数，网络训练函数为trainlm函数，即采用Levenberg-Marquardt最优化算法进行神经网络训练；
（8）将待超分辨率重建的声纳图像r进行立方插值，该待超分辨率重建的声纳图像r的大小为X*Y，插值后图像的大小变为2X*2Y，然后再对插值后图像进行非下采样轮廓波分解，得到1个低通子带系数和K个带通方向子带系数，再对插值后图像的K个带通方向子带系数进行分块，得到插值后图像的图像子块
Figure 399411DEST_PATH_IMAGE021
，其中，图像子块
Figure 976202DEST_PATH_IMAGE021
的大小为4*4，其中d代表第d个带通方向子带系数，p代表第p块图像子块，接着对插值后图像的图像子块
Figure 115060DEST_PATH_IMAGE021
进行标准化，即将插值后图像的图像子块
Figure 636171DEST_PATH_IMAGE021
的大小由4*4转变成16*1，接着再对插值后图像的图像子块
Figure 885887DEST_PATH_IMAGE021
进行归一化，即使插值后图像的图像子块
Figure 871160DEST_PATH_IMAGE021
的系数值分布在[-1,1]之间；再将插值后图像的图像子块，其中
Figure 189326DEST_PATH_IMAGE022
按照1到p的顺序从右到左竖向排列成矩阵，再将插值后图像的其它图像子块
Figure 82513DEST_PATH_IMAGE021
，其中
Figure 563173DEST_PATH_IMAGE020
，也按照1到p的顺序从右到左竖向排列，得到矩阵集合
Figure 793297DEST_PATH_IMAGE024
;
（9）依次将矩阵集合
Figure 650394DEST_PATH_IMAGE024
中的矩阵输入步骤（7）中训练好的误差反向传播神经网络，依次输出高分辨率的带通方向子带系数的块矩阵
Figure 344681DEST_PATH_IMAGE025
，其中
Figure 933925DEST_PATH_IMAGE003
；
（10）对步骤（9）中的高分辨率的带通方向子带系数的块矩阵
Figure 979242DEST_PATH_IMAGE025
进行逆归一化，其中
Figure 374451DEST_PATH_IMAGE003
，即使高分辨率的带通方向子带系数的块矩阵
Figure 923244DEST_PATH_IMAGE025
的系数值还原到原先的取值范围，接着对高分辨率的带通方向子带系数的块矩阵
Figure 948969DEST_PATH_IMAGE025
进行逆标准化，即将高分辨率的带通方向子带系数的块矩阵
Figure 216002DEST_PATH_IMAGE025
的大小由16*1转变成原先的4*4，再将高分辨率的带通方向子带系数的块矩阵
Figure 414902DEST_PATH_IMAGE025
，按照1到p的顺序合并成大小为2X*2Y的高分辨率的K个带通方向子带系数
Figure 818202DEST_PATH_IMAGE026
，其中
Figure 32406DEST_PATH_IMAGE003
；
（11）将步骤（8）中的插值后图像作为高分辨率的低通子带系数，再将高分辨率的低通子带系数
Figure 523747DEST_PATH_IMAGE027
与步骤（10）中的高分辨率的各带通方向子带系数
Figure 47132DEST_PATH_IMAGE026
一起进行非下采样轮廓波逆变换，其中
Figure 414660DEST_PATH_IMAGE003
，得到超分辨率重建的声纳图像R，从而完成对待超分辨率重建的声纳图像r的超分辨率重建。
2.根据权利要求1所述的基于神经网络的声纳图像的超分辨率重建方法，其特征在于：步骤（1）中，将该幅高分辨率声纳图像，记为L，用S表示分辨率，样本构建的具体步骤如下：
1）将该幅高分辨率声纳图像L分别在水平方向上平移x个像素，在垂直方向上平移y个像素，其中
Figure 390706DEST_PATH_IMAGE028
，得到4幅位移图像；
2）分别对4幅位移图像
Figure 574880DEST_PATH_IMAGE030
先进行2倍降采样，再进行双线性插值，得到4幅降质样本图像
Figure 847729DEST_PATH_IMAGE031
。
3.根据权利要求1所述的基于神经网络的声纳图像的超分辨率重建方法，其特征在于：步骤（2）中，对高分辨率声纳图像进行J级非下采样轮廓波分解，得到低通子带系数
Figure 576651DEST_PATH_IMAGE032
和各尺度上的带通方向子带系数，其中
Figure 153443DEST_PATH_IMAGE034
，其中
Figure 597194DEST_PATH_IMAGE035
表示尺度，表示子带方向，
Figure 695917DEST_PATH_IMAGE037
表示尺度上分解的方向数。
4.根据权利要求1所述的基于神经网络的声纳图像的超分辨率重建方法，其特征在于：步骤（3）中，隐含层神经元个数
Figure 928632DEST_PATH_IMAGE001
，根据如下公式确定：
其中，
Figure 787184DEST_PATH_IMAGE039
为输入层神经元个数，
Figure 259753DEST_PATH_IMAGE040
为输出层神经元个数，
Figure 45307DEST_PATH_IMAGE041
为[1,10]之间的常数。
5.根据权利要求1所述的基于神经网络的声纳图像的超分辨率重建方法，其特征在于：tansig函数如下所示： tansig(n) = 2/(1+exp(-2*n))-1  ，
logsig函数如下所示： logsig(n) = 1 / (1 + exp(-n))  。
CN201110052542A 2011-03-05 2011-03-05 基于神经网络的声纳图像的超分辨率重建方法 Expired - Fee Related CN102142136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110052542A CN102142136B (zh) 2011-03-05 2011-03-05 基于神经网络的声纳图像的超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110052542A CN102142136B (zh) 2011-03-05 2011-03-05 基于神经网络的声纳图像的超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN102142136A CN102142136A (zh) 2011-08-03
CN102142136B true CN102142136B (zh) 2012-09-05

Family

ID=44409624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110052542A Expired - Fee Related CN102142136B (zh) 2011-03-05 2011-03-05 基于神经网络的声纳图像的超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN102142136B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102692625A (zh) * 2012-05-15 2012-09-26 哈尔滨工程大学 一种Rn空间中的水底目标回波和混响的特征联合建模方法
CN103325123A (zh) * 2013-07-09 2013-09-25 江南大学 一种基于自适应神经模糊推理系统的图像边缘检测方法
US9405960B2 (en) * 2014-06-17 2016-08-02 Beijing Kuangshi Technology Co., Ltd. Face hallucination using convolutional neural networks
CN104123722B (zh) * 2014-07-08 2017-02-01 东北大学 一种核磁图像超分辨率的系统及方法
CN106033594B (zh) * 2015-03-11 2018-11-13 日本电气株式会社 基于卷积神经网络所获得特征的空间信息恢复方法及装置
CN105354611B (zh) * 2015-10-08 2018-01-09 程涛 一种基于人工神经网络的最佳质量图像扫描方法及系统
CN105574832B (zh) * 2015-12-11 2019-11-15 上海交通大学 基于迭代方向滤波器组可逆深度卷积网络结构
CN106780341B (zh) * 2016-12-28 2020-12-01 辽宁师范大学 基于轮廓波的五阶自导向超分辨率重建方法
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN108053391B (zh) * 2017-11-22 2020-06-23 华中科技大学 一种识别神经元重建错误的方法
CN110060204B (zh) * 2019-04-29 2020-12-29 江南大学 一种基于可逆网络的单一图像超分辨率方法
CN110611821B (zh) * 2019-10-14 2021-06-25 安徽大学 一种改善低码率视频编码器图像质量的技术方案
CN111161156A (zh) * 2019-11-28 2020-05-15 东南大学 一种基于深度学习的水下桥墩病害图像分辨率增强方法
CN111586412B (zh) * 2020-05-06 2022-07-26 华为技术有限公司 高清视频处理方法、主设备、从设备和芯片系统
CN112686807A (zh) * 2021-01-12 2021-04-20 中国科学院长春光学精密机械与物理研究所 一种图像超分辨率重构方法及系统
CN113096017B (zh) * 2021-04-14 2022-01-25 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1857161A (zh) * 2006-06-08 2006-11-08 上海交通大学 用多能量放射源ct成像实现脏器表面彩色映射的方法
CN1952953A (zh) * 2006-11-16 2007-04-25 上海交通大学 基于受限玻尔兹曼机神经网络的人脸姿态识别方法
CN101336831A (zh) * 2008-08-13 2009-01-07 汕头超声仪器研究所 实时三维医学超声图像的重建方法
CN101697236A (zh) * 2009-10-21 2010-04-21 南昌航空大学 基于智能优化算法的直线光流场三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009544394A (ja) * 2006-07-25 2009-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カーブしたマルチスライス表示の方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1857161A (zh) * 2006-06-08 2006-11-08 上海交通大学 用多能量放射源ct成像实现脏器表面彩色映射的方法
CN1952953A (zh) * 2006-11-16 2007-04-25 上海交通大学 基于受限玻尔兹曼机神经网络的人脸姿态识别方法
CN101336831A (zh) * 2008-08-13 2009-01-07 汕头超声仪器研究所 实时三维医学超声图像的重建方法
CN101697236A (zh) * 2009-10-21 2010-04-21 南昌航空大学 基于智能优化算法的直线光流场三维重建方法

Also Published As

Publication number Publication date
CN102142136A (zh) 2011-08-03

Similar Documents

Publication Publication Date Title
CN102142136B (zh) 基于神经网络的声纳图像的超分辨率重建方法
CN101847257B (zh) 基于非局部均值与多级定向图像的图像降噪方法
CN100557633C (zh) 基于梳状波和拉普拉斯塔形分解的多源图像融合方法
CN101303764A (zh) 基于非下采样轮廓波的多传感器图像自适应融合方法
CN105046651B (zh) 一种图像的超分辨率重构方法和装置
CN105913393A (zh) 一种自适应小波阈值图像去噪算法及装置
CN101477679A (zh) 基于轮廓波Contourlet变换的图像去噪方法
CN102063715A (zh) 基于nsct和粒子群优化算法的台风云图融合方法
CN101482617A (zh) 基于非下采样轮廓波的合成孔径雷达图像去噪方法
CN101944230A (zh) 基于多尺度的自然图像非局部均值去噪方法
CN109345516A (zh) 一种变换域hmt模型的脑磁共振体数据自适应增强方法
CN104732504A (zh) 基于压缩感知和wbct变换的图像融合方法
CN102196155B (zh) 基于Surfacelet变换的系数自适应收缩视频去噪方法
Joel et al. Nonsubsampled contourlet transform with cross‐guided bilateral filter for despeckling of medical ultrasound images
CN102339460B (zh) 卫星图像自适应复原方法
CN107133921A (zh) 基于多层次邻域嵌入的图像超分辨率重建方法及系统
CN116205807A (zh) 一种基于深度学习的冷冻电镜图像去噪方法及系统
Al-Azzawi et al. An efficient medical image fusion method using contourlet transform based on PCM
CN102509268B (zh) 基于免疫克隆选择的非下采样轮廓波域图像去噪方法
Entezarmahdi et al. Stationary image resolution enhancement on the basis of contourlet and wavelet transforms by means of the artificial neural network
CN109242797A (zh) 基于均质和异质区域融合的图像去噪方法、系统及介质
CN109035156A (zh) 基于dnst的医学ct图像去噪方法
CN103747268B (zh) 一种分层自适应阈值视频去噪方法
CN103632348B (zh) 一种非线性图像多尺度几何表示方法
CN109191391A (zh) 一种衰减参数自适应非局部均值的图像降噪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20200305