CN106960433A - 一种基于图像熵以及边缘的全参考声纳图像质量评测方法 - Google Patents

Abstract

本发明公开了一种基于图像熵以及边缘的全参考声纳图像质量评测方法，包括以下步骤：S1、定义声纳图像从采集到传输过程的通信模型；S2、计算待测图像和参考图像的局部熵以及显著区域边缘特性作为声纳图像的质量特征；S3、分别计算待测图像和参考图像的质量特征相似度；S4、对两种质量特征相似度进行基于显著性的特征池化；S5、将步骤S4所得两个特征输入声纳图像质量评测模型获得评测质量。该测评方法弥补了声纳图像质量测评方法的不足，测评结果更加准确、精细。

Description

一种基于图像熵以及边缘的全参考声纳图像质量评测方法

技术领域

本发明涉及图像质量测评方法，具体涉及一种基于图像熵以及边缘的全参考声纳图像质量评测方法。

背景技术

目前声纳被大量地应用在水下救援、海洋探测、海洋生物研究、海底测绘等领域。由于声纳设备拍摄回的图像中包含了大量的需要人为识别处理的样本，且训练机器学习所有样本特征的难度过大，所以目前装载在水下航行器上的声纳工作在半自动模式，即声纳采集样本通过水声信道传输回陆地，进行后续识别处理。相较于无线信道而言，水声信道的信道状况更为恶劣，水下传输图像的失真程度相比较在无线信道中传输的图像，更容易受到损伤，因此声纳传输图像的质量测评具有非常大的应用前景。

图像质量评价分为主观质量评价以及客观质量评价两种。图像的主观质量更能代表在人眼中图像呈现出的质量，但由于主观质量测评时需要设置一系列的测评条件，且需采集观测者对待测图像给出的质量等级并进行统计，具有费时、费力、条件复杂等特点，无法作为评价图像质量的常用手段。而图像客观质量，从是否允许参考图像的角度考虑，分为全参考、半参考以及无参考客观质量测评。全参考客观质量测评主要用于允许参考图像的应用场景中，包括图像增强、图像修复的性能评估等。目前全参考质量测评主要分为基于相似度的图像质量测评以及基于失真度的图像质量测评：基于相似度的图像质量测评算法一般提取某一种图像特征，通过对比参考图像和待测图像的特征相似度判断图像质量；基于失真度的图像质量测评算法通常通过研究HVS特性，定义图像的失真度，通过对比待测图像和参考图像，判断待测图像的失真程度。尽管在图像全参考质量测评方面，已经有很丰富的成果，但是由于声纳图像的特性以及应用背景的特殊性，在自然图像上性能很好的全参考图像质量测评往往无法对声纳图像起很好的作用。

发明内容

为实现上述目的，本发明采用以下技术方案：

一种基于图像熵以及边缘的全参考声纳图像质量评测方法，包括以下步骤：

S1、定义声纳图像从采集到传输过程的通信模型；

S2、计算待测图像和参考图像的局部熵以及显著区域边缘特性作为声纳图像的质量特征；

S3、分别计算待测图像和参考图像的质量特征相似度；

S4、对两种质量特征相似度进行基于显著性的特征池化；

S5、将步骤S4所得两个特征输入声纳图像质量评测模型获得评测质量。

进一步地，步骤S1所述声纳图像从采集到传输过程的通信模型为：

声纳发出声波，遇到物体后反射回波，在物体位置的情况下，接收到的回波可以看成是从一个目标随机信源发射出来的信息，而回波信息首先通过回波信道传输到声纳端进行成像，所成像随后经过传输信道传输到用户端进行进一步的探测和处理，由于目标未知无法通过声纳所成图像和实际情况的对比判断回波信道的状况，且回波信道往往传输距离较短，此处认为回波信道信道容量比较大，在上面传输的信息没有损失，而传输信道由于距离较长，且传输的信息较多，更容易造成信息的损失以及图像的失真，所以信宿端接收到声纳图像的失真是由传输信道引起的，在回波信道无损的情况下，声纳所成图像的图像熵可以代表目标随机信源的信息熵，当图像在传输信道中受损，接收图像熵不再等于目标随机信源熵，此时接收图像熵的变化可以代表信道对图像的作用，也就是说可以代表图像经过信道传输后所含的信息量的变化。

进一步地，步骤S2所述提取声纳图像局部熵以及显著区域边缘特性的具体步骤为：

S21、用(2m+1)×(2m+1)的窗分别在参考图像f_r和待测图像f_d上滑动，在窗内提取该(2m+1)×(2m+1)图像块中心位置(x,y)的局部熵H_r(x,y)和H_d(x,y)，对一幅待测图像f在(x,y)位置的局部熵H_f(x,y)的计算方法如下：

P_ij代表该图像块内图像灰度分布：

其中f(x,y)代表在位置(x,y)的灰度；

S22、用canny梯度算子提取参考图像f_r和待测图像f_d的图像梯度e_r和e_d，将图像梯度谱进行膨胀操作即生产图像局部熵的特征掩模M_r和M_d：

M_r＝dilate(e_r)，M_d＝dilate(e_d)

其中dilate(·)代表膨胀操作；

S23、获得该参考图像f_r和待测图像f_d在位置(x,y)处的熵特征值和

S24、将图像分为M×N的图像块b_li，其中i为图像块的索引，利用空域活动性IAM₀计算参考图像每个图像块的活动性即显著程度{IAM(b₁₁),IAM(b₁₂),…IAM(b_1n)}，n为图像块的数量，IAM(·)为计算图像空域活动性的操作；

S25、选取空域活动性最大的图像块b_lm，即用canny梯度算子分别提取参考图像和待测图像该图像块的边缘特征和

进一步地，步骤S3所述计算待测图像和参考图像的质量特征相似度的具体步骤为：

S31、在(x,y)处的图像熵相似度按照如下方法计算：

其中c₁是一个常数，用于防止接近于0而导致的无意义，此处c₁的值设置为c₁(x,y)＝50×min(H_γ(x,y),H_d(x,y))+10^-5；

S32、在(x,y)处的图像边缘相似度按照如下方法计算：

其中c₂是一个常数，通过调参设置c₂＝6.5025。

进一步地，步骤S4所述特征池化的具体步骤为：

S41、将图像分为m×n的小块b_2i，对于每一个(x,y)∈b_2i，其显著性权重w_i(x,y)＝IAM(b_2i)；

S42、w_i组成图像显著谱IAM_map，对该显著谱进行归一化处理，得到归一化的显著谱：

S43、显著谱上的每一个点的值即为图像对应点的权重，最终得到的池化后的特征如下：

进一步地，步骤S5具体包括：

S51、首先在素材库上构建声纳图像质量评测模型，选用二次多项式曲面模型建立池化后的特征参数与图像质量之间关系，选用的二次多项式曲面模型如下：

f(s,e)＝a+bs+ce+ds²+gse+he²；

其中，模型参数确定方式为：把声纳图像库中的图像按照图像内容分类，每次选取80％的图像作为训练图像，以残差最小有为目标做参数拟合，获取一组参数{a,b,c,d,g,h}，重复这个过程1000次，取1000次实验获得的参数的中位数作为最终质量评测模型的参数；

S52、将步骤S43所得两个特征参数输入S51获得的声纳图像质量评测模型中，获得声纳图像的评测质量。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、采用局部熵和边缘特征作为参考特征。

将声纳图像传输前后信息熵的变化作为表征声纳图像质量变化的全局特征，将图像边缘特征所代表的细节信息作为表征声纳图像质量变化的细节特征；进一步地，考虑到人眼只对局部区域具有较高分辨率的特点，在图像熵的计算时选择图像局部熵，而到当图像质量较差时，图像显著区域的细节的变化会显得更明显，在边缘特征的计算时选择图像最显著区域计算其边缘特征。正是综合考虑了声纳图像的全局和细节特征，从局部熵和显著区域边缘特征两个方面来描述图像质量，使得图像质量测评的结果更加准确。

2、采用特征池化作为测评标准。

图像质量图像的每个区域的特征数据量巨大，计算处理起来相当复杂且难度大，但由于图像具有“静态性”属性，意味着一个图像区域有用的特征极有可能在另一个区域同样适用，本发明正是利用图像的该特点，把不同区域的特征分别进行统计处理，获得一个统计量即特征池化，用这个统计量来代表这个区域的特征，大大减少了数据量；

同时选择了符合人眼视觉特性的基于显著性的特征池化，用一个二次多项式模型建立两个图像特征与图像质量之间的关系，所得结果即为评测的图像质量，结果直观不需要再进行其他的转换。

3、是一种全参考的图像质量评价。本发明采用全参考图像质量评价，将待测的原始图像的全部信息与参考图像进行对比参考，不受待测图像失真类型的限制，能够对各种失真进行评价，评价的结果也更为准确。

4、测评结果更加精细。本发明测评结果为质量得分0-100，满足了按质量对图像至少二类分的需求，使得声纳图像质量测评的分类更加精细。

附图说明

图1声纳图像采集到传输的通信模型；

图2本发明所述质量测评方法的流程示意图；

图3本发明中提取的参考图像(a)以及待测图像(e)的图像局部熵(b)(f)，用于特征掩膜(c)(g)以及图像的边缘特征(d)(h)；

图4本发明中建立的二次多项式曲面模型参数分布。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

本发明所述一种基于图像熵以及边缘的全参考声纳图像质量测评方法的流程示意图如图2所示，本例的目的是计算以图3(a)为参考图像的待测图像图3(b)的质量。具体操作如下：

S1、定义了声纳图像从采集到传输过程的通信模型：包括回波随机信源，回波信道，传输信道以及信宿；

如图1所示，所述声纳图像从采集到传输过程的通信模型为：

声纳发出声波，遇到物体后反射回波，在物体位置的情况下，接收到的回波可以看成是从一个目标随机信源发射出来的信息，而回波信息首先通过回波信道传输到声纳端进行成像，所成像随后经过传输信道传输到用户端进行进一步的探测和处理，由于目标未知无法通过声纳所成图像和实际情况的对比判断回波信道的状况，且回波信道往往传输距离较短，此处认为回波信道信道容量比较大，在上面传输的信息没有损失，而传输信道由于距离较长，且传输的信息较多，更容易造成信息的损失以及图像的失真，所以信宿端接收到声纳图像的失真是由传输信道引起的，在回波信道无损的情况下，声纳所成图像的图像熵可以代表目标随机信源的信息熵，当图像在传输信道中受损，接收图像熵不再等于目标随机信源熵，此时接收图像熵的变化可以代表信道对图像的作用，也就是说可以代表图像经过信道传输后所含的信息量的变化。

S2、计算待测图像和参考图像的局部熵以及显著区域边缘特性作为声纳图像的质量特征；

这是因为：人眼主要通过从声纳图像获取的关于目标的信息量来评价声纳图像质量；在图像质量较好，目标较为清晰时，人眼主要关注声纳图像的整体质量，关注整幅图像能够提供的信息量；在图像质量较差时，由于较难获取目标整体的信息，人眼倾向于关注图像细节，如图像的纹理，边缘等；人眼只对图像的局部区域具有较高的分辨力，与当前关注的中心区(如声纳图像中目标所在的区域)超出一定范围的图像区域的内容，人眼都会赋予很低的关注度。因此选取图像局部熵作为表示声纳图像质量特征，选取图像显著区域的边缘特征作为表示声纳图像质量的另一个特征。

具体步骤为：

S21、提取参考图像图3(a)的局部熵H_r,如图3(b)所示,提取待测图像(e)的局部熵H_d，如图3(f)所示；

S22、计算参考图像和待测图像特征掩模M_r如图3(c)所示，M_d如图3(g)所示；

S23、获得该参考图像f_r和待测图像f_d在位置(x,y)处的熵特征值和

S24、将图像分为M×N的图像块b_li，其中i为图像块的索引，利用空域活动性IAM₀计算参考图像每个图像块的活动性即显著程度{IAM(b₁₁),IAM(b₁₂),…IAM(b_1n)}，n为图像块的数量，IAM(·)为计算图像空域活动性的操作；

S25、选取空域活动性最大的图像块b_lm，即用canny梯度算子分别提取参考图像和待测图像该图像块的边缘特征如图3(d)所示和如图3(h)所示。

S3、分别计算待测图像和参考图像的质量特征相似度；

S31、在(x,y)处的图像熵相似度按照如下方法计算：

其中c₁是一个常数，用于防止接近于0而导致的无意义，此处对于c₁的设置考虑了视觉掩蔽效应

c₁(x,y)＝50×min(H_γ(x,y),H_d(x,y))+10^-5；

S32、在(x,y)处的图像边缘相似度按照如下方法计算：

其中c₂是一个常数，通过调参设置c₂＝6.5025。

S4、对两种质量特征相似度进行基于显著性的特征池化；

S41、将图像分为m×n的小块b_2i，对于每一个(x,y)∈b_2i，其显著性权重w_i(x,y)＝IAM(b_2i)；

S42、w_i组成图像显著谱IAM_map，对该显著谱进行归一化处理，得到归一化的显著谱：

S43、显著谱上的每一个点的值即为图像对应点的权重，最终得到的池化后的特征如下：

计算得图3(b)所示的图像的特征e＝0.9928，s＝0.9934。

S5、将步骤S4所得两个特征输入声纳图像质量评测模型获得评测质量；

S51、首先在素材库上构建声纳图像质量评测模型，选用二次多项式曲面模型建立池化后的特征参数与图像质量之间关系，选用的二次多项式曲面模型如下：

f(s,e)＝a+bs+ce+ds²+gse+he²；

S52、S51所示的模型参数确定方式如下，把声纳图像库中的图像按照图像内容分类，每次选取80％的图像作为训练图像，以残差最小有为目标做最小二乘参数拟合，获取一组参数{a,b,c,d,g,h}，重复这个过程1000次，取1000次实验获得的参数的中位数作为最终质量评测模型的参数。所获得的1000组参数如图4所示，为了便于观察较为集中的1000组参数，本例中，将每个参数的1000次拟合结果另外绘制在尺度合适的坐标上。从图4可以看出，1000次拟合所得各参数分布较为集中，说明本发明提出的图像质量评测模型对图像的内容没有依赖，具有普遍适用性。最终{a,b,c,d,g,h}取1000次拟合结果的中位数作为最终的模型，即得到图像质量预测模型为：

f(s,e)＝-22811.605s+20675.62125e+3489.67096s²-18813.63268e²+16866.34912se+659.77458.

S53、图3(e)所示的待测图像的评测质量为59.49，该图实际的平均意见分(MOS,Mean Opinion Score)为57.15。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于图像熵以及边缘的全参考声纳图像质量评测方法，其特征在于：包括以下步骤：

S1、定义声纳图像从采集到传输过程的通信模型；

S2、计算待测图像和参考图像的局部熵以及显著区域边缘特性作为声纳图像的质量特征；

S3、分别计算待测图像和参考图像的质量特征相似度；

S4、对两种质量特征相似度进行基于显著性的特征池化；

S5、将步骤S4所得两个特征输入声纳图像质量评测模型获得评测质量。

2.根据权利要求1所述的一种基于图像熵以及边缘的全参考声纳图像质量评测方法，其特征在于：步骤S2所述提取声纳图像局部熵以及显著区域边缘特性的具体步骤为：

S21、用(2m+1)×(2m+1)的窗分别在参考图像f_r和待测图像f_d上滑动，在窗内提取该(2m+1)×(2m+1)图像块中心位置(x,y)的局部熵H_r(x,y)和H_d(x,y)，对一幅待测图像f在(x,y)位置的局部熵H_f(x,y)的计算方法如下：

P_ij代表该图像块内图像灰度分布：

其中f(x,y)代表在位置(x,y)的灰度；

S22、用canny梯度算子提取参考图像f_r和待测图像f_d的图像梯度e_r和e_d，将图像梯度谱进行膨胀操作即产生图像局部熵的特征掩模M_r和M_d：

M_r＝dilate(e_r)，M_d＝dilate(e_d)

其中dilate(·)代表膨胀操作；

S23、获得该参考图像f_r和待测图像f_d在位置(x,y)处的熵特征值和

S24、将图像分为M×N的图像块b_li，其中i为图像块的索引，利用空域活动性IAM₀计算参考图像每个图像块的活动性即显著程度{IAM(b₁₁),IAM(b₁₂),…IAM(b_1n)}，n为图像块的数量，IAM(·)为计算图像空域活动性的操作；

S25、选取空域活动性最大的图像块b_lm，即用canny梯度算子分别提取参考图像和待测图像该图像块的边缘特征和

3.根据权利要求1所述的一种基于图像熵以及边缘的全参考声纳图像质量评测方法，其特征在于：步骤S3所述计算待测图像和参考图像的质量特征相似度的具体步骤为：

S31、在(x,y)处的图像熵相似度按照如下方法计算：

其中c₁是一个常数，此处c₁的值设置为：

c1(x,y)＝50×min(H_γ(x,y),Hd(x,y))+10^-5；

S32、在(x,y)处的图像边缘相似度按照如下方法计算：

其中c₂是一个常数，通过调参设置c₂＝6.5025。

4.根据权利要求1所述的一种基于图像熵以及边缘的全参考声纳图像质量评测方法，其特征在于：步骤S4所述特征池化的具体步骤为：

S41、将图像分为m×n的小块b_2i，对于每一个(x,y)∈b_2i，其显著性权重w_i(x,y)＝IAM(b_2i)；

S42、w_i组成图像显著谱IAM_map，对该显著谱进行归一化处理，得到归一化的显著谱：

S43、显著谱上的每一个点的值即为图像对应点的权重，最终得到的池化后的特征如下：

5.根据权利要求1所述的一种基于图像熵以及边缘的全参考声纳图像质量评测方法，其特征在于：步骤S5具体包括：

S51、首先在素材库上构建声纳图像质量评测模型，选用二次多项式曲面模型建立池化后的特征参数与图像质量之间关系，选用的二次多项式曲面模型如下：

f(s,e)＝a+bs+ce+ds²+gse+he²；

其中，{a,b,c,d,g,h}为模型参数，模型参数确定方式为：把声纳图像库中的图像按照图像内容分类，每次选取80％的图像作为训练图像，以残差最小有为目标做参数拟合，获取一组参数{a,b,c,d,g,h}，重复这个过程1000次，取1000次实验获得的参数的中位数作为最终质量评测模型的参数；

S52、将步骤S43所得两个特征参数输入S51获得的声纳图像质量评测模型中，获得声纳图像的评测质量。