CN113205503B - 一种卫星海岸带影像质量评价方法 - Google Patents

Abstract

本发明公开了一种卫星海岸带影像质量评价方法，具体涉及深度学习领域。本发明具体包括以下步骤：选取Q幅左视点图片、右视点图片、所述左视点图片对应的图像质量得分和所述右视点图片对应的图像质量得分，构成训练集；搭建卷积神经网络，所述卷积神经网络通过三个特征编码提取阶段对所述左视点图片、所述右视点图片进行特征编码提取，并通过三个编码融合阶段对所述左视点图片、所述右视点图片进行编码融合；将所述训练集输入所述卷积神经网络进行训练；多次训练，得到卷积神经网络模型；将待测图像输入到所述卷积神经网络模型中，得到图像质量评价的秩序相关系数、均方根误差和线性相关系数。本发明能够有效提高评价效率，且评价准确度高。

Description

一种卫星海岸带影像质量评价方法

技术领域

本发明涉及深度学习领域，更具体的说是涉及一种卫星海岸带影像质量评价方法。

背景技术

随着数字多媒体处理技术的飞速发展，视觉内容已其良好的体验质量被广泛应用于各种应用中。在实际应用中，卫星海岸带影像在数据采集、处理、传输等过程中不可避免的会出现视觉质量下降的现象。近年来，卫星海岸带影像感知质量评价受到了业界和学术界的广泛关注。

图像质量评价(IQA)方法一般分为主观质量评价(SQA)和客观质量评价(OQA)两类。SAQ的质量评价是准确可靠的。但是，它是一种工作消耗，容易受到各种因素的干扰。因此，自动评价立体图像感知质量的OQA算法在实际应用中具有很高的应用价值。根据现有文献的分类，OQA方法可以分为全参考法(full-reference,FR)，减少参考法(reduced-reference,RR)和无参考法(no-reference,NR)，即盲法。SSIM和SFUW等常规FR方法通过测量参考图像与其失真版本之间的偏差程度来估计图像质量。RR方法仅利用部分原始信息进行质量预测。与依赖参考信息的FR和RR方法不同，NR方法入CORNIA，BRISQUE和NRLT在没有参考信息的情况下对图像质量进行评估。与FR和RR相比，BIQA(Blind IQA)方法更加现实可行，因为在许多实际应用中并没有完善的参考信息。

发明内容

有鉴于此，本发明提供了一种卫星海岸带影像质量评价方法。

为了实现上述目的，本发明采用如下技术方案：

一种卫星海岸带影像质量评价方法，包括以下步骤：

选取Q幅左视点图片、右视点图片、所述左视点图片对应的图像质量得分和所述右视点图片对应的图像质量得分，构成训练集；

搭建卷积神经网络，所述卷积神经网络通过三个特征编码提取阶段对所述左视点图片、所述右视点图片进行特征编码提取，并通过三个编码融合阶段对所述左视点图片、所述右视点图片进行编码融合；

所述卷积神经网络具体设置如下：所述左视点图片和所述右视点图片的输出分别输入到两个镜像设置的低级特征编码提取模块和镜像设置的第一FGN融合网络模块，两个镜像设置的所述第一FGN融合网络模块均输入到低级融合特征编码模块，所述低级融合特征编码模块的输出输入到第一CMN强化模块，所述第一CMN强化模块的输出输入到FFN融合网络模块；两个镜像设置的所述低级特征编码提取模块的输出分别输入到镜像设置的中级特征编码提取模块，两个镜像设置的所述中级特征编码提取模块的输出分别输入到两个镜像设置的第二FGN融合网络模块；两个镜像设置的所述第二FGN融合网络模块的输出输入到中级融合特征编码模块，所述中级融合特征编码模块的输出输入到第二CMN强化模块，所述第二CMN强化模块的输出输入到所述FFN融合网络模块；两个镜像设置的所述中级特征编码提取模块的输出输入到高级特征编码提取模块，两个镜像设置的所述高级特征编码提取模块的输出分别输入到两个镜像设置的第三FGN融合网络模块，两个镜像设置的所述第三FGN融合网络模块均输入到高级融合特征编码模块，所述高级融合特征编码模块的输出输入到第三CMN强化模块，所述第三CMN强化模块输入到所述FFN融合网络模块，所述FFN融合网络模块的输出输入到全连接层；

将所述训练集输入所述卷积神经网络进行训练；

多次训练，得到卷积神经网络模型；

将待测图像输入到所述卷积神经网络模型中，得到图像质量评价的秩相关系数、均方根误差和线性相关系数。

可选的，所述低级特征编码提取模块的具体设置如下：

输入层后依次连接有第一个CBN模块，第一个BRB-1模块，第一个BRB-2模块，第二个BRB-1模块以及所述低级特征编码提取模块的输出端。

可选的，所述中级特征编码提取模块的具体设置如下：

所述低级特征编码提取模块的输出端后依次连接有第三个BRB-1模块，第四个BRB-1模块，第五个BRB-1模块，第二个BRB-2模块，第六个BRB-1模块，第七个BRB-1模块，第八个BRB-1模块，第九个BRB-1模块，第十个BRB-1模块，第十一个BRB-1模块以及所述中级特征编码提取模块的输出端。

可选的，所述高级特征编码提取模块的具体设置如下：

所述中级特征编码提取模块的输出端依次连接有第十二个BRB-1模块，第十三个BRB-1模块，第十四个BRB-1模块，第十五个BRB-1模块，第二个CBN模块以及所述高级特征编码提取模块的输出端。

可选的，所述CBN模块包括依次连接的卷积层、归一化层、激活层。

可选的，所述BRB-1模块包括特征编码P1，三个CBN模块以及特征编码P1依次连接后的输出与所述特征编码P1的输出做像素级的相加操作所述BRB-2模块包括特征编码P3，三个CBN模块以及特征编码P4依次连接。

可选的，所述FGN融合网络模块的具体设置如下：

左视图特征编码和右视图特征编码做像素级的相加操作后的输出输入到CBN模块，所述CBN模块、所述左视图特征编码、所述右视图特征编码做像素级的加和操作后的输出依次输入到全连接层、激活层、Sigmoid激活函数；所述左视图特征编码、所述Sigmoid激活函数做像素级相乘融合后的输出与所述左视图特征编码做像素级的加和操作并输入到融合的左视图特征编码模块；所述右视图特征编码、所述Sigmoid激活函数做像素级相乘融合后的输出与所述右视图特征编码做像素级的加和操作并输入到融合的右视图特征编码模块；所述融合的左视图特征编码和所述融合的右视图特征编码做像素级的加和操作后分别输入到两个CBN模块，所述CBN模块的输出分别与所述融合的左视图特征编码模块、所述融合的右视图特征编码模块做像素级加和的操作，输出后的结果进行像素级concatence拼接融合得到特征融合编码。

可选的，所述CMN强化模块的具体设置如下：

特征融合编码模块后依次连接有卷积层，归一化层，自适应平均池化层，激活层；所述特征融合编码模块经过归一化层与所述激活层的输出做像素级concatence拼接融合得到强化特征融合编码。

可选的，所述FFN融合网络模块的具体设置如下：

强化低级特征融合编码，强化中级特征融合编码，强化高级特征融合编码做像素级的加和操作后依次输入到全连接层、归一化层、激活层、Sigmoid激活函数后与所述强化中级特征融合编码做像素级相乘融合，记为a；所述强化低级特征融合编码与所述强化高级特征融合编码做两次像素级相乘融合，记为b和c；将a，b和c做像素级的相加操作得到融合编码。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种卫星海岸带影像质量评价方法，具有以下有益效果：

1)本发明方法构建卷积神经网络，使用Live PhaseⅠ与Live PhaseⅡ训练集中的左右视点图像输入到卷积神经网络中进行训练，得到卷积神经网络图像质量训练模型；再将未评估的左右视点图像输入到卷积神经网络质量训练模型中，预测得到质量图像对应的质量分数，由于本发明方法在构建卷积神经网络时结合了通道注意力机制和残差结构的特点，因此可以比较准确的描述图像发生的质量缺陷，从而有效的的提高了神经网络对于图像质量评价的精度。

2)本发明底层采用了MobileNetV2对左右视点图像进行特征编码的提取，大大减少了提取特征编码的过程中产生的参数数量，提高了网络的工作效率。我们将mobilenetv2的最后两个全连接层删除后，按顺序提取了mobilenet的高中低级别的特征图层，将他们分别输入进我们双流的卷积融合网络(FGN)当中，对左右视点的低中高级别的特征编码进行了融合，得到一个融合了左右视点的特征编码，加强了左右视点图像之间的联系，减少了细节特征丢失，让神经网络对于图像质量的变化更加敏感，最后可以得到一个比较好的结果。

3)我们使用了一个图像特征编码增强模块(CMN)，这是让我们得到特征编码之后，将图像分别经过卷积神经网络和最大池化层之后在融合的一个操作，这样可以使图像的特征更加明显，更有利于网络对于图像质量的提取工作。

4)我们设计了一个三输入的卷积神经网络(FFN)对低中高三方面的特征编码进行了一个融合。在这个网络中分别使用通道注意力机制，对图像进行了融合。它可以有效的使用低中高三个方面比较显著的特征优势加以利用，最终得到一个图像质量分数，让这个结果更加理想。

5)本发明分别在Live PhaseⅠ和Live PhaseⅡ中进行了测试实验，都得到了比较好的结果，相比与现有的图像质量方法有了比较好的提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明方法的总体实现框图；

图2附图为低级特征编码提取模块示意图；

图3附图为中级特征编码提取模块示意图；

图4附图为高级特征编码提取模块示意图；

图5附图为CBN模块示意图；

图6附图为BRB-1模块示意图；

图7附图为BRB-2模块示意图；

图8附图为FFN融合网络模块示意图；

图9附图为CMN强化模块示意图；

图10附图为FFN融合模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种卫星海岸带影像质量评价方法，包括以下步骤：

选取Q幅左视点图片、右视点图片、左视点图片对应的图像质量得分和右视点对应的图像质量得分，构成训练集；

搭建卷积神经网络，卷积神经网络通过三个特征编码提取阶段对左视点图片、右视点图片进行特征编码提取，并通过三个编码融合阶段对左视点图片、右视点图片进行编码融合；

将训练集输入卷积神经网络进行训练；

多次训练，得到卷积神经网络模型；

将待测图像输入到卷积神经网络模型中，得到图像质量评价的秩序相关系数、均方根误差和线性相关系数。

在本实施例中，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；

训练阶段过程的具体步骤为：

步骤1_1：选取Q幅经过不同方式处理过的左视点和右视点图片及每张图片对应的真实图像质量的得分，并构成训练集，将训练集中的第q幅经过处理的图像记为{I^q(i,j)}，这张图像的得分记Sq，将训练集中与{I^q(i,j)}对应的真实图像记为

其得分记为Sq ture；然后采用现有的图像分割技术将训练集中的每幅经过处理的图像处理成4幅独立的小图像，将

处理成的4幅独立的小图片构成的集合记为

其中，左右视点图像为RGB彩色图像，Q为正整数，Q≥200，如取Q＝367，q为正整数，1≤q≤Q，1≤i≤W，1≤j≤H，W表示{I^q(i,j)}的宽度，H表示{I^q(i,j)}的高度，如取W＝640、H＝360，I^q(i,j)表示{I^q(i,j)}中坐标位置为(i,j)的像素点的像素值，

表示

中坐标位置为(i,j)的像素点的像素值；在此，经过处理的左右视点图像直接选用图像质量评价数据库LivePhaseⅠ训练集中的365幅图像和Live PhaseⅡ训练集中的360幅图像。

步骤1_2：构建卷积神经网络：

本发明所搭建的卷积神经网络主要由两部分组成，分别为自上而下的特征编码过程和提取编码特征之后的编码融合过程。

由于本发明采用的是Live PhaseⅠ和Live PhaseⅡ图像质量评估的数据集。对于输入层，输入层的输入端分别接收两幅图像大小为224×224的左右视点图像的R通道分量、G通道分量和B通道分量，并通过输入层的输出端分别输入到自上而下的特征编码模块。每张图像在进入输入层之前，都经过了归一化处理。因此在特征编码阶段，本实施例采用了两个组成部分基本一致的编码层。这两种编码器都由一种基本的CBN模块组合而成，CBN模块，如图5所示，是有最基本的一个卷积层(Convolution，Conv)，一个归一化层(BatchNormalization，BN)和一个激活层(Activation，Act)组成。而通过这种自上而下的编码处理，依次提取输入图像的低、中、高三种编码特征信息，再这把这三个信息定义为Out1，Out2，Out3，接下来本实施例会对低中高三种特征编码的提取过程进行介绍。

在特征编码的提取过程中，本实施例依据卷积层中步距大小1与2的不同，定义了两种BRB模块用来提取特征编码，其中还引入一个膨胀量(一般取6)用来扩大卷积层的通道数，可以提取更加丰富的特征编码。

当卷积层中步距为1时，采用了一种残差结构，当输入网络的特征编码为P1，经过一次CBN模块进行通道扩大，其中卷积层的卷积核大小为1×1，卷积核个数为输入通道数C×6，再经过第二次CBN模块进行特征编码提取其中卷积核大小为3×3，卷积核个数为C×6，最后第三次CBN模块进行通道压缩，减少参数，其中卷积核大小为1×1，卷积核个数为C，不使用激活层，最终输出P2，在最后对两个特征编码进行融合P1+P2，得到想要的特征编码P。将这样的编码模式定义为BRB-1，如图6所示。

当卷积层中步距为2时，当输入网络的特征编码为P3，经过一次CBN模块进行通道扩大，其中卷积核大小为1×1，卷积核个数为C×6，步距为1，再经过第二次CBN模块进行特征编码提取，其中卷积核大小3×3，卷积核个数为C×6，步距为2，最后再经过第三次CBN模块进行通道压缩，减少参数，其中卷积核大小为1×1，卷积核个数为C，步距为1，不使用激活层，最终输出P4，而此时的P4得到想要的特征编码P。将这样的编码模式定义为BRB-2，如图7所示。

如图2所示，对于低级特征编码Out1的提取，其由依次设置的第一个CBN模块，其中卷积层中的卷积核个数为32，卷积层大小为3×3；第一个BRB-1模块，其中第一个卷积层，卷积核个数为32，卷积层大小为3×3，第二个卷积层，卷积核个数为16，卷积层大小为1×1；第一个BRB-2模块，其中输入的通道数为16，输出的通道数为24；第二个BRB-1模块，其中输入的通道数为24，输出的通道数为24，最终得到想要的Out1。在生成Out1特征编码的过程中，每一个激活层的激活方式均为“ReLu6”，每一个归一化层的归一化方式均为“BatchNorm2d”，Out1中的每幅特征图的宽度为

高度为

如图3所示，对于中级特征编码Out2的提取，其由依次设置第三个BRB-1模块，其中输入通道为24，输出通道为32，第四个BRB-1模块，其中输入通道为32，输出通道为32，第五个BRB-1模块，其中输入通道为32，输出通道为32，第二个BRB-2模块，其中输入通道为32，输出通道为64，第六个BRB-1模块，其中输入通道为64，输出通道为64，第七个BRB-1模块，其中输入通道为64，输出通道为64，第八个BRB-1模块，其中输入通道为64，输出通道为64，第九个BRB-1模块，其中输入通道为64，输出通道为96，第十个BRB-1模块，其中输入通道为96，输出通道为96，第十一个BRB-1模块，其中输入通道为96，输出通道为96组成，最终得到了我想要的中级特征编码。在Out2中级特征编码的提取过程中，我们的输入端接收Out1中的所有特征图，中级特征编码Out2的输出端输出96幅特征图，将96幅特征图构成的集合记为Out2；其中，所有激活层的激活方式均为“Relu6”，所有归一化层的归一化方式均为“BatchNorm2d”，Out2中的每幅特征图的宽度为

高度为

如图4所示，对于高级特征编码Out3的提取，其由依次设置的第十二个BRB-1模块，其中输入通道为96，输出通道为160，第十三个BRB-1模块，其中输入通道为160，输出通道为160，第十四个BRB-1模块，其中输入通道为160，输出通道为160，第十五个BRB-1模块，其中输入通道为160，输出通道为320，第二个CBN模块，其中的作用是为了升维，卷积层的输入通道为320，输出通道为320组成；最终得到了我们想要的高级特征编码Out3。在高级特征编码Out3生成的过程中，输入端接收Out2中的所有特征图，第3个神经网络块的输出端输出320幅特征图，将320幅特征图构成的集合记为Out3；其中所有激活层的激活方式均为“Relu”，所有归一化层的归一化方式均为“BatchNorm2d”，Out3中的每幅特征图的宽度为

高度为

如图8所示，对于得到特征编码之后的特征融合模块，由于本实施例采用双流的特征编码提取方式，所以我们分别会生成左视图的低，中，高三个级别的特征编码，定义为OutL 1，OutL 2和OutL 3，以及右视图的低，中，高三个级别的特征编码，定义为OutR 1，OutR 2和OutR 3。本实施例首先采用了一种名为FGN的神经网络分别对左右视图的低级特征编码(OutL 1，OutR 1)，中级特征编码(OutL 2，OutR 2)以及高级特征编码(OutL 3，OutR3)进行融合，之后分别输出低级特征融合编码，中级特征融合编码，高级特征融合编码，分别定义为OutL，OutM，OutH。

在此之后，本实施例分别将低，中，高三个特征编码，通过一个编码加强模块(CMN)进行特征的加强，输出得到强化后的低，中，高特征编码，定义为Out’L，Out’M，Out’H；在得到三个加强后的特征编码之后，本实施例使用了一个三流的特征编码融合网络(FFN)，对低，中，高三个特征编码进行融合，最终得到我们想要的图像质量得分Sq。接下来，我们会分别对上文中提到的FGN,CMN,FFN网络进行详细描述。

对于FGN网络，这是一个双流的特征编码融合网络。我们以左右视图的低级特征编码(OutL 1，OutR 1)为例，对FGN网络进行具体的说明。当我们得到左右视图的低级特征编码之后，输出通道为C，我们以拼接的方式对特征编码进行融合，输出一个通道数为2C的特征融合编码Combined，之后将Combined通过CBN模块，其中卷积层输入通道数为2C,卷积核大小为3×3，卷积核个数为C，输出得到Combined-1，接着将OutL 1，OutR 1，Combined-1三个特征编码想加得到融合特征编码Combined-2，接着通过全连接层与激活层，得到一个一维的矩阵，将矩阵输入Sigmoid激活函数，分别对OutL 1，OutR 1生成两个概率,σL与σR,将输入的特征编码OutL 1，OutR 1与σL，σR分别相乘得到了特征编码OutL 1-1与OutR 1-1，之后将OutL 1，OutR 1-1与OutR 1，OutL 1-1特征编码进行相加，增强了左右视图特征之间的联系，得到了OutL 1-2与OutR 1-2，接着对OutL 1-2与OutR 1-2特征编码相乘融合得到Combined-3。让Combined-3再次通过CBN模块，卷积层输入通道为2C，卷积核大小为3×3，卷积核个数为C,得到Combined-4，分别用OutL 1-2与OutR 1-2对Combined-4进行相加，让左右视图的特征相互弥补，得到了OutL 1-3与OutR 1-3，最后对OutL 1-3与OutR 1-3特征编码进行拼接操作，得到了我们想要的低级特征融合编码OutL，输出的2C张图片的集合就是OutL。同理可以得到相应的中级特征融合编码(OutM)，高级特征融合编码(OutH)。

如图9所示，对于CMN模块，这是一个特征加强模块。以低级特征融合编码OutL为例，我们让OutL特征编码，分别依次经过卷积层，归一化层，全适应平均池化层激活层，以及最大池化层(MaxPool2d)之后进行拼接操作得到了增强后的EoutL低级特征编码。同时我们也可以得到相应的EoutM中级特征编码和EoutH高级特征编码。

如图10所示，对于FFN模块，这是一个三流的特征编码融合模块。首先我们得到EoutL，EoutM，EoutH三个特征编码，对三个编码进行相加融合EoutL+EoutM+EoutH，得到了Combined-5特征融合编码，然后经过全连接层，归一化层与激活层将其压缩成一个一维的矩阵，之后通过Sigmoid激活函数，我们会分别得到σL，σM，σH三个对应EoutL，EoutM，EoutH的概率，我们将概率与三个特征编码分别相乘之后在相加，就得到了我们最终想要的融合编码Combined-6。

最后，我们将得到的Combined-6融合编码，输入全连接层，得到我们想要的分数Sq。

步骤1_3：将训练集中的每幅原始的图像质量评估图像作为原始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始的图像质量评估图像对应的Sq，将{I^q(i,j)}对应的35幅图像质量评估预测得分构成的集合记为

步骤1_4：计算训练集中的每幅原始的图像质量评估图像对应的得分Sq的集合与对应的真实图像质量评估得分Sqture的集合之间的损失函数值，将

与

之间的损失函数值记为

采用平均误差损失函数(MSE)获得。

步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到卷积神经网络分类训练模型，并共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络图像质量评估训练模型的平均PLCC,平均SROCC以及平均RMSE，对应记为PLCCavg，SROCCavg和RMSEavg；其中，V＞1，在本实施例中取V＝100。

测试阶段过程的具体步骤为：

步骤2_1：令

表示待评估的图像质量评价图像；其中，1≤i'≤W'，1≤j'≤H'，W'表示

的宽度，H'表示

的高度，

表示

中坐标位置为(i,j)的像素点的像素值。

步骤2_2：将

的R通道分量、G通道分量和B通道分量输入到卷积神经网络分类训练模型中，并利用PLCCavg，SROCCavg和RMSEavg进行预测，得到

对应的预测得分S’q，记为

其中，

表示

中坐标位置为(i',j')的像素点的像素值。

为了进一步验证本发明方法的可行性和有效性，进行实验。

使用基于python的深度学习库pytorch1.6搭建多尺度带孔卷积神经网络的架构。采用图像质量评价的Live PhaseⅠ和Live PhaseⅡ数据集来分析利用本发明方法预测得到的图像质量评价(取725张图像质量评估的照片)的评估效果如何。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即秩序相关系数(SROCC)、均方根误差(RMSE)、线性相关系数(PLCC)来评价预测图像质量评价的评价性能。

利用本发明方法对图像质量评价数据库Live PhaseⅠ和Live PhaseⅡ测试集中的每幅质量图像进行预测，得到每幅质量图像对应的最终得分，反映本发明方法的图像质量评价的秩序相关系数(SROCC)、均方根误差(RMSE)、线性相关系数(PLCC)三个相关系数如表1所列。从表1和表2所列的数据可知，按本发明方法得到的图像质量评价是较好的，表明利用本发明方法来获取图像质量评价的预测得分是可行性且有效的。

表1利用本发明方法在Live PhaseⅠ测试集上的评测结果

Methods	PLCC	SROCC	RMSE
				Proposed	0.9789	0.9750	3.5078

表2利用本发明方法在Live PhaseⅡ测试集上的评测结果

Methods	PLCC	SROCC	RMSE
				Proposed	0.9750	0.9717	2.6387

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本实施例中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本实施例所示的这些实施例，而是要符合与本实施例所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种卫星海岸带影像质量评价方法，其特征在于，包括以下步骤：

选取Q幅左视点图片、右视点图片、所述左视点图片对应的图像质量得分和所述右视点图片对应的图像质量得分，构成训练集；

搭建卷积神经网络，所述卷积神经网络通过三个特征编码提取阶段对所述左视点图片、所述右视点图片进行特征编码提取，并通过三个编码融合阶段对所述左视点图片、所述右视点图片进行编码融合；

所述卷积神经网络具体设置如下：所述左视点图片和所述右视点图片的输出分别输入到两个镜像设置的低级特征编码提取模块和镜像设置的第一FGN融合网络模块，两个镜像设置的所述第一FGN融合网络模块均输入到低级融合特征编码模块，所述低级融合特征编码模块的输出输入到第一CMN强化模块，所述第一CMN强化模块的输出输入到FFN融合网络模块；两个镜像设置的所述低级特征编码提取模块的输出分别输入到镜像设置的中级特征编码提取模块，两个镜像设置的所述中级特征编码提取模块的输出分别输入到两个镜像设置的第二FGN融合网络模块；两个镜像设置的所述第二FGN融合网络模块的输出输入到中级融合特征编码模块，所述中级融合特征编码模块的输出输入到第二CMN强化模块，所述第二CMN强化模块的输出输入到所述FFN融合网络模块；两个镜像设置的所述中级特征编码提取模块的输出输入到高级特征编码提取模块，两个镜像设置的所述高级特征编码提取模块的输出分别输入到两个镜像设置的第三FGN融合网络模块，两个镜像设置的所述第三FGN融合网络模块均输入到高级融合特征编码模块，所述高级融合特征编码模块的输出输入到第三CMN强化模块，所述第三CMN强化模块输入到所述FFN融合网络模块，所述FFN融合网络模块的输出输入到全连接层；

将所述训练集输入所述卷积神经网络进行训练；

多次训练，得到卷积神经网络模型；

将待测图像输入到所述卷积神经网络模型中，得到图像质量评价的秩相关系数、均方根误差和线性相关系数。

2.根据权利要求1所述的一种卫星海岸带影像质量评价方法，其特征在于，所述低级特征编码提取模块的具体设置如下：

输入层后依次连接有第一个CBN模块，第一个BRB-1模块，第一个BRB-2模块，第二个BRB-1模块以及所述低级特征编码提取模块的输出端。

3.根据权利要求1所述的一种卫星海岸带影像质量评价方法，其特征在于，所述中级特征编码提取模块的具体设置如下：

所述低级特征编码提取模块的输出端后依次连接有第三个BRB-1模块，第四个BRB-1模块，第五个BRB-1模块，第二个BRB-2模块，第六个BRB-1模块，第七个BRB-1模块，第八个BRB-1模块，第九个BRB-1模块，第十个BRB-1模块，第十一个BRB-1模块以及所述中级特征编码提取模块的输出端。

4.根据权利要求1所述的一种卫星海岸带影像质量评价方法，其特征在于，所述高级特征编码提取模块的具体设置如下：

所述中级特征编码提取模块的输出端依次连接有第十二个BRB-1模块，第十三个BRB-1模块，第十四个BRB-1模块，第十五个BRB-1模块，第二个CBN模块以及所述高级特征编码提取模块的输出端。

5.根据权利要求2或4所述的一种卫星海岸带影像质量评价方法，其特征在于，所述CBN模块包括依次连接的卷积层、归一化层、激活层。

6.根据权利要求2所述的一种卫星海岸带影像质量评价方法，其特征在于，所述BRB-1模块包括特征编码P1，三个CBN模块以及特征编码P1依次连接后的输出与所述特征编码P1的输出做像素级的相加操作所述BRB-2模块包括特征编码P3，三个CBN模块以及特征编码P4依次连接。

7.根据权利要求1所述的一种卫星海岸带影像质量评价方法，其特征在于，所述FGN融合网络模块的具体设置如下：

左视图特征编码和右视图特征编码做像素级的相加操作后的输出输入到CBN模块，所述CBN模块、所述左视图特征编码、所述右视图特征编码做像素级的加和操作后的输出依次输入到全连接层、激活层、Sigmoid激活函数；所述左视图特征编码、所述Sigmoid激活函数做像素级相乘融合后的输出与所述左视图特征编码做像素级的加和操作并输入到融合的左视图特征编码模块；所述右视图特征编码、所述Sigmoid激活函数做像素级相乘融合后的输出与所述右视图特征编码做像素级的加和操作并输入到融合的右视图特征编码模块；所述融合的左视图特征编码和所述融合的右视图特征编码做像素级的加和操作后分别输入到两个CBN模块，所述CBN模块的输出分别与所述融合的左视图特征编码模块、所述融合的右视图特征编码模块做像素级加和的操作，输出后的结果进行像素级concatence拼接融合得到特征融合编码。

8.根据权利要求1所述的一种卫星海岸带影像质量评价方法，其特征在于，所述CMN强化模块的具体设置如下：

特征融合编码模块后依次连接有卷积层，归一化层，自适应平均池化层，激活层；所述特征融合编码模块经过归一化层与所述激活层的输出做像素级concatence拼接融合得到强化特征融合编码。

9.根据权利要求1所述的一种卫星海岸带影像质量评价方法，其特征在于，所述FFN融合网络模块的具体设置如下：

强化低级特征融合编码，强化中级特征融合编码，强化高级特征融合编码做像素级的加和操作后依次输入到全连接层、归一化层、激活层、Sigmoid激活函数后与所述强化中级特征融合编码做像素级相乘融合，记为a；所述强化低级特征融合编码与所述强化高级特征融合编码做两次像素级相乘融合，记为b和c；将a，b和c做像素级的相加操作得到融合编码。

Images