CN109829887A - 一种基于深度神经网络的图像质量评估方法 - Google Patents

Abstract

本发明公开一种基于深度神经网络的图像质量评估方法，是一种用于图像质量评估的深度神经网络的新型应用技术。本发明解决的是无人机作业巡检采集图像的质量评估问题，在大型数据库ImageNet上训练得到一个预训练的深度神经网络模型，对深度神经网络改进并采用图像质量评价数据库TID2013训练深度神经网络模型，最后对输入任意的图像，采用已训练完成的深度神经网络模型预测图像的质量。本发明所公开的基于深度神经网络的图像质量评估方法能够非常准确地评估无人机作业巡检采集图像的质量，并且能够明显地区分高质量图像和低质量图像，过滤低质量无用图像。

Description

一种基于深度神经网络的图像质量评估方法

技术领域

本发明提出一种基于深度神经网络的图像质量评估方法，是一种用于图像质量评估的深度神经网络的新型应用技术。

背景技术

近年来，随着无人机、机器人巡检在各个领域的不断普及，越来越多的企业开始使用无人机采集相关设备数据。由于无人机采集图像的质量参差不齐，为了进一步提升图像的整体质量，准确获取图像信息，需要借助相关设备评估图像质量。传统的图像评估方法是通过人工进行主观评估，但主观评估图像质量的方法效率低，准确度难以保证，所以迫切需要一种能够智能评估图像质量的方法，并能够有效滤除低质量的图像。

在计算机视觉领域，有许多图像质量评估的方法，但是在大多数情况下，图像质量评估的实时性和精度难以达到要求。深度学习作为机器学习的一个新分支，在实时性和精确性上有了良好的改善。近年来，深度学习在许多领域表现出了良好的性能，如自动语音识别、自然语言处理和图像识别等领域。深度学习也已被广泛应用于图像分类、目标检测和语义分割。在本发明中，使用改进的深度神经网络(VGG-16)来训练一个模型，拟进行图像质量评估。

针对基于深度学习的图像质量评估，现已提出一些典型的图像数据库，如：LIVE数据库包含29幅高分辨率的参考图像，共982幅失真图像，5种失真类型。TID2008数据库包含25幅参考图像，共1700幅失真图像，17种失真类型，其中每种失真包含4个等级。TID2013数据库包含25幅参考图像，共3000个失真图像，24种失真类型，其中每种失真包含5个等级。

由于神经网络中有数以百万计的参数，只使用几千张图片来训练模型，这将导致严重的过拟合。因此，采用一个基于大规模数据集的预训练模型来进行训练是非常重要的，在预训练模型上针对特定任务进行微调有助于获得更好的初始参数，避免陷入局部极小值，同时获得丰富的低级别的特征。另一方面，可以采用dropout的方法有效避免过拟合，随机地让一些隐藏层节点在训练期间不工作。

发明内容

本发明旨在解决以上现有技术中的不足，提供一种基于深度神经网络的图像质量评估方法。

为实现上述技术目的，本发明采用以下技术方案：

本发明提供基于深度神经网络的图像质量评估方法，其特征在于，包含下列步骤：

构建深度神经网络VGG-16模型并对深度神经网络VGG-16模型中的损失层进行改进得到改进后的深度神经网络VGG-16模型；

对改进后的深度神经网络VGG-16模型进行预训练；

选定训练样本和测试样本对深度神经网络VGG-16模型进行训练和评估；

采用训练好的深度神经网络VGG-16模型对待测试的图像评估打分。

进一步地，对深度神经网络VGG-16模型中的损失层进行改进的方法如下:

采用欧氏距离损失函数计算样本估计值和对应标签之间的均方差，即均方根误差，如公式(1)所示：

其中，Loss为能量损失值，y’_n为真实质量评估值，y_n为预测的质量评估值。

在以上技术方案中优选地，选择TID2013数据库作为训练样本库，随机选取其中的90％作为训练样本，剩下的10％作为测试样本.

在以上技术方案中优选地，对深度神经网络VGG-16模型进行训练和评估包括：

将训练样本和测试样本中的全部图像归一化到224×224大小；

将图像质量评估数据库中的全部图像对应的真实标签归一化，并生成对应训练样本和测试样本的标签。

在以上技术方案中优选地，在训练过程中，设定初始学习率为0.0001，并按照dropout层中丢失率为0.5随机地丢失50％的参数。

在以上技术方案中优选地，采用训练好的深度神经网络VGG-16模型对待测试的图像评估打分的方法包括：

步骤S41，将所有测试图像的大小调整为224×224；

步骤S42，利用训练好的深度神经网络模型对所有测试图像进行测试，获得相应的图像质量打分；

步骤S43，对比所有测试图像中的真实图像质量打分，计算得到对应图像质量评估的损失。

本发明所取得的有益技术效果：

1.本发明解决的是无人机作业巡检采集图像的质量评估问题，然而目前没有专门的针对无人机作业巡检的数据库。因此，针对无人机作业巡检采集的图像数据，研究并筛选合适的公共标准数据库，最终采用TID2013数据库训练微调获得神经网络模型，该模型能够有效地对无人机作业巡检采集的图像进行质量评估，并有效区分高质量和低质量图像；

2.本发明所提出的基于深度神经网络的图像质量评估方法能够非常准确地评估无人机作业巡检采集图像的质量，并且能够明显的区分高质量图像和低质量图像，过滤低质量无用图像；

3.本发明预先在大型数据库ImageNet上训练得到一个预训练的网络模型，之后采用TID2013数据库微调该卷积神经网络模型，从而得到针对无人机作业巡检采集图像的神经网络，该方法解决了由于网络参数过多而训练样本太少所产生的过拟合问题；

4.本发明改进了传统的深度神经网络，通过学习后能够自动评估待测试图像的质量，解决的是无人机作业巡检采集图像的质量评估问题，对每一幅待测试的图像，客观地评估了图像质量，并获得了高质量的图像。

附图说明

图1是本发明方法具体实施例的训练和测试流程图；

图2是本发明本发明方法具体实施例的深度神经网络结构图；

图3是本发明本发明方法具体实施例的测试效果图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明主要可以分为基于深度神经网络的学习和测试两个部分，全部的工作可以包括以下4个步骤：

步骤一、筛选数据库：首先针对提出的问题，研究图像质量评估公开的图像数据库，包括TID2013数据库、TID2008数据库、CSIQ数据库和LIVE数据库等等。这些数据库在参考图像的数量、失真图像的数量以及质量失真类型等方面都不一样。经过综合考虑，选取TID2013数据库作为本发明的图像质量评估数据库，该数据库包含25幅参考图像，共3000幅失真图像，24种失真类型，其中每种失真包含5个等级。首先将数据库中图像的大小都归一化为224×224，随机选取其中90％作为训练样本，剩下的10％作为测试样本。然后，将所有图像对应真实标签归一化，生成对应HDF5数据格式的文件。

步骤二、预训练VGG-16模型：由于神经网络中包含大量的参数，而如果直接采用TID2013数据库,该数据库中的样本数偏小，用此数据库直接训练容易发生过拟合现象，故首先在ImageNet数据库上预训练网络模型。

步骤三、改进并训练相关模型：在预训练VGG-16网络模型的基础上，需要继续学习深度神经网络模型，该过程可以分为以下几个小步骤：

1.将选取的图像质量评估数据库即TID2013数据库中的全部图像归一化到224×224大小；

2.将图像质量评估数据库中的全部图像对应的真实标签归一化，并生成对应训练样本和测试样本的标签；

3.运用公式(1)改进深度神经网络VGG-16网络模型，得到最终的神经网络模型。在训练过程中，设定初始学习率为0.0001，并按照dropout层中丢失率为0.5随机地丢失50％的参数。

步骤四、用学习好的模型测试：在这个步骤中，同样将测试图像的大小归一化为224×224，再输入到已经学习好的神经网络模型中，得到了测试图像的图像质量打分。

本发明所提出的基于深度神经网络的图像质量评估方法能够非常准确地评估无人机作业巡检采集图像的质量，并且能够明显的区分高质量图像和低质量图像，过滤低质量无用图像。本发明改进了传统的深度神经网络，通过学习后能够自动评估待测试图像的质量。

上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.基于深度神经网络的图像质量评估方法，其特征在于，包含下列步骤：

构建深度神经网络VGG-16模型并对深度神经网络VGG-16模型中的损失层进行改进得到改进后的深度神经网络VGG-16模型；

对改进后的深度神经网络VGG-16模型进行预训练；

选定训练样本和测试样本对深度神经网络VGG-16模型进行训练和评估；

采用训练好的深度神经网络VGG-16模型对待测试的图像评估打分。

2.根据权利要求1所述的基于深度神经网络的图像质量评估方法，其特征在于，对深度神经网络VGG-16模型中的损失层进行改进的方法如下:

采用欧氏距离损失函数计算样本估计值和对应标签之间的均方差，即均方根误差，如公式(1)所示：

其中，Loss为能量损失值，y′_n为真实质量评估值，y_n为预测的质量评估值。

3.根据权利要求1所述的基于深度神经网络的图像质量评估方法，其特征在于，选择TID2013数据库作为训练样本库，随机选取其中的90％作为训练样本，剩下的10％作为测试样本。

4.根据权利要求1所述的基于深度神经网络的图像质量评估方法，其特征在于，

对深度神经网络VGG-16模型进行训练和评估包括：

将训练样本和测试样本中的全部图像归一化到224×224大小；

将图像质量评估数据库中的全部图像对应的真实标签归一化，并生成对应训练样本和测试样本的标签。

5.根据权利要求1中所述的基于深度神经网络的图像质量评估方法，其特征在于，在训练过程中，设定初始学习率为0.0001，并按照dropout层中丢失率为0.5随机地丢失50％的参数。

6.根据权利要求1所述的一种基于深度神经网络的图像质量评估方法，其特征是,采用训练好的深度神经网络VGG-16模型对待测试的图像评估打分的方法包括：

步骤S41，将所有测试图像的大小调整为224×224；

步骤S42，利用训练好的深度神经网络模型对所有测试图像进行测试，获得相应的图像质量打分；

步骤S43，对比所有测试图像中的真实图像质量打分，计算得到对应图像质量评估的损失。

7.根据权利要求1中所述的基于深度神经网络的图像质量评估方法，其特征在于，在ImageNet数据库上对改进后的深度神经网络VGG-16模型进行预训练。