CN113496485B - 卫星遥感图像质量评价方法及装置 - Google Patents

卫星遥感图像质量评价方法及装置 Download PDF

Info

Publication number
CN113496485B
CN113496485B CN202110707808.3A CN202110707808A CN113496485B CN 113496485 B CN113496485 B CN 113496485B CN 202110707808 A CN202110707808 A CN 202110707808A CN 113496485 B CN113496485 B CN 113496485B
Authority
CN
China
Prior art keywords
image
quality
quality evaluation
remote sensing
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110707808.3A
Other languages
English (en)
Other versions
CN113496485A (zh
Inventor
王红钢
吕守业
周颖
刘鹏
董文军
曲小飞
杨宇科
李沛轩
栾奇骏
李蕊
罗涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Remote Sensing Information
Original Assignee
Beijing Institute of Remote Sensing Information
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Remote Sensing Information filed Critical Beijing Institute of Remote Sensing Information
Priority to CN202110707808.3A priority Critical patent/CN113496485B/zh
Publication of CN113496485A publication Critical patent/CN113496485A/zh
Application granted granted Critical
Publication of CN113496485B publication Critical patent/CN113496485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卫星遥感图像质量评价方法与装置，属于图像处理技术领域。所述方法包括：采用深度学习网络来对高分辨率遥感图像进行特征提取；基于深度学习网络提取的特征构建质量评价回归模型来进行质量评价；构建高分辨率遥感图像训练样本集训练质量评价网络；将待识别的卫星遥感图像分块后通过训练好的质量评价网络，取平均后输出质量评价结果。本发明用于高分辨率遥感卫星质量检测工作中的图像质量整体评价，能够自动的对高分辨率遥感图像进行评分，剔除质量较差的图像。

Description

卫星遥感图像质量评价方法及装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种卫星遥感图像质量评价方法及装置。
背景技术
目前对于图像质量评价的研究主要关注普通相机在地面获取周边的图片，针对卫星遥感图像的质量评价方法研究很少。由于卫星遥感图像成像机理与普通图片差异较大，地面拍摄的普通相片一般距离目标较近，拍摄的图像空间分辨率整体较高，同时由于目标的景深差异较大，在普通的图像中不同的景深区域图像的清晰度存在差异。卫星图像的空间分辨率相比地面拍摄的图像整体较低，不过由于卫星遥感图像拍摄时相机距离地面较远，不同高程的地面目标在图像上的空间分辨率差异不大。因此现有的针对普通图片的质量评价方法并不能直接适用于卫星遥感图像。
目前关于图像识别和质量评价的公开数据库有两类，一类是用于图像识别的公开数据库，用于训练可从图像中提取并抽象出具有语义信息的特征的网络模型；另一类是专门为质量评价设计的公开数据库，如LIVE2，TID2013等，这类数据库的图像数量一般较少，且均为普通图像，没有高分辨率遥感图像，该类数据库训练出来的网络模型在对普通图像进行质量评分时精度已是不高，更不能用于高分辨率遥感图像质量评价。
发明内容
有鉴于此，本发明提供的一种卫星遥感图像图像质量检测方法及装置，主要目的在于解决现有技术中缺乏卫星遥感图像的质量评价的可靠方法的问题。
根据本发明一个方面，提供了一种卫星遥感图像图像质量检测方法，该方法包括步骤：步骤1：基于残差网络构建基础网络，采用大型公开图像识别数据库对所述基础网络进行预训练V1；所述基础网络用于从图像中提取并抽象出具有语义信息的特征，生成质量评价的特征值输入质量评价回归模型；所述基础网络与所述质量评价回归模型共同构成所述质量评价网络；步骤2：构建高分辨率遥感图像训练样本集D对所述质量评价网络进行训练；步骤3：将待识别的卫星遥感图像通过训练好的质量评价网络，输出质量评价结果。
作为本发明的进一步改进，所述步骤2包括：步骤21：构建高分辨率遥感图像训练样本集D，所述训练样本集D包括相对质量样本集D1和绝对质量样本集D2；所述相对质量样本集D1中的图像样本之间的相对质量已知，每张图像样本的绝对质量值未知；所述绝对质量样本集D2中的每张图像样本的绝对质量值为已知。步骤22：使用所述相对质量样本集D1对所述质量评价网络进行初步训练V2，使得所述质量评价网络能够区分图像质量的相对高低；步骤23：使用所述绝对质量样本集D2对初步训练V2后的所述质量评价网络进行精细训练V3，得到训练好的所述质量评价网络，使得所述质量评价网络能够对图像质量评分。
作为本发明的进一步改进，所述相对质量样本集D1为采用不同模糊程度的高斯滤波来模拟不同质量的卫星遥感图像，每张卫星遥感图像本身与其经过不同模糊程度的高斯滤波后产生的图像组合成图像小组；所述每个图像小组中，各图像之间质量的相对高低是已知，每一个图像的质量评价值未知。
作为本发明的进一步改进，所述绝对质量样本集D2中每一张卫星遥感图像都给定一个数值来描述图像质量的高低。
作为本发明的进一步改进，步骤3具体为：将待识别的卫星遥感图像进行拆分处理，将裁剪为大小一致的图像块；将每一个图像块输入训练好的质量评价网络得到每一个图像块质量的得分；对所有图像块的得分计算平均值作为所述待识别的卫星遥感图像的质量评价结果。
作为本发明的进一步改进，所述基础网络的构造为：将18层的残差网络resnet18最后的avgpool层和全连接层去掉，保留前面的卷积和直连部分来作为所述基础网络。
根据本发明另一个方面，提供了一种卫星遥感图像质量评价装置，该装置包括：模型构建模块：基于残差网络构建基础网络，采用大型公开图像识别数据库对所述基础网络进行预训练V1；所述基础网络用于从图像中提取并抽象出具有语义信息的特征，生成质量评价的特征值输入质量评价回归模型；所述基础网络与所述质量评价回归模型共同构成所述质量评价网络；模型训练模块：构建高分辨率遥感图像训练样本集D对所述质量评价网络进行训练；模型应用模块：将待识别的卫星遥感图像通过训练好的质量评价网络，输出质量评价结果。
作为本发明的进一步改进，所述模型训练模块包括：构建训练样本集子模块：构建高分辨率遥感图像训练样本集D，所述训练样本集D包括相对质量样本集D1和绝对质量样本集D2；所述相对质量样本集D1中的图像样本之间的相对质量已知，每张图像样本的绝对质量值未知；所述绝对质量样本集D2中的每张图像样本的绝对质量值为已知。初步训练子模块：使用所述相对质量样本集D1对所述质量评价网络进行初步训练V2，使得所述质量评价网络能够区分图像质量的相对高低；精细训练子模块：使用所述绝对质量样本集D2对初步训练V2后的所述质量评价网络进行精细训练V3，得到训练好的所述质量评价网络，使得所述质量评价网络能够对图像质量评分。
作为本发明的进一步改进，所述相对质量样本集D1为采用不同模糊程度的高斯滤波来模拟不同质量的卫星遥感图像，每张卫星遥感图像本身与其经过不同模糊程度的高斯滤波后产生的图像组合成图像小组；所述每个图像小组中，各图像之间质量的相对高低是已知，每一个图像的质量评价值未知。
作为本发明的进一步改进，所述绝对质量样本集D2中每一张卫星遥感图像都给定一个数值来描述图像质量的高低。
籍由上述技术方案，本发明提供的有益效果如下：
(1)构建高斯滤波核，通过对高精度遥感图像进行分割，以及使用不同的高斯滤波核对分割后的原图像进行不同模糊程度的滤波，形成大量的遥感图像相对质量评价数据集，解决了目前针对遥感图像公开数据集缺乏的问题。
(2)基于残差网络模型构建质量评价网络，构建图像相对质量评价数据集与绝对质量评价数据集，先使用相对质量评价数据集对整体网络进行初步训练，使得质量评价网络具有区分图像之间相对质量的能力，再使用绝对质量评价数据集进行精细训练，相比图像质量相对高低的图像组合，绝对得分的图像数量较少，难以构建大体量的训练数据，因此，通过在初步训练的结果上进行微调式的精细训练，能够更快的实现图像质量得分的模型回归，提高训练的精度和速度。
(3)本发明采用主客观打分结合的方式来给每张高分辨率的遥感图像进行评分。其中主观打分是根据不同人对图像清晰度的评价来综合进行打分，客观打分是利用目前已有的公开数据库来训练一个精度较高的模型，利用训练后的模型对高分辨率遥感图像打分。将这两个得分取平均来作为高分辨率遥感图像的清晰度得分。解决了目前没有公开的高分辨率遥感图像质量评价数据库的问题，能够快速的构建高分辨率遥感图像绝对质量评价数据集。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种卫星遥感图像质量评价方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
残差网络：残差在数理统计中是指实际观察值与估计值(拟合值)之间的差。在集成学习中可以通过基模型拟合残差，使得集成的模型变得更精确；在深度学习中可利用layer去拟合残差将深度神经网络的性能提高变强。主要算法有Gradient Boosting和Resnet等。
本发明所要解决的核心技术问题是现有的基于机器学习的图像质量评价方法受限于用于训练的图像基本都是普通图片，从而无法直接适用于高分辨率遥感图像的图像质量评价的问题。
针对上述技术问题，本发明提出一种卫星遥感图像质量评价方法与装置，通过以残差网络为基础网络来进行图像特征的提取与抽象，并将特征输入质量评价回归模型得到质量评分。为了提高模型训练的效率和泛化能力，本发明综合采用质量评价公开数据集与高分辨率遥感数据集来进行训练，训练过程首先进行相对质量评价模型参数的训练，然后再基于高分辨率遥感数据集进行绝对质量评价训练。
实施例1
图1为本发明实施例提供的一种卫星遥感图像质量评价方法流程示意图，如图1所示，本实施例所述方法的技术方案包括以下步骤：
步骤1：基于残差网络构建基础网络，采用大型公开图像识别数据库对基础网络进行预训练V1；基础网络用于从图像中提取并抽象出具有语义信息的特征，生成质量评价的特征值输入质量评价回归模型；基础网络与质量评价回归模型共同构成所述质量评价网络；
本实施例首先建立了一个基于残差网络模型的质量评价深度神经网络模型，该模型的基础网络来自图像识别中的残差网络，为了提高训练的速度本发明采用resnet18的卷积网络部分来作为基础网络。
以18层的残差网络resnet18为基础构建卫星遥感图像质量评价模型，对最后一个卷积层输出的特征图像(通道数量为512)计算最大值与最小值，得到长度为1024的特征矢量。将1024的特征矢量与100个神经元构建全连接。模型的输出层为1个神经元，用来模拟图像图像质量的得分。
本实施例中的基础网络将8层的残差网络resnetl8最后的avgpool层和全连接层去掉，保留前面的卷积和直连部分来作为基础的卷积网络。
质量评价网络中的基础网络部分的参数初始值采用预训练模型，预训练模型一般采用大型的公开数据库(如ImageNet等)来训练。这类公开数据库是图像识别的公开数据库，这类数据库以ImageNet为代码，数量庞大且图像中包含的目标类别较多，目的是用来训练基础网络部分，基础网络模型的作用就是从图像中提取并抽象出具有语义信息的特征。模型全连接部分的参数随机进行设置。模型训练的学习率设置为0.001，batch size为24，epoch设置为50，优化方法设置为Adam。预训练的目的是使得基础网络部分能够从图像中自动提取具有语义信息的特征。
基础网络部分负责对广义的图像特征进行提取并对特征进行抽象，利用最大与最小池化获取的最大最小值作为质量评价的特征值输入质量评价回归模型，质量评价回归模型是质量评价网络中负责进行评分的模型，目的是对基础网络提取的特征进一步处理，利用回归的方式来得到质量得分。基础网络部分与质量评价回归模型共同构成质量评价网络。
质量评价回归模型的作用是将基础网络提取的特征进行回归分析映射到图像质量评分上。质量评价回归模型采用神经网络的全连接方式来进行建模，为了进一步抽取图像的整体特征，首先将基础网络生成的最后一个特征图的每个通道的最大值和最小值计算出来形成一维特征矢量，然后将一维特征矢量输入到全连接神经网络，最后的输出层只有一个节点，代表了质量的评分。
步骤2：构建高分辨率遥感图像训练样本集D对质量评价网络进行训练；
步骤21：构建高分辨率遥感图像训练样本集D，训练样本集D包括相对质量样本集D1和绝对质量样本集D2；相对质量样本集D1中的图像样本之间的相对质量已知，每张图像样本的绝对质量值未知；绝对质量样本集D2中的每张图像样本的绝对质量值为已知。
步骤22：使用相对质量样本集D1对质量评价网络进行初步训练V2，使得质量评价网络能够区分图像质量的相对高低；
高分辨率遥感图像训练样本集D中包括两类样本，第一类为相对质量样本集D1，该集合D1中各图像小组的图像之间质量的相对高低是已知的(如DMOS，Differential MeanOpinion Scores)，但是没有对其中每一个图像给出绝对评价值；具体来说，是采用不同模糊程度的高斯滤波来模拟不同图像质量的图像，从而构建具有相对质量高低的遥感图像数据集。
在一个具体的应用场景中，相对质量样本集D1中的每个图像小组按照清晰程度高低进行了排序。为了兼顾训练效果和训练的效率，这类样本的数量设置为10万左右。
下面使用一个具体的应用场景来说明采用不同模糊程度的高斯滤波来模拟不同质量的图像的过程，不同的模糊程度对应了不同方差的高斯滤波核。
在一个应用场景中，首先构建高斯滤波核，卷积核的大小设置为5x5，方差的大小依次设置为：0.707，1.414，2.828，4.243。用这4个高斯滤波核对原始高分辨率图像进行空间滤波得到4张图像。对输入的每一张高分辨率图像进行多人主观打分，分数的范围为：[1，2，3，4，5]，代表了图像质量的5个级别。其中1代表非常模糊，2代表比较模糊，3代表轻微模糊，4代表清晰，5代表非常清晰。将多人主观打分的结果平均之后作为输入的高分辨率遥感图像的得分。按照高斯滤波核的方差由小到大的顺序，用上述生成的高斯滤波核对输入的遥感影像进行4次滤波，滤波之后的图像质量得分分别为原始图像的80％，60％，40％，20％。对所有的输入图像进行上述的操作。主观打分在原始图像上来进行，其余图像的得分根据滤波核的方差来直接计算。例如，原始图像主观打分为3分，则其余图像的得分则分别为2.4分，1.8分，1.2分，0.6分。
假设原始的高分辨率遥感图像的数量为N，那么经过模拟之后的遥感图像的数量增加为5N。将原始的遥感图像裁剪为512x512大小的图像块，每一个图像块的得分与原始图像一致。根据图像图像质量得分的高低，将不同得分的图像进行组合得到图像对，具体来说，组合时将一张原始图像以及经过高斯滤波得到的4张图像按照
Figure BDA0003131279530000071
进行组合，可以得到10个图像对，图像对中的两张图像的得分都是不同的。所有的图像对集中在一起就构成相对质量样本集D1。
优选的，相对质量样本集D1中还包括一部分公开数据库(如LIVE2，TID2013等)中的数据，公开数据库中每张图像都对应了一个DMOS，可以直接判断图像之间的质量高低。
首先利用相对质量样本集D1来对质量评价网络进行初步训练V2，这个步骤的目的是让质量评价网络能够区分图像质量的相对高低，而不用给出一个绝对的评价，不直接获得图像的图像质量得分。
图像质量相对高低的图像样本组合数量较多，因此初步训练V2更加充分，经过初步训练V2训练后质量评价网络已经能够区分图像质量的相对高低。
步骤23：使用绝对质量样本集D2对初步训练V2后的质量评价网络进行精细训练V3，得到训练好的质量评价网络，使得质量评价网络能够对图像质量评分。
高分辨率遥感图像训练样本集D中包括两类样本，第二类为绝对质量样本集D2，该集合D2中每一张图像都给定一个数值来描述图像质量的高低，比如常用的MOS(MeanOpinion Scores)，值越大则表示图像质量越高。绝对图像质量评价的数据集主要是要解决高分辨率遥感图像的准确评价，由于目前还没有公开的高分辨率遥感图像质量评价数据库，本实施例采用主客观打分结合的方式来给每张高分辨率的遥感图像进行评分。其中主观打分是根据不同人对图像图像质量的评价来综合进行打分，具有很强的主观性，需要较多人对同一张图像进行打分后进行平均来得到一个较为合理的评分，客观打分是利用目前已有的公开数据库(普通图像质量评价)来训练一个精度较高的模型，模型可选择采用目前通用的卷积网络模型(如Le K，Peng Y，Yi L，et al.Convolutional Neural Networks forNo-Reference lmage QuaIi ty Assessment[C]//2014IEEE Conference on ComputerVision and Pattern Recognition.IEEE，2014.提出的质量评价模型)，训练的样本集可选择采用公开的LIVE2或者TID2013。利用训练后的模型对高分辨率遥感图像打分，模型得分是基于已有的公开数据库(普通图像质量评价)训练得到，因此可以看作客观得分。最后将这两个得分取平均来作为绝对质量样本集D2中的高分辨率遥感图像的图像质量得分。
在一个具体的应用场景中，绝对质量样本集D2中的图像数量为1万左右，覆盖了典型的遥感地表，如裸地，植被，城镇，水体，云和雪等目标。
分为两步训练可以充分利用相对质量数据集容易获取的优点来得到一个能够区分质量相对高低的质量评价网络模型，为绝对质量评价数据集的训练提供较好的质量评价网络模型参数初始值，从而加快质量评价网络模型训练的收敛速度，同时提高质量评价网络模型的精度和泛化能力。
在相对质量训练结束的基础上利用构建好的绝对质量样本集D2来进一步训练，最终得到一个收敛的模型。精细训练V3则利用图像质量公开数据集来进行训练，目的是对质量评价网络模型参数进行微调，实现图像质量得分的回归分析。相比图像质量相对高低的图像组合，绝对得分的图像数量较少，因此，通过在初步训练V2的结果上进行微调，能够更快的实现图像质量得分的模型回归。
步骤3：将待识别的卫星遥感图像通过训练好的卫星遥感图像质量评价模型，输出质量评价结果。
得到训练好的卫星遥感图像质量评价模型后，可以对输入的遥感图像进行计算得到图像质量得分。由于遥感图像的尺寸较大，首先对原始的遥感图像进行拆分处理，将原始图像裁剪为大小为512x512的图像块。将每一个图像块输入识别模型得到图像质量的得分。然后对所有图像的得分计算平均值作为整幅图像的最后得分。
实施例2
进一步的，作为对上述实施例所示方法的实现，本发明另一实施例还提供了一种卫星遥感图像质量评价装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。在该实施例的装置中，具有以下模块：
1、模型构建模块：基于残差网络构建基础网络，采用大型公开图像识别数据库对基础网络进行预训练V1；基础网络用于从图像中提取并抽象出具有语义信息的特征，生成质量评价的特征值输入质量评价回归模型；基础网络与质量评价回归模型共同构成质量评价网络；该模块对应于实施例1中的步骤1。
2、模型训练模块：构建高分辨率遥感图像训练样本集D对质量评价网络进行训练；该模块对应于实施例1中的步骤2。
包括以下子模块：
构建训练样本集子模块：构建高分辨率遥感图像训练样本集D，训练样本集D包括相对质量样本集D1和绝对质量样本集D2；相对质量样本集D1中的图像样本之间的相对质量已知，每张图像样本的绝对质量值未知；绝对质量样本集D2中的每张图像样本的绝对质量值为已知。
初步训练子模块：使用相对质量样本集D1对质量评价网络进行初步训练V2，使得质量评价网络能够区分图像质量的相对高低；
精细训练子模块：使用绝对质量样本集D2对初步训练V2后的质量评价网络进行精细训练V3，得到训练好的质量评价网络，使得质量评价网络能够对图像质量评分。
3、模型应用模块：将待识别的卫星遥感图像通过训练好的质量评价网络，输出质量评价结果。该模块对应于实施例1中的步骤3。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

Claims (8)

1.一种卫星遥感图像质量评价方法，其特征在于，包括以下步骤：
步骤1：基于残差网络构建基础网络，采用大型公开图像识别数据库对所述基础网络进行预训练V1；所述基础网络用于从图像中提取并抽象出具有语义信息的特征，生成质量评价的特征值输入质量评价回归模型；所述基础网络与所述质量评价回归模型共同构成所述质量评价网络；
步骤2：构建高分辨率遥感图像训练样本集D对所述质量评价网络进行训练；
所述步骤2包括：
步骤21：构建高分辨率遥感图像训练样本集D，所述训练样本集D包括相对质量样本集D1和绝对质量样本集D2；所述相对质量样本集D1中的图像样本之间的相对质量已知，每张图像样本的绝对质量值未知；所述绝对质量样本集D2中的每张图像样本的绝对质量值为已知；
步骤22：使用所述相对质量样本集D1对所述质量评价网络进行初步训练V2，使得所述质量评价网络能够区分图像质量的相对高低；
步骤23：使用所述绝对质量样本集D2对初步训练V2后的所述质量评价网络进行精细训练V3，得到训练好的所述质量评价网络，使得所述质量评价网络能够对图像质量评分；
步骤3：将待识别的卫星遥感图像通过训练好的质量评价网络，输出质量评价结果。
2.根据权利要求1所述的卫星遥感图像质量评价方法，其特征在于，所述相对质量样本集D1为采用不同模糊程度的高斯滤波来模拟不同质量的卫星遥感图像，每张卫星遥感图像本身与其经过不同模糊程度的高斯滤波后产生的图像组合成图像小组；所述每个图像小组中，各图像之间质量的相对高低是已知，每一个图像的质量评价值未知。
3.根据权利要求1所述的卫星遥感图像质量评价方法，其特征在于，所述绝对质量样本集D2中每一张卫星遥感图像都给定一个数值来描述图像质量的高低。
4.根据权利要求1-3中任意一项所述的卫星遥感图像质量评价方法，其特征在于，步骤3具体为：将待识别的卫星遥感图像进行拆分处理，将裁剪为大小一致的图像块；将每一个图像块输入训练好的质量评价网络得到每一个图像块质量的得分；对所有图像块的得分计算平均值作为所述待识别的卫星遥感图像的质量评价结果。
5.根据权利要求1-3中任意一项所述的卫星遥感图像质量评价方法，其特征在于，所述基础网络的构造为：将18层的残差网络resnet18最后的avgpool层和全连接层去掉，保留前面的卷积和直连部分来作为所述基础网络。
6.一种卫星遥感图像质量评价装置，其特征在于，包括：
模型构建模块：基于残差网络构建基础网络，采用大型公开图像识别数据库对所述基础网络进行预训练V1；所述基础网络用于从图像中提取并抽象出具有语义信息的特征，生成质量评价的特征值输入质量评价回归模型；所述基础网络与所述质量评价回归模型共同构成所述质量评价网络；
模型训练模块：构建高分辨率遥感图像训练样本集D对所述质量评价网络进行训练；
所述模型训练模块包括：
构建训练样本集子模块：构建高分辨率遥感图像训练样本集D，所述训练样本集D包括相对质量样本集D1和绝对质量样本集D2；所述相对质量样本集D1中的图像样本之间的相对质量已知，每张图像样本的绝对质量值未知；所述绝对质量样本集D2中的每张图像样本的绝对质量值为已知；
初步训练子模块：使用所述相对质量样本集D1对所述质量评价网络进行初步训练V2，使得所述质量评价网络能够区分图像质量的相对高低；
精细训练子模块：使用所述绝对质量样本集D2对初步训练V2后的所述质量评价网络进行精细训练V3，得到训练好的所述质量评价网络，使得所述质量评价网络能够对图像质量评分；
模型应用模块：将待识别的卫星遥感图像通过训练好的质量评价网络，输出质量评价结果。
7.根据权利要求6所述的卫星遥感图像质量评价装置，其特征在于，所述相对质量样本集D1为采用不同模糊程度的高斯滤波来模拟不同质量的卫星遥感图像，每张卫星遥感图像本身与其经过不同模糊程度的高斯滤波后产生的图像组合成图像小组；所述每个图像小组中，各图像之间质量的相对高低是已知，每一个图像的质量评价值未知。
8.根据权利要求6所述的卫星遥感图像质量评价装置，其特征在于，所述绝对质量样本集D2中每一张卫星遥感图像都给定一个数值来描述图像质量的高低。
CN202110707808.3A 2021-06-24 2021-06-24 卫星遥感图像质量评价方法及装置 Active CN113496485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110707808.3A CN113496485B (zh) 2021-06-24 2021-06-24 卫星遥感图像质量评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110707808.3A CN113496485B (zh) 2021-06-24 2021-06-24 卫星遥感图像质量评价方法及装置

Publications (2)

Publication Number Publication Date
CN113496485A CN113496485A (zh) 2021-10-12
CN113496485B true CN113496485B (zh) 2022-12-02

Family

ID=77997776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110707808.3A Active CN113496485B (zh) 2021-06-24 2021-06-24 卫星遥感图像质量评价方法及装置

Country Status (1)

Country Link
CN (1) CN113496485B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN109615627A (zh) * 2018-12-14 2019-04-12 国网山东省电力公司信息通信公司 一种输变电巡检图像质量评价方法及系统
CN109949277A (zh) * 2019-03-04 2019-06-28 西北大学 一种基于排序学习和简化残差网络的oct图像质量评价方法
CN110807491A (zh) * 2019-11-05 2020-02-18 上海眼控科技股份有限公司 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN110837842A (zh) * 2019-09-12 2020-02-25 腾讯科技（深圳）有限公司 一种视频质量评估的方法、模型训练的方法及装置
CN112614110A (zh) * 2020-12-24 2021-04-06 Oppo（重庆）智能科技有限公司 评估图像质量的方法、装置及终端设备
CN112766351A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种图像质量的评估方法、系统、计算机设备和存储介质
CN112995652A (zh) * 2021-02-01 2021-06-18 腾讯科技（深圳）有限公司 视频质量评估方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN109615627A (zh) * 2018-12-14 2019-04-12 国网山东省电力公司信息通信公司 一种输变电巡检图像质量评价方法及系统
CN109949277A (zh) * 2019-03-04 2019-06-28 西北大学 一种基于排序学习和简化残差网络的oct图像质量评价方法
CN110837842A (zh) * 2019-09-12 2020-02-25 腾讯科技（深圳）有限公司 一种视频质量评估的方法、模型训练的方法及装置
CN110807491A (zh) * 2019-11-05 2020-02-18 上海眼控科技股份有限公司 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN112614110A (zh) * 2020-12-24 2021-04-06 Oppo（重庆）智能科技有限公司 评估图像质量的方法、装置及终端设备
CN112766351A (zh) * 2021-01-12 2021-05-07 云南电网有限责任公司电力科学研究院 一种图像质量的评估方法、系统、计算机设备和存储介质
CN112995652A (zh) * 2021-02-01 2021-06-18 腾讯科技（深圳）有限公司 视频质量评估方法及装置

Also Published As

Publication number Publication date
CN113496485A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN112861720B (zh) 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN111563893B (zh) 基于航拍图像的均压环缺陷检测方法、装置、介质和设备
CN109784197B (zh) 基于孔洞卷积与注意力学习机制的行人再识别方法
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN108289222A (zh) 一种基于结构相似度映射字典学习的无参考图像质量评价方法
CN106548169A (zh) 基于深度神经网络的模糊文字增强方法及装置
CN109344845A (zh) 一种基于Triplet深度神经网络结构的特征匹配方法
CN108447048B (zh) 基于关注层的卷积神经网络图像特征处理方法
CN111079620A (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN111524117A (zh) 一种基于特征金字塔网络的隧道表面缺陷检测方法
CN111368825A (zh) 一种基于语义分割的指针定位方法
CN114091606A (zh) 一种隧道爆破炮孔半眼痕识别和损伤平整度评价分类方法
CN112084895B (zh) 一种基于深度学习的行人重识别方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN111626357B (zh) 一种基于神经网络模型的图像识别方法
CN111161244A (zh) 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN109740672B (zh) 多流特征距离融合系统与融合方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN112132839B (zh) 一种基于深度卷积级联网络的多尺度快速人脸分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant