CN115631399A - 图像质量评估模型的训练方法、图像质量评估方法及装置 - Google Patents

图像质量评估模型的训练方法、图像质量评估方法及装置 Download PDF

Info

Publication number
CN115631399A
CN115631399A CN202211313845.7A CN202211313845A CN115631399A CN 115631399 A CN115631399 A CN 115631399A CN 202211313845 A CN202211313845 A CN 202211313845A CN 115631399 A CN115631399 A CN 115631399A
Authority
CN
China
Prior art keywords
image
training
training image
evaluation model
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211313845.7A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202211313845.7A priority Critical patent/CN115631399A/zh
Publication of CN115631399A publication Critical patent/CN115631399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域，提供了图像质量评估模型的训练方法、图像质量评估方法及装置。该训练方法包括：获取第一训练图像和标签信息；对第一训练图像进行分割，确定前景区域和背景区域；改变背景区域中的第一像素信息，得到第二训练图像；改变前景区域中的第二像素信息，得到第三训练图像；将第一训练图像、第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图；特征权重图由预设评估模型中的空间注意力网络确定；基于第二像素信息、预测质量分数、特征权重图和标签信息，对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型，该图像质量评估模型可以对目标对象质量进行准确评估。

Description

图像质量评估模型的训练方法、图像质量评估方法及装置
技术领域
本公开涉及图像处理技术领域，尤其涉及图像质量评估模型的训练方法、图像质量评估方法及装置。
背景技术
随着科学技术的发展，获取图像的方式越来越容易，图像的数量也越来越多，致使对图像进行质量评估至关重要，通过进行质量评估，过滤掉低质量的图像数据，提高后续图像处理的效率和准确率。目前，在对图像进行质量评估时，会根据图像的模糊度、亮度、曝光、锐度等特征，确定出一个体现整体图像质量的质量分数，然后根据该质量分数进行端对端的训练，得到图像质量评估模型，该图像质量评估模型难以对图像中目标对象的质量进行准确的评估。
发明内容
有鉴于此，本公开实施例提供了图像质量评估模型的训练方法、图像质量评估方法及装置，以解决现有技术中图像质量评估模型难以对图像中目标对象的质量进行准确的评估。
本公开实施例的第一方面，提供了一种图像质量评估模型的训练方法，包括：
获取包含目标对象的第一训练图像和第一训练图像对应的标签信息；
对第一训练图像进行分割，确定目标对象对应的前景区域和背景区域；
改变背景区域中的第一像素信息，得到第二训练图像；改变前景区域中的第二像素信息，得到第三训练图像；
将第一训练图像、第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图；其中，特征权重图由预设评估模型中的空间注意力网络确定；
基于第二像素信息、预测质量分数、特征权重图和标签信息，对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
本公开实施例的第二方面，提供了一种图像质量评估方法，包括：
获取待评估图像；其中，待评估图像包含目标对象；
将待评估图像输入图像质量评估模型，得到质量评估结果；
其中，图像质量评估模型采用上述的方法训练得到。
本公开实施例的第三方面，提供了一种图像质量评估模型的训练装置，包括：
数据获取模块，用于获取包含目标对象的第一训练图像和第一训练图像对应的标签信息；
分割处理模块，用于对第一训练图像进行分割，确定目标对象对应的前景区域和背景区域；
改变处理模块，用于改变背景区域中的第一像素信息，得到第二训练图像；改变前景区域中的第二像素信息，得到第三训练图像；
输入处理模块，用于将第一训练图像、第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图；其中，特征权重图由预设评估模型中的空间注意力网络确定；
参数调整模块，用于基于第二像素信息、预测质量分数、特征权重图和标签信息，对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
本公开实施例的第四方面，提供了一种图像质量评估装置，包括：
图像获取模块，被配置为获取待评估图像；其中，待评估图像包含目标对象；
图像评估模块，被配置为将待评估图像输入图像质量评估模型，得到质量评估结果；
其中，图像质量评估模型采用上述的方法训练得到。
本公开实施例的第五方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第六方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：通过获取包含目标对象的第一训练图像和第一训练图像对应的标签信息；然后对第一训练图像进行分割，确定目标对象对应的前景区域和背景区域，并对背景区域中的第一训练图像进行改变，得到第二训练图像，对前景区域中的第二像素信息进行改变，得到第三训练图像。将第一训练图像、第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图，其中特征权重图由预设评估模型中的空间注意力网络确定。进一步根据第二像素信息、预设质量分数、特征权重图和标签信息对预设模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。在本公开提供的技术方案中，通过对第一训练图像进行分割，得到前景区域和背景区域，并对前景区域中的第一像素信息和背景区域中的第二像素信息进行改变，将改变前景图像和改变背景图像对预测质量分数的影响引入对模型参数进行调整的过程中，能够有效解耦图像中目标对象质量和整体图像质量，去除图像本身质量和背景质量的干扰，使得确定出图像质谱评估模型可以准确地对目标对象质量进行评估。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种图像质量评估模型的训练方法的流程示意图；
图2是本公开实施例提供的一种图像质量评估方法的流程示意图；
图3是本公开实施例提供的一种图像质量评估模型的训练装置的结构示意图；
图4是本公开实施例提供的一种图像质量评估装置的结构示意图；
图5是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
图1是本公开实施例提供的一种图像质量评估模型的训练方法的流程示意图。图1的图像质量评估模型的训练方法可以由服务器执行，该方法包括：
S101，获取包含目标对象的第一训练图像和第一训练图像对应的标签信息。
S102，对第一训练图像进行分割，确定目标对象对应的前景区域和背景区域。
S103，改变背景区域中的第一像素信息，得到第二训练图像；改变前景区域中的第二像素信息，得到第三训练图像。
S104，将第一训练图像、第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图；其中，特征权重图由预设评估模型中的空间注意力网络确定。
S105，基于第二像素信息、预测质量分数、特征权重图和标签信息，对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
具体地，目标对象为在第一训练图像中的研究对象，示例性的，目标对象可以为人脸、车辆或动物等；在目标对象为人脸时，第一训练图像为人脸图像；在目标对象为车辆时，第一训练图像为车辆图像；在目标对象为动物时，第一训练图像为动物图像。
进一步地，标签信息可以为真实的标注数据，也可以为计算出的伪标签。示例性的，利用SDD(Single Shot MultiBox Detector)算法计算出第一训练图像对应的质量分数伪标签，对第一训练图像进行分类，将类内样本与类间样本的分布距离结果作为第一训练图像的质量分数伪标签，针对第i个第一训练图像xi，记其质量分数伪标签为yi。
进一步地，对第一训练图像进行图像分割，如引入图像分割算法PP-LiteSeg将第一训练图像分割为前景区域和背景区域，前景区域中包含用户的感兴趣对象即目标对象，背景区域对目标对象没有影响。例如对于人脸图像进行分割，确定出前景区域即人脸区域和背景区域即非人脸区域。
进一步地，对背景区域中的第一像素信息进行改变，得到第二训练图像，第二训练图像中的前景区域不发生变化。其中，第一像素信息为在背景区域中随机选取的部分像素点对应的信息。对第一像素信息进行改变可以为采用随机值进行替换，也可以将第一像素信息的像素点的像素值修改为设定值。
在一种可能的实现方式中，对背景区域进行区域划分，得到背景区域，其中划分的方式可以是大小相等，也可以大小不同。在背景区域中进行随机选取，随机选取的背景区域的数量可以为至少一个，选择的背景区域中的像素点对应第一像素信息，对选取的背景区域采用随机值进行填充替代原像素点，得到第二训练图像。
进一步地，对前景区域中的第二像素信息进行改变，得到第三训练图像，第三训练图像中的背景区域不发生变化。其中，第二像素信息为在前景区域中随机选取的部分像素点对应的信息。对第二像素信息进行改变可以为采用随机值进行替换，也可以将第二像素信息的像素点的像素值修改为设定值。
在一种可能的实现方式中，对前景区域进行区域划分，得到前景区域，其中划分的方式可以是大小相等，也可以大小不同。在前景区域中进行随机选取，随机选取的前景区域的数量可以为至少一个，选择的前景区域中的像素点对应第二像素信息，对选取的前景区域采用随机值进行填充替代原像素点，得到第三训练图像。
将原始图像即第一训练图像、改变后的图像即第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图，其中特征权重图由预设评估模型中的空间注意力网络确定，该特征权重图可以用于指示改变的第一像素信息和第二像素信息的重要性。
在一种可能的实现方式中，预先搭建预设评估模型，预设评估模型包括特征提取网络、预测输出网络和空间注意力网络，特征提取网络的数量可以为多个，特征提取网络的连接方式为串联，预测输出网络连接在全部的特征提取网络后，根据特征提取网络提取出的特征进行质量回归，输出预测质量分数。空间注意力网络与一个特征提取网络相连接，对与其相连的特征提取网络提取出的特征进行学习，得到特征权重图，引入空间注意力网络可以让模型更关注于重要区域来回归结果。
进一步地，根据第二像素信息、预测质量分数、特征权重图、标签信息进行构建出约束的损失函数，根据损失函数对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
其中，预测质量分数为预设评估模型的预测值，标签信息可以视为对训练数据的标注值，因此利用预测质量分数和标签信息进行损失函数的构建。第一像素信息与背景区域相对应，背景区域的改变对原始图像即第一训练图像的影响理应较小，第二训练图像的质量分数应与第一训练图像的质量分数接近；第二像素信息与前景区域相对应，前景区域的改变对原始图像即第一训练图像的影响理应较大，也就是说预测质量分数应该更关注于前景区域，背景的改变不应该引起预测质量分数的大幅波动，从而将第二像素信息引入损失函数的构建中。特征权重图可以指示替换的第二像素信息的重要程度，因此将特征权重图引入损失函数的构建中。根据第二像素信息、预测质量分数、特征权重图和标签信息准确地构建出损失函数，利用该损失函数获取到的图像质量评估模型对图像中的目标对象可以进行准确地评估。
需要说明的是，目标对象质量(目标对象图像质量)和图像质量(整体图像质量)是两个问题，例如，在人脸识别任务中，一张背景模糊但人脸角度较正、无明显遮挡的图片是有益于人脸识别任务的，所以应视为一张高质量人脸图片；相反一张分辨率很高的侧脸图应被视为低质量人脸图片，这与图像质量的结论并不一致。因此若基于图像的整体质量训练出的图像质量评估模型可能无法准确地对目标对象质量进行准确地评估。本实施例中通过图像分割算法将前景与背景分割开来，将前景与背景分别改变，分别进行损失计算回归质量分数，能够有效解耦目标对象图像质量和图像质量，去除图像本身质量和背景质量的干扰，更加准确地估计目标对象质量。
根据本公开实施例提供的技术方案，通过获取包含目标对象的第一训练图像和第一训练图像对应的标签信息；然后对第一训练图像进行分割，确定目标对象对应的前景区域和背景区域，并对背景区域中的第一训练图像进行改变，得到第二训练图像，对前景区域中的第二像素信息进行改变，得到第三训练图像。将第一训练图像、第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图，其中特征权重图由预设评估模型中的空间注意力网络确定。进一步根据第二像素信息、预设质量分数、特征权重图和标签信息对预设模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。在本公开提供的技术方案中，通过对第一训练图像进行分割，得到前景区域和背景区域，并对前景区域中的第一像素信息和背景区域中的第二像素信息进行改变，将改变前景图像和改变背景图像对预测质量分数的影响引入对模型参数进行调整的过程中，能够有效解耦图像中目标对象质量和整体图像质量，去除图像本身质量和背景质量的干扰，使得确定出图像质谱评估模型可以准确地对目标对象质量进行评估。
在一些实施例中，预测质量分数包括第一训练图像对应的第一预测分数、第二训练图像对应的第二预测分数和第三训练图像对应的第三预测分数；S105步骤，包括：
S1051，基于第一预测分数和标签信息，确定第一损失；基于第二预测分数和标签信息，确定第二损失。
S1052，基于特征权重图，确定第二像素信息对应的第一影响系数；基于第一影响系数、第三预测分数和标签信息，确定第三损失。
S1053，基于第一损失、第二损失和第三损失，对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
具体地，第一训练图像为没有经过任何改变的原始图像，因此可以根据第一训练图像对应的第一预测分数和标签信息，确定第一损失。
举例来说，将第一训练图像xi输入预设评估模型，得到预设评估模型输出的第一预测分数qi，对应的标签信息为yi，可以采用均方误差作为第一损失对应的损失函数L1进行训练约束，其中损失函数L1的公式如下所示：
L1＝(yi-qi)2。
进一步地，第二训练图像是背景区域进行改变得到的，而背景区域的改变对目标对象质量的影响较小，因此根据第二训练图像对应的第二预测分数和标签信息，确定第二损失。
举例来说，对于第一训练图像xi，将对应的背景区域中的像素点分为可能大小不等的kxk个子区域块，随机选取其中的某个子区域块(即
Figure BDA0003908175900000081
个像素点)，采用随机值进行填充替代原来的像素点，得到第二训练图像
Figure BDA0003908175900000082
将
Figure BDA0003908175900000083
输入到预设评估模型中，得到第二预测分数qi back，确定第二损失对应的损失函数L2,使用损失函数L2进行训练约束，其中损失函数L2的公式如下所示：
Figure BDA0003908175900000091
损失函数L2的含义为将第一训练图像xi的背景区域中的一部分像素点进行随机填充替换后，得到的第二训练图像的预测质量分数应该与第一训练图像非常接近，也就是说预测质量分数应该更关注于前景部分，背景中像素点的更替不应该引起质量分数的大幅波动。
进一步地，特征权重图中可以获取到权重信息，根据该权重信息确定出第二像素信息对应的第一影响系数，并根据第一影响系数、第三预测分数和标签信息，确定出第三损失。
举例来说，对于第一训练图像xi，将对应的前景区域中的像素点分为可能大小不等的kxk个子区域块，随机选取其中的某个子区域块(即
Figure BDA0003908175900000092
个像素点)，采用随机值进行填充替代原来的像素点，得到第三训练图像
Figure BDA0003908175900000093
将
Figure BDA0003908175900000094
输入到预设评估模型中，得到第三预测分数
Figure BDA0003908175900000095
在确定出的第一影响系数为ai的情况下，确定第三损失对应的损失函数L3，使用损失函数L3进行训练约束，其中损失函数L3的公式如下所示：
Figure BDA0003908175900000096
其中，ai表征被替换掉的前景区域(如人脸区域)的子区域块(第二像素信息)的重要程度，理论上替换掉前景区域中的某个子区域块中的像素点后，该张图像的质量分数成为原图质量分数的(1-ai)倍。示例性的，如果前景区域为人脸区域，若替换掉眼睛部分等具有判别性特征区域的像素时，认为该图像的质量分数应当下降显著。
进一步地，根据第一损失、第二损失和第三损失，构建总损失，利用总损失对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
根据本公开实施例提供的技术方案，通过准确地确定出第一损失、第二损失和第三损失，实现对预设评估模型的模型参数的准确调整，并将对前景区域的改变和对背景区域的改变引入损失函数中，有利于解耦图像中目标对象质量和整体图像质量，去除图像本身质量和背景质量的干扰，更加准确地对目标对象质量进行评估。
在一些实施例中，S1052中基于特征权重图，确定第二像素信息对应的第一影响系数，包括：
S10521，确定特征权重图对应的第一维度信息和第一训练图像对应的第二维度信息。
S10522，基于第一维度信息、第二维度信息和特征权重图，确定第一训练图像中每个像素点对应的第二影响系数。
S10523，基于第二像素信息和第一训练图像中每个像素点对应的第二影响系数，确定第二像素信息对应的第一影响系数。
具体地，第一维度信息用于指示特征权重图的大小，第二维度信息用于指示第一训练图像的大小。对第一维度信息和第二维度信息进行对比，以将第二维度信息扩展到第一维度信息，从而使得根据特征权重图可以获取到第一训练图像中每个像素点对应的第二影响系数，第二影响系数用于指示像素点的影响程度。确定第二像素信息包括的目标像素点，确定目标像素点对应的第二影响系数之和，将目标像素点对应的第二影响系数之和，确定为第二像素信息对应的第一影响系数，第一影响系数用于指示第二像素信息的影响程度。
举例来说，第一训练图像的分辨率si为112x112。预设评估模型使用残差神经网络(IResNet18)作为主干网络，总共分为4个阶段，一个阶段为一个特征提取网络，每个阶段的深度分别为(2，2，2，2)，输入是分辨率为(3，112，112)的图像，输出是(512，7，7)的特征图。后面接一个质量分数回归头即预测输出网络，首先经过一层卷积核为3x3、通道数256的卷积，然后将特征打平成256x7x7维的特征向量，后接一层PReLU激活，后接drop概率为0.5的dropout层，再接一层维度为(256x7x7，1)的全连接层，后连接sigmoid操作，输出预测质量分数。
在主干网络的第二个阶段加入空间注意力机制即空间注意力网络，也就是得到(128，28，28)的特征图后，在通道维度上对不同特征图上同一位置的像素值进行全局的最大池化和平均池化，分别得到两个空间注意力特征图，根据两个空间注意力特征图，得到特征权重图，即将两个空间注意力特征图拼接起来，得到的特征图维度为(2，28，28)，再用一个7x7的卷积核对得到的特征图进行卷积，然后接一个softmax操作，得到(1，28，28)的空间矩阵即特征权重图。
主干网络的第二个阶段学习到的(1，28，28)的空间注意力特征权重图，规定每个点(例如zj)的权重值代表以该点为最左上角点的4x4的网格的权重之和，也就是说该4x4的网格中每个像素点的权重值为
Figure BDA0003908175900000111
即将(28，28)(对应第一维度信息)的权重图扩充为(112，112)(对应第二维度信息)，记为Ai。同时，对于第一训练图像xi，将其前景区域的像素点分为可能大小不等的kxk个子区域块，随机选取其中的某个子区域块(即
Figure BDA0003908175900000112
像素点)，采用随机值进行填充替代原来的像素点，得到的第三训练图像
Figure BDA0003908175900000113
该子区域块的注意力权重值为该子区域块的所有像素点的权重值之和，记为ai。
根据本公开实施例提供的技术方案，确定第一维度信息和第二维度信息后，对特征权重图进行扩展，得到第一训练图像中每个像素点对应的第二影响系数，从而准确地确定出第一影响系数。
在一些实施例中，方法还包括：
S1054，确定第二损失和第三损失分别对应的第三影响系数；
相应地，S1053包括：基于第一损失、第二损失、第三损失和第三影响系数，对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
具体地，第二损失和第三损失分别对应不同的第三影响系数，第三影响系数用于指示损失对应的影响程度，从而在对模型参数进行调整时，考虑第三影响系数，准确地构建总损失，有利于获取到性能较好的图像质量评估模型。
在一些实施例中，S1054，包括：
S10541，确定前景区域的像素点数之和与第一训练图像的像素点数之和的比值信息。
S10542，将比值信息确定为第三损失对应的第三影响系数；将预设数值与比值信息的差值结果确定为第二损失对应的第三影响系数。
具体地，统计前景区域中的像素点，以确定出前景区域中像素点数之和。统计第一训练图像的像素点，以确定出第一训练图像的像素点数之和；进一步确定前景区域的像素点之和与第一训练图像的像素之和的比值信息。将该比值信息作为第三损失对应的第三影响系数，预先确定预设数值，如1，将预设数值与比值信息的差值结果确定为第二损失对应的第三影响系数。因为第三影响系数是根据前景区域和第一训练图像确定的，因此可以根据第二像素信息、预测质量分数、特征权重图、标签信息、前景区域、第一训练图像，对所述预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。其中，预设训练结束条件可以预先进行设置，如模型收敛，或训练次数达到设定次数。
举例来说，将确定第一损失的步骤成为模型1即mode＝1，将确定第二损失和第三损失的步骤统称为模式2即mode＝2，使用三个损失函数监督训练过程，利用第一损失、第二损失和第三损失，确定总损失，该总损失为：
Figure BDA0003908175900000121
其中，M表征训练集中有M个样本，si表征第一训练图像的像素点数之和，
Figure BDA0003908175900000122
表征前景区域的像素点数之和，
Figure BDA0003908175900000123
表征第三损失的第三影响系数，
Figure BDA0003908175900000124
表征第二损失的第三影响系数。总损失的含义是，如果将第一训练图像xi输入到预设评估模型中训练(mode＝1)，则用均方误差作为损失函数约束；如果是将第二训练图像
Figure BDA0003908175900000131
和第三训练图像
Figure BDA0003908175900000132
输入预设评估模型中时，以
Figure BDA0003908175900000133
和
Figure BDA0003908175900000134
分别作为权重，意味着，随着前景区域占的像素比重增大，替换前景区域应当引起更大的损失函数变化，反之亦然，如果背景区域占的像素比较少，那么替换背景区域带来的损失变化也小。
根据本公开实施例提供的技术方案，通过图像分割将第一训练图像的前景区域和背景区域分开来，分别进行随机填充，通过被替换掉的区域的重要性来回归学习质量分的变化，越重要的区域被替换掉，则期望质量分数下降越明显，而越不重要的区域被替换掉，则期望质量分数变化不大。能够将图像质量和目标对象质量在一定程度上解耦，使得预设评估模型的预测质量分数更加趋向于表示目标对象质量，而不是背景等其他干扰信息的图像质量，有助于目标对象识别任务的输入图像质量的控制。
在一些实施例中，S104，包括：
S1041，确定第一训练图像对应的第一输入概率。
S1042，确定第二训练图像和第三训练图像对应的第二输入概率。
S1043，以第一输入概率将第一训练图像输入预设评估模型，并以第二输入概率将第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图。
具体地，确定第一训练图像对应的第一输入概率p，p∈(0,1)，确定第二训练图像和第三训练图像对应的第二输入概率1-p，以p的概率将第一训练图像输入预设评估模型，并以1-p将第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图。
根据本公开实施例提供的技术方案，按照第一输入概率和第二输入概率对第一训练图像、第二训练图像和第三训练图像的输入进行控制，把握不同图像的比例情况，有利于获取到性能较好的图像质量评估模型。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图2是本公开实施例提供的一种图像质量评估方法的流程示意图。图2的图像质量评估方法可以由服务器执行，该方法包括：
S201，获取待评估图像；其中，待评估图像包含目标对象；
S202，将待评估图像输入图像质量评估模型，得到质量评估结果；
其中，图像质量评估模型采用上述的方法训练得到。
根据本公开实施例提供的技术方案，在通过上述的图像质量评估模型的训练方法获取到图像质量评估模型后，利用该图像质量评估模型进行图像质量评估，也就是将获取到的包含目标对象的待评估图像输入图像质量评估模型，可以对目标对象质量进行准确地评估。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种图像质量评估模型的训练装置的示意图。
如图3所示，该图像质量评估模型的训练装置包括：
数据获取模块301，用于获取包含目标对象的第一训练图像和第一训练图像对应的标签信息；
分割处理模块302，用于对第一训练图像进行分割，确定目标对象对应的前景区域和背景区域；
改变处理模块303，用于改变背景区域中的第一像素信息，得到第二训练图像；改变前景区域中的第二像素信息，得到第三训练图像；
输入处理模块304，用于将第一训练图像、第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图；其中，特征权重图由预设评估模型中的空间注意力网络确定；
参数调整模块305，用于基于第二像素信息、预测质量分数、特征权重图和标签信息，对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
根据本公开实施例提供的技术方案，通过获取包含目标对象的第一训练图像和第一训练图像对应的标签信息；然后对第一训练图像进行分割，确定目标对象对应的前景区域和背景区域，并对背景区域中的第一训练图像进行改变，得到第二训练图像，对前景区域中的第二像素信息进行改变，得到第三训练图像。将第一训练图像、第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图，其中特征权重图由预设评估模型中的空间注意力网络确定。进一步根据第二像素信息、预设质量分数、特征权重图和标签信息对预设模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。在本公开提供的技术方案中，通过对第一训练图像进行分割，得到前景区域和背景区域，并对前景区域中的第一像素信息和背景区域中的第二像素信息进行改变，将改变前景图像和改变背景图像对预测质量分数的影响引入对模型参数进行调整的过程中，能够有效解耦图像中目标对象质量和整体图像质量，去除图像本身质量和背景质量的干扰，使得确定出图像质谱评估模型可以准确地对目标对象质量进行评估。
在一些实施例中，预测质量分数包括第一训练图像对应的第一预测分数、第二训练图像对应的第二预测分数和第三训练图像对应的第三预测分数；参数调整模块，包括：
第一损失确定单元，用于基于第一预测分数和标签信息，确定第一损失；基于第二预测分数和标签信息，确定第二损失；
第二损失确定单元，用于基于特征权重图，确定第二像素信息对应的第一影响系数；基于第一影响系数、第三预测分数和标签信息，确定第三损失；
参数调整单元，用于基于第一损失、第二损失和第三损失，对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
在一些实施例中，第二损失确定单元，包括：
维度确定子单元，用于确定特征权重图对应的第一维度信息和第一训练图像对应的第二维度信息；
第一确定子单元，用于基于第一维度信息、第二维度信息和特征权重图，确定第一训练图像中每个像素点对应的第二影响系数；
第二确定子单元，用于基于第二像素信息和第一训练图像中每个像素点对应的第二影响系数，确定第二像素信息对应的第一影响系数。
在一些实施例中，装置还包括：
系数确定模块，用于确定第二损失和第三损失分别对应的第三影响系数；
参数调整模块，进一步用于基于第一损失、第二损失、第三损失和第三影响系数，对预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
在一些实施例中，参数调整模块，包括：
比值信息确定单元，用于确定前景区域的像素点数之和与第一训练图像的像素点数之和的比值信息；
影响系数确定单元，用于将比值信息确定为第三损失对应的第三影响系数；将预设数值与比值信息的差值结果确定为第二损失对应的第三影响系数。
在一些实施例中，输入处理模块，包括：
第一概率确定单元，用于确定第一训练图像对应的第一输入概率；
第二概率确定单元，用于确定第二训练图像和第三训练图像对应的第二输入概率；
输入处理单元，用于以第一输入概率将第一训练图像输入预设评估模型，并以第二输入概率将第二训练图像和第三训练图像输入预设评估模型，得到预测质量分数和特征权重图。
图4是本公开实施例提供的图像质量评估装置的示意图。如图4所示，该图像质量评估装置包括：
图像获取模块401，被配置为获取待评估图像；其中，待评估图像包含目标对象；
图像评估模块402，被配置为将待评估图像输入图像质量评估模型，得到质量评估结果；
其中，图像质量评估模型采用上述的方法训练得到。
根据本公开实施例提供的技术方案，在通过上述的图像质量评估模型的训练方法获取到图像质量评估模型后，利用该图像质量评估模型进行图像质量评估，也就是将获取到的包含目标对象的待评估图像输入图像质量评估模型，可以对目标对象质量进行准确地评估。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图5是本公开实施例提供的电子设备5的示意图。如图5所示，该实施例的电子设备5包括：处理器501、存储器502以及存储在该存储器502中并且可在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者，处理器501执行计算机程序503时实现上述各装置实施例中各模块/单元的功能。
电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备5可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是电子设备5的示例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器501可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器502可以是电子设备5的内部存储单元，例如，电子设备5的硬盘或内存。存储器502也可以是电子设备5的外部存储设备，例如，电子设备5上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器502还可以既包括电子设备5的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (11)

1.一种图像质量评估模型的训练方法，其特征在于，包括：
获取包含目标对象的第一训练图像和所述第一训练图像对应的标签信息；
对所述第一训练图像进行分割，确定所述目标对象对应的前景区域和背景区域；
改变所述背景区域中的第一像素信息，得到第二训练图像；改变所述前景区域中的第二像素信息，得到第三训练图像；
将所述第一训练图像、所述第二训练图像和所述第三训练图像输入预设评估模型，得到预测质量分数和特征权重图；其中，所述特征权重图由所述预设评估模型中的空间注意力网络确定；
基于所述第二像素信息、所述预测质量分数、所述特征权重图和所述标签信息，对所述预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
2.根据权利要求1所述的方法，其特征在于，所述预测质量分数包括所述第一训练图像对应的第一预测分数、所述第二训练图像对应的第二预测分数和所述第三训练图像对应的第三预测分数；所述得到符合预设训练结束条件的图像质量评估模型的步骤，包括：
基于所述第一预测分数和所述标签信息，确定第一损失；基于所述第二预测分数和所述标签信息，确定第二损失；
基于所述特征权重图，确定所述第二像素信息对应的第一影响系数；基于所述第一影响系数、所述第三预测分数和所述标签信息，确定第三损失；
基于所述第一损失、所述第二损失和所述第三损失，对所述预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述特征权重图，确定所述第二像素信息对应的第一影响系数，包括：
确定所述特征权重图对应的第一维度信息和所述第一训练图像对应的第二维度信息；
基于所述第一维度信息、所述第二维度信息和所述特征权重图，确定所述第一训练图像中每个像素点对应的第二影响系数；
基于所述第二像素信息和所述第一训练图像中每个像素点对应的第二影响系数，确定所述第二像素信息对应的第一影响系数。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
确定所述第二损失和所述第三损失分别对应的第三影响系数；
所述基于所述第一损失、所述第二损失和所述第三损失，对所述预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型，包括：
基于所述第一损失、所述第二损失、所述第三损失和所述第三影响系数，对所述预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
5.根据权利要求4所述的方法，其特征在于，所述确定所述第二损失和所述第三损失分别对应的第三影响系数，包括：
确定所述前景区域的像素点数之和与所述第一训练图像的像素点数之和的比值信息；
将所述比值信息确定为所述第三损失对应的第三影响系数；将预设数值与所述比值信息的差值结果确定为所述第二损失对应的第三影响系数。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述将所述第一训练图像、所述第二训练图像和所述第三训练图像输入预设评估模型，得到预测质量分数和特征权重图的步骤，包括：
确定第一训练图像对应的第一输入概率；
确定所述第二训练图像和所述第三训练图像对应的第二输入概率；
以所述第一输入概率将所述第一训练图像输入预设评估模型，并以所述第二输入概率将所述第二训练图像和所述第三训练图像输入预设评估模型，得到所述预测质量分数和所述特征权重图。
7.一种图像质量评估方法，其特征在于，包括：
获取待评估图像；其中，所述待评估图像包含目标对象；
将所述待评估图像输入图像质量评估模型，得到质量评估结果；
其中，所述图像质量评估模型采用权利要求1-6中任一项所述的方法训练得到。
8.一种图像质量评估模型的训练装置，其特征在于，包括：
数据获取模块，用于获取包含目标对象的第一训练图像和所述第一训练图像对应的标签信息；
分割处理模块，用于对所述第一训练图像进行分割，确定所述目标对象对应的前景区域和背景区域；
改变处理模块，用于改变所述背景区域中的第一像素信息，得到第二训练图像；改变所述前景区域中的第二像素信息，得到第三训练图像；
输入处理模块，用于将所述第一训练图像、所述第二训练图像和所述第三训练图像输入预设评估模型，得到预测质量分数和特征权重图；其中，所述特征权重图由所述预设评估模型中的空间注意力网络确定；
参数调整模块，用于基于所述第二像素信息、所述预测质量分数、所述特征权重图和所述标签信息，对所述预设评估模型的模型参数进行调整，得到符合预设训练结束条件的图像质量评估模型。
9.一种图像质量评估装置，其特征在于，包括：
图像获取模块，被配置为获取待评估图像；其中，所述待评估图像包含目标对象；
图像评估模块，被配置为将所述待评估图像输入图像质量评估模型，得到质量评估结果；
其中，所述图像质量评估模型采用权利要求1-6中任一项所述的方法训练得到。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202211313845.7A 2022-10-25 2022-10-25 图像质量评估模型的训练方法、图像质量评估方法及装置 Pending CN115631399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211313845.7A CN115631399A (zh) 2022-10-25 2022-10-25 图像质量评估模型的训练方法、图像质量评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211313845.7A CN115631399A (zh) 2022-10-25 2022-10-25 图像质量评估模型的训练方法、图像质量评估方法及装置

Publications (1)

Publication Number Publication Date
CN115631399A true CN115631399A (zh) 2023-01-20

Family

ID=84906662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211313845.7A Pending CN115631399A (zh) 2022-10-25 2022-10-25 图像质量评估模型的训练方法、图像质量评估方法及装置

Country Status (1)

Country Link
CN (1) CN115631399A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152233A (zh) * 2023-04-17 2023-05-23 北京邮电大学 图像处理方法、智能终端及存储介质
CN116958122A (zh) * 2023-08-24 2023-10-27 北京东远润兴科技有限公司 Sar图像评估方法、装置、设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152233A (zh) * 2023-04-17 2023-05-23 北京邮电大学 图像处理方法、智能终端及存储介质
CN116152233B (zh) * 2023-04-17 2023-09-26 北京邮电大学 图像处理方法、智能终端及存储介质
CN116958122A (zh) * 2023-08-24 2023-10-27 北京东远润兴科技有限公司 Sar图像评估方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
US10891537B2 (en) Convolutional neural network-based image processing method and image processing apparatus
Oh et al. Crowd counting with decomposed uncertainty
Dodge et al. Understanding how image quality affects deep neural networks
CN107704857B (zh) 一种端到端的轻量级车牌识别方法及装置
CN115631399A (zh) 图像质量评估模型的训练方法、图像质量评估方法及装置
KR20180065889A (ko) 타겟의 검측 방법 및 장치
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN112927279A (zh) 一种图像深度信息生成方法、设备及存储介质
JP7096431B2 (ja) ビデオ分析方法及びそれに関連するモデル訓練方法、機器、装置
US11741579B2 (en) Methods and systems for deblurring blurry images
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
WO2020165848A1 (en) Quality assessment of an image
JP2022514580A (ja) 機械学習による光学補正
CN114549913A (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN113920382A (zh) 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN111814820A (zh) 图像处理方法及装置
CN111667495A (zh) 一种图像场景解析方法和装置
CN114170271B (zh) 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质
CN113706390A (zh) 图像转换模型训练方法和图像转换方法、设备及介质
CN112634143A (zh) 图像色彩校正模型训练方法、装置及电子设备
CN117437684B (zh) 一种基于修正注意力的图像识别方法和装置
CN113497886B (zh) 视频处理方法、终端设备及计算机可读存储介质
WO2022024165A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
CN115512271A (zh) 视频的识别方法、装置、存储介质及电子装置
Varela et al. Estimation of non-uniform blur using a patch-based regression convolutional neural network (CNN)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination