CN113420871B - 图像质量的评估方法、装置、存储介质及电子装置 - Google Patents

图像质量的评估方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN113420871B
CN113420871B CN202110860256.XA CN202110860256A CN113420871B CN 113420871 B CN113420871 B CN 113420871B CN 202110860256 A CN202110860256 A CN 202110860256A CN 113420871 B CN113420871 B CN 113420871B
Authority
CN
China
Prior art keywords
semantic features
image
target image
groups
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110860256.XA
Other languages
English (en)
Other versions
CN113420871A (zh
Inventor
黄宇
余言勋
刘智辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110860256.XA priority Critical patent/CN113420871B/zh
Publication of CN113420871A publication Critical patent/CN113420871A/zh
Application granted granted Critical
Publication of CN113420871B publication Critical patent/CN113420871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像质量的评估方法、装置、存储介质及电子装置，包括：确定目标图像的N组语义特征，其中，N组语义特征中包括目标图像的局部特征和全局特征；根据N组语义特征中的第N组语义特征，确定与目标图像对应的一组网络参数；通过一组网络参数，以及N组语义特征确定目标图像的质量评估值。通过本发明，解决了图像质量评估准确率较低的问题，进而达到了提高图像质量评估准确率的效果。

Description

图像质量的评估方法、装置、存储介质及电子装置
技术领域
本发明涉及通信领域，具体而言，涉及一种图像质量的评估方法、装置、存储介质及电子装置。
背景技术
图像质量评估(Image Quality Assessment，简称IQA)可应用于各个领域，例如在安防领域视频监控方面。视频采集设备大多安装在室外，平时缺少维护，因受到天气等环境因素的影响，视频采集设备拍摄的图像可能存在失真、降质或过暗的情况。对图片的质量进行评估，从中选择高质量的图片，可以提高图像识别的准确率。
目前的图片质量评估方法一般为主观质量评估主观质量评估方法依靠人工实现，在实际应用中耗时费力不易实施，且人工评估带有主观因素准确率不高。
针对相关技术中，图像质量评估的准确率较低的问题，目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种图像质量的评估、装置、存储介质及电子装置，以至少解决相关技术中图像质量评估的准确率较低的问题。
根据本发明的一个实施例，提供了一种图像质量的评估方法，包括：确定目标图像的N组语义特征，其中，所述N组语义特征中包括所述目标图像的局部特征和全局特征；根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数；通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值。
可选地，所述确定目标图像的N组语义特征，包括：将所述目标图像输入卷积神经网络得到所述N组语义特征，其中，所述卷积神经网络包括N层卷积层，每层所述卷积层输出一组语义特征，N大于或等于1。
可选地，所述根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数，包括：将所述第N组语义特征输入自适应网络，得到所述一组网络参数；所述方法还包括：将所述N组语义特征中的N-1组语义特征输入局部感知网络，得到N-1组图像特征参数，其中，所述N-1组语义特征是所述N组语义特征中除了所述第N组语义特征之外的其他语义特征，所述N-1组语义特征用于表示所述目标图像的局部特征，所述第N组语义特征用于表示所述目标图像的全局特征。
可选地，所述通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值，包括：将所述第N组语义特征输入池化层，得到第N组图像特征参数；将N组图像特征参数和所述一组网络参数输入质量预估网络，得到所述质量评估值，其中，所述N组图像特征参数包括所述N-1组图像特征参数和所述第N组图像特征参数。
可选地，将所述第N组语义特征输入池化层，得到第N组图像特征参数，包括：将所述N-1组图像特征参数和所述第N组图像特征参数进行拼接，得到所述N组图像特征参数；将所述N组图像特征参数和所述一组网络参数输入所述质量预估网络，得到所述质量评估值，其中，所述质量预估网络由全连接层组成。
可选地，在所述确定目标图像的N组语义特征之前，所述方法还包括：获取所述图像采集设备拍摄得到的待检测图像；将所述待检测图像输入检测神经网络模型，通过所述检测神经网络模型对所述待检测图像进行剪裁，得到所述目标图像，其中，所述检测神经网络模型是使用多组第二训练数据训练得到的，所述多组第二训练数据中的每组第二训练数据包括第二训练样本图像。
可选地，在所述确定所述目标图像的质量评估值之后，所述方法还包括以下之一：在所述质量评估值中的亮度评估值大于或等于第一阈值的情况下，确定所述目标图像为高质量图像；在所述质量评估值中的清晰度评估值大于或等于第二阈值的情况下，确定所述目标图像为高质量图像；在所述亮度评估值大于或等于所述第一阈值，且所述清晰度评估值大于或等于第二阈值的情况下，确定所述目标图像为高质量图像。
根据本发明的另一个实施例，提供了一种图像质量的评估装置，包括：第一确定模块，用于确定目标图像的N组语义特征，其中，所述N组语义特征中包括所述目标图像的局部特征和全局特征；第二确定模块，用于根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数；第三确定模块，用于通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，通过目标图像中的局部特征和全局特征，以及在全局特征中获取的网络参数，确定目标图像的质量评估值，可以达到由计算机通过质量评估相关特征参数对图像的质量进行评估的目的，避免了现有技术中人为主观对图像的质量进行评估的准确率低的问题，进而提高了图像质量评估的准确率。
上述网络参数是通过将全局特征输入至自适应网络得到的，自适应网络是根据目标图像得到的，也就是说，目标图像质量评估的网络参数是根据目标图像得到的，目标图像质量评估的网络参数自适应于目标图像。避免了现有技术中由于网络模型的网络参数是固定的，导致的图像质量评估准确率低的问题，以此达到了提高图像质量评估准确率的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种图像质量的评估方法的移动终端的硬件结构框图；
图2是根据本发明实施例的图像质量的评估方法的流程图；
图3是根据本发明实施例的目标图像质量的评估方法流程图；
图4是根据本发明实施例的图像质量评估模型整体结构图；
图5是根据本发明可选实施例的局部感知网络的结构图；
图6是根据本发明实施例的图像质量的评估装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像质量的评估方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像质量的评估方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的图像质量的评估方法，图2是根据本发明实施例的图像质量的评估方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，确定目标图像的N组语义特征，其中，所述N组语义特征中包括所述目标图像的局部特征和全局特征；
其中，目标图像可以为任意的一张图像，图像的来源可以为在计算机、手机中存储的图片，也可以为通过摄像机拍摄的图像，此处对目标图像的来源不做限制。N组语义特征可以包括N-1组局部特征和1组全局特征，N可以为3、4或者5，此处对N的取值不做限制，假设N为4，则可以包括3组局部特征和1组全局特征。
步骤S204，根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数
其中，N组语义特征中的第N组语义特征可以为全局特征，N可以为3、4或者5，此处对N的取值不做限制，假设N为4，即可以通过第4组语义特征确定与目标图像对应的一组网络参数，与目标图像对应的一组网络参数可以通过卷积神经网络获得，网络参数可以是对目标图像质量进行评估需要使用的权重和偏差参数。
步骤S206，通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值。
其中，质量评估值可以是目标图像的清晰度质量评估分值和亮度质量评估分值，一组网络参数可以是对目标图像质量进行评估需要使用的权重和偏差参数，N组语义特征可以包括1组全局特征和N-1组局部特征，N可以为3、4或者5，此处对N的取值不做限制，假设N为4，则可以通过上述一组网络参数(权重和偏差参数)和4组语义特征确定图像的质量评估值(清晰度质量评估分值和亮度质量评估分值)。
通过上述步骤，使用本发明中目标图像的N组语义特征(局部特征和全局特征)，以及通过全局特征获取的一组网络参数对目标图像质量进行评估，解决了现有技术中对图像质量评估准确率较低的问题，提高了图像质量评估准确率。
可选地，上述步骤的执行主体可以为终端等，但不限于此。
确定目标图像质量的整体流程如图3所示，图3为根据本发明实施例的目标图像质量的评估方法流程图，将目标图像输入到质量评估模型后，获得清晰度质量评估分值和亮度质量评估分值，通过判断两个质量评估的分值确定图片的质量。质量评估模型可以包括语义特征提取、自适应网络和质量预估网络。
目标图像可以是车辆图像，可以通过道路交通场景下的监控设备拍摄并获取监控图片，将监控图片通过预训练好的检测模型，输出得到车辆区域，对车辆区域进行裁剪得到目标图像，对目标图像进行质量评估，可以得到清晰度质量评估分值和亮度质量评估分值。进行目标图像质量评估时，可以将目标图像统一调整为224*224，调整时可以为等比例的调整，使目标图像的内容不会因为调整而发生变形,并对图像进行随机旋转、镜像、平移等数据增强操作。
作为一个可选的实施方式，如图3所示为根据本发明实施例的目标图像质量的评估方法流程图，可以通过交通道路上的监控设备进行拍摄获得监控图片，通过检测神经网络模型，检测神经网络模型可以是车辆检测模型，将监控图片中的车辆区域识别出来，进行剪裁并输出为车辆图片，该车辆图片可以作为目标图像，将目标图像作为质量评估模型的输入，质量评估模型可以包括语义特征提取、自适应网络和质量预估网络，则输出为目标图像的质量评估值，质量评估值可以为清晰度质量评估分值和亮度质量评估分值。根据两个分值进行图像质量的判定，首先对输出结果进行图片亮度得分判断，如果亮度质量评估分值低于设定的亮度阈值，则判定为低亮度图片，判断流程结束；如果亮度质量评估分值高于设定的亮度阈值，则继续进行图片清晰度得分判断，如果清晰度质量评估分值低于设定的清晰度阈值，则判定为低清晰度图片，判断流程结束。如果清晰度质量评估分值高于设定的清晰度阈值，判定为高质量图片。
在构建质量评估模型时，可以使用一个多尺度特征融合的自适应网络结构来预测图片的质量。传统的图像质量评估模型将语义理解和质量评估合并在一个任务中，图像质量预估过程可以分为两个步骤：(1)学习目标图像的语义特征；(2)基于目标图像提供的内容进行质量预测。质量评估神经网络模型可以使用一个自适应网络连接来模仿从图像内容到感知质量方式的映射，该过程遵循人类自上而下的感知流程。此外，质量评估模型还融合了全局语义特征和多尺度的局部失真语义特征以更好地表示图像质量，使得该模型既能捕获图像的整体信息又能获取图像的细节信息。
作为一个可选的实施方式，如图4所示为根据本发明实施例的图像质量评估模型整体结构图，该整体结构图中主要包括三个模块，分别是特征提取模块，自适应网络和质量预估网络。特征提取模块可以使用卷积神经网络对目标图像的语义特征进行提取和处理，并将处理后的特征信息输入到自适应网络和质量预估网络，目标图像的语义特征包括但不限于局部语义特征及全局语义特征。图像提取模块将在目标图像中提取的局部语义特征信息输入至局部失真感知模块，获取到目标图像的多尺度特征，并将该多尺度特征作为质量预估网络的输入信息，此外，图像提取模块还对语义特征进行全局平均池化，并将全局平均池化后的输出信息输入到质量预估网络。图像提取模块将在目标图像中提取的全局语义特征信息输入至自适应网络，该模块可以包括多个N*N卷积层和多个权重生成分支，每个权重生成分支包含N*N卷积层和Reshape层，以及全局平均池化层和全连接层，例如可以包括三个1*1卷积层和四个权重生成分支，每个权重生成分支包含3*3卷积层和Reshape层以及全局平均池化层和全连接层，分别生成了图像质量预估网络中对应全连接层的权重和偏差。自适应网络所产生的权重和偏差可以视为感知图像质量的规则，并将进一步指导质量预估网络。
可选地，确定目标图像的N组语义特征，包括：将所述目标图像输入卷积神经网络得到所述N组语义特征，其中，所述卷积神经网络包括N层卷积层，每层所述卷积层输出一组语义特征，N大于或等于1；通过所述N组语义特征得到所述目标图像的质量评估值。
其中，质量评估模型中可以包括特征提取模块，自适应网络和质量预估网络，在特征提取模块中可以通过卷积神经网络获得目标图像的N组语义特征，语义特征可以包括在目标图像中提取的局部语义特征值和全局语义特征值，在进行语义特征提取时，可以使用ResNet50网络作为主干网络来进行语义特征提取，质量评估神经网络模型中特征提取的卷积层数量为N(N大于或等于1)个，卷积层的数量可以为3个、4个等，此处对卷积层的数量不做限制，以N等于4为例，每层卷积层输出一组语义特征，即输出4组语义特征值，将提取的语义特征输入至质量预估网络和自适应网络，对目标图像的质量进行评估，获得目标图像的清晰度质量评估分值和亮度质量评估分值。
可选地，所述根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数，包括：将所述第N组语义特征输入自适应网络，得到所述一组网络参数；所述方法还包括：将所述N组语义特征中的N-1组语义特征输入局部感知网络，得到N-1组图像特征参数，其中，所述N-1组语义特征是所述N组语义特征中除了所述第N组语义特征之外的其他语义特征，所述N-1组语义特征用于表示所述目标图像的局部特征，所述第N组语义特征用于表示所述目标图像的全局特征。
其中，目标图像的N组语义特征可以包括N-1组局部语义特征和1组全局语义特征，全局语义特征为第N组语义信息，用于表示目标图像的整体内容。其中N的值可以为3、4、5等，此处对N的数量不作限制，以N为4为例，即通过特征提取模块获取了4组语义信息，目标图像的全局语义特征可以是第4组语义特征，即提取的4组语义信息可以包括3组局部特征和1组全局特征，将第4组语义特征(全局特征)输入至自适应网络，得到一组网络参数，一组网络参数中可以包括目标图像质量评估需要使用的权重和偏差参数，将3组局部语义特征输入至局部感知网络，得到3组图像特征参数。
作为一个可选的实施方式，如图4所示，将第4组语义特征值输入到自适应网络，第4组语义特征可以为全局语义特征，得到一组网络参数，该网络参数可以是图像质量预估网络中对应全连接层的权重和偏差。自适应网络中包含三个1*1卷积层和四个权重生成分支，每个权重生成分支包含3*3卷积层和Reshape层以及全局平均池化层和全连接层，分别生成了图像质量预估网络中对应全连接层的4组权重和偏差。
作为一个可选的实施方式，如图4所示，将4组语义特征中的3组语义特征输入至局部感知网络，其中，3组语义特征可以为局部语义特征，局部感知网络用于提取图像中的局部失真信息，可以获取目标图像的多尺度特征。局部感知网络结构如图5所示为根据本发明可选实施例的局部感知网络的结构图，局部感知网络可以将多尺度局部失真特征图划分为多个不重叠的特征块，沿通道维度堆叠这些特征块，进行1*1卷积和全局平均池化。进行目标图像的语义特征提取时可以使用ResNet50网络作为主干网络，3组局部语义特征提取对应的3个卷积层可以依次为conv4_18、conv3_12和conv2_10，将卷积处理后的局部语义特征作为局部感知网络的输入来提取多尺度特征。
通过上述内容，在自适应网络中获取了一组网络参数(4组权重和偏差)，以及在局部感知网络中获取了3组目标图像的图像特征参数(多尺度特征参数)，通过以上参数信息可以得到目标图像的质量评估值，包括清晰度质量评估值和亮度质量评估值。
可选地，通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值，包括：将所述第N组语义特征输入池化层，得到第N组图像特征参数；将N组图像特征参数和所述一组网络参数输入质量预估网络，得到所述质量评估值，其中，所述N组图像特征参数包括所述N-1组图像特征参数和所述第N组图像特征参数。
作为一个可选的实施方式，第N组语义特征中N可以为3、5等，此处不做限制，假设N为4，如图4所示，第4组语义特征可以为全局语义特征，将第4组语义特征输入至池化层，得到第4组图像的特征参数，4组语义特征的特征参数可以包括3组局部感知网络获取的目标图像的多尺度特征参数，以及第4组图像的特征参数。其中，3组局部感知网络获取的目标图像的多尺度特征参数，用于表示目标图像的局部特征，第4组图像特征参数用于表示目标图像的全局特征。将上述4组图像特征参数与在自适应网络中获取的一组网络参数(4组权重和偏差)，作为质量预估网络的输入参数，获得目标图像的质量评估值，包括清晰度质量评估值和亮度质量评估值。
可选地，将所述第N组语义特征输入池化层，得到第N组图像特征参数，包括：将所述N-1组图像特征参数和所述第N组图像特征参数进行拼接，得到所述N组图像特征参数；将所述N组图像特征参数和所述一组网络参数输入所述质量预估网络，得到所述质量评估值，其中，所述质量预估网络由全连接层组成。
作为一个可选的实施方式，第N组语义特征中，N可以为3、5等，此处不做限制，假设N为4，如图4所示，特征提取模块将3组目标图像的局部特征参数和第4组图像特征参数进行拼接，得到4组图像特征参数，质量预估网络接收4组图像特征参数的vx＝C(x)，其中C表示局部失真特征和全局语义特征的融合。
在自适应网络中获取一组网络参数，网络参数可以为4组权重和偏差，对应于图像质量预估网络中的4个全连接层，自适应网络中获取的4组权重和偏差用于感知图像质量的规则，将自适应网络中的4组权重和偏差输入至图像质量预估网络，作为图像质量预估网络中4个全连接层的输入参数。图像质量预估网络可以由4个全连接层组成，接收4组图像特征参数作为输入，并通过前向传播获取自适应网络中生成的4组权重和偏差，以获得图像的最终质量得分，指导图像质量预估网络完成图像质量的预测流程。
可选地，在所述确定目标图像的N组语义特征之前，所述方法还包括：将所述待检测图像输入检测神经网络模型，通过所述检测神经网络模型对所述待检测图像进行剪裁，得到所述目标图像，其中，所述检测神经网络模型是使用多组训练数据训练得到的，所述多组训练数据中的每组训练数据包括训练样本图像。
其中，待检测图像可以为交通道路上的监控设备采集的监控图片，检测神经网络模型可以为能够识别出图片中车辆区域并进行剪裁的神经网络模型，检测神经网络模型可以为卷积神经网络模型，或者其他的神经网络模型，此处对检测模型不作限制。检测神经网络模型可以对待检测图像进行剪裁，得到目标图像，目标图像可以是车辆图像，检测神经网络模型是用多组训练数据训练得到的，此处对训练数据的组数不做限制。训练数据中包括训练样本图像，训练样本图像可以为监控设备拍摄的图像，也可以为移动终端中存储的图像，此处对训练样本图像的来源不做限制。
可选地，在所述确定所述目标图像的质量评估值之后，所述方法还包括以下之一：在所述质量评估值中的亮度评估值大于或等于第一阈值的情况下，确定所述目标图像为高质量图像；在所述质量评估值中的清晰度评估值大于或等于第二阈值的情况下，确定所述目标图像为高质量图像；在所述亮度评估值大于或等于所述第一阈值，且所述清晰度评估值大于或等于第二阈值的情况下，确定所述目标图像为高质量图像。
其中，在获取到目标图像的质量评估值(包括亮度评估值和清晰度评估值)之后，判断目标图像是否为高质量图像，可以通过比较目标图像的质量评估值与第一阈值和/或第二阈值的关系进行判断，第一阈值可以为亮度阈值，第二阈值可以为清晰度评估值，对于阈值的选取需要根据实际的模型情况进行决策，此处不作限制。
作为一个可选的实施方式，在质量评估值中的亮度评估值大于或等于第一阈值的情况下，确定目标图像为高质量图像。假设目标图像的亮度评估值小于第一阈值，判定目标图像为低亮度图像；假设目标图像的亮度评估值大于或等于第一阈值，判定目标图像为高质量图片。
作为一个可选的实施方式，在质量评估值中的清晰度评估值大于或等于第二阈值的情况下，确定目标图像为高质量图像。假设目标图像的清晰评估值小于第二阈值，判定目标图像为低清晰度图像；假设目标图像的清晰度评估值大于或等于第二阈值，判定目标图像为高质量图片。
作为一个可选的实施方式，在亮度评估值大于或等于所述第一阈值，且清晰度评估值大于或等于第二阈值的情况下，确定所述目标图像为高质量图像。假设目标图像的亮度评估值小于第一阈值，目标图像的清晰度评估值大于等于第二阈值，判定目标图像为低亮度图像，；假设目标图像的亮度评估值大于或等于第一阈值，目标图像的清晰度评估值小于第二阈值，判定目标图像为低清晰度图像；假设目标图像的亮度评估值大于或等于第一阈值，目标图像的清晰度评估值大于或等于第二阈值，判定目标图像为高质量图片。
作为一个可选的实施方式，传统的深度学习图像质量评估模型接收一张图片并将其直接映射到质量得分，其过程如以下公式所示：
Figure BDA0003185462490000131
其中
Figure BDA0003185462490000132
代表网络模型，x是输入的图片，θ表示网络的权重参数。一旦训练过程结束，网络模型的权重就固定了，意味着该模型只能使用固定种类的质量规则来预测各种图像的质量。然而现实中的图片内容是多种多样的，失真的种类也包含很多种，如果使用固定的规则来预测变化的图像质量则不足以完全覆盖不同的特征，这样就会导致图像质量评估的不够准确。因此，自适应网络的图像质量评估过程可以用以下公式表示：
Figure BDA0003185462490000133
其中网络的参数θx取决于图像本身，而不是对所有的输入都是固定的。简单来说，参数θx可以被认为是图像质量感知规则。
随着图像内容的变化，感知图像质量的方式也随之变化。通过这种方式，图像质量评估模型变得更加自适应，它可以针对不同的图像内容提取不同的质量评估指标，从而更好地对图像进行质量评估。自适应网络的功能是学习从图像内容到图像质量感知规则的映射，其过程如以下公式所示：
θx＝H(S(x)，γ)
其中H代表自适应网络的映射功能，γ代表自适应网络的参数，网络的输入S(x)是图像x提取出的语义特征。
图像质量预估网络接收多尺度内容特征vx＝C(x)，其中C表示局部失真特征和语义特征的融合。图像质量预估的完整过程如以下公式所示：
Figure BDA0003185462490000134
如图4中的质量预估网络部分所示，该部分由四个全连接层组成，接收多尺度内容特征向量(在目标图像中获取的4组图像特征参数)作为输入，并通过前向传播以获得图像的最终质量得分。
训练过程中，我们使用L1 loss作为损失函数，具体如以下公式所示：
Figure BDA0003185462490000135
其中，pi和Qi分别为第i个批次的图像和对应的实际质量得分。
在上述实施例中，通过将监控拍摄到的图像进行图像质量评估的方式解决了图像可能出现失真、降质或过暗的问题，通过对图像的质量进行评估，从中选择高质量的车辆图片，提高后期对图像中目标识别的准确率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像质量的评估装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的一种图像质量的评估装置的结构框图，如图6所示，该装置除包括：第一确定62，用于确定目标图像的N组语义特征，其中，所述N组语义特征中包括所述目标图像的局部特征和全局特征；第二确定模块64，用于根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数；第三确定模块66，用于通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值。
可选地，上述装置还用于通过如下方式确定所述目标图像的N组语义特征：将所述目标图像输入卷积神经网络得到所述N组语义特征，其中，所述卷积神经网络包括N层卷积层，每层所述卷积层输出一组语义特征，N大于或等于1。
可选地，上述装置还用于将所述第N组语义特征输入所述质量评估神经网络模型的自适应网络，得到所述一组网络参数；所述方法还包括：将所述N组语义特征中的N-1组语义特征输入局部感知网络，得到N-1组图像特征参数，其中，所述N-1组语义特征是所述N组语义特征中除了所述第N组语义特征之外的其他语义特征，所述N-1组语义特征用于表示所述目标图像的局部特征，所述第N组语义特征用于表示所述目标图像的全局特征。
可选地，上述装置还用于将所述第N组语义特征输入池化层，得到第N组图像特征参数；将N组图像特征参数和所述一组网络参数输入质量预估网络，得到所述质量评估值，其中，所述N组图像特征参数包括所述N-1组图像特征参数和所述第N组图像特征参数。
可选地，上述装置还用于将所述N-1组图像特征参数和所述第N组图像特征参数进行拼接，得到所述N组图像特征参数；将所述N组图像特征参数和所述一组网络参数输入所述质量预估网络，得到所述质量评估值，其中，所述质量预估网络由全连接层组成。
可选地，上述装置还用于将所述待检测图像输入检测神经网络模型，通过所述检测神经网络模型对所述待检测图像进行剪裁，得到所述目标图像，其中，所述检测神经网络模型是使用多组训练数据训练得到的，所述多组训练数据中的每组训练数据包括训练样本图像。
可选地，上述装置还用于在所述质量评估值中的亮度评估值大于或等于第一阈值的情况下，确定所述目标图像为高质量图像；在所述质量评估值中的清晰度评估值大于或等于第二阈值的情况下，确定所述目标图像为高质量图像；在所述亮度评估值大于或等于所述第一阈值，且所述清晰度评估值大于或等于第二阈值的情况下，确定所述目标图像为高质量图像。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，确定目标图像的N组语义特征，其中，所述N组语义特征中包括所述目标图像的局部特征和全局特征；
S2，根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数；
S3，通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，确定目标图像的N组语义特征，其中，所述N组语义特征中包括所述目标图像的局部特征和全局特征；
S2，根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数；
S3，通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图像质量的评估方法，其特征在于，包括：
确定目标图像的N组语义特征，其中，所述N组语义特征中包括所述目标图像的局部特征和全局特征；
根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数；
通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值；
所述确定目标图像的N组语义特征，包括：将所述目标图像输入卷积神经网络得到所述N组语义特征，其中，所述卷积神经网络包括N层卷积层，每层所述卷积层输出一组语义特征，N大于或等于1；
N-1组语义特征用于表示所述目标图像的局部特征，所述第N组语义特征用于表示所述目标图像的全局特征；
所述根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数，包括：将所述第N组语义特征输入自适应网络，得到所述一组网络参数，所述一组网络参数包括对所述目标图像质量进行评估需要使用的权重和偏差参数。
2.根据权利要求1所述的方法，其特征在于，
所述方法还包括：将所述N组语义特征中的N-1组语义特征输入局部感知网络，得到N-1组图像特征参数，其中，所述N-1组语义特征是所述N组语义特征中除了所述第N组语义特征之外的其他语义特征。
3.根据权利要求2所述的方法，其特征在于，所述通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值，包括：
将所述第N组语义特征输入池化层，得到第N组图像特征参数；
将N组图像特征参数和所述一组网络参数输入质量预估网络，得到所述质量评估值，其中，所述N组图像特征参数包括所述N-1组图像特征参数和所述第N组图像特征参数。
4.根据权利要求3所述的方法，其特征在于，将所述第N组语义特征输入池化层，得到第N组图像特征参数，包括：
将所述N-1组图像特征参数和所述第N组图像特征参数进行拼接，得到所述N组图像特征参数；
将所述N组图像特征参数和所述一组网络参数输入所述质量预估网络，得到所述质量评估值，其中，所述质量预估网络由全连接层组成。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述确定目标图像的N组语义特征之前，所述方法还包括：
将待检测图像输入检测神经网络模型，通过所述检测神经网络模型对所述待检测图像进行剪裁，得到所述目标图像，其中，所述检测神经网络模型是使用多组训练数据训练得到的，所述多组训练数据中的每组训练数据包括训练样本图像。
6.根据权利要求1至4中任一项所述的方法，其特征在于，在所述确定所述目标图像的质量评估值之后，所述方法还包括以下之一：
在所述质量评估值中的亮度评估值大于或等于第一阈值的情况下，确定所述目标图像为高质量图像；
在所述质量评估值中的清晰度评估值大于或等于第二阈值的情况下，确定所述目标图像为高质量图像；
在所述亮度评估值大于或等于所述第一阈值，且所述清晰度评估值大于或等于第二阈值的情况下，确定所述目标图像为高质量图像。
7.一种图像质量的评估装置，其特征在于，包括：
第一确定模块，用于确定目标图像的N组语义特征，其中，所述N组语义特征中包括所述目标图像的局部特征和全局特征；
第二确定模块，用于根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数；
第三确定模块，用于通过所述一组网络参数，以及所述N组语义特征确定所述目标图像的质量评估值；
所述第一确定模块通过如下方式实现确定目标图像的N组语义特征：将所述目标图像输入卷积神经网络得到所述N组语义特征，其中，所述卷积神经网络包括N层卷积层，每层所述卷积层输出一组语义特征，N大于或等于1；
N-1组语义特征用于表示所述目标图像的局部特征，所述第N组语义特征用于表示所述目标图像的全局特征；
所述第二确定模块通过如下方式实现根据所述N组语义特征中的第N组语义特征，确定与所述目标图像对应的一组网络参数：将所述第N组语义特征输入自适应网络，得到所述一组网络参数，所述一组网络参数包括对所述目标图像质量进行评估需要使用的权重和偏差参数。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述程序可被终端设备或计算机运行时执行所述权利要求1至6任一项中所述的方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
CN202110860256.XA 2021-07-28 2021-07-28 图像质量的评估方法、装置、存储介质及电子装置 Active CN113420871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110860256.XA CN113420871B (zh) 2021-07-28 2021-07-28 图像质量的评估方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110860256.XA CN113420871B (zh) 2021-07-28 2021-07-28 图像质量的评估方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN113420871A CN113420871A (zh) 2021-09-21
CN113420871B true CN113420871B (zh) 2023-02-24

Family

ID=77718414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110860256.XA Active CN113420871B (zh) 2021-07-28 2021-07-28 图像质量的评估方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN113420871B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115070A (zh) * 2022-05-13 2023-11-24 北京字跳网络技术有限公司 图像评估方法、装置、设备、存储介质和程序产品
CN115294282A (zh) * 2022-08-19 2022-11-04 中国矿业大学 三维场景重建中增强特征融合的单目深度估计系统及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102309A (zh) * 2020-09-27 2020-12-18 中国建设银行股份有限公司 一种确定图像质量评估结果的方法、装置及设备
WO2021043273A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 图像增强方法和装置
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485276A (zh) * 2016-10-10 2017-03-08 上海电机学院 一种基于内容图像的模糊最小‑最大神经网络聚类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021043273A1 (zh) * 2019-09-04 2021-03-11 华为技术有限公司 图像增强方法和装置
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端
CN112102309A (zh) * 2020-09-27 2020-12-18 中国建设银行股份有限公司 一种确定图像质量评估结果的方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多模态融合的高分遥感图像语义分割方法;李万琦等;《中南民族大学学报(自然科学版)》;20200804(第04期);全文 *

Also Published As

Publication number Publication date
CN113420871A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN108615071B (zh) 模型测试的方法及装置
CN113420871B (zh) 图像质量的评估方法、装置、存储介质及电子装置
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN109766828A (zh) 一种车辆目标分割方法、装置及通信设备
CN113505854A (zh) 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN112949459A (zh) 吸烟图像的识别方法及装置、存储介质、电子设备
CN110210548B (zh) 一种基于强化学习的图片动态自适应压缩方法
CN115512238A (zh) 病害区域的确定方法、装置、存储介质及电子装置
CN113642466A (zh) 活体检测和模型训练方法、设备及介质
CN114040094A (zh) 一种基于云台相机的预置位调节方法和设备
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN111178181B (zh) 交通场景分割方法及相关装置
CN108665455B (zh) 图像显著性预测结果的评价方法和装置
CN112084936A (zh) 一种人脸图像预处理方法、装置、设备及存储介质
CN112183224A (zh) 用于图像识别的模型训练方法、图像识别方法和装置
CN114004974A (zh) 对弱光环境下拍摄的图像的优化方法及装置
CN115661618A (zh) 图像质量评估模型的训练方法、图像质量评估方法及装置
CN112686851B (zh) 一种图像检测方法、装置及存储介质
CN116415019A (zh) 虚拟现实vr图像识别方法及装置、电子设备、存储介质
CN117392009B (zh) 图像自动透雾处理方法、系统、终端及存储介质
CN115527087B (zh) 行为信息的确定方法、装置、存储介质及电子装置
CN110866532B (zh) 对象的匹配方法和装置、存储介质及电子装置
CN112418168B (zh) 车辆识别方法、装置、系统、电子设备及存储介质
CN117593624A (zh) 检测模型蒸馏方法、目标检测方法、装置及电子设备
CN115439661A (zh) 主题色确定方法、图片显示方法、模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant