CN110111311B - 一种图像质量评价方法和装置 - Google Patents

一种图像质量评价方法和装置 Download PDF

Info

Publication number
CN110111311B
CN110111311B CN201910313102.1A CN201910313102A CN110111311B CN 110111311 B CN110111311 B CN 110111311B CN 201910313102 A CN201910313102 A CN 201910313102A CN 110111311 B CN110111311 B CN 110111311B
Authority
CN
China
Prior art keywords
image
evaluated
output result
image quality
feature data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910313102.1A
Other languages
English (en)
Other versions
CN110111311A (zh
Inventor
王春燕
崔正文
黄浩
丁敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910313102.1A priority Critical patent/CN110111311B/zh
Publication of CN110111311A publication Critical patent/CN110111311A/zh
Application granted granted Critical
Publication of CN110111311B publication Critical patent/CN110111311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像质量评价方法和装置,可以获取待评价图像,提取待评价图像的第一特征数据和第二特征数据,将待评价图像的第一特征数据,输入至预先训练好的宽度和深度Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果,将待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果,根据目标输出结果,确定待评价图像的图像质量。基于上述处理,能够提高确定出的图像质量的准确度。

Description

一种图像质量评价方法和装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像质量评价方法和装置。
背景技术
随着各行业信息化步伐的加快,以及社交网络的流行,海量的图像、视频等多媒体资源呈爆炸性增长,这对图像的图像质量提出了更高的要求,因此,对图像质量进行评价也变得越来越重要。
现有技术中,可以根据特征提取算法,对待评价图像进行处理,得到待评价图像的特征数据(例如,对比度、亮度、峰值信噪比等),并根据待评价图像的特征数据进行图像质量评价。例如,可以根据训练集中图像的对比度和训练集中图像的分类标识对二分类网络模型进行训练,分类标识可以表示图像质量高或者图像质量低,然后,可以将待评价图像的对比度输入至训练好的二分类网络模型中,得到二分类网络模型的输出结果,输出结果可以包括待评价图像的图像质量高的概率和图像质量低的概率,进而可以根据输出结果,确定待评价图像的图像质量。
然而,发明人在实现本发明的过程中发现,现有技术至少存在如下问题:
上述过程中,仅基于特征提取算法得到的特征数据对图像质量进行评价,而基于特征提取算法得到的特征数据缺乏多样性,并不能准确地反映出待评价图像复杂的图像特征,因此,可能会导致确定出的图像质量的准确度较低。
发明内容
本发明实施例的目的在于提供一种图像质量评价方法和装置,能够提高确定出的图像质量的准确度。具体技术方案如下:
第一方面,为了达到上述目的,本发明实施例公开了一种图像质量评价方法,所述方法包括:
获取待评价图像;
提取所述待评价图像的第一特征数据和第二特征数据;
将所述待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果;
将所述待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果;
根据目标输出结果,确定所述待评价图像的图像质量,其中,所述目标输出结果包括所述第一输出结果和所述第二输出结果。
可选的,在所述根据目标输出结果,确定所述待评价图像的图像质量之前,所述方法还包括:
提取所述待评价图像的第三特征数据;
将所述待评价图像的第三特征数据,输入至预先训练好的Wide&Deep模型中的第二Deep网络子模型,得到第三输出结果;
所述根据目标输出结果,确定所述待评价图像的图像质量,包括:
根据所述第一输出结果、所述第二输出结果和所述第三输出结果,确定所述待评价图像的图像质量。
可选的,所述根据所述第一输出结果、所述第二输出结果和所述第三输出结果,确定所述待评价图像的图像质量,包括:
根据训练所述Wide&Deep模型确定出的所述第一输出结果、所述第二输出结果和所述第三输出结果各自的权重,计算所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和;
根据预设激活函数,对所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
可选的,所述提取所述待评价图像的第三特征数据,包括:
根据第一特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第四特征数据;
根据预先训练好的卷积神经网络模型对所述待评价图像进行处理,得到第五特征数据;
将所述第四特征数据和所述第五特征数据,作为所述待评价图像的第三特征数据。
可选的,所述提取所述待评价图像的第一特征数据和第二特征数据,包括:
根据预先训练好的残差网络模型对所述待评价图像进行处理,得到所述待评价图像的第一特征数据;
根据第二特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第二特征数据。
可选的,所述残差网络模型为残差神经网络Resnet50网络模型,所述第一特征数据包括所述Resnet50网络模型中块Block3对应的网络层输出的特征数据,所述卷积神经网络模型为神经图像评估NIMA网络模型。
可选的,所述根据目标输出结果,确定所述待评价图像的图像质量,包括:
根据训练所述Wide&Deep模型确定出的所述第一输出结果和所述第二输出结果各自的权重,计算所述第一输出结果和所述第二输出结果的加权和;
根据预设激活函数,对所述第一输出结果和所述第二输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
第二方面,为了达到上述目的,本发明实施例公开了一种图像质量评价装置,所述装置包括:
获取模块,用于获取待评价图像;
提取模块,用于提取所述待评价图像的第一特征数据和第二特征数据;
第一处理模块,用于将所述待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果;
第二处理模块,用于将所述待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果;
确定模块,用于根据目标输出结果,确定所述待评价图像的图像质量,其中,所述目标输出结果包括所述第一输出结果和所述第二输出结果。
可选的,所述装置还包括:
第三处理模块,用于提取所述待评价图像的第三特征数据;
将所述待评价图像的第三特征数据,输入至预先训练好的Wide&Deep模型中的第二Deep网络子模型,得到第三输出结果;
所述确定模块,具体用于根据所述第一输出结果、所述第二输出结果和所述第三输出结果,确定所述待评价图像的图像质量。
可选的,所述确定模块,具体用于根据训练所述Wide&Deep模型确定出的所述第一输出结果、所述第二输出结果和所述第三输出结果各自的权重,计算所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和;
根据预设激活函数,对所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
可选的,所述第三处理模块,具体用于根据第一特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第四特征数据;
根据预先训练好的卷积神经网络模型对所述待评价图像进行处理,得到第五特征数据;
将所述第四特征数据和所述第五特征数据,作为所述待评价图像的第三特征数据。
可选的,所述提取模块,具体用于根据预先训练好的残差网络模型对所述待评价图像进行处理,得到所述待评价图像的第一特征数据;
根据第二特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第二特征数据。
可选的,所述残差网络模型为残差神经网络Resnet50网络模型,所述第一特征数据包括所述Resnet50网络模型中块Block3对应的网络层输出的特征数据,所述卷积神经网络模型为神经图像评估NIMA网络模型。
可选的,所述确定模块,具体用于根据训练所述Wide&Deep模型确定出的所述第一输出结果和所述第二输出结果各自的权重,计算所述第一输出结果和所述第二输出结果的加权和;
根据预设激活函数,对所述第一输出结果和所述第二输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
在本发明实施的又一方面,还提供了一种电子设备,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一所述的图像质量评价方法。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的图像质量评价方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的图像质量评价方法。
本发明实施例提供了一种图像质量评价方法,可以提取待评价图像的第一特征数据和第二特征数据,将待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果,将待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果,根据目标输出结果,确定待评价图像的图像质量。基于上述处理,能够结合第一特征数据和第二特征数据进行图像质量评价,第一特征数据和第二特征数据不仅可以包括基于特征提取算法得到的特征数据,还可以包括其他类型的特征数据,相对于现有技术中,仅基于特征提取算法得到的特征数据进行图像质量评价,能够提高确定出的图像质量的准确度。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种图像质量评价方法的流程图;
图2为本发明实施例提供的一种图像质量评价方法示例的流程图;
图3为本发明实施例提供的一种图像质量评价处理过程的示意图;
图4为本发明实施例提供的一种图像质量评价装置的结构图;
图5为本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
现有技术中,仅基于特征提取算法得到的特征数据对图像质量进行评价,基于特征提取算法得到的特征数据缺乏多样性,并不能准确地反映出待评价图像复杂的图像特征,因此,可能会导致确定出的图像质量的准确度较低。
为了解决上述问题,本发明实施例提供了一种图像质量评价方法,该方法可以应用于电子设备,该电子设备可以是终端,也可以是服务器,该电子设备用于对图像的图像质量进行评价。
电子设备可以获取待评价图像,并提取待评价图像的第一特征数据和第二特征数据,然后,电子设备可以将第一特征数据,输入至预先训练好的Wide&Deep模型中的第一深度网络子模型,得到第一输出结果,将第二特征数据,输入至预先训练好的Wide&Deep模型中的宽度网络子模型,得到第二输出结果,然后,电子设备可以根据第一输出结果和第二输出结果,确定待评价图像的图像质量。需要说明的是,本发明中提到的宽度和深度模型表示Wide&Deep模型。
基于上述处理,电子设备能够结合第一特征数据和第二特征数据进行图像质量评价,第一特征数据和第二特征数据不仅可以包括基于特征提取算法得到的特征数据,还可以包括其他类型的特征数据,相对于现有技术中,仅基于特征提取算法得到的特征数据进行图像质量评价,能够提高确定出的图像质量的准确度。
下面以具体实施例对本发明进行详细介绍。
参见图1,图1为本发明实施例提供的一种图像质量评价方法的流程图,该方法可以包括以下步骤:
S101:获取待评价图像。
其中,待评价图像可以是电子设备当前需要评价图像质量的图像,待评价图像可以是一个图像帧,也可以是多个图像帧。如果待评价图像是多个图像帧,则电子设备可以根据本发明实施例的图像质量评价方法,依次对每一待评价图像进行处理,确定每一待评价图像的图像质量。
在发明实施例中,电子设备可以获取待评价图像,以便进行后续处理,进而确定该待评价图像的图像质量。
S102:提取待评价图像的第一特征数据和第二特征数据。
在发明实施例中,电子设备可以对待评价图像进行特征提取,得到待评价图像的第一特征数据和第二特征数据。
第一特征数据和第二特征数据不仅可以包括基于特征提取算法得到的特征数据,还可以包括其他类型的特征数据。
为了提高确定出的图像质量的准确度,第一特征数据和第二特征数据可以为不同类型的特征数据。
可选的,S102可以包括以下步骤:
步骤一,根据预先训练好的残差网络模型对待评价图像进行处理,得到待评价图像的第一特征数据。
其中,残差网络模型可以是根据ImageNet(图片网络,一个用于视觉对象识别软件研究的大型可视化数据库)进行训练得到的。残差网络模型可以用于对图像进行分类,在残差网络模型对图像进行分类的过程中,可以提取得到图像的特征数据,该特征数据可以称为深度学习特征数据。
在发明实施例中,电子设备可以将待评价图像输入至预先训练好的残差网络模型,得到待评价图像的第一特征数据。
可选的,为了进一步提高确定出的图像质量的准确度,残差网络模型可以为Resnet(Residual Network,残差神经网络)50网络模型,相应的,第一特征数据可以包括Resnet50网络模型中Block(块)3对应的网络层输出的特征数据。
一种实现方式中,电子设备可以根据ImageNet对Resnet50网络模型进行训练,得到训练好的Resnet50网络模型。然后,电子设备可以将待评价图像输入至训练好的Resnet50网络模型,并提取Block3对应的网络层输出的特征数据,作为第一特征数据。
本实施例提取Resnet50网络模型中Block3对应的网络层输出的特征数据,能够获取抽象的底层图像特征,还可以减少Wide&Deep的训练成本,提高确定出的图像质量的准确度。
步骤二,根据第二特征提取算法对待评价图像进行处理,得到待评价图像的第二特征数据。
其中,第二特征提取算法用于获取图像的特征数据(例如,对比度、亮度、峰值信噪比等),上述特征数据可以称为手工提取特征数据。第二特征数据可以包括待评价图像一个手工提取特征数据,也可以包括待评价图像多个手工提取特征数据。
在发明实施例中,电子设备可以根据第二特征提取算法对待评价图像进行处理,得到待评价图像的第二特征数据。
一种实现方式中,第二特征数据可以包括待评价图像的简洁程度、对比度、亮度和是否模糊的标识。
其中,简洁程度可以表示从图像的背景中确定图像主题的难易程度,例如,可以用“1”表示容易从图像的背景中确定图像主题,用“0”表示不容易从图像的背景中确定图像主题。可以通过统计图像的频域上强度大于预设强度阈值的比例以确定图像的对比度和亮度,例如,预设强度阈值可以为0.5。图像是否模糊可以通过对图像进行高斯滤波确定。
例如,针对预设样本集中的每一图像,可以将该图像的简洁程度、对比度、亮度和是否模糊的标识,作为宽度网络子模型的输入参数,对Wide&Deep模型进行训练。
相应的,电子设备可以获取待评价图像的简洁程度、对比度、亮度和是否模糊的标识,作为训练好的Wide&Deep模型中的宽度网络子模型的输入参数,进而可以得到Wide&Deep模型针对待评价图像的输出结果。
基于上述处理,第一特征数据包括深度学习特征数据,第二特征数据包括手工提取特征数据,进而,电子设备结合第一特征数据和第二特征数据进行图像质量评价,能够提高确定出的图像质量的准确度。
S103:将待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一深度网络子模型,得到第一输出结果。
Wide&Deep模型可以用于对图像进行分类,可以采用xavier(泽维尔)_initializer(初始化程序)方式对Wide&Deep模型进行初始化。其中,Wide&Deep模型可以包括第一深度网络子模型和宽度网络子模型,根据第一深度网络子模型的输出结果和宽度网络子模型的输出结果,能够得到Wide&Deep模型的输出结果。需要说明的是,Wide&Deep模型属于已有模型,这里不再赘述。
第一深度网络子模型可以包括第一数目个全连接层(Fully Connected Layers,简称FC),第一数目可以由技术人员根据经验进行设置。一种实现方式中,第一数目可以为4。
在发明实施例中,电子设备可以将待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一深度网络子模型,得到对应的输出结果(即第一输出结果)。
S104:将待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的宽度网络子模型,得到第二输出结果。
在发明实施例中,电子设备可以将待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的宽度网络子模型,得到对应的输出结果(即第二输出结果)。
宽度网络子模型可以包括第二数目个全连接层,第二数目可以由技术人员根据经验进行设置。一种实现方式中,第二数目可以为1。
电子设备可以执行S103,然后执行S104;或者,电子设备也可以执行S104,然后再执行S103。本发明实施例对于步骤S103和步骤S104的执行顺序并不进行限定。
包含第一深度网络子模型和宽度网络子模型的Wide&Deep模型,可以是根据预设样本集进行训练得到的,预设样本集可以包括多个图像的第一特征数据、第二特征数据和该多个图像的质量标签。质量标签可以为“高”或者“低”。质量标签为“高”可以表示图像的图像质量高,质量标签为“低”可以表示图像的图像质量低。即,针对预设样本集中的每一图像,将该图像的第一特征数据作为第一深度网络子模型的输入参数,将该图像的第二特征数据作为宽度网络子模型的输入参数,如果该图像的质量标签为“高”,则该图像对应的输出参数可以为“图像质量高的概率为1,图像质量低的概率为0”,如果该图像的质量标签为“低”,则该图像对应的输出参数可以为“图像质量高的概率为0,图像质量低的概率为1”,进而可以对Wide&Deep模型进行训练,以使Wide&Deep模型达到预设的收敛条件。
另外,为了提高图像质量评价的效率,在对Wide&Deep模型进行训练,以及基于训练好的Wide&Deep模型,对待评价图像进行处理时,电子设备可以将图像处理为224像素×224像素大小,进而对处理后的图像进行特征提取,得到特征数据,并将特征数据处理为TFRecords(TensorFlow Records,张量流记录)格式的文件。电子设备根据Wide&Deep模型对TFRecords格式的文件进行处理,能够提高处理效率。
S105:根据目标输出结果,确定待评价图像的图像质量。
其中,目标输出结果可以包括第一输出结果和第二输出结果。
在发明实施例中,电子设备可以根据第一输出结果和第二输出结果,确定待评价图像的图像质量。
可以理解的是,在训练Wide&Deep模型的过程中,能够确定出第一输出结果和第二输出结果各自的权重,可选的,电子设备可以根据第一输出结果和第二输出结果,以及各自的权重,确定待评价图像的图像质量。
S103可以包括以下步骤:
步骤一,根据训练Wide&Deep模型确定出的第一输出结果和第二输出结果各自的权重,计算第一输出结果和第二输出结果的加权和。
在发明实施例中,如果Wide&Deep模型包括第一深度网络子模型和宽度网络子模型,在训练Wide&Deep模型的过程中,电子设备能够确定出第一输出结果和第二输出结果各自的权重,相应的,电子设备可以根据确定出的权重,计算第一输出结果和第二输出结果的加权和。
步骤二,根据预设激活函数,对第一输出结果和第二输出结果的加权和进行处理,得到待评价图像的评价结果。
其中,评价结果可以包括待评价图像的图像质量高的概率和待评价图像的图像质量低的概率。预设激活函数可以为softmax函数。
在发明实施例中,在电子设备得到第一输出结果和第二输出结果的加权和后,电子设备可以根据预设激活函数,对第一输出结果和第二输出结果的加权和进行处理,得到待评价图像的评价结果。
步骤三,如果待评价图像的图像质量高的概率大于图像质量低的概率,确定待评价图像的图像质量高。
在发明实施例中,电子设备可以获取待评价图像的图像质量高的概率和图像质量低的概率,并判断图像质量高的概率是否大于图像质量低的概率。
当电子设备判定图像质量高的概率大于图像质量低的概率时,电子设备可以确定待评价图像的图像质量高,另外,电子设备还可以设置待评价图像的质量标签为“高”。
步骤四,如果待评价图像的图像质量高的概率不大于图像质量低的概率,确定待评价图像的图像质量低。
在发明实施例中,当电子设备判定图像质量高的概率小于或者等于图像质量低的概率时,电子设备可以确定待评价图像的图像质量低,另外,电子设备还可以设置待评价图像的质量标签为“低”。
另外,为了进一步提高确定出的图像质量的准确度,Wide&Deep模型可以包括多个深度网络子模型。
可选的,Wide&Deep模型还可以包括第二深度网络子模型,在S105之前,该方法还可以包括以下步骤:
提取待评价图像的第三特征数据;将待评价图像的第三特征数据,输入至预先训练好的Wide&Deep模型中的第二深度网络子模型,得到第三输出结果。
其中,第三特征数据可以包括基于特征提取算法得到的特征数据,还可以包括其他类型的特征数据。第二深度网络子模型可以包括第三数目个全连接层,第三数目可以由技术人员根据经验进行设置。一种实现方式中,第三数目可以为4。
电子设备可以将待评价图像的第三特征数据,输入至预先训练好的Wide&Deep模型中的第二深度网络子模型,得到第三输出结果。
为了提高确定出的图像质量的准确度,第三特征数据可以包括深度学习特征数据和手工提取特征数据,可选的,电子设备提取第三特征数据的方法可以包括以下步骤:
步骤一,根据第一特征提取算法对待评价图像进行处理,得到待评价图像的第四特征数据。
其中,第一特征提取算法用于获取图像的特征数据(例如,对比度、亮度、峰值信噪比等),第一特征数据可以包括待评价图像一个特征的特征数据,也可以包括待评价图像多个特征的特征数据。
在发明实施例中,电子设备可以根据第一特征提取算法对待评价图像进行处理,得到待评价图像的第四特征数据。
一种实现方式中,第四特征数据可以包括待评价图像的简洁程度、对比度、亮度和是否模糊的标识。
第四特征数据可以与第二特征数据相同,也可以与第二特征数据不同。
步骤二,根据预先训练好的卷积神经网络模型对待评价图像进行处理,得到第五特征数据。
其中,卷积神经网络模型可以提取图像的特征数据。
在发明实施例中,电子设备可以将待评价图像输入至预先训练好的卷积神经网络模型,得到待评价图像的第五特征数据。
一种实现方式中,预设卷积神经网络模型可以为NIMA(Neural ImageAssessment,神经图像评估)网络模型,NIMA网络模型可以确定待评价图像的分数值,分数值的范围可以为1-10,该分数值即NIMA网络模型对待评价图像进行处理得到的第五特征数据。
电子设备可以根据ImageNet对NIMA网络模型进行训练,得到训练好的NIMA网络模型。然后,电子设备可以将待评价图像输入至训练好的NIMA网络模型,并提取输出的特征数据,作为第五特征数据。
步骤三,将第四特征数据和第五特征数据,作为待评价图像的第三特征数据。
在发明实施例中,在获取第四特征数据和第五特征数据后,电子设备可以将第四特征数据和第五特征数据,作为待评价图像的第三特征数据。即,第五特征数据不仅包括手工提取特征数据,还包括深度学习特征数据。
Wide&Deep模型可以包括第一深度网络子模型、第二深度网络子模型和宽度网络子模型。
相应的,针对预设样本集中的每一图像,可以将该图像的第一特征数据作为第一深度网络子模型的输入参数,将该图像的第二特征数据作为宽度网络子模型的输入参数,将该图像的第三特征数据作为第二深度网络子模型的输入参数,如果该图像的质量标签为“高”,则该图像对应的输出参数可以为“图像质量高的概率为1,图像质量低的概率为0”,如果该图像的质量标签为“低”,则该图像对应的输出参数可以为“图像质量高的概率为0,图像质量低的概率为1”,进而可以对Wide&Deep模型进行训练,以使Wide&Deep模型达到预设的收敛条件。
另外,针对第一深度网络子模型和第二深度网络子模型,可以添加dropout(退学者)层,以防止出现过拟合现象。
如果Wide&Deep模型包括第一深度网络子模型、第二深度网络子模型和宽度网络子模型,相应的,电子设备可以根据第一输出结果、第二输出结果和第三输出结果,确定待评价图像的图像质量。
可以理解的是,电子设备可以根据第一输出结果、第二输出结果、第三输出结果,以及各自的权重,确定待评价图像的图像质量。
S103可以包括以下步骤:
步骤一,根据训练Wide&Deep模型确定出的第一输出结果、第二输出结果和第三输出结果各自的权重,计算第一输出结果、第二输出结果和第三输出结果的加权和。
在发明实施例中,如果Wide&Deep模型包括第一深度网络子模型、第二深度网络子模型和宽度网络子模型,在训练Wide&Deep模型的过程中,电子设备能够确定出第一输出结果、第二输出结果和第三输出结果各自的权重,相应的,电子设备可以根据确定出的权重,计算第一输出结果、第二输出结果和第三输出结果的加权和。
步骤二,根据预设激活函数,对第一输出结果、第二输出结果和第三输出结果的加权和进行处理,得到待评价图像的评价结果。
其中,评价结果可以包括待评价图像的图像质量高的概率和待评价图像的图像质量低的概率,预设激活函数可以为softmax函数。
在发明实施例中,在电子设备得到第一输出结果、第二输出结果和第三输出结果的加权和后,电子设备可以根据预设激活函数,对第一输出结果、第二输出结果和第三输出结果的加权和进行处理,得到待评价图像的评价结果。
步骤三,如果待评价图像的图像质量高的概率大于图像质量低的概率,确定待评价图像的图像质量高。
步骤四,如果待评价图像的图像质量高的概率不大于图像质量低的概率,确定待评价图像的图像质量低。
其中,步骤三和步骤四分别与上述实施例中对应的步骤一致,此处不再赘述。
参见图2,图2为本发明实施例提供的一种图像质量评价方法示例的流程图,该方法可以包括以下步骤:
S201:获取待评价图像。
S202:根据预先训练好的残差网络模型对待评价图像进行处理,得到待评价图像的第一特征数据。
其中,残差网络模型为Resnet50网络模型,第一特征数据可以包括Resnet50网络模型中Block3对应的网络层输出的特征数据。
S203:根据第二特征提取算法对待评价图像进行处理,得到待评价图像的第二特征数据。
其中,第二特征数据包括待评价图像的简洁程度、对比度、亮度和是否模糊的标识。
S204:根据第一特征提取算法对待评价图像进行处理,得到待评价图像的第四特征数据,根据预先训练好的卷积神经网络模型对待评价图像进行处理,得到第五特征数据,将第四特征数据和第五特征数据,作为待评价图像的第三特征数据。
其中,第四特征数据包括待评价图像的简洁程度、对比度、亮度和是否模糊的标识,卷积神经网络模型为NIMA网络模型。
S205:将第一特征数据输入至预先训练好的Wide&Deep模型中的第一深度网络子模型,得到第一输出结果。
S206:将第二特征数据输入至预先训练好的Wide&Deep模型中的宽度网络子模型,得到第二输出结果。
S207:将第三特征数据输入至预先训练好的Wide&Deep模型中的第二深度网络子模型,得到第三输出结果。
S208:根据训练Wide&Deep模型确定出的第一输出结果、第二输出结果和第三输出结果各自的权重,计算第一输出结果、第二输出结果和第三输出结果的加权和。
S209:根据预设激活函数,对第一输出结果、第二输出结果和第三输出结果的加权和进行处理,得到待评价图像的评价结果。
其中,评价结果包括待评价图像的图像质量高的概率和待评价图像的图像质量低的概率。
S2010:如果待评价图像的图像质量高的概率大于图像质量低的概率,确定待评价图像的图像质量高。
S2011:如果待评价图像的图像质量高的概率不大于图像质量低的概率,确定待评价图像的图像质量低。
参见图3,图3为本发明实施例提供的一种图像质量评价处理过程的示意图,图3中,可以将训练好的Resnet(残差神经网络)50网络模型对待评价图像进行处理时Block(块)3对应的网络层输出的特征数据,输入至包含三个全连接层和一个二分类层的第一深度网络子模型;将待评价图像的简洁程度、对比度、亮度、是否模糊的标识和NIMA(神经图像评估)网络模型确定的待评价图像的分数值,输入至包含三个全连接层和一个二分类层的第二深度网络子模型;将待评价图像的简洁程度、对比度、亮度和是否模糊的标识输入至包含一个二分类层的宽度网络子模型,计算第一深度网络子模型、第二深度网络子模型和宽度网络子模型输出的加权和,并根据预设激活函数对加权和的结果进行处理,可以得到待评价图像的图像质量。
可见,基于本发明实施例提供的图像质量评价方法,能够结合手工提取特征数据和深度学习特征数据进行图像质量评价,进而能够提高确定出的图像质量的准确度。
与图1的方法实施例相对应,参见图4,图4为本发明实施例提供的一种图像质量评价装置的结构图,所述装置可以包括:
获取模块401,用于获取待评价图像;
提取模块402,用于提取所述待评价图像的第一特征数据和第二特征数据;
第一处理模块403,用于将所述待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果;
第二处理模块404,用于将所述待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果;
确定模块405,用于根据目标输出结果,确定所述待评价图像的图像质量,其中,所述目标输出结果包括所述第一输出结果和所述第二输出结果。
可选的,所述装置还包括:
第三处理模块,用于提取所述待评价图像的第三特征数据;
将所述待评价图像的第三特征数据,输入至预先训练好的Wide&Deep模型中的第二Deep网络子模型,得到第三输出结果;
所述确定模块405,具体用于根据所述第一输出结果、所述第二输出结果和所述第三输出结果,确定所述待评价图像的图像质量。
可选的,所述确定模块405,具体用于根据训练所述Wide&Deep模型确定出的所述第一输出结果、所述第二输出结果和所述第三输出结果各自的权重,计算所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和;
根据预设激活函数,对所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
可选的,所述第三处理模块,具体用于根据第一特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第四特征数据;
根据预先训练好的卷积神经网络模型对所述待评价图像进行处理,得到第五特征数据;
将所述第四特征数据和所述第五特征数据,作为所述待评价图像的第三特征数据。
可选的,所述提取模块402,具体用于根据预先训练好的残差网络模型对所述待评价图像进行处理,得到所述待评价图像的第一特征数据;
根据第二特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第二特征数据。
可选的,所述残差网络模型为残差神经网络Resnet50网络模型,所述第一特征数据包括所述Resnet50网络模型中块Block3对应的网络层输出的特征数据,所述卷积神经网络模型为神经图像评估NIMA网络模型。
可选的,所述确定模块405,具体用于根据训练所述Wide&Deep模型确定出的所述第一输出结果和所述第二输出结果各自的权重,计算所述第一输出结果和所述第二输出结果的加权和;
根据预设激活函数,对所述第一输出结果和所述第二输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
可见,基于本发明实施例提供的图像质量评价装置,可以获取待评价图像,提取待评价图像的第一特征数据和第二特征数据,将待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果,将待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果,根据第一输出结果和第二输出结果,确定待评价图像的图像质量。基于上述处理,能够结合第一特征数据和第二特征数据进行图像质量评价,第一特征数据和第二特征数据不仅可以包括基于特征提取算法得到的特征数据,还可以包括其他类型的特征数据,相对于现有技术中,仅基于特征提取算法得到的特征数据进行图像质量评价,能够提高确定出的图像质量的准确度。
本发明实施例还提供了一种电子设备,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现本发明实施例提供的图像质量评价方法。
具体的,上述图像质量评价方法,包括:
获取待评价图像;
提取所述待评价图像的第一特征数据和第二特征数据;
将所述待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果;
将所述待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果;
根据目标输出结果,确定所述待评价图像的图像质量,其中,所述目标输出结果包括所述第一输出结果和所述第二输出结果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的电子设备,能够结合第一特征数据和第二特征数据进行图像质量评价,第一特征数据和第二特征数据不仅可以包括基于特征提取算法得到的特征数据,还可以包括其他类型的特征数据,相对于现有技术中,仅基于特征提取算法得到的特征数据进行图像质量评价,能够提高确定出的图像质量的准确度。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行本发明实施例提供的图像质量评价方法。
具体的,上述图像质量评价方法,包括:
获取待评价图像;
提取所述待评价图像的第一特征数据和第二特征数据;
将所述待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果;
将所述待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果;
根据目标输出结果,确定所述待评价图像的图像质量,其中,所述目标输出结果包括所述第一输出结果和所述第二输出结果。
需要说明的是,上述图像质量评价方法的其他实现方式与前述方法实施例部分相同,这里不再赘述。
通过运行本发明实施例提供的计算机可读存储介质中存储的指令,能够结合第一特征数据和第二特征数据进行图像质量评价,第一特征数据和第二特征数据不仅可以包括基于特征提取算法得到的特征数据,还可以包括其他类型的特征数据,相对于现有技术中,仅基于特征提取算法得到的特征数据进行图像质量评价,能够提高确定出的图像质量的准确度。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本发明实施例提供的图像质量评价方法。
具体的,上述图像质量评价方法,包括:
获取待评价图像;
提取所述待评价图像的第一特征数据和第二特征数据;
将所述待评价图像的第一特征数据,输入至预先训练好的Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果;
将所述待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果;
根据目标输出结果,确定所述待评价图像的图像质量,其中,所述目标输出结果包括所述第一输出结果和所述第二输出结果。
需要说明的是,上述图像质量评价方法的其他实现方式与前述方法实施例部分相同,这里不再赘述。
通过运行本发明实施例提供的计算机程序产品,能够结合第一特征数据和第二特征数据进行图像质量评价,第一特征数据和第二特征数据不仅可以包括基于特征提取算法得到的特征数据,还可以包括其他类型的特征数据,相对于现有技术中,仅基于特征提取算法得到的特征数据进行图像质量评价,能够提高确定出的图像质量的准确度。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (15)

1.一种图像质量评价方法,其特征在于,所述方法包括:
获取待评价图像;
提取所述待评价图像的第一特征数据和第二特征数据;所述第一特征数据为深度学习特征数据,所述第二特征数据为利用第二特征提取算法得到的手工提取特征数据;
将所述待评价图像的第一特征数据,输入至预先训练好的宽度和深度Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果;
将所述待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果;
根据目标输出结果,确定所述待评价图像的图像质量,其中,所述目标输出结果包括所述第一输出结果和所述第二输出结果。
2.根据权利要求1所述的方法,其特征在于,在所述根据目标输出结果,确定所述待评价图像的图像质量之前,所述方法还包括:
提取所述待评价图像的第三特征数据;
将所述待评价图像的第三特征数据,输入至预先训练好的Wide&Deep模型中的第二Deep网络子模型,得到第三输出结果;
所述根据目标输出结果,确定所述待评价图像的图像质量,包括:
根据所述第一输出结果、所述第二输出结果和所述第三输出结果,确定所述待评价图像的图像质量。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一输出结果、所述第二输出结果和所述第三输出结果,确定所述待评价图像的图像质量,包括:
根据训练所述Wide&Deep模型确定出的所述第一输出结果、所述第二输出结果和所述第三输出结果各自的权重,计算所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和;
根据预设激活函数,对所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
4.根据权利要求2所述的方法,其特征在于,所述提取所述待评价图像的第三特征数据,包括:
根据第一特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第四特征数据;
根据预先训练好的卷积神经网络模型对所述待评价图像进行处理,得到第五特征数据;
将所述第四特征数据和所述第五特征数据,作为所述待评价图像的第三特征数据。
5.根据权利要求4所述的方法,其特征在于,所述提取所述待评价图像的第一特征数据和第二特征数据,包括:
根据预先训练好的残差网络模型对所述待评价图像进行处理,得到所述待评价图像的第一特征数据;
根据第二特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第二特征数据。
6.根据权利要求5所述的方法,其特征在于,所述残差网络模型为残差神经网络Resnet50网络模型,所述第一特征数据包括所述Resnet50网络模型中块Block3对应的网络层输出的特征数据,所述卷积神经网络模型为神经图像评估NIMA网络模型。
7.根据权利要求1所述的方法,其特征在于,所述根据目标输出结果,确定所述待评价图像的图像质量,包括:
根据训练所述Wide&Deep模型确定出的所述第一输出结果和所述第二输出结果各自的权重,计算所述第一输出结果和所述第二输出结果的加权和;
根据预设激活函数,对所述第一输出结果和所述第二输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
8.一种图像质量评价装置,其特征在于,所述装置包括:
获取模块,用于获取待评价图像;
提取模块,用于提取所述待评价图像的第一特征数据和第二特征数据;所述第一特征数据为深度学习特征数据,所述第二特征数据为利用第二特征提取算法得到的手工提取特征数据;
第一处理模块,用于将所述待评价图像的第一特征数据,输入至预先训练好的宽度和深度Wide&Deep模型中的第一Deep网络子模型,得到第一输出结果;
第二处理模块,用于将所述待评价图像的第二特征数据,输入至预先训练好的Wide&Deep模型中的Wide网络子模型,得到第二输出结果;
确定模块,用于根据目标输出结果,确定所述待评价图像的图像质量,其中,所述目标输出结果包括所述第一输出结果和所述第二输出结果。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第三处理模块,用于提取所述待评价图像的第三特征数据;
将所述待评价图像的第三特征数据,输入至预先训练好的Wide&Deep模型中的第二Deep网络子模型,得到第三输出结果;
所述确定模块,具体用于根据所述第一输出结果、所述第二输出结果和所述第三输出结果,确定所述待评价图像的图像质量。
10.根据权利要求9所述的装置,其特征在于,所述确定模块,具体用于根据训练所述Wide&Deep模型确定出的所述第一输出结果、所述第二输出结果和所述第三输出结果各自的权重,计算所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和;
根据预设激活函数,对所述第一输出结果、所述第二输出结果和所述第三输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
11.根据权利要求9所述的装置,其特征在于,所述第三处理模块,具体用于根据第一特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第四特征数据;
根据预先训练好的卷积神经网络模型对所述待评价图像进行处理,得到第五特征数据;
将所述第四特征数据和所述第五特征数据,作为所述待评价图像的第三特征数据。
12.根据权利要求11所述的装置,其特征在于,所述提取模块,具体用于根据预先训练好的残差网络模型对所述待评价图像进行处理,得到所述待评价图像的第一特征数据;
根据第二特征提取算法对所述待评价图像进行处理,得到所述待评价图像的第二特征数据。
13.根据权利要求12所述的装置,其特征在于,所述残差网络模型为残差神经网络Resnet50网络模型,所述第一特征数据包括所述Resnet50网络模型中块Block3对应的网络层输出的特征数据,所述卷积神经网络模型为神经图像评估NIMA网络模型。
14.根据权利要求8所述的装置,其特征在于,所述确定模块,具体用于根据训练所述Wide&Deep模型确定出的所述第一输出结果和所述第二输出结果各自的权重,计算所述第一输出结果和所述第二输出结果的加权和;
根据预设激活函数,对所述第一输出结果和所述第二输出结果的加权和进行处理,得到所述待评价图像的评价结果,其中,所述评价结果包括所述待评价图像的图像质量高的概率和所述待评价图像的图像质量低的概率;
如果所述待评价图像的图像质量高的概率大于图像质量低的概率,确定所述待评价图像的图像质量高;
如果所述待评价图像的图像质量高的概率不大于图像质量低的概率,确定所述待评价图像的图像质量低。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
CN201910313102.1A 2019-04-18 2019-04-18 一种图像质量评价方法和装置 Active CN110111311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910313102.1A CN110111311B (zh) 2019-04-18 2019-04-18 一种图像质量评价方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910313102.1A CN110111311B (zh) 2019-04-18 2019-04-18 一种图像质量评价方法和装置

Publications (2)

Publication Number Publication Date
CN110111311A CN110111311A (zh) 2019-08-09
CN110111311B true CN110111311B (zh) 2021-07-09

Family

ID=67485788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910313102.1A Active CN110111311B (zh) 2019-04-18 2019-04-18 一种图像质量评价方法和装置

Country Status (1)

Country Link
CN (1) CN110111311B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340073A (zh) * 2020-02-12 2020-06-26 杭州涂鸦信息技术有限公司 一种图像等级评判的深度学习训练方法及系统
CN113361642B (zh) * 2021-07-02 2024-03-19 柒久园艺科技(北京)有限公司 一种鲜切花分级方法、装置及介质
CN113553487B (zh) * 2021-07-28 2024-04-09 恒安嘉新(北京)科技股份公司 网址类型的检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284866A (zh) * 2018-09-06 2019-01-29 安吉汽车物流股份有限公司 商品订单预测方法及装置、存储介质、终端
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN109584203A (zh) * 2018-09-29 2019-04-05 天津大学 基于深度学习与语义信息的重定位图像质量评价方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203805801U (zh) * 2014-03-14 2014-09-03 盛凯 基于通用oled曲面的行驶环境显示及控制系统
CN107273872B (zh) * 2017-07-13 2020-05-05 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法
US10990899B2 (en) * 2017-08-11 2021-04-27 Microsoft Technology Licensing, Llc Deep and wide machine learned model for job recommendation
CN107689035B (zh) * 2017-08-30 2021-12-21 广州方硅信息技术有限公司 一种基于卷积神经网络的单应性矩阵确定方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN109284866A (zh) * 2018-09-06 2019-01-29 安吉汽车物流股份有限公司 商品订单预测方法及装置、存储介质、终端
CN109584203A (zh) * 2018-09-29 2019-04-05 天津大学 基于深度学习与语义信息的重定位图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wide & Deep Learning for Recommender Systems;Heng-Tze Cheng 等;《DLRS 2016: Proceedings of the 1st Workshop on Deep Learning for Recommender Systems》;20160930;1-4页摘要,第3节 *
基于人眼视觉特性的深度学习全参考图像质量评价方法;姚旺 等;《红外与激光工程》;20180725;第47卷(第7期);0703004-1:8 *

Also Published As

Publication number Publication date
CN110111311A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN109344908B (zh) 用于生成模型的方法和装置
CN107133948B (zh) 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN109936582B (zh) 构建基于pu学习的恶意流量检测模型的方法及装置
CN110111311B (zh) 一种图像质量评价方法和装置
CN110969066A (zh) 直播视频的识别方法、装置及电子设备
CN110909784B (zh) 一种图像识别模型的训练方法、装置及电子设备
CN111835763B (zh) 一种dns隧道流量检测方法、装置及电子设备
CN110956615A (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN117409419A (zh) 图像检测方法、设备及存储介质
CN116167010A (zh) 具有智能迁移学习能力的电力系统异常事件快速识别方法
CN111144425A (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN114091551A (zh) 色情图像识别方法、装置、电子设备及存储介质
CN111695357A (zh) 文本标注方法及相关产品
CN113012088A (zh) 一种电路板故障检测及孪生网络的训练方法、装置和设备
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN114638304A (zh) 图像识别模型的训练方法、图像识别方法及装置
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN112906707B (zh) 一种表面缺陷图像的语义分割方法、装置及计算机设备
CN117523218A (zh) 标签生成、图像分类模型的训练、图像分类方法及装置
CN112434717B (zh) 一种模型训练方法及装置
CN116912920B (zh) 表情识别方法及装置
CN112966272B (zh) 一种基于对抗式网络的物联网Android恶意软件检测方法
CN115205555B (zh) 确定相似图像的方法、训练方法、信息确定方法及设备
CN113762382B (zh) 模型的训练及场景识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant