CN111724370B - 基于不确定性和概率的多任务图像质量评估方法及系统 - Google Patents
基于不确定性和概率的多任务图像质量评估方法及系统 Download PDFInfo
- Publication number
- CN111724370B CN111724370B CN202010563396.6A CN202010563396A CN111724370B CN 111724370 B CN111724370 B CN 111724370B CN 202010563396 A CN202010563396 A CN 202010563396A CN 111724370 B CN111724370 B CN 111724370B
- Authority
- CN
- China
- Prior art keywords
- image
- distortion type
- distortion
- quality
- multitask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000001303 quality assessment method Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000000137 annealing Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于不确定性和概率的多任务无参考图像质量评估方法及系统,首先将待训练的数据进行数据预处理;然后设计能够预测失真类型和图像质量分数的多任务卷积神经网络,并训练该多任务卷积神经网络;最后将待测图像进行预处理,生成图像块,利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型,根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型。本发明通过提出的多任务卷积神经网络提取图像特征、学习图像质量和失真类型之间的不确定性,不仅能够评估图像质量,也能够预测失真类型,并显著提高无参考图像质量评估的性能。
Description
技术领域
本发明涉及图像处理技术领域,特别是一种基于不确定性和概率的多任务无参考图像质量评估方法及系统。
背景技术
伴随互联网的快速成长,数字图像已然成为一种不可缺少的信息传输载体。移动互联网的普及、人们的需求、日益暴增的图像数量,促进了图像处理算法地不断更新迭代和计算机视觉领域的快速发展。随着多媒体技术的发展,现在人们对图片实时分享、发送和接收,以及即时在线直播的要求越来越高,使得对图像质量评估算法的要求也越来越高。然而,图像在拍摄、编解码、存储、传输、处理过程中难以避免地会丢失部分或完整原始数据,导致图像产生失真现象,出现噪点、变形、扭曲、缺失等现象。失真会不同程度地丢失原始图像中所包含的信息,从而影响会影响人们对图像的观感、影响人们从图像中获取信息。图像质量评估可以根据图像的失真类型及失真程度来对图像的质量进行评估,从而为后续的图像处理技术,比如超分辨率、图像分割、图像去噪、图像复原、风格迁移和显著性检测等提供基础,是图像处理领域的关键技术之一,对于当下图像在医学、航空、军事等领域来说是至关重要的。
图像质量评估一般有主观和客观之分。主观图像质量评估是指由多个评估员对数据集的图像质量打分后进行统计加工合成,此方法直接地反映了人类视觉系统对图像的直观感知和视觉体验效果,评估结果最符合人类的视觉感官体验。客观图像质量评估是指由计算机按照一定的算法进行实现,算法根据人类视觉系统,对失真图像进行客观定性,建立模型,给出评估结果。相较于主观评估,客观评估应用更广泛。客观评估根据是否得以取到参考图像的完整或者部分信息分为3类:全参考、半参考和无参考。由于无参考评估不需要使用原始图像的信息,所以在没有原始图像的实际应用中,无参考图像质量评估更为实用。
现有的大部分无参考方法只针对图像质量进行评估。失真类型和图像质量存在着重要关系。少数能够同时评估图像质量评价和预测失真类型的模型尚未能确定失真类型和图像质量之间的潜在关系。
发明内容
有鉴于此,本发明的目的是提出一种基于不确定性和概率的多任务无参考图像质量评估方法及系统,通过提出的多任务卷积神经网络提取图像特征、学习图像质量和失真类型之间的不确定性,不仅能够评估图像质量,也能够预测失真类型,并显著提高无参考图像质量评估的性能。
本发明采用以下方案实现:一种基于不确定性和概率的多任务无参考图像质量评估方法,具体包括以下步骤:
将待训练的数据进行数据预处理;首先对其做归一化处理,然后将归一化图像进行切块;
设计能够预测失真类型和图像质量分数的多任务卷积神经网络,并训练该多任务卷积神经网络;
将待测图像进行预处理,生成图像块,利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型,根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型。
本发明使用归一化的图像块作为模型输入,使用多任务卷积神经网络的提取图像特征,通过失真类型和质量分数之间的不确定性同时预测失真类型和质量分数,基于概率计算图像的失真类型和质量分数,这种方法不仅能显著提高无参考图像质量评估的性能,并能同时预测图像失真类型。
进一步地,所述将待训练的数据进行数据预处理具体为:
先将所有失真图像进行归一化处理,将所有归一化图像有重叠地切分成若干个H×W大小的图像块。
式中,(i,j)表示像素的位置。
进一步地,所述设计能够预测失真类型和图像质量分数的多任务卷积神经网络,并训练该多任务卷积神经网络具体包括以下步骤:
步骤A1:设计多任务卷积神经网络用于可同时预测失真类型和图像质量分数,网络输入为归一化图像块;该多任务卷积神经网络首先经过多个卷积层、批归一化层、激活层和注意力机制块进行特征提取;提取后的图像特征首先经过两个全连接层,然后分为两路,一路经过一个单元的全连接层以预测图像质量分数s,另一路经过C个单元的全连接层以预测图像失真类型d;
步骤A2:使用多任务的不确定性作为所述多任务卷积神经网络的损失函数,计算公式如下:
其中,
式中,ω是模型的权重,x是输入的图像,y1表示输入的图像质量的真实主观评估分数,y2表示输入的图像的真实失真类型向量,f1 ω(x)和f2 ω(x)分别是网络在权重ω下对输入x预测的图像质量评估分数和失真类型向量,σ1和σ2分别是由网络学习的质量评估分数、失真类型的不确定性因子,N为每个批次输入的图像数量,C为待测图像候选失真类型的数量,为输入的第i张图像第j种失真类型的真实概率,为第i张图像第j种失真类型的预测概率经过失真类型不确定性因子σ2缩放的值;
步骤A3:所述多任务卷积神经网络通过多次迭代进行反向传播;在每次迭代中,训练集被分成多个批次进行分批优化,采用基于梯度方差的Adam方法自适应和余弦退火控制每个参数的分批优化学习率,训练预设数量个epoch后结束,取验证误差最小的多任务卷积神经网络作为训练结果。
进一步地,步骤A1中,图像质量分数s的计算公式如下:
s=f1 ω(x);
式中,ω是模型的权重,x是输入的图像,f1 ω(x)是网络在权重ω下对输入x预测的图像质量分数。
进一步地,步骤A1中,图像失真类型d的计算公式如下:
d=argmax1≤i≤C(f2 ω(x)i);
式中,ω是模型的权重,x是输入的图像,C为待测图像候选失真类型的数量,f2 ω(x)i是网络在权重ω下对输入x预测的失真类型向量的第i维。
进一步地,所述将待测图像进行预处理,生成图像块,利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型,根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型具体包括以下步骤:
步骤B1:将待测图像I归一化处理,然后将待测图像划分成大小为H×W的图像块;
步骤B2:将所有图像块作为训练好的多任务卷积神经网络的输入,得到每个图像块的图像质量分数和失真类型;
步骤B3:选择待测图像的失真类型预测概率大于或等于指定阈值δ的所有图像块,计算各种失真类型的图像块数量,选择数量最多的失真类型作为待测图像I的失真类型DI;
进一步地,步骤B3中,待测图像I的失真类型DI的计算如下:
式中,C为待测图像候选失真类型的数量,num(j,δ)表示预测失真类型为j且其概率大于或等于指定阈值δ的图像块的数量。
其中,
式中,M是待测图像I的图像块总数量,是待测图像I的第k个图像块由所提出的多任务卷积神经网络预测的图像质量分数,f2 ω(Ik)d为待测图像I的第k个图像块的失真类型d对应的预测概率,λk当且仅当f2 ω(Ik)d大于指定阈值δ时为1。
本发明还提供了一种基于不确定性和概率的多任务无参考图像质量评估系统,包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序,当处理器运行该计算机程序时,实现如上文所述的方法步骤。
与现有技术相比,本发明有以下有益效果:本发明适用于多种失真类型的、不同失真程度的图像质量评估,计算得到的质量评估分数接近人的主观评估分数。现有的大部分无参考方法只针对图像质量进行评估,而失真类型和图像质量存在着重要关系,基于此,本发明提出一种基于不确定性和概率的多任务无参考图像质量评估方法。该方法归一化图像作为模型输入,通过提出的多任务卷积神经网络提取图像特征、学习图像质量和失真类型之间的不确定性,不仅能够评估图像质量,也能够预测失真类型,并显著提高无参考图像质量评估的性能。本发明综合考虑图像的质量评估分数和失真类型之间的联系,对图像的失真信息有更强的表示能力,能显著提高无参考图像质量评估性能并同时预测失真类型。
附图说明
图1为本发明实施例的方法流程示意图。
图2为本发明实施例的多任务卷积神经网络示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种基于不确定性和概率的多任务无参考图像质量评估方法,具体包括以下步骤:
将待训练的数据进行数据预处理;首先对其做归一化处理,然后将归一化图像进行切块;
设计能够预测失真类型和图像质量分数的多任务卷积神经网络,并训练该多任务卷积神经网络;
将待测图像进行预处理,生成图像块,利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型,根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型。
本实施例使用归一化的图像块作为模型输入,使用多任务卷积神经网络的提取图像特征,通过失真类型和质量分数之间的不确定性同时预测失真类型和质量分数,基于概率计算图像的失真类型和质量分数,这种方法不仅能显著提高无参考图像质量评估的性能,并能同时预测图像失真类型。
在本实施例中,所述将待训练的数据进行数据预处理具体为:
先将所有失真图像进行归一化处理,将所有归一化图像有重叠地切分成若干个H×W大小的图像块。
式中,(i,j)表示像素的位置。
在本实施例中,所述设计能够预测失真类型和图像质量分数的多任务卷积神经网络,并训练该多任务卷积神经网络具体包括以下步骤:
步骤A1:设计多任务卷积神经网络用于可同时预测失真类型和图像质量分数,网络输入为归一化图像块;如图2所示,该多任务卷积神经网络首先经过多个卷积层、批归一化层、激活层和注意力机制块进行特征提取;提取后的图像特征首先经过两个全连接层,然后分为两路,一路经过一个单元的全连接层以预测图像质量分数s,另一路经过C个单元的全连接层以预测图像失真类型d;其中,进行特征提取部分的网络结构依次包括两个卷积块、一个最大池化层、两个卷积块、一个最大池化层、三个卷积块、一个最大池化层、三个卷积块、一个最大池化层、三个卷积块、一个最大池化层;其中卷积块依次包括卷积+批归一化+ReLU模块、全局池化层、全连接层、ReLU模块、全连接层、Sigmoid模块、特征重标定模块、ReLU模块。
步骤A2:使用多任务的不确定性作为所述多任务卷积神经网络的损失函数,计算公式如下:
其中,
式中,ω是模型的权重,x是输入的图像,y1表示输入的图像质量的真实主观评估分数,y2表示输入的图像的真实失真类型向量,f1 ω(x)和f2 ω(x)分别是网络在权重ω下对输入x预测的图像质量评估分数和失真类型向量,σ1和σ2分别是由网络学习的质量评估分数、失真类型的不确定性因子,N为每个批次输入的图像数量,C为待测图像候选失真类型的数量,为输入的第i张图像第j种失真类型的真实概率,为第i张图像第j种失真类型的预测概率经过失真类型不确定性因子σ2缩放的值;
步骤A3:所述多任务卷积神经网络通过多次迭代进行反向传播;在每次迭代中,训练集被分成多个批次进行分批优化,采用基于梯度方差的Adam方法自适应和余弦退火控制每个参数的分批优化学习率,训练预设数量个epoch后结束,取验证误差最小的多任务卷积神经网络作为训练结果。
在本实施例中,步骤A1中,图像质量分数s的计算公式如下:
s=f1 ω(x);
式中,ω是模型的权重,x是输入的图像,f1 ω(x)是网络在权重ω下对输入x预测的图像质量分数。
在本实施例中,步骤A1中,图像失真类型d的计算公式如下:
d=argmax1≤i≤C(f2 ω(x)i);
式中,ω是模型的权重,x是输入的图像,C为待测图像候选失真类型的数量,f2 ω(x)i是网络在权重ω下对输入x预测的失真类型向量的第i维。
在本实施例中,所述将待测图像进行预处理,生成图像块,利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型,根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型具体包括以下步骤:
步骤B1:将待测图像I归一化处理,然后将待测图像划分成大小为H×W的图像块;
步骤B2:将所有图像块作为训练好的多任务卷积神经网络的输入,得到每个图像块的图像质量分数和失真类型;
步骤B3:选择待测图像的失真类型预测概率大于或等于指定阈值δ的所有图像块,计算各种失真类型的图像块数量,选择数量最多的失真类型作为待测图像I的失真类型DI;
在本实施例中,步骤B3中,待测图像I的失真类型DI的计算如下:
式中,C为待测图像候选失真类型的数量,num(j,δ)表示预测失真类型为j且其概率大于或等于指定阈值δ的图像块的数量。
其中,
式中,M是待测图像I的图像块总数量,是待测图像I的第k个图像块由所提出的多任务卷积神经网络预测的图像质量分数,f2 ω(Ik)d为待测图像I的第k个图像块的失真类型d对应的预测概率,λk当且仅当f2 ω(Ik)d大于指定阈值δ时为1。
本实施例还提供了一种基于不确定性和概率的多任务无参考图像质量评估系统,包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序,当处理器运行该计算机程序时,实现如上文所述的方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (5)
1.一种基于不确定性和概率的多任务无参考图像质量评估方法,其特征在于,包括以下步骤:
将待训练的数据进行数据预处理;
设计能够预测失真类型和图像质量分数的多任务卷积神经网络,并训练该多任务卷积神经网络;
将待测图像进行预处理,生成图像块,利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型,根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型;
所述将待训练的数据进行数据预处理具体为:
先将所有失真图像进行归一化处理,将所有归一化图像有重叠地切分成若干个H×W大小的图像块;
所述设计能够预测失真类型和图像质量分数的多任务卷积神经网络,并训练该多任务卷积神经网络具体包括以下步骤:
步骤A1:设计多任务卷积神经网络,该多任务卷积神经网络首先经过多个卷积层、批归一化层、激活层和注意力机制块进行特征提取;提取后的图像特征首先经过两个全连接层,然后分为两路,一路经过一个单元的全连接层以预测图像质量分数s,另一路经过C个单元的全连接层以预测图像失真类型d;
步骤A2:使用多任务的不确定性作为所述多任务卷积神经网络的损失函数,计算公式如下:
其中,
式中,ω是模型的权重,x是输入的图像,y1表示输入的图像质量的真实主观评估分数,y2表示输入的图像的真实失真类型向量,和分别是网络在权重ω下对输入x预测的图像质量评估分数和失真类型向量,σ1和σ2分别是由网络学习的质量评估分数、失真类型的不确定性因子,N为每个批次输入的图像数量,C为待测图像候选失真类型的数量,为输入的第i张图像第j种失真类型的真实概率,为第i张图像第j种失真类型的预测概率经过失真类型不确定性因子σ2缩放的值;
步骤A3:所述多任务卷积神经网络通过多次迭代进行反向传播;在每次迭代中,训练集被分成多个批次进行分批优化,采用基于梯度方差的Adam方法自适应和余弦退火控制每个参数的分批优化学习率,训练预设数量个epoch后结束,取验证误差最小的多任务卷积神经网络作为训练结果;
步骤A1中,图像质量分数s的计算公式如下:
步骤A1中,图像失真类型d的计算公式如下:
2.根据权利要求1所述的一种基于不确定性和概率的多任务无参考图像质量评估方法,其特征在于,所述将待测图像进行预处理,生成图像块,利用训练好的多任务卷积神经网络预测所生成的图像块的质量分数和失真类型,根据图像块的质量分数和失真类型计算待测图像的质量分数和失真类型具体包括以下步骤:
步骤B1:将待测图像I归一化处理,然后将待测图像划分成大小为H×W的图像块;
步骤B2:将所有图像块作为训练好的多任务卷积神经网络的输入,得到每个图像块的图像质量分数和失真类型;
步骤B3:选择待测图像的失真类型预测概率大于或等于指定阈值δ的所有图像块,计算各种失真类型的图像块数量,选择数量最多的失真类型作为待测图像I的失真类型DI;
5.一种基于不确定性和概率的多任务无参考图像质量评估系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序,当处理器运行该计算机程序时,实现如权利要求1-4任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010563396.6A CN111724370B (zh) | 2020-06-19 | 2020-06-19 | 基于不确定性和概率的多任务图像质量评估方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010563396.6A CN111724370B (zh) | 2020-06-19 | 2020-06-19 | 基于不确定性和概率的多任务图像质量评估方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111724370A CN111724370A (zh) | 2020-09-29 |
CN111724370B true CN111724370B (zh) | 2022-07-08 |
Family
ID=72567613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010563396.6A Active CN111724370B (zh) | 2020-06-19 | 2020-06-19 | 基于不确定性和概率的多任务图像质量评估方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724370B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102314B (zh) * | 2020-11-02 | 2021-03-09 | 成都考拉悠然科技有限公司 | 基于不确定性来判断人脸图片质量的计算方法 |
CN112348809B (zh) * | 2020-11-30 | 2023-05-23 | 天津大学 | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 |
CN113592807B (zh) * | 2021-07-28 | 2024-04-09 | 北京世纪好未来教育科技有限公司 | 一种训练方法、图像质量确定方法及装置、电子设备 |
KR102664734B1 (ko) * | 2021-08-31 | 2024-05-09 | 디어젠 주식회사 | 멀티-태스크(multi-task) 모델의 학습 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109215028A (zh) * | 2018-11-06 | 2019-01-15 | 福州大学 | 一种基于卷积神经网络的多目标优化图像质量评估方法 |
CN110189291A (zh) * | 2019-04-09 | 2019-08-30 | 浙江大学 | 一种基于多任务卷积神经网络的通用无参考图像质量评价方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10685434B2 (en) * | 2016-03-30 | 2020-06-16 | Institute Of Automation, Chinese Academy Of Sciences | Method for assessing aesthetic quality of natural image based on multi-task deep learning |
-
2020
- 2020-06-19 CN CN202010563396.6A patent/CN111724370B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109215028A (zh) * | 2018-11-06 | 2019-01-15 | 福州大学 | 一种基于卷积神经网络的多目标优化图像质量评估方法 |
CN110189291A (zh) * | 2019-04-09 | 2019-08-30 | 浙江大学 | 一种基于多任务卷积神经网络的通用无参考图像质量评价方法 |
Non-Patent Citations (2)
Title |
---|
Simultaneous estimation of image quality and distortion via multi-task convolutional neural networks;L.Kang et al.;《2015 IEEE International Conference on Image Processing (ICIP)》;20151210;全文 * |
基于多任务无参考图像质量评价模型研究;杨璐等;《计算机与现代化》;20191115(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111724370A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111724370B (zh) | 基于不确定性和概率的多任务图像质量评估方法及系统 | |
CN109190537B (zh) | 一种基于掩码感知深度强化学习的多人物姿态估计方法 | |
CN111881926A (zh) | 图像生成、图像生成模型的训练方法、装置、设备及介质 | |
CN108171663B (zh) | 基于特征图最近邻替换的卷积神经网络的图像填充系统 | |
CN112330684B (zh) | 对象分割方法、装置、计算机设备及存储介质 | |
CN110929836B (zh) | 神经网络训练及图像处理方法和装置、电子设备、介质 | |
CN111340233B (zh) | 机器学习模型的训练方法及装置、样本处理方法及装置 | |
CN111382616A (zh) | 视频分类方法、装置及存储介质、计算机设备 | |
CN113221645B (zh) | 目标模型训练方法、人脸图像生成方法以及相关装置 | |
CN113240430B (zh) | 移动支付验证方法及装置 | |
CN113065593A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
CN112348808A (zh) | 屏幕透图检测方法及装置 | |
Niu et al. | Region-aware image denoising by exploring parameter preference | |
CN114723784A (zh) | 一种基于域适应技术的行人运动轨迹预测方法 | |
CN113407820B (zh) | 利用模型进行数据处理的方法及相关系统、存储介质 | |
Lin et al. | Domestic activities clustering from audio recordings using convolutional capsule autoencoder network | |
CN110222734A (zh) | 贝叶斯网络学习方法、智能设备及存储装置 | |
CN116485743A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
CN114820755A (zh) | 一种深度图估计方法及系统 | |
CN112862002A (zh) | 多尺度目标检测模型的训练方法、目标检测方法和装置 | |
CN112861689A (zh) | 一种基于nas技术的坐标识别模型的搜索方法及装置 | |
CN113642592A (zh) | 一种训练模型的训练方法、场景识别方法、计算机设备 | |
CN111160487A (zh) | 人脸图像数据集的扩充方法和装置 | |
CN118366225B (zh) | 基于图像处理的手部康复锻炼监控方法及系统 | |
CN110188620B (zh) | 对抗测试看图说话系统的方法和相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |