CN111079740A - 图像的质量评价方法、电子设备和计算机可读存储介质 - Google Patents
图像的质量评价方法、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111079740A CN111079740A CN201911213355.8A CN201911213355A CN111079740A CN 111079740 A CN111079740 A CN 111079740A CN 201911213355 A CN201911213355 A CN 201911213355A CN 111079740 A CN111079740 A CN 111079740A
- Authority
- CN
- China
- Prior art keywords
- image
- evaluated
- quality evaluation
- quality
- human eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 49
- 241000282414 Homo sapiens Species 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 43
- 230000003068 static effect Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000001303 quality assessment method Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 44
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 6
- 241001156002 Anthonomus pomorum Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101100517192 Arabidopsis thaliana NRPD1 gene Proteins 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 101150094905 SMD2 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例涉及图像处理技术领域,公开了一种图像的质量评价方法、电子设备和计算机可读存储介质。本发明中,上述图像的质量评价方法包括:获取待评价图像;提取所述待评价图像中人眼关注区域的图像,作为目标区域图像;将所述目标区域图像输入预先训练的无参考质量评价模型,得到所述目标区域图像分属预设的不同质量类别的概率;根据所述目标区域图像分属预设的不同质量类别的概率,获取所述待评价图像的质量评价结果,使得在降低人力评价成本的同时提高对于图像质量评价的准确性。
Description
技术领域
本发明实施例涉及图像处理技术领域,特别涉及一种图像的质量评价方法、电子设备和计算机可读存储介质。
背景技术
当前视频图像质量评价方法主要分为两种:主观质量评价和客观质量评价。其中,主观质量评价由于人的介入其评价结果最为准确。客观质量评价通常针对视频图像的特定数据指标如噪声,人工效应导致的数据失真进行分析和对比,实现对视频图像质量评价的目的。客观评价根据是否依赖源片分为全参考、半参考和无参考评价。
然而,发明人发现相关技术中至少存在如下问题:主观评价最为准确,但全程需要人的介入,成本过高,无法普及。整体来看,各种基于客观评价的评价结果与主观评价的结果仍有差距,对于图像质量评价的准确性不高。
发明内容
本发明实施方式的目的在于提供一种图像的质量评价方法、电子设备和计算机可读存储介质,使得在降低人力评价成本的同时提高对于图像质量评价的准确性。
为解决上述技术问题,本发明的实施方式提供了一种图像的质量评价方法,包括以下步骤:获取待评价图像;提取所述待评价图像中人眼关注区域的图像,作为目标区域图像;将所述目标区域图像输入预先训练的质量评价模型,得到所述目标区域图像分属预设的不同质量类别的概率;根据所述目标区域图像分属预设的不同质量类别的概率,获取所述待评价图像的质量评价结果。
本发明的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的图像的质量评价方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的图像的质量评价方法。
本发明实施方式相对于现有技术而言,获取待评价图像;提取待评价图像中人眼关注区域的图像,作为目标区域图像;将目标区域图像输入预先训练的无参考质量评价模型,得到目标区域图像分属预设的不同质量类别的概率;根据目标区域图像分属预设的不同质量类别的概率,获取待评价图像的质量评价结果。本实施方式中,将人眼关注区域的图像作为目标区域图像,减少了非核心区域对图像质量评价的影响,即减少了非人眼关注区域对图像质量评价的影响,在一定程度上增加了质量评价中的主观因素。并且,结合了人眼关注区域的主观评价和无参考质量评价模型的客观评价对图像进行质量评价,形成主观评价与客观评价相结合综合质量评价体系,在降低人力评价成本的同时还有利于提高对于图像质量评价的准确性。
另外,无参考质量评价模型根据第一训练集训练得到,所述第一训练集包括若干图像中人眼关注区域的无参考特征和被评价的质量类别,所述无参考特征为基于无参考图像质量评价的特征;所述无参考特征包括以下任意之一或其组合:清晰度、对比度、对比度信噪比。通过结合上述各无参考特征,有利于提高训练的无参考质量评价模型的评价准确度。
另外,所述提取所述待评价图像中人眼关注区域的图像,具体为:将所述待评价图像输入预先训练的提取模型,得到所述待评价图像中的人眼关注区域的坐标;其中,所述提取模型根据第二训练集训练得到,所述第二训练集包括若干图像中标记的人眼关注区域的图像特征;根据所述待评价图像中的人眼关注区域的坐标,确定所述待评价图像中的人眼关注区域的图像。通过预先训练的提取模型有利于快速、准确的从待评价图像中得到人眼关注区域的坐标,从而提高提取待评价图像中人眼关注区域的图像的速度和准确性。
另外,所述将所述待评价图像输入预先训练的提取模型,得到所述待评价图像中的人眼关注区域的坐标之前,还包括:获取所述待评价图像的场景类别;所述将所述待评价图像输入预先训练的提取模型,得到所述待评价图像中的人眼关注区域的坐标,具体为:将所述待评价图像输入预先训练的与获取的所述场景类别对应的提取模型,得到所述待评价图像中的人眼关注区域的坐标;其中,针对不同的场景类别预先训练有对应的提取模型。通过对不同场景类别下的图像训练不同的提取模型,使得提取模型更具针对性,有利于满足不同场景类别下图像的特点,进一步提高得到待评价图像中的人眼关注区域的坐标的准确性。
另外,第二训练集中的若干图像中标记的人眼关注区域,通过以下方式确定:在评价者观看所述若干图像的过程中,通过所述评价者佩戴的眼动仪确定所述若干图像中的人眼关注区域。通过眼动仪有利于既方便又准确快速的确定第二训练集中的图像中的人眼关注区域。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定。
图1是根据本发明第一实施方式中图像的质量评价方法的流程图;
图2是根据本发明第二实施方式中图像的质量评价方法的流程图;
图3是根据本发明第三实施方式中电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种图像的质量评价方法,应用于电子设备,该电子设备可以为服务器或手机、电脑等终端设备。下面对本实施方式的图像的质量评价方法的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
本实施方式中的图像的质量评价方法的流程图可以如图1所示,具体包括:
步骤101:获取待评价图像。
其中,待评价图像可以是电子设备当前需要评价图像质量的图像,可以是一个图像帧,也可以是多个图像帧。如果待评价图像是多个图像帧,比如是一段视频中的多个图像帧,则电子设备可以根据本实施方式中图像的质量评价方法,依次对每一待评价图像进行处理,确定每一待评价图像的图像质量。
在一个例子中,电子设备可以直接接收用户输入的待评价图像,也可以接收用户输入的待评价图像对应的访问链接,电子设备在接收到访问链接后,根据访问链接查找与该访问链接对应的待评价图像。
步骤102:提取待评价图像中人眼关注区域的图像,作为目标区域图像。
具体的说,首先可以将待评价图像输入预先训练的提取模型,得到待评价图像中的人眼关注区域的坐标;然后可以根据待评价图像中的人眼关注区域的坐标,确定待评价图像中的人眼关注区域的图像。其中,提取模型根据第二训练集训练得到,第二训练集包括若干图像中标记的人眼关注区域的图像特征。
在一个例子中,训练提取模型的过程可以如下:
首先,选择训练样本;即,根据实际需要选取若干图像,比如可以是一段视频中的所有图像帧,也可以是在若干段视频中抽取的个别图像帧。
其次,选择样本特征;即,组织若干评价者,在评价者观看上述若干图像的过程中,通过评价者佩戴的眼动仪确定若干图像中的人眼关注区域。眼动仪用于记录评价者在处理视觉信息时的眼动轨迹特征,可以实时标记所观看的图像中的人眼感兴趣区域,即人眼关注区域。在确定了第二训练集中的若干图像的人眼关注区域后,可以根据图像识别技术分析得到各图像中人眼关注区域的图像特征。其中,图像特征可以为每个像素的RGB分量值、YUV分量值、位置坐标。YUV分量值中:“Y”表示明亮度(Luminance或Luma),也就是灰阶值,“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。
最后,样本训练;即,基于训练样本和样本特征进行样本训练,得到提取模型;其中,提取模型可以是基于人眼关注区域的神经网络模型,该模型训练好后输入为待评价图像,输出为该待评价图像中人眼关注区域的坐标。
一个例子中,在训练得到提取模型后,可以每隔一段时间对提取模型进行优化更新。还可以将利用提取模型得到的提取结果与实际结果进行对比,从而对提取模型的参数进行调整。比如说,可以通过增加样本数据量或者增加训练次数来对提取模型的参数进行优化更新,使得利用提取模型得到的提取结果更加准确。
步骤103:将目标区域图像输入预先训练的无参考质量评价模型,得到目标区域图像分属预设的不同质量类别的概率。
其中,无参考质量评价模型根据第一训练集训练得到,第一训练集包括若干图像中人眼关注区域的无参考特征和被评价的质量类别,无参考特征为基于无参考图像质量评价的特征。无参考特征包括但不限于:清晰度、对比度、对比度信噪比。
在一个例子中,训练无参考质量评价模型的过程可以如下:
首先,选择训练样本;比如,将若干图像输入上述训练的提取模型中获取各图像的人眼关注区域,将若干图像的人眼关注区域作为训练样本。在具体实现中,可以将上述训练提取模型时的训练样本经过标记后得到的各图像中的人眼关注区域图像,作为训练无参考质量评价模型的训练样本。
其次,选择样本特征;样本特征可以包括:评价者对各训练样本评价的质量类别。即组织若干评价者,评价者可以依据主观评价的五级标准对各样本进行打分,并记录每个评价者的最终主观评价结果。评价结果可以理解为评价者对样本划分的质量类别。五级标准对应五种质量类别,可以分别为:最好、较好、平均、较差、很差。根据实际需要,每一种质量类别可以对应设置一个预设的分数值范围,本实施方式对此不做具体限定。需要说明的是,本实施方式只是以上述五种质量类别为例,在具体实现中并不以此为限。样本特征还包括无参考特征,可以通过对训练样本即每幅图像中的人眼感兴趣区域进行计算得到。
下面对上述无参考特征的计算方式进行举例说明:
首先对清晰度的计算进行说明。清晰度的评价指标可以包括以下任意一种:频域评价指标、梯度评价指标、灰度方差评价指标、方差评价指标、信息熵评价指标。下面对基于每一种评价指标计算清晰度进行具体说明:
频域评价指标,如对人眼关注区域使用离散余弦变换(Discrete CosineTransform,简称:DCT)进行频域变换得出评价结果。具体的,对计算出的DCT系数矩阵进行直方图运算得到相应的直方图,模糊度不同的图像的DCT系数直方图的曲线变化有一定的规律,图像清晰,曲线弯曲平滑曲率小;图像模糊,曲线弯曲增加弯度大。
梯度评价指标,用于评价清晰度,如使用Brenner梯度函数或Tenengrad梯度函数等。Brenner梯度函数可计算相邻两个像素灰度差的平方。基于Brenner梯度函数计算D(f)的公式为:D(f)=∑y∑x|f(x+2,y)-f(x,y)|2;其中,本实施方式中出现的f(x,y)均表示人眼关注区域对应像素点(x,y)的灰度值。Tenengrad梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值。基于Tenengrad梯度函数计算D(f)的公式为:D(f)=∑y∑x|G(x,y)|,其中,Gx和Gy分别为像素点(x,y)处水平和垂直方向边缘检测算子的卷积,T为预设的边缘检测阈值。在一个例子中,可以使用以下的Sobel算子模板来检测边缘:
灰度方差评价指标,可以使用标准化均数差函数(STD Mean Difference,简称:SMD)、SMD2函数等获取灰度变化指标。当完全聚焦时,图像最清晰,图像中的高频分量也最多,可以将灰度变化作为聚焦评价的依据,使用SMD函数计算清晰度D(f)的公式可以为:
D(f)=∑y∑x(|f(x,y)-f(x,y-1)|+|f(x,y)-f(x+1,y)|)。
方差评价指标,可以利用整幅图像灰度的平均值,求得方差差异。因为清晰聚焦的图像有着比模糊图像更大的灰度差异,因此可以将方差函数作为评价函数。基于方差评价指标计算清晰度D(f)的公式为:
D(f)=∑y∑x|f(x,y)-μ|2;其中,所述μ为像素点灰度的均值。
信息熵评价指标,是衡量图像信息丰富程度的一个重要指标,基于信息熵指标计算清晰度D(f)的公式为:其中,Pi是人眼关注区域中灰度值为i的像素出现的概率,L为灰度级总数,通常可以取值256;D(f)越大则图像越清晰。
在具体实现中,可以选用上述任意一种清晰度的评价指标计算清晰度,将计算的清晰度作为图像的清晰度。也可以选用上述任意几种评价指标计算清晰度,并对基于多种评价指标计算的清晰度求平均值作为最终确定的图像的清晰度。然而,本实施方式对此不做具体限定。
对比度是人类对视频最为敏感的指标之一,下面对图像对比度的计算进行具体说明:可使用Weber对比度函数或Michelson对比度函数等进行计算。其中,Weber对比度适合在单一背景亮度下包含小块亮度变化的激励,人所能感受到的刺激的动态范围正比于标准刺激的强度。基于Weber对比度函数计算的对比度C的公式如下:其中,I为物体的亮度,Ib为背景的整体亮度。Michelson对比度又称能见度,适合具有对称拍偏移范围内正弦型或周期型模式的激励,Michelson对比度与人的视觉感受中视锥细胞对视场光通量的空域频率的感受程度在理论上是一致的。基于Michelson对比度函数计算的对比度C的公式如下:其中Imax和Imin分别为亮度最大值和亮度最小值,即表示最亮的亮度和最暗的亮度。
最后,样本训练;即,基于训练样本和样本特征进行样本训练,得到无参考质量评价模型;其中,无参考质量评价模型可以是基于主观评价结果的无参考神经网络模型,包括但不限于卷积神经网络模型(Convolutional Neural Network,简称:CNN)或循环神经网络模型(Recurrent Neural Network,简称:RNN)。该模型的输出层为一种分类器包括但不限于Softmax。该模型训练好后输入为待评价图像的人眼关注区域,输出为该待评价图像中人眼关注区域的分属预设的不同质量类别的概率。本实施方式中,预设的不同质量类别即可以为上述的五种质量类别。
一个例子中,在训练得到无参考质量评价模型后,可以每隔一段时间对无参考质量评价模型进行优化更新。还可以将利用无参考质量评价模型得到的评价结果与实际结果进行对比,从而对无参考质量评价模型的参数进行调整。比如说,可以通过增加样本数据量或者增加训练次数来对无参考质量评价模型的参数进行优化更新,使得利用无参考质量评价模型得到的评价结果更加准确。
可以理解的是,在具体实现中,可以先将待评价图像输入上述的提取模型,将提取模型的输出作为无参考质量评价模型的输入,从而无参考质量评价模型可以输出待评价图像分属预设的不同质量类别的概率。
步骤104:根据目标区域图像分属预设的不同质量类别的概率,获取待评价图像的质量评价结果。
具体的说,可以将概率最大值对应的质量类别,作为对待评价图像的质量评价结果。比如,目标区域图像分属预设的不同质量类别的概率,分别为属于最好、较好、平均、较差、很差五种质量类别的概率,属于“较好”这一质量类别的概率最大,则确定待评价图像的质量评价结果为“较好”。
需要说明的是,本实施方式中的上述各示例均为为方便理解进行的举例说明,并不对本发明的技术方案构成限定。
与现有技术相比,本实施方式,将人眼关注区域的图像作为目标区域图像,减少了非核心区域即非人眼关注区域对图像质量评价的影响,增加了质量评价中的主观因素。结合了人眼关注区域的主观评价和无参考质量评价模型的客观评价对图像进行质量评价,形成主观评价与客观评价相结合综合质量评价体系,在降低人力评价成本的同时还有利于提高对于图像质量评价的准确性。
本发明的第二实施方式涉及一种图像的质量评价方法。下面对本实施方式的图像的质量评价方法的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
本实施方式中的图像的质量评价方法的流程图可以如图2所示,具体包括:
步骤201:获取待评价图像。
步骤202:获取待评价图像的场景类别。
具体的说,可以对待评价图像进行图像识别,从而确定其场景类别。
其中,待评价图像为待评价视频中的图像;待评价图像的场景类别为待评价视频的场景类别;场景类别包括但不限于以下任意之一或其组合:偏静态类、偏动态类、主播类、风景类;其中,属于偏静态类的视频中静态画面的面积大于动态画面的面积,属于偏动态类的视频中动态画面的面积大于静态画面的面积。
在一个例子中,偏静态类的视频可以为:动漫等偏静态画面类的视频。该类视频画面大面积区域是静态无运动状态,色彩相对单一,人眼关注点数量较少。
在一个例子中,偏动态类的视频可以为:体育等偏运动画面类的视频。该类视频场景和镜头变换频率较快、物体持续快速移动。如足球,篮球,或硬科幻电影等。人眼关注点较多,且有区别。如普通球迷关注球星举动,而资深球迷可能还要关注战术配合,同时要连续关注多个队员的位置或场地参照物等。
步骤203:将待评价图像输入预先训练的与获取的场景类别对应的提取模型,得到待评价图像中的人眼关注区域的坐标。
具体的说,电子设备中可以存储预先训练的不同场景类别对应的提取模型。在获取待评价图像的场景类别后,调取与待评价图像的场景类别对应的提取模型,将待评价图像输入调取的提取模型中,得到待评价图像中的人眼关注区域的坐标。
本实施例中的提取模型可以包括但不限于:针对偏静态类视频的提取模型、针对偏动态类视频的提取模型、针对主播类视频的提取模型、针对风景类视频的提取模型。其中,不同场景下的提取模型的训练样本各不相同。下面对各提取模型的训练样本进行简单说明:
针对偏静态类视频的提取模型的训练样本中均为偏静态类视频中的图像。针对主播类视频的提取模型的训练样本中均为主播态类视频中的图像,图像以主播的头部尤其是面部图像为主,至于衣服如褶皱或后台背景装饰等图像可以较少。
针对偏动态类视频的提取模型的训练样本中均为偏动态类视频中的图像,该类模型对所需训练样本数量要求较大,且对评价者的整体观看经历背景覆盖广度也有要求,以避免模型的过拟合。
针对风景类视频的提取模型的训练样本中的图像可以均为风景类视频中图像,由于风景类视频的关注度较分散,通常可以基于画面内的色彩对比进行训练,得出人眼关注区域。对训练样本的数量要求很大,需要覆盖的广度包含山川河流、树木植被、人物工具、四季等各种场景以及组合,从而以避免模型的过拟合。
步骤204:根据待评价图像中的人眼关注区域的坐标,确定待评价图像中的人眼关注区域的图像。
步骤205:将目标区域图像输入预先训练的无参考质量评价模型,得到目标区域图像分属预设的不同质量类别的概率。
步骤206:根据目标区域图像分属预设的不同质量类别的概率,获取待评价图像的质量评价结果。
需要说明的是,步骤201以及步骤204至步骤206均在第一实施方式中具体描述过,可以参考第一实施方式中的相关描述,为避免重复,此处不再一一赘述。
与现有技术相比,本实施方式中,通过对不同场景类别下的图像训练不同的提取模型,使得提取模型更具针对性,有利于满足不同场景类别下图像的特点,进一步提高得到待评价图像中的人眼关注区域的坐标的准确性。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种电子设备,如图3所示,包括至少一个处理器301;以及,与至少一个处理器301通信连接的存储器302;其中,存储器302存储有可被至少一个处理器301执行的指令,指令被至少一个处理器301执行,以使至少一个处理器301能够执行第一、或第二实施方式中的图像的质量评价方法。
其中,存储器302和处理器301采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器301。
处理器301负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。
本发明第四实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (10)
1.一种图像的质量评价方法,其特征在于,包括:
获取待评价图像;
提取所述待评价图像中人眼关注区域的图像,作为目标区域图像;
将所述目标区域图像输入预先训练的无参考质量评价模型,得到所述目标区域图像分属预设的不同质量类别的概率;
根据所述目标区域图像分属预设的不同质量类别的概率,获取所述待评价图像的质量评价结果。
2.根据权利要求1所述的图像的质量评价方法,其特征在于,所述无参考质量评价模型根据第一训练集训练得到,所述第一训练集包括若干图像中人眼关注区域的无参考特征和被评价的质量类别,所述无参考特征为基于无参考图像质量评价的特征;
所述无参考特征包括以下任意之一或其组合:
清晰度、对比度、对比度信噪比。
3.根据权利要求1或2所述的图像的质量评价方法,其特征在于,所述提取所述待评价图像中人眼关注区域的图像,具体为:
将所述待评价图像输入预先训练的提取模型,得到所述待评价图像中的人眼关注区域的坐标;其中,所述提取模型根据第二训练集训练得到,所述第二训练集包括若干图像中标记的人眼关注区域的图像特征;
根据所述待评价图像中的人眼关注区域的坐标,确定所述待评价图像中的人眼关注区域的图像。
4.根据权利要求3所述的图像的质量评价方法,其特征在于,在所述将所述待评价图像输入预先训练的提取模型,得到所述待评价图像中的人眼关注区域的坐标之前,还包括:
获取所述待评价图像的场景类别;
所述将所述待评价图像输入预先训练的提取模型,得到所述待评价图像中的人眼关注区域的坐标,具体为:
将所述待评价图像输入预先训练的与获取的所述场景类别对应的提取模型,得到所述待评价图像中的人眼关注区域的坐标;其中,针对不同的场景类别预先训练有对应的提取模型。
5.根据权利要求4所述的图像的质量评价方法,其特征在于,所述待评价图像为待评价视频中的图像;所述待评价图像的场景类别为所述待评价视频的场景类别;
所述场景类别包括以下任意之一或其组合:
偏静态类、偏动态类、主播类、风景类;其中,属于所述偏静态类的视频中静态画面的面积大于动态画面的面积,属于所述偏动态类的视频中动态画面的面积大于静态画面的面积。
6.根据权利要求3所述的图像的质量评价方法,其特征在于,所述图像特征包括:
每个像素的RGB分量值、YUV分量值、位置坐标。
7.根据权利要求3所述的图像的质量评价方法,其特征在于,所述第二训练集中的若干图像中标记的人眼关注区域,通过以下方式确定:
在评价者观看所述若干图像的过程中,通过所述评价者佩戴的眼动仪确定所述若干图像中的人眼关注区域。
8.根据权利要求2所述的图像的质量评价方法,其特征在于,所述无参考特征包括:清晰度、对比度和对比度信噪比;
所述清晰度的计算公式包括以下任意一种:
D(f)=∑y∑x|f(x+2,y)-f(x,y)|2;其中,D(f)为所述清晰度,f(x,y)表示人眼关注区域对应像素点(x,y)的灰度值;
D(f)=∑y∑x|f(x,y)-f(x,y-1)|+|f(x,y)-f(x+1,y)|);
D(f)=∑y∑x|f(x,y)-μ|2;其中,所述μ为像素点灰度均值;
所述对比度的计算公式包括以下任意一种:
所述对比度信噪比CSNR的计算公式:
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8中任一所述的图像的质量评价方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像的质量评价方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911213355.8A CN111079740A (zh) | 2019-12-02 | 2019-12-02 | 图像的质量评价方法、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911213355.8A CN111079740A (zh) | 2019-12-02 | 2019-12-02 | 图像的质量评价方法、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111079740A true CN111079740A (zh) | 2020-04-28 |
Family
ID=70312372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911213355.8A Pending CN111079740A (zh) | 2019-12-02 | 2019-12-02 | 图像的质量评价方法、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111079740A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696083A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技(深圳)有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111709922A (zh) * | 2020-06-10 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像质量比较方法、装置、设备以及存储介质 |
CN111798457A (zh) * | 2020-06-10 | 2020-10-20 | 上海众言网络科技有限公司 | 图像视觉重量确定方法、装置和图像评价方法 |
CN111935479A (zh) * | 2020-07-30 | 2020-11-13 | 浙江大华技术股份有限公司 | 一种目标图像确定方法、装置、计算机设备及存储介质 |
CN112102309A (zh) * | 2020-09-27 | 2020-12-18 | 中国建设银行股份有限公司 | 一种确定图像质量评估结果的方法、装置及设备 |
CN112364414A (zh) * | 2020-10-26 | 2021-02-12 | 中国能源建设集团安徽电力建设第一工程有限公司 | 一种基于bim技术的三维施工场地布置方法 |
CN112434565A (zh) * | 2020-11-04 | 2021-03-02 | 南京火眼锐视信息科技有限公司 | 一种文档图像的模糊度评估、筛选方法和装置 |
CN112560969A (zh) * | 2020-12-21 | 2021-03-26 | 重庆紫光华山智安科技有限公司 | 用于人体重识别的图像处理方法、模型训练方法及装置 |
CN112733589A (zh) * | 2020-10-29 | 2021-04-30 | 广西科技大学 | 一种基于深度学习的红外图像行人检测方法 |
CN112801536A (zh) * | 2021-02-20 | 2021-05-14 | 北京金山云网络技术有限公司 | 图像处理方法、装置和电子设备 |
CN113052821A (zh) * | 2021-03-25 | 2021-06-29 | 贵州电网有限责任公司 | 一种电力设备巡检图片的质量评价方法 |
CN113255685A (zh) * | 2021-07-13 | 2021-08-13 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备以及存储介质 |
CN113781428A (zh) * | 2021-09-09 | 2021-12-10 | 广东电网有限责任公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113947731A (zh) * | 2021-12-21 | 2022-01-18 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
CN114666558A (zh) * | 2022-04-13 | 2022-06-24 | 深圳市火乐科技发展有限公司 | 投影画面清晰度的检测方法、装置、存储介质及投影设备 |
CN111696083B (zh) * | 2020-05-20 | 2024-05-14 | 平安科技(深圳)有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1430767A (zh) * | 2000-02-17 | 2003-07-16 | 英国电讯有限公司 | 视觉关注系统 |
CN101996406A (zh) * | 2010-11-03 | 2011-03-30 | 中国科学院光电技术研究所 | 无参考结构清晰度图像质量评价方法 |
CN102137271A (zh) * | 2010-11-04 | 2011-07-27 | 华为软件技术有限公司 | 一种图像质量评价方法及装置 |
CN103763552A (zh) * | 2014-02-17 | 2014-04-30 | 福州大学 | 基于视觉感知特性的立体图像无参考质量评价方法 |
CN103955934A (zh) * | 2014-05-06 | 2014-07-30 | 北京大学 | 一种结合图像显著性区域分割的图像模糊检测算法 |
CN106937118A (zh) * | 2017-03-13 | 2017-07-07 | 西安电子科技大学 | 一种基于主观感兴趣区域和时空域相结合的码率控制方法 |
CN107169484A (zh) * | 2017-07-14 | 2017-09-15 | 南京邮电大学 | 基于人眼视觉特性的图像质量评价方法 |
CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
CN108109145A (zh) * | 2018-01-02 | 2018-06-01 | 中兴通讯股份有限公司 | 图像质量检测方法、装置、存储介质和电子装置 |
CN108415955A (zh) * | 2018-02-06 | 2018-08-17 | 杭州电子科技大学 | 一种基于眼动注视点移动轨迹的感兴趣点数据库建立方法 |
CN109829905A (zh) * | 2019-01-30 | 2019-05-31 | 中国矿业大学 | 一种面部美化感知质量的无参考评价方法 |
-
2019
- 2019-12-02 CN CN201911213355.8A patent/CN111079740A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1430767A (zh) * | 2000-02-17 | 2003-07-16 | 英国电讯有限公司 | 视觉关注系统 |
CN101996406A (zh) * | 2010-11-03 | 2011-03-30 | 中国科学院光电技术研究所 | 无参考结构清晰度图像质量评价方法 |
CN102137271A (zh) * | 2010-11-04 | 2011-07-27 | 华为软件技术有限公司 | 一种图像质量评价方法及装置 |
CN103763552A (zh) * | 2014-02-17 | 2014-04-30 | 福州大学 | 基于视觉感知特性的立体图像无参考质量评价方法 |
CN103955934A (zh) * | 2014-05-06 | 2014-07-30 | 北京大学 | 一种结合图像显著性区域分割的图像模糊检测算法 |
CN106937118A (zh) * | 2017-03-13 | 2017-07-07 | 西安电子科技大学 | 一种基于主观感兴趣区域和时空域相结合的码率控制方法 |
CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
CN107169484A (zh) * | 2017-07-14 | 2017-09-15 | 南京邮电大学 | 基于人眼视觉特性的图像质量评价方法 |
CN108109145A (zh) * | 2018-01-02 | 2018-06-01 | 中兴通讯股份有限公司 | 图像质量检测方法、装置、存储介质和电子装置 |
CN108415955A (zh) * | 2018-02-06 | 2018-08-17 | 杭州电子科技大学 | 一种基于眼动注视点移动轨迹的感兴趣点数据库建立方法 |
CN109829905A (zh) * | 2019-01-30 | 2019-05-31 | 中国矿业大学 | 一种面部美化感知质量的无参考评价方法 |
Non-Patent Citations (1)
Title |
---|
"无参考图像质量评价的视觉测量照明", vol. 38, no. 38, pages 1875 - 1879 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696083A (zh) * | 2020-05-20 | 2020-09-22 | 平安科技(深圳)有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111696083B (zh) * | 2020-05-20 | 2024-05-14 | 平安科技(深圳)有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111709922A (zh) * | 2020-06-10 | 2020-09-25 | 北京百度网讯科技有限公司 | 图像质量比较方法、装置、设备以及存储介质 |
CN111798457A (zh) * | 2020-06-10 | 2020-10-20 | 上海众言网络科技有限公司 | 图像视觉重量确定方法、装置和图像评价方法 |
CN111798457B (zh) * | 2020-06-10 | 2021-04-06 | 上海众言网络科技有限公司 | 图像视觉重量确定方法、装置和图像评价方法 |
CN111709922B (zh) * | 2020-06-10 | 2023-07-04 | 北京百度网讯科技有限公司 | 图像质量比较方法、装置、设备以及存储介质 |
CN111935479A (zh) * | 2020-07-30 | 2020-11-13 | 浙江大华技术股份有限公司 | 一种目标图像确定方法、装置、计算机设备及存储介质 |
CN112102309A (zh) * | 2020-09-27 | 2020-12-18 | 中国建设银行股份有限公司 | 一种确定图像质量评估结果的方法、装置及设备 |
CN112364414A (zh) * | 2020-10-26 | 2021-02-12 | 中国能源建设集团安徽电力建设第一工程有限公司 | 一种基于bim技术的三维施工场地布置方法 |
CN112364414B (zh) * | 2020-10-26 | 2023-12-22 | 中能建建筑集团有限公司 | 一种基于bim技术的三维施工场地布置方法 |
CN112733589A (zh) * | 2020-10-29 | 2021-04-30 | 广西科技大学 | 一种基于深度学习的红外图像行人检测方法 |
CN112434565A (zh) * | 2020-11-04 | 2021-03-02 | 南京火眼锐视信息科技有限公司 | 一种文档图像的模糊度评估、筛选方法和装置 |
CN112560969A (zh) * | 2020-12-21 | 2021-03-26 | 重庆紫光华山智安科技有限公司 | 用于人体重识别的图像处理方法、模型训练方法及装置 |
CN112801536A (zh) * | 2021-02-20 | 2021-05-14 | 北京金山云网络技术有限公司 | 图像处理方法、装置和电子设备 |
CN112801536B (zh) * | 2021-02-20 | 2024-04-30 | 北京金山云网络技术有限公司 | 图像处理方法、装置和电子设备 |
CN113052821A (zh) * | 2021-03-25 | 2021-06-29 | 贵州电网有限责任公司 | 一种电力设备巡检图片的质量评价方法 |
CN113255685B (zh) * | 2021-07-13 | 2021-10-01 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备以及存储介质 |
CN113255685A (zh) * | 2021-07-13 | 2021-08-13 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备以及存储介质 |
CN113781428A (zh) * | 2021-09-09 | 2021-12-10 | 广东电网有限责任公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113947731A (zh) * | 2021-12-21 | 2022-01-18 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
CN113947731B (zh) * | 2021-12-21 | 2022-07-22 | 成都中轨轨道设备有限公司 | 一种基于接触网安全巡检的异物识别方法及系统 |
CN114666558A (zh) * | 2022-04-13 | 2022-06-24 | 深圳市火乐科技发展有限公司 | 投影画面清晰度的检测方法、装置、存储介质及投影设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111079740A (zh) | 图像的质量评价方法、电子设备和计算机可读存储介质 | |
Peng et al. | Generalization of the dark channel prior for single image restoration | |
Ma et al. | Objective quality assessment for color-to-gray image conversion | |
Ancuti et al. | I-HAZE: a dehazing benchmark with real hazy and haze-free indoor images | |
Gu et al. | The analysis of image contrast: From quality assessment to automatic enhancement | |
CN107172418B (zh) | 一种基于曝光情况分析的色阶映射图像质量评价方法 | |
JP5389903B2 (ja) | 最適映像選択 | |
Liu et al. | Studying the added value of visual attention in objective image quality metrics based on eye movement data | |
CN112308095A (zh) | 图片预处理及模型训练方法、装置、服务器及存储介质 | |
CN109978854B (zh) | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 | |
CN104717432A (zh) | 处理一组输入图像的方法、图像处理设备和数字照相机 | |
CN108074241B (zh) | 目标图像的质量评分方法、装置、终端及存储介质 | |
El Khoury et al. | Color and sharpness assessment of single image dehazing | |
Krasula et al. | Preference of experience in image tone-mapping: Dataset and framework for objective measures comparison | |
CN107146220B (zh) | 一种通用型无参考图像质量评价方法 | |
CN112950596B (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
CN111415304A (zh) | 基于级联深度网络的水下视觉增强方法和装置 | |
CN110706196B (zh) | 基于聚类感知的无参考色调映射图像质量评价算法 | |
Wang et al. | Screen content image quality assessment with edge features in gradient domain | |
Xu et al. | Remote-sensing image usability assessment based on ResNet by combining edge and texture maps | |
CN102724541B (zh) | 一种监控影像智能诊断恢复方法 | |
CN104346809A (zh) | 采用高动态范围的图像质量数据集的图像质量评价方法 | |
CN115965889A (zh) | 一种视频质量评估数据处理方法、装置及设备 | |
CN113409247B (zh) | 一种多曝光融合图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |