CN114549492A - 一种基于多粒度图像信息内容的质量评价方法 - Google Patents

一种基于多粒度图像信息内容的质量评价方法 Download PDF

Info

Publication number
CN114549492A
CN114549492A CN202210183020.1A CN202210183020A CN114549492A CN 114549492 A CN114549492 A CN 114549492A CN 202210183020 A CN202210183020 A CN 202210183020A CN 114549492 A CN114549492 A CN 114549492A
Authority
CN
China
Prior art keywords
image
pollen
texture
picture
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210183020.1A
Other languages
English (en)
Inventor
李建强
刘朝磊
高正凯
赵琳娜
程文秀
王全增
徐曦
徐靖翔
罗锦涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210183020.1A priority Critical patent/CN114549492A/zh
Publication of CN114549492A publication Critical patent/CN114549492A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于多粒度图像信息内容的图像质量评价方法,属于计算机视觉领域。针对图像局部纹理信息的质量评价模块,首先将单颗花粉图像集合中每张花粉颗粒图片针对不同方向进行纹理特征的提取,然后平均加权求和求每张花粉颗粒图片的总纹理特征分数,其次将其纹理评价指标平均加权求和作为单颗花粉基于图像纹理内容信息的质量评价得分,之后将所有花粉颗粒得分进行平均加权求和作为基于图像局部纹理信息的质量评价得分。最终,我们将图像全局内容信息的质量分数和图像局部纹理信息的质量分数进行加权求和来得到花粉图片的最终得分。本发明更关注花粉颗粒质量的效果,比以往只考虑基于粗粒度的图像内容信息质量评价结果更加准确。

Description

一种基于多粒度图像信息内容的质量评价方法
技术领域
本发明涉及一种基于多粒度图像信息内容的图像质量评价方法,属于计算机视觉领域。
背景技术
在采集的多层花粉样本中进行花粉浓度的检测有助于提前预报空气质量,从而保障花粉过敏患者能够正常生活。然而,花粉数据在扫描过程中,由于样本存在离焦模糊等质量问题,会导致大量模糊图像产生,致使多层花粉数据质量不一,而神经网络的性能很大程度上依赖于数据集的质量,所以本文提出基于多粒度图像信息内容的质量评价方法,自动化挑选高质量数据用于网络训练,有助于开展后续花粉识别与分类任务。
目前已有的图像质量评价方法所针对的评价方式大都是基于图像全局图像内容的。Kefeng Fan,Fei Li等人[1]利用全局图像内容提取的特征研究了一种基于CNN无参考图像质量评估模型;夏雨蒙,王永芳等人[2]针对全局图像的纹理特征提出了一种基于联合结构与纹理特征的无参考图像质量评价方法;曹玉东等人[3]基于全局图像研究了一种基于增强型对抗学习的无参考图像质量评价算法;程晓梅等人[4]基于全局图像提出了一种双目标的CNN无参考图像质量评价方法。可见,现有图像质量评价方法大多针对全局图像的内容进行评价,此类评价方式相对比较局限,并不能更多的关注我们想要的目标物的信息。
花粉数据具有以下特点,如附图1所示,1)花粉整张图片很大,且灰色背景信息所占区域庞大,而我们并不关注背景;2)花粉颗粒纹理越清晰,花粉颗粒区域的图片质量越高,而这也是我们重点关注的局部细粒度区域。
纹理属于局部特征,是关注的重点,同时,也是一种特有的人类视觉特征,纹理特征产生的位置与图像在人类视觉系统产生的位置是相同的,除此之外,纹理特征还有比较好的表征图像质量感知的能力,人眼对其中的信息也有较高的辨识度,所以纹理特征也是图像质量评价的一个重要的评价指标。针对花粉图片的特点,人们往往更关注于花粉颗粒本身的特征,也就是花粉颗粒区域的图片质量,所以我们从全局内容信息和局部内容信息多粒度角度来对花粉图像进行质量评价,并且更关注局部的纹理特征,从而提高花粉图像质量评价的准确性,所以我们要进一步改进现有的图像质量评价方法。
参考文献:
[1]Kefeng Fan,Jiyun Liang,Fei Li,Puye Qiu.CNN Based No-Reference HDRImage Quality Assessment[J].Chinese Journal of Electronics,2021,30(2):
[2]夏雨蒙,王永芳,叶鹏.联合结构与纹理特征的无参考图像质量评价方法[J].郑州大学学报(理学版),2019,51(03):28-33.DOI:10.13705/j.issn.1671-6841.2018181.
[3]曹玉东,蔡希彪.基于增强型对抗学习的无参考图像质量评价算法[J].计算机应用,2020,40(11):3166-3171.
[4]程晓梅,沈远彤.双目标的CNN无参考图像质量评价方法[J].计算机工程与应用,2019,55(09):26-32.
发明内容
当前图像质量评价所针对的图像大都是基于全局信息内容的,但是花粉整张图片中灰色背景信息所占区域庞大,而我们并不关注背景;花粉颗粒纹理越清晰,花粉颗粒区域的图片质量越高,而这也是我们重点关注的局部区域。本发明针对此问题,设计了一种基于多粒度图像信息内容的花粉图像质量评价方法,具体而言,多张花粉图像的质量预测值由基于粗粒度的图像内容信息的质量评价得分和基于细粒度的图像局部纹理信息的质量评价得分两部分组成。结果显示,我们提出的流程和解决方案具有更关注花粉颗粒质量的效果,比以往只考虑基于粗粒度的图像内容信息质量评价结果更加准确,可以更好拟合我们的花粉数据来预测质量分数。
本发明采用如下技术方案:在关注图像全局粗粒度内容信息计算质量分数的基础上,更有针对性的关注局部细粒度花粉颗粒的纹理内容信息计算质量分数。我们将使用NIQE计算整张图像质量分数作为全局内容信息的计算分支,在这个前提下,我们提取出极受关注的局部花粉颗粒的纹理内容信息作为重点关注内容,将其作为一个并联的局部花粉颗粒质量的分支引入该模型。图像局部内容信息的分支主要有花粉颗粒提取模块和基于图像局部纹理信息的质量评价模块。花粉颗粒提取模块首先根据花粉图像的边缘特征进行边缘检测,其次根据花粉颗粒的圆形或椭圆性轮廓特征检测并提取圆形轮廓,最后根据颜色特征排除和花粉颗粒具有类似轮廓的气泡和杂质,并采用形态学操作等图像处理方法提取出单颗花粉图像集合。针对图像局部纹理信息的质量评价模块,首先将单颗花粉图像集合中每张花粉颗粒图片针对不同方向进行纹理特征的提取,然后平均加权求和求每张花粉颗粒图片的总纹理特征分数,其次将其纹理评价指标平均加权求和作为单颗花粉基于图像纹理内容信息的质量评价得分,之后将所有花粉颗粒得分进行平均加权求和作为基于图像局部纹理信息的质量评价得分。最终,我们将图像全局内容信息的质量分数和图像局部纹理信息的质量分数进行加权求和来得到花粉图片的最终得分。
本发明的具体方案如附图2所示。
步骤1:图像预处理
我们对多层花粉图像进行图像配准操作。图像配准是指将多层花粉图片中花粉颗粒在空间位置上的对准。。
在此步骤中,输入的是将数字切片扫描仪扫描得到的多层超大尺寸图片进行裁剪、筛选之后的多层花粉图片,也叫多层最优尺寸花粉图片。其中,裁剪是指将超大尺寸图片裁剪为既方便程序处理又尽可能少的损失花粉信息的最优尺寸花粉图片。筛选是指使用深度筛选网络进行二分类,得到包含花粉颗粒的图片。输出结果是配准后的多层最优尺寸花粉图片。
步骤2:基于全局图像内容信息的分数计算
在此步骤中,我们使用无参考图像质量评价方法NIQE计算基于图像全局内容信息的花粉图片质量分数,输入多层最优尺寸花粉图片,输出为基于全局内容信息的各层最优尺寸花粉图片的质量分数。
步骤2.1计算NSS系数:首先提取图像中一个个特征明显的图像块,然后计算图像块的局部归一化亮度系数(MSCN)。
步骤2.2选取图像块:首先图像分成P×P尺寸的图像块,然后计算图像块的方差,然后将峰值方差的0.6-0.9倍作为选取特征显著图像块的阈值下界进行筛选,最终从一组自然图像块中筛选出信息丰富的清晰图像块集合,将其用于构建模型。
步骤2.3提取NSS特征:首先针对上面提取到的图像块集合,我们使用广义高斯模型(GGD)来估计失真图像MSCN和原始图像MSCN之间的经验分布,得到2个图像强度特征。然后,使用非对称广义高斯模型(AGGD)来估计相邻系数的内积,得到16个图像的结构特征。最后,因为图像富含多尺度信息,结合多尺度信息进行质量评估可以与人类感知更相近,所以我们将图像缩小到原始尺寸的一半,并重复相同的过程,进行双尺度的参数估计,我们最终会得到花粉图片的36个特征向量。
步骤2.4预测全局质量分数:首先,利用多元高斯模型(MVG)对提取到的图像块集合特征参数进行拟合,可以获得NSS特征下的简单模型。其次,计算待测图像MVG模型参数和自然图像MVG模型参数的距离,最后,将其作为基于图像全局内容信息的质量评价分数。
步骤3:单个花粉提取
在此步骤中,我们提取出最优尺寸花粉图片中所有的花粉颗粒,此步骤输入为最优尺寸花粉图片,输出结果是花粉颗粒图片集合。
步骤3.1图像初始去噪:首先,为了减少图像中的噪声点并去除少数的尖锐点,我们使用MeanShift算法来平滑图像,然后为了达到对花粉图片的模糊背景进行伪影、去除噪声的效果,我们对图片进行高斯模糊的操作。
步骤3.2边缘检测:利用图像处理中Canny算子边缘检测的方法,针对花粉图像提取出特征明显的边缘并消除不明显的边缘。
步骤3.3检测圆形轮廓:针对花粉轮廓类似圆形的特点,我们利用霍夫变换设定阈值检测圆形轮廓的方法检测花粉图像中圆形目标物,然后进行下一步的筛选。
步骤3.4排除气泡与杂质:为了排除图像中圆形轮廓中存在的气泡和杂质,我们根据颜色特征进一步筛选出花粉颗粒。
步骤3.5收集花粉颗粒:首先使用OpenCV计算包含花粉轮廓的最小矩形,然后收集花粉图像中的最小矩形,最终得到一组花粉颗粒数据集。
步骤3.6计算花粉区域总面积:首先获取上一步花粉图片中收集的花粉颗粒数据集,然后得到每个花粉颗粒数据对应的面积,最终累加求和得到花粉区域总面积。
步骤4:计算基于图像局部纹理信息的质量分数
此步骤中我们计算基于图像局部纹理信息下的图片质量得分,此模块的输入是上一阶段得到的花粉颗粒图片集合,输出是最优尺寸花粉图片局部纹理特征下的质量分数。
步骤4.1图像灰度转换:首先利用OpenCV将花粉颗粒图片灰度化,为下一步图像灰度矩阵的生成以及纹理特征的提取做准备。其次因为动态地求取图像的GLCM区间代价过高,所以我们将灰度图像的灰度值转换到一定的灰度区间内,灰度区间的级数决定GLCM的大小尺寸。
步骤4.2不同方向上的纹理特征提取:由于不同方向上提取到的纹理信息内容不相同,反映的情况也不相同,所以我们选取了四个不同的方向生成灰度共生矩阵,综合的反映花粉颗粒的纹理特征信息。
步骤4.3计算单个花粉纹理特征分数:为了使粉花颗粒的纹理特征值唯一,我们将不同方向上的灰度共生矩阵指标根据权值均分求和的原则进行合并,最终得到单个花粉颗粒纹理特征中各个指标的分数。
步骤4.4计算图像质量得分:为了量化花粉图片中花粉颗粒纹理特征分数,我们将上一步得到的各个指标分数进行加权平均求和,最终将其作为基于图像局部纹理信息的图片质量分数输出。
步骤5:质量评价最终得分
我们将多层最优尺寸花粉图片的基于图像全局内容信息的质量分数和基于图像局部纹理信息的质量分数加权求和来得到各层花粉图片的最终得分。
步骤5.1计算基于全局内容信息下分数权重:我们根据花粉颗粒图片和最优尺寸花粉图片的面积来计算基于全局内容信息下分数权重。
步骤5.2计算基于局部纹理信息下分数权重:为确保全局内容信息下分数和局部纹理信息下分数的相互影响和制约关系,根据不同图片内容给予不同的控制力度,我们使得全局得分权重和局部得分权重之和为1,所以根据全局得分权重可计算得到局部得分权重。
步骤5.3计算最终得分:我们将图像全局内容信息的质量分数和图像局部纹理信息的质量分数进行加权求和来得到各层最优尺寸花粉图片的最终得分,然后选出一张质量分数最高的花粉图片,为后续的花粉识别和分类的任务提供高质量数据集。权重系数使双方相互制约,抑制无用信息对最终分数的影响,使得最终的质量分数更准确。
与已有技术相比,本发明有益效果在于:
一、本发明采用的基于多粒度图像信息内容的图像质量评价方法,在感知全局信息内容的前提下,同时,感知了局部目标物纹理细节信息,使得质量评价模型更加全面精确。
二、本发明采用的基于多粒度图像信息内容的图像质量评价方法,使用具有关联关系的权重系数对全局和局部信息进行制约,使得最终质量评价结果更接近人类主观感知。
三、本发明采用的基于多粒度图像信息内容的图像质量评价方法,使用简单快速的图像处理方法提取出图像中所有目标信息,对每个局部目标分别进行纹理信息收集后,采用易于实现的均权求和方法得到局部质量值,使得该模型运行效率较高,预测值较准确。
附图说明
图1为花粉数据样本。
图2为本发明提出的方法的整体模型图。
具体实施方式
以下结合说明书附图,对本发明的实施实例加以详细说明:
本发明是一种基于多粒度图像信息内容的花粉图像质量评价方法,该方法将图像全局内容信息下的质量分数和局部纹理信息下的图片质量分数加权求和得到最终质量分数。花粉图像质量评价具体流程为:将使用NIQE计算整张图像质量分数作为全局内容信息的计算分支,在这个前提下,我们提取出极受关注的局部花粉颗粒的纹理内容信息作为重点关注内容,将其作为一个并联的局部花粉颗粒质量的分支引入该模型。图像局部内容信息的分支主要有花粉颗粒提取模块和基于图像局部纹理信息的质量评价模块。花粉颗粒提取模块首先根据花粉图像的边缘特征进行边缘检测,其次根据花粉颗粒的圆形或椭圆性轮廓特征检测并提取圆形轮廓,最后根据颜色特征排除和花粉颗粒具有类似轮廓的气泡和杂质,并采用形态学操作等图像处理方法提取出单颗花粉图像集合。针对图像局部纹理信息的质量评价模块,首先将单颗花粉图像集合中每张花粉颗粒图片针对不同方向进行纹理特征的提取,然后平均加权求和求每张花粉颗粒图片的总纹理特征分数,其次将其纹理评价指标平均加权求和作为单颗花粉基于图像纹理内容信息的质量评价得分,之后将所有花粉颗粒得分进行平均加权求和作为基于图像局部纹理信息的质量评价得分。最终,我们将图像全局内容信息的质量分数和图像局部纹理信息的质量分数进行加权求和来得到花粉图片的最终得分。
具体地,该方法包括以下步骤:
步骤1:图像预处理
我们对多层花粉图像进行图像配准操作。图像配准是指将多层花粉图片中花粉颗粒在空间位置上的对准。
在此步骤中,输入的是将数字切片扫描仪扫描得到的3,5,7,9层2万多*2万多像素的ndpi格式图片进行裁剪、筛选之后的花粉图片,也叫多层最优尺寸花粉图片。其中,裁剪是指将ndpi格式的图片裁剪为既方便程序处理又尽可能少的损失花粉信息的512*512尺寸大小的花粉图片。筛选是指使用深度筛选网络进行二分类,分为含有花粉颗粒的图片和不含有花粉颗粒的图片两类,筛出含有花粉颗粒的512*512尺寸大小的图片。输出结果是配准后的多层最优尺寸花粉图片。
步骤2:全局分数计算
使用无参考图像质量评价方法NIQE计算基于图像全局内容信息的花粉图片质量分数。
步骤2.1计算NSS系数:首先提取图像中一个个特征明显的图像块,然后使用公式(1)计算图像块的局部归一化亮度系数(MSCN)。
Figure BDA0003522369940000081
式中,
Figure BDA0003522369940000082
表示中心像素的亮度,m∈1,2,…,M,n∈1,2,…,N(M和N分别代表图像宽度和高度)表示像素点的在图像中的位置,μ和σ分别表示提取出来的图像块区域的均值和方差,为了防止分母为0,取C=1。
步骤2.2选取图像块:首先图像分成P×P尺寸的图像块,然后根据公式(2)计算图像块的方差。
Figure BDA0003522369940000083
式中,δ表示方差,选取δ>T的图像块当作特征显著图像块,T取峰值方差的0.6-0.9倍,作为选取特征显著图像块的阈值下界进行筛选,最终从一组自然图像块中筛选出信息丰富的清晰图像块集合,将其用于构建模型。
步骤2.3提取NSS特征:首先,针对上面提取到的图像块集合,我们使用均值为零的广义高斯模型(GGD)来估计失真图像MSCN和原始图像MSCN之间的经验分布得到2个图像强度特征。
Figure BDA0003522369940000084
Figure BDA0003522369940000085
式中,α控制分布的形状,β控制分布的方差,最终估计参数为(α,β)。利用基于矩匹配估计的方法,可以可靠地估计出GGD的参数α和β。
然后,使用非对称广义高斯模型(AGGD)来估计相邻系数的内积得到16个图像的结构特征。
Figure BDA0003522369940000086
Figure BDA0003522369940000087
其中,βl和βr分别用来控制高斯模型两边的分布,r控制分布的形状,Γ函数见公式(4)。利用基于二阶估计的方法可以有效地估计AGGD的参数r,βl,βr。该模型拟合效果最佳时的参数为(η,r,βlr)。
最后,因为图像富含多尺度信息,结合多尺度信息进行质量评估可以与人类感知更相近,所以我们将图像缩小到原始尺寸的一半,并重复相同的过程,进行双尺度的参数估计,我们最终会得到花粉图片的36个特征向量。
步骤2.4预测全局质量分数:首先,利用多元高斯模型(MVG)对提取到的图像块集合特征参数根据公式(7)进行拟合。
Figure BDA0003522369940000091
式中,v和∑分别表示MVG模型的均值和协方差矩阵,可由标准最大似然估计法得到。x1,x2,…,xk是提取的图像块的NSS图像特征。
NIQE分数是根据公式(8)计算待测图像MVG模型参数和自然图像MVG模型参数的距离得出的,不过选取图像块的准则不应用到待测图片上,而只用在上面自然图片模型参数估计上。
Figure BDA0003522369940000092
其中,v1和v2表示自然MVG模型与失真图像MVG模型的均值向量,∑1和∑2表示自然MVG模型与失真图像MVG模型的协方差矩阵。
为了将全局质量得分转换为正相关指标,对NIQE分数值取负值,作为基于图像全局内容信息的质量评价分数。
Sl=-D (9)
式中,D代表待测图像MVG模型参数和自然图像MVG模型参数的距离,Sl代表基于图像全局内容信息的质量评价分数。
步骤3:单个花粉提取
在此步骤中,提取出最优尺寸花粉图片中所有的花粉颗粒,此步骤输入为最优尺寸花粉图片,输出结果是花粉颗粒集合。
步骤3.1图像初始去噪:本实验使用MeanShift算法来平滑图像,从而降低图像中的噪声点并扫除尖锐点。然后为了达到对花粉图片的模糊背景进行伪影、去除噪声的效果,我们对图片进行核为11×11高斯模糊的操作。
步骤3.2边缘检测:首先使用OpenCV中的方法计算图像梯度幅度和方向,得到可能的边缘集合,然后对梯度幅度进行非极大值抑制保留灰度变化明显的边缘,最后利用双阈值筛选的操作去除假阳性,保留细线条边缘并排除非边缘像素。
步骤3.3检测圆形轮廓:针对花粉轮廓类似圆形的特点,我们利用霍夫变换设定阈值检测圆形轮廓的方法检测花粉图像中圆形目标物,根据空气生物学专家的指导,我们发现在最优尺寸花粉图片中,花粉颗粒的直径通常大于50像素,所以我们去除所有直径小于50的圆形轮廓信息,然后进行下一步的筛选。
步骤3.4排除气泡与杂质:为了排除图像中圆形轮廓中存在的气泡和杂质,我们根据花粉颗粒染色后呈现粉色的特征,将RGB颜色空间转换到HSV颜色空间,通过设定(0,20,160)到(15,60,265)的颜色阈值范围,进一步筛选出花粉颗粒。
步骤3.5收集花粉颗粒:首先使用OpenCV计算包含花粉轮廓的最小矩形,然后收集花粉图像中的最小矩形,最终得到一组花粉颗粒数据集,本次实验我们将一张花粉图片中花粉颗粒的数量记为Nhua
步骤3.6计算花粉区域总面积:首先获取上一步花粉图片中收集的花粉颗粒数据集,然后得到每个花粉颗粒数据对应的面积,根据公式(10)最终累加求和得到花粉区域总面积。
Figure BDA0003522369940000101
式中,wi和hi分别表示包含每颗花粉颗粒轮廓的最小矩形的宽度和长度,Nhua代表整张图像中花粉颗粒的数量,Shua表示整张图像上总花粉区域面积。
步骤4:计算基于图像局部纹理信息的质量分数
此步骤中我们计算基于图像局部纹理信息下的图片质量得分,此模块的输入是上一阶段得到的花粉颗粒图片,输出是局部纹理特征下的质量分数。
步骤4.1图像灰度转换:首先利用OpenCV将花粉颗粒图片灰度化,为下一步图像灰度矩阵的生成以及纹理特征的提取做准备。其次因为动态地求取图像的GLCM区间代价过高,所以我们将灰度图像的灰度值转换到一定的灰度区间内,灰度区间的级数决定GLCM的大小尺寸。
步骤4.2不同方向上的纹理特征提取:针对步骤4.1得到的灰度图像,设置步距为1,方向分别为0°,45°,90°,135°四种方向,滑动窗口尺寸为3×3,灰度阶数为16的参数进行灰度共生矩阵的求解,最后根据公式(11)对灰度共生矩阵进行归一化处理。
Figure BDA0003522369940000111
其中,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标。R表示灰度点对的总数,N表示图像宽度的大小和高度的大小。h表示不同的方向。最终我们得到方向分别为0°,45°,90°,135°的四个灰度共生矩阵。
由于不同方向上提取到的纹理信息内容不相同,反映的情况也不相同,所以我们选取了四个不同的方向生成灰度共生矩阵,综合的反映花粉颗粒的纹理特征信息。
为了便于计算,又能得到较高的分类精度,我们选取了互不相关的4个纹理特征量,分别是角二阶矩/能量(ASM)、相关性(COR)、对比度(CON)以及熵(ENT)。针对不同方向的纹理信息,本次实验使用平分权重累计求和的方法得到综合纹理特征值。
角二阶矩根据公式(12)可以计算得出。
Figure BDA0003522369940000112
其中,H表示本次实验针对不同方向提取的共生矩阵的个数,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标。
角二阶矩反映图像灰度分布均匀程度和纹理粗细度,当图像纹理较细致、灰度分布均匀时,ASM值较大。
相关性根据公式(13)(14)(15)(16)(17)可以计算得到。
Figure BDA0003522369940000113
Figure BDA0003522369940000114
Figure BDA0003522369940000121
Figure BDA0003522369940000122
Figure BDA0003522369940000123
式中,H表示本次实验针对不同方向提取的共生矩阵的个数,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标。
相关性的大小反映图像局部相关性,局部相关性越大,COR值越大。
对比度根据公式(18)可以计算得到。
Figure BDA0003522369940000124
式中,H表示本次实验针对不同方向提取的共生矩阵的个数,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标。
对比度反映图像的清晰度和纹理的沟纹深浅,纹理的沟纹越深,CON值越大。
熵根据公式(19)可以计算得到。
Figure BDA0003522369940000125
式中,H表示本次实验针对不同方向提取的共生矩阵的个数,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标。
熵值反映图像中纹理的非均匀程度和复杂程度,当复杂程度高时,ENT值较大。
步骤4.3计算单个花粉纹理特征分数:为了使花粉颗粒的纹理特征值唯一,我们根据公式(20)将与提取纹理信息相关指标按照权值均分求和的原则进行合并,最终得到单个花粉颗粒纹理特征的分数。
Figure BDA0003522369940000126
其中,ASM、COR、CON和ENT分别表示纹理特征中的角二阶矩/能量、相关性、对比度以及熵值。
步骤4.4计算图像质量得分:为了量化花粉图片基于局部纹理信息的质量评价分数,我们将得到的每个花粉纹理特征分数根据公式(21)进行加权平均求和,最终将其作为基于图像局部纹理信息的图片质量分数输出。
Figure BDA0003522369940000131
式中,Nhua代表整张图像中花粉颗粒的数量,Si表示整张图像中每个花粉颗粒的纹理特征分数。Sp表示整张图像基于图像局部纹理信息的图片质量分数。
步骤5:质量评价最终得分
此步骤输入为最优尺寸花粉图片的基于图像全局内容信息的质量分数和基于图像局部纹理信息的质量分数,输出为多层最优尺寸花粉图片质量评价最终预测值。
步骤5.1计算基于全局内容信息下分数权重:我们根据花粉颗粒图片和最优尺寸花粉图片的面积来计算基于全局内容信息下分数权重。计算公式见公式(22)。
Figure BDA0003522369940000132
式中,Shua表示整张图像上总花粉区域面积,W表示整张图像的宽度大小,H表示整张图像的高度大小。
步骤5.2计算基于局部纹理信息下分数权重:为确保全局内容信息和局部纹理信息的相互影响和制约关系,本文设定全局内容得分权重和局部纹理得分权重之和为1,根据公式(23)可计算得到局部纹理得分权重。
λ2=1-λ1 (23)
式中,λ1表示基于全局内容信息下分数权重,λ2表示基于局部纹理信息下分数权重。
步骤5.3计算最终得分:将图像全局内容信息的质量分数和图像局部纹理信息的质量分数根据公式(24)进行加权求和来得到多层最优尺寸花粉图片的最终得分。
Szlpj=λ1Sp2Sl (24)
其中,λ1和Sp分别表示基于全局内容信息下的分数权重和质量分数,λ2和Sl分别表示基于局部纹理信息下的分数权重和质量分数。
λ1和λ2权重系数使双方相互制约,抑制无用信息对最终分数的影响。若一张花粉图片中所有花粉颗粒总面积占整个图片的面积比较小,则图像全局内容信息的质量分数权重少,图像局部纹理信息的质量分数权重大,从而更关注局部纹理信息,抑制了其它信息的影响,从而增加质量评价的准确性。

Claims (1)

1.一种基于多粒度图像信息内容的质量评价方法,其特征在于包括以下步骤:
步骤1:图像预处理
对多层花粉图像进行图像配准操作;图像配准是指将多层花粉图片中花粉颗粒在空间位置上的对准;
在此步骤中,输入的是将数字切片扫描仪扫描得到的3,5,7,9层2万多*2万多像素的ndpi格式图片进行裁剪、筛选之后的花粉图片,也叫多层最优尺寸花粉图片;其中,裁剪是指将ndpi格式的图片裁剪为既方便程序处理又尽可能少的损失花粉信息的512*512尺寸大小的花粉图片;筛选是指使用深度筛选网络进行二分类,分为含有花粉颗粒的图片和不含有花粉颗粒的图片两类,筛出含有花粉颗粒的512*512尺寸大小的图片;输出结果是配准后的多层最优尺寸花粉图片;
步骤2:全局分数计算
使用无参考图像质量评价方法NIQE计算基于图像全局内容信息的花粉图片质量分数;
步骤2.1计算NSS系数:首先提取图像中一个个特征明显的图像块,然后使用公式(1)计算图像块的局部归一化亮度系数(MSCN);
Figure FDA0003522369930000011
式中,
Figure FDA0003522369930000012
表示中心像素的亮度,m∈1,2,…,M,n∈1,2,…,N,表示像素点的在图像中的位置,M和N分别代表图像宽度和高度;μ和σ分别表示提取出来的图像块区域的均值和方差,为了防止分母为0,取C=1;
步骤2.2选取图像块:首先图像分成P×P尺寸的图像块,然后根据公式(2)计算图像块的方差;
Figure FDA0003522369930000013
式中,δ表示方差,选取δ>T的图像块当作特征显著图像块,T取峰值方差的0.6-0.9倍,作为选取特征显著图像块的阈值下界进行筛选,最终从一组自然图像块中筛选出信息丰富的清晰图像块集合,将其用于构建模型;
步骤2.3提取NSS特征:首先,针对上面提取到的图像块集合,使用均值为零的广义高斯模型(GGD)来估计失真图像MSCN和原始图像MSCN之间的经验分布得到2个图像强度特征;
Figure FDA0003522369930000021
Figure FDA0003522369930000022
式中,α控制分布的形状,β控制分布的方差,最终估计参数为(α,β);利用基于矩匹配估计的方法,可靠地估计出GGD的参数α和β;
然后,使用非对称广义高斯模型(AGGD)来估计相邻系数的内积得到16个图像的结构特征;
Figure FDA0003522369930000023
Figure FDA0003522369930000024
其中,βl和βr分别用来控制高斯模型两边的分布,r控制分布的形状,Γ函数见公式(4);利用基于二阶估计的方法有效地估计AGGD的参数r,βl,βr;该模型拟合效果最佳时的参数为(η,r,βlr);
最后,因为图像富含多尺度信息,结合多尺度信息进行质量评估与人类感知更相近,所以将图像缩小到原始尺寸的一半,并重复相同的过程,进行双尺度的参数估计,最终会得到花粉图片的36个特征向量;
步骤2.4预测全局质量分数:首先,利用多元高斯模型(MVG)对提取到的图像块集合特征参数根据公式(7)进行拟合;
Figure FDA0003522369930000025
式中,v和∑分别表示MVG模型的均值和协方差矩阵,可由标准最大似然估计法得到;x1,x2,…,xk是提取的图像块的NSS图像特征;
NIQE分数是根据公式(8)计算待测图像MVG模型参数和自然图像MVG模型参数的距离得出的,不过选取图像块的准则不应用到待测图片上,而只用在上面自然图片模型参数估计上;
Figure FDA0003522369930000031
其中,v1和v2表示自然MVG模型与失真图像MVG模型的均值向量,∑1和∑2表示自然MVG模型与失真图像MVG模型的协方差矩阵;
为了将全局质量得分转换为正相关指标,对NIQE分数值取负值,作为基于图像全局内容信息的质量评价分数;
Sl=-D (9)
式中,D代表待测图像MVG模型参数和自然图像MVG模型参数的距离,Sl代表基于图像全局内容信息的质量评价分数;
步骤3:单个花粉提取
在此步骤中,提取出最优尺寸花粉图片中所有的花粉颗粒,此步骤输入为最优尺寸花粉图片,输出结果是花粉颗粒集合;
步骤3.1图像初始去噪:使用MeanShift算法来平滑图像,从而降低图像中的噪声点并扫除尖锐点;然后为了达到对花粉图片的模糊背景进行伪影、去除噪声的效果,对图片进行核为11×11高斯模糊的操作;
步骤3.2边缘检测:首先使用OpenCV中的方法计算图像梯度幅度和方向,得到可能的边缘集合,然后对梯度幅度进行非极大值抑制保留灰度变化明显的边缘,去除假阳性,保留细线条边缘并排除非边缘像素;
步骤3.3检测圆形轮廓:针对花粉轮廓类似圆形的特点,利用霍夫变换设定阈值检测圆形轮廓的方法检测花粉图像中圆形目标物,去除所有直径小于50的圆形轮廓信息,然后进行下一步的筛选;
步骤3.4排除气泡与杂质:为了排除图像中圆形轮廓中存在的气泡和杂质,根据花粉颗粒染色后呈现粉色的特征,将RGB颜色空间转换到HSV颜色空间,通过设定(0,20,160)到(15,60,265)的颜色阈值范围,进一步筛选出花粉颗粒;
步骤3.5收集花粉颗粒:首先使用OpenCV计算包含花粉轮廓的最小矩形,然后收集花粉图像中的最小矩形,最终得到一组花粉颗粒数据集,本次实验将一张花粉图片中花粉颗粒的数量记为Nhua
步骤3.6计算花粉区域总面积:首先获取上一步花粉图片中收集的花粉颗粒数据集,然后得到每个花粉颗粒数据对应的面积,根据公式(10)最终累加求和得到花粉区域总面积;
Figure FDA0003522369930000041
式中,wi和hi分别表示包含每颗花粉颗粒轮廓的最小矩形的宽度和长度,Nhua代表整张图像中花粉颗粒的数量,Shua表示整张图像上总花粉区域面积;
步骤4:计算基于图像局部纹理信息的质量分数
此步骤中计算基于图像局部纹理信息下的图片质量得分,此模块的输入是上一阶段得到的花粉颗粒图片,输出是局部纹理特征下的质量分数;
步骤4.1图像灰度转换:首先利用OpenCV将花粉颗粒图片灰度化,为下一步图像灰度矩阵的生成以及纹理特征的提取做准备;其次因为动态地求取图像的GLCM区间代价过高,所以将灰度图像的灰度值转换到一定的灰度区间内,灰度区间的级数决定GLCM的大小尺寸;
步骤4.2不同方向上的纹理特征提取:针对步骤4.1得到的灰度图像,设置步距为1,方向分别为0°,45°,90°,135°四种方向,滑动窗口尺寸为3×3,灰度阶数为16的参数进行灰度共生矩阵的求解,最后根据公式(11)对灰度共生矩阵进行归一化处理;
Figure FDA0003522369930000042
其中,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标;R表示灰度点对的总数,N表示图像宽度的大小和高度的大小;h表示不同的方向;最终得到方向分别为0°,45°,90°,135°的四个灰度共生矩阵;
由于不同方向上提取到的纹理信息内容不相同,反映的情况也不相同,所以选取了四个不同的方向生成灰度共生矩阵,综合的反映花粉颗粒的纹理特征信息;
选取了互不相关的4个纹理特征量,分别是角二阶矩/能量(ASM)、相关性(COR)、对比度(CON)以及熵(ENT);针对不同方向的纹理信息,本次实验使用平分权重累计求和的方法得到综合纹理特征值;
角二阶矩根据公式(12)计算得出;
Figure FDA0003522369930000051
其中,H表示本次实验针对不同方向提取的共生矩阵的个数,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标;
角二阶矩反映图像灰度分布均匀程度和纹理粗细度,当图像纹理较细致、灰度分布均匀时,ASM值较大;
相关性根据公式(13)(14)(15)(16)(17)计算得到;
Figure FDA0003522369930000052
Figure FDA0003522369930000053
Figure FDA0003522369930000054
Figure FDA0003522369930000055
Figure FDA0003522369930000056
式中,H表示本次实验针对不同方向提取的共生矩阵的个数,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标;
相关性的大小反映图像局部相关性,局部相关性越大,COR值越大;
对比度根据公式(18)计算得到;
Figure FDA0003522369930000057
式中,H表示本次实验针对不同方向提取的共生矩阵的个数,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标;
对比度反映图像的清晰度和纹理的沟纹深浅,纹理的沟纹越深,CON值越大;
熵根据公式(19)计算得到;
Figure FDA0003522369930000061
式中,H表示本次实验针对不同方向提取的共生矩阵的个数,P表示每一个点对的灰度值,g1,g2代表灰度共生矩阵的位置坐标;
熵值反映图像中纹理的非均匀程度和复杂程度,当复杂程度高时,ENT值较大;
步骤4.3计算单个花粉纹理特征分数:为了使花粉颗粒的纹理特征值唯一,根据公式(20)将与提取纹理信息相关指标按照权值均分求和的原则进行合并,最终得到单个花粉颗粒纹理特征的分数;
Figure FDA0003522369930000062
其中,ASM、COR、CON和ENT分别表示纹理特征中的角二阶矩/能量、相关性、对比度以及熵值;
步骤4.4计算图像质量得分:为了量化花粉图片基于局部纹理信息的质量评价分数,将得到的每个花粉纹理特征分数根据公式(21)进行加权平均求和,最终将其作为基于图像局部纹理信息的图片质量分数输出;
Figure FDA0003522369930000063
式中,Nhua代表整张图像中花粉颗粒的数量,Si表示整张图像中每个花粉颗粒的纹理特征分数;Sp表示整张图像基于图像局部纹理信息的图片质量分数;
步骤5:质量评价最终得分
此步骤输入为最优尺寸花粉图片的基于图像全局内容信息的质量分数和基于图像局部纹理信息的质量分数,输出为多层最优尺寸花粉图片质量评价最终预测值;
步骤5.1计算基于全局内容信息下分数权重:根据花粉颗粒图片和最优尺寸花粉图片的面积来计算基于全局内容信息下分数权重;计算公式见公式(22);
Figure FDA0003522369930000071
式中,Shua表示整张图像上总花粉区域面积,W表示整张图像的宽度大小,H表示整张图像的高度大小;
步骤5.2计算基于局部纹理信息下分数权重:为确保全局内容信息和局部纹理信息的相互影响和制约关系,设定全局内容得分权重和局部纹理得分权重之和为1,根据公式(23)计算得到局部纹理得分权重;
λ2=1-λ1 (23)
式中,λ1表示基于全局内容信息下分数权重,λ2表示基于局部纹理信息下分数权重;
步骤5.3计算最终得分:将图像全局内容信息的质量分数和图像局部纹理信息的质量分数根据公式(24)进行加权求和来得到多层最优尺寸花粉图片的最终得分;
Szlpj=λ1Sp2Sl (24)
其中,λ1和Sp分别表示基于全局内容信息下的分数权重和质量分数,λ2和Sl分别表示基于局部纹理信息下的分数权重和质量分数。
CN202210183020.1A 2022-02-27 2022-02-27 一种基于多粒度图像信息内容的质量评价方法 Pending CN114549492A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210183020.1A CN114549492A (zh) 2022-02-27 2022-02-27 一种基于多粒度图像信息内容的质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210183020.1A CN114549492A (zh) 2022-02-27 2022-02-27 一种基于多粒度图像信息内容的质量评价方法

Publications (1)

Publication Number Publication Date
CN114549492A true CN114549492A (zh) 2022-05-27

Family

ID=81680010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210183020.1A Pending CN114549492A (zh) 2022-02-27 2022-02-27 一种基于多粒度图像信息内容的质量评价方法

Country Status (1)

Country Link
CN (1) CN114549492A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082447A (zh) * 2022-07-25 2022-09-20 三一汽车制造有限公司 砂浆匀质性的测量方法、装置、可读存储介质及电子设备
CN115829971A (zh) * 2022-12-02 2023-03-21 江西财经大学 基于双线性卷积神经网络的细粒度图像盲质量评价方法
CN116527407A (zh) * 2023-07-04 2023-08-01 贵州毅丹恒瑞医药科技有限公司 一种用于眼底图像的加密传输方法
CN116630425A (zh) * 2023-07-21 2023-08-22 长春市天之城科技有限公司 一种基于x光的食品智能检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110046673A (zh) * 2019-04-25 2019-07-23 上海大学 基于多特征融合的无参考色调映射图像质量评价方法
CN110400293A (zh) * 2019-07-11 2019-11-01 兰州理工大学 一种基于深度森林分类的无参考图像质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110046673A (zh) * 2019-04-25 2019-07-23 上海大学 基于多特征融合的无参考色调映射图像质量评价方法
CN110400293A (zh) * 2019-07-11 2019-11-01 兰州理工大学 一种基于深度森林分类的无参考图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUAN WANG ET AL.: "Image super-resolution using multi-granularity perception and pyramid attention networks", 《NEUROCOMPUTING 443》, 11 March 2021 (2021-03-11), pages 247, XP086565724, DOI: 10.1016/j.neucom.2021.03.010 *
范赐恩;冉杰文;颜佳;邹炼;石文轩;: "颜色空间统计联合纹理特征的无参考图像质量评价", 光学精密工程, no. 04, 15 April 2018 (2018-04-15), pages 181 - 191 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082447A (zh) * 2022-07-25 2022-09-20 三一汽车制造有限公司 砂浆匀质性的测量方法、装置、可读存储介质及电子设备
CN115829971A (zh) * 2022-12-02 2023-03-21 江西财经大学 基于双线性卷积神经网络的细粒度图像盲质量评价方法
CN116527407A (zh) * 2023-07-04 2023-08-01 贵州毅丹恒瑞医药科技有限公司 一种用于眼底图像的加密传输方法
CN116527407B (zh) * 2023-07-04 2023-09-01 贵州毅丹恒瑞医药科技有限公司 一种用于眼底图像的加密传输方法
CN116630425A (zh) * 2023-07-21 2023-08-22 长春市天之城科技有限公司 一种基于x光的食品智能检测系统
CN116630425B (zh) * 2023-07-21 2023-09-22 长春市天之城科技有限公司 一种基于x光的食品智能检测系统

Similar Documents

Publication Publication Date Title
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN114549492A (zh) 一种基于多粒度图像信息内容的质量评价方法
CN108921800B (zh) 基于形状自适应搜索窗口的非局部均值去噪方法
CN108491784B (zh) 面向大型直播场景的单人特写实时识别与自动截图方法
Chen et al. A novel color edge detection algorithm in RGB color space
CN111340824B (zh) 一种基于数据挖掘的图像特征分割方法
Karnati et al. Fast non-local algorithm for image denoising
CN110210448B (zh) 一种智能人脸皮肤老化程度的识别与评估方法
CN109472788B (zh) 一种飞机铆钉表面的伤痕检测方法
Liu et al. Image segmentation based on gray stretch and threshold algorithm
CN111462027B (zh) 基于多尺度梯度和抠图的多聚焦图像融合方法
CN107292834B (zh) 红外图像细节增强方法
CN112862744B (zh) 一种基于超声图像的电容内部缺陷智能检测方法
CN114332026A (zh) 一种铭牌表面划痕缺陷的视觉检测方法及装置
CN115131325A (zh) 一种基于图像识别分析的断路器故障运维监测方法及系统
CN115601379A (zh) 一种基于数字图像处理的表面裂纹精确检测技术
WO2014066218A2 (en) Cast recognition method and device, and urine analyzer
CN115171218A (zh) 一种基于图像识别技术的物资送样异常行为识别系统
CN113298763A (zh) 一种基于显著性窗口策略的图像质量评估方法
CN115511814A (zh) 一种基于兴趣区域多纹理特征融合的图像质量评价方法
CN112991326B (zh) 一种清洗质量评价方法
CN115272184A (zh) 基于优化工业图像质量的缺陷识别方法
CN111259914B (zh) 一种茶树叶特征信息高光谱提取方法
CN110647843B (zh) 一种人脸面部图像处理方法
CN109934190B (zh) 基于变形高斯核函数的自适应强光人脸图像纹理恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination