CN109003296A - 一种表征复原图像振铃效应的特征提取方法 - Google Patents

一种表征复原图像振铃效应的特征提取方法 Download PDF

Info

Publication number
CN109003296A
CN109003296A CN201810548116.7A CN201810548116A CN109003296A CN 109003296 A CN109003296 A CN 109003296A CN 201810548116 A CN201810548116 A CN 201810548116A CN 109003296 A CN109003296 A CN 109003296A
Authority
CN
China
Prior art keywords
fringe
width
striped
image
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810548116.7A
Other languages
English (en)
Other versions
CN109003296B (zh
Inventor
闫钧华
白雪含
张寅�
吕向阳
杜君
黄伟
许祯瑜
蔡旭阳
苏恺
候平
马俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201810548116.7A priority Critical patent/CN109003296B/zh
Publication of CN109003296A publication Critical patent/CN109003296A/zh
Application granted granted Critical
Publication of CN109003296B publication Critical patent/CN109003296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种表征复原图像振铃效应的特征提取方法，所述方法首先通过对复原图像进行差分图以及差分条纹图的构造，提取差分条纹图的条纹数量和条纹宽度特征，然后利用训练集训练后的神经网络或支持向量机进行图像分数的预测，即可实现图像的无参考质量评价。

Description

一种表征复原图像振铃效应的特征提取方法
技术领域
本发明涉及图像质量评估技术领域，特别是涉及一种表征复原图像振铃效应的特征提取方法。
背景技术
在光学成像链路中，图像由于受大气环境、接收设备、处理技术和传输设备的限制等不同因素的影响，会产生不同程度的图像失真，严重制约了遥感图像的应用价值。实际获取的图像由于成像未能很好地聚焦或因成像平台的相对位移产生模糊，需要对受到模糊失真影响的图像进行复原或称解模糊。
图像的解模糊过程伴随着图像模糊失真程度的变化和振铃伪像的产生。振铃效应的产生是通常由于复原过程中复原算法的复原模型比如点扩散函数选取不当，或是滤波器在频域上有非常陡峭的变化比如理想低通滤波器的高频截断。振铃效应表现为图像边界附近或整幅图像中周期性振荡的额外波纹。因此，如何综合衡量振铃效应和模糊对图像质量变化的影响，保持图像质量评价的结果与人眼视觉的主观感知结果之间较好的一致性，是复原模糊图像质量评价的关键。
同时，考虑到在实际光学遥感成像过程中完美的参考图像无法获取，无参考图像质量评价方法相比于全参考方法更具有实用价值和研究意义。
通用的无参考图像质量评价方法首先提取图像特征，然后利用图像特征依赖于机器(支持向量机、神经网络等)训练学习来评价图像质量。如：2012年Mittal A等人提出BRISQUE(Blind Reference Image Spatial Quality Evaluator)算法，利用局部归一化亮度特征和局部归一化亮度的方向乘积特征，直接利用支撑向量回归(Support VectorRegression,SVR)得到图像质量分数。BRISQUE算法在空域提取了图像的结构特征和方向特征，相对BIQI方法，较大地提高了图像质量评价效果。BRISQUE算法没有提取图像的频域特征，缺少能够表征图像变换域的特征。2016年Liu L等人提出OGIQA(Oriented GradientsImage Quality Assessment)算法，提取了图像梯度特征和梯度相对方向特征,并通过AdaBoosting BP神经网络训练学习得到所提取特征与主观分数的映射关系。OGIQA算法具有较好的主客观一致性，但没有提取图像高阶特征。2005年，M Balasubramanian等提出只考虑图像边缘振铃强弱的全参考振铃评价指标，得到了较为广泛的应用，但其只考虑了迭代次数对振铃效应影响的大小，未综合考虑图像的清晰度等信息，且由于使用全参考方法，具有一定的局限性。
综上所述，目前需要一种针对复原模糊图像振铃效应的无参考评价指标，对复原图像进行质量评价，从而辅助图片筛选及复原算法优化。
发明内容
发明的目的是为了解决对模糊图像的复原中产生的振铃效应进行无参考图像质量评价的问题，提出一种相应的特征提取方法。
本发明为一种表征复原图像振铃效应的特征提取方法，所述方法首先通过对复原图像进行差分图以及差分条纹图的构造，提取差分条纹图的条纹数量和条纹宽度特征，然后利用训练集训练后的神经网络或支持向量机进行图像分数的预测。
所述差分图的构造包括以下步骤：
首先计算复原模糊图Ires的水平方向差分图Dhor：
Dhor(a,b)＝Ires(a+1,b)-Ires(a,b) (1.1)
其中a＝1,2,...,M-1，b＝1,2,...,N；
然后计算复原模糊图的竖直方向差分图Dver：
Dver(a,b)＝Ires(a,b+1)-Ires(a,b) (1.2)
其中，a＝1,2,...,M，b＝1,2,...,N-1，a为图像水平方向像素，共M个，b为图像竖直方向像素，共N个；
计算水平方向差分图Dhor竖直方向平均值
由于边界振铃的存在，序列的值呈现周期性的振荡，振荡的强度可以表征竖直边界振铃的强度BRMver，表达为：
其中Hhor(k)为序列第k个峰值，Lhor(k)为序列第k个谷值，K为经验值，根据实验确定；
通过相同方式计算竖直方向差分图Dver水平方向平均值和表征水平边界振铃的强度BRMhor，表达为：
BRMhor表达为：
进一步的，所述差分条纹图的构造方法为：
在差分图的基础上，将向量扩展成同大小的方阵，生成差分条纹图。
进一步的，条纹数量判断方法为从边缘像素至中心像素根据峰谷值之差的阈值Ta判断是否为条纹的峰值和谷值，若是条纹，则条纹数加1，并记录条纹边界位置，之后根据条纹边界位置确定条纹宽度，再根据阈值Tb去除过宽的误差条纹，对图像两部分条纹数量及宽度求均值，即可得到条纹数量SNUM和条纹宽度SWIDTH指标。
进一步的，所述阈值Ta与模糊程度及所使用的数据库有关，模糊程度越大，差分条纹图峰谷值的差值普遍降低，阈值Ta的级别越低，Ta的值越小；数据库中包含的所有图像的模糊程度差距越大，设置的阈值Ta的级别越多；Tb根据实验确定。
进一步的，所述差分条纹图的条纹数量和条纹宽度特征提取包括以下步骤，具体算法如下：
对于左半部分图像，沿像素从左到右的顺序依次计算第(i+1)处与i处像素的差值，并对所得的差值进行判断，判断条件为：i处像素值小于0(黑)，且(i+1)处像素大于零(白)，同时两者差值大于给定阈值Ta，判断为条纹后，条纹计数加1，并且记录相应的条纹位置。
进一步的，对图像取中心对称后，对图像右半部进行条纹数量及宽度的计算，对所得的条纹数量及宽度值求平均得到水平方向差分条纹图像的条纹数量SNUM和条纹宽度SWIDTH特征指标，对于对图像转置处理后，其计算方法同得到对一幅图像得到四维特征向量，分别为两个方向的条纹数量SNUM和条纹宽度SWIDTH特征。
进一步的，当条纹数增大到阈值Tc之后，对条纹宽度进行同步判断，若条纹宽度大于阈值Td，则不做处理，若条纹宽度小于阈值Td，则对条纹数量进行加权修正处理，具体为：当与其对应的条纹宽度小于1时，对所得到的条纹数量和条纹宽度进行相乘处理；当与其对应的条纹宽度大于1时，对所得到的条纹数量和条纹宽度的倒数进行相乘处理。
本发明的有益效果在于：
1.不需要参考图像，利用失真图像自身特性，进行图像质量评价
2.不同于直接对图像求梯度特征(所求特征中图像内容和振铃产生的梯度特征相混合)，本发明从振铃效应出发，利用振铃效应产生的不同方向条纹的峰谷差值、条纹宽度、条纹数量特征模拟图像梯度信息特征，具有较强的针对性。同时，可以与其他针对性强的特征，如针对模糊的特征、针对噪声的特征等，进行有效的结合，从而实现对混合失真图像的评价。
3.针对不同类型的图像，可以根据对条纹特征中各个阈值的选择对算法进行调整与优化，具有较好的普适性。
附图说明
图1为不同复原失真程度的差分条纹图。
具体实施方式
下面结合附图和具体实例对本发明做更进一步的解释：
本提供的首先计算复原模糊图Ires的水平方向差分图Dhor：
Dhor(a,b)＝Ires(a+1,b)-Ires(a,b) (1.1)
其中a＝1,2,...,M-1，b＝1,2,...,N，a为图像水平方向像素，共M个，b为图像竖直方向像素，共N个。
然后计算复原模糊图的竖直方向差分图Dver：
Dver(a,b)＝Ires(a,b+1)-Ires(a,b) (1.2)
其中a＝1,2,...,M，b＝1,2,...,N-1；
计算水平方向差分图Dhor竖直方向平均值
由于边界振铃的存在，序列的值呈现周期性的振荡，振荡的强度可以表征竖直边界振铃的强度BRMver，表达为：
其中Hhor(k)为序列第k个峰值，Lhor(k)为序列第k个谷值。K为经验值，根据实验确定；
通过相同方式计算竖直方向差分图Dver水平方向平均值和表征水平边界振铃的强度BRMhor，表达为：
BRMhor表达为：
差分条纹图
条纹数量和条纹宽度和SNUM(stripe number)、SWIDTH(stripe width)为在基础上，将向量扩展成同大小的方阵，生成差分条纹图，如图1所示，为不同图像的差分条纹图。
条纹数量判断方法为从边缘像素至中心像素根据峰谷值之差的阈值Ta判断是否为条纹的峰值和谷值，若是条纹，则条纹数加1，并记录条纹边界位置，之后根据条纹边界位置确定条纹宽度，再根据阈值Tb去除过宽的误差条纹，对图像两部分条纹数量及宽度求均值，即可得到条纹数量SNUM和条纹宽度SWIDTH指标。其中，阈值Ta与模糊程度及所使用的数据库有关，模糊程度越大，差分条纹图峰谷值的差值普遍降低，阈值Ta的级别越低，Ta的值越小；数据库中包含的所有图像的模糊程度差距越大，设置的阈值Ta的级别越多。Tb根据实验确定，具体算法如下：
算法：
输入：左半部分
输出：图像左半部分条纹数量以及条纹宽度
对于左半部分图像，沿像素从左到右的顺序依次计算第(i+1)处与i处像素的差值，并对所得的差值进行判断，判断条件为：i处像素值小于0(黑)，且(i+1)处像素大于零(白)，同时两者差值大于给定阈值Ta，判断为条纹后，条纹计数加1，并且记录相应的条纹位置。
同理，对图像取中心对称后，可以对图像右半部进行条纹数量及宽度的计算，对所得的条纹数量及宽度值求平均即可得到水平方向差分条纹图像的条纹数量SNUM和条纹宽度SWIDTH特征指标。对于对图像转置处理后，其计算方法同最后，即可得到对一幅图像得到4维特征向量，分别为两个方向的条纹数量SNUM和条纹宽度SWIDTH特征。
考虑到图像中的条纹数多到一定程度时，可能出现的图像质量极差(条纹多且粗，导致人眼不能感知图像内容)与图像质量反而变好的情况(复原程度增大，但由于条纹多且细，对图像的影响反而变小)，当条纹数增大到一定阈值Tc之后，对条纹宽度进行同步判断，若条纹宽度大于阈值Td，则不做处理，若条纹宽度小于阈值Td，则对条纹数量进行加权修正处理，具体为：当与其对应的条纹宽度小于1时，对所得到的条纹数量和条纹宽度进行相乘处理；当与其对应的条纹宽度大于1时，对所得到的条纹数量和条纹宽度的倒数进行相乘处理。
本发明的思路及方法，具体实现该技术方案的方法和途径很多，以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (8)

1.一种表征复原图像振铃效应的特征提取方法，其特征在于，所述方法首先通过对复原图像进行差分图以及差分条纹图的构造，提取差分条纹图的条纹数量和条纹宽度特征，然后利用训练集训练后的神经网络或支持向量机进行图像分数的预测。
2.根据权利要求1所述的一种表征复原图像振铃效应的特征提取方法，其特征在于，所述差分图的构造包括以下步骤：
首先计算复原模糊图Ires的水平方向差分图Dhor：
Dhor(a,b)＝Ires(a+1,b)-Ires(a,b) (1.1)
其中a＝1,2,...,M-1，b＝1,2,...,N；
然后计算复原模糊图的竖直方向差分图Dver：
Dver(a,b)＝Ires(a,b+1)-Ires(a,b) (1.2)
其中，a＝1,2,...,M，b＝1,2,...,N-1，a为图像水平方向像素，共M个，b为图像竖直方向像素，共N个；
计算水平方向差分图Dhor竖直方向平均值
由于边界振铃的存在，序列的值呈现周期性的振荡，振荡的强度可以表征竖直边界振铃的强度BRMver，表达为：
其中Hhor(k)为序列第k个峰值，Lhor(k)为序列第k个谷值，K为经验值，根据实验确定；
通过相同方式计算竖直方向差分图Dver水平方向平均值和表征水平边界振铃的强度BRMhor，表达为：
BRMhor表达为：
3.根据权利要求1所述的一种表征复原图像振铃效应的特征提取方法，其特征在于，所述差分条纹图的构造方法为：
在差分图的基础上，将向量扩展成同大小的方阵，生成差分条纹图。
4.根据权利要求1所述的一种表征复原图像振铃效应的特征提取方法，其特征在于，条纹数量判断方法为从边缘像素至中心像素根据峰谷值之差的阈值Ta判断是否为条纹的峰值和谷值，若是条纹，则条纹数加1，并记录条纹边界位置，之后根据条纹边界位置确定条纹宽度，再根据阈值Tb去除过宽的误差条纹，对图像两部分条纹数量及宽度求均值，即可得到条纹数量SNUM和条纹宽度SWIDTH指标。
5.根据权利要求4所述的一种表征复原图像振铃效应的特征提取方法，其特征在于，所述阈值Ta与模糊程度及所使用的数据库有关，模糊程度越大，差分条纹图峰谷值的差值普遍降低，阈值Ta的级别越低，Ta的值越小；数据库中包含的所有图像的模糊程度差距越大，设置的阈值Ta的级别越多；Tb根据实验确定。
6.根据权利要求1所述的一种表征复原图像振铃效应的特征提取方法，其特征在于，所述差分条纹图的条纹数量和条纹宽度特征提取包括以下步骤，具体算法如下：
对于左半部分图像，沿像素从左到右的顺序依次计算第(i+1)处与i处像素的差值，并对所得的差值进行判断，判断条件为：i处像素值小于0，且(i+1)处像素大于零，同时两者差值大于给定阈值Ta，判断为条纹后，条纹计数加1，并且记录相应的条纹位置。
7.根据权利要求6所述的一种表征复原图像振铃效应的特征提取方法，其特征在于，对图像取中心对称后，对图像右半部进行条纹数量及宽度的计算，对所得的条纹数量及宽度值求平均得到水平方向差分条纹图像的条纹数量SNUM和条纹宽度SWIDTH特征指标，对于对图像转置处理后，其计算方法同得到对一幅图像得到四维特征向量，分别为两个方向的条纹数量SNUM和条纹宽度SWIDTH特征。
8.根据权利要求7所述的一种表征复原图像振铃效应的特征提取方法，其特征在于，当条纹数增大到阈值Tc之后，对条纹宽度进行同步判断，若条纹宽度大于阈值Td，则不做处理，若条纹宽度小于阈值Td，则对条纹数量进行加权修正处理，具体为：当与其对应的条纹宽度小于1时，对所得到的条纹数量和条纹宽度进行相乘处理；当与其对应的条纹宽度大于1时，对所得到的条纹数量和条纹宽度的倒数进行相乘处理。
CN201810548116.7A 2018-05-31 2018-05-31 一种表征复原图像振铃效应的特征提取方法 Active CN109003296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810548116.7A CN109003296B (zh) 2018-05-31 2018-05-31 一种表征复原图像振铃效应的特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810548116.7A CN109003296B (zh) 2018-05-31 2018-05-31 一种表征复原图像振铃效应的特征提取方法

Publications (2)

Publication Number Publication Date
CN109003296A true CN109003296A (zh) 2018-12-14
CN109003296B CN109003296B (zh) 2020-08-14

Family

ID=64574208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810548116.7A Active CN109003296B (zh) 2018-05-31 2018-05-31 一种表征复原图像振铃效应的特征提取方法

Country Status (1)

Country Link
CN (1) CN109003296B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084265A (zh) * 2019-03-10 2019-08-02 天津大学 机器学习低质量大变化密度光学条纹图信息提取方法
CN111612766A (zh) * 2020-05-20 2020-09-01 北京金山云网络技术有限公司 图像质量评价方法、装置和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408707A (zh) * 2014-10-28 2015-03-11 哈尔滨工业大学 一种快速数字成像模糊鉴别与复原图像质量评估方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408707A (zh) * 2014-10-28 2015-03-11 哈尔滨工业大学 一种快速数字成像模糊鉴别与复原图像质量评估方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIXIONG LIU ET AL.: "Blind image quality assessment by relative gradient statistics and adaboosting neural network", 《SIGNAL PROCESSING：IMAGE COMMUNICATION》 *
刘国红: "面向振铃抑制的图像复原算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
尹磊: "图像模糊复原及质量评价算法研究", 《万方学位数据库》 *
王辉登: "基于振铃抑制的运动模糊图像复原方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084265A (zh) * 2019-03-10 2019-08-02 天津大学 机器学习低质量大变化密度光学条纹图信息提取方法
CN110084265B (zh) * 2019-03-10 2023-06-09 天津大学 机器学习低质量大变化密度光学条纹图信息提取方法
CN111612766A (zh) * 2020-05-20 2020-09-01 北京金山云网络技术有限公司 图像质量评价方法、装置和电子设备
CN111612766B (zh) * 2020-05-20 2023-05-12 北京金山云网络技术有限公司 图像质量评价方法、装置和电子设备

Also Published As

Publication number Publication date
CN109003296B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
Gu et al. Multiscale natural scene statistical analysis for no-reference quality evaluation of DIBR-synthesized views
Yue et al. Combining local and global measures for DIBR-synthesized image quality evaluation
Ciancio et al. No-reference blur assessment of digital pictures based on multifeature classifiers
Cheng et al. Inpainting for remotely sensed images with a multichannel nonlocal total variation model
Liu et al. Blind quality assessment of camera images based on low-level and high-level statistical features
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN109919920A (zh) 统一结构的全参考和无参考图像质量评价方法
JP2015162718A (ja) 画像処理方法、画像処理装置及び電子機器
Tian et al. Quality assessment of DIBR-synthesized views: An overview
Chen et al. Blind quality index for tone-mapped images based on luminance partition
CN104182983B (zh) 基于角点特征的高速公路监控视频清晰度的检测方法
CN110246111A (zh) 基于融合图像和强化图像的无参考立体图像质量评价方法
CN109003296A (zh) 一种表征复原图像振铃效应的特征提取方法
CN110691236B (zh) 一种全景视频质量评价方法
Ma et al. Joint binocular energy-contrast perception for quality assessment of stereoscopic images
Zhang et al. Stabilization of atmospheric turbulence-distorted video containing moving objects using the monogenic signal
Camplani et al. Accurate depth-color scene modeling for 3D contents generation with low cost depth cameras
Yao et al. Bivariate analysis of 3D structure for stereoscopic image quality assessment
Yalman Histogram based perceptual quality assessment method for color images
Raveendran et al. Image fusion using LEP filtering and bilinear interpolation
Isogawa et al. Image quality assessment for inpainted images via learning to rank
CN116630613A (zh) 一种动态场景多曝光融合光场图像的质量评价方法
CN106375773B (zh) 基于动态阈值的帧复制粘贴篡改检测方法
Chen et al. Virtual view quality assessment based on shift compensation and visual masking effect
CN106530259B (zh) 一种基于多尺度散焦信息的全聚焦图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant