CN113570596A - 一种基于人类视觉系统的无参考结构清晰度评价方法 - Google Patents

一种基于人类视觉系统的无参考结构清晰度评价方法 Download PDF

Info

Publication number
CN113570596A
CN113570596A CN202110931781.6A CN202110931781A CN113570596A CN 113570596 A CN113570596 A CN 113570596A CN 202110931781 A CN202110931781 A CN 202110931781A CN 113570596 A CN113570596 A CN 113570596A
Authority
CN
China
Prior art keywords
image
human visual
visual system
size
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110931781.6A
Other languages
English (en)
Other versions
CN113570596B (zh
Inventor
钟建波
罗永芳
白玉琢
李洪兵
夏青松
贾钰超
黄攀
罗宏
王彩萍
史军军
王春阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan North Optical Technology Co ltd
Original Assignee
Yunnan North Optical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan North Optical Technology Co ltd filed Critical Yunnan North Optical Technology Co ltd
Priority to CN202110931781.6A priority Critical patent/CN113570596B/zh
Publication of CN113570596A publication Critical patent/CN113570596A/zh
Application granted granted Critical
Publication of CN113570596B publication Critical patent/CN113570596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及红外图像质量评价领域，具体涉及是一种基于人类视觉系统的无参考结构清晰度评价方法，通过结合人类视觉系统的视觉特性，结果符合主观评价，具有更优越的准确度和鲁棒性，弥补了已有的图像质量评价方法只能评价红外系统调焦过程中图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价结果波动较大的不足，使得该评价方法同时适用于红外成像系统在调焦和变倍过程中的图像质量评价。

Description

一种基于人类视觉系统的无参考结构清晰度评价方法
技术领域
本发明涉及红外图像质量评价领域，具体涉及是一种基于人类视觉系统的无参考结构清晰度评价方法。
背景技术
图像质量评价在图像处理、网络传输、视频编解码和成像设备性能评价等领域都有着重要应用。图像质量评价可以分为主观质量评价和客观质量评价两大类。其中，主观质量评价方法是图像质量评价中最准确的，但该方法易受评价者主观因素影响，且过程繁琐，效率偏低。因此，客观质量评价方法已成为当前图像质量评价的研究热点.依据失真图像对参考图像信息的依赖程度，客观质量评价分为三类：全参考质量评价、半参考质量评价和无参考质量评价。然而，在实际应用中无法获取失真图像对应的清晰参考图像，因此研究无参考图像质量评价方法更具有实际应用价值。
由于没有原始清晰图像作为参考，构造无参考的图像清晰度评价方法比基于原始图像的全参考方法更加困难。近年来，不同的无参考图像清晰度评价方法被提出来，主要分为基于模型训练的评价方法和传统的图像评价方法两大类。其中这两类方法在可见光图像的质量评价中应用广泛，而在红外图像质量评价方面暂未得到充分验证；另外，已有方法适用于评价红外系统调焦过程中图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价结果波动较大。
发明内容
本发明针对以上问题，提供一种基于人类视觉系统的无参考结构清晰度评价方法。
采用的技术方案是，一种基于人类视觉系统的无参考结构清晰度评价方法，包括以下步骤：
S1，输入原始图像I；
S2，通过原始图像构造参考图像Ir；
S3，提取原始图像I和参考图像Ir的梯度信息，并得到相应的梯度图像G和
Gr；
S4，将梯度图像G和Gr划分为N个分块；
S5，通过梯度图像G中每个分块的在视觉神经中引起的冲动相对大小，并
利用人类视觉系统滤波器，获得对应的权重w；
S6，对梯度图像G和图像Gr对应分块进行计算，得到结构相似性SSIM(i,j)；
S7，通过权重w和结构相似性SSIM(i,j)得到原始图像I的清晰度值，
Figure BDA0003211138480000021
完成评价。
可选的，S2中，通过低通滤波器LPF，构造比原始图像I模糊的参考图像Ir＝LPF(I)。
进一步的，S2中，通过高斯模糊，对原始图像I进行像素级处理，构造出更模糊的参考图像Ir，且卷积核的大小形状与原始图像I目标尺寸相匹配。
进一步的，S2中，原始图像I目标尺寸小，则卷积核大小为3×3、1×3或者3×1中的一种。
进一步的，S3中，通过Sobel算子提取图像水平和竖直方向的梯度信息，得到梯度图像G和Gr。
进一步的，S4中，梯度图像G和Gr分块划分尺寸分别与原始图像I和参考图像Ir相匹配。
进一步的，S4中，原始图像I和参考图像Ir目标尺寸小，则分块大小为3×3，且块间的步距为1。
进一步的，S5中，每个分块在视觉神经中引起的冲动相对大小计算公式为：
Figure BDA0003211138480000031
其中，Std(i,j)为第i行第j列分块或像素中梯度信息的标准差，max(Std(i,j))为所有分块或像素中梯度信息标准差的最大值。
可选的，S5中，人类视觉系统滤波器，获得对应的权重w的计算公式为：
Figure BDA0003211138480000032
Figure BDA0003211138480000033
其中，α和σ为滤波器的构造参数，α与该高斯函数的形状相关联，σ与该高斯函数的方差相关联，w(i,j,α,β)用于控制其响应特性，为各分块的权重，其大小反映了用于计算图像清晰度时相对神经冲动经人眼视觉系统后各分块信息的权重。
本发明的有益效果至少包括以下之一；
1、通过结合人类视觉系统的视觉特性，结果符合主观评价，具有更优越的准确度和鲁棒性。
2、弥补了已有的图像质量评价方法只能评价红外系统调焦过程中图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价结果波动较大的不足，使得该评价方法同时适用于红外成像系统在调焦和变倍过程中的图像质量评价。
附图说明
图1为本方法具体实现流程图；
图2a和图2b为模拟的红外成像系统调焦过程的某两帧图像；
图3为图2a感兴趣区域内所有分块在视觉神经中引起的相对冲动大小，及经人类视觉系统滤波器后对应的权重图像；
图4为基于六种方法评价红外成像系统模拟调焦过程的图像质量；
图5a和图5b为模拟的红外成像系统变倍过程的某两帧图像；
图6为基于六种方法评价红外成像系统模拟变倍过程的图像质量；
图7为另一种基于六种方法评价红外成像系统模拟变倍过程的图像质量；
具体实施方式
为了使本发明的目的、技术方案及优点能够更加清晰明白，以下结合附图和实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明保护内容。
首先本实施例中，利用低通滤波器构造更模糊的参考图像，并获取原始图像和参考图像对应的梯度图；将梯度图划分为多个小块，求梯度图对应分块的结构相似性；再计算原始图像对应梯度图中每个分块在视觉神经中引起的冲动相对大小，并利用人类视觉系统滤波器求每个分块的权重；最后将每个分块的结构相似性加权得到原始图像的清晰度，其具体包含以下步骤；
S1，输入原始图像I；
S2，通过原始图像构造参考图像Ir；
S3，提取原始图像I和参考图像Ir的梯度信息，并得到相应的梯度图像G和
Gr；
S4，将梯度图像G和Gr划分为N个分块；
S5，通过梯度图像G中每个分块的在视觉神经中引起的冲动相对大小，并
利用人类视觉系统滤波器，获得对应的权重w；
S6，对梯度图像G和图像Gr对应分块进行计算，得到结构相似性SSIM(i,j)；
S7，通过权重w和结构相似性SSIM(i,j)得到原始图像I的清晰度值，
Figure BDA0003211138480000051
完成评价。
这样做的目的在于，通过结合人类视觉系统的视觉特性，结果符合主观评价，具有更优越的准确度和鲁棒性，弥补了已有的图像质量评价方法只能评价红外系统调焦过程中图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价结果波动较大的不足，使得该评价方法同时适用于红外成像系统在调焦和变倍过程中的图像质量评价。
同时，在S2中，通过低通滤波器LPF，构造比原始图像I模糊的参考图像Ir＝LPF(I)。
并且在S2中，通过高斯模糊，对原始图像I进行像素级处理，构造出更模糊的参考图像Ir，且卷积核的大小形状与原始图像I目标尺寸相匹配。
同时S2中，原始图像I目标尺寸小，则卷积核大小为3×3、1×3或者3×1中的一种。
并且S3中，通过Sobel算子提取图像水平和竖直方向的梯度信息，得到梯度图像G和Gr。
同时S4中，梯度图像G和Gr分块划分尺寸分别与原始图像I和参考图像Ir相匹配。
并且S4中，原始图像I和参考图像Ir目标尺寸小，则分块大小为3×3，且块间的步距为1。
同时S5中，每个分块在视觉神经中引起的冲动相对大小计算公式为：
Figure BDA0003211138480000061
其中，Std(i,j)为第i行第j列分块或像素中梯度信息的标准差，max(Std(i,j))为所有分块或像素中梯度信息标准差的最大值。
并且S5中，人类视觉系统滤波器，获得对应的权重w的计算公式为：
Figure BDA0003211138480000062
Figure BDA0003211138480000063
其中，α和σ为滤波器的构造参数，α与该高斯函数的形状相关联，σ与该高斯函数的方差相关联，w(i,j,α,β)用于控制其响应特性，为各分块的权重，其大小反映了用于计算图像清晰度时相对神经冲动经人眼视觉系统后各分块信息的权重。
在具体实施中，图2a、图2b、图5a和图5b为模拟的红外成像系统在调焦和变倍过程中的某几帧图像。其中，图2a为构建的清晰红外图像，用不同标准差的高斯滤波器对其进行滤波，且标准差从0到5，间距取0.1，得到一组模糊程度越来越大的红外图像，共50帧，如图2b所示。
另外，针对视场内的特定目标，当成像系统的焦距变短时，视场变大，则该目标成像所占像素数减少，反之，像素数增加。根据该特性，模拟一组不同焦距的清晰红外图像，共58帧，如图5a、图5b所示。
先利用模拟的红外原始图像I构造相应的参考图像Ir：考虑到红外图像中四杆靶标的尺寸较小，且是竖向条纹状的，故选用1×3尺寸的卷积核，经高斯模糊，即可得到原始图像I对应的参考图像Ir。
然后提取原始图像I和参考图像Ir的梯度信息，利用Sobel算子提取图像水平和竖直方向的梯度信息，记为梯度图像G和Gr。
接着将梯度图像G和Gr进行分块，由于图像中靶标的尺寸较小，为避免丢失边缘信息，分块的大小采用3×3，且块间的步距为1。
然后计算梯度图像G中每个分块在视觉神经中引起的冲动相对大小，并利用人类视觉系统滤波器，求对应的权重w，同时将梯度图像G感兴趣区域划分为82×69的小分块，计算结果如图3所示。
接着计算梯度图像G和Gr对应分块的结构相似性，加权计算原始图像的清晰度值，计算结果如图4、图6和图7中的HVS-NRSS红色曲线所示。其中，图4为利用六种方法评价红外成像系统模拟调焦过程的50帧图像的结果；图6为利用六种方法评价红外成像系统模拟变倍过程的58帧图像的结果，且均为未经高斯模糊的清晰图像；图7为利用六种方法评价红外成像系统模拟变倍过程的58帧图像的结果，且均为经不同程度的高斯模糊后的图像。需要特别说明的是，JNBM(Just Noticeable Blur Metric)、CPBD(Cumulative Probability ofBlur Detection)、EMBM(Edge Modeling Blur Metric)、NIQE(Natural Image QualityEvaluator)和NRSS(No-Reference Structural Sharpness)是目前模糊图像进行质量评价最具代表性的五种方法。其中，NRSS方法适用于评价红外系统调焦过程中图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价结果波动较大，而其他方法在红外图像质量评价方面暂未得到充分验证。
由图4可得：成像系统从聚焦切换到离焦过程中，本发明方法HVS-NRSS评估结果能准确反映50帧图像其质量逐渐降低的变化趋势；由图6可得：成像系统从长焦切换到短焦过程中，四杆靶目标的尺寸逐渐减小，且系统在变倍过程中均保持聚焦状态，故在整个变倍过程中，图像质量应保持不变，HVS-NRSS评价结果能准确反映58帧图像其质量基本保持不变的变化趋势。由图7可得：经不同程度的高斯模糊后，本发明方法HVS-NRSS评价结果仍能反映随高斯模糊标准差增大，图像质量降低的变化趋势。从图4、图6和图7可得，相比常用的五种图像质量评价方法，本发明方法HVS-NRSS可准确评价成像系统在调焦和变倍过程中当前状态的成像质量，符合主观评价结果，且评价结果不受四杆靶标尺寸约束，大大拓展了无参考结构清晰度评价方法在红外成像系统变倍过程中的实际应用范围。
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于人类视觉系统的无参考结构清晰度评价方法，包括以下步骤：
S1，输入原始图像I；
S2，通过原始图像构造参考图像Ir；
S3，提取原始图像I和参考图像Ir的梯度信息，并得到相应的梯度图像G和Gr；
S4，将梯度图像G和Gr划分为N个分块；
S5，通过梯度图像G中每个分块的在视觉神经中引起的冲动相对大小，并利用人类视觉系统滤波器，获得对应的权重w；
S6，对梯度图像G和图像Gr对应分块进行计算，得到结构相似性SSIM(i,j)；
S7，通过权重w和结构相似性SSIM(i,j)得到原始图像I的清晰度值，
Figure FDA0003211138470000011
完成评价。
2.根据权利要求1所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S2中，通过低通滤波器LPF，构造比原始图像I模糊的参考图像Ir＝LPF(I)。
3.根据权利要求2所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S2中，通过高斯模糊，对原始图像I进行像素级处理，构造出更模糊的参考图像Ir，且卷积核的大小形状与原始图像I目标尺寸相匹配。
4.据权利要求3所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S2中，原始图像I目标尺寸小，则卷积核大小为3×3、1×3或者3×1中的一种。
5.根据权利要求4所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S3中，通过Sobel算子提取图像水平和竖直方向的梯度信息，得到梯度图像G和Gr。
6.根据权利要求5所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S4中，梯度图像G和Gr分块划分尺寸分别与原始图像I和参考图像Ir相匹配。
7.根据权利要求6所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S4中，原始图像I和参考图像Ir目标尺寸小，则分块大小为3×3，且块间的步距为1。
8.根据权利要求7所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S5中，每个分块在视觉神经中引起的冲动相对大小计算公式为：
Figure FDA0003211138470000021
其中，Std(i,j)为第i行第j列分块或像素中梯度信息的标准差，max(Std(i,j))为所有分块或像素中梯度信息标准差的最大值。
9.据据权利要求8所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S5中，人类视觉系统滤波器，获得对应的权重w的计算公式为：
Figure FDA0003211138470000022
Figure FDA0003211138470000023
其中，α和σ为滤波器的构造参数，α与该高斯函数的形状相关联，σ与该高斯函数的方差相关联，w(i,j,α,β)用于控制其响应特性，为各分块的权重，其大小反映了用于计算图像清晰度时相对神经冲动经人眼视觉系统后各分块信息的权重。
CN202110931781.6A 2021-08-13 2021-08-13 一种基于人类视觉系统的无参考结构清晰度评价方法 Active CN113570596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110931781.6A CN113570596B (zh) 2021-08-13 2021-08-13 一种基于人类视觉系统的无参考结构清晰度评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110931781.6A CN113570596B (zh) 2021-08-13 2021-08-13 一种基于人类视觉系统的无参考结构清晰度评价方法

Publications (2)

Publication Number Publication Date
CN113570596A true CN113570596A (zh) 2021-10-29
CN113570596B CN113570596B (zh) 2024-06-07

Family

ID=78171744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110931781.6A Active CN113570596B (zh) 2021-08-13 2021-08-13 一种基于人类视觉系统的无参考结构清晰度评价方法

Country Status (1)

Country Link
CN (1) CN113570596B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996406A (zh) * 2010-11-03 2011-03-30 中国科学院光电技术研究所 无参考结构清晰度图像质量评价方法
US20150093015A1 (en) * 2013-09-26 2015-04-02 Hong Kong Applied Science & Technology Research Institute Company Limited Visual-Experience-Optimized Super-Resolution Frame Generator
CN105825500A (zh) * 2016-03-10 2016-08-03 江苏商贸职业学院 一种对相机图像质量的评价方法与装置
CN106530282A (zh) * 2016-10-20 2017-03-22 天津大学 基于空域特征的无参考立体图像质量客观评价方法
CN112184672A (zh) * 2020-09-30 2021-01-05 上海大学 一种无参考图像质量评价方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996406A (zh) * 2010-11-03 2011-03-30 中国科学院光电技术研究所 无参考结构清晰度图像质量评价方法
US20150093015A1 (en) * 2013-09-26 2015-04-02 Hong Kong Applied Science & Technology Research Institute Company Limited Visual-Experience-Optimized Super-Resolution Frame Generator
CN105825500A (zh) * 2016-03-10 2016-08-03 江苏商贸职业学院 一种对相机图像质量的评价方法与装置
CN106530282A (zh) * 2016-10-20 2017-03-22 天津大学 基于空域特征的无参考立体图像质量客观评价方法
CN112184672A (zh) * 2020-09-30 2021-01-05 上海大学 一种无参考图像质量评价方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
范媛媛等: "基于对比度敏感度的无参考图像清晰度评价", 光学精密工程, vol. 19, no. 10, pages 2485 - 2493 *
谢小甫等: "一种针对图像模糊的无参考质量评价指标", 计算机应用, vol. 30, no. 4, pages 921 - 924 *

Also Published As

Publication number Publication date
CN113570596B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
Lee et al. Iterative filter adaptive network for single image defocus deblurring
CN109754377B (zh) 一种多曝光图像融合方法
Ruan et al. Learning to deblur using light field generated and real defocus images
CN103606132B (zh) 基于空域和时域联合滤波的多帧数字图像去噪方法
CN109389555B (zh) 一种全景图像拼接方法及装置
CN109447930B (zh) 小波域光场全聚焦图像生成算法
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
CN105701770B (zh) 一种基于上下文线性模型的人脸超分辨率处理方法及系统
CN111696049A (zh) 基于深度学习的水下扭曲图像重建方法
CN112598604A (zh) 一种盲脸复原方法及系统
CN113810611A (zh) 一种事件相机的数据模拟方法和装置
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
CN114463196A (zh) 一种基于深度学习的图像校正方法
CN116095291B (zh) 一种用于媒体流图像传输的图像预处理方法
CN104754316A (zh) 一种3d成像方法、装置及成像系统
CN103841327B (zh) 一种基于原始图像的四维光场解码预处理方法
CN113570596B (zh) 一种基于人类视觉系统的无参考结构清晰度评价方法
CN113191959B (zh) 一种基于退化标定的数字成像系统极限像质提升方法
CN113935910A (zh) 一种基于深度学习的图像模糊长度测量方法
CN111080560B (zh) 一种图像的处理与识别方法
CN110349110B (zh) 一种基于累帧过融合的模糊图像增强方法及应用
CN110322405B (zh) 一种基于自编码器的视频去马赛克方法及相关装置
Qin et al. A New Dataset and Framework for Real-World Blurred Images Super-Resolution
CN117710250B (zh) 一种消除纤维镜成像蜂窝状结构的方法
CN116634284B (zh) Raw域视频去噪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant