CN113570596B - 一种基于人类视觉系统的无参考结构清晰度评价方法 - Google Patents
一种基于人类视觉系统的无参考结构清晰度评价方法 Download PDFInfo
- Publication number
- CN113570596B CN113570596B CN202110931781.6A CN202110931781A CN113570596B CN 113570596 B CN113570596 B CN 113570596B CN 202110931781 A CN202110931781 A CN 202110931781A CN 113570596 B CN113570596 B CN 113570596B
- Authority
- CN
- China
- Prior art keywords
- image
- human visual
- visual system
- size
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 210000001328 optic nerve Anatomy 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 6
- 210000005036 nerve Anatomy 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims 1
- 238000000638 solvent extraction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 30
- 238000013441 quality evaluation Methods 0.000 abstract description 21
- 238000003331 infrared imaging Methods 0.000 abstract description 13
- 230000007547 defect Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及红外图像质量评价领域，具体涉及是一种基于人类视觉系统的无参考结构清晰度评价方法，通过结合人类视觉系统的视觉特性，结果符合主观评价，具有更优越的准确度和鲁棒性，弥补了已有的图像质量评价方法只能评价红外系统调焦过程中图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价结果波动较大的不足，使得该评价方法同时适用于红外成像系统在调焦和变倍过程中的图像质量评价。
Description
技术领域
本发明涉及红外图像质量评价领域，具体涉及是一种基于人类视觉系统的无参考结构清晰度评价方法。
背景技术
图像质量评价在图像处理、网络传输、视频编解码和成像设备性能评价等领域都有着重要应用。图像质量评价可以分为主观质量评价和客观质量评价两大类。其中，主观质量评价方法是图像质量评价中最准确的，但该方法易受评价者主观因素影响，且过程繁琐，效率偏低。因此，客观质量评价方法已成为当前图像质量评价的研究热点.依据失真图像对参考图像信息的依赖程度，客观质量评价分为三类：全参考质量评价、半参考质量评价和无参考质量评价。 然而，在实际应用中无法获取失真图像对应的清晰参考图像，因此研究无参考图像质量评价方法更具有实际应用价值。
由于没有原始清晰图像作为参考，构造无参考的图像清晰度评价方法比基于原始图像的全参考方法更加困难。近年来，不同的无参考图像清晰度评价方法被提出来，主要分为基于模型训练的评价方法和传统的图像评价方法两大类。其中这两类方法在可见光图像的质量评价中应用广泛，而在红外图像质量评价方面暂未得到充分验证；另外，已有方法适用于评价红外系统调焦过程中图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价结果波动较大。
发明内容
本发明针对以上问题，提供一种基于人类视觉系统的无参考结构清晰度评价方法。
采用的技术方案是，一种基于人类视觉系统的无参考结构清晰度评价方法，包括以下步骤：
S1，输入原始图像；
S2，通过原始图像构造参考图像；
S3，提取原始图像和参考图像的梯度信息，并得到相应的梯度图像和；
S4，将梯度图像和划分为N个分块；
S5，通过梯度图像中每个分块的在视觉神经中引起的冲动相对大小，并利用人
类视觉系统滤波器，获得对应的权重；
S6，对梯度图像和图像对应分块进行计算，得到结构相似性；
S7，通过权重和结构相似性得到原始图像的清晰度值，
完成评价。
可选的，S2中，通过低通滤波器，构造比原始图像模糊的参考图像。
进一步的，S2中，通过高斯模糊，对原始图像进行像素级处理，构造出更模糊的
参考图像，且卷积核的大小形状与原始图像目标尺寸相匹配。
进一步的，S2中，原始图像目标尺寸小，则卷积核大小为3×3、1×3或者3×1中
的一种。
进一步的，S3中，通过Sobel算子提取图像水平和竖直方向的梯度信息，得到梯度
图像和。
进一步的，S4中，梯度图像和分块划分尺寸分别与原始图像和参考图像
相匹配。
进一步的，S4中，原始图像和参考图像目标尺寸小，则分块大小为3×3，且块
间的步距为1。
进一步的，S5中，每个分块在视觉神经中引起的冲动相对大小计算公式为：
其中，为第行第列分块或像素中梯度信息的标准差，
为所有分块或像素中梯度信息标准差的最大值。
可选的，S5中，人类视觉系统滤波器，获得对应的权重的计算公式为：
其中，和为滤波器的构造参数，与该高斯函数的形状相关联，与该高斯函
数的方差相关联，用于控制其响应特性，为各分块的权重，其大小反映了用于计
算图像清晰度时相对神经冲动经人眼视觉系统后各分块信息的权重，为每个分
块在视觉神经中引起的冲动相对大小，Γ为伽马函数，用于归一化权重，β为尺度参数，控制
滤波器的大小。
本发明的有益效果至少包括以下之一；
1、通过结合人类视觉系统的视觉特性，结果符合主观评价，具有更优越的准确度和鲁棒性。
2、弥补了已有的图像质量评价方法只能评价红外系统调焦过程中图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价结果波动较大的不足，使得该评价方法同时适用于红外成像系统在调焦和变倍过程中的图像质量评价。
附图说明
图1为本方法具体实现流程图；
图2a和图2b为模拟的红外成像系统调焦过程的某两帧图像；
图3为图2a感兴趣区域内所有分块在视觉神经中引起的相对冲动大小，及经人类视觉系统滤波器后对应的权重图像；
图4为基于六种方法评价红外成像系统模拟调焦过程的图像质量；
图5a和图5b为模拟的红外成像系统变倍过程的某两帧图像；
图6为基于六种方法评价红外成像系统模拟变倍过程的图像质量；
图7为另一种基于六种方法评价红外成像系统模拟变倍过程的图像质量；
具体实施方式
为了使本发明的目的、技术方案及优点能够更加清晰明白，以下结合附图和实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明保护内容。
首先本实施例中，利用低通滤波器构造更模糊的参考图像，并获取原始图像和参考图像对应的梯度图；将梯度图划分为多个小块，求梯度图对应分块的结构相似性；再计算原始图像对应梯度图中每个分块在视觉神经中引起的冲动相对大小，并利用人类视觉系统滤波器求每个分块的权重；最后将每个分块的结构相似性加权得到原始图像的清晰度，其具体包含以下步骤；
S1，输入原始图像；
S2，通过原始图像构造参考图像；
S3，提取原始图像和参考图像的梯度信息，并得到相应的梯度图像和；
S4，将梯度图像和划分为N个分块；
S5，通过梯度图像中每个分块的在视觉神经中引起的冲动相对大小，并利用人
类视觉系统滤波器，获得对应的权重；
S6，对梯度图像和图像对应分块进行计算，得到结构相似性；
S7，通过权重和结构相似性得到原始图像的清晰度值，
完成评价。
这样做的目的在于，通过结合人类视觉系统的视觉特性，结果符合主观评价，具有更优越的准确度和鲁棒性，弥补了已有的图像质量评价方法只能评价红外系统调焦过程中图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价结果波动较大的不足，使得该评价方法同时适用于红外成像系统在调焦和变倍过程中的图像质量评价。
同时，在S2中，通过低通滤波器，构造比原始图像模糊的参考图像。
并且在S2中，通过高斯模糊，对原始图像进行像素级处理，构造出更模糊的参考
图像，且卷积核的大小形状与原始图像目标尺寸相匹配。
同时S2中，原始图像目标尺寸小，则卷积核大小为3×3、1×3或者3×1中的一
种。
并且S3中，通过Sobel算子提取图像水平和竖直方向的梯度信息，得到梯度图像
和。
同时S4中，梯度图像和分块划分尺寸分别与原始图像和参考图像相匹
配。
并且S4中，原始图像和参考图像目标尺寸小，则分块大小为3×3，且块间的步
距为1。
同时S5中，每个分块在视觉神经中引起的冲动相对大小计算公式为：
其中，为第行第列分块或像素中梯度信息的标准差，
为所有分块或像素中梯度信息标准差的最大值。
并且S5中，人类视觉系统滤波器，获得对应的权重的计算公式为：
其中，和为滤波器的构造参数，与该高斯函数的形状相关联，与该高斯函
数的方差相关联，用于控制其响应特性，为各分块的权重，其大小反映了用于计
算图像清晰度时相对神经冲动经人眼视觉系统后各分块信息的权重，其大小反映了用于计
算图像清晰度时相对神经冲动经人眼视觉系统后各分块信息的权重，为每个分
块在视觉神经中引起的冲动相对大小，Γ为伽马函数，用于归一化权重，β为尺度参数，控制
滤波器的大小。
在具体实施中，图2a、图2b、图5a和图5b为模拟的红外成像系统在调焦和变倍过程中的某几帧图像。其中，图2a为构建的清晰红外图像，用不同标准差的高斯滤波器对其进行滤波，且标准差从0到5，间距取0.1，得到一组模糊程度越来越大的红外图像，共50帧，如图2b所示。
另外，针对视场内的特定目标，当成像系统的焦距变短时，视场变大，则该目标成像所占像素数减少，反之，像素数增加。根据该特性，模拟一组不同焦距的清晰红外图像，共58帧，如图5a、图5b所示。
先利用模拟的红外原始图像构造相应的参考图像：考虑到红外图像中四杆靶
标的尺寸较小，且是竖向条纹状的，故选用1×3尺寸的卷积核，经高斯模糊，即可得到原始
图像对应的参考图像。
然后提取原始图像和参考图像的梯度信息，利用Sobel算子提取图像水平和
竖直方向的梯度信息，记为梯度图像和。
接着将梯度图像和进行分块，由于图像中靶标的尺寸较小，为避免丢失边缘
信息，分块的大小采用3×3，且块间的步距为1。
然后计算梯度图像中每个分块在视觉神经中引起的冲动相对大小，并利用人类
视觉系统滤波器，求对应的权重，同时将梯度图像感兴趣区域划分为82×69的小分块，
计算结果如图3所示。
接着计算梯度图像和对应分块的结构相似性，加权计算原始图像的清晰度
值，计算结果如图4、图6和图 7中的HVS-NRSS红色曲线所示。其中，图4为利用六种方法评价
红外成像系统模拟调焦过程的50帧图像的结果；图6为利用六种方法评价红外成像系统模
拟变倍过程的58帧图像的结果，且均为未经高斯模糊的清晰图像；图7为利用六种方法评价
红外成像系统模拟变倍过程的58帧图像的结果，且均为经不同程度的高斯模糊后的图像。
需要特别说明的是，JNBM(Just Noticeable Blur Metric)、CPBD(Cumulative
Probability of Blur Detection)、EMBM(Edge Modeling Blur Metric)、NIQE(Natural
Image Quality Evaluator)和NRSS(No-Reference Structural Sharpness)是目前模糊图
像进行质量评价最具代表性的五种方法。其中，NRSS方法适用于评价红外系统调焦过程中
图像的离焦量，但评价变倍过程中的图像质量存在一定局限，表现为小目标成像时其评价
结果波动较大，而其他方法在红外图像质量评价方面暂未得到充分验证。
由图4可得：成像系统从聚焦切换到离焦过程中，本发明方法HVS-NRSS评估结果能准确反映50帧图像其质量逐渐降低的变化趋势；由图6可得：成像系统从长焦切换到短焦过程中，四杆靶目标的尺寸逐渐减小，且系统在变倍过程中均保持聚焦状态，故在整个变倍过程中，图像质量应保持不变，HVS-NRSS评价结果能准确反映58帧图像其质量基本保持不变的变化趋势。由图7可得：经不同程度的高斯模糊后，本发明方法HVS-NRSS评价结果仍能反映随高斯模糊标准差增大，图像质量降低的变化趋势。从图4、图6和图7可得，相比常用的五种图像质量评价方法，本发明方法HVS-NRSS可准确评价成像系统在调焦和变倍过程中当前状态的成像质量，符合主观评价结果，且评价结果不受四杆靶标尺寸约束，大大拓展了无参考结构清晰度评价方法在红外成像系统变倍过程中的实际应用范围。
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于人类视觉系统的无参考结构清晰度评价方法，包括以下步骤：
S1，输入原始图像；
S2，通过原始图像构造参考图像；
S3，提取原始图像和参考图像/>的梯度信息，并得到相应的梯度图像/>和/>；
S4，将梯度图像和/>划分为N个分块；
S5，通过梯度图像中每个分块的在视觉神经中引起的冲动相对大小，并利用人类视觉系统滤波器，获得对应的权重/>，且每个分块在视觉神经中引起的冲动相对大小计算公式为：
其中，为第/>行第/>列分块或像素中梯度信息的标准差，/>为所有分块或像素中梯度信息标准差的最大值，同时人类视觉系统滤波器，获得对应的权重/>的计算公式为：
其中，和/>为滤波器的构造参数，/>与该高斯函数的形状相关联，/>与该高斯函数的方差相关联，/>用于控制其响应特性，为各分块的权重，其大小反映了用于计算图像清晰度时相对神经冲动经人眼视觉系统后各分块信息的权重，/>为每个分块在视觉神经中引起的冲动相对大小，Γ为伽马函数，用于归一化权重，β为尺度参数，控制滤波器的大小；
S6，对梯度图像和图像/>对应分块进行计算，得到结构相似性/>；
S7，通过权重和结构相似性/>得到原始图像/>的清晰度值，
完成评价。
2.根据权利要求1所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S2中，通过低通滤波器，构造比原始图像/>模糊的参考图像/>。
3.根据权利要求2所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S2中，通过高斯模糊，对原始图像进行像素级处理，构造出更模糊的参考图像/>，且卷积核的大小形状与原始图像/>目标尺寸相匹配。
4.据权利要求3所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S2中，原始图像目标尺寸小，则卷积核大小为3×3、1×3或者3×1中的一种。
5.根据权利要求4所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S3中，通过Sobel算子提取图像水平和竖直方向的梯度信息，得到梯度图像和/>。
6.根据权利要求5所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S4中，梯度图像和/>分块划分尺寸分别与原始图像/>和参考图像/>相匹配。
7.根据权利要求6所述的一种基于人类视觉系统的无参考结构清晰度评价方法，其特征在于：所述S4中，原始图像和参考图像/>目标尺寸小，则分块大小为3×3，且块间的步距为1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110931781.6A CN113570596B (zh) | 2021-08-13 | 2021-08-13 | 一种基于人类视觉系统的无参考结构清晰度评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110931781.6A CN113570596B (zh) | 2021-08-13 | 2021-08-13 | 一种基于人类视觉系统的无参考结构清晰度评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113570596A CN113570596A (zh) | 2021-10-29 |
| CN113570596B true CN113570596B (zh) | 2024-06-07 |
Family
ID=78171744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110931781.6A Active CN113570596B (zh) | 2021-08-13 | 2021-08-13 | 一种基于人类视觉系统的无参考结构清晰度评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570596B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996406A (zh) * | 2010-11-03 | 2011-03-30 | 中国科学院光电技术研究所 | 无参考结构清晰度图像质量评价方法 |
| CN105825500A (zh) * | 2016-03-10 | 2016-08-03 | 江苏商贸职业学院 | 一种对相机图像质量的评价方法与装置 |
| CN106530282A (zh) * | 2016-10-20 | 2017-03-22 | 天津大学 | 基于空域特征的无参考立体图像质量客观评价方法 |
| CN112184672A (zh) * | 2020-09-30 | 2021-01-05 | 上海大学 | 一种无参考图像质量评价方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514580B (zh) * | 2013-09-26 | 2016-06-08 | 香港应用科技研究院有限公司 | 用于获得视觉体验优化的超分辨率图像的方法和系统 |
-
2021
- 2021-08-13 CN CN202110931781.6A patent/CN113570596B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996406A (zh) * | 2010-11-03 | 2011-03-30 | 中国科学院光电技术研究所 | 无参考结构清晰度图像质量评价方法 |
| CN105825500A (zh) * | 2016-03-10 | 2016-08-03 | 江苏商贸职业学院 | 一种对相机图像质量的评价方法与装置 |
| CN106530282A (zh) * | 2016-10-20 | 2017-03-22 | 天津大学 | 基于空域特征的无参考立体图像质量客观评价方法 |
| CN112184672A (zh) * | 2020-09-30 | 2021-01-05 | 上海大学 | 一种无参考图像质量评价方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 一种针对图像模糊的无参考质量评价指标;谢小甫等;计算机应用;第30卷(第4期);921-924 * |
| 基于对比度敏感度的无参考图像清晰度评价;范媛媛等;光学精密工程;第19卷(第10期);2485-2493 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113570596A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ignatov et al. | Dslr-quality photos on mobile devices with deep convolutional networks | |
| CN109754377B (zh) | 一种多曝光图像融合方法 | |
| CN109714519B (zh) | 一种自动调整图像画面的方法和系统 | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| KR101643607B1 (ko) | 영상 데이터 생성 방법 및 장치 | |
| CN110992263A (zh) | 一种图像拼接方法及系统 | |
| CN109064418A (zh) | 一种基于非局部均值的非均匀噪声图像去噪方法 | |
| CN112785572B (zh) | 图像质量评估方法、装置以及计算机可读存储介质 | |
| CN111696049A (zh) | 基于深度学习的水下扭曲图像重建方法 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN114913171A (zh) | 一种图像失焦检测方法、装置、电子设备及存储介质 | |
| CN111062895A (zh) | 一种基于多视场分割的显微图像复原方法 | |
| CN107220945A (zh) | 多重退化的极模糊图像的复原方法 | |
| CN112801890B (zh) | 一种视频处理方法、装置及设备 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN105303544A (zh) | 一种基于最小边界距离的视频拼接方法 | |
| CN111445435B (zh) | 一种基于多区块小波变换的无参考图像质量评价方法 | |
| CN113570596B (zh) | 一种基于人类视觉系统的无参考结构清晰度评价方法 | |
| CN112598604A (zh) | 一种盲脸复原方法及系统 | |
| CN116823863A (zh) | 一种红外图像轮廓提取方法及装置 | |
| CN104754316A (zh) | 一种3d成像方法、装置及成像系统 | |
| CN114972170B (zh) | 一种基于鱼眼相机的密集场景下抗遮挡的物体检测方法 | |
| CN112950479B (zh) | 一种图像灰度区域拉伸算法 | |
| CN113935910A (zh) | 一种基于深度学习的图像模糊长度测量方法 | |
| CN114359183A (zh) | 图像质量评估方法及设备、镜头遮挡的确定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |