CN106780463B - 一种全参考多曝光融合图像质量评估方法 - Google Patents

一种全参考多曝光融合图像质量评估方法 Download PDF

Info

Publication number
CN106780463B
CN106780463B CN201611158405.3A CN201611158405A CN106780463B CN 106780463 B CN106780463 B CN 106780463B CN 201611158405 A CN201611158405 A CN 201611158405A CN 106780463 B CN106780463 B CN 106780463B
Authority
CN
China
Prior art keywords
image
image block
reference image
exposure
blending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611158405.3A
Other languages
English (en)
Other versions
CN106780463A (zh
Inventor
曾焕强
刑露
倪张凯
曹九稳
蔡灿辉
马凯光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201611158405.3A priority Critical patent/CN106780463B/zh
Publication of CN106780463A publication Critical patent/CN106780463A/zh
Application granted granted Critical
Publication of CN106780463B publication Critical patent/CN106780463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种全参考多曝光融合图像质量评估方法，充分考虑人眼视觉系统和多曝光图像的特性，利用人眼对融合后的图像对比度和饱和度比较敏感的现象，在进行多尺度分解的基础上，以对比度作为权重值对多个参考图像进行融合后作为新参考图像，再与需评估的多曝光融合图像进行对比度和饱和度的相似性比较，从而得到单层质量评估值，再将多层质量评估值加权融合得到最终分数；该方法计算简单，充分反映了人眼对于多曝光融合图像的主观感知度，能够较好地评估多曝光融合图像的质量。

Description

一种全参考多曝光融合图像质量评估方法
技术领域
本发明涉及一种基于对比度和饱和度的全参考多曝光融合图像质量评估方法。
背景技术
随着计算机和网络通信技术的快速发展，人们对数字图像的质量要求越来越高。但是由于受到现有图像采集设备硬件水平的限制，相机所能采集到的自然场景的亮度动态范围远远少于自然真实场景的动态范围，例如从夜空中的星光到耀眼的太阳，场景亮度变化涵盖了大约九个数量级的动态范围。因此，多曝光融合技术应运而生。其将多幅曝光程度不等的图像融合成一幅质量优异的图像，弥补了硬件设施的不足，在电子消费设备等领域具有广泛的应用价值。
虽然多曝光融合图像的技术多种多样，但融合的目的始终是改善图像的质量。因此如何根据人类视觉系统评估多曝光融合图像质量的优异是图像融合中重要的研究内容，对融合算法的优化有着重要意义。
传统的多曝光融合图像质量评估方法包括主观评估方法和客观评估方法。主观评估方法是人眼直接观察图像，根据人的主观感知和规定的评估标准与尺度对图像进行相应的评判，得到最后的评估值。主观评估方法的结果往往更加符合图像的实际观察质量。但是其缺点也是十分明显的，如耗时长，需要大量人力物力，操作繁琐，不便于实际应用。而客观评估方法则弥补了主观评估的缺点，通过建立数学模型模仿人类视觉特性对图像进行评估，计算简单，耗时短。客观质量评估方法分为全参考图像质量评估方法、半参考图像质量评估方法和无参考图像质量评估方法。
现有全参考融合图像质量客观评估方法分为以下几类：
(1)基于信息量的客观评估，如熵、交叉熵、相关熵/联合熵、互信息；
(2)基于信噪比的评估，如峰值信噪比(PSNR)；
(3)基于梯度的评估，如清晰度和空间频率等。
但是以上几类传统的融合图像客观质量评估方法存在一定的局限性：其一是没有充分考虑人眼视觉特性；其二则是它们的提出往往是针对融合图像，而非多曝光融合图像，缺乏考虑图像曝光程度不一的因素。因此现有算法并不适用于多曝光融合图像质量评估。目前在图像处理领域中缺少对多曝光融合图像进行质量评估的方法。
发明内容
本发明的目的在于提出一种全参考多曝光融合图像质量评估方法，基于人类视觉系统(HVS)，充分反映了人眼对于多曝光融合图像的主观感知度，能够较好地评估多曝光融合图像的质量，且整体计算简单。
本发明一种全参考多曝光融合图像质量评估方法，包括如下步骤：
步骤1、输入融合图像F和参考图像序列里的全部参考图像Ri，i表示参考图像序列里的排序；
步骤2、对步骤1的融合图像和参考图像进行多尺度分解，得到l分解层，每个分解层包括分解后的参考图像Rl,i与多曝光融合图像Fl，其中l表示层数，取值范围为1,2,3,4,5，i表示参考图像序列里的排序，多尺度分解过程具体操作如下：
对步骤1的融合图像和参考图像进行多尺度分解，总共分解为5层，第一层分解图像为原图像不变，后一层分解图像以上一层图像作为输入图像，对其进行低通滤波和按照图像宽度和高度进行1/2的空间下采样得到该分解层图像；最后，逐层分解得到每个分解层的参考图像与多曝光融合图像；
步骤3、对每个分解层的参考图像与多曝光融合图像分别计算其相应质量评估值：
步骤31、将所有参考图像Rl,i划分成大小为11×11的参考图像块rl,i,k，通过对比度计算分配相应权重值ω(rl,i,k)，将所有参考图像Rl,i对应位置的参考图像块rl,i,k根据相应权重值融合成一个新参考图像块rl,k，其中l表示分解层的层数，i表示参考图像序列里的排序，i＝1,2,...,M,M表示参考图像总数，k表示参考图像中第k个图像块；
步骤32、计算新参考图像块rl,k与要评估的11×11的多曝光融合图像块fl,k相应的对比度相似性cs(rl,k,fl,k)与饱和度相似性ss(rl,k,fl,k)，所述的对比度即计算标准差，饱和度即计算协方差，具体包括如下步骤：
(1)计算新参考图像块rl,k的均值
(2)计算新参考图像块rl,k的标准差
(3)计算多曝光融合图像块fl,k的均值
(4)计算多曝光融合图像块fl,k的标准差
(5)计算新参考图像块rl,k和多曝光融合图像块fl,k的协方差
(6)计算对比度相似性
(7)计算饱和度相似性
其中,j表示图像块中的第j个像素，n表示图像块的像素总数，C为常数；
步骤33、通过对比度相似性与饱和度相似性的融合得到多曝光融合图像块fl,k的质量评估值：
CW-CFSCl,k＝cs(rl,k,fl,k)ss(rl,k,fl,k)；
步骤34、重复步骤31至33计算该分解层所有参考图像块的质量评估值，取其均值作为该分解层的多曝光融合图像的质量评估值：
其中，N表示该分解层所有参考图像块的总数；
步骤4、将计算得到的l个分解层的多曝光融合图像的质量评估值进行加权合成，得到最终的多曝光融合图像质量评估：
其中，βl为多尺度各个分解层的权重值。
所述的步骤31将所有参考图像以划分块为单位进行融合成一个新参考图像块，具体步骤如下：
(1)对第l分解层第i个参考图像划分成11×11的参考图像块rl,i,k，先计算参考图像块的均值
(2)计算参考图像块的标准差
(3)计算每个参考图像块的权重值
(4)融合成一个11×11的新参考图像块
其中，rl,i,k表示第l分解层中第i个参考图像的第k个参考图像块，M表示参考图像总数，j表示参考图像块中的第j个像素，n表示参考图像块的像素总数。
本发明充分考虑人眼视觉系统和多曝光图像的特性，利用人眼对融合后的图像对比度和饱和度比较敏感的现象，在进行多尺度分解的基础上，以对比度作为权重值对多个参考图像进行融合后作为新参考图像，再与需评估的多曝光融合图像进行对比度和饱和度的相似性比较，从而得到单层质量评估值，再将多层质量评估值加权融合得到最终分数。该方法计算简单，充分反映了人眼对于多曝光融合图像的主观感知度，能够较好地评估多曝光融合图像的质量。
附图说明
图1为本发明中多尺度分解的流程图；
图2为本发明多尺度分解下每一分解层的质量评估值的计算流程图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
本发明为了弥补现有的图像质量评估算法不适用于多曝光融合图像质量评估的现象，提出了一种全参考多曝光融合图像质量评估方法，如图1和图2所示，在多尺度分解的基础上，对于每一个分解层的计算，先利用对比度作为权重，将所有参考图像以划分块为单位融合成一个新参考图像块，再与多曝光融合图像块进行饱和度相似性和对比度相似性的比较，得到每一分解层的图像质量评估值，再进行加权融合从而得到最终图像质量评估值，具体步骤如下：
步骤1、输入融合图像F和参考图像序列里的全部参考图像Ri，i表示参考图像序列里的排序；
步骤2、对步骤1的融合图像和参考图像进行多尺度分解，得到l分解层，每个分解层包括分解后的参考图像Rl,i与多曝光融合图像Fl，其中l表示层数，取值范围为1,2,3,4,5，i表示参考图像序列里的排序，多尺度分解过程具体操作如下：
对步骤1的融合图像和参考图像进行多尺度分解，总共分解为5层，第一层分解图像为原图像不变，后一层分解图像以上一层图像作为输入图像，对其进行低通滤波和按照图像宽度和高度进行1/2的空间下采样得到该分解层图像；最后，逐层分解得到每个分解层的参考图像与多曝光融合图像；
步骤3、对每个分解层的参考图像与多曝光融合图像分别计算其相应质量评估值：
步骤31、将所有参考图像Rl,i划分成大小为11×11的参考图像块rl,i,k，通过对比度计算分配相应权重值ω(rl,i,k)，将所有参考图像Rl,i对应位置的参考图像块rl,i,k根据相应权重值融合成一个新参考图像块rl,k，其中l表示分解层的层数，i表示参考图像序列里的排序，i＝1,2,...,M,M表示参考图像总数，k表示参考图像第k个参考图像块，具体步骤如下：
(1)对第l分解层第i个参考图像划分成11×11的参考图像块rl,i,k，先计算参考图像块的均值
(2)计算参考图像块的标准差
(3)计算每个参考图像块的权重值
(4)融合成一个11×11的新参考图像块
其中，rl,i,k表示第l分解层中第i个参考图像的第k个参考图像块，M表示参考图像总数，j表示参考图像块中的第j个像素，n表示参考图像块的像素总数；
步骤32、计算新参考图像块rl,k与要评估的多曝光融合图像块fl,k相应的对比度相似性cs(rl,k,fl,k)与饱和度相似性ss(rl,k,fl,k)，所述的对比度即计算标准差，饱和度即计算协方差，具体包括如下步骤：
(1)计算新参考图像块rl,k的均值
(2)计算新参考图像块rl,k的标准差
(3)计算多曝光融合图像块fl,k的均值
(4)计算多曝光融合图像块fl,k的标准差
(5)计算新参考图像块rl,k与多曝光融合图像块fl,k的协方差
(6)计算对比度相似性
(7)计算饱和度相似性
其中,j表示图像块中的第j个像素，n表示图像块的像素总数，C为常数，取C＝(255×0.03)2；
步骤33、通过对比度相似性与饱和度相似性的融合得到多曝光融合图像块fl,k的质量评估值：
CW-CFSCl,k＝cs(rl,k,fl,k)ss(rl,k,fl,k)；
步骤34、重复步骤31至33计算该分解层所有参考图像块的质量评估值，取其均值作为该分解层的多曝光融合图像的质量评估值：
其中，N表示该分解层所有参考图像块的总数；
步骤4、将计算得到的l个分解层的多曝光融合图像的质量评估值进行加权合成，得到最终的多曝光融合图像质量评估：
其中，βl为多尺度各个分解层的权重值，
βl＝{0.0448,0.2856,0.3001,0.2363,0.1333}，l＝1,2,3,4,5。
多曝光融合图像质量评估值CW-CFSC与多曝光融合图像的质量成正比，即多曝光融合图像质量评估值CW-CFSC越大，表示多曝光融合图像的融合效果越好，主观质量更好。
以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (2)

1.一种全参考多曝光融合图像质量评估方法，其特征在于包括如下步骤：
步骤1、输入融合图像F和参考图像序列里的全部参考图像Ri，i表示参考图像序列里的排序；
步骤2、对步骤1的融合图像和参考图像进行多尺度分解，得到l分解层，每个分解层包括分解后的参考图像Rl,i与多曝光融合图像Fl，其中l表示层数，取值范围为1,2,3,4,5，i表示参考图像序列里的排序，多尺度分解过程具体操作如下：
对步骤1的融合图像和参考图像进行多尺度分解，总共分解为5层，第一层分解图像为原图像不变，后一层分解图像以上一层图像作为输入图像，对其进行低通滤波和按照图像宽度和高度进行1/2的空间下采样得到该分解层图像；最后，逐层分解得到每个分解层的参考图像与多曝光融合图像；
步骤3、对每个分解层的参考图像与多曝光融合图像分别计算其相应质量评估值：
步骤31、将所有参考图像Rl,i划分成大小为11×11的参考图像块rl,i,k，通过对比度计算分配相应权重值ω(rl,i,k)，将所有参考图像Rl,i对应位置的参考图像块rl,i,k根据相应权重值融合成一个新参考图像块rl,k，其中l表示分解层的层数，i表示参考图像序列里的排序，i＝1,2,...,M,M表示参考图像总数，k表示参考图像中第k个图像块；
步骤32、计算新参考图像块rl,k与要评估的11×11的多曝光融合图像块fl,k相应的对比度相似性cs(rl,k,fl,k)与饱和度相似性ss(rl,k,fl,k)，所述的对比度即计算标准差，饱和度即计算协方差，具体包括如下步骤：
(1)计算新参考图像块rl,k的均值
(2)计算新参考图像块rl,k的标准差
(3)计算多曝光融合图像块fl,k的均值
(4)计算多曝光融合图像块fl,k的标准差
(5)计算新参考图像块rl,k与多曝光融合图像块fl,k的协方差
(6)计算对比度相似性
(7)计算饱和度相似性
其中，j表示图像块中的第j个像素，n表示图像块的像素总数，C为常数；
步骤33、通过对比度相似性与饱和度相似性的融合得到多曝光融合图像块fl,k的质量评估值：
CW-CFSCl,k＝cs(rl,k,fl,k)ss(rl,k,fl,k)；
步骤34、重复步骤31至33计算该分解层所有参考图像块的质量评估值，取其均值作为该分解层的多曝光融合图像的质量评估值：
其中，N表示该分解层所有参考图像块的总数；
步骤4、将计算得到的l个分解层的多曝光融合图像的质量评估值进行加权合成，得到最终的多曝光融合图像质量评估：
其中，βl为多尺度各个分解层的权重值。
2.根据权利要求1所述的一种全参考多曝光融合图像质量评估方法，其特征在于所述的步骤31将所有参考图像以划分块为单位进行融合成一个新参考图像块，具体步骤如下：
(1)对第l分解层第i个参考图像划分成11×11的参考图像块rl,i,k，先计算参考图像块的均值
(2)计算参考图像块的标准差
(3)计算每个参考图像块的权重值
(4)融合成一个11×11的新参考图像块其中，rl,i,k表示第l分解层中第i个参考图像的第k个参考图像块，M表示参考图像总数，j表示参考图像块中的第j个像素，n表示参考图像块的像素总数。
CN201611158405.3A 2016-12-15 2016-12-15 一种全参考多曝光融合图像质量评估方法 Active CN106780463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611158405.3A CN106780463B (zh) 2016-12-15 2016-12-15 一种全参考多曝光融合图像质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611158405.3A CN106780463B (zh) 2016-12-15 2016-12-15 一种全参考多曝光融合图像质量评估方法

Publications (2)

Publication Number Publication Date
CN106780463A CN106780463A (zh) 2017-05-31
CN106780463B true CN106780463B (zh) 2019-07-05

Family

ID=58888293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611158405.3A Active CN106780463B (zh) 2016-12-15 2016-12-15 一种全参考多曝光融合图像质量评估方法

Country Status (1)

Country Link
CN (1) CN106780463B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564050A (zh) * 2018-04-23 2018-09-21 西安安邦鼎立智能科技有限公司 一种基于视频的两客一危企业监控人员查岗方法及系统
CN110555843B (zh) * 2019-09-11 2023-05-09 浙江师范大学 一种高精度的无参考融合遥感影像质量分析方法及系统
CN113409247B (zh) * 2021-04-15 2022-07-15 宁波大学 一种多曝光融合图像质量评价方法
CN113610863B (zh) * 2021-07-22 2023-08-04 东华理工大学 多曝光图像融合质量评估方法
CN114612388B (zh) * 2022-02-18 2024-09-06 南方医科大学南方医院 乳腺癌新辅助化疗术后结果评估系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063712A (zh) * 2010-11-04 2011-05-18 北京理工大学 基于子带结构的多曝光图像融合方法
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN106169182A (zh) * 2016-05-25 2016-11-30 西安邮电大学 一种合成多幅不同曝光度图像的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063712A (zh) * 2010-11-04 2011-05-18 北京理工大学 基于子带结构的多曝光图像融合方法
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN106169182A (zh) * 2016-05-25 2016-11-30 西安邮电大学 一种合成多幅不同曝光度图像的方法

Also Published As

Publication number Publication date
CN106780463A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106780463B (zh) 一种全参考多曝光融合图像质量评估方法
Choi et al. Referenceless prediction of perceptual fog density and perceptual image defogging
Tian et al. A multi-order derivative feature-based quality assessment model for light field image
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
Ciancio et al. No-reference blur assessment of digital pictures based on multifeature classifiers
CN107220956A (zh) 一种基于多幅具有不同曝光度的ldr图像的hdr图像融合方法
Tian et al. Light field image quality assessment via the light field coherence
CN107316286B (zh) 一种图像中雨雾同步合成、去除的方法和装置
CN107734271B (zh) 高动态范围十亿像素视频生成方法
CN104077759A (zh) 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN106897986B (zh) 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN104182970B (zh) 一种基于摄影构图规则的留念照人像站位推荐方法
CN103400342A (zh) 基于混合色阶映射及压缩系数的高动态范围图像重构方法
CN101765022A (zh) 一种基于光流与图像分割的深度表示方法
CN102750731A (zh) 基于左右单眼感受野和双目融合的立体视觉显著计算方法
CN106157305B (zh) 基于局部特性的高动态图像快速生成方法
CN103839236A (zh) 一种基于稀疏表示的图像白平衡方法
CN117350925A (zh) 一种巡检图像红外可见光图像融合方法、装置及设备
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
CN110519509A (zh) 构图评价方法、摄影方法、装置、电子设备、存储介质
Chu et al. Saliency structure stereoscopic image quality assessment method
CN109949208A (zh) 基于互联网3d服装样板自动生成系统
CN113240573B (zh) 局部和全局并行学习的高分辨率图像风格变换方法及系统
Li et al. SpectralNeRF: Physically Based Spectral Rendering with Neural Radiance Field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant