CN105933617A - 一种用于克服动态问题影响的高动态范围图像融合方法 - Google Patents

一种用于克服动态问题影响的高动态范围图像融合方法 Download PDF

Info

Publication number
CN105933617A
CN105933617A CN201610335204.XA CN201610335204A CN105933617A CN 105933617 A CN105933617 A CN 105933617A CN 201610335204 A CN201610335204 A CN 201610335204A CN 105933617 A CN105933617 A CN 105933617A
Authority
CN
China
Prior art keywords
image
function
exposure
camera response
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610335204.XA
Other languages
English (en)
Other versions
CN105933617B (zh
Inventor
都琳
孙华燕
张廷华
王帅
徐韬祜
李迎春
梁丹华
高宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Equipment College
Original Assignee
PLA Equipment College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Equipment College filed Critical PLA Equipment College
Priority to CN201610335204.XA priority Critical patent/CN105933617B/zh
Publication of CN105933617A publication Critical patent/CN105933617A/zh
Application granted granted Critical
Publication of CN105933617B publication Critical patent/CN105933617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种用于克服动态问题影响的高动态范围图像融合方法,用于解决拍摄场景动态以及成像系统晃动影响的高动态范围的图像融合问题。其中,采用基于亮度映射函数标定相机响应函数的方法克服动态问题给相机响应函数标定带来的影响,然后结合总体最小二乘法引入校正矩阵,对误差进行联合补偿,从而无需高精度的图像配准即能够获得成像系统的相机响应函数;进而通过分析多曝光图像序列特点选择权重函数,结合标定的相机响应函数构建高动态范围图像权重融合函数,利用输入的多曝光图像序列获得高动态范围图像融合结果。本发明方法能够克服动态问题给相机响应函数标定带来的困难,进而提高了多曝光高动态范围融合技术的适用性。

Description

一种用于克服动态问题影响的高动态范围图像融合方法
技术领域
本发明属于图像处理技术领域,涉及一种适用于解决拍摄场景动态以及成像系统晃动影响的高动态范围图像融合方法。
背景技术
现实环境及战场环境中往往会出现动态范围较大的场景,即同一视场中同时出现较亮和较暗的信息。如果拍摄场景的动态范围超过了成像器件的动态范围,就会造成采集的图像出现过饱和或欠饱和的情况,从而影响目标信息的采集及识别。如发射的导弹由于尾焰过亮会造成采集图像饱和,从而无法看清弹体等现象,影响目标的分析。因此,为了便于目标观测,对观测设备、发射时间窗口选取以及天气环境等因素均提出了较高的要求。
高动态范围成像技术能够避免因为拍摄方向(如逆光情况)和曝光量不足而使图像存在亮度信息缺失和偏色等问题,不影响真实场景的信息采集,有利于复杂环境下获得更高的成像质量,因此被广泛应用于模式识别、智能交通系统、深空探测、视频监控跟踪、机器人视觉导航、工业检测、遥感遥测、军事监视侦察以及武器导航制导等众多领域,具有重要的研究价值。
成像系统的相机响应函数能够建立拍摄图像强度信息与场景辐亮度之间的严格映射关系,是高动态范围图像融合的关键技术,拍摄场景的动态以及成像系统的晃动也会影响成像系统相机响应函数的标定,而多曝光图像序列配准很难达到较高的精度,从而给动态目标高精度的高动态范围图像融合带来较大困难。
目前已有的高动态范围图像融合方法主要是利用不同曝光量的已配准的图像序列作为输入,在已知图像之间的曝光比例的情况下,建立了图像各通道图像强度信息与场景辐照度之间的映射关系,从而获得反映拍摄场景的高动态范围图像,但通常需要拍摄场景保持静态并假设图像序列照度一致。例如2015年计算机工程与科学上的《基于相机响应曲线的高动态范围图像融合》一文,文中提出利用已配准的多曝光图像序列每个像素点的信息标定相机响应函数,进而利用相机响应函数建立图像亮度值与拍摄场景辐照度之间的映射关系,从而获得能够反映拍摄场景高动态范围的辐照度图像。该算法需要精确配准的静态场景多曝光量图像序列作为输入进行相机响应函数的标定,当拍摄场景存在动态问题影响或相机晃动的情况下会给图像配准带来较大困难,从而无法进行相机响应函数标定,也即该算法无法克服动态问题带来的影响;而且,利用该算法获得的高动态范围图像融合存在偏色,需要结合相应的色彩校正算法对输出结果进行白平衡。
发明内容
本发明解决的技术问题是:克服现有技术的不足,提供了一种克服动态问题影响的高动态范围图像融合方法,能够利用彩色图像各颜色通道的亮度统计特征获得亮度映射函数,从而克服动态问题影响完成相机响应函数的标定,进而结合输入图像序列特征构建权重融合函数进行高动态范围的图像融合。
本发明的技术解决方案是:一种用于克服动态问题影响的高动态范围图像融合方法,包括如下步骤:
(1)利用相机获得目标不同曝光量的曝光图像序列;
(2)根据目标的曝光图像序列,获取图像的亮度映射函数T(m),具体为:
(21)将曝光图像序列按曝光量从低到高进行排列,然后从第一帧图像开始每两帧图像组成一个输入图像对;
(22)针对每一个输入图像对,获得该输入图像对中两帧图像各颜色通道的亮度信息的累积直方图;
(23)利用输入图像对的两帧图像各颜色通道亮度信息的累积直方图,计算两帧图像各颜色通道之间的亮度映射函数T(m),
T ( m ) = H B - 1 ( H A ( m ) )
其中m为亮度值,HA(m)为输入图像对中的第一帧图像的某颜色通道亮度值为m的累积直方图函数,为输入图像对中的第二帧图像的对应颜色通道亮度值为m的累积直方图逆函数;
(3)利用亮度映射函数T(m)对相机响应函数进行标定,获得相机响应逆函数的近似表达式g;
(4)结合相机响应逆函数的近似表达式g及曝光图像序列曝光时间信息Δt构建图像权重融合函数Ii,获得彩色图像各颜色通道的辐照度信息,从而获得反映拍摄场景信息的高动态范围图像。
所述的图像权重融合函数Ii为:
I i = Σ j = 1 P w ( M i j ) g ( M i j ) / Δt j Σ j = 1 P w ( M i j )
式中i为图像中像素点的空间索引,j为曝光图像序列中的图像索引,Mij为输入曝光图像序列中第j帧图像上像素点i的亮度信息,w为三角帽权值函数,Δtj为曝光图像序列中第j帧图像的曝光时间,P为曝光图像序列中的图像总帧数。
所述步骤(3)中获得相机响应逆函数的近似表达式g的方法为:
(31)获取两帧不同曝光量图像对应关系如下:
g(T(MA))=kg(MA)
其中MA图像A上被估计的像素点的图像亮度信息,T是图像B和图像A之间的亮度传递函数,k是两帧不同曝光量图像中图像A和图像B之间的曝光比;
(32)加入权重函数,将步骤(31)的结果修改为:
g ( T ( M A ) ) C B = k g ( M A ) C A
其中CA是第一帧图像A中亮度值为MA的像素个数,CB是第二帧图像B中亮度值为MB的像素个数;
(33)利用多项式对相机响应逆函数进行建模,将不同输入图像对获得的亮度传递函数以及相机响应逆函数多项式代入步骤(32)的表达式中获得一组超定方程;
(34)利用总体最小二乘法求解所述的超定方程,获得相机响应逆函数的模型系数,由此得到相机响应逆函数的近似表达式g。
本发明与现有技术相比的优点在于:
(1)本发明根据图像亮度信息的统计特征,提出了基于累积直方图建模的亮度映射函数计算方法,进而利用亮度映射函数而不是图像各像素点信息进行相机响应函数标定,从而克服了拍摄场景动态问题以及成像系统的晃动给相机响应函数标定带来的困难,同时降低了相机响应函数标定算法方计算量,提高了计算效率;
(2)本发明利用总体最小二乘法求解相机响应逆函数标定模型系数,由于总体最小二乘法引入校正矩阵对存在的误差进行联合补偿,抑制了误差及噪声对矩阵方程求解的影响,能够获得更高精度的相机响应函数标定结果;
(3)本发明利用三角帽函数作为权重,结合标定的相机响应函数共同构建高动态范围融合权重函数,可有效的提取输入不同曝光量图像序列中的有效信息,从而有效避免高动态范围图像融合产生偏色的问题;
(4)本发明利用亮度映射函数标定的相机响应函数进行高动态图像融合,由于利用的是图像亮度值的统计特征而不是各像素点的信息,因此能够消除高精度相机响应函数标定对输入图像序列绝对空间一致的要求,从而克服场景动态问题以及成像系统自身晃动带来的影响,提升了高动态范围图像融合技术的应用范围。
附图说明
图1为本发明方法的流程框图;
图2为本发明拍摄的存在相机晃动的多曝光图像序列;
图3为本发明利用不同输入图像对获得的亮度映射函数;
图4为本发明标定的相机响应逆函数结果;
图5为本发明高动态范围图像融合结果。
具体实施方式
本发明方法的基本思想是:由于拍摄目标光照条件不变的条件下,针对拍摄场景中某一点,比其亮与比其暗的像素点个数比例是恒定的,基本不受成像系统晃动的影响,即场景的动态问题影响不会明显的改变图像亮度信息的统计特征,场景辐亮度的总体直方图基本保持恒定。所以可利用不同曝光量的图像通过累积直方图规则化对输入图像对进行直方图建模以获得图像之间的亮度映射函数,然后结合总体最小二乘法引入校正矩阵对误差进行联合补偿,从而能够利用亮度映射函数而非采集序列图像每个像素点的信息实现成像系统的高精度相机响应函数标定,进而分析输入的多曝光图像序列特征,选择合适的权重函数结合标定的相机响应逆函数构建高动态范围图像融合权重函数,最终获得拍摄目标的高动态范围图像。这种处理方式能够消除高精度相机响应函数标定对输入图像序列绝对空间一致的要求,克服拍摄目标的动态问题以及成像系统的晃动带来的影响,同时降低计算量,扩展高动态范围图像融合的应用范围。
如图1所示,为本发明方法的流程框图,主要包括如下几个步骤:
(1)根据拍摄目标特点,获得目标多曝光图像序列;
首先利用相机根据拍摄场景目标需求,进行相应的不同曝光量设置,采集目标的多曝光图像序列,曝光量由低到高为E1,E2,...,EP
假设f表示相机响应函数,利用相机响应函数f表示场景辐照度值I对应采集图像上亮度值M的关系,如下所示:
M=f(I)
根据相机响应函数的单调性,存在反函数g=f-1,即I=f-1(M)=g(M)。
针对同一场景拍摄的两帧不同曝光量图像对应辐照度之间的映射关系如下所示:
g(mB)=kg(mA)
式中mA是图像A上被估计的像素点的图像亮度信息,mB是图像B上对应点的亮度信息,k是图像A和图像B之间的曝光比。
(2)根据目标多曝光序列图像,获取图像的亮度映射函数。
该步骤又包括以下几个步骤:
(21)根据曝光量将图像序列分为每两帧图像组成的多组输入图像对。
将输入图像序列按曝光量从低到高进行排列,即E1,E2,...,EP,由第一帧图像开始依次每两帧图像组成输入图像对(E1,E2),...,(EP-1,EP)。
(22)针对每一组输入图像对,获得该两帧图像各颜色通道亮度统计特征信息;
适当的目标以及场景运动的情况下,场景辐亮度的总体直方图基本保持恒定,因此可利用不同曝光的图像通过累积直方图规则化对输入图像进行直方图建模,获得图像对之间的亮度映射函数。
假设输入图像的各颜色通道亮度信息对应的直方图没有空缺部分,彩色图像的各颜色通道(分别为红绿蓝)的累积直方图HR(M)、HG(M)及HB(M)如下所示:
H R ( M ) = ∫ 0 M h R ( m ) d m , H G ( M ) = ∫ 0 M h G ( m ) d m , H B ( M ) = ∫ 0 M h B ( m ) d m
式中M是图像各颜色通道累积直方图的最高亮度值,m是累积直方图对应亮度范围中的亮度信息,hR(m)、hG(m)以及hB(m)分别为红绿蓝三个颜色通道的直方图。
(23)利用输入图像对的各颜色通道亮度信息的累积直方图规则化计算两帧图像各颜色通道之间的亮度映射函数。
由于拍摄目标光照条件不变的条件下,针对拍摄场景中某一点,比其亮与比其暗的像素点个数比例是恒定的,基本不受成像系统晃动的影响。根据该性质假设输入的两帧图像是在没有大幅度相机晃动或场景变化的情况下获得的,以图像红色通道为例,利用红色通道的亮度映射函数T建立输入图像对中的第二帧图像红色通道的亮度值MB与第一帧图像中红色通道的亮度值MA的对应关系,即MB=T(MA)。由于它们对应于拍摄场景中相同的点,第一帧图像中亮度值小于MA的像素点数目与第二帧图像中亮度值小于MB的像素点数目应相等,可利用累积直方图表示,即HRA(MA)=HRB(MB)=HRB(T(MA))。令MA=m,则:
T R ( m ) = H R B - 1 ( H R A ( m ) )
式中TR为两帧图像之间红色通道的亮度映射函数,HRA为第一帧图像红色通道的累积直方图,HRB为第二帧图像红色通道的累积直方图。
彩色图像各颜色通道的亮度映射函数T可通过上式结合输入图像的累积直方图获得。
(3)利用亮度映射函数对成像系统的相机响应函数进行标定,建立成像系统的相机响应逆函数标定模型;利用总体最小二乘法对相机响应逆函数标定模型系数进行求解,从而获得成像系统的相机响应逆函数。具体又分为如下步骤:
(31)将获得的表述两帧图像对应像素点亮度值之间关系的亮度映射函数MB=T(MA):=g-1(kg(MA))带入g(mB)=kg(mA),得到两帧不同曝光量图像对应关系如下:
g(T(MA))=kg(MA)
(32)加入权重函数。
用于计算图像之间亮度传递函数的两帧图像的累积直方图HA和HB并不是一致的,这意味着任意一个颜色通道的亮度值对应的亮度传递函数依赖于图像中该亮度值对应的像素数目,因此需要对约束方程g(T(MA))=kg(MA)加入相应权重以提高相机响应函数标定精度并克服相机响应函数的分形自相似性。
对于映射对(MA,T(MA))而言,hA(MA)=CA是第一帧图像A中亮度值为MA的像素个数,hB(MB)=hB(T(MA))=CB是第二帧图像B中亮度值为MB的像素个数。为了求解后续的最小二乘问题,将不同曝光量图像结合相机响应函数及相应的约束权重得到:
g ( T ( M A ) ) C B = k g ( M A ) C A
由于直接在方程两端乘以相应的直方图权重,过大的权重差异会造成方程结果震荡,给结果带来较大的误差,所以对直方图进行开根号处理降低两端权重差异,从而获得稳定的求解结果。
(33)建立相机响应逆函数超定方程,并利用总体最小二乘法求解相机响应逆函数。
可以利用六阶多项式对相机响应函数进行建模,如下所示:
g=m0+m1x+m2x2+m3x3+m4x4+m5x5+m6x6
将不同输入图像对获得的亮度传递函数结合相机响应函数六阶多项式模型带入式获得一组超定方程如下所示:
m 0 ( C B - k C A ) + m 1 ( T ( M A ) C B - kM A C A ) + m 2 ( T ( M A ) 2 C B - kM A 2 C A ) + ... + m 6 ( T ( M A ) 6 C B - kM A 6 C A ) = 0
由于总体最小二乘法相较于最小二乘法能够实现对误差的联合补偿,从而能够抑制误差及噪声对矩阵方程求解的影响,从而精确地求解系数{m0,m1,...,m6},获得相机响应逆函数的近似表达式g。
(331)相机响应逆函数超定方程模型线性化。
利用变量代换法将相机响应逆函数标定的超定方程模型进行简化处理,如下所示:
m0X0+m1X1+m2X2+m3X3+m4X4+m5X5+m6X6=0
式中
(332)获得零均值的数据矩阵。
A = X 0 - X ‾ 0 X 1 - X ‾ 1 ... X 6 - X ‾ 6
式中A为构建的零均值数据矩阵。
(333)求解相机响应逆函数模型系数。
对ATA进行特征值分解如下所示:
式中σ01>…>σ6为特征值,u1,u2,…,u6为特征值对应的特征向量。
则相机响应逆函数模型系数[m0 m1 ... m6]T向量取特征值σ6对应的特征向量,即:
[m0 m1 ... m6]T=u6 T
将此参数进行代入刘姐相机响应逆函数模型,从而实现相机响应逆函数的标定。
(4)利用标定的成像系统的相机响应逆函数建立彩色图像各颜色通道亮度信息与拍摄场景辐照度信息之间的映射关系,针对多曝光图像序列特点构建高动态范围图像权重融合函数进行高动态范围图像融合。
相机响应逆函数是阐述亮度信息与能够反映真实拍摄信息的辐照度之间的映射关系的。通过将彩色图像分解为不同的颜色通道,分别对不同的颜色通道中的亮度信息通过相应的相机响应逆函数进行映射。对于动态范围较大的拍摄场景,一帧低动态范围图像无法完全反映拍摄场景包含的信息,但通过调节成像系统的曝光量,可获得多曝光图像序列,每一帧不同曝光量的图像中包含不同的动态范围信息。所以可通过利用相机响应逆函数构建高动态范围融合权重函数结合输入多曝光图像序列实现高动态范围图像融合。
(41)选择权重函数。
高动态范围图像融合中权重函数的选取应弱化欠曝光以及过饱和部分包含信息量少的区域,强化曝光量合适的部分,即能够有效表达图像信息的部分,为此采用三角帽函数作为权重函数:
w ( M ) = M - M m i n M ≤ M m i n + M m a x 2 M m a x - M M ≥ M m i n + M m a x 2
式中w(M)为亮度值M的三角帽权重函数值,Mmin为输入图像特定颜色通道最小亮度值,Mmax为输入图像同一特定颜色通道最大亮度值。
(42)构建高动态范围图像融合权重函数。
针对彩色图像序列,将序列中的每一帧图像分解为R、G、B三个颜色通道,分别对各颜色通道的亮度信息进行处理。由于相机响应逆函数能够获得亮度信息与辐照度信息之间的映射关系,但每一帧图像的亮度信息由于其曝光量不同,所包含的有效信息不同,需要利用选择的权重函数对每一帧图像中各像素点的亮度信息进行加权融合,同时考虑各帧图像不同曝光量的影响,构建高动态范围图像融合权重函数如下所示:
I i = Σ j = 1 P w ( M i j ) g ( M i j ) / Δt j Σ j = 1 P w ( M i j )
式中i为图像中像素点的空间索引,j为图像序列中的图像索引,g为标定的相机响应逆函数,Mij为输入多曝光图像序列中第j帧图像上像素点i的亮度信息,w为三角帽权值函数,Δtj为图像序列中第j帧图像曝光时间。
上式即为构建的高动态范围图像权重融合函数,通过多曝光图像序列中对应空间位置像素点的亮度信息获得的相应权重以及相机响应逆函数映射值,结合相应输入帧图像的曝光时间代入上式,即能够获得拍摄场景对应点的辐照度信息。
(43)获得拍摄场景的高动态范围图像。
获得彩色图像R、G、B各颜色通道的亮度信息,结合标定的相机响应逆函数以及构建的高动态范围图像权重融合函数,针对每一个颜色通道亮度信息进行逆映射,获得相应颜色通道的辐照度信息,即能够获得通过单帧图像反映拍摄场景丰富信息的高动态范围图像。
(431)获得彩色图像各颜色通道的亮度信息。
(432)通过多曝光输入图像序列中对应空间位置像素点的亮度信息获得的相应权重以及相机响应逆函数映射值,结合相应输入帧图像的曝光时间代入(42)中构建的高动态范围图像权重融合函数,即能够获得拍摄场景对应点的辐照度信息。
(433)分别获得各颜色通道的辐照度信息,即获得需要的反映拍摄场景高动态范围的RGB颜色模型高动态范围图像。
实施例
下面以一个具体实例对本发明方法的工作原理和过程作进一步说明。
(1)获得目标多曝光图像序列。利用佳能D90相机获得的一组含有成像系统晃动的目标多曝光序列图像如图2所示,成像系统晃动给图像之间带来的影响不超过五个像素。图2中,图2(a)的曝光时间为1/10s,图2(b)的曝光时间为1/5s,图2(c)的曝光时间为1/2s,图2(d)的曝光时间为0.77s,图2(e)的曝光时间为2s,图2(f)的曝光时间为5s,图2(g)的曝光时间为8s,图2(h)的曝光时间为13s。
(2)分解彩色图像。将获得的目标多曝光彩色图像按照R、G、B颜色通道进行分解,获得各颜色通道的亮度信息。
(3)从序列图像中选取图像对获得亮度映射函数,选取图2(a)和图2(b)、图2(c)和图2(d)、图2(e)和图2(f)、图2(g)和图2(h)组成四组图像对,分别获得四组图像对各颜色通道相应的亮度传递函数曲线如图3所示。图3(a)、图3(b)、图3(c)分别为红色通道、绿色通道、蓝色通道不同输入图像对的亮度映射函数。
(4)利用亮度传递函数进行相机响应函数标定,相机响应逆函数标定结果如图4所示。
利用均方根误差对存在动态问题影响条件下的相机响应函数标定结果进行定量的评价,同时采用目前成熟的Debevec和Malik提出的相机响应标定算法对相同的输入图像进行相机响应函数标定,对比结果如下表所示:
通过均方根误差可以观察到,针对存在动态问题影响到的图像序列进行相机响应函数标定,基于亮度映射函数的相机响应函数标定方法仍然能够获得较为理想的标定结果,而Debevec和Malik提出算法无法对存在动态问题影响的输入图像进行相机响应函数标定。
(5)利用图2中多曝光输入图像序列结合构建的高动态范围图像权重融合函数进行高动态范围图像融合,结果如图5所示。
从实验结果可以看出,在同一帧结果图像中易于过曝光的照明灯处以及易于欠曝光无法观察的办公桌下阴暗处均能在同一帧结果图像中得以显示,且克服了相机晃动带来的影响,从而实现了高动态范围的图像融合。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (3)

1.一种用于克服动态问题影响的高动态范围图像融合方法,其特征在于包括如下步骤:
(1)利用相机获得目标不同曝光量的曝光图像序列;
(2)根据目标的曝光图像序列,获取图像的亮度映射函数T(m),具体为:
(21)将曝光图像序列按曝光量从低到高进行排列,然后从第一帧图像开始每两帧图像组成一个输入图像对;
(22)针对每一个输入图像对,获得该输入图像对中两帧图像各颜色通道的亮度信息的累积直方图;
(23)利用输入图像对的两帧图像各颜色通道亮度信息的累积直方图,计算两帧图像各颜色通道之间的亮度映射函数T(m),
T ( m ) = H B - 1 ( H A ( m ) )
其中m为亮度值,HA(m)为输入图像对中的第一帧图像的某颜色通道亮度值为m的累积直方图函数,为输入图像对中的第二帧图像的对应颜色通道亮度值为m的累积直方图逆函数;
(3)利用亮度映射函数T(m)对相机响应函数进行标定,获得相机响应逆函数的近似表达式g;
(4)结合相机响应逆函数的近似表达式g及曝光图像序列曝光时间信息Δt构建图像权重融合函数Ii,获得彩色图像各颜色通道的辐照度信息,从而获得反映拍摄场景信息的高动态范围图像。
2.根据权利要求1所述的一种用于克服动态问题影响的高动态范围图像融合方法,其特征在于:所述的图像权重融合函数Ii为:
I i = Σ j = 1 P w ( M i j ) g ( M i j ) / Δt j Σ j = 1 P w ( M i j )
式中i为图像中像素点的空间索引,j为曝光图像序列中的图像索引,Mij为输入曝光图像序列中第j帧图像上像素点i的亮度信息,w为三角帽权值函数,Δtj为曝光图像序列中第j帧图像的曝光时间,P为曝光图像序列中的图像总帧数。
3.根据权利要求1或2所述的一种用于克服动态问题影响的高动态范围图像融合方法,其特征在于:所述步骤(3)中获得相机响应逆函数的近似表达式g的方法为:
(31)获取两帧不同曝光量图像对应关系如下:
g(T(MA))=kg(MA)
其中MA图像A上被估计的像素点的图像亮度信息,T是图像B和图像A之间的亮度传递函数,k是两帧不同曝光量图像中图像A和图像B之间的曝光比;
(32)加入权重函数,将步骤(31)的结果修改为:
g ( T ( M A ) ) C B = k g ( M A ) C A
其中CA是第一帧图像A中亮度值为MA的像素个数,CB是第二帧图像B中亮度值为MB的像素个数;
(33)利用多项式对相机响应逆函数进行建模,将不同输入图像对获得的亮度传递函数以及相机响应逆函数多项式代入步骤(32)的表达式中获得一组超定方程;
(34)利用总体最小二乘法求解所述的超定方程,获得相机响应逆函数的模型系数,由此得到相机响应逆函数的近似表达式g。
CN201610335204.XA 2016-05-19 2016-05-19 一种用于克服动态问题影响的高动态范围图像融合方法 Active CN105933617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610335204.XA CN105933617B (zh) 2016-05-19 2016-05-19 一种用于克服动态问题影响的高动态范围图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610335204.XA CN105933617B (zh) 2016-05-19 2016-05-19 一种用于克服动态问题影响的高动态范围图像融合方法

Publications (2)

Publication Number Publication Date
CN105933617A true CN105933617A (zh) 2016-09-07
CN105933617B CN105933617B (zh) 2018-08-21

Family

ID=56840816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610335204.XA Active CN105933617B (zh) 2016-05-19 2016-05-19 一种用于克服动态问题影响的高动态范围图像融合方法

Country Status (1)

Country Link
CN (1) CN105933617B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块
CN107451970A (zh) * 2017-07-28 2017-12-08 电子科技大学 一种基于单帧图像的高动态范围图像生成方法
CN107734271A (zh) * 2017-10-16 2018-02-23 深圳市未来媒体技术研究院 高动态范围十亿像素视频生成方法
CN107888840A (zh) * 2017-10-30 2018-04-06 广东欧珀移动通信有限公司 高动态范围图像获取方法和装置
CN108156383A (zh) * 2017-12-29 2018-06-12 清华大学 基于相机阵列的高动态十亿像素视频采集方法及装置
CN108830904A (zh) * 2018-05-04 2018-11-16 长春理工大学 一种参数优化的相机响应曲线定标方法
CN109429010A (zh) * 2017-08-30 2019-03-05 深圳光峰科技股份有限公司 图像处理装置及方法、显示装置及方法、图像拍摄与显示装置及方法
CN111050143A (zh) * 2018-10-11 2020-04-21 华为技术有限公司 一种图像拍摄方法和终端设备
CN111091522A (zh) * 2019-12-24 2020-05-01 紫光展讯通信(惠州)有限公司 终端及其多曝光图像融合方法
CN111652916A (zh) * 2020-05-11 2020-09-11 浙江大华技术股份有限公司 全景图像生成方法、设备及计算机存储介质
CN111670419A (zh) * 2018-02-05 2020-09-15 高通股份有限公司 用于自主导航的主动补充曝光设置
CN112258579A (zh) * 2020-11-12 2021-01-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112396562A (zh) * 2020-11-17 2021-02-23 中山大学 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
US11356623B2 (en) 2020-06-01 2022-06-07 City University Of Hong Kong System and method for processing an image
CN114998141A (zh) * 2022-06-07 2022-09-02 西北工业大学 基于多分支网络的空间环境高动态范围成像方法
CN115514876A (zh) * 2021-06-23 2022-12-23 荣耀终端有限公司 图像融合方法、电子设备、存储介质及计算机程序产品
CN117014729A (zh) * 2023-09-27 2023-11-07 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与系统
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置
CN103843032A (zh) * 2012-08-08 2014-06-04 杜比实验室特许公司 用于高动态范围图像的图像处理
WO2015192368A1 (zh) * 2014-06-20 2015-12-23 深圳市大疆创新科技有限公司 Hdri的生成方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与系统
US20100103194A1 (en) * 2008-10-27 2010-04-29 Huawei Technologies Co., Ltd. Method and system for fusing images
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置
CN103843032A (zh) * 2012-08-08 2014-06-04 杜比实验室特许公司 用于高动态范围图像的图像处理
WO2015192368A1 (zh) * 2014-06-20 2015-12-23 深圳市大疆创新科技有限公司 Hdri的生成方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MINGLI SONG ET AL: "Probabilistic Exposure Fusion", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
吴伟华: "大曝光差异和场景运动的图像拼接技术研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *
焦淑云: "基于合成的高动态范围图像获取算法研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451970A (zh) * 2017-07-28 2017-12-08 电子科技大学 一种基于单帧图像的高动态范围图像生成方法
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块
CN109429010A (zh) * 2017-08-30 2019-03-05 深圳光峰科技股份有限公司 图像处理装置及方法、显示装置及方法、图像拍摄与显示装置及方法
CN109429010B (zh) * 2017-08-30 2021-05-04 深圳光峰科技股份有限公司 图像处理装置及方法、显示装置及方法、图像拍摄与显示装置及方法
CN107734271A (zh) * 2017-10-16 2018-02-23 深圳市未来媒体技术研究院 高动态范围十亿像素视频生成方法
CN107734271B (zh) * 2017-10-16 2019-09-06 深圳市未来媒体技术研究院 高动态范围十亿像素视频生成方法
CN107888840B (zh) * 2017-10-30 2019-10-15 Oppo广东移动通信有限公司 高动态范围图像获取方法和装置
CN107888840A (zh) * 2017-10-30 2018-04-06 广东欧珀移动通信有限公司 高动态范围图像获取方法和装置
CN108156383B (zh) * 2017-12-29 2020-08-28 清华大学 基于相机阵列的高动态十亿像素视频采集方法及装置
CN108156383A (zh) * 2017-12-29 2018-06-12 清华大学 基于相机阵列的高动态十亿像素视频采集方法及装置
CN111670419A (zh) * 2018-02-05 2020-09-15 高通股份有限公司 用于自主导航的主动补充曝光设置
CN108830904A (zh) * 2018-05-04 2018-11-16 长春理工大学 一种参数优化的相机响应曲线定标方法
CN108830904B (zh) * 2018-05-04 2022-07-01 长春理工大学 一种参数优化的相机响应曲线定标方法
US11595588B2 (en) 2018-10-11 2023-02-28 Huawei Technologies Co., Ltd. Image capturing method and terminal device
CN111050143A (zh) * 2018-10-11 2020-04-21 华为技术有限公司 一种图像拍摄方法和终端设备
CN112840642A (zh) * 2018-10-11 2021-05-25 华为技术有限公司 一种图像拍摄方法和终端设备
CN111050143B (zh) * 2018-10-11 2021-09-21 华为技术有限公司 一种图像拍摄方法和终端设备
CN112840642B (zh) * 2018-10-11 2022-06-10 华为技术有限公司 一种图像拍摄方法和终端设备
CN111091522A (zh) * 2019-12-24 2020-05-01 紫光展讯通信(惠州)有限公司 终端及其多曝光图像融合方法
CN111091522B (zh) * 2019-12-24 2022-09-13 紫光展讯通信(惠州)有限公司 终端及其多曝光图像融合方法
CN111652916A (zh) * 2020-05-11 2020-09-11 浙江大华技术股份有限公司 全景图像生成方法、设备及计算机存储介质
CN111652916B (zh) * 2020-05-11 2023-09-29 浙江大华技术股份有限公司 全景图像生成方法、设备及计算机存储介质
US11356623B2 (en) 2020-06-01 2022-06-07 City University Of Hong Kong System and method for processing an image
WO2022100242A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112258579A (zh) * 2020-11-12 2021-01-22 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112396562A (zh) * 2020-11-17 2021-02-23 中山大学 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
CN112396562B (zh) * 2020-11-17 2023-09-05 中山大学 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
CN115514876A (zh) * 2021-06-23 2022-12-23 荣耀终端有限公司 图像融合方法、电子设备、存储介质及计算机程序产品
CN115514876B (zh) * 2021-06-23 2023-09-01 荣耀终端有限公司 图像融合方法、电子设备、存储介质及计算机程序产品
CN114998141A (zh) * 2022-06-07 2022-09-02 西北工业大学 基于多分支网络的空间环境高动态范围成像方法
CN114998141B (zh) * 2022-06-07 2024-03-12 西北工业大学 基于多分支网络的空间环境高动态范围成像方法
CN117014729A (zh) * 2023-09-27 2023-11-07 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统
CN117014729B (zh) * 2023-09-27 2023-12-05 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统

Also Published As

Publication number Publication date
CN105933617B (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
CN105933617A (zh) 一种用于克服动态问题影响的高动态范围图像融合方法
CN110519489B (zh) 图像采集方法及装置
US8947549B2 (en) Spectral synthesis for image capturing device processing
CN205265783U (zh) 成像系统
CN106101549B (zh) 昼夜自动切换方法、装置及系统
CN108234984A (zh) 双目深度相机系统和深度图像生成方法
CN109191403A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN105359024B (zh) 摄像装置和摄像方法
CN113676628B (zh) 成像装置和图像处理方法
CN107371007A (zh) 白平衡处理方法、装置和终端
CN108012078A (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN106815826A (zh) 基于场景识别的夜视图像彩色融合方法
CN112840636A (zh) 一种图像处理方法和装置
CN109712177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN104933706B (zh) 一种成像系统色彩信息标定方法
CN101867685A (zh) 基于颜色查找表的双波段视频快速自然感彩色融合方法
CN111028187B (zh) 一种光线自适应的机载双光图像侦察装置及方法
CN111860632B (zh) 多路图像一致性融合方法
CN113298177A (zh) 夜间图像着色方法、装置、介质和设备
CN107945148A (zh) 一种基于mrf区域选择的多曝光度图像融合方法
WO2020133331A1 (en) Systems and methods for exposure control
CN114529488A (zh) 图像融合方法、装置及设备、存储介质
Kriesel et al. True-color night vision (TCNV) fusion system using a VNIR EMCCD and a LWIR microbolometer camera
CN208079276U (zh) 双目深度相机系统
Toet et al. INVIS: integrated night vision surveillance and observation system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant