CN111091522A - 终端及其多曝光图像融合方法 - Google Patents
终端及其多曝光图像融合方法 Download PDFInfo
- Publication number
- CN111091522A CN111091522A CN201911353435.3A CN201911353435A CN111091522A CN 111091522 A CN111091522 A CN 111091522A CN 201911353435 A CN201911353435 A CN 201911353435A CN 111091522 A CN111091522 A CN 111091522A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- value
- sequence
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 404
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 4
- 101150064138 MAP1 gene Proteins 0.000 description 19
- 101150009249 MAP2 gene Proteins 0.000 description 10
- 101150014751 map4 gene Proteins 0.000 description 8
- 238000001914 filtration Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 description 2
- 102100040057 AP-5 complex subunit sigma-1 Human genes 0.000 description 2
- 101710105523 AP-5 complex subunit sigma-1 Proteins 0.000 description 2
- 101710195119 Inner capsid protein sigma-2 Proteins 0.000 description 2
- -1 Map3 Proteins 0.000 description 2
- 101710135464 Outer capsid protein sigma-3 Proteins 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本申请公开了一种多曝光图像融合方法，包括步骤：将曝光时间由短到长的至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列；在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算得出表征结构相似性和像素一致性的矩阵序列；将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列；基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值及根据所述矩阵序列、特征值和第二图像序列实现图像融合得到融合后的高动态范围图像。本申请还提供一种终端。本申请可有效去除高动态范围图像的鬼影，提高图像质量。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种终端及其多曝光图像融合方法。
背景技术
现实真正存在的亮度差，即，最亮的物体亮度与最暗的物体亮度之比为108，而人类的眼睛所能看到的范围是105左右。然而，一般的显示器、照相机等能表示的只有256种不同的亮度，这在很多场合都不能满足场景细化显示的需要。
高动态范围成像(high-dynamic range，简称hdr)技术扩大了图像的动态范围，使得所获图像能够同时包含场景中亮部区域和暗部区域的细节信息，极大的提高了图像的质量，因此，所述技术成为了学术界与工业界的研究热点。目前常见的方法是通过融合多帧不同曝光量的低动态范围图像，通过算法将多帧图像合成一帧高动态范围图像。然而，多数方法仅仅适用于静态场景下拍摄的图像，真实场景中，绝大多数都是动态场景，所拍摄的多帧图像存在运动的物体，使得所述方法生成的高动态范围图像存在鬼影，极大的影响了图像的质量。
现有的一些去鬼影的算法主要的关注点都集中在了检测运动物体，但是往往导致融合后，在参考帧的运动物体的边缘存在图像的内容亮度不一致，以及分层等问题，另一方面往往需要人为设置参数和阈值选取鬼影区域，容易残留鬼影的现象。
发明内容
有鉴于此，本申请提供一种终端及其多曝光图像融合方法，可以避免合成的高动态范围图像存在鬼影，以解决上述技术问题。
本申请实施例提供的一种多曝光图像融合方法，包括步骤：
提供曝光时间由短到长的至少三帧图像；
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列；
在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列；
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，其中，所述第一图像序列和所述第二图像序列不同；
基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值；及
根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像。
本申请实施例提供的一种终端，包括：照相机、处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以执行以下步骤：
控制所述照相机拍摄曝光时间由短到长的至少三帧图像；
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列；
在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列；
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，其中，所述第一图像序列和所述第二图像序列不同；
基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值；及
根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像。
本申请的一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器调用运行后，执行所述多曝光图像融合方法中的步骤
本申请的终端及其多曝光图像融合方法，根据矩阵序列，判断出对应像素点是运动像素还是非运动像素，对于非运动且亮度过暗的像素，采用图像序列中的其它图像中亮度较高的像素进行融合，对于非运动且亮度过亮的像素，采用图像序列中的其它图像中亮度较低的像素进行融合，对于运动像素，采用与该运动像素对应的其它图像非运动像素进行图像融合，从而可以有效的避免了传统方法不能去鬼影的缺点，同时有效减少运动物体的分层和不连贯等问题，极大增加图像的质量，使得最终的图像有更好的视觉效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例中的多曝光图像融合方法的流程图。
图2为本申请一实施例中的终端的模块示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚，下面结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
除非另作定义，此处使用的技术术语或科学术语应对作为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序、数量或者重要性。同样，“一个”、“一”或“所述”等类似词语也不表示数量限制，而只是用来表示存在至少一个。“包括”或者“包含”等类似的词语意指出现所述词语前面的元件或物件涵盖出现在所述词后面列举的元件或者物件及其等同，而不排除其他元件或物件。“连接”或者相连等类似的词语并非限定于物理的或者机械的连接，而是可以包含电性的连接，不管是直接的还是间接的。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现所述短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参考图1，图1为本申请一实施例中的多曝光图像融合方法的流程示意图。可以理解的是，所述多曝光图像融合方法的执行顺序不限于图1所示的顺序。所述多曝光图像融合方法包括:
步骤11：提供曝光时间由短到长的至少三帧图像；
步骤12：将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列；
步骤13：在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列；
步骤14：将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，其中，所述第一图像序列和所述第二图像序列不同；
步骤15：基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值；及
步骤16：根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像。
从而，本申请可以有效避免合成的高动态范围图像所存在鬼影，提高动态范围图像的质量。
具体地，在其中一实施例中，所述至少三帧图像包括由照相机拍摄的具有相同背景的且曝光时间从短到长的至少第一帧图像、第二帧图像和第三帧图像。可以理解的是，在进行亮度匹配之前，需要对所述至少第一帧图像、第二帧图像和第三帧图像进行全局对齐。将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列，包括：
将所述第一帧图像亮度匹配到第二帧图像而得到第四图像；
将所述第二帧图像亮度匹配到第三帧图像而得到第五图像；
将第一帧图像、第二帧图像、第三帧图像、第四图像和第五图像组成所述第一图像序列。
本实施例中，以三帧图像为例来说明本申请的技术方案。可以理解的是，在其它实施例中，多帧曝光图像融合方法不限于三帧图像的融合，还可以是四帧图像、五帧图像、六帧图像等的融合，在此不做限定。
具体地，在其中一实施例中，将所述第一帧图像亮度匹配到第二帧图像而得到第四图像，包括：
获得所述第一帧图像和所述第二帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第一帧图像中每个颜色值对应的像素累计个数与所述第二帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第二帧图像的累计直方图的颜色值为目标颜色值；及
将所述第一帧图像的所述颜色值替换为所述目标颜色值；
依次类推，重复上述步骤，直至遍历所述第一帧图像的所有颜色值，将所述第一帧图像的所有颜色值采用对应的目标颜色值进行替换，而得到第四图像，此时，所述第四图像的每个像素点的颜色值都已确定。
具体地，在其中一实施例中，将所述第二帧图像匹配到第三帧图像而得到第五图像，包括：
获得所述第二帧图像和所述第三帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第二帧图像的每个颜色值对应的像素累计个数与所述第三帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第三帧图像的累计直方图的颜色值为目标颜色值；及
将所述第二帧图像的所述颜色值替换为所述目标颜色值；
依次类推，重复上述步骤，直至遍历所述第二帧图像的所有颜色值，将所述第二帧图像的所有颜色值采用对应的目标颜色值进行替换，而得到第五图像，此时，所述第五图像的每个像素点的颜色值都已确定。
需要说明的是，上述直方图能够显示图像中色调的分布情况，揭示图像中每一亮度级别下像素出现的数量，根据这些数值所绘出的图像形态，可以初步判断照片的曝光情况。上述累计直方图代表像素个数在灰度级的累计像素分布情况，每一个像素个数代表小于等于此灰度值的像素分布。当图像中的特征不能取遍所有可能值时，颜色直方图中会出现很多零值，这些零值会影响直方图相交运算，从而使匹配值不能正确地反映两帧图像之间的颜色差别，由颜色直方图演化而来的累计直方图可以解决上述问题。
需要说明的是，上述亮度匹配将低曝光的图像匹配到高曝光的图像，因此，需在RGB空间进行。其中，RGB空间以R(Red:红)、G(Green:绿)、B(Blue:蓝)三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，所以俗称三基色模式。
可以理解的是，经过上述亮度匹配，第四图像是将第一帧图像亮度匹配到第二帧图像而得到的，因此，第四图像的内容与第一图像的内容相同，且第四图像的亮度与第二帧图像的亮度相同。第五图像是将第二帧图像亮度匹配到第三帧图像而得到的，因此，第五图像的内容与第二帧图像的内容相同，且第五图像的亮度与第三帧图像的亮度相同。
具体地，在其中一实施例中，在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列，包括：
将所述第二帧图像作为参考图像，计算所述第二帧图像与所述第四图像的结构相似性矩阵和像素一致性矩阵，并将所述结构相似性矩阵和所述像素一致性矩阵点乘得到第一矩阵Map1；
设置第二矩阵Map2为1；
计算所述第三帧图像与所述第五图像的结构相似性矩阵和像素一致性矩阵，并将所述结构相似性矩阵和所述像素一致性矩阵点乘得到第三矩阵Map3；
计算1与所述第一矩阵Map1的差值得到第四矩阵Map4；
计算1与所述第三矩阵Map3的差值得到第五矩阵Map5；
其中，所述第一矩阵Map1、第二矩阵Map2、第三矩阵Map3、第四矩阵Map4和第五矩阵Map5组成矩阵序列Map。
具体地，在其中一实施例中，计算所述第二帧图像与所述第四图像的结构相似性矩阵，包括：
将第四图像的颜色值设为x，将第二帧图像的颜色值设为y，那么，第二帧图像与第四图像的结构相似性矩阵的计算如下：
其中，先分别从第二帧图像与第四图像中各自取出对应位置的图像块，所述第二帧图像与所述第四图像分别具有m*m个像素点，所述图像块具有n*n个像素点，m和n都为整数，且m大于n。可以理解的是，从第二帧图像与第四图像中各自取出对应位置的图像块，是指分别从第二帧图像与第四图像的同行同列取出同样大小的图样块。具体地，所述两个图形块的结构相似性(SSIM)计算过程如下：
SSIM(x,y)＝[l(x,y)]α*[c(x,y)]β*[s(x,y)]γ，α>0,β>0,andγ>0；
其中，
其中，l(x,y)是亮度比较，c(x,y)是对比度比较，s(x,y)是结构比较。ux和uy分别代表x、y的平均值，σx和σy分别代表x、y的标准差。σxy代表x和y的协方差。而c1、c2和c3分别为常数，避免分母为0带来的系统错误。
在实际计算中，一般设定α＝β＝γ＝1，以及c3＝1/2c2。
从而，结构相似性计算可以简化为：
可以理解的是，SSIM是一个0到1之间的数，SSIM越大表示两帧图像的差距越小，即图像质量越好。当两帧图像一模一样时，SSIM＝1。
因此，当所述第二帧图像与所述第四图像的对应像素点的SSIM大于预设阈值时，将结构相似性矩阵中对应该像素点的数值置为1；当所述第二帧图像与所述第四图像的对应像素点的SSIM小于等于预设阈值时，将所述第二帧图像与所述第四图像的结构相似性矩阵中对应该像素点的数值置为0。
然后，对所述第四图像和所述第二帧图像的下一图像块进行结构相似性计算，并将所述第四图像和所述第二帧图像的结构相似性矩阵中与所述图像块对应位置的数值置为1或者0。依次类推，重复上述步骤，得出所述第四图像和所述第二帧图像的结构相似性矩阵。
可以理解的是，在其中一实施例中，计算结构相似性矩阵时所采用的x、y为每个像素点的R值、G值和B值的平均值。
具体地，在其中一实施例中，计算所述第二帧图像与所述第四图像的像素一致性矩阵，包括：
将第二帧图像和第四图像的对应像素点的颜色值的R值、G值和B值分别相减，得到绝对值R，绝对值G和绝对值B；
取绝对值R、绝对值G和绝对值B的最大值与预设阈值比较；
当所述最大值大于所述预设阈值，表明对应像素点的颜色值不一致，并将颜色一致性矩阵中对应该像素点的数值置为0；或者。
当所述最大值小于等于所述预设阈值，表明对应像素点的颜色值一致，并将颜色一致性矩阵中对应该像素点的数值置为1。
依次类推，重复上述步骤，得到第四图像和第二帧图像的像素一致性矩阵。
可以理解的是，在其中一实施例中，计算第四图像和第二帧图像的像素一致性矩阵之前，需先对第四图像和第二帧图像进行高斯模糊，减少第四图像和第二帧图像中的噪声点。
然后将结构相似性矩阵与像素一致性矩阵点乘，得到第一矩阵Map1。因此，只有第四图像和第二帧图像的对应像素点的结构相似性和像素一致性的数值均为1时，Map1中的对应数值才会为1。第四图像和第二帧图像的对应像素点的结构相似性和像素一致性只要有一个为0时，Map1中的对应数值为0。因此，当Map1的某一点的数值为1时，与该数值对应的第四图像和第二帧图像中的像素点为静止像素点。当Map1的某一点的数值为0时，与该数值对应的第四图像和第二帧图像中的像素点为运动像素点。
可以理解的是，在其中一实施例中，为了减少噪声干扰，在得到第一矩阵Map1之前，将结构相似性矩阵与像素一致性矩阵点乘后得到的矩阵进行形态学滤波优化，具体包括开和腐蚀操作，以得到所述第一矩阵Map1。
需要说明的是，第二矩阵Map2为第二帧图像与自身的结构相似性矩阵与像素一致性矩阵点乘后的矩阵，因此，第二矩阵Map2的所有数据都为1。
依次类推，重复上述步骤，计算第二帧图像与第四图像的结构一致性矩阵和像素一致性矩阵，并将结构相似性矩阵与像素一致性矩阵点乘得到第三矩阵Map3；其中，第四矩阵Map4为1与第一矩阵Map1的差；第五矩阵Map5为1与第三矩阵Map3的差。
可以理解的是，在其中一实施例中，为了减少噪声干扰，在得到第三矩阵Map3之前，将结构相似性矩阵与像素一致性矩阵点乘后得到的矩阵进行形态学滤波优化，具体包括开和腐蚀操作，以得到所述第三矩阵Map3。
具体地，在其中一实施例中，将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，包括：
将所述第二帧图像匹配到第一帧图像而得到第四新图像；
将所述第二帧图像匹配到第三帧图像而得到第五新图像；
将所述第一帧图像、第二帧图像、第三帧图像、第四新图像和第五新图像作为所述第二图像序列。
具体地，在其中一实施例中，将所述第二帧图像匹配到第一帧图像而得到第四新图像，包括：
获得所述第一帧图像和所述第二帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第二帧图像中每个颜色值对应的像素累计个数与所述第一帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第一帧图像的累计直方图的颜色值为目标颜色值；及
将所述第二帧图像的所述颜色值替换为所述目标颜色值；
依次类推，重复上述步骤，直至遍历所述第二帧图像的所有颜色值，将所述第二帧图像的所有颜色值采用对应的目标颜色值进行替换，而得到第四新图像，此时，所述第四新图像的每个像素点的颜色值都已确定。
具体地，在其中一实施例中，由于上述亮度匹配是将高曝光的图像匹配到低曝光的图像，则需在LAB空间进行。
具体地，在其中一实施例中，将所述至少三帧图像中的第二帧图像匹配到第三帧图像而得到第五新图像，包括：
获得所述第二帧图像和所述第三帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第二帧图像的每个颜色值对应的像素累计个数与所述第三帧图像的所有颜色值的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第三帧图像的累计直方图的颜色值为目标颜色值；及
将所述第二帧图像的所述颜色值替换为所述目标颜色值；
依次类推，重复上述步骤，直至遍历所述第二帧图像的所有颜色值，将所述第二帧图像的所有颜色值采用对应的目标颜色值进行替换，而得到第五新图像，此时，所述第五新图像的每个像素点的颜色值都已确定。
具体地，在其中一实施例中，由于上述亮度匹配是将低曝光的图像匹配到高曝光的图像，则需在RGB空间进行。
可以理解的是，第四新图像是将第二帧图像亮度匹配到第一帧图像而得到的，因此，第四新图像的内容与第二帧图像的内容相同，且第四新图像的亮度与第一帧图像的亮度相同。第五图像是将第二帧图像亮度匹配到第三帧图像而得到的，因此，第五图像的内容与第二帧图像的内容相同，且第五图像的亮度与第三帧图像的亮度相同。
很显然，在矩阵序列Map中，对于每个像素点，第一矩阵Map1、第二矩阵Map2、第三矩阵Map3、第四矩阵Map4和第五矩阵Map5中，只有三个矩阵的对应数值为1，另外两个矩阵的对应数值为0。因此，在进行图像融合过程中，仅采用对应数值为1的三个矩阵分别对应的第二图像序列中的三个图像的图像块进行融合运算。
具体地，在其中一实施例中，基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值，包括：
计算所述第二图像序列的每个图像的特征值，包括但不限于窗口方差矩阵、窗口均值矩阵、全局均值矩阵、信号平均强度矩阵、信号结构强度矩阵和信号最大值矩阵。
需要说明的是，计算上述特征值时，需要首先在所述第二图像序列的各个图像中取出一n*n图像块，作为计算窗口，来计算所述第二图像序列中每个图像的特征值，包括但不限于窗口方差矩阵Sigma、窗口均值矩阵Lwin、全局均值矩阵Lgl、信号平均强度矩阵Mumap、信号结构强度矩阵Sgmap和信号最大值矩阵Strsig。
具体地，在其中一实施例中，计算所述第二图像序列中每个图像的对应图像块的窗口方差矩阵Sigma的计算公式为
其中，x为所述图像块内每个像素点的颜色值，
为所述图像块内所有图像块的颜色值的均值。
因此，所述第二图像序列的所有图像的窗口方差矩阵Sigma分别为Sigma1、Sigma2、Sigma3、Sigma4和Sigma5。
可以理解的是，实际计算过程中，在计算完一个窗口的窗口方差矩阵时，滑动计算窗口至所述图像的下一计算窗口，直至计算完所述图像的所有像素点。从而，可以得到整张图像的窗口方差矩阵。
具体地，在其中一实施例中，计算所述第二图像序列中每个图像的窗口均值矩阵Lwin是指计算所述第二图像序列中的每个图像的所述对应图像块内的所有像素点的颜色值的均值。
可以理解的是，实际计算过程中，在计算算完一个计算窗口的窗口均值矩阵时，滑动计算窗口至所述图像的下一计算窗口，直至计算完所述图像的所有像素点。在计算窗口均值矩阵时，如果某个像素点被计算了多次时，则累计多次计算的值并除以累计次数。从而，可以得到整张图像的窗口均值矩阵。
因此，所述第二图像序列的所有图像的窗口均值矩阵Lwin分别为Lwin1、Lwin2、Lwin3、Lwin4和Lwin5。
具体地，在其中一实施例中，计算所述第二图像序列中每个图像的全局均值矩阵Lgl是指计算所述第二图像序列中的每个图像的所有像素点的颜色值的均值。可以理解的是，所述全局均值矩阵的各行各列的数值均相等。
具体地，在其中一实施例中，计算所述第二图像序列中每个图像的信号平均强度矩阵Mumap的计算公式为：
其中，gSig和wSig是两个预设参数，Lgl是全局均值矩阵，Lwin是窗口均值矩阵；
然后将Mumap0与矩阵序列Map中的对应矩阵点乘，得到信号平均强度矩阵Mumap。
具体地，在其中一实施例中，将Mumap0与矩阵序列Map中的对应矩阵点乘，包括：
将第一帧图像的Mumap与第一矩阵Map1点乘得到第一帧图像的信号平均强度矩阵Mumap1；
将第二帧图像的Mumap与第二矩阵Map2点乘得到第二帧图像的信号平均强度矩阵Mumap2；
将第三帧图像的Mumap与第三矩阵Map3点乘得到第三帧图像的信号平均强度矩阵Mumap3；
将第四新图像的Mumap与第四矩阵Map4点乘得到第四新图像的信号平均强度矩阵Mumap4；
将第五新图像的Mumap与第五矩阵Map5点乘得到第五新图像的信号平均强度矩阵Mumap5。
进一步地，在其中一实施例中，将第一帧图像的信号平均强度矩阵Mumap1、第二帧图像的信号平均强度矩阵Mumap2、第三帧图像的信号平均强度矩阵Mumap3、第四新图像的信号平均强度矩阵Mumap4和第五新图像的信号平均强度矩阵Mumap5进行归一化处理，得到归一化处理后的Mumap1、Mumap2、Mumap3 Mumap4和Mumap5。
其中，归一化是指将信号平均强度矩阵Mumap1、Mumap2、Mumap3、Mumap4、Mumap5的和作为分母，把Mumap1、Mumap2、Mumap3、Mumap4、Mumap5分别作为分子而得到一系列数值的过程。
进一步地，在其中一实施例中，计算所述第二图像序列中每个图像的信号结构强度矩阵Sgmap，包括：计算所述第二图像序列中每个图像的窗口方差矩阵Sigma的p次方，p是设定参数，并与矩阵序列Map中的对应矩阵点乘，如此重复，得到所述第二图像序列中所有图像的信号结构强度矩阵Sgmap1、Sgmap2、Sgmap3、Sgmap4、Sgmap5，且将信号结构强度矩阵Sgmap1、Sgmap2、Sgmap3、Sgmap4、Sgmap5矩阵归一化，得到归一化的信号结构强度矩阵Sgmap1、Sgmap2、Sgmap3、Sgmap4、Sgmap5。
其中，信号结构强度矩阵的归一化是指将信号平均强度矩阵Sgmap1、Sgmap2、Sgmap3、Sgmap4、Sgmap5的和作为分母，把Sgmap1、Sgmap2、Sgmap3、Sgmap4、Sgmap5分别作为分子而得到一系列数值的过程。
进一步地，在其中一实施例中，计算所述第二图像序列中每个图像的信号最大值矩阵Strsig，包括：
将所述第二图像序列中的每个图像的信号结构强度矩阵Sgmap1、Sgmap2、Sgmap3、Sgmap4、Sgmap5分别与矩阵序列Map中的第一矩阵Map1、第二矩阵Map2、第三矩阵Map3、第四矩阵Map4和第五矩阵Map5点乘后，在各个像素点位置取各个图像的最大值而得到。
具体地，在其中一实施例中，根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像，包括
根据所述矩阵序列Map、包括但不限于窗口方差矩阵Sigma、窗口均值矩阵Lwin、信号平均强度矩阵Mumap、信号结构强度矩阵Sgmap和信号最大值矩阵Strsig的特征值以及第二图像序列实现图像融合，得到融合后的高动态范围图像。
进一步地，在其中一实施例中，根据所述矩阵序列Map、包括但不限于窗口方差矩阵Sigma、窗口均值矩阵Lwin、信号平均强度矩阵Mumap、信号结构强度矩阵Sgmap和信号最大值矩阵Strsig的特征值以及第二图像序列实现图像融合，得到融合后的高动态范围图像，包括
滑动选择所述第二图像序列的各个图像的对应图像块，利用所述对应图像块计算高动态范围图像的对应图像块的R值、G值和B值；
滑动选择所述第二图像序列的各个图像中的下一对应图像块，利用所述下一对应图像块计算高动态范围图像的下一对应图像块的R值、G值和B值；
在滑动选择了所述第二图像序列的各个图像的所有对应图像块时，对所述高动态范围图像的R、G、B值中经过多次累加的数值除以累加次数，得到最终的高动态范围图像。
进一步地，在其中一实施例中，利用所述对应图像块计算高动态范围图像的对应图像块的R值/G值/B值的计算公式为：
其中，Block为所述第二图像序列的各个图像的对应图像块，newL是所述第二图像序列的各个图像各自的信号平均强度矩阵Mumap与窗口方差矩阵Sigma点乘后求和。
在进行融合运算时，第一帧图像、第二帧图像、第三帧图像、第四新图像和第五新图像分别与第一矩阵、第二矩阵、第三矩阵、第四矩阵和第五矩阵对应。先从第二图像序列的第一帧图像、第二帧图像、第三帧图像、第四新图像和第五新图像各自取一图像块，并确定所有图像块的中心点各自对应的矩阵中的数值是否为1，且从第二图像序列选取图像块的中心点所对应的矩阵中的数值为1的三个图像来参与图像融合运算。这样，可以避免结构性不相似或者像素不一致的图像块参与融合运算，从而，可以避免融合后的图像中存在鬼影的现象发生。
在进行融合运算时，Sgmap、Lwin、Sigma、Strsig和Newl各取图像块的中心点所对应的数值参与图像融合运算，但图像块Block是取图像块Block的所有像素点的数值并分别代入上述计算公式中，计算得出融合后的高动态范围图像的对应图像块的颜色值。具体地，需将各图像块的各有像素点的R值、G值和B值代入上述计算公式中，来计算得到融合后的高动态范围图像的对应图像块的R值、G值和B值。
具体地，nor()表示对括号内的数据归一化，计算时，先将三个图像块的所有像素点的R、G、B值依次带入nor()的计算公式中，得到三个有关R、G、B值的矩阵，再将这三个有关R、G、B的矩阵相加，得到一个有关R、G、B的新矩阵，然后，求得所述新矩阵的每个点的R值、G值或B值与所述新矩阵的所有点的R值、G值和B值的平方和再开根号的值的比值以将R值、G值或B值归一化。
接着，再对nor()的数据计算完成后，将归一化的新矩阵与Strsig和Newl运算，得到融合后的高动态范围图像的对应图像块的R值、G值和B值。
本申请的多曝光图像融合方法，根据矩阵序列，判断出对应像素点是运动像素还是非运动像素，对于非运动且亮度过暗的像素，采用图像序列中的其它图像中亮度较高的像素进行融合，对于非运动且亮度过亮的像素，采用图像序列中的其它图像中亮度较低的像素进行融合，对于运动像素，采用与该运动像素对应的其它图像非运动像素进行图像融合，从而可以有效的避免了传统方法不能去鬼影的缺点，同时有效减少运动物体的分层和不连贯等问题，极大增加图像的质量，使得最终的图像有更好的视觉效果。
请参考图2，图2为本申请一实施例中的终端100的模块示意图。所述终端100包括处理器10、存储器20和照相机30。所述处理器10可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述通用处理器可以是微处理器或者所述通用处理器也可以是任何常规的处理器等，所述处理器10是终端100的控制中心，利用各种接口和线路连接整个终端100的各个部分。所述存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、多个磁盘存储器件、闪存器件、或其它易失性固态存储器件。所述输入单元30可以是机械按键式输入单元、触控屏式输入单元、触摸板式输入单元等。所述通讯单元14为实现与互联网(internet)、按需虚拟专线网(On-Demandvirtual Lease Line)、包括WIFI、蓝牙在内的无线网(wireless network)、包括GPRS网络、CDMA网络在内的电话网、广播电视网等通过的网络设备。
所述照相机30拍摄具有相同背景且曝光时间由短到长的至少三帧图像。
所述存储器20中并可在所述处理器上运行的计算机程序。所述处理器10执行所述计算机程序以执行以下步骤：
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列；
在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列；
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，其中，所述第一图像序列和所述第二图像序列不同；
基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值；及
根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像。
从而，本申请可以有效避免合成的高动态范围图像所存在鬼影，提高动态范围图像的质量。
具体地，在其中一实施例中，所述至少三帧图像包括曝光时间从短到长的第一帧图像、第二帧图像和第三帧图像。所述处理器10在进行亮度匹配之前，需要对所述至少第一帧图像、第二帧图像和第三帧图像进行全局对齐。进一步地，所述处理器10执行所述计算机程序所执行的步骤将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列，包括：
将所述第一帧图像亮度匹配到第二帧图像而得到第四图像；
将所述第二帧图像亮度匹配到第三帧图像而得到第五图像；
将第一帧图像、第二帧图像、第三帧图像、第四图像和第五图像组成所述第一图像序列。
具体地，在其中一实施例中，所述处理器10执行所述将将所述第一帧图像亮度匹配到第二帧图像而得到第四图像，包括：
获得所述第一帧图像和所述第二帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第一帧图像中每个颜色值对应的像素累计个数与所述第二帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第二帧图像的累计直方图的颜色值为目标颜色值；及
将所述第一帧图像的所述颜色值替换为所述目标颜色值；
依次类推，重复上述步骤，直至遍历所述第一帧图像的所有颜色值，将所述第一帧图像的所有颜色值采用对应的目标颜色值进行替换，而得到第四图像，此时，所述第四图像的每个像素点的颜色值都已确定。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤将所述第二帧图像匹配到第三帧图像而得到第五图像，包括：
获得所述第二帧图像和所述第三帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第二帧图像的每个颜色值对应的像素累计个数与所述第三帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第三帧图像的累计直方图的颜色值为目标颜色值；及
将所述第二帧图像的所述颜色值替换为所述目标颜色值；
依次类推，重复上述步骤，直至遍历所述第二帧图像的所有颜色值，将所述第二帧图像的所有颜色值采用对应的目标颜色值进行替换，而得到第五图像，此时，所述第五图像的每个像素点的颜色值都已确定。
可以理解的是，经过上述亮度匹配，第四图像是将第一帧图像亮度匹配到第二帧图像而得到的，因此，第四图像的内容与第一图像的内容相同，且第四图像的亮度与第二帧图像的亮度相同。第五图像是将第二帧图像亮度匹配到第三帧图像而得到的，因此，第五图像的内容与第二帧图像的内容相同，且第五图像的亮度与第三帧图像的亮度相同。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列，包括：
将所述第二帧图像作为参考图像，计算所述第二帧图像与所述第四图像的结构相似性矩阵和像素一致性矩阵，并将所述结构相似性矩阵和所述像素一致性矩阵点乘得到第一矩阵Map1；
设置第二矩阵Map2为1；
计算所述第二帧图像与所述第五图像的结构相似性矩阵和像素一致性矩阵，并将所述结构相似性矩阵和所述像素一致性矩阵点乘得到第三矩阵Map3；
计算1与所述第一矩阵Map1的差值得到第四矩阵Map4；
计算1与所述第三矩阵Map3的差值得到第五矩阵Map5；
其中，所述第一矩阵Map1、第二矩阵Map2、第三矩阵Map3、第四矩阵Map4和第五矩阵Map5组成矩阵序列Map。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤计算所述第二帧图像与所述第四图像的结构相似性矩阵和像素一致性矩阵，包括：
当所述第二帧图像与所述第四图像的对应像素点的SSIM大于预设阈值时，将结构相似性矩阵中对应该像素点的数值置为1；或者；
当所述第二帧图像与所述第四图像的对应像素点的SSIM小于等于预设阈值时，将所述第二帧图像与所述第四图像的结构相似性矩阵中对应该像素点的数值置为0。
然后，对所述第四图像和所述第二帧图像的下一图像块进行结构相似性计算，并将所述第四图像和所述第二帧图像的结构相似性矩阵中与所述图像块对应位置的数值置为1或者0。依次类推，重复上述步骤，得出所述第四图像和所述第二帧图像的结构相似性矩阵。
可以理解的是，在其中一实施例中，计算结构相似性矩阵时所采用的x、y为每个像素点的R值、G值和B值的平均值。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤计算所述第二帧图像与所述第四图像的像素一致性矩阵，包括：
将第二帧图像和第四图像的对应像素点的颜色值的R值、G值和B值分别相减，得到绝对值R，绝对值G和绝对值B；
取绝对值R、绝对值G和绝对值B的最大值与预设阈值比较；
当所述最大值大于所述预设阈值，表明对应像素点的颜色值不一致，并将颜色一致性矩阵中对应该像素点的数值置为0；或者。
当所述最大值小于等于所述预设阈值，表明对应像素点的颜色值一致，并将颜色一致性矩阵中对应该像素点的数值置为1。
依次类推，重复上述步骤，得到第四图像和第二帧图像的像素一致性矩阵。
可以理解的是，在其中一实施例中，计算第四图像和第二帧图像的像素一致性矩阵之前，需先对第四图像和第二帧图像进行高斯模糊，减少第四图像和第二帧图像中的噪声点。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤将结构相似性矩阵与像素一致性矩阵点乘，得到第一矩阵，包括：
将结构相似性矩阵与像素一致性矩阵点乘，然后对点乘得到的矩阵进行形态学滤波优化，具体包括开和腐蚀操作，然后得到所述第一矩阵。
依次类推，重复上述步骤，计算第二帧图像与第四图像的结构一致性矩阵和像素一致性矩阵，并将结构相似性矩阵与像素一致性矩阵点乘得到第三矩阵Map3；其中，第四矩阵Map4为1与第一矩阵Map1的差；第五矩阵Map5为1与第三矩阵Map3的差。
可以理解的是，在其中一实施例中，为了减少噪声干扰，在得到第三矩阵Map3之前，将结构相似性矩阵与像素一致性矩阵点乘后得到的矩阵进行形态学滤波优化，具体包括开和腐蚀操作，以得到所述第三矩阵Map3。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，包括：
将所述第二帧图像匹配到第一帧图像而得到第四新图像；
将所述第二帧图像匹配到第三帧图像而得到第五新图像；
将所述第一帧图像、第二帧图像、第三帧图像、第四新图像和第五新图像作为所述第二图像序列。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤将所述第二帧图像匹配到第一帧图像而得到第四新图像，包括：
获得所述第一帧图像和所述第二帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第二帧图像中每个颜色值对应的像素累计个数与所述第一帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第一帧图像的累计直方图的颜色值为目标颜色值；及
将所述第二帧图像的所述颜色值替换为所述目标颜色值；
依次类推，重复上述步骤，直至遍历所述第二帧图像的所有颜色值，将所述第二帧图像的所有颜色值采用对应的目标颜色值进行替换，而得到第四新图像，此时，所述第四新图像的每个像素点的颜色值都已确定。
具体地，在其中一实施例中，由于上述亮度匹配是将高曝光的图像匹配到低曝光的图像，则需在LAB空间进行。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤将所述至少三帧图像中的第二帧图像匹配到第三帧图像而得到第五新图像，包括：
获得所述第二帧图像和所述第三帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第二帧图像的每个颜色值对应的像素累计个数与所述第三帧图像的所有颜色值的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第三帧图像的累计直方图的颜色值为目标颜色值；及
将所述第二帧图像的所述颜色值替换为所述目标颜色值；
依次类推，重复上述步骤，直至遍历所述第二帧图像的所有颜色值，将所述第二帧图像的所有颜色值采用对应的目标颜色值进行替换，而得到第五新图像，此时，所述第五新图像的每个像素点的颜色值都已确定。
具体地，在其中一实施例中，由于上述亮度匹配是将低曝光的图像匹配到高曝光的图像，则需在RGB空间进行。
可以理解的是，第四新图像是将第二帧图像亮度匹配到第一帧图像而得到的，因此，第四新图像的内容与第二帧图像的内容相同，且第四新图像的亮度与第一帧图像的亮度相同。第五图像是将第二帧图像亮度匹配到第三帧图像而得到的，因此，第五图像的内容与第二帧图像的内容相同，且第五图像的亮度与第三帧图像的亮度相同。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值，包括：
计算所述第二图像序列的每个图像的特征值，包括但不限于窗口方差矩阵、窗口均值矩阵、全局均值矩阵、信号平均强度矩阵、信号结构强度矩阵和信号最大值矩阵。
计算所述第二图像序列的每个图像的特征值，包括但不限于窗口方差矩阵、窗口均值矩阵、全局均值矩阵、信号平均强度矩阵、信号结构强度矩阵和信号最大值矩阵。
计算过程同上，经过特征值计算，得到以下结果：
所述第二图像序列的所有图像的窗口方差矩阵Sigma分别为Sigma1、Sigma2、Sigma3、Sigma4和Sigma5；
所述第二图像序列的所有图像的窗口均值矩阵Lwin分别为Lwin1、Lwin2、Lwin3、Lwin4和Lwin5；
所述第二图像序列的所有图像的信号平均强度矩阵Mumap1、Mumap2、Mumap3、Mumap4、Mumap5；
所述第二图像序列中所有图像的信号结构强度矩阵Sgmap1、Sgmap2、Sgmap3、Sgmap4、Sgmap5；
所述第二图像序列中所有图像的信号结构强度矩阵Sgmap1、Sgmap2、Sgmap3、Sgmap4、Sgmap5；
所述第二图像序列中所有图像的信号最大值矩阵Strsig；
很显然，在矩阵序列Map中，对于每个像素点，第一矩阵Map1、第二矩阵Map2、第三矩阵Map3、第四矩阵Map4和第五矩阵Map5中，只有三个矩阵的对应数值为1，另外两个矩阵的对应数值为0。因此，在进行图像融合过程中，仅采用对应数值为1的三个矩阵分别对应的第二图像序列中的三个图像的图像块进行融合运算。
具体地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像，包括
根据所述矩阵序列Map、包括但不限于窗口方差矩阵Sigma、窗口均值矩阵Lwin、信号平均强度矩阵Mumap、信号结构强度矩阵Sgmap和信号最大值矩阵Strsig的特征值以及第二图像序列实现图像融合，得到融合后的高动态范围图像。
进一步地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤根据所述矩阵序列Map、包括但不限于窗口方差矩阵Sigma、窗口均值矩阵Lwin、信号平均强度矩阵Mumap、信号结构强度矩阵Sgmap和信号最大值矩阵Strsig的特征值以及第二图像序列实现图像融合，得到融合后的高动态范围图像，包括
滑动选择所述第二图像序列的各个图像的对应图像块，利用所述对应图像块计算高动态范围图像的对应图像块的R值、G值和B值；
滑动选择所述第二图像序列的各个图像中的下一对应图像块，利用所述下一对应图像块计算高动态范围图像的下一对应图像块的R值、G值和B值；
在滑动选择了所述第二图像序列的各个图像的所有对应图像块时，对所述高动态范围图像的R、G、B值中经过多次累加的数值除以累加次数，得到最终的高动态范围图像。
进一步地，在其中一实施例中，所述处理器10执行所述计算机程序所执行的步骤利用所述对应图像块计算高动态范围图像的对应图像块的R值的计算公式为：
其中，Block为所述第二图像序列的各个图像的对应图像块，newL是所述第二图像序列的各个图像各自的信号平均强度矩阵Mumap与窗口均值矩阵Lwin点乘后求和。
在进行融合运算时，第一帧图像、第二帧图像、第三帧图像、第四新图像和第五新图像分别与第一矩阵、第二矩阵、第三矩阵、第四矩阵和第五矩阵对应。先从第二图像序列的第一帧图像、第二帧图像、第三帧图像、第四新图像和第五新图像各自取一图像块，并确定所有图像块的中心点各自对应的矩阵中的数值是否为1，且从第二图像序列选取图像块的中心点所对应的矩阵中的数值为1的三个图像来参与图像融合运算。这样，可以避免结构性不相似或者像素不一致的图像块参与融合运算，从而，可以避免融合后的图像中存在鬼影的现象发生。
在进行融合运算时，Sgmap、Lwin、Sigma、Strsig和Newl各取图像块的中心点所对应的数值参与图像融合运算，但图像块Block是取图像块Block的所有像素点的数值并分别代入上述计算公式中，计算得出融合后的高动态范围图像的对应图像块的颜色值。具体地，需将各图像块的所有像素点的R值、G值和B值分别代入上述计算公式中，来计算得到融合后的高动态范围图像的对应图像块的R值、G值和B值。
具体地，nor()表示对括号内的数据归一化，计算时，先将三个图像块的所有像素点的R、G、B值依次带入nor()的计算公式中，得到三个有关R、G、B值的矩阵，再将这三个有关R、G、B的矩阵相加，得到一个有关R、G、B的新矩阵，然后，求得所述新矩阵的每个点的R值、G值或B值与所述新矩阵的所有点的R值、G值和B值的平方和再开根号的值的比值以将R值、G值或B值归一化。
接着，再对nor()的数据计算完成后，将归一化的新矩阵与Strsig和Newl运算，得到融合后的高动态范围图像的对应图像块的R值、G值和B值。
本申请的终端，根据矩阵序列，判断出对应像素点是运动像素还是非运动像素，对于非运动且亮度过暗的像素，采用图像序列中的其它图像中亮度较高的像素进行融合，对于非运动且亮度过亮的像素，采用图像序列中的其它图像中亮度较低的像素进行融合，对于运动像素，采用与该运动像素对应的其它图像非运动像素进行图像融合，从而可以有效的避免了传统方法不能去鬼影的缺点，同时有效减少运动物体的分层和不连贯等问题，极大增加图像的质量，使得最终的图像有更好的视觉效果。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，所述程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (23)
1.一种多曝光图像融合方法，其特征在于，包括步骤：
提供曝光时间由短到长的至少三帧图像；
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列；
在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列；
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，其中，所述第一图像序列和所述第二图像序列不同；
基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值；及
根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像。
2.根据权利要求1所述的多曝光图像融合方法，其特征在于，所述至少三帧图像包括由照相机拍摄的具有相同背景的且曝光时间从短到长的至少第一帧图像、第二帧图像和第三帧图像；将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列，包括：
将所述第一帧图像亮度匹配到第二帧图像而得到第四图像；
将所述第二帧图像亮度匹配到第三帧图像而得到第五图像；
将第一帧图像、第二帧图像、第三帧图像、第四图像和第五图像组成所述第一图像序列。
3.根据权利要求2所述的多曝光图像融合方法，其特征在于，将所述第一帧图像亮度匹配到第二帧图像而得到第四图像，包括：
获得所述第一帧图像和所述第二帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第一帧图像中每个颜色值对应的像素累计个数与所述第二帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第二帧图像的累计直方图的颜色值为目标颜色值；及
将所述第一帧图像的所述颜色值替换为所述目标颜色值而得到所述第四图像；
或者，将所述第二帧图像匹配到第三帧图像而得到第五图像，包括：
获得所述第二帧图像和所述第三帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第二帧图像的每个颜色值对应的像素累计个数与所述第三帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第三帧图像的累计直方图的颜色值为目标颜色值；及
将所述第二帧图像的所述颜色值替换为所述目标颜色值而得到所述第五图像。
4.根据权利要求3所述的多曝光图像融合方法，其特征在于，在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列，包括：
将所述第二帧图像作为参考图像，计算所述第二帧图像与所述第四图像的结构相似性矩阵和像素一致性矩阵，并将所述结构相似性矩阵和所述像素一致性矩阵点乘得到第一矩阵；
第二矩阵为1；
计算所述第三帧图像与所述第五图像的结构相似性矩阵和像素一致性矩阵，并将所述结构相似性矩阵和所述像素一致性矩阵点乘得到第三矩阵；
计算1与所述第一矩阵的差值得到第四矩阵；
计算1与所述第三矩阵的差值得到第五矩阵；
其中，所述第一矩阵、第二矩阵、第三矩阵、第四矩阵和第五矩阵组成矩阵序列。
5.根据权利要求4所述的多曝光图像融合方法，其特征在于，计算所述第二帧图像与所述第四图像的结构相似性矩阵，包括：
所述第二帧图像与所述第四图像的对应像素点的结构相似性大于预设阈值时，将结构相似性矩阵中对应该像素点的数值置为1；或者，
当所述第二帧图像与所述第四图像的对应像素点的结构相似性小于等于预设阈值时，将所述第二帧图像与所述第四图像的结构相似性矩阵中对应该像素点的数值置为0。
6.根据权利要求4所述的多曝光图像融合方法，其特征在于，计算所述第二帧图像与所述第四图像的的像素一致性矩阵，包括：
将第二帧图像和第四图像的对应像素点的颜色值的R值、G值和B值分别相减，得到绝对值R，绝对值G和绝对值B；
取绝对值R、绝对值G和绝对值B的最大值与预设阈值比较；
当所述最大值大于所述预设阈值，表明对应像素点的颜色值不一致，并将颜色一致性矩阵中对应该像素点的数值置为0；或者，
当所述最大值小于等于所述预设阈值，表明对应像素点的颜色值一致，并将颜色一致性矩阵中对应该像素点的数值置为1。
7.根据权利要求2所述的多曝光图像融合方法，其特征在于，将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，包括
将所述第二帧图像匹配到第一帧图像而得到第四新图像；
将所述第二帧图像匹配到第三帧图像而得到第五新图像；
将所述第一帧图像、第二帧图像、第三帧图像、第四新图像和第五新图像作为所述第二图像序列。
8.根据权利要求1所述的多曝光图像融合方法，其特征在于，基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值，包括：
计算所述第二图像序列的每个图像的特征值，包括窗口方差矩阵、窗口均值矩阵、全局均值矩阵、信号平均强度矩阵、信号结构强度矩阵和信号最大值矩阵。
9.根据权利要求8所述的多曝光图像融合方法，其特征在于，根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像，包括：
根据所述矩阵序列、包括但不限于窗口方差矩阵、窗口均值矩阵、信号平均强度矩阵、信号结构强度矩阵和信号最大值矩阵的特征值以及第二图像序列实现图像融合，得到融合后的高动态范围图像。
10.根据权利要求9所述的多曝光图像融合方法，其特征在于，根据所述矩阵序列、包括但不限于窗口方差矩阵、窗口均值矩阵、信号平均强度矩阵、信号结构强度矩阵和信号最大值矩阵的特征值以及第二图像序列实现图像融合，得到融合后的高动态范围图像，包括
滑动选择所述第二图像序列的各个图像的对应图像块，利用所述对应图像块计算高动态范围图像的对应图像块的R值、G值和B值；
滑动选择所述第二图像序列的各个图像中的下一对应图像块，利用所述下一对应图像块计算高动态范围图像的下一对应图像块的R值、G值和B值；
在滑动选择了所述第二图像序列的各个图像的所有对应图像块时，对所述高动态范围图像的R、G、B值中经过多次累加的数值除以累加次数，得到最终的高动态范围图像。
11.根据权利要求10所述的多曝光图像融合方法，其特征在于，利用所述对应图像块计算高动态范围图像的对应图像块的R值、G值和B值的计算公式为：
其中，nor()表示对括号内的数据归一化，Sgmapi是信号结构强度矩阵，Blocki(R/G/B)是所述第二图像序列的各个图像的对应图像块的R值/G值/B值，Lwini是窗口均值矩阵，Sigmai是窗口方差矩阵，Strsig是信号最大值矩阵，newL是所述第二图像序列的各个图像各自的信号平均强度矩阵Mumap与窗口均值矩阵Lwin点乘后求和。
12.一种终端，包括：照相机、处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序以执行以下步骤：
控制所述照相机拍摄曝光时间由短到长的至少三帧图像；
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列；
在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列；
将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，其中，所述第一图像序列和所述第二图像序列不同；
基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值；及
根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像。
13.根据权利要求12所述的终端，其特征在于，所述至少三帧图像包括由照相机拍摄的具有相同背景的且曝光时间从短到长的至少第一帧图像、第二帧图像和第三帧图像；所述处理器执行所述计算机程序所执行的步骤将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像，且将所述至少三帧图像和所述亮度匹配后的图像组成第一图像序列，包括：
将所述第一帧图像亮度匹配到第二帧图像而得到第四图像；
将所述第二帧图像亮度匹配到第三帧图像而得到第五图像；
将第一帧图像、第二帧图像、第三帧图像、第四图像和第五图像组成所述第一图像序列。
14.根据权利要求13所述的终端，其特征在于，所述处理器执行所述计算机程序所执行的步骤将所述第一帧图像亮度匹配到第二帧图像而得到第四图像，包括：
获得所述第一帧图像和所述第二帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第一帧图像中每个颜色值对应的像素累计个数与所述第二帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第二帧图像的累计直方图的颜色值为目标颜色值；及
将所述第一帧图像的所述颜色值替换为所述目标颜色值而得到所述第四图像；或者，
所述处理器执行所述计算机程序所执行的步骤将所述第二帧图像匹配到第三帧图像而得到第五图像，包括：
获得所述第二帧图像和所述第三帧图像的直方图，所述直方图的横坐标为颜色值，纵坐标为像素个数；
将直方图转换为累计直方图，所述累计直方图的横坐标为颜色值，纵坐标为像素累计个数；
将所述第二帧图像的每个颜色值对应的像素累计个数与所述第三帧图像的所有颜色值分别对应的像素累计个数分别相减得到多个像素累计个数差值，并确定所述多个像素累计个数差值中绝对值最小的差值所对应的所述第三帧图像的累计直方图的颜色值为目标颜色值；及
将所述第二帧图像的所述颜色值替换为所述目标颜色值而得到所述第五图像。
15.根据权利要求13所述的终端，其特征在于，所述处理器执行所述计算机程序所执行的步骤在所述至少三帧图像中选择一帧图像作为参考图像，利用所述匹配后的图像与所述参考图像计算结构相似性矩阵和像素一致性矩阵，进而得出表征结构相似性和像素一致性的矩阵序列，包括：
将所述第二帧图像作为参考图像，计算所述第二帧图像与所述第四图像的结构相似性矩阵和像素一致性矩阵，并将所述结构相似性矩阵和所述像素一致性矩阵点乘得到第一矩阵；
第二矩阵为1；
计算所述第三帧图像与所述第五图像的结构相似性矩阵和像素一致性矩阵，并将所述结构相似性矩阵和所述像素一致性矩阵点乘得到第三矩阵；
计算1与所述第一矩阵的差值得到第四矩阵；
计算1与所述第三矩阵的差值得到第五矩阵；
其中，所述第一矩阵、第二矩阵、第三矩阵、第四矩阵和第五矩阵组成矩阵序列。
16.根据权利要求15所述的终端，其特征在于，所述处理器执行所述计算机程序所执行的步骤计算所述第二帧图像与所述第四图像的结构相似性矩阵，包括：
所述第二帧图像与所述第四图像的对应像素点的结构相似性大于预设阈值时，将结构相似性矩阵中对应该像素点的数值置为1；或者，
当所述第二帧图像与所述第四图像的对应像素点的结构相似性小于等于预设阈值时，将所述第二帧图像与所述第四图像的结构相似性矩阵中对应该像素点的数值置为0。
17.根据权利要求15所述的终端，其特征在于，所述处理器执行所述计算机程序所执行的步骤计算所述第二帧图像与所述第四图像的的像素一致性矩阵，包括：
将第二帧图像和第四图像的对应像素点的颜色值的R值、G值和B值分别相减，得到绝对值R，绝对值G和绝对值B；
取绝对值R、绝对值G和绝对值B的最大值与预设阈值比较；
当所述最大值大于所述预设阈值，表明对应像素点的颜色值不一致，并将颜色一致性矩阵中对应该像素点的数值置为0；或者，
当所述最大值小于等于所述预设阈值，表明对应像素点的颜色值一致，并将颜色一致性矩阵中对应该像素点的数值置为1。
18.根据权利要求13所述的终端，其特征在于，所述处理器执行所述计算机程序所执行的步骤将所述至少三帧图像进行亮度匹配得到亮度匹配后的图像得到第二图像序列，包括：
将所述第二帧图像匹配到第一帧图像而得到第四新图像；
将所述第二帧图像匹配到第三帧图像而得到第五新图像；
将所述第一帧图像、第二帧图像、第三帧图像、第四新图像和第五新图像作为所述第二图像序列。
19.根据权利要求12所述的终端，其特征在于，所述处理器执行所述计算机程序所执行的步骤基于所述矩阵序列和所述第二图像序列计算所述第二图像序列中每个图像的特征值，包括：
计算所述第二图像序列的每个图像的特征值，包括窗口方差矩阵、窗口均值矩阵、全局均值矩阵、信号平均强度矩阵、信号结构强度矩阵和信号最大值矩阵。
20.根据权利要求19所述的终端，其特征在于，所述处理器执行所述计算机程序所执行的步骤根据所述矩阵序列、特征值和第二图像序列实现图像融合，得到融合后的高动态范围图像，包括：
根据所述矩阵序列、包括但不限于窗口方差矩阵、窗口均值矩阵、信号平均强度矩阵、信号结构强度矩阵和信号最大值矩阵的特征值以及第二图像序列实现图像融合，得到融合后的高动态范围图像。
21.根据权利要求20所述的终端，其特征在于，所述处理器执行所述计算机程序所执行的步骤根据所述矩阵序列、包括但不限于窗口方差矩阵、窗口均值矩阵、信号平均强度矩阵、信号结构强度矩阵和信号最大值矩阵的特征值以及第二图像序列实现图像融合，得到融合后的高动态范围图像，包括
滑动选择所述第二图像序列的各个图像的对应图像块，利用所述对应图像块计算高动态范围图像的对应图像块的R值、G值和B值；
滑动选择所述第二图像序列的各个图像中的下一对应图像块，利用所述下一对应图像块计算高动态范围图像的下一对应图像块的R值、G值和B值；
在滑动选择了所述第二图像序列的各个图像的所有对应图像块时，对所述高动态范围图像的R、G、B值中经过多次累加的数值除以累加次数，得到最终的高动态范围图像。
22.根据权利要求21所述的终端，其特征在于，利用所述对应图像块计算高动态范围图像的对应图像块的R值/G值/B值的计算公式为：
其中，nor()表示对括号内的数据归一化，Sgmapi是信号结构强度矩阵，Blocki(R/G/B)是所述第二图像序列的各个图像的对应图像块的R值/G值/B值，Lwini是窗口均值矩阵，Sigmai是窗口方差矩阵，Strsig是信号最大值矩阵，newL是所述第二图像序列的各个图像各自的信号平均强度矩阵Mumap与窗口均值矩阵Lwin点乘后求和。
23.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器调用运行后，执行如权利要求1至11中任意一项所述多曝光图像融合方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911353435.3A CN111091522B (zh) | 2019-12-24 | 2019-12-24 | 终端及其多曝光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911353435.3A CN111091522B (zh) | 2019-12-24 | 2019-12-24 | 终端及其多曝光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091522A true CN111091522A (zh) | 2020-05-01 |
| CN111091522B CN111091522B (zh) | 2022-09-13 |
Family
ID=70397120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911353435.3A Active CN111091522B (zh) | 2019-12-24 | 2019-12-24 | 终端及其多曝光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091522B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110211732A1 (en) * | 2009-04-23 | 2011-09-01 | Guy Rapaport | Multiple exposure high dynamic range image capture |
| CN105933617A (zh) * | 2016-05-19 | 2016-09-07 | 中国人民解放军装备学院 | 一种用于克服动态问题影响的高动态范围图像融合方法 |
| CN106131443A (zh) * | 2016-05-30 | 2016-11-16 | 南京大学 | 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法 |
| CN108419023A (zh) * | 2018-03-26 | 2018-08-17 | 华为技术有限公司 | 一种生成高动态范围图像的方法以及相关设备 |
| CN108492262A (zh) * | 2018-03-06 | 2018-09-04 | 电子科技大学 | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 |
| CN109345525A (zh) * | 2018-09-27 | 2019-02-15 | 方玉明 | 一种去鬼影高动态范围图像质量评价方法 |
-
2019
- 2019-12-24 CN CN201911353435.3A patent/CN111091522B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110211732A1 (en) * | 2009-04-23 | 2011-09-01 | Guy Rapaport | Multiple exposure high dynamic range image capture |
| CN105933617A (zh) * | 2016-05-19 | 2016-09-07 | 中国人民解放军装备学院 | 一种用于克服动态问题影响的高动态范围图像融合方法 |
| CN106131443A (zh) * | 2016-05-30 | 2016-11-16 | 南京大学 | 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法 |
| CN108492262A (zh) * | 2018-03-06 | 2018-09-04 | 电子科技大学 | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 |
| CN108419023A (zh) * | 2018-03-26 | 2018-08-17 | 华为技术有限公司 | 一种生成高动态范围图像的方法以及相关设备 |
| CN109345525A (zh) * | 2018-09-27 | 2019-02-15 | 方玉明 | 一种去鬼影高动态范围图像质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091522B (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Single-image HDR reconstruction by learning to reverse the camera pipeline | |
| US11055827B2 (en) | Image processing apparatus and method | |
| CN107680056B (zh) | 一种图像处理方法及装置 | |
| WO2018133379A1 (zh) | 一种低照度图像增强方法 | |
| WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
| Vonikakis et al. | Multi-exposure image fusion based on illumination estimation | |
| CN113129391B (zh) | 基于多曝光图像特征分布权重的多曝光融合方法 | |
| CN112351195B (zh) | 图像处理方法、装置和电子系统 | |
| CN107454285A (zh) | 图像噪声估计方法及装置与图像提取装置 | |
| CN112819721B (zh) | 一种图像彩色噪声降噪的方法和系统 | |
| Park et al. | Generation of high dynamic range illumination from a single image for the enhancement of undesirably illuminated images | |
| Kao | High dynamic range imaging by fusing multiple raw images and tone reproduction | |
| Wang et al. | Low-light image enhancement based on virtual exposure | |
| Choi et al. | Deep learning-based computational color constancy with convoluted mixture of deep experts (CMoDE) fusion technique | |
| CN112862753A (zh) | 噪声强度估计方法、装置及电子设备 | |
| CN110807735A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN107256539B (zh) | 一种基于局部对比度的图像锐化方法 | |
| Liba et al. | Sky optimization: Semantically aware image processing of skies in low-light photography | |
| Punnappurath et al. | Spatially aware metadata for raw reconstruction | |
| CN110175967B (zh) | 图像去雾处理方法、系统、计算机设备和存储介质 | |
| CN111311509A (zh) | 一种非正常曝光图像自适应校正方法 | |
| US20210125318A1 (en) | Image processing method and apparatus | |
| CN117218039A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
| CN108898566B (zh) | 一种利用时空照度图的低照度彩色视频增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Peng Xiaofeng Inventor before: Ji Hongzhen |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |