CN114820405A - 图像融合方法、装置、设备及计算机可读存储介质 - Google Patents

图像融合方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114820405A
CN114820405A CN202210419281.9A CN202210419281A CN114820405A CN 114820405 A CN114820405 A CN 114820405A CN 202210419281 A CN202210419281 A CN 202210419281A CN 114820405 A CN114820405 A CN 114820405A
Authority
CN
China
Prior art keywords
image
frame image
reference frame
fusion
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210419281.9A
Other languages
English (en)
Inventor
雷飞
张帆
孙文秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TetrasAI Technology Co Ltd
Original Assignee
Shenzhen TetrasAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TetrasAI Technology Co Ltd filed Critical Shenzhen TetrasAI Technology Co Ltd
Priority to CN202210419281.9A priority Critical patent/CN114820405A/zh
Publication of CN114820405A publication Critical patent/CN114820405A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像融合方法、装置、设备及计算机可读存储介质，其中，所述方法包括：获取同一场景下采集的至少两帧原始图像；其中，每一所述原始图像对应一种曝光度；对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐；所述参考帧图像的曝光度满足第一条件；所述补偿帧图像为所述至少两帧原始图像中除所述参考帧图像之外的每一图像；基于对齐后的所述参考帧图像和所述补偿帧图像，生成引导图像；所述补偿帧图像用于补偿所述参考帧图像中的运动区域；基于所述引导图像，对对齐后的所述参考帧图像和所述补偿帧图像进行融合。

Description

图像融合方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及但不限于图像处理技术领域，尤其涉及一种图像融合方法、装置、设备及计算机可读存储介质。
背景技术
随着数字产业革命的到来和数字摄影技术的快速发展，大众对高动态范围(HighDynamic Range，HDR)的图像拍摄的需求越来越多。由于摄像头传感器的硬件的限制，单帧图像的动态范围往往只有1000:1或者5000:1，而真实世界中自然场景的动态范围往往上万甚至数十万。
曝光融合是获取高动态范围图像的方法之一，该方法通过获取不同曝光时间的低动态范围图像来合成高动态范围图像。但是，由于各帧低动态范围图像在成像时存在时间间隔，如果拍摄场景中有运动物体，则会出现鬼影(Ghost)现象。
发明内容
有鉴于此，本申请实施例至少提供一种图像融合方法、装置、设备及计算机可读存储介质。
本申请实施例的技术方案是这样实现的：
一方面，本申请实施例提供一种图像融合方法，所述方法包括：
获取同一场景下采集的至少两帧原始图像；其中，每一所述原始图像对应一种曝光度；
对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐；所述参考帧图像的曝光度满足第一条件；所述补偿帧图像为所述至少两帧原始图像中除所述参考帧图像之外的每一图像；
基于对齐后的所述参考帧图像和所述补偿帧图像，生成引导图像；所述补偿帧图像用于补偿所述参考帧图像中的运动区域；
基于所述引导图像，对对齐后的所述参考帧图像和所述补偿帧图像进行融合。
上述实施例中，首先对获取的不同曝光度的多帧原始图像进行亮度对齐，再利用补充帧图像补偿参考帧图像的运动区域并生成引导图像，最后基于引导图像对对齐后的参考帧图像和补偿帧图像进行精细融合。这样，通过对多帧原始图像进行融合以恢复图像的动态范围，同时引入噪声模型可以得到更加准确的运动区域并处理，从而减少融合图像中鬼影的出现，进而能够质量更好的高动态范围图像。
在一些实施例中，所述对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐，包括：确定所述至少两帧原始图像中参考帧图像与补偿帧图像之间的曝光比例；基于所述曝光比例，将所述补偿帧图像的亮度对齐到所述参考帧图像的亮度。
上述实施例中，先确定参考帧图像与补偿帧图像之间的曝光比例，并基于曝光比例将补偿帧图像的亮度对齐到参考帧图像的亮度，减少后续进行图像融合时出现亮度过渡不自然的问题。
在一些实施例中，所述确定所述参考帧图像与所述补偿帧图像之间的曝光比例，包括：确定所述参考帧图像内有效区域的第一累计像素值，和所述补偿帧图像内有效区域的第二累计像素值；基于所述第一累计像素值与所述第二累计像素值，确定所述参考帧图像与所述补偿帧图像之间的曝光比例。
上述实施例中，基于原始域图像中像素值与所拍摄场景的亮度之间的线性特性，确定参考帧图像与补偿帧图像之间的曝光比例，便于后续基于该曝光比例将不同曝光的原始域图像对齐到统一亮度。
在一些实施例中，所述基于对齐后的所述参考帧图像和所述补偿帧图像，生成引导图像，包括：遍历选取所述补偿帧图像中曝光度满足所述第一条件的图像作为候选帧图像；利用预设的噪声模型确定所述对齐后的参考帧图像中的运动区域；在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述运动区域，得到所述引导图像。
上述实施例中，先从补偿帧图像中筛选出待与参考帧图像融合的候选帧图像，然后通过噪声模型更准确地确定出运动区域，最后再利用候选帧图像填充参考帧图像中的运动区域，从而生成引导图像。这样结合噪声模型判断两帧图像中未对齐的像素，再对参考帧图像和候选帧图像进行融合，可以在增加图像动态范围的同时减少鬼影的出现。
在一些实施例中，所述利用预设的噪声模型确定所述对齐后的参考帧图像中的运动区域，包括：基于对齐后的所述参考帧图像和所述候选帧图像，确定差值图像；其中，所述差值图像中的像素值为所述参考帧图像与所述候选帧图像中相对应的像素之差的绝对值；基于所述差值图像和所述噪声模型，确定差分比例图像；其中，所述差分比例图像表征所述参考帧图像和所述候选帧图像中各像素不匹配的程度；基于所述差分比例图像和特定阈值，确定所述参考帧图像中的运动区域。
上述实施例中，将对齐亮度后的两帧图像相减得到差值图像，再对比差值图像和噪声模型得到差分比例图像，最后按照差分比例图像中指示的两帧差异程度和特定阈值，确定出两帧图像中像素差异较大的区域，可以更加准确地确定出参考帧图像中的可能运动区域，最后利用候选帧图像进行填充，这样融合得到的引导图像中不会由于运动区域对应的像素被融合而产生鬼影，从而能够增加图像细节，提高图像质量。
在一些实施例中，所述方法还包括：利用形态学操作对所述运动区域进行去噪和膨胀处理，得到连通的运动区域；所述在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述运动区域，得到所述引导图像，包括：在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述连通的运动区域，得到所述引导图像。
上述实施例中，确定出参考帧图像中的运动区域之后，进一步对运动区域进行形态学处理，以消除一些噪声和孔洞，得到连通的运动区域，便于后续更好地填充运动区域对应的像素，在减少鬼影的基础上进一步减少图像噪声。
在一些实施例中，所述方法还包括：确定所述参考图像中像素值满足第二条件的区域为待处理区域；所述第二条件为基于所述第一条件确定的；去除所述运动区域中与所述待处理区域未直接相连的非必要区域，得到重点运动区域；所述在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述运动区域，得到所述引导图像，包括：在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述重点运动区域，得到所述引导图像。
上述实施例中，先确定出运动区域中未与参考帧图像中的待处理区域直接相连的非必要区域，再利用候选帧图像对去掉非必要区域的重点运动区域进行填充。这样，通过去掉运动区域中一些不必要的区域，防止填充的候选帧图像过多导致引导图像的质量变差。
在一些实施例中，所述方法还包括：在所述第一条件为所述参考帧图像的曝光时间最长的情况下，确定所述第二条件为所述参考帧图像中的像素值大于第一阈值；在所述第一条件为所述参考帧图像的曝光时间最短的情况下，确定所述第二条件为所述参考帧图像中的像素值小于第二阈值；所述第二阈值小于所述第一阈值。
上述实施例中，附加限定了将长曝图像作为参考帧图像的情况下，待处理区域的特征为像素值大于第一阈值即高光区域，以及限定了将短曝图像作为参考帧图像的情况下，待处理区域的特征为像素值小于第二阈值即暗光区域。这样便于后续准确地从初步筛选的运动区域中锁定待融合的重点运动区域。
在一些实施例中，所述基于所述引导图像，对对齐后的所述参考帧图像和所述补偿帧图像进行融合，包括：基于所述参考帧图像和所述候选帧图像各自的感光度，确定最小图像噪声；所述候选帧图像为所述补偿帧图像中曝光度满足所述第一条件的图像；以所述最小图像噪声为约束，基于所述引导图像，确定所述参考帧图像和所述候选帧图像之间的目标融合比例；基于所述目标融合比例，对对齐后的所述参考帧图像和所述候选帧图像进行融合。
上述实施例中，首先根据各帧图像的感光值确定出最小图像噪声，再以引导图像和最小图像噪声为限定条件确定目标融合比例，最后基于目标融合比例对参考帧图像和候选帧图像进行融合，从而在减少鬼影的基础上进一步减少图像的噪声。
在一些实施例中，所述以所述最小图像噪声为约束，基于所述引导图像，确定所述参考帧图像和所述候选帧图像之间的目标融合比例，包括：确定所述参考帧图像和所述候选帧图像在所述最小图像噪声的约束下的线性系数；基于所述线性系数和所述引导图像，确定在预设损失函数的损失值最小的情况下，所述参考帧图像和所述候选帧图像之间的目标融合比例。
上述实施例中，首先确定两帧图像在最小图像噪声的约束下的线性系数，然后以引导图像和线性系数为基准，求解预设损失函数的损失值最小时的目标融合比例。从而在引导图像的基础上对参考帧图像和候选帧图像进行精细融合，使得融合边界过渡平滑。
在一些实施例中，所述预设损失函数的损失值通过以下过程确定：确定所述参考帧图像和所述候选帧图像在预测融合比例下的中间融合图像；确定所述中间融合图像与所述引导图像中相对应的像素之间的像素差值；确定所述线性系数与所述预测融合比例之间的误差平方；基于所述中间融合图像中所有像素的像素差值的平方和，以及所述误差平方，确定所述预设损失函数的损失值。
上述实施例中，通过设置预测融合比例这一变量，预测所融合的中间融合图像与引导图像之间的像素差异以及该变量与已知的线性系数之间的误差，完成构建预设损失函数的损失值的计算方式。从而可以利用构建的预设损失函数的损失值求解使得融合损失最小的目标融合比例。
另一方面，本申请实施例提供一种图像融合装置，所述装置包括获取模块、对齐模块、生成模块和融合模块，其中：
所述获取模块，用于获取同一场景下采集的至少两帧原始图像；其中，每一所述原始图像对应一种曝光度；
所述对齐模块，用于对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐；所述参考帧图像的曝光度满足第一条件；所述补偿帧图像为所述至少两帧原始图像中除所述参考帧图像之外的每一图像；
所述生成模块，用于基于对齐后的所述参考帧图像和所述补偿帧图像，生成引导图像；所述补偿帧图像用于补偿所述参考帧图像中的运动区域；
所述融合模块，用于基于所述引导图像，对对齐后的所述参考帧图像和所述补偿帧图像进行融合。
再一方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
又一方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
本申请实施例中，首先对获取的不同曝光度的多帧原始图像进行亮度对齐，再利用补充帧图像补偿参考帧图像的运动区域并生成引导图像，最后基于引导图像对对齐后的参考帧图像和补偿帧图像进行精细融合。这样，通过对多帧原始图像进行融合以恢复图像的动态范围，同时引入噪声模型可以得到更加准确的运动区域并处理，从而减少融合图像中鬼影的出现，进而能够质量更好的高动态范围图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的图像融合方法的可选的流程示意图；
图2为本申请实施例提供的图像融合方法的可选的流程示意图；
图3为本申请实施例提供的图像融合方法的可选的流程示意图；
图4为本申请实施例提供的图像融合方法的可选的流程示意图；
图5为本申请实施例提供的图像融合方法的示例的流程示意图；
图6A为相关技术中图像融合方法的一种效果示意图；
图6B为本申请实施例提供的图像融合方法的一种效果示意图；
图7为本申请实施例提供的一种图像融合装置的组成结构示意图；
图8为本申请实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。
在对本申请实施例进行进一步详细说明之前，先对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
图像融合，是将低分辨率的多光谱影像与高分辨率的单波段影像重采样生成一副高分辨率多光谱影像遥感的图像处理技术。该过程将多幅图像，在经过去噪、配准等预处理后，再依据某些融合规则合成一幅融合图像，融合图像对目标的描述更清晰和准确，更适合图像后续的处理。
图像融合的方法很多，按照信息提取的层次从低到高的原则可划分为3类：像素级图像融合、特征级图像融合和决策级图像融合。本申请实施例所提及的融合皆为像素级融合。
像素级融合依据一定的融合规则直接对源图像基于像素的特征进行融合，最后生成一幅融合图像的过程。它保留源图像的原始信息最多、融合准确性最高。
HDR(High Dynamic Range，高动态范围)技术通过局部提高亮度，或者降低亮度来增加照片亮部和暗部的层次，终端设备通过设置不同档位的曝光量，拍摄得到构图相同但不同曝光量的图片，然后通过HDR合成算法，分析多帧图片，提取不同图片的部分细节进行合成，将几张低动态范围的图片合成具有更高动态范围的图片。
为了实现对高动态范围真实场景的还原，一种常见的方法是拍摄不同曝光的多帧图像进行融合。而因为多帧图像拍摄的时间是有前后差异的，所以帧与帧之间的图像内容也不一定完全对齐，如果直接融合就会产生鬼影，此时就需要一种减少鬼影的多帧图像的融合方法。
多帧高动态图像融合的目的是为了增加图像的动态范围，在融合中为了减少鬼影，首先需要检测到图像的运动区域，然后对这些运动区域进行单独处理。最后再对其他区域进行融合处理。
现有的去除鬼影的图像融合方法大多基于RGB(Red Green Blue，红绿蓝即可见光)域的图像。RGB域的图像经过了ISP(Image Signal Processing，图像信号处理)单元的处理，其像素值相较于场景的亮度已经变成非线性的关系，现有的检测手段比如帧差法，直方图对比等均不能达到好的效果。
本申请实施例提供一种图像融合方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备图像融合能力的设备。图1为本申请实施例提供的图像融合方法的可选的流程示意图，如图1所示，该方法包括如下步骤S101至步骤S104：
步骤S101，获取同一场景下采集的至少两帧原始图像；
这里，所述原始图像指图像为RAW域或称RAW格式，是指未经加工图像。进一步地，所述原始图像可以理解为，就是相机的感光元件比如互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)或者电荷耦合器件(Charge-coupledDevice，CCD)将捕捉到的光源信号转化为数字信号的原始数据。RAW域是未经ISP非线性处理、也未经压缩的格式。RAW格式的全称是RAW Image Format。
每一所述原始图像对应一种曝光度，所述至少两帧原始图像为对同一场景连续拍摄的多帧图像，即不同帧原始图像所拍摄的视角基本相同，其中原始图像表示采集设备如数字照相机捕获到的原始图像数据。本申请实施例对原始域的不同曝光的多帧图像进行融合，以获得一个高动态范围的目标融合图像。
例如，t1时刻在曝光度EV+2下采集一帧图像P1，t2时刻在曝光度EV0下采集一帧图像P2，t3时刻在曝光度EV-2下采集一帧图像P3。可以理解的是，曝光度(Exposure Value，EV)反映的是拍摄参数的组合，代表能够给出同样曝光的所有相机光圈和快门组合，由光圈值、曝光时间、曝光增益共同决定，也就是说，对应固定的光圈值，曝光度越大则曝光时间越长，从而采集的图像P1至P3对应不同的亮度，依次为长曝图像、中曝图像、短曝图像。
在一些实施方式中，可以通过一个改变曝光时间的摄像机，在拍摄同一个场景的过程中不断地快速改变其曝光时间，以获得一组不同曝光度交替的原始图像；在另一些实施方式中，可以通过在同一场景设置的多个不同参数的摄像机分别采集一种曝光时间的原始图像；本申请实施例对此不做限定。
步骤S102，对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐；
这里，所述参考帧图像的曝光度满足第一条件，第一条件可以是亮度最亮或曝光时间最长，第一条件还可以是亮度最暗或曝光时间最短等，参考帧图像为亮度对齐或图像融合中的基准图像；所述补偿帧图像为所述至少两帧原始图像中除所述参考帧图像之外的每一图像，补偿帧图像用于在图像融合中补偿参考帧图像中的过曝区域、过暗区域或运动区域等。
由于获取的至少两帧原始图像对应不同的曝光度，如曝光时间或者感光度(ISO，International Standards Organization，国际标准化组织规定的胶片对光线的化学反映速度即曝光灵敏度)值不同，因而存在长曝图像、中曝图像以及短曝图像中的至少两种亮度水平的图像，因为而导致亮度水平是不一致的。所以，需要将参考帧图像和补偿帧图像的亮度做对齐处理。
在实施中，以参考帧图像为基准，将除参考帧图像之外的补偿帧图像每个位置的像素亮度统一到参考帧图像的亮度水平。在ISO值一定的情况下，长曝图像的曝光时间最长，短曝图像的曝光时间最短。在一些实施方式中，第一条件指示为曝光时间最长，则以长曝图像为参考帧图像；在另一些实施方式中，第一条件指示为曝光时间最短，则以短曝图像为参考帧图像。
步骤S103，基于对齐后的所述参考帧图像和所述补偿帧图像，生成引导图像；
这里，所述补偿帧图像用于补偿所述参考帧图像中的运动区域，运动区域可以理解为图像中奔驰的汽车、奔跑的动物、行走的行人、飞行的飞机等存在移动速度的对象所在的区域。由于拍摄不同帧图像的时间是有先后差异的，帧与帧之间的运动区域直接进行融合就会产生鬼影，因此在最终融合之前需要对这些运动区域进行单独处理，例如使用同一帧的内容融合运动区域。
在实施中，可以利用已标定的噪声模型和原始域图像的线性特性，判断对齐后的参考帧图像和候选帧图像之间像素不匹配的程度，进而准确判断出图像中的运动区域，利用运动区域掩膜对参考帧图像和候选帧图像进行图像融合，得到引导图像(GuidedImage)。
步骤S104，基于所述引导图像，对对齐后的所述参考帧图像和所述补偿帧图像进行融合。
这里，通过引导图像中确定的可能运动区域，引导对齐后的所述参考帧图像和所述补偿帧图像进行融合，能够在融合中减少鬼影的出现。
本申请实施例中，首先对获取的不同曝光度的多帧原始图像进行亮度对齐，再利用补充帧图像补偿参考帧图像的运动区域并生成引导图像，最后基于引导图像对对齐后的参考帧图像和补偿帧图像进行精细融合。这样，通过对多帧原始图像进行融合以恢复图像的动态范围，同时引入噪声模型可以得到更加准确的运动区域并处理，从而减少融合图像中鬼影的出现，进而能够质量更好的高动态范围图像。
在一些实施例中，上述步骤S102可以包括如下步骤121至步骤122：
步骤121，确定所述至少两帧原始图像中参考帧图像与补偿帧图像之间的曝光比例；
这里，针对原始图像中像素值的强度与拍摄场景的亮度成正比的特性，确定所述至少两帧原始图像中参考帧图像与补偿帧图像之间的曝光比例。
在实施中，可以通过以下过程确定上述曝光比例：确定所述参考帧图像内有效区域的第一累计像素值，和所述补偿帧图像内有效区域的第二累计像素值；基于所述第一累计像素值与所述第二累计像素值，确定所述参考帧图像与所述补偿帧图像之间的曝光比例。其中，有效区域指的是图像中排除曝光不合适的像素之后的剩余区域，曝光不合适的像素可以包括如曝光过渡的像素和/或曝光不足的像素。
这样，基于原始域图像中像素值与所拍摄场景的亮度之间的线性特性，确定参考帧图像与补偿帧图像之间的曝光比例，便于后续基于该曝光比例将不同曝光的原始域图像对齐到统一亮度。
步骤122，基于所述曝光比例，将所述补偿帧图像的亮度对齐到所述参考帧图像的亮度。
这里，基于所述曝光比例，对补偿帧图像中每一像素的亮度进行线性调整，调整后的补偿帧图像的亮度与参考帧图像的亮度基本持平。
在上述实施例中，先确定参考帧图像与补偿帧图像之间的曝光比例，并基于曝光比例将补偿帧图像的亮度对齐到参考帧图像的亮度，减少后续进行图像融合时出现亮度过渡不自然的问题。相比于相关技术中大多基于RGB图像进行图像融合，本申请实施例针对原始图像的线性特性，提出了曝光比例的确定方式以及基于曝光比例进行原始图像对齐及融合的流程。
本申请实施例提供一种图像融合方法，该方法可以由计算机设备的处理器执行。图2为本申请实施例提供的图像融合方法的可选的流程示意图，如图2所示，所述方法可以通过以下步骤实现：
步骤S201，获取同一场景下采集的至少两帧原始图像；
这里，每一所述原始图像对应一种曝光度。
步骤S202，对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐；
这里，所述参考帧图像的曝光度满足第一条件；所述补偿帧图像为所述至少两帧原始图像中除所述参考帧图像之外的每一图像。
步骤S203，遍历选取所述补偿帧图像中曝光度满足所述第一条件的图像作为候选帧图像；
这里，假定第一条件为曝光时间最长，则参考帧图像为长曝图像，第一次两两融合时将曝光时间次长的补偿帧图像作为候选帧图像，与参考帧图像进行融合；第二次再将曝光时间第三长的补偿帧图像作为候选帧图像，与第一次融合结果进行再次融合。
步骤S204，利用预设的噪声模型确定所述对齐后的参考帧图像中的运动区域；
这里，通过噪声模型判断两帧图像中未对齐的像素所在的区域即为运动区域。所述预设的噪声模型可以为高斯泊松噪声模型或者物理噪声模型等，其中物理噪声模型为分析高光谱相机的物理成像过程，根据噪声源分析建立高光谱相机的噪声模型并基于统计方法标定噪声模型参数；高斯泊松噪声模型的主要获取方式是利用实验室拍摄所得的、图像噪声较小的原始域图像对高斯泊松噪声模型进行标定，进而利用该模型对原始域图像进行噪声估计与去噪。
步骤S205，在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述运动区域，得到所述引导图像；
这里，利用候选帧图像对参考帧图像中的运动区域进行填充，这样融合得到的引导图像中不会由于运动区域对应的像素被融合而产生鬼影，从而能够增加图像细节，提高图像质量。
步骤S206，基于所述引导图像，对对齐后的所述参考帧图像和所述候选帧图像进行融合。
这里，上述步骤S201至步骤S202、步骤S206分别对应于前述步骤S101至步骤S102、步骤S104，在实施时可以参照前述步骤的具体实施方式。
本申请实施例中，先从补偿帧图像中筛选出待与参考帧图像融合的候选帧图像，然后通过噪声模型更准确地确定出运动区域，最后再利用候选帧图像填充参考帧图像中的运动区域，从而生成引导图像。这样结合噪声模型判断两帧图像中未对齐的像素，再对参考帧图像和候选帧图像进行融合，可以在增加图像动态范围的同时减少鬼影的出现。
在一些实施例中，上述步骤S204“利用预设的噪声模型确定所述对齐后的参考帧图像中的运动区域”可以通过以下步骤实现：
步骤241，基于对齐后的所述参考帧图像和所述候选帧图像，确定差值图像；
这里，所述差值图像中的像素值为所述参考帧图像与所述候选帧图像中相对应的像素之差的绝对值；也就是说将对齐亮度的参考帧图像和候选帧图像进行相减再求绝对值得到差值图像，例如参考帧图像为对齐后的长曝图像L1，候选帧图像为对齐后的中曝图像M1，则对应差值图像为diff＝|L1-M1|。
步骤242，基于所述差值图像和预设的噪声模型，确定差分比例图像；
这里，所述差分比例图像表征所述参考帧图像和所述候选帧图像中各像素不匹配的程度。通过对比差值图像和噪声模型得到参考帧图像和所述候选帧图像中各像素的差得到差分比例图像，例如将差值图像diff除以噪声模型noise_sigma得到差分比例图像mtz，即mtz＝diff/noise_sigma。
步骤243，基于所述差分比例图像和特定阈值，确定所述参考帧图像中的运动区域。
这里，特定阈值为两帧曝光不同的图像对齐后对应像素点的最大噪声比例，通常为经验值，通过判断差分比例图像中各像素值和特定阈值，确定出两帧图像中像素差异较大的区域，可以更加准确地确定出参考帧图像中的可能运动区域。
上述实施例中，将对齐亮度后的两帧图像相减得到差值图像，再对比差值图像和噪声模型得到差分比例图像，最后按照差分比例图像中指示的两帧差异程度和特定阈值，确定出两帧图像中像素差异较大的区域，可以更加准确地确定出参考帧图像中的可能运动区域，最后利用候选帧图像进行填充，这样融合得到的引导图像中不会由于运动区域对应的像素被融合而产生鬼影，从而能够增加图像细节，提高图像质量。
多帧高动态图像融合的目的是为了增加图像的动态范围，在融合中为了减少鬼影，首先需要检测到图像的运动区域，本申请以参考帧图像为基准，即需要确定出参考帧图像中的运动区域，然后对这些运动区域进行单独处理。
在一些实施例中，上述步骤S204之后还可以利用形态学操作对所述运动区域进行去噪和膨胀处理，得到连通的运动区域，上述形态学操作可以为图像处理领域常用的膨胀操作、腐蚀操作、开操作、闭操作等；相应地，上述步骤S205进一步实施为：在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述连通的运动区域，得到所述引导图像。
上述实施例中，确定出参考帧图像中的运动区域之后，进一步对运动区域进行形态学处理，以消除一些噪声和孔洞，得到连通的运动区域，便于后续更好地填充运动区域对应的像素，在减少鬼影的基础上进一步减少图像噪声。
在一些实施例中，上述步骤S204之后还可以确定所述参考图像中像素值满足第二条件的区域为待处理区域；所述第二条件为基于所述第一条件确定的；去除所述运动区域中与所述待处理区域未直接相连的非必要区域，得到重点运动区域；相应地，上述步骤S205进一步实施为：在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述重点运动区域，得到所述引导图像。
上述实施例中，先确定出运动区域中未与参考帧图像中的待处理区域直接相连的非必要区域，再利用候选帧图像对去掉非必要区域的重点运动区域进行填充。这样，通过去掉运动区域中一些不必要的区域，防止填充的候选帧图像过多导致引导图像的质量变差。
在一些实施例中，可以通过以下过程确定所述第二条件：在所述第一条件为所述参考帧图像的曝光时间最长的情况下，确定所述第二条件为所述参考帧图像中的像素值大于第一阈值；在所述第一条件为所述参考帧图像的曝光时间最短的情况下，确定所述第二条件为所述参考帧图像中的像素值小于第二阈值；所述第二阈值小于所述第一阈值。
上述实施例中，附加限定了将长曝图像作为参考帧图像的情况下，待处理区域的特征为像素值大于第一阈值即高光区域，以及限定了将短曝图像作为参考帧图像的情况下，待处理区域的特征为像素值小于第二阈值即暗光区域。这样便于后续准确地从初步筛选的运动区域中，锁定待融合的重点运动区域。
图3为本申请实施例提供的图像融合方法的可选的流程示意图，该方法可以由计算机设备的处理器执行。如图3所示，上述步骤S206可以通过以下步骤实现：
步骤S301，基于所述参考帧图像和所述候选帧图像各自的感光度，确定最小图像噪声；
这里，最小图像噪声表明根据参考帧图像和候选帧图像各自的感光度进行融合所得的图像的噪声最小。
需要说明的是，参考帧图像和候选帧图像均以原始文件的格式存储在终端设备中。原始文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据如ISO的设置、快门速度、光圈值、白平衡等的文件。对于一帧图像来说，感光度越大，对应的图像噪声越大。
图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。噪声的存在严重影响了图像的质量，因此，在图像融合之前先确定融合的最小图像噪声。
步骤S302，以所述最小图像噪声为约束，基于所述引导图像，确定所述参考帧图像和所述候选帧图像之间的目标融合比例；
这里，引导图像为对参考帧图像和候选帧图像进行粗糙融合的结果。根据最小图像噪声的约束并以引导图像为基准，对参考帧图像和候选帧图像做精细的融合，在达到最小图像噪声的情况下得到参考帧图像和候选帧图像之间的目标融合比例。
步骤S303，基于所述目标融合比例，对对齐后的所述参考帧图像和所述候选帧图像进行融合。
这里，在上一步骤S302中求解得到目标融合比例之后，便可基于目标融合比例对对齐后的参考帧图像和候选帧图像进行线性求和，得到目标融合图像。例如，目标融合比例为a，则目标融合图像＝a*参考帧图像+(1-a)*候选帧图像。
本申请实施例中，首先根据各帧图像的感光值确定出最小图像噪声，再以引导图像和最小图像噪声为限定条件确定目标融合比例，最后基于目标融合比例对参考帧图像和候选帧图像进行融合，从而在减少鬼影的基础上进一步减少图像的噪声。
在一些实施例中，上述步骤S302可以包括如下步骤321至步骤322：
步骤321，确定所述参考帧图像和所述候选帧图像在所述最小图像噪声的约束下的线性系数；
这里，假定参考帧图像和候选帧图像在最小图像噪声的约束下的线性系数分别为a和b，则a和b之和一定为1，且对参考帧图像乘以a的结果和候选帧图像乘以b的结果求和，所得到的融合图像的噪声最小。
步骤322，基于所述线性系数和所述引导图像，确定在预设损失函数的损失值最小的情况下，所述参考帧图像和所述候选帧图像之间的目标融合比例。
这里，预设损失函数的损失值表征最终的目标融合图像与引导图像之间最匹配，且线性系数与目标融合比例之间的误差最小。
上述实施例中，首先确定两帧图像在最小图像噪声的约束下的线性系数，然后以引导图像和线性系数为基准，求解预设损失函数的损失值最小时的目标融合比例。从而在引导图像的基础上对参考帧图像和候选帧图像进行精细融合，使得融合边界过渡平滑。
图4为本申请实施例提供的图像融合方法的可选的流程示意图，如图4所示，上述图3实施例中所述预设损失函数的损失值可以通过以下步骤确定：
步骤S401，确定所述参考帧图像和所述候选帧图像在预测融合比例下的中间融合图像；
这里，中间融合图像理解为融合过程中的中间结果，先设定预测融合比例，然后基于该比例系数对参考帧图像和候选帧图像进行融合，得到中间融合图像。
步骤S402，确定所述中间融合图像与所述引导图像中相对应的像素之间的像素差值；
这里，为了确定预设损失函数的损失值，需要对比中间融合图像和引导图像之间的差异。可以按照以图像小块的形式，依次对比每一块内各像素在两帧图像之间的像素差值。
步骤S403，确定所述线性系数与所述预测融合比例之间的误差平方；
这里，线性系数和预测融合比例均为目标融合比例的解，其中线性系数的大小影响融合结果的图像噪声，预测融合比例则考虑融合结果的边界过渡是否平滑。
步骤S404，基于所述中间融合图像中所有像素的像素差值的平方和以及所述误差平方，确定所述预设损失函数的损失值。
这里，通过结合中间融合图像与引导图像之间的差异，以及线性系数与所述预测融合比例之间的误差，建立预设损失函数，进而确定预设损失函数的损失值。
本申请实施例中，通过设置预测融合比例这一变量，预测所融合的中间融合图像与引导图像之间的像素差异以及该变量与已知的线性系数之间的误差，完成构建预设损失函数的损失值的计算方式。从而可以利用构建的预设损失函数的损失值求解使得融合损失最小的目标融合比例。
下面说明本申请实施例提供的图像融合方法在实际场景中的应用，以三帧不同曝光度的原始图像(包括长曝图像、中曝图像和短曝图像)进行融合为例进行说明。
本申请实施例提供一种图像融合方法的具体示例。如图5所示，该方法包括如下步骤S501至步骤S505：
步骤S501，以长曝图像为基准，对中曝图像和短曝图像进行亮度对齐；
这里，首先获取三帧不同曝光度的原始图像，分别是长曝图像、中曝图像和短曝图像。其中长曝、中曝以及短曝分别对应至不同的曝光设定包括曝光时间、放大器的增益。
对原始图像来说，其像素值的强度与所拍场景的亮度是成正比的，但是像素值的强度同时还会受到曝光时间和ISO值等相机拍摄参数的控制。长曝图像、中曝图像和短曝图像因为曝光时间或者ISO值不同，导致亮度水平是不一致的，所以需要将不同曝光度图像的亮度做对齐。
这里以长曝图像为基准，相当于参考帧图像为长曝图像，补偿帧图像为中曝图像和短曝图像。在其他实施例中，也可以将短曝图像作为参考帧图像，相应实施时是以短曝图像为基准，对长曝图像和短曝图像进行亮度对齐，本申请实施例对此不作限定。
步骤S502，结合已标定的噪声模型，对对齐后的长曝图像和对齐后的中曝图像进行融合，得到第一引导图像；
这里，已标定的噪声模型可以对原始图像进行噪声估计与去噪。对于不同时刻拍摄的长曝图像和中曝图像中会存在由于对象运动导致的运动区域，在融合过程中直接对运动区域进行融合会不可避免地产生噪声如出现鬼影。
因此，融合的基本思路是找出图像中可能运动的区域并使用来自单帧的内容对运动区域进行填充，例如要么仅使用中曝图像(相当于候选帧图像)进行填充，要么仅使用长曝图像(参考帧图像)进行填充，否则可能出现两个人、两辆车重叠的鬼影。
相较于相关技术中基于原始图像融合的方案中未考虑噪声模型，无法得到精准的运动区域，本申请实施例在原始域对图像运动区域进行检测，并考虑了图像的噪声模型，能够得到更加准确的运动区域，进而在融合中减少鬼影的出现。
步骤S503，结合已标定的噪声模型，对第一引导图像和对齐后的短曝图像进行融合，得到第二引导图像；
这里，引导图像(第一引导图像或第二引导图像)可以理解成一张比较粗糙的融合结果图，生成引导图像的目的是便于后续做精细的图像融合。
步骤S504，根据图像的感光度确定长曝图像、中曝图像和短曝图像之间的线性系数；
这里，可以通过一些公式(1)求解得到线性系数a1,b1,c1，在该线性系数下整张融合图像的噪声VarI最小。
Figure BDA0003606236580000191
其中，VarI是目标融合图像的图像噪声，L1为对齐后的长曝图像，M1为对齐后的中曝图像，S1为对齐后的短曝图像。
步骤S505，以第一引导图像为基准，对对齐后的长曝图像、对齐后的中曝图像进行融合，得到第一融合图像；
这里，首先构建损失函数，用于表征融合后的图像与第一引导图像之间的差异，然后确定在损失函数最小即预设损失函数的损失值最小的情况下的目标融合比例，最后再基于目标融合比例进行融合，得到第一融合图像。
在实施中，可以通过以下公式(2)求解得到对齐后的长曝图像与中曝图像之间的目标融合比例a2，再通过公式(3)进行融合得到第一融合图像。
Figure BDA0003606236580000192
fuse_LM＝a2L1+(1-a2)M1 公式(3)；
其中，L(a2)为对齐后的长曝图像与对齐后的中曝图像融合后的预设损失函数的损失值，L1为对齐后的长曝图像，M1为对齐后的中曝图像，a1为通过公式(1)求解的线性系数，G1为第一引导图像，fuse_LM为第一融合图像。
步骤S506，以第二引导图像为基准，对对齐后的短曝图像、第一融合图像进行融合，得到第二融合图像。
这里，可以通过以下公式(4)求解得到第一融合图像与对齐后的短曝图像之间的目标融合比例b2，再通过公式(5)进行融合得到第二融合图像。
Figure BDA0003606236580000201
fuse_LMS＝b2fuse_LM+(1-b2)S1 公式(5)；
其中，L(b2)为第一融合图像与对齐后的短曝图像融合后的预设损失函数的损失值，fuse_LM为第一融合图像，S1为对齐后的短曝图像，b1为通过公式(1)求解的线性系数，G2为第二引导图像，fuse_LMS为第二融合图像。
在实施中，上述步骤S501“以长曝图像为基准，对中曝图像和短曝图像进行亮度对齐”可以通过以下过程实现：
步骤511，确定长曝图像L与中曝图像M之间的曝光比例k1，以及长曝图像L与短曝图像S之间的曝光比例k2；
步骤512，将中曝图像M乘以k1得到对齐后的中曝图像M1(M1＝L*k1)；
步骤513，将短曝图像S乘以k2得到对齐后的短曝图像S1(S1＝S*k2)。
这样便得到了对齐后的的长曝图像L1(同L)、中曝图像M1和短曝图像S1。
在实施中，上述步骤S502“结合已标定的噪声模型，对对齐后的长曝图像和对齐后的中曝图像进行融合，得到第一引导图像”可以通过以下过程实现：
步骤521，将对齐亮度的长曝图像和短曝图像按像素相减，再求绝对值得到差值图像diff(diff＝|L1-M1|)；
步骤522，将差值图像diff除以噪声模型(noise_sigma)得到差分比例图像mtz(mtz＝diff/noise_sigma)；其中差分比例图像表征了某个像素在两帧图像之间的差值是该像素处噪声的多少倍；
步骤523，基于差分比例图像mtz和特定阈值t确定长曝图像L1中的运动区域mask1；
这里，将差分比例图像mtz中像素值大于特定阈值t的部分映射到长曝图像L1中的区域确定为运动区域mask1；也就是说，长曝图像L1中除过运动区域mask1的部分为非运动区域，在融合过程中非运动区域保持长曝图像L1即参考帧图像的内容。在其他实施方式中，还可以随机对mask1进行形态学处理，以消除一些噪声和孔洞。
步骤524，去除运动区域mask1内的非必要区域，得到重点运动区域mask2；
值得注意的是，一般来说，针对对齐亮度的长曝图像和中曝图像之间的融合，运动区域mask1需要使用对齐后的中曝图像M1来填充，但是中曝图像M1填充得越多，意味着目标融合图像的质量可能会变差，所以需要去掉运动区域mask1中一些非必要区域。
如果部分区域使用对齐后的长曝图像L1或者对齐后的中曝图像M1都可以既恢复图像的动态范围又不引入鬼影，那这部分区域即被认为是非必要区域。运动区域mask1中没有与长曝图像L1的高光区域直接相连的区域被认为是非必要区域。
步骤525，在对齐后的长曝图像L1中，利用对齐后的中曝图像M1填充重点运动区域mask2，得到第一引导图像。
在步骤S503中对于第一引导图像与对齐后的短曝图像S1之间的融合过程，可以参见上述步骤521至步骤525。
本申请实施例在原始域对图像运动区域进行检测，并考虑了图像的噪声模型，能够得到更加准确的运动区域，进而在融合中减少鬼影的出现。同时本申请实施例提出的融合方式基于噪声最小考虑，最终能获得一个噪声更少的图像。
以行人站在街道中拍照的场景为例，如图6A所示，为相关技术中对行人61采集的多帧图像进行融合的融合结果示意图，此时有另一行人62正从身后经过，对该行人61采集的图像背景中会存在运动区域63，若直接对多帧采集的图像进行融合，在运动区域63会产生鬼影(如图中行人62因移动产生的虚拟影像)。如图6B所示，运用本申请实施例提供的图像融合方法，以单帧图像(如中曝图像M1)的内容填充运动区域64，再对不同曝光度的图像进行融合，便能获得更好的宽动态范围且不存在鬼影的目标融合图像。
本申请实施例适用于用户期望使用终端设备、相机拍摄多帧图像以制作高动态范围图像的场景；同时也适用于用户有多帧图像且期望得到图像中的运动区域等场景。
基于前述的实施例，本申请实施例提供一种图像融合装置，该装置包括所包括的各模块、以及各模块所包括的各子模块及单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CentralProcessing Unit，CPU)、微处理器(Microprocessor Unit，MPU)、数字信号处理器(DigitalSignal Processor，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等。
图7为本申请实施例提供的一种图像融合装置的组成结构示意图，如图7所示，装置700包括：获取模块710、对齐模块720、生成模块730和融合模块740，其中：
所述获取模块710，用于获取同一场景下采集的至少两帧原始图像；其中，每一所述原始图像对应一种曝光度；
所述对齐模块720，用于对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐；所述参考帧图像的曝光度满足第一条件；所述补偿帧图像为所述至少两帧原始图像中除所述参考帧图像之外的每一图像；
所述生成模块730，用于基于对齐后的所述参考帧图像和所述补偿帧图像，生成引导图像；所述补偿帧图像用于补偿所述参考帧图像中的运动区域；
所述融合模块740，用于基于所述引导图像，对对齐后的所述参考帧图像和所述补偿帧图像进行融合。
在一些可能的实施例中，所述对齐模块720包括第一确定子模块和对齐子模块，其中：所述第一确定子模块，用于确定所述至少两帧原始图像中参考帧图像与补偿帧图像之间的曝光比例；所述对齐子模块，用于基于所述曝光比例，将所述补偿帧图像的亮度对齐到所述参考帧图像的亮度。
在一些可能的实施例中，所述第一确定子模块包括第一确定单元和第二确定单元，其中：所述第一确定单元，用于确定所述参考帧图像内有效区域的第一累计像素值，和所述补偿帧图像内有效区域的第二累计像素值；所述第二确定单元，用于基于所述第一累计像素值与所述第二累计像素值，确定所述参考帧图像与所述补偿帧图像之间的曝光比例。
在一些可能的实施例中，所述生成模块730包括筛选子模块、第二确定子模块、第三确定子模块和第一融合子模块，其中：所述筛选子模块，用于遍历选取所述补偿帧图像中曝光度满足所述第一条件的图像作为候选帧图像；所述第二确定子模块，用于基于对齐后的所述参考帧图像和所述候选帧图像，确定差值图像；其中，所述差值图像中的像素值为所述参考帧图像与所述候选帧图像中相对应的像素之差的绝对值；所述第三确定子模块，用于基于所述差值图像和预设的噪声模型，确定差分比例图像；其中，所述差分比例图像表征所述参考帧图像和所述候选帧图像中各像素不匹配的程度；所述第一融合子模块，用于基于所述差分比例图像，对对齐后的所述参考帧图像和所述候选帧图像进行融合，得到所述引导图像。
在一些可能的实施例中，所述第一融合子模块包括第三确定单元和填充单元，其中：所述第三确定单元，用于基于所述差分比例图像和特定阈值，确定所述参考帧图像中的运动区域；所述填充单元，用于在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述运动区域，得到所述引导图像。
在一些可能的实施例中，所述第一融合子模块还包括处理单元，用于利用形态学操作对所述运动区域进行去噪和膨胀处理，得到连通的运动区域；相应地，所述填充单元，还用于在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述连通的运动区域，得到所述引导图像。
在一些可能的实施例中，所述第一融合子模块还包括第四确定单元和去除单元，其中：所述第四确定单元，用于确定所述参考图像中像素值满足第二条件的区域为待处理区域；所述第二条件为基于所述第一条件确定的；所述去除单元，用于去除所述运动区域中与所述待处理区域未直接相连的非必要区域，得到重点运动区域；所述填充单元，还用于在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述重点运动区域，得到所述引导图像。
在一些可能的实施例中，所述第一融合子模块还包括第五确定单元和第六确定单元，其中：所述第五确定单元，用于在所述第一条件为所述参考帧图像的曝光时间最长的情况下，确定所述第二条件为所述参考帧图像中的像素值大于第一阈值；所述第六确定单元，在所述第一条件为所述参考帧图像的曝光时间最短的情况下，确定所述第二条件为所述参考帧图像中的像素值小于第二阈值；所述第二阈值小于所述第一阈值。
在一些可能的实施例中，所述引导图像为基于所述差分比例图像，对对齐后的所述参考帧图像和所述候选帧图像进行融合得到的；所述融合模块740包括第四确定子模块、第五确定子模块和第二融合子模块，其中：所述第四确定子模块，用于基于所述参考帧图像和所述候选帧图像各自的感光度，确定最小图像噪声；所述第五确定子模块，用于以所述最小图像噪声为约束，基于所述引导图像，确定所述参考帧图像和所述候选帧图像之间的目标融合比例；所述第二融合子模块，用于基于所述目标融合比例，对对齐后的所述参考帧图像和所述候选帧图像进行融合。
在一些可能的实施例中，所述第五确定子模块包括第七确定单元和第八确定单元，其中：所述第七确定单元，用于确定所述参考帧图像和所述候选帧图像在所述最小图像噪声的约束下的线性系数；所述第八确定单元，用于基于所述线性系数和所述引导图像，确定在预设损失函数的损失值最小的情况下，所述参考帧图像和所述候选帧图像之间的目标融合比例。
在一些可能的实施例中，所述融合模块740还包括第六确定子模块、第七确定子模块、第八确定子模块和第九确定子模块，其中：所述第六确定子模块，用于确定所述参考帧图像和所述候选帧图像在预测融合比例下的中间融合图像；所述第七确定子模块，用于确定所述中间融合图像与所述引导图像中相对应的像素之间的像素差值；所述第八确定子模块，用于确定所述线性系数与所述预测融合比例之间的误差平方；所述第九确定子模块，用于基于所述中间融合图像中所有像素的像素差值的平方和，以及所述误差平方，确定所述预设损失函数的损失值。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像融合方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
本申请实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，图8为本申请实施例中计算机设备的一种硬件实体示意图，如图8所示，该计算机设备800的硬件实体包括：处理器801、通信接口802和存储器803，其中：
处理器801通常控制计算机设备800的总体操作。
通信接口802可以使计算机设备通过网络与其他终端或服务器通信。
存储器803配置为存储由处理器801可执行的指令和应用，还可以缓存待处理器801以及计算机设备800中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。处理器801、通信接口802和存储器803之间可以通过总线804进行数据传输。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (14)

1.一种图像融合方法，其特征在于，所述方法包括：
获取同一场景下采集的至少两帧原始图像；其中，每一所述原始图像对应一种曝光度；
对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐；所述参考帧图像的曝光度满足第一条件；所述补偿帧图像为所述至少两帧原始图像中除所述参考帧图像之外的每一图像；
基于对齐后的所述参考帧图像和所述补偿帧图像，生成引导图像；所述补偿帧图像用于补偿所述参考帧图像中的运动区域；
基于所述引导图像，对对齐后的所述参考帧图像和所述补偿帧图像进行融合。
2.如权利要求1所述的方法，其特征在于，所述基于对齐后的所述参考帧图像和所述补偿帧图像，生成引导图像，包括：
遍历选取所述补偿帧图像中曝光度满足所述第一条件的图像作为候选帧图像；
利用预设的噪声模型确定所述对齐后的参考帧图像中的运动区域；
在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述运动区域，得到所述引导图像。
3.如权利要求2所述的方法，其特征在于，所述利用预设的噪声模型确定所述对齐后的参考帧图像中的运动区域，包括：
基于对齐后的所述参考帧图像和所述候选帧图像，确定差值图像；其中，所述差值图像中的像素值为所述参考帧图像与所述候选帧图像中相对应的像素之差的绝对值；
基于所述差值图像和所述噪声模型，确定差分比例图像；其中，所述差分比例图像表征所述参考帧图像和所述候选帧图像中各像素不匹配的程度；
基于所述差分比例图像和特定阈值，确定所述参考帧图像中的运动区域。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
利用形态学操作对所述运动区域进行去噪和膨胀处理，得到连通的运动区域；
所述在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述运动区域，得到所述引导图像，包括：
在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述连通的运动区域，得到所述引导图像。
5.如权利要求3或4所述的方法，其特征在于，所述方法还包括：
确定所述参考图像中像素值满足第二条件的区域为待处理区域；所述第二条件为基于所述第一条件确定的；
去除所述运动区域中与所述待处理区域未直接相连的非必要区域，得到重点运动区域；
所述在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述运动区域，得到所述引导图像，包括：在对齐后的所述参考帧图像中，利用所述候选帧图像填充所述重点运动区域，得到所述引导图像。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
在所述第一条件为所述参考帧图像的曝光时间最长的情况下，确定所述第二条件为所述参考帧图像中的像素值大于第一阈值；
在所述第一条件为所述参考帧图像的曝光时间最短的情况下，确定所述第二条件为所述参考帧图像中的像素值小于第二阈值；所述第二阈值小于所述第一阈值。
7.如权利要求1至6任一项所述的方法，其特征在于，所述对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐，包括：
确定所述至少两帧原始图像中参考帧图像与补偿帧图像之间的曝光比例；
基于所述曝光比例，将所述补偿帧图像的亮度对齐到所述参考帧图像的亮度。
8.如权利要求7所述的方法，其特征在于，所述确定所述至少两帧原始图像中参考帧图像与补偿帧图像之间的曝光比例，包括：
确定所述参考帧图像内有效区域的第一累计像素值，和所述补偿帧图像内有效区域的第二累计像素值；
基于所述第一累计像素值与所述第二累计像素值，确定所述参考帧图像与所述补偿帧图像之间的曝光比例。
9.如权利要求2至8所述的方法，其特征在于，所述基于所述引导图像，对对齐后的所述参考帧图像和所述补偿帧图像进行融合，包括：
基于所述参考帧图像和所述候选帧图像各自的感光度，确定最小图像噪声；所述候选帧图像为所述补偿帧图像中曝光度满足所述第一条件的图像；
以所述最小图像噪声为约束，基于所述引导图像，确定所述参考帧图像和所述候选帧图像之间的目标融合比例；
基于所述目标融合比例，对对齐后的所述参考帧图像和所述候选帧图像进行融合，得到所述目标融合图像。
10.如权利要求9所述的方法，其特征在于，所述以所述最小图像噪声为约束，基于所述引导图像，确定所述参考帧图像和所述候选帧图像之间的目标融合比例，包括：
确定所述参考帧图像和所述候选帧图像在所述最小图像噪声的约束下的线性系数；
基于所述线性系数和所述引导图像，确定在预设损失函数的损失值最小的情况下，所述参考帧图像和所述候选帧图像之间的目标融合比例。
11.如权利要求10所述的方法，其特征在于，所述预设损失函数的损失值通过以下过程确定：
确定所述参考帧图像和所述候选帧图像在预测融合比例下的中间融合图像；
确定所述中间融合图像与所述引导图像中相对应的像素之间的像素差值；
确定所述线性系数与所述预测融合比例之间的误差平方；
基于所述中间融合图像中所有像素的像素差值的平方和，以及所述误差平方，确定所述预设损失函数的损失值。
12.一种图像融合装置，其特征在于，所述装置包括获取模块、对齐模块、生成模块和融合模块，其中：
所述获取模块，用于获取同一场景下采集的至少两帧原始图像；其中，每一所述原始图像对应一种曝光度；
所述对齐模块，用于对所述至少两帧原始图像中参考帧图像和补偿帧图像进行亮度对齐；所述参考帧图像的曝光度满足第一条件；所述补偿帧图像为所述至少两帧原始图像中除所述参考帧图像之外的每一图像；
所述生成模块，用于基于对齐后的所述参考帧图像和所述补偿帧图像，生成引导图像；所述补偿帧图像用于补偿所述参考帧图像中的运动区域；
所述融合模块，用于基于所述引导图像，对对齐后的所述参考帧图像和所述补偿帧图像进行融合。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至11任一项所述方法中的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至11任一项所述方法中的步骤。
CN202210419281.9A 2022-04-20 2022-04-20 图像融合方法、装置、设备及计算机可读存储介质 Withdrawn CN114820405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210419281.9A CN114820405A (zh) 2022-04-20 2022-04-20 图像融合方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210419281.9A CN114820405A (zh) 2022-04-20 2022-04-20 图像融合方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114820405A true CN114820405A (zh) 2022-07-29

Family

ID=82505577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210419281.9A Withdrawn CN114820405A (zh) 2022-04-20 2022-04-20 图像融合方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114820405A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361533A (zh) * 2022-08-19 2022-11-18 深圳市汇顶科技股份有限公司 图像数据处理方法和电子设备
CN115409753A (zh) * 2022-11-01 2022-11-29 北京开运联合信息技术集团股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN115908831A (zh) * 2022-11-18 2023-04-04 中国人民解放军军事科学院系统工程研究院 一种图像检测方法及装置
CN116320218A (zh) * 2023-05-24 2023-06-23 深圳金智凌轩视讯技术有限公司 基于嵌入式计算机平台的多路视频合成分析处理管理系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361533A (zh) * 2022-08-19 2022-11-18 深圳市汇顶科技股份有限公司 图像数据处理方法和电子设备
CN115361533B (zh) * 2022-08-19 2023-04-18 深圳市汇顶科技股份有限公司 图像数据处理方法和电子设备
CN115409753A (zh) * 2022-11-01 2022-11-29 北京开运联合信息技术集团股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN115409753B (zh) * 2022-11-01 2023-02-03 北京开运联合信息技术集团股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN115908831A (zh) * 2022-11-18 2023-04-04 中国人民解放军军事科学院系统工程研究院 一种图像检测方法及装置
CN115908831B (zh) * 2022-11-18 2023-08-01 中国人民解放军军事科学院系统工程研究院 一种图像检测方法及装置
CN116320218A (zh) * 2023-05-24 2023-06-23 深圳金智凌轩视讯技术有限公司 基于嵌入式计算机平台的多路视频合成分析处理管理系统

Similar Documents

Publication Publication Date Title
CN104349066B (zh) 一种生成高动态范围图像的方法、装置
KR102474715B1 (ko) 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합
US9613408B2 (en) High dynamic range image composition using multiple images
JP6395810B2 (ja) 動きゴーストフィルタリングのための基準画像選択
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
US11127117B2 (en) Information processing method, information processing apparatus, and recording medium
US8135235B2 (en) Pre-processing method and apparatus for wide dynamic range image processing
EP2368226B1 (en) High dynamic range image combining
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US9305372B2 (en) Method and device for image processing
CN112532855B (zh) 一种图像处理方法和装置
US8942509B2 (en) Apparatus and method creating ghost-free high dynamic range image using filtering
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
CN105931213B (zh) 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
CN107395991A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN107704798A (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
TW202022799A (zh) 測光補償方法及其相關監控攝影設備
Tico et al. Image enhancement method via blur and noisy image fusion
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
CN114584700A (zh) 对焦标记方法、标记装置以及电子设备
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
CN112927162A (zh) 一种面向低照度图像的增强方法及系统
Choi et al. A method for fast multi-exposure image fusion
CN117135293B (zh) 图像处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220729