CN109978808A - 一种用于图像融合的方法、装置和电子设备 - Google Patents

一种用于图像融合的方法、装置和电子设备 Download PDF

Info

Publication number
CN109978808A
CN109978808A CN201910337716.3A CN201910337716A CN109978808A CN 109978808 A CN109978808 A CN 109978808A CN 201910337716 A CN201910337716 A CN 201910337716A CN 109978808 A CN109978808 A CN 109978808A
Authority
CN
China
Prior art keywords
image
gradient
fusion
frame
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910337716.3A
Other languages
English (en)
Other versions
CN109978808B (zh
Inventor
王珏
黄海斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201910337716.3A priority Critical patent/CN109978808B/zh
Publication of CN109978808A publication Critical patent/CN109978808A/zh
Priority to US16/850,668 priority patent/US11250549B2/en
Application granted granted Critical
Publication of CN109978808B publication Critical patent/CN109978808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了用于图像融合的方法、装置、电子设备和计算机可读存储介质。该图像融合方法包括：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中第一帧图像I1的亮度大于第二帧图像I2的亮度，并且其中融合系数图像M用于标记第一帧图像I1中的像素的融合权重。

Description

一种用于图像融合的方法、装置和电子设备
技术领域
本公开涉及图像处理，更具体地，涉及一种用于图像融合的方法、装置、电子设备和计算机可读存储介质。
背景技术
在拍照时，由于相机本身动态范围的限制，在一些场景下，例如，在诸如城市夜景的高动态范围的场景下，很难用一张照片同时将高亮区域和暗部区域的细节都拍好。用多张图片来合成图像是一种普遍采用的夜景拍摄模式。其原理是快速连拍多张照片，每张照片的诸如曝光时间和/或ISO等设置不同，用短曝和/或低ISO图像来捕捉高光细节，用长曝和/或高ISO图像来捕捉暗部细节，最后用融合算法将多帧图像的细节融合到一起，形成一张融合后的图像。该融合后的图像可以被称为高动态范围(High Dynamic Range，HDR)图像。
图像融合算法有很多种，比如最常见的曝光融合(exposure fusion)方法。
发明内容
鉴于上述内容而提出了本公开，本公开提供了一种用于图像融合的方法、装置、电子设备和计算机可读存储介质。
根据本公开的一方面，一种图像融合方法，包括：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中融合系数图像M用于标记第一帧图像I1中的像素的融合权重。
根据本公开的另一方面，提供了一种用于图像融合的电子装置，该电子装置包括：接收单元，用于要融合的图像帧；融合单元，用于执行以下操作：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中融合系数图像M用于标记第一帧图像I1中的每个像素的融合权重；和输出单元，用于输出输出图像I3。
根据本公开的又一方面，提供了一种用于图像融合的电子设备，该电子设备包括处理器和其上存储有指令的存储器，该指令在由该处理器运行时使该处理器执行如前所述的图像融合方法。
根据本公开的再一方面，提供了一种计算机可读存储介质，其存储有指令，该指令在由处理器运行时使得该处理器执行如前所述的图像融合方法。
如以下将详细描述的，根据本公开的实施例的图像融合方法是一种新的基于图像梯度融合和重建的图像融合方法，该方法将曝光时间和/或ISO等设置不同的多张照片融合在一起，使得在某些场景下，例如在白天逆光场景下可以取得较好的融合效果。另外，如以下将详细描述的，本公开还提供了用于实施所公开的新的图像融合方法的装置、电子设备和计算机可读存储介质。
应该理解，前面的一般描述和下面的详细描述两者都是示例性的，并且旨在提供要求保护的技术的进一步说明，而不旨在限制本公开的技术构思。
附图说明
通过结合附图对本公开的实施例进行更详细的描述，本公开的上述以及其它目的、特征和优点将变得更加明显。附图用来提供对本公开的实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，但是并不构成对本公开的限制。在附图中，除非另有明确指示，否则相同的参考标号表示相同的部件、步骤或元素。在附图中，
图1是根据本公开的实施例的示例分辨率的图像的像素网格图；
图2是图示根据本公开的实施例的图像融合方法融合两帧图像的一个示例流程图；
图3是图示根据本公开的实施例的图像融合方法融合两帧图像的另一个示例流程图；
图4是进一步图示图2或图3中的计算融合系数图像M的一个示意流程图；
图5是进一步图示图2或图3中的计算融合系数图像M的另一个示意流程图；
图6是进一步图示图2或图3中的基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J得到输出图像I3的示意流程图；
图7是图示根据本公开的实施例的图像融合方法融合多帧图像的示例流程图；
图8是根据本公开的实施例的用于图像融合的电子装置的示意图；
图9是根据本公开的实施例的用于图像融合的电子设备的示意图；和
图10是根据本公开的实施例的用于图像融合的计算机可读存储介质的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参考附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应该理解，本公开不受这里描述的示例实施例的限制。
首先，参考图1，图1是根据本公开的实施例的示例分辨率的图像100的像素网格图。
参考图1，图1所述的示例图像100是分辨率为800×600的图像。对于图1中的图像100的像素，其可以用横轴上的800条线和纵轴上的600线的交点来表示。在本公开的实施例中，图像100中的每个像素，例如像素102，可以用(x，y)来表示，其中x的取值范围为[0,800]，包括0和800；y的取值范围为[0,600]，包括0和600。应该理解，虽然图1中图示了分辨率为800×600的图像100，但是本公开对图像的分辨率没有限制，即根据本公开的实施例的用于图像融合的方法、装置、电子设备和计算机可读存储介质适用于融合任何分辨率的图像，例如分辨率为320×240、800×600、1024×768或4096×3072的图像。
在下文中，将结合图2至图6来详细描述根据本公开的实施例的图像融合方法融合两帧图像的示例流程。为了便于说明，在下面的描述中，假定两帧图像为：第一帧图像I1和第二帧图像I2，其中第一帧图像I1的亮度大于第二帧图像I2的亮度。也就是说，对于第一帧图像I1和第二帧图像I2，其中第一帧图像I1是亮帧，第二帧图像I2是暗帧。在本公开中，亮帧是两帧图像中的捕捉暗部细节的图像；暗帧是两帧图像中的捕捉高光细节的图像。在本公开的一些实施例中，亮帧可以是在其他设置相同的情况下，两帧图像中的曝光时间较长的图像，而暗帧是两帧图像中的曝光时间较短的图像。可替代地或另外地，在本公开的另一些实施例中，亮帧可以是在其他设置相同的情况下，两帧图像中的ISO较高的图像，而暗帧是两帧图像中的ISO较小的图像。可替代地或另外地，在本公开的又一些实施例中，亮帧可以是两帧图像中的通过设置曝光时间和ISO两者使得该图像是捕获暗部细节的图像，而暗帧是捕获高光细节的图像。应该理解，虽然，在前述描述中介绍了各种曝光时间和/或IOS设置场景下的亮帧和暗帧，但是本公开的实施例不限于前述描述。
图2是图示根据本公开的实施例的图像融合方法融合两帧图像的一个示例流程图。
参考图2，根据本公开的实施例的图像融合方法融合两帧图像的示例流程可以从步骤S200处开始。在步骤S200处，计算融合系数图像M，其中，融合系数图像M用于标记两帧图像中的亮帧，例如第一帧图像I1，中的像素的融合权重。在本公开的一些实施例中，融合系数图像M标记了亮帧中期望被替换的像素，对于一个像素(x,y)，例如图1中的像素102，M(x,y)是一个[0，255]之间的数值，包括0和255；其中255表示在亮帧中这个像素过曝了，需要用暗帧的信息来填补；反之，0表示这个像素不需要融合；(0，255)之间的数值，不包括0和255，表示当前像素需要在亮帧和暗帧之间进行插值。
之后，方法可以前进到步骤S210。在步骤S210处，计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2。具体地，可以根据以下等式1和等式2计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2。
计算出融合系数图像M、第一梯度D1和第二梯度D2之后，方法可以前进到步骤S220。在步骤S220处，基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J。基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J可以认为是梯度重建的过程。具体地，在一些实施例中，可以根据以下等式3来基于融合系数图像M、第一梯度D1和第二梯度D2计算初步融合结果J：
J(x,y)＝D1(x,y)*(255–M(x,y))+M(x,y)*D2(x,y) 等式3
其中，J(x,y)表示初步融合结果J在像素(x,y)处的值，D1(x,y)表示第一梯度D1在像素(x,y)处的梯度值，D2(x,y)表示第二梯度D2在像素(x,y)处的梯度值，M(x,y)表示融合系数图像M在像素(x,y)处的值，并且其中x、y为非负整数。
初步融合结果图像里面会有比较明显的融合边缘，因而将初步融合结果图像作为输出图像不是最理想的，但是在一些场景中，例如在观看者不是很在意融合边缘的场景中，可以直接将初步融合图像作为融合图像输出。
之后，方法可以前进到步骤S230。在步骤S230处，基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3。输出图像I3就是融合后的图像。该输出图像I3将亮帧(例如，第一帧图像I1)捕获的暗部细节和暗帧(例如，第二帧图像I2)捕获的高光细节融合在一起，使得融合后的图像I3可以比单独的亮帧或单独的暗帧呈现更多的细节。
在结合图2描述的根据本公开的实施例的图像融合方法融合两帧图像，第一帧图像I1和第二帧图像I2，的流程中，第一帧图像I1和第二帧图像I2可以是任何两帧亮度不同的图像，而输出图像I3可以是融合后的要输出的图像，或者可以作为下一次的融合过程中的输入图像。例如，在要融合的图像帧只有两帧的情况下，第一帧图像I1和第二帧图像I2是这两帧要融合的图像且第一帧图像I1的亮度大于第二帧图像I2的亮度，并且输出图像I3将作为融合后的图像被输出。在要融合的图像帧有多帧(大于2)图像的情况下，(在首次融合中)第一帧图像I1和第二帧图像I2是要融合的图像帧中的亮度最高的两帧图像或者是要融合的图像帧中的亮度最低的两帧图像；或者(在非首次融合中)第一帧图像I1和第二帧图像I2是前一次融合的融合结果和要融合的图像帧中的待融合的图像帧，具体地，在初始融合中第一帧图像I1和第二帧图像I2是要融合的图像帧中的亮度最高的两帧图像的情况下，第一帧图像I1和第二帧图像I2分别是前一次融合的结果输出图像I3和要融合的图像帧中的待融合的图像帧中的亮度最高的一帧图像，而在初始融合中第一帧图像I1和第二帧图像I2是要融合的图像帧中的亮度最低的两帧图像的情况下，第一帧图像I1和第二帧图像I2分别是要融合的图像帧中的待融合的图像帧中的亮度最低的一帧图像和前一次融合的结果输出图像I3。
上面结合图2描述的图像融合方法，是一种新的基于图像梯度的图像融合方法。该新的图像融合方法可以将曝光时间和/或ISO等设置不同的多张照片融合到一起，使得在某些场景下，例如在白天逆光场景下可以取得较好的融合效果。
图3是图示根据本公开的实施例的图像融合方法融合两帧图像的另一个示例流程图。和图2所示的根据本公开的实施例的图像融合方法融合两帧图像的示例流程相比，图3所示的根据本公开的实施例的图像融合方法融合两帧图像(例如，第一帧图像I1和第二帧图像I2，其中第一帧图像I1是亮帧，第二帧图像I2是暗帧)的示例流程除了包括步骤S200、步骤S210、步骤S220和步骤S230之外，还包括步骤S300。即，图3所示的根据本公开的实施例的图像融合方法在执行步骤S200,计算融合系数图像M之前，还执行对齐操作。图像对齐操作可以消除由于相机抖动引起的图像不对齐的现象。具体地，在本公开的一些实施例中，可以使用mesh flow[]的图像对齐方法来对齐输入的图像，例如第一帧图像I1和第二帧图像I2。可替代地，在本公开的另一些实施例中，可以使用基于homography的全局图像对齐的方法来对齐输入的图像，例如第一帧图像I1和第二帧图像I2。
和结合图2描述的图像融合方法相比，结合图3描述的图像融合方法在进行图像融合之前，还执行图像对齐操作。图像对齐操作可以消除由于相机抖动等引起的图像不对齐的现象，从而在要融合的图像存在图像不对齐的现象的情况下取得较好的融合效果。
另外，在一些实施例中，由于亮帧和暗帧的亮度差别比较大，使得对齐图像很困难，因此，在使用标准的图像对齐算法，例如mesh flow[]的图像对齐方法或者基于homography的全局图像对齐的方法之前，可以先对暗帧进行亮度补偿。具体地，可以根据以下等式4来对暗帧进行亮度补偿。
I2’＝I2*b2/b1 等式4
其中，I2’是第二帧图像I2(暗帧)的补偿后的图像，b1是第一帧图像I1(亮帧)的平均灰度值，b2是第二帧图像I2的平均灰度值。通过在图像对齐之前，对暗帧进行亮度补偿可以增强图像对齐的稳定性。
在上文中，结合图2和图3描述了根据本公开的实施例的图像融合方法融合两帧图像的示例流程。在下文中，本文将结合图4和图5进一步描述图2或图3中的步骤S200，计算融合系数图像M；并且结合图6进一步描述图2或图3中的步骤S230，基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3。
图4是进一步图示图2或图3中的计算融合系数图像M的一个示意流程图。
参考图4，在本公开的一些实施例中，图2或图3中的步骤S200，计算融合系数图像M可以包括步骤S200_2和步骤S200_4。在步骤S200_2，将第一帧图像I1转换为第一灰度图像G1。在将第一帧图像I1转换为第一灰度图像G1之后，基于第一灰度图像G1计算融合系数图像M。具体地，在一些实施例中，可以根据以下等式5计算融合系数图像M：
M(x,y)＝255–(255–G1(x,y))*γ 等式5
其中，M(x,y)表示融合系数图像M在像素(x，y)(例如图1中的像素102)处的值，G1(x,y)表示第一灰度图像G1在像素(x，y)处的灰度值，γ为正常数，并且其中x和y为非负整数。在一些实施例中γ可以为(0,255]，不包括0，包括255，之间的任一常数，例如10或者12.5。
图5是进一步图示图2或图3中的计算融合系数图像M的另一个示意流程图。
参考图5，在本公开的一些实施例中，图2或图3中的步骤S200，计算融合系数图像M可以包括步骤S200_2、步骤S200_6、步骤S200_8、步骤S200_10和步骤S200_12。在步骤S200_2处，将第一帧图像I1转换为第一灰度图像G1。在步骤S200_6处，将第二帧图像I2转换为第二灰度图像G2。在步骤S200_8处，基于第一灰度图像G1，计算第一融合图像M1。具体地，在一些实施例中，可以根据以下等式6计算第一融合图像M1：
M1(x,y)＝255–(255–G1(x,y))*γ 等式6
其中，M1(x,y)表示第一融合图像M1在像素(x，y)(例如图1中的像素102)处的值，G1(x,y)表示第一灰度图像G1在像素(x，y)处的灰度值，γ为正常数，并且其中x和y为非负整数。与上面结合图4所描述的相同，γ可以为(0,255]，不包括0，包括255，之间的任一常数，例如10或者12.5。
在步骤S200_10处，基于第一灰度图像G1和第二灰度图像G2两者，计算保护区域M2。具体地，在一些实施例中，可以根据以下等式7计算保护区M2：
其中M2(x,y)表示保护区域M2在像素(x，y)(例如图1中的像素102)处的值，G1(x,y)表示第一灰度图像G1在像素(x，y)处的灰度值，G2(x,y)表示第二灰度图像G2在像素(x，y)处的灰度值，T为非负常数，并且其中x和y为非负整数。在一些实施例中，T可以为[0,255]，包括0，包括255，之间的任一常数，例如150或者170.5。
之后，方法可以前进到步骤S200_12，在步骤S200_12处，基于所计算的第一融合图像M1和保护区域M2，计算融合系数图像M。具体地，在一些实施例中，可以根据以下等式8计算融合系数图像M：
M(x,y)＝min(M1(x,y),M2(x,y)) 等式8
其中，M(x,y)表示所述融合系数图像M在像素(x，y)(例如图1中的像素102)处的值，M1(x,y)表示第一融合图像M1在像素(x，y)处的值；M2(x,y)表示保护区域M2在像素(x，y)处的值，并且其中x、y为非负整数。
结合图5描述的根据本公开的实施例的计算融合系数图像M的方法，可以通过计算保护区域M2，减少例如由于移动的车灯而引起的鬼影，从而提高融合的图像的质量。
图6是进一步图示图2或图3中的基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J得到输出图像I3的示意流程图。
参考图6，在本公开的一些实施例中，图2或图3中的步骤S230，基于所计算的融合系数图像M、第一梯度D1和第二梯度D2得到输出图像I3可以包括步骤S230_2和步骤S230_4。
在步骤S230_2处，基于融合系数图像M、第一梯度D1和第二梯度D2，计算第三梯度D3。具体地，在一些实施例中，可以根据以下等式9基于融合系数图像M、第一梯度D1和第二梯度D2计算第三梯度D3：
其中D3^x(x,y)表示第三梯度D3在像素(x,y)(例如图1中的像素102)处的x方向的梯度，D3^y(x,y)表示第三梯度D3在像素(x,y)处的y方向的梯度，D1^x(x,y)表示第一梯度D1在像素(x,y)处的x方向的梯度，D1^y(x,y)表示第一梯度D1在像素(x,y)处的y方向的梯度，D2^x(x,y)表示第二梯度D2在像素(x,y)处的x方向的梯度，D2^y(x,y)表示第二梯度D2在像素(x,y)处的y方向的梯度，并且其中x、y为非负整数。
通过上述等式9来计算第三梯度D3，可以使得融合后的图像在高光区域具有第二梯度D2的图像梯度信息，而在第一帧图像I1不过曝的区域保留其原来的图像梯度信息。
在计算出第三梯度D3和初步融合结果J之后，方法可以前进到步骤S230_4。在步骤S230_4处，基于所计算的第三梯度D3和初步融合结果J，得到输出图像I3，其中，输出图像I3与初步融合结果J的差异和输出图像I3的梯度与第三梯度D3的差异之和最小。在本公开中，输出图像I3与初步融合结果J的差异和输出图像I3的梯度与第三梯度D3的差异之和最小可以理解为可以通过以下优化方式来得到输出图像I3：
其中，表示I3的梯度，α为正常数。
可替代地，在一些实施例中，输出图像I3与初步融合结果J的差异和输出图像I3的梯度与第三梯度D3的差异之和最小可以理解为可以通过以下优化方式来得到输出图像I3：
其中，表示I3的梯度，α和β为正常数。
又可替代地，在另一些实施例中，输出图像I3与初步融合结果J的差异和输出图像I3的梯度与第三梯度D3的差异之和最小可以理解为可以通过以下优化方式来得到输出图像I3：
其中，表示I3的梯度，α和β为正常数，p为整数(例如-2或者2)。
具体地，在以上优化方式(即优化求解以上等式10、11和12)的过程中，可以通过现有的或未来研究的各种优化方法来求解。在一些实施例中，可以通过多尺度的优化方法来优化求解等式10、11和12，从而得到输出图像I3。
结合图6描述的基于融合系数图像M、第一梯度D1和第二梯度D2，使用新的基于梯度融合和重建图像的算法来得到输出图像I3可以使得重建的图像在整体颜色和亮度上接近于初步融合结果J，并且使得重建的图像的梯度能够尽量接近于计算的理想融合梯度D3，从而在某些场景下取得较好的融合结果，例如在白天逆光场景下。
应该理解，虽然在本公开中，可以基于第三梯度D3和初步融合结果J，通过以上优化方式来得到输出图像I3，但是本公开对此没有限制。也就是说，基于第三梯度D3和初步融合结果J，通过以上优化方式或其变形而得到输出图像I3的方法都在本说明书及其所附权利要求的范围内。
上面结合图2至图6详细描述了根据本公开的实施例的图像融合方法将两帧图像融合在一起。在下文中，本公开将结合图7来描述根据本公开的实施例的图像融合方法将多帧图像融合在一起。图7是图示根据本公开的实施例的图像融合方法融合多帧图像的示例流程图。为了便于描述，假定输入图像为N帧，其中N>2；并且假定输入图像的输入顺序为从亮到暗，即输入的多帧图像的亮度关系为：I1>I2>I3>……>IN。
参考图7，根据本公开的实施例的图像融合方法在融合多帧图像，例如N帧图像时，可以从步骤S700处开始。在步骤S700处，可以将融合图像O，设定为O＝I1；并且将n的初始值设定为n＝2。之后，方法可以循环执行步骤S710、步骤S720、步骤S730和步骤740直到将所有的输入图像融合在一起。具体地，在步骤S710处，计算融合系数图像M(O,In)。在步骤S720处，计算融合图像O的梯度Do和第n帧图像In的梯度Dn。之后，方法可以前进到步骤S730。在步骤S730处，基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J。计算出初步融合结果J之后，方法可以前进到步骤S740。在步骤S740处，基于所计算的融合系数图像M(O,In)、梯度Do和第n梯度Dn，得到输出图像Io；更新融合图像，将融合图像更新为O＝Io；并且将n设定为n＝n+1。在步骤S710处计算融合系数图像M(O,In)、在步骤S720处计算融合图像O的梯度Do和第n帧图像In的梯度Dn、在步骤S730处基于所计算的融合系数图像M(O,In)、融合图像O的梯度Do和第n帧图像In的梯度Dn，计算初步融合结果J以及在步骤S740处基于所计算的融合系数图像M(O,In)、融合图像O的梯度Do、第n帧图像In的梯度Dn和初步融合结果J，得到输出图像Io与上面图2和图3中的步骤S200、步骤S210、步骤S220和步骤S230类似，为了简便，这里不再赘述。之后，判断是否已经完成所有的输入图像的融合。具体地，在一些实施例中，可以通过判断n>N是否成立来判断是否已经完成了所有的输入图像的融合，若n>N成立，则表述已经完成了所有的输入图像的融合，方法前进到步骤S750，在步骤S750处，输出输出图像Iout，其中Iout＝Io；若n>N不成立，则方法返回到步骤S710。
上面结合图7描述的根据本公开的实施例的将多帧图像融合在一起的图像融合方法可以将多帧诸如曝光时间和/或ISO等设置不同的图像融合在一起。和融合两帧图像相比，将多帧图像融合在一起可以更好的融合多帧图像捕获的细节，从而获得更好的融合效果。
另外，应该理解，虽然在图7所示的方法中，输入图像的顺序是从亮帧到暗帧，但是本公开对此没有限制。在一些实施例中，根据根本公开的实施例的融合多帧图像的图像融合方法可以应用于输入顺序为从暗帧到亮帧的多帧图像。
在上文中，本公开结合图2至图7描述了根据本公开的实施例的图像融合方法融合两帧图像的示例流程和融合多帧图像的示例流程。在下文中，本公开将结合图8至图10来描述可以用于实施根据本公开的实施例的图像融合方法是电子装置、电子设备和计算机可读存储介质。
图8是根据本公开的实施例的用于图像融合的电子装置800的示意图。
参考图8，根据本公开的实施例的用于图像融合的电子装置800可以包括接收单元810、融合单元820和输出单元820。其中接收单元810可以接收输入图像，即要融合的图像，输入图像可以是多帧曝光时间和/或ISO等设置不同的图像。
融合单元820可以执行以下操作：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中融合系数图像M用于标记第一帧图像I1中的像素的融合权重。
在融合单元完成图像的融合之后，输出单元830可以输出输出图像I3。
可替代地或另外地，融合单元820还可以执行上面结合图2至图7描述的根据本公开的实施例的融合两帧图像的图像融合方法和融合多帧图像的图像融合方法，以将两帧图像或者多帧图像融合在一起。
图9是根据本公开的实施例的用于图像融合的电子设备900的示意图。参考图9，根据本公开的实施例的用于图像融合的电子设备900可以包括处理器910和存储器920。其中，存储器上存储有指令，该指令在由处理器运行时可以使处理器执行以下操作，以将两帧图像，第一帧图像I1和第二帧图像I2，其中第一帧图像I1是亮帧，第二帧图像I2是暗帧融合在一起：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中融合系数图像M用于标记第一帧图像I1(亮帧)中的像素的融合权重。
可替代地或另外地，该指令在由处理器运行时还可以使处理器可以执行上面结合图2至图7描述的根据本公开的实施例的融合两帧图像的图像融合方法和融合多帧图像的图像融合方法，以将两帧图像或者多帧图像融合在一起。
图10是根据本公开的实施例的用于图像融合的计算机可读存储介质1000的示意图。
在图10图示的计算机可读存储介质1000上存储有计算机可读指令1010，该指令在由处理器运行时可以使处理器执行以下操作，以将两帧图像，第一帧图像I1和第二帧图像I2，其中第一帧图像I1是亮帧，第二帧图像I2是暗帧融合在一起：基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J；以及基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中融合系数图像M用于标记第一帧图像I1中的像素的融合权重。
可替代地或另外地，该指令在由处理器运行时还可以使处理器执行上面结合图2至图7描述的根据本公开的实施例的融合两帧图像的图像融合方法和融合多帧图像的图像融合方法，以将两帧图像或者多帧图像融合在一起。
在本公开中，可以实施根据本公开的实施例的图像融合的方法的电子装置800和电子设备900可以是可以拍照的电子设备，例如但不限于相机、摄像机、智能手机、平板个人计算机、移动电话、视频电话、台式PC、膝上型PC、上网本PC、个人数字助理或者任何可以拍照的电子设备。可替代地，可以实施根据本公开的实施例的图像融合的方法的电子装置800和计算系统900也可以是与可以拍照的电子设备有线或无线地连接的计算设备。
在本公开中，存储器920可以是非易失性存储器设备，例如电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、闪存，相变随机存取存储器(Phase Change Random Access Memory，PRAM)、电阻随机存取存储器(Resistance Random Access Memory，RRAM)、纳米浮栅存储器(Nano Floating GateMemory，NFGM)、聚合物随机存取存储器(Polymer Random Access Memory，PoRAM)、磁随机存取存储器(Magnetic Random Access Memory，MRAM)、铁电随机存取存储器(Ferroelectric Random Access Memory，FRAM)等。
在本公开中，计算机可读存储介质1000可以例如是但并不局限于电子、磁性、光学、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读存储介质的更具体的示例(非穷举列表)可以包括以下各项：具有一根或多根导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧致盘只读存储器(CD-ROM)、光学存储设备、诸如支持互联网或内联网的传输介质或者磁性存储设备。由于程序可以经由例如对纸张或其它介质进行光学扫描而被电子获取，然后在必要情况下以适当方式被编译、解释或处理，并且随后被存储在计算机存储器中，因此计算机可读存储介质还可以是在其上打印有程序的纸张或者其它适宜介质。在本文的上下文中，计算机可读存储介质可以是能够包含、存储、传达、传播或传输供指令执行系统、装置或设备使用或者与之相结合使用的程序的任意介质。计算机可读存储介质可以包括被传播的数据信号，其具有与之一起被包含在基带中或者作为载波的一部分的计算机可读程序代码。
在本公开中，指令，例如图9中的存储器920中存储的指令或者图10中的指令1010可以用任何类型的编程语言来编写，例如，诸如Java、Smalltalk、C++等面向对象的编程语言，或者诸如C编程语言或类似编程语言之类的常规过程编程语言。另外，有指令组成的程序代码可以作为独立软件包整体在用户计算机上运行、部分在用户计算机上运行、部分在用户计算机上运行而部分在远程计算机上运行或者整体在远程计算机或服务器上运行。
在本公开中，处理器，例如图9的处理器120或者运行图10中的指令1010的处理器，可以是指，例如，具有物理结构化的电路的硬件实施的运行期望的操作的数据处理设备，期望的操作包括例如表示为被包括在程序中的代码和/或指令的操作。在一些示例实施例中，上述硬件实施的数据处理设备可以包括但不限于微处理器、中央处理单元(CentralProcessing Unit，CPU)、处理器核、多核处理器、多处理器、专用集成电路(Application-Specific Integrated Circuit，ASIC)和现场可编程门阵列(Field Programmable GateArray，FPGA)。
此外，本领域普通技术人员应该理解，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实施。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定可互通的应用和设计约束条件。专业技术人员可以对每个特定的可互通的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (15)

1.一种图像融合方法，所述方法包括：
基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；
计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；
基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J；以及
基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，
其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中所述融合系数图像M用于标记所述第一帧图像I1中的像素的融合权重。
2.如权利要求1所述的方法，其中，基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3包括：
基于所述融合系数图像M、所述第一梯度D1和所述第二梯度D2，计算第三梯度D3；以及
基于所计算的第三梯度D3和所述初步融合结果J，得到所述输出图像I3，
其中，所述输出图像I3与所述初步融合结果J的差异和所述输出图像I3的梯度与所述第三梯度D3的差异之和最小。
3.如权利要求2所述的方法，其中基于所计算的第三梯度D3和所述初步融合结果J，得到所述输出图像I3包括：通过以下优化方式得到所述输出图像I3：
其中，表示I3的梯度，α为正常数。
4.如权利要求1至3中任一项所述方法，其中，基于第一帧图像I1，计算融合系数图像M包括：
将所述第一帧图像I1转换为第一灰度图像G1；以及
根据以下等式计算所述融合系数图像M：
M(x,y)＝255–(255–G1(x,y))*γ
其中，M(x,y)表示所述融合系数图像M在像素(x，y)处的值，G1(x,y)表示所述第一灰度图像G1在像素(x，y)处的灰度值，γ为正常数，并且其中x和y为非负整数。
5.如权利要求1至3中任一项所述方法，其中，基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M包括：
将第一帧图像I1转换为第一灰度图像G1；
将第二帧图像I2转换为第二灰度图像G2；
基于所述第一灰度图像G1，计算第一融合图像M1；
基于所述第一灰度图像G1和所述第二灰度图像G2两者，计算保护区域M2；以及
基于所计算的第一融合图像M1和保护区域M2，计算所述融合系数图像M。
6.如权利要求5所述的方法，其中，基于所述第一灰度图像G1，计算第一融合图像M1包括：根据以下等式计算所述第一融合图像M1：
M1(x,y)＝255–(255–G1(x,y))*γ
其中，M1(x,y)表示所述第一融合图像M1在像素(x，y)处的值，G1(x,y)表示所述第一灰度图像G1在像素(x，y)处的灰度值，γ为正常数，并且其中x和y为非负整数；
并且其中，基于所述第一灰度图像G1和所述第二灰度图像G2两者，计算保护区域M2包括：根据以下等式计算所述保护区M2：
其中M2(x,y)表示所述保护区域M2在像素(x，y)处的值，G1(x,y)表示所述第一灰度图像G1在像素(x，y)处的灰度值，G2(x,y)表示所述第二灰度图像G2在像素(x，y)处的灰度值，T为非负常数，并且其中x和y为非负整数。
7.如权利要求5或6所述的方法，其中，基于所计算的第一融合图像M1和保护区域M2，计算所述融合系数图像M包括：根据以下等式计算所述融合系数图像M：
M(x,y)＝min(M1(x,y),M2(x,y))
其中，M(x,y)表示所述融合系数图像M在像素(x，y)处的值，M1(x,y)表示所述第一融合图像M1在像素(x，y)处的值；M2(x,y)表示所述保护区域M2在像素(x，y)处的值，并且其中x、y为非负整数。
8.如权利要求2至7中任一项所述的方法，其中，基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J包括：根据以下等式计算所述初步融合结果J：
J(x,y)＝D1(x,y)*(255–M(x,y))+M(x,y)*D2(x,y)
其中J(x,y)表示初步融合结果J在像素(x,y)处的值，D1(x,y)表示第一梯度D1在像素(x,y)处的梯度值，D2(x,y)表示第二梯度D2在像素(x,y)处的梯度值，M(x,y)表示融合系数图像M在像素(x,y)处的值。
9.如权利要求2至8中任一项所述的方法，其中基于所述融合系数图像M、所述第一梯度D1和所述第二梯度D2，计算第三梯度D3包括根据以下等式计算所述第三梯度D3：
D3^x(x,y)＝D1^x(x,y)*(255–M(x,y))+M(x,y)*D2^x(x,y)
D3^y(x,y)＝D1^y(x,y)*(255–M(x,y))+M(x,y)*D2^y(x,y)
D3^x(x,y)表示所述第三梯度D3在像素(x,y)处的x方向的梯度，D3^y(x,y)表示所述第三梯度D3在像素(x,y)处的y方向的梯度，D1^x(x,y)表示所述第一梯度D1在像素(x,y)处的x方向的梯度，D1^y(x,y)表示所述第一梯度D1在像素(x,y)处的y方向的梯度，D2^x(x,y)表示所述第二梯度D2在像素(x,y)处的x方向的梯度，D2^y(x,y)表示所述第二梯度D2在像素(x,y)处的y方向的梯度，并且其中x、y为非负整数。
10.如前述任一项权利要求所述的方法，还包括：
对齐所述第一帧图像I1和所述第二帧图像I2。
11.如权利要求10所述的方法，还包括：
在对齐所述第一帧图像I1和所述第二帧图像I2之前，通过以下等式补偿所述第二帧图像I2：
I2’＝I2*b2/b1
其中，I2’是所述第二帧图像I2的补偿后的图像，b1是所述第一帧图像I1的平均灰度值，b2是所述第二帧图像I2的平均灰度值。
12.如权利要求1所述的方法，其中所述第一帧图像I1和所述第二帧图像I2是要融合的图像帧中的亮度最高的两帧图像或者是要融合的图像帧中的亮度最低的两帧图像，所述方法还包括：
在初始融合中第一帧图像I1和第二帧图像I2是要融合的图像帧中的亮度最高的两帧图像的情况下，将前一次融合的结果输出图像I3作为下一次融合中的第一帧图像I1，将所述要融合的图像帧中的待融合的图像帧中的亮度最高的一帧图像作为下一次融合中的第二帧图像I2；
在初始融合中第一帧图像I1和第二帧图像I2是要融合的图像帧中的亮度最低的两帧图像的情况下，将所述要融合的图像帧中的待融合的图像帧中的亮度最低的一帧图像作为下一次融合中的第一帧图像I1，将前一次融合的结果输出图像I3作为下一次融合中的第二帧图像I2；
使用如权利要求1至11中任一项所述的方法来融合第一帧图像I1和第二帧图像I2，从而得到新的输出图像I3；以及
重复前述步骤直到完成所述要融合的图像帧中的所有图像帧的融合。
13.一种用于图像融合的电子装置，所述电子装置包括：
接收单元，用于接收要融合的图像帧；
融合单元，用于执行以下操作：
基于第一帧图像I1、或者基于第一帧图像I1和第二帧图像I2两者，计算融合系数图像M；
计算第一帧图像I1的第一梯度D1和第二帧图像I2的第二梯度D2；
基于所计算的融合系数图像M、第一梯度D1和第二梯度D2，计算初步融合结果J；以及
基于所计算的融合系数图像M、第一梯度D1、第二梯度D2和初步融合结果J，得到输出图像I3，
其中，所述第一帧图像I1的亮度大于所述第二帧图像I2的亮度，并且其中所述融合系数图像M用于标记所述第一帧图像I1中的像素的融合权重；和
输出单元，用于输出所述输出图像I3。
14.一种用于图像融合的电子设备，所述电子设备包括处理器和其上存储有指令的存储器，所述指令在由所述处理器运行时使所述处理器执行如权利要求1-12中任一项所述的方法。
15.一种计算机可读存储介质，其存储有指令，所述指令在由处理器运行时使得所述处理器执行如权利要求1-12中任一项所述的方法。
CN201910337716.3A 2019-04-25 2019-04-25 一种用于图像融合的方法、装置和电子设备 Active CN109978808B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910337716.3A CN109978808B (zh) 2019-04-25 2019-04-25 一种用于图像融合的方法、装置和电子设备
US16/850,668 US11250549B2 (en) 2019-04-25 2020-04-16 Method, apparatus and electric device for image fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910337716.3A CN109978808B (zh) 2019-04-25 2019-04-25 一种用于图像融合的方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN109978808A true CN109978808A (zh) 2019-07-05
CN109978808B CN109978808B (zh) 2022-02-01

Family

ID=67086376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337716.3A Active CN109978808B (zh) 2019-04-25 2019-04-25 一种用于图像融合的方法、装置和电子设备

Country Status (2)

Country Link
US (1) US11250549B2 (zh)
CN (1) CN109978808B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062923A (zh) * 2019-12-16 2020-04-24 中国科学院深圳先进技术研究院 图像处理方法及相关装置
CN112580385A (zh) * 2020-12-31 2021-03-30 杭州荣旗科技有限公司 一种基于多帧图像融合和非局部均值滤波的条码解码方法
CN116389912A (zh) * 2023-04-24 2023-07-04 北京大学 脉冲相机融合普通相机重构高帧率高动态范围视频的方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689362B (zh) * 2021-10-27 2022-02-22 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN114549608B (zh) * 2022-04-22 2022-10-18 季华实验室 点云融合方法、装置、电子设备及存储介质
CN115641487B (zh) * 2022-08-26 2023-06-27 中子时代(青岛)创新科技有限公司 一种基于中子和x射线的多级判定融合方法和系统
CN115205163B (zh) * 2022-09-15 2022-12-09 深圳前海量子云码科技有限公司 一种标识图像的处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355569A (zh) * 2016-08-29 2017-01-25 努比亚技术有限公司 图像生成装置及方法
CN107025641A (zh) * 2017-04-28 2017-08-08 南京觅踪电子科技有限公司 基于对比度分析的图像融合方法
CN107203985A (zh) * 2017-05-18 2017-09-26 北京联合大学 一种端到端深度学习框架下的多曝光图像融合方法
CN108205804A (zh) * 2016-12-16 2018-06-26 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN109146798A (zh) * 2018-07-10 2019-01-04 西安天盈光电科技有限公司 图像细节增强方法
CN109215003A (zh) * 2018-07-09 2019-01-15 上海海事大学 一种图像融合方法及装置
CN109493309A (zh) * 2018-11-20 2019-03-19 北京航空航天大学 一种保持显著性信息的红外与可见光图像变分融合方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010050632A1 (en) * 2008-10-29 2010-05-06 Udp Co., Ltd. Image stabilization method and device for performing the method
SG182922A1 (en) * 2011-01-18 2012-08-30 Agency Science Tech & Res A method and a device for merging a plurality of digital pictures
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
WO2018190649A1 (en) * 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355569A (zh) * 2016-08-29 2017-01-25 努比亚技术有限公司 图像生成装置及方法
CN108205804A (zh) * 2016-12-16 2018-06-26 阿里巴巴集团控股有限公司 图像处理方法、装置及电子设备
CN107025641A (zh) * 2017-04-28 2017-08-08 南京觅踪电子科技有限公司 基于对比度分析的图像融合方法
CN107203985A (zh) * 2017-05-18 2017-09-26 北京联合大学 一种端到端深度学习框架下的多曝光图像融合方法
CN109215003A (zh) * 2018-07-09 2019-01-15 上海海事大学 一种图像融合方法及装置
CN109146798A (zh) * 2018-07-10 2019-01-04 西安天盈光电科技有限公司 图像细节增强方法
CN109493309A (zh) * 2018-11-20 2019-03-19 北京航空航天大学 一种保持显著性信息的红外与可见光图像变分融合方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062923A (zh) * 2019-12-16 2020-04-24 中国科学院深圳先进技术研究院 图像处理方法及相关装置
CN111062923B (zh) * 2019-12-16 2024-01-23 中国科学院深圳先进技术研究院 图像处理方法及相关装置
CN112580385A (zh) * 2020-12-31 2021-03-30 杭州荣旗科技有限公司 一种基于多帧图像融合和非局部均值滤波的条码解码方法
CN112580385B (zh) * 2020-12-31 2022-05-10 杭州荣旗科技有限公司 一种基于多帧图像融合和非局部均值滤波的条码解码方法
CN116389912A (zh) * 2023-04-24 2023-07-04 北京大学 脉冲相机融合普通相机重构高帧率高动态范围视频的方法
CN116389912B (zh) * 2023-04-24 2023-10-10 北京大学 脉冲相机融合普通相机重构高帧率高动态范围视频的方法

Also Published As

Publication number Publication date
US11250549B2 (en) 2022-02-15
CN109978808B (zh) 2022-02-01
US20200342580A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
CN109978808A (zh) 一种用于图像融合的方法、装置和电子设备
Han et al. Multiscale texture synthesis
CN108734749A (zh) 图像的视觉风格变换
US20120249571A1 (en) Image display method, server, and image display system
CN106797459A (zh) 三维视频的传输
JP2006311574A (ja) 合成デジタル画像効果を作成する方法及び装置
CN105740217A (zh) 一种基于文档模板的文档生成方法及装置
CN103020900B (zh) 一种图像处理方法及装置
JP6108755B2 (ja) 撮影機器、撮影画像送信方法及び撮影画像送信プログラム
Montabone Beginning digital image processing: using free tools for photographers
Van Every Pro Android Media: Developing Graphics, Music, Video, and Rich Media Apps for Smartphones and Tablets
US20220132095A1 (en) Techniques to capture and edit dynamic depth images
CN113222846B (zh) 图像处理方法和图像处理装置
Eismann et al. Real world digital photography
Parsa et al. Current and future photography techniques in aesthetic surgery
CN114640783A (zh) 一种拍照方法及相关设备
CN108052883A (zh) 用户拍照方法、装置及设备
CN112686939A (zh) 景深图像的渲染方法、装置、设备及计算机可读存储介质
WO2022252871A1 (zh) 视频生成方法、装置、设备及存储介质
CN115937358A (zh) 图像处理方法及其装置、电子设备和存储介质
CN105827936A (zh) 一种图像处理方法及移动终端
JP5652508B2 (ja) 画像表示システム、画像表示装置並びにプログラム
KR20170112228A (ko) 사진측량기법을 이용한 촬영소스 생성방법, 이를 이용한 광고 제공 방법 및 광고 제공 시스템
US10552888B1 (en) System for determining resources from image data
JP2021077131A (ja) 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant