CN116563190B - 图像处理方法、装置、计算机设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116563190B CN116563190B CN202310821011.5A CN202310821011A CN116563190B CN 116563190 B CN116563190 B CN 116563190B CN 202310821011 A CN202310821011 A CN 202310821011A CN 116563190 B CN116563190 B CN 116563190B
- Authority
- CN
- China
- Prior art keywords
- image
- area
- fusion
- layer
- laplacian pyramid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 190
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 239000010410 layer Substances 0.000 abstract description 225
- 239000002356 single layer Substances 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种图像处理方法、装置、计算机设备及计算机可读存储介质，包括：获取源图像序列；选取中间曝光等级图像为参考图像，将中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取中间亮度区域对应的鬼影区域，暗部区域和过曝区域对应的鬼影区域，并将两个鬼影区域合并，得到包含鬼影区域的图像；基于包含鬼影区域的图像，获取非鬼影区域和鬼影区域各自对应的融合权重，得到融合权重图；获取融合权重图的高斯金字塔和每张图像对应的拉普拉斯金字塔；对金字塔的第N层，用单层的融合替代了原本拉普拉斯金字塔最高的4层融合，基于处理后的目标拉普拉斯金字塔重构得到融合图像。实施本申请，避免图像出现细节丢失和对比度低的问题。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着超高清数字产业和数字摄影技术的快速发展，人们对超高清酷炫的视觉体验的追求更加迫切。目前，多曝光图像融合的方法主要有：高动态范围成像(HDR)、曝光图像融合算法以及基于深度学习的多曝光融合方法。
其中，高动态范围成像方法克服了过曝光和低曝光图像中较亮较暗区域细节丢失的缺陷，该方法拍摄同一场景的几幅不同曝光的图像，并将他们重建成HDR图像。HDR成像一般包括两个主要步骤：HDR重建和色调映射。首先，在同一场景中拍摄多幅不同曝光级别的低动态范围图像，然后通过反演摄像机响应函数来重建HDR图像，最后为了在普通设备上显示，将HDR通过色调映射转换为LDR图像，虽然HDR成像技术可以恢复场景的整个动态范围，并使所有细节在一幅图像中可见，但是在生成HDR图像时，需要摄像的响应函数和输入图像的成像曝光参数，色调映射非常耗时，较亮和较暗处的细节也会丢失，这些都现限制了该方法的应用范围。
曝光图像融合算法将不同曝光度同一场景下的一系列低动态范围图像按照良好曝光度、饱和度、对比度等权重来度量每个像素的质量，然后从图像序列中选择“好的”像素，并将它们组合成最终结果。该方法跳过了计算HDR的步骤，可以立即将多次曝光的图像合成高质量、低动态范围图像以便显示。
然而，申请人在研究中发现，上述方法容易带来细节丢失和对比度低的问题。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机设备及计算机可读存储介质，可以避免图像出现细节丢失和对比度低的问题。
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取源图像序列，其中，所述源图像序列包括多张图像，所述多张图像按照曝光等级由小到大进行排序；
在所述多张图像中，选取中间曝光等级图像为参考图像，将所述中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取所述中间亮度区域对应的第一鬼影区域，以及所述暗部区域和所述过曝区域对应的第二鬼影区域，并将所述第一鬼影区域和所述第二鬼影区域进行合并，得到包含鬼影区域的图像；
基于所述包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据所述第一融合权重和所述第二融合权重确定融合权重图；
获取所述融合权重图对应的高斯金字塔和所述多张图像各自对应的拉普拉斯金字塔；其中，所述融合权重图的高斯金字塔的层数和所述多张图像的拉普拉斯金字塔的层数均为N；N大于0；其中，金字塔的层数设置由下到上依次为第1层至第N层；
将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取所述基础层和所述细节层各自对应的权重，利用所述基础层和所述细节层各自对应的权重，将所述基础层和所述细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除所述第N层之外的其他层，依照所述融合权重图对应的高斯金字塔，对所述每张图像的拉普拉斯金字塔进行融合，得到所述融合后的拉普拉斯金字塔的其他层；
将所述融合后的拉普拉斯金字塔的第N层和所述融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔；
基于所述目标拉普拉斯金字塔重构得到融合图像。
实施本申请实施例，相较于现有技术来说，金字塔最高的几层融合通过单层的融合来实现，改善了原本融合的光晕问题，可以实现融合后的图像的细节信息更多。
在一种可能的实现方式中，所述根据所述第一融合权重和所述第二融合权重确定多曝光图像融合权重图序列，包括：
对所述非鬼影区域，根据图像的曝光等级、色彩饱和度和对比度确定所述第一融合权重；
对所述鬼影区域，计算鬼影区域的连通区域，对于每个连通区域对应的多张图像，分别计算权重的平均值，将权重平均值最大的图像的权重设置为第一值，将其他图像的权重设置为第二值，得到所述第二融合权重；
将所述第一融合权重和所述第二融合权重归一化，得到所述融合权重图。
在一种可能的实现方式中，所述第一值为1，所述第二值为0。
在一种可能的实现方式中，所述将所述第一融合权重和所述第二融合权重归一化，得到所述融合权重图之后，还包括：
对所述融合权重图进行平滑滤波。
在一种可能的实现方式中，所述将所述融合后的拉普拉斯金字塔的第N层和所述融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔之后，还包括：
对所述目标拉普拉斯金字塔的每一层进行不同强度的曲线拉伸；
基于所述目标拉普拉斯金字塔重构得到融合图像，包括：
基于所述曲线拉伸处理后的所述目标拉普拉斯金字塔重构得到中间融合图像，将所述中间融合图像分离为基础层和细节层，将所述基础层按照预设比例范围进行压缩，将压缩后的所述基础层和所述细节层相加，得到所述融合图像。
实施本申请实施例，通过对目标拉普拉斯金字塔进行不同强度的曲线拉伸，改善了原本融合对比度低的问题，进一步地，在基于目标拉普拉斯金字塔进行图像重构时，通过范围压缩映射改善了高光细节丢失的问题。
在一种可能的实现方式中，所述选取中间曝光等级图像为参考图像之后，还包括：
以所述中间曝光等级图像的特征点坐标为中心进行匹配搜索，得到目标匹配点对；
根据所述目标匹配点对求得变换矩阵，以将所述源图像序列中的各图像进行对齐。
在一种可能的实现方式中，在确定所述N时，根据以下公式进行计算：
其中，w表示所述多张图像中的每张图像的宽，h表示多张图像中的每张图像的高。
第二方面，本申请实施例提供了一种图像处理装置，包括：
第一获取图像模块，用于获取源图像序列，其中，所述源图像序列包括多张图像，所述多张图像按照曝光等级由小到大进行排序；
第二获取图像模块，用于在所述多张图像中，选取中间曝光等级图像为参考图像，将所述中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取所述中间亮度区域对应的第一鬼影区域，以及所述暗部区域和所述过曝区域对应的第二鬼影区域，并将所述第一鬼影区域和所述第二鬼影区域进行合并，得到包含鬼影区域的图像；
融合权重获取模块，用于基于所述包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据所述第一融合权重和所述第二融合权重确定融合权重图；
金字塔获取模块，用于获取所述融合权重图对应的高斯金字塔和所述多张图像各自对应的拉普拉斯金字塔；其中，所述融合权重图的高斯金字塔的层数和所述多张图像的拉普拉斯金字塔的层数均为N；N大于0；
融合模块，用于将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取所述基础层和所述细节层各自对应的权重，利用所述基础层和所述细节层各自对应的权重，将所述基础层和所述细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除所述第N层之外的其他层，依照所述融合权重图对应的高斯金字塔，对所述每张图像的拉普拉斯金字塔进行融合，得到所述融合后的拉普拉斯金字塔的其他层；
合并模块，用于将所述融合后的拉普拉斯金字塔的第N层和所述融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔；
重构模块，用于基于所述目标拉普拉斯金字塔重构得到融合图像。
第三方面，本申请实施例提供了一种计算机设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第五方面，本申请实施例还提供了一种计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
总的来说，本申请提出了一种图像处理方法、装置、计算机设备及计算机可读存储介质，与现有技术相比，鬼影区域的计算方法改善了运动场景Artifact；金字塔最高的几层融合通过单层的融合替代，改善了原本融合的光晕问题；拉普拉斯金字塔做拉伸，改善了融合对比度低的问题；金字塔重构时对中间层的范围压缩映射改善了高光细节丢失的问题。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本申请实施例提供的一种图像处理装置的结构示意图；
图4是本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组（例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网）的信号通过本地和/或远程进程来通信。
首先，参照图1来描述用于实现根据本申请实施例的图像处理方法和装置的示例计算机设备100。如图1所示，计算机设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108。计算机设备100还可以包括数据获取装置110和/或图像采集装置112，这些组件通过总线系统114和/或其它形式的连接机构（未示出）互连。应当注意，图1所示的计算机设备100的组件和结构只是示例性的，而非限制性的，根据需要，计算机设备也可以具有其他组件和结构。
处理器102可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制计算机设备100中的其它组件以执行期望的功能。
存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM、硬盘、闪存)等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行程序指令，以实现下文的本申请实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。
在计算机设备100用于实现根据本申请实施例的图像处理方法和装置的情况下，计算机设备100可以包括数据获取装置110。数据获取装置110可以获取图像数据，并且将所采集的图像数据存储在存储装置104中以供其它组件使用。例如，数据获取装置110可以包括有线或无线网络接口、通用串行接口总线(USB)接口、光盘驱动器等中的一个或多个。
在计算机设备100用于实现根据本申请实施例的图像处理方法和装置的情况下,计算机设备100可以包括图像采集装置112。图像采集装置112可以采集图像，并且将所采集的图像存储在存储装置104中以供其它组件使用。图像采集装置112可以是摄像头，应当理解，图像采集装置112仅是示例，计算机设备100可以不包括图像采集装置112。在这种情况下，可以利用其他具有图像采集能力的器件采集待处理图像，并将采集的图像发送给计算机设备100。
示例性地，用于实现根据本申请实施例的图像处理方法和装置的示例计算机设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面结合图2具体介绍本申请提出的一种图像处理方法，如图2所示，该方法可以包括但不限于如下步骤：
步骤S201、获取源图像序列，其中，源图像序列包括多张图像，多张图像按照曝光等级由小到大进行排序。
本申请的一些实施例中，可以先获取源图像序列，然后计算各图像的平均亮度，之后，根据图像的平均亮度对源图像序列按照曝光等级由小到大进行排序。
步骤S202、在多张图像中，选取中间曝光等级图像为参考图像，将中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取中间亮度区域对应的第一鬼影区域，以及暗部区域和过曝区域对应的第二鬼影区域，并将第一鬼影区域和第二鬼影区域进行合并，得到包含鬼影区域的图像。
本申请的一些实施例中，可以在多张图像中，选取中间曝光等级图像为参考图像，将中间曝光等级图像划分为预设大小的网格，例如，预设大小为8*8，分别对每一个网格选取相同数量的特征点，需要注意的是，特征点的选取需要遵循局部极大值的点的原则，这样可以达到特征点均匀分散的目的。对其他待对齐的图像，以参考图像的特征点坐标为中心点做块匹配搜索，得到目标匹配点对。示例性地，该目标匹配点对可以为最佳的匹配点对，从而可以根据目标匹配点对求得变换矩阵，最后得到配准之后的图像。以这种方式，可以将源图像序列中的各图像进行对齐。
本申请的一些实施例中，可以在多张对齐的图像中，选取中间曝光等级图像为参考图像，将中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域。对中间亮度区域来说，计算其鬼影区域的实现过程可以包括：计算两两图像之间的互相关值，若该互相关值小于设定的某个阈值，则判定为鬼影。作为一种可选的实施例，可以先对鬼影图做一个形态学的闭运算，将相邻的鬼影区域连通，避免出现空洞现象。对暗部区域和过曝区域来说，计算其鬼影区域的实现过程可以包括：通过双向的直方图匹配得到亮度接近的图像，图像间的差值高于某个设定的阈值，则判定为鬼影。在获取了第一鬼影区域和第二鬼影区域后，将第一鬼影区域和第二鬼影区域进行合并。作为一种可选的实施例，可以在对第一鬼影区域和第二鬼影区域进行合并之后，对鬼影区域做平滑滤波。
步骤S203、基于包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据第一融合权重和第二融合权重确定融合权重图。
本申请的一些实施例中，可以对图像做保留边缘的导向滤波，以减少噪点对权重计算的干扰。对非鬼影区域，根据图像的曝光等级、色彩饱和度和对比度确定第一融合权重；对鬼影区域，计算鬼影区域的连通区域，对于每个连通区域对应的多张图像，分别计算权重的平均值，将权重平均值最大的图像的权重设置为第一值，将其他图像的权重设置为第二值，得到第二融合权重；示例性地，第一值可以为1，第二值可以为0。这一实现过程，旨在对鬼影区域合成，以获取曝光色彩最佳的图像。之后，将第一融合权重和第二融合权重归一化，得到融合权重图。作为一种可选的实施例，将第一融合权重和第二融合权重归一化，得到融合权重图之后，还可以对融合权重图进行平滑滤波，从而可以获得最终的权重图。
步骤S204、获取融合权重图对应的高斯金字塔和多张图像各自对应的拉普拉斯金字塔；其中，融合权重图的高斯金字塔的层数和多张图像的拉普拉斯金字塔的层数均为N；N大于0。具体地，金字塔的层数设置由下到上依次为第1层至第N层。
本申请的一些实施例中，对融合权重图进行高斯金字塔操作，对每张图像进行拉普拉斯金字塔操作，可以得到融合权重图对应的高斯金字塔和多张图像各自对应的拉普拉斯金字塔。其中，融合权重图的高斯金字塔的层数和多张图像的拉普拉斯金字塔的层数均为N；N大于0。
本申请的一些实施例中，可以在确定N时，根据以下公式进行计算：
其中，w表示所述多张图像中的每张图像的宽，h表示多张图像中的每张图像的高。
步骤S205、将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取基础层和细节层各自对应的权重，利用基础层和细节层各自对应的权重，将基础层和细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除第N层之外的其他层，依照融合权重图对应的高斯金字塔，对每张图像的拉普拉斯金字塔进行融合，得到融合后的拉普拉斯金字塔的其他层。
本申请的一些实施例中，对金字塔的第N层（也即金字塔的最顶层），将每张图像分离为基础层和细节层，其中，基础层通过对图像平滑获得，原图减去基础层得到细节层，并计算基础层和细节层各自对应的权重。示例性地，可以通过如下公式对图像进行处理，将图像分离为基础层和细节层：
B = GuidedFilter（I）
其中， I表示金字塔的第N层图像，B表示基础层，GuidedFilter为导向滤波；
D = I –B
其中，D表示细节层。
作为一种可选的实施例，在计算基础层和细节层各自对应的权重后，可以对基础层和细节层各自对应的权重进行加权融合，将基础层和细节层相加，得到融合后的拉普拉斯金字塔的第N层。以这种方式，通过单层的融合替代了原本拉普拉斯金字塔最高的4层融合，减少了细节丢失和光晕的问题。对除第N层之外的其他层来说，均采用经典的拉普拉斯金字塔融合，也即：其它层中的每一层拉普拉斯金字塔均按照权重金字塔进行融合，得到融合后的拉普拉斯金字塔的其他层。
步骤S206、将融合后的拉普拉斯金字塔的第N层和融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔。
步骤S207、基于目标拉普拉斯金字塔重构得到融合图像。
本申请的一些实施例中，基于目标拉普拉斯金字塔重构得到融合图像的实现过程可以包括：对顶层图像进行上采样，得到上采样图，再进行高斯滤波图像后与下一层相加，如此逐层相加即可得到最终融合图像。
作为一些可选的实施例，将融合后的拉普拉斯金字塔的第N层和融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔之后，还可以对目标拉普拉斯金字塔的每一层进行不同强度的曲线拉伸。例如，对目标拉普拉斯金字塔的每一层做不同强度的三次自然样条曲线拉伸。在实际应用中，拉普拉斯金字塔代表的是图像的高频细节，对每一层做不同强度的三次自然样条曲线拉伸可以改善重构图像的对比图。接着，基于曲线拉伸处理后的目标拉普拉斯金字塔进行重构，得到中间融合图像，将所述中间融合图像分离为基础层和细节层，将所述基础层按照预设比例范围进行压缩，将压缩后的所述基础层和所述细节层相加，得到所述融合图像。示例性地，预设比例范围可以结合实际应用来确定，本申请对此不做过多限定。以这种方式，可以获得动态范围更好的图像，减少了金字塔融合数据越界截断导致的细节丢失的问题。
总的来说，本申请提出一种图像处理方法、装置、计算机设备和计算机可读存储介质，可以包括但不限于如下实施方式：
在一种可能的实现方式中，该方法可以包括如下步骤：首先，获取源图像序列，其中，源图像序列包括多张图像，多张图像按照曝光等级由小到大进行排序；其次，在多张图像中，选取中间曝光等级图像为参考图像，将中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取中间亮度区域对应的第一鬼影区域，以及暗部区域和过曝区域对应的第二鬼影区域，并将第一鬼影区域和第二鬼影区域进行合并，得到包含鬼影区域的图像，示例性地，可以基于图像之间的互相关以及双向直方图匹配计算出图像序列的鬼影图；然后，基于包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据第一融合权重和第二融合权重确定融合权重图，示例性地，可以根据图像的亮度、色彩饱和度、对比度计算每张图像对应的权重图，然后，利用上述计算出的图像序列的鬼影图修正权重图，得到融合权重图；之后，获取融合权重图对应的高斯金字塔和多张图像各自对应的拉普拉斯金字塔，示例性地，对每一张图像分解成拉普拉斯金字塔，融合权重图分解成高斯金字塔；将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取基础层和细节层各自对应的权重，利用基础层和细节层各自对应的权重，将基础层和细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除第N层之外的其他层，依照融合权重图对应的高斯金字塔，对每张图像的拉普拉斯金字塔进行融合，得到融合后的拉普拉斯金字塔的其他层，也即：最顶层通过分离基础层和细节层进行融合，其他的层采用经典的金字塔融合；最后，对上述进行融合处理的金字塔进行合并，得到目标拉普拉斯金字塔，从而可以基于目标拉普拉斯金字塔重构得到融合图像。
在一种可能的实现方式中，该方法可以包括如下步骤：首先，获取源图像序列，其中，源图像序列包括多张图像，多张图像按照曝光等级由小到大进行排序；其次，在多张图像中，选取中间曝光等级图像为参考图像，将中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取中间亮度区域对应的第一鬼影区域，以及暗部区域和过曝区域对应的第二鬼影区域，并将第一鬼影区域和第二鬼影区域进行合并，得到包含鬼影区域的图像，示例性地，可以基于图像之间的互相关以及双向直方图匹配计算出图像序列的鬼影图；然后，基于包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据第一融合权重和第二融合权重确定融合权重图，示例性地，可以根据图像的亮度、色彩饱和度、对比度计算每张图像对应的权重图，然后，利用上述计算出的图像序列的鬼影图修正权重图，得到融合权重图；之后，获取融合权重图对应的高斯金字塔和多张图像各自对应的拉普拉斯金字塔，示例性地，对每一张图像分解成拉普拉斯金字塔，融合权重图分解成高斯金字塔；将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取基础层和细节层各自对应的权重，利用基础层和细节层各自对应的权重，将基础层和细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除第N层之外的其他层，依照融合权重图对应的高斯金字塔，对每张图像的拉普拉斯金字塔进行融合，得到融合后的拉普拉斯金字塔的其他层，也即：最顶层通过分离基础层和细节层进行融合，其他的层采用经典的金字塔融合；最后，对上述进行融合处理的金字塔进行合并，得到目标拉普拉斯金字塔，对目标拉普拉斯金字塔的每一层进行不同强度的曲线拉伸，基于曲线拉伸处理后的目标拉普拉斯金字塔得到中间融合图像，将所述中间融合图像分离为基础层和细节层，将所述基础层按照预设比例范围进行压缩，将压缩后的所述基础层和所述细节层相加，得到所述融合图像。
在一种可能的实现方式中，该方法可以包括如下步骤：首先，获取源图像序列，其中，源图像序列包括多张图像，多张图像按照曝光等级由小到大进行排序；其次，在多张图像中，选取中间曝光等级图像为参考图像，将多张图像进行对齐（例如，该对齐方式可以为上述描述的通过分布分散均匀特征点对齐多张图像），并将中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取中间亮度区域对应的第一鬼影区域，以及暗部区域和过曝区域对应的第二鬼影区域，并将第一鬼影区域和第二鬼影区域进行合并，得到包含鬼影区域的图像，示例性地，可以基于图像之间的互相关以及双向直方图匹配计算出图像序列的鬼影图；然后，基于包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据第一融合权重和第二融合权重确定融合权重图，示例性地，可以根据图像的亮度、色彩饱和度、对比度计算每张图像对应的权重图，然后，利用上述计算出的图像序列的鬼影图修正权重图，得到融合权重图；之后，获取融合权重图对应的高斯金字塔和多张图像各自对应的拉普拉斯金字塔，示例性地，对每一张图像分解成拉普拉斯金字塔，融合权重图分解成高斯金字塔；将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取基础层和细节层各自对应的权重，利用基础层和细节层各自对应的权重，将基础层和细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除第N层之外的其他层，依照融合权重图对应的高斯金字塔，对每张图像的拉普拉斯金字塔进行融合，得到融合后的拉普拉斯金字塔的其他层，也即：最顶层通过分离基础层和细节层进行融合，其他的层采用经典的金字塔融合；最后，对上述进行融合处理的金字塔进行合并，得到目标拉普拉斯金字塔，对目标拉普拉斯金字塔的每一层进行不同强度的曲线拉伸，基于曲线拉伸处理后的目标拉普拉斯金字塔得到中间融合图像，将所述中间融合图像分离为基础层和细节层，将所述基础层按照预设比例范围进行压缩，将压缩后的所述基础层和所述细节层相加，得到所述融合图像。
需要说明的是，上述实现方式只是一种举例，不应构成示例，对其他变形方案来说，只要符合本申请提出的发明构思，均属于本申请可以保护的范围内。
与现有技术相比，鬼影区域的计算方法改善了运动场景Artifact；金字塔最高的几层融合通过单层的融合替代，改善了原本融合的光晕问题；拉普拉斯金字塔做拉伸，改善了融合对比度低的问题；金字塔重构时对中间层的范围压缩映射改善了高光细节丢失的问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本披露并不受所描述的动作顺序的限制，因为依据本披露，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本披露所必须的。
进一步需要说明的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
上文结合图1-图2对本申请实施例的图像处理方法进行了详细描述，为了便于更好地实施本申请实施例的上述方案，相应地，下面还提供用于配合实施上述方案的相关装置和设备。
参见图3，是本申请实施例提供的一种图像处理装置30的结构示意图，可以包括：
第一获取图像模块301，用于获取源图像序列，其中，所述源图像序列包括多张图像，所述多张图像按照曝光等级由小到大进行排序；
第二获取图像模块302，用于在所述多张图像中，选取中间曝光等级图像为参考图像，将所述中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取所述中间亮度区域对应的第一鬼影区域，以及所述暗部区域和所述过曝区域对应的第二鬼影区域，并将所述第一鬼影区域和所述第二鬼影区域进行合并，得到包含鬼影区域的图像；
融合权重获取模块303，用于基于所述包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据所述第一融合权重和所述第二融合权重确定融合权重图；
金字塔获取模块304，用于获取所述融合权重图对应的高斯金字塔和所述多张图像各自对应的拉普拉斯金字塔；其中，所述融合权重图的高斯金字塔的层数和所述多张图像的拉普拉斯金字塔的层数均为N；N大于0；
融合模块305，用于将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取所述基础层和所述细节层各自对应的权重，利用所述基础层和所述细节层各自对应的权重，将所述基础层和所述细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除所述第N层之外的其他层，依照所述融合权重图对应的高斯金字塔，对所述每张图像的拉普拉斯金字塔进行融合，得到所述融合后的拉普拉斯金字塔的其他层；
合并模块306，用于将所述融合后的拉普拉斯金字塔的第N层和所述融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔；
重构模块307，用于基于所述目标拉普拉斯金字塔重构得到融合图像。
在一种可能的实现方式中，融合权重获取模块303，具体用于：
对非鬼影区域，根据图像的曝光等级、色彩饱和度和对比度确定所述第一融合权重；
对鬼影区域，计算鬼影区域的连通区域，对于每个连通区域对应的多张图像，分别计算权重的平均值，将权重平均值最大的图像的权重设置为第一值，将其他图像的权重设置为第二值，得到所述第二融合权重；
将所述第一融合权重和所述第二融合权重归一化，得到融合权重图。
在一种可能的实现方式中，所述第一值为1，所述第二值为0。
在一种可能的实现方式中，所述装置50还可以包括：
平滑滤波模块308，用于对所述融合权重图进行平滑滤波。
在一种可能的实现方式中，所述装置50还可以包括：
增强处理模块309，用于对所述目标拉普拉斯金字塔的每一层进行不同强度的曲线拉伸；
所述重构模块307，具体用于：基于所述曲线拉伸处理后的所述目标拉普拉斯金字塔重构得到中间融合图像，将所述中间融合图像分离为基础层和细节层，将所述基础层按照预设比例范围进行压缩，将压缩后的所述基础层和所述细节层相加，得到所述融合图像。
在一种可能的实现方式中，所述装置50还可以包括：
图像对齐模块3010，用于以所述中间曝光等级图像的特征点坐标为中心进行匹配搜索，得到目标匹配点对；
根据所述目标匹配点对求得变换矩阵，以将所述源图像序列中的各图像进行对齐。
在一种可能的实现方式中，所述装置50还可以包括：
参数计算模块3011，用于在确定所述N时，根据以下公式进行计算：
其中，w表示所述多张图像中的每张图像的宽，h表示多张图像中的每张图像的高。
需要说明的是，上述系统中的各个装置还可以包括其他单元，各个设备、单元的具体实现可以参见上述方法实施例中相关描述，此处，不再赘述。
为了便于更好地实施本申请实施例的上述方案，本申请还对应提供了一种计算机设备40，下面结合附图来进行详细说明：
如图4示出的本申请实施例提供的电子设备的结构示意图，计算机设备400可以包括处理器401、存储器404和通信模块405，处理器401、存储器404和通信模块405可以通过总线406相互连接。存储器404可以是高速随机存储记忆体（Random Access Memory，RAM）存储器，也可以是非易失性的存储器（non-volatile memory），例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储系统。存储器404用于存储应用程序代码，可以包括操作系统、网络通信模块、用户接口模块以及数据处理程序，通信模块405用于与外部设备进行信息交互；处理器401被配置用于调用该程序代码，执行以下步骤：
获取源图像序列，其中，所述源图像序列包括多张图像，所述多张图像按照曝光等级由小到大进行排序；
在所述多张图像中，选取中间曝光等级图像为参考图像，将所述中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取所述中间亮度区域对应的第一鬼影区域，以及所述暗部区域和所述过曝区域对应的第二鬼影区域，并将所述第一鬼影区域和所述第二鬼影区域进行合并，得到包含鬼影区域的图像；
基于所述包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据所述第一融合权重和所述第二融合权重确定融合权重图；
获取所述融合权重图对应的高斯金字塔和所述多张图像各自对应的拉普拉斯金字塔；其中，所述融合权重图的高斯金字塔的层数和所述多张图像的拉普拉斯金字塔的层数均为N；N大于0；
将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取所述基础层和所述细节层各自对应的权重，利用所述基础层和所述细节层各自对应的权重，将所述基础层和所述细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除所述第N层之外的其他层，依照所述融合权重图对应的高斯金字塔，对所述每张图像的拉普拉斯金字塔进行融合，得到所述融合后的拉普拉斯金字塔的其他层；
将所述融合后的拉普拉斯金字塔的第N层和所述融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔；
基于所述目标拉普拉斯金字塔重构得到融合图像。
其中，所述处理器401根据所述第一融合权重和所述第二融合权重确定融合权重图，包括：
对非鬼影区域，根据图像的曝光等级、色彩饱和度和对比度确定所述第一融合权重；
对鬼影区域，计算鬼影区域的连通区域，对于每个连通区域对应的多张图像，分别计算权重的平均值，将权重平均值最大的图像的权重设置为第一值，将其他图像的权重设置为第二值，得到所述第二融合权重；
将所述第一融合权重和所述第二融合权重归一化，得到所述融合权重图。
其中，所述第一值为1，所述第二值为0。
其中，所述处理器401将所述第一融合权重和所述第二融合权重归一化，得到所述多曝光图像融合权重图序列之后，还包括：
对所述融合权重图进行平滑滤波。
其中，所述处理器401将所述融合后的拉普拉斯金字塔的第N层和所述融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔之后，还包括：
对所述目标拉普拉斯金字塔的每一层进行不同强度的曲线拉伸；
基于所述目标拉普拉斯金字塔重构得到融合图像，包括：
基于所述曲线拉伸处理后的所述目标拉普拉斯金字塔重构得到中间融合图像，将所述中间融合图像分离为基础层和细节层，将所述基础层按照预设比例范围进行压缩，将压缩后的所述基础层和所述细节层相加，得到所述融合图像。
其中，所述处理器401选取中间曝光等级图像为参考图像之后，还包括：
以所述中间曝光等级图像的特征点坐标为中心进行匹配搜索，得到目标匹配点对；
根据所述目标匹配点对求得变换矩阵，以将所述源图像序列中的各图像进行对齐。
其中，所述处理器401在确定所述N时，根据以下公式进行计算：
其中，w表示所述多张图像中的每张图像的宽，h表示多张图像中的每张图像的高。
本申请实施例还提供了一种计算机存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个实施例所述方法中的一个或多个步骤。上述装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中，基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机产品存储在计算机可读存储介质中。
上述计算机可读存储介质可以是前述实施例所述的设备的内部存储单元，例如硬盘或内存。上述计算机可读存储介质也可以是上述设备的外部存储设备，例如配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，上述计算机可读存储介质还可以既包括上述设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可通过计算机程序来指令相关的硬件来完成，该计算机的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
可以理解，本领域普通技术人员可以意识到，结合本申请各个实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域技术人员能够领会，结合本申请各个实施例中公开描述的各种说明性逻辑框、模块和算法步骤所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么各种说明性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于（1）非暂时性的有形计算机可读存储媒体，或（2）通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取源图像序列，其中，所述源图像序列包括多张图像，所述多张图像按照曝光等级由小到大进行排序；
在所述多张图像中，选取中间曝光等级图像为参考图像，将所述中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取所述中间亮度区域对应的第一鬼影区域，以及所述暗部区域和所述过曝区域对应的第二鬼影区域，并将所述第一鬼影区域和所述第二鬼影区域进行合并，得到包含鬼影区域的图像；
基于所述包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据所述第一融合权重和所述第二融合权重确定融合权重图；
获取所述融合权重图对应的高斯金字塔和所述多张图像各自对应的拉普拉斯金字塔；其中，所述融合权重图的高斯金字塔的层数和所述多张图像的拉普拉斯金字塔的层数均为N；N大于0；
将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取所述基础层和所述细节层各自对应的权重，利用所述基础层和所述细节层各自对应的权重，将所述基础层和所述细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除所述第N层之外的其他层，依照所述融合权重图对应的高斯金字塔，对所述每张图像的拉普拉斯金字塔进行融合，得到所述融合后的拉普拉斯金字塔的其他层；
将所述融合后的拉普拉斯金字塔的第N层和所述融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔；
基于所述目标拉普拉斯金字塔重构得到融合图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一融合权重和所述第二融合权重确定融合权重图，包括：
对所述非鬼影区域，根据图像的曝光等级、色彩饱和度和对比度确定所述第一融合权重；
对所述鬼影区域，计算所述鬼影区域的连通区域，对于每个连通区域对应的多张图像，分别计算权重的平均值，将权重平均值最大的图像的权重设置为第一值，将其他图像的权重设置为第二值，得到所述第二融合权重；
将所述第一融合权重和所述第二融合权重归一化，得到所述融合权重图。
3.根据权利要求2所述的方法，其特征在于，所述第一值为1，所述第二值为0。
4.根据权利要求2所述的方法，其特征在于，所述将所述第一融合权重和所述第二融合权重归一化，得到所述融合权重图之后，还包括：
对所述融合权重图进行平滑滤波。
5.根据权利要求1所述的方法，其特征在于，所述将所述融合后的拉普拉斯金字塔的第N层和所述融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔之后，还包括：
对所述目标拉普拉斯金字塔的每一层进行不同强度的曲线拉伸；
基于所述目标拉普拉斯金字塔重构得到融合图像，包括：
基于所述曲线拉伸处理后的所述目标拉普拉斯金字塔重构得到中间融合图像，将所述中间融合图像分离为基础层和细节层，将所述基础层按照预设比例范围进行压缩，将压缩后的所述基础层和所述细节层相加，得到所述融合图像。
6.根据权利要求1所述的方法，其特征在于，所述选取中间曝光等级图像为参考图像之后，还包括：
以所述中间曝光等级图像的特征点坐标为中心进行匹配搜索，得到目标匹配点对；
根据所述目标匹配点对求得变换矩阵，以将所述源图像序列中的各图像进行对齐。
7.根据权利要求1-6任一项所述的方法，其特征在于，在确定所述N时，根据以下公式进行计算：
其中，w表示所述多张图像中的每张图像的宽，h表示多张图像中的每张图像的高。
8.一种图像处理装置，其特征在于，包括：
第一获取图像模块，用于获取源图像序列，其中，所述源图像序列包括多张图像，所述多张图像按照曝光等级由小到大进行排序；
第二获取图像模块，用于在所述多张图像中，选取中间曝光等级图像为参考图像，将所述中间曝光等级图像划分为暗部区域、中间亮度区域和过曝区域，获取所述中间亮度区域对应的第一鬼影区域，以及所述暗部区域和所述过曝区域对应的第二鬼影区域，并将所述第一鬼影区域和所述第二鬼影区域进行合并，得到包含鬼影区域的图像；
融合权重获取模块，用于基于所述包含鬼影区域的图像，分别获取非鬼影区域对应的第一融合权重和鬼影区域对应的第二融合权重，并根据所述第一融合权重和所述第二融合权重确定融合权重图；
金字塔获取模块，用于获取所述融合权重图对应的高斯金字塔和所述多张图像各自对应的拉普拉斯金字塔；其中，所述融合权重图的高斯金字塔的层数和所述多张图像的拉普拉斯金字塔的层数均为N；N大于0；
融合模块，用于将所述多张图像中的每张图像对应的拉普拉斯金字塔的第N层分离为基础层和细节层，获取所述基础层和所述细节层各自对应的权重，利用所述基础层和所述细节层各自对应的权重，将所述基础层和所述细节层进行融合，得到融合后的拉普拉斯金字塔的第N层；对除所述第N层之外的其他层，依照所述融合权重图对应的高斯金字塔，对所述每张图像的拉普拉斯金字塔进行融合，得到所述融合后的拉普拉斯金字塔的其他层；
合并模块，用于将所述融合后的拉普拉斯金字塔的第N层和所述融合后的拉普拉斯金字塔的其他层进行合并，得到目标拉普拉斯金字塔；
重构模块，用于基于所述目标拉普拉斯金字塔重构得到融合图像。
9.一种服务器，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310821011.5A CN116563190B (zh) | 2023-07-06 | 2023-07-06 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310821011.5A CN116563190B (zh) | 2023-07-06 | 2023-07-06 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116563190A CN116563190A (zh) | 2023-08-08 |
| CN116563190B true CN116563190B (zh) | 2023-09-26 |
Family
ID=87498601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310821011.5A Active CN116563190B (zh) | 2023-07-06 | 2023-07-06 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563190B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118097156B (zh) * | 2024-04-26 | 2024-07-23 | 百洋智能科技集团股份有限公司 | 盆底功能障碍检测方法、装置、计算机设备与存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599433A (zh) * | 2019-07-30 | 2019-12-20 | 西安电子科技大学 | 一种基于动态场景的双曝光图像融合方法 |
| WO2020117379A1 (en) * | 2018-12-06 | 2020-06-11 | Gopro, Inc. | High dynamic range anti-ghosting and fusion |
| CN111709904A (zh) * | 2020-05-27 | 2020-09-25 | 盛视科技股份有限公司 | 一种图像融合方法及装置 |
| CN112785534A (zh) * | 2020-09-30 | 2021-05-11 | 广东电网有限责任公司广州供电局 | 一种动态场景下去鬼影多曝光图像融合方法 |
| KR20210077579A (ko) * | 2019-12-17 | 2021-06-25 | 삼성전자주식회사 | Hdr 영상을 생성하는 전자 장치 및 그 동작 방법 |
| CN114596238A (zh) * | 2022-03-08 | 2022-06-07 | 安徽大学 | 一种多曝光图像融合方法、系统及可存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11128809B2 (en) * | 2019-02-15 | 2021-09-21 | Samsung Electronics Co., Ltd. | System and method for compositing high dynamic range images |
| CN113129391B (zh) * | 2021-04-27 | 2023-01-31 | 西安邮电大学 | 基于多曝光图像特征分布权重的多曝光融合方法 |
-
2023
- 2023-07-06 CN CN202310821011.5A patent/CN116563190B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020117379A1 (en) * | 2018-12-06 | 2020-06-11 | Gopro, Inc. | High dynamic range anti-ghosting and fusion |
| CN110599433A (zh) * | 2019-07-30 | 2019-12-20 | 西安电子科技大学 | 一种基于动态场景的双曝光图像融合方法 |
| KR20210077579A (ko) * | 2019-12-17 | 2021-06-25 | 삼성전자주식회사 | Hdr 영상을 생성하는 전자 장치 및 그 동작 방법 |
| CN111709904A (zh) * | 2020-05-27 | 2020-09-25 | 盛视科技股份有限公司 | 一种图像融合方法及装置 |
| CN112785534A (zh) * | 2020-09-30 | 2021-05-11 | 广东电网有限责任公司广州供电局 | 一种动态场景下去鬼影多曝光图像融合方法 |
| CN114596238A (zh) * | 2022-03-08 | 2022-06-07 | 安徽大学 | 一种多曝光图像融合方法、系统及可存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 动态场景的高动态范围图像生成;张登辉 等;计算机辅助设计与图形学学报(09);第39-50页 * |
| 基于光度值比例关系的HDR鬼影消除算法;王春萌;;金陵科技学院学报(01);第21-24页 * |
| 多尺度细节融合的多曝光高动态图像重建;付争方 等;计算机工程与应用(24);第187-192页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563190A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11107205B2 (en) | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames | |
| Cai et al. | Learning a deep single image contrast enhancer from multi-exposure images | |
| Chen et al. | Hdrunet: Single image hdr reconstruction with denoising and dequantization | |
| CN108898567B (zh) | 图像降噪方法、装置及系统 | |
| Kalantari et al. | Deep high dynamic range imaging of dynamic scenes. | |
| US10410327B2 (en) | Shallow depth of field rendering | |
| JP6169186B2 (ja) | 画像処理方法及び装置並びに撮影端末 | |
| KR20210069006A (ko) | 단일 입력으로부터 다중 노출 프레임들을 생성하기 위한 시스템 및 방법 | |
| Tico et al. | Motion-blur-free exposure fusion | |
| CN107993189B (zh) | 一种基于局部分块的图像色调动态调节方法和装置 | |
| WO2023030139A1 (zh) | 图像融合方法、电子设备和存储介质 | |
| Celebi et al. | Fuzzy fusion based high dynamic range imaging using adaptive histogram separation | |
| CN116563190B (zh) | 图像处理方法、装置、计算机设备及计算机可读存储介质 | |
| Yan et al. | Enhancing image visuality by multi-exposure fusion | |
| JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| CN115147304A (zh) | 图像融合方法、装置、电子设备和存储介质、产品 | |
| US9466007B2 (en) | Method and device for image processing | |
| CN111383188A (zh) | 一种图像处理方法、系统及终端设备 | |
| CN117455785A (zh) | 图像处理方法、装置及终端设备 | |
| CN116320792A (zh) | 多帧图像中增强分辨率和降低噪声的方法 | |
| Tsai et al. | Real-time implementation of an adaptive simultaneous dynamic range compression and local contrast enhancement algorithm on a GPU | |
| CN110140150B (zh) | 一种图像处理方法、装置以及终端设备 | |
| Yang et al. | Tone mapping based on multi-scale histogram synthesis | |
| Guo et al. | Single-Image HDR Reconstruction Based on Two-Stage GAN Structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |