CN112907497A - 图像融合方法以及图像融合装置 - Google Patents
图像融合方法以及图像融合装置 Download PDFInfo
- Publication number
- CN112907497A CN112907497A CN202110295849.6A CN202110295849A CN112907497A CN 112907497 A CN112907497 A CN 112907497A CN 202110295849 A CN202110295849 A CN 202110295849A CN 112907497 A CN112907497 A CN 112907497A
- Authority
- CN
- China
- Prior art keywords
- image
- map
- brightness
- detail
- coloring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 104
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 31
- 238000004040 coloring Methods 0.000 claims abstract description 173
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 235000019557 luminance Nutrition 0.000 description 98
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000015654 memory Effects 0.000 description 12
- 230000009467 reduction Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000005282 brightening Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请提供一种图像融合方法以及图像融合装置，图像融合方法包括：获取第一图像以及第二图像，所述第一图像和所述第二图像由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得；分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图；基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像。本申请通过对单一原始图像的处理，实现图像的提亮和降噪的同时，提高图像清晰度，避免多色温干扰。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种图像融合方法以及图像融合装置。
背景技术
现有的图像处理，诸如应用视频监控设备夜晚的图像处理，传统的图像处理算法(Image Signal Processor，ISP)流程往往很难调试。如果为了保证图像整体亮度，提亮的过程噪声也会被放大，大多数情况在亮度和噪声之间寻找平衡点，牺牲些亮度来抑制噪声，这样获取的图像会偏暗，动态范围小。对于视频监控设备的一些使用场景中，诸如说智能交通电警、卡口场景，为了避免长快门导致车牌运动模糊，一般会使用短快门进行曝光减轻车牌的运动模糊，低增益保证车牌不过曝，这样经过ISP流程后的图像会更暗，丢失更多的细节信息。
为了避免ISP流程的上述缺陷，现有采用深度学习的方式来进行夜晚图像的处理，从而取代传统ISP的方法，在提亮和降噪方面确实优于传统ISP流程，但是针对细节部分清晰度还是稍差于传统ISP流程；同时，由于室外场景环境光复杂，存在多色温干扰，深度学习的方式颜色表现上没有传统ISP来的稳定。
此外，多曝光融合的方式常被用来提升图像动态范围，一般基于多张不同快门的图像，通过对比度、亮度、饱和度多个维度的考虑计算出每张图的权重，从而进行融合。然而，针对视频监控设备，由于需要拍摄运动物体，无法获得多张不同快门的图像，从而无法实现多曝光融合。
因此，如何通过对单一原始图像的处理，实现图像的提亮和降噪的同时，提高图像清晰度，避免多色温干扰，是本领域亟待解决的技术问题。
发明内容
本申请为了克服上述现有技术存在的缺陷，提供一种图像融合方法以及图像融合装置，通过处理单一原始图像，实现图像提亮和降噪的同时，提高图像清晰度，避免多色温干扰。
根据本申请的一个方面，提供一种图像融合方法，包括：
获取第一图像以及第二图像，所述第一图像和所述第二图像由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得；
分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图；
基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像。
在本申请的一些实施例中，所述分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图包括：
分别将所述第一图像以及所述第二图像作为待处理图像，对所述待处理图像执行如下步骤：
获取待处理图像的亮度图；
基于待处理图像的亮度图获取待处理图像的细节亮度图以及非细节亮度图；
将所述第一图像的细节亮度图与所述第二图像的细节亮度图进行融合获得细节融合亮度图；
将所述第一图像的非细节亮度图与所述第二图像的非细节亮度图进行融合获得非细节融合亮度图；
基于所述细节融合亮度图与所述非细节融合亮度图之和，获得所述融合亮度图。
在本申请的一些实施例中，所述基于待处理图像的亮度图获取待处理图像的细节亮度图以及非细节亮度图包括：
对所述待处理图像的亮度图进行高斯滤波，获得待处理图像的非细节亮度图；
将所述待处理图像的亮度图减去所述待处理图像的非细节亮度图，获得所述待处理图像的细节亮度图。
在本申请的一些实施例中，所述将所述第一图像的细节亮度图与所述第二图像的细节亮度图进行融合获得细节融合亮度图包括：
基于细节亮度权重表计算所述第一图像的细节亮度图的各像素点的第一权值；
基于细节亮度权重表计算所述第二图像的细节亮度图的各像素点的第二权值；
根据所述第一权值和所述第二权值，对所述第一图像的细节亮度图与所述第二图像的细节亮度图加权求和，获得所述细节融合亮度图，
其中，所述细节亮度权重表中，图像的细节区域的各像素点的权重大于图像的非细节区域的各像素点的权重，且各像素点的权重自图像的细节区域向非细节区域平滑过度。
在本申请的一些实施例中，所述将所述第一图像的非细节亮度图与所述第二图像的非细节亮度图进行融合获得非细节融合亮度图包括：
基于非细节亮度权重表计算所述第一图像的非细节亮度图的各像素点的第三权值；
基于非细节亮度权重表计算所述第二图像的非细节亮度图的各像素点的第四权值；
根据所述第三权值和所述第四权值，对所述第一图像的非细节亮度图与所述第二图像的非细节亮度图加权求和，获得所述非细节融合亮度图，
其中，所述非细节亮度权重表中，像素点的亮度与权重成反向相关。
在本申请的一些实施例中，所述基于所述细节融合亮度图与所述非细节融合亮度图之和，获得所述融合亮度图包括
将所述细节融合亮度图与所述非细节融合亮度图之和与设定比例的第一图像的细节亮度图相加，获得所述融合亮度图。
在本申请的一些实施例中，所述基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像包括如下任一项或多种上色方式：
基于所述第一图像的原色比例，对所述融合亮度图进行上色；
基于所述第一图像的色差信号，对所述融合亮度图进行上色；以及
基于所述第二图像的原色比例，对所述融合亮度图进行上色。
在本申请的一些实施例中，所述基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像包括：
基于所述第一图像的原色比例，对所述融合亮度图进行上色，获得第一上色图；
基于所述第一图像的色差信号，对所述融合亮度图进行上色，获得第二上色图；
根据所述第一上色图，筛选原色过饱和像素点；
将所述第一上色图中的过饱和像素点，与所述第二上色图的对应像素点进行加权融合，所述第二上色图的权重大于所述第一上色图的权重；
更新所述第一上色图，获得第三上色图。
在本申请的一些实施例中，所述更新所述第一上色图，获得第三上色图之后，包括：
计算所述第三上色图的各像素点的原色方差；
将所述第三上色图中，原色方差小于预设阈值的像素点，与所述第二上色图的对应像素点进行加权融合，所述第二上色图的权重大于所述第三上色图的权重；
更新所述第三上色图，获得第四上色图。
在本申请的一些实施例中，
所述获得融合图像之前还包括：
基于所述第二图像的原色比例，对所述融合亮度图进行上色，获得第五上色图；
所述更新所述第三上色图，获得第四上色图之后，还包括：
将所述第四上色图中各像素点与所述第五上色图中对应像素点进行加权融合，获得融合上色图，
其中，所述第四上色图中各像素点的权重基于所述第一图像的亮度图的亮度取色权重表确定，所述亮度取色权重表中，第四上色图中像素点的亮度和第四上色图的权重呈正相关，所述第四上色图的权重与所述第五上色图的权重之和为1，所述融合图像基于所述融合上色图获取。
根据本申请的又一方面，还提供一种图像融合装置，包括：
获取模块，配置成获取第一图像以及第二图像，所述第一图像和所述第二图像由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得；
亮度融合模块，配置成分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图；
上色模块，配置成基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像。
根据本申请的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本申请的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
由此可见，本申请提供的方案，与现有技术相比，具有如下优势：
本申请通过由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得第一图像以及第二图像，进行亮度图融合获得融合亮度图，以通过不同图像处理算法获得的图像的亮度融合，实现对原始图像的提亮和降噪；通过所述第一图像和/或所述第二图像对所述融合亮度图进行上色获得融合图像，提高图像清晰度，避免多色温干扰。由此，提高获取的融合图像的质量。
附图说明
通过参照附图详细描述其示例实施方式，本申请的上述和其它特征及优点将变得更加明显。
图1示出了根据本申请实施例的图像融合方法的流程图。
图2示出了根据本申请具体实施例的分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图的流程图。
图3示出了根据本申请具体实施例的基于待处理图像的亮度图获取待处理图像的细节亮度图以及非细节亮度图的流程图。
图4示出了根据本申请具体实施例的将所述第一图像的细节亮度图与所述第二图像的细节亮度图进行融合获得细节融合亮度的流程图。
图5示出了根据本申请具体实施例的将所述第一图像的非细节亮度图与所述第二图像的非细节亮度图进行融合获得非细节融合亮度图的流程图。
图6示出了根据本申请具体实施例的获得第三上色图的流程图。
图7示出了根据本申请具体实施例的获得第四上色图的流程图。
图8示出了根据本申请具体实施例的获得融合上色图的流程图。
图9示出了根据本申请实施例的图像融合装置的模块图。
图10示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图11示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
为了克服上述现有技术存在的缺陷，本申请提供一种图像融合方法以及图像融合装置，通过对单一原始图像的处理，实现图像的提亮和降噪的同时，提高图像清晰度，避免多色温干扰。具体而言，本申请提供的图像融合方法可以应用于安防、消费、监控、车联网等涉及较暗场景中的动态拍摄场景中，本申请并非以此为限制。
首先参见图1，图1示出了根据本申请实施例的图像融合方法的流程图。图1共示出了如下步骤：
步骤S110：获取第一图像以及第二图像，所述第一图像和所述第二图像由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得。
具体而言，第一图像处理算法可以是诸如ISP处理算法等可能存在暗区图像细节丢失、噪声大以及动态范围低，但具有较好细节清晰度的图像处理算法。第二图像处理算法可以是诸如各类深度学习(包括但不限于卷积神经网络模型、长短时记忆神经网络模型、多个神经网络的组合等)图像处理算法等可能存在对于特殊场景鲁棒性稍差，多色温场景适应性稍差，但在图像提亮和降噪方面性能较优的图像处理算法。
步骤S120：分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图。
具体而言，可以首先将第一图像和第二图像转换为YUV数据。其中，YUV为一种颜色编码方式，其中"Y"表示明亮度(Luminance或Luma)，也就是灰阶值；而"U"和"V"表示的则是色度(Chrominance或Chroma)，也可以称之为色差信号，作用是描述影像色彩及饱和度，用于指定像素的颜色。由此，可以自第一图像和第二图像的YUV数据中，提取Y通道的数据以分别作为第一图像和第二图像的亮度图，从而实现第一图像以及第二图像的亮度图融合。
步骤S130：基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像。
本申请提供的图像融合方法中，通过由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得第一图像以及第二图像，进行亮度图融合获得融合亮度图，以通过不同图像处理算法获得的图像的亮度融合，实现对原始图像的提亮和降噪；通过所述第一图像和/或所述第二图像对所述融合亮度图进行上色获得融合图像，提高图像清晰度，避免多色温干扰。由此，提高获取的融合图像的质量。
进一步地，本申请通过上述方式，可以解决第一图像处理算法存在的暗区图像细节丢失、噪声大以及动态范围低的问题；解决第二图像处理算法对于特殊场景鲁棒性稍差，多色温场景适应性稍差的问题。从而在应用于智能交通场景中，可以避免因车牌运动模糊和车牌过曝问题抑制快门增益导致图像质量差的问题，并大大提升了该场景的图像效果；本申请可以在降低补光灯亮度的同时也能保证高质量图像效果，由此，可以在行人、卡口场景等中，减少光污染，实现环保的技术效果。
下面参见图2，其示出了根据本申请具体实施例的分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图的流程图。图2共示出如下步骤：
步骤S121：分别将所述第一图像以及所述第二图像作为待处理图像，对所述待处理图像执行如下步骤：
步骤S1211：获取待处理图像的亮度图。
具体而言，可以将待处理图像的原色数据(诸如RGB三原色数据)转化为YUV数据后，提取Y通道的数据以作为待处理图像的亮度图。
步骤S1212：基于待处理图像的亮度图获取待处理图像的细节亮度图以及非细节亮度图。
具体而言，步骤S1212可以通过各种不同的方式实现，诸如直接对亮度图进行细节和非细节区域划分、通过锐化处理实现细节和非细节亮度图的划分等，本申请并非以此为限制
步骤S122：将所述第一图像的细节亮度图与所述第二图像的细节亮度图进行融合获得细节融合亮度图。
具体而言，步骤S122可以通过对应像素点的亮度直接相加的方式，实现细节亮度图的融合。在一些变化例中，步骤S122也可以通过对应像素点的亮度加权求和的方式，实现细节亮度图的融合。本发明并非以此为限制，其它的融合方式，诸如以像素单元(设定行数和列数的像素矩阵)为单位进行相应的融合计算，也在本申请的保护范围之内。
步骤S123：将所述第一图像的非细节亮度图与所述第二图像的非细节亮度图进行融合获得非细节融合亮度图。
具体而言，步骤S123可以通过对应像素点的亮度直接相加的方式，实现非细节亮度图的融合。在一些变化例中，步骤S122也可以通过对应像素点的亮度加权求和的方式，实现非细节亮度图的融合。本发明并非以此为限制，其它的融合方式，诸如以像素单元(设定行数和列数的像素矩阵)为单位进行相应的融合计算，也在本申请的保护范围之内。
步骤S124：基于所述细节融合亮度图与所述非细节融合亮度图之和，获得所述融合亮度图。
具体而言，步骤S124可以通过对应像素点的亮度直接相加的方式，实现细节融合亮度图和非细节融合亮度图的融合。在一些变化例中，步骤S124也可以通过对应像素点的亮度加权求和的方式，实现细节融合亮度图和非细节融合亮度图的融合。本发明并非以此为限制，其它的融合方式，诸如以像素单元(设定行数和列数的像素矩阵)为单位进行相应的融合计算，也在本申请的保护范围之内。
由此，通过对第一图像和第二图像的细节和非细节亮度图的区分，从而能够实现第一图像和第二图像由于不同的图像处理算法，从而在细节和非细节区域图像亮度的不同优劣势进行平衡和融合，以便于提高所获得的图像质量。
在一些实施例中，可以参考USM(Unsharp Mask)锐化方法实现图2中的步骤S1212，以便于对待处理图像进行分层，从而获得待处理图像的细节亮度图以及非细节亮度图。具体参见图3，其示出了根据本申请具体实施例的基于待处理图像的亮度图获取待处理图像的细节亮度图以及非细节亮度图的流程图。图3共示出如下步骤：
步骤S12121：对所述待处理图像的亮度图进行高斯滤波，获得待处理图像的非细节亮度图。
具体而言，步骤S12121中可以按需设置高斯滤波所需的参数(高斯核以及方差)。例如，可以将高斯核设置为5，将方差设置为2，本申请并非以此为限制。
步骤S12122：将所述待处理图像的亮度图减去所述待处理图像的非细节亮度图，获得所述待处理图像的细节亮度图。
由此，可以通过图3示出的步骤实现待处理图像进行分层，便于区分处待处理图像的细节亮度图以及非细节亮度图。
通过加权求和的方式，实现细节亮度图融合的实施例的实现可以参见图4。图4共示出如下步骤：
步骤S1221：基于细节亮度权重表计算所述第一图像的细节亮度图的各像素点的第一权值。
步骤S1222：基于细节亮度权重表计算所述第二图像的细节亮度图的各像素点的第二权值。
具体而言，所述细节亮度权重表中，图像的细节区域的各像素点的权重大于图像的非细节区域的各像素点的权重，且各像素点的权重自图像的细节区域向非细节区域平滑过度。由此，保证细节区域的亮度。
具体而言，细节亮度权重表
具体而言，在本申请中，第一图像(第一图像处理算法)和第二图像(第二图像处理算法)分别对应两个细节亮度权重表。具体而言，细节亮度权重表可以根据实际场景亮度水平设置。
w(i，j)_I1＝Table_细节(第一图像的细节亮度图(i，j))；
w(i，j)_I2＝Table_细节(第二图像的细节亮度图(i，j))；
其中，w(i，j)_I1为第一权重，w(i，j)_I2为第二权重，Table_细节(第一图像的细节亮度图(i，j))为第一图像的细节亮度权重表，Table_细节(第二图像的细节亮度图(i，j))为第二图像的细节亮度权重表。
在上述实施例中，由于第一图像处理算法和第二图像处理算法分别对应两个细节亮度权重表，因此，为了步骤S1223的加权计算，还可以对上述的第一权重和第二权重进行归一化处理：
其中，w(i，j)_I1为第一权重，w(i，j)_I2为第二权重，w(i，j)_I1′为归一化后的第一权重，w(i，j)_I2′为归一化后的第二权重。
步骤S1223：根据所述第一权值和所述第二权值，对所述第一图像的细节亮度图与所述第二图像的细节亮度图加权求和，获得所述细节融合亮度图。
具体而言，步骤S1223可以由如下公式实现：
细节融合亮度图(i，j)＝w(i，j)_I1′*第一图像的细节亮度图(i，j)+w(i，j)_I2′*第二图像的细节亮度图(i，j)。
由此，通过步骤S1221至步骤S1223，可以结合细节亮度权重表实现第一图像和第二图像的细节亮度图的融合，从而保证细节区域的亮度。
与细节亮度图融合类似，通过加权求和的方式，实现非细节亮度图融合的实施例的实现可以参见图5。图5共示出如下步骤：
步骤S1231：基于非细节亮度权重表计算所述第一图像的非细节亮度图的各像素点的第三权值。
步骤S1232：基于非细节亮度权重表计算所述第二图像的非细节亮度图的各像素点的第四权值。
具体而言，所述非细节亮度权重表中，像素点的亮度与权重成反向相关，从而抑制过曝现象。具体而言，在本申请中，第一图像(第一图像处理算法)和第二图像(第二图像处理算法)分别对应两个非细节亮度权重表。具体而言，非细节亮度权重表可以根据实际场景亮度水平设置。
w(i，j)_I3＝Table_细节(第一图像的非细节亮度图(i，j))；
w(i，j)_I4＝Table_细节(第二图像的非细节亮度图(i，j))；
其中，w(i，j)_I3为第三权重，w(i，j)_I4为第四权重，Table_细节(第一图像的非细节亮度图(i，j))为第一图像的非细节亮度权重表，Table_细节(第二图像的非细节亮度图(i，j))为第二图像的非细节亮度权重表。
在上述实施例中，由于第一图像处理算法和第二图像处理算法分别对应两个非细节亮度权重表，因此，为了步骤S1233的加权计算，还可以对上述的第三权重和第四权重进行归一化处理：
其中，w(i，j)_I3为第三权重，w(i，j)-14为第四权重，w(i，j)_I3′为归一化后的第三权重，w(i，j)-I4′为归一化后的第四权重。
步骤S1233：根据所述第三权值和所述第四权值，对所述第一图像的非细节亮度图与所述第二图像的非细节亮度图加权求和，获得所述非细节融合亮度图。
具体而言，步骤S1233可以由如下公式实现：
非细节融合亮度图(i，j)＝w(i，j)_I3′*第一图像的非细节亮度图(i，j)+w(i，j)_I4′*第二图像的非细节亮度图(i，j)。
由此，通过步骤S1231至步骤S1233，可以结合非细节亮度权重表实现第一图像和第二图像的非细节亮度图的融合，从而抑制过曝现象。
具体而言，在一些具体实现中，为了提升融合亮度图的清晰度，图2所示步骤S124基于所述细节融合亮度图与所述非细节融合亮度图之和，获得所述融合亮度图可以包括如下步骤：将所述细节融合亮度图与所述非细节融合亮度图之和与设定比例的第一图像的细节亮度图相加，获得所述融合亮度图。该步骤可以由如下公式表示：
融合亮度图(i，j)＝非细节融合亮度图(i，j)+细节融合亮度图(i，j)+ratio*第一图像的细节亮度图(i，j)，
其中，ratio为设定比例，ratio的值可以按需设置，本申请并不对此进行限定。
具体而言，在一些具体实现中，图1中的步骤S130基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像包括由如下任一项或多种上色方式来实现：基于所述第一图像的原色比例，对所述融合亮度图进行上色；基于所述第一图像的色差信号，对所述融合亮度图进行上色；以及基于所述第二图像的原色比例，对所述融合亮度图进行上色。在具体的实现中，若仅基于所述第一图像的原色比例，对所述融合亮度图进行上色，则获得的图像颜色鲜艳丰富，但其暗区偏蓝、容易偏色，白平衡稍差。若仅基于所述第一图像的色差信号，对所述融合亮度图进行上色，获得的图像白平衡较为准确，但颜色偏淡。若仅基于所述第二图像的原色比例，对所述融合亮度图进行上色，获得的图像能恢复暗区颜色，但容易偏色。为了缓解单一上色方式的缺陷，本申请可以结合多个上色方式进行上色。
在上色的一些具体实现中，可以参见图6，图6示出了根据本申请具体实施例的获得第三上色图的流程图。图6共示出如下步骤：
步骤S1310：基于所述第一图像的原色比例，对所述融合亮度图进行上色，获得第一上色图。
具体而言，原色比例例如为RGB三原色比例。步骤S1310可以由如下公式实现：
其中，第一上色图(i，j)_R为第一上色图(i，j)_的R(红色)通道的像素值；第一上色图(i，j)_G为第一上色图(i，j)_的G(绿色)通道的像素值；第一上色图(i，j)_B为第一上色图(i，j)_的B(蓝色)通道的像素值；I1_R为第一图像的R的总像素值或者像素点(i，j)处的R通道的像素值；I1_G为第一图像的G通道的总像素值或者像素点(i，j)处的G通道的像素值；I1_B为第一图像的B通道的总像素值或者像素点(i，j)处的B通道的像素值；I1_Y为第一图像的总亮度值或者像素点(i，j)处的Y通道的亮度值；融合亮度图(i，j)为融合亮度图像素点(i，j)处的亮度值。
步骤S1311：基于所述第一图像的色差信号，对所述融合亮度图进行上色，获得第二上色图。
具体而言，原步骤S1311可以由如下公式实现：
第二上色图(i，j)_YUV＝融合亮度图(i，j)+I1UV；
第二上色图(i，j)_RGB＝YUV2RGB(第二上色图(i，j)_YUV)；
其中，第二上色图(i，j)_YUV为第二上色图的YUV数据；I1UV为第一图像的色差信号，也即第一图像的UV数据；第二上色图(i，j)_RGB为第二上色图的RGB数据；YUV2RGB()为YUV数据转换为RGB数据的转换算法。
步骤S1312：根据所述第一上色图，筛选原色过饱和像素点。
具体而言，可以设置阈值，从而只处理原色过饱和像素点。本申请并非以此为限制，对各像素点皆进行下述步骤S1313的处理也在本申请的保护范围之内。
以红色为例：
其中，RGratio为像素点(i，j)的红绿比例；RBratio为像素点(i，j)的红蓝比例；第一上色图(i，j)_R为像素点(i，j)的R通道的像素值；第一上色图(i，j)_G为像素点(i，j)的G通道的像素值；第一上色图(i，j)_B为像素点(i，j)的B通道的像素值。
若RGratio＞T1(0.8)并且BGratio＞T2(1.5)，则表示该像素点红色过饱和。其中，T1(0.8)和T2(1.5)分别为按需设置的阈值。
步骤S1313：将所述第一上色图中的过饱和像素点，与所述第二上色图的对应像素点进行加权融合，所述第二上色图的权重大于所述第一上色图的权重。
具体而言，以过饱和像素点(i，j)红色过饱和为例，步骤S1313可以通过如下公式实现：
其中，第三上色图(i，j)_RGB为第三上色图的像素点(i，j)的RGB数据；第二上色图(i，j)_RGB为第二上色图的像素点(i，j)的RGB数据；第一上色图(i，j)_RGB为第一上色图的像素点(i，j)的RGB数据。
以此类推，从而实现各过饱和像素点的RGB值的更新。
步骤S1314：更新所述第一上色图，获得第三上色图。
由此，通过上述步骤S1311至步骤S1314，筛选原色过饱和像素点，并使原色过饱和像素点与第二上色图进行加权，从而借由第二上色图的颜色偏淡，来减轻基于原色比例上中任一原色过饱和的问题。
在本实施例中，可以基于第三上色图获得融合图像。
进一步地，为了环节白点色偏的问题，还可以结合图7所示的实施例获得第四上色图。图7示出如下步骤：
步骤S1315：计算所述第三上色图的各像素点的原色方差。
具体而言，原色方差可以理解为白点特征。由此，可以计算原色方差来表示第三上色图各像素点的原色方差。各像素点的原色方差可以按如下公式计算：
M(i，j)＝(第三上色图(i，j)_R+第三上色图(i，j)_G+第三上色图(i，j)_B)/3；
其中，M(i，j)为第三上色图像素点(i，j)的RGB均值；第三上色图(i，j)_R为第三上色图像素点(i，j)的R通道的像素值；第三上色图(i，j)_G为第三上色图像素点(i，j)的G通道的像素值；第三上色图(i，j)_B为第三上色图像素点(i，j)的B通道的像素值；s2(i，j)为第三上色图像素点(i，j)的原色方差。
步骤S1315：将所述第三上色图中，原色方差小于预设阈值的像素点，与所述第二上色图的对应像素点进行加权融合，所述第二上色图的权重大于所述第三上色图的权重。
具体而言，预设阈值可以按需设置。在一些具体实现中，可以将预设阈值T设置为100，则步骤S1315仅对s2(i，j)小于100的像素点进行处理。
进一步地，步骤S1315可以由如下公式实现：
其中，第四上色图(i，j)_RGB为第四上色图的像素点(i，j)的RGB数据。
由此，可以通过步骤S1315对第三上色图的原色方差小于预设阈值的各像素点进行处理。
步骤S1317：更新所述第三上色图，获得第四上色图。
具体而言，由于亮度融合后亮度有显著提升，使用原色比例上色会打破之前的白点成像效果，例如第一图像的像素点(21，25，22)，如果亮度提升为原来2倍，采用第一图像的原色比例上色得(42，50，44)，原来的白点一定程度上偏绿。所以采用上述方法，结合第二上色图上色的白平衡准的优点对白点像素做保护，抑制白点偏色问题。
在本实施例中，可以基于第四上色图获得融合图像。
进一步地，考虑到需要对第一图像的暗区进行补偿，因此，还可以结合第二图像进行上色。下面参见图8，图8示出了根据本申请具体实施例的获得融合上色图的流程图。图8共示出如下步骤：
步骤S1318：基于所述第二图像的原色比例，对所述融合亮度图进行上色，获得第五上色图。
具体而言，步骤S1318可以按与步骤S1310相同的方式实现基于第二图像的第五上色图，在此不予赘述。
获得第五上色图后，可以将所述第四上色图中各像素点与所述第五上色图中对应像素点进行加权融合，获得融合上色图。具体而言，可以通过如下步骤实现：
步骤S1319：基于所述第一图像的亮度图的亮度取色权重表，确定所述第四上色图中各像素点的权重。
具体而言，所述亮度取色权重表中，第四上色图中像素点的亮度和第四上色图的权重呈正相关。由此，以便于将第二图像的暗区补偿至基于第一图像上色获得的第四上色图中。
步骤S1320：按所确定的权重，将所述第四上色图中各像素点与所述第五上色图中对应像素点进行加权融合，获得融合上色图，所述第四上色图的权重与所述第五上色图的权重之和为1，所述融合图像基于所述融合上色图获取。
具体而言，步骤S1320可以按如下公式来实现：
融合上色图(i，j)_RGB
＝w5(i，j)*第四上色图(i，j)_RGB+(1-w5(i，j))
*第五上色图(i，j)_RGB
其中，融合上色图(i，j)_RGB为融合上色图的像素点(i，j)的RGB数据；w5(i，j)为像素点(i，j)的权重。
由此，通过上述步骤，实现暗区结合第二图像的上色图。由于亮度图融合后暗区被提亮存在信息，但是第一图像的暗区颜色信息较少，因此，可以结合第二图像的上色图，同时有效解决第一图像原色比例上色暗区偏蓝问题。
具体而言，本发明各个实施例中的亮度权重表可以以表的形式、函数的形式、函数图像的形式等亮度与权重的映射关系储存，本发明并非以此为限制。
在本申请的进一步的具体实现中，可以通过一图像颜色校正模块，以通过校正矩阵M，调整融合上色图的原色通道的数值。
K′＝M×K；
其中，K′为矫正后原色三通道数值，M为一个n*n的颜色矫正矩阵(n例如为3，本申请并非以此为限制)，K为校正前原色通道数值。由此，在本实施例中，可以获得经颜色矫正的融合图像。
由此，本申请采用基于第一图像处理算法(例如传统ISP)和第二图像处理算法(例如深度学习增强算法)的图像融合方法，可以应用于监控设备。本申请的图像处理性能优于多曝光融合，多曝光融合会产生两次快门拍摄导致运动物体像素不匹配问题；本申请的图像处理性能也优于多光谱融合，目前主流的多光谱融合是彩色图和红外图，大多采用双目摄像机和单镜头双传感器的分光棱镜，双目相机同样存在像素不匹配问题，分光棱镜硬件精度高，成本高昂。
对于夜晚低照环境，第一图像处理算法流程很难在亮度和噪声维度做到平衡；第二图像处理算法增强后的图像在亮度和噪声能很好的达到平衡，但是也存在着特殊场景鲁棒性稍差，多色温场景适应性稍差的问题。本发明结合了第一图像处理算法和第二图像处理算法的优势，在亮度、清晰度、颜色维度进行取长补短，从而获取一张高质量图像。
本申请的提出了一种基于第一图像处理算法和第二图像处理算法的图像融合方法提供了可调节的参数接口，通过参数的调节和设置，可以对融合后的图像进清晰度、饱和度调节。提高了后续的融合技术应用的适应性。
本申请可以应用于各类场景中：
当应用于智能交通场景时，因车牌运动模糊和车牌过曝问题抑制第一图像处理算法的快门增益导致图片偏暗，整体图像质量差，本申请提的图像融合方法，提升亮度的同时又能很好的抑制了噪声的放大，使得整张监控画面无死黑区域，便于执法取证。
当应用于行人、卡口场景时，本申请在降低补光灯亮度的同时也能保证高质量图像效果，由此可以减少光污染，从而实现环保的技术效果。
以上示例性地示出本申请的多个实现方式，本申请并非以此为限制，各实施方式中，步骤的增加、省略、顺序变换皆在本申请的保护范围之内；各实施方式可以单独或组合来实现。
下面结合图9描述本申请提供的图像融合装置200。图像融合装置200包括识别模块210、亮度融合模块220以及与上色模块230。
识别模块210配置成获取模块，配置成获取第一图像以及第二图像，所述第一图像和所述第二图像由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得；
亮度融合模块220配置成分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图；
上色模块230配置成基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像。
本申请提供的图像融合装置中，通过由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得第一图像以及第二图像，进行亮度图融合获得融合亮度图，以通过不同图像处理算法获得的图像的亮度融合，实现对原始图像的提亮和降噪；通过所述第一图像和/或所述第二图像对所述融合亮度图进行上色获得融合图像，提高图像清晰度，避免多色温干扰。由此，提高获取的融合图像的质量。
本申请可以通过软件、硬件、固件及其任意结合的方式实现图像融合装置200。图6仅仅是示意性的示出本申请提供的图像融合装置200，在不违背本申请构思的前提下，模块的拆分、合并、增加都在本申请的保护范围之内。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述图像融合方法的步骤。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，若所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述图像融合方法部分中描述的根据本申请各种示例性实施方式的步骤。
参考图10所示，描述了根据本申请的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适若的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述图像融合方法的步骤。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图11来描述根据本申请的这种实施方式的电子设备600。图11显示的电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述图像融合方法部分中描述的根据本申请各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应若明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述图像融合方法。
本申请通过由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得第一图像以及第二图像，进行亮度图融合获得融合亮度图，以通过不同图像处理算法获得的图像的亮度融合，实现对原始图像的提亮和降噪；通过所述第一图像和/或所述第二图像对所述融合亮度图进行上色获得融合图像，提高图像清晰度，避免多色温干扰。由此，提高获取的融合图像的质量。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
Claims (11)
1.一种图像融合方法，其特征在于，包括：
获取第一图像以及第二图像，所述第一图像和所述第二图像由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得；
分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图；
基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像。
2.如权利要求1所述的图像融合方法，其特征在于，所述分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图包括：
分别将所述第一图像以及所述第二图像作为待处理图像，对所述待处理图像执行如下步骤：
获取待处理图像的亮度图；
基于待处理图像的亮度图获取待处理图像的细节亮度图以及非细节亮度图；
将所述第一图像的细节亮度图与所述第二图像的细节亮度图进行融合获得细节融合亮度图；
将所述第一图像的非细节亮度图与所述第二图像的非细节亮度图进行融合获得非细节融合亮度图；
基于所述细节融合亮度图与所述非细节融合亮度图之和，获得所述融合亮度图。
3.如权利要求2所述的图像融合方法，其特征在于，所述基于待处理图像的亮度图获取待处理图像的细节亮度图以及非细节亮度图包括：
对所述待处理图像的亮度图进行高斯滤波，获得待处理图像的非细节亮度图；
将所述待处理图像的亮度图减去所述待处理图像的非细节亮度图，获得所述待处理图像的细节亮度图。
4.如权利要求2所述的图像融合方法，其特征在于，所述将所述第一图像的细节亮度图与所述第二图像的细节亮度图进行融合获得细节融合亮度图包括：
基于细节亮度权重表计算所述第一图像的细节亮度图的各像素点的第一权值；
基于细节亮度权重表计算所述第二图像的细节亮度图的各像素点的第二权值；
根据所述第一权值和所述第二权值，对所述第一图像的细节亮度图与所述第二图像的细节亮度图加权求和，获得所述细节融合亮度图，
其中，所述细节亮度权重表中，图像的细节区域的各像素点的权重大于图像的非细节区域的各像素点的权重，且各像素点的权重自图像的细节区域向非细节区域平滑过度。
5.如权利要求2所述的图像融合方法，其特征在于，所述将所述第一图像的非细节亮度图与所述第二图像的非细节亮度图进行融合获得非细节融合亮度图包括：
基于非细节亮度权重表计算所述第一图像的非细节亮度图的各像素点的第三权值；
基于非细节亮度权重表计算所述第二图像的非细节亮度图的各像素点的第四权值；
根据所述第三权值和所述第四权值，对所述第一图像的非细节亮度图与所述第二图像的非细节亮度图加权求和，获得所述非细节融合亮度图，
其中，所述非细节亮度权重表中，像素点的亮度与权重成反向相关。
6.如权利要求2所述的图像融合方法，其特征在于，所述基于所述细节融合亮度图与所述非细节融合亮度图之和，获得所述融合亮度图包括
将所述细节融合亮度图与所述非细节融合亮度图之和与设定比例的第一图像的细节亮度图相加，获得所述融合亮度图。
7.如权利要求1所述的图像融合方法，其特征在于，所述基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像包括如下任一项或多种上色方式：
基于所述第一图像的原色比例，对所述融合亮度图进行上色；
基于所述第一图像的色差信号，对所述融合亮度图进行上色；以及
基于所述第二图像的原色比例，对所述融合亮度图进行上色。
8.如权利要求7所述的图像融合方法，其特征在于，所述基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像包括：
基于所述第一图像的原色比例，对所述融合亮度图进行上色，获得第一上色图；
基于所述第一图像的色差信号，对所述融合亮度图进行上色，获得第二上色图；
根据所述第一上色图，筛选原色过饱和像素点；
将所述第一上色图中的过饱和像素点，与所述第二上色图的对应像素点进行加权融合，所述第二上色图的权重大于所述第一上色图的权重；
更新所述第一上色图，获得第三上色图。
9.如权利要求8所述的图像融合方法，其特征在于，所述更新所述第一上色图，获得第三上色图之后，包括：
计算所述第三上色图的各像素点的原色方差；
将所述第三上色图中，原色方差小于预设阈值的像素点，与所述第二上色图的对应像素点进行加权融合，所述第二上色图的权重大于所述第三上色图的权重；
更新所述第三上色图，获得第四上色图。
10.如权利要求9所述的图像融合方法，其特征在于，
所述获得融合图像之前还包括：
基于所述第二图像的原色比例，对所述融合亮度图进行上色，获得第五上色图；
所述更新所述第三上色图，获得第四上色图之后，还包括：
将所述第四上色图中各像素点与所述第五上色图中对应像素点进行加权融合，获得融合上色图，
其中，所述第四上色图中各像素点的权重基于所述第一图像的亮度图的亮度取色权重表确定，所述亮度取色权重表中，第四上色图中像素点的亮度和第四上色图的权重呈正相关，所述第四上色图的权重与所述第五上色图的权重之和为1，所述融合图像基于所述融合上色图获取。
11.一种图像融合装置，其特征在于，包括：
获取模块，配置成获取第一图像以及第二图像，所述第一图像和所述第二图像由同一原始图像分别经由第一图像处理算法以及第二图像处理算法处理获得；
亮度融合模块，配置成分别获取所述第一图像以及所述第二图像的亮度图，对两个所述亮度图进行融合，获得融合亮度图；
上色模块，配置成基于所述第一图像和/或所述第二图像对所述融合亮度图进行上色，获得融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295849.6A CN112907497B (zh) | 2021-03-19 | 2021-03-19 | 图像融合方法以及图像融合装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295849.6A CN112907497B (zh) | 2021-03-19 | 2021-03-19 | 图像融合方法以及图像融合装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907497A true CN112907497A (zh) | 2021-06-04 |
| CN112907497B CN112907497B (zh) | 2022-08-16 |
Family
ID=76106650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110295849.6A Active CN112907497B (zh) | 2021-03-19 | 2021-03-19 | 图像融合方法以及图像融合装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907497B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421195A (zh) * | 2021-06-08 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN113781370A (zh) * | 2021-08-19 | 2021-12-10 | 北京旷视科技有限公司 | 图像的增强方法、装置和电子设备 |
| CN114219747A (zh) * | 2021-12-15 | 2022-03-22 | 浙江大华技术股份有限公司 | 图像的生成方法、装置、存储介质及电子装置 |
| WO2023010549A1 (en) * | 2021-08-06 | 2023-02-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging device, image processing method, and image processing program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3129954A1 (en) * | 2014-04-07 | 2017-02-15 | BAE SYSTEMS Information and Electronic Systems Integration Inc. | Contrast based image fusion |
| CN110533740A (zh) * | 2019-07-31 | 2019-12-03 | 成都旷视金智科技有限公司 | 一种图像着色方法、装置、系统及存储介质 |
| CN111563552A (zh) * | 2020-05-06 | 2020-08-21 | 浙江大华技术股份有限公司 | 图像融合方法以及相关设备、装置 |
-
2021
- 2021-03-19 CN CN202110295849.6A patent/CN112907497B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3129954A1 (en) * | 2014-04-07 | 2017-02-15 | BAE SYSTEMS Information and Electronic Systems Integration Inc. | Contrast based image fusion |
| CN110533740A (zh) * | 2019-07-31 | 2019-12-03 | 成都旷视金智科技有限公司 | 一种图像着色方法、装置、系统及存储介质 |
| CN111563552A (zh) * | 2020-05-06 | 2020-08-21 | 浙江大华技术股份有限公司 | 图像融合方法以及相关设备、装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421195A (zh) * | 2021-06-08 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN113421195B (zh) * | 2021-06-08 | 2023-03-21 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| WO2023010549A1 (en) * | 2021-08-06 | 2023-02-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Imaging device, image processing method, and image processing program |
| CN113781370A (zh) * | 2021-08-19 | 2021-12-10 | 北京旷视科技有限公司 | 图像的增强方法、装置和电子设备 |
| CN114219747A (zh) * | 2021-12-15 | 2022-03-22 | 浙江大华技术股份有限公司 | 图像的生成方法、装置、存储介质及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907497B (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907497B (zh) | 图像融合方法以及图像融合装置 | |
| CN105761227B (zh) | 基于暗通道先验与白平衡的水下图像增强方法 | |
| US8135235B2 (en) | Pre-processing method and apparatus for wide dynamic range image processing | |
| JP6395810B2 (ja) | 動きゴーストフィルタリングのための基準画像選択 | |
| US8854489B2 (en) | Image processing method and image processing apparatus | |
| US10467733B2 (en) | Multiplexed high dynamic range images | |
| US20160093034A1 (en) | Contrast Based Image Fusion | |
| US20070047803A1 (en) | Image processing device with automatic white balance | |
| WO2021143300A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108289173B (zh) | 一种摄像控制方法、装置、终端设备及存储介质 | |
| US20120257824A1 (en) | Image processing method and apparatus | |
| CN113163127B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2019019904A1 (zh) | 白平衡处理方法、装置和终端 | |
| WO2019047620A1 (zh) | 一种成像装置及成像方法 | |
| WO2022067761A1 (zh) | 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质 | |
| KR20230131831A (ko) | 이미지 프로세싱을 위한 높은 다이나믹 범위 기법 선택 | |
| CN107105172B (zh) | 一种用于对焦的方法和装置 | |
| CN108900785A (zh) | 曝光控制方法、装置和电子设备 | |
| Kao | High dynamic range imaging by fusing multiple raw images and tone reproduction | |
| CN116416122A (zh) | 图像处理方法及其相关设备 | |
| CN107682611B (zh) | 对焦的方法、装置、计算机可读存储介质和电子设备 | |
| CN108259754A (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
| WO2023110878A1 (en) | Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models | |
| JP6315239B2 (ja) | 撮像装置、撮像方法、画像処理装置、撮像プログラム | |
| WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |