CN106408547A - 图像融合方法、装置和终端设备 - Google Patents

图像融合方法、装置和终端设备 Download PDF

Info

Publication number
CN106408547A
CN106408547A CN201510451505.4A CN201510451505A CN106408547A CN 106408547 A CN106408547 A CN 106408547A CN 201510451505 A CN201510451505 A CN 201510451505A CN 106408547 A CN106408547 A CN 106408547A
Authority
CN
China
Prior art keywords
pixel
image
layer
value
weighted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510451505.4A
Other languages
English (en)
Other versions
CN106408547B (zh
Inventor
谭乐怡
彭晓峰
朱洪波
王浩
张乐
宋利伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201510451505.4A priority Critical patent/CN106408547B/zh
Publication of CN106408547A publication Critical patent/CN106408547A/zh
Application granted granted Critical
Publication of CN106408547B publication Critical patent/CN106408547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

图像融合方法、装置和终端设备，所述方法包括：将待融合的多个图像分别进行分解得到多个图层；根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；采用计算得到的权重值对所述多个图像同一图层的同位置像素进行融合，得到所述图层对应的融合图层；采用得到的各个图层的融合图层生成对应的高动态范围图像。上述的方案，可以提高融合得到的图像的质量。

Description

图像融合方法、装置和终端设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像融合方法、装置和终端设备。
背景技术
图像融合，是指将多源信道所采集到的同一目标的图像数据经过图像处理等，以最大限度地提取各自信道中的有利信息，最终合成高质量的图像。图像融合的目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，增强影像中信息透明度，提高解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。图像融合的诸多方面的优点使得其在医学、遥感、计算机视觉、气象预报及军事目标识别，尤其在计算机视觉等领域得到了广泛地应用。
现有技术中，在使用图像融合方法生成高动态范围(High-Dynamic Range，HDR)图像时，仅仅孤立地考虑各个图像中的像素的亮度值，使得最终生成的图像的质量较差。
发明内容
本发明实施例解决的技术问题是如何提高融合得到的图像的质量。
为解决上述问题，本发明实施例提供了一种图像融合方法，所述方法包括：
将待融合的多个图像分别进行分解得到多个图层；
根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；
采用计算得到的权重值对所述多个图像同一图层的同位置像素进行融合，得到所述图层对应的融合图层；
采用得到的各个图层的融合图层生成对应的高动态范围图像。
可选地，所述根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值，包括：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
可选地，所述常数c的取值范围为54～75。
可选地，所述曲线控制参数σu等于0.2。
可选地，所述将待融合的多个图像分别进行分解得到多个图层，包括：采用哈尔小波将待融合的多个图像分别分解为两个图层。
本发明实施例还提供了一种图像融合装置，所述装置包括：
分解单元，适于将待融合的多个图像分别进行分解得到多个图层；
计算单元，适于根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；
融合单元，适于采用计算得到的权重值对所述多个图像同一图层的同位置像素进行融合，得到所述图层对应的融合图层；
生成单元，适于采用得到的各个图层的融合图层生成对应的高动态范围图像。
可选地，所述计算单元适于采用如下的公式计算像素在相应图层中的权重值：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
可选地，所述常数c的取值范围为54～75。
可选地，所述曲线控制参数σu为0.2
可选地，所述分解单元适于采用哈尔小波将待融合的多个图像分别分解为两个图层。
本发明实施例还提供了一种终端设备，所述终端设备上述的图像融合装置。
与现有技术相比，本发明的技术方案具有以下的优点：
上述的方案，将图像的像素的亮度值和曝光程度结合，进行计算待融合的各张图像中的像素在相应图层中的权重值，可以最大程度地利用像素所携带的信息，因此，可以提高所生成图像的质量。
附图说明
图1是本发明实施例中的一种图像融合方法的流程图；
图2是本发明实施例中的图像融合装置的结构示意图。
具体实施方式
现有技术中，在使用图像融合方法生成高动态范围(High-Dynamic Range，HDR)图像时，仅仅考虑各个图像中的像素的亮度值，使得最终生成的图像的质量较差。
为解决现有技术中存在的上述问题，本发明实施例采用的技术方案将图像的像素的亮度值和曝光程度结合，进行计算待融合的各张图像中的像素在相应图层中的权重值，可以最大程度地利用像素所携带的信息，可以提高所生成图像的质量。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1示出了本发明实施例中的一种图像融合方法的流程图。如图1所述的图像融合方法，可以包括：
步骤S101：将待融合的多个图像分别进行分解得到多个图层。
在具体实施中，首先将多个待融合的图像按照曝光程度进行排序，并从中选取曝光程度适中的图像作为参考图像。将其他待融合的图像与所述参考图像进行对齐，并根据实际的需要进行裁剪。
在进行对齐和裁剪之后，可以将待融合的多个图像分别进行分解。
在本发明一实施例中，可以采用哈尔小波(Haar Wavelet)将对齐并裁剪之后的图像分别分解成两个图层。这里需要指出的是，也可以采用其他的方法将对齐并裁剪后的图像进行分解，且分解得到图层的数量可以根据实际的需要进行选择，在此不做限制。
步骤S102：根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值。
在具体实施中，在不同曝光程度的图像中，具有相同亮度的像素对于图像的贡献是不同的。例如，在欠曝光的图像中，高亮度的像素往往携带了重要的信息；在正常曝光程度的图像中，中等亮度的像素包含了丰富的细节信息；在过度曝光的图像中，低亮度的像素携带了重要的信息。因此，可以同时将图像的曝光程度和像素本身的亮度结合计算像素的权重值。
在本发明一实施例中，可以采用如下的公式计算像素在相应图层中的权重值：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
在具体实施中，像素亮度中值M_Value与图像的曝光程度成正比，也即曝光时间越长的图像的亮度中值M_Value越大。那么，通过上述的公式(1)可以看出，当亮度中值M_Value越大时，曝光时间越长的图像中相同亮度的像素在同一图层中的权重值W越小，反之，则权重值W越大。这样，便可以根据相同亮度的像素在不同曝光程度的图像中重要性不同，赋予不同的权重值，从而可以将不同曝光程度中携带有重要信息的像素保存下来，因此，可以提高最终生成的HDR图像的质量。
在具体实施中，本申请的发明人经过研究后发现，常数c的取值范围为54～75，且曲线控制参数σu等于0.2时，可以使得最终合成的高动态范围图像的质量得到明显的提升。在本发明一实施例中，常数c为64。
这里需要指出的是，像素亮度中值M_Value为所述像素所属图像的像素亮度值的中值。例如，一个图像中包括3个亮度值分别为210、232、250的像素，那么，所述图像的像素亮度中值M_Value为232。
步骤S103：采用计算得到的权重值对所述多个图像同一图层同位置的像素进行融合，得到所述图层对应的融合图层。
在具体实施中，当计算得到各个图像中的像素在不同图层中的权重值之后，便可以采用计算得到的权重值，对所述多个图像的同一图层同位置的像素进行融合。
例如，当采用哈尔小波将三张图像分别进行图层分解后得到第一图层和第二图层，且采用公式(1)计算得出三张图像中的像素分别在第一图层和第二图层中的权重值之后，将三张图像中的第一图层中相同位置的像素分别采用相应的权重值进行融合，可以得到第一融合图层。同样，将三张图像中的第二图层中的像素采用相应的权重值进行融合，便可以得到第二融合图层。
步骤S104：采用得到的各个图层的融合图层生成对应的高动态范围图像。
在具体实施中，当得到各个图层对应的融合图层之后，将不同图层的融合图层合成，便可以得到最终的HDR图像。
图2示出了本发明实施例中的一种图像融合装置的结构示意图。如图2所示的图像融合装置200，可以包括分解单元201、计算单元202、融合单元203和生成单元204，其中：
分解单元201，适于将待融合的多个图像分别进行分解得到多个图层。
在具体实施中，所述分解单元201适于采用哈尔小波将待融合的多个图像分别分解为两个图层。
计算单元202，适于根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值。
在具体实施中，所述计算单元202适于采用如下的公式计算像素在相应图层中的权重值：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
在具体实施中，所述常数c的取值范围为54～75，所述曲线控制参数σu为0.2。
融合单元203，适于采用计算得到的权重值对所述多个图像同一图层的同位置像素进行融合，得到所述图层对应的融合图层。
生成单元204，适于采用得到的各个图层的融合图层生成对应的高动态范围图像。
本发明实施例还提供了一种终端设备，所述终端设备上述的图像融合装置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (11)

1.一种图像融合方法，其特征在于，包括：
将待融合的多个图像分别进行分解得到多个图层；
根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；
采用计算得到的权重值对所述多个图像同一图层的像素进行融合，得到所述图层对应的融合图层；
采用得到的各个图层的融合图层生成对应的高动态范围图像。
2.根据权利要求1所述的图像融合方法，其特征在于，所述根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值，包括：其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
3.根据权利要求2所述的图像融合方法，其特征在于，所述常数c的取值范围为54～75。
4.根据权利要求2所述的图像融合方法，其特征在于，所述曲线控制参数σu为0.2。
5.根据权利要求1所述的图像融合方法，其特征在于，所述将待融合的多个图像分别进行分解得到多个图层，包括：采用哈尔小波将待融合的多个图像分别分解为两个图层。
6.一种图像融合装置，其特征在于，包括：
分解单元，适于将待融合的多个图像分别进行分解得到多个图层；
计算单元，适于根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；
融合单元，适于采用计算得到的权重值对所述多个图像同一图层同位置的像素进行融合，得到所述图层对应的融合图层；
生成单元，适于采用得到的各个图层的融合图层生成对应的高动态范围图像。
7.根据权利要求6所述的图像融合装置，其特征在于，所述计算单元适于采用如下的公式计算像素在相应图层中的权重值：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
8.根据权利要求7所述的图像融合装置，其特征在于，所述常数c的取值范围为54～75。
9.根据权利要求7所述的图像融合装置，其特征在于，所述曲线控制参数σu为0.2。
10.根据权利要求6所述的图像融合装置，其特征在于，所述分解单元适于采用哈尔小波将待融合的多个图像分别分解为两个图层。
11.一种终端设备，其特征在于，包括权利要求6-10任一项所述的图像融合装置。
CN201510451505.4A 2015-07-28 2015-07-28 图像融合方法、装置和终端设备 Active CN106408547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510451505.4A CN106408547B (zh) 2015-07-28 2015-07-28 图像融合方法、装置和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510451505.4A CN106408547B (zh) 2015-07-28 2015-07-28 图像融合方法、装置和终端设备

Publications (2)

Publication Number Publication Date
CN106408547A true CN106408547A (zh) 2017-02-15
CN106408547B CN106408547B (zh) 2019-11-01

Family

ID=58009296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510451505.4A Active CN106408547B (zh) 2015-07-28 2015-07-28 图像融合方法、装置和终端设备

Country Status (1)

Country Link
CN (1) CN106408547B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851138A (zh) * 2017-04-11 2017-06-13 成都聚像光学技术有限公司 一种基于hdr的图像处理方法
CN111886625A (zh) * 2019-05-13 2020-11-03 深圳市大疆创新科技有限公司 图像融合方法、图像采集设备、可移动平台
CN111917950A (zh) * 2020-06-30 2020-11-10 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113923318A (zh) * 2021-12-16 2022-01-11 成都索贝数码科技股份有限公司 一种实现hd和4k hdr视频信号同传输的方法以及sdi设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140152694A1 (en) * 2012-12-05 2014-06-05 Texas Instruments Incorporated Merging Multiple Exposures to Generate a High Dynamic Range Image
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140152694A1 (en) * 2012-12-05 2014-06-05 Texas Instruments Incorporated Merging Multiple Exposures to Generate a High Dynamic Range Image
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAKAO JINNO 等: "Multiple Exposure Fusion for High Dynamic Range Image Acquisition", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
李艳梅 等: "基于自适应分块的动态场景HDR图像合成算法", 《计算机应用研究》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851138A (zh) * 2017-04-11 2017-06-13 成都聚像光学技术有限公司 一种基于hdr的图像处理方法
CN106851138B (zh) * 2017-04-11 2019-07-16 成都聚像光学技术有限公司 一种基于hdr的图像处理方法
CN111886625A (zh) * 2019-05-13 2020-11-03 深圳市大疆创新科技有限公司 图像融合方法、图像采集设备、可移动平台
WO2020227898A1 (zh) * 2019-05-13 2020-11-19 深圳市大疆创新科技有限公司 图像融合方法、图像采集设备、可移动平台
CN111917950A (zh) * 2020-06-30 2020-11-10 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111917950B (zh) * 2020-06-30 2022-07-22 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113923318A (zh) * 2021-12-16 2022-01-11 成都索贝数码科技股份有限公司 一种实现hd和4k hdr视频信号同传输的方法以及sdi设备
CN113923318B (zh) * 2021-12-16 2022-03-04 成都索贝数码科技股份有限公司 一种实现hd和4k hdr视频信号同传输的方法以及sdi设备

Also Published As

Publication number Publication date
CN106408547B (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
US8718356B2 (en) Method and apparatus for 2D to 3D conversion using scene classification and face detection
CN106408518B (zh) 图像融合方法、装置及终端设备
JP5628306B2 (ja) コントラスト改善
CN108984657B (zh) 图像推荐方法和装置、终端、可读存储介质
CN106157273B (zh) 生成合成图片的方法及装置
Sengupta et al. Edge information based image fusion metrics using fractional order differentiation and sigmoidal functions
CN106408547A (zh) 图像融合方法、装置和终端设备
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US20190304112A1 (en) Methods and systems for providing selective disparity refinement
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
CN106603941A (zh) 计算复杂度自适应的hdr图像转换方法及其系统
WO2023020201A1 (zh) 图像的增强方法和电子设备
CN112580434B (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN108111768A (zh) 控制对焦的方法、装置、电子设备及计算机可读存储介质
CN103839244B (zh) 一种实时的图像融合方法及装置
CN116311482B (zh) 人脸伪造检测方法、系统、设备及存储介质
US20170148177A1 (en) Image processing apparatus, image processing method, and program
CN115908618B (zh) 基于脉冲数据的重构图像生成方法、装置、设备及介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN110689510A (zh) 一种引入字典信息基于稀疏表示的图像融合方法
CN110958449B (zh) 三维视频主观感知质量预测方法
JP2013228995A5 (zh)
Hickman Colour fusion of RGB and NIR imagery for surveillance applications
Xia et al. Infrared and visible image fusion based on modal feature enhancement with global attention and dynamic convolutional reconstruction
US8754891B2 (en) Method for image processing and an apparatus thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant