CN106408547B - 图像融合方法、装置和终端设备 - Google Patents

图像融合方法、装置和终端设备 Download PDF

Info

Publication number
CN106408547B
CN106408547B CN201510451505.4A CN201510451505A CN106408547B CN 106408547 B CN106408547 B CN 106408547B CN 201510451505 A CN201510451505 A CN 201510451505A CN 106408547 B CN106408547 B CN 106408547B
Authority
CN
China
Prior art keywords
pixel
layer
image
value
weighted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510451505.4A
Other languages
English (en)
Other versions
CN106408547A (zh
Inventor
谭乐怡
彭晓峰
朱洪波
王浩
张乐
宋利伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201510451505.4A priority Critical patent/CN106408547B/zh
Publication of CN106408547A publication Critical patent/CN106408547A/zh
Application granted granted Critical
Publication of CN106408547B publication Critical patent/CN106408547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

图像融合方法、装置和终端设备，所述方法包括：将待融合的多个图像分别进行分解得到多个图层；根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；采用计算得到的权重值对所述多个图像同一图层的同位置像素进行融合，得到所述图层对应的融合图层；采用得到的各个图层的融合图层生成对应的高动态范围图像。上述的方案，可以提高融合得到的图像的质量。

Description

图像融合方法、装置和终端设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像融合方法、装置和终端设备。
背景技术
图像融合，是指将多源信道所采集到的同一目标的图像数据经过图像处理等，以最大限度地提取各自信道中的有利信息，最终合成高质量的图像。图像融合的目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，增强影像中信息透明度，提高解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。图像融合的诸多方面的优点使得其在医学、遥感、计算机视觉、气象预报及军事目标识别，尤其在计算机视觉等领域得到了广泛地应用。
现有技术中，在使用图像融合方法生成高动态范围(High-Dynamic Range，HDR)图像时，仅仅孤立地考虑各个图像中的像素的亮度值，使得最终生成的图像的质量较差。
发明内容
本发明实施例解决的技术问题是如何提高融合得到的图像的质量。
为解决上述问题，本发明实施例提供了一种图像融合方法，所述方法包括：
将待融合的多个图像分别进行分解得到多个图层；
根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；
采用计算得到的权重值对所述多个图像同一图层的同位置像素进行融合，得到所述图层对应的融合图层；
采用得到的各个图层的融合图层生成对应的高动态范围图像。
可选地，所述根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值，包括：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
可选地，所述常数c的取值范围为54～75。
可选地，所述曲线控制参数σu等于0.2。
可选地，所述将待融合的多个图像分别进行分解得到多个图层，包括：采用哈尔小波将待融合的多个图像分别分解为两个图层。
本发明实施例还提供了一种图像融合装置，所述装置包括：
分解单元，适于将待融合的多个图像分别进行分解得到多个图层；
计算单元，适于根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；
融合单元，适于采用计算得到的权重值对所述多个图像同一图层的同位置像素进行融合，得到所述图层对应的融合图层；
生成单元，适于采用得到的各个图层的融合图层生成对应的高动态范围图像。
可选地，所述计算单元适于采用如下的公式计算像素在相应图层中的权重值：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
可选地，所述常数c的取值范围为54～75。
可选地，所述曲线控制参数σu为0.2
可选地，所述分解单元适于采用哈尔小波将待融合的多个图像分别分解为两个图层。
本发明实施例还提供了一种终端设备，所述终端设备上述的图像融合装置。
与现有技术相比，本发明的技术方案具有以下的优点：
上述的方案，将图像的像素的亮度值和曝光程度结合，进行计算待融合的各张图像中的像素在相应图层中的权重值，可以最大程度地利用像素所携带的信息，因此，可以提高所生成图像的质量。
附图说明
图1是本发明实施例中的一种图像融合方法的流程图；
图2是本发明实施例中的图像融合装置的结构示意图。
具体实施方式
现有技术中，在使用图像融合方法生成高动态范围(High-Dynamic Range，HDR)图像时，仅仅考虑各个图像中的像素的亮度值，使得最终生成的图像的质量较差。
为解决现有技术中存在的上述问题，本发明实施例采用的技术方案将图像的像素的亮度值和曝光程度结合，进行计算待融合的各张图像中的像素在相应图层中的权重值，可以最大程度地利用像素所携带的信息，可以提高所生成图像的质量。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1示出了本发明实施例中的一种图像融合方法的流程图。如图1所述的图像融合方法，可以包括：
步骤S101：将待融合的多个图像分别进行分解得到多个图层。
在具体实施中，首先将多个待融合的图像按照曝光程度进行排序，并从中选取曝光程度适中的图像作为参考图像。将其他待融合的图像与所述参考图像进行对齐，并根据实际的需要进行裁剪。
在进行对齐和裁剪之后，可以将待融合的多个图像分别进行分解。
在本发明一实施例中，可以采用哈尔小波(Haar Wavelet)将对齐并裁剪之后的图像分别分解成两个图层。这里需要指出的是，也可以采用其他的方法将对齐并裁剪后的图像进行分解，且分解得到图层的数量可以根据实际的需要进行选择，在此不做限制。
步骤S102：根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值。
在具体实施中，在不同曝光程度的图像中，具有相同亮度的像素对于图像的贡献是不同的。例如，在欠曝光的图像中，高亮度的像素往往携带了重要的信息；在正常曝光程度的图像中，中等亮度的像素包含了丰富的细节信息；在过度曝光的图像中，低亮度的像素携带了重要的信息。因此，可以同时将图像的曝光程度和像素本身的亮度结合计算像素的权重值。
在本发明一实施例中，可以采用如下的公式计算像素在相应图层中的权重值：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
在具体实施中，像素亮度中值M_Value与图像的曝光程度成正比，也即曝光时间越长的图像的亮度中值M_Value越大。那么，通过上述的公式(1)可以看出，当亮度中值M_Value越大时，曝光时间越长的图像中相同亮度的像素在同一图层中的权重值W越小，反之，则权重值W越大。这样，便可以根据相同亮度的像素在不同曝光程度的图像中重要性不同，赋予不同的权重值，从而可以将不同曝光程度中携带有重要信息的像素保存下来，因此，可以提高最终生成的HDR图像的质量。
在具体实施中，本申请的发明人经过研究后发现，常数c的取值范围为54～75，且曲线控制参数σu等于0.2时，可以使得最终合成的高动态范围图像的质量得到明显的提升。在本发明一实施例中，常数c为64。
这里需要指出的是，像素亮度中值M_Value为所述像素所属图像的像素亮度值的中值。例如，一个图像中包括3个亮度值分别为210、232、250的像素，那么，所述图像的像素亮度中值M_Value为232。
步骤S103：采用计算得到的权重值对所述多个图像同一图层同位置的像素进行融合，得到所述图层对应的融合图层。
在具体实施中，当计算得到各个图像中的像素在不同图层中的权重值之后，便可以采用计算得到的权重值，对所述多个图像的同一图层同位置的像素进行融合。
例如，当采用哈尔小波将三张图像分别进行图层分解后得到第一图层和第二图层，且采用公式(1)计算得出三张图像中的像素分别在第一图层和第二图层中的权重值之后，将三张图像中的第一图层中相同位置的像素分别采用相应的权重值进行融合，可以得到第一融合图层。同样，将三张图像中的第二图层中的像素采用相应的权重值进行融合，便可以得到第二融合图层。
步骤S104：采用得到的各个图层的融合图层生成对应的高动态范围图像。
在具体实施中，当得到各个图层对应的融合图层之后，将不同图层的融合图层合成，便可以得到最终的HDR图像。
图2示出了本发明实施例中的一种图像融合装置的结构示意图。如图2所示的图像融合装置200，可以包括分解单元201、计算单元202、融合单元203和生成单元204，其中：
分解单元201，适于将待融合的多个图像分别进行分解得到多个图层。
在具体实施中，所述分解单元201适于采用哈尔小波将待融合的多个图像分别分解为两个图层。
计算单元202，适于根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值。
在具体实施中，所述计算单元202适于采用如下的公式计算像素在相应图层中的权重值：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
在具体实施中，所述常数c的取值范围为54～75，所述曲线控制参数σu为0.2。
融合单元203，适于采用计算得到的权重值对所述多个图像同一图层的同位置像素进行融合，得到所述图层对应的融合图层。
生成单元204，适于采用得到的各个图层的融合图层生成对应的高动态范围图像。
本发明实施例还提供了一种终端设备，所述终端设备上述的图像融合装置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (9)

1.一种图像融合方法，其特征在于，包括：
将待融合的多个图像分别进行分解得到多个图层；
根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；
采用计算得到的权重值对所述多个图像同一图层的像素进行融合，得到所述图层对应的融合图层；
采用得到的各个图层的融合图层生成对应的高动态范围图像；
其中，所述根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值，包括：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
2.根据权利要求1所述的图像融合方法，其特征在于，所述常数c的取值范围为54～75。
3.根据权利要求1所述的图像融合方法，其特征在于，所述曲线控制参数σu为0.2。
4.根据权利要求1所述的图像融合方法，其特征在于，所述将待融合的多个图像分别进行分解得到多个图层，包括：采用哈尔小波将待融合的多个图像分别分解为两个图层。
5.一种图像融合装置，其特征在于，包括：
分解单元，适于将待融合的多个图像分别进行分解得到多个图层；
计算单元，适于根据像素的亮度和像素所属图像的曝光程度，分别计算像素在相应图层中的权重值；
融合单元，适于采用计算得到的权重值对所述多个图像同一图层同位置的像素进行融合，得到所述图层对应的融合图层；
生成单元，适于采用得到的各个图层的融合图层生成对应的高动态范围图像；
其中，所述计算单元适于采用如下的公式计算像素在相应图层中的权重值：
其中，W表示像素的权重值，I表示像素的亮度值，c为预设的常数，M_Value表示像素所属图像的像素亮度中值，σu表示曲线控制参数。
6.根据权利要求5所述的图像融合装置，其特征在于，所述常数c的取值范围为54～75。
7.根据权利要求5所述的图像融合装置，其特征在于，所述曲线控制参数σu为0.2。
8.根据权利要求5所述的图像融合装置，其特征在于，所述分解单元适于采用哈尔小波将待融合的多个图像分别分解为两个图层。
9.一种终端设备，其特征在于，包括权利要求5-8任一项所述的图像融合装置。
CN201510451505.4A 2015-07-28 2015-07-28 图像融合方法、装置和终端设备 Active CN106408547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510451505.4A CN106408547B (zh) 2015-07-28 2015-07-28 图像融合方法、装置和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510451505.4A CN106408547B (zh) 2015-07-28 2015-07-28 图像融合方法、装置和终端设备

Publications (2)

Publication Number Publication Date
CN106408547A CN106408547A (zh) 2017-02-15
CN106408547B true CN106408547B (zh) 2019-11-01

Family

ID=58009296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510451505.4A Active CN106408547B (zh) 2015-07-28 2015-07-28 图像融合方法、装置和终端设备

Country Status (1)

Country Link
CN (1) CN106408547B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851138B (zh) * 2017-04-11 2019-07-16 成都聚像光学技术有限公司 一种基于hdr的图像处理方法
WO2020227898A1 (zh) * 2019-05-13 2020-11-19 深圳市大疆创新科技有限公司 图像融合方法、图像采集设备、可移动平台
CN111917950B (zh) * 2020-06-30 2022-07-22 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113923318B (zh) * 2021-12-16 2022-03-04 成都索贝数码科技股份有限公司 一种实现hd和4k hdr视频信号同传输的方法以及sdi设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437171B2 (en) * 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN104616273B (zh) * 2015-01-26 2017-07-07 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法

Also Published As

Publication number Publication date
CN106408547A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN106408518B (zh) 图像融合方法、装置及终端设备
Bohlin et al. Forest variable estimation using photogrammetric matching of digital aerial images in combination with a high-resolution DEM
Wang et al. Review of image fusion based on pulse-coupled neural network
CN106408547B (zh) 图像融合方法、装置和终端设备
Xie et al. Improving spatial-temporal data fusion by choosing optimal input image pairs
Sellers et al. Markerless 3D motion capture for animal locomotion studies
Burdziakowski Increasing the geometrical and interpretation quality of unmanned aerial vehicle photogrammetry products using super-resolution algorithms
Hu et al. Influence of image quality and light consistency on the performance of convolutional neural networks for weed mapping
CN106327454A (zh) 合成图像的方法和装置
CN107977950B (zh) 基于多尺度指导滤波的快速有效视频图像融合方法
Kalacska et al. Comparing UAS LiDAR and Structure-from-Motion Photogrammetry for peatland mapping and virtual reality (VR) visualization
CN116917929A (zh) 用于遥感中的超分辨率图像处理的系统和方法
Jain et al. Modeling urban land cover growth dynamics based on land change modeler (LCM) using remote sensing: a case study of Gurgaon, India
Zhang et al. Hawk‐eye‐inspired perception algorithm of stereo vision for obtaining orchard 3D point cloud navigation map
Xiong et al. Precision detection of dense litchi fruit in UAV images based on improved YOLOv5 model
Kitzler et al. WE3DS: An RGB-D image dataset for semantic segmentation in agriculture
JP2016115190A (ja) 画像生成システム及び画像生成方法
Gao et al. Infrared and visible image fusion with deep neural network in enhanced flight vision system
CN102542547A (zh) 一种基于光谱约束的高光谱图像融合方法
Liu et al. Pedestrian detection with multi-view convolution fusion algorithm
Wang et al. Inversion of the hybrid machine learning model to estimate leaf area index of winter wheat from GaoFen-6 WFV imagery
Wang et al. MDAN: Multilevel dual-branch attention network for infrared and visible image fusion
Obayashi et al. Multi-view surgical camera calibration with none-feature-rich video frames: toward 3D surgery playback
Kong et al. Research on Fruit Spatial Coordinate Positioning by Combining Improved YOLOv8s and Adaptive Multi-Resolution Model
Gan et al. Multivariate regressions coupling colorimetric and textural features derived from UAV-based RGB images can trace spatiotemporal variations of LAI well in a deciduous forest

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant