CN112785504B - 一种昼夜图像融合的方法 - Google Patents

一种昼夜图像融合的方法 Download PDF

Info

Publication number
CN112785504B
CN112785504B CN202110188169.4A CN202110188169A CN112785504B CN 112785504 B CN112785504 B CN 112785504B CN 202110188169 A CN202110188169 A CN 202110188169A CN 112785504 B CN112785504 B CN 112785504B
Authority
CN
China
Prior art keywords
image
night
day
sub
human eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110188169.4A
Other languages
English (en)
Other versions
CN112785504A (zh
Inventor
梁磊
王琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Laike Computer Technology Co ltd
Original Assignee
Shenzhen Laike Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Laike Computer Technology Co ltd filed Critical Shenzhen Laike Computer Technology Co ltd
Priority to CN202110188169.4A priority Critical patent/CN112785504B/zh
Publication of CN112785504A publication Critical patent/CN112785504A/zh
Application granted granted Critical
Publication of CN112785504B publication Critical patent/CN112785504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种昼夜图像融合方法，属于数字图像处理领域。具体步骤如下：使用基于图像局部不变特征的方法对尺寸相同的夜晚图像I1和白天图像I2进行图像拼接，得到拼接后的图像Is；分别提取I1，I2和Is对应的亮度图像Y1，Y2和Ys；将亮度图像Ys的高动态范围图像YHDR按列拆分成子图像组YHDR(n)；根据人眼光感受器视觉模型得到每个子图像的响应值R(n)；将子图像的人眼光感受器响应值R(n)从夜晚到白天按列组合，得到拼接后图像的人眼光感受器响应值R；最后将响应值R恢复颜色，即完成融合。采用本发明方法融合的昼夜图像从左至右具有时间流逝效果，从夜晚到白天的过度非常自然。

Description

一种昼夜图像融合的方法
技术领域
本发明涉及数字图像处理领域，具体是一种昼夜图像融合的方法。
背景技术
对于很多场景，不管是人造的还是天然的，白天和夜晚都有无限的美景，所以一般人都不愿意错过，因此将白天和黑夜的照片融合在一起呈现出来，绝对是另一番风味。
直接将昼夜图像进行融合，在重叠区域会出现明显的拼接缝，从夜晚到白天过度不自然。
目前对于图像拼接缝的平滑处理的方法主要有：平均值法和加权平均法。
平均值法是对拼接图像的重叠区域两幅图像各自所对应的的像素灰度值求平均，将求得的平均值作为重叠区新的像素值，除了重叠区域其它像素的灰度值保持不变。
加权平均法不对重叠区域以外的像素灰度值进行处理，对重叠区域两幅图像各自对应的像素值先进行加权，然后再进行平均，把最后得到的平均值作为重叠区最终的像素值。
然而，无论是平均值法还是加权平均法，都无法渲染出昼夜场景的自然过度，这是因为昼夜之间的变化是一种随时间的变化，由于缺少昼夜之间时刻的图像信息，所以导致融合后的图像从夜晚到白天过度不自然。
发明内容
本发明的目的在于提供一种昼夜自然过度的图像融合的方法，以解决上述背景技术中存在的问题。
为实现上述目的，本发明提供如下技术方案：
一种昼夜图像融合方法，具体步骤如下：
(1)拍摄尺寸相同的夜晚图像I1和白天图像I2，图像宽度为W；
(2)使用基于图像局部不变特征的方法对两幅图像进行图像拼接，得到拼接后的图像Is；
(3)分别提取RGB图像I1，I2和Is对应的亮度图像Y1，Y2和Ys；
(4)通过相机逆响应曲线方程(ICRF)得到图像Ys的高动态范围(HDR)图像YHDR：
Figure BDA0002948180090000021
(5)将YHDR图像按列拆分成Ws个子图像，得到子图像组YHDR(n)：
Figure BDA0002948180090000022
其中Ws是图像Is的宽度；
(6)使用公式4和5计算出人眼对于夜晚的自适应亮度La(night)和人眼对于白天的自适应亮度La(day)：
Figure BDA0002948180090000023
Figure BDA0002948180090000024
其中x和y为图像像素的索引，N是图像像素点的个数，δ是一个极小值防止图像中存在零像素点；
(7)将步骤(6)得到的夜晚人眼自适应亮度La(night)和白天人眼自适应亮度La(day)代入公式9中，得到子图像组的人眼自适应亮度La(n)：
Figure BDA0002948180090000025
(8)将步骤(5)中得到的子图像组的HDR亮度值YHDR(n)和步骤(7)中得到的子图像组的人眼自适应亮度La(n)代入人眼光感受器对自然光照的响应模型方程中，得到人眼光感受器对于每个子图像的响应值R(n)：
Figure BDA0002948180090000026
其中m是一个常数；
(9)将子图像的人眼光感受器响应值R(n)从夜晚到白天按列组合，得到整幅图像的人眼光感受器响应值R：
Figure BDA0002948180090000027
(10)采用公式12将人眼光感受器响应值R恢复颜色，即完成：
Figure BDA0002948180090000031
其中Cin表示颜色通道的输入，Cout表示颜色通道的输出。
作为本发明进一步的方案：所述(公式4)和(公式5)中δ的值为10-6。
作为本发明进一步的方案：所述(公式10)中m的值为0.6。
与现有技术相比，本发明方法的有益效果是：
采用本发明方法融合的昼夜图像从夜晚到白天的过度自然，因为基于人眼光感受器的视觉模型，所以融合后的图像从左到右具有时间流逝的效果。
附图说明
图1为本发明具体实施方式中的夜晚图像。
图2为本发明具体实施方式中的白天图像。
图3为本发明具体实施方式中的拼接后的图像。
图4为本发明具体实施方式中的高动态范围图像。
图5为本发明具体实施方式中采用本发明方法进行融合的结果图像。
图6为本发明方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本专利的技术方案作进一步详细地说明。
本发明具有时间流逝效果的昼夜图像融合方法，具体步骤如下：
(1)拍摄尺寸相同的夜晚图像I1和白天图像I2，图像宽度为W；
(2)使用基于图像局部不变特征的方法对两幅图像进行图像拼接，得到拼接后的图像Is；
(3)分别提取RGB图像I1，I2和Is对应的亮度图像Y1，Y2和Ys；
(4)通过相机逆响应曲线方程(ICRF)得到图像Ys的高动态范围(HDR)图像YHDR：
Figure BDA0002948180090000032
(5)将YHDR图像按列拆分成Ws个子图像，得到子图像组YHDR(n)：
Figure BDA0002948180090000041
其中Ws是图像Is的宽度；
(6)使用公式4和5计算出人眼对于夜晚的自适应亮度La(night)和人眼对于白天的自适应亮度La(day)：
Figure BDA0002948180090000042
Figure BDA0002948180090000043
其中x和y为图像像素的索引，N是图像像素点的个数，δ＝10-6防止图像中存在零像素点；
(7)将步骤(6)得到的夜晚人眼自适应亮度La(night)和白天人眼自适应亮度La(day)代入公式9中，得到子图像组的人眼自适应亮度La(n)：
Figure BDA0002948180090000044
(8)将步骤(5)中得到的子图像组的HDR亮度值YHDR(n)和步骤(7)中得到的子图像组的人眼自适应亮度La(n)代入人眼光感受器对自然光照的响应模型方程中，得到人眼光感受器对于每个子图像的响应值R(n)：
Figure BDA0002948180090000045
其中m是一个常数，取值0.6；
(9)将子图像的人眼光感受器响应值R(n)从夜晚到白天按列组合，得到整幅图像的人眼光感受器响应值R：
Figure BDA0002948180090000046
(10)采用公式12将人眼光感受器响应值R恢复颜色，即完成：
Figure BDA0002948180090000047
其中Cin表示颜色通道的输入，Cout表示颜色通道的输出。
在实施例中，采用本发明方法融合如图1所示的夜晚图像和如图2所示的白天图像，其过程如下：
(1)分别拍摄一张夜晚图像I1和一张白天图像I2，如图1和2所示。其中两幅图像的尺寸是一样的，宽度都是W。
(2)使用SIFT图像特征提取方法对两幅图像进行图像配准，得到两幅图像之间的单应矩阵，根据单应矩阵对白天的图像进行图像变换，再与夜晚图像进行加权融合，得到拼接后的图像Is，如图3所示。
(3)图像I1，I2和Is都是RGB彩色图像，利用公式1将RGB图像变换到CIE XYZ颜色空间：
Figure BDA0002948180090000051
其中Y值表示RGB图像的亮度图像，分别得到I1，I2和Is对应的亮度图像Y1，Y2和Ys。
(4)通过相机逆响应曲线方程(ICRF)来恢复场景中现实世界的亮度值，得到图像Ys的高动态范围(HDR)图像YHDR：
Figure BDA0002948180090000052
HDR图像中存储了真实世界亮度值，因为HDR图像无法在低动态范围(LDR)显示媒介上显示，因此我们使用伪彩色的图像表示方法，如图4所示。
(5)如图3所示，图像过度不自然，为了使图像从左到右从夜晚逐渐过度到白天，渲染出一种时间流逝的效果，将YHDR图像按列拆分成Ws个子图像，得到子图像组YHDR(n)，每一个子图像表示不同时间：
Figure BDA0002948180090000053
其中Ws是图像Is的宽度。
(6)依据人眼对于自然光照的对数响应特性，分别使用图像的对数平均数计算出人眼对于夜晚的自适应亮度La(night)和人眼对于白天的自适应亮度La(day)：
Figure BDA0002948180090000061
Figure BDA0002948180090000062
其中x和y为图像像素的索引，N是图像像素点的个数，δ＝10-6防止图像中存在零像素点。
(7)建立线性模型计算子图像组的自适应亮度La(n)：
La(n)＝α·n+βn＝1，2，...，Ws (公式6)
将夜晚图像的自适应亮度映射到
Figure BDA0002948180090000063
子图像中，将白天图像的自适应亮度映射到
Figure BDA0002948180090000064
子图像中，得到下列方程组：
Figure BDA0002948180090000065
其中W为待融合的图像的宽度。
求解该方程组：
Figure BDA0002948180090000066
代入公式6，得到：
Figure BDA0002948180090000067
将公式4和公式5代入公式9，即可得到子图像组的自适应亮度La(n)。
(8)将步骤(5)中得到的子图像组的HDR亮度值YHDR(n)和步骤(7)中得到的子图像组的人眼自适应亮度La(n)代入人眼光感受器对自然光照的响应模型方程中，得到人眼光感受器对于每个子图像的响应值R(n)：
Figure BDA0002948180090000068
其中m是一个常数，取值0.6。
(9)将子图像的人眼光感受器响应值R(n)从夜晚到白天按列组合，得到整幅图像的人眼光感受器响应值R：
Figure BDA0002948180090000071
(10)采用公式12将人眼光感受器响应值R恢复颜色，如图5所示，即完成：
Figure BDA0002948180090000072
其中Cin表示颜色通道的输入，Cout表示颜色通道的输出。
基于人眼视觉模型，本发明给出了一种可以将拼接后的图像融合成具有时间流逝效果的方法。图5是采用本发明方法进行融合后的结果图像，如图所示，结果图像完成了从夜晚到白天的自然过度。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，或者对其中部分技术特征进行等同替换，这些改进和替换也应视为本发明的保护范围。

Claims (3)

1.一种昼夜图像融合方法，其特征在于，具体步骤如下：
(1)拍摄尺寸相同的夜晚图像I1和白天图像I2，图像宽度为W；
(2)使用基于图像局部不变特征的方法对两幅图像进行图像拼接，得到拼接后的图像Is；
(3)分别提取RGB图像I1，I2和Is对应的亮度图像Y1，Y2和Ys；
(4)通过相机逆响应曲线方程ICRF得到图像Ys的高动态范围HDR图像YHDR：
Figure FDA0003839504350000011
(5)将YHDR图像按列拆分成Ws个子图像，得到子图像组YHDR(n)：
Figure FDA0003839504350000012
其中Ws是图像Is的宽度；
(6)使用公式4和5计算出人眼对于夜晚的自适应亮度La(night)和人眼对于白天的自适应亮度La(day)：
Figure FDA0003839504350000013
Figure FDA0003839504350000014
其中x和y为图像像素的索引，N是图像像素点的个数，δ是一个极小值，用于防止图像中存在零像素点；
(7)将步骤(6)得到的夜晚人眼自适应亮度La(night)和白天人眼自适应亮度La(day)代入公式9中，得到子图像组的人眼自适应亮度La(n)：
Figure FDA0003839504350000015
(8)将步骤(5)中得到的子图像组YHDR(n)和步骤(7)中得到的子图像组的人眼自适应亮度La(n)代入人眼光感受器对自然光照的响应模型方程中，得到人眼光感受器对于每个子图像的响应值R(n)：
Figure FDA0003839504350000016
其中m是一个常数；
(9)将子图像的人眼光感受器响应值R(n)从夜晚到白天按列组合，得到整幅图像的人眼光感受器响应值R：
Figure FDA0003839504350000021
(10)采用公式12将人眼光感受器响应值R恢复颜色，即完成：
Figure FDA0003839504350000022
其中Cin表示颜色通道的输入，Cout表示颜色通道的输出。
2.根据权利要求1所述的昼夜图像融合方法，其特征在于，所述公式4和公式5中δ的值为10-6。
3.根据权利要求1所述的昼夜图像融合方法，其特征在于，所述公式10中m的值为0.6。
CN202110188169.4A 2021-02-23 2021-02-23 一种昼夜图像融合的方法 Active CN112785504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110188169.4A CN112785504B (zh) 2021-02-23 2021-02-23 一种昼夜图像融合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110188169.4A CN112785504B (zh) 2021-02-23 2021-02-23 一种昼夜图像融合的方法

Publications (2)

Publication Number Publication Date
CN112785504A CN112785504A (zh) 2021-05-11
CN112785504B true CN112785504B (zh) 2022-12-23

Family

ID=75762155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188169.4A Active CN112785504B (zh) 2021-02-23 2021-02-23 一种昼夜图像融合的方法

Country Status (1)

Country Link
CN (1) CN112785504B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665034A (zh) * 2012-03-16 2012-09-12 江苏华枫物联网科技有限公司 一种针对摄像机采集视频的夜间效果去除方法
CN106709888A (zh) * 2017-01-09 2017-05-24 电子科技大学 一种基于人眼视觉模型的高动态范围图像产生方法
WO2018136373A1 (en) * 2017-01-20 2018-07-26 Microsoft Technology Licensing, Llc Image fusion and hdr imaging
CN110874817A (zh) * 2018-08-29 2020-03-10 上海商汤智能科技有限公司 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
KR101633893B1 (ko) * 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
KR101926489B1 (ko) * 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
US9852499B2 (en) * 2013-12-13 2017-12-26 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
CN107635102B (zh) * 2017-10-30 2020-02-14 Oppo广东移动通信有限公司 高动态范围图像曝光补偿值获取方法和装置
CN110599418B (zh) * 2019-09-05 2023-04-28 西安邮电大学 一种变换域融合的全局色调映射方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665034A (zh) * 2012-03-16 2012-09-12 江苏华枫物联网科技有限公司 一种针对摄像机采集视频的夜间效果去除方法
CN106709888A (zh) * 2017-01-09 2017-05-24 电子科技大学 一种基于人眼视觉模型的高动态范围图像产生方法
WO2018136373A1 (en) * 2017-01-20 2018-07-26 Microsoft Technology Licensing, Llc Image fusion and hdr imaging
CN110874817A (zh) * 2018-08-29 2020-03-10 上海商汤智能科技有限公司 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Review on different methods of image fusion of multispectral and panchromatic image;Priya M. Hemane et al.;《IEEE》;20150119;第1-5页 *
图像拼接技术研究综述;熊哲源 等;《科技资讯》;20150115;第15-16页 *
图像融合技术发展综述;史敏红;《计算机时代》;20190915;第27-29页 *
高动态范围全景图像的生成方法研究;陈小楠;《中国优秀硕士学位论文全文数据库信息科技辑》;20190415;第1-69页 *

Also Published As

Publication number Publication date
CN112785504A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
Ren et al. Low-light image enhancement via a deep hybrid network
CN110378859B (zh) 一种新的高动态范围图像生成方法
CN109934776B (zh) 模型生成方法、视频增强方法、装置及计算机可读存储介质
US7024053B2 (en) Method of image processing and electronic camera
CN107977940A (zh) 背景虚化处理方法、装置及设备
CN102722868B (zh) 一种高动态范围图像色调映射方法
CN108055452A (zh) 图像处理方法、装置及设备
CN108712608A (zh) 终端设备拍摄方法和装置
CN108154514A (zh) 图像处理方法、装置及设备
CN108416754A (zh) 一种自动去除鬼影的多曝光图像融合方法
CN111402145B (zh) 一种基于深度学习的自监督低照度图像增强方法
CN108024054A (zh) 图像处理方法、装置及设备
CN107534733A (zh) 摄像装置、该摄像装置的图像处理方法及程序
Zamir et al. Learning digital camera pipeline for extreme low-light imaging
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
Moriwaki et al. Hybrid loss for learning single-image-based HDR reconstruction
CN108024058A (zh) 图像虚化处理方法、装置、移动终端和存储介质
CN113129391A (zh) 基于多曝光图像特征分布权重的多曝光融合方法
CN112712485A (zh) 一种图像融合方法及装置
CN115115516B (zh) 基于Raw域的真实世界视频超分辨率的构建方法
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
WO2021128593A1 (zh) 人脸图像处理的方法、装置及系统
CN110599418A (zh) 一种变换域融合的全局色调映射方法
Liu et al. Progressive complex illumination image appearance transfer based on CNN
Liu et al. Color enhancement using global parameters and local features learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant