CN111986106A - 一种基于神经网络的高动态图像重建方法 - Google Patents
一种基于神经网络的高动态图像重建方法 Download PDFInfo
- Publication number
- CN111986106A CN111986106A CN202010749859.8A CN202010749859A CN111986106A CN 111986106 A CN111986106 A CN 111986106A CN 202010749859 A CN202010749859 A CN 202010749859A CN 111986106 A CN111986106 A CN 111986106A
- Authority
- CN
- China
- Prior art keywords
- image
- domain
- dynamic range
- high dynamic
- hdr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims 1
- 230000005284 excitation Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于神经网络的高动态图像重建方法。该方法的具体步骤如下:(1)将多个LDR域的图像按照亮度高低排列,并选取参考图像。(2)利用伽玛变换转换LDR域的图像得到HDR域的图像。(2)将HDR域和LDR域的图像输入到特征提取网络中提取不同尺度的HDR域和LDR域的图像特征。(3)将HDR域和LDR域的图像特征输入到金字塔对齐网络,利用HDR域特征来计算对齐所需的偏移量,用所得偏移对齐HDR域和LDR域的图像特征。(4)对齐后的HDR域和LDR域图像特征经过融合网络,得到重建的HDR图像。利用本方法可以较好地处理输入图像组中的物体运动和视差,重建高主观质量的无伪影的HDR图像。
Description
技术领域
本发明涉及计算摄像学领域,尤其涉及一种基于神经网络的高动态成像技术。
背景技术
人眼对光线高度敏感且可捕获高动态范围的场景,而普通相机捕获的图像往往包含过曝或者欠曝区域,会丢失较多场景中的细节信息。高动态成像技术旨在生成接近人眼感知的场景的图像,现有的高动态成像方法主要包括两大类:基于硬件设计的方法和基于计算重建的方法。
基于硬件设计的方法通过设计专用结构来捕获高光和暗部信息,生成高动态范围的图像。这类方法大多利用分束器或空间多曝光像素来设计。基于硬件的方法可以直接拍摄得到较高质量的高动态图像或视频,但这类设备往往需要严格的校准且价格昂贵,难以普遍使用。
基于计算成像的方法利用一系列不同曝光的图像输入来合成高动态图像。由于场景中的物体运动,相机位置设置和拍摄者的运动等,输入图像组中往往包含和参考图像内容不一致的像素,这可能导致最终合成的高动态图像中出现伪影。现有的方法大多基于运动检测或者先光流对齐再融合的思路解决问题。其中,基于运动检测的方法先全局对齐背景,再根据参考图像检测其他图像中的运动区域,这类方法对像素的利用率低,其重建准确度依赖运动检测算法的准确度;光流对齐图像再融合的方法,由于光流难以准确对齐多曝光图像的所有区域,容易在最终图像中遗留光流对齐不当导致的失真。因此,这些方法在输入图像组中包含大运动或大视差时往往会导致伪影或不自然的细节等。
发明内容
针对以上现有重建方法中存在的缺陷,本发明的目的在于提出一种创新的高动态图像重建方法,通过具有金字塔特征对齐和掩膜融合的神经网络,实现高质量的高动态图像重建。
为达上述目的,本发明采用的技术方案如下:
一种基于神经网络的高动态图像重建方法,其特征在于,包括如下步骤:
步骤1,将i个低动态范围域的图像按照亮度高低排列,记为{Li},并从中选取一张图像作为参考图像;
步骤2,利用伽玛变换将步骤1的低动态范围域图像变换得到高动态范围域图像,记为{Hi};
进一步地,所述步骤4中,金字塔特征对齐网络仅利用高动态范围域的图像特征来计算可变形卷积层所需的偏移Δp,以此减小曝光差异对特征对齐的影响,具体步骤如下:
式中[·,·]表示特征级联,下标为r代表该特征与参考图视角一致;
步骤43,对较大尺度的图像特征,基于前一尺度图像特征计算的偏移以逐步细化的方式进行优化:
其中,↑2表示两倍上采样;
进一步地,所述步骤5中,具体步骤如下:
步骤52,级联特征经过残差密集连接卷积块和卷积层得到初步重建结果Z4;
其中A·B表示A和B两对象的逐元素乘积,sigmoid为S形函数,M为由卷积块得到的掩膜,经过通道拆分split操作得到调整掩膜Mrefine和融合掩膜Mmerge。
本发明提出了一种高动态图像重建方法,通过一个由金字塔特征对齐网络和掩膜融合网络构成的神经网络,实现了鲁棒的高质量HDR(High-Dynamic Range)重建。本发明中的金字塔特征对齐网络利用HDR域的信息计算对齐所需的偏移,减小了光照差异对对齐的影响,能够较好的处理输入图像组中的大运动或视差。此外利用掩膜融合网络优化的HDR重建,能够进一步去除可能的伪影或不自然的融合细节,得到更高质量的重建图像。相比于现有方法,本方法能够鲁棒的处理输入数据中的大运动和视差,得到无伪影的高主观质量的HDR重建结果。
附图说明
图1为本发明方法的流程示意图。
图2为本发明方法的金字塔特征对齐网络结构图。
图3为本方法的残差密集连接卷积块的结构图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述,实施例的多曝光输入图像组可为动态场景中拍摄或三相机系统拍摄,本发明在两种情况下的测试均可得到高质量的重建结果。
参照图1,本实施例的一种基于神经网络的高动态图像重建方法,具体步骤如下:
步骤1,将三张输入图像按照曝光高低排列,记为L1,L2,L3。从输入中选取一张图作为参考图像,最终生成的高动态范围(High-Dynamic Range,HDR)图像的视角/动态和参考图像相同。本实施例中选取输入的3张图像中过曝和欠曝面积最小的图像L2作为参考图像。
步骤2,利用伽玛变换将步骤1获得的原LDR(Low-DynamicRange)域图像组变换到HDR域,其中,ti为LDR图像对应的曝光时间,γ为伽马变换的参数(一般取γ=2.2),变换后的HDR域的图像为H1,H2,H3。
步骤3,HDR域和LDR域的输入图像对(Li,Hi)经过特征提取网络,得到不同尺度的HDR域和LDR域的图像特征和其中s表示不同的尺度。特征提取网络由一系列3×3的卷积块构成,卷积块的数目和金字塔尺度数目相等。
在步骤4中,图2为有两种尺度的金字塔特征对齐网络,金字塔的尺度数目选择可依照具体应用情况改变。金字塔特征对齐网络仅用HDR域的特征对来计算用于对齐不同尺度特征的可变形卷积层(图中DConv)所需的偏移Δps,此设置可以减小曝光差异对对齐准确度的影响。用ConM(·)表示卷积块,[·,·]表示特征级联。对特征金字塔中最小尺度的特征,可由下式得到粗糙对齐的特征
用↑2表示两倍上采样,对较大尺度的特征,基于前一尺度特征计算的偏移以逐步细化的方式进行优化:
在步骤5中,对齐的HDR域和LDR域图像特征和参考图像特征被级联输入到融合网络。级联特征经过3个连续的残差密集连接卷积块和一个卷积层得到初步重建结果Z4,随后Z4和H2经过掩膜融合得到最终重建的HDR图像残差密集连接卷积块中在残差连接前加入了论文Hu J,Shen L,Albanie S,et al.Squeeze-and-ExcitationNetworks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2019:1-1.提出的挤压激励模块(Squeeze-and-Excitationblock,SE),以去除对齐过程中可能产生的误对齐和伪影,见图3。掩膜的生成及融合具体实施如下:
其中A·B表示A,B两对象的逐元素乘积,sigmoid为S形函数,M为由卷积块得到的掩膜,经过通道拆分split操作得到调整掩膜Mrefine和融合掩膜Mmerge。调整掩膜Mrefine可用于抑制重建结果Z4中的残留错误像素,融合掩膜Mmerge进一步优化改善得到最终重建的HDR图像
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改,等同替换等,均应包含在本发明的保护范围之中。
Claims (4)
1.一种基于神经网络的高动态图像重建方法,其特征在于,包括如下步骤:
步骤1,将i个低动态范围域的图像按照亮度高低排列,记为{Li},并从中选取一张图像作为参考图像;
步骤2,利用伽玛变换将步骤1的低动态范围域图像变换得到高动态范围域图像,记为{Hi};
2.根据权利要求1所述的一种基于神经网络的高动态图像重建方法,其特征在于,所述步骤4中,金字塔特征对齐网络仅利用高动态范围域的图像特征来计算可变形卷积层所需的偏移Δp,以此减小曝光差异对特征对齐的影响,具体步骤如下:
式中[·,·]表示特征级联,下标为r代表该特征与参考图视角一致;
步骤43,对较大尺度的图像特征,基于前一尺度图像特征计算的偏移以逐步细化的方式进行优化:
其中,↑2表示两倍上采样;
4.根据权利要求3所述的一种基于神经网络的高动态图像重建方法,其特征在于,所述步骤52中,在残差密集连接卷积块中,残差连接前加入挤压激励模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010749859.8A CN111986106B (zh) | 2020-07-30 | 2020-07-30 | 一种基于神经网络的高动态图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010749859.8A CN111986106B (zh) | 2020-07-30 | 2020-07-30 | 一种基于神经网络的高动态图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111986106A true CN111986106A (zh) | 2020-11-24 |
CN111986106B CN111986106B (zh) | 2023-10-13 |
Family
ID=73445940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010749859.8A Active CN111986106B (zh) | 2020-07-30 | 2020-07-30 | 一种基于神经网络的高动态图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111986106B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113592726A (zh) * | 2021-06-29 | 2021-11-02 | 北京旷视科技有限公司 | 高动态范围成像方法、装置、电子设备和存储介质 |
CN114283081A (zh) * | 2021-12-16 | 2022-04-05 | 北京的卢深视科技有限公司 | 基于金字塔加速的深度恢复方法、电子设备及存储介质 |
WO2022141265A1 (zh) * | 2020-12-30 | 2022-07-07 | 华为技术有限公司 | 图像处理方法和设备 |
CN115103118A (zh) * | 2022-06-20 | 2022-09-23 | 北京航空航天大学 | 高动态范围图像生成方法、装置、设备及可读存储介质 |
CN116823690A (zh) * | 2023-06-13 | 2023-09-29 | 中国电子科技集团公司第五十四研究所 | 基于Swin Transformer的复杂场景HDR图像重建方法 |
CN116823690B (zh) * | 2023-06-13 | 2024-04-26 | 中国电子科技集团公司第五十四研究所 | 基于Swin Transformer的复杂场景HDR图像重建方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017215767A1 (en) * | 2016-06-17 | 2017-12-21 | Huawei Technologies Co., Ltd. | Exposure-related intensity transformation |
WO2019001701A1 (en) * | 2017-06-28 | 2019-01-03 | Huawei Technologies Co., Ltd. | APPARATUS AND METHOD FOR IMAGE PROCESSING |
CN109447907A (zh) * | 2018-09-20 | 2019-03-08 | 宁波大学 | 一种基于全卷积神经网络的单图像增强方法 |
GB201917995D0 (en) * | 2019-03-21 | 2020-01-22 | Adobe Inc | Dynamically estimating lighting parameters for the positions within augmented-reality scenes using a neural network |
CN110781633A (zh) * | 2019-10-30 | 2020-02-11 | 广东博智林机器人有限公司 | 基于深度学习模型的图文设计质量检测方法、装置及系统 |
CN110910336A (zh) * | 2019-10-30 | 2020-03-24 | 宁波大学 | 一种基于全卷积神经网络的立体高动态范围成像方法 |
CN111145097A (zh) * | 2019-12-31 | 2020-05-12 | 华为技术有限公司 | 图像处理方法、装置和图像处理系统 |
CN111223061A (zh) * | 2020-01-07 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像修正方法、修正装置、终端设备及可读存储介质 |
CN111292264A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于深度学习的图像高动态范围重建方法 |
CN111340731A (zh) * | 2020-02-27 | 2020-06-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111382541A (zh) * | 2018-12-29 | 2020-07-07 | 达索系统公司 | 神经网络的集合 |
-
2020
- 2020-07-30 CN CN202010749859.8A patent/CN111986106B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017215767A1 (en) * | 2016-06-17 | 2017-12-21 | Huawei Technologies Co., Ltd. | Exposure-related intensity transformation |
WO2019001701A1 (en) * | 2017-06-28 | 2019-01-03 | Huawei Technologies Co., Ltd. | APPARATUS AND METHOD FOR IMAGE PROCESSING |
CN109447907A (zh) * | 2018-09-20 | 2019-03-08 | 宁波大学 | 一种基于全卷积神经网络的单图像增强方法 |
CN111382541A (zh) * | 2018-12-29 | 2020-07-07 | 达索系统公司 | 神经网络的集合 |
GB201917995D0 (en) * | 2019-03-21 | 2020-01-22 | Adobe Inc | Dynamically estimating lighting parameters for the positions within augmented-reality scenes using a neural network |
CN110781633A (zh) * | 2019-10-30 | 2020-02-11 | 广东博智林机器人有限公司 | 基于深度学习模型的图文设计质量检测方法、装置及系统 |
CN110910336A (zh) * | 2019-10-30 | 2020-03-24 | 宁波大学 | 一种基于全卷积神经网络的立体高动态范围成像方法 |
CN111145097A (zh) * | 2019-12-31 | 2020-05-12 | 华为技术有限公司 | 图像处理方法、装置和图像处理系统 |
CN111223061A (zh) * | 2020-01-07 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像修正方法、修正装置、终端设备及可读存储介质 |
CN111292264A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于深度学习的图像高动态范围重建方法 |
CN111340731A (zh) * | 2020-02-27 | 2020-06-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Non-Patent Citations (4)
Title |
---|
K. RAM PRABHAKAR等: "DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
郭雨辰: "基于卷积神经网络的高效HDR视频合成", 《中国优秀硕士学位论文全文数据库》 * |
马展: "从生物视觉到智能视频处理", 《人工智能》 * |
马展等: "Modeling the Screen Content Image Quality via Multiscale Edge Attention Similarity", 《IEEE TRANSACTIONS ON BROADCASTING 》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022141265A1 (zh) * | 2020-12-30 | 2022-07-07 | 华为技术有限公司 | 图像处理方法和设备 |
CN113592726A (zh) * | 2021-06-29 | 2021-11-02 | 北京旷视科技有限公司 | 高动态范围成像方法、装置、电子设备和存储介质 |
CN114283081A (zh) * | 2021-12-16 | 2022-04-05 | 北京的卢深视科技有限公司 | 基于金字塔加速的深度恢复方法、电子设备及存储介质 |
CN114283081B (zh) * | 2021-12-16 | 2022-11-08 | 合肥的卢深视科技有限公司 | 基于金字塔加速的深度恢复方法、电子设备及存储介质 |
CN115103118A (zh) * | 2022-06-20 | 2022-09-23 | 北京航空航天大学 | 高动态范围图像生成方法、装置、设备及可读存储介质 |
CN115103118B (zh) * | 2022-06-20 | 2023-04-07 | 北京航空航天大学 | 高动态范围图像生成方法、装置、设备及可读存储介质 |
CN116823690A (zh) * | 2023-06-13 | 2023-09-29 | 中国电子科技集团公司第五十四研究所 | 基于Swin Transformer的复杂场景HDR图像重建方法 |
CN116823690B (zh) * | 2023-06-13 | 2024-04-26 | 中国电子科技集团公司第五十四研究所 | 基于Swin Transformer的复杂场景HDR图像重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111986106B (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Learning to see moving objects in the dark | |
CN1316427C (zh) | 产生与装置链的装置的缺陷相关的格式化信息的方法和系统 | |
CN111986106A (zh) | 一种基于神经网络的高动态图像重建方法 | |
CN111986129B (zh) | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 | |
CN108055452A (zh) | 图像处理方法、装置及设备 | |
CN107734271B (zh) | 高动态范围十亿像素视频生成方法 | |
Chang et al. | Low-light image restoration with short-and long-exposure raw pairs | |
CN105376473A (zh) | 一种拍照方法、装置及设备 | |
CN108024054A (zh) | 图像处理方法、装置及设备 | |
JP2020144489A (ja) | 画像処理方法、画像処理装置、プログラム、学習済みモデルの製造方法、および、画像処理システム | |
CN108156369A (zh) | 图像处理方法和装置 | |
CN111724317A (zh) | Raw域视频去噪监督数据集构造方法 | |
CN112651911B (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
JP5468930B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2017011327A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN114862698A (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
CN115115516A (zh) | 基于Raw域的真实世界视频超分辨率算法 | |
JP5843599B2 (ja) | 画像処理装置および撮像装置並びにその方法 | |
Zou et al. | Rawhdr: High dynamic range image reconstruction from a single raw image | |
WO2023246392A1 (zh) | 图像获取方法、装置、设备和非瞬态计算机存储介质 | |
CN116389912B (zh) | 脉冲相机融合普通相机重构高帧率高动态范围视频的方法 | |
CN110557572A (zh) | 一种图像处理方法、装置及卷积神经网络系统 | |
CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及系统 | |
CN115699073A (zh) | 神经网络支持的相机图像或视频处理流水线 | |
TWI590192B (zh) | 適應性高動態範圍影像合成演算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |