CN116485688B - 一种基于合成数据的神经网络去炫光方法 - Google Patents
一种基于合成数据的神经网络去炫光方法 Download PDFInfo
- Publication number
- CN116485688B CN116485688B CN202310744654.4A CN202310744654A CN116485688B CN 116485688 B CN116485688 B CN 116485688B CN 202310744654 A CN202310744654 A CN 202310744654A CN 116485688 B CN116485688 B CN 116485688B
- Authority
- CN
- China
- Prior art keywords
- picture
- scene
- image
- dazzling
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 230000004313 glare Effects 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 abstract description 5
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000010189 synthetic method Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 5
- 230000001629 suppression Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于合成数据的神经网络去炫光方法。定义了一种合成炫光图像的方法——首先通过对炫光图像和场景图像进行逆伽马变换得到炫光图像和场景图像的逆伽马空间的图像，然后通过计算炫光图像和场景图像的亮度矩阵，通过亮度矩阵计算场景图像和炫光图像的权重矩阵来对场景图像和炫光图像进行合成，得到含有炫光的场景图。通过对炫光图片和场景图片的合成，我们构造出成对的数据集训练神经网络，使神经网络能自动去除炫光；本发明从色调映射的角度重新定义的含炫光场景图的合成方法，能够使神经网络在日常场景中对于炫光图像去除能力的泛化性能更强。
Description
技术领域
本发明涉及图像处理技术领域，主要涉及一种基于合成数据的神经网络去炫光方法。
背景技术
当设备面对强光源成像时，由于光线在镜头组间的多次反射与散射，常常会导致图片中出现大量的炫光。这些炫光不仅仅影响图像质量，而且容易对底层视觉任务造成极大的影响。因此人们致力于寻找从图像中去除炫光的有效方法。
炫光去除的方法主要分为传统方法与深度学习方法两类。传统方法Auto removalof bright spot from images captured against flashing light source. In 2019IEEE International Conference on Distributed Computing, VLSI, ElectricalCircuits and Robotics (DISCOVER), pages 1–6. IEEE, 2019. 2对于图像中的炫光的炫光的亮度，形状等做出强烈假设，并根据假设来检测出炫光。对于检测出的炫光，将其去除并同时修复图像。但这一部分传统方法仅能去除少量的炫光。
How to train neural networks for flare removal. In Proceedings of theIEEE/CVF International Conference on Computer Vision, pages 2239–2247, 2021.首次引入深度学习的方法去除炫光。其依据物理原理，用计算机模拟出散射炫光的图像数据，并且在实验室中摄影收集了反射炫光图像数据，并利用这两份数据构成了炫光数据集。将炫光数据和场景图像做伽马逆变换后直接相加，合成出了含有炫光的场景图像。利用含有炫光的场景图像和不含炫光的场景图像训练神经网络，使神经网络能自动将炫光从图像中去除。最后，设置亮度阈值0.99，找出图像中光源，对其模糊处理，并还原回图像中。
上述方法在合成带炫光的场景图像时，选择直接逆伽马变换后直接相加，然后在[0, 1]范围内截断，得到所需带炫光的场景图像。
但是，首先，上述方法未考虑到在ISP图像信号处理（Imgae Signal Processing）过程中，色调映射曲线在图像层和炫光层融合过程中造成的影响，从而导致图像像素值的溢出；其次，在图像中找到光源时，需要设置亮度阈值，但是亮度阈值的超参数难以选定；最后，在夜晚时，光源的亮度常常低于0.99，导致光源难以恢复。
发明内容
发明目的：针对上述背景技术中存在的问题，本发明提供了一种基于合成数据的神经网络去炫光方法：
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于合成数据的神经网络去炫光方法，包括以下步骤：
步骤S1、从场景数据集中随机选取一张图片，为场景图片S，从炫光数据集中随机选取一张图片，为炫光图片F；
步骤S2、对所述场景图片S和所述炫光图片F进行逆伽马变换；
步骤S3、计算所述炫光图片F的亮度矩阵I F ；
步骤S4、根据所述炫光图片F的亮度矩阵I F 为炫光图片F和场景图片S分配权重矩阵，并合成带炫光的场景图片I；
步骤S5、通过步骤S1到S4获取多张带炫光的场景图片I构成带炫光的场景图片数据集，利用步骤S1的场景数据集和获取的所述带炫光的场景图片数据集来训练神经网络模型，得到训练好的神经网络模型；
步骤S6、向训练好的神经网络模型中输入炫光图片，对训练好的神经网络模型输出的图片恢复光源得到最终的去炫光图片I final。
优选的，步骤S3中，将所述炫光图片F的R，G，B颜色通道相加并乘以三分之一得到亮度矩阵I F ：其中，/>分别代表所述炫光图片F的R，G，B颜色通道，其中相加并乘以三分之一是为了将所述亮度矩阵I F 归一化至区间[0, 1]。
优选的，步骤S4的实现过程为：
步骤S4.1、根据所述炫光图片F的亮度矩阵I F 为所述炫光图片F分配权重矩阵：/>；
为所述场景图片S分配权重矩阵：/>；
其中，为sigmoid型函数，且有：/>；
其中，e为指数，a和x为参数；
步骤S4.2、利用所述场景图片S和所述炫光图片F合成带炫光的场景图片I：；
其中，为点乘操作。
优选的，步骤S6的实现过程为：
步骤S6.1、向训练好的神经网络模型中输入炫光图片，输出图片/>；
步骤S6.2、计算炫光图片的亮度矩阵/>：
；
其中，分别代表炫光图片/>的 R，G，B 颜色通道；
步骤S6.3、计算所述炫光图片的权重矩阵W：
；
其中，为亮度矩阵/>的最小元素和最大元素；/>为参数，取值为15；
步骤S6.4、对图片恢复光源得到最终的去炫光图片I final：
。
本发明的有益效果是：
（1）本发明考虑到色调映射曲线在图像层和炫光层融合过程中造成的影响，从而利用亮度矩阵算出权重后，对炫光图像进行合成，不会造成图像像素值溢出。
（2）本发明在恢复光源时，直接不需要设置亮度阈值，这样在黑夜与白天的情形下都能有效复原光源；并且即使存在多光源，同样能将光源进行恢复。
附图说明
图1是本发明提供的基于合成数据的神经网络去炫光方法流程图；
图2是本发明提供的基于合成数据的神经网络去炫光方法中获取带炫光的场景图片并进行训练神经网络模型流程图；
图3是本发明提供的基于合成数据的神经网络去炫光方法中对输出图片进行恢复光源流程图。
实施方式
下面结合附图对本发明作更进一步的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中：（一）考虑到在ISP图像信号处理流程中色调映射曲线在色调映射曲线在图像层和炫光层融合过程中造成的影响，进而通过计算亮度矩阵来自适应产生权重对场景图片产生抑制效果；
（二）在恢复光源时，先计算其亮度矩阵，用最大最小值归一化至[0, 1]，这样图中最亮的区域的权重便被置为1，再用将图中非光源部分的权重抑制，α的值越大，图中非光源部分的权重抑制效果越好，这里我们取值15即能够满足需求。
本发明提供了一种基于合成数据的神经网络去炫光方法，具体原理如图1所示，包括以下步骤：
步骤S1、从场景数据集和炫光数据集中分别随机选取两张图片；
步骤S2、对场景图片和炫光图片进行逆伽马变换；
步骤S3、计算炫光图像的亮度矩阵：
其中S为炫光图片，下标分别代表其RGB通道，I为炫光图像的亮度矩阵。我们相加除以三是将亮度矩阵归一化至[0, 1]。
步骤S4、用亮度矩阵计算炫光图像和场景图像的权重矩阵并合成带炫光的场景图像；
步骤S4.1、利用炫光图像的亮度矩阵，可以计算出炫光图像和场景矩阵各自的权重矩阵和/>。
其中f为sigmoid型函数
步骤S4.2、用上述步骤计算得到的矩阵合成带炫光的场景图像。
步骤S5、利用场景图像和带炫光的场景图像训练神经网络；
步骤S6、测试时，对网络输出的图片恢复光源。
步骤S6.1、计算输入图像的亮度矩阵：
其中，I表示输入的含炫光的场景图像。
步骤S6.2、计算输入图像的权重矩阵：
步骤S6.2、利用输入图像还原输出图像中的光源：
表1是不同的α下，图像质量（PSNR）和图像失真程度（SSIM）对比，这里我们取值15即能够满足需求。
表1：不同的α下，图像质量（PSNR）和图像失真程度（SSIM）对比：
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (2)
1.一种基于合成数据的神经网络去炫光方法，其特征在于，包括以下步骤：
步骤S1、从场景数据集中随机选取一张图片，为场景图片S，从炫光数据集中随机选取一张图片，为炫光图片F；
步骤S2、对所述场景图片S和所述炫光图片F进行逆伽马变换；
步骤S3、计算所述炫光图片F的亮度矩阵I F ；
步骤S4、根据所述炫光图片F的亮度矩阵I F 为炫光图片F和场景图片S分配权重矩阵，并合成带炫光的场景图片I；
步骤S5、通过步骤S1到S4获取多张带炫光的场景图片I构成带炫光的场景图片数据集，利用步骤S1的场景数据集和获取的所述带炫光的场景图片数据集来训练神经网络模型，得到训练好的神经网络模型；
步骤S6、向训练好的神经网络模型中输入炫光图片，对训练好的神经网络模型输出的图片恢复光源得到最终的去炫光图片I final；
步骤S4的实现过程为：
步骤S4.1、根据所述炫光图片F的亮度矩阵I F 为所述炫光图片F分配权重矩阵：；
为所述场景图片S分配权重矩阵：/>；
其中，为sigmoid型函数，且有：/>；
其中，e为指数，a和x为参数；
步骤S4.2、利用所述场景图片S和所述炫光图片F合成带炫光的场景图片I：；
其中，为点乘操作；
步骤S6的实现过程为：
步骤S6.1、向训练好的神经网络模型中输入炫光图片，输出图片/>；
步骤S6.2、计算炫光图片的亮度矩阵/>：
；
其中，分别代表炫光图片/>的 R，G，B 颜色通道；
步骤S6.3、计算所述炫光图片的权重矩阵W：
；
其中，为亮度矩阵/>的最小元素和最大元素；/>为参数，取值为15；
步骤S6.4、对图片恢复光源得到最终的去炫光图片I final：
。
2.根据权利要求1所述的一种基于合成数据的神经网络去炫光方法，其特征在于，步骤S3中，将所述炫光图片F的R，G，B颜色通道相加并乘以三分之一得到亮度矩阵I F ：，其中，/>分别代表所述炫光图片F的R，G，B颜色通道，其中相加并乘以三分之一是为了将所述亮度矩阵I F 归一化至区间[0, 1]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310744654.4A CN116485688B (zh) | 2023-06-25 | 2023-06-25 | 一种基于合成数据的神经网络去炫光方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310744654.4A CN116485688B (zh) | 2023-06-25 | 2023-06-25 | 一种基于合成数据的神经网络去炫光方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116485688A CN116485688A (zh) | 2023-07-25 |
| CN116485688B true CN116485688B (zh) | 2023-09-29 |
Family
ID=87221826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310744654.4A Active CN116485688B (zh) | 2023-06-25 | 2023-06-25 | 一种基于合成数据的神经网络去炫光方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116485688B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110557575A (zh) * | 2019-08-28 | 2019-12-10 | 维沃移动通信有限公司 | 消除炫光的方法和电子设备 |
| CN113051823A (zh) * | 2021-03-25 | 2021-06-29 | 深圳市优博讯科技股份有限公司 | 一种扫描头的补光灯调节方法及系统 |
| CN113888500A (zh) * | 2021-09-29 | 2022-01-04 | 平安银行股份有限公司 | 基于人脸图像的炫光程度检测方法、装置、设备及介质 |
| CN115100058A (zh) * | 2022-06-23 | 2022-09-23 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于神经网络的图像去反射方法、系统及相关设备 |
| CN115424221A (zh) * | 2022-07-21 | 2022-12-02 | 深圳元戎启行科技有限公司 | 点云与图像融合的方法、相关检测方法、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220392032A1 (en) * | 2021-06-02 | 2022-12-08 | f8 Real Estate Media, LLC | Classification-based image merging, tuning, correction, and replacement |
-
2023
- 2023-06-25 CN CN202310744654.4A patent/CN116485688B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110557575A (zh) * | 2019-08-28 | 2019-12-10 | 维沃移动通信有限公司 | 消除炫光的方法和电子设备 |
| CN113051823A (zh) * | 2021-03-25 | 2021-06-29 | 深圳市优博讯科技股份有限公司 | 一种扫描头的补光灯调节方法及系统 |
| CN113888500A (zh) * | 2021-09-29 | 2022-01-04 | 平安银行股份有限公司 | 基于人脸图像的炫光程度检测方法、装置、设备及介质 |
| CN115100058A (zh) * | 2022-06-23 | 2022-09-23 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于神经网络的图像去反射方法、系统及相关设备 |
| CN115424221A (zh) * | 2022-07-21 | 2022-12-02 | 深圳元戎启行科技有限公司 | 点云与图像融合的方法、相关检测方法、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| How to train neural networks for flare removal;Yicheng Wu;《In Proceedings of the IEEE/CVF International Conference on Computer Vision》;第2239–2247页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116485688A (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Peng et al. | Image haze removal using airlight white correction, local light filter, and aerial perspective prior | |
| Chen et al. | Hazy image restoration by bi-histogram modification | |
| CN105809643B (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
| CN110211070B (zh) | 一种基于局部极值的低照度彩色图像增强方法 | |
| CN109829868B (zh) | 一种轻量级深度学习模型图像去雾方法、电子设备及介质 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN109493299B (zh) | 一种消除点光源光照影响的方法 | |
| CN113039576A (zh) | 图像增强系统和方法 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| Zheng et al. | Low-light image and video enhancement: A comprehensive survey and beyond | |
| Xu et al. | Gan based multi-exposure inverse tone mapping | |
| Chen et al. | CERL: A unified optimization framework for light enhancement with realistic noise | |
| CN103595933B (zh) | 一种图像的降噪方法 | |
| CN116485688B (zh) | 一种基于合成数据的神经网络去炫光方法 | |
| CN113344804A (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
| Tao et al. | An effective and robust underwater image enhancement method based on color correction and artificial multi-exposure fusion | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN111161189A (zh) | 一种基于细节弥补网络的单幅图像再增强方法 | |
| CN111968039A (zh) | 基于硅传感器相机的昼夜通用图像处理方法、装置及设备 | |
| CN111028184B (zh) | 一种图像增强方法及系统 | |
| CN114429426B (zh) | 一种基于Retinex模型的低照度图像质量改善方法 | |
| Du et al. | Recursive image dehazing via perceptually optimized generative adversarial network (POGAN) | |
| CN115439346A (zh) | 一种基于机载嵌入式fpga开发平台含雾图像去雾增强方法 | |
| Kasauka et al. | An architecture for real-time retinex-based image enhancement and haze removal and its FPGA implementation | |
| Chang et al. | A hardware-oriented contrast enhancement algorithm for real-time applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |