CN118096626A - 基于事件的暗光图像增强方法及电子设备 - Google Patents
基于事件的暗光图像增强方法及电子设备 Download PDFInfo
- Publication number
- CN118096626A CN118096626A CN202410165178.5A CN202410165178A CN118096626A CN 118096626 A CN118096626 A CN 118096626A CN 202410165178 A CN202410165178 A CN 202410165178A CN 118096626 A CN118096626 A CN 118096626A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- event
- feature map
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 189
- 238000005286 illumination Methods 0.000 claims abstract description 91
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 61
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 61
- 230000002708 enhancing effect Effects 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 34
- 238000010606 normalization Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本公开提供了一种基于事件的暗光图像增强方法及电子设备，获取初始图像数据，确定初始图像数据对应的事件信息；将初始图像数据及事件信息输入至预先经过训练的暗光图像增强模型；分别对初始图像数据及事件信息进行映射处理，得到图像特征图及事件特征图；将图像特征图输入至光照分量增强模块，利用光照分量增强模块对图像特征图进行增强处理，得到光照分量；将图像特征图及事件特征图输入至反射分量增强模块，利用反射分量增强模块基于事件特征图对图像特征图进行增强处理，得到反射分量；将光照分量及反射分量输入至合成模块中，利用合成模块进行合成处理，得到增强图像数据，实现了图像极暗区域的细节的增强，提高了暗光图像增强的增强效果。
Description
技术领域
本公开涉及图像处理领域，尤其涉及一种基于事件的暗光图像增强方法及电子设备。
背景技术
受限于低照度环境与相机传感器的限制，视频常常伴随着明显的噪声和信息不足，导致细节的丧失以及整体视觉质量的下降。通过增强算法的处理，可以明显增强暗光视频的细节，提升暗光视频的视觉质量以及在下游任务中的应用，如自动驾驶、目标检测、语义分割等。
当前视频增强通常从视频本身挖掘信息并进行增强。由于相机传感器的局限性，视频极暗区域会不可避免的丢失细节信息，在增强时这部分信息依然会缺失，造成效果下降。
有鉴于此，如何实现视频极暗区域的细节的增强，成为一个重要的技术问题。
发明内容
有鉴于此，本公开的目的在于提出一种基于事件的暗光图像增强方法及电子设备，用以解决或部分解决上述问题。
基于上述目的，本公开的第一方面提供了一种基于事件的暗光图像增强方法，所述方法包括：
获取初始图像数据，确定所述初始图像数据对应的事件信息；
将所述初始图像数据及所述事件信息输入至预先经过训练的暗光图像增强模型，其中所述暗光图像增强模型包括反射分量增强模块、光照分量增强模块及合成模块；
分别对所述初始图像数据及所述事件信息进行映射处理，得到图像特征图及事件特征图；
将所述图像特征图输入至光照分量增强模块，利用所述光照分量增强模块对所述图像特征图进行增强处理，得到光照分量；
将所述图像特征图及所述事件特征图输入至反射分量增强模块，利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理，得到反射分量；
将所述光照分量及所述反射分量输入至合成模块中，利用所述合成模块进行合成处理，得到增强图像数据。
基于同一发明构思，本公开的第二方面提出了一种基于事件的暗光图像增强装置，包括：
数据获取模块，被配置为获取初始图像数据，确定所述初始图像数据对应的事件信息；
数据输入模块，被配置为将所述初始图像数据及所述事件信息输入至预先经过训练的暗光图像增强模型，其中所述暗光图像增强模型包括反射分量增强模块、光照分量增强模块及合成模块；
映射处理模块，被配置为分别对所述初始图像数据及所述事件信息进行映射处理，得到图像特征图及事件特征图；
光照分量增强模块，被配置为将所述图像特征图输入至光照分量增强模块，利用所述光照分量增强模块对所述图像特征图进行增强处理，得到光照分量；
反射分量增强模块，被配置为将所述图像特征图及所述事件特征图输入至反射分量增强模块，利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理，得到反射分量；
合成处理模块，被配置为将所述光照分量及所述反射分量输入至合成模块中，利用所述合成模块进行合成处理，得到增强图像数据。
基于同一发明构思，本公开的第三方面提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的基于事件的暗光图像增强方法。
基于同一发明构思，本公开的第四方面提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的基于事件的暗光图像增强方法。
从上述可以看出，本公开提出一种基于事件的暗光图像增强方法及电子设备，获取初始图像数据并确定所述初始图像数据对应的事件信息，所述事件信息包含有所述初始图像数据对应的完整的运动信息。将初始图像信息及事件信息输入至预先经过训练的暗光图像增强模型，以供后续利用所述暗光图像增强模型输出增强图像数据。分别对所述初始图像数据及所述事件信息进行映射处理，得到图像特征图及事件特征图，以供后续将所述图像特征图及所述事件特征图输入至光照分量增强模块及反射分量增强模块进行增强处理。将所述图像特征图输入至光照分量增强模块，利用所述光照分量增强模块对所述图像特征图进行增强处理，得到光照分量。将所述图像特征图及所述事件特征图输入至反射分量增强模块，利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理，得到反射分量。将所述光照分量及所述反射分量输入至合成模块中，利用所述合成模块进行合成处理，得到增强图像数据。利用所述暗光图像增强模型对所述初始图像数据及时间信息进行处理，得到的增强图像数据更准确。同时，因处理时采用了事件信息，使得在增强极暗区域时，能够恢复极暗区域的细节，提高了增强效果。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例的基于事件的暗光图像增强方法的流程图；
图2为本公开实施例的基于事件的暗光图像增强装置的结构框图；
图3为本公开实施例的电子设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本公开涉及的名词解释如下：
Retinex：Retinex是一种常用的建立在科学实验和科学分析基础上的图像增强方法，Retinex为视网膜大脑皮层理论。
U-Net网络：U-Net是比较早的使用全卷积网络进行语义分割的算法之一，论文中使用包含压缩路径和扩展路径的对称U形结构在当时非常具有创新性，且一定程度上影响了后面若干个分割网络的设计，该网络的名字也是取自其U形形状。
SDSD数据集：SDSD数据集(Seeing Dynamic Scenes in the Dark，SDSD)是在论文Seeing Dynamic Scene in the Dark:A High-Quality Video Dataset withMechatronic Alignment中提出的，SDSD数据集中包含暗光视频和与其配对的正常光视频，视频由Canon EOS 6D Mark II相机拍摄获得，包含70个indoor视频对和80个outdoor视频对。
V2E：事件相机仿真器。
DSEC数据集：DSEC是一个用于驾驶场景的立体相机数据集，其中包含来自两个单色事件相机和两个全局快门彩色相机的数据。
AdamW优化器：Adam优化器，结合AdaGrad和RMSProp两种优化算法的优点。对梯度的一阶矩估计(First Moment Estimation，即梯度的均值)和二阶矩估计(Second MomentEstimation，即梯度的未中心化的方差)进行综合考虑，计算出更新步长。
基于上述描述，本实施例提出了一种基于事件的暗光图像增强方法，如图1所示，所述方法包括：
步骤101，获取初始图像数据，确定所述初始图像数据对应的事件信息。
具体实施时，获取初始图像数据，其中所述初始图像数据为需要进行增强的暗光图像数据，所述图像数据的形式包括下列至少之一：视频或图像。
确定所述初始图像数据对应的事件信息，所述事件信息为事件相机拍摄到的内容，拍摄的内容与初始图像数据对应的内容相同。事件相机是一种新型传感器，具有动态范围大，响应快的特点，用事件相机拍摄的事件,即使是在极暗的区域,也可以完整记录运动信息，非常适合用于暗光视频增强。
在一些实施例中，事件信息可以为预先拍摄并存储于数据库中的信息，存储时，将事件信息与对应的图像数据进行关联存储，后续可以根据初始图像信息从所述数据库中查找初始图像信息对应的事件信息。
在一些实施例中，获取到初始图像数据后，将所述初始图像数据发送至所述事件相机，由所述事件相机根据所述初始图像数据得到事件信息。接收所述事件相机发送的事件信息，得到所述初始图像数据对应的事件信息。
步骤102，将所述初始图像数据及所述事件信息输入至预先经过训练的暗光图像增强模型，其中所述暗光图像增强模型包括反射分量增强模块、光照分量增强模块及合成模块。
具体实施时，预先对初始暗光图像增强模型进行训练，得到暗光图像增强模型，其中所述暗光图像增强模型的输入为初始图像数据及事件信息，输出为增强图像数据。
将初始图像数据及事件信息输入至暗光图像增强模型，所述暗光图像增强模型包括反射分量增强模块、光照分量增强模块及合成模块，以供所述暗光图像增强模型对所述初始图像数据及事件信息进行处理，得到增强图像数据。
步骤103，分别对所述初始图像数据及所述事件信息进行映射处理，得到图像特征图及事件特征图。
步骤104，将所述图像特征图输入至光照分量增强模块，利用所述光照分量增强模块对所述图像特征图进行增强处理，得到光照分量。
步骤105，将所述图像特征图及所述事件特征图输入至反射分量增强模块，利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理，得到反射分量。
具体实施时，将初始图像数据映射至编码空间，得到图像特征图，将事件信息映射至编码空间，得到事件特征图。将得到的图像特征图输入至光照分量增强模块，利用所述光照分量增强模块进行增强处理，得到光照分量。将得到的图像特征图及事件特征图输入至反射分量增强模块，利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理，得到反射分量。
步骤106，将所述光照分量及所述反射分量输入至合成模块中，利用所述合成模块进行合成处理，得到增强图像数据。
具体实施时，将增强后得到的光照分量及反射分量输入至合成模块中，将所述光照分量及所述反射分量进行合成，得到增强后的增强图像数据，所述增强图像数据为正常光图像数据。
通过上述方案，通过获取初始图像数据并确定所述初始图像数据对应的事件信息，所述事件信息包含有所述初始图像数据对应的完整的运动信息。将初始图像信息及事件信息输入至预先经过训练的暗光图像增强模型，以供后续利用所述暗光图像增强模型输出增强图像数据。分别对所述初始图像数据及所述事件信息进行映射处理，得到图像特征图及事件特征图，以供后续将所述图像特征图及所述事件特征图输入至光照分量增强模块及反射分量增强模块进行增强处理。将所述图像特征图输入至光照分量增强模块，利用所述光照分量增强模块对所述图像特征图进行增强处理，得到光照分量。将所述图像特征图及所述事件特征图输入至反射分量增强模块，利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理，得到反射分量。将所述光照分量及所述反射分量输入至合成模块中，利用所述合成模块进行合成处理，得到增强图像数据。利用所述暗光图像增强模型对所述初始图像数据及时间信息进行处理，得到的增强图像数据更准确。同时，因处理时采用了事件信息，使得在增强极暗区域时，能够恢复极暗区域的细节，提高了增强效果。
在一些实施例中，步骤103具体包括：
步骤1031，获取预设的残差块，将所述初始图像数据及所述事件信息输入至所述残差块中，经由所述残差块处理得到初始图像特征图及初始事件特征图。
具体实施时，获取预设的残差块，将所述初始图像数据及所述事件信息输入至所述残差块中，通过所述残差块映射到编码空间，得到初始图像特征图及初始事件特征图。所述初始图像特征图及初始事件特征图均为固定尺度大小的特征图。
在一些实施例中，所述残差块由四个卷积块组成，中间通道数分别为32、16、16、3。
步骤1032，将所述初始图像数据及所述初始图像特征图进行叠加处理，得到图像特征图。
步骤1033，将所述事件信息及所述初始事件特征图进行叠加处理，得到事件特征图。
具体实施时，将所述初始图像数据与映射得到的初始图像特征图进行叠加处理，得到图像特征图。将事件信息与映射得到的初始事件特征图进行叠加处理，得到事件特征图。
通过上述方案，在得到初始图像特征图及初始时间特征图后，分别对初始图像数据及事件信息进行叠加处理，使得初始图像特征图中包含有初始图像数据对应的初始图像特征，初始事件特征图中包含有事件信息对应的初始事件特征，以供后续利用暗光图像增强模型进行增强时提高增强效果。
在一些实施例中，所述光照分量增强模块包括编码器，步骤104具体包括：
步骤1041，利用编码器对所述图像特征图进行降维处理，得到目标图像特征图。
步骤1042，对所述目标图像特征图进行分量提取，得到初始光照分量。
步骤1043，对所述初始光照分量进行增强处理，得到光照分量。
具体实施时，所述光照分量增强模块包括编码器，将所述图像特征图输入至光照分量增强模块中的编码器中，利用所述编码器对所述图像特征图进行降维处理，得到目标图像特征图。
在一些实施例中，所述编码器为预先经过训练的VQGAN编码器，以实现将高维特征转化为低维空间表示。
对所述目标图像特征图进行分量提取，得到初始光照分量。对所述初始光照分量进行增强处理，得到光照分量。本实施例中，对于初始光照分量的提取及增强，采用U-Net实现。即利用U-Net从目标图像特征图中提取初始光照分量并进行增强，得到增强后的光照分量。
通过上述方案，通过采用编码器进行降维处理，降低了数据的复杂程度，提高了数据处理的计算速度。
在一些实施例中，所述反射分量增强模块包括图像特征处理模块及事件特征处理模块，步骤105具体包括：
步骤1051，将所述事件特征图输入至事件特征处理模块，经由所述事件特征处理模块处理得到目标事件特征。
步骤1052，将所述图像特征图及所述目标事件特征输入至图像特征处理模块，利用所述目标事件特征对所述图像特征图进行增强处理，得到反射分量。
具体实施时，所述反射分量增强模块包括图像特征处理模块及事件特征处理模块，将事件特征图输入至事件特征处理模块，利用事件特征处理模块对所述事件特征图进行特征提取，得到目标事件特征。将图像特征图及提取得到的目标事件特征输入至图像特征处理模块，利用所述目标事件特征增强所述图像特征图，得到反射分量。
在一些实施例中，所述图像特征处理模块包括特征提取模块、下采样层及图像事件融合模块，步骤1052具体包括：
步骤10521，将所述图像特征图输入至特征提取模块，利用所述特征提取模块对所述图像特征图进行特征提取，得到初始图像特征。
步骤10522，将所述初始图像特征输入至下采样层，利用所述下采样层对所述初始图像特征的通道数量进行放大处理，得到图像特征。
步骤10523，将所述图像特征及所述目标事件特征输入至图像事件融合模块，利用目标事件特征对所述图像特征进行增强处理，得到反射分量。
具体实施时，所述图像特征处理模块包括特征提取模块、下采样层及图像事件融合模块。将图像特征图输入至特征提取模块，利用特征提取模块对图像特征图中的特征进行提取，得到初始图像特征，并将所述初始图像特征输入至下采样层。
下采样层为卷积层，利用下采样层对所述初始图像特征的通道数量进行放大处理。经过所述下采样层后，所述初始图像特征的通道数量变为输入下采样层前的两倍。
将提取得到的图像特征及目标事件特征输入至图像事件融合模块，利用目标事件特征对所述图像特征进行增强处理，得到反射分量。
在一些实施例中，所述特征提取模块包括四层，每层包括第一归一化层、第一卷积层、通道注意力层、第二归一化层及第二卷积层，步骤10521具体包括：
将所述图像特征图输入至第一层，经由第一层处理，得到处理结果，将处理结果输入至下一层，迭代直至输入至第四层，经由所述第四层处理，将得到的处理结果作为初始图像特征；
其中，每层处理过程具体包括：
将所述图像特征图输入至第一归一化层，经由第一归一化层处理得到第一图像特征，将所述第一图像特征发送至第一卷积层；
利用所述第一卷积层对所述第一图像特征进行处理，得到第二图像特征；
将所述第二图像特征输入至通道注意力层，经由所述通道注意力层处理得到第三图像特征；
将所述图像特征图与所述第三图像特征进行叠加处理，得到第四图像特征，将所述第四图像特征发送至第二归一化层；
利用所述第二归一化层对所述第四图像特征进行处理，得到第五图像特征；
将所述第五图像特征输入至第二卷积层，经由所述第二卷积层处理输出第六图像特征；
将所述第六图像特征及所述第四图像特征进行叠加处理，得到处理结果。
具体实施时，特征提取模块中每一层包括第一归一化层、第一卷积层、通道注意力层、第二归一化层及第二卷积层，且按照第一归一化层、第一卷积层、通道注意力层、第二归一化层及第二卷积层的顺序进行连接。
将所述图像特征图输入至第一层，迭代输入至第四层的具体过程为：
将图像特征输入至第一层，经由第一层处理，将所述处理结果输入至第二层进行处理，将第二层处理得到的处理结果输入至第三层进行处理，将第三层处理得到的处理结果输入至第四层进行处理，将第四层处理得到的处理结果作为初始图像特征。
其中，每层处理过程具体包括：
将所述图像特征图输入至第一归一化层，经由第一归一化层处理得到第一图像特征，将所述第一图像特征发送至第一卷积层。利用所述第一卷积层对所述第一图像特征进行处理，得到第二图像特征。将所述第二图像特征输入至通道注意力层，经由所述通道注意力层处理得到第三图像特征。
第一归一化层与通道注意力层添加跳跃连接，即将所述图像特征图与所述第三图像特征进行叠加处理，得到第四图像特征，将所述第四图像特征发送至第二归一化层。
利用所述第二归一化层对所述第四图像特征进行处理，得到第五图像特征，将所述第五图像特征输入至第二卷积层，经由所述第二卷积层处理输出第六图像特征。
第二归一化层与卷积层间添加跳跃连接，即将所述第六图像特征及所述第四图像特征进行叠加处理，得到处理结果。
在一些实施例中，所述图像事件融合模块包括区域选择模块及注意力融合模块，步骤10523具体包括：
步骤105231，将所述图像特征输入至区域选择模块，确定所述图像特征对应的多个图像区域的图像信息。
步骤105232，选取满足第一预设条件的图像信息对应的图像区域作为目标图像区域，将所述目标图像区域发送至注意力融合模块。
具体实施时，将图像特征输入至区域选择模块，获取图像特征对应的多个图像区域的图像信息，其中图像信息包括亮度信息及信噪比信息。将每个图像区域的图像信息与第一预设条件进行比较，选取满足第一预设条件的图像信息对应的图像区域作为目标图像区域，将所述目标图像区域发送至注意力融合模块，所述目标图像区域即为极暗区域。
在一些实施例中，所述第一预设条件为亮度小于预设亮度阈值且信噪比小于预设信噪比阈值。
步骤105233，在所述注意力融合模块中，利用目标事件特征对所述目标图像区域进行增强处理，得到初始反射分量。
步骤105234，将所述初始反射分量与所述初始图像特征进行叠加处理，得到反射分量。
具体实施时，注意力融合模块利用跨模态注意力机制，利用所述目标事件特征对筛选得到的目标图像区域进行增强处理，得到初始反射分量。所述注意力融合模块前后采用跳跃连接，即将所述初始反射分量与所述初始图像特征进行叠加处理，得到反射分量。
所述注意力融合模块利用公式表示为：
其中，F为反射分量，为极暗区域的图像特征经过一个卷积核为1的卷积层得到的目标图像区域，id为图像特征，Ke为目标事件特征经过一个卷积核为1的第一卷积层得到的，Ve为目标事件特征经过一个卷积核为1的第二卷积层得到的，其中，第一卷积层与第二卷积层的参数相同，e为目标事件特征，c为图像特征的通道数。
通过上述方案，通过比较图像区域的图像信息与第一预设条件，将满足第一预设条件的图像信息对应的图像区域作为目标图像区域，即极暗区域。后续只需根据目标事件特征对极暗区域进行增强，避免对无需进行增强的区域进行不必要的增强操作。
在一些实施例中，所述暗光图像增强模型还包括对齐模块，在步骤106前还包括：
步骤10A，将所述光照分量及所述反射分量输入至所述对齐模块中，确定所述光照分量对应的第一通道维度及所述反射分量对应的第二通道维度。
步骤10B，基于所述第一通道维度及所述第二通道维度，对所述光照分量及所述反射分量进行拼接处理，得到目标特征向量。
具体实施时，所述暗光图像增强模型还包括对齐模块，将所述光照分量及所述反射分量输入至对齐模块中进行对齐。所述对齐模块为卷积层，即将所述光照分量及所述反射分量输入至卷积层中进行对齐。
对齐过程具体为：
获取所述光照分量对应的第一通道维度及所述反射分量对应的第二通道维度，基于所述第一通道维度及所述第二通道维度，对所述光照分量及所述反射分量进行拼接处理，得到目标特征向量，所述目标特征向量即为对齐后得到的特征向量。
在一些实施例中，步骤106具体包括：
步骤1061，将所述目标特征向量输入至合成模块，其中所述合成模块包括四层。
步骤1062，将所述目标特征向量作为候选处理数据，根据合成模块的第一层作为目标层数，对所述候选处理数据进行迭代处理，每轮迭代处理的过程，具体为：
获取目标层数对应的特征提取模块的处理结果，将所述目标特征向量与所述处理结果进行叠加处理，作为更新的候选处理数据，按照合成模块的层数将所述目标层数的下一层作为下一轮迭代的目标层数；
直至按照所述合成模块的层数，所述目标层数不存在下一层数，则退出迭代操作；
将经过迭代操作后的候选处理数据作为所述增强图像数据。
具体实施时，合成模块包括四层，每层由特征提取单元及上采样层构成，所述特征提取单元与所述反射增强处理模块中的特征提取模块相同，上采样层由卷积层和PixelShuffle组成。
将所述目标特征向量作为候选处理数据，根据合成模块的第一层作为目标层数，对所述候选处理数据进行迭代处理，每轮迭代处理的过程，具体为：
合成模块与反射增强处理模块的图像特征处理模块间添加跳跃连接，获取目标层数对应的特征提取模块的处理结果，将所述目标特征向量与所述处理结果进行叠加处理，作为更新的候选处理数据，按照合成模块的层数将所述目标层数的下一层作为下一轮迭代的目标层数。
示例性地，目标层数为第一层，获取反射增强处理模块中的特征提取模块的第一层对应的处理结果，将所述目标特征向量与所述第一层对应的处理结果进行叠加处理，作为更新的候选处理数据，将第二层作为下一次迭代的目标层数。
直至按照所述合成模块的层数，所述目标层数不存在下一层数，则退出迭代操作，将经过迭代操作后的候选处理数据作为所述增强图像数据。
通过上述方案，通过在合成模块与反射增强处理模块的图像特征处理模块间添加跳跃连接，能够更好地恢复图像细节。
在一些实施例中，所述暗光图像增强模型的训练过程包括：
步骤10a，获取初始暗光图像增强模型及训练数据集，其中所述训练数据集中包括暗光图像数据、目标图像数据及暗光图像数据对应的历史事件信息。
步骤10b，将所述训练数据集中的数据输入至初始暗光图像增强模型中进行训练，直至所述初始暗光图像增强模型满足预设的训练结束条件，停止训练，得到暗光图像增强模型。
具体实施时，随机初始化初始暗光图像增强模型，所述初始暗光图像增强模型包括反射分量增强模块、光照分量增强模块和合成模块。本实施例中，可以基于深度学习框架Pytorch构建初始暗光图像增强模型。
获取训练数据集，所述训练数据集中包括模拟数据及真实数据，所述模拟数据为SDSD数据集和用V2E模拟的事件信息，包含暗光图像、正常光图像和模拟事件。所述真实数据为DSEC数据集，包含暗光图像和对应的真实事件。
将所述训练数据集中的数据输入至初始暗光图像增强模型中进行训练，即将所述训练数据集中的暗光图像输入到光照分量增强模块，进行光照分量的提取和增强，得到原始图像增强后的光照分量。将所述训练数据集中的暗光图像和事件输入到反射分量增强模块，进行反射分量的提取和增强，得到原始图像增强后的反射分量。将上述得到的光照分量和反射分量融合后输入到合成模块，经过合成模块得到增强后的正常光图像，作为训练结果。直至所述初始暗光图像增强模型满足预设的训练结束条件，停止训练，得到暗光图像增强模型。
在一些实施例中，所述训练结束条件包括下列至少之一：训练数据集中的全部数据均输入初始暗光图像增强模型进行训练、初始暗光图像增强模型的迭代次数达到预设次数或初始暗光图像增强模型对应的损失函数收敛至预设收敛阈值。
示例性地，所述训练结束条件为初始暗光图像增强模型的迭代次数达到预设次数，通过比较训练结果与正常光图像间的差异，调整所述初始暗光图像增强模型的模型参数，当迭代次数达到预设次数时，中止训练，得到暗光图像增强模型。
如使用旋转和水平翻转来增强数据，并使用AdamW优化器训练网络，动量项为(0.9,0.999)。将学习率设置为0.001，并使用余弦衰减策略来降低它。使用RTX3090训练网络200轮，当迭代次数达到预设迭代次数时，说明基于事件的暗光图像增强模型已经有了较好的暗光图像增强能力。
另一示例，所述训练结束条件为初始暗光图像增强模型对应的损失函数收敛至预设收敛阈值，所述暗光图像增强模型的损失函数包括四部分，为时间一致性损失Lt，细节对比度损失Lcon，语意一致性损失Lclip，重建损失Lerror。
所述时间一致性损失Lt如下：
事件流Et-Δt～t+Δt记录了t-Δt和t+Δt之间的动态信息。当Δt→0时，表示运动非常小，反映了运动趋势。为了更好地保持输出帧的时间稳定性，引入时间一致性损失Lt，可以从帧It中估计出时间t时的运动趋势，并将其与输入进行比较。对于合成数据，输入事件与帧对齐，时间一致性损失为：
对于真实数据，时间一致性损失为：
其中，Yt为增强后的图像，It为t时刻的输入图像，表示Frobenius norm，代表一个U-Net结构，用来从图像中提取运动信息。
所述细节对比度损失Lcon如下：
极暗区域的细节信息会丢失，而其他区域的信息则相对完整。为了在增强帧中恢复完整的细节，在极暗区域加大输入帧和输出帧之间的差异，同时减少其他区域的差异。损失函数定义如下：
其中mask定义了极暗区域，由所述区域选择模块获得。
所述语意一致性损失Lclip如下：
使用CLIP模型监督输入图像和增强后图像的语意一致性，同时保证增强后的结果符合人类感知，损失函数定义如下：
其中，Φimage和Φtext分别表示CLIP中的图像编码器和事件编码器，w表示权重。Tn为正常光图像，Tp为暗光图像。
所述重建损失Lerror如下：
重建损失为增强结果与对应的正常真实光图像的欧氏距离的平方和，损失函数定义如下：
其中Xt为对应的正常真实光图像。
在训练过程中，使用Lerror和训练SDSD数据集，使用Lcon、/>以及Lclip训练DSEC数据集。因此整体损失函数如下：
/>
其中α，β，γ，δ为权衡参数，所述权衡系数为预先设定的系数。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种基于事件的暗光图像增强装置。
参考图2，图2为实施例的基于事件的暗光图像增强装置，包括：
数据获取模块201，被配置为获取初始图像数据，确定所述初始图像数据对应的事件信息；
数据输入模块202，被配置为将所述初始图像数据及所述事件信息输入至预先经过训练的暗光图像增强模型，其中所述暗光图像增强模型包括反射分量增强模块、光照分量增强模块及合成模块；
映射处理模块203，被配置为分别对所述初始图像数据及所述事件信息进行映射处理，得到图像特征图及事件特征图；
光照分量增强模块204，被配置为将所述图像特征图输入至光照分量增强模块，利用所述光照分量增强模块对所述图像特征图进行增强处理，得到光照分量；
反射分量增强模块205，被配置为将所述图像特征图及所述事件特征图输入至反射分量增强模块，利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理，得到反射分量；
合成处理模块206，被配置为将所述光照分量及所述反射分量输入至合成模块中，利用所述合成模块进行合成处理，得到增强图像数据。
在一些实施例中，所述映射处理模块203具体被配置为：
获取预设的残差块，将所述初始图像数据及所述事件信息输入至所述残差块中，经由所述残差块处理得到初始图像特征图及初始事件特征图；
将所述初始图像数据及所述初始图像特征图进行叠加处理，得到图像特征图；
将所述事件信息及所述初始事件特征图进行叠加处理，得到事件特征图。
在一些实施例中，所述光照分量增强模块包括编码器，所述光照分量增强模块204具体被配置为：
利用编码器对所述图像特征图进行降维处理，得到目标图像特征图；
对所述目标图像特征图进行分量提取，得到初始光照分量；
对所述初始光照分量进行增强处理，得到光照分量。
在一些实施例中，所述反射分量增强模块包括图像特征处理模块及事件特征处理模块，所述反射分量增强模块205具体包括：
目标事件特征确定单元，被配置为将所述事件特征图输入至事件特征处理模块，经由所述事件特征处理模块处理得到目标事件特征；
反射分量确定单元，被配置为将所述图像特征图及所述目标事件特征输入至图像特征处理模块，利用所述目标事件特征对所述图像特征图进行增强处理，得到反射分量。
在一些实施例中，所述图像特征处理模块包括特征提取模块、下采样层及图像事件融合模块，所述反射分量确定单元具体包括：
特征提取子单元，被配置为将所述图像特征图输入至特征提取模块，利用所述特征提取模块对所述图像特征图进行特征提取，得到初始图像特征；
放大处理子单元，被配置为将所述初始图像特征输入至下采样层，利用所述下采样层对所述初始图像特征的通道数量进行放大处理，得到图像特征；
反射分量确定子单元，被配置为将所述图像特征及所述目标事件特征输入至图像事件融合模块，利用目标事件特征对所述图像特征进行增强处理，得到反射分量。
在一些实施例中，所述特征提取模块包括四层，每层包括第一归一化层、第一卷积层、通道注意力层、第二归一化层及第二卷积层，所述特征提取子单元具体被配置为：
将所述图像特征图输入至第一层，经由第一层处理，得到处理结果，将处理结果输入至下一层，迭代直至输入至第四层，经由所述第四层处理，将得到的处理结果作为初始图像特征；
其中，每层处理过程具体包括：
将所述图像特征图输入至第一归一化层，经由第一归一化层处理得到第一图像特征，将所述第一图像特征发送至第一卷积层；
利用所述第一卷积层对所述第一图像特征进行处理，得到第二图像特征；
将所述第二图像特征输入至通道注意力层，经由所述通道注意力层处理得到第三图像特征；
将所述图像特征图与所述第三图像特征进行叠加处理，得到第四图像特征，将所述第四图像特征发送至第二归一化层；
利用所述第二归一化层对所述第四图像特征进行处理，得到第五图像特征；
将所述第五图像特征输入至第二卷积层，经由所述第二卷积层处理输出第六图像特征；
将所述第六图像特征及所述第四图像特征进行叠加处理，得到处理结果。
在一些实施例中，所述图像事件融合模块包括区域选择模块及注意力融合模块，所述反射分量确定子单元具体被配置为：
将所述图像特征输入至区域选择模块，确定所述图像特征对应的多个图像区域的图像信息；
选取满足第一预设条件的图像信息对应的图像区域作为目标图像区域，将所述目标图像区域发送至注意力融合模块；
在所述注意力融合模块中，利用目标事件特征对所述目标图像区域进行增强处理，得到初始反射分量；
将所述初始反射分量与所述初始图像特征进行叠加处理，得到反射分量。
在一些实施例中，所述装置还包括对齐处理模块，所述对齐处理模块具体被配置为：
将所述光照分量及所述反射分量输入至所述对齐模块中，确定所述光照分量对应的第一通道维度及所述反射分量对应的第二通道维度；
基于所述第一通道维度及所述第二通道维度，对所述光照分量及所述反射分量进行拼接处理，得到目标特征向量。
在一些实施例中，所述合成处理模块206具体被配置为：
将所述目标特征向量输入至合成模块，其中所述合成模块包括四层；
将所述目标特征向量作为候选处理数据，根据合成模块的第一层作为目标层数，对所述候选处理数据进行迭代处理，每轮迭代处理的过程，具体为：
获取目标层数对应的特征提取模块的处理结果，将所述目标特征向量与所述处理结果进行叠加处理，作为更新的候选处理数据，按照合成模块的层数将所述目标层数的下一层作为下一轮迭代的目标层数；
直至按照所述合成模块的层数，所述目标层数不存在下一层数，则退出迭代操作；
将经过迭代操作后的候选处理数据作为所述增强图像数据。
在一些实施例中，所述装置还包括模型训练模块，所述模型训练模块具体被配置为：
获取初始暗光图像增强模型及训练数据集，其中所述训练数据集中包括暗光图像数据、目标图像数据及暗光图像数据对应的历史事件信息；
将所述训练数据集中的数据输入至初始暗光增强模型中进行训练，直至所述初始暗光图像增强模型满足预设的训练结束条件，停止训练，得到暗光图像增强模型。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的基于事件的暗光图像增强方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于事件的暗光图像增强方法。
图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的基于事件的暗光图像增强方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于事件的暗光图像增强方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于事件的暗光图像增强方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
可以理解的是，在使用本公开中各个实施例的技术方案之前，均会通过恰当的方式对所涉及的个人信息的类型、使用范围、使用场景等告知用户，并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确的提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主的选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定的实现方式，响应于接受到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于事件的暗光图像增强方法，其特征在于，包括：
获取初始图像数据，确定所述初始图像数据对应的事件信息；
将所述初始图像数据及所述事件信息输入至预先经过训练的暗光图像增强模型，其中所述暗光图像增强模型包括反射分量增强模块、光照分量增强模块及合成模块；
分别对所述初始图像数据及所述事件信息进行映射处理，得到图像特征图及事件特征图；
将所述图像特征图输入至光照分量增强模块，利用所述光照分量增强模块对所述图像特征图进行增强处理，得到光照分量；
将所述图像特征图及所述事件特征图输入至反射分量增强模块，利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理，得到反射分量；
将所述光照分量及所述反射分量输入至合成模块中，利用所述合成模块进行合成处理，得到增强图像数据。
2.根据权利要求1所述的方法，其特征在于，所述分别对所述初始图像数据及所述事件信息进行映射处理，得到图像特征图及事件特征图，包括：
获取预设的残差块，将所述初始图像数据及所述事件信息输入至所述残差块中，经由所述残差块处理得到初始图像特征图及初始事件特征图；
将所述初始图像数据及所述初始图像特征图进行叠加处理，得到图像特征图；
将所述事件信息及所述初始事件特征图进行叠加处理，得到事件特征图。
3.根据权利要求1所述的方法，其特征在于，所述光照分量增强模块包括编码器，
所述将所述图像特征图输入至光照分量增强模块，利用所述光照分量增强模块对所述图像特征图进行增强处理，得到光照分量，包括：
利用编码器对所述图像特征图进行降维处理，得到目标图像特征图；
对所述目标图像特征图进行分量提取，得到初始光照分量；
对所述初始光照分量进行增强处理，得到光照分量。
4.根据权利要求1所述的方法，其特征在于，所述反射分量增强模块包括图像特征处理模块及事件特征处理模块，
所述将所述图像特征图及所述事件特征图输入至反射分量增强模块，利用所述反射分量增强模块基于所述事件特征图对所述图像特征图进行增强处理，得到反射分量，包括：
将所述事件特征图输入至事件特征处理模块，经由所述事件特征处理模块处理得到目标事件特征；
将所述图像特征图及所述目标事件特征输入至图像特征处理模块，利用所述目标事件特征对所述图像特征图进行增强处理，得到反射分量。
5.根据权利要求4所述的方法，其特征在于，所述图像特征处理模块包括特征提取模块、下采样层及图像事件融合模块，
所述将所述图像特征图及所述目标事件特征输入至图像特征处理模块，利用所述目标事件特征对所述图像特征图进行增强处理，得到反射分量，包括：
将所述图像特征图输入至特征提取模块，利用所述特征提取模块对所述图像特征图进行特征提取，得到初始图像特征；
将所述初始图像特征输入至下采样层，利用所述下采样层对所述初始图像特征的通道数量进行放大处理，得到图像特征；
将所述图像特征及所述目标事件特征输入至图像事件融合模块，利用目标事件特征对所述图像特征进行增强处理，得到反射分量。
6.根据权利要求5所述的方法，其特征在于，所述特征提取模块包括四层，每层包括第一归一化层、第一卷积层、通道注意力层、第二归一化层及第二卷积层，
所述将所述图像特征图输入至特征提取模块，利用所述特征提取模块对所述图像特征图进行特征提取，得到初始图像特征，包括：
将所述图像特征图输入至第一层，经由第一层处理，得到处理结果，将处理结果输入至下一层，迭代直至输入至第四层，经由所述第四层处理，将得到的处理结果作为初始图像特征；
其中，每层处理过程具体包括：
将所述图像特征图输入至第一归一化层，经由第一归一化层处理得到第一图像特征，将所述第一图像特征发送至第一卷积层；
利用所述第一卷积层对所述第一图像特征进行处理，得到第二图像特征；
将所述第二图像特征输入至通道注意力层，经由所述通道注意力层处理得到第三图像特征；
将所述图像特征图与所述第三图像特征进行叠加处理，得到第四图像特征，将所述第四图像特征发送至第二归一化层；
利用所述第二归一化层对所述第四图像特征进行处理，得到第五图像特征；
将所述第五图像特征输入至第二卷积层，经由所述第二卷积层处理输出第六图像特征；
将所述第六图像特征及所述第四图像特征进行叠加处理，得到处理结果。
7.根据权利要求5所述的方法，其特征在于，所述图像事件融合模块包括区域选择模块及注意力融合模块，
所述将所述图像特征及所述目标事件特征输入至图像事件融合模块，利用目标事件特征对所述图像特征进行增强处理，得到反射分量，包括：
将所述图像特征输入至区域选择模块，确定所述图像特征对应的多个图像区域的图像信息；
选取满足第一预设条件的图像信息对应的图像区域作为目标图像区域，将所述目标图像区域发送至注意力融合模块；
在所述注意力融合模块中，利用目标事件特征对所述目标图像区域进行增强处理，得到初始反射分量；
将所述初始反射分量与所述初始图像特征进行叠加处理，得到反射分量。
8.根据权利要求1所述的方法，其特征在于，所述暗光图像增强模型还包括对齐模块，
在将所述光照分量及所述反射分量输入至合成模块中之前，还包括：
将所述光照分量及所述反射分量输入至所述对齐模块中，确定所述光照分量对应的第一通道维度及所述反射分量对应的第二通道维度；
基于所述第一通道维度及所述第二通道维度，对所述光照分量及所述反射分量进行拼接处理，得到目标特征向量；
所述将所述光照分量及所述反射分量输入至合成模块中，利用所述合成模块进行合成处理，得到增强图像数据，包括：
将所述目标特征向量输入至合成模块，其中所述合成模块包括四层；
将所述目标特征向量作为候选处理数据，根据合成模块的第一层作为目标层数，对所述候选处理数据进行迭代处理，每轮迭代处理的过程，具体为：
获取目标层数对应的特征提取模块的处理结果，将所述目标特征向量与所述处理结果进行叠加处理，作为更新的候选处理数据，按照合成模块的层数将所述目标层数的下一层作为下一轮迭代的目标层数；
直至按照所述合成模块的层数，所述目标层数不存在下一层数，则退出迭代操作；
将经过迭代操作后的候选处理数据作为所述增强图像数据。
9.根据权利要求1所述的方法，其特征在于，所述暗光图像增强模型的训练过程包括：
获取初始暗光图像增强模型及训练数据集，其中所述训练数据集中包括暗光图像数据、目标图像数据及暗光图像数据对应的历史事件信息；
将所述训练数据集中的数据输入至初始暗光增强模型中进行训练，直至所述初始暗光图像增强模型满足预设的训练结束条件，停止训练，得到暗光图像增强模型。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至9任意一项所述的基于事件的暗光图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410165178.5A CN118096626A (zh) | 2024-02-05 | 2024-02-05 | 基于事件的暗光图像增强方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410165178.5A CN118096626A (zh) | 2024-02-05 | 2024-02-05 | 基于事件的暗光图像增强方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118096626A true CN118096626A (zh) | 2024-05-28 |
Family
ID=91152160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410165178.5A Pending CN118096626A (zh) | 2024-02-05 | 2024-02-05 | 基于事件的暗光图像增强方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118096626A (zh) |
-
2024
- 2024-02-05 CN CN202410165178.5A patent/CN118096626A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10593021B1 (en) | Motion deblurring using neural network architectures | |
| JP7295906B2 (ja) | ニューラルネットワークを使用したシーンの理解および生成 | |
| CN111667399B (zh) | 风格迁移模型的训练方法、视频风格迁移的方法以及装置 | |
| CN108710885B (zh) | 目标对象的检测方法和装置 | |
| US20230022753A1 (en) | System and method for motion warping using multi-exposure frames | |
| CN113076685A (zh) | 图像重建模型的训练方法、图像重建方法及其装置 | |
| Hu et al. | Capturing small, fast-moving objects: Frame interpolation via recurrent motion enhancement | |
| US20220012898A1 (en) | Neural network systems for decomposing video data into layered representations | |
| CN114339030B (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
| CN116547711A (zh) | 图像分割过程的一致性度量 | |
| CN117576264B (zh) | 图像生成方法、装置、设备及介质 | |
| CN112200041A (zh) | 视频动作识别方法、装置、存储介质与电子设备 | |
| Song et al. | Selective transhdr: Transformer-based selective hdr imaging using ghost region mask | |
| CN116912148B (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| CN117576292A (zh) | 三维场景渲染方法及装置、电子设备、存储介质 | |
| CN117078574A (zh) | 一种图像去雨方法及装置 | |
| CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
| Zhang et al. | Iterative multi‐scale residual network for deblurring | |
| CN118096626A (zh) | 基于事件的暗光图像增强方法及电子设备 | |
| CN116543246A (zh) | 图像去噪模型的训练方法、图像去噪方法、装置及设备 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN117151987A (zh) | 一种图像增强方法、装置及电子设备 | |
| CN114841870A (zh) | 图像处理方法、相关装置和系统 | |
| CN114612510B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN115908962B (zh) | 神经网络的训练方法、脉冲信号重构图像生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |