CN114943652A - 低照度遥感图像的高动态重建方法及装置 - Google Patents
低照度遥感图像的高动态重建方法及装置 Download PDFInfo
- Publication number
- CN114943652A CN114943652A CN202210408527.2A CN202210408527A CN114943652A CN 114943652 A CN114943652 A CN 114943652A CN 202210408527 A CN202210408527 A CN 202210408527A CN 114943652 A CN114943652 A CN 114943652A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- low
- feature
- term
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000007774 longterm Effects 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000012512 characterization method Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种低照度遥感图像的高动态重建方法和装置，低照度遥感图像的高动态重建方法包括：获取低照度遥感图像；将低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx；根据深度特征Fx，确定短期特征ys和长期特征yl，短期特征ys为至少基于空间域的卷积操作确定的像素级动态特征，长期特征yl表征深度特征Fx经过基于Transformer的预训练模型处理后确定的表征特征间依赖关系；根据短期特征ys和长期特征yl，确定亮度增强曲线；根据亮度增强曲线，对低照度遥感图像进行逐像素调整。通过本发明，解决了现有技术中对低照度遥感图像进行高动态重建的精度较低的问题，提高了低照度遥感图像的高动态重建精度。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种低照度遥感图像的高动态重建方法及装置。
背景技术
目前，遥感图像已经被广泛应用于地质勘探、城市规划、灾害监测等领域。在实际的应用中，由于成像时间或意外天气条件的限制，例如晚上或光照不足的阴天，通常只能捕获到低照度的遥感图像。这导致图像的对比度较低，机器难以理解。如何在原始遥感图像照度过低的情况下，有效的增强亮度，完成遥感图像高动态重建任务逐渐受到国内外学者的广泛关注。
现有技术中，在对低照度遥感图像进行调整时存在精确度较低的问题，并且针对不同的图像，调整之后的效果差异也很大，导致调整后的图像显示效果不佳。
针对上述的问题，目前尚未提出有效的解决方案。
在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解。因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在已知的现有技术。
发明内容
本发明实施例提供了一种低照度遥感图像的高动态重建方法及装置，以至少解决现有技术中对低照度遥感图像进行高动态重建的精度较低的问题。
根据本发明实施例的第一个方面，提供了一种低照度遥感图像的高动态重建方法，其包括：获取低照度遥感图像；将低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx；根据深度特征Fx，确定短期特征ys和长期特征yl，短期特征ys为至少基于空间域的卷积操作确定的像素级动态特征，长期特征yl表征深度特征Fx经过基于Transformer的预训练模型处理后确定的表征特征间依赖关系；根据短期特征ys和长期特征yl，确定亮度增强曲线；根据亮度增强曲线，对低照度遥感图像进行逐像素调整。
可选地，根据短期特征ys和长期特征yl，确定亮度增强曲线，包括：将短期特征ys和长期特征yl输入预训练得到的亮度增强模型中，得到亮度增强曲线。
可选地，亮度增强模型用于：根据函数LEi(I(x)；αi)＝LEi-1(x)+αiLEi-1(x)(1-LEi-1(x))计算亮度增强曲线；其中，αi＝τ(tanh(FC([ys,yl])))，αi为像素尺度因子，FC([ys,yl])表示通过使用全连接层转换长距离特征，LEi表示亮度增强的结果，LE0(x)＝x，τ为插值函数，i为迭代次数。
可选地，低照度遥感图像的高动态重建方法还包括：根据损失函数的求解结果，通过反向传播算法对亮度增强模型进行优化。
可选地，根据深度特征Fx，确定短期特征ys和长期特征yl，包括：将深度特征Fx分别输入权重生成网络和多个基网络中，并用线性整流层激活，其中，多个基网络对应地具有多个大小不同的卷积窗口；根据权重生成网络的输出结果和多个基网络的输出结果，确定短期特征ys。
可选地，根据权重生成网络的输出结果和多个基网络的输出结果，确定短期特征ys，包括：将权重生成网络的输出结果和多个基网络的输出结果输入线性融合模型
中，得到短期特征ys；其中，gi(Fx,θi)为由θi参数化的第i个基网络的输出结果，n为基网络的总个数，
为由
参数化的权重生成网络的输出结果。
可选地，根据深度特征Fx，确定短期特征ys和长期特征yl，包括：将深度特征Fx拉平为一系列向量
将向量Ft输入基于Transformer的预训练模型，得到长期特征yl；其中，L为向量长度，Ct为映射后的通道数。
可选地，基于Transformer的预训练模型用于：在每个标记的向量特征中添加一个可学习的位置编码；采用多头自注意模型确定在深度特征空间中的向量间依赖关系；利用具有跳跃连接的前馈神经网络对多头自注意模型的输出结果进行处理，得到长期特征yl。
可选地，获取低照度遥感图像，包括：根据输入的初始遥感图像，模拟生成初始遥感图像对应的低照度遥感图像数据。
根据本发明实施例的第二个方面，还提供了一种低照度遥感图像的高动态重建装置，其包括：获取单元，用于获取低照度遥感图像；映射单元，用于将低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx；第一确定单元，用于根据深度特征Fx，确定短期特征ys和长期特征yl，短期特征ys为至少基于空间域的卷积操作确定的像素级动态特征，长期特征yl表征深度特征Fx经过基于Transformer的预训练模型处理后确定的表征特征间依赖关系；第二确定单元，用于根据短期特征ys和长期特征yl，确定亮度增强曲线；调整单元，用于根据亮度增强曲线，对低照度遥感图像进行逐像素调整。
本发明实施例的低照度遥感图像的高动态重建方法包括：获取低照度遥感图像；将低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx；根据深度特征Fx，确定短期特征ys和长期特征yl，短期特征ys为至少基于空间域的卷积操作确定的像素级动态特征，长期特征yl表征深度特征Fx经过基于Transformer的预训练模型处理后确定的表征特征间依赖关系；根据短期特征ys和长期特征yl，确定亮度增强曲线；根据亮度增强曲线，对低照度遥感图像进行逐像素调整。采用上述实现方式的低照度遥感图像的高动态重建方法在对低曝光遥感图像进行高动态重建的过程中，同时利用了低照度遥感图像长期和短期特征，结合像素级动态特征和特征件依赖关系，确定亮度增强曲线，进而根据亮度增强曲线对低照度遥感图像进行逐像素调整，并且针对不同的低照度遥感图像，会基于其特定的长短期特征进行特定调节，使得对低照度遥感图像进行高动态重建的过程中的依据更加全面、准确，并能自适应地拟合特定图像，有效地提高了低照度遥感图像的高动态重建精度，解决了现有技术中对低照度遥感图像进行高动态重建的精度较低的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的一种低照度遥感图像的高动态重建方法的流程示意图；
图2为本发明实施例提供的低照度遥感图像的高动态重建装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
本发明实施例提供了一种低照度遥感图像的高动态重建方法，图1为本发明实施例的低照度遥感图像的高动态重建方法的流程示意图，如图1所示，该方法包括：
步骤S102，获取低照度遥感图像；
步骤S104，将低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx；
步骤S106，根据深度特征Fx，确定短期特征ys和长期特征yl，短期特征ys为至少基于空间域的卷积操作确定的像素级动态特征，长期特征yl表征深度特征Fx经过基于Transformer的预训练模型处理后确定的表征特征间依赖关系；
步骤S108，根据短期特征ys和长期特征yl，确定亮度增强曲线；
步骤S110，根据亮度增强曲线，对低照度遥感图像进行逐像素调整。
根据本发明的实施例的低照度遥感图像的高动态重建方法包括：获取低照度遥感图像；将低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx；根据深度特征Fx，确定短期特征ys和长期特征yl，短期特征ys为至少基于空间域的卷积操作确定的像素级动态特征，长期特征yl表征深度特征Fx经过基于Transformer的预训练模型处理后确定的表征特征间依赖关系；根据短期特征ys和长期特征yl，确定亮度增强曲线；根据亮度增强曲线，对低照度遥感图像进行逐像素调整。采用上述实现方式的低照度遥感图像的高动态重建方法在对低曝光遥感图像进行高动态重建的过程中，同时利用了低照度遥感图像长期和短期特征，结合像素级动态特征和特征件依赖关系，确定亮度增强曲线，进而根据亮度增强曲线对低照度遥感图像进行逐像素调整，并且针对不同的低照度遥感图像，会基于其特定的长短期特征进行特定调节，使得对低照度遥感图像进行高动态重建的过程中的依据更加全面、准确，并能自适应地拟合特定图像，有效地提高了低照度遥感图像的高动态重建精度，解决了现有技术中对低照度遥感图像进行高动态重建的精度较低的问题。
需要指出的是，本申请中所说的低照度遥感图像并非是指遥感图像的曝光度要低于某一特定值，根据实际的亮度需求，只要遥感图像的亮度没有达到期望，则就可认为其是低照度遥感图像，也可理解为，遥感图像在进行高动态重建之后，只要其至少部分的亮度得到了提高，则遥感图像在重建之前相对于重建之后就属于低照度遥感图像。而所说的图像重建即生成了新的图像，这个新的图像可以是独立于原图像而重新创建的图像，也可以是直接在原图像基础上修改并覆盖而形成的新图像。
对于低照度的遥感图像数据
其高动态图像数据为
其中H表示图像长度，W表示图像高度，C表示图像通道数。
具体地，根据短期特征ys和长期特征yl，确定亮度增强曲线，包括：将短期特征ys和长期特征yl输入预训练得到的亮度增强模型中，得到亮度增强曲线。
将所述低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx，包括：通过卷积层将低照度遥感图像数据映射到深度特征空间；通过自适应全局平均池化层，得到深度特征Fx。这样，可有效地减小在对遥感图像进行处理的过程中的计算量，有利于提高处理速度。例如，在一个具体实施例中，卷积层的卷积窗口大小为7×7，步长为4，输出通道为16。自适应全局平均池化层将特征图缩小为原来的八分之一。
在一个具体实施例中，亮度增强模型用于：根据函数LEi(I(x)；αi)＝LEi-1(x)+αiLEi-1(x)(1-LEi-1(x))计算亮度增强曲线；其中，αi＝τ(tanh(FC([ys,yl])))，αi为像素尺度因子，FC([ys,yl])表示通过使用全连接层转换长距离特征，LEi表示亮度增强的结果，LE0(x)＝x，τ为插值函数，i为迭代次数。采用该函数来计算亮度增强曲线可得到更符合低照度遥感图像的亮度特性的增强曲线，从而提高重建后的遥感图像的显示效果。
具体地，低照度遥感图像的高动态重建方法还包括：根据损失函数的求解结果，通过反向传播算法对亮度增强模型进行优化。这样，有利于提高亮度增强模型的精度，从而保证后续可以创建出更准确的高动态图像。
在一个优选的实施例中，损失函数/误差函数为
亮度增强模型的学习率为le-3，总的训练次数为400次。
具体地，根据深度特征Fx，确定短期特征ys和长期特征yl，包括：将深度特征Fx分别输入权重生成网络和多个基网络中，并用线性整流层激活，其中，多个基网络对应地具有多个大小不同的卷积窗口；根据权重生成网络的输出结果和多个基网络的输出结果，确定短期特征ys。
具体地，根据权重生成网络的输出结果和多个基网络的输出结果，确定短期特征ys，包括：将权重生成网络的输出结果和多个基网络的输出结果输入线性融合模型
中，得到短期特征ys；其中，gi(Fx,θi)为由θi参数化的第i个基网络的输出结果，n为基网络的总个数，
为由
参数化的权重生成网络的输出结果。
在本实施例中，n为3，此处将Fx分别输入三个并行的基网络和一个权重生成网络，三个基网络分别由卷积窗口为3、7和11的卷积块，和两个卷积窗口大小为3的卷积块组成，并用线性整流层(Rectified Linear Unit，ReLU)激活。权重生成网络由两个堆叠的卷积块构成，卷积窗口为3，并用线性整流层激活。然后使用线性融合模块将所有分支的结果与权重生成网络输出的权值进行集成。
根据深度特征Fx，确定短期特征ys和长期特征yl，包括：将深度特征Fx拉平为一系列向量
将向量Ft输入基于Transformer的预训练模型，得到长期特征yl；其中，L为向量长度，Ct为映射后的通道数。
具体地，基于Transformer的预训练模型用于：在每个标记的向量特征中添加一个可学习的位置编码；采用多头自注意模型确定在深度特征空间中的向量间依赖关系；利用具有跳跃连接的前馈神经网络对多头自注意模型的输出结果进行处理，得到长期特征yl。
在本实施例中，基于Transformer的预训练模型具体用于：在每个标记的向量特征中添加一个可学习的位置编码，即y0＝Ft+p；采用多头自注意模型确定在深度特征空间中的向量间依赖关系，即
利用具有跳跃连接的前馈神经网络对所述多头自注意模型的输出结果进行处理，得到所述长期特征yl，即
其中，上述的p为一个可学习的位置编码，MSA为多头自注意模型，FFN为前馈神经网络，LN表示层归一化。
在一个具体实施例中，提出了一种全新的双分支网络架构，动态长短期特征提取网络包括两个分支，其中一个分支为像素级动态特征提取分支，其包括三个并行的基网络分支和一个权重生成网络分支，第二个分支为长期特征提取分支，从而使得模型集成度更高，方便管理和使用。
具体地，获取低照度遥感图像，包括：根据输入的初始遥感图像，模拟生成初始遥感图像对应的低照度遥感图像数据。
根据输入的初始遥感图像模拟生成低照度遥感图像，再通过后续的步骤使用长短期特征对模拟生成的低照度遥感图像进行高动态重建，可更直观地对比初始遥感图像和重建后的图像的差异，从而更清晰地掌握遥感图像重建的效果，方便对方法步骤、模型参数等进行调整，进而有利于提高遥感图像高动态重建的质量。
具体地，根据输入的初始遥感图像，生成所述初始遥感图像对应的低照度遥感图像数据可以采用多种技术手段来实现，只要能够实现相机模拟在阴天或夜晚捕获到的低照度遥感图像即可。例如，在一个具体实施例中，可采用公式Zi,j＝f(EiΔtj)来实现低照度图像的模拟，其中，f表示相机响应函数，Δtj表示曝光时间。Ei表示在i处原始遥感图像的像素值。Zi,j表示像素i在持续曝光时间指数j时的像素值，即得到的低照度遥感图像数据。为了提高模拟质量，在本实施例中，可以从多条预设响应曲线中选出最具代表性的若干条曲线，对于曝光时间的选取，令
然后对EiΔtj进行归一化，使EiΔtT/2+1的平均像素值为0.5。将曝光时间代入上述低照度图像模拟公式，得到对应的低照度遥感图像数据。优选地，T＝8，τ＝√2，j＝1,2,...,T+1。
其次，如图2所示，本发明的实施例还提供了一种低照度遥感图像的高动态重建装置，其包括：获取单元，用于获取低照度遥感图像；映射单元，用于将低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx；第一确定单元，用于根据深度特征Fx，确定短期特征ys和长期特征yl，短期特征ys为至少基于空间域的卷积操作确定的像素级动态特征，长期特征yl表征深度特征Fx经过基于Transformer的预训练模型处理后确定的表征特征间依赖关系；第二确定单元，用于根据短期特征ys和长期特征yl，确定亮度增强曲线；调整单元，用于根据亮度增强曲线，对低照度遥感图像进行逐像素调整。采用上述实现方式的低照度遥感图像的高动态重建装置在使用时，同时利用了低照度遥感图像长期和短期特征，结合像素级动态特征和特征件依赖关系，确定亮度增强曲线，进而根据亮度增强曲线对低照度遥感图像进行逐像素调整，并且针对不同的低照度遥感图像，会基于其特定的长短期特征进行特定调节，使得对低照度遥感图像进行高动态重建的过程中的依据更加全面、准确，并能自适应地拟合特定图像，有效地提高了低照度遥感图像的高动态重建精度，解决了现有技术中对低照度遥感图像进行高动态重建的精度较低的问题。
需要指出的是，本申请中所说的低照度遥感图像并非是指遥感图像的曝光度要低于某一特定值，根据实际的亮度需求，只要遥感图像的亮度没有达到期望，则就可认为其是低照度遥感图像，也可理解为，遥感图像在进行高动态重建之后，只要其至少部分的亮度得到了提高，则遥感图像在重建之前相对于重建之后就属于低照度遥感图像。而所说的图像重建即生成了新的图像，这个新的图像可以是独立于原图像而重新创建的图像，也可以是直接在原图像基础上修改并覆盖而形成的新图像。
对于低照度的遥感图像数据
其高动态图像数据为
其中H表示图像长度，W表示图像高度，C表示图像通道数。
具体地，第二确定单元用于：将短期特征ys和长期特征yl输入预训练得到的亮度增强模型中，得到亮度增强曲线。
映射单元用于：通过卷积层将低照度遥感图像数据映射到深度特征空间；通过自适应全局平均池化层，得到深度特征Fx。这样，可有效地减小在对遥感图像进行处理的过程中的计算量，有利于提高处理速度。例如，在一个具体实施例中，卷积层的卷积窗口大小为7×7，步长为4，输出通道为16。自适应全局平均池化层将特征图缩小为原来的八分之一。
具体地，亮度增强模型用于：根据函数LEi(I(x)；αi)＝LEi-1(x)+αiLEi-1(x)(1-LEi-1(x))计算亮度增强曲线；其中，αi＝τ(tanh(FC([ys,yl])))，αi为像素尺度因子，FC([ys,yl])表示通过使用全连接层转换长距离特征，LEi表示亮度增强的结果，LE0(x)＝x，τ为插值函数，i为迭代次数。采用该函数来计算亮度增强曲线可得到更符合低照度遥感图像的亮度特性的增强曲线，从而提高重建后的遥感图像的显示效果。
具体地，低照度遥感图像的高动态重建装置还包括优化单元，优化单元用于根据损失函数的求解结果，通过反向传播算法对亮度增强模型进行优化。这样，有利于提高亮度增强模型的精度，从而保证后续可以创建出更准确的高动态图像。
在一个优选的实施例中，损失函数/误差函数为
亮度增强模型的学习率为le-3，总的训练次数为400次。
具体地，第一确定单元包括第一输入模块和确定模块：第一输入模块用于将深度特征Fx分别输入权重生成网络和多个基网络中，并用线性整流层激活，其中，多个基网络对应地具有多个大小不同的卷积窗口；确定模块用于根据权重生成网络的输出结果和多个基网络的输出结果，确定短期特征ys。
具体地，确定模块用于：将权重生成网络的输出结果和多个基网络的输出结果输入线性融合模型
中，得到短期特征ys；其中，gi(Fx,θi)为由θi参数化的第i个基网络的输出结果，n为基网络的总个数，
为由
参数化的权重生成网络的输出结果。
在本实施例中，n为3，此处将Fx分别输入三个并行的基网络和一个权重生成网络，三个基网络分别由卷积窗口为3、7和11的卷积块，和两个卷积窗口大小为3的卷积块组成，并用线性整流层(Rectified Linear Unit，ReLU)激活。权重生成网络由两个堆叠的卷积块构成，卷积窗口为3，并用线性整流层激活。然后使用线性融合模块将所有分支的结果与权重生成网络输出的权值进行集成。
具体地，第一确定单元还包括拉平模块和第二输入模块：拉平模块用于将深度特征Fx拉平为一系列向量
第二输入模块用于将向量Ft输入基于Transformer的预训练模型，得到长期特征yl；其中，L为向量长度，Ct为映射后的通道数。
具体地，基于Transformer的预训练模型用于：在每个标记的向量特征中添加一个可学习的位置编码；采用多头自注意模型确定在深度特征空间中的向量间依赖关系；利用具有跳跃连接的前馈神经网络对多头自注意模型的输出结果进行处理，得到长期特征yl。
在本实施例中，基于Transformer的预训练模型具体用于：在每个标记的向量特征中添加一个可学习的位置编码，即y0＝Ft+p；采用多头自注意模型确定在深度特征空间中的向量间依赖关系，即
利用具有跳跃连接的前馈神经网络对所述多头自注意模型的输出结果进行处理，得到所述长期特征yl，即
其中，上述的p为一个可学习的位置编码，MSA为多头自注意模型，FFN为前馈神经网络，LN表示层归一化。
在一个具体实施例中，提出了一种全新的双分支网络架构，动态长短期特征提取网络包括两个分支，其中一个分支为像素级动态特征提取分支，其包括三个并行的基网络分支和一个权重生成网络分支，第二个分支为长期特征提取分支，从而使得模型集成度更高，方便管理和使用。
具体地，获取单元包括模拟模块，模拟模块用于根据输入的初始遥感图像，模拟生成初始遥感图像对应的低照度遥感图像数据。
根据输入的初始遥感图像模拟生成低照度遥感图像，再通过后续的步骤使用长短期特征对模拟生成的低照度遥感图像进行高动态重建，可更直观地对比初始遥感图像和重建后的图像的差异，从而更清晰地掌握遥感图像重建的效果，方便对方法步骤、模型参数等进行调整，进而有利于提高遥感图像高动态重建的质量。
具体地，根据输入的初始遥感图像，生成所述初始遥感图像对应的低照度遥感图像数据可以采用多种技术手段来实现，只要能够实现相机模拟在阴天或夜晚捕获到的低照度遥感图像即可。例如，在一个具体实施例中，可采用公式Zi,j＝f(EiΔtj)来实现低照度图像的模拟，其中，f表示相机响应函数，Δtj表示曝光时间。Ei表示在i处原始遥感图像的像素值。Zi,j表示像素i在持续曝光时间指数j时的像素值，即得到的低照度遥感图像数据。为了提高模拟质量，在本实施例中，可以从多条预设响应曲线中选出最具代表性的若干条曲线，对于曝光时间的选取，令
然后对EiΔtj进行归一化，使EiΔtT/2+1的平均像素值为0.5。将曝光时间代入上述低照度图像模拟公式，得到对应的低照度遥感图像数据。优选地，T＝8，τ＝√2，j＝1,2,...,T+1。
另外，本发明的实施例还提供了一种非易失性存储介质，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的低照度遥感图像的高动态重建方法。
再次，本发明的实施例还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的低照度遥感图像的高动态重建方法。
最后，本发明的实施例还提供了一种低照度遥感图像的高动态重建设备，包括显示器、存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行上述的低照度遥感图像的高动态重建方法。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (10)
1.一种低照度遥感图像的高动态重建方法，其特征在于，包括：
获取低照度遥感图像；
将所述低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx；
根据所述深度特征Fx，确定短期特征ys和长期特征yl，所述短期特征ys为至少基于空间域的卷积操作确定的像素级动态特征，所述长期特征yl表征所述深度特征Fx经过基于Transformer的预训练模型处理后确定的表征特征间依赖关系；
根据所述短期特征ys和所述长期特征yl，确定亮度增强曲线；
根据所述亮度增强曲线，对所述低照度遥感图像进行逐像素调整。
2.根据权利要求1所述的低照度遥感图像的高动态重建方法，其特征在于，根据所述短期特征ys和所述长期特征yl，确定亮度增强曲线，包括：
将所述短期特征ys和所述长期特征yl输入预训练得到的亮度增强模型中，得到所述亮度增强曲线。
3.根据权利要求2所述的低照度遥感图像的高动态重建方法，其特征在于，所述亮度增强模型用于：
根据函数LEi(I(x)；αi)＝LEi-1(x)+αiLEi-1(x)(1-LEi-1(x))计算所述亮度增强曲线；
其中，αi＝τ(tanh(FC([ys，yl])))，αi为像素尺度因子，FC([ys，yl])表示通过使用全连接层转换长距离特征，LEi表示亮度增强的结果，LE0(x)＝x，τ为插值函数，i为迭代次数。
4.根据权利要求3所述的低照度遥感图像的高动态重建方法，其特征在于，所述低照度遥感图像的高动态重建方法还包括：
根据损失函数的求解结果，通过反向传播算法对所述亮度增强模型进行优化。
5.根据权利要求1所述的低照度遥感图像的高动态重建方法，其特征在于，根据所述深度特征Fx，确定短期特征ys和长期特征yl，包括：
将所述深度特征Fx分别输入权重生成网络和多个基网络中，并用线性整流层激活，其中，多个所述基网络对应地具有多个大小不同的卷积窗口；
根据所述权重生成网络的输出结果和多个所述基网络的输出结果，确定所述短期特征ys。
6.根据权利要求5所述的低照度遥感图像的高动态重建方法，其特征在于，根据所述权重生成网络的输出结果和多个所述基网络的输出结果，确定所述短期特征ys，包括：
将所述权重生成网络的输出结果和多个所述基网络的输出结果输入线性融合模型
中，得到所述短期特征ys；
其中，gi(Fx，θi)为由θi参数化的第i个所述基网络的输出结果，n为所述基网络的总个数，
为由
参数化的权重生成网络的输出结果。
7.根据权利要求1所述的低照度遥感图像的高动态重建方法，其特征在于，根据所述深度特征Fx，确定短期特征ys和长期特征yl，包括：
将所述深度特征Fx拉平为一系列向量
将所述向量Ft输入所述基于Transformer的预训练模型，得到所述长期特征yl；
其中，L为向量长度，Ct为映射后的通道数。
8.根据权利要求7所述的低照度遥感图像的高动态重建方法，其特征在于，所述基于Transformer的预训练模型用于：
在每个标记的向量特征中添加一个可学习的位置编码；
采用多头自注意模型确定在深度特征空间中的向量间依赖关系；
利用具有跳跃连接的前馈神经网络对所述多头自注意模型的输出结果进行处理，得到所述长期特征yl。
9.根据权利要求1至8中任一项所述的低照度遥感图像的高动态重建方法，其特征在于，获取低照度遥感图像，包括：
根据输入的初始遥感图像，模拟生成所述初始遥感图像对应的低照度遥感图像数据。
10.一种低照度遥感图像的高动态重建装置，其特征在于，包括：
获取单元，用于获取低照度遥感图像；
映射单元，用于将所述低照度遥感图像数据映射至深度学习特征空间，得到深度特征Fx；
第一确定单元，用于根据所述深度特征Fx，确定短期特征ys和长期特征yl，所述短期特征ys为至少基于空间域的卷积操作确定的像素级动态特征，所述长期特征yl表征所述深度特征Fx经过基于Transformer的预训练模型处理后确定的表征特征间依赖关系；
第二确定单元，用于根据所述短期特征ys和所述长期特征yl，确定亮度增强曲线；
调整单元，用于根据所述亮度增强曲线，对所述低照度遥感图像进行逐像素调整。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210408527.2A CN114943652A (zh) | 2022-04-19 | 2022-04-19 | 低照度遥感图像的高动态重建方法及装置 |
| PCT/CN2022/101094 WO2023201876A1 (zh) | 2022-04-19 | 2022-06-24 | 低照度遥感图像的高动态重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210408527.2A CN114943652A (zh) | 2022-04-19 | 2022-04-19 | 低照度遥感图像的高动态重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114943652A true CN114943652A (zh) | 2022-08-26 |
Family
ID=82907302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210408527.2A Pending CN114943652A (zh) | 2022-04-19 | 2022-04-19 | 低照度遥感图像的高动态重建方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114943652A (zh) |
| WO (1) | WO2023201876A1 (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875352B (zh) * | 2017-01-17 | 2019-08-30 | 北京大学深圳研究生院 | 一种低照度图像增强方法 |
| CN110097515A (zh) * | 2019-04-22 | 2019-08-06 | 苏州千视通视觉科技股份有限公司 | 基于深度学习与时空滤波的低照度图像处理算法及装置 |
| CN111489321B (zh) * | 2020-03-09 | 2020-11-03 | 淮阴工学院 | 基于派生图和Retinex的深度网络图像增强方法和系统 |
| CN111915525B (zh) * | 2020-08-05 | 2024-03-01 | 湖北工业大学 | 基于改进深度可分离生成对抗网络的低照度图像增强方法 |
| US20220067950A1 (en) * | 2020-08-31 | 2022-03-03 | Samsung Electronics Co., Ltd. | Method and apparatus to complement depth image |
-
2022
- 2022-04-19 CN CN202210408527.2A patent/CN114943652A/zh active Pending
- 2022-06-24 WO PCT/CN2022/101094 patent/WO2023201876A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023201876A1 (zh) | 2023-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN104217404A (zh) | 雾霾天视频图像清晰化处理方法及其装置 | |
| CN113592726A (zh) | 高动态范围成像方法、装置、电子设备和存储介质 | |
| CN113487529A (zh) | 一种基于Yolo的气象卫星云图目标检测方法 | |
| CN115063648A (zh) | 一种绝缘子缺陷检测模型构建方法及系统 | |
| CN114549611A (zh) | 一种基于神经网络及少量点测量的水下绝对距离估计方法 | |
| CN116402679A (zh) | 一种轻量级红外超分辨率自适应重建方法 | |
| CN116797504A (zh) | 图像融合方法、电子设备及存储介质 | |
| CN104915933A (zh) | 一种基于apso-bp耦合算法的雾天图像增强方法 | |
| CN117451012B (zh) | 一种无人机航摄测量方法及系统 | |
| CN113516697B (zh) | 图像配准的方法、装置、电子设备及计算机可读存储介质 | |
| KR102430681B1 (ko) | 인공지능 네트워크를 이용한 바람 벡터 예측 방법 및 분석장치 | |
| CN116206196B (zh) | 一种海洋低光环境多目标检测方法及其检测系统 | |
| CN116152442B (zh) | 一种三维点云模型生成方法及装置 | |
| CN114943652A (zh) | 低照度遥感图像的高动态重建方法及装置 | |
| CN116206195A (zh) | 近海养殖物目标检测方法、系统、存储介质及计算机设备 | |
| CN116258756A (zh) | 一种自监督单目深度估计方法及系统 | |
| CN116246142A (zh) | 一种面向多传感器数据融合需求的三维场景感知方法 | |
| CN116309171A (zh) | 一种输电线路监控图像增强方法和装置 | |
| CN115482280A (zh) | 一种基于自适应直方图均衡化的视觉定位方法 | |
| CN115187863A (zh) | 多层次自适应知识蒸馏的轻量化高分遥感场景分类方法 | |
| CN111898525A (zh) | 烟雾识别模型的构建方法、进行烟雾检测的方法及装置 | |
| CN112464989A (zh) | 一种基于目标检测网络的闭环检测方法 | |
| CN112380985A (zh) | 变电站入侵异物实时检测方法 | |
| TWI590192B (zh) | 適應性高動態範圍影像合成演算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |