CN115375589B - 一种去除图像阴影模型及其构建方法、装置及应用 - Google Patents
一种去除图像阴影模型及其构建方法、装置及应用 Download PDFInfo
- Publication number
- CN115375589B CN115375589B CN202211307124.5A CN202211307124A CN115375589B CN 115375589 B CN115375589 B CN 115375589B CN 202211307124 A CN202211307124 A CN 202211307124A CN 115375589 B CN115375589 B CN 115375589B
- Authority
- CN
- China
- Prior art keywords
- shadow
- result
- layer
- attention
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000008447 perception Effects 0.000 claims abstract description 54
- 238000012216 screening Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 77
- 238000006243 chemical reaction Methods 0.000 claims description 51
- 230000007246 mechanism Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本方案提出了一种去除图像阴影模型的构建方法、装置及应用，包括以下步骤：获取训练样本，对训练样本进行预处理得到预筛阴影图像和阴影掩码；使用第一编码器和第二编码器进行编码得到第一编码结果和第二编码结果；使用跨区域Transformer层对第一编码结果和第二编码结果添加位置信息后送入区域感知交叉注意力层得到阴影特征图；使用RefineNet网络将所述原始图像、预筛阴影图像和阴影特征图作为输入进行编解码，得到与所述原始图像相对应的去阴影结果图。本方案通过对跨区域Transformer层和其中的区域感知交叉注意力层进行改进，可以将足够的上下文信息从非阴影区域转移到阴影区域来恢复阴影像素，从而可以提高模型去阴影的效果。
Description
技术领域
本申请涉及人工智能学习和计算机数据处理技术领域，特别涉及一种去除图像阴影模型及其构建方法、装置及应用。
背景技术
随着显示生活中各类型摄像头的应用越来越多，导致以数字图像为媒介存储的数据以几何倍数增长，这些数据被用以记录现实生活中不同时间发生的各类型事件和作为过去发生时间的佐证材料，其中部分数据可能会出现不良阴影从而导致数据本身质量降低并影响视觉效果，最终导致数据成为无效数据，另外，从摄像头获取的图像部分要进行目标检测、跟踪等实际应用，图像阴影会影响图像的特征信息，从而不利于后续的目标检测、跟踪，为了提高图像质量并有利于后续的图像分析处理，阴影消除是非常重要的技术手段，阴影消除的主要目标是恢复阴影区域的像素强度，但是由于实际复杂的光照条件和物体不规则的阴影形状，导致阴影消除的难度很大。
早期的传统阴影消除的方法侧重于手工涉及阴影图像的相关先验，通过构建优化迭代的算法来获取无阴影图片，这类方法的优势在于具有很好的可解释性，也就是说早期传统阴影消除方法的迭代优化求解的过程是透明而可解释的，不过当阴影场景比较复杂且与设计的手工先验不一致时，这类方法的阴影去除效果往往是差强人意的，且这种方法需要迭代优化求解，所以计算时间往往会比较长。
由于深度卷积神经网络的进步并且可以提取代表性的深度特征，所以基于深度学习的方法表现出由于传统方法的性能和效果，成为去阴影的主流，例如ECCV2020上的《FromShadow Segmentation to Shadow Removal》中提出了一个简化的阴影光照模型：通过设计的回归神经网络预测6个线性系数来完成对于阴影区域内容的提亮，从而完成对于图片中阴影的去除，该方法处理时假定了阴影区域的所有像素点收到阴影的退化影响是均匀的，这样并没有能做到对于每个像素点的自适应处理，所以导致该方法的适用范围有限，且由于该方案使用卷积操作，大多数现有的基于深度的去阴影方法在建模较大的接受域的长期像素依赖性方面都是无效的，而且，现有技术的方法并没有充分利用非阴影区域的信息来恢复阴影区域的每个像素。
发明内容
本申请方案提供一种去除图像阴影模型及其构建方法、装置及应用，可以通过改进的跨区域Transformer层将足够的上下文信息从非阴影区域转移到阴影区域来恢复阴影像素，使得阴影区域的判定更为准确，从而获得图像还原度高、保真度好的去阴影结果图像。
第一方面，本申请提供一种去除图像阴影模型的构建方法，包括：
获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；
构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；
两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；
所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；
将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
第二方面，本申请提供一种去除图像阴影模型，使用第一方面所述的方法进行构建得到。
第三方面，本申请提供一种去除图像阴影方法，包括：
获取一待去除阴影图像，对所述待去除阴影图像进行预处理得到预筛阴影图像和阴影掩码，第一编码器所述待去阴影图像及其上下文特征进行编码得到第一编码结果，第二编码器对所述预筛阴影图像及其上下文特征以及阴影掩码进行编码得到第二编码结果；
使用跨区域Transformer层对第一编码结果和第二编码结果添加位置编码信息后得到第一信息和第二信息，将所述第一信息、第二信息、阴影掩码送入所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，将所述优化数据通过多层感知机制层进行输出后解码得到阴影特征图；
将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
第四方面，本申请提供一种去除图像阴影模型的构建装置，包括：
获取模块：获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；
构建模块：构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；
编码模块：两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；
处理模块：所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；
去阴影模块：将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
第五方面，本方案提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种去除图像阴影模型的构建方法或一种去除图像阴影方法。
第六方面，本方案提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种去除图像阴影模型的构建方法或一种去除图像阴影方法。
相较现有技术，本技术方案具有以下特点和有益效果：
本方案使用了双编码器分别处理非阴影区域和阴影区域的不对称特征，降低了被破坏的特征对最终图像去阴影处理效果的影响，且对图像的每个像素点进行自适应处理，使得本方案在结果上更加精准；本方案对跨区域Transformer层进行改进，通过其中的区域感知交叉注意力层将足够的上下文信息从非阴影区域转移到阴影区域来恢复阴影区域像素，再通过多层感知机制进行输出，之后根据输出结果结合原图像进行去阴影，得到去阴影结果图，且使用跨区域Transformer层可以充分利用来自非阴影区域的信息来恢复阴影区域的每个像素。本方案更好的利用了Transformer的技术框架和阴影区域不同于非阴影区域的特征的特点，得到图像还原度高、保真度好的去阴影图像结果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种去除图像阴影模型的构建方法的流程图；
图2是根据本申请实施例的一种跨区域Transformer层的结构图；
图3是根据本申请实施例的一种区域感知交叉注意力层的计算流程结构图；
图4是根据本申请实施例的使用RefineNet网络进行计算的流程结构图；
图5是根据本申请实施例的一种去除图像阴影模型的构建装置的结构框图；
图6是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
实施例一
本申请方案提供了一种去除图像阴影模型的构建方法，参考图1，所述方法包括：
获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；
构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；
两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；
所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；
将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
在一些实施例中，在“对每一所述训练样本进行预处理”步骤中，对所述训练样本进行二值化处理得到预筛阴影图像，根据分辨所述预筛阴影图像中每一像素点是否属于阴影区域而得到阴影掩码，若像素点为阴影区域则设定该像素点为阴影掩码的组成部分。
具体的，本方案提供的阴影掩码为参数项，以矩阵形式表示。
具体的，由于阴影区域一般为黑色，所以对所述训练样本进行二值化处理以突出阴影图像，得到所述预筛阴影图像，根据所述预筛阴影图像中每一像素点的位置，判断其中的像素点是位于阴影区域还是非阴影区域，得到一个掩码矩阵即为阴影掩码。
在一些具体实施例中，所述第一编码器和所述第二编码器用来提取图像中不同感兴趣区域特征的不对称特征，在本方案中是用于提取非阴影区域特征和阴影区域特征的不对称特征。
所述第一编码器的输入为包含非阴影区域的上下文信息的原始图像，输出为第一编码结果；所述第二编码器的输入为包含阴影掩码的预筛阴影图像，输出为第二编码结果，所述第一编码结果与第二编码结果均为特征图的形式。
在一些实施例中，包含非阴影区域的上下文信息的原始图像为所述第一编码器的三通道输入图像，包含阴影掩码的预筛阴影图像额外包含了阴影掩码，故其为所述第二编码器的四通道输入图像。
具体的，所述第一编码器是针对非阴影区域及对应上文信息、下文信息分别进入第一编码器的三通道中进行处理，所述第一编码器获取的是非阴影区域特征；第二编码器是针对阴影区域及对应上文信息、下文信息、阴影掩码分别进入所述第二编码器的四通道中进行处理，所述第二编码器获取的是阴影区域特征。
在一些实施例中， 本方案提供的跨区域Transformer层对所述第一编码结果和第二编码结果进行特征转换，并以逐点相加池化的方法为所述第一编码结果和第二编码结果添加位置编码信息得到第一信息和第二信息，再结合所述阴影掩码送入所述区域感知交叉注意力层得到优化数据，所述区域感知交叉注意力层后紧跟一个残差归一层对所述优化数据进行残差归一化，再将其送入多层感知机制层，所述多层感知机制层后也紧跟一个残差归一化层再次进行残差归一化后进行特征转换得到阴影特征图。
具体的，常规的Transformer由N个编码器组成，每个编码器由多头注意力（MHA）、多层感知器（MLP）和层归一化（LN）组成，此外，在每个编码器的末端利用残差连接来防止Transformer网络退化，通常，MHA并行执行多个注意模块，并投射连接输出。在每个编码器中，通过将点积相似性应用于一组查询向量（Q矩阵向量）和关键向量（K矩阵向量）得到点积结果，并通过点积结果对所述值向量进行校准来计算注意力图，以实现聚合输出，上述操作可以用公式表述为：
其中，Fa为Transformer的最终输出，softmax为一种处理函数，Fkv和Fq分别表示查询和键/值的特征描述符，Wq、Wk、Wv（∈RC×d）为可学习的线性矩阵，C是嵌入维数，d为K、T、V的维度，值得一提的是，当Fq=Fkv时，该公式为常规的自注意力机制公式。
而本方案则是提供了一种跨区域Transformer层，以将足够的上下文信息从非阴影区域转移到阴影区域来恢复阴影像素。
具体的，所述跨区域Transformer层的结构如图2所示，所述跨区域Transformer层包括一个特征转换层，所述特征转换层后为区域感知交叉注意力层，在之后连接一个多层感知机制层，在所述区域感知交叉注意力层以及所述多层感知机制层后都紧跟一残差归一化层，对第二个残差归一化层的输出结果进行特征转换，得到输出结果。
在一些实施例中，在“所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息”步骤中，对所述第一编码结果和第二编码结果进行特征转换，并以逐点相加池化的方法为所述第一编码结果和第二编码结果添加位置编码信息得到第一信息和第二信息。
示例性的，将所述第一编码结果设置为Fkv（∈RH×W×C），将所述第二编码结果设置为Fq（∈RH×W×C），阴影掩码设置为Ms，其中H、W、C分别代表所述特征图的高度、宽度和通道数，使用特征转换的方式将Fkv和Fq转换为1维的特征向量，然后以逐点相加池化的方式为为其添加位置编码信息，公式表征如下：
其中，
为第二信息，所述第二信息为添加了位置编码信息的第二编码结果，
为第一信息，所述第一信息为添加了位置编码信息的第一编码结果，Pkv为第一编码结果的位置编码信息，Pq为第二编码结果的位置编码信息，所述位置编码信息使用常规技术手段获得，本方案在此不再赘述。
将所述第一信息和所述第二信息以及阴影掩码送入所述区域感知交叉注意力层中得到优化数据，所述残差归一化层使用添加了位置编码信息的第二编码结果对所述优化数据进行残差连接并归一，并通过多层感知机制层进行输出得到第一输出结果，再通过上一个残差归一的输出对所述第一输出结果进行残差连接并归一，得到第二输出结果，为了方便后续的计算，对所述第二输出结果进行特征转换，得到跨区域Transformer层的最终输出结果。
在一些实施例中，所述第一编码结果在所述区域感知交叉注意力层中进行矩阵转换得到关键像素矩阵和值向量矩阵，所述第二编码结果在所述区域感知交叉注意力层中进行矩阵转换得到查询像素矩阵，对所述查询像素矩阵和所述关键像素矩阵做点积运算得到注意力像素矩阵，使用所述阴影掩码与所述注意力像素矩阵进行逐点相加池化得到第一注意结果，所述第一注意结果经过softmax函数后再与所述值向量矩阵进行点积运算得到第二注意结果，所述第二注意结果与所述查询像素矩阵进行逐点相加池化后得到第三注意结果，将所述第三注意结果进行线性投影得到所述优化数据。
具体的，所述矩阵转换为将所述第一编码结果分别乘以Wk、Wv矩阵得到关键像素矩阵和值向量矩阵，将所述第二编码结果乘以Wq矩阵得到查询像素矩阵，Wk、Wv、Wq为可学习的线性矩阵。
进一步的，在“使用所述阴影掩码与所述注意力像素矩阵进行逐点相加池化得到第一注意结果”步骤中，对所述阴影掩码提取有效位置信息并构建一个阴影掩码的映射，使用逐点相加池化的方式根据所述注意力像素矩阵在阴影掩码的映射中表示非阴影像素和阴影像素之间的位置对应关系，所述第一注意结果为所述阴影掩码的有效位置信息内的所有阴影像素。
具体的，所述非阴影像素为所述关键像素矩阵中所表示的像素点，所述阴影像素为所述查询像素矩阵中所表示的像素点，所述非阴影像素和阴影像素之间的位置对应关系的表示公式如下：
其中，i（i ∈ {0, 1, ...,(HW − 1)}）表示所述查询像素矩阵中的阴影像素，j（j∈ {0, 1, ...,(HW − 1)})表示所述关键像素矩阵中的非阴影像素。
示例性的，所述区域感知交叉注意力层的计算流程如图3所示，本方案以head=1为例对所述区域感知交叉注意力层的计算过程进行详细解释，首先第一信息
与注意力机制中的线性可学习矩阵Wk相乘得到关键像素矩阵，
与注意力机制中的线性可学习矩阵Wv相乘得到值向量矩阵，第二信息
与注意力机制中的线性可学习矩阵Wq相乘得到查询像素矩阵，同时对所述阴影掩码提取有效位置信息；将所述关键像素矩阵与所述查询像素矩阵进行点积相乘后得到注意力像素矩阵，对提取了有效位置信息的阴影掩码做映射，并在映射中表示非阴影像素和阴影像素之间的位置对应关系得到第一注意结果，目的是保证本方案的区域感知交叉注意力层只关注阴影像素和非阴影像素，将所述第一注意结果通过softmax函数后与所述值向量矩阵相乘得到第二注意结果，以统一所述第一注意结果的维度信息，方便后续计算。
之后，使用所述关键像素矩阵对所述第二注意结果进行重新校准聚合得到第三注意结果，其公式表征如下：
其中，Fa为所述区域感知交叉注意力层的最终输出，V表示值向量矩阵，Q表示查询像素矩阵，K表示关键像素矩阵，P为位置编码信息，Ms为阴影掩码。
最后，为了防止非阴影区域信息的退化，将所述第三注意结果输入到线性投影层进行转发传播，获取优化数据，通过本方案的区域感知交叉注意力层，所述跨区域Transformer层可以有效避免被阴影破坏的无关特征引起的注意力偏移，并将适当的上下文信息从非阴影区域转移到阴影区域，以重建高质量的去阴影结果。
在一些实施例中，如图4所示，在“将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码”步骤中，先对所述原始图像、阴影特征图、预筛阴影图像进行计算，得到复合特征图，将所述复合特征图和原始图像输入到RefineNet网络得到去阴影结果图。
具体的，“对所述原始图像、阴影特征图、预筛阴影图像进行计算”的公式表征如下：
其中，R01表示复合特征图，R0表示阴影特征图，M为预筛阴影图像，
表示Hadamard乘积运算。
在一些实施例中，本方案的损失函数由重建损失函数和空间损失函数相结合，公式表征如下：
其中，L表示总损失函数，ω 1和ω 2为权重参数，（ω 1，ω 2∈ [1, 10]，本发明方案中ω 1=1，ω 2=10），Lrec表示重建损失函数，Lspa表示空间损失函数。
本申请所述的编码器、RefineNet网络使用的都是已经公开的技术方式，具体手段在此不再赘述。
实施例二
基于相同构思，参考图5，本申请还提出了一种去除图像阴影模型的构建装置，包括：
获取模块：获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；
构建模块：构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；
编码模块：两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；
处理模块：所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；
去阴影模块：将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
实施例三
本实施例还提供了一种电子装置，参考图6，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种去除图像阴影模型的构建方法的实施过程。
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是训练样本、第一编码结果、第二编码结果等，输出的信息可以是预筛阴影图像、阴影特征图、去阴影结果图等。
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
S101、获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；
S102、构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；
S103、两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；
S104、所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；
S105、将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图6中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种去除图像阴影模型的构建方法，其特征在于，包括：
获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；
构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；
两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；
所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，所述第一编码结果在所述区域感知交叉注意力层中进行矩阵转换得到关键像素矩阵和值向量矩阵，所述第二编码结果在所述区域感知交叉注意力层中进行矩阵转换得到查询像素矩阵，对所述查询像素矩阵和所述关键像素矩阵做点积运算得到注意力像素矩阵，使用所述阴影掩码与所述注意力像素矩阵进行逐点相加池化得到第一注意结果，所述第一注意结果经过softmax函数后再与所述值向量矩阵进行点积运算得到第二注意结果，所述第二注意结果与所述查询像素矩阵进行逐点相加池化后得到第三注意结果，将所述第三注意结果进行线性投影得到所述优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；
将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
2.根据权利要求1所述的一种去除图像阴影模型的构建方法，其特征在于，在“对每一所述训练样本进行预处理”步骤中，对所述训练样本进行二值化处理得到预筛阴影图像，根据分辨所述预筛阴影图像中每一像素点是否属于阴影区域而得到阴影掩码，若像素点为阴影区域则设定该像素点为阴影掩码的组成部分。
3.根据权利要求1所述的一种去除图像阴影模型的构建方法，其特征在于，所述跨区域Transformer层对所述第一编码结果和第二编码结果进行特征转换，并以逐点相加池化的方法为所述第一编码结果和第二编码结果添加位置编码信息得到第一信息和第二信息，再结合所述阴影掩码送入所述区域感知交叉注意力层得到优化数据，所述区域感知交叉注意力层后紧跟一个残差归一层对所述优化数据进行残差归一化，再将其送入多层感知机制层，所述多层感知机制层后也紧跟一个残差归一化层再次进行残差归一化后进行特征转换得到阴影特征图。
4.根据权利要求1所述的一种去除图像阴影模型的构建方法，其特征在于，在“使用所述阴影掩码与所述注意力像素矩阵进行逐点相加池化得到第一注意结果”步骤中，对所述阴影掩码提取有效位置信息并构建一个阴影掩码的映射，使用逐点相加池化的方式根据所述注意力像素矩阵在阴影掩码的映射中表示非阴影像素和阴影像素之间的位置对应关系，所述第一注意结果为所述阴影掩码的有效位置信息内的所有阴影像素。
5.根据权利要求1所述的一种去除图像阴影模型的构建方法，其特征在于，在“将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码”步骤中，先对所述原始图像、阴影特征图、预筛阴影图像进行计算，得到复合特征图，将所述复合特征图和原始图像输入到RefineNet网络得到去阴影结果图。
6.一种去除图像阴影模型，其特征在于，使用权利要求1-5 任意一种所述的方法进行构建得到。
7.一种去除图像阴影方法，其特征在于，获取一待去除阴影图像，对所述待去除阴影图像进行预处理得到预筛阴影图像和阴影掩码，第一编码器对所述待去除阴影图像及其上下文特征进行编码得到第一编码结果，第二编码器对所述预筛阴影图像及其上下文特征以及阴影掩码进行编码得到第二编码结果；
使用跨区域Transformer层对第一编码结果和第二编码结果添加位置编码信息后得到第一信息和第二信息，将所述第一信息、第二信息、阴影掩码送入所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，所述第一编码结果在所述区域感知交叉注意力层中进行矩阵转换得到关键像素矩阵和值向量矩阵，所述第二编码结果在所述区域感知交叉注意力层中进行矩阵转换得到查询像素矩阵，对所述查询像素矩阵和所述关键像素矩阵做点积运算得到注意力像素矩阵，使用所述阴影掩码与所述注意力像素矩阵进行逐点相加池化得到第一注意结果，所述第一注意结果经过softmax函数后再与所述值向量矩阵进行点积运算得到第二注意结果，所述第二注意结果与所述查询像素矩阵进行逐点相加池化后得到第三注意结果，将所述第三注意结果进行线性投影得到所述优化数据，将所述优化数据输入多层感知机制层中进行解码得到阴影特征图；
使将所述待去除阴影图像、预筛阴影图像和阴影特征图输入RefineNet网络进行编解码，得到与所述待去除阴影图像相对应的去阴影结果图。
8.一种去阴影图像模型的构建装置，其特征在于，包括：
获取模块：获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；
构建模块：构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；
编码模块：两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；
处理模块：所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，所述第一编码结果在所述区域感知交叉注意力层中进行矩阵转换得到关键像素矩阵和值向量矩阵，所述第二编码结果在所述区域感知交叉注意力层中进行矩阵转换得到查询像素矩阵，对所述查询像素矩阵和所述关键像素矩阵做点积运算得到注意力像素矩阵，使用所述阴影掩码与所述注意力像素矩阵进行逐点相加池化得到第一注意结果，所述第一注意结果经过softmax函数后再与所述值向量矩阵进行点积运算得到第二注意结果，所述第二注意结果与所述查询像素矩阵进行逐点相加池化后得到第三注意结果，将所述第三注意结果进行线性投影得到所述优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；
去阴影模块：将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到5任一所述的一种去除图像阴影模型的构建方法或权利要求7所述的一种去除图像阴影方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1到5任一所述的一种去除图像阴影模型的构建方法或权利要求7所述的一种去除图像阴影方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211307124.5A CN115375589B (zh) | 2022-10-25 | 2022-10-25 | 一种去除图像阴影模型及其构建方法、装置及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211307124.5A CN115375589B (zh) | 2022-10-25 | 2022-10-25 | 一种去除图像阴影模型及其构建方法、装置及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115375589A CN115375589A (zh) | 2022-11-22 |
| CN115375589B true CN115375589B (zh) | 2023-02-10 |
Family
ID=84072543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211307124.5A Active CN115375589B (zh) | 2022-10-25 | 2022-10-25 | 一种去除图像阴影模型及其构建方法、装置及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375589B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546073B (zh) * | 2022-11-29 | 2023-04-07 | 昆明理工大学 | 地砖图像阴影去除方法、装置、计算机设备及存储介质 |
| CN115862030B (zh) * | 2023-02-24 | 2023-05-16 | 城云科技（中国）有限公司 | 清除图像中文本的算法模型及其构建方法、装置及应用 |
| CN116452459A (zh) * | 2023-04-25 | 2023-07-18 | 北京优酷科技有限公司 | 阴影遮罩生成方法、阴影去除方法及装置 |
| CN116883578B (zh) * | 2023-09-06 | 2023-12-19 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642634A (zh) * | 2021-08-12 | 2021-11-12 | 南京邮电大学 | 一种基于混合注意力的阴影检测方法 |
| CN114936979A (zh) * | 2022-06-07 | 2022-08-23 | 中南大学 | 一种模型训练方法、图像去噪方法、装置、设备及存储介质 |
| CN114943963A (zh) * | 2022-04-29 | 2022-08-26 | 南京信息工程大学 | 一种基于双分支融合网络的遥感图像云和云影分割方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL196161A (en) * | 2008-12-24 | 2015-03-31 | Rafael Advanced Defense Sys | Download shadows from images within a video signal |
| US11380023B2 (en) * | 2020-03-18 | 2022-07-05 | Adobe Inc. | End-to-end relighting of a foreground object of an image |
| CN111556228B (zh) * | 2020-05-15 | 2022-07-22 | 展讯通信（上海）有限公司 | 镜头阴影的校正方法及系统 |
| CN114764868A (zh) * | 2021-01-12 | 2022-07-19 | 北京三星通信技术研究有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN112819720B (zh) * | 2021-02-02 | 2023-10-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113052775B (zh) * | 2021-03-31 | 2023-05-23 | 华南理工大学 | 一种图像去阴影方法及装置 |
| CN113178010B (zh) * | 2021-04-07 | 2022-09-06 | 湖北地信科技集团股份有限公司 | 基于深度学习的高分影像阴影区域恢复重建方法 |
| CN113628129B (zh) * | 2021-07-19 | 2024-03-12 | 武汉大学 | 一种基于半监督学习的边缘注意力对单幅图像阴影去除方法 |
| CN113870124B (zh) * | 2021-08-25 | 2023-06-06 | 西北工业大学 | 基于弱监督的双网络互激励学习阴影去除方法 |
| CN114881871A (zh) * | 2022-04-12 | 2022-08-09 | 华南农业大学 | 一种融合注意力单幅图像去雨方法 |
| CN114926797A (zh) * | 2022-05-18 | 2022-08-19 | 中国地质大学（武汉） | 基于边缘约束与特征适应的Transformer双分支道路提取方法及装置 |
| CN114782698A (zh) * | 2022-05-18 | 2022-07-22 | 重庆师范大学 | 基于位置引导Transformer的图像描述生成方法、装置和计算机设备 |
| CN114841895B (zh) * | 2022-05-24 | 2023-10-20 | 中国科学技术大学 | 一种基于双向映射网络的图像阴影去除方法 |
| CN115146763A (zh) * | 2022-06-23 | 2022-10-04 | 重庆理工大学 | 一种非配对图像阴影去除方法 |
| CN115082345A (zh) * | 2022-06-29 | 2022-09-20 | 中国工商银行股份有限公司 | 图像阴影去除方法、装置、计算机设备和存储介质 |
-
2022
- 2022-10-25 CN CN202211307124.5A patent/CN115375589B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642634A (zh) * | 2021-08-12 | 2021-11-12 | 南京邮电大学 | 一种基于混合注意力的阴影检测方法 |
| CN114943963A (zh) * | 2022-04-29 | 2022-08-26 | 南京信息工程大学 | 一种基于双分支融合网络的遥感图像云和云影分割方法 |
| CN114936979A (zh) * | 2022-06-07 | 2022-08-23 | 中南大学 | 一种模型训练方法、图像去噪方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115375589A (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115375589B (zh) | 一种去除图像阴影模型及其构建方法、装置及应用 | |
| Shi et al. | Image compressed sensing using convolutional neural network | |
| CN112907449B (zh) | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 | |
| US9349072B2 (en) | Local feature based image compression | |
| KR20220065773A (ko) | 정상 데이터로의 데이터 샘플 변환 | |
| JP4712885B2 (ja) | 画像処理装置および画像処理方法 | |
| WO2023230996A1 (zh) | 编解码方法、编码器、解码器以及可读存储介质 | |
| Nikolakopoulos et al. | A dual scheme for compression and restoration of sequentially transmitted images over Wireless Sensor Networks | |
| Wang et al. | Raw image reconstruction with learned compact metadata | |
| Wei et al. | Effects of lossy compression on remote sensing image classification based on convolutional sparse coding | |
| Amaranageswarao et al. | Residual learning based densely connected deep dilated network for joint deblocking and super resolution | |
| Fan et al. | Global sensing and measurements reuse for image compressed sensing | |
| CN113658122A (zh) | 图像质量评价方法、装置、存储介质与电子设备 | |
| CN115761242B (zh) | 一种基于卷积神经网络和模糊图像特征的去噪方法及终端机 | |
| CN108550111B (zh) | 一种基于多级字典学习的残差实例回归超分辨重建方法 | |
| Khmelevskiy et al. | Model of Transformation of the Alphabet of the Encoded Data as a Tool to Provide the Necessary Level of Video Image Qualityi in Aeromonitoring Systems. | |
| CN113793267B (zh) | 基于跨维度注意力机制的自监督单遥感图像超分辨率方法 | |
| WO2023082089A1 (zh) | 一种三维重建方法、装置、设备及计算机存储介质 | |
| Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
| Rizkallah et al. | Rate distortion optimized graph partitioning for omnidirectional image coding | |
| CN115985086A (zh) | 一种交通数据补全方法、系统、终端以及存储介质 | |
| US20210375006A1 (en) | Difference detection apparatus and difference detection program | |
| Ayyoubzadeh et al. | Lossless compression of mosaic images with convolutional neural network prediction | |
| Que et al. | Residual dense U‐Net for abnormal exposure restoration from single images | |
| CN117014633B (zh) | 一种跨模态数据压缩方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |