CN115082371A - 图像融合方法、装置、移动终端设备及可读存储介质 - Google Patents
图像融合方法、装置、移动终端设备及可读存储介质 Download PDFInfo
- Publication number
- CN115082371A CN115082371A CN202210996224.7A CN202210996224A CN115082371A CN 115082371 A CN115082371 A CN 115082371A CN 202210996224 A CN202210996224 A CN 202210996224A CN 115082371 A CN115082371 A CN 115082371A
- Authority
- CN
- China
- Prior art keywords
- resolution
- map
- rgb
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000010606 normalization Methods 0.000 claims abstract description 20
- 238000005192 partition Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 101100175003 Oryza sativa subsp. japonica RGB1 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像融合方法、装置、移动终端设备及可读存储介质，应用于移动平台的图像处理过程中，方法包括调用基于残差网络所构建的深度编码组件和RGB编码组件的编码器，对高分辨率单通道的点阵深度图和高分辨率RGB图编码，得到低分辨率多通道的点阵深度图和低分辨率的RGB图；深度编码组件的总层数小于11，RGB编码组件的总层数小于11，残差网络包括串联的两个卷积网络，且每个卷积网络包括一个卷积层和一个二维批归一化层。将分辨率相同的点阵深度图和RGB图进行多通道融合，并整合融合特征，最后调用解码器将其转换为高分辨率单通道的融合图，从而可以在保证图像处理精度的基础上，高效且低功耗地处理图像。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像融合方法、装置、移动终端设备及可读存储介质。
背景技术
深度学习方法通过神经网络可以直接从数据中学习到有用的特征表示，例如可以使用预训练神经网络识别和过滤图像中的噪声，有效提高图像处理效果，被广泛应用在图像处理技术领域。
相关技术在处理图像时所采用的神经网络的网络规模都很大，诸如ResNet-152网络、DenseNet网络等，每个神经网络层数均在100多层以上，单是纯粹的卷积层以及一些特殊的处理层，也需要至少20多层。而可以理解的是，神经网络规模越大，或者说神经网络层数越多，利用神经网络进行图像处理所需要的时间越长，所占用的计算资源以及所需功耗也就越大。如果图像处理过程中，涉及到多个实现功能不同的神经网络，那么整个图像处理功耗极大，响应很慢。
相比服务器和计算机来说，移动平台的计算资源有限，对实时性要求更高，若采用相关技术中的神经网络进行图像处理，并无法满足用户低功耗、高实时性的需求。
鉴于此，如何在保证图像处理精度的基础上，高效且低功耗地对图像进行处理，是所属领域技术人员需要解决的技术问题。
发明内容
本申请提供了一种图像融合方法、装置、移动终端设备及可读存储介质，在保证图像处理精度的基础上，不仅可有效提高移动平台的图像处理速度，实时性更好，还可降低图像处理所需功耗。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种图像融合方法，应用于移动平台的图像处理过程中，包括：
调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图；
对分辨率相同的所述目标点阵深度图和所述目标RGB图进行多通道融合，并对融合特征进行特征整合，以得到低分辨率的初始融合图；
调用解码器，将所述初始融合图转换为高分辨率、单通道的目标融合图；
其中，所述编码器包括基于残差网络所构建的深度编码组件和RGB编码组件；所述深度编码组件的总层数小于11，所述RGB编码组件的总层数小于11；所述解码器的总层数小于13；所述残差网络包括串联的两个卷积网络，且每个卷积网络包括一个卷积层和一个二维批归一化层。
可选的，所述调用解码器，将所述初始融合图转换为高分辨率、单通道的目标融合图，包括：
预先构建解码器；所述解码器按照图像数据处理流向依次包括：所述残差网络、多个相连的反卷积层、上采样层和卷积层；所述反卷积层的个数小于等于8；
将所述初始融合图输入至所述解码器，并将所述解码器的输出作为目标融合图。
可选的，所述调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图之前，还包括：
获取原始点阵深度图像；
利用目标结构元素对所述原始点阵深度图像进行膨胀操作，并确定膨胀操作过程中每个像素点对应的邻域；
通过将所述原始点阵深度图像的各像素点的像素值，替换为相对应的邻域，生成待处理点阵深度图。
可选的，所述调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图，包括：
预先构建10层的RGB编码组件；所述RGB编码组件包括第一卷积组件、4个残差网络和第二卷积组件；所述第一卷积组件和所述第二卷积组件均包括卷积层、批归一化层和激活函数层；
将所述待处理RGB图输入至所述RGB编码组件，以通过所述第一卷积组件、各残差网络和所述第二卷积组件对所述待处理RGB图进行编码处理。
可选的，所述调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图，包括：
预先构建深度编码组件；所述深度编码组件包括第三卷积组件、多个残差网络和特征输出组件；所述第三卷积组件包括卷积层、批归一化层和激活函数层；
获取点阵深度数据对应的像素分区数；各分区的尺寸相同、且与所述目标点阵深度图尺寸的差值小于预设正数阈值；
将所述待处理点阵深度图输入至所述深度编码组件；所述第三卷积组件对所述待处理点阵深度图依次进行卷积操作和批归一化操作，利用激活函数对批归一化操作结果进行处理，并将处理结果输出至第一个残差网络；所述特征输出组件根据从最后一个残差网络选择的多个特征层的输出点阵深度图生成目标点阵深度图；
其中，所述特征层的总数、kennel总个数均与分区总数相同；每个特征层的输出点阵深度图对应一个分区读取的深度信息；每个kennel对应一个分区，且各kennel轮流读取相应的分区数据。
可选的，所述对分辨率相同的所述目标点阵深度图和所述目标RGB图进行多通道融合，包括：
获取所述深度编码组件第10层的输出，以作为所述目标点阵深度图；
获取所述RGB编码组件第10层和第9层的输出，以构成所述目标RGB图；
对所述目标点阵深度图和所述目标RGB图进行多通道融合操作。
可选的，所述对分辨率相同的所述目标点阵深度图和所述目标RGB图进行多通道融合之后，还包括：
调用数据处理组件，对所述目标点阵深度图和所述目标RGB图进行整合，并对多通道融合数据进行过滤和特征提取；
其中，所述数据处理组件包括所述残差网络。
可选的，所述调用解码器，将所述初始融合图转换为高分辨率、单通道的目标融合图，包括：
将所述编码器通过下采样提取到的特征图，与所述解码器通过上采样提取的具有相同分辨率的新特征图，在通道维度上一一对应进行拼接；
根据拼接信息生成目标融合图。
可选的，还包括部署于所述编码器和所述编码器的邻层特征重建组件；
所述邻层特征重建组件，用于将相邻卷积层输出的相同尺寸特征图，在通道维度上进行拼接。
本发明实施例另一方面提供了一种图像融合装置，用于对移动平台的图像进行处理，包括：
编码模块，用于调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图；其中，所述编码器包括基于残差网络构建的深度编码组件和RGB编码组件；
初始融合模块，用于对分辨率相同的所述目标点阵深度图和所述目标RGB图进行多通道融合，并对融合特征进行特征整合，以得到低分辨率的初始融合图；
解码模块，用于调用解码器，将所述初始融合图转换为高分辨率、单通道的目标融合图。
本发明实施例还提供了一种移动终端设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述图像融合方法的步骤。
本发明实施例最后还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述图像融合方法的步骤。
本申请提供的技术方案的优点在于，基于残差网络所构建的具有图像编码功能的神经网络的层数很少，相比现有上百层的神经网络来说，图像处理过程所需的时间和功耗都很小，实时性好，占用计算资源也很少，适合移动平台的应用去处理图像。编码器与解码器之间，融合两个过程中对应位置上的特征图，使得解码器在进行上采样时能够保留更多高层特征图蕴含的高分辨率细节信息，进而更完善地恢复原始图像中的细节信息，提高图像处理精度，从而在保证图像处理精度的基础上，高效且低功耗地实现图像处理，满足用户对移动平台图像处理的低功耗、高实时性和高精度的需求。
此外，本发明实施例还针对图像融合方法提供了相应的实现装置、移动终端设备及可读存储介质，进一步使得所述方法更具有实用性，所述装置、移动终端设备及可读存储介质具有相应的优点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像融合方法的流程示意图；
图2为本发明实施例提供的一个示例性的残差网络的框架示意图；
图3为本发明实施例提供的一个示例性的特征整合示意图；
图4为本发明实施例提供的一个示例性的解码器的框架示意图；
图5为本发明实施例提供的一个示例性的点阵深度图的膨胀处理示意图；
图6为本发明实施例提供的一个示例性的RGB编码组件的框架示意图；
图7为本发明实施例提供的一个示例性的RGB编码组件以及解码器的框架示意图；
图8为本发明实施例提供的一个示例性的深度编码组件的框架示意图；
图9为本发明实施例提供的一个示例性的解码器-编码器网络结构的框架示意图；
图10为本发明实施例提供的另一个示例性的解码器-编码器网络结构的框架示意图；
图11为本发明实施例提供的图像融合装置的一种具体实施方式结构图；
图12为本发明实施例提供的移动终端设备的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及二者的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种图像融合方法的流程示意图，本发明实施例可用于执行移动平台的应用的图像处理任务，可包括以下内容：
S101：调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图。
在本实施例中，编码器包括深度编码组件和RGB编码组件，深度编码组件用于对点阵深度图也即待处理点阵深度图进行编码，将高分辨率、单通道的待处理点阵深度图如240×320×1编码为低分辨率、多通道的目标点阵深度图如15×20×4。RGB编码组件用于对RGB图也即待处理RGB图进行编码，将高分辨率的待处理RGB图如240×320×3编码为低分辨率的目标RGB图如15×20×512。点阵深度图不同于矢量图，其是有多个稀疏具有深度值的spot散点组成，RGB图为由红色绿色蓝色三个通道共同作用所产生的完整图像。深度编码组件和RGB编码组件均是基于残差网络所构建的，二者均可以包括1个或多个残差网络并同时配置卷积层等，但深度编码组件和RGB编码组件的总层数均小于11层。本实施例的残差网络包括串联的两个卷积网络，且每个卷积网络包括一个卷积层和一个二维批归一化层，如图2所示，每个卷积层尺寸可为3x3，维度或者是说特征层为64。基于残差网络构建编码器，整个编码器在去除个别神经网络层，残差网络的表现不会受到显著影响，进而不会导致整个编码器的性能变差，有利于应用至移动平台上的软件应用中。编码器直接去学习不同层之间的残差量，使得学习更加容易，此外，本实施例的编码器前后向传播更加顺畅，极大地保留梯度的空间结构，还可避免编码器的退化，同等层数的前提下收敛得更快，在一定程度上可以缓解梯度弥散问题。
S102：对分辨率相同的目标点阵深度图和目标RGB图进行多通道融合，并对融合特征进行特征整合，以得到低分辨率的初始融合图。
在上个步骤对待处理的RGB图像和待处理的点阵深度图像进行编码处理，得到相应的低分辨率多通道的图像之后，为了利用不同尺度特征图的语义信息，将其以增加通道的方式实现较好的性能，对于具有相同分辨率的目标点阵深度图和目标RGB图进行多通道融合，后续得到的所有特征均是结合了前面所得到的特征。多通道融合的特征图的分辨率需相同，若目标点阵深度图和目标RGB图的分辨率不同，可先将其转换为分辨率相同的特征图，然后再进行特征融合。为了对融合后的特征数据进行过滤和特征提取，同时也可以将来自RGB和点阵深度图的数据整合至一起，还需要对融合特征进行特征整合，整合所得到数据为经过卷积层的输出，数据的大小和通道数均不变。可选的，如图3所示，可以预先构建数据处理组件，利用数据处理组件对目标点阵深度图和目标RGB图进行整合，并对多通道融合数据进行过滤和特征提取。为了更好的提取特征，前向和后向传播更加顺畅，数据处理组件可包括残差网络，兼顾图像处理效率和特征提取效果，数据处理组件可为1个残差网络。
为了提取不同维度的RGB特征，得到融合效果更好的融合图，如图3所示，可将深度编码组件第10层的输出作为目标点阵深度图，RGB编码组件第10层输出的RGB2图和第9层输出的RGB1图组成为目标RGB图，也即将深度编码组件第10层的输出特征、RGB编码组件第10层和第9层输出特征进行多通道融合操作，最终得到的初始融合图的通道更多，性能更好，举例来说，深度编码组件第10层的输出为15*20*4个通道，RGB编码组件第10层输出为15*20*512通道，第9层输出为15*20*512通道，最终得到的初始融合图为15*20*1028通道。
S103：调用解码器，将初始融合图转换为高分辨率、单通道的目标融合图。
在前两个步骤通过编码器将低层的细节信息更多的保留下来的基础上，本步骤通过总层数小于13的解码器对初始融合图进行处理，随着卷积越来越多，感受野逐渐变大，但是保留的细节的信息会越来越少，最终得到高分辨率、单通道的目标融合图。
在本发明实施例提供的技术方案中，基于残差网络所构建的具有图像编码功能的神经网络的层数很少，相比现有上百层的神经网络来说，图像处理过程所需的时间和功耗都很小，实时性好，占用计算资源也很少，适合移动平台的应用去处理图像。编码器与解码器之间，融合两个过程中对应位置上的特征图，使得解码器在进行上采样时能够保留更多高层特征图蕴含的高分辨率细节信息，进而更完善地恢复原始图像中的细节信息，提高图像处理精度，从而在保证图像处理精度的基础上，高效且低功耗地实现图像处理，满足用户对移动平台图像处理的低功耗、高实时性和高精度的需求。
需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1只是一种示意方式，并不代表只能是这样的执行顺序。
在上述实施例中，对于如何执行S103以及解码器的网络结构并不做任何限定，本实施例还给出了一种可选的实施方式，可包括下述内容：
预先构建解码器；将初始融合图输入至解码器，并将解码器的输出作为目标融合图。
其中，本实施例的解码器的网络结构可参阅图4所示，该解码器按照图像数据处理流向依次包括：残差网络、多个相连的反卷积层、上采样层和卷积层；反卷积层的个数不大于8。残差网络与上述实施例的残差网络的网络结构相同，每个反卷积层为由上采样层和卷积层所构成。通过残差网络从初始融合图中提取融合特征，第一个反卷积层的上采样和卷积对该融合特征进行处理，得到分辨率不变，通道数叠加的图像特征，再经过第二个的上采样和卷积的组合，得到分辨率增加一倍，通道数叠加的图像特征，再通过第三个反卷积层等处理，可以提取更多的图像特征。上述编码器利用卷积层进行逐级下采样，解码利用反卷积进行逐级上采样，原始输入图像中的空间信息与图像中的边缘信息，纹理信息会被逐渐恢复，由此，低分辨率的特征图最终会被映射为像素级的高分辨率深度图。
基于上述实施例，为了提升融合效果，得到高精度的融合图像，在调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图之前，如图5所示，还可包括：
获取原始点阵深度图像；
利用目标结构元素对原始点阵深度图像进行膨胀操作，并确定膨胀操作过程中每个像素点对应的邻域；
通过将原始点阵深度图像的各像素点的像素值，替换为相对应的邻域，生成待处理点阵深度图。
由于视差问题，深度位置会发生跳动，本实施例采用通过用特定结构元素进行膨胀处理后的点阵深度图作为后续图像融合的图像，膨胀后，可保障深度位置处于预设的深度值内，作为一种可选的实施方式，本实施例可利用Dilate 函数进行膨胀处理，Dilate 函数可以对输入图像用特定结构元素进行膨胀操作，该结构元素确定膨胀操作过程中的邻域形状，各点像素值将被替换为对应邻域。由于深度位置会有一定的波动，如果进行膨胀，则会保证跳动的区域在训练的区域内，这样可以保证对于跳动有一定的鲁棒性。
上述实施例对如何执行S101以及编码器的网络结构并不做任何限定，本实施例还给出了一种可选的实施方式，可包括下述内容：
首先对于RGB图像的编码处理过程为：
预先构建10层的RGB编码组件；将待处理RGB图输入至RGB编码组件，以通过第一卷积组件、各残差网络和第二卷积组件对待处理RGB图进行编码处理。
本实施例的RGB编码组件包括第一卷积组件、4个残差网络和第二卷积组件；第一卷积组件和第二卷积组件均包括卷积层、批归一化层和激活函数层。如图6所示，每个残差网络的结构均与上述实施例的残差网络相同，卷积层为二维卷积层，激活函数层可为ReLU。由图6可见，240×320×3的目标RGB图先进行一次卷积组件处理，再进行4个残差模块处理，最后再做一次卷积组件处理之后，得到15×20×512的输出特征。RGB编码组件输出的特征不仅输入至后需用于进行融合的网络结构中，还输入至解码器中，如图7所示，RGB编码组件的每层输出与上述实施例的解码器之间的特征传输示意图。
基于本实施例的目标RGB图的图像尺寸，对所构建的图6所示的10层RGB编码组件进行验证，可以获得的性能最好，既没有出现模型的过拟合，也没有出现欠拟合。对于计算资源来说，没有出现冗余，对于性能来说也达到一个最好的效果。 所以性能和资源方面可以有一个比较好的兼顾与权衡。
其次，对于点阵深度图的编码处理流程包括：
预先构建深度编码组件；
获取点阵深度数据对应的像素分区数；
将待处理点阵深度图输入至深度编码组件。
本实施例的深度编码组件可包括第三卷积组件、多个残差网络和特征输出组件；每个残差网络的结构均与上述实施例的残差网络相同，残差网络的个数可基于整个深度编码组件的层数来确定，深度编码组件的层数由图像处理性能和图像处理所需计算资源共同确定，如图8所示为4个残差网络。待处理点阵深度图输入至深度编码组件第三卷积组件包括卷积层、批归一化层和激活函数层；第三卷积组件对待处理点阵深度图依次进行卷积操作和批归一化操作，利用激活函数对批归一化操作结果进行处理，并将处理结果输出至第一个残差网络；第一个残差网络对输入特征进行相应的处理之后，输出特征至相连的残差网络，直至最后一个残差网络输出相应的特征至特征输出组件，特征输出组件根据从最后一个残差网络选择的多个特征层的输出点阵深度图生成目标点阵深度图。每个特征层可通过一个池化层输出相应的点阵深度图。也就是说，目标点阵深度图并不是最后一个残差网络所有特征层输出，而是选择了多个特征层，目标点阵深度图为选中的特征层的输出点阵图所组成。这样不仅可以增大网络感受野，抑制噪声，降低信息冗余；还可降低模型计算量，降低网络优化难度，防止网络过拟合，使网络对输入图像中的特征位置变化更加鲁棒。
本申请的点阵深度图像为基于包含单光子雪崩二极管装置阵列的图像采集装置所生成，图像采集装置分区处理的，每个分区的尺寸相同，为了兼顾最终输出可以覆盖所有特征且没有太多冗余信息，本实施例的各分区的尺寸与目标点阵深度图尺寸的差值小于预设正数阈值，预设正数阈值为正数的较小值，举例来说，每个分区的尺寸为250个像素点，本实施例的目标点阵深度图的尺寸可为20×15，也即为300个像素点，相比于相关技术的输入大小320×240来说，这样可以完全覆盖所有的特征，同时也没有太多的冗余信息。为了更好的提取每个分区的特征，同时过滤掉没有深度值的信息，兼顾图像处理效率和图像处理效果，本实施例的特征层的总数、kennel总个数均与分区总数相同；每个特征层的输出点阵深度图对应一个分区读取的深度信息。每个kennel对应一个分区，不同于相关技术中的残差模块用到的kernel是采用的随机数学习，本实施例的各分区采用不同的固定值，各kennel轮流读取相应的分区数据。可有效避免采用随机数全部提取，会增加计算量、功耗等的弊端，更有利于适用于移动平台。以图8以及图9为例，本实施例的硬件也即图像采集装置包括4个分区，本实施例可选择最后一个残差网络的最后4个特征层，通过4个池化层得到相应的点阵深度图，正好对应4个分区的深度信息，由于四个分区的位置正好在2x2区域内，所以可设置kernel的大小为2x2。图中所示的1所在位置可以提取到信息，0所在位置不会提取信息，本实施例的4个分区轮流提取数据。
为了进一步提高图像融合效果，基于上述实施例，本申请还在整个网络中引入邻层特征重建功能和跨层特征重建功能，在增强层与层之间特征信息传递的同时，进一步对高层卷积特征层中丰富的细节信息进行了利用，从而最大化地提高了网络各层中的特征信息的利用率，可包括下述内容：
在网络传播的过程中，随着网络越来越深，相应特征图的感受野会越来越大，但是保留的细节信息会越来越少，而对于语义分割任务，高层卷积所保留的丰富的细节信息是非常有利用价值的，且为了进一步弥补编码阶段下采样丢失的信息，如图9及图10所示，在编码器与解码器之间，还可利用拼接层来融合两个过程中对应位置上的特征图，使得解码器在进行上采样时能够保留更多高层特征图蕴含的高分辨率细节信息，进而更完善地恢复原始图像中的细节信息，提高精度。也即可将编码器通过下采样提取到的特征图，与解码器通过上采样提取的具有相同分辨率的新特征图，在通道维度上一一对应进行拼接，然后在基于该拼接信息生成目标融合图。通过特征拼接，能够使得网络在每一级的上采样过程中，将编码器对应位置的特征图在通道上进行融合。通过底层特征与高层特征的融合，网络能够保留更多高层特征图蕴含的高分辨率细节信息，提高最终所得融合图像的图像精度。
本实施例基于编码器-解码器对称式的结构，利用拼接层将编码器过程中下采样提取出来的特征图与解码器过程中上采样得到的新特征图一一对应进行通道维度拼接，可将语义信息更丰富的高层卷积特征层和低层卷积特征进行融合，更大程度地保留高层卷积中的一些重要特征信息，有利于实现更精细的分割效果。另外，通过保留浅层局部的低级特征来增强深层的高级特征，还可避免虚假梯度爆炸和梯度消失问题。
基于上述实施例，本实施例还可包括部署于编码器和解码器的邻层特征重建组件；该邻层特征重建组件用于将相邻卷积层输出的相同尺寸特征图，在通道维度上进行拼接。
在本实施例中，邻层特征重建是在整个网络中除主干路之外的每一对具有相同尺寸特征图的相邻卷积层之间搭建了支路，即利用上个实施例的拼接层将上一层卷积与下一层卷积得到的特征图进行通道维度的拼接，拼接完成后再回到网络主干路，执行原有的计算并传递给下一层。凭借邻层特征重建组件，整个网络的整体结构变得更密集，网络中每一层都可以从其上一层的输入中最大化地利用其之前所有层中的特征信息。
本发明实施例还针对图像融合方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的图像融合装置进行介绍，下文描述的图像融合装置与上文描述的图像融合方法可相互对应参照。
基于功能模块的角度，参见图11，图11为本发明实施例提供的图像融合装置在一种具体实施方式下的结构图，用于对移动平台的图像进行处理，该装置可包括：
编码模块111，用于调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图；其中，编码器包括基于残差网络构建的深度编码组件和RGB编码组件；
初始融合模块112，用于对分辨率相同的目标点阵深度图和目标RGB图进行多通道融合，并对融合特征进行特征整合，以得到低分辨率的初始融合图；
解码模块113，用于调用解码器，将初始融合图转换为高分辨率、单通道的目标融合图。
可选的，在本实施例的一些实施方式中，上述解码模块113还可用于：预先构建解码器；解码器按照图像数据处理流向依次包括：残差网络、多个相连的反卷积层、上采样层和卷积层；反卷积层的个数不大于8；将初始融合图输入至解码器，并将解码器的输出作为目标融合图。
可选的，在本实施例的另一些实施方式中，上述装置还可包括膨胀处理模块，用于利用目标结构元素对获取的原始点阵深度图像进行膨胀操作，并确定膨胀操作过程中每个像素点对应的邻域；通过将原始点阵深度图像的各像素点的像素值，替换为相对应的邻域，生成待处理点阵深度图。
可选的，在本实施例的其他一些实施方式中，上述编码模块111还可用于：预先构建10层的RGB编码组件；RGB编码组件包括第一卷积组件、4个残差网络和第二卷积组件；第一卷积组件和第二卷积组件均包括卷积层、批归一化层和激活函数层；将待处理RGB图输入至RGB编码组件，以通过第一卷积组件、各残差网络和第二卷积组件对待处理RGB图进行编码处理。
可选的，在本实施例的其他一些实施方式中，上述编码模块111可进一步用于：预先构建深度编码组件；深度编码组件包括第三卷积组件、多个残差网络和特征输出组件；第三卷积组件包括卷积层、批归一化层和激活函数层；获取点阵深度数据对应的像素分区数；各分区的尺寸相同、且与目标点阵深度图尺寸的差值小于预设正数阈值；将待处理点阵深度图输入至深度编码组件；第三卷积组件对待处理点阵深度图依次进行卷积操作和批归一化操作，利用激活函数对批归一化操作结果进行处理，并将处理结果输出至第一个残差网络；特征输出组件根据从最后一个残差网络选择的多个特征层的输出点阵深度图生成目标点阵深度图；其中，特征层的总数、kennel总个数均与分区总数相同；每个特征层的输出点阵深度图对应一个分区读取的深度信息；每个kennel对应一个分区，且各kennel轮流读取相应的分区数据。
可选的，在本实施例的其他一些实施方式中，上述编码模块111还可进一步用于：获取深度编码组件第10层的输出，以作为目标点阵深度图；获取RGB编码组件第10层和第9层的输出，以构成目标RGB图；对目标点阵深度图和目标RGB图进行多通道融合操作。
作为上述实施例的一种可选的实施方式，上述编码模块111还可用于：调用数据处理组件，对目标点阵深度图和目标RGB图进行整合，并对多通道融合数据进行过滤和特征提取；其中，数据处理组件包括残差网络。
可选的，在本实施例的其他一些实施方式中，上述解码模块113还可进一步用于：将编码器通过下采样提取到的特征图，与解码器通过上采样提取的具有相同分辨率的新特征图，在通道维度上一一对应进行拼接；根据拼接信息生成目标融合图。
作为上述实施例的一种可选的实施方式，上述装置还可包括邻层特征重建组件，邻层特征重建组件部署于编码器和解码器；邻层特征重建组件，用于将相邻卷积层输出的相同尺寸特征图，在通道维度上进行拼接。
本发明实施例所述图像融合装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例在保证图像处理精度的基础上，不仅可有效提高移动平台的图像处理速度，实时性更好，还可降低图像处理所需功耗。
上文中提到的图像融合装置是从功能模块的角度描述，进一步的，本申请还提供一种移动终端设备，是从硬件角度描述。图12为本申请实施例提供的移动终端设备在一种实施方式下的结构示意图。如图12所示，该移动终端设备包括存储器120，用于存储计算机程序；处理器121，用于执行计算机程序时实现如上述任一实施例提到的图像融合方法的步骤。
其中，处理器121可以包括一个或多个处理核心，比如4核心处理器、8核心处理器，处理器121还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器121可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable GateArray，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器121也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器121可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器121还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器120可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器120还可包括高速随机存取存储器以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。存储器120在一些实施例中可以是移动终端设备的内部存储单元，例如服务器的硬盘。存储器120在另一些实施例中也可以是移动终端设备的外部存储设备，例如插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器120还可以既包括移动终端设备的内部存储单元也包括外部存储设备。存储器120不仅可以用于存储安装于移动终端设备的应用软件及各类数据，例如：执行图像融合方法过程中的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中，存储器120至少用于存储以下计算机程序1201，其中，该计算机程序被处理器121加载并执行之后，能够实现前述任一实施例公开的图像融合方法的相关步骤。另外，存储器120所存储的资源还可以包括操作系统1202和数据1203等，存储方式可以是短暂存储或者永久存储。其中，操作系统1202可以包括安卓系统、苹果系统等。数据1203可以包括但不限于图像融合结果对应的数据等。
在一些实施例中，上述移动终端设备还可包括有显示屏122、输入输出接口123、通信接口124或者称为网络接口、电源125以及通信总线126。其中，显示屏122、输入输出接口123比如键盘（Keyboard）属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在移动终端设备中处理的信息以及用于显示可视化的用户界面。通信接口124可选的可以包括有线接口和/或无线接口，如WI-FI接口、蓝牙接口等，通常用于在移动终端设备与其他移动终端设备之间建立通信连接。通信总线126可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解，图12中示出的结构并不构成对该移动终端设备的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器127。
本发明实施例所述移动终端设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例在保证图像处理精度的基础上，不仅可有效提高移动平台的图像处理速度，实时性更好，还可降低图像处理所需功耗。
可以理解的是，如果上述实施例中的图像融合方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器（例如SD或DX存储器等）、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时如上任意一实施例所述图像融合方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及移动终端设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种图像融合方法、装置、移动终端设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (12)
1.一种图像融合方法，其特征在于，应用于移动平台的图像处理过程中，包括：
调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图；
对分辨率相同的所述目标点阵深度图和所述目标RGB图进行多通道融合，并对融合特征进行特征整合，以得到低分辨率的初始融合图；
调用解码器，将所述初始融合图转换为高分辨率、单通道的目标融合图；
其中，所述编码器包括均基于残差网络所构建的深度编码组件和RGB编码组件；所述深度编码组件的总层数小于11，所述RGB编码组件的总层数小于11；所述解码器的总层数小于13；所述残差网络包括串联的两个卷积网络，且每个卷积网络包括一个卷积层和一个二维批归一化层。
2.根据权利要求1所述的图像融合方法，其特征在于，所述调用解码器，将所述初始融合图转换为高分辨率、单通道的目标融合图，包括：
预先构建解码器；所述解码器按照图像数据处理流向依次包括：所述残差网络、多个相连的反卷积层、上采样层和卷积层；所述反卷积层的个数小于等于8；
将所述初始融合图输入至所述解码器，并将所述解码器的输出作为目标融合图。
3.根据权利要求1所述的图像融合方法，其特征在于，所述调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图之前，还包括：
获取原始点阵深度图像；
利用目标结构元素对所述原始点阵深度图像进行膨胀操作，并确定膨胀操作过程中每个像素点对应的邻域；
通过将所述原始点阵深度图像的各像素点的像素值，替换为相对应的邻域，生成待处理点阵深度图。
4.根据权利要求1所述的图像融合方法，其特征在于，所述调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图，包括：
预先构建10层的RGB编码组件；所述RGB编码组件包括第一卷积组件、4个残差网络和第二卷积组件；所述第一卷积组件和所述第二卷积组件均包括卷积层、批归一化层和激活函数层；
将所述待处理RGB图输入至所述RGB编码组件，以通过所述第一卷积组件、各残差网络和所述第二卷积组件对所述待处理RGB图进行编码处理。
5.根据权利要求1所述的图像融合方法，其特征在于，所述调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图，包括：
预先构建深度编码组件；所述深度编码组件包括第三卷积组件、多个残差网络和特征输出组件；所述第三卷积组件包括卷积层、批归一化层和激活函数层；
获取点阵深度数据对应的像素分区数；各分区的尺寸相同、且与所述目标点阵深度图尺寸的差值小于预设正数阈值；
将所述待处理点阵深度图输入至所述深度编码组件；所述第三卷积组件对所述待处理点阵深度图依次进行卷积操作和批归一化操作，利用激活函数对批归一化操作结果进行处理，并将处理结果输出至第一个残差网络；所述特征输出组件根据从最后一个残差网络选择的多个特征层的输出点阵深度图生成目标点阵深度图；
其中，所述特征层的总数、kennel总个数均与分区总数相同；每个特征层的输出点阵深度图对应一个分区读取的深度信息；每个kennel对应一个分区，且各kennel轮流读取相应的分区数据。
6.根据权利要求1所述的图像融合方法，其特征在于，所述对分辨率相同的所述目标点阵深度图和所述目标RGB图进行多通道融合，包括：
获取所述深度编码组件第10层的输出，以作为所述目标点阵深度图；
获取所述RGB编码组件第10层和第9层的输出，以构成所述目标RGB图；
对所述目标点阵深度图和所述目标RGB图进行多通道融合操作。
7.根据权利要求1所述的图像融合方法，其特征在于，所述对分辨率相同的所述目标点阵深度图和所述目标RGB图进行多通道融合之后，还包括：
调用数据处理组件，对所述目标点阵深度图和所述目标RGB图进行整合，并对多通道融合数据进行过滤和特征提取；
其中，所述数据处理组件包括所述残差网络。
8.根据权利要求1至7任意一项所述的图像融合方法，其特征在于，所述调用解码器，将所述初始融合图转换为高分辨率、单通道的目标融合图，包括：
将所述编码器通过下采样提取到的特征图，与所述解码器通过上采样提取的具有相同分辨率的新特征图，在通道维度上一一对应进行拼接；
根据拼接信息生成目标融合图。
9.根据权利要求1至7任意一项所述的图像融合方法，其特征在于，还包括部署于所述编码器和所述编码器的邻层特征重建组件；
所述邻层特征重建组件，用于将相邻卷积层输出的相同尺寸特征图，在通道维度上进行拼接。
10.一种图像融合装置，其特征在于，用于对移动平台的图像进行处理，包括：
编码模块，用于调用预先构建的编码器，分别对高分辨率、单通道的待处理点阵深度图和高分辨率的待处理RGB图进行编码，得到低分辨率、多通道的目标点阵深度图和低分辨率的目标RGB图；其中，所述编码器包括基于残差网络构建的深度编码组件和RGB编码组件；
初始融合模块，用于对分辨率相同的所述目标点阵深度图和所述目标RGB图进行多通道融合，并对融合特征进行特征整合，以得到低分辨率的初始融合图；
解码模块，用于调用解码器，将所述初始融合图转换为高分辨率、单通道的目标融合图。
11.一种移动终端设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至9任一项所述图像融合方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述图像融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210996224.7A CN115082371B (zh) | 2022-08-19 | 2022-08-19 | 图像融合方法、装置、移动终端设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210996224.7A CN115082371B (zh) | 2022-08-19 | 2022-08-19 | 图像融合方法、装置、移动终端设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082371A true CN115082371A (zh) | 2022-09-20 |
| CN115082371B CN115082371B (zh) | 2022-12-06 |
Family
ID=83244943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210996224.7A Active CN115082371B (zh) | 2022-08-19 | 2022-08-19 | 图像融合方法、装置、移动终端设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082371B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908531A (zh) * | 2023-03-09 | 2023-04-04 | 深圳市灵明光子科技有限公司 | 车载测距方法、装置、车载终端及可读存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140146368A1 (en) * | 2012-11-26 | 2014-05-29 | Samsung Electronics Co., Ltd. | Imaging forming apparatus, method of image forming, and computer-readable recording medium |
| US20180350050A1 (en) * | 2015-11-27 | 2018-12-06 | Spectral Edge Limited | Method and system for generating an output image from a plurality of corresponding input image channels |
| CN110163026A (zh) * | 2018-01-04 | 2019-08-23 | 上海蓥石汽车技术有限公司 | 一种基于结构光的三维驾驶员识别系统及方法 |
| CN110942424A (zh) * | 2019-11-07 | 2020-03-31 | 昆明理工大学 | 一种基于深度学习的复合网络单图像超分辨率重建方法 |
| CN111242097A (zh) * | 2020-02-27 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 一种人脸识别方法、装置、计算机可读介质及电子设备 |
| CN111709902A (zh) * | 2020-05-21 | 2020-09-25 | 江南大学 | 基于自注意力机制的红外和可见光图像融合方法 |
| CN111986132A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法 |
| CN112200757A (zh) * | 2020-09-29 | 2021-01-08 | 北京灵汐科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN113344844A (zh) * | 2021-04-14 | 2021-09-03 | 山东师范大学 | 基于rgb-d多模图像信息的目标果实检测方法及系统 |
| CN114549439A (zh) * | 2022-02-11 | 2022-05-27 | 中北大学 | 一种基于多模态特征融合的rgb-d图像语义分割方法 |
| CN114842216A (zh) * | 2022-04-28 | 2022-08-02 | 贵州大学 | 一种基于小波变换的室内rgb-d图像语义分割方法 |
| CN114881899A (zh) * | 2022-04-12 | 2022-08-09 | 北京理工大学 | 一种用于可见光与红外图像对的快速保色融合方法及装置 |
-
2022
- 2022-08-19 CN CN202210996224.7A patent/CN115082371B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140146368A1 (en) * | 2012-11-26 | 2014-05-29 | Samsung Electronics Co., Ltd. | Imaging forming apparatus, method of image forming, and computer-readable recording medium |
| US20180350050A1 (en) * | 2015-11-27 | 2018-12-06 | Spectral Edge Limited | Method and system for generating an output image from a plurality of corresponding input image channels |
| CN110163026A (zh) * | 2018-01-04 | 2019-08-23 | 上海蓥石汽车技术有限公司 | 一种基于结构光的三维驾驶员识别系统及方法 |
| CN110942424A (zh) * | 2019-11-07 | 2020-03-31 | 昆明理工大学 | 一种基于深度学习的复合网络单图像超分辨率重建方法 |
| CN111242097A (zh) * | 2020-02-27 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 一种人脸识别方法、装置、计算机可读介质及电子设备 |
| CN111709902A (zh) * | 2020-05-21 | 2020-09-25 | 江南大学 | 基于自注意力机制的红外和可见光图像融合方法 |
| CN111986132A (zh) * | 2020-08-12 | 2020-11-24 | 兰州交通大学 | 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法 |
| CN112200757A (zh) * | 2020-09-29 | 2021-01-08 | 北京灵汐科技有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN113344844A (zh) * | 2021-04-14 | 2021-09-03 | 山东师范大学 | 基于rgb-d多模图像信息的目标果实检测方法及系统 |
| CN114549439A (zh) * | 2022-02-11 | 2022-05-27 | 中北大学 | 一种基于多模态特征融合的rgb-d图像语义分割方法 |
| CN114881899A (zh) * | 2022-04-12 | 2022-08-09 | 北京理工大学 | 一种用于可见光与红外图像对的快速保色融合方法及装置 |
| CN114842216A (zh) * | 2022-04-28 | 2022-08-02 | 贵州大学 | 一种基于小波变换的室内rgb-d图像语义分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郭锋锋等: "基于多路径残差网络交叉学习的图像超分辨率重建", 《攀枝花学院学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908531A (zh) * | 2023-03-09 | 2023-04-04 | 深圳市灵明光子科技有限公司 | 车载测距方法、装置、车载终端及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082371B (zh) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108876792B (zh) | 语义分割方法、装置和系统及存储介质 | |
| CN112699937B (zh) | 基于特征引导网络的图像分类与分割的装置、方法、设备及介质 | |
| CN112396645B (zh) | 一种基于卷积残差学习的单目图像深度估计方法和系统 | |
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN108664974A (zh) | 一种基于rgbd图像与全残差网络的语义分割方法 | |
| CN110163801A (zh) | 一种图像超分辨和着色方法、系统及电子设备 | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN110533594A (zh) | 模型训练方法、图像重建方法、存储介质及相关设备 | |
| CN112991171B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112541459A (zh) | 基于多尺度感知注意力网络的人群计数方法及系统 | |
| CN115082371B (zh) | 图像融合方法、装置、移动终端设备及可读存储介质 | |
| CN115294337B (zh) | 训练语义分割模型的方法、图像语义分割方法及相关装置 | |
| CN113971732A (zh) | 小目标检测方法、装置、可读存储介质及电子设备 | |
| CN115908753A (zh) | 一种全身人体网格表面重建方法及相关装置 | |
| CN108520532B (zh) | 识别视频中物体运动方向的方法及装置 | |
| CN111967478B (zh) | 一种基于权重翻转的特征图重构方法、系统、存储介质及终端 | |
| CN113505796A (zh) | 一种实时的高精度全景分割方法 | |
| CN115908531B (zh) | 车载测距方法、装置、车载终端及可读存储介质 | |
| CN112819848A (zh) | 抠图方法、抠图装置和电子设备 | |
| CN111862343A (zh) | 一种三维重建方法、装置、设备及计算机可读存储介质 | |
| CN116051850A (zh) | 神经网络目标检测方法、装置、介质和嵌入式电子设备 | |
| CN112419216A (zh) | 图像去干扰方法、装置、电子设备及计算机可读存储介质 | |
| CN114220014A (zh) | 显著性目标检测模型的确定方法、装置、设备和介质 | |
| CN117957577A (zh) | 用于神经渲染的多核系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |