CN112541482B - 深度信息补全模型训练方法、装置、设备以及存储介质 - Google Patents
深度信息补全模型训练方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN112541482B CN112541482B CN202011563579.4A CN202011563579A CN112541482B CN 112541482 B CN112541482 B CN 112541482B CN 202011563579 A CN202011563579 A CN 202011563579A CN 112541482 B CN112541482 B CN 112541482B
- Authority
- CN
- China
- Prior art keywords
- feature
- depth image
- training
- image
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000000295 complement effect Effects 0.000 title claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 44
- 230000004927 fusion Effects 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 239000003623 enhancer Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 2
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Abstract
本申请公开了深度信息补全模型训练方法、装置、设备以及存储介质，涉及计算机视觉、深度学习、自动驾驶等人工智能技术领域。该方法的一具体实施方式包括：获取训练数据，其中，训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合第一稀疏深度图像和第一彩色图像进行特征提取，再进行特征增强。该实施方式在训练过程中，以稀疏深度图像和对应的彩色图像作为输入，先融合稀疏深度图像和彩色图像进行特征提取，再进行特征增强，能够训练出用于有效获取稠密深度图像的模型。
Description
技术领域
本申请实施例涉及计算机技术领域，具体涉及计算机视觉、深度学习、自动驾驶等人工智能技术领域，尤其涉及深度信息补全模型训练方法、装置、设备以及存储介质。
背景技术
深度图像可以应用于三维物体检测、场景三维重建等。目前，高精度深度传感器可以用于采集深度图像，如雷达设备。常用的雷达设备有16线、32线及64线等。然而，这些雷达设备采集的深度图像非常稀疏，严重限制了相关应用的效果。因此，需要先对采集到的稀疏的深度图像进行深度信息补全。
目前，深度信息补全主要采用基于插值的实现方式。具体地，以稀疏的深度图像为输入，使用非线性插值方式，如最近邻插值(Nearest Neighbor interpolation)、双三次多项式插值(bi-cubic interpolation)或双线性插值(bilinear interpolation)等，是以稀疏深度点为基础插值出稠密的深度图像。
发明内容
本申请实施例提出了深度信息补全模型训练方法、装置、设备以及存储介质。
第一方面，本申请实施例提出了一种深度信息补全模型训练方法，包括：获取训练数据，其中，训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合第一稀疏深度图像和第一彩色图像进行特征提取，再进行特征增强。
第二方面，本申请实施例提出了一种深度信息补全模型训练装置，包括：训练数据获取模块，被配置成获取训练数据，其中，训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；模型训练模块，被配置成将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合第一稀疏深度图像和第一彩色图像进行特征提取，再进行特征增强。
第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据如第一方面中任一实现方式描述的方法。
本申请实施例提供的深度信息补全模型训练方法、装置、设备以及存储介质，首先获取训练数据；然后将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型。在训练过程中，以稀疏深度图像和对应的彩色图像作为输入，先融合稀疏深度图像和彩色图像进行特征提取，再进行特征增强，能够训练出用于有效获取稠密深度图像的模型。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请的深度信息补全模型训练方法的一个实施例的流程图；
图2是根据本申请的深度信息补全模型训练方法的又一个实施例的流程图；
图3是深度信息补全模型的网络训练结构示意图；
图4是基本训练单元的结构示意图；
图5是通道级增强流程图；
图6是像素级增强流程图；
图7是根据本申请的深度信息补全模型优化方法的一个实施例的流程图；
图8是根据本申请的深度信息补全模型训练装置的一个实施例的结构示意图；
图9是用来实现本申请实施例的深度信息补全模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的深度信息补全模型训练方法的一个实施例的流程100。该深度信息补全模型训练方法包括以下步骤：
步骤101，获取训练数据。
在本实施例中，深度信息补全模型训练方法的执行主体可以获取训练数据。其中，训练数据可以包括第一稀疏深度图像、第一彩色图像和第一稠密深度图像。深度图像的每个像素点的像素值可以是传感器与所采集的物体表面的每个点之间的距离。第一稀疏深度图像是像素点较为稀疏的深度图像。第一稠密深度图像可以是像素点较为稠密的深度图像。彩色图像的每个像素点的像素值可以是所采集的物体表面的每个点的颜色值。通常，人类视力所能感知的所有颜色均是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到的。常用的传感器是雷达设备和摄像头。摄像头用于采集彩色图像。雷达设备用于采集深度图像。雷达设备包括16线、32线和64线等，其线数越多，采集到的深度图像越稠密，其价格也越贵。雷达设备和摄像头通常安装在自动驾驶车辆上，用于采集自动驾驶车辆在行驶过程中的周围环境的图像。自动驾驶车辆可以包括但不限于无人驾驶汽车、无人自主挖掘机等等。
其中，第一稀疏深度图像、第一彩色图像和第一稠密深度图像三者对应。例如，第一稀疏深度图像、第一稠密深度图像和第一彩色图像是在同一时刻对同一场景进行采集所得到的图像。又例如，第一稀疏深度图像和第一彩色图像是在同一时刻对同一场景进行采集所得到的图像，而第一稠密深度图像是基于第一稀疏深度图像生成的。再例如，第一稠密深度图像和第一彩色图像是在同一时刻对同一场景进行采集所得到的图像，而第一稀疏深度图像是基于第一稠密深度图像生成的。
在本实施例的一些可选的实现方式中，上述执行主体可以首先获取第一稠密深度图像和对应的第一彩色图像；然后对第一稠密深度图像进行随机采样，生成第一稀疏深度图像。例如，利用线数很多的雷达设备采集相对密集的深度图像，作为第一稠密深度图像。同时，利用摄像头对应采集彩色图像，作为第一彩色图像。对于对应的第一稀疏深度图像，可以使用对相对密集的深度图像进行随机采样的方式产生，从而丰富了训练样本的生成方式。
在本实施例的一些可选的实现方式中，上述执行主体可以首先获取第一稀疏深度图像和第一彩色图像；然后将第一稀疏深度图像中的临近的多帧投影为一帧，生成第一稠密深度图像。例如，利用雷达设备连续采集稀疏深度图像。同时，利用摄像头对应采集彩色图像，作为第一彩色图像。对于对应的第一稠密深度图像，可以通过将临近的多帧稀疏深度图像投影到一帧的方式产生。对于第一稀疏深度图像，既可以直接使用雷达设备采集的稀疏深度图像，也可以使用对第一稠密深度图像进行随机采样的方式产生，从而丰富了训练样本的生成方式。
步骤102，将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型。
在本实施例中，上述执行主体可以将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型。
其中，深度信息补全模型可以是利用深度学习方法有监督训练而得到。在训练过程中，先融合第一稀疏深度图像和第一彩色图像进行特征提取，再进行特征增强，从而训练出用于有效获取稠密深度图像的模型。
在本实施例的一些可选的实现方式中，上述执行主体可以利用训练得到的深度信息补全模型进行深度信息补全。具体地，上述执行主体可以将待补全稀疏深度图像和对应的彩色图像输入至深度信息补全模型，即可有效获取对应的稠密深度图像。深度信息补全具有广大的应用前景，可应用于计算机视觉、自动驾驶等领域，如三维物体检测、场景三维重建等。
本申请实施例提供的深度信息补全模型训练方法，首先获取训练数据；然后将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型。在训练过程中，以稀疏深度图像和对应的彩色图像作为输入，先融合稀疏深度图像和彩色图像进行特征提取，再进行特征增强，能够训练出用于有效获取稠密深度图像的模型。
继续参考图2，其示出了根据本申请的深度信息补全模型训练方法的又一个实施例的流程200。该深度信息补全模型包括K(K为正整数)个基本训练单元，该深度信息补全模型训练方法包括以下步骤：
步骤201，获取训练数据。
在本实施例中，步骤201具体操作已在图1所示的实施例中步骤101进行了详细的介绍，在此不再赘述。
步骤202，将输入深度图像和第一彩色图像输入当前基本训练单元，得到当前深度图像。
在本实施例中，深度信息补全模型训练方法的执行主体可以将输入深度图像和第一彩色图像输入当前基本训练单元，得到当前深度图像。
其中，深度信息补全模型可以是多阶段网络结构，包括K个级联的基本训练单元，上一个基本训练单元输出的深度图像可以输入到当前基本训练单元，而当前基本训练单元输出的深度图像又可以输入到下一个基本训练单元。在训练过程中，当前基本训练单元先对分别从输入深度图像和第一彩色图像中提取的特征进行特征融合，再进行特征增强，从而输出相对于输入深度图像更加密集的深度图像，完成当前阶段训练。
需要说明的是，若当前基本训练单元是第一个基本训练单元，其不存在上一个基本训练单元，此时，输入深度图像就是第一稀疏深度图像。若当前基本训练单元不是第一个基本训练单元，输入深度图像就是上一个基本训练单元输出的深度图像。
步骤203，将当前深度图像和第一彩色图像输入下一个基本训练单元。
在本实施例中，上述执行主体可以将当前深度图像和第一彩色图像输入下一个基本训练单元，下一个基本训练单元执行步骤202类似的操作，直至第K个基本训练单元完成第K个阶段的训练。
步骤204，经过K阶段训练，输出最终深度图像。
在本实施例中，经过K阶段训练，第K个基本训练单元输出的深度图像就是最终深度图像。
步骤205，基于K个基本训练单元输出的深度图像与第一稠密深度图像之间的残差，调整K个基本训练单元的参数。
在本实施例中，对于任意一个基本训练单元，上述执行主体可以计算这个基本训练单元输出的深度图像与第一稠密深度图像之间的残差，调整这个基本训练单元的参数。
其中，每个基本训练单元的学习目标是其输出的深度图像与第一稠密深度图像之间的残差，从而使输出的深度图像可以迭代的逐渐接近第一稠密深度图像，从而获得高质量的稠密深度图像。
为了便于理解，图3示出了深度信息补全模型的网络训练结构示意图。如图3所示，稀疏深度图像和彩色图像输入到基本训练单元1，输出稠密深度图像1。其中，稠密深度图像1较稀疏深度图像更加密集。稠密深度图像1和彩色图像输入到基本训练单元2，输出稠密深度图像2。其中，稠密深度图像2较稠密深度图像1更加密集。经过K次迭代，基本训练单元K输出稠密深度图像K。其中，稠密深度图像K较稠密深度图像1到稠密深度图像K-1都更加密集。
从图2中可以看出，与图1对应的实施例相比，本实施例中的深度信息补全模型训练方法的流程200突出了模型训练步骤。由此，本实施例描述的方案提供了一种多阶段网络结构的深度信息补全模型。在训练过程中，经过多阶段的迭代使输出的深度图像逐渐变得更加密集，从而训练出用于有效获取高质量的稠密深度图像的模型。
进一步参考图4，其示出了基本训练单元的结构示意图。如图4所示，基本训练单元可以包括编码模块(斜线填充框)、特征增强模块(无填充框)和解码模块(竖线填充框)。
输入深度图像和第一彩色图像可以融合后输入到编码模块。其中，融合方式是通道融合，即，将1通道的输入深度图像与3通道的第一彩色图像进行通道融合，得到4通道的融合图像。编码模块用于对融合图像进行特征提取。编码模块可以包括多个卷积层，通过执行多次卷积操作进行特征提取。每个卷积操作包含k×k的卷积核及c层通道。对于编码模块，c＝4。编码模块可以是常用的特征提取网络，包括但不限于VGG(Visual GeometryGroup，视觉几何组)模型、ResNet(Residual Network，残差网络)等。
特征增强模块可以用于对编码模块提取的特征进行特征增强。特征增强模块可以包括通道级特征增强和像素级特征增强中的至少一项功能。当同时用于通道级特征增强和像素级特征增强时，特征增强模块还可以用于通道级特征和像素级特征融合。
解码模型可以包括与编码模块数量相同的卷积层，是编码模块的逆向操作。同样，解码模块可以包括多个卷积层，通过执行多次卷积操作进行深度图像恢复。每个卷积操作包含k×k的卷积核及c层通道。对于解码模块，c＝4。解码模块可以是常用的特征提取网络，包括但不限于VGG模型、ResNet等。
进一步参考图5，其示出了通道级增强流程图。如图5所示，特征增强模块用于对输入深度图像和第一彩色图像的融合特征F(c×w×h)进行通道级增强。其中，c是通道数，这里的值为4。w是矩阵的宽、h是矩阵的高。通道级增强流程如下：
首先，对于特征F(c×w×h)，通过卷积和矩阵变维(如reshape)操作，得到两种特征：特征Qc(c×(h*w))和特征Hc((h*w)×c)。
之后，将特征Qc(c×(h*w))和特征Hc((h*w)×c)进行矩阵乘法操作，得到矩阵Mc(c×c)。
然后，对矩阵Mc(c×c)进行回归(如softmax)操作，得到新的权重Mc′(c×c)。
另外，对特征F(c×w×h)进行卷积操作，得到新的特征Fc′(c×w×h)。
随后，通过权重Mc′(c×c)和特征Fc′(c×w×h)进行矩阵乘法操作，得到增强特征Fh(c×w×h)。
最后，对增强特征Fh(c×w×h)与特征Fc′(c×w×h)进行像素级加法，得到通道级增强特征Fc(c×w×h)。
进一步参考图6，其示出了像素级增强流程图。如图6所示，特征增强模块用于对输入深度图像和第一彩色图像的融合特征F(c×w×h)进行像素级增强。其中，c是通道数，这里的值为4。w是矩阵的宽、h是矩阵的高。像素级增强流程如下：
首先，对于特征F(c×w×h)，通过卷积和矩阵变维(如reshape)操作，得到两种特征：特征Qp((h*w)×c)和特征Hp(c×(h*w))。
之后，将特征Qp((h*w)×c)和特征Hp(c×(h*w))进行矩阵乘法操作，得到矩阵Mp((h*w)×(h*w))。
然后，对矩阵Mp((h*w)×(h*w))进行回归(如softmax)操作，得到新的权重Mp′((h*w)×(h*w))。
另外，对特征F(c×w×h)进行卷积操作，得到新的特征Fp′(c×w×h)。
随后，通过权重Mp′((h*w)×(h*w))和特征Fp′(c×w×h)进行矩阵乘法操作，得到增强特征Fh′(c×w×h)。
最后，对增强特征Fh′(c×w×h)与特征Fp′(c×w×h)进行像素级加法，得到像素级增强特征Fp(c×w×h)。
当同时进行通道级特征增强和像素级特征增强时，特征增强模块可以基于可学习的参数，将通道级增强特征Fc(c×w×h)和像素级增强特征Fp(c×w×h)融合，得到融合特征。具体公式如下：
F＝a×Fc(c×w×h)+b×Fp(c×w×h)。
其中，F是融合特征，a与b是可学习的参数。
进一步参考图7，其示出了根据本申请的深度信息补全模型优化方法的一个实施例的流程700。该深度信息补全模型优化方法包括以下步骤：
步骤701，获取测试数据。
在本实施例中，深度信息补全模型优化方法的执行主体可以获取测试数据。其中，测试数据可以包括第二稀疏深度图像、第二彩色图像和第二稠密深度图像。第二稀疏深度图像、第二彩色图像和第二稠密深度图像三者对应。
需要说明的是，测试数据类似于图1所示的实施例中的训练数据，这里不再赘述。
步骤702，将第二稀疏深度图像和第二彩色图像输入到深度信息补全模型，得到补全稠密深度图像。
在本实施例中，上述执行主体可以将第二稀疏深度图像和第二彩色图像输入到深度信息补全模型，得到补全稠密深度图像。其中，补全稠密深度图像是深度信息补全模型基于第二稀疏深度图像和第二彩色图像进行补全后的深度图像，其较第二稀疏深度图像更加密集。
步骤703，计算补全稠密深度图像与第二稠密深度图像之间的残差，以及在残差大于预设阈值的情况下，优化深度信息补全模型。
在本实施例中，上述执行主体可以计算补全稠密深度图像与第二稠密深度图像之间的残差，并在残差大于预设阈值的情况下，优化深度信息补全模型。其中，优化深度信息补全模型的方式可以包括但不限于：增加基本训练单元的数量、增加训练次数、增加训练数据等等。
其中，残差可以用于评估深度信息补全模型的性能，残差越小，模型性能越好；残差越大，模型性能越差。在残差大于预设阈值的情况下，说明模型性能较差，需要优化深度信息补全模型；在残差不大于预设阈值的情况下，说明模型性能较好，无需优化深度信息补全模型。
本申请实施例提供的深度信息补全模型优化方法，首先获取测试数据；然后将第二稀疏深度图像和第二彩色图像输入到深度信息补全模型，得到补全稠密深度图像；最后计算补全稠密深度图像与第二稠密深度图像之间的残差，以及在残差大于预设阈值的情况下，优化深度信息补全模型。在训练阶段，利用训练数据得到深度信息补全模型。在测试阶段，利用测试数据测试深度信息补全模型的性能。在深度信息补全模型输出的补全稠密深度图像与第二稠密深度图像之间的残差过大的情况下，提升深度信息补全模型的性能，从而实现整个系统的自我优化。
进一步参考图8，作为对上述各图所示方法的实现，本申请提供了一种深度信息补全模型训练装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例的深度信息补全模型训练装置800可以包括：训练数据获取模块801和模型训练模块802。其中，训练数据获取模块801，被配置成获取训练数据，其中，训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；模型训练模块802，被配置成将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合第一稀疏深度图像和第一彩色图像进行特征提取，再进行特征增强。
在本实施例中，深度信息补全模型训练装置800中：训练数据获取模块801和模型训练模块802的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101-102的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，深度信息补全模型包括K个基本训练单元，K为正整数；以及模型训练模块802进一步被配置成：将输入深度图像和第一彩色图像输入当前基本训练单元，得到当前深度图像，将当前深度图像和第一彩色图像输入下一个基本训练单元，经过K阶段训练，输出最终深度图像，其中，若当前基本训练单元是第一个基本训练单元，输入深度图像是第一稀疏深度图像，若当前基本训练单元不是第一个基本训练单元，输入深度图像是上一个基本训练单元输出的深度图像；基于K个基本训练单元输出的深度图像与第一稠密深度图像之间的残差，调整K个基本训练单元的参数。
在本实施例的一些可选的实现方式中，基本训练单元包括编码模块、特征增强模块和解码模块，编码模块包括多个卷积层，用于融合输入深度图像和第一彩色图像进行特征提取，特征增强模块用于对编码模块提取的特征进行特征增强，解码模型包括与编码模块数量相同的卷积层，是编码模块的逆向操作。
在本实施例的一些可选的实现方式中，特征增强模块用于通道级特征增强和像素级特征增强，以及通道级特征和像素级特征融合。
在本实施例的一些可选的实现方式中，模型训练模块802包括通道级特征增强子模块，通道级特征增强子模块被配置成：对于特征F(c×w×h)，通过卷积和矩阵变维操作，得到特征Qc(c×(h*w))和特征Hc((h*w)×c)，其中，c是通道数，w是宽、h是高；将特征Qc(c×(h*w))和特征Hc((h*w)×c)进行矩阵乘法操作，得到矩阵Mc(c×c)；对矩阵Mc(c×c)进行回归操作，得到权重Mc′(c×c)；对特征F(c×w×h)进行卷积操作，得到特征Fc′(c×w×h)；通过权重Mc′(c×c)和特征Fc′(c×w×h)进行矩阵乘法操作，得到增强特征Fh(c×w×h)；对增强特征Fh(c×w×h)与特征Fc′(c×w×h)进行像素级加法，得到通道级增强特征Fc(c×w×h)。
在本实施例的一些可选的实现方式中，模型训练模块802包括像素级特征增强子模块，像素级特征增强子模块被配置成：对于特征F(c×w×h)，通过卷积和矩阵变维操作，得到特征Qp((h*w)×c)和特征Hp(c×(h*w))，其中，c是通道数，w是宽、h是高；将特征Qp((h*w)×c)和特征Hp(c×(h*w))进行矩阵乘法操作，得到矩阵Mp((h*w)×(h*w))；对矩阵Mp((h*w)×(h*w))进行回归操作，得到权重Mp′((h*w)×(h*w))；对特征F(c×w×h)进行卷积操作，得到特征Fp′(c×w×h)；通过权重Mp′((h*w)×(h*w))和特征Fp′(c×w×h)进行矩阵乘法操作，得到增强特征Fh′(c×w×h)；对增强特征Fh′(c×w×h)与特征Fp′(c×w×h)进行像素级加法，得到像素级增强特征Fp(c×w×h)。
在本实施例的一些可选的实现方式中，模型训练模块802包括特征融合子模块，特征融合子模块被配置成：基于可学习的参数，将通道级增强特征Fc(c×w×h)和像素级增强特征Fp(c×w×h)融合，得到融合特征。
在本实施例的一些可选的实现方式中，深度信息补全模型训练装置800还包括：测试数据获取模块，被配置成获取测试数据，其中，测试数据包括第二稀疏深度图像、对应的第二彩色图像和对应的第二稠密深度图像；信息补全模块，被配置成将第二稀疏深度图像和第二彩色图像输入到深度信息补全模型，得到补全稠密深度图像；模型优化模块，被配置成计算补全稠密深度图像与第二稠密深度图像之间的残差，以及在残差大于预设阈值的情况下，优化深度信息补全模型。
在本实施例的一些可选的实现方式中，优化深度信息补全模型的方式包括以下至少一项：增加基本训练单元的数量、增加训练次数、增加训练数据。
在本实施例的一些可选的实现方式中，训练数据获取模块801进一步被配置成：获取第一稠密深度图像和第一彩色图像；对第一稠密深度图像进行随机采样，生成第一稀疏深度图像。
在本实施例的一些可选的实现方式中，训练数据获取模块801进一步被配置成：获取第一稀疏深度图像和第一彩色图像；将第一稀疏深度图像中的临近的多帧投影为一帧，生成第一稠密深度图像。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种程序产品。
如图9所示，是根据本申请实施例深度信息补全模型训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的深度信息补全模型训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的深度信息补全模型训练方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的深度信息补全模型训练方法对应的程序指令/模块(例如，附图8所示的训练数据获取模块801和模型训练模块802)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的深度信息补全模型训练方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据深度信息补全模型训练方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至深度信息补全模型训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
深度信息补全模型训练方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与深度信息补全模型训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请的技术方案，首先获取训练数据；然后将第一稀疏深度图像和第一彩色图像作为输入，将第一稠密深度图像作为输出，训练得到深度信息补全模型。在训练过程中，以稀疏深度图像和对应的彩色图像作为输入，先融合稀疏深度图像和彩色图像进行特征提取，再进行特征增强，能够训练出用于有效获取稠密深度图像的模型。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (18)
1.一种深度信息补全模型训练方法，包括：
获取训练数据，其中，所述训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；
将所述第一稀疏深度图像和所述第一彩色图像作为输入，将所述第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合所述第一稀疏深度图像和所述第一彩色图像进行特征提取，再进行特征增强，所述深度信息补全模型包括K个基本训练单元，K为正整数，所述基本训练单元包括编码模块、特征增强模块和解码模块，所述编码模块包括多个卷积层，用于融合输入深度图像和所述第一彩色图像进行特征提取，所述输入深度图像和所述第一彩色图像融合后输入到所述编码模块，融合方式是通道融合，所述特征增强模块用于对所述编码模块提取的特征进行特征增强，所述解码模型包括与所述编码模块数量相同的卷积层，是所述编码模块的逆向操作；特征增强模块用于通道级特征增强和像素级特征增强，以及通道级特征和像素级特征融合；
其中，所述特征增强模块的通道级特征增强步骤包括：
对于特征F(c×w×h)，通过卷积和矩阵变维操作，得到特征Qc(c×(h*w))和特征Hc((h*w)×c)，其中，c是通道数，w是宽、h是高；
将所述特征Qc(c×(h*w))和所述特征Hc((h*w)×c)进行矩阵乘法操作，得到矩阵Mc(c×c)；
对所述矩阵Mc(c×c)进行回归操作，得到权重Mcʹ(c×c)；
对所述特征F(c×w×h)进行卷积操作，得到特征Fcʹ(c×w×h)；
通过所述权重Mcʹ(c×c)和所述特征Fcʹ(c×w×h)进行矩阵乘法操作，得到增强特征Fh(c×w×h)；
对所述增强特征Fh(c×w×h)与所述特征Fcʹ(c×w×h)进行像素级加法，得到通道级增强特征Fc(c×w×h)。
2.根据权利要求1所述的方法，其中，所述将所述第一稀疏深度图像和所述第一彩色图像作为输入，将所述第一稠密深度图像作为输出，训练得到深度信息补全模型，包括：
将输入深度图像和所述第一彩色图像输入当前基本训练单元，得到当前深度图像，将当前深度图像和所述第一彩色图像输入下一个基本训练单元，经过K阶段训练，输出最终深度图像，其中，若当前基本训练单元是第一个基本训练单元，输入深度图像是所述第一稀疏深度图像，若当前基本训练单元不是第一个基本训练单元，输入深度图像是上一个基本训练单元输出的深度图像；
基于所述K个基本训练单元输出的深度图像与所述第一稠密深度图像之间的残差，调整所述K个基本训练单元的参数。
3.根据权利要求2所述的方法，其中，所述特征增强模块的像素级特征增强步骤包括：
对于特征F(c×w×h)，通过卷积和矩阵变维操作，得到特征Qp((h*w)×c)和特征Hp(c×(h*w))，其中，c是通道数，w是宽、h是高；
将所述特征Qp((h*w)×c)和所述特征Hp(c×(h*w))进行矩阵乘法操作，得到矩阵Mp((h*w)×(h*w))；
对所述矩阵Mp((h*w)×(h*w))进行回归操作，得到权重Mpʹ((h*w)×(h*w))；
对所述特征F(c×w×h)进行卷积操作，得到特征Fpʹ(c×w×h)；
通过所述权重Mpʹ((h*w)×(h*w))和所述特征Fpʹ(c×w×h)进行矩阵乘法操作，得到增强特征Fhʹ(c×w×h)；
对所述增强特征Fhʹ(c×w×h)与所述特征Fpʹ(c×w×h)进行像素级加法，得到像素级增强特征Fp(c×w×h)。
4.根据权利要求3所述的方法，其中，所述特征增强模块的特征融合步骤包括：
基于可学习的参数，将所述通道级增强特征Fc(c×w×h)和所述像素级增强特征Fp(c×w×h)融合，得到融合特征。
5.根据权利要求1-4之一所述的方法，其中，所述方法还包括：
获取测试数据，其中，所述测试数据包括第二稀疏深度图像、对应的第二彩色图像和对应的第二稠密深度图像；
将所述第二稀疏深度图像和所述第二彩色图像输入到所述深度信息补全模型，得到补全稠密深度图像；
计算所述补全稠密深度图像与所述第二稠密深度图像之间的残差，以及在残差大于预设阈值的情况下，优化所述深度信息补全模型。
6.根据权利要求5所述的方法，其中，优化所述深度信息补全模型的方式包括以下至少一项：增加基本训练单元的数量、增加训练次数、增加训练数据。
7.根据权利要求1-4之一所述的方法，其中，所述获取训练数据，包括：
获取所述第一稠密深度图像和所述第一彩色图像；
对所述第一稠密深度图像进行随机采样，生成所述第一稀疏深度图像。
8.根据权利要求1-4之一所述的方法，其中，所述获取训练数据，包括：
获取所述第一稀疏深度图像和所述第一彩色图像；
将所述第一稀疏深度图像中的临近的多帧投影为一帧，生成所述第一稠密深度图像。
9.一种深度信息补全模型训练装置，包括：
训练数据获取模块，被配置成获取训练数据，其中，所述训练数据包括第一稀疏深度图像、对应的第一彩色图像和对应的第一稠密深度图像；
模型训练模块，被配置成将所述第一稀疏深度图像和所述第一彩色图像作为输入，将所述第一稠密深度图像作为输出，训练得到深度信息补全模型，其中，在训练过程中，先融合所述第一稀疏深度图像和所述第一彩色图像进行特征提取，再进行特征增强，，所述深度信息补全模型包括K个基本训练单元，K为正整数，所述基本训练单元包括编码模块、特征增强模块和解码模块，所述编码模块包括多个卷积层，用于融合输入深度图像和所述第一彩色图像进行特征提取，所述输入深度图像和所述第一彩色图像融合后输入到所述编码模块，融合方式是通道融合，所述特征增强模块用于对所述编码模块提取的特征进行特征增强，所述解码模型包括与所述编码模块数量相同的卷积层，是所述编码模块的逆向操作；特征增强模块用于通道级特征增强和像素级特征增强，以及通道级特征和像素级特征融合；
其中，所述模型训练模块包括通道级特征增强子模块，所述通道级特征增强子模块被配置成：
对于特征F(c×w×h)，通过卷积和矩阵变维操作，得到特征Qc(c×(h*w))和特征Hc((h*w)×c)，其中，c是通道数，w是宽、h是高；
将所述特征Qc(c×(h*w))和所述特征Hc((h*w)×c)进行矩阵乘法操作，得到矩阵Mc(c×c)；
对所述矩阵Mc(c×c)进行回归操作，得到权重Mcʹ(c×c)；
对所述特征F(c×w×h)进行卷积操作，得到特征Fcʹ(c×w×h)；
通过所述权重Mcʹ(c×c)和所述特征Fcʹ(c×w×h)进行矩阵乘法操作，得到增强特征Fh(c×w×h)；
对所述增强特征Fh(c×w×h)与所述特征Fcʹ(c×w×h)进行像素级加法，得到通道级增强特征Fc(c×w×h)。
10.根据权利要求9所述的装置，其中，
所述模型训练模块进一步被配置成：
将输入深度图像和所述第一彩色图像输入当前基本训练单元，得到当前深度图像，将当前深度图像和所述第一彩色图像输入下一个基本训练单元，经过K阶段训练，输出最终深度图像，其中，若当前基本训练单元是第一个基本训练单元，输入深度图像是所述第一稀疏深度图像，若当前基本训练单元不是第一个基本训练单元，输入深度图像是上一个基本训练单元输出的深度图像；
基于所述K个基本训练单元输出的深度图像与所述第一稠密深度图像之间的残差，调整所述K个基本训练单元的参数。
11.根据权利要求10所述的装置，其中，所述模型训练模块包括像素级特征增强子模块，所述像素级特征增强子模块被配置成：
对于特征F(c×w×h)，通过卷积和矩阵变维操作，得到特征Qp((h*w)×c)和特征Hp(c×(h*w))，其中，c是通道数，w是宽、h是高；
将所述特征Qp((h*w)×c)和所述特征Hp(c×(h*w))进行矩阵乘法操作，得到矩阵Mp((h*w)×(h*w))；
对所述矩阵Mp((h*w)×(h*w))进行回归操作，得到权重Mpʹ((h*w)×(h*w))；
对所述特征F(c×w×h)进行卷积操作，得到特征Fpʹ(c×w×h)；
通过所述权重Mpʹ((h*w)×(h*w))和所述特征Fpʹ(c×w×h)进行矩阵乘法操作，得到增强特征Fhʹ(c×w×h)；
对所述增强特征Fhʹ(c×w×h)与所述特征Fpʹ(c×w×h)进行像素级加法，得到像素级增强特征Fp(c×w×h)。
12.根据权利要求11所述的装置，其中，所述模型训练模块包括特征融合子模块，所述特征融合子模块被配置成：
基于可学习的参数，将所述通道级增强特征Fc(c×w×h)和所述像素级增强特征Fp(c×w×h)融合，得到融合特征。
13.根据权利要求9-12之一所述的装置，其中，所述装置还包括：
测试数据获取模块，被配置成获取测试数据，其中，所述测试数据包括第二稀疏深度图像、对应的第二彩色图像和对应的第二稠密深度图像；
信息补全模块，被配置成将所述第二稀疏深度图像和所述第二彩色图像输入到所述深度信息补全模型，得到补全稠密深度图像；
模型优化模块，被配置成计算所述补全稠密深度图像与所述第二稠密深度图像之间的残差，以及在残差大于预设阈值的情况下，优化所述深度信息补全模型。
14.根据权利要求13所述的装置，其中，优化所述深度信息补全模型的方式包括以下至少一项：增加基本训练单元的数量、增加训练次数、增加训练数据。
15.根据权利要求9-12之一所述的装置，其中，所述训练数据获取模块进一步被配置成：
获取所述第一稠密深度图像和所述第一彩色图像；
对所述第一稠密深度图像进行随机采样，生成所述第一稀疏深度图像。
16.根据权利要求9-12之一所述的装置，其中，所述训练数据获取模块进一步被配置成：
获取所述第一稀疏深度图像和所述第一彩色图像；
将所述第一稀疏深度图像中的临近的多帧投影为一帧，生成所述第一稠密深度图像。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011563579.4A CN112541482B (zh) | 2020-12-25 | 2020-12-25 | 深度信息补全模型训练方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011563579.4A CN112541482B (zh) | 2020-12-25 | 2020-12-25 | 深度信息补全模型训练方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541482A CN112541482A (zh) | 2021-03-23 |
| CN112541482B true CN112541482B (zh) | 2024-04-02 |
Family
ID=75018175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011563579.4A Active CN112541482B (zh) | 2020-12-25 | 2020-12-25 | 深度信息补全模型训练方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541482B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862006B (zh) * | 2021-03-25 | 2024-02-06 | 北京百度网讯科技有限公司 | 图像深度信息获取模型的训练方法、装置及电子设备 |
| CN113269689B (zh) * | 2021-05-25 | 2023-08-29 | 西安交通大学 | 一种基于法向量和高斯权重约束的深度图像补全方法及系统 |
| CN113362409B (zh) * | 2021-05-28 | 2023-10-31 | 北京百度网讯科技有限公司 | 图像上色及其模型训练方法、装置、电子设备、存储介质 |
| CN113592932A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 深度补全网络的训练方法、装置、电子设备及存储介质 |
| CN113554550B (zh) * | 2021-06-30 | 2023-08-04 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN113780349B (zh) * | 2021-08-09 | 2023-07-11 | 深圳奥锐达科技有限公司 | 训练样本集的获取方法、模型训练方法及相关装置 |
| CN113763447B (zh) * | 2021-08-24 | 2022-08-26 | 合肥的卢深视科技有限公司 | 深度图的补全方法、电子设备及存储介质 |
| CN114638869A (zh) * | 2022-02-16 | 2022-06-17 | 奥比中光科技集团股份有限公司 | 深度图像的获取方法、装置、深度系统、终端和存储介质 |
| CN115272709B (zh) * | 2022-07-29 | 2023-08-15 | 梅卡曼德（北京）机器人科技有限公司 | 深度补全模型的训练方法、装置、设备、介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013258455A (ja) * | 2012-06-11 | 2013-12-26 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、方法、及びプログラム |
| CN109558882A (zh) * | 2018-11-30 | 2019-04-02 | 苏州大学 | 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置 |
| CN110097589A (zh) * | 2019-04-29 | 2019-08-06 | 广东工业大学 | 一种应用于稀疏地图稠密化的深度补全方法 |
| CN110910327A (zh) * | 2019-11-26 | 2020-03-24 | 福州大学 | 一种基于掩模增强网络模型的无监督深度补全方法 |
| CN110992271A (zh) * | 2020-03-04 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 图像处理方法、路径规划方法、装置、设备及存储介质 |
| CN111062981A (zh) * | 2019-12-13 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及存储介质 |
| CN111932464A (zh) * | 2020-09-18 | 2020-11-13 | 北京百度网讯科技有限公司 | 超分辨率模型使用和训练方法、装置、设备及介质 |
| CN112001914A (zh) * | 2020-08-31 | 2020-11-27 | 三星（中国）半导体有限公司 | 深度图像补全的方法和装置 |
| CN112560875A (zh) * | 2020-12-25 | 2021-03-26 | 北京百度网讯科技有限公司 | 深度信息补全模型训练方法、装置、设备以及存储介质 |
-
2020
- 2020-12-25 CN CN202011563579.4A patent/CN112541482B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013258455A (ja) * | 2012-06-11 | 2013-12-26 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、方法、及びプログラム |
| CN109558882A (zh) * | 2018-11-30 | 2019-04-02 | 苏州大学 | 基于鲁棒局部低秩稀疏cnn特征的图像分类方法及装置 |
| CN110097589A (zh) * | 2019-04-29 | 2019-08-06 | 广东工业大学 | 一种应用于稀疏地图稠密化的深度补全方法 |
| CN110910327A (zh) * | 2019-11-26 | 2020-03-24 | 福州大学 | 一种基于掩模增强网络模型的无监督深度补全方法 |
| CN111062981A (zh) * | 2019-12-13 | 2020-04-24 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及存储介质 |
| CN110992271A (zh) * | 2020-03-04 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 图像处理方法、路径规划方法、装置、设备及存储介质 |
| CN112001914A (zh) * | 2020-08-31 | 2020-11-27 | 三星（中国）半导体有限公司 | 深度图像补全的方法和装置 |
| CN111932464A (zh) * | 2020-09-18 | 2020-11-13 | 北京百度网讯科技有限公司 | 超分辨率模型使用和训练方法、装置、设备及介质 |
| CN112560875A (zh) * | 2020-12-25 | 2021-03-26 | 北京百度网讯科技有限公司 | 深度信息补全模型训练方法、装置、设备以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于引导对抗网络的人体深度图像修补方法;阴敬方;朱登明;石敏;王兆其;;系统仿真学报(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541482A (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541482B (zh) | 深度信息补全模型训练方法、装置、设备以及存储介质 | |
| CN112560875B (zh) | 深度信息补全模型训练方法、装置、设备以及存储介质 | |
| Anwar et al. | Densely residual laplacian super-resolution | |
| CN109271933B (zh) | 基于视频流进行三维人体姿态估计的方法 | |
| CN111753961B (zh) | 模型训练方法和装置、预测方法和装置 | |
| CN108537746B (zh) | 一种基于深度卷积网络的模糊可变图像盲复原方法 | |
| CN111291885B (zh) | 近红外图像的生成方法、生成网络的训练方法和装置 | |
| US20180324465A1 (en) | Edge-aware spatio-temporal filtering and optical flow estimation in real time | |
| CN111028177A (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN111739005B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN111415298B (zh) | 图像拼接方法、装置、电子设备及计算机可读存储介质 | |
| EP3819820A2 (en) | Method and apparatus for recognizing key identifier in video, device and storage medium | |
| CN111932464B (zh) | 超分辨率模型使用和训练方法、装置、设备及介质 | |
| CN111598131B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112489102A (zh) | 三维重建方法、装置、设备以及存储介质 | |
| CN112584077A (zh) | 视频的插帧方法、装置及电子设备 | |
| CN109903315A (zh) | 用于光流预测的方法、装置、设备以及可读存储介质 | |
| CN111553840A (zh) | 图像超分辨的模型训练和处理方法、装置、设备和介质 | |
| Wang et al. | Underwater image super-resolution using multi-stage information distillation networks | |
| CN111860225B (zh) | 一种图像处理的方法、装置、电子设备及存储介质 | |
| CN111768466B (zh) | 图像填充方法、装置、设备及存储介质 | |
| Hu et al. | Lightweight single image deraining algorithm incorporating visual saliency | |
| WO2024082602A1 (zh) | 一种端到端视觉里程计方法及装置 | |
| CN116757962A (zh) | 一种图像去噪方法、装置 | |
| CN113362409B (zh) | 图像上色及其模型训练方法、装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |