CN110490797A - 一种基于双流深层卷积网络的深度图像超分辨率重建方法 - Google Patents
一种基于双流深层卷积网络的深度图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN110490797A CN110490797A CN201910602094.2A CN201910602094A CN110490797A CN 110490797 A CN110490797 A CN 110490797A CN 201910602094 A CN201910602094 A CN 201910602094A CN 110490797 A CN110490797 A CN 110490797A
- Authority
- CN
- China
- Prior art keywords
- convolutional
- depth image
- layer
- double
- convolutional layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 230000004913 activation Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 239000012530 fluid Substances 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 230000010076 replication Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双流深层卷积网络的深度图像超分辨率重建方法，通过双流卷积神经网络将彩色图像和深度图像中有价值的指导信息提取出来，然后将它们集成到一起，最后通过超分辨重建网络获得一张高分辨率、高质量的深度图像。
Description
技术领域
本发明涉及一种深度图像超分辨率重建方法，尤其涉及一种基于双流深层卷积网络的深度图像超分辨率重建方法。
背景技术
随着3D成像领域的快速发展，如何使用消费级3D扫描设备生成具有可靠深度信息的深度图像引起了研究人员的关注。相比昂贵且无法实时测量的3D激光扫描仪，消费级3D扫描设备更便宜并且具有捕获快速移动物体的深度图的功能。然而，基于主动三维成像技术的3D扫描设备在分辨率和随机噪声方面仍然受到限制。例如，2代Kinect采集到的深度图的分辨率仅为512×424，这远远小于其采集到的彩色图像1920×1080的分辨率。为了促使获取的深度图像能够满足实际需要，研究者提出了深度图像超分辨率重建(Depth imageSuper-Resolution，DSR)，期望以基于传统的超分辨率方法从低分辨率深度输入来获得视觉上令人满意的高分辨率深度图像。
图像超分辨率技术已经广泛应用于医学图像、数字图像增强和视频监控等领域。由于深层神经网络已被证明能够从丰富的数据中提取有用的语义信息，并对许多计算机视觉任务非常有效。因此许多研究者尝试从深层神经网络的角度开发图像超分辨的方法，而对于深度图像超分辨率重建而言，由于3D扫描设备会同时采集深度图像和彩色图像，传统方法大都会利用与深度图像对齐的高分辨率彩色图像作为辅助。例如Kai-Han Lo等人使用联合三边滤波将彩色图像的颜色信息传播到深度图像，从而完成深度图像超分辨重建。然而这类方法可能会造成边缘模糊和产生纹理复制的伪像：如果彩色图像存在丰富颜色纹理的平滑区域，纹理信息将会被转移到上采样的深度图像表面；如果颜色边缘与深度边缘不能很好地对齐，则通过不适当地颜色接合，上采样地深度图像边界将是模糊的。
发明内容
本发明为了解决传统方法得到的深度图像边缘模糊、易产生纹理复制伪像的问题，提出了一种基于双流深层卷积网络的深度图像超分辨率重建方法。该方法结合了与深度图像对齐的彩色图像的信息，有效地减少纹理复制现象和边缘不连续效应，更好地逼近真实的高分辨率深度图像。
本发明所采取的技术方案为：本发明公开了一种基于双流深层卷积网络的深度图像超分辨率重建方法。通过双流卷积神经网络将彩色图像和深度图像中有价值的指导信息提取出来，然后将它们集成到一起，最后通过超分辨重建网络获得一张高分辨率、高质量的深度图像。具体步骤如下：
步骤1)使用彩色摄像机拍摄得到彩色图像，使用深度摄像机拍摄得到深度图像，根据两个摄像机的内外参数，将两幅图像映射到同一坐标系下，并将两幅图像中具有相同行列位置的像素点一一对应起来(深度图像与彩色图像分别由深度相机与彩色相机采集得到，两个相机并不重合，因此两幅图像也并不完全重合，而是存在一定视角差，想要使彩色图像有指导意义，需要将两幅图像一一对应起来)；
步骤2)对深度图像进行双三次插值，将其上采样至和彩色图像一样的大小；
步骤3)使用Canny算子分别对彩色图像和经过步骤2处理的深度图像提取边缘得到第一边缘图和第二边缘图，然后对第一边缘图和第二边缘图进行逻辑“与”操作，得到优化的边缘图；
步骤4)将经过步骤2处理的深度图像和步骤3获得的优化边缘图输入到双流卷积神经网络中，得到重建的高分辨率深度图像。
作为优选，步骤4中通过双流卷积神经网络，得到重建的高分辨图像具体为：
步骤4.1)卷积层C1-1和卷积层C2-1，卷积层C1-1输入经过步骤2处理的深度图像，卷积层C2-1输入由步骤3获得的优化边缘图，两个卷积层均通过n1个大小为f1×f1的滤波器，输出n1个特征图。其公式F1可表示为：
F1(X)＝max(0，W1*X+B1) (1)
其中W1代表卷积核的权值，其对应n1个c×f1×f1的卷积核，c是输入图像的信道数，f1×f1为卷积核尺寸。B1代表卷积核的权值偏置，其为n1维向量。‘*’代表卷积运算。即对输入的单张图像应用n1个卷积，输出n1个特征图，其中每个卷积核的大小为c×f1×f1；
步骤4.2)卷积层C1-2和卷积层C2-2，卷积层C1-2输入卷积层C1-1的输出，卷积层C2-2输入卷积层C2-1的输出，两个卷积层均通过n2个大小为f2×f2的滤波器，输出n2个特征图；
步骤4.3)卷积层C1-3和卷积层C2-3，卷积层C1-3输入卷积层C1-2的输出，卷积层C2-3输入卷积层C2-2的输出，两个卷积层均通过n3个大小为f3×f3的滤波器，输出n3个特征图；
步骤4.4)卷积层C3-1，将卷积层C1-3和卷积层C2-3的输出一起输入到卷积层C3-1中，通过n4个大小为f4×f4的滤波器，输出n4个特征图；
步骤4.5)3个残差模块Res-block，输入上一层的输出；
步骤4.6)卷积层C3-2，输入上一层的输出，通过n5个大小为f5×f5的滤波器，输出n5个特征图；
步骤4.7)卷积层C3-3，输入上一层的输出，通过1个大小为f6×f6的滤波器，输出重建的高分辨率的深度图像。
步骤4中的卷积神经网络中除C1-3、C2-3和C3-3的卷积层后都需要使用线性整流单元(ReLU)进行激活。
卷积神经网络训练时采用标准反向传播的随机梯度下降法来加速网络的收敛。本文使用均方误差建立损失函数，假设初始上采样的低分辨率深度图像为目标高分辨率深度图像为以及优化边缘图为Ei。给定的训练集表示为我们的工作旨在学习预测值的非线性映射关系F，其中是目标高分辨率深度图像的最佳估计。具体公式如下：
其中θ代表网络的参数，比如卷积核的权重参数和偏置，N代表训练时的样本数目。
本发明所产生的有益效果包括：本发明采用了以上技术方案，运用基于SRCNN的双流卷积神经网络技术，没有直接使用彩色图像来作为引导，而是将彩色图像和深度图像优化处理为边缘图后，再与双三次插值升采样的深度图像通过双流卷积神经网络，提取各自有价值的指导信息，然后聚合到一起，最后通过超分辨重建网络获得一张高分辨率、高质量的深度图像。为解决深层网络退化问题，本发明还引入了残差模块来提升训练效果。本发明可以有效地减少纹理复制现象和边缘不连续效应，更好地逼近真实的高分辨率深度图像。
附图说明
图1是本发明一种基于双流深层卷积网络的深度图像超分辨率重建方法的网络框架图；
图2是本发明中使用的残差模块示意图；
图3是本发明与其他不同方法的超分辨重建效果比较图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的解释说明，但应当理解为本发明的保护范围并不受具体实施例的限制。
如图1所示，本发明公开了一种基于双流深层卷积网络的深度图像超分辨率重建方法。该方法结合了与深度图像对齐的彩色图像的信息，有效地减少纹理复制现象和边缘不连续效应，更好地逼近真实的高分辨率深度图像。本发明的方法具体包括以下步骤：
a)将原始的高分辨率深度图像作为标签，再把Middlebury数据集中的深度图像进行2倍，4倍，8倍下采样然后重新上采样到原始深度图像的像素大小。使用Canny算子分别对深度图像和彩色图像提取边缘，然后对两幅边缘图进行逻辑“与”操作，得到最终优化边缘图；
b)将上采样后的深度图和优化边缘图分辨输入双流深层卷积网络中，进行特征提取，双流深层卷积网络包括第一卷积网络、第二卷积网络和第三卷积网络，其中每个卷积网络都包含了三层卷积层，第一卷积网络包括卷积层Conv1-1、Conv1-2和Conv1-3，第二卷积网络包括卷积层Conv2-1、Conv2-2和Conv2-3，第三卷积网络包括卷积层Conv3-1、Conv3-2和Conv3-3。第一层卷积层(Conv1-1和Conv2-1)和第二层卷积层(Conv1-2和Conv2-2)进行卷积运算和线性整流单元激活，第三层卷积层(Conv1-3和Conv2-3)仅进行卷积运算。第一层卷积层为n1个c×f1×f1的滤波器，其中c是输入图像的信道数，f1是滤波器的大小。输出为n1个特征图。该层使用ReLU(max(0,x))作为激活函数。与第一层卷积层相似，第二层卷积层为n2个f2×f2的滤波器，激活函数也是ReLU。第三层卷积层为n3个f3×f3的滤波器。深度图像和彩色图像的网络共享相同的结构和参数。最后，双流网络第三层卷积层的输出会作为特征融合部分的输入，在后续网络中进行组合，Conv1-3和Conv2-3分别输出低分辨率深度图像特征和高分辨率彩色图像边缘特征。
c)将由步骤b输出的低分辨率深度图像特征和高分辨率彩色图像边缘特征进行融合与映射。特征融合层即Conv3-1是一个卷积核大小为9×9的卷积层。残差模块的设置主要是用于解决深层网络退化问题，其包含了多个卷积层和激活函数，共有3个残差模块。残差模块的网络结构如图2所示，其包含两个卷积层(为与上面的卷积层区分，以下称残差卷积层)和两个ReLU激活函数，残差卷积层的每一层均为32个大小为3×3的卷积核。输入先经过一个残差卷积层(Conv)，经ReLU激活函数激活后进入第二个残差卷积层(Conv)，得到的结果和原输入相加并再此被激活，得到最终的输出。
d)将上一步骤的输出进行最后的整合。将步骤c的最终输出输入至卷积层Conv3-2，而后将卷积层Conv3-2的输出输入至卷积层Conv3-3；卷积层Conv3-2用于高分辨率特征融合，其卷积核大小为1×1，其输入来自从低分辨率特征非线性映射到高分辨率特征后的特征图；卷积层Conv3-3，其卷积核大小为5×5，没有激活函数，输出最终的高分辨率深度图像。
上述Conv1-1、Conv2-1、Conv1-2、Conv2-2、Conv1-3、Conv2-3分别为卷积层C1-1、卷积层C2-1、卷积层C1-2、卷积层C2-2、卷积层C1-3、卷积层C2-3。
为了验证算法的有效性，在Middlebury上执行算法，与其他五种超分辨率重建方法进行比较。图3的六幅图像a、b、c、d、e、f分别为双三次插值算法Bicubic、TGV、基于卷积神经网络的超分辨率重建方法SRCNN、基于Patch的方法PB、MSG-Net和本发明的方法。通过直观的比较，可以看出本发明提出的方法的视觉效果最好，尤其是在边缘区域，本发明提出的方法能够更有效地保留边缘。由此可以证明，本发明提出的方法比现今大多数深度图像超分辨率重建方法有更好的重建效果。
表1为不同方法在Middlebury数据库2003数据集上均方根误差(RMSE)的对比。
表1：
实验结果表明，本发明提出的方法几乎优于所有的其他方法，包括传统的基于滤波器的方法和基于深度学习的方法。与双三次插值等传统的基于滤波器的方法相比，本发明提出的方法使用了彩色图像的边缘信息作为指导，因此可以有效地保护深度图像的边缘。而与SRCNN等基于深度学习的方法相比，使用双流深层卷积网络既不会对深度图像原本的信息造成破坏。因此，本发明的方法获得了最佳的超分辨率重建效果。
上述仅为本发明的优选实施例，本发明并不仅限于实施例的内容。对于本领域中的技术人员来说，在本发明的技术方案范围内可以有各种变化和更改，所作的任何变化和更改，均在本发明保护范围之内。
Claims (10)
1.一种基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：包括以下步骤
S01 获取同一物体的深度图像和彩色图像；
S02 对深度图像进行双三次插值，将所述深度图像上采样至和所述彩色图像一样的像素大小；
S03使用Canny算子分别对彩色图像和经过步骤S02处理的深度图像提取边缘得到第一边缘图和第二边缘图，对第一边缘图和第二边缘图进行逻辑“与”操作，得到优化边缘图；
S04将经过步骤S02处理的深度图像和步骤S03获得的优化边缘图输入到双流卷积神经网络中，得到重建的高分辨率深度图像。
2.根据权利要求1所述的基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：所述深度图像为使用深度摄像机拍摄获得，所述彩色图像为使用彩色摄像机拍摄获得。
3.根据权利要求1所述的基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：将所述深度图像和所述彩色图像映射到同一坐标系下，并将两幅图像中具有相同行列位置的像素点一一对应。
4.根据权利要求1所述的基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：所述双流卷积神经网络包含第一卷积网络和第二卷积网络，向所述第一卷积网络中输入S02处理的深度图像，向所述第二卷积网络中输入步骤S03获得的优化边缘图；所述第一卷积网络包含卷积层C1-1、卷积层C1-2、卷积层C1-3，所述卷积层C1-1和卷积层C1-2进行卷积运算和线性整流单元激活，卷积层C1-3进行卷积运算。
5.根据权利要求4所述的基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：所述卷积层C1-1设有个的滤波器，其中是输入图像的信道数，是第一层卷积层中滤波器的大小，所述卷积层C1-1输出个特征图，所述卷积层C1-1使用ReLU(max(0,x))作为激活函数。
6.根据权利要求4所述的基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：所述卷积层C1-2设有个的滤波器，为卷积层C1-2中滤波器的大小，所述卷积层C1-2输出个特征图，激活函数为ReLU(max(0,x))。
7.根据权利要求4所述的基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：卷积层C1-3设有个的滤波器，为卷积层C1-3中滤波器的大小。
8.根据权利要求4所述的基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：第一卷积网络和第二卷积网络结构相同。
9.根据权利要求1所述的基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：所述步骤S04具体包括
a 将经过步骤S02处理的深度图像输入到双流卷积神经网络后输出低分辨率深度图像特征；将步骤S03获得的优化边缘图输入双流卷积神经网络后输出高分辨率彩色图像边缘特征；
b 将低分辨率深度图像特征和高分辨率彩色图像边缘特征进行融合；
所述b具体为
将低分辨率深度图像特征和高分辨率彩色图像边缘特征一起输入到卷积层C3-1中，通过个大小为的滤波器，输出个特征图；
将卷积层C3-1的输出输入至残差模块，依次经过若干残差模块处理；
将若干残差模块处理后的结果输入至卷积层C3-2中，通过个大小为的滤波器，输出个特征图；
将卷积层C3-2输出输入至卷积层C3-3，通过1个大小为的滤波器，输出重建的高分辨率的深度图像。
10.根据权利要求1所述的基于双流深层卷积网络的深度图像超分辨率重建方法，其特征在于：若干残差模块包括第一残差模块、第二残差模块和第三残差模块，所述第一残差模块、第二残差模块和第三残差模块均包括两个卷积层和两个ReLU激活函数，卷积层的每一层均为32个大小为3×3的卷积核，输入至残差模块的数据先经过一个卷积层，激活后进入第二个卷积层，得到的结果和原输入相加并再次被激活，得到最终的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910602094.2A CN110490797A (zh) | 2019-07-05 | 2019-07-05 | 一种基于双流深层卷积网络的深度图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910602094.2A CN110490797A (zh) | 2019-07-05 | 2019-07-05 | 一种基于双流深层卷积网络的深度图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110490797A true CN110490797A (zh) | 2019-11-22 |
Family
ID=68546808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910602094.2A Pending CN110490797A (zh) | 2019-07-05 | 2019-07-05 | 一种基于双流深层卷积网络的深度图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490797A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110763342A (zh) * | 2019-09-30 | 2020-02-07 | 成都鼎屹信息技术有限公司 | 一种红外偏振超像元辐射光强图像分辨率还原方法 |
| CN111275618A (zh) * | 2020-01-12 | 2020-06-12 | 杭州电子科技大学 | 一种基于双支感知的深度图超分辨率重建网络构建方法 |
| CN111415310A (zh) * | 2020-03-26 | 2020-07-14 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
| CN111640061A (zh) * | 2020-05-12 | 2020-09-08 | 哈尔滨工业大学 | 一种自适应图像超分辨率系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
| CN109272447A (zh) * | 2018-08-03 | 2019-01-25 | 天津大学 | 一种深度图超分辨率方法 |
-
2019
- 2019-07-05 CN CN201910602094.2A patent/CN110490797A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN108492248A (zh) * | 2018-01-30 | 2018-09-04 | 天津大学 | 基于深度学习的深度图超分辨率方法 |
| CN109272447A (zh) * | 2018-08-03 | 2019-01-25 | 天津大学 | 一种深度图超分辨率方法 |
Non-Patent Citations (1)
| Title |
|---|
| BENJAMIN PLANCHE 等: "《Hands-On Computer Vision with TensorFlow 2》", WWW.PACKT.COM, pages: 133 - 134 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110763342A (zh) * | 2019-09-30 | 2020-02-07 | 成都鼎屹信息技术有限公司 | 一种红外偏振超像元辐射光强图像分辨率还原方法 |
| CN110763342B (zh) * | 2019-09-30 | 2020-12-22 | 成都鼎屹信息技术有限公司 | 一种红外偏振超像元辐射光强图像分辨率还原方法 |
| CN111275618A (zh) * | 2020-01-12 | 2020-06-12 | 杭州电子科技大学 | 一种基于双支感知的深度图超分辨率重建网络构建方法 |
| CN111275618B (zh) * | 2020-01-12 | 2023-09-29 | 杭州电子科技大学 | 一种基于双支感知的深度图超分辨率重建网络构建方法 |
| CN111415310A (zh) * | 2020-03-26 | 2020-07-14 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
| CN111415310B (zh) * | 2020-03-26 | 2023-06-30 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
| CN111640061A (zh) * | 2020-05-12 | 2020-09-08 | 哈尔滨工业大学 | 一种自适应图像超分辨率系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443842B (zh) | 基于视角融合的深度图预测方法 | |
| CN110490797A (zh) | 一种基于双流深层卷积网络的深度图像超分辨率重建方法 | |
| Zhang et al. | Residual networks for light field image super-resolution | |
| TWI709107B (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
| Zhao et al. | Distortion-aware CNNs for Spherical Images. | |
| CN107358576A (zh) | 基于卷积神经网络的深度图超分辨率重建方法 | |
| CN105069746A (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| CN110633628B (zh) | 基于人工神经网络的rgb图像场景三维模型重建方法 | |
| CN110363116A (zh) | 基于gld-gan的不规则人脸矫正方法、系统及介质 | |
| CN107808129A (zh) | 一种基于单个卷积神经网络的面部多特征点定位方法 | |
| CN113191953A (zh) | 一种基于Transformer的人脸图像超分辨的方法 | |
| CN108765333B (zh) | 一种基于深度卷积神经网络的深度图完善方法 | |
| Li et al. | Read: Large-scale neural scene rendering for autonomous driving | |
| TW202117611A (zh) | 電腦視覺訓練系統及訓練電腦視覺系統的方法 | |
| CN113313828B (zh) | 基于单图片本征图像分解的三维重建方法与系统 | |
| CN106910208A (zh) | 一种存在运动目标的场景图像拼接方法 | |
| CN113313732A (zh) | 一种基于自监督学习的前视场景深度估计方法 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| Li et al. | Frequency separation network for image super-resolution | |
| Zhou et al. | AIF-LFNet: All-in-focus light field super-resolution method considering the depth-varying defocus | |
| Hsu et al. | Object detection using structure-preserving wavelet pyramid reflection removal network | |
| CN113327295A (zh) | 一种基于级联全卷积神经网络的机器人快速抓取方法 | |
| CN117635801A (zh) | 基于实时渲染可泛化神经辐射场的新视图合成方法及系统 | |
| CN107392986A (zh) | 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 | |
| CN107909565A (zh) | 基于卷积神经网络的立体图像舒适度评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |