CN110930342A - 一种基于彩色图引导的深度图超分辨率重建网络构建方法 - Google Patents

一种基于彩色图引导的深度图超分辨率重建网络构建方法 Download PDF

Info

Publication number
CN110930342A
CN110930342A CN201911030673.0A CN201911030673A CN110930342A CN 110930342 A CN110930342 A CN 110930342A CN 201911030673 A CN201911030673 A CN 201911030673A CN 110930342 A CN110930342 A CN 110930342A
Authority
CN
China
Prior art keywords
resolution
convolution
image
depth
kernel size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911030673.0A
Other languages
English (en)
Other versions
CN110930342B (zh
Inventor
杨宇翔
曹旗
高明煜
何志伟
吴占雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN201911030673.0A priority Critical patent/CN110930342B/zh
Publication of CN110930342A publication Critical patent/CN110930342A/zh
Application granted granted Critical
Publication of CN110930342B publication Critical patent/CN110930342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于彩色图引导的深度图超分辨率重建网络构建方法。目前越来越多的场景应用需要高质量高分辨率的深度图片，传统的深度图像超分辨方法在效果和速度都不如基于卷积神经网络的方法，但大部分的超分辨卷积神经网络框架都都只是堆叠单一尺寸的卷积核，无法很好的提取出同场景下高分辨率彩色图像中有利的引导信息。本发明的多尺度卷积核彩图引导网络不仅可以充分发掘了高分辨率彩色图像信息，提取了有用的特征图像，而且可以丰富深度图像特征的多样性，融合这些信息对深度图像进行超分辨率重建。并且利用递归学习和残差学习的思想，减轻了卷积神经网络的负担，控制了网络的参数，提升了深度图像的重建效果。

Description

一种基于彩色图引导的深度图超分辨率重建网络构建方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于彩色图引导的深度图超分辨率重建网络构建方法。
背景技术
随着获取深度信息的技术的发展，如激光雷达，飞行时间(TOF)相机，三维结构光，深度图像已被广泛应用于移动机器人，人机交互，人体姿态估计和三维场景重建等。然而，从这些技术获得的深度图像仍然无法满足实际需求，尤其是获取的深度图像分辨率较低。因此，如何将低分辨率的深度图像重建成高质量高分辨率深度图像成为计算视觉领域的研究热点。
近年来，随着深度学习的发展，越来越多的基于卷积神经网络的超分辨方法被提出。经过在大量图片数据集上的训练，卷积神经网络能够充分学习目标物体的特征，并将这些特征进行组合得到最后的重建结果。相较传统的超分辨算法，基于卷积神经网络的超分辨算法需要依赖于非常大的数据集，所以通过卷积层提取出的特征更具有普适性，更能代表物体的通用特征。通常，基于CNN的深度超分辨率方法可以实现比传统方法更好的性能。
目前大量的传统深度图像超分辨算法都是基于同场景的彩色图像引导的重建，获取高分辨率高质量的彩色图像的方法已经比较成熟，但相较于深度图像，彩色图像纹理区域较多，利用普通的卷积神经网进行彩色图像引导深度图像重建可能会带来负面作用，因此需要构建具有强大的特征提取能力的网络。
发明内容
本发明的目的就是克服现有技术的不足，提出了一种基于彩色图引导的深度图超分辨率重建网络构建方法。本方法不仅可以很好地提取了同场景下高分辨率高质量的彩色图像可以提供的深度图像重建有利信息，而且可以丰富深度特征图像的多样性。最终融合这些有利信息，重建出高分辨率高质量的深度图像。具体步骤如下：
步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像
使用RGB-D相机得到一张低分辨率深度图像Idepth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像Icolor其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽。对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像
Figure BDA0002250063020000021
并把彩色图像Icolor转为YCbCr色彩空间，并取Y通道图像得到
Figure BDA0002250063020000022
步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由两层卷积核大小为3*3的卷积层和五个权值共享的多尺度残差块Multi-scale Recursive Residual Block组成，这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层，得到了设计网络的特征提取部分。
(a)
Figure BDA0002250063020000023
和
Figure BDA00022500630200000211
首先各自通过各支的卷积核大小为3*3卷积层得到初始的特征图
Figure BDA0002250063020000024
和
Figure BDA0002250063020000025
(b)多尺度残差结构构建，然后各自经过五个多尺度残差块的提取特征，假设输入特征图为Xm-1，每个多尺度残差块的计算步骤如下：
①
Figure BDA0002250063020000026
首先将特征图Xm-1经过并行结构中卷积核大小为3*3的卷积层之后通过激活层得到的特征图R1。其中σ(·)代表激活层，
Figure BDA0002250063020000027
为卷积核大小为3*3的卷积层权值，其上标表示该卷积层的结构位置，下标表示卷积核大小。
②
Figure BDA0002250063020000028
同时特征图Xm-1也经过并行结构中卷积核大小为5*5的卷积层之后通过激活层得到的特征图P1，其中
Figure BDA0002250063020000029
为卷积核大小为5*5的卷积层权值。
③
Figure BDA00022500630200000210
之后将特征图R1和特征图P1拼接在一起，输入卷积核大小为5*5的卷积层
Figure BDA0002250063020000031
通过激活层得到特征图R2。<R1,P1>表示将R1和P1阶段的特征图像拼接在一起。
④
Figure BDA0002250063020000032
最后特征图R2通过卷积核大小为1*1的卷积层
Figure BDA0002250063020000033
降低维度，并使用残差连接，将输入Xm-1与降低维度后的特征图R2元素相加得到多尺度残差块输出Xm。五个残差块之间，利用递归学习的思想，将多尺度残差块递归五次。在递归中，不同的多尺度残差块之间相同结构位置、相同卷积核大小的卷积层权值共享，例如递归的五个多尺度残差块之中，任意一个多尺度残差块的权值
Figure BDA0002250063020000034
与剩下四个多尺度残差块的
Figure BDA0002250063020000035
是共享的。
初始的特征图
Figure BDA0002250063020000036
和
Figure BDA0002250063020000037
经过五个递归的多尺度残差块结构之后，得到深度图像的特征图
Figure BDA0002250063020000038
和Y通道的特征图
Figure BDA0002250063020000039
步骤(3)：特征融合网络结构构建
特征融合引导阶段的网络由一个特征图像拼接操作、三个权值共享的多尺度残差块和一个卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个RectifiedLinear Unit激活层。
将深度图像的特征图
Figure BDA00022500630200000310
和Y通道特征图
Figure BDA00022500630200000311
首先通过拼接操作得到初始融合特征图
Figure BDA00022500630200000312
然后
Figure BDA00022500630200000313
经过三个递归块进行细化融合，利用网络学习
Figure BDA00022500630200000314
中有用的边缘部分，使彩色图像充分地起到引导作用，最后经过一个卷积核大小为3*3的卷积层，完成了特征融合引导的构造，得到了融合特征图，记为
Figure BDA00022500630200000315
步骤(4)：残差结构构建，重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。
Figure BDA00022500630200000316
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为
Figure BDA00022500630200000317
最后将
Figure BDA00022500630200000318
与
Figure BDA00022500630200000319
进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像
Figure BDA00022500630200000320
本发明的有益效果：本发明利用卷积神经网络学习彩色图像中对引导深度图像重建有利的信息，可以免去人工寻找彩图引导特征的过程，很好的利用了深度图像和彩色图像相关性，能够重建出高质量高分辨率的深度图像。
附图说明
图1为本发明的流程图。
具体实施方式
以下结合附图1对本发明作进一步说明，本发明包括以下步骤：
步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像
使用RGB-D相机得到一张低分辨率深度图像Idepth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像Icolor其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽。对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像
Figure BDA0002250063020000041
并把彩色图像Icolor转为YCbCr色彩空间，并取Y通道图像得到
Figure BDA0002250063020000042
步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由两层卷积核大小为3*3的卷积层和五个权值共享的多尺度残差块Multi-scale Recursive Residual Block组成，这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层，得到了设计网络的特征提取部分。
(a)
Figure BDA0002250063020000043
和
Figure BDA0002250063020000044
首先各自通过各支的卷积核大小为3*3卷积层得到初始的特征图
Figure BDA0002250063020000045
和
Figure BDA0002250063020000046
(b)多尺度残差结构构建，然后各自经过五个多尺度残差块的提取特征，假设输入特征图为Xm-1，每个多尺度残差块的计算步骤如下：
①
Figure BDA0002250063020000047
首先将特征图Xm-1经过并行结构中卷积核大小为3*3的卷积层之后通过激活层得到的特征图R1。其中σ(·)代表激活层，
Figure BDA0002250063020000051
为卷积核大小为3*3的卷积层权值，其上标表示该卷积层的结构位置，下标表示卷积核大小。
②
Figure BDA0002250063020000052
同时特征图Xm-1也经过并行结构中卷积核大小为5*5的卷积层之后通过激活层得到的特征图P1，其中
Figure BDA0002250063020000053
为卷积核大小为5*5的卷积层权值。
③
Figure BDA0002250063020000054
之后将特征图R1和特征图P1拼接在一起，输入卷积核大小为5*5的卷积层
Figure BDA0002250063020000055
通过激活层得到特征图R2。<R1,P1>表示将R1和P1阶段的特征图像拼接在一起。
④
Figure BDA0002250063020000056
最后特征图R2通过卷积核大小为1*1的卷积层
Figure BDA0002250063020000057
降低维度，并使用残差连接，将输入Xm-1与降低维度后的特征图R2元素相加得到多尺度残差块输出Xm。五个残差块之间，利用递归学习的思想，将多尺度残差块递归五次。在递归中，不同的多尺度残差块之间相同结构位置、相同卷积核大小的卷积层权值共享，例如递归的五个多尺度残差块之中，任意一个多尺度残差块的权值
Figure BDA0002250063020000058
与剩下四个多尺度残差块的
Figure BDA0002250063020000059
是共享的。
初始的特征图
Figure BDA00022500630200000510
和
Figure BDA00022500630200000511
经过五个递归的多尺度残差块结构之后，得到深度图像的特征图
Figure BDA00022500630200000512
和Y通道的特征图
Figure BDA00022500630200000513
步骤(3)：特征融合网络结构构建
特征融合引导阶段的网络由一个特征图像拼接操作、三个权值共享的多尺度残差块和一个卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个RectifiedLinear Unit激活层。
将深度图像的特征图
Figure BDA0002250063020000061
和Y通道特征图
Figure BDA0002250063020000062
首先通过拼接操作得到初始融合特征图
Figure BDA0002250063020000063
然后
Figure BDA0002250063020000064
经过三个递归块进行细化融合，利用网络学习
Figure BDA0002250063020000065
中有用的边缘部分，使彩色图像充分地起到引导作用，最后经过一个卷积核大小为3*3的卷积层，完成了特征融合引导的构造，得到了融合特征图，记为
Figure BDA0002250063020000066
步骤(4)：残差结构构建，重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。
Figure BDA0002250063020000067
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为
Figure BDA0002250063020000068
最后将
Figure BDA0002250063020000069
与
Figure BDA00022500630200000610
进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像
Figure BDA00022500630200000611

Claims (1)

1.一种基于彩色图引导的深度图超分辨率重建网络构建方法，其特征在于该方法的具体步骤是：
步骤(1)：利用RGB-D相机获取同场景彩色图像和深度图像
使用RGB-D相机得到一张低分辨率深度图像Idepth其分辨率为M*N，和一张相同视角下的高分辨率彩色图像Icolor其分辨率为rM*rN，其中r为倍率，M和N分别为图像的高和宽；对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN，获得了初始的低质量高分辨率深度图像
Figure FDA0002250063010000011
并把彩色图像Icolor转为YCbCr色彩空间，并取Y通道图像得到
Figure FDA0002250063010000012
步骤(2)：基于卷积神经网络的双支图像特征提取结构构建，在图像特征提取阶段两支结构相同，每一支在特征提取的阶段由两层卷积核大小为3*3的卷积层和五个权值共享的多尺度残差块Multi-scale Recursive Residual Block组成，这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层，得到了设计网络的特征提取部分；
(a)
Figure FDA0002250063010000013
和
Figure FDA0002250063010000014
首先各自通过各支的卷积核大小为3*3卷积层得到初始的特征图
Figure FDA0002250063010000015
和
Figure FDA0002250063010000016
(b)多尺度残差结构构建，然后各自经过五个多尺度残差块的提取特征，假设输入特征图为Xm-1，每个多尺度残差块的计算步骤如下：
①
Figure FDA0002250063010000017
首先将特征图Xm-1经过并行结构中卷积核大小为3*3的卷积层之后通过激活层得到的特征图R1；其中σ(·)代表激活层，
Figure FDA0002250063010000018
为卷积核大小为3*3的卷积层权值，其上标表示该卷积层的结构位置，下标表示卷积核大小；
②
Figure FDA0002250063010000021
同时特征图Xm-1也经过并行结构中卷积核大小为5*5的卷积层之后通过激活层得到的特征图P1，其中
Figure FDA0002250063010000022
为卷积核大小为5*5的卷积层权值；
③
Figure FDA0002250063010000023
之后将特征图R1和特征图P1拼接在一起，输入卷积核大小为5*5的卷积层
Figure FDA0002250063010000024
通过激活层得到特征图R2；<R1,P1>表示将R1和P1阶段的特征图像拼接在一起；
④
Figure FDA0002250063010000025
最后特征图R2通过卷积核大小为1*1的卷积层
Figure FDA0002250063010000026
降低维度，并使用残差连接，将输入Xm-1与降低维度后的特征图R2元素相加得到多尺度残差块输出Xm；五个残差块之间，利用递归学习的思想，将多尺度残差块递归五次；在递归中，不同的多尺度残差块之间相同结构位置、相同卷积核大小的卷积层权值共享；
初始的特征图
Figure FDA0002250063010000027
和
Figure FDA0002250063010000028
经过五个递归的多尺度残差块结构之后，得到深度图像的特征图
Figure FDA0002250063010000029
和Y通道的特征图
Figure FDA00022500630100000210
步骤(3)：特征融合网络结构构建
特征融合引导阶段的网络由一个特征图像拼接操作、三个权值共享的多尺度残差块和一个卷积核大小为3*3的卷积层构成，该阶段的每个卷积层之后都紧连一个RectifiedLinear Unit激活层；
将深度图像的特征图
Figure FDA00022500630100000211
和Y通道特征图
Figure FDA00022500630100000212
首先通过拼接操作得到初始融合特征图
Figure FDA00022500630100000213
然后
Figure FDA00022500630100000214
经过三个递归块进行细化融合，利用网络学习
Figure FDA00022500630100000215
中有用的边缘部分，使彩色图像充分地起到引导作用，最后经过一个卷积核大小为3*3的卷积层，完成了特征融合引导的构造，得到了融合特征图，记为
Figure FDA00022500630100000216
步骤(4)：残差结构构建，重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成；
Figure FDA0002250063010000031
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为
Figure FDA0002250063010000032
最后将
Figure FDA0002250063010000033
与
Figure FDA0002250063010000034
进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像
Figure FDA0002250063010000035
CN201911030673.0A 2019-10-28 2019-10-28 一种基于彩色图引导的深度图超分辨率重建网络构建方法 Active CN110930342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911030673.0A CN110930342B (zh) 2019-10-28 2019-10-28 一种基于彩色图引导的深度图超分辨率重建网络构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911030673.0A CN110930342B (zh) 2019-10-28 2019-10-28 一种基于彩色图引导的深度图超分辨率重建网络构建方法

Publications (2)

Publication Number Publication Date
CN110930342A true CN110930342A (zh) 2020-03-27
CN110930342B CN110930342B (zh) 2021-10-29

Family

ID=69849574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911030673.0A Active CN110930342B (zh) 2019-10-28 2019-10-28 一种基于彩色图引导的深度图超分辨率重建网络构建方法

Country Status (1)

Country Link
CN (1) CN110930342B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709947A (zh) * 2020-04-24 2020-09-25 浙江科技学院 一种双流沟通和全局信息引导的显著物体图像检测方法
CN111882485A (zh) * 2020-06-19 2020-11-03 北京交通大学 分级特征反馈融合的深度图像超分辨率重建方法
CN112435345A (zh) * 2020-12-14 2021-03-02 武汉纺织大学 一种基于深度学习的人体三维测量方法及系统
CN113393511A (zh) * 2021-05-11 2021-09-14 杭州电子科技大学 一种基于多阶段彩色图像引导的道路场景深度补全方法
CN113449623A (zh) * 2021-06-21 2021-09-28 浙江康旭科技有限公司 一种基于深度学习的轻型活体检测方法
CN114066777A (zh) * 2021-11-30 2022-02-18 安庆师范大学 一种光场图像角度重建方法
CN114240761A (zh) * 2020-09-09 2022-03-25 成都鼎桥通信技术有限公司 图像去雨模型训练方法、图像去雨方法及设备
CN115206331A (zh) * 2022-06-13 2022-10-18 华南理工大学 基于锥形残差密集网络的语音超分辨率方法
CN116402692A (zh) * 2023-06-07 2023-07-07 江西财经大学 基于非对称交叉注意力的深度图超分辨率重建方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017196885A1 (en) * 2016-05-10 2017-11-16 The Regents Of The University Of California Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN109118430A (zh) * 2018-08-24 2019-01-01 深圳市商汤科技有限公司 超分辨率图像重建方法及装置、电子设备及存储介质
CN109272447A (zh) * 2018-08-03 2019-01-25 天津大学 一种深度图超分辨率方法
CN109886875A (zh) * 2019-01-31 2019-06-14 深圳市商汤科技有限公司 图像超分辨率重建方法及装置、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017196885A1 (en) * 2016-05-10 2017-11-16 The Regents Of The University Of California Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN109272447A (zh) * 2018-08-03 2019-01-25 天津大学 一种深度图超分辨率方法
CN109118430A (zh) * 2018-08-24 2019-01-01 深圳市商汤科技有限公司 超分辨率图像重建方法及装置、电子设备及存储介质
CN109886875A (zh) * 2019-01-31 2019-06-14 深圳市商汤科技有限公司 图像超分辨率重建方法及装置、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAN YE ET AL.: "Super-resolution reconstruction of depth image based on edge-selected deep residual network", 《PROCEEDING OF THE 2019 IEEE 16TH INTERNATIONAL CONFERENCE ON NETWORKING，SENSING AND CONTROL》 *
杨宇翔等: "基于彩色图像局部结构特征的深度图超分辨率算法", 《模式识别与人工智能》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709947A (zh) * 2020-04-24 2020-09-25 浙江科技学院 一种双流沟通和全局信息引导的显著物体图像检测方法
CN111709947B (zh) * 2020-04-24 2024-04-02 浙江科技学院 一种双流沟通和全局信息引导的显著物体图像检测方法
CN111882485B (zh) * 2020-06-19 2023-08-18 北京交通大学 分级特征反馈融合的深度图像超分辨率重建方法
CN111882485A (zh) * 2020-06-19 2020-11-03 北京交通大学 分级特征反馈融合的深度图像超分辨率重建方法
CN114240761A (zh) * 2020-09-09 2022-03-25 成都鼎桥通信技术有限公司 图像去雨模型训练方法、图像去雨方法及设备
CN114240761B (zh) * 2020-09-09 2023-09-22 成都鼎桥通信技术有限公司 图像去雨模型训练方法、图像去雨方法及设备
CN112435345A (zh) * 2020-12-14 2021-03-02 武汉纺织大学 一种基于深度学习的人体三维测量方法及系统
CN112435345B (zh) * 2020-12-14 2022-07-19 武汉纺织大学 一种基于深度学习的人体三维测量方法及系统
CN113393511A (zh) * 2021-05-11 2021-09-14 杭州电子科技大学 一种基于多阶段彩色图像引导的道路场景深度补全方法
CN113393511B (zh) * 2021-05-11 2024-02-02 杭州电子科技大学 一种基于多阶段彩色图像引导的道路场景深度补全方法
CN113449623A (zh) * 2021-06-21 2021-09-28 浙江康旭科技有限公司 一种基于深度学习的轻型活体检测方法
CN113449623B (zh) * 2021-06-21 2022-06-28 浙江康旭科技有限公司 一种基于深度学习的轻型活体检测方法
CN114066777B (zh) * 2021-11-30 2022-07-15 安庆师范大学 一种光场图像角度重建方法
CN114066777A (zh) * 2021-11-30 2022-02-18 安庆师范大学 一种光场图像角度重建方法
CN115206331A (zh) * 2022-06-13 2022-10-18 华南理工大学 基于锥形残差密集网络的语音超分辨率方法
CN115206331B (zh) * 2022-06-13 2024-04-05 华南理工大学 基于锥形残差密集网络的语音超分辨率方法
CN116402692A (zh) * 2023-06-07 2023-07-07 江西财经大学 基于非对称交叉注意力的深度图超分辨率重建方法与系统
CN116402692B (zh) * 2023-06-07 2023-08-18 江西财经大学 基于非对称交叉注意力的深度图超分辨率重建方法与系统

Also Published As

Publication number Publication date
CN110930342B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN110930342B (zh) 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN111275618B (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN109146944B (zh) 一种基于深度可分卷积神经网络的视觉深度估计方法
CN106127684B (zh) 基于双向递归卷积神经网络的图像超分辨率增强方法
CN111242844B (zh) 图像处理方法、装置、服务器和存储介质
CN110930306B (zh) 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN113344188A (zh) 基于通道注意力模块的轻量级神经网络模型
CN110610526B (zh) 一种基于wnet对单目人像进行分割和景深渲染的方法
CN109359527B (zh) 基于神经网络的头发区域提取方法及系统
CN107590775B (zh) 一种利用回归树场的图像超分辨率放大方法
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN111476133B (zh) 面向无人驾驶的前背景编解码器网络目标提取方法
CN110009700B (zh) 基于rgb图和梯度图的卷积神经网络视觉深度估计方法
WO2020119620A1 (zh) 具有自我提升能力的金字塔双目深度估计模型
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN112288630A (zh) 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及系统
CN112017116A (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN114841859A (zh) 基于轻量神经网络和Transformer的单图像超分辨率重建方法
CN109272450B (zh) 一种基于卷积神经网络的图像超分方法
CN111414988B (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN116977631A (zh) 一种基于DeepLabV3+的街景语义分割方法
CN110599403A (zh) 一种具有良好高频视觉效果的图像超分辨率重建方法
CN116152060A (zh) 一种双特征融合引导的深度图像超分辨率重建方法
Wang et al. Image quality enhancement using hybrid attention networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant