CN110930306A - 一种基于非局部感知的深度图超分辨率重建网络构建方法 - Google Patents

一种基于非局部感知的深度图超分辨率重建网络构建方法 Download PDF

Info

Publication number
CN110930306A
CN110930306A CN201911031488.3A CN201911031488A CN110930306A CN 110930306 A CN110930306 A CN 110930306A CN 201911031488 A CN201911031488 A CN 201911031488A CN 110930306 A CN110930306 A CN 110930306A
Authority
CN
China
Prior art keywords
residual
convolution
depth image
convolutional
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911031488.3A
Other languages
English (en)
Other versions
CN110930306B (zh
Inventor
杨宇翔
曹旗
何志伟
高明煜
黄继业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN201911031488.3A priority Critical patent/CN110930306B/zh
Publication of CN110930306A publication Critical patent/CN110930306A/zh
Application granted granted Critical
Publication of CN110930306B publication Critical patent/CN110930306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于非局部感知的深度图超分辨率重建网络构建方法，目前越来越多的场景应用需要高质量高分辨率的深度图片，传统的深度图像超分辨方法在效果和速度都不如基于卷积神经网络的方法。但由于卷积的特性，大部分的超分辨卷积神经网络框架都只能利用深度图像的局部信息，然而图像的非局部信息对图像的重建十分重要。本发明充分发掘了深度图像的局部和非局部信息，帮助深度图像进行超分辨率重建。并且利用递归学习和残差学习的思想，减轻了卷积神经网络的负担，控制了网络的参数，提升了深度图像的重建效果。

Description

一种基于非局部感知的深度图超分辨率重建网络构建方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于非局部感知的深度图超分辨率重建网络构建方法。
背景技术
随着获取深度信息的技术的发展，如激光雷达，飞行时间(TOF)相机，三维结构光，深度图像已被广泛应用于移动机器人，人机交互，人体姿态估计和三维场景重建等。然而，从这些技术获得的深度图像仍然无法满足实际需求，尤其是获取的深度图像分辨率较低。因此，如何将低分辨率的深度图像重建成高质量高分辨率深度图像成为计算视觉领域的研究热点。
近年来，随着深度学习的发展，越来越多的基于卷积神经网络的超分辨方法被提出。经过在大量图片数据集上的训练，卷积神经网络能够充分学习目标物体的特征，并将这些特征进行组合得到最后的重建结果。相较传统的超分辨算法，基于卷积神经网络的超分辨算法需要依赖于非常大的数据集，所以通过卷积层提取出的特征更具有普适性，更能代表物体的通用特征。通常，基于CNN的深度超分辨率方法可以实现比传统方法更好的性能。
但目前大量的传统深度图像超分辨算法都是基于同场景的彩色图像引导的重建，需要额外的彩色相机，增加了额外的成本。虽然基于卷积神经网络的深度图像超分辨方法较传统方法提升效果明显，但是卷积神经网络仅利用了深度图像的局部信息，实际上非局部信息对图像超分辨重建任务很重要，获取非局部信息可以减弱对彩色图像引导的依赖。因此构建一个提升效果明显，可以提取深度图像的非局部信息的超分辨网络可以大大降低系统成本。
发明内容
本发明的目的就是克服现有技术的不足，提出了一种基于非局部感知的深度图超分辨率重建网络构建方法。本方法不仅很好的提取了图像的局部信息，而且可以感知深度图像的非局部信息。最终融合这些有利信息，重建出高分辨率高质量的深度图像。具体步骤如下：
一种基于非局部感知的深度图超分辨率重建网络构建方法，该方法的具体步骤是：
步骤(1)：利用深度相机获取深度图像
使用深度相机得到一张低分辨率深度图像Idepth其分辨率为M*N，其中M和N分别为图像的高和宽。对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN，其中r为倍率，获得了初始的低质量高分辨率深度图像
Figure BDA0002250283790000021
步骤(2)：基于卷积神经网络的深度图像特征提取结构构建，在图像特征提取阶段由两层卷积核大小为3*3的卷积层，六个权值共享的不同空洞比率的3*3的卷积层组成的多尺度残差块Multi-scale Residual Block，一个非局部感知残差块Residual Non-localBlock和一层卷积核大小为3*3的卷积层组成，这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层，得到了设计网络的特提取部分；
(a)
Figure BDA0002250283790000022
首先通过两层卷积核大小为3*3卷积层得到初始的深度特征图
Figure BDA0002250283790000023
(b)多尺度残差结构构建，
Figure BDA0002250283790000024
经过六个多尺度残差块丰富特征，假设输入特征图为Xm-1，每个多尺度残差块的计算步骤解释为如下：
①
Figure BDA0002250283790000025
Figure BDA0002250283790000026
Figure BDA0002250283790000027
首先将特征图Xm-1经过并行结构的三个不同空洞比率的卷积层，空洞大小D分别为1、2和4，卷积核大小均为3*3，之后通过激活层得到的特征图R1、特征图P1和特征图Q1。其中σ(·)代表激活层，
Figure BDA0002250283790000028
和
Figure BDA0002250283790000029
为卷积层权值，其中，“1”代表卷积层结构位置，上标表示该卷积层的空洞大小，下标表示卷积核大小。
②
R2＝ω21x1*<R1,P1,Q1>+Xm-1 (3)
之后将特征图R1、特征图P1和特征图Q1拼接在一起，输入卷积核大小为1*1的卷积层ω21x1降低维度，并使用残差连接，将输入Xm-1与卷积层ω21x1的输出相加得到特征图R2。其中，<R1,P1,Q1>表示将R1、P1和Q1阶段的特征图拼接在一起。
③
Figure BDA0002250283790000031
最后特征图R2经过卷积核大小均为3*3的卷积层ω3和ω4之后，再次利用残差连接，得到多尺度残差块的最终输出Xm。并且利用递归学习的思想，将多尺度残差块递归六次。在递归中，不同的多尺度残差块之间相同结构位置、相同空洞大小的卷积层权值共享，例如递归的六个多尺度残差块之中，任意一个多尺度残差块的权值
Figure BDA0002250283790000032
与剩下五个多尺度残差块的
Figure BDA0002250283790000033
是共享的。
初始的特征图
Figure BDA0002250283790000034
经过六个权值共享的多尺度残差块结构之后，即得到深度图像的多尺度局部感知特征图
Figure BDA0002250283790000035
(c)残差非局部感知结构的构建，局部感知后的深度图像特征图
Figure BDA0002250283790000036
进入残差非局部感知模块，C代表
Figure BDA0002250283790000037
的通道数量，H和W代表
Figure BDA0002250283790000038
的高和宽。残差非局部感知计算过程表示如下：
Figure BDA0002250283790000039
Figure BDA00022502837900000310
Figure BDA00022502837900000311
Figure BDA00022502837900000312
经过三个并行的1*1卷积层降低通道数之后，进行向量化重组操作得到两个列向量α、β和一个行向量
Figure BDA00022502837900000313
α和β∈1*CHW，
Figure BDA00022502837900000314
其中，vector(·)表示向量化操作，ωθ、ωφ和ωg代表三个并行的1*1卷积层的权值。
Figure BDA00022502837900000315
然后将其中的α与
Figure BDA00022502837900000316
进行矩阵相乘得到一个权重ω，对权重ω归一化之后再与列向量β进行矩阵相乘，再次重组之后得到与输入相同尺寸并包含了非局部信息的特征图
Figure BDA0002250283790000041
其中reshape(·)表示重组。
Figure BDA0002250283790000042
最后
Figure BDA0002250283790000043
经过一个1*1卷积ωZ之后进行残差连接得到最后的残差非局部结构输出结果
Figure BDA0002250283790000044
(d)经过了非局部感知之后的特征图
Figure BDA0002250283790000045
经过一个连着激活层的卷积核大小为3*3的卷积层之后，得到了特征提取阶段的最终输出
Figure BDA0002250283790000046
步骤(3)：残差结构构建，重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。
Figure BDA0002250283790000047
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为
Figure BDA0002250283790000048
最后将
Figure BDA0002250283790000049
与
Figure BDA00022502837900000410
进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像
Figure BDA00022502837900000411
本发明的有益效果：本发明利用卷积神经网络学习可以很好的学习提取深度特征图像的局部和非局部信息，可以由此为单深度图像重建提供足够的信息，免去了同场景彩色图像引导的需求，能够重建出高质量高分辨率的深度图像。
附图说明
图1为本发明的流程图。
具体实施方式
以下结合附图1对本发明作进一步说明，本发明包括以下步骤：
一种基于非局部感知的深度图像超分辨率重建网络，该方法的具体步骤是：
步骤(1)：利用深度相机获取深度图像
使用深度相机得到一张低分辨率深度图像Idepth其分辨率为M*N，其中M和N分别为图像的高和宽。对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN，其中r为倍率，获得了初始的低质量高分辨率深度图像
Figure BDA00022502837900000412
步骤(2)：基于卷积神经网络的深度图像特征提取结构构建，在图像特征提取阶段由两层卷积核大小为3*3的卷积层，六个权值共享的不同空洞比率的3*3的卷积层组成的多尺度残差块Multi-scale Residual Block，一个非局部感知残差块Residual Non-localBlock和一层卷积核大小为3*3的卷积层组成，这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层，得到了设计网络的特提取部分；
(a)
Figure BDA0002250283790000051
首先通过两层卷积核大小为3*3卷积层得到初始的深度特征图
Figure BDA0002250283790000052
(b)多尺度残差结构构建，
Figure BDA0002250283790000053
经过六个多尺度残差块丰富特征，假设输入特征图为Xm-1，每个多尺度残差块的计算步骤解释为如下：
①
Figure BDA0002250283790000054
Figure BDA0002250283790000055
Figure BDA0002250283790000056
首先将特征图Xm-1经过并行结构的三个不同空洞比率的卷积层，空洞大小D分别为1、2和4，卷积核大小均为3*3，之后通过激活层得到的特征图R1、特征图P1和特征图Q1。其中σ(·)代表激活层，
Figure BDA0002250283790000057
和
Figure BDA0002250283790000058
为卷积层权值，其中，“1”代表卷积层结构位置，上标表示该卷积层的空洞大小，下标表示卷积核大小。
②
R2＝ω21x1*<R1,P1,Q1>+Xm-1 (3)
之后将特征图R1、特征图P1和特征图Q1拼接在一起，输入卷积核大小为1*1的卷积层ω21x1降低维度，并使用残差连接，将输入Xm-1与卷积层ω21x1的输出相加得到特征图R2。其中，<R1,P1,Q1>表示将R1、P1和Q1阶段的特征图拼接在一起。
③
Figure BDA0002250283790000059
最后特征图R2经过卷积核大小均为3*3的卷积层ω3和ω4之后，再次利用残差连接，得到多尺度残差块的最终输出Xm。并且利用递归学习的思想，将多尺度残差块递归六次。在递归中，不同的多尺度残差块之间相同结构位置、相同空洞大小的卷积层权值共享，例如递归的六个多尺度残差块之中，任意一个多尺度残差块的权值
Figure BDA0002250283790000061
与剩下五个多尺度残差块的
Figure BDA0002250283790000062
是共享的。
初始的特征图
Figure BDA0002250283790000063
经过六个权值共享的多尺度残差块结构之后，即得到深度图像的多尺度局部感知特征图
Figure BDA0002250283790000064
(c)残差非局部感知结构的构建，局部感知后的深度图像特征图
Figure BDA0002250283790000065
进入残差非局部感知模块，C代表
Figure BDA0002250283790000066
的通道数量，H和W代表
Figure BDA0002250283790000067
的高和宽。残差非局部感知计算过程表示如下：
Figure BDA0002250283790000068
Figure BDA0002250283790000069
Figure BDA00022502837900000610
Figure BDA00022502837900000611
经过三个并行的1*1卷积层降低通道数之后，进行向量化重组操作得到两个列向量α、β和一个行向量
Figure BDA00022502837900000612
α和β∈1*CHW，
Figure BDA00022502837900000613
其中，vector(·)表示向量化操作，ωθ、ωφ和ωg代表三个并行的1*1卷积层的权值。
Figure BDA00022502837900000614
然后将其中的α与
Figure BDA00022502837900000615
进行矩阵相乘得到一个权重ω，对权重ω归一化之后再与列向量β进行矩阵相乘，再次重组之后得到与输入相同尺寸并包含了非局部信息的特征图
Figure BDA00022502837900000616
其中reshape(·)表示重组。
Figure BDA00022502837900000617
最后
Figure BDA00022502837900000618
经过一个1*1卷积ωZ之后进行残差连接得到最后的残差非局部结构输出结果
Figure BDA00022502837900000619
(d)经过了非局部感知之后的特征图
Figure BDA00022502837900000620
经过一个连着激活层的卷积核大小为3*3的卷积层之后，得到了特征提取阶段的最终输出
Figure BDA00022502837900000621
步骤(3)：残差结构构建，重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成。
Figure BDA0002250283790000071
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为
Figure BDA0002250283790000072
最后将
Figure BDA0002250283790000073
与
Figure BDA0002250283790000074
进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像
Figure BDA0002250283790000075

Claims (1)

1.一种基于非局部感知的深度图超分辨率重建网络构建方法，其特征在于该方法的具体步骤是：
步骤(1)：利用深度相机获取深度图像
使用深度相机得到一张低分辨率深度图像Idepth其分辨率为M*N，其中M和N分别为图像的高和宽；对低分辨率的深度图像Idepth进行双三次上采样操作放大至rM*rN，其中r为倍率，获得了初始的低质量高分辨率深度图像
Figure FDA0002250283780000011
步骤(2)：基于卷积神经网络的深度图像特征提取结构构建，在图像特征提取阶段由两层卷积核大小为3*3的卷积层，六个权值共享的不同空洞比率的3*3的卷积层组成的多尺度残差块Multi-scale Residual Block，一个非局部感知残差块Residual Non-local Block和一层卷积核大小为3*3的卷积层组成，这个阶段中的所有的卷积层之后都紧连着一个Rectified Linear Unit激活层，得到了设计网络的特提取部分；
(a)
Figure FDA0002250283780000012
首先通过两层卷积核大小为3*3卷积层得到初始的深度特征图
Figure FDA0002250283780000013
(b)多尺度残差结构构建，
Figure FDA0002250283780000014
经过六个多尺度残差块丰富特征，假设输入特征图为Xm-1，每个多尺度残差块的计算步骤解释为如下：
①
Figure FDA0002250283780000015
Figure FDA0002250283780000016
Figure FDA0002250283780000017
首先将特征图Xm-1经过并行结构的三个不同空洞比率的卷积层，空洞大小D分别为1、2和4，卷积核大小均为3*3，之后通过激活层得到的特征图R1、特征图P1和特征图Q1；其中σ(·)代表激活层，
Figure FDA0002250283780000018
和
Figure FDA0002250283780000019
为卷积层权值，其中，“1”代表卷积层结构位置，上标表示该卷积层的空洞大小，下标表示卷积核大小；
②
R2＝ω21x1*<R1,P1,Q1>+Xm-1 (3)
之后将特征图R1、特征图P1和特征图Q1拼接在一起，输入卷积核大小为1*1的卷积层ω21x1降低维度，并使用残差连接，将输入Xm-1与卷积层ω21x1的输出相加得到特征图R2；其中，<R1,P1,Q1>表示将R1、P1和Q1阶段的特征图拼接在一起；
③
Figure FDA0002250283780000021
最后特征图R2经过卷积核大小均为3*3的卷积层ω3和ω4之后，再次利用残差连接，得到多尺度残差块的最终输出Xm；并且利用递归学习的思想，将多尺度残差块递归六次；在递归中，不同的多尺度残差块之间相同结构位置、相同空洞大小的卷积层权值共享；
初始的特征图
Figure FDA0002250283780000022
经过六个权值共享的多尺度残差块结构之后，即得到深度图像的多尺度局部感知特征图
Figure FDA0002250283780000023
(c)残差非局部感知结构的构建，局部感知后的深度图像特征图
Figure FDA0002250283780000024
进入残差非局部感知模块，C代表
Figure FDA0002250283780000025
的通道数量，H和W代表
Figure FDA0002250283780000026
的高和宽；残差非局部感知计算过程表示如下：
Figure FDA0002250283780000027
Figure FDA0002250283780000028
Figure FDA0002250283780000029
Figure FDA00022502837800000210
经过三个并行的1*1卷积层降低通道数之后，进行向量化重组操作得到两个列向量α、β和一个行向量
Figure FDA00022502837800000211
α和β∈1*CHW，
Figure FDA00022502837800000212
其中，vector(·)表示向量化操作，ωθ、ωφ和ωg代表三个并行的1*1卷积层的权值；
Figure FDA00022502837800000213
然后将其中的α与
Figure FDA00022502837800000214
进行矩阵相乘得到一个权重ω，对权重ω归一化之后再与列向量β进行矩阵相乘，再次重组之后得到与输入相同尺寸并包含了非局部信息的特征图
Figure FDA0002250283780000031
其中reshape(·)表示重组；
Figure FDA0002250283780000032
最后
Figure FDA0002250283780000033
经过一个1*1卷积ωZ之后进行残差连接得到最后的残差非局部结构输出结果
Figure FDA0002250283780000034
(d)经过了非局部感知之后的特征图
Figure FDA0002250283780000035
经过一个连着激活层的卷积核大小为3*3的卷积层之后，得到了特征提取阶段的最终输出
Figure FDA0002250283780000036
步骤(3)：残差结构构建，重建高质量高分辨率深度图像
重建阶段的卷积神经网络由一个卷积核大小为3*3的卷积层和一次残差连接操作构成；
Figure FDA0002250283780000037
通过卷积核大小为3*3的卷积层得到重建深度图像的残差输出，记为
Figure FDA0002250283780000038
最后将
Figure FDA0002250283780000039
与
Figure FDA00022502837800000310
进行元素对应相加，得到最终放大r倍的高分辨率高质量深度图像
Figure FDA00022502837800000311
CN201911031488.3A 2019-10-28 2019-10-28 一种基于非局部感知的深度图超分辨率重建网络构建方法 Active CN110930306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911031488.3A CN110930306B (zh) 2019-10-28 2019-10-28 一种基于非局部感知的深度图超分辨率重建网络构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911031488.3A CN110930306B (zh) 2019-10-28 2019-10-28 一种基于非局部感知的深度图超分辨率重建网络构建方法

Publications (2)

Publication Number Publication Date
CN110930306A true CN110930306A (zh) 2020-03-27
CN110930306B CN110930306B (zh) 2023-09-12

Family

ID=69849580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911031488.3A Active CN110930306B (zh) 2019-10-28 2019-10-28 一种基于非局部感知的深度图超分辨率重建网络构建方法

Country Status (1)

Country Link
CN (1) CN110930306B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150384A (zh) * 2020-09-29 2020-12-29 中科方寸知微(南京)科技有限公司 一种基于残差网络与动态卷积网络模型融合的方法及系统
CN113221626A (zh) * 2021-03-04 2021-08-06 北京联合大学 一种基于Non-local高分辨率网络的人体姿态估计方法
CN113793263A (zh) * 2021-08-23 2021-12-14 电子科技大学 多尺度空洞卷积的并行残差网络高分辨率图像重建方法
CN115375980A (zh) * 2022-06-30 2022-11-22 杭州电子科技大学 基于区块链的数字图像的存证系统及其存证方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150384A (zh) * 2020-09-29 2020-12-29 中科方寸知微(南京)科技有限公司 一种基于残差网络与动态卷积网络模型融合的方法及系统
CN112150384B (zh) * 2020-09-29 2024-03-29 中科方寸知微(南京)科技有限公司 一种基于残差网络与动态卷积网络模型融合的方法及系统
CN113221626A (zh) * 2021-03-04 2021-08-06 北京联合大学 一种基于Non-local高分辨率网络的人体姿态估计方法
CN113221626B (zh) * 2021-03-04 2023-10-20 北京联合大学 一种基于Non-local高分辨率网络的人体姿态估计方法
CN113793263A (zh) * 2021-08-23 2021-12-14 电子科技大学 多尺度空洞卷积的并行残差网络高分辨率图像重建方法
CN113793263B (zh) * 2021-08-23 2023-04-07 电子科技大学 多尺度空洞卷积的并行残差网络高分辨率图像重建方法
CN115375980A (zh) * 2022-06-30 2022-11-22 杭州电子科技大学 基于区块链的数字图像的存证系统及其存证方法
CN115375980B (zh) * 2022-06-30 2023-05-09 杭州电子科技大学 基于区块链的数字图像的存证系统及其存证方法

Also Published As

Publication number Publication date
CN110930306B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111275618B (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN110930342B (zh) 一种基于彩色图引导的深度图超分辨率重建网络构建方法
US11238602B2 (en) Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN110930306A (zh) 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN109146944B (zh) 一种基于深度可分卷积神经网络的视觉深度估计方法
CN111242844B (zh) 图像处理方法、装置、服务器和存储介质
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN110223382B (zh) 基于深度学习的单帧图像自由视点三维模型重建方法
CN110060286B (zh) 一种单目深度估计方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN113449612A (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN115545166A (zh) 一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法
CN113361387A (zh) 人脸图像融合方法及装置、存储介质及电子设备
CN111414988A (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN113627487B (zh) 一种基于深层注意力机制的超分辨率重建方法
CN113538402B (zh) 一种基于密度估计的人群计数方法及系统
CN111667401B (zh) 多层次渐变图像风格迁移方法及系统
CN116434039B (zh) 一种基于多尺度拆分注意力机制的目标检测方法
CN113807497A (zh) 一种增强纹理细节的非配对图像翻译方法
CN112017159B (zh) 一种遥感场景下的地面目标真实感仿真方法
CN116863241A (zh) 一种道路场景下基于计算机视觉的端到端语义鸟瞰图生成方法、模型及设备
CN116246109A (zh) 一种多尺度孔洞邻域注意力计算骨干网络模型及其应用
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant