CN111325781B - 一种基于轻量化网络的位深度提升方法及其系统 - Google Patents

一种基于轻量化网络的位深度提升方法及其系统 Download PDF

Info

Publication number
CN111325781B
CN111325781B CN202010096369.2A CN202010096369A CN111325781B CN 111325781 B CN111325781 B CN 111325781B CN 202010096369 A CN202010096369 A CN 202010096369A CN 111325781 B CN111325781 B CN 111325781B
Authority
CN
China
Prior art keywords
bit depth
convolution
image
layer
flat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010096369.2A
Other languages
English (en)
Other versions
CN111325781A (zh
Inventor
赵洋
任迪雅
李书杰
贾伟
李琳
刘晓平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010096369.2A priority Critical patent/CN111325781B/zh
Publication of CN111325781A publication Critical patent/CN111325781A/zh
Application granted granted Critical
Publication of CN111325781B publication Critical patent/CN111325781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于轻量化网络的位深度提升方法及其系统，该方法包括：首先通过一个浅层全卷积神经网络提取图像平坦区域掩模；然后将平坦区域掩模与低位深度图像联结作为输入通过一个平坦区域位深度提升模块；将非平坦区域掩模与低位深度图像联结作为输入通过一个非平坦区域位深度提升模块，最终将上述输出相加得到最终的高位深度图像。本发明能改善位深度提升图像的视觉效果，并着重处理位深度提升中的平坦区域不自然效应，从而高效提升图像像素位深度。

Description

一种基于轻量化网络的位深度提升方法及其系统
技术领域
本发明涉及图像处理领域，具体是一种基于轻量化网络的位深度提升方法及系统。
背景技术
像素位深度(Bit-Depth)用于指定图像中的每个像素可以使用的数值范围，例如，目前常见的视频与图像多为8bits，即每个像素值取值范围有28(0～255)。而每个像素使用的位数越多，数值层次就越丰富，细节及颜色表现就更逼真。人类视觉系统能感知212～214的亮度差异，然而当前大部分显示器图像都是8bits，无法显示细腻、逼真、高动态的现实图像。随着显示技术和显示产业的发展，显示面板支持的位深度也在不断提升，例如目前的4K超高清电视已大多支持10bits显示，一些专业显示器支持的位深度更深。面向未来显示面板不断提升的图像像素位深度，如何解决目前海量的视频图像资源在更高位深度的面板上更好的显示，是一个面向应用的实际问题。
近年来提出的位深度提升方法多为传统方法，例如对缺失的比特位信息进行简单填充或基于规则对低位比特位信息进行放大。但是这些方法往往会产生一些不自然效应，例如，在平坦区域产生明显的带状效应(BandingArtifact)，即图像从整体上表现出一种时明时暗的不连续性；产生振铃效应(RingingArtifact)，即物体边缘产生“涟漪”状的过度效果；产生块效应(BlockingArtifact)，即图像上出现一些“方格”的效果。同时，传统方法难以准确预测缺失位的数值信息。
最近，基于深度学习的位深度提升算法有两种：一种使用UNet结构，以获取较大的感受野，完成较大跨度的位深度的提升(如4bits到8bits)，但这种方法不能完全的消除不自然效应，也会在平坦区域产生新的棋盘格效应；另一种使用很深残差网络，可以精细的完成小跨度的位深度提升(如6bits到8bits)，但由于缺乏全局感受野，无法很好的完成跨度较大的提升(如4bits到8bits)；同时，这两种方法参数量与计算消耗均较大，限制了实际应用的前景。
发明内容
本发明为克服现有技术中的不足之处，提出一种基于轻量化网络的位深度提升方法及其系统，以期能改善位深度提升图像的视觉效果，并着重处理位深度提升中的平坦区域不自然效应，从而高效提升图像像素位深度。
为了实现上述发明目的，本发明采用如下技术方案：
本发明一种基于轻量化网络的位深度提升方法的特点是按如下步骤进行：
步骤1.构建一个基于全卷积网络的图像平坦区域提取模块P：
设置所述图像平坦区域提取模块P的网络结构分为全卷积部分和反卷积部分；
设置所述全卷积部分依次包含t个由卷积核大小为n×n的卷积层和池化层组成的卷积模块以及一个卷积核大小为1×1的卷积层；
设置所述反卷积部分依次包含一个上采样层、一个卷积核大小为n×n的卷积层与ReLU激活函数层；
步骤2.构建一个基于轻量化残差网络的平坦区域位深度提升模块X：
设置所述平坦区域位深度提升模块X依次包含：一个卷积核大小为n×n的卷积层、m个嵌套残差块、一个卷积核大小为n×n的卷积层，并在所述平坦区域位深度提升模块X的输入层之前与输出层之后分别添加全局跳过连接；
设置任意一个嵌套残差块依次包含：一个卷积核大小为n×n的卷积层、两个内嵌1×1残差块、一个卷积核大小为n×n的卷积层；
设置任意一个内嵌1x1残差块依次包含：一个卷积核大小为1×1的卷积层、ReLU激活函数层、一个卷积核大小为1×1的卷积层；
步骤3.构建一个基于浅层卷积网络的非平坦区域位深度提升模块Y：
设置所述非平坦区域位深度提升模块Y依次包含k个卷积核大小为n×n的卷积层，并在所述非平坦区域位深度提升模块Y的输入层之前与输出层之后分别添加跳过连接；
步骤4.将低位深度输入图像L(h,w,c)输入所述图像平坦区域提取模块P，并先通过全卷积部分进行特征提取，得到不同比例下的特征图，再使用反卷积部分将不同比例下的特征图进行上采样，得到多尺度的特征图后再按照权重进行相加连接，最终提取出所述低位深度输入图像L(h,w,c)的平坦区域掩模M以及对应非平坦区域掩模1-M，其中h,w,c分别为所述低位深度图像L的高度、宽度和通道数；
步骤5.将所述平坦区域掩模M与低位深度输入图像L(h,w,c)联结得到平坦特征图像LM；
步骤6.将所述平坦特征图像LM输入所述平坦区域位深度提升模块X中，并通过全局跳过连接，从而学习最优解H(LM)和全等映射的差值LM，进而得到平坦区域的高位深度图像F(LM)＝H(LM)-LM；
步骤7.将所述非平坦区域掩模1-M与低位深度输入图像L联结得到非平坦特征图像L1-M；
步骤8.将所述非平坦特征图像L1-M输入所述非平坦区域位深度提升模块Y中，得到非平坦区域的高位深度图像F(L1-M)；
步骤9.将所述平坦区域的高位深度图像F(LM)和非平坦区域的高位深度图像F(L1-M)进行求和，得到最终的高位深度图像H，即H＝F(LM)+F(L1-M)。
本发明一种基于轻量化网络的位深度提升系统，其特征是包括：基于全卷积网络的图像平坦区域提取模块P、基于轻量化残差网络的平坦区域位深度提升模块X、基于浅层卷积网络的非平坦区域位深度提升模块Y、联结模块和求和模块；
所述图像平坦区域提取模块P用于提取低位深度输入图像L的平坦区域掩模M以及非平坦区域掩模1-M，并包含全卷积部分和反卷积部分；
所述全卷积部分依次是由t个由两个卷积核大小为n×n的卷积层和池化层组成的卷积模块以及一个卷积核大小为1×1的卷积层依次组成；
所述反卷积部分依次包含一个上采样层、一个卷积核大小为n×n的卷积层与ReLU激活函数层；
所述平坦区域位深度提升模块X用于提升低位深度输入图像L的平坦区域位深度，并得到平坦区域的高位深度图像；
所述平坦区域位深度提升模块X依次包含：一个卷积核大小为n×n的输入卷积层、m个嵌套残差块、一个卷积核大小为n×n的输入卷积层，同时在所述平坦区域位深度提升模块X的输入层之前与输出层之后分别添加全局跳过连接；
任意一个嵌套残差块依次包含：一个卷积核大小为n×n的卷积层、两个内嵌1×1残差块、一个卷积核大小为n×n的卷积层；
任意一个内嵌1x1残差块依次包含：一个卷积核大小为1×1的卷积层、一个ReLU激活函数层、一个卷积核大小为1×1的卷积层；
所述非平坦区域位深度提升模块Y用于提升低位深度输入图像L的非平坦区域位深度，并得到非平坦区域的高位深度图像；
所述所述非平坦区域位深度提升模块Y依次包含k个卷积核大小为n×n的卷积层，同时所述非平坦区域位深度提升模块Y的输入层之前与输出层之后分别添加跳过连接；
所述联结模块用于将平坦区域掩模M与低位深度输入图像L(h,w,c)联结得到平坦特征图像LM；同时，将所述非平坦区域掩模1-M与低位深度输入图像L联结得到非平坦特征图像L1-M；
所述求和模块用于将所述平坦区域的高位深度图像F(LM)和非平坦区域的高位深度图像F(L1-M)进行求和，得到最终的高位深度图像H。
与已有技术相比，本发明的有益效果体现在：
1、本发明提出了一种新的轻量化位深度提升方法，考虑到人眼对于图像非平坦区域和平坦区域中的不自然效应感知的敏感度差异，分别进行处理，并采用轻量化网络结构，进一步提高了主观视觉质量的同时又能保证开销较小。
2、本发明提出用浅层全卷积网络来学习图像平坦区域的掩模(Mask)，与传统的平坦区域划分不同，并没有使用平坦区域标签图像来训练该模块，或是直接的将图像分为两区域，而是通过结合整个网络进行整体训练的过程中来学习最优的区域划分与加权方式，从而更有效的提取平坦区域特征，消除了不相关特征以及冗余特征。
3、本发明引入更窄更深的嵌套残差块构建出针对性强且更为轻量化的网络结构，在有效去除图像不自然效应的基础上减少了计算与内存消耗。
4、本发明提出了用浅层卷积网络来处理图像非平坦区域，能更好的重建缺失的比特位信息，以尽可能多的恢复图像的高频细节。
5、近年来提出的位深度提升方法多为传统非学习方法，对缺失比特位信息的重建能力不足且会产生一些不自然效应，本发明通过结合深度学习方法引入卷积神经网络，从而能有效的解决这一不足，是一种高效而轻量的位深度提升方法。
附图说明
图1是本发明方法的流程框图；
图2是本发明方法的网络结构图；
图3是传统残差块结构图；
图4是本发明采用的嵌套残差块结构图；
图5是本发明系统结构图。
具体实施方式
本实施例中，一种基于轻量化网络的位深度提升方法，参考图1，该方法可以包括以下步骤：
步骤1.构建一个基于全卷积网络的图像平坦区域提取模块P，如图2所示：
设置图像平坦区域提取模块P的网络结构分为全卷积部分和反卷积部分；
设置全卷积部分依次包含t个由卷积核大小为n×n的卷积层和池化层组成的卷积模块以及一个卷积核大小为1×1的卷积层，用于快速的降低中间特征图像的尺寸，以获取较大的感受野，本实例中t为5，n为3，卷积层步长为4；
设置反卷积部分依次包含一个上采样层、一个卷积核大小为n×n的卷积层与ReLU激活函数层，以获取与输入图像相同大小的掩模；
设置提取图像平坦区域的模块P能够对图像进行像素级的分类，对每个像素都产生预测同时又保留了原始低位深度图像中的空间信息。需要指出的是，与传统的平坦区域划分不同，我们并没有使用平坦区域标签图像来训练该模块，或是直接的将图像分为两区域，而是通过结合整个网络进行整体训练的过程中让该模块自己学习到最优的区域划分与加权方式；
步骤2.构建一个基于轻量化残差网络的平坦区域位深度提升模块X，如图2所示：
设置平坦区域位深度提升模块X依次包含：一个卷积核大小为n×n的卷积层、m个嵌套残差块(Embedded-Residual-Block)、一个卷积核大小为n×n的卷积层，并在平坦区域位深度提升模块X的输入层之前与输出层之后分别添加全局跳过连接，本实例中n为3；
基础的残差块结构如图3所示，除残差连接外，其结构依次为：一个卷积层大小为3x3的卷积层、ReLU激活函数层、一个卷积层大小为3x3的卷积层；
为降低参数量，同时降低通道数过多带来的大量内存消耗，我们对残差块进行进一步优化，如图4所示，在基础3x3残差块内部嵌入若干个小的1x1残差块，并将每一层的通道数减半，把整个较宽的网络压成较窄较深的网络，减少参数量、计算量及内存消耗。
即，设置任意一个嵌套残差块依次包含：一个卷积核大小为n×n的卷积层、两个内嵌1×1残差块、一个卷积核大小为n×n的卷积层；
设置任意一个内嵌1x1残差块依次包含：一个卷积核大小为1×1的卷积层、ReLU激活函数层、一个卷积核大小为1×1的卷积层；
步骤3.构建一个基于浅层卷积网络的非平坦区域位深度提升模块Y，如图2所示：
设置非平坦区域位深度提升模块Y依次包含k个卷积核大小为n×n的卷积层，并在非平坦区域位深度提升模块Y的输入层之前与输出层之后分别添加跳过连接，本实例中k、n为3；
因为位深度提升的不自然效应主要集中于平坦区域，在非平坦区域可以进行较为简单的处理，而浅层卷积神经网络已经可以比传统方法更好的重建缺失的比特位信息，以尽可能多的恢复图像的高频细节；
步骤4.将低位深度输入图像L(h,w,c)输入图像平坦区域提取模块P，并先通过全卷积部分进行特征提取，得到不同比例下的特征图，再使用反卷积部分将不同比例下的特征图进行上采样，得到多尺度的特征图后再按照权重进行相加连接，最终提取出低位深度输入图像L(h,w,c)的平坦区域掩模M以及对应非平坦区域掩模1-M，其中h,w,c分别为低位深度图像L的高度、宽度和通道数，如图2所示；
步骤5.将平坦区域掩模M与低位深度输入图像L(h,w,c)联结(Concat)得到平坦特征像LM；
步骤6.将平坦特征图像LM输入平坦区域位深度提升模块X中，并通过全局跳过连接，如图2所示，从而学习最优解H(LM)和全等映射的差值LM，进而得到平坦区域的高位深度图像F(LM)＝H(LM)-LM；
步骤7.将非平坦区域掩模1-M与低位深度输入图像L联结得到非平坦特征图像L1-M；
步骤8.将非平坦特征图像L1-M输入非平坦区域位深度提升模块Y中，如图2所示，得到非平坦区域的高位深度图像F(L1-M)；
步骤9.将平坦区域的高位深度图像F(LM)和非平坦区域的高位深度图像F(L1-M)进行求和，得到最终的高位深度图像H，即H＝F(LM)+F(L1-M)。
本实施例中，一种基于轻量化网络的位深度提升系统，如图5所示：包括：基于全卷积网络的图像平坦区域提取模块P、基于轻量化残差网络的平坦区域位深度提升模块X、基于浅层卷积网络的非平坦区域位深度提升模块Y、联结模块和求和模块；
图像平坦区域提取模块P用于提取低位深度输入图像L的平坦区域掩模M以及非平坦区域掩模1-M，该模块P能够对图像进行像素级的分类，对每个像素都产生预测同时又保留了原始低位深度图像中的空间信息，并包含全卷积部分和反卷积部分；
全卷积部分用于快速的降低中间特征图像的尺寸，以获取较大的感受野，依次是由t个由两个卷积核大小为n×n的卷积层和池化层组成的卷积模块以及一个卷积核大小为1×1的卷积层依次组成，本实例中t为5，n为3，卷积层步长为4；
反卷积部分以获取与输入图像相同大小的掩模，依次包含一个上采样层、一个卷积核大小为n×n的卷积层与ReLU激活函数层；
平坦区域位深度提升模块X用于提升低位深度输入图像L的平坦区域位深度，并得到平坦区域的高位深度图像；
平坦区域位深度提升模块X依次包含：一个卷积核大小为n×n的输入卷积层、m个嵌套残差块、一个卷积核大小为n×n的输入卷积层，同时在平坦区域位深度提升模块X的输入层之前与输出层之后分别添加全局跳过连接；
任意一个嵌套残差块依次包含：一个卷积核大小为n×n的卷积层、两个内嵌1×1残差块、一个卷积核大小为n×n的卷积层；
任意一个内嵌1x1残差块依次包含：一个卷积核大小为1×1的卷积层、一个ReLU激活函数层、一个卷积核大小为1×1的卷积层；
在基础3x3残差块内部嵌入若干个小的1x1残差块，并将每一层的通道数减半，把整个较宽的网络压成较窄较深的网络，减少参数量、计算量及内存消耗；
非平坦区域位深度提升模块Y用于提升低位深度输入图像L的非平坦区域位深度，并得到非平坦区域的高位深度图像；
非平坦区域位深度提升模块Y可以比传统方法更好的重建缺失的比特位信息，以尽可能多的恢复图像的高频细节，依次包含k个卷积核大小为n×n的卷积层，同时非平坦区域位深度提升模块Y的输入层之前与输出层之后分别添加跳过连接；
联结模块用于将平坦区域掩模M与低位深度输入图像L(h,w,c)联结得到平坦特征图像LM；同时，将非平坦区域掩模1-M与低位深度输入图像L联结得到非平坦特征图像L1-M；
求和模块用于将平坦区域的高位深度图像F(LM)和非平坦区域的高位深度图像F(L1-M)进行求和，得到最终的高位深度图像H。

Claims (2)

1.一种基于轻量化网络的位深度提升方法，其特征是按如下步骤进行：
步骤1.构建一个基于全卷积网络的图像平坦区域提取模块P：
设置所述图像平坦区域提取模块P的网络结构分为全卷积部分和反卷积部分；
设置所述全卷积部分依次包含t个由卷积核大小为n×n的卷积层和池化层组成的卷积模块以及一个卷积核大小为1×1的卷积层；
设置所述反卷积部分依次包含一个上采样层、一个卷积核大小为n×n的卷积层与ReLU激活函数层；
步骤2.构建一个基于轻量化残差网络的平坦区域位深度提升模块X：
设置所述平坦区域位深度提升模块X依次包含：一个卷积核大小为n×n的卷积层、m个嵌套残差块、一个卷积核大小为n×n的卷积层，并在所述平坦区域位深度提升模块X的输入层之前与输出层之后分别添加全局跳过连接；
设置任意一个嵌套残差块依次包含：一个卷积核大小为n×n的卷积层、两个内嵌1×1残差块、一个卷积核大小为n×n的卷积层；
设置任意一个内嵌1x1残差块依次包含：一个卷积核大小为1×1的卷积层、ReLU激活函数层、一个卷积核大小为1×1的卷积层；
步骤3.构建一个基于浅层卷积网络的非平坦区域位深度提升模块Y：
设置所述非平坦区域位深度提升模块Y依次包含k个卷积核大小为n×n的卷积层，并在所述非平坦区域位深度提升模块Y的输入层之前与输出层之后分别添加跳过连接；
步骤4.将低位深度输入图像L(h,w,c)输入所述图像平坦区域提取模块P，并先通过全卷积部分进行特征提取，得到不同比例下的特征图，再使用反卷积部分将不同比例下的特征图进行上采样，得到多尺度的特征图后再按照权重进行相加连接，最终提取出所述低位深度输入图像L(h,w,c)的平坦区域掩模M以及对应非平坦区域掩模1-M，其中h,w,c分别为所述低位深度图像L的高度、宽度和通道数；
步骤5.将所述平坦区域掩模M与低位深度输入图像L(h,w,c)联结得到平坦特征图像LM；
步骤6.将所述平坦特征图像LM输入所述平坦区域位深度提升模块X中，并通过全局跳过连接，从而学习最优解H(LM)和全等映射的差值LM，进而得到平坦区域的高位深度图像F(LM)＝H(LM)-LM；
步骤7.将所述非平坦区域掩模1-M与低位深度输入图像L联结得到非平坦特征图像L1-M；
步骤8.将所述非平坦特征图像L1-M输入所述非平坦区域位深度提升模块Y中，得到非平坦区域的高位深度图像F(L1-M)；
步骤9.将所述平坦区域的高位深度图像F(LM)和非平坦区域的高位深度图像F(L1-M)进行求和，得到最终的高位深度图像H，即H＝F(LM)+F(L1-M)。
2.一种基于轻量化网络的位深度提升系统，其特征是包括：基于全卷积网络的图像平坦区域提取模块P、基于轻量化残差网络的平坦区域位深度提升模块X、基于浅层卷积网络的非平坦区域位深度提升模块Y、联结模块和求和模块；
所述图像平坦区域提取模块P用于提取低位深度输入图像L的平坦区域掩模M以及非平坦区域掩模1-M，并包含全卷积部分和反卷积部分；
所述全卷积部分依次是由t个由两个卷积核大小为n×n的卷积层和池化层组成的卷积模块以及一个卷积核大小为1×1的卷积层依次组成；
所述反卷积部分依次包含一个上采样层、一个卷积核大小为n×n的卷积层与ReLU激活函数层；
所述平坦区域位深度提升模块X用于提升低位深度输入图像L的平坦区域位深度，并得到平坦区域的高位深度图像；
所述平坦区域位深度提升模块X依次包含：一个卷积核大小为n×n的输入卷积层、m个嵌套残差块、一个卷积核大小为n×n的输入卷积层，同时在所述平坦区域位深度提升模块X的输入层之前与输出层之后分别添加全局跳过连接；
任意一个嵌套残差块依次包含：一个卷积核大小为n×n的卷积层、两个内嵌1×1残差块、一个卷积核大小为n×n的卷积层；
任意一个内嵌1x1残差块依次包含：一个卷积核大小为1×1的卷积层、一个ReLU激活函数层、一个卷积核大小为1×1的卷积层；
所述非平坦区域位深度提升模块Y用于提升低位深度输入图像L的非平坦区域位深度，并得到非平坦区域的高位深度图像；
所述所述非平坦区域位深度提升模块Y依次包含k个卷积核大小为n×n的卷积层，同时所述非平坦区域位深度提升模块Y的输入层之前与输出层之后分别添加跳过连接；
所述联结模块用于将平坦区域掩模M与低位深度输入图像L(h,w,c)联结得到平坦特征图像LM；同时，将所述非平坦区域掩模1-M与低位深度输入图像L联结得到非平坦特征图像L1-M；
所述求和模块用于将所述平坦区域的高位深度图像F(LM)和非平坦区域的高位深度图像F(L1-M)进行求和，得到最终的高位深度图像H。
CN202010096369.2A 2020-02-17 2020-02-17 一种基于轻量化网络的位深度提升方法及其系统 Active CN111325781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010096369.2A CN111325781B (zh) 2020-02-17 2020-02-17 一种基于轻量化网络的位深度提升方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010096369.2A CN111325781B (zh) 2020-02-17 2020-02-17 一种基于轻量化网络的位深度提升方法及其系统

Publications (2)

Publication Number Publication Date
CN111325781A CN111325781A (zh) 2020-06-23
CN111325781B true CN111325781B (zh) 2023-03-14

Family

ID=71165265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010096369.2A Active CN111325781B (zh) 2020-02-17 2020-02-17 一种基于轻量化网络的位深度提升方法及其系统

Country Status (1)

Country Link
CN (1) CN111325781B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235571B (zh) * 2020-08-31 2023-04-07 咪咕文化科技有限公司 视频位深扩展方法、装置、电子设备及存储介质
CN112699826B (zh) * 2021-01-05 2024-05-28 风变科技（深圳）有限公司 人脸检测方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756281B2 (en) * 2006-05-20 2010-07-13 Personics Holdings Inc. Method of modifying audio content
CN107481278B (zh) * 2017-08-21 2019-06-28 北京大学深圳研究生院 基于混合框架的图像位深度扩展方法及装置

Also Published As

Publication number Publication date
CN111325781A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN109447907B (zh) 一种基于全卷积神经网络的单图像增强方法
CN111784582B (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN110675462B (zh) 一种基于卷积神经网络的灰度图像彩色化方法
CN114066747B (zh) 一种基于光照和反射互补性的低照度图像增强方法
CN111325781B (zh) 一种基于轻量化网络的位深度提升方法及其系统
CN111105376A (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
CN114998145A (zh) 一种基于多尺度和上下文学习网络的低照度图像增强方法
CN115393227A (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN109886906A (zh) 一种细节敏感的实时弱光视频增强方法和系统
CN116402721A (zh) 基于对比感知损失的水下图像增强方法
CN115205160A (zh) 基于局部场景感知的无参考低照度图像增强方法
CN116843559A (zh) 一种基于图像处理与深度学习的水下图像增强方法
CN114936977A (zh) 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
CN115511722A (zh) 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法
Sun et al. Progressive multi-branch embedding fusion network for underwater image enhancement
CN117078516B (zh) 基于残差混合注意力的矿井图像超分辨率重建方法
CN117974459A (zh) 一种融合物理模型和先验的低照度图像增强方法
CN116935045B (zh) 一种基于混合注意力和多尺度级联的视网膜血管分割方法和系统
CN117152019A (zh) 一种基于双分支特征处理的低照度图像增强方法和系统
CN110472732B (zh) 基于优化特征提取装置的图像特征提取系统
CN116596809A (zh) 一种基于Residual-Unet网络的低照度图像增强方法
CN115829868B (zh) 基于光照与噪声残差图的水下暗光图像增强方法
CN116596788A (zh) 一种基于Transformer的多阶段水下图像增强方法
CN114897718B (zh) 一种能同时平衡上下文信息和空间细节的低光图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant