CN115147283A - 一种图像重建方法、装置、设备及介质 - Google Patents

一种图像重建方法、装置、设备及介质 Download PDF

Info

Publication number
CN115147283A
CN115147283A CN202210924691.9A CN202210924691A CN115147283A CN 115147283 A CN115147283 A CN 115147283A CN 202210924691 A CN202210924691 A CN 202210924691A CN 115147283 A CN115147283 A CN 115147283A
Authority
CN
China
Prior art keywords
resolution
representing
super
data
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210924691.9A
Other languages
English (en)
Inventor
陈鹏
陈宇
胡启昶
李腾
李发成
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Magic Vision Intelligent Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Vision Intelligent Technology Wuhan Co ltd filed Critical Magic Vision Intelligent Technology Wuhan Co ltd
Priority to CN202210924691.9A priority Critical patent/CN115147283A/zh
Publication of CN115147283A publication Critical patent/CN115147283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像重建方法、装置、设备及介质，涉及计算机视觉领域，该方法包括：将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像；超分辨率卷积神经网络模型中所有卷积层、批归一化层、点加层和上采样层均通过量化处理进行模型计算位宽的压缩；超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的误差在预设范围内。本发明极大地降低了模型的计算复杂度，能带来超分辨率卷积神经网络模型在实际应用时运行速度、功耗、访存带宽等方面的优势；通过自监督损失函数约束量化系数，稳定训练过程，有效地提高了超分辨率卷积神经网络模型的量化精度。

Description

一种图像重建方法、装置、设备及介质
技术领域
本发明涉及计算机视觉领域，具体涉及一种图像重建方法、装置、设备及介质。
背景技术
图像的超分辨率（Super-Resolution，SR）算法是计算机视觉领域中的一个重要的研究领域，超分辨率算法旨在将第一个低分辨率（Low Resolution，LR）的图像转化或者说重建成一张高分辨率（High Resolution，HR）的图像，超分辨率算法在监控设备、卫星图像和医学影像等领域都有重要的应用价值。
随着深度神经网络特别是深度卷积神经网络（Deep Convolution NeuralNetwork，DCNN）被广泛地应用到计算机视觉中的各个领域。经研究表明深度学习算法在超分辨领域能取得比传统算法更好的效果。然而，深度学习算法的高计算量阻碍了该类算法在超分辨领域的部署，特别是超分辨网络中每个特征图的分辨率一般都比较大，对系统的计算能力、存储和数据传输带宽都有着较高的要求。因此，需要使用到模型量化等技术对基于深度学习算法的超分辨网络结构进行压缩，使得这些算法能够在实际平台上更加高效低完成部署。
综上，能够对大幅度降低面向超分辨任务的基于深度学习算法计算复杂度的模型是目前亟待解决的重要课题。
发明内容
有鉴于此，本发明实施例提供了一种图像重建方法、装置、设备及介质，以解决基于深度学习算法的超分辨网络模型实际部署时对系统资源要求较高的问题。
根据第一方面，本发明实施例提供了一种图像重建方法，所述方法包括：
将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像；第二分辨率高于第一分辨率；
超分辨率卷积神经网络模型中所有卷积层、批归一化层、点加层和上采样层均通过量化处理进行模型计算位宽的压缩；超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的误差在预设范围内，且，超分辨率卷积神经网络模型最终的损失函数是基于自监督损失函数对初始的损失函数进行更新后得到的。
结合第一方面，在第一方面第一实施方式中，所述卷积层的输入数据通过公式（2）进行量化处理：
Figure 944738DEST_PATH_IMAGE001
（2）
其中，
Figure 564725DEST_PATH_IMAGE002
表示数据
Figure 231329DEST_PATH_IMAGE003
的量化值；
Figure 106881DEST_PATH_IMAGE004
表示量化系数；
Figure 276963DEST_PATH_IMAGE003
表示卷积层的输入数据，为 特征值或者权重；
Figure 688090DEST_PATH_IMAGE005
表示量化位宽，
Figure 435466DEST_PATH_IMAGE006
表示量化的最小范围，
Figure 724496DEST_PATH_IMAGE007
表示量化的最大 范围；
Figure 608139DEST_PATH_IMAGE008
表示进行四舍五入的整取函数；
Figure 957212DEST_PATH_IMAGE009
，
Figure 191884DEST_PATH_IMAGE010
表示数据
Figure 19026DEST_PATH_IMAGE003
经过量化后的整数部分；
Figure 22754DEST_PATH_IMAGE011
，
Figure 32474DEST_PATH_IMAGE012
表示数据
Figure 223284DEST_PATH_IMAGE003
经过量 化后的浮点部分。
结合第一方面第一实施方式，输入数据经过量化后，所述卷积层通过公式（3）进行卷积运算：
Figure 854116DEST_PATH_IMAGE013
（3）
其中，
Figure 853296DEST_PATH_IMAGE014
表示所述卷积层经过量化后的特征值；
Figure 668806DEST_PATH_IMAGE015
表示所述卷积层经过量化后 的权重；
Figure 487857DEST_PATH_IMAGE016
表示所述卷积层的输出数据；
Figure 47014DEST_PATH_IMAGE017
表示数据
Figure 133657DEST_PATH_IMAGE018
的整数部分；
Figure 526592DEST_PATH_IMAGE019
表示数据
Figure 98519DEST_PATH_IMAGE014
的浮 点部分；
Figure 195788DEST_PATH_IMAGE020
表示数据
Figure 638402DEST_PATH_IMAGE015
的整数部分；
Figure 61293DEST_PATH_IMAGE021
表示数据
Figure 356401DEST_PATH_IMAGE015
的浮点部分；
Figure 132727DEST_PATH_IMAGE022
，
Figure 820061DEST_PATH_IMAGE023
表示数据
Figure 554798DEST_PATH_IMAGE016
的整数部分；
Figure 101317DEST_PATH_IMAGE024
，
Figure 445449DEST_PATH_IMAGE025
表示 数据
Figure 987289DEST_PATH_IMAGE016
的浮点部分。
结合第一方面第一实施方式，在第一方面第三实施方式中，所述批归一化层的输入数据通过公式（5）进行量化处理：
Figure 361769DEST_PATH_IMAGE026
（5）
其中，
Figure 989060DEST_PATH_IMAGE027
；
Figure 841609DEST_PATH_IMAGE028
；
Figure 503535DEST_PATH_IMAGE029
表示批归一化层经过量化后的输 出数据；
Figure 48917DEST_PATH_IMAGE030
表示距离该批归一化层最近的前置的卷积层经过量化后的输出数据的浮 点部分；
Figure 163503DEST_PATH_IMAGE031
表示距离该批归一化层最近的前置的卷积层经过量化后的输出数据的整 数部分；
Figure 321208DEST_PATH_IMAGE032
表示批归一化层的均值；
Figure 837640DEST_PATH_IMAGE033
表示批归一化层的方差；
Figure 819503DEST_PATH_IMAGE034
表示批归一化层用来避 免
Figure 296752DEST_PATH_IMAGE033
造成的除法溢出错误的常数；
Figure 146896DEST_PATH_IMAGE035
表示批归一化层的归一化系数；
Figure 393201DEST_PATH_IMAGE036
表示批归一化层 的偏置；
Figure 405019DEST_PATH_IMAGE037
表示数据
Figure 602520DEST_PATH_IMAGE038
经过量化后的浮点部分；
Figure 990776DEST_PATH_IMAGE039
表示数据
Figure 826008DEST_PATH_IMAGE038
经过量化后的整数部分；
Figure 274307DEST_PATH_IMAGE040
表示进行四舍五入的取整函数。
结合第一方面第三实施方式，在第一方面第四实施方式中，所述点加层的输入数据通过公式（6）进行量化处理：
Figure 726148DEST_PATH_IMAGE041
)=
Figure 652516DEST_PATH_IMAGE042
（6）
其中，
Figure 607833DEST_PATH_IMAGE043
表示点加层的其中一个经过量化后的输入数据；
Figure 227033DEST_PATH_IMAGE044
表示点加层的另一个 经过量化后的输入数据；
Figure 402056DEST_PATH_IMAGE045
表示点加层经过量化后的输出数据；
Figure 866536DEST_PATH_IMAGE046
表示数据
Figure 207518DEST_PATH_IMAGE043
经过量化 后的浮点部分；
Figure 872986DEST_PATH_IMAGE047
表示数据
Figure 627315DEST_PATH_IMAGE043
经过量化后的整数部分；
Figure 302010DEST_PATH_IMAGE048
表示数据
Figure 356554DEST_PATH_IMAGE044
经过量化后的浮 点部分；
Figure 425879DEST_PATH_IMAGE049
表示数据
Figure 198663DEST_PATH_IMAGE044
经过量化后的整数部分；
Figure 145890DEST_PATH_IMAGE050
表示数据
Figure 54940DEST_PATH_IMAGE051
经过量化的浮点部分；
Figure 62211DEST_PATH_IMAGE052
表示数据
Figure 56711DEST_PATH_IMAGE051
经过量化后的整数部分；
Figure 807630DEST_PATH_IMAGE053
。
结合第一方面第一实施方式至第四实施方式的任一项，在第一方面第五实施方式 中，所述自监督损失函数
Figure 836766DEST_PATH_IMAGE054
为：
Figure 75042DEST_PATH_IMAGE055
其中，
Figure 822418DEST_PATH_IMAGE056
表示
Figure 111448DEST_PATH_IMAGE057
阶范数；
Figure 995090DEST_PATH_IMAGE058
表示数据
Figure 78584DEST_PATH_IMAGE059
的量化值。
结合第一方面第五实施方式，在第一方面第六实施方式中，所述损失函数
Figure 47677DEST_PATH_IMAGE060
为：
Figure 140398DEST_PATH_IMAGE061
其中，
Figure 878547DEST_PATH_IMAGE062
表示自监督损失函数
Figure 897056DEST_PATH_IMAGE054
的超参系数；
Figure 353445DEST_PATH_IMAGE063
表示最终的损失函数；
Figure 984278DEST_PATH_IMAGE060
表 示原始的损失函数。
第二方面， 本发明实施例还提供一种图像重建装置，所述装置包括：
图像重建模块，用于将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像；第二分辨率高于第一分辨率；
超分辨率卷积神经网络模型中所有卷积层、批归一化层、点加层和上采样层均通过量化处理进行网络结构的压缩；超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的差值在预设范围内，且，超分辨率卷积神经网络模型的损失函数是基于自监督损失函数得到的。
第三方面， 本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像重建方法的步骤。
第四方面， 本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像重建方法的步骤。
第五方面， 本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像重建方法的步骤。
本发明提供的图像重建方法、装置、设备及介质，区别于其他对超分辨算法的压缩方案，本申请中将基于深度学习的超分辨率卷积神经网络模型中所有层全部进行量化处理，既尽可能低实现了对模型计算位宽的压缩，还端到端地实现了低分辨图像到高分辨图像的映射，极大地降低了模型的计算复杂度，能带来超分辨率卷积神经网络模型在实际应用时运行速度、功耗、访存带宽等方面的优势；另外本申请还通过自监督损失函数约束量化过程中的量化系数，使得量化的过程更加平稳，既稳定了模型的训练过程，还有效地提高了超分辨率卷积神经网络模型的量化精度。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明提供的图像重建方法的流程示意图；
图2示出了本发明提供的图像重建装置的结构示意图；
图3示出了本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
SR算法是计算机视觉领域中的一个重要的研究领域，SR算法旨在将低分辨率的图像转化或者重建成高分辨率的图像。由于信息损失，图片分辨率转换的问题属于一种病态问题，对SR算法的设计提出有巨大的挑战。深度神经网络（Convolution Neural Network，DNN）特别是DCNN被广泛地应用到计算机视觉中的各个领域，当然深度神经网络也可以应用于超分辨算法领域。
深度学习算法的高计算量阻碍了该类算法在超分辨算法领域的部署，由于超分辨算法是像素级别的重建算法，相应的深度学习网络中没有类似图像分类、物体检测等算法通过池化层用来降低中间特征图的分辨率。面向超分辨的深度学习模型所需要的中间特征图为原始输入大小或者网络输出大小，也就是超分辨网络中每个特征图的分辨率一般都比较大，这样意味着超分辨的深度学习模型对系统计算能力、存储能力和数据传输带宽都有着较高的要求。在实际部署时，有必要对模型进行压缩，来降低对系统的资源需求。因此，需要使用模型量化等技术对基于深度学习的SR模型的计算位宽进行压缩，对该类算法在实际平台的部署有着关键的意义。
目前针对深度学习的SR网络模型的压缩方案一般有两个方向，其一是进行结构化剪枝，缩小网络的宽度和深度，另外在网络的大部分层使用低分辨率的特征图，在网络输出层才提升特征图的分辨率；其二是对深度学习超分辨算法进行模型量化，将原来32位位宽的浮点计算转化为8位或者更低位宽。在一些方案中，这两个方向可以叠加使用，互不影响。
然而，第二个方向或者第一、第二方向相结合的方案只量化了超分辨算法中的部分层，仍有一些算子没有量化，特别是网络结构的首尾层，留作全精度的计算量仍非常庞大繁杂，给网络结构的实际部署造成了很大的困难。
下面结合图1描述本发明的图像重建方法，该方法包括以下步骤：
S10、将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像，在本实施例中，第二分辨率高于第一分辨率，第一分辨率为低分辨率，第二分辨率为高分辨率。
超分辨率卷积神经网络模型中所有卷积层（conv）、批归一化层（BatchNormalization）、点加层（Element-wise Add）以及上采样层（Upsample或者Pixelshuffle）均通过量化处理进行网络结构的压缩。
超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的误差在预设范围内，且，超分辨率卷积神经网络模型最终的损失函数是基于自监督损失函数对初始的损失函数进行更新后得到的。
本发明提供的图像重建方法，区别于其他对超分辨算法的压缩方案，本申请中将基于深度学习的超分辨率卷积神经网络模型中所有层全部进行量化处理，既尽可能低实现了对模型计算位宽的压缩，还端到端地实现了低分辨图像到高分辨图像的映射，极大地降低了模型的计算复杂度，能带来超分辨率卷积神经网络模型在实际应用时运行速度、功耗、访存带宽等方面的优势；另外本申请还通过自监督损失函数约束量化过程中的量化系数，使得量化的过程更加平稳，既稳定了模型的训练过程，还有效地提高了超分辨率卷积神经网络模型的量化精度。
应用于计算机视觉领域的超分辨网络模型，其主要工作为：接收一张低分辨率的输入图像，由网络模型预测并输出一张高分辨率的输出图像。当超高分辨网络模型使用深度学习处理超分辨任务时，其网络结构一般包含三个层（模块）：特征提取层（FeatureExtraction）、非线性映射层（Non-linear Mapping)和超分辨重建层（SR ImageReconstruction），特征提取层用于进行图像块的提取和特征表示，非线性映射层用于进行特征非线性映射，超分辨重建层用于进行最终的图像重建。
在最简单的超分辨网络模型中，这三层分别为一个卷积层，并且这三个卷积层的卷积核尺寸有所区别，更复杂的，这三层每一层都可以为复合结构，即具有多个子网络层，另外，网络结构中也可以存在很多跨层链接。
例如，超分辨率卷积神经网络（Super-Resolution Convolutional NeuralNetwork，SRCNN）首先使用双三次（bicubic）插值将输入的低分辨率图像放大成目标尺寸，接着通过三层的卷积层（特征提取层、非线性映射层以及超分辨重建层）拟合非线性映射，最后输出得到高分辨率图像。
如公式（1）所示，形式化地，给定低分辨率的输入
Figure 108092DEST_PATH_IMAGE064
，经过特征提取层、非线性映 射层和超分辨重建层这三个层的处理后生成高分辨率的图像输出，公式（1）为：
Figure 533388DEST_PATH_IMAGE065
（1）
其中，
Figure 211494DEST_PATH_IMAGE066
表示特征提取模块；
Figure 646017DEST_PATH_IMAGE067
表示非线性映射模块；
Figure 358758DEST_PATH_IMAGE068
表示超分辨重建模块。
现有采用量化对超分辨网络模型进行压缩时只量化了非线性映射部层，而另外两个首尾层也就是则保留成全精度计算。这种压缩方式为超分辨网络模型在实际平台的部署中，需要硬件平台同时拥有全精度处理和量化位宽两种主要精度的计算。然而，特征提取模块和超分辨重建层的计算量占整个模型的计算量的比例在很多场景中都不可忽视，例如对于2倍放大任务，这两个模块在图像超分辨率残差网络结构（Super-Resolution Residualnetwork，SRResnet）和增强型深度超分辨率网络（Enhanced Deep Super-Resolutionnetwork，EDSR）中分别占用约15.6%和11.4%的计算量，在4倍放大任务中，这两个模块分别占用SRResnet和EDSR的约45.1%和38.7%的计算量。
因此，本申请中将模型中所有层（模块）均进行量化的方案会提升模型在硬件平台的部署效率。更具体的，基于深度神经网络的超分辨网络模型中，网络结构中通常包含有卷积层、批归一化层、点加层以及上采样层，本申请提供的全量化超分辨网络结构，即将所有类型的层都量化为整型计算。
具体的，卷积层的输入数据通过公式（2）进行量化处理：
Figure 987579DEST_PATH_IMAGE001
（2）
其中，
Figure 152981DEST_PATH_IMAGE002
表示数据
Figure 125617DEST_PATH_IMAGE003
的量化值；
Figure 692864DEST_PATH_IMAGE004
表示量化系数；
Figure 725542DEST_PATH_IMAGE003
表示卷积层的输入数据， 为特征值或者权重；
Figure 378240DEST_PATH_IMAGE005
表示量化位宽，
Figure 154567DEST_PATH_IMAGE006
表示量化的最小范围，
Figure 841900DEST_PATH_IMAGE007
表示量化的最 大范围；
Figure 544014DEST_PATH_IMAGE008
表示进行四舍五入的整取函数；
Figure 684009DEST_PATH_IMAGE009
，
Figure 998446DEST_PATH_IMAGE010
表示数据
Figure 946811DEST_PATH_IMAGE003
经过量化后的整数部分；
Figure 711505DEST_PATH_IMAGE011
，
Figure 948582DEST_PATH_IMAGE012
表示数据
Figure 191344DEST_PATH_IMAGE003
经过量 化后的浮点部分；
Figure 495680DEST_PATH_IMAGE006
以及
Figure 165696DEST_PATH_IMAGE007
构成了量化范围，当
Figure 624490DEST_PATH_IMAGE003
为无符号或者非负区间的数值，
Figure 936523DEST_PATH_IMAGE006
为0，
Figure 62742DEST_PATH_IMAGE007
为1，当
Figure 903659DEST_PATH_IMAGE069
为有符号的数值，
Figure 115329DEST_PATH_IMAGE006
为-1，
Figure 965473DEST_PATH_IMAGE007
为1。
之后，卷积层的输入数据经过量化后，卷积层通过公式（3）进行卷积运算：
Figure 444734DEST_PATH_IMAGE070
（3）
其中，
Figure 722131DEST_PATH_IMAGE014
表示所述卷积层经过量化后的特征值；
Figure 421097DEST_PATH_IMAGE015
表示所述卷积层经过量化后 的权重；
Figure 809353DEST_PATH_IMAGE016
表示所述卷积层的输出数据；
Figure 910164DEST_PATH_IMAGE017
表示数据
Figure 92884DEST_PATH_IMAGE018
的整数部分；
Figure 279146DEST_PATH_IMAGE019
表示数据
Figure 205513DEST_PATH_IMAGE014
的浮 点部分；
Figure 927875DEST_PATH_IMAGE020
表示数据
Figure 281496DEST_PATH_IMAGE015
的整数部分；
Figure 955054DEST_PATH_IMAGE021
表示数据
Figure 685112DEST_PATH_IMAGE015
的浮点部分；
Figure 760516DEST_PATH_IMAGE022
，
Figure 285038DEST_PATH_IMAGE023
表示数据
Figure 445892DEST_PATH_IMAGE016
的整数部分；
Figure 979642DEST_PATH_IMAGE024
，
Figure 408087DEST_PATH_IMAGE025
表示 数据
Figure 103510DEST_PATH_IMAGE016
的浮点部分。
在批归一化层中通过（4）计算得到BN层的准确值，公式（4）为：
Figure 751660DEST_PATH_IMAGE071
Figure 823522DEST_PATH_IMAGE072
Figure 607938DEST_PATH_IMAGE073
（4）
在本申请中，批归一化层的输入数据通过公式（5）进行量化处理：
Figure 5421DEST_PATH_IMAGE026
（5）
其中，
Figure 609709DEST_PATH_IMAGE027
；
Figure 485261DEST_PATH_IMAGE028
；
Figure 613930DEST_PATH_IMAGE029
表示批归一化层经过量化后的输 出数据；
Figure 182315DEST_PATH_IMAGE030
表示距离该批归一化层最近的前置的卷积层经过量化后的输出数据的浮 点部分；
Figure 273899DEST_PATH_IMAGE031
表示距离该批归一化层最近的前置的卷积层经过量化后的输出数据的整 数部分；
Figure 687562DEST_PATH_IMAGE032
表示批归一化层的均值；
Figure 446571DEST_PATH_IMAGE033
表示批归一化层的方差；
Figure 920278DEST_PATH_IMAGE034
表示批归一化层用来避 免
Figure 764737DEST_PATH_IMAGE033
造成的除法溢出错误的常数；
Figure 982092DEST_PATH_IMAGE035
表示批归一化层的归一化系数；
Figure 94142DEST_PATH_IMAGE036
表示批归一化层 的偏置；
Figure 738750DEST_PATH_IMAGE037
表示数据
Figure 70505DEST_PATH_IMAGE038
经过量化后的浮点部分；
Figure 825972DEST_PATH_IMAGE039
表示数据
Figure 559572DEST_PATH_IMAGE038
经过量化后的整数部分；
Figure 109502DEST_PATH_IMAGE040
表示进行四舍五入的取整函数。
即，对BN层量化时即只需要将BN层中的偏置（bias）项进行取整就可。
点加层的输入数据通过公式（6）进行量化处理：
Figure 928554DEST_PATH_IMAGE041
)=
Figure 487711DEST_PATH_IMAGE042
（6）
其中，
Figure 842863DEST_PATH_IMAGE043
表示点加层的其中一个经过量化后的输入数据；
Figure 829273DEST_PATH_IMAGE044
表示点加层的另一个 经过量化后的输入数据；
Figure 870041DEST_PATH_IMAGE045
表示点加层经过量化后的输出数据；
Figure 967310DEST_PATH_IMAGE046
表示数据
Figure 675503DEST_PATH_IMAGE043
经过量化 后的浮点部分；
Figure 832815DEST_PATH_IMAGE047
表示数据
Figure 360880DEST_PATH_IMAGE043
经过量化后的整数部分；
Figure 261840DEST_PATH_IMAGE048
表示数据
Figure 323074DEST_PATH_IMAGE044
经过量化后的浮 点部分；
Figure 651287DEST_PATH_IMAGE049
表示数据
Figure 932227DEST_PATH_IMAGE044
经过量化后的整数部分；
Figure 246665DEST_PATH_IMAGE050
表示数据
Figure 788505DEST_PATH_IMAGE051
经过量化的浮点部分；
Figure 162985DEST_PATH_IMAGE052
表示数据
Figure 790276DEST_PATH_IMAGE051
经过量化后的整数部分；
Figure 409869DEST_PATH_IMAGE053
。
由于上采样层只进行了数据的形状调整即只改变排列顺序，没有具体的数值计算，因此不需要量化。
在本实施例中，超分辨率卷积神经网络模型经过量化后的量化数据有两个组成部分，其中浮点部分是调整量化后数据范围时使用，只在训练过程中辅助计算，用于辅助神经网络的梯度优化；在实际部署中，计算只牵涉到取整的部分即整数部分，也就是只使用量化数据的整数部分，保证整个超分辨率卷积神经网络模型的计算为全整型计算。
由于现有技术中相关压缩工作只量化了超分辨算法中的一部分操作，经过量化后，仍有大量计算保持全精度的计算，给算法在实际环境部署带来的巨大的挑战。
为了降低基于深度学习的超分辨算法的计算复杂度，本申请提出一种全量化的量化策略，该策略对于超分辨率卷积神经网络模型，将模型中的所有层都做位宽量化，而不是其中的部分层，并且通过对所有牵涉数值计算的层都给出量化公式，整个超分辨算法能端到端地运行在低比特整型计算单元上，能呈数量级地降低算法的计算复杂度和存储复杂度，使得模型的计算复杂度有着数量级的降低，为超分辨网络在移动端平台上的部署带来的巨大的便利，使得整个超分辨算法能端到端地运行在整型计算部件上，有效地提升了执行效率。
在本申请中，自监督损失函数
Figure 806216DEST_PATH_IMAGE074
为：
Figure 351598DEST_PATH_IMAGE055
其中，
Figure 466184DEST_PATH_IMAGE075
表示
Figure 388004DEST_PATH_IMAGE076
阶范数；
Figure 638857DEST_PATH_IMAGE077
表示数据
Figure 355140DEST_PATH_IMAGE078
的量化值，
Figure 957022DEST_PATH_IMAGE079
可以为卷积层、 批归一化层、点加层或者上采样层中任一层的输入数据
Figure 915489DEST_PATH_IMAGE078
经过量化后的量化值；自监督损 失函数通过约束一个数据量化前和量化后的数据误差，模型的量化训练中能够变得更加平 稳，最终训练得到的模型精度也会得到提高。优选的，
Figure 286427DEST_PATH_IMAGE076
的值为1。
因此，最后整个模型的损失函数
Figure 173612DEST_PATH_IMAGE080
为：
Figure 262791DEST_PATH_IMAGE061
其中，
Figure 260834DEST_PATH_IMAGE081
表示自监督损失函数
Figure 486279DEST_PATH_IMAGE082
的超参系数；
Figure 809944DEST_PATH_IMAGE083
表示最终的损失函数；
Figure 120839DEST_PATH_IMAGE080
表 示原始的损失函数。可以看出最终的损失函数是基于自监督损失函数，对初始的损失函数 进行更新后得到的。
为了提升超分辨率卷积神经网络模型的任务精度，本申请提出一种自监督的损失函数（SQCL），该自监督损失函数对一个数据量化前和量化后的数据进行约束，使得数据量化前和量化后的数据尽可能一致也就是差值在预设范围内，具体的，该自监督损失函数使用了p阶范数作为约束手段。理论上，本申请提出的自监督损失函数可以使用任何阶的范数，为了获取更好的约束效果，在本实施例中，在实际部署时采用p=1，即一阶范数效果最好。
由于现有技术中相关压缩工作还是使用原来的训练数据和超分辨自有的损失函数对量化参数进行训练。然而，对于低比特量化而言，特别是将网络中所有层都量化了之后，网络训练变得很不稳定，最终可能影响了网络量化得精度。
为了提升超分辨率卷积神经网络模型量化后精度有损失的问题，本本申请提出一种自监督损失函数，通过自监督损失函数的设置，超分辨率卷积神经网络模型在训练过程中的数据分布更加稳定，数据量化前和量化后的数据范围更加贴近，提升量化精度的效果，模型的量化精度有了大幅度的提升。
下面对本发明提供的图像重建装置进行描述，下文描述的图像重建装置与上文描述的图像重建方法可相互对应参照。
下面结合图1描述本发明的图像重建装置，该装置包括：
图像重建模块10，用于将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像，在本实施例中，第二分辨率高于第一分辨率，第一分辨率为低分辨率，第二分辨率为高分辨率。
超分辨率卷积神经网络模型中所有卷积层（conv）、批归一化层（BatchNormalization）、点加层（Element-wise Add）以及上采样层（Upsample或者Pixelshuffle）均通过量化处理进行网络结构的压缩。
超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的差值在预设范围内，且，超分辨率卷积神经网络模型的损失函数是基于自监督损失函数得到的。
本发明提供的图像重建装置，区别于其他对超分辨算法的压缩方案，本申请中将基于深度学习的超分辨率卷积神经网络模型中所有层全部进行量化处理，既尽可能低实现了对模型计算位宽的压缩，还端到端地实现了低分辨图像到高分辨图像的映射，极大地降低了模型的计算复杂度，能带来超分辨率卷积神经网络模型在实际应用时运行速度、功耗、访存带宽等方面的优势；另外本申请还通过自监督损失函数约束量化过程中的量化系数，使得量化的过程更加平稳，既稳定了模型的训练过程，还有效地提高了超分辨率卷积神经网络模型的量化精度。
由于现有技术中相关压缩工作只量化了超分辨算法中的一部分操作，经过量化后，仍有大量计算保持全精度的计算，给算法在实际环境部署带来的巨大的挑战。
为了降低基于深度学习的超分辨算法的计算复杂度，本申请提出一种全量化的量化策略，该策略对于超分辨率卷积神经网络模型，将模型中的所有层都做位宽量化，而不是其中的部分层，并且通过对所有牵涉数值计算的层都给出量化公式，整个超分辨算法能端到端地运行在低比特整型计算单元上，能呈数量级地降低算法的计算复杂度和存储复杂度，使得模型的计算复杂度有着数量级的降低，为超分辨网络在移动端平台上的部署带来的巨大的便利，使得整个超分辨算法能端到端地运行在整型计算部件上，有效地提升了执行效率。
由于现有技术中相关压缩工作还是使用原来的训练数据和超分辨自有的损失函数对量化参数进行训练。然而，对于低比特量化而言，特别是将网络中所有层都量化了之后，网络训练变得很不稳定，最终可能影响了网络量化得精度。
为了提升超分辨率卷积神经网络模型量化后精度有损失的问题，本本申请提出一种自监督损失函数，通过自监督损失函数的设置，超分辨率卷积神经网络模型在训练过程中的数据分布更加稳定，数据量化前和量化后的数据范围更加贴近，提升量化精度的效果，模型的量化精度有了大幅度的提升。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)210、通信接口(Communications Interface)220、存储器(memory)230和通信总线240，其中，处理器210，通信接口220，存储器230通过通信总线240完成相互间的通信。处理器210可以调用存储器230中的逻辑命令，以执行图像重建方法，该方法包括：
将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像；第二分辨率高于第一分辨率；
超分辨率卷积神经网络模型中所有卷积层、批归一化层、点加层和上采样层均通过量化处理进行模型计算位宽的压缩；超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的误差在预设范围内，且，超分辨率卷积神经网络模型最终的损失函数是基于自监督损失函数对初始的损失函数进行更新后得到的。
此外，上述的存储器230中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像重建方法，该方法包括：
将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像；第二分辨率高于第一分辨率；
超分辨率卷积神经网络模型中所有卷积层、批归一化层、点加层和上采样层均通过量化处理进行模型计算位宽的压缩；超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的误差在预设范围内，且，超分辨率卷积神经网络模型最终的损失函数是基于自监督损失函数对初始的损失函数进行更新后得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像重建方法，该方法包括：
将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像；第二分辨率高于第一分辨率；
超分辨率卷积神经网络模型中所有卷积层、批归一化层、点加层和上采样层均通过量化处理进行模型计算位宽的压缩；超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的误差在预设范围内，且，超分辨率卷积神经网络模型最终的损失函数是基于自监督损失函数对初始的损失函数进行更新后得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像重建方法，其特征在于，所述方法包括：
将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像；第二分辨率高于第一分辨率；
超分辨率卷积神经网络模型中所有卷积层、批归一化层、点加层和上采样层均通过量化处理进行模型计算位宽的压缩；超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的误差在预设范围内，且，超分辨率卷积神经网络模型最终的损失函数是基于自监督损失函数对初始的损失函数进行更新后得到的。
2.根据权利要求1所述的图像重建方法，其特征在于，所述卷积层的输入数据通过公式（2）进行量化处理：
Figure 202648DEST_PATH_IMAGE001
（2）
其中，
Figure 423545DEST_PATH_IMAGE002
表示数据
Figure 777166DEST_PATH_IMAGE003
的量化值；
Figure 716303DEST_PATH_IMAGE004
表示量化系数；
Figure 811474DEST_PATH_IMAGE003
表示卷积层的输入数据，为特 征值或者权重；
Figure 11512DEST_PATH_IMAGE005
表示量化位宽，
Figure 676979DEST_PATH_IMAGE006
表示量化的最小范围，
Figure 962467DEST_PATH_IMAGE007
表示量化的最大范 围；
Figure 106004DEST_PATH_IMAGE008
表示进行四舍五入的整取函数；
Figure 160547DEST_PATH_IMAGE009
，
Figure 996916DEST_PATH_IMAGE010
表示数据
Figure 769700DEST_PATH_IMAGE003
经过量化后的整数部分；
Figure 949883DEST_PATH_IMAGE011
，
Figure 265458DEST_PATH_IMAGE012
表示数据
Figure 131783DEST_PATH_IMAGE003
经过 量化后的浮点部分。
3.根据权利要求2所述的图像重建方法，其特征在于，输入数据经过量化后，所述卷积层通过公式（3）进行卷积运算：
Figure 267229DEST_PATH_IMAGE013
（3）
其中，
Figure 877202DEST_PATH_IMAGE014
表示所述卷积层经过量化后的特征值；
Figure 781704DEST_PATH_IMAGE015
表示所述卷积层经过量化后的权 重；
Figure 350089DEST_PATH_IMAGE016
表示所述卷积层的输出数据；
Figure 208717DEST_PATH_IMAGE017
表示数据
Figure 622381DEST_PATH_IMAGE014
的整数部分；
Figure 381389DEST_PATH_IMAGE018
表示数据
Figure 855096DEST_PATH_IMAGE014
的浮点 部分；
Figure 699555DEST_PATH_IMAGE019
表示数据
Figure 792276DEST_PATH_IMAGE015
的整数部分；
Figure 796004DEST_PATH_IMAGE020
表示数据
Figure 814514DEST_PATH_IMAGE015
的浮点部分；
Figure 270903DEST_PATH_IMAGE021
，
Figure 901735DEST_PATH_IMAGE022
表示数据
Figure 494391DEST_PATH_IMAGE016
的整数部分；
Figure 450845DEST_PATH_IMAGE023
，
Figure 394531DEST_PATH_IMAGE024
表示数据
Figure 829054DEST_PATH_IMAGE016
的浮点部分。
4.根据权利要求2所述的图像重建方法，其特征在于，所述批归一化层的输入数据通过公式（5）进行量化处理：
Figure 541795DEST_PATH_IMAGE025
（5）
其中，
Figure 639458DEST_PATH_IMAGE026
；
Figure 70439DEST_PATH_IMAGE027
，
Figure 43074DEST_PATH_IMAGE028
表示批归一化层经过量化后的输出数 据；
Figure 875901DEST_PATH_IMAGE029
表示距离该批归一化层最近的前置的卷积层经过量化后的输出数据的浮点部 分；
Figure 643000DEST_PATH_IMAGE030
表示距离该批归一化层最近的前置的卷积层经过量化后的输出数据的整数部 分；
Figure 561277DEST_PATH_IMAGE031
表示批归一化层的均值；
Figure 603183DEST_PATH_IMAGE032
表示批归一化层的方差；
Figure 759357DEST_PATH_IMAGE033
表示批归一化层用来避免
Figure 461472DEST_PATH_IMAGE032
造成的除法溢出错误的常数；
Figure 601466DEST_PATH_IMAGE034
表示批归一化层的归一化系数；
Figure 447062DEST_PATH_IMAGE035
表示批归一化层的偏 置；
Figure 864268DEST_PATH_IMAGE036
表示数据
Figure 363383DEST_PATH_IMAGE037
经过量化后的浮点部分；
Figure 866040DEST_PATH_IMAGE038
表示数据
Figure 108802DEST_PATH_IMAGE037
经过量化后的整数部分；
Figure 881979DEST_PATH_IMAGE039
表示进行四舍五入的取整函数。
5.根据权利要求4所述的图像重建方法，其特征在于，所述点加层的输入数据通过公式（6）进行量化处理：
Figure 551995DEST_PATH_IMAGE040
)=
Figure 541948DEST_PATH_IMAGE041
（6）
其中，
Figure 322822DEST_PATH_IMAGE042
表示点加层的其中一个经过量化后的输入数据；
Figure 714620DEST_PATH_IMAGE043
表示点加层的另一个经过 量化后的输入数据；
Figure 555537DEST_PATH_IMAGE044
表示点加层经过量化后的输出数据；
Figure 298365DEST_PATH_IMAGE045
表示数据
Figure 882931DEST_PATH_IMAGE042
经过量化后的 浮点部分；
Figure 627770DEST_PATH_IMAGE046
表示数据
Figure 639589DEST_PATH_IMAGE042
经过量化后的整数部分；
Figure 604134DEST_PATH_IMAGE047
表示数据
Figure 867756DEST_PATH_IMAGE043
经过量化后的浮点部 分；
Figure 93201DEST_PATH_IMAGE048
表示数据
Figure 151287DEST_PATH_IMAGE043
经过量化后的整数部分；
Figure 727762DEST_PATH_IMAGE049
表示数据
Figure 42679DEST_PATH_IMAGE050
经过量化后的浮点部分；
Figure 122631DEST_PATH_IMAGE051
表示数据
Figure 617197DEST_PATH_IMAGE050
经过量化后的整数部分；
Figure 680968DEST_PATH_IMAGE052
。
6.根据权利要求1-5任一项所述的图像重建方法，其特征在于，所述自监督损失函数
Figure 286393DEST_PATH_IMAGE053
为：
Figure 220851DEST_PATH_IMAGE054
其中，
Figure 886318DEST_PATH_IMAGE055
表示
Figure 171806DEST_PATH_IMAGE056
阶范数；
Figure 813878DEST_PATH_IMAGE057
表示数据
Figure 868421DEST_PATH_IMAGE058
的量化值。
7.根据权利要求6所述的图像重建方法，其特征在于，所述损失函数
Figure 970370DEST_PATH_IMAGE059
为：
Figure 211995DEST_PATH_IMAGE060
其中，
Figure 159223DEST_PATH_IMAGE061
表示自监督损失函数
Figure 333852DEST_PATH_IMAGE062
的超参系数；
Figure 75543DEST_PATH_IMAGE063
表示最终的损失函数；
Figure 335623DEST_PATH_IMAGE064
表示原 始的损失函数。
8.一种图像重建装置，其特征在于，所述装置包括：
图像重建模块，用于将第一分辨率的图像输入至训练好的超分辨率卷积神经网络模型中，得到超分辨率卷积神经网络模型输出的第二分辨率的图像；第二分辨率高于第一分辨率；
超分辨率卷积神经网络模型中所有卷积层、批归一化层、点加层和上采样层均通过量化处理进行模型计算位宽的压缩；超分辨率卷积神经网络模型在训练过程中通过自监督损失函数使得量化前后的数据的误差在预设范围内，且，超分辨率卷积神经网络模型最终的损失函数是基于自监督损失函数对初始的损失函数进行更新后得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述图像重建方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像重建方法的步骤。
CN202210924691.9A 2022-08-03 2022-08-03 一种图像重建方法、装置、设备及介质 Pending CN115147283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210924691.9A CN115147283A (zh) 2022-08-03 2022-08-03 一种图像重建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210924691.9A CN115147283A (zh) 2022-08-03 2022-08-03 一种图像重建方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115147283A true CN115147283A (zh) 2022-10-04

Family

ID=83414236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210924691.9A Pending CN115147283A (zh) 2022-08-03 2022-08-03 一种图像重建方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115147283A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205122A (zh) * 2022-09-06 2022-10-18 深圳大学 保持结构和纹理的超分图像生成方法、系统、装置和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205122A (zh) * 2022-09-06 2022-10-18 深圳大学 保持结构和纹理的超分图像生成方法、系统、装置和介质

Similar Documents

Publication Publication Date Title
CN112508125A (zh) 一种图像检测模型的高效全整数量化方法
CN111488985B (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
CN110929865B (zh) 网络量化方法、业务处理方法及相关产品
CN111105017B (zh) 神经网络量化方法、装置及电子设备
CN113298716B (zh) 基于卷积神经网络的图像超分辨率重建方法
CN115147283A (zh) 一种图像重建方法、装置、设备及介质
CN114936646A (zh) 一种量子化数据处理方法和装置
TW202013261A (zh) 算數框架系統及操作浮點至定點算數框架的方法
KR102368590B1 (ko) 전자 장치 및 그 제어 방법
CN112561050B (zh) 一种神经网络模型训练方法及装置
CN115953651B (zh) 一种基于跨域设备的模型训练方法、装置、设备及介质
CN112150362A (zh) 一种图片前处理解决方法
WO2011064073A1 (en) Method, device and system for image compression and decompression using support vector regression
CN110782396A (zh) 一种轻量化的图像超分辨率重建网络和重建方法
CN113554719B (zh) 一种图像编码方法、解码方法、存储介质及终端设备
CN115022637A (zh) 一种图像编码方法、图像解压方法以及装置
CN115913245A (zh) 数据编码方法、数据解码方法以及数据处理装置
CN113313253A (zh) 神经网络压缩方法、数据处理方法、装置及计算机设备
CN115409150A (zh) 一种数据压缩方法、数据解压方法及相关设备
CN113902928A (zh) 图像特征的提取方法、装置及电子设备
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统
CN112541438A (zh) 文本识别方法及装置
CN112446461A (zh) 一种神经网络模型训练方法及装置
CN111783957A (zh) 模型量化训练方法、装置、机器可读存储介质及电子设备
CN111091495A (zh) 基于残差网络的激光图像高分辨率压缩感知重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221205

Address after: No. 405, Jiande Road, Zhangpu Town, Kunshan City, Suzhou City, Jiangsu Province

Applicant after: Suzhou Moshi Intelligent Technology Co.,Ltd.

Address before: 430058 Hubei cultural, creative and technological enterprise incubator (ji-wckj-c2101), 22mb plot, Wuhan Economic and Technological Development Zone, Wuhan City, Hubei Province

Applicant before: Magic vision intelligent technology (Wuhan) Co.,Ltd.

TA01 Transfer of patent application right