CN113724151A - 一种图像增强方法、电子设备和计算机可读存储介质 - Google Patents

一种图像增强方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113724151A
CN113724151A CN202110874279.6A CN202110874279A CN113724151A CN 113724151 A CN113724151 A CN 113724151A CN 202110874279 A CN202110874279 A CN 202110874279A CN 113724151 A CN113724151 A CN 113724151A
Authority
CN
China
Prior art keywords
neural network
network model
image
electronic device
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110874279.6A
Other languages
English (en)
Other versions
CN113724151B (zh
Inventor
荀潇阳
王振兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Glory Smart Technology Development Co ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202110874279.6A priority Critical patent/CN113724151B/zh
Publication of CN113724151A publication Critical patent/CN113724151A/zh
Application granted granted Critical
Publication of CN113724151B publication Critical patent/CN113724151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种图像增强方法、电子设备和计算机可读存储介质，包括：电子设备将训练图像集输入第一神经网络模型进行训练，得到第一图像数据；电子设备当所述第一图像数据的分析结果大于设定阈值的情况下，在第一神经网络模型中的第一卷积层和第二卷积层之间增加M层卷积层，第一卷积层和第二卷积层为相邻的卷积层，M为正整数。本申请实施例，可以减少训练关于图像增强的神经网络模型的时间。

Description

一种图像增强方法、电子设备和计算机可读存储介质
技术领域
本方案涉及计算机视觉处理领域，尤其涉及一种图像增强方法、电子设备和计算机可读存储介质。
背景技术
目前，随着图像质量的要求越来越高，图像处理技术也在飞速发展。为了能够得到更加优质的图像，可以通过深度学习的方法对图像进行处理。对于不同的图像处理要求，可以通过不同训练模型的对图像进行处理，例如，反马赛克(Demosaic)处理、去噪处理、去雾处理和去模糊处理等。然而，在上述过程中，为了能够让神经网络训练模型达到更好的训练效果，需要经过较长时间的数据训练和参数调整。
发明内容
本申请提供了一种图像增强方法、电子设备和计算机可读存储介质，可以减少训练关于图像增强的神经网络模型的时间。
第一方面，本申请提供了一种图像增强方法，包括：电子设备将训练图像集输入第一神经网络模型进行训练，得到第一图像数据；所述电子设备当所述第一图像数据的分析结果大于设定阈值的情况下，在所述第一神经网络模型中的第一卷积层和第二卷积层之间增加M层卷积层，所述第一卷积层和所述第二卷积层为相邻的卷积层，所述M为正整数。
在本申请实施例中，当训练神经网络的过程中，电子设备可以通过在原有的神经网络模型中添加M层卷积层，调整神经网络模型，使得图像增强的效果达到预期。由此，可以减少通过调整参数的次数，从而可以减少过重新训练的次数，便能够达到提高输出图像效果，大大节约了时间成本。
在一种可能的实现方式中，所述增加的M层卷积层中的卷积核为高斯卷积核或拉普拉斯卷积核。
其中，添加的M层卷积层中的卷积核为第一卷积核。
在本申请实施例中，第一卷积核为高斯卷积核或拉普拉斯卷积核时，电子设备可以减少对现有的第一神经网络模型提取到的特征针对性的进行增强或削弱。即，电子设备可以在当前特征提取的基础上，电子设备可以通过第一卷积层对第一卷积层的输出特征图进行卷积。第一卷积核可以根据用户需要对应当加强的通道特征进行加强，以及对应当削弱的通道特征进行削弱，从而可以提高图像增强的效果。
在一种可能的实现方式中，所述第一卷积层和所述第二卷积层位于所述第一神经网络模型上采样的阶段的卷积层。
在本申请实施例中，在“U”形的神经网络模型中，由于在上采样和下采样的特征提取过程中，也会伴随着部分特征的丢失，因此，当加入的卷积层位于第一神经网络模型的后面部分(即上采样部分)时，特征提取之后对输出图像的效果影响更大，从而可以使得图像增强效果更佳。
在一种可能的实现方式中，所述第一卷积层和所述第二卷积层为所述第一神经网络模型中最后两层卷积层。
在本申请实施例中，电子设备将添加的卷积层放在最后的位置，可以保证经过添加的卷积层提取的特征能够很好的保留，从而可以有效地体现添加的卷积层对图像增强的效果。
在一种可能的实现方式中，所述第一图像数据的分析结果是表征第一图像数据的图像质量参数。
其中，所述第一图像数据的分析结果是表征第一图像数据的图像质量参数。所述第一图形数据的分析结果可以是第一图像数据经过损失函数、目标函数或代价函数其中一种函数计算得到的参数值，也可以是第一图像数据的清晰度值(例如，像素值、分辨率、锐度等)，还可以是其他图像分析系统的评分值，不加限定。
在一种可能的实现方式中，所述电子设备当基于所述第一图像数据的分析结果不大于所述设定阈值时，调整所述第一神经网络模型的参数，所述第一神经网络模型的参数包括卷积层的权重和所述训练图像集中的一项或多项；所述电子设备将所述训练图像集输入参数调整后的第一神经网络模型进行训练，得到第二图像数据。
其中，所述设定阈值可以包括步骤S204中的几种情况，例如，设定阈值可以为损失值的第二阈值，还可以为清晰度的特定阈值；还可以为特征图的设定条件。
在本申请实施例中，电子设备在第一神经网络模型尚未基本形成时，需要继续进行训练，当第一神经网络模型已经形成，在原有的神经网络模型的基础上通过对某些特征进行增强和抑制，可以提高神经网络模型的图像增强效果，从而可以减少重新训练神经网络模型的时间。
在一种可能的实现方式中，所述电子设备当基于所述第一图像数据分析不需要调整所述第一神经网络模型的情况下，输出所述第一神经网络模型的训练结果。
第二方面，本申请提供了一种电子设备，包括：一个或多个处理器和一个或多个存储器，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行：
所述处理器，用于将训练图像集输入第一神经网络模型进行训练，得到第一图像数据；
所述处理器，还用于当所述第一图像数据的分析结果大于设定阈值的情况下，在所述第一神经网络模型中的第一卷积层和第二卷积层之间增加M层卷积层，所述第一卷积层和所述第二卷积层为相邻的卷积层，所述M为正整数。
在本申请实施例中，当训练神经网络的过程中，电子设备可以通过在原有的神经网络模型中添加M层卷积层，调整神经网络模型，使得图像增强的效果达到预期。由此，可以减少通过调整参数的次数，从而可以减少过重新训练的次数，便能够达到提高输出图像效果，大大节约了时间成本。
在一种可能的实现方式中，所述增加的M层卷积层中的卷积核为高斯卷积核或拉普拉斯卷积核。
其中，添加的M层卷积层中的卷积核为第一卷积核。
在本申请实施例中，第一卷积核为高斯卷积核或拉普拉斯卷积核时，电子设备可以减少对现有的第一神经网络模型提取到的特征针对性的进行增强或削弱。即，电子设备可以在当前特征提取的基础上，电子设备可以通过第一卷积层对第一卷积层的输出特征图进行卷积。第一卷积核可以根据用户需要对应当加强的通道特征进行加强，以及对应当削弱的通道特征进行削弱，从而可以提高图像增强的效果。
在一种可能的实现方式中，所述第一卷积层和所述第二卷积层位于所述第一神经网络模型上采样的阶段的卷积层。
在本申请实施例中，在“U”形的神经网络模型中，由于在上采样和下采样的特征提取过程中，也会伴随着部分特征的丢失，因此，当加入的卷积层位于第一神经网络模型的后面部分(即上采样部分)时，特征提取之后对输出图像的效果影响更大，从而可以使得图像增强效果更佳。
在一种可能的实现方式中，所述第一卷积层和所述第二卷积层为所述第一神经网络模型中最后两层卷积层。
在本申请实施例中，电子设备将添加的卷积层放在最后的位置，可以保证经过添加的卷积层提取的特征能够很好的保留，从而可以有效地体现添加的卷积层对图像增强的效果。
在一种可能的实现方式中，所述第一图像数据的分析结果是表征第一图像数据的图像质量参数。
其中，所述第一图像数据的分析结果是表征第一图像数据的图像质量参数。所述第一图形数据的分析结果可以是第一图像数据经过损失函数、目标函数或代价函数其中一种函数计算得到的参数值，也可以是第一图像数据的清晰度值(例如，像素值、分辨率、锐度等)，还可以是其他图像分析系统的评分值，不加限定。
在一种可能的实现方式中，所述处理器，还用于当基于所述第一图像数据的分析结果不大于所述设定阈值时，调整所述第一神经网络模型的参数，所述第一神经网络模型的参数包括卷积层的权重和所述训练图像集中的一项或多项；
所述处理器，还用于将所述训练图像集输入参数调整后的第一神经网络模型进行训练，得到第二图像数据。
其中，所述设定阈值可以包括步骤S204中的几种情况，例如，设定阈值可以为损失值的第二阈值，还可以为清晰度的特定阈值；还可以为特征图的设定条件。
在本申请实施例中，电子设备在第一神经网络模型尚未基本形成时，需要继续进行训练，当第一神经网络模型已经形成，在原有的神经网络模型的基础上通过对某些特征进行增强和抑制，可以提高神经网络模型的图像增强效果，从而可以减少重新训练神经网络模型的时间。
在一种可能的实现方式中，所述处理器，还用于当基于所述第一图像数据分析不需要调整所述第一神经网络模型的情况下，输出所述第一神经网络模型的训练结果。
第三方面，本申请提供了一种电子设备，包括：一个或多个功能模块。一个或多个功能模块用于执行上述任一方面任一项可能的实现方式中的图像增强方法。
第四方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得所述装置执行上述任一方面任一项可能的实现方式中的图像增强方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任一方面任一项可能的实现方式中的图像增强方法。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1是本申请实施例提供的一种神经网络训练模型的示意图；
图2是本申请实施例提供的一种电子设备100的结构示意图；
图3是本申请实施例提供的一种电子设备100的软件结构框图；
图4是本申请实施例提供的一种图像增强方法的流程示意图；
图5是本申请实施例提供的另一种神经网络训练模型的示意图；
图6是本申请实施例提供的一种卷积过程的示意图；
图7a是本申请实施例提供的一种图像增强对比的示意图；
图7b是本申请实施例提供的另一种图像增强对比的示意图；
图7c是本申请实施例提供的又一种图像增强对比的示意图；
图8是本申请实施例提供的另一种图像增强方法的流程示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请实施例的限制。如在本申请实施例的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请实施例中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
下面结合附图对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
首先，结合附图对本申请中所涉及的部分用语和相关技术进行解释说明，以便于本领域技术人员理解。
(1)神经网络
神经网络可以是由神经单元(neuron)组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
Figure BDA0003189783500000051
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重(weights)，b为神经单元的偏置或偏差(bias)。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络(deep neural network，DNN)
深度神经网络也称多层神经网络，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：
Figure BDA0003189783500000052
其中，
Figure BDA0003189783500000053
是输入向量，
Figure BDA0003189783500000054
是输出向量，b是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量
Figure BDA0003189783500000055
经过如此简单的操作得到输出向量
Figure BDA0003189783500000056
由于DNN层数多，则系数W和偏移向量b的数量也就很多了。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为
Figure BDA0003189783500000057
上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结就是：第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
Figure BDA0003189783500000058
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)卷积神经网络(convolutional neuron network，CNN)
卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。
卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(4)图像增强
图像增强是根据具体的应用场景和图像的模糊情况采用的特定的增强方法来突出图像中的某些信息、削弱或消除无关信息，以达到强调图像的整体或局部特征的目的。图像增强可以改善图像的质量和视觉效果，或将图像转化成更适合与人员观察或机器分析识别的形式，以便从图像中获取更加有用的信息。
(5)关于图像增强的神经网络模型
目前，随着人工智能的发展深入到各个领域，通过神经网络处理图像增强问题已经成为一个重要的手段。
在计算机视觉处理中，输出的彩色图片，往往输入或输出的是RGB(red、green、blue)通道的彩色图，例如，一张64*64*3图片，这里的三通道指的是红色、绿色和蓝色三个通道。以上三种颜色可以合成任何人眼中可分辨的颜色。
对神经网络输入一个RGB图，进行卷积操作之后，可以生成很多通道。一个卷积核对应一个通道，在多数情况下，特征图的个数、输出的通道数与卷积核的个数三者相等。
以下，举例说明几种图像增强的神经网络模型。
1.Unet网络结构
请参阅图1，图1是本申请实施例示出的一种神经网络训练模型的示意图。如图1所示的神经网络结构为Unet网络结构，Unet网络结构是对称的，前半部分用于特征提取，后边部分用于上采样，有人将这种结构称为“编码器-解码器”(encoder-decoder，也可以称之为“下采样-上采样”模型)结构。由于Unet网络结构形似英文单词“U”，因此称之为Unet。Unet网络结构是一种全卷积网络(fully convolution networks，FCN)，其没有全连接层和softmax输出。
Unet网络结构对图像的处理过程可以包括：编码器的下采样和解码器的上采样过程、以及跳跃连接(skip-connection)对上采样中的特征图与对应的编码器的特征图进行融合。如图1所示，Unet网络结构可以包括黑框，白框和箭头。其中，黑框和白框表示特征图，向右的小箭头表示通过3*3的卷积核进行卷积，用于特征提取；灰色箭头表示跳跃连接，用于特征融合；向下的箭头表示池化(pooling)，用于降低维度；向上的箭头表示上采样，用于恢复维度；最后一个箭头，用于输出结果。在下采样的过程中，通道数减半，特征图的像素变小。在上采样的过程中，通道数翻倍。
Unet网络结构可以用于图像分割、图像压缩和图像去噪等方面。
2.基于残差网络(residual network，ResNet)的图像增强模型
ResNet网络模型的核心是跳跃一层或多层连接，即跳跃连接或捷径连接(shortcut connection)。ResNet网络包括是一种包含有残差结构的神经网络模型，在神经网络模型训练中，当网络深度越深(层级越多)，训练的梯度退化和梯度问题越严重，而加入残差结构可以解决此问题。
3.超分神经网络(super resolution convolutional neuron network，SRCNN)
超分辨率(super resolution)的任务目标是将输入的低分辨率的图像转换为高分辨率的图像，与图像去噪、图像去模糊等一脉相承。超分辨率关注的是从小尺寸到大尺寸图像如何填充新的像素；图像去噪则是关注在图像尺寸不变的情况下，将被“噪声污染”的像素替换为正确的像素。
SRCNN是一种使用CNN结构(即基于深度学习)的端到端的超分辨率算法。SRCNN的处理过程可以分为三部分：一对图像特征进行提取，得到特征图；二对提取的特征图进行非线性映射，得到特征矩阵；三对特征矩阵进行反卷积，将特征矩阵还原为超分辨图像，即重构图像。
4.去模糊网络DeblurNet
DeblurNet去模糊网络可以包括SRN(scale-recurrent network)-DeblurNet，也可以包括DeblurGAN(generative adversarial networks)生成式对抗去模糊网络，均可以提高图像质量，提高图像清晰度等。
图2示出了电子设备100的结构示意图。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，摄像头193，以及显示屏194等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过显示屏194显示图片或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图片，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现采集功能，以实现本申请实施例中HAL层的图像采集模块。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图片或视频。ISP还可以对图片的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
在本申请实施例中，电子设备通过摄像头获取图像之后，通过ISP处理上述获取的图像。经过ISP处理之后的图像可以作为上述关于图像增强的神经网络模型的训练图像集，输入到神经网络，对上述网络进行训练。此外，未经ISP处理的图像，也可以作为上述关于图像增强的神经网络模型的训练图像集，不加限定。
摄像头193用于捕获静态图片或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图片或视频信号。ISP将数字图片或视频信号输出到DSP加工处理。DSP将数字图片或视频信号转换成标准的RGB，YUV等格式的图片或视频信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图片或视频信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
在本申请实施例中，NPU处理的神经网络模型，可以是上述关于图像增强的神经网络模型，例如图1中的神经网络模型，但并不限定于上述模型。通过NPU的处理，电子设备得到图像的质量更佳，例如，更加清晰，噪点更少或图像轮廓更加清楚等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图片或视频播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
上述输入第一神经网络模型的训练图像集可以是经过摄像头获取的图像，还可以是经过ISP处理之后的图像，不加限定。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图3是本申请实施例提供的电子设备100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
本申请实施例中，当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获图像或视频。这些获取的图像或视频可以作为上述神经网络模型输入的训练图像集。
通常情况下，神经网络的模型在使用之前，需要对神经网络进行训练。训练神经网络的过程是指：将足够的样本输入网络，通过一定的算法调整网络的结构(主要是调整权值)，使得网络的输出与预期值相符。
在神经网络模型的训练过程中，电子设备可以根据输出的图片数据或者模型中某一层或某几层的特征图，确定是造成模型缺陷的原因，并给出对应的调整对策。例如，当输入网络模型的数据不完善造成输出的结果不理想时，可以改变输入网络模型的图像数据；当网络模型的权重不理想时，可以调整网络模型的参数；当数据预处理不准确时，可以调整图像数据的预处理过程。经过上述的调整之后，均需要重新输入图像数据并进行训练。
示例性地，用户在拍摄过程中，电子设备可以通过摄像头获取图像，并将获取的图像通过ISP处理，得到预处理之后的图像。之后电子设备可以将预处理的图像输入神经网络模型进行训练。当训练输出的图像不理想时(例如，比较模糊)，电子设备可以将调整神经网络模型，并重新进行训练，至到能够输出理想的图像为止。当输出理想的图像时，可以将这一理想的图像显示在屏幕上。
在上述神经网络训练过程中，神经网络可以自动提取特征，并通过训练不断接近预期的训练输出，但由于神经网络是一个黑盒模型，它如何提取特征以及如何选择权重的，我们不得而知。因此，重新训练过程中，调整权重时不能够具有一定的盲目性，这会使得神经网络的训练时间较长。
在图像增强领域，当经过训练的网络模型能够输出一定程度(图像质量较好，但还是有待提高)的图像时，想要进一步提升训练模型的输出结果，往往会重新训练，然而，重新训练需要的时间代价巨大。
针对上述的实现方式，本申请实施例提出一种图像增强方法，包括：可以在现有的训练模型的基础上，可对现有的神经网络模型中相邻的两层卷积层之间添加几层卷积层，之后可以训练调整之后的神经网络模型。其中，添加的卷积层中的卷积核在每个通道的可以不同，从而可以根据该层各通道特征信息，通过改变卷积核，设定不同权重，对每个通道的特征进行提取。提取后的特征信息，可以对不同通道中需要的特征进行增强，对不需要的特征进行削弱，从而可以使得经过网络模型输出的图像能够达到或超过预期效果。因此，经过上述的图像增强处理，减少过重新训练的次数，便能够达到提高输出图像效果，大大节约了时间成本。
图4是本申请实施例示出的一种图像增强方法的流程示意图。如图4所示，该图像增强方法包含步骤S101～S104。
S101、电子设备将训练图像集输入第一神经网络模型，得到第一图像数据。
其中，训练图像集为训练第一神经网络模型的图像样本集。第一图像数据可以是第一神经网络模型输出的图像数据，也可以是模型上采样或者反卷积等重构操作过程中某一层的特征图数据，还可以是上述两种数据，不加限定。
第一神经网络模型是图像增强的神经网络训练模型。例如，Unet网络模型、基于ResNet(残差网络)的图像增强模型、SRCNN超分神经网络和DeblurNet去模糊网络等等，第一神经网络模型不加具体限定。
此外，第一神经网络模型输出的图像信息一般为彩色信息，即输出的图像信息一般为等于3通道的RGB图像，也可以为4通道的RAW图像，还可以是其它数量的通道数，不加限定。
S102、电子设备基于第一图像数据判断是否需要调整第一神经网络模型。如果是，执行步骤S104；否则，执行步骤S103。
当对第一图像数据分析发现，第一数据达到预期条件(例如，设定阈值)时，可以确定不需要调整所述第一神经网络模型；否则，需要调整所述第一神经网络模型。
电子设备可以基于不同标准判断第一图像数据是否满足预期条件，说明如下：
一种实施方式中，电子设备可以根据损失函数(loss function)、目标函数、以及代价函数其中的一种判定是否满足预期条件。例如，当用损失函数进行判断能否达到预期条件时，可以根据第一图像数据和损失函数确定损失值，当损失值大于一定阈值时，可以判断不能满足预期条件；否则，可以满足预期条件。
另一种实施方式中，当第一图像数据为电子设备可以根据输出的图像数据时，可以根据设定的判断标准确定是否达到预期条件。例如，当输出的图像数据的清晰度不够高时，电子设备可以确定不满足预期条件；否则，可以满足预期条件。此外，判断标准也可以是分辨率、锐度、噪声、纹理等等。具体预期条件的标准可以由用户来确定，也可以由判断图像效果的经验标准确定，此处不进行限定。
示例性地，当获取第一图像数据时，可以对第一图像数据进行图像测评，之后可以测评结果进行评分，当评分结果低于分数阈值时，可以判断测评结果不能够达到预期条件；否则，达到预期条件。具体的测评过程可以参考DxOMARK(测试)的相关测评，不加赘述。
上述仅是举例说明，还可以通过其他标准判定第一图像能否满足预期条件，不加限定。
S103、电子设备输出第一神经网络模型的训练结果。
当判断不需要调整所述第一神经网络模型时，可以输出这一模型输出的图像数据。此时，表明第一神经网络模型已经训练完成，能够达到预期结果。
其中，第一输出图像数据是第一神经网络模型训练输出的图像数据(训练结果)，训练结果可以与第一图像数据相同，也可以不同。
S104、电子设备在第一神经网络模型中的第一卷积层和第二卷积层之间增加M层卷积层。
其中，第一神经网络模型用于图像增强，第一卷积层和第二卷积层为相邻的卷积层，M为正整数。即可以理解为，在第一神经网络模型的相邻两层模型加入一层或多层卷积层。
示例性地，第一神经网络模型从前到后一共四层，分别为A、B、C和D层，当需要调整第一神经网络模型时，电子设备可以确定C层作为第一卷积层，D层作为第二卷积层，之后可以在C层和D层之间加一层F层，调换之后的第一神经网络模型从前往后为依次为A、B、C、F和D层。
在第一神经网络模型中添加M层卷积层的位置和数量不加限定。图5是本申请实施例示出的另一种神经网络训练模型的示意图。如图5所示，第一卷积层和第二卷积层可以为在第一神经网络模型中任一相邻的两个卷积层。图5形成的调整后的第一神经网络模型，相比于图1的神经网络模型多了一层或几层的卷积层。如图5所示，第一卷积层可以为相邻两个卷积层中前面的一层卷积层(黑色矩形框)，第二卷积层为相邻两个卷积层中后面的一层卷积层(黑色矩形框)，添加的卷积层为斜线矩形框所示的卷积层。添加的卷积层可以位于图中位置①，也可以位于位置②，不加限定。
优选地，添加M层卷积层的位置可以为以下情况：
一种情况下，对于上采样-下采样”类型的神经网络模型而言，添加的卷积层位置位于上采样部分，即第一卷积层和第二卷积层的位置位于上采样部分。由于在上采样和下采样的特征提取过程中，也会伴随着部分特征的丢失，因此，当加入的卷积层位于第一神经网络模型的后面部分(即上采样部分)时，特征提取之后对输出图像的效果影响更大。
另一种情况下，添加的卷积层位置可以位于输出之前的一层卷积层，即第一卷积层和第二卷积层为第一神经网络模型的中最后两层卷积层，例如，图5中的位置①。电子设备将添加的卷积层放在最后的位置，可以保证经过添加的卷积层提取的特征能够很好的保留，从而可以有效地体现添加的卷积层对图像增强的效果。
调整后的第一神经网络模型相比于调整之前的第一神经网络模型多了M层卷积层，之后可以将加入的M层卷积层对应的第一卷积层的输出特征图分别输入M层卷积层，得到第二卷积层的输入特征图。即加入中间层之后，直接测试调整后的图像效果。详细说明添加M层卷积层后的卷积过程。
在一种具体的卷积过程中，第一卷积层输出的图像数据可以包括多个通道的图像数据，当电子设备得到第一卷积层输出的图像数据之后，可以将这些图像数据输入添加的卷积层进行卷积，得到添加的卷积层的输出图像，之后可以将添加的卷积层的输出图像作为第二卷积层输入的图像数据。
示例性地，电子设备需要对第一卷积层的输出特征图中每个通过的图像数据进行卷积，得到对应通道的图像数据。图6是本申请实施例公开的一种卷积过程的示意图。如图6所示，可以将图5中的添加卷积层后对应图像数据的卷积过程表示出来。例如，在图5中的位置①添加了一层卷积层之后，可以先确定第一卷积层的N个输出特征图(N个通道)，之后可以将这N个特征图与N个第一卷积核分别进行卷积，得到N个第二卷积层的输入特征图。此后，电子设备可以将这N个第二图像数据继续按照第一神经网络模型中的处理方法进行计算，不加赘述。上述仅是以添加1层卷积层为例，添加多层的方法与上述相同，不加赘述。
在图6中对应的卷积过程中，N个第一卷积核可以是全部相同的卷积核，也可以是部分相同的卷积核，还可以是全部不相同的卷积核。应理解，N个第一卷积核的大小应当相同(例如，均为3*3)，但里面的值可以不同，也可以相同。
在图6中对应的卷积过程中，第一卷积层的输出特征图的大小应当与第二卷积层的输入特征图的大小相同。为了保证卷积前后图像数据的大小相同，电子设备可以先对第一图像数据进行填充(padding)，之后再进行卷积。例如，当第一卷积核为3*3的大小时，对k1*k2第一图像数据的最外两层用0进行填充，得到(k1+4)*(k2+4)大小的图像数据。
以下说明确定第一卷积核的方式：
实施方式1：第一卷积核可以为高斯卷积核(gaussian kernel)。
电子设备可以根据中心值确定高斯核(即第一卷积核)。
一种可能的情况下，当第一卷积核的大小为3*3时，电子设备可以确定卷积核的中心值a1,1，即3*3矩阵中位于中间的数值。之后可以基于中心值a1,1确定其他数值如a0,0(即3*3矩阵中位于边缘位置的数值)。当第一卷积核所有的值之和为1时，a0,0＝(1-a2,2)/8。其中，例如，当a1,1为0.5时，a0,0为(1-0.5)/8＝0.0625。即可以得到第一卷积核为：
Figure BDA0003189783500000161
其中，上述中心值a1,1可以在某一特定的范围，例如a1,1的范围为大于第一值，且小于第二值。当初始的中心值大于第二值时，可以确定a1,1为第二值；当初始的中心值大于第一值且小于第二值时，可以确定a1,1为初始的中心值；当初始的中心值小于第一值时，可以确定a1,1为第一值。当第一值为1，第二值为9时，当初始的a1,1为10时，10>9，则电子设备可以确定中心值为9；当初始的a1,1为3时，9>3>1，则电子设备可以确定中心值为3；当初始的a1,1为0.5时，1>0.5，则电子设备可以确定中心值为1。上述仅是举例说明，不加限定第一值和第二值的范围。
其中，可以根据不同的特征图在不同通道的特点，对不同通道的特征图选择不同系数。系数的范围可以不限定。例如，对上述形成的卷积核乘以某一系数，得到第一卷积核。此时第一卷积核为：
Figure BDA0003189783500000162
示例性地，当上述中心值为1时，经过的第一卷积核的之后的图像数据与卷积之前图像数据相同；当中心值大于1时，经过的第一卷积核的之后的图像数据与卷积之前图像数据相比锐度很高；当中心值小于1时，经过的第一卷积核的之后的图像数据与卷积之前图像数据相比的更加平滑。上述的中心值a需要根据具体的神经网络具体确定，不加限定。
实施方式2：第一卷积核可以为拉普拉斯卷积核(laplace kernel)。
由于拉普拉斯变换为：
Figure BDA0003189783500000163
在二维函数中f(x，y)，在x，y两个方向的二阶差分分别为：
Figure BDA0003189783500000164
Figure BDA0003189783500000165
上述对应的离散形式为：
Figure BDA0003189783500000166
因此对应的拉普拉斯卷积可以为：
Figure BDA0003189783500000167
应理解，上述仅仅为拉普拉斯卷积核的一种，可以为其他拉普拉斯卷积核，不加限定。
需要说明的是，第一卷积核的大小不加限定，可以为3*3，也可以为5*5，还可以为其他大小。
上述，基于第一卷积核的卷积过程，可以对第一卷积层的输出特征图的某一像素点的像素值与其周围的像素值进行关联。当第一卷积核中心值与边缘值的比值或者差值越大时，第二卷积层的输入特征图便能够加强第一卷积层的输出特征图这一像素值的大小，其与周围像素减弱之间的相互关联，从而可以加强第一卷积层的输出特征图中特征的提取程度；当第一卷积核中心值与边缘值的比值或者差值越小时，第二卷积层的输入特征图便能够抑制第一卷积层的输出特征图这一像素值的大小，其与周围像素增强之间的相互关联，从而可以抑制第一卷积层的输出特征图中特征的提取程度。因此，第一卷积核需要基于不同图像的预期来确定。例如，当不同的通道对应的图像的频率不同时，可以根据对不同频率的图像设定不同的第一卷积核(即权重)进行提取。为了突出图像中的高频成分以及削弱图像中低频，可以确定第一卷积核为增强高频；削弱低频的不同卷积核。
在具体确定卷积核的过程中，电子设备需要针对不同的类型的图像效果，选择不同的卷积核。在一些情况下，需要适当提高高频通道的卷积核数值，提高高频轮廓信息勾勒效果。在另一些情况下，需要合理控制噪声较多通道卷积核数值，控制因提升高频信息权重带来的噪声影响。不同情况第一卷积核的大小不同。
以下说明，经过上述的图像增强处理过程，图像质量的前后对比：
图7a示出了一种图像增强对比的示意图。如图7a所示，左边的图像为经过本申请实施例的图像增强方法处理过的图像，右边为未经处理的图像。二者相比，经过处理的图像中毛巾等物品与背景有清晰的轮廓，且毛巾里的线的纹理和3捆线的纹理比较清楚。本申请实施例，通过调整不同通道与清晰度(模糊程度)的权重，并对这些特征选择不同的权重进行融合，从而能够提高图像的去模糊效果。
图7b示出了另一种图像增强对比的示意图。如图7b所示，左边的图像为经过本申请实施例的图像增强方法处理过的图像，右边为未经处理的图像。二者相比，左边的图像的条纹间距不同，清楚可见，右边的中条纹模糊，基本不能够分辨条纹。本申请实施例，通过调整不同通道与雾度有关的特征，并对这些特征选择不同的权重进行融合，从而能够提高图像的去雾效果。
图7c示出了又一种图像增强对比的示意图。如图7c所示，左边的图像为经过本申请实施例的图像增强方法处理过的图像，右边为未经处理的图像。二者相比，左边的图像的清楚可见，人面部和头发的噪点较少，右边的图像人面部和头发的噪点较少。本申请实施例，通过调整不同通道与去噪有关的特征，并对这些特征选择不同的权重进行融合，从而能够提高图像的去噪效果。
从上述3个图像的效果可以看出，电子设备通过对已有的特征图进行不同程度的特征加强或削弱，使得输出的图像效果能够提高。
在本申请实施例中，电子设备基于已有的神经网络模型，对不同通道的图像进行不同权重的融合。当不同通道的图像为高低频分解之后的图像时，电子设备可以根据高低频的提取需要，选择不同权重对各个通道输出高低频的特征图像进行进一步的特征提取。上述的提取过程，可以的一些通道的图像特征进行增强，对另一些通道的图像特征进行削弱，使得每个通道卷积核可调的深度卷积层实现不同权重融合。经过融合后的图像，能够增强图像的去噪、去雾和去模糊等效果，从而可以减少避免重复训练的次数，减少训练过程所需要的时间。
其中，本申请实施例中的电子设备具有图像处理功能。本申请实施例的技术方案可以应用于各种图像处理的场景。本申请对电子设备的类型不做具体限定，在一些实施例中，本申请实施例中的电子设备可以是手机、可穿戴设备(例如，智能手环)、平板电脑、膝上型计算机(laptop)、手持计算机、电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等便携设备。
图8是本申请实施例示出的另一种图像增强方法的流程示意图。如图8所示，该图像增强方法包含步骤S201～S206。
S201、电子设备将训练图像集输入第一神经网络模型，得到第一图像数据。
其中，第一图像数据为图像样本集，第一神经网络模型为训练模型。
其中，步骤S201可以参考步骤S101，不加赘述。
S202、电子设备判断第一图像数据是否满足预设条件。如果是，执行步骤S203；否则，执行步骤S204。
其中，步骤S202可以参考步骤S102，不加赘述。
S203、电子设备输出第一神经网络模型的训练结果。
其中，步骤S203可以参考步骤S103，不加赘述。
S204、电子设备判断是否需要调整第一神经网络模型的参数。如果是，执行步骤S205；否则，执行步骤S206。
其中，第一神经网络模型的参数可以包括第一神经网络的权重(例如，卷积核)、样本图像集，以及预处理方法等一种或多种，不加限定。
当第一图像数据的不能够达到预期时，电子设备需要去选择是自身调整第一神经网络的参数还是添加M层卷积层，进行卷积。
当第一神经网络模型的第一图像数据还远远达不到预期条件时，电子设备可以继续调整参数，并重新训练模型；当第一图像数据接近预期条件，但是尚未达到预期条件时，可以直接增加M卷积层即可。这样，电子设备在第一神经网络模型尚未基本形成时，需要继续进行训练，当第一神经网络模型已经形成，在原有的网络模型的基础上通过对某些特征进行增强和抑制，并融合，可以提高模型的输出结果，从而可以减少重新训练神经网络的时间。
以下说明几种可能的判断方式：
在一种实施方式中，电子设备可以基于损失函数计算的结果判断是否调整参数。例如，电子设备可以通过损失函数计算第一图像数据的损失值。当损失值大于第一阈值时，电子设备可以确定选择调整网络参数；当损失值小于或等于第一阈值且大于第二阈值时，可以选择添加M层卷积层。其中，第一阈值大于第二阈值。对应地步骤S202，当损失值小于第二阈值时，可以执行步骤S203。
在另一种实施方式中，电子设备可以根据第一图像数据的特定指标的对比，确定是否需要调整网络参数。例如，当第一图像数据的清晰度与预期条件的清晰度差别大于特定阈值时，电子设备可以调整第一神经网络模型的参数，当第一图像数据的清晰度与预期条件的清晰度差别小于或等于特定阈值时，可以不调整参数，而是给第一神经网络模型添加M层卷积层。
在又一种实施方式中，电子设备可以先确定某一层或某几层的特征图(第一图像数据)，当这些特征图中对某些特征明显超过设定条件或者一些需要的特征完全未被提取时，电子设备可以重新调整第一神经网络模型的参数；否则，可以给第一神经网络模型添加M层卷积层。
应理解，上述的选择方式仅是举例说明，不构成限定。
需要说明的是，电子设备基于第一图像数据判断是否需要调整第一神经网络模型，可以包括步骤S202和/或步骤S204。
S205、电子设备调整第一神经网络的参数，并重新执行步骤S201。
由于不同因素造成第一图像数据的输出结果不能够达到预期，对应调整的参数也不同。因此电子设备可以先确定第一图像数据不理想的原因，进一步可以调整参数。
以下说明第一神经网络的调整参数的方法：
实施方式1：调整输入第一神经网络模型的训练图像集。
当由于输入第一神经网络模型的训练图像集不完整或者不全面时，第一图像数据不会达到预期条件，因此需要将训练样本调整为全面完整的训练图像集。例如，电子设备的输入第一神经网络模型的训练图像集的场景为人脸图像时，测试输出的景色图像并不能够达到预期，因此，需要将训练图像集的场景调整为人脸图像和景色图像，并重新训练。
实施方式2：调整第一神经网络模型的权重(即卷积核)。
当由于第一神经网络模型的权重过大或过小时，对于某一或某些特征的提取会过重或过轻，会使得第一图像数据不会达到预期条件，因此，需要将第一神经网络模型中对应的权重调整。例如，当图像中高频成分过于明显导致人的头发比较凌乱时，可以减小高频特征的提取权重，之后进行测试调整后的模型。
实施方式3：调整第一神经网络模型的训练图像的预处理方式。
当由于第一神经网络模型的预处理过程已经使得一些需要的特征消失时，或者某些不需要的特征过分强调时，需要调整预处理过程。例如，预处理之后的图像，某些细节已经消失，电子设备调整预处理过程，保留上述细节，并重新训练。
应理解，不同的网络模型，不同的第一图像数据，调整参数的方法均不一致，不加限定。
可选地，电子设备将训练图像集输入参数调整后的第一神经网络模型进行训练，得到第二图像数据。
S206、电子设备在第一神经网络模型中的第一卷积层和第二卷积层之间增加M层卷积层。
其中，步骤S206可以参考步骤S104的相关描述，不加赘述。
在本申请实施例中，电子设备基于已有的神经网络模型，对不同通道的图像进行不同权重的融合。当不同通道的图像为高低频分解之后的图像时，电子设备可以根据高低频的提取需要，选择不同权重对各个通道输出高低频的特征图像进行进一步的特征提取。上述的提取过程，可以的一些通道的图像特征进行增强，对另一些通道的图像特征进行削弱，使得每个通道卷积核可调的深度卷积层实现不同权重融合。经过融合后的图像，能够增强图像的去噪、去雾和去模糊等效果，从而可以减少避免重复训练的次数，减少训练过程所需要的时间。
在上述实施例中，全部或部分功能可以通过软件、硬件、或者软件加硬件的组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solidstate disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (16)

1.一种图像增强方法，其特征在于，所述方法包括：
电子设备将训练图像集输入第一神经网络模型进行训练，得到第一图像数据；
所述电子设备当所述第一图像数据的分析结果大于设定阈值的情况下，在所述第一神经网络模型中的第一卷积层和第二卷积层之间增加M层卷积层，所述第一卷积层和所述第二卷积层为相邻的卷积层，所述M为正整数。
2.根据权利要求1所述的方法，其特征在于，所述增加的M层卷积层中的卷积核为高斯卷积核或拉普拉斯卷积核。
3.根据权利要求1或2所述的方法，其特征在于，所述第一卷积层和所述第二卷积层位于所述第一神经网络模型上采样的阶段的卷积层。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一卷积层和所述第二卷积层为所述第一神经网络模型中最后两层卷积层。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一图像数据的分析结果是表征第一图像数据的图像质量参数。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
所述电子设备当基于所述第一图像数据的分析结果不大于所述设定阈值时，调整所述第一神经网络模型的参数，所述第一神经网络模型的参数包括卷积层的权重和所述训练图像集中的一项或多项；
所述电子设备将所述训练图像集输入参数调整后的第一神经网络模型进行训练，得到第二图像数据。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
所述电子设备当基于所述第一图像数据分析不需要调整所述第一神经网络模型的情况下，输出所述第一神经网络模型的训练结果。
8.一种电子设备，其特征在于，包括：一个或多个处理器和一个或多个存储器，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行：
所述处理器，用于将训练图像集输入第一神经网络模型进行训练，得到第一图像数据；
所述处理器，还用于当所述第一图像数据的分析结果大于设定阈值的情况下，在所述第一神经网络模型中的第一卷积层和第二卷积层之间增加M层卷积层，所述第一卷积层和所述第二卷积层为相邻的卷积层，所述M为正整数。
9.根据权利要求8所述的电子设备，其特征在于，所述增加的M层卷积层中的卷积核为高斯卷积核或拉普拉斯卷积核。
10.根据权利要求8或9所述的电子设备，其特征在于，所述第一卷积层和所述第二卷积层位于所述第一神经网络模型上采样的阶段的卷积层。
11.根据权利要求8-10任一项所述的电子设备，其特征在于，所述第一卷积层和所述第二卷积层为所述第一神经网络模型中最后两层卷积层。
12.根据权利要求8-11任一项所述的电子设备，其特征在于，所述第一图像数据的分析结果是表征第一图像数据的图像质量参数。
13.根据权利要求8-12任一项所述的电子设备，其特征在于，所述处理器，还用于当基于所述第一图像数据的分析结果不大于所述设定阈值时，调整所述第一神经网络模型的参数，所述第一神经网络模型的参数包括卷积层的权重和所述训练图像集中的一项或多项；
所述处理器，还用于将所述训练图像集输入参数调整后的第一神经网络模型进行训练，得到第二图像数据。
14.根据权利要求8-13任一项所述的电子设备，其特征在于，所述处理器，还用于当基于所述第一图像数据分析不需要调整所述第一神经网络模型的情况下，输出所述第一神经网络模型的训练结果。
15.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。
16.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。
CN202110874279.6A 2021-07-30 2021-07-30 一种图像增强方法、电子设备和计算机可读存储介质 Active CN113724151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110874279.6A CN113724151B (zh) 2021-07-30 2021-07-30 一种图像增强方法、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110874279.6A CN113724151B (zh) 2021-07-30 2021-07-30 一种图像增强方法、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113724151A true CN113724151A (zh) 2021-11-30
CN113724151B CN113724151B (zh) 2022-09-27

Family

ID=78674564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110874279.6A Active CN113724151B (zh) 2021-07-30 2021-07-30 一种图像增强方法、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113724151B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693706A (zh) * 2022-06-01 2022-07-01 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种内窥镜息肉图像分割方法、装置及存储介质
CN117408925A (zh) * 2023-11-02 2024-01-16 沐曦科技(成都)有限公司 一种基于神经网络模型的图像增强方法
CN117408925B (zh) * 2023-11-02 2024-05-31 沐曦科技(成都)有限公司 一种基于神经网络模型的图像增强方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205448A (zh) * 2015-08-11 2015-12-30 中国科学院自动化研究所 基于深度学习的文字识别模型训练方法和识别方法
CN106096584A (zh) * 2016-06-29 2016-11-09 深圳市格视智能科技有限公司 可拓展的基于深度卷积神经网络的间隔棒识别方法
CN109102483A (zh) * 2018-07-24 2018-12-28 厦门美图之家科技有限公司 图像增强模型训练方法、装置、电子设备及可读存储介质
CN109583273A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种海量足底压力数据的分析处理系统
CN110276299A (zh) * 2019-06-21 2019-09-24 国网北京市电力公司 计量箱外观故障图像识别模型及方法
CN110276345A (zh) * 2019-06-05 2019-09-24 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质
CN110765982A (zh) * 2019-11-07 2020-02-07 中国人民解放军国防科技大学 基于变化累积图和级联深度网络的视频烟雾检测方法
CN111782879A (zh) * 2020-07-06 2020-10-16 Oppo（重庆）智能科技有限公司 模型训练方法及装置
WO2020256704A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Real-time video ultra resolution
CN112236779A (zh) * 2019-03-20 2021-01-15 华为技术有限公司 基于卷积神经网络的图像处理方法和图像处理装置
CN112233043A (zh) * 2020-11-10 2021-01-15 西安邮电大学 一种基于DenseNet与GAN的低照度图像增强方法
CN112288077A (zh) * 2020-10-29 2021-01-29 华中师范大学 卷积神经网络的诊断调整方法、系统、设备及介质
CN112733635A (zh) * 2020-12-28 2021-04-30 北京迈格威科技有限公司 对象识别方法、装置及电子设备
CN112766280A (zh) * 2021-01-16 2021-05-07 北京工业大学 一种基于图卷积的遥感图像道路提取方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205448A (zh) * 2015-08-11 2015-12-30 中国科学院自动化研究所 基于深度学习的文字识别模型训练方法和识别方法
CN106096584A (zh) * 2016-06-29 2016-11-09 深圳市格视智能科技有限公司 可拓展的基于深度卷积神经网络的间隔棒识别方法
CN109583273A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种海量足底压力数据的分析处理系统
CN109102483A (zh) * 2018-07-24 2018-12-28 厦门美图之家科技有限公司 图像增强模型训练方法、装置、电子设备及可读存储介质
CN112236779A (zh) * 2019-03-20 2021-01-15 华为技术有限公司 基于卷积神经网络的图像处理方法和图像处理装置
CN110276345A (zh) * 2019-06-05 2019-09-24 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质
WO2020256704A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Real-time video ultra resolution
CN110276299A (zh) * 2019-06-21 2019-09-24 国网北京市电力公司 计量箱外观故障图像识别模型及方法
CN110765982A (zh) * 2019-11-07 2020-02-07 中国人民解放军国防科技大学 基于变化累积图和级联深度网络的视频烟雾检测方法
CN111782879A (zh) * 2020-07-06 2020-10-16 Oppo（重庆）智能科技有限公司 模型训练方法及装置
CN112288077A (zh) * 2020-10-29 2021-01-29 华中师范大学 卷积神经网络的诊断调整方法、系统、设备及介质
CN112233043A (zh) * 2020-11-10 2021-01-15 西安邮电大学 一种基于DenseNet与GAN的低照度图像增强方法
CN112733635A (zh) * 2020-12-28 2021-04-30 北京迈格威科技有限公司 对象识别方法、装置及电子设备
CN112766280A (zh) * 2021-01-16 2021-05-07 北京工业大学 一种基于图卷积的遥感图像道路提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHAO DONG 等: "Accelerating the Super-Resolution Convolutional Neural Network", 《ECCV 2016：COMPUTER VISION》 *
KAIMING HE 等: "Convolutional Neural Networks at Constrained Time Cost", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
李帷韬 等: "基于深度迁移学习的玻璃绝缘子自爆状态智能认知方法研究", 《中国电机工程学报》 *
林景栋 等: "卷积神经网络结构优化综述", 《自动化学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693706A (zh) * 2022-06-01 2022-07-01 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种内窥镜息肉图像分割方法、装置及存储介质
CN117408925A (zh) * 2023-11-02 2024-01-16 沐曦科技(成都)有限公司 一种基于神经网络模型的图像增强方法
CN117408925B (zh) * 2023-11-02 2024-05-31 沐曦科技(成都)有限公司 一种基于神经网络模型的图像增强方法

Also Published As

Publication number Publication date
CN113724151B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
CN113538273B (zh) 图像处理方法及图像处理装置
US20220319077A1 (en) Image-text fusion method and apparatus, and electronic device
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
WO2021218364A1 (zh) 一种图像增强方法及电子设备
CN111932463B (zh) 图像处理方法、装置、设备及存储介质
US20210304366A1 (en) Image system including image signal processor and operation method of image signal processor
CN115131419A (zh) 一种形成丁达尔光效的图像处理方法及电子设备
CN113724151B (zh) 一种图像增强方法、电子设备和计算机可读存储介质
CN116152123B (zh) 图像处理方法、电子设备及可读存储介质
CN116233626B (zh) 图像处理方法、装置及电子设备
CN117274109A (zh) 图像处理方法、降噪模型训练方法及电子设备
CN115546858B (zh) 人脸图像处理方法和电子设备
CN113538227A (zh) 一种基于语义分割的图像处理方法及相关设备
CN115471417A (zh) 图像降噪处理方法、装置、设备、存储介质和程序产品
WO2022115996A1 (zh) 图像处理方法及设备
CN115375909A (zh) 一种图像处理方法及装置
CN115760658A (zh) 图像处理方法、装置、存储介质及电子设备
CN114970576A (zh) 识别码的识别方法、相关电子设备及计算机可读存储介质
CN114793283A (zh) 图像编码方法、图像解码方法、终端设备及可读存储介质
CN115601536B (zh) 一种图像处理方法及电子设备
CN116664630B (zh) 一种图像处理方法和电子设备
CN116205822B (zh) 一种图像处理的方法、电子设备和计算机可读存储介质
CN117499797B (zh) 图像处理方法及相关设备
CN116453131B (zh) 文档图像矫正方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230911

Address after: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New Area, Pudong New Area, Shanghai

Patentee after: Shanghai Glory Smart Technology Development Co.,Ltd.

Address before: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Patentee before: Honor Device Co.,Ltd.

TR01 Transfer of patent right