CN108875752A - 图像处理方法和装置、计算机可读存储介质 - Google Patents

图像处理方法和装置、计算机可读存储介质 Download PDF

Info

Publication number
CN108875752A
CN108875752A CN201810236351.0A CN201810236351A CN108875752A CN 108875752 A CN108875752 A CN 108875752A CN 201810236351 A CN201810236351 A CN 201810236351A CN 108875752 A CN108875752 A CN 108875752A
Authority
CN
China
Prior art keywords
sublayer
channel
optimization
convolutional layer
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810236351.0A
Other languages
English (en)
Other versions
CN108875752B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201810236351.0A priority Critical patent/CN108875752B/zh
Priority to US16/034,183 priority patent/US10713533B2/en
Publication of CN108875752A publication Critical patent/CN108875752A/zh
Application granted granted Critical
Publication of CN108875752B publication Critical patent/CN108875752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供基于神经网络的图像处理方法和装置、以及计算机可读存储介质。所述图像处理方法，包括：将图像输入经优化的神经网络；所述经优化的神经网络提取所述图像的图像特征；并且输出所述图像特征，其中，所述经优化的神经网络是对预先训练好的初始神经网络中的至少一个子层执行第一优化处理后得到的，所述至少一个子层中的每个子层包括卷积层，所述第一优化处理包括：对于所述至少一个子层中的每个子层，确定从所述卷积层的滤波器中要移除的通道并移除，以及优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。

Description

图像处理方法和装置、计算机可读存储介质
技术领域
本公开涉及图像处理领域，更具体地，本公开涉及基于神经网络的图像处理方法和装置、以及计算机可读存储介质。
背景技术
神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如人脸检测、图像语义分割、物体检测、动作追踪、自然语言翻译等。神经网络已被人工智能界广泛应用。
在现代深度视觉识别等图像处理应用中，卷积神经网络(CNN)模型处于核心地位。然而，由于卷积网络通常需要巨大的计算量，因此为了将卷积神经网络模型应用到移动设备等低功耗的应用场景就必须对其进行化简。在用于图像处理的卷积神经网络的现有优化方案中，一些方案仅仅利用了卷积核本身的信息而没有利用各层输入数据分布的特点，一些方案使用在某些情况下不稳定、而且有落入局部极值的风险的随机梯度下降(SGD)作为优化的基本算法，另外一些方案只利用了通道的一些简单统计信息(如均值、方差等)，而没有考虑到通道与通道之间的交互效应，此外还有一些方案要求对优化的模型进行重新训练，优化过程十分耗时，而且使得调参变得很不方便。也就是说，现有的方案普遍存在优化效率不高，精度损失严重，而加速比却十分有限的缺陷。
发明内容
鉴于上述问题而提出了本公开。本公开提供了一种基于神经网络的图像处理方法和装置、以及计算机可读存储介质。
根据本公开的一个方面，提供了一种图像处理方法，包括：将图像输入经优化的神经网络；所述经优化的神经网络提取所述图像的图像特征；并且输出所述图像特征，其中，所述经优化的神经网络是对预先训练好的初始神经网络中的至少一个子层执行第一优化处理后得到的，所述至少一个子层中的每个子层包括卷积层，所述第一优化处理包括：对于所述至少一个子层中的每个子层，确定从所述卷积层的滤波器中要移除的通道并移除，以及优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。
根据本公开的另一个方面，提供了一种图像处理装置，包括：图像输入单元，用于将图像输入经优化的神经网络；图像特征提取单元，用于通过所述经优化的神经网络提取所述图像的图像特征；并且图像特征输出单元，用于输出所述图像特征，其中，所述经优化的神经网络是对预先训练好的初始神经网络中的至少一个子层执行第一优化处理后得到的，所述至少一个子层中的每个子层包括卷积层，所述第一优化处理包括：对于所述至少一个子层中的每个子层，确定从所述卷积层的滤波器中要移除的通道并移除，以及优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。
根据本公开的又一个方面，提供了一种图像处理装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述图像处理装置执行上述图像处理方法。
根据本公开的再一个方面，提供了一种计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行上述图像处理方法。例如，该计算机可读存储介质为非暂时性计算机可读存储介质。
如下将详细描述的，根据本公开的实施例的基于神经网络的图像处理方法和装置，针对移动设备等低功耗的应用场景对神经网络进行了通道优化。根据本公开的实施例的优化处理目标是最小化各子层的特征重建误差，而不是卷积核的重建误差，从而同时考虑了各子层的输入特征分布和卷积核本身的信息。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是图示根据本公开的实施例的图像处理方法的流程图；
图2是图示根据本公开的实施例的图像处理方法的示意图；
图3是图示根据本公开的实施例的图像处理方法中卷积神经网络的优化处理的流程图；
图4是图示根据本公开的实施例的图像处理方法中卷积神经网络的优化处理的示意图；
图5A和图5B是示出根据本公开的实施例的图像处理方法中多通路神经网络的优化处理的示意图；
图6是图示根据本公开的实施例的图像处理方法中卷积神经网络的优化处理的预定阈值的确定流程图；
图7是图示根据本公开的实施例的图像处理装置的框图；
图8是图示根据本公开的实施例的图像处理装置的硬件框图；以及
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
本公开涉及基于神经网络的图像处理方法和装置。通常利用神经网络进行图像处理方法可以分为两个阶段，即训练阶段和图像处理阶段。所谓训练阶段是指首先需要利用训练图像对神经网络进行训练，以调整神经网络的权重(也可称为参数)；所谓图像处理阶段是指随后可以利用训练好的神经网络对待处理的图像进行特征提取。在本公开中，为了将卷积神经网络模型应用到移动设备等低功耗的应用场景，对训练好的卷积神经网络进一步执行优化处理，将优化后卷积神经网络用于诸如特征提取的图像处理。以下，将参考附图详细描述本公开的各个实施例。
首先，参照图1和图2描述根据本公开的实施例的图像处理方法。图1是图示根据本公开的实施例的图像处理方法的流程图，图2是图示根据本公开的实施例的图像处理方法的示意图。
如图1和图2所示，在步骤S101中，将图像10输入经优化的神经网络20。
在步骤S102中，经优化的神经网络20提取所述图像10的图像特征30。如图2示意性地示出的，经优化的神经网络20包括级联的多个子层，所述多个子层包括但不限于卷积层、池化层、激活层、全连接层等。
在步骤S103中，输出所述图像特征30。所述图像特征30可以进一步用于输入的图像10中的目标对象检测和分割、目标对象分类以及目标对象的运动预测等。
如上所述，在根据本公开的实施例的图像处理方法中，为了将卷积神经网络模型应用到移动设备等低功耗的应用场景，使用经优化的卷积神经网络。以下，将参照图3和图4描述根据本公开的实施例的图像处理方法中对于卷积神经网络的优化处理。图3是图示根据本公开的实施例的图像处理方法中卷积神经网络的优化处理的流程图；图4是图示根据本公开的实施例的图像处理方法中卷积神经网络的优化处理的示意图。
在步骤S301中，对于每个子层，确定从卷积层的滤波器中要移除的通道并移除。
图4示意性示出了待优化的卷积神经网络中的两个子层，即子层401和子层402。子层402是该待优化的卷积神经网络中的执行优化处理的至少一个子层。子层401和子层402都包括利用各自的滤波器w1和w2分别对特征图A和B执行卷积的卷积层。在对子层402执行优化之前，在训练好的初始神经网络中，在子层401中由滤波器w1对特征图A执行卷积计算后生成的输出特征图B作为子层402的输入特征图；在子层402中由滤波器w2对输入特征图B执行卷积计算后生成的特征图C作为子层402的输出特征图。
进一步地，如图4中的子层402所示，子层402中滤波器w2的原始通道数c与该层的输入特征图B的通道数c相同。此外，滤波器w2的滤波器核尺寸为kh×kw，滤波器w2的个数为n。为了对于子层402执行优化，需要选择c个通道中具有代表性的通道，而仅保留数目c’(0≤c’≤c)的通道执行卷积计算也能维持图像处理所需的足够信息。如下将详细描述的，对于单个子层，c’可以从希望的加速比计算得到；对于整个卷积神经网络的整体模型，则可以对每个子层分配加速比，然后计算每个子层的c’。即，如图4中的子层402中示意性示出的，确定要移除的通道后，对应于被移除通道的滤波器w2和输入特征图B的相应通道(在图4中，由w2和B的缺失部分代表)将被移除，不参与卷积计算。
在步骤S302中，优化所述卷积层的滤波器中剩余通道的参数。优化滤波器中剩余通道的参数即调整滤波器中第i个通道的参数(1≤i≤c’)。
在步骤S303中，使得经优化的每个子层的输出特征的误差最小化。在子层402中移除通道后，重建经优化的c’个通道的输出特征，如果优化后的输出特征与该子层没有优化的原始输出特征之间的误差最小，则指示此时选择的代表性的通道满足了优化条件。也就是说，在根据本公开的优化过程中，优化目标是最小化子层的特征重建误差，而不是卷积核的重建误差，从而同时考虑了各子层的输入特征分布和卷积核本身的信息。
在步骤S304中，将每个子层的上一子层中与所述被移除的通道对应的滤波器移除。如图4所示，在从子层402中移除通道后，输入特征图B的相应通道也变得不必要，因此可以从上一子层401中移除产生输入特征图B的相应通道的滤波器，从而对上一子层401执行了相关联的优化。
以下，将进一步详细说明以上参照图3和图4描述的根据本公开的实施例的图像处理方法中卷积神经网络的优化处理的实现。
具体地，对于子层402的单层优化后的输出特征的误差最小化可以由以下表达式(1)表示：
||β||0≤c′ 表达式(1)
其中，N表示用于优化的样本数量(即，用于优化的随机图像数与在图像上的采样点数的乘积)，Y表示子层402的原始输出特征(即由图4中特征图C表示的输出特征)，c表示子层402中输入特征的原始通道数，c′表示预定阈值(即，上述优化后保留的通道数)，β表示用于通道移除的掩码向量(β的各个分量取值为0和1，0表示该通道被移除，1表示该通道被保留)，Xi表示第i个通道上的输入特征，Wi表示滤波器中第i个通道的参数，整体表示优化后子层402的输出特征。
在一个实施例中，求解表达式(1)等价于求解表达式(2)。
表达式(2)中的各个参数的物理含义与表达式(1)中的相应参数分别相同。此外，与表达式(1)相比，表达式(2)引入了表示用于通道移除的掩码向量的惩罚系数λ。通过增加惩罚系数λ，将使得掩码向量β中存在更多0分量，从而移除更多通道以实现更高加速率。与表达式(1)相比，表达式(2)引入了限制从而避免了平凡解。
更进一步地，在本公开的一个实施例中，基于稀疏最小二乘法(如LASSO)，确定从所述卷积层的滤波器中移除的通道并移除；使用最小二乘法优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。
具体地，优化过程可以分解为如下两步优化过程。
第一步优化即对应于上述步骤S301，其中固定各个通道的滤波器参数，求解β用于通道选择。可以通过由以下表达式(2)′表示的LASSO问题来求解β。
||β||0≤c′ 表达式(2)′
其中，Zi＝XiWi T(尺寸为N×n)，如果βi＝0，则移除对应的通道。
第二步优化即对应于上述步骤S302和S303，其中固定第一步优化中获得的β，求解各个通道的滤波器参数Wi以重建误差。具体地，通过使用最小二乘法优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。最小二乘法优化由以下表达式(3)′表示
其中，X′＝[β1X1 β2X2…βiXi…βcXc](尺寸为N×ckhkw)，W是n×ckhkw变形的W，W′＝[W1 W2…Wi…Wc]。在获得结果W′之后，变形回W。然后赋值βi←βi||Wi||F，Wi←Wi/||Wi||F。从而满足表达式(3)′中的限制条件。
在本公开的一个实施例中，第一步优化和第二步优化交替迭代执行。最初，W从训练好的神经网络模型初始化，λ＝0(即没有惩罚)，并且||β||0＝c。此后，逐渐增加λ，对于每次λ的改变，迭代执行第一步优化和第二步优化，直到||β||0稳定。在满足||β||0≤c′之后，从{βiWi}得到最终的W。
在本公开的另一实施例中，为了避免第一步优化和第二步优化迭代执行所消耗的过长的优化时间，可以先使用多次第一步优化，直到满足||β||0≤c′。然后，仅使用一次第二步优化，从而获得最终结果。
以上，描述了对于卷积神经网络中包括卷积层的单个子层执行优化的过程。当前用于图像处理的卷积神经网络模型通常具有多个卷积层，如果对于多个卷积层的每个分别使用上述针对单个子层执行的优化，则会产生很大的累积误差。因此，在对于整个模型执行优化的情况下，经优化的神经网络是对所述初始神经网络模型中的多个子层执行优化处理后得到的，优化导致的误差是根据所述卷积层的原始输出特征与所述经优化后的卷积层的输出特征计算得到的。在对于整个模型执行优化的情况下，整个卷积神经网络模型中每一子层优化后的输出特征的误差最小化可以由以下表达式(4)表示：
||β||0≤c′ 表达式(4)
其中，Y′是原始神经网络模型中该子层的输出特征图，表达式(4)中其他的各个参数的物理含义与表达式(1)中的相应参数分别相同。
以上，描述了对于卷积神经网络模型的整体优化，上述优化方式对于诸如LeNet、AlexNet和VGG的单通路网络模型来说能够获得足够理想的优化效果。然而，对于诸如GoogLeNet和ResNet网络的多通路网络模型则不够理想。
如图5A所示，多通路神经网络包括至少一个计算块500，其中计算块500包括第一通路501和第二通路502，所述第一通路包括级联的多个卷积层。图5A中示出了空间尺寸为1×1、3×3和1×1的三个卷积层，即第一卷积层51、第二卷积层52和第三卷积层53。所述第二通路502为用于连接所述第一通路的第一个卷积层(即，第一卷积层51)的输入特征和所述第一通路的最后一个卷积层(即，第三卷积层53)的输出特征的通路。第一通路的级联的多个卷积层中，除了第一个卷积层和最后一个卷积层之外的其他卷积层(即，第二卷积层52)可以采用如上描述的优化处理进行优化。对于第一个卷积层，因为其输入特征图宽度大，并且该输入特征图是与第二通路共享的，所以不容易被优化。而对于最后一个卷积层，因为没有关于第二通路的参数，所以难以恢复来自第二通路的累积误差。
图5B进一步示出用于多通路神经网络的计算块中第一个卷积层和最后一个卷积层的优化处理示意图。
如图5B所示，对于计算块500的第一卷积层51，由于其输入特征由第一通路501和第二通路502共享而不能通过移除通道来执行优化。在此情况下，在计算块500的第一卷积层51之前设置采样器50，所述采样器50用于对计算块500的第一通路501的输入特征c0进行采样获得采样特征c0′，以实现根据优化需要筛选第一卷积层51的输入特征的通道，同时保持进入第二通路502的输入特征c0不变。
此外，如图5B所示，对于计算块500的第三卷积层53，确定从所述第三卷积层53的滤波器中移除的通道并移除，以及优化所述第三卷积层53的滤波器中剩余通道的参数，使得所述计算块500的输出特征Y1+Y2的误差最小化。在此情况下，Y1和Y2分别是优化之前的第一通路501和第二通路502的原始输出特征。其中，Y2可以是如在表达式(1)中所近似得到的，而第二通路502的输出特征Y1不能被直接恢复，那么第三卷积层53的优化目标从Y2变为Y1-Y1′+Y2，其中Y1′是前一层优化后的输出特征。
在如上所述的卷积神经网络的优化处理中，作为优化后通道数的预定阈值c′是根据本公开的实施例的图像处理方法中卷积神经网络的优化处理的关键参数之一，其直接决定了对应子层的加速比以及重建误差。在本公开的一个实施例中，在无需模型微调的情况下实现预定阈值c′的快速搜索确定。
图6是图示根据本公开的实施例的图像处理方法中卷积神经网络的优化处理的预定阈值的确定流程图。
在步骤S601中，收集和更新待优化的神经网络的状态信息。在本公开的实施例中，所述状态信息包括已经搜索过的c'配置、实测速度和精度、重建误差等。
在步骤S602中，生成多个候选值。在本公开的实施例中，可以直接采用诸如强化学习、遗传算法等确定多个候选值。
在步骤S603中，优化所述神经网络以确定对应于所述多个候选值的优化加速比和精度。对于所述多个候选值，选择其优化加速比和精度达到优化要求的候选值。
在步骤S604中，选择所述多个候选值中具有最佳优化加速比和精度的候选值作为所述预定阈值。
以上，描述的根据本公开的实施例的图像处理方法中卷积神经网络的优化处理是针对卷积神经网络中间的线性部分，而目前大多数卷积神经网络都使用了线性整流函数(ReLU)作为非线性激活函数，因此需要在优化处理中进一步考虑非线性部分的影响，以提高优化的性能。
在待优化的卷积神经网络的每个子层还包括连接在所述卷积层之后的非线性激活层的情况下，对于每个子层执行优化处理，确定从所述卷积层的滤波器中移除的通道并移除，以及优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的非线性激活层的输出特征的误差最小化。
具体地，使得经优化的每个子层的非线性激活层的输出特征的误差最小化，上述表达式(1)可以适应性地改写为以下表达式(5)：
||β||0≤c′
表达式(5)
表达式(5)中的各个参数的物理含义与表达式(1)中的相应参数分别相同。此外，与表达式(1)相比，引入f表示非线性激活函数。
求解表达式(5)等价于求解以下表达式(6)：
和表达式(2)式相比，这里的优化公式多了非线性项，不能直接套用上述的两步优化法进行求解。在本公开的一个实施例中，对该表达式(6)进行进一步松弛处理：
当δ→∞时此时表达式(7)和表达式(6)等价。
在本公开的一个实施例中，为了求解表达式(7)，采用一种新的两步迭代优化方法：
在第一步优化中，固定U，求解β,W。即，相当于优化：
表达式(8)中已经没有了非线性激活函数。可以直接使用参照图3和图4描述的两步迭代优化求解。并且通过固定U，确定满足所述表达式(8)的β，即可确定要从所述每个卷积层的滤波器中移除的通道。
在第二步优化中，固定β,W，求解U。即，相当于优化：
可见V为定值。利用F范数的性质，表达式(9)可以展开为：
其中Yij表示矩阵Y的第i行第j列。通过变形，将多元优化问题变成了一系列一元函数优化问题，大大减少了问题的难度。例如，当非线性激活f为ReLU函数时，可以获得如下闭式解：
u0＝min(0,Vij)
通过重复第一步优化和第二步优化，就可以完成对表达式(7)的优化求解。
以上，参照附图描述了根据本公开的实施例的图像处理方法，特别是重点描述了根据本公开的实施例的图像处理方法中卷积神经网络的优化处理。以下，将进一步描述执行该图像处理方法的图像处理装置。
图7是图示根据本公开的实施例的图像处理装置的框图。如图7所示的根据本公开的实施例的图像处理装置70可以用于执行如图1所示的根据本公开的实施例的图像处理方法。如图5所示，根据本公开的实施例的图像处理装置70包括图像输入单元701、图像特征提取单元702和图像特征输出单元703。
具体地，图像输入单元701用于将图像输入经优化的神经网络。所述图像输入单元701可以与图像特征提取单元702和图像特征输出单元703等在物理位置上分离，并且经由有线或者无线方式，由所述图像输入单元701发送输入图像给图像处理装置70中的其他单元。可替代地，所述图像输入单元701可以与图像处理装置70中的其他单元或组件物理上位于同一位置甚至位于同一机壳内部，图像处理装置70中的其他单元或组件经由内部总线接收由所述图像输入单元701发送的图像。
在本公开的一个实施例中，所述图像输入单元701可以是摄像头，图像输入单元701具体用于采集待处理的图像。在本公开的另一个实施例中，图像输入单元701具体用于经由有线或无线方式，接收待处理的图像，例如接收图像采集设备或其他设备发送的待处理的图像。在本公开的另一个实施例中，所述图像输入单元701具体用于从存储器中获取预先存储的待处理的图像。
图像特征提取单元702用于通过所述经优化的神经网络提取所述图像的图像特征。图像特征提取单元702所利用的经优化的神经网络包括级联的多个子层，所述多个子层包括但不限于卷积层、池化层、激活层、全连接层等。所述经优化的神经网络是通过参照图3到图6描述的优化处理，对训练后的神经网络执行优化后所获得的。
图像特征输出单元703用于输出所述图像特征。所述图像特征可以进一步用于输入的图像中的目标对象检测和分割、目标对象分类以及目标对象的运动预测等。
图8是图示根据本公开的实施例的图像处理装置的硬件框图。如图8所示，根据本公开实施例的图像处理装置80包括存储器801和处理器802。图像处理装置80中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。
所述存储器801用于存储计算机可读指令。具体地，存储器801可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
所述处理器802可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制图像处理装置80中的其它组件以执行期望的功能。在本公开的一个实施例中，所述处理器802用于运行所述存储器801中存储的所述计算机可读指令，使得所述图像处理装置80执行基于神经网络的图像处理方法。所述图像处理方法与参照图1和图2描述的相同，在此将省略其重复描述。
需要注意的是，由于根据本公开的实施例的图像处理装置中利用的是进行了通道优化的神经网络模型，因此根据本公开的实施例的图像处理装置可以是诸如智能手机、平板电脑、穿戴式电子设备的低功耗移动设备。
此外，需要理解的是，图8所示的图像处理装置80的组件和结构只是示例性的，而非限制性的，根据需要，图像处理装置80也可以具有其他组件和结构。例如，图像采集装置和输出装置等(未示出)。图像采集装置可以用于采集用于图像处理的待处理图像，并且将所拍摄的图像存储在存储器801中以供其它组件使用。当然，也可以利用其他图像采集设备采集所述待处理图像，并且将采集的图像发送给图像处理装置80，图像处理装置80可以将接收到的图像存储到存储器801中。输出装置可以向外部(例如用户)输出各种信息，例如图像信息以及图像处理结果。输出装置可以包括显示器、扬声器、投影仪、网卡等中的一个或多个。
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示，根据本公开实施例的计算机可读存储介质900其上存储有计算机可读指令901。当所述计算机可读指令901由处理器运行时，执行参照以上附图描述的根据本公开实施例的图像处理方法。
根据本发明实施例，还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤，并且用于实现根据本发明实施例的图像处理装置中的相应模块。
以上，参照附图描述了根据本公开的实施例的基于神经网络的图像处理方法和装置、以及计算机可读存储介质。在根据本公开的基于神经网络的图像处理方法和装置中，针对移动设备等低功耗的应用场景对神经网络进行了通道优化。根据本公开的实施例的优化处理目标是最小化各子层的特征重建误差，而不是卷积核的重建误差，从而同时考虑了各子层的输入特征分布和卷积核本身的信息。在优化处理中，采用基于稀疏最小二乘法(如LASSO)的两步优化算法，每步的优化均存在成熟的算法可以高效地达到全局最优解，优化处理的总体误差可控，避免了随机梯度下降等的不稳定性。由于采用了稀疏编码对通道进行选择，该选择以最小化重建误差为目标，从而充分考虑了各通道的交互效应。进一步地，根据本公开的实施例的优化处理为“测试时(test-time approximation)”优化，优化完成即意味着全部流程结束无需重新训练。此外，根据本公开的实施例的优化处理实现了地域优化处理的预定阈值的自动和快速确定。此外，根据本公开的实施例的优化处理对于诸如残差网络这样包括多个通路的神经网络模型以及包括诸如ReLU非线性激活层的神经网络模型都能实现对应的最佳优化。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (18)

1.一种图像处理方法，包括：
将图像输入经优化的神经网络；
所述经优化的神经网络提取所述图像的图像特征；并且
输出所述图像特征，
其中，所述经优化的神经网络是对预先训练好的初始神经网络中的至少一个子层执行第一优化处理后得到的，所述至少一个子层中的每个子层包括卷积层，所述第一优化处理包括：
对于所述至少一个子层中的每个子层，
确定从所述卷积层的滤波器中要移除的通道并移除，以及优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。
2.如权利要求1所述的图像处理方法，其中，所述经优化的神经网络是对所述初始神经网络中的所述至少一个子层执行所述第一优化处理，并对所述至少一个子层中每个子层的上一子层执行第二优化处理后得到的，所述第二优化处理包括：
将所述每个子层的上一子层中与所述被移除的通道对应的滤波器移除。
3.如权利要求1或2所述的图像处理方法，其中，所述确定从所述卷积层的滤波器中移除的通道并移除，以及优化所述卷积层的滤波器中剩余的通道的参数，使得经优化的每个子层的输出特征的误差最小化，包括：
采用以下表达式(1)，选择从所述卷积层的滤波器中移除的通道，以及剩余的通道的参数，
||β||0≤c′ 表达式(1)
其中，N表示用于优化的样本数量，Y表示所述至少一个子层中的每个子层的所述原始输出特征，c表示所述至少一个子层中的每个子层的输入特征的原始通道数，c′表示预定阈值，β表示用于通道移除的掩码向量，Xi表示第i个通道上的输入特征，Wi表示滤波器中第i个通道的参数。
4.如权利要求1或2所述的图像处理方法，其中，所述确定从所述卷积层的滤波器中移除的通道并移除，以及优化所述卷积层的滤波器中剩余的通道的参数，使得经优化的每个子层的输出特征的误差最小化，包括：
基于稀疏最小二乘法，确定从所述卷积层的滤波器中移除的通道并移除；
使用最小二乘法优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。
5.如权利要求4所述的图像处理方法，其中，所述基于稀疏最小二乘法，确定从所述卷积层的滤波器中移除的通道并移除，包括：
采用以下表达式(2)′，选择从所述每个卷积层的滤波器中移除的通道：
||β||0≤c′ 表达式(2)′
所述使用最小二乘法优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化，包括：
采用以下表达式(3)′优化所述每个卷积层的滤波器中剩余通道的参数：
其中，N表示用于优化的样本数量，Y表示所述至少一个子层中的每个子层的所述原始输出特征，c表示所述至少一个子层中的每个子层的输入特征的原始通道数，c′表示预定阈值，β表示用于通道移除的掩码向量，Xi表示第i个通道上的输入特征，Wi表示滤波器中第i个通道的参数，λ表示用于通道移除的掩码向量的惩罚系数，X′＝[β1X1 β2X2…βiXi…βcXc]，W′＝[W1 W2… Wi…Wc]，Zi＝XiWi T。
6.如权利要求1所述的图像处理方法，其中，所述经优化的神经网络是对所述初始神经网络中的多个子层执行所述第一优化处理后得到的，所述误差是根据所述卷积层的原始输出特征与所述经优化后的卷积层的输出特征计算得到的。
7.如权利要求6所述的图像处理方法，其中，对所述初始神经网络中的多个子层执行所述第一优化处理，使得所述初始神经网络中的多个子层优化后的输出特征和原始输出特征之间的误差最小化表示为满足以下表达式(4)：
||β||0≤c′ 表达式(4)
其中，N表示用于优化的样本数量，Y′表示所述多个子层的每个子层的原始输出特征矩阵，c表示所述多个子层的每个子层的输入特征的原始通道数，c′表示所述预定阈值，β表示用于通道移除的掩码向量，Xi表示第i个通道上的输入特征，Wi表示第i个通道的滤波器的参数，
其中，通过确定满足所述表达式(4)的β，确定要从所述多个子层的每个子层的滤波器中移除的通道。
8.如权利要求1所述的图像处理方法，其中，所述初始神经网络为多通路神经网络，所述多通路神经网络包括至少一个计算块，其中每个计算块包括第一通路和第二通路，所述第一通路包括级联的多个卷积层，所述第二通路为用于连接所述第一通路的第一个卷积层的输入特征和所述第一通路的最后一个卷积层的输出特征的通路，
所述至少一个子层为所述多通路神经网络中除所述至少一个计算块中的每个计算块中的第一个卷积层和最后一个卷积层之外的其他卷积层。
9.如权利要求8所述的图像处理方法，其中，所述经优化的神经网络是对所述多通路神经网络中的所述至少一个子层执行所述第一优化处理，并在所述每个计算块的第一个卷积层之前设置采样器后得到的，所述采样器用于对所述每个计算块的输入特征进行采样，以筛选所述第一个卷积层的输入特征的通道。
10.如权利要求8所述的图像处理方法，其中，所述经优化的神经网络是对所述多通路神经网络中的所述至少一个子层执行所述第一优化处理，并对所述每个计算块的最后一个卷积层执行第三优化处理后得到的，所述第三优化处理包括：
确定从所述最后一个卷积层的滤波器中移除的通道并移除，以及优化所述最后一个卷积层的滤波器中剩余通道的参数，使得所述每个计算块的输出特征的误差最小化。
11.如权利要求2所述的图像处理方法，还包括：
收集和更新所述神经网络的状态信息；
生成多个候选值；
优化所述深度神经网络以确定对应于所述多个候选值的优化加速比和精度；以及
选择所述多个候选值中具有最佳优化加速比和精度的候选值作为所述预定阈值。
12.如权利要求1所述的图像处理方法，其中，所述每个子层还包括连接在所述卷积层之后的非线性激活层，所述第一优化处理包括：
对于所述至少一个子层中的每个子层，
确定从所述卷积层的滤波器中移除的通道并移除，以及优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的非线性激活层的输出特征的误差最小化。
13.如权利要求12所述的图像处理方法，其中，使得经优化的每个子层的非线性激活层的输出特征的误差最小化，包括：
采用以下表达式(5)，选择从所述每个卷积层的滤波器中移除的通道：
||β||0≤c′ 表达式(5)
其中，N表示用于优化的样本数量，Y表示所述每个子层的所述原始输出特征，c表示所述每个子层的输入特征的原始通道数，c′表示所述预定阈值，β表示用于通道移除的掩码向量，Xi表示第i个通道上的输入特征，Wi表示滤波器中第i个通道的参数，f表示非线性激活函数。
14.如权利要求13所述的图像处理方法，其中，求解表达式(5)等价于求解以下表达式(6)：
其中，并且通过固定U，求解不包含非线性激活函数的表达式(6)，通过确定满足所述表达式(6)的β，确定要从所述每个卷积层的滤波器中移除的通道。
15.如权利要求13所述的图像处理方法，其中，求解表达式(5)等价于求解以下表达式(7)：
其中，并且通过固定β和W，求解U。
16.一种图像处理装置，包括：
图像输入单元，用于将图像输入经优化的神经网络；
图像特征提取单元，用于通过所述经优化的神经网络提取所述图像的图像特征；并且
图像特征输出单元，用于输出所述图像特征，
其中，所述经优化的神经网络是对预先训练好的初始神经网络中的至少一个子层执行第一优化处理后得到的，所述至少一个子层中的每个子层包括卷积层，所述第一优化处理包括：
对于所述至少一个子层中的每个子层，
确定从所述卷积层的滤波器中要移除的通道并移除，以及优化所述卷积层的滤波器中剩余通道的参数，使得经优化的每个子层的输出特征的误差最小化。
17.一种图像处理装置，包括：
存储器，用于存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述图像处理装置执行如权利要求1到15的任一项所述的图像处理方法。
18.一种计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机执行如权利要求1到15的任一项所述的图像处理方法。
CN201810236351.0A 2018-03-21 2018-03-21 图像处理方法和装置、计算机可读存储介质 Active CN108875752B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810236351.0A CN108875752B (zh) 2018-03-21 2018-03-21 图像处理方法和装置、计算机可读存储介质
US16/034,183 US10713533B2 (en) 2018-03-21 2018-07-12 Image processing method and apparatus, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810236351.0A CN108875752B (zh) 2018-03-21 2018-03-21 图像处理方法和装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108875752A true CN108875752A (zh) 2018-11-23
CN108875752B CN108875752B (zh) 2022-06-07

Family

ID=64326103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810236351.0A Active CN108875752B (zh) 2018-03-21 2018-03-21 图像处理方法和装置、计算机可读存储介质

Country Status (2)

Country Link
US (1) US10713533B2 (zh)
CN (1) CN108875752B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584142A (zh) * 2018-12-05 2019-04-05 网易传媒科技（北京）有限公司 图像增强系统和方法、训练方法、介质以及电子设备
CN109657784A (zh) * 2018-12-25 2019-04-19 北京迈格威科技有限公司 神经网络创建方法和装置、图像处理方法和电子设备
CN110009573A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN112927173A (zh) * 2021-04-12 2021-06-08 平安科技（深圳）有限公司 模型压缩方法、装置、计算设备及存储介质
CN113449567A (zh) * 2020-03-27 2021-09-28 深圳云天励飞技术有限公司 一种人脸温度检测方法、装置、电子设备及存储介质
CN113469996A (zh) * 2021-07-16 2021-10-01 四川大学华西医院 一种内窥镜黏膜图像反光区域检测与修复系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783640B2 (en) * 2017-10-30 2020-09-22 Beijing Keya Medical Technology Co., Ltd. Systems and methods for image segmentation using a scalable and compact convolutional neural network
US11620510B2 (en) * 2019-01-23 2023-04-04 Samsung Electronics Co., Ltd. Platform for concurrent execution of GPU operations
CN111079784B (zh) * 2019-11-11 2023-06-02 河南农业大学 基于卷积神经网络的烘烤过程中烤烟烘烤阶段识别方法
CN111666948B (zh) * 2020-05-27 2023-05-30 厦门大学 一种基于多路聚合的实时高性能语义分割方法和装置
GB2602296B (en) * 2020-12-22 2023-09-06 Imagination Tech Ltd Training a neural network comprising a plurality of layers
CN113011253B (zh) * 2021-02-05 2023-04-21 中国地质大学（武汉） 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN116563615B (zh) * 2023-04-21 2023-11-07 南京讯思雅信息科技有限公司 基于改进多尺度注意力机制的不良图片分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316079A (zh) * 2017-08-08 2017-11-03 珠海习悦信息技术有限公司 终端卷积神经网络的处理方法、装置、存储介质及处理器
CN107392314A (zh) * 2017-06-30 2017-11-24 天津大学 一种基于确定性丢弃连接的深层卷积神经网络方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495378B2 (en) * 2013-08-27 2016-11-15 Purdue Research Foundation Tracing message transmissions between communications network devices
EP3204888A4 (en) * 2014-10-09 2017-10-04 Microsoft Technology Licensing, LLC Spatial pyramid pooling networks for image processing
US9524450B2 (en) * 2015-03-04 2016-12-20 Accenture Global Services Limited Digital image processing using convolutional neural networks
US10489703B2 (en) * 2015-05-20 2019-11-26 Nec Corporation Memory efficiency for convolutional neural networks operating on graphics processing units
CN108875904A (zh) * 2018-04-04 2018-11-23 北京迈格威科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392314A (zh) * 2017-06-30 2017-11-24 天津大学 一种基于确定性丢弃连接的深层卷积神经网络方法
CN107316079A (zh) * 2017-08-08 2017-11-03 珠海习悦信息技术有限公司 终端卷积神经网络的处理方法、装置、存储介质及处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YIHUI HE 等: "Channel Pruning for Accelerating Very Deep Neural Network", 《ARXIV》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584142A (zh) * 2018-12-05 2019-04-05 网易传媒科技（北京）有限公司 图像增强系统和方法、训练方法、介质以及电子设备
CN109657784A (zh) * 2018-12-25 2019-04-19 北京迈格威科技有限公司 神经网络创建方法和装置、图像处理方法和电子设备
CN110009573A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110009573B (zh) * 2019-01-29 2022-02-01 北京奇艺世纪科技有限公司 模型训练、图像处理方法、装置、电子设备及存储介质
CN113449567A (zh) * 2020-03-27 2021-09-28 深圳云天励飞技术有限公司 一种人脸温度检测方法、装置、电子设备及存储介质
CN113449567B (zh) * 2020-03-27 2024-04-02 深圳云天励飞技术有限公司 一种人脸温度检测方法、装置、电子设备及存储介质
CN112927173A (zh) * 2021-04-12 2021-06-08 平安科技（深圳）有限公司 模型压缩方法、装置、计算设备及存储介质
CN113469996A (zh) * 2021-07-16 2021-10-01 四川大学华西医院 一种内窥镜黏膜图像反光区域检测与修复系统
CN113469996B (zh) * 2021-07-16 2023-06-20 四川大学华西医院 一种内窥镜黏膜图像反光区域检测与修复系统

Also Published As

Publication number Publication date
US20190294928A1 (en) 2019-09-26
US10713533B2 (en) 2020-07-14
CN108875752B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN108875752A (zh) 图像处理方法和装置、计算机可读存储介质
CN108846445B (zh) 一种图像处理方法
Gould et al. On differentiating parameterized argmin and argmax problems with application to bi-level optimization
US20200302265A1 (en) Convolutional Neural Network-Based Image Processing Method And Image Processing Apparatus
JP6620439B2 (ja) 学習方法、プログラム及び学習装置
CN108875904A (zh) 图像处理方法、图像处理装置和计算机可读存储介质
Bousmalis et al. Infinite hidden conditional random fields for human behavior analysis
WO2022042123A1 (zh) 图像识别模型生成方法、装置、计算机设备和存储介质
CN109740679B (zh) 一种基于卷积神经网络和朴素贝叶斯的目标识别方法
EP3000053A2 (en) Systems and methods for performing bayesian optimization
CN110738102A (zh) 一种人脸识别方法及系统
CN112784778B (zh) 生成模型并识别年龄和性别的方法、装置、设备和介质
EP3620982B1 (en) Sample processing method and device
CN110264407B (zh) 图像超分辨模型训练及重建方法、装置、设备及存储介质
CN111723915A (zh) 深度卷积神经网络的剪枝方法、计算机设备及应用方法
KR20220116270A (ko) 학습 처리 장치 및 방법
CN109657784A (zh) 神经网络创建方法和装置、图像处理方法和电子设备
CN113642400A (zh) 基于2s-agcn的图卷积动作识别方法、装置及设备
CN112132279A (zh) 卷积神经网络模型压缩方法、装置、设备及存储介质
CN111368707A (zh) 基于特征金字塔与密集块的人脸检测方法、系统、设备及介质
CN109993026A (zh) 亲属识别网络模型的训练方法及装置
CN113420651B (zh) 深度卷积神经网络的轻量化方法、系统及目标检测方法
US20220374682A1 (en) Supporting Database Constraints in Synthetic Data Generation Based on Generative Adversarial Networks
CN110321964A (zh) 识别模型更新方法及相关装置
US11281686B2 (en) Information processing apparatus, method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant