CN109784420A - 一种图像处理方法及装置、计算机设备和存储介质 - Google Patents

一种图像处理方法及装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109784420A
CN109784420A CN201910087398.XA CN201910087398A CN109784420A CN 109784420 A CN109784420 A CN 109784420A CN 201910087398 A CN201910087398 A CN 201910087398A CN 109784420 A CN109784420 A CN 109784420A
Authority
CN
China
Prior art keywords
parameter
normalization
weight vector
fisrt feature
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910087398.XA
Other languages
English (en)
Other versions
CN109784420B (zh
Inventor
邵文琪
孟天健
张瑞茂
罗平
吴凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201910087398.XA priority Critical patent/CN109784420B/zh
Publication of CN109784420A publication Critical patent/CN109784420A/zh
Priority to JP2021537467A priority patent/JP7076648B2/ja
Priority to SG11202102380TA priority patent/SG11202102380TA/en
Priority to PCT/CN2019/114721 priority patent/WO2020155712A1/zh
Priority to TW108148217A priority patent/TWI712960B/zh
Priority to US17/170,149 priority patent/US20210158088A1/en
Application granted granted Critical
Publication of CN109784420B publication Critical patent/CN109784420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B10/00—Integration of renewable energy sources in buildings
    • Y02B10/40—Geothermal heat-pumps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种图像处理方法及装置、计算机设备和存储介质，其中，所述方法包括：获取待处理图像的第一特征图；确定所述第一特征图的最终权值向量；根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式；采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图。

Description

一种图像处理方法及装置、计算机设备和存储介质
技术领域
本申请实施例涉及计算机视觉通信领域，涉及但不限于一种图像处理方法及装置、计算机设备和存储介质。
背景技术
在基于深度学习对图像进行处理的方法中，归一化是不可或缺的模块。目前，业内针对不同的学习任务提出了众多的归一化方法，包括适用于图像分类的批归一化(BatchNormalization，BN)，适用于序列预测的层归一化(Layer Normalization，LN)，适用于生成模型的实例归一化(InstanceNormalization，IN)，适用范围更广的组归一化(GroupNormalization，GN)。但这些归一化方法只针对特定模型特定任务，为了克服这个障碍并进一步提升神经网络的性能，适用于多种视觉任务的自适应归一化(SwitchableNormalization，SN)被提出。SN通过对BN，IN，LN的统计量加权组合摆脱了对批量尺寸的依赖，可以为所有的归一化层选择最优的归一化操作方式的加权组合。然而SN仍然存在一个重要的缺陷：由于SN通过归一化指数函数(softmax)变化计算不同归一化方法的统计量的加权系数，因此加权系数不等于0。这意味着在任何时刻，SN归一化层都需要计算多种归一化操作的统计量，即每次归一化都对应不止一种归一化方式，从而导致冗余的计算。
发明内容
有鉴于此，本申请实施例提供一种图像处理方法及装置、计算机设备和存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，所述方法包括：
获取待处理图像的第一特征图；
确定所述第一特征图的最终权值向量；
根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式；
采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图。
在本申请实施例中，所述获取待处理图像的第一特征图，包括：
利用所述神经网络中卷积层对所述待处理图像进行特征提取，得到所述第一特征图；
对应地，所述预设参数集合包括：第一超级参数、第二超级参数和学习参数，所述确定第一特征图的最终权值向量，包括：
根据所述预设参数集合中的第一超级参数、第二超级参数和学习参数，计算所述第一特征图的最终权值向量。
在本申请实施例中，所述根据所述预设参数集合中的第一超级参数、第二超级参数和学习参数，计算第一特征图的最终权值向量，包括：
根据所述第一超级参数和所述第二超级参数，确定预设约束条件；
根据所述预设约束条件和所述学习参数，确定所述第一特征图的最终权值向量；其中，所述学习参数用于计算所述第一特征图的最终权值向量，所述第一超级参数用于表明预设的单纯形的中心，所述第二超级参数用于缩小所述最终权值向量的取值范围。
在本申请实施例中，所述预设约束条件为限制所述最终权值向量与所述第一超级参数之间的距离大于等于所述第二超级参数的数值。
在本申请实施例中，所述确定所述第一特征图的最终权值向量，包括：确定所述第一特征图的均值向量和方差向量；根据所述预设约束条件和所述学习参数，分别确定所述均值向量对应的均值最终权值向量和所述方差向量对应的方差最终权值向量；
对应地，所述根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式，包括：根据所述均值最终权值向量和所述方差最终权值向量，分别对应地确定均值的第一子归一化方式和方差的第二子归一化方式；其中，所述第一子归一化方式与所述第二子归一化方式相同或不同；
对应地，所述采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图，包括：根据所述第一子归一化方式和所述第二子归一化方式，分别对应地对所述均值向量和所述方差向量进行归一化，得到归一化的均值向量和归一化的方差向量；根据所述归一化的均值向量、所述归一化的方差向量和所述第一特征图，得到所述第二特征图。
在本申请实施例中，所述确定所述第一特征图的均值向量和方差向量，包括：
基于预设的归一化集合，确定所述第一特征图的均值向量和方差向量；
其中，所述均值向量的维数和方差向量的维数均与所述预设的归一化集合中归一化方式的个数相同的；
所述均值向量中第i维度上的均值与所述预设的归一化集合中第j个归一化方式相对应，所述方差向量中第i维度上的方差与所述预设的归一化集合中第j个归一化方式相对应；i和j均为大于0小于等于所述预设的归一化集合中归一化方式的个数的整数。
在本申请实施例中，所述方法包括：
根据预设的归一化集合中归一化方式的个数，确定所述学习参数的维数、所述第一超级参数的维数和所述第一超级参数中每一维度上的数值；其中，所述第一超级参数的各维度的数值总和为1；所述第一超级参数的维数与所述学习参数的维数相同，所述第一超级参数的各维度数值相同，且各维度数值的总和为1；
确定预设的单纯形的中心到顶点的距离，将所述距离确定为所述第二超级参数对应的预设阈值；其中，所述预设的单纯形的各边长为预设固定数值，且顶点数与所述归一化方式的个数相同；所述第二超级参数为大于0小于等于所述预设阈值的数值。
在本申请实施例中，所述根据所述预设参数集合中的第一超级参数、第二超级参数和学习参数，计算第一特征图的最终权值向量，包括：
根据所述第二超级参数和所述学习参数，确定第一子权值向量；
如果所述第一子权值向量与所述第一超级参数之间的距离大于等于所述第二超级参数，将所述第一子权值向量确定为所述最终权值向量。
在本申请实施例中，在所述根据所述第二超级参数和所述学习参数，确定第一子权值向量之后，所述方法还包括：
如果所述第一子权值向量与所述第一超级参数之间的距离小于所述第二超级参数，根据所述第一超级参数、所述第二超级参数和所述第一子权值向量，确定第二子权值向量；
如果第二子权值向量大于等于0，确定所述第二子权值向量为最终权值向量。
在本申请实施例中，在所述根据所述第一超级参数、所述第二超级参数和所述第一子权值向量，确定第二子权值向量之后，所述方法还包括：
如果所述第二子权值向量小于0，根据所述第二子权值向量更新所述第一超级参数，得到更新的第一超级参数；
根据所述第二超级参数、所述更新的第一超级参数和未更新的第一超级参数，确定更新的第二超级参数；
根据所述第二子权值向量和所述学习参数，确定第三子权值向量；
根据所述更新的第一超级参数、所述更新的第二超级参数和所述第三子权值向量，确定最终权值向量。
在本申请实施例中，所述根据所述第一子归一化方式和所述第二子归一化方式，分别对应地对所述均值向量和所述方差向量进行归一化，得到归一化的均值向量和归一化的方差向量，包括：
将所述均值最终权值向量中每一维度上的权值一一对应地与所述均值向量中每一维度上的权值相乘，并将每一维度上得到的乘积相加，得到归一化的均值向量；
将所述方差最终权值向量中每一维度上的权值一一对应地与所述方差向量中每一维度上的方差相乘，并将每一维度上得到的乘积相加，得到归一化的方差向量。
在本申请实施例中，所述根据所述归一化的均值向量、归一化的方差向量和所述第一特征图，得到所述第二特征图，包括：
确定所述第一特征图与所述归一化的均值向量的差值；
确定所述归一化的方差向量与预设调整量之和，对应的均方差；
确定所述差值与所述均方差的比值；
采用预设的缩放参数对所述比值进行缩放，得到缩放后的比值；
按照预设的移位参数对所述缩放后的比值进行调整，得到所述第二特征图。
本申请实施例提供一种图像处理装置，所述装置包括：第一获取模块、第一计算模块、第一确定模块和第一处理模块，其中：
所述第一获取模块，用于获取待处理图像的第一特征图；
所述第一获取模块，用于确定所述第一特征图的最终权值向量；
所述第一确定模块，用于根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式；
所述第一处理模块，用于采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图。
在本申请实施例中，所述第一获取模块，包括：
第一提取子模块，用于利用所述神经网络中卷积层对所述待处理图像进行特征提取，得到所述第一特征图；
对应地，所述预设参数集合包括：第一超级参数、第二超级参数和学习参数，所述第一计算模块，包括：
第一计算子模块，用于根据所述预设参数集合中的第一超级参数、第二超级参数和学习参数，计算所述第一特征图的最终权值向量。
在本申请实施例中，所述第一计算子模块，包括：
第一确定单元，用于根据所述第一超级参数和所述第二超级参数，确定预设约束条件；
第二确定单元，用于根据所述预设约束条件和所述学习参数，确定所述第一特征图的最终权值向量；其中，所述学习参数用于计算所述第一特征图的最终权值向量，所述第一超级参数用于表明预设的单纯形的中心，所述第二超级参数用于缩小所述最终权值向量的取值范围。
在本申请实施例中，所述预设约束条件为限制所述最终权值向量与所述第一超级参数之间的距离大于等于所述第二超级参数的数值。
在本申请实施例中，所述第一获取模块，包括：第一确定子模块，用于确定所述第一特征图的均值向量和方差向量；
第二确定子模块，用于根据所述预设约束条件和所述学习参数，分别确定所述均值向量对应的均值最终权值向量和所述方差向量对应的方差最终权值向量；
对应地，所述第一确定模块，包括：第三确定子模块，用于根据所述均值最终权值向量和所述方差最终权值向量，分别对应地确定均值的第一子归一化方式和方差的第二子归一化方式；其中，所述第一子归一化方式与所述第二子归一化方式相同或不同；
对应地，所述第一处理模块，包括：第一归一化子模块，用于根据所述第一子归一化方式和所述第二子归一化方式，分别对应地对所述均值向量和所述方差向量进行归一化，得到归一化的均值向量和归一化的方差向量；
第四确定子模块，用于根据所述归一化的均值向量、所述归一化的方差向量和所述第一特征图，得到所述第二特征图。
在本申请实施例中，所述第一确定子模块，包括：
第三确定单元，用于基于预设的归一化集合，确定所述第一特征图的均值向量和方差向量；
其中，所述均值向量的维数和方差向量的维数均与所述预设的归一化集合中归一化方式的个数相同的；
所述均值向量中第i维度上的均值与所述预设的归一化集合中第j个归一化方式相对应，所述方差向量中第i维度上的方差与所述预设的归一化集合中第j个归一化方式相对应；i和j均为大于0小于等于所述预设的归一化集合中归一化方式的个数的整数。
在本申请实施例中，所述装置包括：
第二确定模块，用于根据预设的归一化集合中归一化方式的个数，确定所述学习参数的维数、所述第一超级参数的维数和所述第一超级参数中每一维度上的数值；其中，所述第一超级参数的各维度的数值总和为1；所述第一超级参数的维数与所述学习参数的维数相同，所述第一超级参数的各维度数值相同，且各维度数值的总和为1；
第三确定模块，用于确定预设的单纯形的中心到顶点的距离，将所述距离确定为所述第二超级参数对应的预设阈值；其中，所述预设的单纯形的各边长为预设固定数值，且顶点数与所述归一化方式的个数相同；所述第二超级参数为大于0小于等于所述预设阈值的数值。
在本申请实施例中，所述第一计算子模块，包括：
第四确定单元，用于根据所述第二超级参数和所述学习参数，确定第一子权值向量；
第五确定单元，用于如果所述第一子权值向量与所述第一超级参数之间的距离大于等于所述第二超级参数，将所述第一子权值向量确定为所述最终权值向量。
在本申请实施例中，所述装置还包括：
第四确定模块，用于如果所述第一子权值向量与所述第一超级参数之间的距离小于所述第二超级参数，根据所述第一超级参数、所述第二超级参数和所述第一子权值向量，确定第二子权值向量；
第五确定模块，用于如果第二子权值向量大于等于0，确定所述第二子权值向量为最终权值向量。
在本申请实施例中，所述装置还包括：
第一更新模块，用于如果所述第二子权值向量小于0，根据所述第二子权值向量更新所述第一超级参数，得到更新的第一超级参数；
第六确定模块，用于根据所述第二超级参数、所述更新的第一超级参数和未更新的第一超级参数，确定更新的第二超级参数；
第七确定模块，用于根据所述第二子权值向量和所述学习参数，确定第三子权值向量；
第八确定模块，用于根据所述更新的第一超级参数、所述更新的第二超级参数和所述第三子权值向量，确定最终权值向量。
在本申请实施例中，所述第一归一化子模块，包括：
第一计算单元，用于将所述均值最终权值向量中每一维度上的权值一一对应地与所述均值向量中每一维度上的权值相乘，并将每一维度上得到的乘积相加，得到归一化的均值向量；
第二计算单元，用于将所述方差最终权值向量中每一维度上的权值一一对应地与所述方差向量中每一维度上的方差相乘，并将每一维度上得到的乘积相加，得到归一化的方差向量。
在本申请实施例中，所述第四确定子模块，包括：
第一求差单元，用于确定所述第一特征图与所述归一化的均值向量的差值；
第三计算单元，用于确定所述归一化的方差向量与预设调整量之和，对应的均方差；
第四计算单元，用于确定所述差值与所述均方差的比值；
第一缩放单元，用于采用预设的缩放参数对所述比值进行缩放，得到缩放后的比值；
第一调整单元，用于按照预设的移位参数对所述缩放后的比值进行调整，得到所述第二特征图。
对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的图像处理方法中的步骤。
本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现本申请实施例提供的图像处理方法中的步骤。
本申请实施例提供一种图像处理方法及装置、计算机设备和存储介质，其中，首先，获取待处理图像的第一特征图；然后，确定所述第一特征图的最终权值向量；根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式；最后，采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图；如此，采用稀疏自适应归一化的方式，对于每一特征图自适应的选择出适用于当前特征图的归一化方式而不是多种归一化的加权组合，从而避免冗余计算。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1A为本申请实施例网络架构的组成结构示意图；
图1B为本申请实施例图像处理方法的实现流程示意图；
图2A为本申请实施例图像处理方法的实现流程示意图；
图2B为本申请实施例图像处理方法的又一实现流程示意图；
图2C为本申请实施例图像处理方法的另一实现流程示意图；
图3为采用不同函数得到权值向量的比较结果示意图；
图4为本申请实施例基于不同函数和不同参数得到权值向量的示意图；
图5为本申请实施例图像识别装置的组成结构示意图；
图6为本申请实施例计算机设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
本实施例先提供一种网络架构，图1A为本申请实施例网络架构的组成结构示意图，如图1A所示，该网络架构包括两个或多个计算机设备11至1N和服务器30，其中计算机设备11至1N与服务器31之间通过网络21进行交互。计算机设备在实现的过程中可以为各种类型的具有信息处理能力的计算机设备，例如所述计算机设备可以包括手机、平板电脑、台式机、个人数字助理等。
本实施例提出一种图像处理方法，能够为神经网络的每一归一化层选择一个最合适的归一化方式，提升神经网络的泛化能力，加速测试过程，该方法应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。
图1B为本申请实施例图像处理方法的实现流程示意图，如图1B所示，所述方法包括以下步骤：
步骤S101，获取待处理图像的第一特征图。
这里，所述待处理图像可以是外观复杂的图像，还可以是外观简单的图像。所述步骤S101可以是由计算机设备实现的，进一步地，所述计算机设备可以是智能终端，例如可以是移动电话(比如，手机)、平板电脑、笔记本电脑等具有无线通信能力的移动终端设备，还可以是台式计算机等不便移动的智能终端设备。所述计算机设备用于进行图像识别或处理。所述第一特征图可以是利用神经网络中卷积层对所述待处理图像进行特征提取，得到第一特征图。
步骤S102，确定所述第一特征图的最终权值向量。
这里，可以根据预设参数集合，计算第一特征图的最终权值向量，从而确定出第一特征图的最终权值向量。预设参数集合包括：第一超级参数、第二超级参数和学习参数。其中，第一超级参数u用于表明预设的单纯形的中心，所述第二超级参数r用于缩小所述最终权值向量的取值范围，第二超级参数r的取值范围为大于0小于等于预设的单纯形的中心到顶点的距离。在本实施例中，根据预设的归一化集合中归一化方式的个数，确定学习参数的维数、第一超级参数的维数和所述第一超级参数中每一维度上的数值；其中，第一超级参数的各维度的数值总和为1；第一超级参数的维数与学习参数的维数相同，第一超级参数的各维度数值相同，且各维度数值的总和为1；然后，确定预设的单纯形的中心到顶点的距离，将该距离确定为所述第二超级参数对应的预设阈值；其中，所述预设的单纯形的各边长为预设固定数值，且顶点数与归一化方式的个数相同；所述第二超级参数为大于0小于等于所述预设阈值的数值；比如，预设的归一化集合中包含三种归一化方式(比如，BN、IN和LN)，那么预设的单纯形为边长为根号2的等边三角形，学习参数z为任意三维向量，例如z(0.5，0.3，0.2)；第一超级参数为三维向量u(1/3，1/3，1/3)；第二超级参数可以看出是以该单纯形的中心为起点，随着训练过程逐渐增大的圆的半径，即第二超级参数大于0，小于单纯形的中心到顶点的距离。预设的归一化集合中包含多种归一化方式，比如，预设的归一化集合Ω包括：BN、IN和LN，可以表示为Ω＝{BN,IN,LN}。所述步骤S102可以通过以下过程实现：首先根据预设参数集合中的第一超级参数、第二超级参数和学习参数，计算所述第一特征图的最终权值向量。采用了稀疏自适应归一化的方式，那么对于每一特征图用完全稀疏的方式选择出适合该特征图的归一化方式，而不是多种归一化方式的加权组合，从而不仅避免了冗余的计算，还能够提升神经网络的泛化能力。
步骤S103，根据最终权值向量，在预设的归一化集合中确定出与第一特征图对应的目标归一化方式。
这里，最终权值向量可以理解为是完全稀疏的权值向量，即该权值向量中仅有一个维度上的数值为1，其余维度上的数值均为0。步骤S103可以理解为，如果预设的归一化集合为Ω＝{BN,IN,LN}，最终权值向量p如果为(0,0,1)，则表示目标归一化方式为LN；最终权值向量p如果为(0,1,0)，则表示目标归一化方式为IN；最终权值向量p如果为(1,0,0)，则表示目标归一化方式为BN。
步骤S104，采用目标归一化方式，对第一特征图进行归一化处理，得到第二特征图。
这里，上述第二特征图即为对所述第一特征图采用目标归一化方式进行归一化处理后所得到的特征图。可以理解的是，本实施例中经过上述处理步骤，实现采用稀疏自适应归一化方式对图像进行处理，能够以更高的效率选择出合适的归一化方式对图像进行处理，所得到的第二特征图可以用于后续深度学习的处理步骤中。
在本申请实施例中，通过将稀疏自适应归一化应用在神经网络中，然后基于事先设定的预设参数集合，确定最终权值向量，从而确定目标归一化方式，对于每一特征图自适应的选择出适用于当前特征图的归一化方式而不是多种归一化的加权组合，从而避免冗余计算，还能够提升神经网络的泛化能力。
本实施例提供一种图像处理方法，图2A为本申请实施例图像处理方法的实现流程示意图，如图2A所示，所述方法包括以下步骤：
步骤S201，利用神经网络中卷积层对待处理图像进行特征提取，得到第一特征图。
这里，将待处理图像输入到神经网络中，卷积层对样本图像进行特征提取，得到第一特征图。
步骤S202，根据预设参数集合中的第一超级参数、第二超级参数和学习参数，计算第一特征图的最终权值向量。
这里，所述步骤S202可以通过以下过程实现：
首先，根据所述第一超级参数和所述第二超级参数，确定预设约束条件。
这里，所述预设约束条件为限制所述最终权值向量与所述第一超级参数之间的距离大于等于所述第二超级参数的数值，可以表示为最终权值向量p满足||p-u||2≥r。
然后，根据所述预设约束条件和所述学习参数，确定所述第一特征图的最终权值向量。
最后，根据所述最终权值向量，对所述第一特征图进行归一化，得到第二特征图。这样，在训练过程中，基于预设约束条件和学习参数，保证了得到的最终权重向量是完全稀疏的。
步骤S203，根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式。
步骤S204，采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图。
在本实施例中，基于输入的学习参数z和约束条件，对神经网络进行训练，使得到的特征图的最终权值向量为完全稀疏的，从而保证对于输入该神经网络中的待处理图像能够自适应的选择出适合该特征图的归一化方式，并对该特征图进行归一化，避免了冗余的计算，提升了神经网络的泛化能力。
本实施例提供一种图像处理方法，图2B为本申请实施例图像处理方法的又一实现流程示意图，如图2B所示，所述方法包括以下步骤：
步骤S221，获取待处理图像的第一特征图。
步骤S222，确定所述第一特征图的均值向量和方差向量。
这里，首先，基于预设的归一化集合，确定所述第一特征图的均值向量和方差向量；其中，所述均值向量的维数和方差向量的维数均与所述预设的归一化集合中归一化方式的个数相同的；所述均值向量中第i维度上的均值与所述预设的归一化集合中第j个归一化方式相对应，所述方差向量中第i维度上的方差与所述预设的归一化集合中第j个归一化方式相对应；i和j均为大于0小于等于所述预设的归一化集合中归一化方式的个数的整数。比如，预设的归一化集合为Ω＝{BN,IN,LN}，基于该归一化集合确定第一特征图的均值向量和方差向量，均值向量和方差向量均为三维的向量，而且均值向量中第一维度上的均值与IN对应，第二维度上的均值与BN对应，第三维度上的均值与LN对应。
步骤S223，根据预设约束条件和学习参数，分别确定均值向量对应的均值最终权值向量和方差向量对应的方差最终权值向量。
上述步骤S222和步骤S223给出了一种实现“确定所述第一特征图的最终权值向量”的方式，在该方式中，通过设定的预设条件，保证得到的最终权值向量为完全稀疏的权值向量，即该权值向量中仅有一个维度上的数值为1，其余维度上的数值均为0。
步骤S224，根据所述均值最终权值向量和所述方差最终权值向量，分别对应地确定均值的第一子归一化方式和方差的第二子归一化方式。
这里，所述第一子归一化方式与所述第二子归一化方式相同或不同。比如，预设的归一化集合为Ω＝{BN,IN,LN}，均值最终权值向量为(0,0,1)，表示均值的第一子归一化方式为LN；方差最终权值向量为(0,1,0)，表示方差的第二子归一化方式为IN。
步骤S225，根据所述第一子归一化方式和所述第二子归一化方式，分别对应地对所述均值向量和所述方差向量进行归一化，得到归一化的均值向量和归一化的方差向量。
这里，比如，均值最终权值向量为(0,0,1)，即均值的第一子归一化方式为LN，则采用LN对均值向量进行归一化处理，得到归一化的均值向量；方差最终权值向量为(0,1,0)，即方差的第二子归一化方式为IN，则采用IN对方差向量进行归一化处理，得到归一化的方差向量。
步骤S226，根据所述归一化的均值向量、所述归一化的方差向量和所述第一特征图，得到所述第二特征图。
这里，所述步骤S226可以通过以下过程实现：首先，将所述均值最终权值向量中每一维度上的权值一一对应地与所述均值向量中每一维度上的权值相乘，并将每一维度上得到的乘积相加，得到归一化的均值向量。然后，将所述方差最终权值向量中每一维度上的权值一一对应地与所述方差向量中每一维度上的方差相乘，并将每一维度上得到的乘积相加，得到归一化的方差向量。最后，根据所述归一化的均值向量和归一化的方差向量，得到第二特征图。
上述步骤S225和步骤S226给出了一种实现“采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图”的方式，在该方式中，通过分别得到均值向量和方差向量分别对应的第一子归一化方式和所述第二子归一化方式，从而对均值向量和方差向量进行归一化，增强了神经网络的泛化能力。
在本申请实施例中，基于预设约束条件和所述学习参数，得到均值向量和方差向量分别对应的最终权值向量，以保证最终权值向量是完全稀疏的；并基于最终权值向量完成对第一特征图的归一化，得到第二特征图，从使该神经网络对于输入的待处理图像，能够自适应的选择出适合该待处理图像的一种归一化方式，减小了计算量。
本实施例提供一种图像处理方法，图2C为本申请实施例图像处理方法的另一实现流程示意图，如图2C所示，所述方法包括以下步骤：
步骤S231，利用所述神经网络中卷积层对所述待处理图像进行特征提取，得到所述第一特征图。
步骤S232a，根据所述第二超级参数和所述学习参数，确定第一子权值向量。
这里，如果所述第一子权值向量p0与所述第一超级参数u之间的距离大于等于所述第二超级参数r，即||p0-u||2≥r，进入步骤S233a，否则，进入步骤S232b。
步骤S233a，如果所述第一子权值向量与所述第一超级参数之间的距离大于等于所述第二超级参数，将所述第一子权值向量确定为所述最终权值向量。
这里，所述步骤S233a的下一步为，进入步骤S232b。
上述步骤S232a和步骤S233a给出了一种“确定最终权值向量的方式”，即当确定第一子权值向量满足预设约束条件，那么第一子权值向量即为最终权值向量。
步骤S232b，如果所述第一子权值向量与所述第一超级参数之间的距离小于所述第二超级参数，根据所述第一超级参数、所述第二超级参数和所述第一子权值向量，确定第二子权值向量。
这里，由于第二超级参数为大于0小于预设的单纯形的中心到顶点的距离的数值，所以第二超级参数在训练神经网络的过程中，研发人员可以自主设定第二超级参数为0到等于预设的单纯形的中心到顶点的距离中任意一个数值；而且在本实施例中，第二超级参数越接近预设的单纯形的中心到顶点的距离，权值向量越稀疏。
这里，如果第二子权值向量p1大于等于0，进入步骤S233b，否则，进入步骤S232c。
步骤S233b，如果第二子权值向量大于等于0，确定所述第二子权值向量为最终权值向量。
这里，步骤S233b的下一步为，进入步骤S232c。
上述步骤S232b和步骤S233b给出了另一种“确定最终权值向量的方式”，即当确定第一子权值向量不满足预设约束条件，那么第一超级参数、第二超级参数和第一子权值向量，计算得到第二子权值向量，如果第二子权值向量大于0，即确定第二子权值向量即为最终权值向量。
步骤S232c，如果所述第二子权值向量小于0，根据所述第二子权值向量更新所述第一超级参数，得到更新的第一超级参数。
这里，比如，使第一超级参数其中，i＝1,2,3分别对应于归一化方式BN，IN和LN。
步骤S233c，根据所述第二超级参数、所述更新的第一超级参数和未更新的第一超级参数，确定更新的第二超级参数。
这里，更新的第二超级参数r`可以表示为，
步骤S234c，根据所述第二子权值向量和所述学习参数，确定第三子权值向量。
这里，将第二子权值向量映射到函数sparsemax中，得到第三子权值向量p2，即p2＝sparsemax(p1)。
步骤S235c，根据所述更新的第一超级参数、所述更新的第二超级参数和所述第三子权值向量，确定最终权值向量。
这里，最终权值向量p可以表示为，所述确定最终权值向量可以是，根据由第一超级参数和所述第二超级参数确定的预设约束条件，和所述学习参数，分别确定所述均值向量对应的均值最终权值向量和所述方差向量对应的方差最终权值向量。
上述步骤S232c和步骤S234c给出了另一种“确定最终权值向量的方式”，即当确定第二子权值向量小于0，那么再次更新输入的学习参数，获取第三子权值向量，然后基于第三子权值向量，得到最终权值向量。
步骤S233，根据均值最终权值向量和方差最终权值向量，分别对应地对所述均值向量和所述方差向量进行归一化，得到第二特征图。
这里，所述步骤S233可以通过以下过程实现：首先，将所述均值最终权值向量中每一维度上的权值一一对应地与所述均值向量中每一维度上的权值相乘，并将每一维度上得到的乘积相加，得到归一化的均值向量；然后，将所述方差最终权值向量中每一维度上的权值一一对应地与所述方差向量中每一维度上的方差相乘，并将每一维度上得到的乘积相加，得到归一化的方差向量；最后，确定第一特征图与所述归一化的均值向量的差值；确定所述归一化的方差向量与预设调整量之和，对应的均方差；确定所述差值与所述均方差的比值；采用预设的缩放参数和预设的移位参数对所述比值进行调整，得到所述第三特征图。
在本实施例中，基于输入第一的学习参数和预设约束条件，经过多次判断以保证最终权值向量是完全稀疏的；并基于最终权值向量完成对第一特征图的归一化，得到第二特征图，从而使归一化方式中拥有更少的参数量，且在深度神经网络中具有更强的通用性。
本申请实施例，通过提出完全稀疏函数(sparsestmax)代替自适应归一化中的softmax函数，将稀疏优化问题转化为神经网络的前向计算，实现了加权系数的完全稀疏化，可以为所有归一化层选择最合适的归一化操作，而不是归一化操作方式的加权组合。本实施例指定稀疏自适应归一化(Sparse Switchable Normalization，SSN)的表达式如公式(1)所示：
其中，pk表示输入的特征图的均值向量对应的权值，p`k表示该特征图的方差向量对应的权值；hncij和表示归一化之前和归一化之后的特征图，n∈[1,N]，N代表一个小批次内的样本量，c∈[1,C]，C是特征图的通道数量，i∈[1,H]，H为每个通道空间维度上的高，j∈[1,W]，W为每个通道空间维度上的宽；γ,β分别为常规的缩放与移位参数，ε为预防数值不稳定性的一个预设的调整量(一个很小的量)。对于每个像素点，归一化后的均值为归一化后的方差为在稀疏自适应归一化中，pk,p'k被限制为0或1的变量。那么权值向量p＝(pin,pbn,pln)中的三个数值pbn,pin和pln中只有一个等于1，其他均等于0。Ω＝{IN,BN,LN}是表示预设的归一化集合。μk和是特征图分别对应于归一化方式IN，BN和LN的均值和方差，其中，k∈{1,2,3}对应于不同的归一化方式，即k取值为1时，μk和分别对应于采用归一化方式IN得到的均值和方差；k取值为2时，μk和分别对应于采用归一化方式BN得到的均值和方差；k取值为3时，μk和分别对应于采用归一化方式LN得到的均值和方差。在本实施例中，将特征图的均值对应的权值向量表示为p＝(p1,p2,p3)，将特征图的方差对应的权值向量作为p'＝(p'1,p'2,p'3)。
在公式(1)中，Ik表示归一化集合中不同的归一化方式统计计算的像素范围，hncij可以看作是Ik内的像素点，归一化方式BN、IN和LN的像素范围分别可以表示为Ibn,Iin,Iln：
根据公式(1)，SSN从归一化集合中选择单个归一化方式，如果稀疏约束松弛到软约束SSN的稀疏能力则降低。
在本实施例中，设p＝f(z)作为学习SSN中的权值向量p的函数，其中，z＝(zbn,zin,zln)，zbn,zin,zln为三个维度统计量对应的网络参数，该参数在反向传播时进行优化学习。在介绍其方程之前，先引入p＝f(z)的四个要求，以使SSN尽可能有效且易于使用。
(1)权值向量p为单位长度。p的范数为1，所有pk>0。
(2)权值向量p是完全稀疏。换句话说，函数p＝f(z)需要返回单热矢量，其中，只有一个权值是1而其他权值是0。
(3)易于使用。SSN可以作为模块实现，并可轻松插入任何网络和任务。为了实现这一点，必须满足权值向量p的所有约束并在网络的前向计算中实现。这与向损失函数添加或者的损耗不同，使得模型开发变得麻烦，因为这些损耗的系数通常对批量大小，网络架构和任务敏感。
(4)稳定性。权值向量p的优化应该是稳定的，这意味着p＝f(z)应该能够在训练阶段保持稀疏性。例如，如果p＝f(z)在当前步骤中返回一个归一化值而在下一步骤中返回另一个归一化值，则训练很困难。
与p＝f(z)相关的函数是softmax(z)和sparsemax(z)，但softmax(z)和sparsemax(z)不满足上述四个要求。首先，在相关技术中采用softmax(z)。然而，其参数z总是具有完全支持，即，pk≠0，这意味着归一化方式在采用softmax(z)函数时是不稀疏的。其次，另一个函数是sparsemax(z)，该函数是对softmax(z)的扩展，以产生部分稀疏分布。sparsemax(z)通过最小化p和z之间的欧几里德距离将z投影到(K-1)维单纯形上的最近点p，如公式(3)所示：
其中，△K-1表示(K-1)维单纯形，它是包含K个顶点的凸多面体。例如，当K为3时，△2表示二维单纯形，是一个正三角形。该正三角形的顶点分别对应于BN，IN和LN。
图3为采用不同函数得到权值向量的结果示意图，如图3所示，点O表示三维坐标系的原点。点301表示函数sparsestmax(z)输出的权值向量，点303表示函数sparsemax(z)输出的权值向量，点303表示函数softmax(z)输出的权值向量，正三角形表示嵌入该三维坐标系中的二维单纯形。u是单纯形的中心。立方体31表示对应于归一化方式IN，且尺寸为N×C×H×W的特征图，即沿批量轴N求像素点的像素范围Iin；立方体32表示对应于归一化方式BN，且尺寸为N×C×H×W的特征图，即沿着空间轴H×W求像素点的像素范围Ibn；立方体33表示对应于归一化方式LN，且尺寸为N×C×H×W的特征图，即沿着通道轴C求像素点的像素范围Iln。正三角形的每个顶点代表三个归一化中的一个。如图3所示，softmax函数的输出权值向量比sparsemax和sparsestmax函数输出的权值向量更接近单纯形的中心u。本申请实施例提出的sparsestmax函数使最终权值向量以端到端的方式收敛到单纯形的顶点之一，从这三种标准化方法中仅选择一个归一化对特征图进行归一化。换句话说，sparsemax函数产生的权值向量p比softmax函数产生的权值向量p更接近于单纯形的边界，表明sparsemax函数比softmax函数产生更多的稀疏比率。以学习参数z＝(0.8，0.6，0.1)为例，softmax(z)＝(0.43，0.35，0.22)而sparsemax(z)＝(0.6，0.4，0)，表明sparsemax函数可能使p的某些元素为零，但是仍然无法保证权值向量为完全稀疏的比率，因为单纯形上的每个点都可以是公式(3)的解。
为了满足上面讨论的所有约束，本申请实施例引入了sparsestmax函数，该函数是softmax函数的一个新的稀疏版本。sparsestmax函数可以定义为如公式(4)所示：
其中，表示具有圆形约束1Tp＝1,||p-u||2≥r的单纯形；这里向量表示单纯形的中心(即第一超级参数)，1表示一个全1的向量，r是圆的半径，圆心为单纯形的中心。
sparsestmax函数与sparsemax函数相比，引入了一个循环约束1Tp＝1,||p-u||2≥r从而具有直观的几何意义。与sparsemax函数(解空间为△K-1)的解空间不同，sparsestmax的解空间是一个圆，中心u和半径r不包括在单纯形中。
为了满足完全稀疏的要求，在训练阶段将半径r(即第二超级参数)从零线性增加到rc。rc是单纯形的外接圆的半径。当r＝rc时，公式(4)的解空间仅包含单纯形的K个顶点，使得sparsestmax函数完全稀疏。
在本实施例中，基于sparsestmax函数的稀疏自适应归一化过程可以简述为以下步骤：
第一步，根据所述学习参数z、第一超级参数u和第二超级参数r，确定第一子权值向量p0。
第二步，如果||p0-u||2≥r，那么最终权值向量p＝p0，进入第四步；否则，计算第二子权值向量p1，
第三步，如果p1≥0，那么最终权值向量p＝p1，进入第四步；否则，获取更新的第一超级参数u`，更新的第二超级参数r`和第三子权值向量p2，确定最终权值向量
这里，
第四步，确定特征图的均值为方差为
这里，p`为方差对应的最终权值向量，获取方差对应的最终权值向量的方式与获取均值对应的最终权值向量的方式相同。
图4为本申请实施例基于不同函数和不同参数得到权值向量的示意图，图4(a)表示在K＝3且z＝(0.5，0.3，0.2)的情况下，采用函数softmax得到的权值向量p＝(0.39，0.32，0.29)；图4(b)表示在K＝3且z＝(0.5，0.3，0.2)的情况下，采用函数sparsemax得到的权值向量p＝(0.5，0.3，0.2)；由此可见，softmax函数的输出比sparsemax函数的输出更均匀。图4(c)至图4(f)表示当K＝3时，基于不同半径(不同的第二超级参数)得到的权值向量。sparsestmax函数随着r的增长产生越来越稀疏的输出。
如图4(b)和图4(c)所示，给定z＝(0.5，0.3，0.2)，sparsemax函数的输出的权值向量是p0＝(0.5，0.3，0.2)。当r＝0.15时，p0满足约束条件||p0-u||2≥r。因此，p0也是sparsestmax函数的解。在这种情况下，sparsestmax的计算方法与sparsemax相同，以返回最佳权值向量。
如图4(d)所示，当r增加到0.3，因此当p0＝(0.5，0.3，0.2)时||p0-u||2≤r，这意味着不满足预设约束条件。在这种情况下，sparsestmax返回圆上的点p1，这是通过将p0投影到圆的面来计算的，即作为输出。
如图4(e)所示，当r＝0.6时，p1移出单纯形。在这种情况下，p1被投射回到单纯形上的最近点，即p2，然后由sparsestmax函数将p2映射到p3，p3的表达式如公式(5)所示：
如图4(f)所示，当r＝rc＝0.816时，对于K＝3，圆变为单纯形的外接圆，p3移动到三个顶点之一。该顶点将是与p0最近的点。在这种情况下，将完全稀疏的最终权值向量p3＝(1，0，0)作为输出。
sparsestmax函数满足之前讨论的p＝f(z)所有四个要求。由于半径r随着训练的进行从0增加到rc，因此sparsestmax函数输出的权值向量的解空间缩小到单纯形的三个顶点，说明sparsestmax函数输出的权值向量p为单位长度，且是完全稀疏的，即满足了p＝f(z)的前两个要求。
对于第三个要求，sparsestmax函数在深度网络的前向计算中执行，而不是向损失函数引入额外的稀疏正则化项，不会出现正则化的强度难以调整，所以易于使用。
对于第四个要求，使用sparsestmax函数训练SSN是稳定的，满足第四个要求。通常，对于每个k，一旦pk＝SparsestMaxk(z；r)＝0，zk为零。这表明，一旦p的元素变为0，就不会在随后的训练阶段“醒来”，这有利于保持训练中的稀疏性。
如前所述，我们检查上述不同阶段的属性。在这里，分别表示(p-u)和||p-u||2作为“解析方向”和“解析距离”。如果pk＝0，表明p中的第k个分量比其他分量重要得多。因此，停止训练是合理的。当p0移动到p1然后移动到p2时，发生pk＝0。在这种情况下，表明p1在移出单纯形之前已经学会了一个很好的稀疏方向。
在本实施例中，SSN中的重要性比率不需要学习稀疏距离，而是专注于更新稀疏方向，以调节每个训练步骤中IN，BN和LN的相对大小。该属性直观地降低了训练重要比率时的难度。设L是深网络的归一化层的总数。在训练阶段，计算复杂度为较低。然而，SSN学习完全稀疏的归一化方式的选择，使其在测试阶段比相关技术中稀疏的速度快。与需要估计每个归一化层中的IN，BN和LN的统计数据的SN不同，本实施例提供的SSN仅计算一个归一化方式的统计数据。在这种情况下，可以将SSN中的BN转换为线性变换，然后将其合并到先前的卷积层中，从而不仅提升了网络的泛化能力，加速测试过程；而且在深度神经网络中具有更强的通用性。
本申请实施例提供一种图像处理装置，图5为本申请实施例图像处理装置的组成结构示意图，如图5所示，所述装置500包括：第一获取模块501、第一计算模块502、第一确定模块503和第一处理模块504，其中：
所述第一获取模块501，用于获取待处理图像的第一特征图；
所述第一获取模块502，用于确定所述第一特征图的最终权值向量；
所述第一确定模块503，用于根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式；
所述第一处理模块504，用于采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图。
在本申请实施例中，所述第一获取模块501，包括：
第一提取子模块，用于利用所述神经网络中卷积层对所述待处理图像进行特征提取，得到所述第一特征图；
对应地，所述预设参数集合包括：第一超级参数、第二超级参数和学习参数，所述第一计算模块502，包括：
第一计算子模块，用于根据所述预设参数集合中的第一超级参数、第二超级参数和学习参数，计算所述第一特征图的最终权值向量。
在本申请实施例中，所述第一计算子模块，包括：
第一确定单元，用于根据所述第一超级参数和所述第二超级参数，确定预设约束条件；
第二确定单元，用于根据所述预设约束条件和所述学习参数，确定所述第一特征图的最终权值向量；其中，所述学习参数用于计算所述第一特征图的最终权值向量，所述第一超级参数用于表明预设的单纯形的中心，所述第二超级参数用于缩小所述最终权值向量的取值范围。
在本申请实施例中，所述预设约束条件为限制所述最终权值向量与所述第一超级参数之间的距离大于等于所述第二超级参数的数值。
在本申请实施例中，所述第一获取模块501，包括：第一确定子模块，用于确定所述第一特征图的均值向量和方差向量；
第二确定子模块，用于根据所述预设约束条件和所述学习参数，分别确定所述均值向量对应的均值最终权值向量和所述方差向量对应的方差最终权值向量；
对应地，所述第一确定模块503，包括：第三确定子模块，用于根据所述均值最终权值向量和所述方差最终权值向量，分别对应地确定均值的第一子归一化方式和方差的第二子归一化方式；其中，所述第一子归一化方式与所述第二子归一化方式相同或不同；
对应地，所述第一处理模块504，包括：第一归一化子模块，用于根据所述第一子归一化方式和所述第二子归一化方式，分别对应地对所述均值向量和所述方差向量进行归一化，得到归一化的均值向量和归一化的方差向量；
第四确定子模块，用于根据所述归一化的均值向量、所述归一化的方差向量和所述第一特征图，得到所述第二特征图。
在本申请实施例中，所述第一确定子模块，包括：
第三确定单元，用于基于预设的归一化集合，确定所述第一特征图的均值向量和方差向量；
其中，所述均值向量的维数和方差向量的维数均与所述预设的归一化集合中归一化方式的个数相同的；
所述均值向量中第i维度上的均值与所述预设的归一化集合中第j个归一化方式相对应，所述方差向量中第i维度上的方差与所述预设的归一化集合中第j个归一化方式相对应；i和j均为大于0小于等于所述预设的归一化集合中归一化方式的个数的整数。
在本申请实施例中，所述装置包括：
第二确定模块，用于根据预设的归一化集合中归一化方式的个数，确定所述学习参数的维数、所述第一超级参数的维数和所述第一超级参数中每一维度上的数值；其中，所述第一超级参数的各维度的数值总和为1；所述第一超级参数的维数与所述学习参数的维数相同，所述第一超级参数的各维度数值相同，且各维度数值的总和为1；
第三确定模块，用于确定预设的单纯形的中心到顶点的距离，将所述距离确定为所述第二超级参数对应的预设阈值；其中，所述预设的单纯形的各边长为预设固定数值，且顶点数与所述归一化方式的个数相同；所述第二超级参数为大于0小于等于所述预设阈值的数值。
在本申请实施例中，所述第一计算子模块，包括：
第四确定单元，用于根据所述第二超级参数和所述学习参数，确定第一子权值向量；
第五确定单元，用于如果所述第一子权值向量与所述第一超级参数之间的距离大于等于所述第二超级参数，将所述第一子权值向量确定为所述最终权值向量。
在本申请实施例中，所述装置还包括：
第四确定模块，用于如果所述第一子权值向量与所述第一超级参数之间的距离小于所述第二超级参数，根据所述第一超级参数、所述第二超级参数和所述第一子权值向量，确定第二子权值向量；
第五确定模块，用于如果第二子权值向量大于等于0，确定所述第二子权值向量为最终权值向量。
在本申请实施例中，所述装置还包括：
第一更新模块，用于如果所述第二子权值向量小于0，根据所述第二子权值向量更新所述第一超级参数，得到更新的第一超级参数；
第六确定模块，用于根据所述第二超级参数、所述更新的第一超级参数和未更新的第一超级参数，确定更新的第二超级参数；
第七确定模块，用于根据所述第二子权值向量和所述学习参数，确定第三子权值向量；
第八确定模块，用于根据所述更新的第一超级参数、所述更新的第二超级参数和所述第三子权值向量，确定最终权值向量。
在本申请实施例中，所述第一归一化子模块，包括：
第一计算单元，用于将所述均值最终权值向量中每一维度上的权值一一对应地与所述均值向量中每一维度上的权值相乘，并将每一维度上得到的乘积相加，得到归一化的均值向量；
第二计算单元，用于将所述方差最终权值向量中每一维度上的权值一一对应地与所述方差向量中每一维度上的方差相乘，并将每一维度上得到的乘积相加，得到归一化的方差向量。
在本申请实施例中，所述第四确定子模块，包括：
第一求差单元，用于确定所述第一特征图与所述归一化的均值向量的差值；
第三计算单元，用于确定所述归一化的方差向量与预设调整量之和，对应的均方差；
第四计算单元，用于确定所述差值与所述均方差的比值；
第一缩放单元，用于采用预设的缩放参数对所述比值进行缩放，得到缩放后的比值；
第一调整单元，用于按照预设的移位参数对所述缩放后的比值进行调整，得到所述第二特征图。
需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台即时通讯设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的图像处理方法中的步骤。
本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现本申请实施例提供的图像处理方法中的步骤。
图6为本申请实施例计算机设备的组成结构示意图，如图6所示，该计算机设备600的硬件实体包括：处理器601、通信接口602和存储器603，其中
处理器601通常控制计算机设备600的总体操作。
通信接口602可以使计算机设备通过网络与其他终端或服务器通信。
存储器603配置为存储由处理器601可执行的指令和应用，还可以缓存待处理器601以及计算机设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。
以上即时计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请即时通讯设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机或服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像的第一特征图；
确定所述第一特征图的最终权值向量；
根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式；
采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像的第一特征图，包括：
利用所述神经网络中卷积层对所述待处理图像进行特征提取，得到所述第一特征图；
对应地，所述预设参数集合包括：第一超级参数、第二超级参数和学习参数，所述确定第一特征图的最终权值向量，包括：
根据所述预设参数集合中的第一超级参数、第二超级参数和学习参数，计算所述第一特征图的最终权值向量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述预设参数集合中的第一超级参数、第二超级参数和学习参数，计算第一特征图的最终权值向量，包括：
根据所述第一超级参数和所述第二超级参数，确定预设约束条件；
根据所述预设约束条件和所述学习参数，确定所述第一特征图的最终权值向量；其中，所述学习参数用于计算所述第一特征图的最终权值向量，所述第一超级参数用于表明预设的单纯形的中心，所述第二超级参数用于缩小所述最终权值向量的取值范围。
4.根据权利要求3所述的方法，其特征在于，所述预设约束条件为限制所述最终权值向量与所述第一超级参数之间的距离大于等于所述第二超级参数的数值。
5.根据权利要求1所述的方法，其特征在于，所述确定所述第一特征图的最终权值向量，包括：确定所述第一特征图的均值向量和方差向量；根据所述预设约束条件和所述学习参数，分别确定所述均值向量对应的均值最终权值向量和所述方差向量对应的方差最终权值向量；
对应地，所述根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式，包括：根据所述均值最终权值向量和所述方差最终权值向量，分别对应地确定均值的第一子归一化方式和方差的第二子归一化方式；其中，所述第一子归一化方式与所述第二子归一化方式相同或不同；
对应地，所述采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图，包括：根据所述第一子归一化方式和所述第二子归一化方式，分别对应地对所述均值向量和所述方差向量进行归一化，得到归一化的均值向量和归一化的方差向量；根据所述归一化的均值向量、所述归一化的方差向量和所述第一特征图，得到所述第二特征图。
6.根据权利要求5所述的方法，其特征在于，所述确定所述第一特征图的均值向量和方差向量，包括：
基于预设的归一化集合，确定所述第一特征图的均值向量和方差向量；
其中，所述均值向量的维数和方差向量的维数均与所述预设的归一化集合中归一化方式的个数相同的；
所述均值向量中第i维度上的均值与所述预设的归一化集合中第j个归一化方式相对应，所述方差向量中第i维度上的方差与所述预设的归一化集合中第j个归一化方式相对应；i和j均为大于0小于等于所述预设的归一化集合中归一化方式的个数的整数。
7.根据权利要求2至6任一项所述的方法，其特征在于，所述方法包括：
根据预设的归一化集合中归一化方式的个数，确定所述学习参数的维数、所述第一超级参数的维数和所述第一超级参数中每一维度上的数值；其中，所述第一超级参数的各维度的数值总和为1；所述第一超级参数的维数与所述学习参数的维数相同，所述第一超级参数的各维度数值相同，且各维度数值的总和为1；
确定预设的单纯形的中心到顶点的距离，将所述距离确定为所述第二超级参数对应的预设阈值；其中，所述预设的单纯形的各边长为预设固定数值，且顶点数与所述归一化方式的个数相同；所述第二超级参数为大于0小于等于所述预设阈值的数值。
8.一种图像处理装置，其特征在于，所述装置包括：第一获取模块、第一计算模块、第一确定模块和第一处理模块，其中：
所述第一获取模块，用于获取待处理图像的第一特征图；
所述第一获取模块，用于确定所述第一特征图的最终权值向量；
所述第一确定模块，用于根据所述最终权值向量，在预设的归一化集合中确定出与所述第一特征图对应的目标归一化方式；
所述第一处理模块，用于采用所述目标归一化方式，对所述第一特征图进行归一化处理，得到第二特征图。
9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至7任一项所述的方法步骤。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至7任一项所述的方法步骤。
CN201910087398.XA 2019-01-29 2019-01-29 一种图像处理方法及装置、计算机设备和存储介质 Active CN109784420B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910087398.XA CN109784420B (zh) 2019-01-29 2019-01-29 一种图像处理方法及装置、计算机设备和存储介质
JP2021537467A JP7076648B2 (ja) 2019-01-29 2019-10-31 画像処理方法及び装置、コンピュータ機器並びにコンピュータ記憶媒体
SG11202102380TA SG11202102380TA (en) 2019-01-29 2019-10-31 Image processing method and apparatus, computer device, and computer storage medium
PCT/CN2019/114721 WO2020155712A1 (zh) 2019-01-29 2019-10-31 图像处理方法、装置、计算机设备和计算机存储介质
TW108148217A TWI712960B (zh) 2019-01-29 2019-12-27 圖像處理方法、裝置、電腦設備和電腦儲存介質
US17/170,149 US20210158088A1 (en) 2019-01-29 2021-02-08 Image processing method and apparatus, computer device, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910087398.XA CN109784420B (zh) 2019-01-29 2019-01-29 一种图像处理方法及装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109784420A true CN109784420A (zh) 2019-05-21
CN109784420B CN109784420B (zh) 2021-12-28

Family

ID=66503596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910087398.XA Active CN109784420B (zh) 2019-01-29 2019-01-29 一种图像处理方法及装置、计算机设备和存储介质

Country Status (6)

Country Link
US (1) US20210158088A1 (zh)
JP (1) JP7076648B2 (zh)
CN (1) CN109784420B (zh)
SG (1) SG11202102380TA (zh)
TW (1) TWI712960B (zh)
WO (1) WO2020155712A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348537A (zh) * 2019-07-18 2019-10-18 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111062429A (zh) * 2019-12-12 2020-04-24 上海点泽智能科技有限公司 基于深度学习的厨师帽和口罩佩戴的检测方法
CN111325222A (zh) * 2020-02-27 2020-06-23 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质
WO2020155712A1 (zh) * 2019-01-29 2020-08-06 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备和计算机存储介质
CN112000756A (zh) * 2020-08-21 2020-11-27 上海商汤智能科技有限公司 轨迹预测的方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4276692A1 (en) * 2022-05-13 2023-11-15 Robert Bosch GmbH Neural network layer for non-linear normalization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170357879A1 (en) * 2017-08-01 2017-12-14 Retina-Ai Llc Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
CN108764357A (zh) * 2018-05-31 2018-11-06 西安电子科技大学 基于压缩-激发的聚合残差网络高光谱图像分类方法
CN109003265A (zh) * 2018-07-09 2018-12-14 嘉兴学院 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法
CN109255381A (zh) * 2018-09-06 2019-01-22 华南理工大学 一种基于二阶vlad稀疏自适应深度网络的图像分类方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL107996A0 (en) * 1993-12-12 1994-05-30 P Inspection Ltd As Apparatus and method for signal processing
JP2003346083A (ja) 2002-05-27 2003-12-05 Canon Inc 文字認識装置、文字認識方法、プログラムおよび記憶媒体、および文字認識システム
US8923650B2 (en) * 2013-01-07 2014-12-30 Wexenergy Innovations Llc System and method of measuring distances related to an object
CN103902737A (zh) * 2014-04-22 2014-07-02 上海理工大学 基于群智能算法的投影寻踪分类建模软件及实现
CN104008393A (zh) * 2014-05-17 2014-08-27 北京工业大学 一种用于认知状态识别的特征分组归一化方法
US10325351B2 (en) * 2016-03-11 2019-06-18 Qualcomm Technologies, Inc. Systems and methods for normalizing an image
KR102662949B1 (ko) * 2016-11-24 2024-05-02 엘지전자 주식회사 인공지능 이동 로봇 및 그 제어방법
KR102343963B1 (ko) * 2017-05-30 2021-12-24 주식회사 케이티 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
CN107193993A (zh) 2017-06-06 2017-09-22 苏州大学 基于局部学习特征权重选择的医疗数据分类方法及装置
CN107808138B (zh) * 2017-10-31 2021-03-30 电子科技大学 一种基于FasterR-CNN的通信信号识别方法
CN108200522B (zh) * 2017-11-24 2020-02-18 华侨大学 一种变正则化比例归一化子带自适应滤波方法
CN108921283A (zh) * 2018-06-13 2018-11-30 深圳市商汤科技有限公司 深度神经网络的归一化方法和装置、设备、存储介质
CN109784420B (zh) * 2019-01-29 2021-12-28 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170357879A1 (en) * 2017-08-01 2017-12-14 Retina-Ai Llc Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images
CN108764357A (zh) * 2018-05-31 2018-11-06 西安电子科技大学 基于压缩-激发的聚合残差网络高光谱图像分类方法
CN109003265A (zh) * 2018-07-09 2018-12-14 嘉兴学院 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法
CN109255381A (zh) * 2018-09-06 2019-01-22 华南理工大学 一种基于二阶vlad稀疏自适应深度网络的图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"SWITCHABLE-SHAKE NORMALIZATION": "Sajad Norouzi", 《NEURIPS 2018》 *
PING LUO: ""Differentiable Learning-to-Normalize via Switchable Normalization"", 《ARXIV》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155712A1 (zh) * 2019-01-29 2020-08-06 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备和计算机存储介质
CN110348537A (zh) * 2019-07-18 2019-10-18 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110348537B (zh) * 2019-07-18 2022-11-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111062429A (zh) * 2019-12-12 2020-04-24 上海点泽智能科技有限公司 基于深度学习的厨师帽和口罩佩戴的检测方法
CN111325222A (zh) * 2020-02-27 2020-06-23 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质
WO2021169160A1 (zh) * 2020-02-27 2021-09-02 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质
CN112000756A (zh) * 2020-08-21 2020-11-27 上海商汤智能科技有限公司 轨迹预测的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2022500798A (ja) 2022-01-04
TW202029074A (zh) 2020-08-01
SG11202102380TA (en) 2021-04-29
WO2020155712A1 (zh) 2020-08-06
TWI712960B (zh) 2020-12-11
CN109784420B (zh) 2021-12-28
US20210158088A1 (en) 2021-05-27
JP7076648B2 (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
CN109784420A (zh) 一种图像处理方法及装置、计算机设备和存储介质
US20210042580A1 (en) Model training method and apparatus for image recognition, network device, and storage medium
Wu et al. $ L1 $-norm batch normalization for efficient training of deep neural networks
Muneesawang et al. Automatic machine interactions for content-based image retrieval using a self-organizing tree map architecture
WO2019154411A1 (zh) 词向量更新方法和装置
US11853896B2 (en) Neural network model, method, electronic device, and readable medium
WO2023016087A1 (zh) 图像聚类方法、装置、计算机设备及存储介质
Cho et al. An improved algorithm for learning long-term dependency problems in adaptive processing of data structures
Zhang et al. Fchp: Exploring the discriminative feature and feature correlation of feature maps for hierarchical dnn pruning and compression
Wu et al. Computation of heterogeneous object co-embeddings from relational measurements
Su et al. Low-rank deep convolutional neural network for multitask learning
Choi et al. Relevance feedback for content-based image retrieval using the choquet integral
CN110046344A (zh) 添加分隔符的方法及终端设备
Wu et al. High-accuracy handwriting recognition based on improved CNN algorithm
CN114663312A (zh) 一种针对图像降噪的网络自动搜索方法及图像降噪方法
CN109754067A (zh) 基于卷积注意力的矩阵分解方法、装置及电子设备
CN113033205B (zh) 实体链接的方法、装置、设备以及存储介质
CN112559727B (zh) 用于输出信息的方法、装置、设备、存储介质和程序
Leung et al. Stability and statistical properties of second-order bidirectional associative memory
CN113850326A (zh) 一种图像识别方法、装置、设备及存储介质
Kepesiova et al. Comparison of Optimization Techniques for Process Recognition Using Deep Neural Network
Ko et al. Deep model compression and inference speedup of sum–product networks on tensor trains
Li et al. Overview of deep convolutional neural network pruning
CN116306673B (zh) 一种文本特征提取方法与系统、电子设备、介质
Liu et al. Optimizing CNN Using Adaptive Moment Estimation for Image Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40006702

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: SHENZHEN SENSETIME TECHNOLOGY Co.,Ltd.

Address before: 518054 712 Haixiang Plaza, 1052 Nanhai Avenue, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN SENSETIME TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder