CN108921283A - 深度神经网络的归一化方法和装置、设备、存储介质 - Google Patents

深度神经网络的归一化方法和装置、设备、存储介质 Download PDF

Info

Publication number
CN108921283A
CN108921283A CN201810609601.0A CN201810609601A CN108921283A CN 108921283 A CN108921283 A CN 108921283A CN 201810609601 A CN201810609601 A CN 201810609601A CN 108921283 A CN108921283 A CN 108921283A
Authority
CN
China
Prior art keywords
dimension
mean value
variance
sample
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810609601.0A
Other languages
English (en)
Inventor
罗平
吴凌云
任家敏
彭章琳
张瑞茂
王新江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201810609601.0A priority Critical patent/CN108921283A/zh
Publication of CN108921283A publication Critical patent/CN108921283A/zh
Priority to KR1020207013708A priority patent/KR20210018180A/ko
Priority to PCT/CN2019/090964 priority patent/WO2019238072A1/zh
Priority to JP2020510104A priority patent/JP7009614B2/ja
Priority to US16/862,304 priority patent/US20200257979A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Databases & Information Systems (AREA)

Abstract

本申请实施例公开了一种深度神经网络的归一化方法和装置、设备、存储介质，其中，方法包括：将输入数据集输入深度神经网络，所述输入数据集包括至少一个输入数据；对所述深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值；基于所述至少一个维度方差和所述至少一个维度均值确定归一化后的目标特征图集。基于本申请上述实施例，通过沿至少一个维度进行归一化，覆盖归一化操作各个维度的统计信息，保证不过度依赖批量尺寸的同时也对各个维度统计有很好的鲁棒性。

Description

深度神经网络的归一化方法和装置、设备、存储介质
技术领域
本申请涉及计算机视觉技术，尤其是一种深度神经网络的归一化方法和装置、设备、存储介质。
背景技术
在神经网络的训练过程中，一般会将输入样本特征进行归一化处理，使数据变为均值为0，标准差为1的分布或者范围在0～1的分布。因为当没有将数据进行归一化的话，由于样本特征分布较散，可能会导致神经网络学习速度缓慢甚至难以学习。
为了提高神经网络学习的速度，可通过归一化计算一个批量数据中的均值与方差对特征进行归一化，使深度神经网络更易于收敛。
发明内容
本申请实施例提供的一种深度神经网络中的归一化技术。
根据本申请实施例的一个方面，提供的一种深度神经网络的归一化方法，包括：
将输入数据集输入深度神经网络，所述输入数据集包括至少一个输入数据；
对所述深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值，所述特征图集包括至少一个特征图，所述特征图像集对应至少一个通道，每个所述通道对应至少一个所述特征图；
基于所述至少一个维度方差和所述至少一个维度均值确定归一化后的目标特征图集。
可选地，所述维度包括以下至少一个：
空间维度、通道维度、批坐标维度。
可选地，所述对神经网络层输出的特征图集，从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值，包括：
对所述特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；和/或，
对所述特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值；和/或，
对所述特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值。
可选地，所述对所述特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值，包括：
将所述特征图集中各特征图的高度值、宽度值和所述特征图集对应的通道数作为变量，基于各所述特征图获得所述通道维度均值；
基于所述通道维度均值和各所述特征图，获得所述通道维度方差。
可选地，所述对所述特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值，包括：
将所述特征图集中各特征图的高度值、宽度值和所述输入数据集对应的输入数据数量作为变量，基于各所述特征图获得所述批坐标维度均值；
基于所述批坐标维度均值和各所述特征图，获得所述批坐标维度方差。
可选地，所述对所述深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值，包括：
对所述特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；
基于所述空间维度方差和所述空间维度均值，获得所述通道维度对应的通道维度方差和通道维度均值；
基于所述空间维度方差和所述空间维度均值，获得所述批坐标维度对应的批坐标维度方差和批坐标维度均值。
可选地，所述对所述特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值，包括：
将所述特征图集中的各特征图的高度值和宽度值作为变量，基于各所述特征图获得所述空间维度均值；
基于所述空间维度均值和各所述特征图，获得所述空间维度方差。
可选地，所述基于所述空间维度方差和所述空间维度均值，获得所述通道维度对应的通道维度方差和通道维度均值，包括：
将所述特征图集对应的通道数作为变量，基于所述空间维度均值获得所述通道维度均值；
将所述特征图集对应的通道数作为变量，基于所述空间维度均值、所述空间维度方差和所述通道维度均值获得所述通道维度方差。
可选地，所述基于所述空间维度方差和所述空间维度均值，获得所述批坐标维度对应的批坐标维度方差和批坐标维度均值，包括：
将所述输入数据集对应的输入数据数量作为变量，基于所述空间维度均值获得所述批坐标维度均值；
将所述输入数据集对应的输入数据数量作为变量，基于所述空间维度均值、所述空间维度方差和所述批坐标维度均值获得所述批坐标维度方差。
可选地，所述基于所述至少一个维度方差和所述至少一个维度均值确定归一化后的目标特征图集，包括：
对所述至少一个维度方差加权平均获得归一化方差，对所述至少一个维度均值加权平均获得归一化均值；
基于所述归一化方差和所述归一化均值确定所述目标特征图集。
可选地，所述基于所述归一化方差和所述归一化均值确定所述目标特征图集，包括：
基于所述归一化方差、所述归一化均值、缩放参数和位移参数对所述特征图集进行处理，得到所述目标特征图集。
可选地，还包括：
基于所述目标特征图集确定所述输入数据集对应至少一个数据结果。
可选地，所述输入数据为具有标注信息的样本数据；
所述方法还包括：
基于所述样本数据集训练所述深度神经网络，所述样本数据集包括至少一个样本数据。
可选地，所述深度神经网络包括至少一个网络层和至少一个归一化层；
所述基于所述样本数据集训练所述深度神经网络，包括：
将所述样本数据集输入深度神经网络，经所述网络层输出样本特征图集，所述样本特征图集包括至少一个样本特征图；
经所述归一化层对所述样本特征图集从至少一个维度进行归一化，得到至少一个样本维度方差和至少一个样本维度均值；
基于所述至少一个样本维度方差和所述至少一个样本维度均值确定归一化后的预测特征图集；
基于所述预测特征图集确定所述样本数据对应的预测结果；
基于所述预测结果和所述标注信息，调整所述至少一个网络层的参数和所述至少一个归一化层的参数。
可选地，所述归一化层的参数包括以下至少一个：维度对应的权重值、缩放参数和位移参数。
可选地，所述权重值包括以下至少一个：
空间维度权重值、通道维度权重值、批坐标维度权重值。
可选地，所述经所述归一化层对所述样本特征图集从至少一个维度进行归一化，得到至少一个样本维度方差和至少一个样本维度均值，包括：
对所述样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值；和/或，
对所述样本特征图集，基于通道维度进行归一化，得到样本通道维度方差和样本通道维度均值；和/或，
对所述样本特征图集，基于批坐标维度进行归一化，得到样本批坐标维度方差和样本批坐标维度均值。
可选地，所述对所述样本特征图集，基于通道维度进行归一化，得到样本通道维度方差和样本通道维度均值，包括：
将所述样本特征图集中各样本特征图的高度值、宽度值和所述样本特征图集对应的通道数作为变量，基于各所述样本特征图获得所述样本通道维度均值；
基于所述样本通道维度均值和各所述样本特征图，获得所述样本通道维度方差。
可选地，所述对所述样本特征图集，基于批坐标维度进行归一化，得到样本批坐标维度方差和样本批坐标维度均值，包括：
将所述样本特征图集中各样本特征图的高度值、宽度值和所述样本数据集对应的样本数据数量作为变量，基于各所述样本特征图获得所述样本批坐标维度均值；
基于所述样本批坐标维度均值和各所述样本特征图，获得所述样本批坐标维度方差。
可选地，所述经所述归一化层对所述样本特征图集从至少一个维度进行归一化，得到至少一个样本维度方差和至少一个样本维度均值，包括：
对所述样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值；
基于所述样本空间维度方差和所述样本空间维度均值，获得所述通道维度对应的样本通道维度方差和样本通道维度均值；
基于所述样本空间维度方差和所述样本空间维度均值，获得所述批坐标维度对应的样本批坐标维度方差和样本批坐标维度均值。
可选地，所述对所述样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值，包括：
将所述样本特征图集中的各样本特征图的高度值和宽度值作为变量，基于各所述样本特征图获得所述样本空间维度均值；
基于所述样本空间维度均值和各所述样本特征图，获得所述样本空间维度方差。
可选地，所述基于所述样本空间维度方差和所述样本空间维度均值，获得所述通道维度对应的样本通道维度方差和样本通道维度均值，包括：
将所述样本特征图集对应的通道数作为变量，基于所述样本空间维度均值获得所述样本通道维度均值；
将所述样本特征图集对应的通道数作为变量，基于所述样本空间维度均值、所述样本空间维度方差和所述样本通道维度均值获得所述样本通道维度方差。
可选地，所述基于所述样本空间维度方差和所述样本空间维度均值，获得所述批坐标维度对应的样本批坐标维度方差和样本批坐标维度均值，包括：
将所述样本数据集对应的样本数据数量作为变量，基于所述样本空间维度均值获得所述样本批坐标维度均值；
将所述样本数据集对应的样本数据数量作为变量，基于所述样本空间维度均值、所述样本空间维度方差和所述样本批坐标维度均值获得所述样本批坐标维度方差。
可选地，所述基于所述至少一个样本维度方差和所述至少一个样本维度均值确定归一化后的预测特征图集，包括：
对所述至少一个样本维度方差加权平均获得样本归一化方差，对所述至少一个样本维度均值加权平均获得样本归一化均值；
基于所述样本归一化方差、所述样本归一化均值、缩放参数和位移参数对所述样本特征图集进行处理，得到所述预测特征图集。
根据本申请实施例的另一个方面，提供的一种深度神经网络的归一化装置，包括：
输入单元，用于将输入数据集输入深度神经网络，所述输入数据集包括至少一个输入数据；
维度归一化单元，用于对所述深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值，所述特征图集包括至少一个特征图，所述特征图像集对应至少一个通道，每个所述通道对应至少一个所述特征图；
批归一化单元，用于基于所述至少一个维度方差和所述至少一个维度均值确定归一化后的目标特征图集。
可选地，所述维度包括以下至少一个：
空间维度、通道维度、批坐标维度。
可选地，所述维度归一化单元，用于对所述特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；和/或，
对所述特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值；和/或，
对所述特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值。
可选地，所述维度归一化单元对所述特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值时，具体用于将所述特征图集中各特征图的高度值、宽度值和所述特征图集对应的通道数作为变量，基于各所述特征图获得所述通道维度均值；基于所述通道维度均值和各所述特征图，获得所述通道维度方差。
可选地，所述维度归一化单元对所述特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值时，具体用于将所述特征图集中各特征图的高度值、宽度值和所述输入数据集对应的输入数据数量作为变量，基于各所述特征图获得所述批坐标维度均值；基于所述批坐标维度均值和各所述特征图，获得所述批坐标维度方差。
可选地，所述维度归一化单元，用于对所述特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；基于所述空间维度方差和所述空间维度均值，获得所述通道维度对应的通道维度方差和通道维度均值；基于所述空间维度方差和所述空间维度均值，获得所述批坐标维度对应的批坐标维度方差和批坐标维度均值。
可选地，所述维度归一化单元对所述特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值时，用于将所述特征图集中的各特征图的高度值和宽度值作为变量，基于各所述特征图获得所述空间维度均值；基于所述空间维度均值和各所述特征图，获得所述空间维度方差。
可选地，所述维度归一化单元基于所述空间维度方差和所述空间维度均值，获得所述通道维度对应的通道维度方差和通道维度均值时，用于将所述特征图集对应的通道数作为变量，基于所述空间维度均值获得所述通道维度均值；将所述特征图集对应的通道数作为变量，基于所述空间维度均值、所述空间维度方差和所述通道维度均值获得所述通道维度方差。
可选地，所述维度归一化单元基于所述空间维度方差和所述空间维度均值，获得所述批坐标维度对应的批坐标维度方差和批坐标维度均值时，用于将所述输入数据集对应的输入数据数量作为变量，基于所述空间维度均值获得所述批坐标维度均值；将所述输入数据集对应的输入数据数量作为变量，基于所述空间维度均值、所述空间维度方差和所述批坐标维度均值获得所述批坐标维度方差。
可选地，所述批归一化单元基于所述至少一个维度方差和所述至少一个维度均值确定归一化后的目标特征图集时，用于对所述至少一个维度方差加权平均获得归一化方差，对所述至少一个维度均值加权平均获得归一化均值；基于所述归一化方差和所述归一化均值确定所述目标特征图集。
可选地，所述批归一化单元基于所述归一化方差和所述归一化均值确定所述目标特征图集时，用于基于所述归一化方差、所述归一化均值、缩放参数和位移参数对所述特征图集进行处理，得到所述目标特征图集。
可选地，还包括：
结果确定单元，用于基于所述目标特征图集确定所述输入数据集对应至少一个数据结果。
可选地，所述输入数据为具有标注信息的样本数据；
所述装置还包括：
训练单元，用于基于所述样本数据集训练所述深度神经网络，所述样本数据集包括至少一个样本数据。
可选地，所述深度神经网络包括至少一个网络层和至少一个归一化层；
所述输入单元，还用于将所述样本数据集输入深度神经网络，经所述网络层输出样本特征图集，所述样本特征图集包括至少一个样本特征图；
所述维度归一化单元，还用于经所述归一化层对所述样本特征图集从至少一个维度进行归一化，得到至少一个样本维度方差和至少一个样本维度均值；
所述批归一化单元，还用于基于所述至少一个样本维度方差和所述至少一个样本维度均值确定归一化后的预测特征图集；
所述结果确定单元，还用于基于所述预测特征图集确定所述样本数据对应的预测结果；
所述训练单元，用于基于所述预测结果和所述标注信息，调整所述至少一个网络层的参数和所述至少一个归一化层的参数。
可选地，所述归一化层的参数包括以下至少一个：维度对应的权重值、缩放参数和位移参数。
可选地，所述权重值包括以下至少一个：
空间维度权重值、通道维度权重值、批坐标维度权重值。
可选地，所述维度归一化单元，具体用于对所述样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值；和/或，
对所述样本特征图集，基于通道维度进行归一化，得到样本通道维度方差和样本通道维度均值；和/或，
对所述样本特征图集，基于批坐标维度进行归一化，得到样本批坐标维度方差和样本批坐标维度均值。
可选地，所述维度归一化单元对所述样本特征图集，基于通道维度进行归一化，得到样本通道维度方差和样本通道维度均值时，用于将所述样本特征图集中各样本特征图的高度值、宽度值和所述样本特征图集对应的通道数作为变量，基于各所述样本特征图获得所述样本通道维度均值；基于所述样本通道维度均值和各所述样本特征图，获得所述样本通道维度方差。
可选地，所述维度归一化单元对所述样本特征图集，基于批坐标维度进行归一化，得到样本批坐标维度方差和样本批坐标维度均值时，用于将所述样本特征图集中各样本特征图的高度值、宽度值和所述样本数据集对应的样本数据数量作为变量，基于各所述样本特征图获得所述样本批坐标维度均值；基于所述样本批坐标维度均值和各所述样本特征图，获得所述样本批坐标维度方差。
可选地，所述维度归一化单元，用于对所述样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值；基于所述样本空间维度方差和所述样本空间维度均值，获得所述通道维度对应的样本通道维度方差和样本通道维度均值；基于所述样本空间维度方差和所述样本空间维度均值，获得所述批坐标维度对应的样本批坐标维度方差和样本批坐标维度均值。
可选地，所述维度归一化单元对所述样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值时，用于将所述样本特征图集中的各样本特征图的高度值和宽度值作为变量，基于各所述样本特征图获得所述样本空间维度均值；基于所述样本空间维度均值和各所述样本特征图，获得所述样本空间维度方差。
可选地，所述维度归一化单元基于所述样本空间维度方差和所述样本空间维度均值，获得所述通道维度对应的样本通道维度方差和样本通道维度均值时，用于将所述样本特征图集对应的通道数作为变量，基于所述样本空间维度均值获得所述样本通道维度均值；将所述样本特征图集对应的通道数作为变量，基于所述样本空间维度均值、所述样本空间维度方差和所述样本通道维度均值获得所述样本通道维度方差。
可选地，所述维度归一化单元基于所述样本空间维度方差和所述样本空间维度均值，获得所述批坐标维度对应的样本批坐标维度方差和样本批坐标维度均值时，用于将所述样本数据集对应的样本数据数量作为变量，基于所述样本空间维度均值获得所述样本批坐标维度均值；将所述样本数据集对应的样本数据数量作为变量，基于所述样本空间维度均值、所述样本空间维度方差和所述样本批坐标维度均值获得所述样本批坐标维度方差。
可选地，所述批归一化单元，用于对所述至少一个样本维度方差加权平均获得样本归一化方差，对所述至少一个样本维度均值加权平均获得样本归一化均值；基于所述样本归一化方差、所述样本归一化均值、缩放参数和位移参数对所述样本特征图集进行处理，得到所述预测特征图集。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的深度神经网络的归一化装置。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述深度神经网络的归一化方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述深度神经网络的归一化方法的操作。
根据本申请实施例的再一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述深度神经网络的归一化方法的指令。
基于本申请上述实施例提供的一种深度神经网络的归一化方法和装置、设备、存储介质，将输入数据集输入深度神经网络；对深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值；基于至少一个维度方差和至少一个维度均值确定归一化后的目标特征图集，通过沿至少一个维度进行归一化，覆盖归一化操作各个维度的统计信息，保证不过度依赖批量尺寸的同时也对各个维度统计有很好的鲁棒性。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请深度神经网络的归一化方法一个实施例的流程图。
图2为本申请实施例深度神经网络的归一化方法一个示例的示例图。
图3为本申请深度神经网络的归一化方法中深度神经网络一个示例的结构示意图。
图4为本申请深度神经网络的归一化装置一个实施例的结构示意图。
图5为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本申请深度神经网络的归一化方法一个实施例的流程图。如图1所示，该实施例方法包括：
步骤110，将输入数据集输入深度神经网络。
其中，输入数据集包括至少一个输入数据；该深度神经网络可以包括但不限于：卷积神经网络(CNN)、循环神经网络(RNN)或长短期记忆网络(LSTM)，或实现包括图像分类(ImageNet)、目标检测与分割(COCO)、视频识别(Kinetics)、图像风格化和笔迹生成等各种视觉任务的神经网络。
步骤120，对深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值。
其中，特征图集包括至少一个特征图，特征图像集对应至少一个通道，每个通道对应至少一个特征图，例如：当网络层为卷积层时，生成的特征图像集对应的通道数与卷积核的数量相同，如果卷积层有两个卷积核，那么生成对应两个通道的特征图像集；可选地，维度可以包括但不限于以下至少一个：空间维度、通道维度、批坐标维度。
步骤130，基于至少一个维度方差和至少一个维度均值确定归一化后的目标特征图集。
基于本申请上述实施例提供的一种深度神经网络的归一化方法，将输入数据集输入深度神经网络；对深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值；基于至少一个维度方差和至少一个维度均值确定归一化后的目标特征图集，通过沿至少一个维度进行归一化，覆盖归一化操作各个维度的统计信息，保证不过度依赖批量尺寸的同时也对各个维度统计有很好的鲁棒性。
在一个或多个可选的实施例中，步骤120可以包括：
对特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；和/或，
对特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值；和/或，
对特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值。
本实施例中，沿着特征图的不同轴线(批坐标轴、通道轴、空间轴)计算包含三种维度统计量的算数平均，使归一化操作的统计计算维度更加多样，使其不过度敏感于批量尺寸的同时又对批统计保持鲁棒性。另一方面，学习不同维度统计量的加权系数，针对单个归一化层可以自主选择每个维度统计量的权重，无需手动设计的组合出性能最优的归一化操作方式。
每个维度的均值μk与方差σk计算方式见公式(1)：
其中，μk表示均值，表示方差，hncij为任意一个4维(N,H,W,C)的特征图，是归一化层的输入，其中N表示一批数据的数据量，H和W表示一个特征图的高度值和宽度值，C表示特征图集对应的通道数(即步骤120中网络层对应的通道数)，k∈Ω，Ω＝{BN,IN,LN}，其中BN，IN，LN分别为沿批量轴N、空间轴H×W、通道轴C计算统计量的批归一化、实例归一化、层归一化。三个维度的计算方法类似，但统计量的像素范围不同，Ik为每个维度统计计算的像素范围，hncij是Ik内的点。
可选地，对特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值，包括：
将特征图集中的各特征图的高度值和宽度值作为变量，基于各特征图获得空间维度均值；
基于空间维度均值和各特征图，获得空间维度方差。
沿空间轴变化的空间维度对应的像素范围表示为Iin，Iin＝{(i,j)|i∈[1,H],j∈[1×W]}，表示在计算空间维度方差和空间维度均值的过程中，变化量为i和j，即特征图的高度值和宽度值。
可选地，对特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值，包括：
将特征图集中各特征图的高度值、宽度值和特征图集对应的通道数作为变量，基于各特征图获得通道维度均值；
基于通道维度均值和各特征图，获得通道维度方差。
沿通道轴变化的通道维度对应的像素范围表示为Iln，Iln＝{(c,i,j)|c∈[1,C],i∈[1,H],j∈[1×W]}，表示在计算通道维度方差和通道维度均值的过程中，变化量为i、j和c，即特征图的高度值和宽度值，以及通道数。
可选地，对特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值，包括：
将特征图集中各特征图的高度值、宽度值和输入数据集对应的输入数据数量作为变量，基于各特征图获得批坐标维度均值；
基于批坐标维度均值和各特征图，获得批坐标维度方差。
沿批坐标轴变化的批坐标维度对应的像素范围表示为Ibn，Ibn＝{(n,i,j)|n∈[1,N],i∈[1,H],j∈[1×W]}，表示在计算批坐标维度方差和批坐标维度均值的过程中，变化量为i、j和n，即特征图的高度值和宽度值，以及输入数据集的数据量。
在一个或多个可选的实施例中，步骤120可以包括：
对特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；
基于空间维度方差和空间维度均值，获得通道维度对应的通道维度方差和通道维度均值；
基于空间维度方差和空间维度均值，获得批坐标维度对应的批坐标维度方差和批坐标维度均值。
直接按公式(1)方式计算均值μk与方差σk会带来很大的冗余计算量，而由于三个维度的统计量之间存在有相互依赖的关系，因此，本实施例通过维度之间的关系，先计算空间维度方差和空间维度均值，在基于空间维度方差和空间维度均值计算通道维度和批坐标维度上的均值和方差的方式计算统计量来减少冗余。
可选地，对特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值，包括：
将特征图集中的各特征图的高度值和宽度值作为变量，基于各特征图获得空间维度均值；
基于空间维度均值和各特征图，获得空间维度方差。
对于空间维度方差和空间维度均值的计算与上述其他实施例相同，以特征图的高度值和宽度值作为变量，带入公式(1)得到公式(2)：
通过公式(2)计算得到空间维度方差和空间维度均值。
可选地，基于空间维度方差和空间维度均值，获得通道维度对应的通道维度方差和通道维度均值，包括：
将特征图集对应的通道数作为变量，基于空间维度均值获得通道维度均值；
将特征图集对应的通道数作为变量，基于空间维度均值、空间维度方差和通道维度均值获得通道维度方差。
在已知空间维度方差和空间维度均值时，可基于公式(3)计算通道维度方差和通道维度均值：
在公式(3)中，变量仅为通道数，此时减少了计算量，提高了处理速度。
可选地，基于空间维度方差和空间维度均值，获得批坐标维度对应的批坐标维度方差和批坐标维度均值，包括：
将输入数据集对应的输入数据数量作为变量，基于空间维度均值获得批坐标维度均值；
将输入数据集对应的输入数据数量作为变量，基于空间维度均值、空间维度方差和批坐标维度均值获得批坐标维度方差。
在已知空间维度方差和空间维度均值时，可基于公式(4)计算批坐标维度方差和批坐标维度均值：
在公式(4)中，变量仅为输入数据集对应的输入数据数量，减少了计算量，提高了处理速度。
在获得空间维度方差和空间维度均值之后，先计算通道维度方差和通道维度均值，或先计算批坐标维度方差和批坐标维度均值，都可以，没有先后顺序的区分。
在一个或多个可选的实施例中，步骤130可以包括：
对至少一个维度方差加权平均获得归一化方差，对至少一个维度均值加权平均获得归一化均值；
基于归一化方差和归一化均值确定目标特征图集。
在本实施例中，仅通过归一化方差和归一化均值对特征图像集进行处理，得到目标特征图集，可选地，计算特征图像集中的各特征图与归一化均值的差值，基于差值除以归一化方差，得到目标特征图，进而得到目标特征集。
可选地，基于归一化方差和归一化均值确定目标特征图集，包括：
基于归一化方差、归一化均值、缩放参数和位移参数对特征图集进行处理，得到目标特征图集。
本实施例中，对现有技术中计算批归一化的公式进行调整，得到自适应归一化公式，如公式(5)所示：
以任意一个4维(N,H,W,C)的特征图hncij作为输入，对其每一个像素点进行自适应的归一化操作，输出相同维度的特征图其中：n∈[1,N]，N代表一个小批次内的样本量；c∈[1,C]，C是特征图的通道数量；i∈[1,H]且j∈[1,W]，H和W分别为每个通道空间维度上的高度值和宽度值。自适应归一化方法计算见公式(5)。γ和β分别为常规的缩放与移位参数，∈为预防数值不稳定性的一个很小的常量。对于每个像素点，归一化操作的均值μ＝∑k∈Ωωkμk，方差ωk表示不同维度的均值和方差对应的维度权重值。而均值和方差的运算由3个维度(空间维度、通道维度和批坐标维度)的均值和方差共同决定，即Ω＝{BN,IN,LN}，其中BN，IN，LN分别为沿批量轴N、空间轴H×W、通道轴C计算统计量的批归一化、实例归一化、层归一化，如图2所示，图2为本申请实施例深度神经网络的归一化方法一个示例的示例图。
在一个或多个可选的实施例中，还可以包括：
基于目标特征图集确定输入数据集对应至少一个数据结果。
由于归一化操作是基于网络层输出的特征图，深度神经网络得到的特征图集经过归一化操作后，继续处理，即可获得数据结果，针对不同任务的深度神经网络，输出不同的数据结果(如：分类结果、分割结果、识别结果等)。
在一个或多个可选的实施例中，输入数据为具有标注信息的样本数据；
本申请实施例方法还可以包括：
基于样本数据集训练深度神经网络。
其中，样本数据集包括至少一个样本数据，通过至少一个维度进行归一化，需要深度神经网络的归一化层中的参数是经过训练的，才能实现得到归一化效果更好的特征图，通过在深度神经网络中加入归一化层进行训练，可以使训练更快收敛，达到更好的训练效果。
可选地，深度神经网络包括至少一个网络层和至少一个归一化层；
本申请实施例对网络的各个归一化层选择各自的归一化操作方式。将本申请实施例提出的归一化方法应用在整个深度神经网络的所有归一化层上，使网络的每个归一化层都能通过学习更加灵敏的选择有利于各自特征表达的归一化统计量，验证出网络不同深度会因视觉表征不同而选择出不同的归一化操作方式。
基于样本数据集训练深度神经网络，包括：
将样本数据集输入深度神经网络，经网络层输出样本特征图集，样本特征图集包括至少一个样本特征图；
经归一化层对样本特征图集从至少一个维度进行归一化，得到至少一个样本维度方差和至少一个样本维度均值；
基于至少一个样本维度方差和至少一个样本维度均值确定归一化后的预测特征图集；
基于预测特征图集确定样本数据对应的预测结果；
基于预测结果和标注信息，调整至少一个网络层的参数和至少一个归一化层的参数。
可选地，归一化层设置在网络层之后，图3为本申请深度神经网络的归一化方法中深度神经网络一个示例的结构示意图。如图3所示，以小批量样本数据作为输入，经过多层神经网络，输出该批次样本数据的预测结果。而归一化层加在每层神经网络的后面，对每层的特征图进行自适应归一化操作，以加快网络的训练收敛速度，提高模型精度。
可选地，可以将归一化方法嵌入多种深度神经网络模型(ResNet50，VGG16，LSTM)，应用于各种视觉任务(图像分类、目标检测与分割、图像风格化、手写字迹生成)。相比现有的归一化方法，本申请实施例提出的归一化方法具有更强的通用性，可以在不同视觉任务上取得更有效的结果。
可选地，归一化层的参数可以包括但不限于以下至少一个：维度对应的权重值、缩放参数和位移参数。
可选地，权重值包括以下至少一个：空间维度权重值、通道维度权重值、批坐标维度权重值。
其中维度对应的权重值，可以是每个维度对应一个权重值，分别对三个维度的统计量拥有三个加权系数，还可以将其拓展成六个，每个均值与方差都有不同的系数。另一方面，前面介绍的自适应归一化方法是在所有通道上共享加权系数，还可以将通道分组，每个组内通道分享系数，甚至可以每个通道学习子集的加权系数。总之，自适应归一化方法可拓展，通过不同维度统计量的不同加权组合方式，可以代替任意一种现有的经手动设计的归一化方法。
可选地，经归一化层对样本特征图集从至少一个维度进行归一化，得到至少一个样本维度方差和至少一个样本维度均值，包括：
对样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值；和/或，
对样本特征图集，基于通道维度进行归一化，得到样本通道维度方差和样本通道维度均值；和/或，
对样本特征图集，基于批坐标维度进行归一化，得到样本批坐标维度方差和样本批坐标维度均值。
本实施例对样本特征图集从至少一个维度进行归一化，克服了现有批归一化方法因为在批维度上计算统计量使其对于批量尺寸或其他维度的极度依赖，同时克服了现有批归一化方法在不同模型不同任务上的效力受到限制的问题，本实施例通过沿至少一个空间坐标轴计算三种维度统计量的算数平均，覆盖归一化操作各个维度的统计信息，相比以往技术可以在不过度依赖批量尺寸的同时也对各个维度统计有很好的鲁棒性。
可选地，对样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值，包括：
将样本特征图集中的各样本特征图的高度值和宽度值作为变量，基于各样本特征图获得样本空间维度均值；
基于样本空间维度均值和各样本特征图，获得样本空间维度方差。
可选地，对样本特征图集，基于通道维度进行归一化，得到样本通道维度方差和样本通道维度均值，包括：
将样本特征图集中各样本特征图的高度值、宽度值和样本特征图集对应的通道数作为变量，基于各样本特征图获得样本通道维度均值；
基于样本通道维度均值和各样本特征图，获得样本通道维度方差。
可选地，对样本特征图集，基于批坐标维度进行归一化，得到样本批坐标维度方差和样本批坐标维度均值，包括：
将样本特征图集中各样本特征图的高度值、宽度值和样本数据集对应的样本数据数量作为变量，基于各样本特征图获得样本批坐标维度均值；
基于样本批坐标维度均值和各样本特征图，获得样本批坐标维度方差。
本实施例中，计算空间维度、通道维度和批坐标维度的方差和均值的方法与预测过程相同，同样可基于上述公式(1)计算获得，计算不同维度的均值及方差，并基于计算得到的均值和方差加权平均，即可获得样本特征图集对应的均值和方差，带入公式(5)即可得到预测特征图集，可选地，基于至少一个样本维度方差和至少一个样本维度均值确定归一化后的预测特征图集，包括：对至少一个样本维度方差加权平均获得样本归一化方差，对至少一个样本维度均值加权平均获得样本归一化均值；基于样本归一化方差、样本归一化均值、缩放参数和位移参数对样本特征图集进行处理，得到预测特征图集。
在一个或多个可选的实施例中，经所述归一化层对样本特征图集从至少一个维度进行归一化，得到至少一个样本维度方差和至少一个样本维度均值，包括：
对样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值；
可选地，将样本特征图集中的各样本特征图的高度值和宽度值作为变量，基于各样本特征图获得样本空间维度均值；
基于样本空间维度均值和各样本特征图，获得样本空间维度方差。
基于样本空间维度方差和样本空间维度均值，获得通道维度对应的样本通道维度方差和样本通道维度均值；
可选地，将样本特征图集对应的通道数作为变量，基于样本空间维度均值获得样本通道维度均值；
将样本特征图集对应的通道数作为变量，基于样本空间维度均值、样本空间维度方差和样本通道维度均值获得样本通道维度方差。
基于样本空间维度方差和样本空间维度均值，获得批坐标维度对应的样本批坐标维度方差和样本批坐标维度均值。
可选地，将所述样本数据集对应的样本数据数量作为变量，基于所述样本空间维度均值获得所述样本批坐标维度均值；
将所述样本数据集对应的样本数据数量作为变量，基于所述样本空间维度均值、所述样本空间维度方差和所述样本批坐标维度均值获得所述样本批坐标维度方差。
直接按公式(1)方式计算均值μk与方差σk会带来很大的冗余计算量，而由于三个维度的统计量之间存在有相互依赖的关系，因此，本实施例通过维度之间的关系，先计算空间维度方差和空间维度均值，在基于空间维度方差和空间维度均值计算通道维度和批坐标维度上的均值和方差的方式计算统计量来减少冗余。
在一个或多个可选的实施例中，基于至少一个样本维度方差和至少一个样本维度均值确定归一化后的预测特征图集，包括：
对至少一个样本维度方差加权平均获得样本归一化方差，对至少一个样本维度均值加权平均获得样本归一化均值；
基于样本归一化方差、样本归一化均值、缩放参数和位移参数对样本特征图集进行处理，得到预测特征图集。
可选地，加权平均的权重值、缩放参数和位移参数都属于本申请实施例需要对归一化层进行调整的参数，通过训练学习不同维度统计量的加权系数，针对单个归一化层可以自主选择每个维度统计量的权重，无需手动设计的组合出性能最优的归一化操作方式。
可选地，至少一个样本维度方差包括：样本空间维度方差、样本通道维度方差和样本批坐标维度方差；
对至少一个样本维度方差加权平均获得样本归一化方差，包括：
对样本空间维度方差与空间维度权重值的积，样本通道维度方差与通道维度权重值的积，和样本批坐标维度方差与批坐标维度权重值的积求和，基于求得的和获得样本归一化方差。
可选地，至少一个样本维度均值包括：样本空间维度均值、样本通道维度均值和样本批坐标维度均值；
对至少一个样本维度均值加权平均获得样本归一化均值，包括：
对样本空间维度均值与空间维度权重值的积，样本通道维度均值与通道维度权重值的积，和样本批坐标维度均值与批坐标维度权重值的积求和，基于求得的和获得样本归一化均值。
可选地，每个维度的统计量(均值和方差)的维度权重值可通过公式(6)计算获得：
其中，ωk表示不同维度的均值和方差对应的维度权重值，λk为三个维度统计量对应的网络参数，该参数在反向传播时进行优化学习，通过优化λk实现对维度权重值ωk的优化；表示计算z取值为bn,in和ln时，对应的的和。利用softmax函数可以对优化参数进行归一化，计算统计量最终的加权系数(维度权重值)。另外，所有加权系数ωk的和为1，每个加权系数ωk的值都在0和1之间。
本实施例中，通过计算每个维度的统计量的数据平均值，获得样本归一化均值和样本归一化方差，可选地，其中维度对应的权重值，可以是每个维度对应一个权重值，分别对三个维度的统计量拥有三个加权系数，还可以将其拓展成六个，每个均值与方差都有不同的系数。另一方面，前面介绍的自适应归一化方法是在所有通道上共享加权系数，还可以将通道分组，每个组内通道分享系数，甚至可以每个通道学习子集的加权系数。总之，自适应归一化方法可拓展，通过不同维度统计量的不同加权组合方式，可以代替任意一种现有的经手动设计的归一化方法。
自适应归一化方法可以计算神经网络视觉表征多个维度的统计量信息，通过不同加权系数的组合方式，可以代替任意一种已存在的手动精细设计的归一化方法。另一方面，自适应归一化方法可以对不同维度的统计量学习不同的加权系数，从而整合出更多便于实现的归一化技术。
本申请实施例提供的归一化方法，实现网络模型中归一化方式的自适应选择，帮助模型迅速收敛，改进产品模型效果。还具有通用性强的优点，适用于各种不同的网络模型和视觉任务；可以很简便有效的应用于卷积神经网络(CNN)、循环神经网络(RNN)或长短期记忆网络(LSTM)，在包括图像分类(ImageNet)、目标检测与分割(COCO)、视频识别(Kinetics)、图像风格化和笔迹生成等各种视觉任务上取得优异的效果，后续还将应用于生成对抗网络(GAN)做高分辨率的图像合成。
本申请实施例提供的归一化方法可应用于任何需要归一化层辅助优化网络训练的产品模型，任何需要图像识别、目标检测、目标分割、图像风格化等技术的应用场景。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图4为本申请深度神经网络的归一化装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图4所示，该实施例的装置包括：
输入单元41，用于将输入数据集输入深度神经网络。
其中，输入数据集包括至少一个输入数据；该深度神经网络可以包括但不限于：卷积神经网络(CNN)、循环神经网络(RNN)或长短期记忆网络(LSTM)，或实现包括图像分类(ImageNet)、目标检测与分割(COCO)、视频识别(Kinetics)、图像风格化和笔迹生成等各种视觉任务的神经网络。
维度归一化单元42，用于对深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值。
特征图集包括至少一个特征图，特征图像集对应至少一个通道，每个通道对应至少一个特征图；可选地，维度可以包括但不限于以下至少一个：空间维度、通道维度、批坐标维度。
批归一化单元43，用于基于至少一个维度方差和至少一个维度均值确定归一化后的目标特征图集。
基于本申请上述实施例提供的一种深度神经网络的归一化装置，将输入数据集输入深度神经网络；对深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值；基于至少一个维度方差和至少一个维度均值确定归一化后的目标特征图集，通过沿至少一个维度进行归一化，覆盖归一化操作各个维度的统计信息，保证不过度依赖批量尺寸的同时也对各个维度统计有很好的鲁棒性。
在一个或多个可选的实施例中，维度归一化单元42，用于对特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；和/或，
对特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值；和/或，
对特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值。
本实施例中，沿着特征图的不同轴线(批坐标轴、通道轴、空间轴)计算包含三种维度统计量的算数平均，使归一化操作的统计计算维度更加多样，使其不过度敏感于批量尺寸的同时又对批统计保持鲁棒性。另一方面，学习不同维度统计量的加权系数，针对单个归一化层可以自主选择每个维度统计量的权重，无需手动设计的组合出性能最优的归一化操作方式。每个维度的均值μk与方差σk可通过上述公式(1)计算获得。
可选地，维度归一化单元42对特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值时，用于将特征图集中的各特征图的高度值和宽度值作为变量，基于各特征图获得空间维度均值；基于空间维度均值和各特征图，获得空间维度方差。
可选地，维度归一化单元42对特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值时，具体用于将特征图集中各特征图的高度值、宽度值和特征图集对应的通道数作为变量，基于各特征图获得通道维度均值；基于通道维度均值和各特征图，获得通道维度方差。
可选地，维度归一化单元42对特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值时，具体用于将特征图集中各特征图的高度值、宽度值和输入数据集对应的输入数据数量作为变量，基于各特征图获得批坐标维度均值；基于批坐标维度均值和各特征图，获得批坐标维度方差。
在一个或多个可选的实施例中，维度归一化单元42，用于对特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；基于空间维度方差和空间维度均值，获得通道维度对应的通道维度方差和通道维度均值；基于空间维度方差和空间维度均值，获得批坐标维度对应的批坐标维度方差和批坐标维度均值。
直接按公式(1)方式计算均值μk与方差σk会带来很大的冗余计算量，而由于三个维度的统计量之间存在有相互依赖的关系，因此，本实施例通过维度之间的关系，先计算空间维度方差和空间维度均值，在基于空间维度方差和空间维度均值计算通道维度和批坐标维度上的均值和方差的方式计算统计量来减少冗余。
可选地，维度归一化单元42对特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值时，用于将特征图集中的各特征图的高度值和宽度值作为变量，基于各特征图获得空间维度均值；基于空间维度均值和各特征图，获得空间维度方差。
可选地，维度归一化单元42基于空间维度方差和空间维度均值，获得通道维度对应的通道维度方差和通道维度均值时，用于将特征图集对应的通道数作为变量，基于空间维度均值获得通道维度均值；将特征图集对应的通道数作为变量，基于空间维度均值、空间维度方差和通道维度均值获得通道维度方差。
可选地，维度归一化单元42基于空间维度方差和空间维度均值，获得批坐标维度对应的批坐标维度方差和批坐标维度均值时，用于将输入数据集对应的输入数据数量作为变量，基于空间维度均值获得批坐标维度均值；将输入数据集对应的输入数据数量作为变量，基于空间维度均值、空间维度方差和批坐标维度均值获得批坐标维度方差。
在一个或多个可选的实施例中，批归一化单元43基于至少一个维度方差和至少一个维度均值确定归一化后的目标特征图集时，用于对至少一个维度方差加权平均获得归一化方差，对至少一个维度均值加权平均获得归一化均值；基于归一化方差和归一化均值确定目标特征图集。
在本实施例中，仅通过归一化方差和归一化均值对特征图像集进行处理，得到目标特征图集，可选地，计算特征图像集中的各特征图与归一化均值的差值，基于差值除以归一化方差，得到目标特征图，进而得到目标特征集。
可选地，批归一化单元43基于归一化方差和归一化均值确定目标特征图集时，可以用于基于归一化方差、归一化均值、缩放参数和位移参数对特征图集进行处理，得到目标特征图集。
本实施例中，对现有技术中计算批归一化的公式进行调整，得到自适应归一化公式，如上述公式(5)所示，基于公式(5)计算获得目标特征图集。
在一个或多个可选的实施例中，还可以包括：
结果确定单元，用于基于目标特征图集确定输入数据集对应至少一个数据结果。
由于归一化操作是基于网络层输出的特征图，深度神经网络得到的特征图集经过归一化操作后，继续处理，即可获得数据结果，针对不同任务的深度神经网络，输出不同的数据结果(如：分类结果、分割结果、识别结果等)。
在一个或多个可选的实施例中，输入数据为具有标注信息的样本数据；
本申请实施例装置还包括：
训练单元，用于基于样本数据集训练深度神经网络。
其中，样本数据集包括至少一个样本数据，通过至少一个维度进行归一化，需要深度神经网络的归一化层中的参数是经过训练的，才能实现得到归一化效果更好的特征图，通过在深度神经网络中加入归一化层进行训练，可以使训练更快收敛，达到更好的训练效果。
可选地，深度神经网络包括至少一个网络层和至少一个归一化层；
输入单元41，还用于将样本数据集输入深度神经网络，经网络层输出样本特征图集，样本特征图集包括至少一个样本特征图；
维度归一化单元42，还用于经归一化层对样本特征图集从至少一个维度进行归一化，得到至少一个样本维度方差和至少一个样本维度均值；
批归一化单元43，还用于基于至少一个样本维度方差和至少一个样本维度均值确定归一化后的预测特征图集；
结果确定单元，还用于基于预测特征图集确定样本数据对应的预测结果；
训练单元，用于基于预测结果和标注信息，调整至少一个网络层的参数和至少一个归一化层的参数。
可选地，归一化层的参数可以包括但不限于以下至少一个：维度对应的权重值、缩放参数和位移参数。
可选地，权重值可以包括但不限于以下至少一个：空间维度权重值、通道维度权重值、批坐标维度权重值。
可选地，维度归一化单元42，用于对样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值；和/或，
对样本特征图集，基于通道维度进行归一化，得到样本通道维度方差和样本通道维度均值；和/或，
对样本特征图集，基于批坐标维度进行归一化，得到样本批坐标维度方差和样本批坐标维度均值。
可选地，维度归一化单元42对样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值时，用于将样本特征图集中的各样本特征图的高度值和宽度值作为变量，基于各样本特征图获得样本空间维度均值；基于样本空间维度均值和各样本特征图，获得样本空间维度方差。
可选地，维度归一化单元42对样本特征图集，基于通道维度进行归一化，得到样本通道维度方差和样本通道维度均值时，用于将样本特征图集中各样本特征图的高度值、宽度值和样本特征图集对应的通道数作为变量，基于各样本特征图获得样本通道维度均值；基于样本通道维度均值和各样本特征图，获得样本通道维度方差。
可选地，维度归一化单元42对样本特征图集，基于批坐标维度进行归一化，得到样本批坐标维度方差和样本批坐标维度均值时，用于将样本特征图集中各样本特征图的高度值、宽度值和样本数据集对应的样本数据数量作为变量，基于各样本特征图获得样本批坐标维度均值；基于样本批坐标维度均值和各样本特征图，获得样本批坐标维度方差。
在一个或多个可选的实施例中，维度归一化单元42，用于对样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值；基于样本空间维度方差和样本空间维度均值，获得通道维度对应的样本通道维度方差和样本通道维度均值；基于样本空间维度方差和样本空间维度均值，获得批坐标维度对应的样本批坐标维度方差和样本批坐标维度均值。
直接按公式(1)方式计算均值μk与方差σk会带来很大的冗余计算量，而由于三个维度的统计量之间存在有相互依赖的关系，因此，本实施例通过维度之间的关系，先计算空间维度方差和空间维度均值，在基于空间维度方差和空间维度均值计算通道维度和批坐标维度上的均值和方差的方式计算统计量来减少冗余。
可选地，维度归一化单元42对样本特征图集，基于空间维度进行归一化，得到样本空间维度方差和样本空间维度均值时，用于将样本特征图集中的各样本特征图的高度值和宽度值作为变量，基于各样本特征图获得样本空间维度均值；基于样本空间维度均值和各样本特征图，获得样本空间维度方差。
可选地，维度归一化单元42基于样本空间维度方差和样本空间维度均值，获得通道维度对应的样本通道维度方差和样本通道维度均值时，用于将样本特征图集对应的通道数作为变量，基于样本空间维度均值获得样本通道维度均值；将样本特征图集对应的通道数作为变量，基于样本空间维度均值、样本空间维度方差和样本通道维度均值获得样本通道维度方差。
可选地，维度归一化单元42基于样本空间维度方差和样本空间维度均值，获得批坐标维度对应的样本批坐标维度方差和样本批坐标维度均值时，用于将样本数据集对应的样本数据数量作为变量，基于样本空间维度均值获得样本批坐标维度均值；将样本数据集对应的样本数据数量作为变量，基于样本空间维度均值、样本空间维度方差和样本批坐标维度均值获得样本批坐标维度方差。
可选地，批归一化单元43，用于对至少一个样本维度方差加权平均获得样本归一化方差，对至少一个样本维度均值加权平均获得样本归一化均值；基于样本归一化方差、样本归一化均值、缩放参数和位移参数对样本特征图集进行处理，得到预测特征图集。
可选地，至少一个样本维度方差包括：样本空间维度方差、样本通道维度方差和样本批坐标维度方差；
批归一化单元43对至少一个样本维度方差加权平均获得样本归一化方差时，用于对样本空间维度方差与空间维度权重值的积，样本通道维度方差与通道维度权重值的积，和样本批坐标维度方差与批坐标维度权重值的积求和，基于求得的和获得样本归一化方差。
可选地，至少一个样本维度均值包括：样本空间维度均值、样本通道维度均值和样本批坐标维度均值；
批归一化单元43对至少一个样本维度均值加权平均获得样本归一化均值时，用于对样本空间维度均值与空间维度权重值的积，样本通道维度均值与通道维度权重值的积，和样本批坐标维度均值与批坐标维度权重值的积求和，基于求得的和获得样本归一化均值。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的深度神经网络的归一化装置。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述深度神经网络的归一化方法的操作。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图3，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备500的结构示意图：如图5所示，电子设备500包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)501，和/或一个或多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信部512可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器502和/或随机访问存储器503中通信以执行可执行指令，通过总线504与通信部512相连、并经通信部512与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，将输入数据集输入深度神经网络；对深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值；基于至少一个维度方差和至少一个维度均值确定归一化后的目标特征图集。
此外，在RAM 503中，还可存储有装置操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可执行指令，可执行指令使中央处理单元501执行上述通信方法对应的操作。输入/输出(I/O)接口505也连接至总线504。通信部512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
需要说明的，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU513和CPU501可分离设置或者可将GPU513集成在CPU501上，通信部可分离设置，也可集成设置在CPU501或GPU513上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，将输入数据集输入深度神经网络；对深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值；基于至少一个维度方差和至少一个维度均值确定归一化后的目标特征图集。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述深度神经网络的归一化方法的操作。
根据本申请实施例的再一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述深度神经网络的归一化方法的指令。
可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种深度神经网络的归一化方法，其特征在于，包括：
将输入数据集输入深度神经网络，所述输入数据集包括至少一个输入数据；
对所述深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值，所述特征图集包括至少一个特征图，所述特征图像集对应至少一个通道，每个所述通道对应至少一个所述特征图；
基于所述至少一个维度方差和所述至少一个维度均值确定归一化后的目标特征图集。
2.根据权利要求1所述的方法，其特征在于，所述维度包括以下至少一个：
空间维度、通道维度、批坐标维度。
3.根据权利要求2所述的方法，其特征在于，所述对神经网络层输出的特征图集，从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值，包括：
对所述特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；和/或，
对所述特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值；和/或，
对所述特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值。
4.根据权利要求3所述的方法，其特征在于，所述对所述特征图集，基于通道维度进行归一化，得到通道维度方差和通道维度均值，包括：
将所述特征图集中各特征图的高度值、宽度值和所述特征图集对应的通道数作为变量，基于各所述特征图获得所述通道维度均值；
基于所述通道维度均值和各所述特征图，获得所述通道维度方差。
5.根据权利要求3或4述的方法，其特征在于，所述对所述特征图集，基于批坐标维度进行归一化，得到批坐标维度方差和批坐标维度均值，包括：
将所述特征图集中各所述特征图的高度值、宽度值和所述输入数据集对应的输入数据数量作为变量，基于各所述特征图获得所述批坐标维度均值；
基于所述批坐标维度均值和各所述特征图，获得所述批坐标维度方差。
6.根据权利要求2所述的方法，其特征在于，所述对所述深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值，包括：
对所述特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值；
基于所述空间维度方差和所述空间维度均值，获得所述通道维度对应的通道维度方差和通道维度均值；
基于所述空间维度方差和所述空间维度均值，获得所述批坐标维度对应的批坐标维度方差和批坐标维度均值。
7.根据权利要求3-6任一所述的方法，其特征在于，所述对所述特征图集，基于空间维度进行归一化，得到空间维度方差和空间维度均值，包括：
将所述特征图集中的各特征图的高度值和宽度值作为变量，基于各所述特征图获得所述空间维度均值；
基于所述空间维度均值和各所述特征图，获得所述空间维度方差。
8.一种深度神经网络的归一化装置，其特征在于，包括：
输入单元，用于将输入数据集输入深度神经网络，所述输入数据集包括至少一个输入数据；
维度归一化单元，用于对所述深度神经网络中网络层输出的特征图集从至少一个维度进行归一化，得到至少一个维度方差和至少一个维度均值，所述特征图集包括至少一个特征图，所述特征图像集对应至少一个通道，每个所述通道对应至少一个所述特征图；
批归一化单元，用于基于所述至少一个维度方差和所述至少一个维度均值确定归一化后的目标特征图集。
9.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至7任意一项所述深度神经网络的归一化方法的操作。
10.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至7任意一项所述深度神经网络的归一化方法的操作。
CN201810609601.0A 2018-06-13 2018-06-13 深度神经网络的归一化方法和装置、设备、存储介质 Pending CN108921283A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810609601.0A CN108921283A (zh) 2018-06-13 2018-06-13 深度神经网络的归一化方法和装置、设备、存储介质
KR1020207013708A KR20210018180A (ko) 2018-06-13 2019-06-12 딥 뉴럴 네트워크의 정규화 방법 및 장치, 기기, 및 기억 매체
PCT/CN2019/090964 WO2019238072A1 (zh) 2018-06-13 2019-06-12 深度神经网络的归一化方法和装置、设备、存储介质
JP2020510104A JP7009614B2 (ja) 2018-06-13 2019-06-12 ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体
US16/862,304 US20200257979A1 (en) 2018-06-13 2020-04-29 Normalization method and apparatus for deep neural network, and storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810609601.0A CN108921283A (zh) 2018-06-13 2018-06-13 深度神经网络的归一化方法和装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN108921283A true CN108921283A (zh) 2018-11-30

Family

ID=64419572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810609601.0A Pending CN108921283A (zh) 2018-06-13 2018-06-13 深度神经网络的归一化方法和装置、设备、存储介质

Country Status (5)

Country Link
US (1) US20200257979A1 (zh)
JP (1) JP7009614B2 (zh)
KR (1) KR20210018180A (zh)
CN (1) CN108921283A (zh)
WO (1) WO2019238072A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886392A (zh) * 2019-02-25 2019-06-14 深圳市商汤科技有限公司 数据处理方法和装置、电子设备和存储介质
WO2019238072A1 (zh) * 2018-06-13 2019-12-19 深圳市商汤科技有限公司 深度神经网络的归一化方法和装置、设备、存储介质
CN110753264A (zh) * 2019-10-23 2020-02-04 支付宝(杭州)信息技术有限公司 视频生成方法、装置及设备
CN111325222A (zh) * 2020-02-27 2020-06-23 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质
WO2020155712A1 (zh) * 2019-01-29 2020-08-06 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备和计算机存储介质
CN111985613A (zh) * 2020-07-22 2020-11-24 东南大学 基于l1范数组归一化的卷积神经网络电路的归一化方法
CN112926646A (zh) * 2021-02-22 2021-06-08 上海壁仞智能科技有限公司 数据批量标准化方法、计算设备和计算机可读存储介质
US20210203900A1 (en) * 2020-04-17 2021-07-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
WO2022040963A1 (en) * 2020-08-26 2022-03-03 Intel Corporation Methods and apparatus to dynamically normalize data in neural networks
WO2022051908A1 (en) * 2020-09-08 2022-03-17 Huawei Technologies Co., Ltd. Normalization in deep convolutional neural networks
CN115936094A (zh) * 2022-12-27 2023-04-07 北京百度网讯科技有限公司 文本处理模型的训练方法、装置、电子设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096933B (zh) * 2018-01-30 2023-07-18 华为技术有限公司 目标检测的方法、装置及系统
US20190279042A1 (en) * 2018-03-06 2019-09-12 Tazi Al Systems, Inc. Human understandable online machine learning system
CN113191446B (zh) * 2021-05-17 2022-04-08 电子科技大学 一种基于深度归一化网络的多旋翼无人机目标识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203624A (zh) * 2016-06-23 2016-12-07 上海交通大学 基于深度神经网络的矢量量化系统及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3483795B1 (en) 2015-01-28 2021-03-10 Google LLC Batch normalization layers
EP3582151A1 (en) * 2015-08-15 2019-12-18 Salesforce.com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
US9836853B1 (en) * 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
EP3552112A1 (en) * 2016-12-09 2019-10-16 Beijing Horizon Information Technology Co., Ltd. Systems and methods for data management
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
US10867255B2 (en) * 2017-03-03 2020-12-15 Hong Kong Applied Science and Technology Research Institute Company Limited Efficient annotation of large sample group
CN107169956B (zh) * 2017-04-28 2020-02-14 西安工程大学 基于卷积神经网络的色织物疵点检测方法
CN107798356A (zh) * 2017-11-24 2018-03-13 郑州大学西亚斯国际学院 基于深度卷积神经网络的作物叶片病害识别方法
CN108921283A (zh) * 2018-06-13 2018-11-30 深圳市商汤科技有限公司 深度神经网络的归一化方法和装置、设备、存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203624A (zh) * 2016-06-23 2016-12-07 上海交通大学 基于深度神经网络的矢量量化系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CLING-L: "神经网络的归一化", 《CSDN博客HTTPS://BLOG.CSDN.NET/LINGDEXIXIXI/ARTICLE/DETAILS/79691255》 *
YUXIN WU等: "Group Normalization", 《ARXIV,ARXIV.ORG/1803.08494》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019238072A1 (zh) * 2018-06-13 2019-12-19 深圳市商汤科技有限公司 深度神经网络的归一化方法和装置、设备、存储介质
WO2020155712A1 (zh) * 2019-01-29 2020-08-06 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备和计算机存储介质
JP7076648B2 (ja) 2019-01-29 2022-05-27 深▲セン▼市商▲湯▼科技有限公司 画像処理方法及び装置、コンピュータ機器並びにコンピュータ記憶媒体
JP2022500798A (ja) * 2019-01-29 2022-01-04 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. 画像処理方法及び装置、コンピュータ機器並びにコンピュータ記憶媒体
CN109886392A (zh) * 2019-02-25 2019-06-14 深圳市商汤科技有限公司 数据处理方法和装置、电子设备和存储介质
WO2020172979A1 (zh) * 2019-02-25 2020-09-03 深圳市商汤科技有限公司 数据处理方法和装置、电子设备和存储介质
CN109886392B (zh) * 2019-02-25 2021-04-27 深圳市商汤科技有限公司 数据处理方法和装置、电子设备和存储介质
JP2022516452A (ja) * 2019-02-25 2022-02-28 シェンチェン センスタイム テクノロジー カンパニー リミテッド データ処理方法および装置、電子機器ならびに記憶媒体
CN110753264A (zh) * 2019-10-23 2020-02-04 支付宝(杭州)信息技术有限公司 视频生成方法、装置及设备
CN110753264B (zh) * 2019-10-23 2022-06-07 支付宝(杭州)信息技术有限公司 视频生成方法、装置及设备
WO2021169160A1 (zh) * 2020-02-27 2021-09-02 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质
TWI751668B (zh) * 2020-02-27 2022-01-01 大陸商深圳市商湯科技有限公司 影像歸一化處理方法、電腦可讀取記錄媒體和電子設備
CN111325222A (zh) * 2020-02-27 2020-06-23 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质
US20210203900A1 (en) * 2020-04-17 2021-07-01 Beijing Baidu Netcom Science And Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
US11930307B2 (en) * 2020-04-17 2024-03-12 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
CN111985613A (zh) * 2020-07-22 2020-11-24 东南大学 基于l1范数组归一化的卷积神经网络电路的归一化方法
WO2022040963A1 (en) * 2020-08-26 2022-03-03 Intel Corporation Methods and apparatus to dynamically normalize data in neural networks
WO2022051908A1 (en) * 2020-09-08 2022-03-17 Huawei Technologies Co., Ltd. Normalization in deep convolutional neural networks
CN112926646A (zh) * 2021-02-22 2021-06-08 上海壁仞智能科技有限公司 数据批量标准化方法、计算设备和计算机可读存储介质
CN112926646B (zh) * 2021-02-22 2023-07-04 上海壁仞智能科技有限公司 数据批量标准化方法、计算设备和计算机可读存储介质
CN115936094A (zh) * 2022-12-27 2023-04-07 北京百度网讯科技有限公司 文本处理模型的训练方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2019238072A1 (zh) 2019-12-19
JP2020537204A (ja) 2020-12-17
KR20210018180A (ko) 2021-02-17
US20200257979A1 (en) 2020-08-13
JP7009614B2 (ja) 2022-01-25

Similar Documents

Publication Publication Date Title
CN108921283A (zh) 深度神经网络的归一化方法和装置、设备、存储介质
CN108460338A (zh) 人体姿态估计方法和装置、电子设备、存储介质、程序
CN108229479A (zh) 语义分割模型的训练方法和装置、电子设备、存储介质
CN110020592A (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN108427927A (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN109325972A (zh) 激光雷达稀疏深度图的处理方法、装置、设备及介质
CN108229355A (zh) 行为识别方法和装置、电子设备、计算机存储介质、程序
CN110046537A (zh) 使用递归神经网络进行动态面部分析的系统和方法
CN106599789A (zh) 视频类别识别方法和装置、数据处理装置和电子设备
CN108229489A (zh) 关键点预测、网络训练、图像处理方法、装置及电子设备
CN106548192B (zh) 基于神经网络的图像处理方法、装置和电子设备
CN108681695A (zh) 视频动作识别方法及装置、电子设备和存储介质
CN108830221A (zh) 图像的目标对象分割及训练方法和装置、设备、介质、产品
CN106682569A (zh) 一种基于卷积神经网络的快速交通标识牌识别方法
CN107463865A (zh) 人脸检测模型训练方法、人脸检测方法及装置
CN108280451A (zh) 语义分割及网络训练方法和装置、设备、介质、程序
CN108280455A (zh) 人体关键点检测方法和装置、电子设备、程序和介质
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN108549835A (zh) 人群计数及其模型构建的方法、终端设备及存储介质
CN109598249A (zh) 服饰检测方法和装置、电子设备、存储介质
CN108985190A (zh) 目标识别方法和装置、电子设备、存储介质、程序产品
CN109993221A (zh) 一种图像分类方法及装置
CN108491872A (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN113159300A (zh) 图像检测神经网络模型及其训练方法、图像检测方法
CN113743417A (zh) 语义分割方法和语义分割装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130