JP2020537204A - ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体 - Google Patents

ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体 Download PDF

Info

Publication number
JP2020537204A
JP2020537204A JP2020510104A JP2020510104A JP2020537204A JP 2020537204 A JP2020537204 A JP 2020537204A JP 2020510104 A JP2020510104 A JP 2020510104A JP 2020510104 A JP2020510104 A JP 2020510104A JP 2020537204 A JP2020537204 A JP 2020537204A
Authority
JP
Japan
Prior art keywords
dimension
sample
feature map
variance
mean value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020510104A
Other languages
English (en)
Other versions
JP7009614B2 (ja
Inventor
ルオ，ピン
ウー，リンユン
レン，ジアミン
ペン，チャンリン
チャン，ルイマオ
ワン，シンジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2020537204A publication Critical patent/JP2020537204A/ja
Application granted granted Critical
Publication of JP7009614B2 publication Critical patent/JP7009614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Databases & Information Systems (AREA)

Abstract

本開示の実施例はディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体を開示する。前記方法は、少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力することと、前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることと、前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することと、を含む。本開示の上記実施例によければ、少なくとも一つの次元に沿って正規化することで、正規化動作による各次元の統計情報を包含し、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を有することが保証される。【選択図】図１

Description

本開示は２０１８年６月１３日に中国特許局に提出された、出願番号２０１８１０６０９６０１．０、出願の名称「ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。
本開示はコンピュータビジョン技術に関し、特にディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体に関する。
ニューラルネットワークの訓練過程では、一般に、入力されたサンプル特徴を正規化処理して、データを平均値が０、標準偏差が１の分布または範囲が０〜１の分布にする。データを正規化しないと、サンプル特徴の分布が散らばるため、ニューラルネットワークの学習速度の低下、学習困難までが引き起こされ得る。
本開示の実施例はディープニューラルネットワークにおける正規化技術を提供する。
本開示の実施例の一方面によれば、
少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力することと、
前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応することと、
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することと、を含むディープニューラルネットワークの正規化方法が提供される。
任意選択的に、前記次元は、
空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含む。
任意選択的に、ニューラルネットワーク層が出力した特徴マップセットを、少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることは、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ること、および／または、
前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ること、および／または、
前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ること、を含む。
任意選択的に、前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得ることと、
前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得ることと、を含む。
任意選択的に、前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得ることと、
前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得ることと、を含む。
任意選択的に、前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることは、
前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることと、
前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることと、
前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることと、を含む。
任意選択的に、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることは、
前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得ることと、
前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得ることと、を含む。
任意選択的に、前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることは、
前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得ることと、
前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得ることと、を含む。
任意選択的に、前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得ることと、
前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得ることと、を含む。
任意選択的に、前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することは、
前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得ることと、
前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することと、を含む。
任意選択的に、前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することは、
前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得ることを含む。
任意選択的に、前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定することをさらに含む。
任意選択的に、前記入力データはマーク情報を有するサンプルデータであり、
前記方法は、少なくとも一つのサンプルデータを含む前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することをさらに含む。
任意選択的に、前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することは、
前記サンプルデータセットをディープニューラルネットワークに入力し、前記ネットワーク層によって少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力することと、
前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることと、
前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することと、
前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定することと、
前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整することと、を含む。
任意選択的に、前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含む。
任意選択的に、前記重み値は、
空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含む。
任意選択的に、前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ること、および／または、
前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ること、および／または、
前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ること、を含む。
任意選択的に、前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得ることと、
前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得ることと、を含む。
任意選択的に、前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得ることと、を含む。
任意選択的に、前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることと、
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることと、
前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることと、を含む。
任意選択的に、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることは、
前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得ることと、
前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得ることと、を含む。
任意選択的に、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得ることと、
前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得ることと、を含む。
任意選択的に、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得ることと、を含む。
任意選択的に、前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することは、
前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることと、
前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得ることと、を含む。
本開示の実施例の別の一方面によれば、
少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力するための入力ユニットと、
前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応する次元正規化ユニットと、
前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定するためのバッチ正規化ユニットと、を含むディープニューラルネットワークの正規化装置が提供される。
任意選択的に、前記次元は、
空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含む。
任意選択的に、前記次元正規化ユニットは、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得るために、および／または、
前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得るために、および／または、
前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得る場合、具体的に、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得て、前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、具体的に、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得て、前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得るために用いられる。
任意選択的に、前記次元正規化ユニットは、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得る場合、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得て、前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得る場合、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得て、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得て、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得るために用いられる。
任意選択的に、前記バッチ正規化ユニットは前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する場合、前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得て、前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定するために用いられる。
任意選択的に、前記バッチ正規化ユニットは前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定する場合、前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得るために用いられる。
任意選択的に、前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定するための結果特定ユニットをさらに含む。
任意選択的に、前記入力データはマーク情報を有するサンプルデータであり、
前記装置は少なくとも一つのサンプルデータを含む前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練するための訓練ユニットをさらに含む。
任意選択的に、前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記入力ユニットはさらに、前記サンプルデータセットをディープニューラルネットワークに入力し、前記ネットワーク層によって少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力するために用いられ、
前記次元正規化ユニットはさらに、前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得るために用いられ、
前記バッチ正規化ユニットはさらに、前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定するために用いられ、
前記結果特定ユニットはさらに、前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定するために用いられ、
前記訓練ユニットは、前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整するために用いられる。
任意選択的に、前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含む。
任意選択的に、前記重み値は、
空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含む。
任意選択的に、前記次元正規化ユニットは具体的に、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得るために、および／または、
前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得るために、および／または、
前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得るために用いられる。
任意選択的に、前記次元正規化ユニットは、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得て、前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得るために用いられる。
任意選択的に、前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得るために用いられる。
任意選択的に、前記バッチ正規化ユニットは、前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得て、前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得るために用いられる。
本開示の実施例の別の方面によれば、上記いずれか一項に記載のディープニューラルネットワークの正規化装置を含むプロセッサを備える電子機器が提供される。
本開示の実施例のさらなる別の方面によれば、実行可能命令を記憶するためのメモリ、および、
前記メモリと通信して前記実行可能命令を実行することで上記いずれか一項に記載のディープニューラルネットワークの正規化方法の動作を行うためのプロセッサを含む電子機器が提供される。
本開示の実施例のさらなる別の方面によれば、コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能記憶媒体であって、前記命令は実行される時に上記いずれか一項に記載のディープニューラルネットワークの正規化方法の動作を実行するコンピュータ読み取り可能記憶媒体が提供される。
本開示の実施例のさらなる別の方面によれば、コンピュータ読み取り可能コードを含むコンピュータプログラム製品であって、前記コンピュータ読み取り可能コードが機器において運用される時、前記機器内のプロセッサは上記いずれか一項に記載のディープニューラルネットワークの正規化方法を実現するための命令を実行するコンピュータプログラム製品が提供される。
本開示の上記実施例において提供するディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体によければ、入力データセットをディープニューラルネットワークに入力し、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する。このように、少なくとも一つの次元に沿って正規化することで、正規化動作による各次元の統計情報を包含し、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を有することが保証される。
以下に図面および実施例により、本開示の技術的解決手段をさらに詳細に説明する。
明細書の一部となる図面は本開示の実施例を説明するものであって、かつその説明と共に本開示の原理を解釈するためのものである。
本開示は、図面を伴う以下の詳細な説明によって、より明確に理解されることができる。
本開示のディープニューラルネットワークの正規化方法の一つの実施例のフローチャートである。 本開示の実施例のディープニューラルネットワークの正規化方法の一例の例示図である。 本開示のディープニューラルネットワークの正規化方法におけるディープニューラルネットワークの一例の構成模式図である。 本開示のディープニューラルネットワークの正規化装置の一つの実施例の構成模式図である。 本開示の実施例の端末機器またはサーバの実現に適する電子機器の構成模式図である。
ここで、図面を参照しながら本開示の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例において記述した部材およびステップの相対的な配置、数式および数値は本開示の範囲を限定するものではないことに注意すべきである。
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
以下の少なくとも一つの例示的な実施例に対する説明は、実質的に説明するためのものに過ぎず、本開示およびその適用または使用を何ら限定するものではない。
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部としての援用と見なすべきである。
なお、以下の図面において、類似する符号および英文字は類似項目を表し、ある項目がある図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
図１は本開示のディープニューラルネットワークの正規化方法の一つの実施例のフローチャートである。図１に示すように、該実施例の方法は以下のステップを含む。
ステップ１１０において、入力データセットをディープニューラルネットワークに入力する。
ここで、入力データセットは少なくとも一つの入力データを含み、該ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）または長期短期記憶ネットワーク（ＬＳＴＭ）、または画像分類（ＩｍａｇｅＮｅｔ）、目標検出および分割（ＣＯＣＯ）、映像認識（Ｋｉｎｅｔｉｃｓ）、画像スタイル化および筆跡生成などを含む様々なビジョンタスクを実現するニューラルネットワークを含むことができるが、これらに限定されない。
ステップ１２０において、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得る。
ここで、特徴マップセットは、少なくとも一つの特徴マップを含み、かつ少なくとも一つのチャネルに対応し、各チャネルは、それぞれ少なくとも一つの特徴マップに対応する。例えば、ネットワーク層が畳み込み層である場合、生成される特徴マップセットが対応するチャネル数は畳み込みカーネルの数と同じであるようになり、畳み込み層が二つの畳み込みカーネルを有すれば、二つのチャネルに対応する特徴マップセットが生成される。任意選択的に、次元は、空間次元、チャネル次元、及びバッチ座標次元の少なくとも一つを含むことができるが、これらに限定されない。
ステップ１３０において、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する。
本開示の上記実施例が提供するディープニューラルネットワークの正規化方法によければ、入力データセットをディープニューラルネットワークに入力し、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する。このように、少なくとも一つの次元に沿って正規化することで、正規化動作による各次元の統計情報を包含し、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を有することが保証される。
任意選択的な一つ以上の実施例では、ステップ１２０は、
特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ること、および／または、
特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ること、および／または、
特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ること、を含んでもよい。
本実施例では、特徴マップの異なる軸線（バッチ座標軸、チャネル軸、空間軸）に沿って三つの次元の統計量を含んで算術平均を計算し、それによって正規化動作の統計計算の次元をより多様にし、バッチサイズに過度に敏感でないようにすると共にバッチ統計に対するロバスト性を維持させる。一方、異なる次元の統計量の重み付け係数を学習し、単一の正規化層については次元毎に統計量の重みを自主的に選択してよく、手動設計を必要とせずに組み合わせによって性能が最も高い正規化動作方式を見出す。
各次元の平均値μkおよび分散σkの計算方法は式（１）に示す。
（式１）
・・・式（１）
ここで、μkは平均値を表し、σk 2は分散を表し、hncijは任意の４次元（Ｎ，Ｈ，Ｗ，Ｃ）の特徴マップであり、正規化層の入力とされ、そのうち、Ｎは１バッチのデータの量を表し、ＨおよびＷはそれぞれ特徴マップの高さ値および幅値を表し、Ｃは特徴マップセットが対応するチャネル数（即ちステップ１２０におけるネットワーク層に対応するチャネル数）を表し、ｋ∈Ω、Ω＝{ＢＮ、ＩＮ、ＬＮ}、そのうち、ＢＮ、ＩＮ、ＬＮはそれぞれバッチ軸Ｎ、空間軸Ｈ×Ｗ、チャネル軸Ｃに沿って統計量を計算するバッチ正規化、インスタンス正規化、層正規化である。三つの次元の計算方法は類似するが、統計量の画素範囲は異なり、Ikは各次元の統計計算の画素範囲であり、hncijはIk内の点である。
任意選択的に、特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることは、
特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、少なくとも一つの特徴マップに基づいて空間次元の平均値を得ることと、
空間次元の平均値および少なくとも一つの特徴マップに基づき、空間次元の分散を得ることと、を含む。
空間軸に沿って変化する空間次元に対応する画素範囲はIinで表され、Iin＝{(i,j)/i∈[1,H],j∈[1×W]}、かつｉおよびｊはいずれも正整数であり、空間次元の分散および空間次元の平均値を計算するプロセスで、変化量がｉおよびｊ、即ち特徴マップの高さ値および幅値であることを表す。
任意選択的に、特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ることは、
特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および特徴マップセットが対応するチャネル数を変数とし、少なくとも一つの特徴マップに基づいてチャネル次元の平均値を得ることと、
チャネル次元の平均値および少なくとも一つの特徴マップに基づき、チャネル次元の分散を得ることと、を含む。
チャネル軸に沿って変化するチャネル次元に対応する画素範囲はIlnで表され、Iln＝{(c,i,j)/c∈[1,C],i∈[1,H],j∈[1×W]}、かつｃは正整数であり、チャネル次元の分散およびチャネル次元の平均値を計算するプロセスで、変化量がｉ、ｊおよびｃ、即ち特徴マップの高さ値および幅値、ならびにチャネル数であることを表す。
任意選択的に、特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および入力データセットに対応する入力データ数を変数とし、少なくとも一つの特徴マップに基づいてバッチ座標次元の平均値を得ることと、
バッチ座標次元の平均値および少なくとも一つの特徴マップに基づき、バッチ座標次元の分散を得ることと、を含む。
バッチ座標軸に沿って変化するバッチ座標次元に対応する画素範囲はIbnで表され、Ibn＝{(n,i,j)/n∈[1,N],i∈[1,H],j∈[1×W]}、かつｎは正整数であり、バッチ座標次元の分散およびバッチ座標次元の平均値を計算するプロセスで、変化量がｉ、ｊおよびｎ、即ち特徴マップの高さ値および幅値、ならびに入力データセットのデータ数であることを表す。
任意選択的な一つ以上の実施例では、ステップ１２０は、
特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることと、
空間次元の分散および空間次元の平均値に基づき、チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることと、
空間次元の分散および空間次元の平均値に基づき、バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることと、を含んでもよい。
式（１）のままに従って平均値μkおよび分散σkを計算すると、非常に膨大で余計な計算量が発生してしまう。三つの次元の統計量は互いに依存する関係が存在するため、本実施例において次元の関係によって、まず空間次元の分散および空間次元の平均値を計算し、さらに空間次元の分散および空間次元の平均値に基づいてチャネル次元およびバッチ座標次元での平均値および分散を計算するように統計量を計算することにより、余計な計算量を低減する。
任意選択的に、特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることは、
特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、少なくとも一つの特徴マップに基づいて空間次元の平均値を得ることと、
空間次元の平均値および少なくとも一つの特徴マップに基づき、空間次元の分散を得ることと、を含む。
空間次元の分散および空間次元の平均値の計算は上記他の実施例と同様に、特徴マップの高さ値および幅値を変数とし、式（１）に代入して式（２）を得る。
（式２）
・・・式（２）
ここで、μinは空間次元の平均値を表し、
（数１）
は空間次元の分散を表す。
式（２）によって空間次元の分散および空間次元の平均値を計算して得る。
任意選択的に、空間次元の分散および空間次元の平均値に基づき、チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることは、
特徴マップセットに対応するチャネル数を変数とし、空間次元の平均値に基づいてチャネル次元の平均値を得ることと、
特徴マップセットに対応するチャネル数を変数とし、空間次元の平均値、空間次元の分散およびチャネル次元の平均値に基づいてチャネル次元の分散を得ることと、を含む。
空間次元の分散および空間次元の平均値が既知の場合、式（３）に基づいてチャネル次元の分散およびチャネル次元の平均値を計算することができる。
（式３）
・・・式（３）
ここで、μlnはチャネル次元の平均値を表し、
（数２）
はチャネル次元の分散を表す。
式（３）中、変数はチャネル数のみであり、計算量が低減され、処理速度が向上する。
任意選択的に、空間次元の分散および空間次元の平均値に基づき、バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
入力データセットに対応する入力データ数を変数とし、空間次元の平均値に基づいてバッチ座標次元の平均値を得ることと、
入力データセットに対応する入力データ数を変数とし、空間次元の平均値、空間次元の分散およびバッチ座標次元の平均値に基づいてバッチ座標次元の分散を得ることと、を含む。
空間次元の分散および空間次元の平均値が既知の場合、式（４）に基づいてバッチ座標次元の分散およびバッチ座標次元の平均値を計算することができる。
（式４）
・・・式（４）
ここで、μbnはバッチ座標次元の平均値を表し、
（数３）
はバッチ座標次元の分散を表す。
式（４）中、変数は入力データセットに対応する入力データ数のみであり、計算量が低減され、処理速度が向上する。
空間次元の分散および空間次元の平均値を得てから、まずチャネル次元の分散およびチャネル次元の平均値を計算してもよいし、またはまずバッチ座標次元の分散およびバッチ座標次元の平均値を計算してもよく、前後の順序を限定しなくてもよい。
任意選択的な一つ以上の実施例では、ステップ１３０は、
少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得ることと、
正規化分散および正規化平均値に基づいて目標特徴マップセットを特定することと、を含んでもよい。
本実施例では、正規化分散および正規化平均値によって特徴マップセットを処理し、目標特徴マップセットを得ることができる。任意選択的に、特徴マップセット内の各特徴マップと正規化平均値との差を計算し、差を正規化分散で除算することにより、目標特徴マップを得て、ひいては目標特徴セットを得る。
任意選択的に、正規化分散および正規化平均値に基づいて目標特徴マップセットを特定することは、
正規化分散、正規化平均値、スケールパラメータおよびシフトパラメータに基づいて特徴マップセットを処理し、目標特徴マップセットを得ることを含む。
本実施例では、自己適応正規化式は、式（５）に示されたとおりである。
（式５）
・・・式（５）
任意の４次元（Ｎ，Ｈ，Ｗ，Ｃ）の特徴マップhncijを入力とし、その各画素点に対する自己適応正規化を行い、同じ次元の特徴マップ
（数４）
を出力する。ここで、n∈[1, N]、Ｎは一つの小バッチのサンプル数を表し、c∈[1, C]、Ｃは特徴マップのチャネル数であり、i∈[1, H]かつj∈[1, W]、ＨおよびＷはそれぞれ各チャネル空間次元での高さ値および幅値である。自己適応正規化方法による計算は式（５）を参照すればよい。γおよびβはそれぞれ一般的なズームおよびシフトパラメータであり、εは数値の不安定を予防するための非常に小さい定数である。各画素点について、正規化の平均値μ=Σk∈Ωωkμkであり、分散σ=Σk∈Ωωkσk 2であり、ωkは異なる次元の平均値および分散に対応する次元重み値を表す。平均値および分散の演算は３つの次元（空間次元、チャネル次元およびバッチ座標次元）の平均値および分散によって決定され、即ちΩ＝{ＢＮ、ＩＮ、ＬＮ}であり、ここで、ＢＮ、ＩＮ、ＬＮはそれぞれバッチ軸Ｎ、空間軸Ｈ×Ｗ、チャネル軸Ｃに沿って統計量を計算するバッチ正規化、インスタンス正規化、層正規化であり、図２に示されたとおりである。図２は本開示の実施例のディープニューラルネットワークの正規化方法の一例の例示図である。
任意選択的な一つ以上の実施例では、さらに、
目標特徴マップセットに基づいて入力データセットが少なくとも一つのデータ結果に対応することを特定することを含んでもよい。
正規化動作はネットワーク層が出力した特徴マップに基づいて行われるため、ディープニューラルネットワークが得た特徴マップセットを正規化してから、処理し続ければ、データ結果を得る。異なるタスクによるディープニューラルネットワークについて、異なるデータ結果（例えば、分類結果、分割結果、認識結果など）を出力することができる。
任意選択的な一つ以上の実施例では、入力データはマーク情報を有するサンプルデータであり、
本開示の実施例の方法はさらに、
サンプルデータセットに基づいてディープニューラルネットワークを訓練することを含んでもよい。
ここで、サンプルデータセットは少なくとも一つのサンプルデータを含み、少なくとも一つの次元で正規化が行われる。より高い正規化効果の特徴マップを得るために、ディープニューラルネットワークの正規化層におけるパラメータを訓練する必要がある。ディープニューラルネットワークに正規化層を追加して訓練することで、訓練をより高速に収束させ、より高い訓練効果を達成することができる。
任意選択的に、ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含む。
本開示の実施例はネットワークの各正規化層に対して各々の正規化動作方式を選択する。本開示の実施例が提供する正規化方法を全ディープニューラルネットワークの全ての正規化層に用いることにより、ネットワークの各正規化層を、学習によって各々の特徴表現に役立つ正規化統計量をより敏感に選択可能にすることができ、ネットワークの異なる深さで視覚表現が異なるので異なる正規化動作方式を選択することが確認される。
サンプルデータセットに基づいてディープニューラルネットワークを訓練することは、
サンプルデータセットをディープニューラルネットワークに入力し、ネットワーク層によって少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力することと、
正規化層によってサンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることと、
サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することと、
予測特徴マップセットに基づいてサンプルデータに対応する予測結果を特定することと、
予測結果およびマーク情報に基づき、少なくとも一つのネットワーク層のパラメータおよび少なくとも一つの正規化層のパラメータを調整することと、を含む。
任意選択的に、正規化層はネットワーク層の後に設置され、図３は本開示のディープニューラルネットワークの正規化方法におけるディープニューラルネットワークの一例の構成模式図である。図３に示すように、小バッチのサンプルデータを入力とし、多層のニューラルネットワークによって、該バッチのサンプルデータの予測結果を出力する。正規化層を各ニューラルネットワーク層の後に追加し、特徴マップの自己適応正規化を層毎に行い、それによってネットワークの訓練の収束速度を向上させ、モデル精度を向上させる。
任意選択的に、正規化方法を種々のディープニューラルネットワークモデル（ＲｅｓＮｅｔ５０、ＶＧＧ１６、ＬＳＴＭ）に組み込み、様々なビジョンタスク（画像分類、目標検出および分割、画像スタイル化、筆跡生成）に用いてもよい。従来の正規化方法に比べ、本開示の実施例が提供する正規化方法はより高い汎用性を有し、異なるビジョンタスクにおいてより有効な結果を得ることができる。
任意選択的に、正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含むことができるが、これらに限定されない。
任意選択的に、重み値は、空間次元重み値、チャネル次元重み値、及びバッチ座標次元重み値の少なくとも一つを含む。
そのうち、次元に対応する重み値は、各次元をそれぞれ一つの重み値に対応させ、三つの次元の統計量のそれぞれに対して三つの重み付け係数を有させるようにしてもよいし、平均値および分散ごとに異なる六つの係数を有させるように拡張してもよい。一方、前に説明した自己適応正規化方法は全てのチャネルにおいて重み付け係数を共有するが、チャネルをグループ分けし、各グループ内でチャネルに係数を共有させるようにしてもよく、各チャネルにサブセットの重み付け係数を学習させるようにしてもよい。要するに、自己適応正規化方法は拡張可能であり、異なる次元の統計量を異なる重み付けで組み合わせることによって、従来の任意の手動設計による正規化方法を代替することができる。
任意選択的に、正規化層によってサンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ること、および／または、
サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ること、および／または、
サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ること、を含む。
本実施例はサンプルの特徴マップセットを少なくとも一つの次元で正規化し、従来のバッチ正規化方法においてバッチ次元で統計量を計算するためバッチサイズまたは他の次元に過度に依存するという問題を克服し、同時に従来のバッチ正規化方法はモデルやタスクによって効果が制限されるという問題を克服することができる。本実施例は少なくとも一つの空間座標軸に沿って三つの次元の統計量の算術平均を計算することにより、正規化動作による各次元の統計情報を包含し、従来技術に比べてバッチサイズに過度に依存しないと共に各次元での統計に対する高いロバスト性を有する。
任意選択的に、サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることは、
サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルの空間次元の平均値を得ることと、
サンプルの空間次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルの空間次元の分散を得ることと、を含む。
任意選択的に、サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値およびサンプルの特徴マップセットが対応するチャネル数を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルのチャネル次元の平均値を得ることと、
サンプルのチャネル次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルのチャネル次元の分散を得ることと、を含む。
任意選択的に、サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値およびサンプルデータセットに対応するサンプルデータ数を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルのバッチ座標次元の平均値を得ることと、
サンプルのバッチ座標次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルのバッチ座標次元の分散を得ることと、を含む。
本実施例では、空間次元、チャネル次元およびバッチ座標次元の分散および平均値は計算方法が予測プロセスと同様に、上記式（１）に基づいて計算して得ることができ、異なる次元の平均値および分散を計算し、計算して得られた平均値および分散に基づいて重み付け平均し、サンプルの特徴マップセットに対応する平均値および分散を得て、それを式（５）に代入して予測特徴マップセットを得ることができる。任意選択的に、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することは、サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることと、サンプル正規化分散、サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいてサンプルの特徴マップセットを処理し、予測特徴マップセットを得ることと、を含む。
任意選択的な一つ以上の実施例では、前記正規化層によってサンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることと、
任意選択的に、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルの空間次元の平均値を得ることと、
サンプルの空間次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルの空間次元の分散を得ることと、を含む。
サンプルの空間次元の分散およびサンプルの空間次元の平均値に基づき、チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得て、
任意選択的に、サンプルの特徴マップセットに対応するチャネル数を変数とし、サンプルの空間次元の平均値に基づいてサンプルのチャネル次元の平均値を得て、
サンプルの特徴マップセットに対応するチャネル数を変数とし、サンプルの空間次元の平均値、サンプルの空間次元の分散およびサンプルのチャネル次元の平均値に基づいてサンプルのチャネル次元の分散を得る。
サンプルの空間次元の分散およびサンプルの空間次元の平均値に基づいて、バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る。
任意選択的に、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得て、
前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得る。
式（１）のままに従って平均値μkおよび分散σkを計算すると、非常に膨大で余計な計算量を発生してしまう。三つの次元の統計量は互いに依存する関係が存在するため、本実施例は次元の関係によって、まず空間次元の分散および空間次元の平均値を計算し、さらに空間次元の分散および空間次元の平均値に基づいてチャネル次元およびバッチ座標次元での平均値および分散を計算するように統計量を計算することにより、余計な計算量を低減する。
任意選択的な一つ以上の実施例では、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することは、
サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることと、
サンプル正規化分散、サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいてサンプルの特徴マップセットを処理し、予測特徴マップセットを得ることと、を含む。
任意選択的に、重み付け平均の重み値、スケールパラメータおよびシフトパラメータはいずれも本開示の実施例における正規化層の調整に必要なパラメータであり、訓練によって異なる次元の統計量の重み付け係数を学習し、単一の正規化層については各次元の統計量の重みを自主的に選択してもよく、手動設計を必要とせずに組み合わせによって性能が最も高い正規化動作方式を見出す。
任意選択的に、サンプルの少なくとも一つの次元の分散は、サンプルの空間次元の分散、サンプルのチャネル次元の分散およびサンプルのバッチ座標次元の分散を含み、
サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得ることは、
サンプルの空間次元の分散と空間次元重み値との積、サンプルのチャネル次元の分散とチャネル次元重み値との積、およびサンプルのバッチ座標次元の分散とバッチ座標次元重み値との積を加算し、求めた和に基づいてサンプル正規化分散を得ることを含む。
任意選択的に、サンプルの少なくとも一つの次元の平均値は、サンプルの空間次元の平均値、サンプルのチャネル次元の平均値およびサンプルのバッチ座標次元の平均値を含み、
サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることは、
サンプルの空間次元の平均値と空間次元重み値との積、サンプルのチャネル次元の平均値とチャネル次元重み値との積、およびサンプルのバッチ座標次元の平均値とバッチ座標次元重み値との積を加算し、求めた和に基づいてサンプル正規化平均値を得ることを含む。
任意選択的に、各次元の統計量（平均値および分散）の次元重み値は式（６）によって計算して得てもよい。
（式６）
・・・式（６）
ここで、ωkは異なる次元の平均値および分散に対応する次元重み値を表し、λkは三つの次元の統計量に対応するネットワークパラメータであり、該パラメータは逆伝搬時に最適化学習を行い、λkを最適化することで次元重み値ωkの最適化を実現し、
（数５）
はzの値がbn、inおよびlnの場合の、対応するeλzの和を計算することを表す。Ｓｏｆｔｍａｘ関数により最適化パラメータを正規化し、統計量の最終的な重み付け係数（次元重み値）を計算することができる。また、全ての重み付け係数ωkの和は１であり、各重み付け係数ωkの値は０から１の範囲にある。
本実施例では、各次元の統計量のデータ平均値を計算することで、サンプル正規化平均値およびサンプル正規化分散を得る。任意選択的に、次元に対応する重み値は、各次元をそれぞれ一つの重み値に対応させ、三つの次元の統計量のそれぞれに対して三つの重み付け係数を有させるようにしてもよいし、各平均値および分散ごとに六つの異なる係数を有させるように拡張してもよい。一方、前に説明した自己適応正規化方法は全てのチャネルにおいて重み付け係数を共有するが、チャネルをグループ分けし、各グループ内でチャネルに係数を共有させるようにしてもよく、各チャネルにサブセットの重み付け係数を学習させるようにしてもよい。要するに、自己適応正規化方法は拡張可能であり、異なる次元の統計量を異なる重み付けで組み合わせることによって、従来の任意の手動設計による正規化方法を代替することができる。
自己適応正規化方法はニューラルネットワークが複数の次元を視覚的に表現する統計量情報を計算することができ、異なる重み付け係数での組み合わせによって、従来の任意の綿密な手動設計による正規化方法を代替することができる。一方、自己適応正規化方法は異なる次元の統計量について異なる重み付け係数を学習し、それにより多数の実現しやすい正規化技術を得ることができる。
本開示の実施例が提供する正規化方法は、ネットワークモデルにおける正規化方式の自己適応選択を実現し、モデルの高速収束を促進し、製品モデルの効果を改善する。さらに汎用性が高いという利点を有し、様々な異なるネットワークモデルおよびビジョンタスクに適することができ、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）または長期短期記憶ネットワーク（ＬＳＴＭ）に簡単かつ効果的に用いることができ、画像分類（ＩｍａｇｅＮｅｔ）、目標検出および分割（ＣＯＣＯ）、映像認識（Ｋｉｎｅｔｉｃｓ）、画像スタイル化および筆跡生成などを含む様々なビジョンタスクにおいて優れた効果を達成でき、後続で敵対的生成ネットワーク（ＧＡＮ）での高解像度画像の合成に用いられる。
本開示の実施例が提供する正規化方法はネットワーク訓練を最適化するのに正規化層による補助が必要なあらゆる製品モデル、および画像認識、目標検出、目標分割、画像スタイル化などの技術が必要なあらゆる応用シーンに用いることができる。
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出して完了させることができることを理解すべきであり、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時、上記方法の実施例のステップを実行する。
図４は本開示のディープニューラルネットワークの正規化装置の一つの実施例の構成模式図である。該実施例の装置は本開示の上記各方法の実施例を実現するために用いることができる。図４に示すように、該実施例の装置は入力ユニット４１、次元正規化ユニット４２およびバッチ正規化ユニット４３を含む。
入力ユニット４１は、入力データセットをディープニューラルネットワークに入力するために用いられる。
ここで、入力データセットは少なくとも一つの入力データを含み、該ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）または長期短期記憶ネットワーク（ＬＳＴＭ）、または画像分類（ＩｍａｇｅＮｅｔ）、目標検出および分割（ＣＯＣＯ）、映像認識（Ｋｉｎｅｔｉｃｓ）、画像スタイル化および筆跡生成などを含む様々なビジョンタスクを実現するニューラルネットワークを含むことができるが、これらに限定されない。
次元正規化ユニット４２は、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得るために用いられる。
特徴マップセットは少なくとも一つの特徴マップを含み、かつ少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの特徴マップに対応する。任意選択的に、次元は、空間次元、チャネル次元、及びバッチ座標次元の少なくとも一つを含むことができるが、これらに限定されない。
バッチ正規化ユニット４３は、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定するために用いられる。
本開示の上記実施例が提供するディープニューラルネットワークの正規化装置によければ、入力データセットをディープニューラルネットワークに入力し、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する。このように、少なくとも一つの次元に沿って正規化することで、正規化動作による各次元の統計情報を包含し、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を有することが保証される。
任意選択的な一つ以上の実施例では、次元正規化ユニット４２は、特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得るために、および／または、
特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得るために、および／または、
特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられる。
本実施例では、特徴マップの異なる軸線（バッチ座標軸、チャネル軸、空間軸）に沿って三つの次元の統計量を含んで算術平均を計算し、それによって正規化動作の統計計算の次元をより多様にし、バッチサイズに過度に敏感でないようにすると共にバッチ統計に対するロバスト性を維持させる。一方、異なる次元の統計量の重み付け係数を学習し、単一の正規化層については各次元の統計量の重みを自主的に選択してもよく、手動設計を必要とせずに組み合わせによって性能が最も高い正規化動作方式を見出す。各次元の平均値μkおよび分散σkは上記式（１）によって計算して得ることができる。
任意選択的に、次元正規化ユニット４２は特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得る場合、特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、少なくとも一つの特徴マップに基づいて空間次元の平均値を得て、空間次元の平均値および少なくとも一つの特徴マップに基づき、空間次元の分散を得るために用いられる。
任意選択的に、次元正規化ユニット４２は特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得る場合、具体的に、特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および特徴マップセットに対応するチャネル数を変数とし、少なくとも一つの特徴マップに基づいてチャネル次元の平均値を得て、チャネル次元の平均値および少なくとも一つの特徴マップに基づき、チャネル次元の分散を得るために用いられる。
任意選択的に、次元正規化ユニット４２は特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、具体的に、特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および入力データセットに対応する入力データ数を変数とし、少なくとも一つの特徴マップに基づいてバッチ座標次元の平均値を得て、バッチ座標次元の平均値および少なくとも一つの特徴マップに基づき、バッチ座標次元の分散を得るために用いられる。
任意選択的な一つ以上の実施例では、次元正規化ユニット４２は、特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得て、空間次元の分散および空間次元の平均値に基づき、チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得、空間次元の分散および空間次元の平均値に基づき、バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられる。
式（１）のままに従って平均値μkおよび分散σkを計算すると、非常に膨大で余計な計算量が発生してしまう。三つの次元の統計量は互いに依存する関係が存在するため、本実施例において次元の関係に基づき、まず空間次元の分散および空間次元の平均値を計算し、さらに空間次元の分散および空間次元の平均値に基づいてチャネル次元およびバッチ座標次元での平均値および分散を計算するように統計量を計算することにより、余計な計算量を低減する。
任意選択的に、次元正規化ユニット４２は特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得る場合、特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、少なくとも一つの特徴マップに基づいて空間次元の平均値を得て、空間次元の平均値および少なくとも一つの特徴マップに基づき、空間次元の分散を得るために用いられる。
任意選択的に、次元正規化ユニット４２は空間次元の分散および空間次元の平均値に基づき、チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得る場合、特徴マップセットに対応するチャネル数を変数とし、空間次元の平均値に基づいてチャネル次元の平均値を得て、特徴マップセットに対応するチャネル数を変数とし、空間次元の平均値、空間次元の分散およびチャネル次元の平均値に基づいてチャネル次元の分散を得るために用いられる。
任意選択的に、次元正規化ユニット４２は空間次元の分散および空間次元の平均値に基づき、バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、入力データセットに対応する入力データ数を変数とし、空間次元の平均値に基づいてバッチ座標次元の平均値を得て、入力データセットに対応する入力データ数を変数とし、空間次元の平均値、空間次元の分散およびバッチ座標次元の平均値に基づいてバッチ座標次元の分散を得るために用いられる。
任意選択的な一つ以上の実施例では、バッチ正規化ユニット４３は少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する場合、少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得て、正規化分散および正規化平均値に基づいて目標特徴マップセットを特定するために用いられる。
本実施例では、正規化分散および正規化平均値のみで特徴マップセットを処理し、目標特徴マップセットを得る。任意選択的に、特徴マップセット内の少なくとも一つの特徴マップと正規化平均値との差を計算し、差を正規化分散で除算し、目標特徴マップを得て、ひいては目標特徴セットを得る。
任意選択的に、バッチ正規化ユニット４３は正規化分散および正規化平均値に基づいて目標特徴マップセットを特定する場合、正規化分散、正規化平均値、スケールパラメータおよびシフトパラメータに基づいて特徴マップセットを処理し、目標特徴マップセットを得るために用いられてもよい。
本実施例では、従来技術におけるバッチ正規化の計算式を調整し、上記式（５）に示したような自己適応正規化式を得て、式（５）に基づいて計算して目標特徴マップセットを得る。
任意選択的な一つ以上の実施例では、さらに、
目標特徴マップセットに基づいて入力データセットが少なくとも一つのデータ結果に対応することを特定するための結果特定ユニットを含んでもよい。
正規化動作はネットワーク層が出力した特徴マップに基づいて行われるため、ディープニューラルネットワークが得た特徴マップセットを正規化してから、処理し続ければ、データ結果を得る。異なるタスクによるディープニューラルネットワークについて、異なるデータ結果（例えば、分類結果、分割結果、認識結果など）を出力することができる。
任意選択的な一つ以上の実施例では、入力データはマーク情報を有するサンプルデータであり、
本開示の実施例の装置はさらに、
サンプルデータセットに基づいてディープニューラルネットワークを訓練するための訓練ユニットを含む。
サンプルデータセットは少なくとも一つのサンプルデータを含み、少なくとも一つの次元で正規化が行われる。より高い正規化効果の特徴マップを得るために、ディープニューラルネットワークの正規化層におけるパラメータを訓練する必要がある。ディープニューラルネットワークに正規化層を追加して訓練することで、訓練をより高速に収束させ、より高い訓練効果を達成することができる。
任意選択的に、ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
入力ユニット４１はさらに、サンプルデータセットをディープニューラルネットワークに入力し、ネットワーク層によって少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力するために用いられ、
次元正規化ユニット４２はさらに、正規化層によってサンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得るために用いられ、
バッチ正規化ユニット４３はさらに、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定するために用いられ、
結果特定ユニットはさらに、予測特徴マップセットに基づいてサンプルデータに対応する予測結果を特定するために用いられ、
訓練ユニットはさらに、予測結果およびマーク情報に基づき、少なくとも一つのネットワーク層のパラメータおよび少なくとも一つの正規化層のパラメータを調整するために用いられる。
任意選択的に、正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含むことができるが、これらに限定されない。
任意選択的に、重み値は、空間次元重み値、チャネル次元重み値、及びバッチ座標次元重み値の少なくとも一つを含むことができるが、これらに限定されない。
任意選択的に、次元正規化ユニット４２は、サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得るために、および／または、
サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得るために、および／または、
サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられる。
任意選択的に、次元正規化ユニット４２はサンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得る場合、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルの空間次元の平均値を得て、サンプルの空間次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルの空間次元の分散を得るために用いられる。
任意選択的に、次元正規化ユニット４２はサンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値およびサンプルの特徴マップセットに対応するチャネル数を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルのチャネル次元の平均値を得て、サンプルのチャネル次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルのチャネル次元の分散を得るために用いられる。
任意選択的に、次元正規化ユニット４２はサンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値およびサンプルデータセットに対応するサンプルデータ数を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルのバッチ座標次元の平均値を得て、サンプルのバッチ座標次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルのバッチ座標次元の分散を得るために用いられる。
任意選択的な一つ以上の実施例では、次元正規化ユニット４２は、サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得て、サンプルの空間次元の分散およびサンプルの空間次元の平均値に基づき、チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得て、サンプルの空間次元の分散およびサンプルの空間次元の平均値に基づいて、バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられる。
式（１）のままに従って平均値μkおよび分散σkを計算すると、非常に膨大で余計な計算量を発生してしまう。三つの次元の統計量は互いに依存する関係が存在するため、本実施例において次元の関係によって、まず空間次元の分散および空間次元の平均値を計算し、さらに空間次元の分散および空間次元の平均値に基づいてチャネル次元およびバッチ座標次元での平均値および分散を計算するように統計量を計算することにより、余計な計算量を低減する。
任意選択的に、次元正規化ユニット４２はサンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得る場合、サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つのサンプル特徴マップに基づいてサンプルの空間次元の平均値を得て、サンプルの空間次元の平均値および少なくとも一つのサンプル特徴マップに基づき、サンプルの空間次元の分散を得るために用いられる。
任意選択的に、次元正規化ユニット４２はサンプルの空間次元の分散およびサンプルの空間次元の平均値に基づき、チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、サンプルの特徴マップセットに対応するチャネル数を変数とし、サンプルの空間次元の平均値に基づいてサンプルのチャネル次元の平均値を得て、サンプルの特徴マップセットに対応するチャネル数を変数とし、サンプルの空間次元の平均値、サンプルの空間次元の分散およびサンプルのチャネル次元の平均値に基づいてサンプルのチャネル次元の分散を得るために用いられる。
任意選択的に、次元正規化ユニット４２はサンプルの空間次元の分散およびサンプルの空間次元の平均値に基づいて、バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、サンプルデータセットに対応するサンプルデータ数を変数とし、サンプルの空間次元の平均値に基づいてサンプルのバッチ座標次元の平均値を得て、サンプルデータセットに対応するサンプルデータ数を変数とし、サンプルの空間次元の平均値、サンプルの空間次元の分散およびサンプルのバッチ座標次元の平均値に基づいてサンプルのバッチ座標次元の分散を得るために用いられる。
任意選択的に、バッチ正規化ユニット４３は、サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得て、サンプル正規化分散、サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいてサンプルの特徴マップセットを処理し、予測特徴マップセットを得るために用いられる。
任意選択的に、サンプルの少なくとも一つの次元の分散は、サンプルの空間次元の分散、サンプルのチャネル次元の分散およびサンプルのバッチ座標次元の分散を含み、
バッチ正規化ユニット４３はサンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得る場合、サンプルの空間次元の分散と空間次元重み値との積、サンプルのチャネル次元の分散とチャネル次元重み値との積、およびサンプルのバッチ座標次元の分散とバッチ座標次元重み値との積を加算し、求めた和に基づいてサンプル正規化分散を得るために用いられる。
任意選択的に、サンプルの少なくとも一つの次元の平均値は、サンプルの空間次元の平均値、サンプルのチャネル次元の平均値およびサンプルのバッチ座標次元の平均値を含み、
バッチ正規化ユニット４３はサンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得る場合、サンプルの空間次元の平均値と空間次元重み値との積、サンプルのチャネル次元の平均値とチャネル次元重み値との積、およびサンプルのバッチ座標次元の平均値とバッチ座標次元重み値との積を加算し、求めた和に基づいてサンプル正規化平均値を得るために用いられる。
本開示の実施例の別の方面によれば、上記いずれか一項に記載のディープニューラルネットワークの正規化装置を含むプロセッサを備える電子機器が提供される。
本開示の実施例のさらなる別の方面によれば、実行可能命令を記憶するためのメモリ、および
前記メモリと通信して前記実行可能命令を実行することで上記いずれか一項に記載のディープニューラルネットワークの正規化方法の動作を行うためのプロセッサを含む電子機器が提供される。
本開示の実施例は、例えば、移動端末、パーソナルコンピュータ（ＰＣ）、タブレット、サーバなどのような電子機器をさらに提供する。本開示の実施例における端末機器またはサーバの実現に適する電子機器５００の構成を模式的に示す図５を参考されたい。図５に示すように、電子機器５００は一つ以上のプロセッサ、通信部などを含む。前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）５０１、および／または一つ以上の画像処理装置（ＧＰＵ）５１３などである。プロセッサは、読み取り専用メモリ（ＲＯＭ）５０２に記憶されている実行可能命令、または記憶部分５０８からランダムアクセスメモリ（ＲＡＭ）５０３にローディングされた実行可能命令に基づいて、様々な適当の動作および処理を実行できる。通信部５１２はネットワークカードを含んでよいが、これに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、これに限定されない。
プロセッサは、実行可能命令を実行するように読み取り専用メモリ５０２および／またはランダムアクセスメモリ５０３と通信し、バス５０４を介して通信部５１２と接続し、さらに通信部５１２によって他の目標機器と通信して、本開示の実施例が提供する方法のいずれかに対応する動作を完了してよい。例えば、入力データセットをディープニューラルネットワークに入力することと、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることと、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを得ることがある。
また、ＲＡＭ５０３には、装置の動作に必要な種々のプログラムおよびデータが記憶されてよい。ＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３はバス５０４を介して互いに接続される。ＲＡＭ５０３がある場合、ＲＯＭ５０２は任意選択的なモジュールとなる。ＲＡＭ５０３は中央処理装置５０１に上記通信方法に対応する動作を実行させる実行可能命令を記憶するか、または動作時にＲＯＭ５０２へ当該実行可能命令を書き込む。入力／出力（Ｉ／Ｏ）インタフェース５０５もバス５０４に接続される。通信部５１２は集積的に設けられてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有しかつバスを介してリンクされるように設置されてもよい。
キーボード、マウスなどを含む入力部分５０６、例えば陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分５０７、ハードディスクなどを含む記憶部分５０８、および例えばＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部分５０９がＩ／Ｏインタフェース５０５に接続される。通信部分５０９はインターネットなどのネットワークを介して通信処理を実行する。ドライバ５１０も必要に応じてＩ／Ｏインタフェース５０５に接続される。取り外し可能な媒体５１１、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどは、必要に応じてドライバ５１０に取り付けられて、そこから読み出されたコンピュータプログラムが必要に応じて記憶部分５０８にインストールされる。
説明すべきは、図５に示すアーキテクチャは任意選択的な一つの実現方式に過ぎない。具体的な実践過程では、実際な必要に応じて、上記図５の部品数およびタイプの選択、削減、増加または置き換えを行ってよい。異なる機能部品の設置について、個別または集積な設置などの実現方式を採用してもよく、例えばＧＰＵ５１３とＣＰＵ５０１は個別に設置されてよいか、またはＧＰＵ５１３をＣＰＵ５０１に集積させてよい。通信部は個別に設置されてもよく、ＣＰＵ５０１またはＧＰＵ５１３に集積的に設けられてもよい。これらの代替な実施形態はいずれも本開示の保護範囲に属する。
特に、本開示の実施例によれば、上記でフローチャートを参照しながら説明されたプロセスはコンピュータソフトウェアプログラムとして実現されてよい。例えば、本開示の実施例はコンピュータプログラム製品を含み、コンピュータプログラム製品は機械読取可能媒体に有形に具現化され、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本開示の実施例により提供される方法を実行するステップに対応する命令を含んでよい。例えば、入力データセットをディープニューラルネットワークに入力することと、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることと、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することがある。このような実施例では、該コンピュータプログラムは通信部分５０９によってネットワークからダウンロード、インストールされ、および／または取り外し可能な媒体５１１からインストールされてよい。該コンピュータプログラムにおける中央処理装置（ＣＰＵ）５０１に実行される場合、本開示の方法に限定された上記機能を実行する。
本開示の実施例のさらに別の方面によれば、コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能記憶媒体であって、前記命令は実行される時に上記いずれか一項に記載のディープニューラルネットワークの正規化方法の動作を実行するコンピュータ読み取り可能記憶媒体が提供される。
本開示の実施例のさらに別の方面によれば、コンピュータ読み取り可能コードを含むコンピュータプログラム製品であって、前記コンピュータ読み取り可能コードが機器において運用される時、前記機器内のプロセッサは上記いずれか一項に記載のディープニューラルネットワークの正規化方法を実現するための命令を実行するコンピュータプログラム製品が提供される。
本開示の方法および装置は様々な方式で実現し得る。例えば、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせで本開示の方法および装置を実現できる。前記方法のステップの上記順序は単に説明するためのものに過ぎず、本開示の方法のステップは、特に断らない限り、以上に具体的に記述した順序に限定されない。また、いくつかの実施例では、本開示を記録媒体に記録されたプログラムとして実施してもよく、これらのプログラムは本開示に係る方法を実現するための機械可読指令を含む。従って、本開示は本開示に係る方法を実行するためのプログラムを記憶する記録媒体も包含する。
本開示の記述は例示および説明のためのもので、漏れなくまたは開示した形式に本開示を限定するものではない。様々な修正および変更は、当業者にとって自明である。選択および記述した実施例は、本開示の原理および実際の適用をより効果的に説明し、かつ当業者に本開示を理解させて、特定の用途に適する様々な修正付きの様々な実施例を設計するためのものである。

Claims (50)

  1. 少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力することと、
    前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応することと、
    前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することと、を含むことを特徴とするディープニューラルネットワークの正規化方法。
  2. 前記次元は、
    空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含むことを特徴とする請求項１に記載の方法。
  3. ニューラルネットワーク層が出力した特徴マップセットを、少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることは、
    前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ること、および／または、
    前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ること、および／または、
    前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ること、を含むことを特徴とする請求項２に記載の方法。
  4. 前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得ることは、
    前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得ることと、
    前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得ることと、を含むことを特徴とする請求項３に記載の方法。
  5. 前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
    前記特徴マップセット内の前記少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得ることと、
    前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得ることと、を含むことを特徴とする請求項３または４に記載の方法。
  6. 前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることは、
    前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることと、
    前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることと、
    前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることと、を含むことを特徴とする請求項２に記載の方法。
  7. 前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得ることは、
    前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得ることと、
    前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得ることと、を含むことを特徴とする請求項３から６のいずれか一項に記載の方法。
  8. 前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得ることは、
    前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得ることと、
    前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得ることと、を含むことを特徴とする請求項６または７に記載の方法。
  9. 前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得ることは、
    前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得ることと、
    前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得ることと、を含むことを特徴とする請求項６から８のいずれか一項に記載の方法。
  10. 前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定することは、
    前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得ることと、
    前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することと、を含むことを特徴とする請求項１から９のいずれか一項に記載の方法。
  11. 前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定することは、
    前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得ることを含むことを特徴とする請求項１０に記載の方法。
  12. 前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定することをさらに含むことを特徴とする請求項１から１１のいずれか一項に記載の方法。
  13. 前記入力データはマーク情報を有するサンプルデータであり、
    少なくとも一つのサンプルデータを含む前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することをさらに含むことを特徴とする請求項１から１２のいずれか一項に記載の方法。
  14. 前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
    前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練することは、
    前記サンプルデータセットを前記ディープニューラルネットワークに入力し、前記ネットワーク層によって、少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力することと、
    前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることと、
    前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することと、
    前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定することと、
    前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整することと、を含むことを特徴とする請求項１３に記載の方法。
  15. 前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含むことを特徴とする請求項１４に記載の方法。
  16. 前記重み値は、
    空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含むことを特徴とする請求項１５に記載の方法。
  17. 前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
    前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ること、および／または、
    前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ること、および／または、
    前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ること、を含むことを特徴とする請求項１４から１６のいずれか一項に記載の方法。
  18. 前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
    前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得ることと、
    前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得ることと、を含むことを特徴とする請求項１７に記載の方法。
  19. 前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
    前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
    前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得ることと、を含むことを特徴とする請求項１７または１８に記載の方法。
  20. 前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得ることは、
    前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることと、
    前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることと、
    前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることと、を含むことを特徴とする請求項１４から１６のいずれか一項に記載の方法。
  21. 前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得ることは、
    前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得ることと、
    前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得ることと、を含むことを特徴とする請求項１７から２０のいずれか一項に記載の方法。
  22. 前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得ることは、
    前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得ることと、
    前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得ることと、を含むことを特徴とする請求項２０または２１に記載の方法。
  23. 前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得ることは、
    前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得ることと、
    前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得ることと、を含むことを特徴とする請求項２０から２２のいずれか一項に記載の方法。
  24. 前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定することは、
    前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得ることと、
    前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得ることと、を含むことを特徴とする請求項１４から２３のいずれか一項に記載の方法。
  25. 少なくとも一つの入力データを含む入力データセットをディープニューラルネットワークに入力するための入力ユニットと、
    前記ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得て、そのうち、前記特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの前記特徴マップに対応する次元正規化ユニットと、
    前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定するためのバッチ正規化ユニットと、を含むことを特徴とするディープニューラルネットワークの正規化装置。
  26. 前記次元は、
    空間次元、チャネル次元及びバッチ座標次元の少なくとも一つを含むことを特徴とする請求項２５に記載の装置。
  27. 前記次元正規化ユニットは、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得るために、および／または、
    前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得るために、および／または、
    前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられることを特徴とする請求項２６に記載の装置。
  28. 前記次元正規化ユニットは前記特徴マップセットを、チャネル次元に基づいて正規化し、チャネル次元の分散およびチャネル次元の平均値を得る場合、具体的に、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値、幅値および前記特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つの特徴マップに基づいて前記チャネル次元の平均値を得て、前記チャネル次元の平均値および前記少なくとも一つの特徴マップに基づき、前記チャネル次元の分散を得るために用いられることを特徴とする請求項２７に記載の装置。
  29. 前記次元正規化ユニットは前記特徴マップセットを、バッチ座標次元に基づいて正規化し、バッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、具体的に、前記特徴マップセット内の前記少なくとも一つの特徴マップの高さ値、幅値および前記入力データセットに対応する入力データ数を変数とし、前記少なくとも一つの特徴マップに基づいて前記バッチ座標次元の平均値を得て、前記バッチ座標次元の平均値および前記少なくとも一つの特徴マップに基づき、前記バッチ座標次元の分散を得るために用いられることを特徴とする請求項２７または２８に記載の装置。
  30. 前記次元正規化ユニットは、前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得て、前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得るために用いられることを特徴とする請求項２６に記載の装置。
  31. 前記次元正規化ユニットは前記特徴マップセットを、空間次元に基づいて正規化し、空間次元の分散および空間次元の平均値を得る場合、前記特徴マップセット内の少なくとも一つの特徴マップの高さ値および幅値を変数とし、前記少なくとも一つの特徴マップに基づいて前記空間次元の平均値を得て、前記空間次元の平均値および前記少なくとも一つの特徴マップに基づき、前記空間次元の分散を得るために用いられることを特徴とする請求項２７から３０のいずれか一項に記載の装置。
  32. 前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記チャネル次元に対応するチャネル次元の分散およびチャネル次元の平均値を得る場合、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値に基づいて前記チャネル次元の平均値を得て、前記特徴マップセットに対応するチャネル数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記チャネル次元の平均値に基づいて前記チャネル次元の分散を得るために用いられることを特徴とする請求項３０または３１に記載の装置。
  33. 前記次元正規化ユニットは前記空間次元の分散および前記空間次元の平均値に基づき、前記バッチ座標次元に対応するバッチ座標次元の分散およびバッチ座標次元の平均値を得る場合、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値に基づいて前記バッチ座標次元の平均値を得て、前記入力データセットに対応する入力データ数を変数とし、前記空間次元の平均値、前記空間次元の分散および前記バッチ座標次元の平均値に基づいて前記バッチ座標次元の分散を得るために用いられることを特徴とする請求項３０から３２のいずれか一項に記載の装置。
  34. 前記バッチ正規化ユニットは前記少なくとも一つの次元の分散および前記少なくとも一つの次元の平均値に基づいて正規化後の目標特徴マップセットを特定する場合、前記少なくとも一つの次元の分散を重み付け平均して正規化分散を得て、前記少なくとも一つの次元の平均値を重み付け平均して正規化平均値を得て、前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定するために用いられることを特徴とする請求項２５から３３のいずれか一項に記載の装置。
  35. 前記バッチ正規化ユニットは前記正規化分散および前記正規化平均値に基づいて前記目標特徴マップセットを特定する場合、前記正規化分散、前記正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記特徴マップセットを処理し、前記目標特徴マップセットを得るために用いられることを特徴とする請求項３４に記載の装置。
  36. 前記目標特徴マップセットに基づいて前記入力データセットが少なくとも一つのデータ結果に対応することを特定するための結果特定ユニットをさらに含むことを特徴とする請求項２５から３５のいずれか一項に記載の装置。
  37. 前記入力データはマーク情報を有するサンプルデータであり、
    少なくとも一つのサンプルデータを含む前記サンプルデータセットに基づいて前記ディープニューラルネットワークを訓練するための訓練ユニットをさらに含むことを特徴とする請求項２５から３６のいずれか一項に記載の装置。
  38. 前記ディープニューラルネットワークは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
    前記入力ユニットはさらに、前記サンプルデータセットを前記ディープニューラルネットワークに入力し、前記ネットワーク層によって、少なくとも一つのサンプル特徴マップを含むサンプルの特徴マップセットを出力するために用いられ、
    前記次元正規化ユニットはさらに、前記正規化層によって前記サンプルの特徴マップセットを少なくとも一つの次元で正規化し、サンプルの少なくとも一つの次元の分散およびサンプルの少なくとも一つの次元の平均値を得るために用いられ、
    前記バッチ正規化ユニットはさらに、前記サンプルの少なくとも一つの次元の分散および前記サンプルの少なくとも一つの次元の平均値に基づいて正規化後の予測特徴マップセットを特定するために用いられ、
    前記結果特定ユニットはさらに、前記予測特徴マップセットに基づいて前記サンプルデータに対応する予測結果を特定するために用いられ、
    前記訓練ユニットは、前記予測結果および前記マーク情報に基づき、前記少なくとも一つのネットワーク層のパラメータおよび前記少なくとも一つの正規化層のパラメータを調整するために用いられることを特徴とする請求項３７に記載の装置。
  39. 前記正規化層のパラメータは、次元に対応する重み値、スケールパラメータおよびシフトパラメータの少なくとも一つを含むことを特徴とする請求項３８に記載の装置。
  40. 前記重み値は、
    空間次元重み値、チャネル次元重み値及びバッチ座標次元重み値の少なくとも一つを含むことを特徴とする請求項３９に記載の装置。
  41. 前記次元正規化ユニットは具体的に、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得るために、および／または、
    前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得るために、および／または、
    前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられることを特徴とする請求項３８から４０のいずれか一項に記載の装置。
  42. 前記次元正規化ユニットは前記サンプルの特徴マップセットを、チャネル次元に基づいて正規化し、サンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルのチャネル次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのチャネル次元の分散を得るために用いられることを特徴とする請求項４１に記載の装置。
  43. 前記次元正規化ユニットは前記サンプルの特徴マップセットを、バッチ座標次元に基づいて正規化し、サンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値、幅値および前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記少なくとも一つのサンプル特徴マップに基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルのバッチ座標次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルのバッチ座標次元の分散を得るために用いられることを特徴とする請求項４１または４２に記載の装置。
  44. 前記次元正規化ユニットは、前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得て、前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得るために用いられることを特徴とする請求項４１から４３のいずれか一項に記載の装置。
  45. 前記次元正規化ユニットは前記サンプルの特徴マップセットを、空間次元に基づいて正規化し、サンプルの空間次元の分散およびサンプルの空間次元の平均値を得る場合、前記サンプルの特徴マップセット内の少なくとも一つのサンプル特徴マップの高さ値および幅値を変数とし、少なくとも一つの前記サンプル特徴マップに基づいて前記サンプルの空間次元の平均値を得て、前記サンプルの空間次元の平均値および前記少なくとも一つのサンプル特徴マップに基づき、前記サンプルの空間次元の分散を得るために用いられることを特徴とする請求項４１から４４のいずれか一項に記載の装置。
  46. 前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記チャネル次元に対応するサンプルのチャネル次元の分散およびサンプルのチャネル次元の平均値を得る場合、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのチャネル次元の平均値を得て、前記サンプルの特徴マップセットに対応するチャネル数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのチャネル次元の平均値に基づいて前記サンプルのチャネル次元の分散を得るために用いられることを特徴とする請求項４４または４５に記載の装置。
  47. 前記次元正規化ユニットは前記サンプルの空間次元の分散および前記サンプルの空間次元の平均値に基づき、前記バッチ座標次元に対応するサンプルのバッチ座標次元の分散およびサンプルのバッチ座標次元の平均値を得る場合、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値に基づいて前記サンプルのバッチ座標次元の平均値を得て、前記サンプルデータセットに対応するサンプルデータ数を変数とし、前記サンプルの空間次元の平均値、前記サンプルの空間次元の分散および前記サンプルのバッチ座標次元の平均値に基づいて前記サンプルのバッチ座標次元の分散を得るために用いられることを特徴とする請求項４４から４６のいずれか一項に記載の装置。
  48. 前記バッチ正規化ユニットは、前記サンプルの少なくとも一つの次元の分散を重み付け平均してサンプル正規化分散を得て、前記サンプルの少なくとも一つの次元の平均値を重み付け平均してサンプル正規化平均値を得て、前記サンプル正規化分散、前記サンプル正規化平均値、スケールパラメータおよびシフトパラメータに基づいて前記サンプルの特徴マップセットを処理し、前記予測特徴マップセットを得るために用いられることを特徴とする請求項３８から４７のいずれか一項に記載の装置。
  49. 実行可能命令を記憶するためのメモリ、および
    前記メモリと通信して前記実行可能命令を実行することで請求項１から２４のいずれか一項に記載のディープニューラルネットワークの正規化方法の動作を行うためのプロセッサを含むことを特徴とする電子機器。
  50. コンピュータ読み取り可能な命令を記憶するためのコンピュータ読み取り可能記憶媒体であって、前記命令は実行される時に請求項１から２４のいずれか一項に記載のディープニューラルネットワークの正規化方法の動作を実行することを特徴とするコンピュータ読み取り可能記憶媒体。
JP2020510104A 2018-06-13 2019-06-12 ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体 Active JP7009614B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810609601.0 2018-06-13
CN201810609601.0A CN108921283A (zh) 2018-06-13 2018-06-13 深度神经网络的归一化方法和装置、设备、存储介质
PCT/CN2019/090964 WO2019238072A1 (zh) 2018-06-13 2019-06-12 深度神经网络的归一化方法和装置、设备、存储介质

Publications (2)

Publication Number Publication Date
JP2020537204A true JP2020537204A (ja) 2020-12-17
JP7009614B2 JP7009614B2 (ja) 2022-01-25

Family

ID=64419572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020510104A Active JP7009614B2 (ja) 2018-06-13 2019-06-12 ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体

Country Status (5)

Country Link
US (1) US20200257979A1 (ja)
JP (1) JP7009614B2 (ja)
KR (1) KR20210018180A (ja)
CN (1) CN108921283A (ja)
WO (1) WO2019238072A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096933B (zh) * 2018-01-30 2023-07-18 华为技术有限公司 目标检测的方法、装置及系统
US20190279043A1 (en) * 2018-03-06 2019-09-12 Tazi AI Systems, Inc. Online machine learning system that continuously learns from data and human input
CN108921283A (zh) * 2018-06-13 2018-11-30 深圳市商汤科技有限公司 深度神经网络的归一化方法和装置、设备、存储介质
US20200242771A1 (en) * 2019-01-25 2020-07-30 Nvidia Corporation Semantic image synthesis for generating substantially photorealistic images using neural networks
CN109784420B (zh) * 2019-01-29 2021-12-28 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN109886392B (zh) * 2019-02-25 2021-04-27 深圳市商汤科技有限公司 数据处理方法和装置、电子设备和存储介质
CN110753264B (zh) * 2019-10-23 2022-06-07 支付宝(杭州)信息技术有限公司 视频生成方法、装置及设备
CN111325222A (zh) * 2020-02-27 2020-06-23 深圳市商汤科技有限公司 图像归一化处理方法及装置、存储介质
CN111508038A (zh) * 2020-04-17 2020-08-07 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111985613B (zh) * 2020-07-22 2024-06-21 东南大学 基于l1范数组归一化的卷积神经网络电路的归一化方法
WO2022040963A1 (en) * 2020-08-26 2022-03-03 Intel Corporation Methods and apparatus to dynamically normalize data in neural networks
CN115803752A (zh) * 2020-09-08 2023-03-14 华为技术有限公司 深度卷积神经网络中的归一化
CN112926646B (zh) * 2021-02-22 2023-07-04 上海壁仞智能科技有限公司 数据批量标准化方法、计算设备和计算机可读存储介质
CN113191446B (zh) * 2021-05-17 2022-04-08 电子科技大学 一种基于深度归一化网络的多旋翼无人机目标识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018508879A (ja) * 2015-01-28 2018-03-29 グーグル エルエルシー バッチ正規化レイヤ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688891B (zh) * 2015-08-15 2024-05-31 硕动力公司 采用3d批归一化的三维（3d）卷积
CN106203624B (zh) * 2016-06-23 2019-06-21 上海交通大学 基于深度神经网络的矢量量化系统及方法
US9836853B1 (en) * 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
EP3552112A1 (en) * 2016-12-09 2019-10-16 Beijing Horizon Information Technology Co., Ltd. Systems and methods for data management
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
US10867255B2 (en) * 2017-03-03 2020-12-15 Hong Kong Applied Science and Technology Research Institute Company Limited Efficient annotation of large sample group
CN107169956B (zh) * 2017-04-28 2020-02-14 西安工程大学 基于卷积神经网络的色织物疵点检测方法
CN107798356A (zh) * 2017-11-24 2018-03-13 郑州大学西亚斯国际学院 基于深度卷积神经网络的作物叶片病害识别方法
CN108921283A (zh) * 2018-06-13 2018-11-30 深圳市商汤科技有限公司 深度神经网络的归一化方法和装置、设备、存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018508879A (ja) * 2015-01-28 2018-03-29 グーグル エルエルシー バッチ正規化レイヤ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUXIN WU ET AL.: ""Group Normalization"", ARXIV.ORG [ONLINE], vol. arXiv:1803.08494v2, JPN6021015436, April 2018 (2018-04-01), pages 1 - 10, ISSN: 0004494231 *

Also Published As

Publication number Publication date
WO2019238072A1 (zh) 2019-12-19
US20200257979A1 (en) 2020-08-13
JP7009614B2 (ja) 2022-01-25
KR20210018180A (ko) 2021-02-17
CN108921283A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
JP7009614B2 (ja) ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体
CN108229479B (zh) 语义分割模型的训练方法和装置、电子设备、存储介质
CN108460338B (zh) 人体姿态估计方法和装置、电子设备、存储介质、程序
CN108399383B (zh) 表情迁移方法、装置存储介质及程序
TWI721510B (zh) 雙目圖像的深度估計方法、設備及儲存介質
CN112949678B (zh) 深度学习模型对抗样本生成方法、系统、设备及存储介质
CN109934792B (zh) 电子装置及其控制方法
JP7013489B2 (ja) 学習装置、実写画像分類装置の生成システム、実写画像分類装置の生成装置、学習方法及びプログラム
CN114925748B (zh) 模型训练及模态信息的预测方法、相关装置、设备、介质
CN109117806B (zh) 一种手势识别方法和装置
WO2020082830A1 (zh) 处理图像的方法和装置
CN111814804B (zh) 基于ga-bp-mc神经网络的人体三维尺寸信息预测方法及装置
CN112990318B (zh) 持续学习方法、装置、终端及存储介质
CN111223128A (zh) 目标跟踪方法、装置、设备及存储介质
CN113065593A (zh) 模型训练方法、装置、计算机设备和存储介质
CN111862040A (zh) 人像图片质量评价方法、装置、设备及存储介质
WO2022126917A1 (zh) 基于深度学习的人脸图像评估方法、装置、设备及介质
JP2021144461A (ja) 学習装置及び推論装置
CN112862840B (zh) 图像分割方法、装置、设备及介质
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN114170485A (zh) 深度学习可解释方法及设备、存储介质和程序产品
CN109993694B (zh) 一种生成超分辨率图像的方法及装置
CN113919476A (zh) 一种图像处理方法、装置、电子设备以及存储介质
WO2021142741A1 (zh) 目标跟踪方法、装置及终端设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220112

R150 Certificate of patent or registration of utility model

Ref document number: 7009614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150