JP2022502762A - ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2022502762A
JP2022502762A JP2021516876A JP2021516876A JP2022502762A JP 2022502762 A JP2022502762 A JP 2022502762A JP 2021516876 A JP2021516876 A JP 2021516876A JP 2021516876 A JP2021516876 A JP 2021516876A JP 2022502762 A JP2022502762 A JP 2022502762A
Authority
JP
Japan
Prior art keywords
neural network
training
searched
library
neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021516876A
Other languages
English (en)
Other versions
JP7168772B2 (ja
Inventor
心池 周
東展 周
帥 伊
万里 欧陽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2022502762A publication Critical patent/JP2022502762A/ja
Application granted granted Critical
Publication of JP7168772B2 publication Critical patent/JP7168772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、ニューラルネットワーク捜索方法及び装置に関する。当該方法は、捜索対象のニューラルネットワークライブラリと訓練データセットを取得することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うことと、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることと、を含む。対応する装置も開示されている。本開示の技術的手段によりニューラルネットワーク捜索にかかる計算リソースと捜索時間を減少させることができる。【選択図】図１

Description

本開示は、画像処理技術分野に関し、特に、ニューラルネットワーク捜索方法及び装置に関する。
ニューラルネットワークは、コンピュータビジョンの分野で広く用いられており、ニューラルネットワークの性能はニューラルネットワークの構造と関連しており、性能の良いニューラルネットワークの構造をどのように決定するのかという点が非常に重要となる。
本開示は、ニューラルネットワーク捜索の技術方案を提供する。
第１方面は、捜索対象のニューラルネットワークライブラリと訓練データセットを取得することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うことと、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることと、を含むニューラルネットワーク捜索方法を提供する。
第１方面において、第１訓練対象ニューラルネットワークに対して第１段階訓練を行うことにより、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに対する段階的な訓練を実現し、即ち前段階の訓練後に性能の良いニューラルネットワークに対して次段階の訓練を行い、このようにして、前段階の訓練後、性能の悪いニューラルネットワークにかかる計算リソースと時間を減少させ、ひいては捜索過程にかかる計算リソースと時間を減少させることができる。
可能な一実施形態では、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとする前に、前記方法は、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークセットに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うこととをさらに含む。
可能な該実現形態では、まず、捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークを認識精度でソートし、ソートされた上位Ｎ個のニューラルネットワークに対して第２段階訓練を行う。上記の実現可能な形態と併せて、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに対して段階的訓練の方式を採用することに相当し、即ち前段階の訓練完了後に認識精度の高いニューラルネットワークに対して次段階の訓練を行い、前段階の訓練完了後に認識精度の低いニューラルネットワークに対して次段階の訓練を行わず、このようにして、ニューラルネットワーク捜索にかかる計算リソースを減少させ、且つ捜索時間を短縮することができる。
可能な別の実現形態では、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとする前に、前記方法は、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加することをさらに含み、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることは、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートして第３ニューラルネットワーク系列セットを得て、且つ前記第３ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークセットとすることを含む。
可能な該実現形態では、捜索対象のニューラルネットワークライブラリにおいて進化後のニューラルネットワークを増加することにより、捜索効果を向上させ、即ち捜索によって性能の良いニューラルネットワークが取得される確率を向上させる。
可能なさらなる実現形態では、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第１段階訓練を行う後、前記方法は、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートして第４ニューラルネットワーク系列セットを得て、且つ前記第４ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークセットとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、且つ前記第５ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークセットに対して前記第２段階訓練を行い、及び前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークセットに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行することをさらに含み、前記方法は、前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去することをさらに含む。
可能な該実現形態では、捜索の反復過程でＴ回の反復で訓練されなかったニューラルネットワークを捜索対象のニューラルネットワークライブラリから除去することにより、ニューラルネットワーク捜索にかかる計算リソースをさらに減少させ、捜索速度を向上させる。
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリにＲ個の進化後のニューラルネットワークを増加することは、前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、Ｒ個の複製後のニューラルネットワークを得ることと、前記Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得ることと、前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得ることと、前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加することとを含む。
可能な該実現形態では、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの構造を調整することにより、進化後のニューラルネットワークを得て、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの構造を豊かにし、捜索効果を向上させることができる。
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられる。
第１方面及び前述の実現可能な形態のいずれかと併せて、該実現可能な形態では、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークはいずれも画像分類に用いることができる。
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、前記標準層、前記削減層及び前記分類層は順次直列に接続され、前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、且つｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つである。
可能な該実現形態では、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの構造を豊かにするように、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの構造を提供し、当該構造に基づいて複数の異なる構造のニューラルネットワークを得ることができる。
可能なさらなる実現形態では、前記Ｒ個の複製後のニューラルネットワークの構造を修正することは、前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正すること、及び／又は前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正することを含む。
可能な該実現形態では、複製後のニューラルネットワークを進化させることを実現するように、複製後のニューラルネットワークのニューロンの入力を変換すること及び／又は複製後のニューラルネットワークのニューロンのノード内の操作を変換することにより複製後のニューラルネットワークの構造を修正する。
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリを取得することは、捜索対象ニューラルネットワークを取得することと、前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得ることとを含む。
該実現可能な形態では、捜索対象ニューラルネットワークに対して第３段階訓練を行うことにより、捜索対象のニューラルネットワークライブラリを得て、その後の捜索対象のニューラルネットワークライブラリに基づくニューラルネットワーク捜索を容易にする。
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることは、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、且つ前記第５ニューラルネットワーク系列セットのうちの上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとすることを含む。
可能なさらなる実現形態では、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークのうちの、認識精度の最も高いＹ個のニューラルネットワークを目標ニューラルネットワークとし、捜索効果をさらに向上させる。
第二方面は、捜索対象のニューラルネットワークライブラリと訓練データセットを取得するための取得ユニットと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとするためのソートユニットと、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うための訓練ユニットと、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとするための決定ユニットと、を含むニューラルネットワーク捜索装置を提供する。
可能な一実現形態では、前記ソートユニットは、さらに、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとする前に、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとするために用いられ、前記訓練ユニットは、さらに、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークセットに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うために用いられる。
可能な別の実現形態では、前記ニューラルネットワーク捜索装置は、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとする前に、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加するためのニューラルネットワーク進化ユニットをさらに含み、前記ソートユニットは、具体的には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークセットとするために用いられる。
可能なさらなる実現形態では、前記ニューラルネットワーク捜索装置は、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第１段階訓練を行う後、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートして第４ニューラルネットワーク系列セットを得て、且つ前記第４ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークセットとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、且つ前記第５ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークセットに対して前記第２段階訓練を行い、及び前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークセットに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行するための実行ユニットと、前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去するための除去ユニットと、をさらに含む。
可能なさらなる実現形態では、前記ニューラルネットワーク進化ユニットは、具体的には、前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、Ｒ個の複製後のニューラルネットワークを得て、及び、前記Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得て、及び、前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得て、及び、前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加するために用いられる。
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられる。
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、前記標準層、前記削減層及び前記分類層は順次直列に接続され、前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、且つｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つである。
可能なさらなる実現形態では、前記ニューラルネットワーク進化ユニットは、具体的には、前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正し、及び／又は前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正するために用いられる。
可能なさらなる実現形態では、前記取得ユニットは、具体的には、捜索対象ニューラルネットワークを取得し、前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得るために用いられる。
可能なさらなる実現形態では、前記決定ユニットは、具体的には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、且つ前記第５ニューラルネットワーク系列セットのうちの上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとするために用いられる。
第三方面は、上記のように第一方面及びそのいずれの１つ可能な実現形態を実行するためのプロセッサを提供する。
第四方面は、プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータ命令を含むコンピュータプログラムコードを記憶するためのメモリとを含み、前記プロセッサが前記コンピュータ命令を実行すると、上記のように第一方面及びそのいずれの１つ可能な実現形態を実行する電子機器を提供する。
第五方面は、プログラム命令を含むコンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムが電子機器のプロセッサにより実行されるとき、前記プロセッサに上記のように第一方面及びそのいずれの１つ可能な実現形態を実行させるコンピュータ読取可能記憶媒体を提供する。
第六方面は、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは電子機器内で実行されると、前記電子機器内のプロセッサに上記のように第一方面及びそのいずれの１つ可能な実現形態を実行させるコンピュータプログラムを提供する。
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。
以下、本開示の実施例又は背景技術における技術方案をより明確に説明するために、本開示の実施例又は背景技術における必要とする図面を説明する。
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術方案の説明に用いられる。
図１は、本開示の実施例によるニューラルネットワーク捜索方法のフローチャートである。 図２は、本開示の実施例による別のニューラルネットワーク捜索方法のフローチャートである。 図３Ａは、本開示の実施例による捜索空間におけるニューラルネットワークの全体構造の模式図である。 図３Ｂは、本開示の実施例によるニューラルネットワーク層内のニューロン間の接続関係の模式図である。 図３Ｃは、本開示の実施例による神経層内のニューロンの構造の模式図である。 図３Ｄは、本開示の実施例によるニューロン内のノードの構造の模式図である。 図４Ａは、本開示の実施例によるニューラルネットワークの構造調整の模式図である。 図４Ｂは、本開示の実施例による別のニューラルネットワークの構造調整の模式図である。 図５は、本開示の実施例による別のニューラルネットワーク捜索方法のフローチャートである。 図６は、本開示の実施例によるニューラルネットワーク捜索装置の構造の模式図である。 図７は、本開示の実施例によるニューラルネットワーク捜索装置のハードウェア構造の模式図である。
本開示の方案を当業者によりよく理解させるために、以下、本開示の実施例における技術方案を、本開示の実施例における図面と併せて、明確に、完全に説明するが、明らかに、説明された実施例は、本開示の一部の実施例にすぎず、全ての実施例ではない。本開示の実施例に基づいて、当業者が創造的な労働を行うことなく得られる他の全ての実施例は、本開示の保護範囲内である。
本開示の明細書、特許請求の範囲、及び上述の図面における用語「第１」、「第２」などは、異なる対象を区別するためのものであり、特定の順序を説明するためのものではない。なお、「含む」及び「有する」という用語並びにそれらの任意の変形は、排他的でない包含をカバーすることを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は設備は、挙げられたステップ又はユニットに限定されず、場合によって記載されていないステップ又はユニットをさらに含み、あるいは、場合によってこれらのプロセス、方法、製品又は設備に固有の他のステップ又はユニットをさらに含む。
本明細書において「実施例」の意味は、実施例に関連して説明された特定の特徴、構造又は特性が、本開示の少なくとも１つの実施例に含まれ得る。本明細書の様々な場所に当該語句が現れることは、必ずしも全てが同じ実施例を表すことではなく、他の実施例を除いた別個の又は代替の実施例を表すことではない。当業者は、本明細書に記載された実施例を他の実施例と組み合わせることができることを明らか且つ暗黙的に理解するであろう。
画像処理（例えば、画像分類）する際には、異なるニューラルネットワークの構造を訓練して得られるニューラルネットワークの正確率が異なるため、画像処理する前に、画像処理のために性能の良いニューラルネットワークの構造を決定する必要がある。ここで、ニューラルネットワークの構造の性能が良いほど、当該ニューラルネットワークの構造を訓練して得られるニューラルネットワークを用いた画像処理の正確率が高いことを特徴づける。
ニューラルネットワーク捜索とは、捜索対象のニューラルネットワークライブラリ内の、異なる構造を有するニューラルネットワークに対して大量の訓練を行うことで、ニューラルネットワークライブラリ内の、性能の良いニューラルネットワークの構造を決定でき、ひいてはニューラルネットワークライブラリから目標ニューラルネットワークを得て、その後、目標ニューラルネットワークを画像処理に用いることができる。
上記の「性能の良い」及び以下に複数回現れる「性能の良い」とは、複数の異なるニューラルネットワークの構造のうち最も性能の良いいくつかを指し、ここでの「いくつか」とは具体的にはいくつかであるかは、実際の応用に応じて調整可能である。例えば、１０個の異なるニューラルネットワークの構造のうち最も性能の良い４個を性能の良いニューラルネットワークの構造と呼び、一方、これら１０個の異なるニューラルネットワークの構造のうち最も性能の良い４個のニューラルネットワークの構造をそれぞれａ、ｂ、ｃ、ｄとすれば、ａ、ｂ、ｃ、ｄは性能の良いニューラルネットワークの構造となる。
以下では「性能の悪い」という言葉が複数回現れ、「性能の悪い」とは複数の異なるニューラルネットワークの構造のうち最も性能の悪いいくつかを指し、ここでの「いくつか」とは具体的にはいくつかであるかは、実際の応用に応じて調整可能である。例えば、１０個の異なるニューラルネットワークの構造のうち最も性能の悪い３個を性能の悪いニューラルネットワークの構造と呼び、一方、これら１０個の異なるニューラルネットワークの構造のうち最も性能の悪い３個のニューラルネットワークの構造をそれぞれｅ、ｆ、ｇとすれば、ｅ、ｆ、ｇは性能の悪いニューラルネットワークの構造となる。
以下、本開示の実施例における図面を参照しながら、本開示の実施例について説明する。
図１を参照する。図１は、本開示の実施例（１）によるニューラルネットワーク捜索方法のフローチャートである。
１０１、捜索対象のニューラルネットワークライブラリと訓練データセットを取得する。
本開示の実施例では、捜索対象のニューラルネットワークライブラリは、複数の捜索対象ニューラルネットワークを含み、ここで、捜索対象ニューラルネットワークは本開示の実施例を実行する端末（例えば、コンピュータ）に記憶されたものであってもよいし、捜索対象ニューラルネットワークは端末に接続された記憶媒体から取得されたものであってもよいし、捜索対象ニューラルネットワークはランダムに生成することにより取得されたものであってもよいし、捜索対象ニューラルネットワークは人工設計により取得されたものであってもよい。本開示は、捜索対象ニューラルネットワークの取得方式に限定されるものではない。
本開示の実施例では、訓練データセットは、画像セットであってもよく、当該画像セットは、ニューラルネットワークを訓練するために用いて画像分類する画像セットを選択可能であっても良い。訓練データセットは、端末（例えば、コンピュータ）に記憶されたものであってもよいし、端末に接続された記憶媒体から取得されたものであってもよいし、端末がインターネットから取得したものであってもよい。
１０２、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとする。
本開示の実施例では、認識精度は、訓練データセットの分類結果の正確率であってもよい。第１所定値は正の整数であり、第１所定値は４０を選択可能である。Ｍは、任意の正の整数であってもよく、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数が決定されるので、Ｍは、予め設定された比率によって決定されてもよく、例えば、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数は１００個であり、予め設定された比率は５０％であり、即ち精度ランキングの上位５０％のニューラルネットワークを第１訓練対象ニューラルネットワークとし、つまりソートされた上位５０個のニューラルネットワークを第１訓練対象ニューラルネットワークとすることを理解する必要がある。
１０３、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第２所定値の周期数で訓練する第１段階訓練を行う。
本開示の実施例では、第１段階訓練において第２所定値の周期数で訓練してもよく、第２所定値は２０を選択可能である。第１訓練対象ニューラルネットワークに対して第１段階訓練を行うことにより、第１訓練対象ニューラルネットワークの訓練データセットに対する認識正確率をさらに向上させることができ、同時に第１訓練対象ニューラルネットワークのネットワーク構造の性能をよりリアルに反応させることができる。
ニューラルネットワークライブラリからニューラルネットワークを捜索する際にニューラルネットワークを訓練することでニューラルネットワークの構造の性能を評価する必要があり、最終的に評価結果により性能の良いニューラルネットワークを選択することができるとともに、訓練の回数が多ければ多いほど、ニューラルネットワークの性能はより正確に評価される。捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数が多いため、捜索対象のニューラルネットワークライブラリ内の各ニューラルネットワークに対して大量の訓練を行うことによりニューラルネットワークの構造性能を評価すれば、膨大な計算リソースをかかるとともに、大量の時間もかかる。
したがって、本開示の実施例は、「性能の悪いニューラルネットワークにかかる計算リソースと捜索時間を減少させる」というポリシーを用いて捜索する。当該策略は、１０２により捜索対象のニューラルネットワークライブラリから精度の高いニューラルネットワーク（即ち性能の良いニューラルネットワーク）を決定し、１０３により性能の良いニューラルネットワークに対して第１段階訓練を行い、性能の悪いニューラルネットワークにかかる計算リソースと訓練時間を減少させことを含むことができる。このようにして、捜索対象のニューラルネットワークライブラリからのニューラルネットワーク捜索にかかる計算リソースを減少させるとともに、捜索時間を短縮することができる。
１０４、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとする。
上述したように、第１訓練対象ニューラルネットワークが第１所定値の周期数で訓練されたものであり、第１段階訓練において第２所定値の周期数で訓練するので、第１段階訓練後のニューラルネットワークは第１所定値と第２所定値の和である周期数で訓練されたものである。
本開示の実施例では、目標ニューラルネットワークは、捜索によって得られるニューラルネットワークであり、その後、目標ニューラルネットワークと同じ構造を有するニューラルネットワークを訓練することができ、訓練されたニューラルネットワークを用いて画像処理（例えば、画像分類）を行う。
第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークが複数存在するかもしれない、且つこれらのニューラルネットワークのうち異なるニューラルネットワークの性能が異なるため、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークから性能ランキングが最も高いいくつかのニューラルネットワークを目標ニューラルネットワークとして選択することができ、例えば、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークのうち性能ランキングの上位１０のニューラルネットワークを目標ニューラルネットワークとする。
本実施例は、第１訓練対象ニューラルネットワークに対して第１段階訓練を行うことにより、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに対する段階的訓練を実現し、即ち前段階の訓練後に性能の良いニューラルネットワークに対して次段階の訓練を行い、このようにして、捜索過程にかかる計算リソースと時間を減少させることができる。
図２を参照する。図２は、本開示の実施例による別のニューラルネットワーク捜索方法のフローチャートである。
２０１、捜索対象ニューラルネットワークと訓練データセットを取得する。
捜索対象ニューラルネットワークは、本開示の実施例を実行する端末（例えば、コンピュータ）に記憶されたものであってもよいし、捜索対象ニューラルネットワークは、端末に接続された記憶媒体から取得されたものであってもよいし、捜索対象ニューラルネットワークは、ランダムに生成することにより取得されたものであってもよいし、捜索対象ニューラルネットワークは、人工設計により取得されたものであってもよい。本開示は、捜索対象ニューラルネットワークの取得方式に限定されるものではない。
可能な一実施形態では、ニューラルネットワーク捜索空間に基づくネットワークアーキテクチャは、捜索対象ニューラルネットワークをランダムに生成することができ、捜索対象ニューラルネットワークは、画像分類のためのニューラルネットワークを選択可能である。捜索空間は図３を参照することができる。ここで、図３Ａは、捜索空間におけるニューラルネットワークの全体構造の模式図であり、図３Ａに示すように、当該捜索空間におけるニューラルネットワークはいずれも３つの標準層（Ｎｏｒｍａｌ Ｃｅｌｌ）、２つの削減層（Ｒｅｄｕｃｔｉｏｎ Ｃｅｌｌ）及び１つの分類層（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を含み、これら６つのニューラルネットワーク層は順次直列に接続されており、即ち前の層の出力は後の層の入力であり、ここで、入力画像を例にすると、標準層の処理を経て、画像のサイズは変わらないが、削減層の処理を経て、画像のサイズは元の半分に縮小される。例えば、入力された画像のサイズは３２＊３２であり、第１層標準層の処理を経た後、出力されたものは３２＊３２サイズの画像であり、且つ第２層削減層の入力として、第２層入力層の処理を経た後、出力されたものは１６＊１６サイズの画像である。
図３Ｂは、ニューラルネットワーク層内のニューロン（ｃｅｌｌ）間の接続関係の模式図であり、図３Ｂに示すように、各ニューラルネットワーク層におけるｉ＋１番目のニューロンの入力は、いずれもｉ番目のニューロンとｉ−１番目のニューロンの出力であり、ここで、ｉは２以上の正の整数である。
図３Ｃは、図３Ｂのニューロンの構造の模式図であり、図３Ｃに示すように、各ニューロンは５つのノードを含み、各ノードの内部に対応する操作を含み、ここで、ノード０及びノード１は入力ノードであり、ノード０はｉ−１番目のニューロンの出力である。ノード１はｉ番目のニューロンの出力であり、ノード２の入力はノード０及びノード１の出力であり、ノード３の入力はノード０、ノード１、ノード２のいずれか２つのノードの出力であってもよく、つまり、ノード３の入力として、ノード０の出力、ノード１の出力、ノード２の出力から２つの出力をランダムに選択する。ノード４の入力はノード０、ノード１、ノード２、ノード３のいずれか２つのノードの出力であってもよく、つまり、ノード４の入力として、ノード０の出力、ノード１の出力、ノード２の出力及びノード３の出力から２つの出力をランダムに選択する。最後にノード２、ノード３及びノード４の出力を融合（Ｃｏｎｃａｔ）し、ニューロンの出力を得る。
図３Ｄは、ニューロン内のノードの構造の模式図であり、図３Ｄに示すように、各ノードの２つの入力はそれぞれ操作１及び操作２に入力され、ここで、操作１及び操作２は、畳み込み、プーリング、マッピングのいずれであってもよく、つまり、各ノードにおける操作１及び操作２は、畳み込み、プーリング及びマッピングから１つをランダムに選択することができ、最後に操作１及び操作２の出力を加算し、ノードの出力を得る。
このことから、各ニューロン内のノード間の接続関係をランダムに決定すること、及び各ノード内の操作をランダムに生成することで、異なるネットワーク構造を有する複数の捜索対象ニューラルネットワークをランダムに生成できることが分かる。
なお、上述した可能な実現形態における捜索空間は一例であって、本開示の実施例を限定するものではないと考えられる。つまり、本開示の実施例は、他の捜索空間に基づいて捜索対象ニューラルネットワークをランダムに生成することもできる。
訓練データセットの取得方式は、１０１を参照する。ここでは説明を省略する。
２０２、前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得る。
捜索対象ニューラルネットワークが得られた後、訓練データセットを用いて前記捜索対象ニューラルネットワークに対して第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを捜索対象のニューラルネットワークライブラリに増加することができる。ここで、第３段階訓練において第３所定値の周期数で訓練し、第３所定値は正の整数であり、第３所定値は２０を選択可能である。
捜索によって性能の良いニューラルネットワークの構造をより多く得るために、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークから所定数のニューラルネットワークをランダムに選択し、選択されたニューラルネットワークを進化させ、進化後のニューラルネットワークを捜索対象のニューラルネットワークライブラリに追加する。ここで、訓練データセットに対する捜索対象ニューラルネットワークの認識精度が高ければ高いほど、当該ニューラルネットワークの性能が良く、即ち当該ニューラルネットワークの構造が良い。このようにして、進化性能の良いニューラルネットワークは、進化性能の悪いニューラルネットワークと比べて、性能の良いニューラルネットワークが得られる確率が高い。したがって、訓練データセットに対する捜索対象ニューラルネットワークの認識精度が高ければ高いほど、当該ニューラルネットワークが選択される確率が高くなる。ここで、進化ニューラルネットワークは、ニューラルネットワークの構造を調整すること、ニューラルネットワークのパラメータを変更すること、及びその組み合わせのいずれか１つによって実現できる。
可能な一実施形態では、捜索対象のニューラルネットワークライブラリにＲ個の進化後のニューラルネットワークを増加することは、捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製することと、Ｒ個の複製後のニューラルネットワークの構造を修正することにより、Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得ることと、訓練データセットを用いてＲ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、Ｒ個の進化後のニューラルネットワークを得ることと、及びＲ個の進化後のニューラルネットワークを捜索対象のニューラルネットワークライブラリに追加することとによって実現できる。
例えば、捜索対象のニューラルネットワークライブラリから３つのニューラルネットワーク（それぞれＡ、Ｂ、Ｃ）をランダムに選択し、且つこれら３つのニューラルネットワークの構造を調整することにより、３つの進化後のニューラルネットワーク（それぞれＤ、Ｅ、Ｆ）を得るとともに、当該３つの進化後のニューラルネットワークを捜索対象のニューラルネットワークライブラリに追加する。このとき、捜索対象のニューラルネットワークライブラリにはＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６つのニューラルネットワークが含まれていることを理解する必要がある。
上述したＲ個の複製後のニューラルネットワークの構造を修正することは、Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって実現できる。また、上述したＲ個の複製後のニューラルネットワークの構造を修正することは、Ｒ個の複製後のニューラルネットワークのニューロンの操作を変換することによって実現できる。また、上述したＲ個の複製後のニューラルネットワークの構造を修正することは、Ｒ個の複製後のニューラルネットワークのニューロンとＲ個の複製後のニューラルネットワークのニューロンのノード内の操作の両方を変換することによって実現できる。
上で図４Ａを参照する。図４Ａは、ニューロン内のノードの入力を変換することによってニューラルネットワークの構造を調整する模式図である。図４Ａに示すように、ニューラルネットワークの構造を調整する前に、ノード４の入力はノード１及びノード２の出力であり、ノード４の入力をノード１及びノード３の出力に調整することで、ニューラルネットワークの構造を調整し、ひいてはニューラルネットワークを進化させることができる。
図４Ｂを参照する。図４Ｂは、ニューラルネットワークのニューロンのノード内の操作を変換することによってニューラルネットワークの構造を調整する模式図である。図４Ｂに示すように、ノード４は、操作１（畳み込み）と操作２（プーリング）とを含み、操作２を何も行わないようにすることで、ニューラルネットワークの構造を調整し、ひいてはニューラルネットワークを進化させることができる。
２０３、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートし、上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークとする。
ニューラルネットワークの性能をよりよく評価するためには、第３段階訓練（即ち、第３所定値の周期数での訓練）が完了している場合には、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの訓練を継続する必要がある。ニューラルネットワーク捜索は、捜索対象のニューラルネットワークライブラリから性能の良いニューラルネットワークの構造を決定することを目的としているため、本開示の実施例は、第３段階訓練後に性能の良いニューラルネットワークに対して後続訓練を行う。このようにして、後続の捜索過程にかかる計算リソースを減少させ、捜索過程にかかる時間を短縮することができる。
上述したように、捜索対象のニューラルネットワークライブラリを取得した後、捜索対象のニューラルネットワークライブラリにＲ個の進化後のニューラルネットワークを増加することができるが、Ｒ個の進化後のニューラルネットワークは全て第３段階訓練を行ったものであり、つまりこれらＲ個の進化後のニューラルネットワークは第３所定値の周期数で訓練されたものである。なお、Ｒ個の進化後のニューラルネットワークを捜索対象のニューラルネットワークライブラリに追加する前に、捜索対象のニューラルネットワークライブラリに第３所定値の周期数で訓練されたニューラルネットワークが存在する。したがって、訓練データセットの認識精度の高い順に、捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワーク及びＲ個の進化後のニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークとする。
本開示の実施例では、Ｎは任意の正の整数であってもよいが、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数が決定されるので、Ｎは、予め設定された比率によって決定されてもよく、例えば、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数は１００個であり、予め設定された比率は５０％であり、即ち精度ランキングの上位５０％のニューラルネットワークを第２訓練対象ニューラルネットワークとし、つまりソートされた上位５０個のニューラルネットワークを第２訓練対象ニューラルネットワークとすることを理解する必要がある。
なお、以下では、Ｒ、Ｍ、Ｙなどの文字もあり、これらの文字はＮと同義であるため、説明を省略する。
２０４、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行う。
上述したように、第２訓練対象ニューラルネットワークは第３所定値の周期数で訓練されたものであり、第２訓練対象ニューラルネットワークに対して第２段階訓練を行うことにより、第１所定値の周期数で訓練されたニューラルネットワークを得ることができ、つまり、第２段階訓練において第３所定値との和が第１所定値に等しい周期数で訓練する。例えば、第１所定値が４０であり、第３所定値が２０である場合、第２段階訓練において周期数の２０で訓練する。
ニューラルネットワークを訓練することはニューラルネットワークの構造が変わらなく、訓練データセットに対するニューラルネットワークの認識精度が向上する。したがって、訓練データセットを用いて第２訓練対象ニューラルネットワークに対して第２段階訓練を行って得られたニューラルネットワークの性能は、第２訓練対象ニューラルネットワークの構造の性能をより正確に反映することができ、捜索正確率の向上に寄与する。
２０５、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとする。
上述したように、ニューラルネットワークに対する訓練の周期数が多いほど、ニューラルネットワークの性能に対する評価が正確になり、ひいては捜索正確率も向上するため、本開示の実施例では、ニューラルネットワーク捜索の目標訓練周期数を第１所定値と第２所定値の和とし、即ち捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを最大で第１所定値と第２所定値の和である周期数で訓練し、且つ第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることができる。
２０２〜２０４の処理を経て、捜索対象のニューラルネットワークライブラリ内の一部のニューラルネットワークが第１所定値の周期数で訓練されたため、第１所定値の周期数で訓練されたニューラルネットワークの訓練を継続する必要がある。「性能の悪いニューラルネットワークにかかる計算リソースと捜索時間を減少させる」というポリシーを継続的に用いて捜索し、訓練データセットに対する認識精度の高い順に、捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとする。ＭはＮに等しいことを選択可能である。
２０６、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第２所定値の周期数で訓練する第１段階訓練を行う。
本開示の実施例では、第１段階訓練において第２所定値の周期数で訓練する。訓練データセットを用いて第１訓練対象ニューラルネットワークに対して第１段階訓練を行うことにより、目標訓練周期数（即ち第１所定値と第２所定値の和）である周期数で訓練されたニューラルネットワークを得ることができる。
２０７、前記訓練データセットに対する認識精度の高い順に、前記第１段階訓練後のニューラルネットワークをソートし、上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとする。
２０１〜２０６の処理を経て、捜索対象のニューラルネットワークライブラリ内の一部のニューラルネットワークは、既に目標訓練周期数である周期数で訓練された、つまり、当該一部のニューラルネットワークは既にニューラルネットワーク捜索における訓練過程が完了する。
明らかに、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークが複数存在するかもしれない、且つこれらのニューラルネットワークのうち異なるニューラルネットワークの性能が異なるため、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークから性能ランキングが最も良いいくつかのニューラルネットワークを目標ニューラルネットワークとして選択することができ、即ち訓練データセットに対する認識精度の高い順に、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｙ個のニューラルネットワークを目標ニューラルネットワークとする。
本実施例は、捜索対象ニューラルネットワークに対して第３段階訓練、第２段階訓練、第１段階訓練を順次行うことにより、捜索対象ニューラルネットワークから捜索して目標ニューラルネットワークを得ることを実現する。ここで、第３段階訓練後に性能の良いニューラルネットワークに対して第２段階訓練を行い、及び第２段階訓練後に性能の良いニューラルネットワークに対して第１段階訓練を行うことにより捜索過程にかかる計算リソースと時間を大幅に減少させることができる。同時に、捜索対象のニューラルネットワークライブラリに進化後のニューラルネットワークを増加することにより、捜索効果を向上させることができる。
実施例（２）は、捜索対象ニューラルネットワークをランダムに生成してから目標ニューラルネットワークを得るまでの実現の過程を述べており、即ちランダムに生成された捜索対象ニューラルネットワークに対して順次に第３段階訓練、第２段階訓練、第１段階訓練を行い、目標ニューラルネットワークを得る。実際に適用する際には、より多くの訓練によって捜索正確率をさらに向上させる必要がある場合が多い。
図５を参照する。図５は、本開示の実施例（３）による別のニューラルネットワーク捜索の方法のフローチャートである。
５０１、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第１段階訓練を行った後、Ｘ回の反復を実行する。
本開示の実施例では、１回の反復は、順次、捜索対象のニューラルネットワークライブラリに、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲに等しいＳ個の進化後のニューラルネットワークを増加することと、訓練データセットに対する認識精度の高い順に、捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークとＳ個の進化後のニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークとし、同時に訓練データセットに対する認識精度の高い順に、捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークとすることと、訓練データセットを用いて第３訓練対象ニューラルネットワークに対して第２段階訓練を行い、及び訓練データセットを用いて第４訓練対象ニューラルネットワークに対して第１段階訓練を行うことと、を含む。
上記Ｘ回の反復は実施例（２）の２０６の後に実行され、各反復にはいずれも第１段階訓練を含み、つまり、各反復には第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワーク、即ち目標訓練周期数である周期数で訓練されたニューラルネットワークが生成される。
捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは目標訓練周期数である周期数で訓練されたら、当該ニューラルネットワークは訓練されなくなることを理解する必要がある。なお、各反復の過程において、捜索対象のニューラルネットワークライブラリにＳ個の進化後のニューラルネットワークが新たに増加され（Ｓ個の進化後のニューラルネットワークを得る実現の過程は、２０２ではＲ個の進化後のニューラルネットワークを得る実現の過程を参照する）、同時に、各反復において、第３訓練対象ニューラルネットワークに対して第２段階訓練が行われるため、各反復後に、ニューラルネットワークライブラリ内の、それぞれ第１所定値、第３所定値及び目標訓練周期数である周期数で訓練されたニューラルネットワークの数は変更される。
例えば、２０２を１回目の反復とし、２０３〜２０４を２回目の反復とし、２０５〜２０６を３回目の反復とし、５０１が実行するＸ回の反復は順次４回目の反復、５回目の反復、…、（Ｘ＋３）回目の反復である。
なお、２０５〜２０６は、３回目の反復において、性能の良い第１所定値の周期数で訓練されたニューラルネットワークに対して第１段階訓練を行うことのみを述べている。３回目の反復には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークに対して第２段階訓練を行う過程をさらに含むことを選択可能である。
ランダムに生成された捜索対象ニューラルネットワークの数が３２であり、第１所定値、第２所定値及び第３所定値がいずれも２０であり、Ｎ＝８であり、Ｍ＝４であり、Ｒ＝Ｓ＝１６であると仮定すれば、各反復の前に捜索対象のニューラルネットワークライブラリ内の、それぞれ周期数の２０、４０、６０で訓練されたニューラルネットワークの数は、下記表１を参照されたい。
Figure 2022502762
表１に示すように、３回目の反復から、以後の各反復では、周期数の６０で訓練された新たなニューラルネットワーク（即ち、目標訓練周期数である周期数で訓練されたニューラルネットワーク）が生成される。
上記の例のデータは単なる例示であって、本開示を限定するものではないことを理解する必要がある。
５０２、前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去する。
本実施例は、捜索対象のニューラルネットワークライブラリから捜索して性能の良いニューラルネットワークの構造を得るためであり、つまり、本実施例が解決するのは最適化の問題である。他の最適化方法に存在する局所最適化の問題のように、実施例（１）、実施例（２）及び５０１の方法を実施して捜索対象のニューラルネットワークライブラリから性能の良いニューラルネットワークの構造を捜索する過程においても、局所最適化の問題がある。
２０２で説明したように、訓練データセットに対する捜索対象ニューラルネットワークの認識精度が高いほど（以下、これらの捜索対象ニューラルネットワークを性能の良い捜索対象ニューラルネットワークと呼ぶ）、当該捜索対象ニューラルネットワークが進化のために選択される確率は大きくなる。各反復の後、捜索対象のニューラルネットワークライブラリ内の、性能の良い捜索対象ニューラルネットワークを選択して進化させ、したがって、各反復の後、目標ランキング内に属さない性能の良い捜索ニューラルネットワークは大きな確率で進化され、つまり、捜索対象のニューラルネットワークライブラリにおいて、最も性能の良い捜索対象ニューラルネットワーク（即ち大域最適化）以外に性能の良い捜索ニューラルネットワークを進化させて得られたニューラルネットワークの数は多くなる可能性があり、これにより、端末（ここでは本開示の実施例を実施する設備を指す）がその後の捜索過程で当該進化後のニューラルネットワークを捜索することに「打ち込む」可能性があり、ひいては捜索して性能の良いニューラルネットワークを得る確率を低下させ、捜索効果を低下させることを理解する必要がある。
上記の局所的最適化の問題を解決するために、本実施例は、Ｔ回の反復で訓練されなかったニューラルネットワークを捜索対象のニューラルネットワークライブラリから除去することにより、上記の局所的最適化の問題が捜索効果に与える影響を低減させ、ひいては捜索効果を向上させる。ここで、Ｔは正の整数であり、ＴはＸ未満である。
例えば、Ｔ＝１０と仮定し、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークＧが４回目の反復で訓練された後、次の１０回の反復で訓練されなかった（即ち５回目の反復から始まり、１４回目の反復が完了するまで、ニューラルネットワークＧは最後まで訓練されなかった）場合、１４回目の反復終了後に、ニューラルネットワークＧを捜索対象のニューラルネットワークライブラリから除去する。
２０２を１回目の反復とし、２０３〜２０４を２回目の反復とし、２０５〜２０６を３回目の反復とすることを選択可能であれば、以下の例を参照することができる。Ｔ＝１０と仮定し、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークＨが１回目の反復で訓練された後、次の１０回の反復で訓練されなかった（即ち２回目の反復から始まり、１１回目の反復が完了するまで、ニューラルネットワークＨは最後まで訓練されなかった）場合、１１回目の反復終了後に、ニューラルネットワークＨを捜索対象のニューラルネットワークライブラリから除去する。
可能な別の実現形態では、Ｔ＝２と仮定し、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークＫが１回目の反復で訓練された後、次の２回の反復で訓練されなかった（即ち２回目の反復から始まり、３回目の反復が完了するまで、ニューラルネットワークＫは最後まで訓練されなかった）場合、３回目の反復終了後に、ニューラルネットワークＫを捜索対象のニューラルネットワークライブラリから除去する。
本実施例は、捜索対象のニューラルネットワークライブラリ内の「長期間」訓練されなかったニューラルネットワーク（即ちＴ回の反復で訓練されなかったニューラルネットワーク）を捜索対象のニューラルネットワークライブラリから除去することにより、捜索中の局所的最適化の問題が捜索効果に与える悪影響を低減する。
当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの記載順序は、実行順序を厳密に限定して実施の過程を限定するものではなく、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
以上、本開示の実施例の方法について詳細に説明した。以下に本開示の実施例の装置を提供する。
図６は、本開示の実施例によるニューラルネットワーク捜索装置の構造を示す図であり、図６を参照すると、当該ニューラルネットワーク捜索装置６００は、捜索対象のニューラルネットワークライブラリと訓練データセットを取得するための取得ユニット１１と、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとするためのソートユニット１２と、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第２所定値の周期数で訓練する第１段階訓練を行うための訓練ユニット１３と、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとするための決定ユニット１４と、ニューラルネットワーク進化ユニット１５と、実行ユニット１６と、除去ユニット１７とを含む。
前記ソートユニット１２は、さらに、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとする前に、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークとするために用いられ、前記訓練ユニットは、さらに、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うために用いられる。
可能な一実施形態では、前記ニューラルネットワーク捜索装置６００は、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークとする前に、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加するためのニューラルネットワーク進化ユニット１５をさらに含み、前記ソートユニット１２は、具体的には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートし、且つ上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークとするために用いられる。
可能な別の実現形態では、前記ニューラルネットワーク捜索装置６００は、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第１段階訓練を行う後、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートし、且つ上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークとすることと、前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークに対して前記第２段階訓練を行い、及び前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行するための実行ユニット１６と、前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去するための除去ユニット１７と、をさらに含む。
可能なさらなる実現形態では、前記ニューラルネットワーク進化ユニット１５は、具体的には、前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、及び、Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得て、及び、前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得て、及び、前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加するために用いられる。
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられる。
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、前記標準層、前記削減層及び前記分類層は順次直列に接続され、前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、且つｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つである。
可能なさらなる実現形態では、前記ニューラルネットワーク進化ユニットは、具体的には、前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正し、及び／又は前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正するために用いられる。
可能なさらなる実現形態では、前記取得ユニット１１は、具体的には、捜索対象ニューラルネットワークを取得し、前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得るために用いられる。
可能なさらなる実現形態では、前記決定ユニット１４は、具体的には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとするために用いられる。
いくつかの実施例では、本開示の実施例による装置が有する機能又は含まれるモジュールは上記方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上記方法の実施例の説明を参照すればよく、簡潔化のために、ここで詳細な説明を省略する。
本開示の実施例は、上記方法を実行するためのプロセッサをさらに提案する。
本開示の実施例は、プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータ命令を含むコンピュータプログラムコードを記憶するためのメモリとを含み、前記プロセッサが前記コンピュータ命令を実行すると、上記方法を実行する電子機器をさらに提案する。
本開示の実施例は、前記プロセッサに上記方法を実行させるプログラム命令を含むコンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令は電子機器のプロセッサによって実行されると、上記の方法を実現させるコンピュータ可読記憶媒体がさらに提供される。当該コンピュータ読取可能記憶媒体は、不揮発性のコンピュータ読取可能記憶媒体又は揮発性のコンピュータ読取可能記憶媒体であってもよい。
本開示の実施例は、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは電子機器内で実行されると、前記電子機器のプロセッサが上記方法を実行させるコンピュータプログラムをさらに提案する。
図７は、本開示の実施例によるニューラルネットワーク捜索装置のハードウェア構造の模式図である。当該ニューラルネットワーク捜索装置７００は、プロセッサ２１と、メモリ２２と、入力装置２３と、出力装置２４とを含む。当該プロセッサ２１、メモリ２２、入力装置２３及び出力装置２４は、各種インタフェース、伝送線又はバスなどを含むコネクタを介して結合されており、本開示の実施例はこれについて限定しない。本開示の様々な実施例において、結合とは、直接接続又は他の設備を介した間接的な接続を含む特定の方法による相互接続を意味し、例えば、各種インタフェース、伝送線、バスなどを介して接続することができることを理解すべきである。
プロセッサ２１は、１つ以上のグラフィックスプロセッサ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）であってもよい。プロセッサ２１が１つのＧＰＵである場合、当該ＧＰＵは、シングルコアＧＰＵであってもよいし、マルチコアＧＰＵであってもよい。プロセッサ２１は、複数のＧＰＵからなるプロセッサ群であり、複数のプロセッサの間は１つ以上のバスを介して相互に結合されることを選択可能であっても良い。当該プロセッサは、他のタイプのプロセッサなどを選択可能であっても良く、本開示の実施例は限定しない。
メモリ２２は、コンピュータプログラム命令、及び本開示の方案を実行するためのプログラムコードを含む様々なコンピュータプログラムコードを記憶するために使用でき。メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、リードオンリーメモリ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＥＰＲＯＭ）、又はコンパクトディスクリードオンリーメモリ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）を選択可能に含むが、これらに限定されず、当該メモリは関連命令及びデータのために使用される。
入力装置２３は、データ及び／又は信号を入力するために用いられ、及び出力装置２４は、データ及び／又は信号を出力するために用いられる。入力装置２３及び出力装置２４は、独立したデバイスであってもよいし、一体のデバイスであってもよい。
本開示の実施例では、メモリ２２は、関連する命令を記憶するために用いることができるだけでなく、関連画像を記憶するために用いることもでき、例えば当該メモリ２２は、入力装置２３により取得された捜索対象ニューラルネットワークを記憶するために用いることができ、又は当該メモリ２２は、さらにプロセッサ２１により捜索して得られた目標ニューラルネットワークなどを記憶するために用いることができ、本開示の実施例は、当該メモリに具体的に記憶されたデータを限定するものではないと理解することができる。
図７は、ニューラルネットワーク捜索処理装置の簡略化された設計のみを示している。実際の応用では、ニューラルネットワーク捜索装置は、任意の数の入力／出力装置、プロセッサ、メモリなど必要な他の要素をそれぞれ含んでいてもよいが、これらに限定されなく、本開示の実施例を実現することができる全てのニューラルネットワーク捜索装置が本開示の範囲内にあると理解することができる。
当業者であれば、本明細書に開示された実施例に関連して説明された様々な例示的なユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現され得ることを認識するであろう。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術方案の特定の応用や設計制約条件に依存する。当業者は特定の応用ごとに異なる方法を用いて説明した機能を実現することができるが、この実現は本開示の範囲を超えているとは考えられない。
当業者には明らかなように、説明の容易さと簡潔さのために、上述したシステム、装置及びユニットの具体的な動作過程は、前述した方法の実施例における対応の過程を参照することができ、ここでは説明を省略する。当業者には明らかなように、本開示の各実施例はそれぞれに重点を置いて説明し、説明の容易さと簡潔さのために、異なる実施例において、同一又は類似の部分は説明が省略されている場合があり、したがって、ある実施例において説明されない又は詳細に説明されない部分は他の実施例の記載を参照することができる。
本開示によって提供されるいくつかの実施例において、開示されたシステム、装置及び方法は、他の方式によって実現されることが理解すべきである。例えば、上述した装置の実施例は例示的なものにすぎず、例えば、前記ユニットの分割は論理的な機能分割のみであり、実際に実現される場合には別の分割方式があってもよく、例えば、複数のユニット又はコンポーネントを集積したり、別のシステムに集積したり、一部の特徴を無視したり、実行しなかったりしてもよい。別の点として、表示又は議論された相互間の結合又は直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介した間接的な結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
分離部材として説明した前記ユニットは物理的に分離されていてもよいし、物理的に分離されていなくてもよく、ユニットとして表示される部材は物理的なユニットであってもよいし、物理的なユニットでなくてもよく、即ち１つの場所にあってもよいし、複数のネットワークユニットに分散されていてもよい。実際の需要に応じてその中の一部又は全部のユニットを選択して本実施例の手段の目的を達成することができる。
また、本開示の各実施例における各機能ユニットは、１つの処理ユニットに集積されていてもよいし、各処理ユニットが個別に物理的に存在していてもよいし、２つ以上の処理ユニットが１つの処理ユニットに集積されていてもよい。
上述した実施例において、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせにより、その全部又は一部を実現するようにしてもよい。ソフトウェアを用いて実現する場合には、その全部又は一部をコンピュータプログラム製品として実現してもよい。前記コンピュータプログラム製品は１つ以上のコンピュータ命令を含む。コンピュータ上で前記コンピュータプログラム命令がロードされて実行されると、その全部又は一部は、本開示の実施例に記載されたフロー又は機能を生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。前記コンピュータ命令は、コンピュータ読取可能記憶媒体に記憶されてもよいし、前記コンピュータ読取可能記憶媒体を介して伝送されてもよい。前記コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバ、又はデータセンタから、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ））又は無線（例えば、赤外線、無線、マイクロ波など）により、別のウェブサイト、コンピュータ、サーバ、又はデータセンタへ伝送されてもよい。前記コンピュータ読取可能記憶媒体は、コンピュータがアクセス可能な任意の利用可能な媒体であってもよいし、１つ以上の利用可能な媒体が集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えば、デジタルユニバーサルディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｉｓｋ、ＳＳＤ））などであってもよい。
論理に反しない場合は、本開示の異なる実施例の間で互いに結合されてもよく、異なる実施例は重点を置いて説明し、重点を置いて説明する部分は他の実施例の記載を参照することができる。
当業者は上記実施例の方法を実現するフローの全部又は一部を理解することができ、当該フローはコンピュータプログラムによって関連するハードウェアに命令して完成することができ、当該プログラムはコンピュータ読取可能記憶媒体に記憶されて、当該プログラムが実行されるとき、上記各方法の実施例のようなフローを含むことができる。また、前述した記憶媒体には、リードオンリーメモリ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）又はランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク、光ディスクなどのプログラムコードを記憶可能な各種媒体が含まれる。
本願は、２０１９年５月３１日に中国国家知識産権局に提出された、出願番号２０１９１０４７１３２３．１で、発明の名称「ニューラルネットワーク捜索方法及び装置」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本願に組み込まれる。

Claims (24)

  1. 捜索対象のニューラルネットワークライブラリと訓練データセットを取得することと、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとすることと、
    前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うことと、
    前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることと、を含むことを特徴とするニューラルネットワーク捜索方法。
  2. 前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとする前に、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることと、
    前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークセットに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うこととをさらに含むことを特徴とする請求項１に記載の方法。
  3. 前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとする前に、
    前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加することをさらに含み、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることは、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートして第３ニューラルネットワーク系列セットを得て、前記第３ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークセットとすることを含むことを特徴とする請求項２に記載の方法。
  4. 前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第１段階訓練を行う後、
    前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートして第４ニューラルネットワーク系列セットを得て、前記第４ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークセットとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークセットとすることと、
    前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークセットに対して前記第２段階訓練を行い、前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークセットに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行すること、及び、
    前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去することをさらに含むことを特徴とする請求項３に記載の方法。
  5. 前記捜索対象のニューラルネットワークライブラリにＲ個の進化後のニューラルネットワークを増加することは、
    前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、Ｒ個の複製後のニューラルネットワークを得ることと、
    前記Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得ることと、
    前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得ることと、
    前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加することとを含むことを特徴とする請求項３又は４に記載の方法。
  6. 前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられることを特徴とする請求項５に記載の方法。
  7. 前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、
    前記標準層、前記削減層及び前記分類層は順次直列に接続され、
    前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、
    前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、
    前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、
    前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、ｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、
    前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、
    前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つであることを特徴とする請求項６に記載の方法。
  8. 前記Ｒ個の複製後のニューラルネットワークの構造を修正することは、
    前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正すること、及び／又は
    前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正することを含むことを特徴とする請求項６に記載の方法。
  9. 前記捜索対象のニューラルネットワークライブラリを取得することは、
    捜索対象ニューラルネットワークを取得することと、
    前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得ることとを含むことを特徴とする請求項５〜８のいずれか１項に記載の方法。
  10. 前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることは、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとすることを含むことを特徴とする請求項１〜４及び６〜８のいずれか１項に記載の方法。
  11. 捜索対象のニューラルネットワークライブラリと訓練データセットを取得するための取得ユニットと、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとするためのソートユニットと、
    前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うための訓練ユニットと、
    前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとするための決定ユニットと、を含むことを特徴とするニューラルネットワーク捜索装置。
  12. 前記ソートユニットは、さらに、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとする前に、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとするために用いられ、
    前記訓練ユニットは、さらに、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークセットに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うために用いられることを特徴とする請求項１１に記載の装置。
  13. 前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとする前に、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加するためのニューラルネットワーク進化ユニットをさらに含み、
    前記ソートユニットは、具体的には、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークセットとするために用いられることを特徴とする請求項１２に記載の装置。
  14. 前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第１段階訓練を行う後、
    前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートして第４ニューラルネットワーク系列セットを得て、前記第４ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークセットとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークセットとすることと、
    前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークセットに対して前記第２段階訓練を行い、前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークセットに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行するための実行ユニットと、
    前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去するための除去ユニットをさらに含むことを特徴とする請求項１３に記載の装置。
  15. 前記ニューラルネットワーク進化ユニットは、具体的には、
    前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、Ｒ個の複製後のニューラルネットワークを得て、
    前記Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得て、
    前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得て、
    前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加するために用いられることを特徴とする請求項１３又は１４に記載の装置。
  16. 前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられることを特徴とする請求項１５に記載の装置。
  17. 前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、
    前記標準層、前記削減層及び前記分類層は順次直列に接続され、
    前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、
    前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、
    前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、
    前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、ｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、
    前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、
    前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つであることを特徴とする請求項１６に記載の装置。
  18. 前記ニューラルネットワーク進化ユニットは、具体的には、
    前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正し、及び／又は
    前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正するために用いられることを特徴とする請求項１６に記載の装置。
  19. 前記取得ユニットは、具体的には、
    捜索対象ニューラルネットワークを取得し、
    前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得るために用いられることを特徴とする請求項１５〜１８のいずれか１項に記載の装置。
  20. 前記決定ユニットは、具体的には、
    前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとするために用いられることを特徴とする請求項１１〜１４及び１６〜１８のいずれか１項に記載の装置。
  21. 請求項１〜１０のいずれか１項に記載の方法を実行するために用いられることを特徴とするプロセッサ。
  22. プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータ命令を含むコンピュータプログラムコードを記憶するためのメモリとを含み、前記プロセッサが前記コンピュータ命令を実行すると、請求項１〜１０のいずれか１項に記載の方法を実行することを特徴とする電子機器。
  23. プログラム命令を含むコンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムが電子機器のプロセッサにより実行されると、前記プロセッサに請求項１〜１０のいずれか１項に記載の方法を実行させることを特徴とするコンピュータ読取可能記憶媒体。
  24. コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは電子機器内で実行されると、前記電子機器内のプロセッサに請求項１〜１０のいずれか１項に記載の方法を実行させることを特徴とするコンピュータプログラム。
JP2021516876A 2019-05-31 2019-11-08 ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム Active JP7168772B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910471323.1 2019-05-31
CN201910471323.1A CN110188878A (zh) 2019-05-31 2019-05-31 神经网络搜索方法及装置
PCT/CN2019/116623 WO2020238039A1 (zh) 2019-05-31 2019-11-08 神经网络搜索方法及装置

Publications (2)

Publication Number Publication Date
JP2022502762A true JP2022502762A (ja) 2022-01-11
JP7168772B2 JP7168772B2 (ja) 2022-11-09

Family

ID=67719521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021516876A Active JP7168772B2 (ja) 2019-05-31 2019-11-08 ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US20210216854A1 (ja)
JP (1) JP7168772B2 (ja)
CN (1) CN110188878A (ja)
SG (1) SG11202102972PA (ja)
TW (1) TWI751458B (ja)
WO (1) WO2020238039A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188878A (zh) * 2019-05-31 2019-08-30 北京市商汤科技开发有限公司 神经网络搜索方法及装置
US11640552B2 (en) * 2019-10-01 2023-05-02 International Business Machines Corporation Two stage training to obtain a best deep learning model with efficient use of computing resources
CN111126564B (zh) * 2019-11-27 2023-08-08 东软集团股份有限公司 一种神经网络结构搜索方法、装置及设备
CN111178316B (zh) * 2020-01-06 2022-04-15 武汉大学 一种高分辨率遥感影像土地覆盖分类方法
CN111382868B (zh) * 2020-02-21 2024-06-18 华为技术有限公司 神经网络结构搜索方法和神经网络结构搜索装置
CN112489012A (zh) * 2020-11-27 2021-03-12 大连东软教育科技集团有限公司 一种用于ct图像识别的神经网络架构方法
CN114925739B (zh) * 2021-02-10 2023-11-03 华为技术有限公司 目标检测方法、装置和系统
CN113239077B (zh) * 2021-07-12 2021-10-26 深圳市永达电子信息股份有限公司 一种基于神经网络的搜索方法、系统和计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置
US20190065994A1 (en) * 2017-08-23 2019-02-28 Boe Technology Group Co., Ltd. Deep learning-based image recognition method and apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775341B1 (en) * 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9208432B2 (en) * 2012-06-01 2015-12-08 Brain Corporation Neural network learning and collaboration apparatus and methods
CN105678380A (zh) * 2016-01-08 2016-06-15 浙江工业大学 一种基于小生境和自适应负相关学习的进化神经网络集成方法
CN108229280B (zh) * 2017-04-20 2020-11-13 北京市商汤科技开发有限公司 时域动作检测方法和系统、电子设备、计算机存储介质
CN110188878A (zh) * 2019-05-31 2019-08-30 北京市商汤科技开发有限公司 神经网络搜索方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065994A1 (en) * 2017-08-23 2019-02-28 Boe Technology Group Co., Ltd. Deep learning-based image recognition method and apparatus
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置

Also Published As

Publication number Publication date
JP7168772B2 (ja) 2022-11-09
US20210216854A1 (en) 2021-07-15
TW202046184A (zh) 2020-12-16
TWI751458B (zh) 2022-01-01
SG11202102972PA (en) 2021-04-29
WO2020238039A1 (zh) 2020-12-03
CN110188878A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
JP2022502762A (ja) ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム
WO2022161380A1 (zh) 一种训练模型的方法、图像检索的方法以及装置
CN108416327B (zh) 一种目标检测方法、装置、计算机设备及可读存储介质
CN111932445A (zh) 对风格迁移网络的压缩方法及风格迁移方法、装置和系统
CN111462137A (zh) 一种基于知识蒸馏和语义融合的点云场景分割方法
WO2023273668A1 (zh) 图像分类方法、装置、设备、存储介质及程序产品
CN111563192A (zh) 实体对齐方法、装置、电子设备及存储介质
CN109726822B (zh) 运算方法、装置及相关产品
CN111125396B (zh) 一种单模型多分支结构的图像检索方法
CN109344969B (zh) 神经网络系统及其训练方法以及计算机可读介质
JP7085600B2 (ja) 画像間の類似度を利用した類似領域強調方法およびシステム
EP3955256A1 (en) Non-redundant gene clustering method and system, and electronic device
CN111340179A (zh) 一种卷积神经网络拓扑方法
CN114219824A (zh) 基于深度网络的可见光-红外目标跟踪方法及系统
CN111914950A (zh) 基于深度对偶变分哈希的无监督跨模态检索模型训练方法
CN115935238A (zh) 基于轻量级卷积网络的手势识别分类方法及装置
Wang et al. Model pruning based on quantified similarity of feature maps
WO2020264335A1 (en) Neural network layer-by-layer debugging
CN115249313A (zh) 一种基于元模块融合增量学习的图像分类方法
CN112132281B (zh) 一种基于人工智能的模型训练方法、装置、服务器及介质
CN111931939A (zh) 一种单振幅量子计算模拟方法
US11276249B2 (en) Method and system for video action classification by mixing 2D and 3D features
KR20200023673A (ko) 백내장 진단을 위한 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크
CN117274754A (zh) 梯度匀质化的点云多任务融合方法
CN110717539A (zh) 基于人工智能的降维模型训练方法、检索方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221027

R150 Certificate of patent or registration of utility model

Ref document number: 7168772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150