JP2020119506A - メタ学習のために残差ネットワークが提供されるｃｎｎのパラメータを調整するための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ａｄｊｕｓｔｉｎｇ ｐａｒａｍｅｔｅｒｓ ｏｆ ｃｎｎ ｉｎ ｗｈｉｃｈ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋｓ ａｒｅ ｐｒｏｖｉｄｅｄ ｆｏｒ ｍｅｔａ ｌｅａｒｎｉｎｇ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ - Google Patents

メタ学習のために残差ネットワークが提供されるｃｎｎのパラメータを調整するための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ａｄｊｕｓｔｉｎｇ ｐａｒａｍｅｔｅｒｓ ｏｆ ｃｎｎ ｉｎ ｗｈｉｃｈ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋｓ ａｒｅ ｐｒｏｖｉｄｅｄ ｆｏｒ ｍｅｔａ ｌｅａｒｎｉｎｇ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ Download PDF

Info

Publication number
JP2020119506A
JP2020119506A JP2019212164A JP2019212164A JP2020119506A JP 2020119506 A JP2020119506 A JP 2020119506A JP 2019212164 A JP2019212164 A JP 2019212164A JP 2019212164 A JP2019212164 A JP 2019212164A JP 2020119506 A JP2020119506 A JP 2020119506A
Authority
JP
Japan
Prior art keywords
layers
convolution
sub
learning
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019212164A
Other languages
English (en)
Other versions
JP6938049B2 (ja
Inventor
金桂賢
Kye-Hyeon Kim
金鎔重
Yongjoong Kim
金寅洙
Insu Kim
金鶴京
Hak-Kyoung Kim
南雲鉉
Woonhyun Nam
夫碩▲くん▼
Sukhoon Boo
成明哲
Myungchul Sung
呂東勳
Donghun Yeo
柳宇宙
Wooju Ryu
張泰雄
Taewoong Jang
鄭景中
Kyungjoong Jeong
諸泓模
Hongmo Je
趙浩辰
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119506A publication Critical patent/JP2020119506A/ja
Application granted granted Critical
Publication of JP6938049B2 publication Critical patent/JP6938049B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】学習する方法を学習するメタ学習のためのＣＮＮ基盤の学習方法を提供する。【解決手段】学習装置は、イメージまたはこれに対応する入力特徴マップにコンボリューション演算を適用することにより出力特徴マップを生成するコンボリューションレイヤと、コンボリューションレイヤまたはこれに該当するサブコンボリューションレイヤを迂回してイメージまたはこれに対応する入力特徴マップを次のコンボリューションレイヤにフィードフォワードする残差ネットワークと、を含む。方法は、残差ネットワークの中からドロップアウトされる残差ネットワークを選択し、イメージを残差ネットワークがドロップアウトされた変形ＣＮＮに入力してＣＮＮ出力を生成し、ＣＮＮ出力及びそれに対応するＧｒｏｕｎｄ Ｔｒｕｔｈを用いてロスを算出し、変形ＣＮＮのパラメータを調整する。【選択図】図５

Description

本発明は、メタ学習（Ｍｅｔａ Ｌｅａｒｎｉｎｇ）、すなわち、学習する方法を学習するためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の学習方法に関し； より詳細には、（ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）含む学習装置を利用した前記ＣＮＮ基盤の学習方法において、（ａ）前記入力イメージが取得されると、前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセスを遂行する段階；（ｂ）（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することで、調整されたエンコード済み出力特徴マップを生成し、 （ｉｉ）前記調整されたエンコード出力特徴マップを用いてＣＮＮ出力を生成する段階；及び（ｃ）前記ＣＮＮ出力及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いて一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整する段階； を含むことを特徴とする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置に関する。
ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）は、物やデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別することができる。このため「機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）」という方法が考案された。これはコンピュータをもって入力された多くのデータから類似した物を分類するようにさせる技術である。格納されている犬の写真と似たような写真が入力されれば、これを犬の写真だとコンピュータが分類するようにしたのである。
データをいかに分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的だ。このうち、ディープラーニングは人工神経網の後裔だ。
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは、機械学習分野で非常に有用なツールとなった。
イメージセグメンテーション（Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）は、入力としてイメージを受けて、出力としてラベリングされたイメージを生成する方法である。最近、ディープランニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技術が脚光を浴びて、セグマンテーションでもディープラーニングを多く使う傾向にある。従来の技術によれば、前記イメージセグマンテーションは（ｉ）入力イメージに一つ以上のコンボリューション演算を適用することで特徴ベクトルを生成し、（ｉｉ）前記特徴ベクトルに一つ以上のＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）演算を適用することでラベルイメージを生成して遂行される。他の従来の技術によれば、エンコーダ・デコーダ（Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ）構成は、エンコーダを利用して入力イメージから特徴を抽出し、デコーダを利用してラベルイメージを復元するために考案された。
図１は、一般的なＣＮＮを利用してセグメンテーションを遂行するプロセスを図示した図面である。
図１を参照すれば、従来の車線の検出方法によれば、学習装置は入力イメージを受けて、多数のコンボリューションレイヤにおいて、多数のコンボリューション演算及びＲｅＬＵのような非線形演算を前記入力イメージに適用することで多数の特徴マップを取得して、多数のデコンボリューションレイヤにおいて多数のデコンボリューション演算及びソフトマックス（Ｓｏｆｔｍａｘ）演算を、前記特徴マップに適用することによって、セグメンテーション結果を得る。
図２ａ及び図２ｂは、ニューラルネットワーク内のドロップアウト（Ｄｒｏｐｏｕｔ）を示した図面である。
前記ドロップアウトは、ＦＣレイヤでよく利用され、前記ＦＣレイヤの全てのノードはつながっているため、過剰適合（Ｏｖｅｒｆｉｔｔｉｎｇ）が頻発する問題がある。例えば、犬を識別する学習プロセスを遂行する上で、トレーニングイメージが白の犬のイメージを含む場合、白の犬だけが犬に識別され得る。これは、前記トレーニングイメージの数が少なかったり、ネットワークの容量が大きかったりするために発生する問題である。
図２ａ及び図２ｂは、それぞれドロップアウトのないニューラルネットワークの構成及びドロップアウトが存在するニューラルネットワークの構成を示した図面である。ドロップアウトは、前述した問題を解決するために導入された方法の一つである。図２ａは、二つのＦＣレイヤを有するニューラルネットワークの構成を示したものである。図２ａを参照すれば、一つのＦＣレイヤ内のノードそれぞれの値は、それぞれに対応される重み付け値を（ｉ）各入力の要素値のそれぞれに、又は（ｉｉ）以前ＦＣレイヤ内の各ノードの要素値のそれぞれに適用して算出される。
図２ｂは、一部のノードがドロップアウトされるニューラルネットワークの構成を示した図面である。この際、前記ニューラルネットワークは、一つ以上のＦＣレイヤ内の一つ以上の任意のノードがドロップアウトされる学習プロセスを遂行する。図２ｂで、「Ｘ」で示されたノードは、ドロップアウトされたノードである。
このように、全体重み付け値が学習プロセスに寄与するのではなく、一部のノードだけが学習プロセスに寄与される。選択されるノードは各学習プロセスごとに任意に変更される。
しかし、ニューラルネットワークの各レイヤ内部のノードをドロップアウトすることなく、一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）を利用して学習プロセスの性能向上のための方法が要求される。
本発明は、前述した問題点を全て解決することを目的とする。
本発明は、レイヤ内の一部のノードをドロップアウトすることなく、レイヤ自体にドロップアウトを適用し得る方法を提供することを他の目的とする。
また、本発明は、学習データ量を増加させたり、特徴の数を減少させることなく、過剰適合問題を解決するための方法を提供することをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
本発明の一態様によれば、（ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）含む学習装置を利用したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤学習方法において、（ａ）前記学習装置が、前記入力イメージが取得されると、前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセスを遂行する段階；（ｂ）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することにより、調整されたエンコード出力特徴マップを生成し、（ｉｉ）前記調整されたエンコード済み出力特徴マップを用いてＣＮＮ出力を生成する段階；及び（ｃ）前記学習装置が前記ＣＮＮ出力及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いて一つ以上のロスを計算し、前記ロスをバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記変形ＣＮＮの少なくとも一つパラメータを調整する段階；を含むことを特徴とする学習方法が提供される。
一例として、前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（ａ）段階で、前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択される。
一例として、前記（ａ）ないし（ｃ）段階は、同一の入力イメージを利用して、繰り返して遂行される。
一例として、前記学習装置は、（ｉ）前記調整されたエンコード済み出力特徴マップまたはそれに対応する調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上の調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、前記（ａ）段階で、前記学習装置は、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記特定の残差ネットワーク及び少なくとも一つの特定の中間レイヤを任意に選択するプロセスを遂行し、前記（ｂ）段階で、前記学習装置は、前記特定の残差ネットワーク及び前記特定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御する。
一例として、 前記学習装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（ａ）段階で、ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択される。
一例として、前記中間レイヤの少なくとも一つは、膨張コンボリューション（Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤである。
一例として、前記（ｃ）段階において、前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整する。
本発明の他の態様によれば、 ＣＮＮを基盤にテストイメージをテスティングする方法において、（ａ）学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前記学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングのイメージを入力することで、学習用調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを利用して学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つのパラメータを調整した状態で、テスティング装置が前記テストイメージを取得する段階；及び（ｂ）前記テスティング装置が前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用してテスト用ＣＮＮ出力を生成する段階；を含むことを特徴とするテスティング方法が提供される。
一例として、前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（１）プロセスで、前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択される。
一例として、前記（１）ないし（３）プロセスは、同一のトレーニングイメージを利用して、繰り返して遂行される。
一例として、前記テスティング装置は、（ｉ）前記テストイメージもしくはそれに対応する一つ以上のテスト用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に前記テスト用エンコード済み出力特徴マップを生成する前記コンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記テストイメージまたはそれに対応する前記テスト用エンコード済み入力特徴マップをこれに対応する次のコンボリューションレイヤへフィードフォワードするための前記残差ネットワークを含む状態で、前記（ｂ）段階で、前記テスティング装置は、（ｂ−ｉ）前記残差ネットワークの中から、ドロップアウトされる所定の残差ネットワークを任意に選択するプロセスを遂行し、（ｂ−ｉｉ）前記所定の残差ネットワークがドロップアウトされた前記変形ＣＮＮに前記テストイメージを入力することで、テスト用調整されたエンコード済み出力特徴マップを生成し、前記テスト用調整されたエンコード済み出力特徴マップを利用して、テスト用ＣＮＮ出力を生成する。
一例として、前記テスティング装置は、（ｉ）前記テスト用調整されたエンコード済み出力特徴マップまたはそれに対応するテスト用調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上のテスト用調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、前記（ｂ−ｉ）段階において、前記テスティング装置は、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記所定の残差ネットワーク及び少なくとも一つの所定の中間レイヤを任意に選択するプロセスを遂行し、前記（ｂ−ｉｉ）段階において、前記テスティング装置は、前記特定の残差ネットワーク及び前記所定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御する。
一例として、前記テスティング装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記テスト用調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（ｂ−ｉ）段階において、ドロップアウトされる少なくとも一つの所定の中間レイヤ及び少なくとも一つの所定のサブ残差ネットワークは、前記Ｋ個の中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択される。
一例として、前記中間レイヤの少なくとも一つは膨張コンボリューションレイヤである。
一例として、前記（３）プロセスにおいて、前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整する。
本発明のまた他の態様によれば、（ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）含む学習装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセス、（ＩＩ）（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することで、調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記調整されたエンコード出力特徴マップを用いてＣＮＮ出力を生成するプロセス、及び（ＩＩＩ）前記ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が提供される。
一例として、前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（Ｉ）プロセスで、前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択される。
一例として、前記（Ｉ）ないし（ＩＩＩ）プロセスは、同一の入力イメージを利用して、繰り返して遂行される。
一例として、前記学習装置は、（ｉ）前記調整されたエンコード済み出力特徴マップまたはそれに対応する調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上の調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、前記（Ｉ）プロセスで、前記プロセッサは、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記特定の残差ネットワーク及び少なくとも一つの特定の中間レイヤを任意に選択するプロセスを遂行し、前記（ＩＩ）プロセスで、前記学習プロセッサは、前記特定の残差ネットワーク及び前記特定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御する。一例として、 前記学習装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（Ｉ）プロセスで、ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択される。
一例として、前記中間レイヤの少なくとも一つは、膨張コンボリューション（Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤである。
一例として、前記（ＩＩＩ）プロセスにおいて、前記プロセッサは、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整する。
本発明のまた他の態様によれば、ＣＮＮを基盤にテストイメージをテスティングするテスティング装置において、各インストラクションを格納する少なくとも一つのメモリ；及び学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前記学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングのイメージを入力することで、学習用調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを利用して学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整した状態で、 前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用して、テスト用ＣＮＮ出力を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が提供される。
一例として、前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（１）プロセスで、前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択される。
一例として、前記（１）ないし（３）プロセスは、前記同一のトレーニングイメージを利用して、繰り返して遂行される。
一例として、前記テスティング装置は、（ｉ）前記テストイメージもしくはそれに対応する一つ以上のテスト用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に前記テスト用エンコード済み出力特徴マップをそれぞれ生成する前記コンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれている前記サブコンボリューションレイヤの中の少なくとも一つを迂回して、前記テストイメージまたはそれに対応する前記テスト用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための前記残差ネットワークを含む状態で、前記プロセッサは、（Ｉ）前記残差ネットワークの中から、ドロップアウトされる所定の残差ネットワークを任意に選択するプロセス、（ＩＩ）前記所定の残差ネットワークがドロップアウトされた前記変形ＣＮＮに前記テストイメージを入力することで、テスト用調整されたエンコード済み出力特徴マップを生成し、前記テスト用調整されたエンコード済み出力特徴マップを利用して、前記テスト用ＣＮＮ出力を生成するプロセスを遂行する。
一例として、前記テスティング装置は、（ｉ）前記テスト用調整されたエンコード済み出力特徴マップまたはそれに対応するテスト用調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上のテスト用調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、前記（Ｉ）プロセスで、前記プロセッサは、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記所定の残差ネットワーク及び少なくとも一つの所定の中間レイヤを任意に選択し、前記（ＩＩ）プロセスで、前記学習プロセッサは、前記所定の残差ネットワーク及び前記所定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御する。
一例として、前記テスティング装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記テスト用調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、（ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、前記（Ｉ）プロセスで、ドロップアウトされる少なくとも一つの所定の中間レイヤ及び少なくとも一つの所定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択される。
一例として、前記中間レイヤの少なくとも一つは膨張コンボリューションレイヤである。
一例として、前記（３）プロセスにおいて、前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整する。
本発明によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の中の一部レイヤを任意にドロップアウトして、学習能力を向上させ得る効果がある。
また、本発明によれば、多様な特徴マップを利用して学習プロセスを遂行し得る効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
従来のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用してセグメンテーションを遂行するプロセスを簡略的に示した図面である。 ドロップアウトのないニューラルネットワークの構成を示した図面である。 ドロップアウトが存在するニューラルネットワークの構成を示した図面である。 は、本発明による残差ネットワーク（Ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ）及びブリッジレイヤを含むＣＮＮの構成を示した図面である。 は、図３において参照番号４００として示されたコンボリューションレイヤ内の多数の残差ネットワーク構成を示した図面である。 は、本発明に係る一つ以上のレイヤをドロップアウトして学習するプロセスを示したフローチャートである。 は、本発明に係る一つ以上の残差ネットワーク及び一つ以上のブリッジレイヤがドロップアウトされた変形ＣＮＮを示した図面である。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに分類され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得り、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図３は、本発明に係る残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）及びブリッジレイヤー（Ｂｒｉｄｇｅ Ｌａｙｅｒ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の構成を示した図面である。
図３を参照すれば、本発明に係るコンボリューションニューラルネットワーク、つまり、ＣＮＮに基盤した学習装置は、第１コンボリューションレイヤ（１００＿１）、第２コンボリューションレイヤ（１００＿２）、．．． 、第Ｎコンボリューションレイヤ（１００＿Ｎ）、及び第Ｎデコンボリューションレイヤ（２００＿Ｎ）、．．． 、第２デコンボリューションレイヤ（１００＿２）、第１デコンボリューションレイヤ（２００＿１）を含む。そして、中間レイヤ、すなわち前記ブリッジレイヤは、各コンボリューションレイヤと、それに対応するデコンボリューションレイヤとの間に存在する。一方、本発明に係る前記ＣＮＮ前記構成において、前記ブリッジレイヤは必須的な構成要素ではない。第１ブリッジレイヤ（３００＿１）は、前記第１コンボリューションレイヤ（１００＿１）と、前記第１デコンボリューションレイヤ（２００＿１）との間に位置する。第２ブリッジレイヤ（３００＿１）は、前記第２コンボリューションレイヤ（１００＿１）と、前記第２デコンボリューションレイヤ（２００＿１）との間に位置する。第Ｎブリッジレイヤ（３００＿Ｎ）は、前記第Ｎコンボリューションレイヤ（１００＿Ｎ）と、前記第Ｎデコンボリューションレイヤ（２００＿Ｎ）との間に位置し、その他もこれと類似する。また、それぞれの前記コンボリューションレイヤは、前記コンボリューションレイヤのうち、少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、入力イメージまたはこれに対応されるエンコード済み入力特徴マップをこれに対応される次のコンボリューションレイヤにフィードフォワード（Ｆｅｅｄ Ｆｏｒｗａｒｄ）し得るそれぞれの残差ネットワーク（１１０＿１ないし１１０＿Ｎ）を含む。
図３では、前記残差ネットワーク（１１０＿１ないし１１０＿Ｎ）それぞれは、それに対応するコンボリューションレイヤと、それに対応するデコンボリューションレイヤとの間に位置するものと示されているが、これは簡略的に示したものである。前記残差ネットワークの中の一つの構成は、図４を参照して詳細に説明されるであろう。また、図３では示さなかったものの、サブデコンボリューションレイヤの中の少なくとも一つを迂回する前記残差ネットワークの少なくとも一つは、それぞれの前記デコンボリューションレイヤ内にも存在し得る。一方、前記ブリッジレイヤは、膨張コンボリューション（Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤであり得る。
図４は、図３でコンボリューションレイヤ、つまり、参照番号４００として示されたレイヤ内で前記残差ネットワークの構成を示した図面である。
図４は、三つのサブコンボリューションレイヤ（１００＿３＿ａ，１００＿３＿ｂ，１００＿３＿ｃ）及び三つのＲｅＬＵレイヤが配置されている前記第３コンボリューションレイヤ（１００＿３）の構成を示した図面である。つまり、前記第３コンボリューションレイヤ（１００＿３）内で、前記第１サブコンボリューションレイヤ（１００＿３＿ａ）、第１ＲｅＬＵレイヤ、前記第２サブコンボリューションレイヤ（１００＿３＿ｂ）、第２ＲｅＬＵレイヤ、前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）、及び第３ＲｅＬＵレイヤが順次に配置されている。
そして、前記第３コンボリューションレイヤ（１００＿３）は（ｉ）前記第１サブコンボリューションレイヤ（１００＿３＿ａ）、前記第１ＲｅＬＵ、前記第２サブコンボリューションレイヤ（１００＿３＿ｂ）、前記第２ＲｅＬＵ及び前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）を迂回して、前記第２コンボリューションレイヤ（１００＿２）から出力された第２エンコード済み出力特徴マップをフィードフォワードする第１残差ネットワーク（１１０＿３＿ａ）、 （ｉｉ）前記第２サブコンボリューションレイヤ（１００＿３＿ｂ）、前記第２ＲｅＬＵ及び前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）を迂回して、前記第１ＲｅＬＵから出力された第１非線形出力特徴マップをフィードフォワードする第２残差ネットワーク（１１０＿３＿ｂ）、及び（ｉｉｉ）前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）を迂回して、前記第２ＲｅＬＵから出力された第２非線形出力特徴マップをフィードフォワードする第３残差ネットワーク（１１０＿３＿ｃ）を含み得る。
前記第３ＲｅＬＵの入力端において、（ｉ）前記第２コンボリューションレイヤ（１００＿２）から出力された前記第２エンコード済み出力特徴マップ、（ｉｉ）前記第１ＲｅＬＵから出力された前記第１非線形出力特徴マップ、（ｉｉｉ）前記第２ＲｅＬＵから出力された前記第２非線形出力特徴マップ、及び（ｉｖ）前記第３サブコンボリューションレイヤ（１００＿３＿ｃ）から出力された特徴マップはコンカチネート（Ｃｏｎｃａｔｅｎａｔｅ）される。そして、前記コンカチネートされた特徴マップは前記第３ＲｅＬＵに入力されることにより、第３非線形出力特徴マップを生成する。この際、前記第３非線形出力特徴マップは、第３エンコード済み出力特徴マップの役割を果たし得る。前記第３エンコード済み出力特徴マップは前記第３ブリッジレイヤ（３００＿３）を経て、前記第３デコンボリューションレイヤに伝達され得る。
そして、前記ＲｅＬＵレイヤの位置と迂回経路とは、ネットワーク設計によって様々に変更され得る。
これらの構成により、様々な特徴マップ、つまり、すべての前記サブコンボリューションレイヤを経て生成された特徴マップ、二つのサブコンボリューションレイヤを経て生成された特徴マップ、一つのサブコンボリューションレイヤのみを経て生成された特徴マップ、及びサブコンボリューションレイヤを経ることなく生成された特徴マップが利用され得る。
図５は、本発明に係る一つ以上のレイヤをドロップアウトして学習するプロセスを示したフローチャートである。
図５を参照して本発明に係る一つ以上のレイヤをドロップアウトして前記ＣＮＮを学習するプロセスを説明すると次のとおりである。まず、入力イメージ、例えば、トレーニングイメージが前記学習装置に入力されると、前記学習装置は、前記残差ネットワーク及び前記ブリッジレイヤの中から、ドロップアウトされる特定の残差ネットワーク及び特定ブリッジレイヤを任意に選択する（Ｓ０１）。
そして、前記学習装置は、前記特定の残差ネットワーク及び前記特定ブリッジレイヤがドロップアウトされた変形ＣＮＮを構成する（Ｓ０２）。
図６は、本発明に係る一つ以上の残差ネットワーク及び一つ以上のブリッジレイヤがドロップアウトされた変形ＣＮＮを示した図面である。
図６を参照すれば、前記第３コンボリューションレイヤ（１００＿３）内で、第１残差ネットワーク（１１０＿３＿ａ）及び第２残差ネットワーク（１１０＿３＿ｂ）は、ドロップアウトされる前記特定の残差ネットワークとして選択され、前記第（１−４）コンボリューションレイヤ（１００＿４）内で、第１残差ネットワーク（１１０＿４＿ａ）及び第３残差ネットワーク（１１０＿４＿ｃ）は、ドロップアウトされる前記特定の残差ネットワークとして選択される。そして、前記第４ブリッジレイヤ（３００＿４）も、ドロップアウトされる前記特定ブリッジレイヤとして選択される。つまり、図６で示したように、前記変形ＣＮＮは、「Ｘ」で示された経路やレイヤがドロップアウトされるように構成される。
前記学習装置全体を考慮すれば、例えば、それぞれのＮ個の前記コンボリューションレイヤ及びそれぞれのＮ個の前記デコンボリューションレイヤは、それぞれＬ個のサブコンボリューションレイヤ及びＬ個のサブデコンボリューションレイヤを含む。それぞれの前記Ｎ個のコンボリューションレイヤ及びそれぞれの前記Ｎ個のデコンボリューションレイヤは、前記Ｌ個のサブコンボリューションレイヤの少なくとも一つ及び前記Ｌ個のサブデコンボリューションレイヤの少なくとも一つが、それぞれ迂回されるそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含む。そして、前記Ｓ０２段階において、前記中間レイヤの数がＫ個である場合、Ｋ個の前記中間レイヤ及び（２ｘＮｘＭ）個の前記サブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークが任意に選択される。
他の例として、前記Ｓ０２段階において、ドロップアウトされる前記レイヤとして前記残差ネットワークのみが選択され得る。
例えば、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを含み、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの中から少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含むとした場合、前記Ｓ０２段階において、（ＮｘＭ）個の前記サブ残差ネットワークの中からドロップアウトされる前記特定のサブ残差ネットワークが任意に選択され得る。これは、前記学習装置が前記ブリッジレイヤを含む場合及び含まない場合すべてに適用され得る。
再び図５を参照すれば、前記学習装置は、前記ドロップアウトが適用された前記変形ＣＮＮを基盤に、前記入力イメージから調整されたエンコード済み出力特徴マップを生成し、これを利用してＣＮＮ出力を生成する（Ｓ０３）。この際、前記学習装置は、前記ＣＮＮ出力及びこれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を利用して一つ以上のロスを算出し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つのパラメータを調整する（Ｓ０４）。
一方、前記学習方法は、同一の入力イメージを利用して前述したプロセスを繰り返しても遂行されることができ、様々な入力イメージを利用して前記変形ＣＮＮの構成を変更することによっても遂行されることができる。
そして、図２ａないし図６に示された前記学習方法は、ＣＮＮテスティング方法においてもそのまま適用され得る。
参考までに、以下の説明において混乱を避けるために、前記学習プロセスに関連する用語に「学習用」という単語が追加され、テスティングプロセスに関連する用語に「テスト用」という単語が追加された。
つまり、ＣＮＮを基盤にテストイメージをテスティングする方法は、（ａ）学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前述学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングイメージを入力することにより、学習用調整されたエンコード出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを用いて学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つのパラメータを調整した状態で、テスティング装置が前記テストイメージを取得する段階；及び（ｂ）前記テスティング装置が前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用してテスト用ＣＮＮ出力を生成する段階；を含む。
そして、本発明に係るメタ学習、すなわち、学習する方法を学習するための前記ＣＮＮ基盤の学習方法は、レイヤごと（Ｌａｙｅｒ−Ｗｉｓｅ）ドロップアウト、確率的アンサンブル（Ｓｔｏｃｈａｓｔｉｃ Ｅｎｓｅｍｂｌｅ）、及びバーチャルドライビングなどに適用され得る。
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えばトレーニングイメージ及びテストイメージといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得り、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持され得り、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

  1. （ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）含む学習装置を利用したＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤学習方法において、
    （ａ）前記学習装置が、前記入力イメージが取得されると、前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセスを遂行する段階；
    （ｂ）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することにより、調整されたエンコード出力特徴マップを生成し、（ｉｉ）前記調整されたエンコード済み出力特徴マップを用いてＣＮＮ出力を生成する段階；及び
    （ｃ）前記学習装置が前記ＣＮＮ出力及びそれに対応するＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を用いて一つ以上のロスを計算し、前記ロスをバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して、前記変形ＣＮＮの少なくとも一つパラメータを調整する段階；
    を含むことを特徴とする学習方法。
  2. 前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、
    前記（ａ）段階で、
    前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択されることを特徴とする 請求項１に記載の学習方法。
  3. 前記（ａ）ないし（ｃ）段階は、同一の入力イメージを利用して、繰り返して遂行されることを特徴とする請求項１に記載の学習方法。
  4. 前記学習装置は、（ｉ）前記調整されたエンコード済み出力特徴マップまたはそれに対応する調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上の調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、
    前記（ａ）段階で、
    前記学習装置は、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記特定の残差ネットワーク及び少なくとも一つの特定の中間レイヤを任意に選択するプロセスを遂行し、
    前記（ｂ）段階で、
    前記学習装置は、前記特定の残差ネットワーク及び前記特定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御することを特徴とする請求項１に記載の学習方法。
  5. 前記学習装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、
    （ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、
    前記（ａ）段階で、
    ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択されることを特徴とする請求項４に記載の学習方法。
  6. 前記中間レイヤの少なくとも一つは、膨張コンボリューション（Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤであることを特徴とする請求項４に記載の学習方法。
  7. 前記（ｃ）段階において、
    前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整することを特徴とする請求項６に記載の学習方法。
  8. ＣＮＮを基盤にテストイメージをテスティングする方法において、
    （ａ）学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前記学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングのイメージを入力することで、学習用調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを利用して学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つのパラメータを調整した状態で、テスティング装置が前記テストイメージを取得する段階；及び
    （ｂ）前記テスティング装置が前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用してテスト用ＣＮＮ出力を生成する段階；
    を含むことを特徴とするテスティング方法。
  9. 前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、
    前記（１）プロセスで、
    前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択されることを特徴とする 請求項８に記載のテスティング方法。
  10. 前記（１）ないし（３）プロセスは、同一のトレーニングイメージを利用して、繰り返して遂行されることを特徴とする請求項８に記載のテスティング方法。
  11. 前記テスティング装置は、（ｉ）前記テストイメージもしくはそれに対応する一つ以上のテスト用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に前記テスト用エンコード済み出力特徴マップを生成する前記コンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記テストイメージまたはそれに対応する前記テスト用エンコード済み入力特徴マップをこれに対応する次のコンボリューションレイヤへフィードフォワードするための前記残差ネットワークを含む状態で、
    前記（ｂ）段階で、
    前記テスティング装置は、（ｂ−ｉ）前記残差ネットワークの中から、ドロップアウトされる所定の残差ネットワークを任意に選択するプロセスを遂行し、（ｂ−ｉｉ）前記所定の残差ネットワークがドロップアウトされた前記変形ＣＮＮに前記テストイメージを入力することで、テスト用調整されたエンコード済み出力特徴マップを生成し、前記テスト用調整されたエンコード済み出力特徴マップを利用して、テスト用ＣＮＮ出力を生成することを特徴とする請求項８に記載のテスティング方法。
  12. 前記テスティング装置は、（ｉ）前記テスト用調整されたエンコード済み出力特徴マップまたはそれに対応するテスト用調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上のテスト用調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、
    前記（ｂ−ｉ）段階において、
    前記テスティング装置は、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記所定の残差ネットワーク及び少なくとも一つの所定の中間レイヤを任意に選択するプロセスを遂行し、
    前記（ｂ−ｉｉ）段階において、
    前記テスティング装置は、前記特定の残差ネットワーク及び前記所定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御することを特徴とする 請求項１１に記載のテスティング方法。
  13. 前記テスティング装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記テスト用調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、
    （ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、
    前記（ｂ−ｉ）段階において、
    ドロップアウトされる少なくとも一つの所定の中間レイヤ及び少なくとも一つの所定のサブ残差ネットワークは、前記Ｋ個の中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択されることを特徴とする請求項１２に記載のテスティング方法。
  14. 前記中間レイヤの少なくとも一つは膨張コンボリューションレイヤであることを特徴とする請求項１２に記載のテスティング方法。
  15. 前記（３）プロセスにおいて、
    前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整することを特徴とする請求項１３に記載のテスティング方法。
  16. （ｉ）入力イメージもしくはそれに対応する一つ以上のエンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上のエンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中から少なくとも一つを迂回して、前記入力イメージまたはこれに対応する前記エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワード（Ｆｅｅｄ Ｆｏｒｗａｒｄ）するための一つ以上の残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）含む学習装置において、
    各インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）前記残差ネットワークの中から、ドロップアウト（Ｄｒｏｐｏｕｔ）される特定の残差ネットワークを任意に選択するプロセス、（ＩＩ）（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記入力イメージを入力することで、調整されたエンコード済み出力特徴マップを生成し、 （ｉｉ）前記調整されたエンコード出力特徴マップを用いてＣＮＮ出力を生成するプロセス、及び（ＩＩＩ）前記ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とする学習装置。
  17. 前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、
    前記（Ｉ）プロセスで、
    前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択されることを特徴とする請求項１６に記載の学習装置。
  18. 前記（Ｉ）ないし（ＩＩＩ）プロセスは、同一の入力イメージを利用して、繰り返して遂行されることを特徴とする請求項１６に記載の学習装置。
  19. 前記学習装置は、（ｉ）前記調整されたエンコード済み出力特徴マップまたはそれに対応する調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上の調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、
    前記（Ｉ）プロセスで、
    前記プロセッサは、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記特定の残差ネットワーク及び少なくとも一つの特定の中間レイヤを任意に選択するプロセスを遂行し、
    前記（ＩＩ）プロセスで、
    前記学習プロセッサは、前記特定の残差ネットワーク及び前記特定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御することを特徴とする請求項１６に記載の学習装置。
  20. 前記学習装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、
    （ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、
    前記（Ｉ）プロセスで、
    ドロップアウトされる少なくとも一つの特定の中間レイヤ及び少なくとも一つの特定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択されることを特徴とする請求項１９に記載の学習装置。
  21. 前記中間レイヤの少なくとも一つは、膨張コンボリューション（Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）レイヤであることを特徴とする請求項１９に記載の学習装置。
  22. 前記（ＩＩＩ）プロセスにおいて、
    前記プロセッサは、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整することを特徴とする請求項２１に記載の学習装置。
  23. ＣＮＮを基盤にテストイメージをテスティングするテスティング装置において、
    各インストラクションを格納する少なくとも一つのメモリ；及び
    学習装置が、（ｉ）トレーニングイメージもしくはそれに対応する一つ以上の学習用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に一つ以上の学習用エンコード済み出力特徴マップを生成する一つ以上のコンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれているサブコンボリューションレイヤの中の少なくとも一つを迂回して、前記トレーニングイメージまたはそれに対応する前記学習用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための一つ以上の残差ネットワークを含むとした場合、（１）前記学習装置が、前記残差ネットワークの中から、ドロップアウトされる特定の残差ネットワークを任意に選択するプロセスを遂行し、（２）前記学習装置が（ｉ）前記特定の残差ネットワークがドロップアウトされた少なくとも一つの変形ＣＮＮに前記トレーニングのイメージを入力することで、学習用調整されたエンコード済み出力特徴マップを生成し、（ｉｉ）前記学習用調整されたエンコード済み出力特徴マップを利用して学習用ＣＮＮ出力を生成し、（３）前記学習装置が前記学習用ＣＮＮ出力及びこれに対応するＧＴを利用して一つ以上のロスを計算し、前記ロスをバックプロパゲーションして、前記変形ＣＮＮの少なくとも一つパラメータを調整した状態で、 前記テストイメージを基盤に一つ以上のテスト用エンコード済み出力特徴マップを生成し、前記テスト用エンコード済み出力特徴マップを利用して、テスト用ＣＮＮ出力を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするテスティング装置。
  24. 前記コンボリューションレイヤの個数がＮ個で、前記Ｎ個のコンボリューションレイヤそれぞれがＬ個のサブコンボリューションレイヤを有するとした場合、前記Ｎ個のコンボリューションレイヤそれぞれが前記Ｌ個のサブコンボリューションレイヤの少なくとも一つを迂回するそれぞれの異なる迂回経路を有するＭ個のサブ残差ネットワークを含み、
    前記（１）プロセスで、
    前記（ＮｘＭ）個のサブ残差ネットワークの中から、ドロップアウトされる少なくとも一つの特定サブ残差ネットワークが任意に選択されることを特徴とする請求項２３に記載のテスティング装置。
  25. 前記（１）ないし（３）プロセスは、前記同一のトレーニングイメージを利用して、繰り返して遂行されることを特徴とする請求項２３に記載のテスティング装置。
  26. 前記テスティング装置は、（ｉ）前記テストイメージもしくはそれに対応する一つ以上のテスト用エンコード済み入力特徴マップに一つ以上のコンボリューション演算を適用することにより、逐次的に前記テスト用エンコード済み出力特徴マップをそれぞれ生成する前記コンボリューションレイヤ及び（ｉｉ）前記コンボリューションレイヤの少なくとも一つまたはこれに含まれている前記サブコンボリューションレイヤの中の少なくとも一つを迂回して、前記テストイメージまたはそれに対応する前記テスト用エンコード済み入力特徴マップをこれに対応するコンボリューションレイヤへフィードフォワードするための前記残差ネットワークを含む状態で、
    前記プロセッサは、（Ｉ）前記残差ネットワークの中から、ドロップアウトされる所定の残差ネットワークを任意に選択するプロセス、（ＩＩ）前記所定の残差ネットワークがドロップアウトされた前記変形ＣＮＮに前記テストイメージを入力することで、テスト用調整されたエンコード済み出力特徴マップを生成し、前記テスト用調整されたエンコード済み出力特徴マップを利用して、前記テスト用ＣＮＮ出力を生成するプロセスを遂行することを特徴とする請求項２３に記載のテスティング装置。
  27. 前記テスティング装置は、（ｉ）前記テスト用調整されたエンコード済み出力特徴マップまたはそれに対応するテスト用調整されたデコード済み入力特徴マップの中の少なくとも一部に一つ以上のデコンボリューション演算を適用することにより、逐次的に一つ以上のテスト用調整されたデコード済み出力特徴マップを生成する一つ以上のデコンボリューションレイヤ及び（ｉｉ）前記デコンボリューションレイヤの少なくとも一つと、前記コンボリューションレイヤの少なくとも一つとの間に位置して、一つ以上の入力に一つ以上のコンボリューション演算を適用し、一つ以上の出力を前記デコンボリューションレイヤの少なくとも一つに入力させる一つ以上の中間レイヤをさらに含み、
    前記（Ｉ）プロセスで、
    前記プロセッサは、前記残差ネットワーク及び前記中間レイヤの中から、ドロップアウトされる前記所定の残差ネットワーク及び少なくとも一つの所定の中間レイヤを任意に選択し、
    前記（ＩＩ）プロセスで、
    前記学習プロセッサは、前記所定の残差ネットワーク及び前記所定の中間レイヤがドロップアウトされるように前記変形ＣＮＮを制御することを特徴とする請求項２６に記載のテスティング装置。
  28. 前記テスティング装置は、前記多数個のデコンボリューションレイヤの少なくとも一つを迂回して、前記テスト用調整されたデコード済み入力特徴マップを、これに対応する次のデコンボリューションレイヤへフィードフォワードする追加残差ネットワークをさらに含み、
    （ｉ）前記Ｎ個のコンボリューションレイヤそれぞれは、Ｌ個のサブコンボリューションレイヤを含み、（ｉｉ）前記Ｎ個のデコンボリューションレイヤそれぞれは、Ｌ個のサブデコンボリューションレイヤを含み、前記中間レイヤの個数がＫ個である際、（１）前記Ｎ個のコンボリューションレイヤそれぞれは、前記Ｌのサブコンボリューションレイヤの中から少なくとも一つが迂回されたそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、（２）前記Ｎ個のデコンボリューションレイヤそれぞれが前記Ｌ個のサブデコンボリューションレイヤの中から少なくとも一つが迂回されるそれぞれ別の迂回経路を有するＭ個のサブ残差ネットワークを含み、
    前記（Ｉ）プロセスで、
    ドロップアウトされる少なくとも一つの所定の中間レイヤ及び少なくとも一つの所定のサブ残差ネットワークは、前記Ｋの中間レイヤ及び前記（２ｘＮｘＭ）個のサブ残差ネットワークの中からそれぞれ任意に選択されることを特徴とする請求項２７に記載のテスティング装置。
  29. 前記中間レイヤの少なくとも一つは膨張コンボリューションレイヤであることを特徴とする請求項２７に記載のテスティング装置。
  30. 前記（３）プロセスにおいて、
    前記学習装置は、前記ロスをバックプロパゲーションして、前記デコンボリューションレイヤ、前記中間レイヤ、及び前記コンボリューションレイヤの中の少なくとも一つのパラメータを調整することを特徴とする請求項２８に記載のテスティング装置。
JP2019212164A 2019-01-25 2019-11-25 メタ学習のために残差ネットワークが提供されるｃｎｎのパラメータを調整するための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ａｄｊｕｓｔｉｎｇ ｐａｒａｍｅｔｅｒｓ ｏｆ ｃｎｎ ｉｎ ｗｈｉｃｈ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋｓ ａｒｅ ｐｒｏｖｉｄｅｄ ｆｏｒ ｍｅｔａ ｌｅａｒｎｉｎｇ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ Active JP6938049B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/258,047 2019-01-25
US16/258,047 US10496899B1 (en) 2019-01-25 2019-01-25 Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same

Publications (2)

Publication Number Publication Date
JP2020119506A true JP2020119506A (ja) 2020-08-06
JP6938049B2 JP6938049B2 (ja) 2021-09-22

Family

ID=68502892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212164A Active JP6938049B2 (ja) 2019-01-25 2019-11-25 メタ学習のために残差ネットワークが提供されるｃｎｎのパラメータを調整するための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ａｄｊｕｓｔｉｎｇ ｐａｒａｍｅｔｅｒｓ ｏｆ ｃｎｎ ｉｎ ｗｈｉｃｈ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋｓ ａｒｅ ｐｒｏｖｉｄｅｄ ｆｏｒ ｍｅｔａ ｌｅａｒｎｉｎｇ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝

Country Status (5)

Country Link
US (1) US10496899B1 (ja)
EP (1) EP3686806A1 (ja)
JP (1) JP6938049B2 (ja)
KR (1) KR102320992B1 (ja)
CN (1) CN111488978B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10751548B2 (en) * 2017-07-28 2020-08-25 Elekta, Inc. Automated image segmentation using DCNN such as for radiation therapy
US10776673B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
CN111353583B (zh) * 2020-02-20 2023-04-07 南京工程学院 基于群卷积特征拓扑空间的深度学习网络及其训练方法
US20220156559A1 (en) * 2020-11-18 2022-05-19 Micron Technology, Inc. Artificial neural network bypass
CN112580581A (zh) * 2020-12-28 2021-03-30 英特灵达信息技术(深圳)有限公司 目标检测方法、装置及电子设备
JP2024507684A (ja) * 2021-02-22 2024-02-21 ビター・メディカル・ソリューションズ・インコーポレイテッド 大動脈組織のセグメント化および特徴付けのための方法およびシステム
CN116597167B (zh) * 2023-06-06 2024-02-27 中国人民解放军92942部队 一种永磁同步电机小样本退磁故障诊断方法、存储介质及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019167665A1 (ja) * 2018-02-28 2019-09-06 富士フイルム株式会社 学習装置、方法及びプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3757722B2 (ja) * 1999-12-15 2006-03-22 Ｋｄｄｉ株式会社 多層ニューラルネットワークユニット数最適化方法及び装置
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US9928410B2 (en) * 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US10181195B2 (en) * 2015-12-28 2019-01-15 Facebook, Inc. Systems and methods for determining optical flow
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
CN108475331B (zh) * 2016-02-17 2022-04-05 英特尔公司 用于对象检测的方法、装置、系统和计算机可读介质
CN106295629B (zh) * 2016-07-15 2018-06-15 北京市商汤科技开发有限公司 结构化文本检测方法和系统
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
CN115097937A (zh) * 2016-11-15 2022-09-23 奇跃公司 用于长方体检测的深度学习系统
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US10216766B2 (en) * 2017-03-20 2019-02-26 Adobe Inc. Large-scale image tagging using image-to-topic embedding
US20180336469A1 (en) * 2017-05-18 2018-11-22 Qualcomm Incorporated Sigma-delta position derivative networks
US11049018B2 (en) * 2017-06-23 2021-06-29 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US10733755B2 (en) * 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
CN107247949B (zh) * 2017-08-02 2020-06-19 智慧眼科技股份有限公司 基于深度学习的人脸识别方法、装置和电子设备
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
CN108460726B (zh) * 2018-03-26 2020-08-11 厦门大学 一种基于增强递归残差网络的磁共振图像超分辨重建方法
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019167665A1 (ja) * 2018-02-28 2019-09-06 富士フイルム株式会社 学習装置、方法及びプログラム

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
GAO HUANG, ET AL.: ""Deep Networks with Stochastic Depth"", ARXIV:1603.09382V3, vol. version v3, JPN6021002103, 28 July 2016 (2016-07-28), pages 1 - 16, ISSN: 0004432421 *
HAIYING XIA, ET AL.: ""Single Image Rain Removal via a Simplified Residual Dense Network"", IEEE ACCESS, vol. 6, JPN6021002106, 2 November 2018 (2018-11-02), pages 66522 - 66535, XP011697002, ISSN: 0004432424, DOI: 10.1109/ACCESS.2018.2879330 *
JIU XU, ET AL.: ""DENSE BYNET: RESIDUAL DENSE NETWORK FOR IMAGE SUPER RESOLUTION"", PROCEEDINGS OF 2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP 2018), JPN6021002107, 10 October 2018 (2018-10-10), pages 71 - 75, XP033455264, ISSN: 0004432425, DOI: 10.1109/ICIP.2018.8451696 *
KAIMING HE, ET AL.: ""Identity Mappings in Deep Residual Networks"", ARXIV:1603.05027V3, vol. version v3, JPN6021002105, 25 July 2016 (2016-07-25), pages 1 - 15, ISSN: 0004432423 *
XI CHENG, ET AL.: ""Triple Attention Mixed Link Network for Single Image Super Resolution"", ARXIV:1810.03254V1, vol. version v1, JPN6021002104, 8 October 2018 (2018-10-08), pages 1 - 8, ISSN: 0004432422 *
YUCHENG WANG, ET AL.: ""Deep Bi-Dense Networks for Image Super-Resolution"", PROCEEDINGS OF 2018 DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS (DICTA), JPN6021002101, 13 December 2018 (2018-12-13), pages 1 - 8, XP033503482, ISSN: 0004432419, DOI: 10.1109/DICTA.2018.8615817 *
YULUN ZHANG, ET AL.: ""Residual Dense Network for Image Super-Resolution"", PROCEEDINGS OF 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN6021002102, 23 June 2018 (2018-06-23), pages 2472 - 2481, XP033476213, ISSN: 0004432420, DOI: 10.1109/CVPR.2018.00262 *
山下隆義（外１名）: "「畳み込みニューラルネットワークの研究動向」", 画像ラボ, vol. 2018年10月号（第29巻,第10号）, JPN6021002108, 10 October 2018 (2018-10-10), JP, pages 27 - 35, ISSN: 0004432426 *

Also Published As

Publication number Publication date
CN111488978A (zh) 2020-08-04
CN111488978B (zh) 2023-10-10
KR102320992B1 (ko) 2021-11-03
KR20200092843A (ko) 2020-08-04
EP3686806A1 (en) 2020-07-29
US10496899B1 (en) 2019-12-03
JP6938049B2 (ja) 2021-09-22

Similar Documents

Publication Publication Date Title
JP2020119506A (ja) メタ学習のために残差ネットワークが提供されるｃｎｎのパラメータを調整するための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ａｄｊｕｓｔｉｎｇ ｐａｒａｍｅｔｅｒｓ ｏｆ ｃｎｎ ｉｎ ｗｈｉｃｈ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋｓ ａｒｅ ｐｒｏｖｉｄｅｄ ｆｏｒ ｍｅｔａ ｌｅａｒｎｉｎｇ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102309711B1 (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102309702B1 (ko) 이미지를 인코딩하기 위한 방법 및 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
JP6750854B2 (ja) 情報処理装置および情報処理方法
JP2020126607A (ja) カメラから取得されたイメージと、それに対応するレーダまたはライダを通じて取得されたポイントクラウドマップをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
KR102362744B1 (ko) 딥 뉴럴 네트워크(deep neural network) 기반의 다중 패치 조합(multiple patch combination)을 이용하여 얼굴을 인식하고, 극도의 상황에서 결함 허용 능력 및 흔들림에 강인한 성질을 향상시키는 방법
KR102313604B1 (ko) 멀티 피딩을 적용한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102246326B1 (ko) 라플라시안 피라미드 네트워크를 이용하여 자율 주행 자동차 레벨 4 및 레벨 5를 만족시키기 위해 요구되는 도로 장애물 검출에 있어서의 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 및 이를 이용한 테스팅 방법 및 테스팅 장치
KR20200027427A (ko) 차선 후보 픽셀의 분류를 통해 차선을 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6932395B2 (ja) イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置
US10872297B2 (en) Learning method and learning device for generating training data from virtual data on virtual world by using generative adversarial network, to thereby reduce annotation cost required in training processes of neural network for autonomous driving, and a testing method and a testing device using the same
KR102349933B1 (ko) 스마트폰, 드론, 선박 혹은 군사적 목적에 이용하기 위한, 입력 데이터를 분석하는 뉴럴 네트워크를 온디바이스 연속 학습하는 방법 및 장치, 그리고, 이에 의해 학습된 뉴럴 네트워크를 테스트하는 방법 및 장치
JP2020119501A (ja) エッジロスを利用して歩行者イベント、自動車イベント、フォーリングイベント、フォールンイベントを含むイベントを検出するにおいて利用されるセグメンテーション性能向上のための学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
JP2020119496A (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP2020123346A (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
US10325185B1 (en) Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or IOT devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same
KR20200094644A (ko) V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
US10635938B1 (en) Learning method and learning device for allowing CNN having trained in virtual world to be used in real world by runtime input transformation using photo style transformation, and testing method and testing device using the same
KR102349975B1 (ko) 연속 학습 기반의 얼굴 인식을 위한 스마트 데이터베이스를 관리하는 방법 및 장치
KR20220088497A (ko) 서브-커널 써칭 모듈을 사용하여 온-디바이스 뉴럴 네트워크 모델을 최적화하는 방법 및 장치
KR102349969B1 (ko) 스마트폰, 드론, 선박 혹은 군사적 목적을 위한, 트레이닝 이미지의 최적화 샘플링에 의해 입력 데이터를 분석하는 뉴럴 네트워크의 온디바이스 연속 학습 방법 및 장치, 그리고, 이를 이용한 테스트 방법 및 장치
Liu et al. Improve semantic segmentation of high-resolution remote sensing imagery with RS-TTA
von Burg Debugging deep neural networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191125

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200709

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210825

R150 Certificate of patent or registration of utility model

Ref document number: 6938049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150