JP2020126615A - 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置 - Google Patents

高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置 Download PDF

Info

Publication number
JP2020126615A
JP2020126615A JP2020004783A JP2020004783A JP2020126615A JP 2020126615 A JP2020126615 A JP 2020126615A JP 2020004783 A JP2020004783 A JP 2020004783A JP 2020004783 A JP2020004783 A JP 2020004783A JP 2020126615 A JP2020126615 A JP 2020126615A
Authority
JP
Japan
Prior art keywords
auto
label
unique
image
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020004783A
Other languages
English (en)
Other versions
JP6849932B2 (ja
Inventor
− ヒョン キム、ケイ
Kye-Hyeon Kim
− ヒョン キム、ケイ
キム、ヨンジュン
Young Jun Kim
キム、インスー
Insu Kim
− キョン キム、ハク
Hak-Kyoung Kim
− キョン キム、ハク
ナム、ウヒョン
Woonhyu Nam
ブー、ソッフン
Sukhoon Boo
ソン、ミュンチュル
Myungchul Sung
ヨー、ドンフン
Donghun Yeo
リュー、ウジュ
Wooju Ryu
チャン、テウン
Taewoong Jang
ジョン、キュンチョン
Kyungjoong Jeong
チェ、ホンモ
Hongmo Je
チョウ、ホジン
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126615A publication Critical patent/JP2020126615A/ja
Application granted granted Critical
Publication of JP6849932B2 publication Critical patent/JP6849932B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

【課題】演算時間の減少及び高精密度の取得のために、ニューラルネットワークを学習するのに利用されるトレーニングイメージをオートラベリングし、オート評価するオートラベリング装置のハイパーパラメータを最適化する方法が提供される。【解決手段】固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成して、固有のオートラベルを有する原本イメージをイージー原本イメージとディフィカルト原本イメージとに分類し、固有のトゥルーラベル及びオートラベルを有する検証イメージを固有のイージー検証イメージとディフィカルト検証イメージとに分類する段階；及びオートラベリング装置の現在の信頼度を計算し、サンプルハイパーパラメータセットを生成し、オートラベリング装置のサンプル信頼度を計算し、予め設定されたハイパーパラメータセットを最適化する段階を含む。【選択図】図２

Description

本発明は、ニューラルネットワークを学習するのに使用される一つ以上のトレーニングイメージをオートラベリングするオートラベリング装置のハイパーパラメータを最適化する方法及び装置に関する。
近年、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を利用して物体を識別する方法等に関する研究が行われている。こうした機械学習の一環として、入力レイヤと出力レイヤとの間に複数個のヒドゥンレイヤ（ｈｉｄｄｅｎ ｌａｙｅｒ）を有するニューラルネットワークを利用したディープラーニングは高い識別性能を有する。
このようなディープラーニングネットワークの学習を進めるためには、ラベラー（ｌａｂｅｌｅｒ）によって個別データポイントにタグ、すなわち、ラベルを追加したトレーニングデータが必要である。このようなトレーニングデータを準備すること（すなわち、データを正確に分類すること）は、特に大量のトレーニングデータを利用する場合とデータの前処理の品質が持続的に高くない場合、労働集約的であり、費用が多くかかって煩雑であり得る。従来の相互的なラベリングは、費用が高く好ましい結果を導き出すことができない。
したがって、最近ではディープラーニング基盤のオートラベリング装置を利用してトレーニングイメージにタグ、すなわちラベルを追加するオートラベリングを遂行し、検収者がオートラベリングされたトレーニングイメージを検収して前記タグや前記ラベルを校正する。
このような従来のオートラベリング装置は、再学習を通じて正確度を高めることができる。
しかしながら、前記オートラベリング装置の再学習によって正確度が向上し得る程度は制限的であり、より高い正確度を得るためには繰り返しの再学習が必要になる。
また、前記オートラベリング装置の正確度を向上させるための前記再学習にはかなり時間がかかり、それに伴って前記オートラベリング装置の適正な正確度を得るまでにはかなりの時間がかかる。
本発明は、上述した問題点を全て解決することをその目的とする。
本発明は、再学習なしにオートラベリング装置の精密度を向上させ得るようにすることを他の目的とする。
本発明は、再学習の過程においても前記オートラベリング装置の正確度を向上させ得るようにすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）を最適化する方法において、（ａ）ラベリングしようとする一つ以上の原本イメージ及び前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する一つ以上の検証イメージが取得されると、最適化装置が、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置をもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをそれぞれオートラベリングすることにより、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させ、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー（ｅａｓｙ）原本イメージと固有のオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させる段階；及び、（ｂ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージが取得されると、前記最適化装置が、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージを参照することによって、前記予め設定されたハイパーパラメータセットに対応する前記オートラベリング装置の現在の信頼度を計算し、前記予め設定されたハイパーパラメータセットに対応する少なくとも一つの所定の規則にしたがって調整された一つ以上のサンプルハイパーパラメータセットを生成し、前記サンプルハイパーパラメータセットそれぞれに対応する前記オートラベリング装置のサンプル信頼度それぞれを計算し、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が特定のサンプルハイパーパラメータセット（前記サンプルハイパーパラメータセットのうちで、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度より高いサンプル信頼度を有する一部サンプルハイパーパラメータセットを前記特定のサンプルハイパーパラメータセットとして選定する）に対応する前記サンプル信頼度が高くなる方向に調整されるように前記予め設定されたハイパーパラメータセットを最適化する段階；を含むことを特徴とする方法が開示される。
一実施例において、（ｃ）前記最適化装置が、前記予め設定されたハイパーパラメータセットに対応する、前記現在の信頼度が予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する原本イメージに対する前記固有のオートラベルを有するイージー原本イメージの割合が最大化するように、前記予め設定されたハイパーパラメータセットを最適化する段階；をさらに含むことを特徴とする。
一実施例において、前記オートラベリング装置は、前記固有のオートラベルを有する原本イメージを、前記固有のオートラベルを有するイージー原本イメージと前記固有のオートラベルを有するディフィカルト原本イメージとに分類し、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルトイメージとに分類するディフィカルトイメージ識別ネットワークを含み、前記（ｃ）段階で、前記最適化装置は、（ｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための第１設定値と、（ｉｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための第２設定値を含む前記予め設定されたハイパーパラメータセットを最適化することを特徴とする。
一実施例において、前記（ｂ）段階で、前記最適化装置は、信頼度評価ネットワークをもって、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベル及びオートラベルを参照して、前記オートラベリング装置の前記現在の信頼度を計算させることを特徴とする。
一実施例において、前記固有のトゥルーラベル及びオートラベルを有するイージー検証


によって評価されることを特徴とする。
一実施例において、前記オートラベリング装置は、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをオートラベリングして、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベルを有する検証イメージとを生成する物体検出ネットワークを含み、前記（ｂ）段階で、前記最適化装置は、前記物体検出ネットワークの各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含む前記予め設定されたハイパーパラメータセットの一つ以上の予め設定されたハイパーパラメータのうち少なくとも一部を最適化することを特徴とする。
本発明の他の態様によると、ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）最適化する最適化装置において、各インストラクションを格納する少なくとも一つのメモリと、（Ｉ）ラベリングしようとする一つ以上の原本イメージ及び前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する一つ以上の検証イメージが取得されると、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置をもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをそれぞれオートラベリングすることによって、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させ、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させるプロセス；及び、（ＩＩ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージが取得されると、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージを参照することによって、前記予め設定されたハイパーパラメータセットに対応する前記オートラベリング装置の現在の信頼度を計算し、前記予め設定されたハイパーパラメータセットに対応する少なくとも一つの所定の規則にしたがって調整された一つ以上のサンプルハイパーパラメータセットを生成し、前記サンプルハイパーパラメータセットそれぞれに対応する前記オートラベリング装置のサンプル信頼度それぞれを計算し、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が特定のサンプルハイパーパラメータセット（前記サンプルハイパーパラメータセットのうちで、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度より高いサンプル信頼度を有する一部サンプルハイパーパラメータセットを前記特定のサンプルハイパーパラメータセットとして選定する）に対応する前記サンプル信頼度が高くなる方向に調整されるように前記予め設定されたハイパーパラメータセットを最適化するプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする最適化装置が開示される。
一実施例において、前記プロセッサは、（ＩＩＩ）前記予め設定されたハイパーパラメータセットに対応する、前記現在の信頼度が予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する原本イメージに対する前記固有のオートラベルを有するイージー原本イメージの割合が最大化するように、前記予め設定されたハイパーパラメータセットを最適化するプロセスをさらに遂行することを特徴とする。
一実施例において、前記オートラベリング装置は、前記固有のオートラベルを有する原本イメージを、前記固有のオートラベルを有するイージー原本イメージと前記固有のオートラベルを有するディフィカルト原本イメージとに分類し、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類するディフィカルトイメージ識別ネットワークを含み、前記（ＩＩＩ）プロセスで、前記プロセッサは、（ｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための第１設定値と、（ｉｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための第２設定値を含む前記予め設定されたハイパーパラメータセットを最適化することを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは信頼度評価ネットワークをもって、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベル及びオートラベルを参照して、前記オートラベリング装置の前記現在の信頼度を計算させることを特徴とする。
一実施例において、前記固有のトゥルーラベル及びオートラベルを有するイージー検証


によって評価されることを特徴とする。
一実施例において、前記オートラベリング装置は、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをオートラベリングして、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成する物体検出ネットワークを含み、前記（ＩＩ）プロセスで、前記プロセッサは、前記物体検出ネットワークの各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含む前記予め設定されたハイパーパラメータセットの一つ以上の予め設定されたハイパーパラメータのうち少なくとも一部を最適化することを特徴とする。
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
本発明はオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）装置の検収結果を再学習なしに反映して、前記オートラベリング装置のハイパーパラメータを最適化することによって前記オートラベリング装置の正確度を向上させ得る効果がある。
また、本発明は、再学習の過程においても前記オートラベリング装置の前記検収結果を反映して、前記オートラベリング装置の前記ハイパーパラメータを最適化することにより、前記オートラベリング装置の正確度を向上させ得る効果がある。
また、本発明は、より高い正確度によって信頼度の高いトレーニングデータを取得することにより、次の再学習セッションにおいて前記オートラベリング装置の正確度をより大きく向上させ得る効果がある。
また、本発明は、少ない演算時間及び高い精密度で前記トレーニングイメージのオート評価（ａｕｔｏ−ｅｖａｌｕａｔｉｎｇ）とオートラベリングを遂行する前記オートラベリング装置を提供し得る効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図１は本発明の一実施例によるニューラルネットワーク学習に利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータを最適化する最適化装置を簡略に示す。 図２は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法を簡略に示す。 図３は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、一つ以上の原本イメージと類似する撮影環境の一つ以上の検証イメージを選定する方法を簡略に示す。 図４は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングするための前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、オートラベリングのための物体検出プロセスを簡略に示す。 図５は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、一つ以上のディフィカルトイメージを分類するプロセスを簡略に示す。 図６は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、前記ディフィカルトイメージを分類するニューラルネットワークを学習する方法を簡略に示す。 図７は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法を示す。 図８は、本発明の一実施例による前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベルリングする前記オートラベリング装置の前記ハイパーパラメータを最適化する方法において、前記オートラベリング装置の正確度が向上するプロセスを簡略に示す。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例によるイメージを分析する、ディープラーニングネットワークのようなニューラルネットワークの学習に利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータを最適化する最適化装置を簡略に示す。図１を参照すると、前記最適化装置１００は、前記オートラベリング装置の前記ハイパーパラメータを最適化するための各インストラクションを格納するメモリ１１０と、前記オートラベリング装置のハイパーパラメータを最適化するために前記メモリ１１０に格納された前記各インストラクションに対応するプロセスを遂行するプロセッサ１２０とを含むことができる。
具体的に、前記オートラベリング装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組合せを利用して所望のシステム性能を達成するものであり得る。
また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェアの構成を含み得る。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。
しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサの場合を排除するわけではない。
本発明の一実施例による前記オートラベリング装置１００を利用して前記ニューラルネットワーク学習に利用される前記トレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）する前記オートラベリング装置の前記ハイパーパラメータを最適化する方法に関して、図２を参照して説明すると以下のとおりである。
まず、ラベリングしようとする一つ以上の原本イメージ１０と、前記原本イメージと撮影環境が類似する、固有のトゥルーラベル（ｔｒｕｅ ｌａｂｅｌ）を有する一つ以上の検証イメージ候補群２０が取得されると（Ｓ１）、前記最適化装置１００が、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置２００をもって、前記原本イメージ１０と、前記固有のトゥルーラベルを有する一つ以上の検証イメージ候補群２０とをそれぞれオートラベリングして、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させる。
つまり、前記ラベリングしようとする原本イメージ１０が取得されると、前記最適化装置１００が、類似イメージ選択ネットワーク３００をもって、前記原本イメージ１０それぞれに対応して、前記原本イメージ１０と撮影環境が類似する、固有のトゥルーラベルを有する検証イメージ２１それぞれを選択させる。そして、前記最適化装置１００は、前記原本イメージ１０と前記固有のトゥルーラベルを有する検証イメージ２１とを前記オートラベリング装置２００に入力することにより、前記オートラベリング装置２００をもって、前記原本イメージ１０と前記固有のトゥルーラベルを有する検証イメージ２１とをオートラベリングさせる。
そうすると、前記原本イメージ１０と前記固有のトゥルーラベルを有する検証イメージ２１とは、前記オートラベリング装置２００によってそれぞれオートラベリングされて、固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとになり得る。
一方、図３を参照して、前記類似イメージ選択ネットワーク３００が前記原本イメージ１０と撮影環境が類似する、前記固有のトゥルーラベルを有する検証イメージ２１を選定する方法を説明すると以下のとおりである。
前記最適化装置１００が前記取得された原本イメージを前記類似イメージ選択ネットワーク３００に入力すると、前記類似イメージ選択ネットワーク３００は、前記原本イメージのうち任意のイメージ１１上でそれぞれのスライドウィンドウの各領域をクロップしリサイズして加工イメージ１２を取得する。この際、その他の例として、前記類似イメージ選択ネットワーク３００でない、前記最適化装置１００は、前記任意のイメージ１１でそれぞれの前記スライドウィンドウの各領域をクロップしリサイズした前記加工イメージ１２を取得し、それぞれの前記原本イメージに対応するそれぞれの前記加工イメージを前記類似イメージ選択ネットワーク３００に入力することもできる。
そうすると、前記類似イメージ選択ネットワーク３００は、イメージ分類器３１０をもって、前記加工イメージ１２を分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）して、それぞれの上位ｋ個のクラス情報を出力させる。一例として、前記イメージ分類器３１０はそれぞれの前記加工イメージ１２それぞれの特徴マップを生成し、それぞれの前記特徴マップを利用して物体を昼、鳥、春、雲、山、木、家、自転車、人、道路、犬などのようなクラス群に分類し、前記上位ｋ個のクラス情報を出力することができる。この際、図面では上位４つのクラス情報を出力するものと示したが、本発明の範囲はこれに限定されない。また、図面では、それぞれの前記加工イメージ１２に対応する前記イメージ分類器３１０が複数個で示されているが、これとは異なって一つのイメージ分類器を利用してそれぞれの前記加工イメージに対応する前記上位ｋ個のクラス情報を出力させるか、前記加工イメージに対応するものの前記加工イメージの個数とは異なる個数の前記イメージ分類器を利用して前記上位ｋ個のクラス情報を出力させることもできる。
そして、前記類似イメージ選択ネットワーク３００は、前記イメージ分類器３１０から出力されるそれぞれの前記加工イメージに対応する前記上位ｋ個のクラス情報を参照して、少なくとも一つのＢｏＷ（Ｂａｇ ｏｆ Ｗｏｒｄｓ）を生成する少なくとも一つの演算をすべての前記原本イメージに適用して、前記原本イメージに対する少なくとも一つのＢｏＷヒストグラムを生成させる。
以後、前記類似イメージ選択ネットワーク３００は、前記固有のトゥルーラベルを有する検証イメージ候補群２０のうち、前記ＢｏＷヒストグラムと近い順に予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ２１を選択して、前記原本イメージと前記予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ２１とをオートラベリングするために前記オートラベリング装置２００に伝送することができる。この際、前記類似イメージ選択ネットワーク３００は、前記予め設定された個数の前記検証イメージ候補群のうち、固有のトゥルーラベルを有するディフィカルト検証イメージとディフィカルト原本イメージとを管理して、前記予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数が前記原本イメージのうち前記ディフィカルト原本イメージの個数に対して特定の比率を有するようにすることができる。一例として、前記予め設定された個数の前記固有のトゥルーラベルを有する検証イメージ候補群のうち、前記固有のトゥルーラベルを有するディフィカルト検証イメージの個数は、前記原本イメージのうち前記ディフィカルト原本イメージの個数の１０％であり得る。
また、前記原本イメージ１０と、前記固有のトゥルーラベルを有する検証イメージ２１とが取得されると、前記オートラベリング装置２００は物体検出ネットワーク２１０をもって、前記原本イメージ１０上と前記固有のトゥルーラベルを有する検証イメージ２１上とに位置する物体に対するバウンディングボックスを生成させることで、前記原本イメージ１０と前記固有のトゥルーラベルを有する検証イメージ２１とをオートラベリングさせることができる。
図４を参照して、前記物体検出ネットワーク２１０が前記原本イメージ１０及び前記固有のトゥルーラベルを有する検証イメージ２１上で前記バウンディングボックスを生成する方法を説明すると以下のとおりである。
前記原本イメージ１０と、前記固有のトゥルーラベルを有する検証イメージ２１とのうちいずれか一つが入力イメージに入力されると、前記物体検出ネットワーク２１０は、一つ以上のコンボリューションレイヤ２１１をもって、前記入力イメージにコンボリューション演算を適用して少なくとも一つの物体検出用特徴マップを出力させる。この際、前記コンボリューションレイヤ２１１は、前記入力イメージに前記コンボリューション演算を順次に適用して、前記物体検出用特徴マップを生成することができる。
そして、前記物体検出ネットワーク２１０は、少なくとも一つのＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）２１２をもって、前記物体検出用特徴マップ上で前記物体を含むものと予測される候補領域に対応するプロポーザルボックスを出力させる。
以後、前記物体検出ネットワーク２１０は、少なくとも一つのプーリングレイヤ２１３をもって、前記物体検出用特徴マップ上で、前記プロポーザルボックスに対応する領域に一つ以上のプーリング演算を適用して一つ以上の特徴ベクトルを出力させる。
そして、前記物体検出ネットワーク２１０は、少なくとも一つのＦＣ（Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）レイヤ２１４をもって、前記特徴ベクトルに少なくとも一つのＦＣ演算を適用させた後、少なくとも一つの分類レイヤ２１５をもって、それぞれの前記プロポーザルボックスに対応するそれぞれの物体クラス情報を出力させ、少なくとも一つのリグレッション（ｒｅｇｒｅｓｓｉｏｎ）レイヤ２１６をもって、それぞれの前記物体をバウンディングするそれぞれの前記プロポーザルボックスから前記バウンディングボックス情報を出力させる。
この場合、前記物体検出ネットワーク２１０は、前記分類レイヤ２１５をもって、前記予め設定されたハイパーパラメータセットの予め設定されたハイパーパラメータのうち一つである、各クラスごとのそれぞれのスコア閾値にしたがって前記プロポーザルボックスに対応する前記物体クラス情報を出力させることができる。つまり、前記分類レイヤ２１５は、特定のバウンディングボックスに対応する各クラスごとのそれぞれのスコアのうち最も高いスコアを有する特定クラスを前記特定のバウンディングボックスの特定クラス情報として決定し、前記特定クラスの特定のスコアが予め設定された特定クラスのスコア閾値以上である場合、前記特定クラスを前記特定のバウンディングボックスの前記物体クラス情報として出力させることができる。
また、前記物体検出ネットワーク２１０は、ＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）を利用して、前記予め設定されたハイパーパラメータセットの前記予め設定されたハイパーパラメータのうち一つであるＮＭＳ閾値にしたがって、一つの物体に対応して重複するバウンディングボックスのうち一つのバウンディングボックスを選択して出力することができる。
また、前記物体検出ネットワーク２１０は、前記予め設定されたハイパーパラメータの一部であるバウンディングボックス選定閾値、及び最小物体サイズを利用して、多数のバウンディングボックスのうちそれぞれの前記物体に対応するそれぞれの正確なバウンディングボックスを選択して出力することができる。
一方、前記物体検出ネットワーク２１０は、事前に学習された状態であり得る。すなわち、一つ以上のロスを利用したバックプロパゲーションを通じて前記ＦＣレイヤ２１４及び前記コンボリューションレイヤ２１１の一つ以上のパラメータのうち少なくとも一部が調整された状態であり得る。また、前記ＲＰＮ２１２も事前に学習された状態であり得る。
再び図２を参照すると、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとを、イージー（ｅａｓｙ）イメージとディフィカルト（ｄｉｆｆｉｃｕｌｔ）イメージとにそれぞれ分類させることができる。つまり、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させることができる。
そして、前記オートラベリング装置２００は、ディフィカルトイメージ識別ネットワーク２２０をもって、前記入力イメージを前記イージーイメージと前記ディフィカルトイメージとに分類させることができ、前記ディフィカルトイメージは、不正確にオートラベリングされる確率が予め設定された値Ｙ以上であるイメージであり、前記イージーイメージは、不正確にオートラベリングされる確率が予め設定された値未満であるイメージである。
この場合、図５を参照して、前記オートラベリング装置２００の前記ディフィカルトイメージ識別ネットワーク２２０によってオートラベリングされた、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとを、それぞれ固有のオートラベルを有するイージー原本イメージと、固有のオートラベルを有するディフィカルト原本イメージと、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと、固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類する方法を説明すると以下のとおりである。
オートラベリングされた前記固有のオートラベルを有する原本イメージと、オートラベリングされた前記固有のトゥルーラベル及びオートラベルを有する検証イメージとのうちいずれか一つのイメージである固有のオートラベル

を有する少なくとも一つの入力イメージＩが入力されると、前記ディフィカルトイメージ識別ネットワーク２２０は、第１イメージ

と第２イメージ

とを生成することができ、前記第１イメージと前記第２イメージとのうち一つだけが前記入力イメージから変形したものであれば、残りの一つは前記入力イメージがそのまま使用される。この際、前記第１イメージ

及び前記第２イメージ

のうち少なくとも一つは前記入力イメージＩから変形されたイメージであり得る。
一方、前記第１イメージ

と前記第２イメージ

とを生成するのにおいて、前記第１イメージを変形するための一つ以上の第１関数と、これに対応する前記第２イメージを変形するための第２関数とを含む一つ以上の変形ペアを利用して、前記入力イメージＩに対応する前記第１イメージと前記第２イメージとの少なくとも一つのイメージペアを生成することができる。
一例として、前記変形ペアは以下のように示すことができる。

つまり、前記入力イメージによって設定された前記変形ペアに対応する、前記第１イメージと前記第２イメージとの一つ以上のイメージペアを生成することができる。
次に、前記ディフィカルトイメージ識別ネットワーク２２０は、一つ以上のコンボリューションレイヤ２１１をもって、前記第１イメージ

と前記第２イメージ

にそれぞれ一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップと少なくとも一つの第２特徴マップとを出力させる。この際、前記コンボリューションレイヤ２１１は、図４に示された、オートラベリングを行う前記物体検出ネットワークに含まれたコンボリューションレイヤであり得る。一例として、前記物体検出ネットワークが多数の変形の組み合わせを使用する場合、前記変形ペアは前記物体検出ネットワークが使用する前記変形としてのみ定義され得、それに伴って前記物体検出ネットワークの前記コンボリューションレイヤから出力された特徴マップが、追加の過程なしにそのまま使用され得るので、前記特徴マップの演算に所要される時間を節減することができるようになる。
以後、前記ディフィカルトイメージ識別ネットワーク２２０は、一つ以上のプーリングレイヤ２２２をもって、前記第１特徴マップ上でそれぞれのオートラベル

に対応する各領域に一つ以上のプーリング演算を適用して、それぞれの第１プーリング済み特徴マップを出力させ、前記第２特徴マップ上で前記それぞれのオートラベル

に対応する各領域に前記プーリング演算を適用して、それぞれの第２プーリング済み特徴マップを出力させ、前記それぞれのオートラベル

にそれぞれ対応する、それぞれの前記第１プーリング済み特徴マップとそれぞれの第２プーリング済み特徴マップとをコンカチネートしてそれぞれのコンカチネートされた特徴マップを生成する。この際、図５では二つの前記コンボリューションレイヤ２２１と二つのプーリングレイヤ２２２とが示されたが、これとは異なって一つのコンボリューションレイヤと一つのプーリングレイヤとが、前記第１イメージと第２イメージとに前記コンボリューション演算を適用し、前記第１特徴マップと前記第２特徴マップとに前記プーリング演算を適用するためにそれぞれ使用されてもよい。
そして、前記ディフィカルトイメージ識別ネットワーク２２０は、少なくとも一つのディープラーニング分類器２２３をもって、前記それぞれのオートラベル

に対応する前記それぞれのコンカチネートされた特徴マップを入力として、前記それぞれのオートラベル

を非正常クラス群または正常クラス群に分類する前記クラス情報を出力させることができる。この際、前記非正常クラス群は、誤検出クラス群と未検出クラス群とを含むことができ、前記正常クラス群は物体に分類されたオートラベルに対するクラス群と背景に分類されたオートラベルに対するクラス群とを含むことができる。前記オートラベル

に対する分類については、図６を参照して前記ディープラーニング分類器２２３の学習過程で説明することにする。
以後、前記ディフィカルトイメージ識別ネットワーク２２０は（ｉ）前記それぞれのオートラベル

の各クラス情報を参照して、前記非正常クラス群それぞれの非正常クラス要素に対する確率値それぞれを計算し、（ｉｉ）それぞれの前記非正常クラス要素に対する前記確率値それぞれを利用して、前記入力イメージＩが前記ディフィカルトイメージであるのかを判断させる。
この際、前記ディープラーニング分類器２２３の出力にシグモイド関数が適用された後、それぞれの前記非正常クラス要素の各確率値が計算され得る。それぞれの前記非正常クラス要素の各確率値は、前記誤検出クラス群の誤検出クラス要素に対するそれぞれの確率値と前記未検出クラス群の未検出クラス要素に対するそれぞれの確率値とを含むことができる。
一例として、前記誤検出クラス要素ＦＰに対する確率値は

で表すことができ、前記未検出クラス要素ＦＮに対する確率値は

で表すことができる。
この際、

は、前記オートラベルのうち一つのオートラベルであり、

と

はそれぞれ前記第１イメージと前記第２イメージとを表す。
また、前記ディフィカルトイメージ識別装置２２０は、各オートラベル

ごとに、前記変形ペアそれぞれに対応するそれぞれの前記非正常クラス要素に対するそれぞれの確率値を計算し、前記計算された確率値の少なくとも一つの重み付け平均を計算することができる。
そして、それぞれの前記非正常クラス要素の確率値に対する少なくとも一つの一般化された平均（ｇｅｎｅｒａｌｉｚｅｄ ｍｅａｎ）が第２設定値以上である場合、前記ディフィカルトイメージ識別ネットワーク２２０は、前記入力イメージを前記ディフィカルトイメージとして判断することができる。
この際、前記第２設定値

は、前記オートラベリング装置のオートラベリングプロセス以後に手動で検収された前記検証イメージに対する正答的中率のうち最も高い的中率であり得る。
一方、前記ディープラーニング分類器２２３は、多重のＦＣレイヤ又はＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）を含むことができ、前記ディープラーニング分類器２２３を学習する過程を、図６を参照して説明すると以下のとおりである。
前記オートラベリング装置によってオートラベリングされた、固有のトゥルーラベル及びオートラベルを有する少なくとも一つのトレーニングイメージが取得されると、学習装置２３０が一つ以上の学習用コンボリューションレイヤ２３１をもって、前記学習用コンボリューションレイヤのコンボリューション演算を前記トレーニングイメージに適用して少なくとも一つの学習用特徴マップを出力させる。
この場合、前記トレーニングイメージの前記オートラベルは、前記オートラベリング装置を通じてラベリングされた前記オートラベルとは異なり、学習のため任意に生成されたものであってもよい。
また、前記学習装置２３０は、前記ディープラーニングクラス分類器２２３の学習のための各インストラクションを格納するメモリ（図示せず）と、前記メモリに格納された前記各インストラクションに対応して前記ディープラーニングクラス分類器２２３に対する学習を遂行するプロセッサ（図示せず）とを含むことができる。
具体的に、前記学習装置２３０は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）の組合せを利用して所望のシステム性能を達成するものであり得る。また、前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェアの構成を含むことができる。また、コンピューティング装置は、運営体制、特定の目的を遂行するアプリケーションのソフトウェアの構成をさらに含むこともできる。しかし、このような前記コンピューティング装置に関する説明が本発明を実施するためのプロセッサ、メモリ、媒体またはその他のコンピューティング構成要素が統合された形態である統合プロセッサである場合を排除するものではない。
次に、前記学習装置２３０は、少なくとも一つの学習用プーリングレイヤ２３２をもって、前記学習用プーリングレイヤの一つ以上のプーリング演算を、前記学習用特徴マップ上で前記オートラベルそれぞれに対応するそれぞれの領域にそれぞれ適用して一つ以上の学習用プーリング済み特徴マップを出力させる。
以後、前記学習装置２３０は、前記ディープラーニング分類器２２３をもって、前記オートラベルそれぞれに対応するそれぞれの前記学習用プーリング済み特徴マップを入力として取得して、前記オートラベルを前記非正常クラス群または前記正常クラス群に分類する前記クラス情報を出力させる。
この場合、前記クラス情報は、前記誤検出クラス群と前記未検出クラス群とを有する前記非正常クラス群を含むことができる。そして、前記クラス情報は２次元出力を含むことができる。
一例として、前記誤検出クラス群ＦＰ、

は、第１特定のオートラベルと同一のクラス情報を有する第１特定のトゥルーラベルが他のトゥルーラベルと前記第１設定値以上に重なっていない場合を表すことができる。
この場合、前記誤検出クラス群ＦＰ、

は、

のように表され得る。
そして、前記誤検出クラス群ＦＮ、

は、第２特定のトゥルーラベルと同一のクラス情報を有する第２特定のオートラベルが他のオートラベルと前記第２設定値以上に重なっていない状態で、第３特定のオートラベルが前記第２特定のトゥルーラベルと第３設定値以上に重なっている場合を表すことができる。
この場合、前記未検出クラス群ＦＮ、

は

と表され得る。
一例として、前記において

と設定され得るが、これに限定されるわけではない。
そして、前記正常クラス群

は、前記誤検出クラス群及び前記未検出クラス群以外の他のクラス群を含むことができ、前記物体と前記背景とに対応することができる。
一方、前記クラスの不均衡を予防するために、前記学習装置２３０は、前記誤検出クラス群、前記未検出クラス群、及び前記正常クラス群を管理して、前記非正常クラス群のうちで要素個数の多いクラス群の個数が、要素個数の少ない残りのクラス群個数の予め設定された第１倍数以下になるようにし、前記正常クラス群の要素個数が前記非正常クラス群の要素個数の予め設定された第２倍数と同一になるようにする。
この際、前記学習装置２３０は、前記誤検出クラス群ＦＰの要素の個数、前記未検出クラス群ＦＮの要素の個数、及び前記正常クラス群の要素の個数を、ランダムサンプリングを利用して調整することができる。
次に、前記学習装置２３０は、少なくとも一つのロスレイヤ２３３をもって、それぞれの前記オートラベルに対する前記各クラス情報と、これに対応する原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）とを参照して一つ以上のロスを計算させることにより、前記ロスを利用したバックプロパゲーションを通じて前記ディープラーニング分類器２２３のパラメータのうち少なくとも一部を学習することができる。
この際、前記学習装置２３０は、クロスエントロピーロス（ｃｒｏｓｓ−ｅｎｔｒｏｐｙ ｌｏｓｓ）を利用して前記バックプロパゲーションを遂行することができる。
一方、前記学習は、前記ディープラーニング分類器２２３を構成するニューラルネットワーク内に連結された二つのレイヤのシナプス強度である重み付け値を、ロスが小さくなるように調整するものであり得る。
一例として、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）を利用して前記バックプロパゲーションを遂行する場合には、次のようにそれぞれの重み付け値を調整することができる。
前記において、

は学習率を示し、

は費用関数（Ｃｏｓｔ ｆｕｎｃｔｉｏｎ）を示す。
この際、前記費用関数は、指導学習、非指導学習、自律学習、及び強化学習などのような学習の形態と活性化関数のような要因によって決定され得る。
例えば、多重クラス（ｍｕｌｔｉ−ｃｌａｓｓ）分類の問題を解決するための学習を遂行する場合、一般的に前記活性化関数と前記費用関数とはそれぞれソフトマックス関数とクロスエントロピー関数として決定される。
前記ソフトマックス関数は

のように表すことができ、前記費用関数は

ように表すことができる。
この際、ｐｊはクラス確率（ｃｌａｓｓ ｐｒｏｂａｂｉｌｉｔｙ）を示し、ｘｊとｘｋはそれぞれユニットｊに入力される全体入力とユニットｋに入力される全体入力を表し得る。そして、ｄｊは、出力ユニットｊに対する目標確率（ｔａｒｇｅｔ ｐｒｏｂａｂｉｌｉｔｙ）を表し、ｐｊは当該活性化関数を適用した後の前記出力ユニットｊに対する確率出力（ｐｒｏｂａｂｉｌｉｔｙ ｏｕｔｐｕｔ）を表し得る。
前記では、前記ロスを利用したバックプロパゲーションの一例として、前記確率的勾配降下法について説明したが、本発明の範囲はこれに限定されず、モメンタム方式（Ｍｏｍｅｎｔｕｍ）、ネステロフ加速勾配（Ｎｅｓｔｅｒｏｖ Ａｃｃｃｃｅｌｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ、ＮＡＧ）方式、ＲＭＳＰｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）方式、ＡｄａＤｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）方式、Ａｄａｍ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）方式などを使用して前記ニューラルネットワークの学習のための前記バックプロパゲーションを遂行することができる。
再び、図２を参照すると、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有するイージー原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージとを信頼度評価ネットワーク５００に伝送させることができる（Ｓ２−１）。
また、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有するディフィカルト原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとを手動ラベリング装置４００に伝送させることができる（Ｓ２−２）。そうすると、前記手動ラベリング装置４００は、受信される前記固有のオートラベルを有するディフィカルト原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとの不正確なラベルを訂正する手動ラベリングを遂行し、手動ラベリングされて固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージと、前記手動ラベリングされて固有のトゥルーラベル、オートラベル及び手動ラベルを有するディフィカルト検証イメージとを前記信頼度評価ネットワーク５００に伝送させることができる（Ｓ２−３）。
以後、前記最適化装置１００は、前記信頼度評価ネットワーク５００をもって、受信される前記固有のオートラベルを有するイージー原本イメージと、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージと、前記固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージとを参照して、前記オートラベリング装置２００の信頼度と前記手動ラベリング装置４００の信頼度とを評価させることができる。
この際、前記信頼度評価ネットワーク５００は、前記オートラベリング装置２００から取得される前記固有のトゥルーラベルとオートラベルとを有するイージー検証イメージのトゥルーラベルとオートラベルとを参照して、前記オートラベリング装置２００の信頼度を評価することができる。
この場合、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージ

また、前記信頼度評価ネットワーク５００は、前記手動ラベリング装置４００から取得される、前記固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフィカルト検証イメージのトゥルーラベルと手動ラベルとを参照して、前記手動ラベリング装置４００の信頼度を評価することができる。
この場合、前記固有のトゥルーラベル、オートラベル、及び手動ラベルを有するディフ
前記では、前記最適化装置１００が前記信頼度評価ネットワーク５００をもって、前記オートラベリング装置２００の信頼度と前記手動ラベリング装置４００の信頼度とを計算させたが、前記最適化装置１００が前記のような方法によって前記オートラベリング装置２００の信頼度と前記手動ラベリング装置４００の信頼度とを計算することもできる。
次に、前記オートラベリング装置２００の信頼度が前記予め設定された値以上である場合、前記最適化装置１００は、前記固有のオートラベルを有するイージー原本イメージと前記オートラベル及び手動ラベルを有するディフィカルト原本イメージとのうち一部を再学習用固有のトゥルーラベルを有するトレーニングイメージ３０として選定することができ、前記固有のオートラベル及び手動ラベルを有するディフィカルト原本イメージのうち残りを前記固有のトゥルーラベルを有する検証イメージ候補群２０として選定することができる。
そして、前記オートラベリング装置の計算された信頼度、つまり、前記オートラベリング装置の現在の信頼度が取得されると（Ｓ３）、前記最適化装置１００は、前記オートラベリング装置の現在の信頼度による前記予め設定されたハイパーパラメータセットＨＰに対応する少なくとも一つの所定の規則によって調整された一つ以上のサンプルハイパーパラメータセットＨＰ’を生成する。この際、前記サンプルハイパーパラメータセットＨＰ’は、前記予め設定されたハイパーパラメータセットＨＰの前記ハイパーパラメータのうち一部を選択的に調整し、前記調整されたハイパーパラメータを任意に組み合わせることにより生成され得る。これは、前記ハイパーパラメータそれぞれの変化が信頼度に及ぼす影響が互いに独立していないためである。
以後、前記最適化装置１００は、前記サンプルハイパーパラメータセットＨＰ’それぞれに対応する、前記オートラベリング装置２００の信頼度であるサンプル信頼度を計算することができる。この際、前記サンプル信頼度は、前記オートラベリング装置２００の前記予め設定されたハイパーパラメータセットＨＰをそれぞれの前記サンプルハイパーパラメータセットＨＰ’に代替した状態において、前記のような動作を繰り返して計算することもできるが、本発明の範囲はこれに限定されず、前記予め設定されたハイパーパラメータセットＨＰを使用する前記のような動作によって取得されたそれぞれの出力値にそれぞれの前記サンプルハイパーパラメータＨＰ’を適用したシミュレーションを通じて計算することもできる。
そして、図７を参照すると、前記現在の信頼度に対応する現在のハイパーパラメータセットＨＰの位置を基準としてそれぞれの前記サンプル信頼度に対応する前記サンプルハイパーパラメータセットＨＰ’は、ガウシアン（Ｇａｕｓｓｉａｎ）分布を有するようになり得る。
この際、前記最適化装置１００は、前記サンプルハイパーパラメータセットＨＰ’のうち、前記現在の信頼度より高いサンプル信頼度を有する一部を特定のサンプルハイパーパラメータセットとして選定し、前記選定された特定のサンプルハイパーパラメータセットの特定のサンプル信頼度を参照して前記サンプル信頼度が高くなる方向を取得する。
以後、前記最適化装置１００は、前記現在の信頼度が前記特定のサンプル信頼度が高くなる方向に対応して調整されるように、前記現在のハイパーパラメータセットＨＰである前記予め設定されたハイパーパラメータセットの個別のハイパーパラメータを調整して調整されたハイパーパラメータセットを生成し、前記調整されたハイパーパラメータセットを利用して前記オートラベリング装置２００の前記予め設定されたハイパーパラメータセットを最適化する（Ｓ４）。
この際、調整される前記オートラベリング装置２００の前記個別ハイパーパラメータは、前記オートラベリング装置２００に含まれた前記物体検出ネットワーク２１０の、各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含むことができる。
また、前記最適化装置１００は、前記オートラベリング装置２００をもって、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させるのにおいて、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が前記予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する前記原本イメージのうちで前記固有のオートラベルを有する前記原本イメージに分類される割合を最大化するように、前記予め設定されたハイパーパラメータセットを最適化することができる。
つまり、前記最適化装置１００は、（ｉ）前記オートラベリング装置２００の前記ディフィカルトイメージ識別ネットワーク２２０が前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための前記第１設定値

と、（ｉｉ）前記オートラベリング装置２００の前記ディフィカルトイメージ識別ネットワーク２２０が、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及び オートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための前記第２設定値

を含む、前記予め設定されたハイパーパラメータセットを最適化することができる。
これを通じて、前記最適化されたハイパーパラメータセットによって再学習をする進めない状態においても、前記オートラベリング装置２００の前記信頼度が向上し得る。
一方、前記最適化装置１００は、前記固有のトゥルーラベルを有するトレーニングイメージを利用して前記オートラベリング装置２００を再学習させることにより（Ｓ５）、前記オートラベリング装置２００の前記信頼度を向上させることができ、前記オートラベリング装置２００の前記再学習の過程の間にも前記のような方法により前記予め設定されたハイパーパラメータを最適化することによって、前記オートラベリング装置２００の前記信頼度を追加してさらに向上させることができるようになる。
つまり、図８を参照すると、一週間ごとに前記再学習を進めると仮定する場合、前記信頼度は階段式に向上するが、本発明によって前記ハイパーパラメータを最適化する場合、さらに高い信頼度を確保することができ、それに伴って再学習のための信頼度がさらに高い前記トゥルーラベルを有するトレーニングイメージを取得することができる。そして、信頼度のさらに高い前記トゥルーラベルを有するトレーニングイメージを利用して前記再学習を遂行することにより、前記再学習による前記オートラベリング装置の前記信頼度は従来に比べてより格段に向上し得る。
さらに、前記方法は、ポリシー勾配アルゴリズム（ｐｏｌｉｃｙ ｇｒａｄｉｅｎｔ ａｌｇｏｒｉｔｈｍ）を利用した強化学習により遂行され得る。
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (12)

  1. ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）を最適化する方法において、
    （ａ）ラベリングしようとする一つ以上の原本イメージ及び前記原本イメージと撮影環境が類似する、固有のトゥルーラベル（ｔｒｕｅ ｌａｂｅｌ）を有する一つ以上の検証イメージが取得されると、最適化装置が、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置をもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをそれぞれオートラベリングすることにより、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させ、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー（ｅａｓｙ）原本イメージと固有のオートラベルを有するディフィカルト（ｄｉｆｆｉｃｕｌｔ）原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させる段階；及び、
    （ｂ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージが取得されると、前記最適化装置が、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージを参照することによって、前記予め設定されたハイパーパラメータセットに対応する前記オートラベリング装置の現在の信頼度を計算し、前記予め設定されたハイパーパラメータセットに対応する少なくとも一つの所定の規則にしたがって調整された一つ以上のサンプルハイパーパラメータセットを生成し、前記サンプルハイパーパラメータセットそれぞれに対応する前記オートラベリング装置のサンプル信頼度それぞれを計算し、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が特定のサンプルハイパーパラメータセット（前記サンプルハイパーパラメータセットのうちで、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度より高いサンプル信頼度を有する一部サンプルハイパーパラメータセットを前記特定のサンプルハイパーパラメータセットとして選定する）に対応する前記サンプル信頼度が高くなる方向に調整されるように前記予め設定されたハイパーパラメータセットを最適化する段階；
    を含むことを特徴とする方法。
  2. （ｃ）前記最適化装置が、前記予め設定されたハイパーパラメータセットに対応する、前記現在の信頼度が予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する原本イメージに対する前記固有のオートラベルを有するイージー原本イメージの割合が最大化するように、前記予め設定されたハイパーパラメータセットを最適化する段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  3. 前記オートラベリング装置は、前記固有のオートラベルを有する原本イメージを、前記固有のオートラベルを有するイージー原本イメージと前記固有のオートラベルを有するディフィカルト原本イメージとに分類し、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと、前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類するディフィカルトイメージ識別ネットワークを含み、
    前記（ｃ）段階で、
    前記最適化装置は、（ｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための第１設定値と、（ｉｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための第２設定値を含む前記予め設定されたハイパーパラメータセットを最適化することを特徴とする請求項２に記載の方法。
  4. 前記（ｂ）段階で、
    前記最適化装置は、信頼度評価ネットワークをもって、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベル及びオートラベルを参照して、前記オートラベリング装置の前記現在の信頼度を計算させることを特徴とする請求項１に記載の方法。
  5. 前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルー

    によって評価されることを特徴とする請求項４に記載の方法。
  6. 前記オートラベリング装置は、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをオートラベリングして、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベルを有する検証イメージとを生成する物体検出ネットワークを含み、
    前記（ｂ）段階で、
    前記最適化装置は、前記物体検出ネットワークの各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含む前記予め設定されたハイパーパラメータセットの一つ以上の予め設定されたハイパーパラメータのうち少なくとも一部を最適化することを特徴とする請求項１に記載の方法。
  7. ニューラルネットワークを学習するのに利用される一つ以上のトレーニングイメージをオートラベリング（ａｕｔｏ−ｌａｂｅｌｉｎｇ）するオートラベリング装置の一つ以上のハイパーパラメータ（ｈｙｐｅｒｐａｒａｍｅｔｅｒ）最適化する最適化装置において、
    各インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）ラベリングしようとする一つ以上の原本イメージ及び前記原本イメージと撮影環境が類似する、固有のトゥルーラベルを有する一つ以上の検証イメージが取得されると、少なくとも一つの予め設定されたハイパーパラメータセットを有する前記オートラベリング装置をもって、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをそれぞれオートラベリングすることによって、固有のオートラベルを有する原本イメージと固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成させ、前記固有のオートラベルを有する原本イメージを、固有のオートラベルを有するイージー原本イメージと固有のオートラベルを有するディフィカルト原本イメージとに分類させ、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類させるプロセス；及び、（ＩＩ）前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージが取得されると、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージを参照することによって、前記予め設定されたハイパーパラメータセットに対応する前記オートラベリング装置の現在の信頼度を計算し、前記予め設定されたハイパーパラメータセットに対応する少なくとも一つの所定の規則にしたがって調整された一つ以上のサンプルハイパーパラメータセットを生成し、前記サンプルハイパーパラメータセットそれぞれに対応する前記オートラベリング装置のサンプル信頼度それぞれを計算し、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度が特定のサンプルハイパーパラメータセット（前記サンプルハイパーパラメータセットのうちで、前記予め設定されたハイパーパラメータセットに対応する前記現在の信頼度より高いサンプル信頼度を有する一部サンプルハイパーパラメータセットを前記特定のサンプルハイパーパラメータセットとして選定する）に対応する前記サンプル信頼度が高くなる方向に調整されるように前記予め設定されたハイパーパラメータセットを最適化するプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする最適化装置。
  8. 前記プロセッサは、（ＩＩＩ）前記予め設定されたハイパーパラメータセットに対応する、前記現在の信頼度が予め設定された値以上である状態を維持しながら、前記固有のオートラベルを有する原本イメージに対する前記固有のオートラベルを有するイージー原本イメージの割合が最大化するように、前記予め設定されたハイパーパラメータセットを最適化するプロセスをさらに遂行することを特徴とする請求項７に記載の最適化装置。
  9. 前記オートラベリング装置は、前記固有のオートラベルを有する原本イメージを、前記固有のオートラベルを有するイージー原本イメージと前記固有のオートラベルを有するディフィカルト原本イメージとに分類し、前記固有のトゥルーラベル及びオートラベルを有する検証イメージを、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージと前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージとに分類するディフィカルトイメージ識別ネットワークを含み、
    前記（ＩＩＩ）プロセスで、
    前記プロセッサは、（ｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージのオートラベルそれぞれが非正常クラス（ａｂｎｏｒｍａｌ ｃｌａｓｓ）になる可能性であるそれぞれの確率と、前記固有のトゥルーラベル及びオートラベルを有する検証イメージのオートラベルそれぞれが前記非正常クラスであるそれぞれの確率とを計算するための第１設定値と、（ｉｉ）前記ディフィカルトイメージ識別ネットワークが、前記固有のオートラベルを有する原本イメージが前記固有のオートラベルを有するディフィカルト原本イメージであるのかと、前記固有のトゥルーラベル及びオートラベルを有する検証イメージが前記固有のトゥルーラベル及びオートラベルを有するディフィカルト検証イメージであるのかとを判別するための第２設定値を含む前記予め設定されたハイパーパラメータセットを最適化することを特徴とする請求項８に記載の最適化装置。
  10. 前記（ＩＩ）プロセスで、
    前記プロセッサは、信頼度評価ネットワークをもって、前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルーラベル及びオートラベルを参照して、前記オートラベリング装置の前記現在の信頼度を計算させることを特徴とする請求項７に記載の最適化装置。
  11. 前記固有のトゥルーラベル及びオートラベルを有するイージー検証イメージのトゥルー

    によって評価されることを特徴とする請求項１０に記載の最適化装置。
  12. 前記オートラベリング装置は、前記原本イメージと前記固有のトゥルーラベルを有する検証イメージとをオートラベリングして、前記固有のオートラベルを有する原本イメージと前記固有のトゥルーラベル及びオートラベルを有する検証イメージとを生成する物体検出ネットワークを含み、
    前記（ＩＩ）プロセスで、
    前記プロセッサは、前記物体検出ネットワークの各クラスごとのそれぞれのスコア閾値、各クラスごとのそれぞれのＮＭＳ（ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）閾値、各クラスごとのそれぞれのバウンディングボックス選定閾値、及び各クラスごとのそれぞれの最小物体サイズを含む前記予め設定されたハイパーパラメータセットの一つ以上の予め設定されたハイパーパラメータのうち少なくとも一部を最適化することを特徴とする請求項７に記載の最適化装置。
JP2020004783A 2019-01-31 2020-01-15 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置 Active JP6849932B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/262,985 2019-01-31
US16/262,985 US10699192B1 (en) 2019-01-31 2019-01-31 Method for optimizing hyperparameters of auto-labeling device which auto-labels training images for use in deep learning network to analyze images with high precision, and optimizing device using the same

Publications (2)

Publication Number Publication Date
JP2020126615A true JP2020126615A (ja) 2020-08-20
JP6849932B2 JP6849932B2 (ja) 2021-03-31

Family

ID=69147538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004783A Active JP6849932B2 (ja) 2019-01-31 2020-01-15 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置

Country Status (5)

Country Link
US (1) US10699192B1 (ja)
EP (1) EP3690740B1 (ja)
JP (1) JP6849932B2 (ja)
KR (1) KR102280414B1 (ja)
CN (1) CN111507469B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399382A (zh) * 2018-02-13 2018-08-14 阿里巴巴集团控股有限公司 车险图像处理方法和装置
JP2021114085A (ja) * 2020-01-17 2021-08-05 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
DE102020208008A1 (de) * 2020-06-29 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Bildklassifikation und zugehöriges Training für sicherheitsrelevante Klassifikationsaufgaben
WO2022205138A1 (en) * 2021-03-31 2022-10-06 Nvidia Corporation Generation of bounding boxes
CN113132482B (zh) * 2021-04-13 2022-10-14 河海大学 一种基于强化学习的分布式消息系统参数自适应优化方法
KR102337693B1 (ko) * 2021-04-16 2021-12-09 주식회사 에이모 누락되거나 잘못된 바운딩 박스 작업 결과를 검출하는 방법 및 이를 수행하는 컴퓨터 장치
KR102337692B1 (ko) * 2021-04-16 2021-12-09 주식회사 에이모 오류가 의심되는 바운딩 박스를 검출하는 방법 및 이를 수행하는 컴퓨터 장치
KR102379636B1 (ko) 2021-08-11 2022-03-29 주식회사 에스아이에이 딥러닝 기반의 어노테이션 방법
US11423643B1 (en) * 2021-11-29 2022-08-23 Deeping Source Inc. Method for generating obfuscated image to be used in training learning net work and labeling device using the same
US20230198947A1 (en) * 2021-12-21 2023-06-22 Mcafee, Llc Website classification via containment queries
KR102602841B1 (ko) * 2022-12-23 2023-11-17 한국건설기술연구원 드론영상 학습 오류제거를 위한 하이퍼 파라미터 최적화 시스템, 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053391B2 (en) * 2011-04-12 2015-06-09 Sharp Laboratories Of America, Inc. Supervised and semi-supervised online boosting algorithm in machine learning framework
CN106295646B (zh) * 2016-08-10 2019-08-23 东方网力科技股份有限公司 一种基于深度学习的车牌字符分割方法和装置
US20180121814A1 (en) * 2016-10-31 2018-05-03 Microsoft Technology Licensing, Llc Hyperparameter tuning
CA2948499C (en) * 2016-11-16 2020-04-21 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
US10318827B2 (en) * 2016-12-19 2019-06-11 Waymo Llc Object detection neural networks
US10417524B2 (en) * 2017-02-16 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Deep active learning method for civil infrastructure defect detection
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
CN107273502B (zh) * 2017-06-19 2020-05-12 重庆邮电大学 一种基于空间认知学习的图像地理标注方法
US10817259B2 (en) * 2017-07-31 2020-10-27 Allegro Artificial Intelligence Ltd System and method for causing actions in a dataset management system
CN108229298A (zh) * 2017-09-30 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练和人脸识别方法及装置、设备、存储介质
CN108416384B (zh) * 2018-03-05 2021-11-05 苏州大学 一种图像标签标注方法、系统、设备及可读存储介质

Also Published As

Publication number Publication date
CN111507469A (zh) 2020-08-07
KR20200095336A (ko) 2020-08-10
JP6849932B2 (ja) 2021-03-31
EP3690740A1 (en) 2020-08-05
US10699192B1 (en) 2020-06-30
EP3690740B1 (en) 2024-02-21
EP3690740C0 (en) 2024-02-21
KR102280414B1 (ko) 2021-07-23
CN111507469B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
JP2020126615A (ja) 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置
JP6855091B2 (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
KR102326256B1 (ko) 고정밀도 이미지를 분석하는 딥러닝 네트워크의 학습에 이용하기 위한 트레이닝 이미지를 오토 라벨링하기 위한 방법 및 이를 이용한 오토 라벨링 장치
JP6932395B2 (ja) イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
US10963738B2 (en) Method for processing input on basis of neural network learning and apparatus therefor
US10275719B2 (en) Hyper-parameter selection for deep convolutional networks
JP4767595B2 (ja) 対象物検出装置及びその学習装置
JP2020038662A (ja) 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｔｈｒｏｕｇｈ ｃｌａｓｓｉｆｙｉｎｇ ｌａｎｅ ｃａｎｄｉｄａｔｅ ｐｉｘｅｌｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
US20150235079A1 (en) Learning device, learning method, and program
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102320985B1 (ko) 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
JP2020038660A (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
KR102252155B1 (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
Dos Santos et al. Performance comparison of convolutional neural network models for object detection in tethered balloon imagery
KR20210127638A (ko) 분류기를 훈련하고 분류기의 강건성을 평가하기 위한 디바이스 및 방법
JP4741036B2 (ja) 特徴抽出装置、対象物検出装置、特徴抽出方法、および対象物検出方法
Kumar et al. Stationary Object Detection using RetinaNet and Kalman Filter
KR20220124849A (ko) 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 방법 및 장치
CN113362372A (zh) 一种单目标追踪方法及计算机可读介质
JP2011034581A (ja) 対象物検出装置及びその学習装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210215

R150 Certificate of patent or registration of utility model

Ref document number: 6849932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250