JP2020119530A - 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、ｃｎｎ基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 - Google Patents

重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、ｃｎｎ基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 Download PDF

Info

Publication number
JP2020119530A
JP2020119530A JP2020001648A JP2020001648A JP2020119530A JP 2020119530 A JP2020119530 A JP 2020119530A JP 2020001648 A JP2020001648 A JP 2020001648A JP 2020001648 A JP2020001648 A JP 2020001648A JP 2020119530 A JP2020119530 A JP 2020119530A
Authority
JP
Japan
Prior art keywords
test
learning
kth
feature map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020001648A
Other languages
English (en)
Other versions
JP6850046B2 (ja
Inventor
ゲヒョン キム
Kye-Hyeon Kim
ゲヒョン キム
ヨンジュン キム
Yong-Jun Kim
ヨンジュン キム
インス キム
Insu Kim
インス キム
ハクギョン キム
Hak Kyoung Kim
ハクギョン キム
ウンヒョン ナム
Woonhyun Nam
ウンヒョン ナム
ソクフン ブ
Sukhoon Boo
ソクフン ブ
ミョンチョル ソン
Myungchul Sung
ミョンチョル ソン
ドンフン ヨ
Donghun Yeo
ドンフン ヨ
ウジュ リュ
Wooju Ryu
ウジュ リュ
テウン ジャン
Taewoong Jang
テウン ジャン
ギョンジュン ジョン
Kyungjoong Jeong
ギョンジュン ジョン
ホンモ ジェ
Hongmo Je
ホンモ ジェ
ホジン ジョ
Hojin Cho
ホジン ジョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119530A publication Critical patent/JP2020119530A/ja
Application granted granted Critical
Publication of JP6850046B2 publication Critical patent/JP6850046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

【課題】入力イメージ上に位置する様々なサイズの物体を、演算時間を減らして効率的に検出する学習方法と学習装置及びこれを利用したテスティング方法とテスティング装置を提供する。【解決手段】学習方法は、ＦＣレイヤ１２４により第１プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して第１物体に対応する第１物体検出情報を出力し、ＦＣロスレイヤ１２５による第１物体検出情報と対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、ＦＣレイヤ１２４及びコンボリューションレイヤ１２１のパラメータの中の少なくとも一部を学習する段階と、ｋを２からｎまで増加させながら、第（ｋ−１）物体プロポーザルを参照して第ｋ物体検出情報を出力し、第ｋＦＣロスを利用したバックプロパゲーションによって、ＦＣレイヤ１２４及びコンボリューションレイヤ１２１のパラメータの中の少なくとも一部を学習する段階と、を含む。【選択図】図２

Description

重要業績評価指標（ＫＰＩ）のようなユーザ要求事項によって適応可能なターゲット物体予測ネットワークを用いた、変動に強い物体検出器のパラメータを学習する方法に関し、より詳細には、前記ターゲット物体予測ネットワークを用いた前記物体検出器の前記パラメータを学習する方法において、（ａ）少なくとも一つのトレーニングイメージが取得されると、（ｉ）一つ以上のコンボリューションレイヤをもって、前記トレーニングイメージに対応する少なくとも一つの第１加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップを出力するようにし、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記第１特徴マップを利用して、前記第１加工イメージ内に位置する一つ以上の第１物体それぞれに対応する一つ以上の第１物体プロポーザルを出力するようにし、（ｉｉｉ）プーリングレイヤをもって、前記第１特徴マップ上で、前記第１物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１プーリング済み特徴マップを出力するようにし、（ｉｖ）ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１物体に対応する第１物体検出情報を出力するようにし、（ｖ）ＦＣロスレイヤをもって、前記第１物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習する段階；及び（ｂ）ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）加工イメージ上の一つ以上の第（ｋ−１）物体プロポーザルを参照して、前記第（ｋ−１）加工イメージ上で、少なくとも一つのターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）ターゲット領域を探すようにし、（ｉｉ）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する第ｋ加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ加工イメージに前記コンボリューション演算を適用して第ｋ特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋ特徴マップを参照して、前記第ｋ加工イメージ内に位置する一つ以上の第ｋ物体それぞれに対応する一つ以上の第ｋ物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋ特徴マップ上で、前記第ｋ物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋプーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋプーリング済み特徴マップに適用して、前記第ｋ物体に対応する第ｋ物体検出情報を出力するようにし、（ｖｉ）前記ＦＣロスレイヤをもって、前記第ｋ物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習する段階；を含むことを特徴とする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置に関する。
機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）において、コンボリューションニューラルネットワーク（ＣＮＮまたはＣｏｎｖＮｅｔ）は、視覚的イメージ分析に成功的に適用された深層フィードフォワード人工ニューラルネットワーク（Ｄｅｅｐ ｆｅｅｄｆｏｒｗａｒｄ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）である。
ＣＮＮ基盤の物体検出器は、（ｉ）コンボリューションレイヤをもって、入力イメージにコンボリューション演算を適用することにより、前記入力イメージに対応した特徴マップを出力し、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記特徴マップを利用して、前記入力イメージ内の物体に対応するプロポーザルを確認し、（ｉｉｉ）プーリングレイヤをもって、前記確認されたプロポーザルに対応する前記特徴マップ上の領域に少なくとも一つのプーリング演算を適用して、プーリング済み特徴マップを取得し、（ｉｖ）ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、少なくとも一つのＦＣ演算を、前記取得されたプーリング済み特徴マップないし前記物体に関する出力クラス情報と、リグレッション情報とに適用することにより、前記入力イメージ上の前記物体を検出する。
だが、前記ＣＮＮ基盤の物体検出器は、前記コンボリューションレイヤにより前記入力イメージのサイズを縮小したサイズの前記特徴マップを用いることになるので、前記入力イメージに位置するサイズの大きい物体は容易に検出されるが、前記入力イメージに位置するサイズの小さい物体を検出することは難しい。
他の例として、前記入力イメージを拡大して取得した、リサイズされたイメージを利用してサイズが小さい物体を検出し得るが、この場合は、前記物体検出器による演算量が増加することになり、これによって前記物体検出器の性能が低下する。
従って、本発明の発明者は、入力イメージ上に位置する様々なサイズの物体を、演算時間を減らして効率的に検出する学習方法と学習装置及びこれを利用したテスティング方法とテスティング装置を提案したい。
本発明は、前述した問題点を全て解決することを目的とする。
本発明は、イメージ上の物体をサイズに関係なく効率的に検出できるように、ＣＮＮ基盤の物体検出器を提供することを他の目的とする。
本発明は、さらに演算量を増加させないうえ、前記イメージ上のサイズが小さい物体を検出できるようにするＣＮＮ基盤の物体検出器を提供することを別の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
本発明の一態様によれば、ターゲット物体予測ネットワークを用いた物体検出器のパラメータの学習方法において、（ａ）少なくとも一つのトレーニングイメージが取得されると、学習装置が、（ｉ）一つ以上のコンボリューションレイヤをもって、前記トレーニングイメージに対応する少なくとも一つの第１加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップを出力するようにし、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記第１特徴マップを利用して、前記第１加工イメージ内に位置する一つ以上の第１物体それぞれに対応する一つ以上の第１物体プロポーザルを出力するようにし、（ｉｉｉ）プーリングレイヤをもって、前記第１特徴マップ上で、前記第１物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１プーリング済み特徴マップを出力するようにし、（ｉｖ）ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１物体に対応する第１物体検出情報を出力するようにし、（ｖ）ＦＣロスレイヤをもって、前記第１物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習する段階；及び（ｂ）ｋを２からｎまで増加させながら、前記学習装置が、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）加工イメージ上の一つ以上の第（ｋ−１）物体プロポーザルを参照して、前記第（ｋ−１）加工イメージ上で、少なくとも一つのターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）ターゲット領域を探すようにし、（ｉｉ）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する第ｋ加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ加工イメージに前記コンボリューション演算を適用して第ｋ特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋ特徴マップを参照して、前記第ｋ加工イメージ内に位置する一つ以上の第ｋ物体それぞれに対応する一つ以上の第ｋ物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋ特徴マップ上で、前記第ｋ物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋプーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋプーリング済み特徴マップに適用して、前記第ｋ物体に対応する第ｋ物体検出情報を出力するようにし、（ｖｉ）前記ＦＣロスレイヤをもって、前記第ｋ物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習する段階；を含むことを特徴とする方法が開示される。
一例として、前記（ａ）段階で、前記学習装置は、ＲＰＮロスレイヤをもって、前記第１物体プロポーザルの情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、前記（ｂ）段階で、前記学習装置は、前記ＲＰＮロスレイヤをもって、前記第ｋ物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整することを特徴とする。
一例として、前記（ｂ）段階で、前記学習装置は、前記ターゲット物体予測ネットワークをもって、（ｉ）前記第（ｋ−１）加工イメージをＭｘＮグリッドで区分するようにし、（ｉｉ）前記第（ｋ−１）物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するプロポーザルの個数を示す少なくとも一つ以上のヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記プロポーザルそれぞれの全体領域または分割の領域が存在し、（ｉｉｉ）ムービングウィンドウの中の少なくとも一つの領域を利用して、前記第（ｋ−１）ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする。
一例として、前記（ｂ）段階で、前記学習装置は、前記トレーニングイメージのサイズを前記第１加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたトレーニングイメージを生成した後、前記リサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する少なくとも一つの領域をクロップ（ｃｒｏｐ）して、前記第ｋ加工イメージを生成することを特徴とする。
一例として、前記（ｂ）段階で、前記学習装置は、前記トレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第ｋ加工イメージを生成することを特徴とする。
一例として、前記第ｋ加工イメージのサイズが、前記第（ｋ−１）ターゲット領域のサイズより大きくなるように前記第ｋ加工イメージをリサイズすることを特徴とする。
一例として、前記第１加工イメージないし第ｎ加工イメージのサイズが、同一の大きさを有することを特徴とする。
本発明の他の態様によれば、ターゲット物体予測ネットワークを用いた物体検出器のテスト方法において、（ａ）学習装置が、（１−１）一つ以上のコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに対応する少なくとも一つの第１学習用加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１学習用特徴マップを出力するようにし、（１−２）ＲＰＮをもって、前記第１学習用特徴マップを利用して、前記第１学習用加工イメージ内に位置する一つ以上の第１学習用物体それぞれに対応する一つ以上の第１学習用物体プロポーザルを出力するようにし、（１−３）プーリングレイヤをもって、前記第１学習用特徴マップ上で、前記第１学習用物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１学習用プーリング済み特徴マップを出力するようにし、（１−４）ＦＣレイヤをもって、前記第１学習用プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１学習用物体に対応する第１学習用物体検出情報を出力するようにし、（１−５）ＦＣロスレイヤをもって、前記第１学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するようにし、ｋを２からｎまで増加させながら、（２−１）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）学習用加工イメージ上の一つ以上の第（ｋ−１）学習用物体プロポーザルを参照して、前記第（ｋ−１）学習用加工イメージ上で、少なくとも一つの学習用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）学習用ターゲット領域を探すようにし、（２−２）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）学習用ターゲット領域に対応する第ｋ学習用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ学習用加工イメージに前記コンボリューション演算を適用して第ｋ学習用特徴マップを出力するようにし、（２−３）前記ＲＰＮをもって、前記第ｋ学習用特徴マップを利用して、前記第ｋ学習用加工イメージ内に位置する一つ以上の第ｋ学習用物体それぞれに対応する一つ以上の第ｋ学習用物体プロポーザルを出力するようにし、（２−４）前記プーリングレイヤをもって、前記第ｋ学習用特徴マップ上で、前記第ｋ学習用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋ学習用プーリング済み特徴マップを出力するようにし、（２−５）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋ学習用プーリング済み特徴マップに適用して、前記第ｋ学習用物体に対応する第ｋ学習用物体検出情報を出力するようにし、（２−６）前記ＦＣロスレイヤをもって、前記第ｋ学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習した状態で、少なくとも一つのテストイメージが取得されると、テスティング装置が、（ｉ）前記コンボリューションレイヤをもって、前記テストイメージに対応する少なくとも一つの第１テスト用加工イメージに前記コンボリューション演算を適用して、少なくとも一つの第１テスト用特徴マップを出力するようにし、（ｉｉ）前記ＲＰＮをもって、前記第１テスト用特徴マップを利用して、前記第１テスト用加工イメージ内に位置する一つ以上の第１テスト用物体それぞれに対応する一つ以上の第１テスト用物体プロポーザルを出力するようにし、（ｉｉｉ）前記プーリングレイヤをもって、前記第１テスト用特徴マップ上で、前記第１テスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第１テスト用プーリング済み特徴マップを出力するようにし、（ｉｖ）前記ＦＣレイヤをもって、前記第１テスト用プーリング済み特徴マップに前記ＦＣ演算を適用して、前記第１テスト用物体に対応する第１テスト用物体検出情報を出力するようにする段階；及び（ｂ）ｋを２からｎまで増加させながら、前記テスティング装置が、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）テスト用加工イメージ上の一つ以上の第（ｋ−１）テスト用物体プロポーザルを参照して、前記第（ｋ−１）テスト用加工イメージ上で、少なくとも一つのテスト用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）テスト用ターゲット領域を探すようにし、（ｉｉ）前記テストイメージ、またはリサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する第ｋテスト用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記テスト用第ｋ加工イメージに前記コンボリューション演算を適用して第ｋテスト用特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋテスト用特徴マップを参照して、前記第ｋテスト用加工イメージ内に位置する一つ以上の第ｋテスト用物体それぞれに対応する一つ以上の第ｋテスト用物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋテスト用特徴マップ上で、前記第ｋテスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋテスト用プーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋテスト用プーリング済み特徴マップに適用して、前記第ｋテスト用物体に対応する第ｋテスト用物体検出情報を出力するようにする段階；を含むことを特徴とする方法が開示される。
一例として、前記学習装置は、ＲＰＮロスレイヤをもって、前記第１学習用物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、前記学習装置は、前記ＲＰＮロスレイヤをもって、前記第ｋ学習用物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整することを特徴とする。
一例として、前記（ｂ）段階で、前記テスティング装置は、前記ターゲット物体予測ネットワークをもって、（ｉ）前記第（ｋ−１）テスト用加工イメージをＭｘＮグリッドで区分するようにし、（ｉｉ）前記第（ｋ−１）テスト用物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するテスト用プロポーザルの個数を示す少なくとも一つ以上のテスト用ヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記テスト用プロポーザルそれぞれの全体領域または分割の領域が存在し、（ｉｉｉ）ムービングウィンドウの中の少なくとも一つの領域を利用して前記第（ｋ−１）テスト用ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記テスト用ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする。
一例として、前記（ｂ）段階で、前記テスティング装置は、前記テストイメージのサイズを前記第１テスト用加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたテストイメージを生成した後、前記リサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第ｋテスト用加工イメージを生成することを特徴とする。
一例として、前記（ｂ）段階で、前記テスティング装置は、前記テストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第ｋテスト用加工イメージを生成することを特徴とする。
一例として、前記第ｋテスト用加工イメージのサイズが、前記第（ｋ−１）テスト用ターゲット領域のサイズより大きくなるように前記第ｋテスト用加工イメージをリサイズすることを特徴とする。
一例として、前記第１テスト用加工イメージないし第ｎテスト用加工イメージのサイズが同一の大きさを有することを特徴とする。
本発明のまた他の態様によれば、ターゲット物体予測ネットワークを用いた物体検出器のパラメータの学習するための学習装置において、各インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）（ｉ）一つ以上のコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに対応する少なくとも一つの第１加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップを出力するようにし、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記第１特徴マップを利用して、前記第１加工イメージ内に位置する一つ以上の第１物体それぞれに対応する一つ以上の第１物体プロポーザルを出力するようにし、（ｉｉｉ）プーリングレイヤをもって、前記第１特徴マップ上で、前記第１物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１プーリング済み特徴マップを出力するようにし、（ｉｖ）ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１物体に対応する第１物体検出情報を出力するようにし、（ｖ）ＦＣロスレイヤをもって、前記第１物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するプロセス、及び（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）加工イメージ上の一つ以上の第（ｋ−１）物体プロポーザルを参照して、前記第（ｋ−１）加工イメージ上で、少なくとも一つのターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）ターゲット領域を探すようにし、（ｉｉ）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する第ｋ加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ加工イメージに前記コンボリューション演算を適用して第ｋ特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋ特徴マップを参照して、前記第ｋ加工イメージ内に位置する一つ以上の第ｋ物体それぞれに対応する一つ以上の第ｋ物体プロポーザルを出力するようにし、（ｉｖ）プーリングレイヤをもって、前記第ｋ特徴マップ上で、前記第ｋ物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋプーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋプーリング済み特徴マップに適用して、前記第ｋ物体に対応する第ｋ物体検出情報を出力するようにし、（ｖｉ）前記ＦＣロスレイヤをもって、前記第ｋ物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする学習装置が開示される。
一例として、前記（Ｉ）プロセスで、前記プロセッサは、ＲＰＮロスレイヤをもって、前記第１物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、前記（ＩＩ）プロセスで、前記プロセッサは、前記ＲＰＮロスレイヤをもって、前記第ｋ物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整することを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記ターゲット物体予測ネットワークをもって、（ｉ）前記第（ｋ−１）加工イメージをＭｘＮグリッドで区分するようにし、（ｉｉ）前記第（ｋ−１）物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するプロポーザルの個数を示す少なくとも一つ以上のヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記プロポーザルそれぞれの全体領域または分割の領域が存在し、（ｉｉｉ）ムービングウィンドウの中の少なくとも一つの領域を利用して、前記第（ｋ−１）ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記トレーニングイメージのサイズを前記第１加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたトレーニングイメージを生成した後、前記リサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第ｋ加工イメージを生成することを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記トレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第ｋ加工イメージを生成することを特徴とする。
一例として、前記第ｋ加工イメージのサイズが、前記第（ｋ−１）ターゲット領域のサイズより大きくなるように前記第ｋ加工イメージをリサイズすることを特徴とする。
一例として、前記第１加工イメージないし第ｎ加工イメージのサイズが同一の大きさを有することを特徴とする。
本発明のまた他の態様によれば、ターゲット物体予測ネットワークを用いた物体検出器をテストするためのテスティング装置において、各インストラクションを格納する少なくとも一つのメモリ；及び学習装置が、（１−１）一つ以上のコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに対応する少なくとも一つの第１学習用加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１学習用特徴マップを出力するようにし、（１−２）ＲＰＮをもって、前記第１学習用特徴マップを利用して、前記第１学習用加工イメージ内に位置する一つ以上の第１学習用物体それぞれに対応する一つ以上の第１学習用物体プロポーザルを出力するようにし、（１−３）プーリングレイヤをもって、前記第１学習用特徴マップ上で、前記第１学習用物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１学習用プーリング済み特徴マップを出力するようにし、（１−４）ＦＣレイヤをもって、前記第１学習用プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１学習用物体に対応する第１学習用物体検出情報を出力するようにし、（１−５）ＦＣロスレイヤをもって、前記第１学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するようにし、ｋを２からｎまで増加させながら、（２−１）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）学習用加工イメージ上の一つ以上の第（ｋ−１）学習用物体プロポーザルを参照して、前記第（ｋ−１）学習用加工イメージ上で、少なくとも一つの学習用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）ターゲット学習用領域を探すようにし、（２−２）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）学習用ターゲット領域に対応する第ｋ学習用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ学習用加工イメージに前記コンボリューション演算を適用して第ｋ学習用特徴マップを出力するようにし、（２−３）前記ＲＰＮをもって、前記第ｋ学習用特徴マップを利用して、前記第ｋ学習用加工イメージ内に位置する一つ以上の第ｋ学習用物体それぞれに対応する一つ以上の第ｋ学習用物体プロポーザルを出力するようにし、（２−４）前記プーリングレイヤをもって、前記第ｋ学習用特徴マップ上で、前記第ｋ学習用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋ学習用プーリング済み特徴マップを出力するようにし、（２−５）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋ学習用プーリング済み特徴マップに適用して、前記第ｋ学習用物体に対応する第ｋ学習用物体検出情報を出力するようにし、（２−６）前記ＦＣロスレイヤをもって、前記第ｋ学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習した状態で、（Ｉ）（ｉ）前記コンボリューションレイヤをもって、テストイメージに対応する少なくとも一つの第１テスト用加工イメージに前記コンボリューション演算を適用して、少なくとも一つの第１テスト用特徴マップを出力するようにし、（ｉｉ）前記ＲＰＮをもって、前記第１テスト用特徴マップを利用して、前記第１テスト用加工イメージ内に位置する一つ以上の第１テスト用物体それぞれに対応する一つ以上の第１テスト用物体プロポーザルを出力するようにし、（ｉｉｉ）前記プーリングレイヤをもって、前記第１テスト用特徴マップ上で、前記第１テスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第１テスト用プーリング済み特徴マップを出力するようにし、（ｉｖ）前記ＦＣレイヤをもって、前記第１テスト用プーリング済み特徴マップに前記ＦＣ演算を適用して、前記第１テスト用物体に対応する第１テスト用物体検出情報を出力するようにするプロセス、及び（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）テスト用加工イメージ上の一つ以上の第（ｋ−１）テスト用物体プロポーザルを参照して、前記第（ｋ−１）テスト用加工イメージ上で、少なくとも一つのテスト用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）テスト用ターゲット領域を探すようにし、（ｉｉ）前記テストイメージ、またはリサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する第ｋテスト用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記テスト用第ｋ加工イメージに前記コンボリューション演算を適用して第ｋテスト用特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋテスト用特徴マップを参照して、前記第ｋテスト用加工イメージ内に位置する一つ以上の第ｋテスト用物体それぞれに対応する一つ以上の第ｋテスト用物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋテスト用特徴マップ上で、前記第ｋテスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋテスト用プーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋテスト用プーリング済み特徴マップに適用して、前記第ｋテスト用物体に対応する第ｋテスト用物体検出情報を出力するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするテスティング装置が開示される。
一例として、前記学習装置は、ＲＰＮロスレイヤをもって、前記第１学習用物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、前記学習装置は、前記ＲＰＮロスレイヤをもって、前記第ｋ学習用物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整することを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記ターゲット物体予測ネットワークをもって、（ｉ）前記第（ｋ−１）テスト用加工イメージをＭｘＮグリッドで区分するようにし、（ｉｉ）前記第（ｋ−１）テスト用物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するテスト用プロポーザルの個数を示す少なくとも一つ以上のテスト用ヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記テスト用プロポーザルそれぞれの全体領域または分割の領域が存在し、（ｉｉｉ）ムービングウィンドウの中の少なくとも一つの領域を利用して、前記第（ｋ−１）テスト用ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記テスト用ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記テストイメージのサイズを前記第１テスト用加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたテストイメージを生成した後、前記リサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第ｋテスト用加工イメージを生成することを特徴とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記テストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第ｋテスト用加工イメージを生成することを特徴とする。
一例として、前記第ｋテスト用加工イメージのサイズが、前記第（ｋ−１）テスト用ターゲット領域のサイズより大きくなるように前記第ｋテスト用加工イメージをリサイズすることを特徴とする。
一例として、前記第１テスト用加工イメージないし第ｎテスト用加工イメージのサイズが、同一の大きさを有することを特徴とする。
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読読可能な記録媒体がさらに提供される。
本発明によれば、入力イメージを互いに異なるサイズを有するイメージに加工した上で、それぞれの加工されたイメージ上に物体が位置するものと推定されるターゲット領域を利用してイメージ内の小さな物体を容易に検出し得る効果がある。
また、本発明によれば、前記入力イメージを互いに異なるサイズのイメージに加工した後、それぞれの前記加工されたイメージ上に物体が位置すると推定されるターゲット領域をクロップして加工されたイメージを利用して、イメージ内のサイズが小さい物体を検出することにより、演算量と演算時間を最小化し得る効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図１は、本発明の一例に係るターゲット物体予測ネットワークを利用した、ＣＮＮ基盤物体検出器を学習する学習装置を概略的に示した図面である。 図２は、本発明の一例に係る前記ターゲット物体予測ネットワークを利用した、前記ＣＮＮ基盤物体検出器を学習する学習方法を概略的に示した図面である。 図３は、本発明の一例に係る前記ターゲット物体予測ネットワークを利用した、前記ＣＮＮ基盤物体の検出器の学習方法から考慮される、ＲＰＮから出力される、物体プロポーザルを概略的に示した図面である。 図４は、本発明の一例に係る前記ターゲット物体予測ネットワークを利用した、前記ＣＮＮ基盤物体の検出器の学習方法において考慮される、前記ＲＰＮから出力される前記物体プロポーザルを利用してターゲット領域を探す状態を概略的に示した図面である。 図５は、本発明の一例に係る加工イメージを利用して、少なくとも一つのターゲット物体を検出する状態を概略的に示した図面である。 図６は、本発明の一例に係る前記ターゲット物体予測ネットワークを利用した、前記ＣＮＮ基盤物体検出器のテスティング装置を概略的に示した図面である。 図７は、本発明の一例に係る前記ターゲット物体予測ネットワークを利用した、前記ＣＮＮ基盤物体検出器のテスティング方法を概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得り、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図１は、本発明の一例に係るターゲット物体予測ネットワークを利用した、ＣＮＮ基盤物体検出器を学習する学習装置を概略的に示した図面である。
図１を参照すれば、前記学習装置１００は、通信部１１０とプロセッサ１２０とを含み得る。
まず、前記通信部１１０は、少なくとも一つのトレーニングイメージを取得するか、他の装置をもって取得するように支援し得る。
この際、前記トレーニングイメージは、データベース１３０に格納され得り、前記データベース１３０は、前記トレーニングイメージに位置する一つ以上の物体それぞれに対応するクラス情報及び位置情報に対する少なくとも一つのＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を格納し得る。
また、前記学習装置は、後述するプロセスを遂行するコンピュータ読み取り可能なインストラクション（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｉｎｓｔｒｕｃｔｉｏｎ）を格納し得るメモリ１１５を追加的に含み得る。一例として、前記プロセッサ、前記メモリ、及び媒体等は、一つのプロセッサに統合されて機能することもできる。
次に、前記プロセッサ１２０は（ｉ）一つ以上のコンボリューションレイヤをもって、前記トレーニングイメージに対応する少なくとも一つの第１加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップを出力するようにし、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記第１特徴マップを利用して、前記第１加工イメージ内に位置する一つ以上の第１物体それぞれに対応する一つ以上の第１物体プロポーザルを出力するようにし、（ｉｉｉ）プーリングレイヤをもって、前記第１特徴マップ上で、前記第１物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１プーリング済み特徴マップを出力するようにし、（ｉｖ）ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１物体に対応する第１物体検出情報を出力するようにし、（ｖ）ＦＣロスレイヤをもって、前記第１物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するプロセスを遂行するか、他の装置をもって遂行するように支援し得る。
また、前記プロセッサ１２０は、ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）加工イメージ上の一つ以上の第（ｋ−１）物体プロポーザルを参照して、前記第（ｋ−１）加工イメージ上で、少なくとも一つのターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）ターゲット領域を探すようにし、（ｉｉ）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する第ｋ加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ加工イメージに前記コンボリューション演算を適用して第ｋ特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋ特徴マップを参照して、前記第ｋ加工イメージ内に位置する一つ以上の第ｋ物体それぞれに対応する一つ以上の第ｋ物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋ特徴マップ上で、前記第ｋ物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋプーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋプーリング済み特徴マップに適用して、前記第ｋ物体に対応する第ｋ物体検出情報を出力するようにし、（ｖｉ）前記ＦＣロスレイヤをもって、前記第ｋ物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するプロセスを遂行するか、他の装置をもって遂行するように支援し得る。
また、前記プロセッサ１２０は、ＲＰＮロスレイヤをもって、前記第１物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、前記ＲＰＮロスレイヤをもって、前記第ｋ物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整し得る。
この際、本発明の一例に係る前記学習装置１００は、コンピューティング装置であり、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明に係る学習装置１００として採択され得る。また、図１では一つの学習装置１００のみを示したが、これに限定されず、前記学習装置は複数に分けて役割を遂行することもできる。
このように構成された本発明の一例に係る前記学習装置１００を利用して、前記ターゲット物体予測ネットワークを利用してＣＮＮ基盤物体検出器のパラメータを学習する方法を、図２を参照して説明する。
まず、前記トレーニングイメージが入力されると、前記学習装置１００がコンボリューションレイヤ１２１をもって、前記トレーニングイメージに対応する前記第１加工イメージに前記コンボリューション演算を適用して、前記第１特徴マップを出力するようにし得る。ここで、前記コンボリューションレイヤ１２１は、単一のコンボリューションレイヤまたは多数のコンボリューションレイヤになり得る。
この際、前記学習装置１００は、イメージ加工ネットワーク１１１をもって、前記トレーニングイメージを加工してサイズが互いに異なるイメージ多数を含むイメージピラミッドを生成するようにし得、前記イメージピラミッドイメージの中の一つを前記第１加工イメージとして前記コンボリューションレイヤ１２１に入力し得る。
次に、前記学習装置１００は、ＲＰＮ１２２をもって、前記第１特徴マップを利用して、前記第１加工イメージ内に位置する前記第１物体それぞれに対応する一つ以上の第１物体プロポーザルを出力するようにし得る。
一例として、図３を参照すれば、前記ＲＰＮ１２２から出力された前記第１物体プロポーザルは、前記第１加工イメージ内の前記第１物体それぞれに対応し得、前記第１物体プロポーザルそれぞれは、前記第１物体それぞれ、つまり、タグ付け領域に対応する位置情報と、前記タグ付け領域それぞれが物体であるか否かに対する情報とを有する各プロポーザルに対する情報を含み得る。この際、物体であるか否かに対する情報は、前記それぞれの物体プロポーザルが物体であると予測される確率情報を含み得り、前記プロポーザルボックスに関する情報は、前記プロポーザルボックスが前記物体の位置に一致すると予測される確率情報を含み得る。
次に、前記学習装置１００は、プーリングレイヤ１２３をもって、前記第１特徴マップ上で、前記第１物体プロポーザルに対応する少なくとも一つの領域に前記プーリング演算を適用して、前記第１プーリング済み特徴マップを出力するようにし、ＦＣレイヤ１２４をもって、前記第１プーリング済み特徴マップに前記ＦＣ演算を適用して、前記第１物体に対応する第１物体検出情報を出力するようにし得る。
この際、前記第１物体検出情報は、バウンディングボックスに関する情報（すなわち、前記第１物体それぞれに関する位置情報）と、前記第１物体プロポーザルに対応する前記第１物体それぞれに関するクラス情報とを含み得る。また、前記クラス情報は、前記第１物体それぞれが該当クラスと予測される確率情報を含み得、前記バウンディングボックスに関する情報は、前記バウンディングボックスそれぞれが前記物体の位置に一致するものと予測される確率情報を含み得る。
次に、前記学習装置１００は、少なくとも一つのＦＣロスレイヤ１２５をもって、前記第１物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ１２４及び前記コンボリューションレイヤ１２１のパラメータの中の少なくとも一部を調整し得る。
また、前記学習装置１００は、少なくとも一つのＲＰＮロスレイヤ１２６をもって、前記第１物体プロポーザルと、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮ１２２のパラメータの中の少なくとも一部を調整し得る。
次に、前記学習装置１００は、前記ターゲット物体予測ネットワーク１２７をもって、第１加工イメージ上の前記第１物体プロポーザルを参照して、前記第１加工イメージ上で、少なくとも一つのターゲット物体が位置するものと予測される領域に対応する第１ターゲット領域を探すようにし得る。
一例として、図４を参照すれば、前記ターゲット物体予測ネットワーク１２７は（ｉ）前記第１加工イメージをＭｘＮグリッドで区分し、（ｉｉ）前記第（ｋ−１）物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するプロポーザルの個数を示す少なくとも一つ以上のヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記プロポーザルそれぞれの全体領域または分割の領域が存在し、好ましくは、前記対応するプロポーザルのサイズが、前記ＲＰＮ１２２から出力された前記物体プロポーザルの中の、前記ターゲット物体のサイズに対応する予め設定されているサイズより小さくなるようにすることができ、（ｉｉｉ）前記第１ターゲット領域のサイズに対応するＰｘＱサイズを有するムービングウィンドウの少なくとも一つの領域を利用して前記第１ターゲット領域（ＴＲ）を決定し、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中の前記ヒストグラムの合計が最も大きい値を有し得る。
次に、前記学習装置１００は、前記トレーニングイメージ、またはこれをリサイズしたイメージ、つまり、前記リサイズされたトレーニングイメージ上の前記第１ターゲット領域（ＴＲ）に対応する第２加工イメージを取得するか、他の装置をもって取得するように支援し得る。
この際、前記学習装置１００は、前記イメージ加工ネットワーク１１１をもって、前記トレーニングイメージのサイズを前記第１加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたトレーニングのイメージを生成した後、前記リサイズされたトレーニングイメージ上で前記第１ターゲット領域（ＴＲ）に対応する少なくとも一つの領域をクロップして前記第２加工イメージを生成するか、前記トレーニングイメージ上の前記第１ターゲット領域（ＴＲ）に対応する少なくとも一つの領域をクロップ及びリサイズして前記第２加工イメージを生成するようにし得る。
一例として、前記イメージ加工ネットワーク１１１は、前記トレーニングイメージに対応する前記イメージピラミッドの中の、第１加工イメージよりサイズが大きいイメージ上で、第１ターゲット領域（ＴＲ）に対応する少なくとも一つの領域をクロップして、前記第２加工イメージを生成し得る。また、前記イメージ加工ネットワーク１１１は、前記トレーニングイメージにおいて前記第１ターゲット領域（ＴＲ）に対応する少なくとも一つの領域をクロップし、前記クロップされたイメージをリサイズすることにより、前記第２加工イメージを生成し得る。この際、前記第２加工イメージは、サイズが前記第１ターゲット領域のサイズより大きくリサイズされ得る。このために、前記イメージ加工ネットワーク１１１は、前記クロップされたイメージを、前記トレーニングイメージの前記イメージピラミッドの中の、前記第１加工イメージの次のイメージのサイズに対応するようにリサイズして、前記第２加工イメージを生成し得る。
次に、前記学習装置１００は、前記生成された第２加工イメージを利用して、前記のような過程を繰り返して前記トレーニングイメージ上でのサイズが小さい物体、つまり、遠距離に位置する物体を効率的に検出できるようになる。
つまり、前記学習装置１００は、ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワーク１２７をもって、第（ｋ−１）加工イメージ上の一つ以上の第（ｋ−１）物体プロポーザルを参照して、前記第（ｋ−１）加工イメージ上で、前記ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）ターゲット領域を探すようにし、（ｉｉ）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する第ｋ加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ加工イメージに前記コンボリューション演算を適用して第ｋ特徴マップを出力するようにするプロセスを遂行するか、他の装置をもって遂行するように支援し得る。そして、前記学習装置１００は、前記ＲＰＮ１２２をもって、前記第ｋ特徴マップを利用して、前記第ｋ加工イメージ内に位置する第ｋ物体それぞれに対応する前記第ｋ物体プロポーザルを出力するようにし、前記プーリングレイヤ１２３をもって、前記第ｋ特徴マップ上で、前記第ｋ物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、前記少なくとも一つの第ｋプーリング済み特徴マップを出力するようにし得る。その後、前記テスティング装置１００は、前記ＦＣレイヤ１２４をもって、前記ＦＣ演算を前記第ｋプーリング済み特徴マップに適用して、前記第ｋ物体に対応する第ｋ物体検出情報を出力するようにし得る。そして、前記学習装置１００は、前記ＦＣロスレイヤ１２５をもって、前記第ｋ物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を調整するようにし得る。また、前記学習装置１００は、前記ＲＰＮロスレイヤ１２６をもって、前記第ｋ物体プロポーザルと、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮ１２２のパラメータの中の少なくとも一部を調整するようにし得る。
一例として、図５を参照すれば、前記イメージピラミッドの中の最小サイズのイメージである第１イメージ（Ｐ１）に対応する前記第１加工イメージ（ＭＩ１）上で物体検出が遂行されて前記第１ターゲット領域（ＴＲ１）が予測され、前記イメージピラミッドの中で、次の最小サイズのイメージである第２イメージ（Ｐ２）において、前記第１ターゲット領域（ＴＲ１）に対応する前記第２加工イメージ（ＭＩ２）上で物体検出が遂行されて第２ターゲット領域（ＴＲ２）が確認され、 前記イメージピラミッドの中の、第２イメージ（Ｐ２）の次の最小サイズのイメージである第３イメージ（Ｐ３）において、前記第２ターゲット領域（ＴＲ２）に対応する第３加工イメージ（ＭＩ３）上で物体検出が遂行されることにより、特定サイズを有する第ｋ物体、好ましくは、遠距離に位置するサイズが小さい物体が短い演算時間によって容易に検出され得るようになる。
この際、前記第１加工イメージないし第（ｎ−１）加工イメージにおいて、第１ターゲット領域ないし第（ｎ−１）ターゲット領域のサイズは同一になるようにするか、それぞれの加工イメージのサイズに対応してアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）を同一にした状態でそのサイズが異なるようにすることもできる。また、前記第１加工イメージないし前記第ｎ加工イメージは、同一の大きさを有するようにすることもできる。
前記のような方法により、前記のトレーニングイメージ内に位置するサイズが様々な物体、特にサイズが小さく、遠距離に位置した前記第ｋ物体を効率的に検出できるようになり、また、前記予測されたターゲット領域に対応する領域のみを利用することで演算量を減らし得、これによって前記ＣＮＮベースの前記物体検出の演算時間を減らし得るようになる。
また、前記では、前記トレーニングイメージ上にターゲット物体が一つである場合を想定して説明したが、前記トレーニングイメージ内にターゲット物体多数がある場合にも、前記のような方法により前記トレーニングイメージ内での前記それぞれのターゲット物体に対応するそれぞれのターゲット領域を利用して、前記それぞれのターゲット物体の検出が可能である。
図６は、本発明の一例に係る前記ターゲット物体予測ネットワークを利用した、前記ＣＮＮ基盤物体検出器をテスティングするテスティング装置を概略的に示したもので、図６を参照すれば、前記テスティング装置２００は、通信部２１０とプロセッサ２２０を含み得る。
まず、前記通信部２１０は、少なくとも一つのテストイメージを取得するか、他の装置をもって取得するように支援し得る。
また、前記テスティング装置は、後述するプロセスを遂行するコンピュータ読み取り可能なインストラクション（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｉｎｓｔｒｕｃｔｉｏｎ）を格納し得るメモリ２１５を追加的に含み得る。一例として、前記プロセッサ、前記メモリ、及び媒体（ｍｅｄｉｕｍ）等は、一つのプロセッサに統合されて機能することもできる。
この際、前記ターゲット物体予測ネットワークを利用した、前記ＣＮＮ基盤、前記物体検出器は、図１ないし図５を参照して説明された前記学習方法として学習され得る。
参考までに、以下の説明において混乱を避けるために、前記学習プロセスに関連する用語には「学習用」という単語が追加され、テスト用プロセスに関連する用語には「テスト用」という単語が追加された。
つまり、トレーニングイメージが取得されると、前記学習装置が、（ａ）（ｉ）前記コンボリューションレイヤをもって、前記トレーニングイメージに対応する少なくとも一つの第１学習用加工イメージに前記コンボリューション演算を適用して、少なくとも一つの第１学習用特徴マップを出力するようにし、（ｉｉ）前記ＲＰＮをもって、前記第１学習用特徴マップを利用して、前記第１学習用加工イメージ内に位置する一つ以上の第１学習用物体それぞれに対応する一つ以上の第１学習用物体プロポーザルを出力するようにし、（ｉｉｉ）前記プーリングレイヤをもって、前記第１学習用特徴マップ上で、前記第１学習用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第１学習用プーリング済み特徴マップを出力するようにし、（ｉｖ）前記ＦＣレイヤをもって、前記第１学習用プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１学習用物体に対応する第１学習用物体検出情報を出力するようにし、（ｖ）前記ＦＣロスレイヤをもって、前記第１学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するようにし、（ｂ）ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）学習用加工イメージ上の一つ以上の第（ｋ−１）学習用物体プロポーザルを参照して、前記第（ｋ−１）学習用加工イメージ上で、少なくとも一つの学習用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）学習用ターゲット領域を探すようにし、（ｉｉ）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）学習用ターゲット領域に対応する第ｋ学習用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ学習用加工イメージに前記コンボリューション演算を適用して第ｋ学習用特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋ学習用特徴マップを利用して、前記第ｋ学習用加工イメージ内に位置する一つ以上の第ｋ学習用物体それぞれに対応する一つ以上の第ｋ学習用物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋ学習用特徴マップ上で、前記第ｋ学習用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋ学習用プーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋ学習用プーリング済み特徴マップに適用して、前記第ｋ学習用物体に対応する第ｋ学習用物体検出情報を出力するようにし、（ｖｉ）前記ＦＣロスレイヤをもって、前記第ｋ学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤの前記パラメータの中の少なくとも一部を学習するプロセスを遂行し得る。
また、前記学習装置は、前記ＲＰＮロスレイヤをもって、前記第１学習用物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、前記ＲＰＮロスレイヤをもって、前記第ｋ物体学習用プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整し得る。
次に、前記プロセッサ２２０は（ｉ）前記コンボリューションレイヤをもって、前記テストイメージに対応する少なくとも一つの第１テスト用加工イメージに前記コンボリューション演算を適用して、少なくとも一つの第１テスト用特徴マップを出力するようにし、（ｉｉ）前記ＲＰＮをもって、前記第１テスト用特徴マップを利用して、前記第１テスト用加工イメージ内に位置する一つ以上の第１テスト用物体それぞれに対応する一つ以上の第１テスト用物体プロポーザルを出力するようにし、（ｉｉｉ）前記プーリングレイヤをもって、前記第１テスト用特徴マップ上で、前記第１テスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第１テスト用プーリング済み特徴マップを出力するようにし、（ｉｖ）前記ＦＣレイヤをもって、前記第１テスト用プーリング済み特徴マップに前記ＦＣ演算を適用して、前記第１テスト用物体に対応する第１テスト用物体検出情報を出力するようにする プロセスを遂行するか、他の装置をもって遂行するように支援し得る。その後、前記プロセッサ２２０は、ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）テスト用加工イメージ上の一つ以上の第（ｋ−１）テスト用物体プロポーザルを参照して、前記第（ｋ−１）テスト用加工イメージ上で、少なくとも一つのテスト用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）テスト用ターゲット領域を探すようにし、（ｉｉ）前記テストイメージ、またはリサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する第ｋテスト用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記テスト用第ｋ加工イメージに前記コンボリューション演算を適用して第ｋテスト用特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋテスト用特徴マップを参照して、前記第ｋテスト用加工イメージ内に位置する一つ以上の第ｋテスト用物体それぞれに対応する一つ以上の第ｋテスト用物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋテスト用特徴マップ上で、前記第ｋテスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋテスト用プーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋテスト用プーリング済み特徴マップに適用して、前記第ｋテスト用物体に対応する第ｋテスト用物体検出情報を出力するようにする プロセスを遂行するか、他の装置をもって遂行するように支援し得る。
この際、本発明の一例に係るテスティング装置２００は、コンピューティング装置であり、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明に係る学習装置２００として採択され得る。また、図６では一つのテスティング装置２００のみを示したが、これに限定されず、テスティング装置は複数に分けて役割を遂行することもできる。
本発明の一例に係る前記テスティング装置２００を利用して、前記ターゲット物体予測ネットワークを利用した前記ＣＮＮ基盤物体検出器をテスティングする方法を、図７を参照して説明する。以下の説明で、図１ないし図５を参照して説明した前記学習方法により容易に理解可能な部分については、詳細な説明を省略することにする。
まず、図１ないし図５を参照に説明した学習方法によってＦＣレイヤ２２４、コンボリューションレイヤ２２１、及びＲＰＮ２２２のパラメータの中の少なくとも一部を学習した状態で、前記テストイメージが入力されると、前記テスティング装置２００がコンボリューションレイヤ２２１をもって、前記テストイメージに対応する前記第１加工イメージに前記コンボリューション演算を適用して、前記第１テスト用特徴マップを出力するようにし得る。この際、前記コンボリューションレイヤ２２１は、単一のコンボリューションレイヤであることもあり、または多数のコンボリューションレイヤであることもある。
この際、前記テスティング装置２００は、イメージ加工ネットワーク２１１をもって、前記テストイメージを加工してサイズが互いに異なるイメージを含むイメージピラミッドを生成するようにし得、前記イメージピラミッドイメージの中の一つイメージを前記第１テスト用加工イメージとして前記コンボリューションレイヤ２２１に入力し得る。
次に、前記テスティング装置２００は、前記ＲＰＮ２２２をもって前記第１テスト用特徴マップを利用して、前記第１テスト用加工イメージ内に位置する前記第１テスト用物体それぞれに対応する一つ以上の第１テスト用物体プロポーザルを出力するようにし得る。
この際、前記第１テスト用物体プロポーザルそれぞれは、前記それぞれの第１テスト用物体、つまり、タグ付き領域に対応する位置情報と、前記それぞれのタグ付け領域が物体であるか否かに対する情報とを有する各プロポーザルに対する情報を含み得る。
次に、前記テスティング装置２００は、プーリングレイヤ２２３をもって、前記第１テスト用特徴マップ上で、前記第１物体プロポーザルに対応する少なくとも一つの領域に前記プーリング演算を適用して、少なくとも一つの第１テスト用プーリング済み特徴マップを出力するようにし、前記ＦＣレイヤ２２４をもって、前記ＦＣ演算を前記第１テスト用プーリング済み特徴マップに適用して、前記第１テスト用物体に対応する第１テスト用物体検出情報を出力するようにし得る。
この際、前記第１テスト用物体検出情報は、テスト用バウンディングボックスに関する情報（すなわち、前記テスト用物体それぞれに関する位置情報）と、前記第１テスト用物体プロポーザルに対応する前記第１テスト用物体それぞれに関するクラス情報とを含み得る。
次に、前記テスティング装置２００は、ターゲット物体予測ネットワーク２２７をもって、第１テスト用加工イメージ上の前記第１テスト用物体プロポーザルを参照して、前記第１テスト用加工イメージ上で、少なくとも一つのテスト用ターゲット物体が位置するものと予測される領域に対応する第１テスト用ターゲット領域を探すようにし得る。
次に、前記テスティング装置２００は、前記リサイズされたテストイメージ、または前記テストイメージ上の前記第１テスト用ターゲット領域に対応する第２テスト用加工イメージを取得するか、他の装置をもって取得するように支援し得る。
この際、前記テスティング装置２００は、前記イメージ加工ネットワーク２１１をもって、前記テストイメージのサイズを前記第１テスト用加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたテストイメージを生成した後、前記リサイズされたテストイメージ上で前記第１テスト用ターゲット領域に対応する少なくとも一つの領域をクロップして前記第２加工イメージを生成するか、前記テストイメージ上の前記第１テスト用ターゲット領域に対応する少なくとも一つの領域をクロップ及びリサイズして前記第２テスト用加工イメージを生成するようにし得る。
一例として、前記イメージ加工ネットワーク２１１は、前記テストイメージに対応する前記イメージピラミッドの中の、第１テスト用加工イメージよりサイズが大きいイメージ上で、第１テスト用ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第２テスト用加工イメージを生成し得る。また、前記イメージ加工ネットワーク２１１は、前記トレーニングイメージにおいて前記第１ターゲット領域に対応する少なくとも一つの領域をクロップして、前記クロップされたイメージをリサイズすることにより、前記第２テスト用加工イメージを生成し得る。この際、前記第２テスト用加工イメージのサイズが、前記第１テスト用ターゲット領域のサイズより大きくなるようにリサイズされ得る。このために、前記イメージ加工ネットワーク２１１は、前記クロップされたイメージを、前記テストイメージの前記イメージピラミッドの中の、前記第１テスト用加工イメージの次のイメージのサイズに対応するようにリサイズして、前記第２加工イメージを生成し得る。
次に、前記テスティング装置２００は、前記生成された第２テスト用加工イメージを利用して前記のような過程を繰り返して前記テストイメージ上でのサイズが小さい物体、つまり、遠距離に位置する物体を効率的に検出できるようになる。
つまり、前記テスティング装置２００は、ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワーク２２７をもって、第（ｋ−１）テスト用加工イメージ上の一つ以上の第（ｋ−１）テスト用物体プロポーザルを参照して、前記第（ｋ−１）テスト用加工イメージ上で、少なくとも一つのテスト用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）テスト用ターゲット領域を探すようにし、（ｉｉ）前記テストイメージ、またはリサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する第ｋテスト用加工イメージが取得されると、前記コンボリューションレイヤ２２１をもって、前記テスト用第ｋ加工イメージに前記コンボリューション演算を適用して第ｋテスト用特徴マップを出力するようにするプロセスを遂行するか、他の装置をもって遂行するように支援し得る。そして、前記テスティング装置２００は、前記ＲＰＮ２２２をもって、前記第ｋテスト用特徴マップを利用して、前記第ｋテスト用加工イメージ内に位置する前記第ｋテスト用物体それぞれに対応する前記第ｋテスト用物体プロポーザルを出力するようにし、前記プーリングレイヤ２２３をもって、前記第ｋテスト用特徴マップ上で、前記第ｋテスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋテスト用プーリング済み特徴マップを出力するようにし得る。その後、前記テスティング装置２００は、前記ＦＣレイヤ２２４をもって、前記ＦＣ演算を前記第ｋテスト用プーリング済み特徴マップに適用して、前記第ｋテスト用物体に対応する第ｋテスト用物体検出情報を出力するようにし得る。
前記のような方法により、前記テストイメージ内に位置するサイズが様々な物体、特にサイズが小さく、遠距離に位置した前記第ｋ物体を効率的に検出できるようになり、また、前記予測されたターゲット領域に対応する領域のみを利用することで演算量を減らし得、これによって前記ＣＮＮベースの前記物体検出の演算時間を減らし得るようになる。
また、前記では、前記テストイメージ上にターゲット物体が一つである場合を想定して説明したが、前記テストイメージ内にターゲット物体多数がある場合にも、前記のような方法により前記テストイメージ内での前記それぞれのターゲット物体に対応するそれぞれのターゲット領域を利用して前記それぞれのターゲット物体の検出が可能である。
物体検出器のパラメータを学習して、重要業績評価指標（ＫＰＩ）のようなユーザ要求事項に適応可能なターゲット物体予測ネットワークが提供され得る。前記ＫＰＩによる解像度（ｒｅｓｏｌｕｔｉｏｎ）や焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）が変われば、物体の大きさもまた変わる。ユーザ最適化設計のための前記方法で、落下する、または、落下した物体のように、確実でない物体がより正確に検出され得、また前記物体の変動（ｆｌｕｃｔｕａｔｉｏｎ）も感知し得る。従って、前記方法は、軍事目的や遠距離にある物体検出のために有用に遂行され得る。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (28)

  1. ターゲット物体予測ネットワークを用いた物体検出器のパラメータの学習方法において、
    （ａ）少なくとも一つのトレーニングイメージが取得されると、学習装置が、（ｉ）一つ以上のコンボリューションレイヤをもって、前記トレーニングイメージに対応する少なくとも一つの第１加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップを出力するようにし、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記第１特徴マップを利用して、前記第１加工イメージ内に位置する一つ以上の第１物体それぞれに対応する一つ以上の第１物体プロポーザルを出力するようにし、（ｉｉｉ）プーリングレイヤをもって、前記第１特徴マップ上で、前記第１物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１プーリング済み特徴マップを出力するようにし、（ｉｖ）ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１物体に対応する第１物体検出情報を出力するようにし、（ｖ）ＦＣロスレイヤをもって、前記第１物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習する段階；及び
    （ｂ）ｋを２からｎまで増加させながら、前記学習装置が、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）加工イメージ上の一つ以上の第（ｋ−１）物体プロポーザルを参照して、前記第（ｋ−１）加工イメージ上で、少なくとも一つのターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）ターゲット領域を探すようにし、（ｉｉ）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する第ｋ加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ加工イメージに前記コンボリューション演算を適用して第ｋ特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋ特徴マップを参照して、前記第ｋ加工イメージ内に位置する一つ以上の第ｋ物体それぞれに対応する一つ以上の第ｋ物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋ特徴マップ上で、前記第ｋ物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋプーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋプーリング済み特徴マップに適用して、前記第ｋ物体に対応する第ｋ物体検出情報を出力するようにし、（ｖｉ）前記ＦＣロスレイヤをもって、前記第ｋ物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習する段階；
    を含むことを特徴とする方法。
  2. 前記（ａ）段階で、
    前記学習装置は、ＲＰＮロスレイヤをもって、前記第１物体プロポーザルの情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、
    前記（ｂ）段階で、
    前記学習装置は、前記ＲＰＮロスレイヤをもって、前記第ｋ物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整することを特徴とする請求項１に記載の方法。
  3. 前記（ｂ）段階で、
    前記学習装置は、前記ターゲット物体予測ネットワークをもって、（ｉ）前記第（ｋ−１）加工イメージをＭｘＮグリッドで区分するようにし、（ｉｉ）前記第（ｋ−１）物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するプロポーザルの個数を示す少なくとも一つ以上のヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記プロポーザルそれぞれの全体領域または分割の領域が存在し、（ｉｉｉ）ムービングウィンドウの中の少なくとも一つの領域を利用して、前記第（ｋ−１）ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする請求項１に記載の方法。
  4. 前記（ｂ）段階で、
    前記学習装置は、前記トレーニングイメージのサイズを前記第１加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたトレーニングイメージを生成した後、前記リサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する少なくとも一つの領域をクロップ（ｃｒｏｐ）して、前記第ｋ加工イメージを生成することを特徴とする請求項１に記載の方法。
  5. 前記（ｂ）段階で、
    前記学習装置は、前記トレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第ｋ加工イメージを生成することを特徴とする請求項１に記載の方法。
  6. 前記第ｋ加工イメージのサイズが、前記第（ｋ−１）ターゲット領域のサイズより大きくなるように前記第ｋ加工イメージをリサイズすることを特徴とする請求項５に記載の方法。
  7. 前記第１加工イメージないし第ｎ加工イメージのサイズが、同一の大きさを有することを特徴とする請求項１に記載の方法。
  8. ターゲット物体予測ネットワークを用いた物体検出器のテスト方法において、
    （ａ）学習装置が、（１−１）一つ以上のコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに対応する少なくとも一つの第１学習用加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１学習用特徴マップを出力するようにし、（１−２）ＲＰＮをもって、前記第１学習用特徴マップを利用して、前記第１学習用加工イメージ内に位置する一つ以上の第１学習用物体それぞれに対応する一つ以上の第１学習用物体プロポーザルを出力するようにし、（１−３）プーリングレイヤをもって、前記第１学習用特徴マップ上で、前記第１学習用物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１学習用プーリング済み特徴マップを出力するようにし、（１−４）ＦＣレイヤをもって、前記第１学習用プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１学習用物体に対応する第１学習用物体検出情報を出力するようにし、（１−５）ＦＣロスレイヤをもって、前記第１学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するようにし、ｋを２からｎまで増加させながら、（２−１）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）学習用加工イメージ上の一つ以上の第（ｋ−１）学習用物体プロポーザルを参照して、前記第（ｋ−１）学習用加工イメージ上で、少なくとも一つの学習用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）学習用ターゲット領域を探すようにし、（２−２）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）学習用ターゲット領域に対応する第ｋ学習用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ学習用加工イメージに前記コンボリューション演算を適用して第ｋ学習用特徴マップを出力するようにし、（２−３）前記ＲＰＮをもって、前記第ｋ学習用特徴マップを利用して、前記第ｋ学習用加工イメージ内に位置する一つ以上の第ｋ学習用物体それぞれに対応する一つ以上の第ｋ学習用物体プロポーザルを出力するようにし、（２−４）前記プーリングレイヤをもって、前記第ｋ学習用特徴マップ上で、前記第ｋ学習用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋ学習用プーリング済み特徴マップを出力するようにし、（２−５）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋ学習用プーリング済み特徴マップに適用して、前記第ｋ学習用物体に対応する第ｋ学習用物体検出情報を出力するようにし、（２−６）前記ＦＣロスレイヤをもって、前記第ｋ学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習した状態で、少なくとも一つのテストイメージが取得されると、テスティング装置が、（ｉ）前記コンボリューションレイヤをもって、前記テストイメージに対応する少なくとも一つの第１テスト用加工イメージに前記コンボリューション演算を適用して、少なくとも一つの第１テスト用特徴マップを出力するようにし、（ｉｉ）前記ＲＰＮをもって、前記第１テスト用特徴マップを利用して、前記第１テスト用加工イメージ内に位置する一つ以上の第１テスト用物体それぞれに対応する一つ以上の第１テスト用物体プロポーザルを出力するようにし、（ｉｉｉ）前記プーリングレイヤをもって、前記第１テスト用特徴マップ上で、前記第１テスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第１テスト用プーリング済み特徴マップを出力するようにし、（ｉｖ）前記ＦＣレイヤをもって、前記第１テスト用プーリング済み特徴マップに前記ＦＣ演算を適用して、前記第１テスト用物体に対応する第１テスト用物体検出情報を出力するようにする段階；及び
    （ｂ）ｋを２からｎまで増加させながら、前記テスティング装置が、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）テスト用加工イメージ上の一つ以上の第（ｋ−１）テスト用物体プロポーザルを参照して、前記第（ｋ−１）テスト用加工イメージ上で、少なくとも一つのテスト用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）テスト用ターゲット領域を探すようにし、（ｉｉ）前記テストイメージ、またはリサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する第ｋテスト用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記テスト用第ｋ加工イメージに前記コンボリューション演算を適用して第ｋテスト用特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋテスト用特徴マップを参照して、前記第ｋテスト用加工イメージ内に位置する一つ以上の第ｋテスト用物体それぞれに対応する一つ以上の第ｋテスト用物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋテスト用特徴マップ上で、前記第ｋテスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋテスト用プーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋテスト用プーリング済み特徴マップに適用して、前記第ｋテスト用物体に対応する第ｋテスト用物体検出情報を出力するようにする段階；
    を含むことを特徴とする方法。
  9. 前記学習装置は、ＲＰＮロスレイヤをもって、前記第１学習用物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、
    前記学習装置は、前記ＲＰＮロスレイヤをもって、前記第ｋ学習用物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整することを特徴とする請求項８に記載の方法。
  10. 前記（ｂ）段階で、
    前記テスティング装置は、前記ターゲット物体予測ネットワークをもって、（ｉ）前記第（ｋ−１）テスト用加工イメージをＭｘＮグリッドで区分するようにし、（ｉｉ）前記第（ｋ−１）テスト用物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するテスト用プロポーザルの個数を示す少なくとも一つ以上のテスト用ヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記テスト用プロポーザルそれぞれの全体領域または分割の領域が存在し、（ｉｉｉ）ムービングウィンドウの中の少なくとも一つの領域を利用して前記第（ｋ−１）テスト用ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記テスト用ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする請求項８に記載の方法。
  11. 前記（ｂ）段階で、
    前記テスティング装置は、前記テストイメージのサイズを前記第１テスト用加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたテストイメージを生成した後、前記リサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第ｋテスト用加工イメージを生成することを特徴とする請求項８に記載の方法。
  12. 前記（ｂ）段階で、
    前記テスティング装置は、前記テストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第ｋテスト用加工イメージを生成することを特徴とする請求項８に記載の方法。
  13. 前記第ｋテスト用加工イメージのサイズが、前記第（ｋ−１）テスト用ターゲット領域のサイズより大きくなるように前記第ｋテスト用加工イメージをリサイズすることを特徴とする請求項１２に記載の方法。
  14. 前記第１テスト用加工イメージないし第ｎテスト用加工イメージのサイズが同一の大きさを有することを特徴とする請求項８に記載の方法。
  15. ターゲット物体予測ネットワークを用いた物体検出器のパラメータの学習するための学習装置において、
    各インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）（ｉ）一つ以上のコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに対応する少なくとも一つの第１加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１特徴マップを出力するようにし、（ｉｉ）ＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）をもって、前記第１特徴マップを利用して、前記第１加工イメージ内に位置する一つ以上の第１物体それぞれに対応する一つ以上の第１物体プロポーザルを出力するようにし、（ｉｉｉ）プーリングレイヤをもって、前記第１特徴マップ上で、前記第１物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１プーリング済み特徴マップを出力するようにし、（ｉｖ）ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１物体に対応する第１物体検出情報を出力するようにし、（ｖ）ＦＣロスレイヤをもって、前記第１物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するプロセス、及び（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）加工イメージ上の一つ以上の第（ｋ−１）物体プロポーザルを参照して、前記第（ｋ−１）加工イメージ上で、少なくとも一つのターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）ターゲット領域を探すようにし、（ｉｉ）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する第ｋ加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ加工イメージに前記コンボリューション演算を適用して第ｋ特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋ特徴マップを参照して、前記第ｋ加工イメージ内に位置する一つ以上の第ｋ物体それぞれに対応する一つ以上の第ｋ物体プロポーザルを出力するようにし、（ｉｖ）プーリングレイヤをもって、前記第ｋ特徴マップ上で、前記第ｋ物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋプーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋプーリング済み特徴マップに適用して、前記第ｋ物体に対応する第ｋ物体検出情報を出力するようにし、（ｖｉ）前記ＦＣロスレイヤをもって、前記第ｋ物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とする学習装置。
  16. 前記（Ｉ）プロセスで、
    前記プロセッサは、ＲＰＮロスレイヤをもって、前記第１物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、
    前記（ＩＩ）プロセスで、
    前記プロセッサは、前記ＲＰＮロスレイヤをもって、前記第ｋ物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整することを特徴とする請求項１５に記載の学習装置。
  17. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記ターゲット物体予測ネットワークをもって、（ｉ）前記第（ｋ−１）加工イメージをＭｘＮグリッドで区分するようにし、（ｉｉ）前記第（ｋ−１）物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するプロポーザルの個数を示す少なくとも一つ以上のヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記プロポーザルそれぞれの全体領域または分割の領域が存在し、（ｉｉｉ）ムービングウィンドウの中の少なくとも一つの領域を利用して、前記第（ｋ−１）ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする請求項１５に記載の学習装置。
  18. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記トレーニングイメージのサイズを前記第１加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたトレーニングイメージを生成した後、前記リサイズされたトレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第ｋ加工イメージを生成することを特徴とする請求項１５に記載の学習装置。
  19. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記トレーニングイメージ上で、前記第（ｋ−１）ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第ｋ加工イメージを生成することを特徴とする請求項１５に記載の学習装置。
  20. 前記第ｋ加工イメージのサイズが、前記第（ｋ−１）ターゲット領域のサイズより大きくなるように前記第ｋ加工イメージをリサイズすることを特徴とする請求項１９に記載の学習装置。
  21. 前記第１加工イメージないし第ｎ加工イメージのサイズが同一の大きさを有することを特徴とする請求項１５に記載の学習装置。
  22. ターゲット物体予測ネットワークを用いた物体検出器をテストするためのテスティング装置において、
    各インストラクションを格納する少なくとも一つのメモリ；及び
    学習装置が、（１−１）一つ以上のコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに対応する少なくとも一つの第１学習用加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第１学習用特徴マップを出力するようにし、（１−２）ＲＰＮをもって、前記第１学習用特徴マップを利用して、前記第１学習用加工イメージ内に位置する一つ以上の第１学習用物体それぞれに対応する一つ以上の第１学習用物体プロポーザルを出力するようにし、（１−３）プーリングレイヤをもって、前記第１学習用特徴マップ上で、前記第１学習用物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第１学習用プーリング済み特徴マップを出力するようにし、（１−４）ＦＣレイヤをもって、前記第１学習用プーリング済み特徴マップに少なくとも一つのＦＣ演算を適用して、前記第１学習用物体に対応する第１学習用物体検出情報を出力するようにし、（１−５）ＦＣロスレイヤをもって、前記第１学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第１ＦＣロスを取得するようにすることで、前記第１ＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するようにし、ｋを２からｎまで増加させながら、（２−１）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）学習用加工イメージ上の一つ以上の第（ｋ−１）学習用物体プロポーザルを参照して、前記第（ｋ−１）学習用加工イメージ上で、少なくとも一つの学習用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）ターゲット学習用領域を探すようにし、（２−２）前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第（ｋ−１）学習用ターゲット領域に対応する第ｋ学習用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第ｋ学習用加工イメージに前記コンボリューション演算を適用して第ｋ学習用特徴マップを出力するようにし、（２−３）前記ＲＰＮをもって、前記第ｋ学習用特徴マップを利用して、前記第ｋ学習用加工イメージ内に位置する一つ以上の第ｋ学習用物体それぞれに対応する一つ以上の第ｋ学習用物体プロポーザルを出力するようにし、（２−４）前記プーリングレイヤをもって、前記第ｋ学習用特徴マップ上で、前記第ｋ学習用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋ学習用プーリング済み特徴マップを出力するようにし、（２−５）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋ学習用プーリング済み特徴マップに適用して、前記第ｋ学習用物体に対応する第ｋ学習用物体検出情報を出力するようにし、（２−６）前記ＦＣロスレイヤをもって、前記第ｋ学習用物体検出情報と、これに対応するＧＴとを参照して一つ以上の第ｋＦＣロスを取得するようにすることで、前記第ｋＦＣロスを利用したバックプロパゲーションによって、前記ＦＣレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習した状態で、（Ｉ）（ｉ）前記コンボリューションレイヤをもって、テストイメージに対応する少なくとも一つの第１テスト用加工イメージに前記コンボリューション演算を適用して、少なくとも一つの第１テスト用特徴マップを出力するようにし、（ｉｉ）前記ＲＰＮをもって、前記第１テスト用特徴マップを利用して、前記第１テスト用加工イメージ内に位置する一つ以上の第１テスト用物体それぞれに対応する一つ以上の第１テスト用物体プロポーザルを出力するようにし、（ｉｉｉ）前記プーリングレイヤをもって、前記第１テスト用特徴マップ上で、前記第１テスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第１テスト用プーリング済み特徴マップを出力するようにし、（ｉｖ）前記ＦＣレイヤをもって、前記第１テスト用プーリング済み特徴マップに前記ＦＣ演算を適用して、前記第１テスト用物体に対応する第１テスト用物体検出情報を出力するようにするプロセス、及び（ＩＩ）ｋを２からｎまで増加させながら、（ｉ）前記ターゲット物体予測ネットワークをもって、第（ｋ−１）テスト用加工イメージ上の一つ以上の第（ｋ−１）テスト用物体プロポーザルを参照して、前記第（ｋ−１）テスト用加工イメージ上で、少なくとも一つのテスト用ターゲット物体が位置するものと予測される領域に対応する第（ｋ−１）テスト用ターゲット領域を探すようにし、（ｉｉ）前記テストイメージ、またはリサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する第ｋテスト用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記テスト用第ｋ加工イメージに前記コンボリューション演算を適用して第ｋテスト用特徴マップを出力するようにし、（ｉｉｉ）前記ＲＰＮをもって、前記第ｋテスト用特徴マップを参照して、前記第ｋテスト用加工イメージ内に位置する一つ以上の第ｋテスト用物体それぞれに対応する一つ以上の第ｋテスト用物体プロポーザルを出力するようにし、（ｉｖ）前記プーリングレイヤをもって、前記第ｋテスト用特徴マップ上で、前記第ｋテスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第ｋテスト用プーリング済み特徴マップを出力するようにし、（ｖ）前記ＦＣレイヤをもって、前記ＦＣ演算を前記第ｋテスト用プーリング済み特徴マップに適用して、前記第ｋテスト用物体に対応する第ｋテスト用物体検出情報を出力するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするテスティング装置。
  23. 前記学習装置は、ＲＰＮロスレイヤをもって、前記第１学習用物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第１ＲＰＮロスを取得するようにすることで、前記第１ＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整するようにし、
    前記学習装置は、前記ＲＰＮロスレイヤをもって、前記第ｋ学習用物体プロポーザル情報と、これに対応するＧＴとを参照して一つ以上の第ｋＲＰＮロスを取得するようにすることで、前記第ｋＲＰＮロスを利用したバックプロパゲーションによって前記ＲＰＮのパラメータの中の少なくとも一部を調整することを特徴とする請求項２２に記載のテスティング装置。
  24. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記ターゲット物体予測ネットワークをもって、（ｉ）前記第（ｋ−１）テスト用加工イメージをＭｘＮグリッドで区分するようにし、（ｉｉ）前記第（ｋ−１）テスト用物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するテスト用プロポーザルの個数を示す少なくとも一つ以上のテスト用ヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記テスト用プロポーザルそれぞれの全体領域または分割の領域が存在し、（ｉｉｉ）ムービングウィンドウの中の少なくとも一つの領域を利用して、前記第（ｋ−１）テスト用ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記テスト用ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする請求項２２に記載のテスティング装置。
  25. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記テストイメージのサイズを前記第１テスト用加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたテストイメージを生成した後、前記リサイズされたテストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第ｋテスト用加工イメージを生成することを特徴とする請求項２２に記載のテスティング装置。
  26. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記テストイメージ上で、前記第（ｋ−１）テスト用ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第ｋテスト用加工イメージを生成することを特徴とする請求項２２に記載のテスティング装置。
  27. 前記第ｋテスト用加工イメージのサイズが、前記第（ｋ−１）テスト用ターゲット領域のサイズより大きくなるように前記第ｋテスト用加工イメージをリサイズすることを特徴とする請求項２６に記載のテスティング装置。
  28. 前記第１テスト用加工イメージないし第ｎテスト用加工イメージのサイズが、同一の大きさを有することを特徴とする請求項２２に記載のテスティング装置。
JP2020001648A 2019-01-22 2020-01-08 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、ｃｎｎ基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 Active JP6850046B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/254,162 US10402692B1 (en) 2019-01-22 2019-01-22 Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same
US16/254,162 2019-01-22

Publications (2)

Publication Number Publication Date
JP2020119530A true JP2020119530A (ja) 2020-08-06
JP6850046B2 JP6850046B2 (ja) 2021-03-31

Family

ID=67770001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020001648A Active JP6850046B2 (ja) 2019-01-22 2020-01-08 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、ｃｎｎ基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置

Country Status (5)

Country Link
US (1) US10402692B1 (ja)
EP (1) EP3686785A1 (ja)
JP (1) JP6850046B2 (ja)
KR (1) KR102246368B1 (ja)
CN (1) CN111461161B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572770B2 (en) * 2018-06-15 2020-02-25 Intel Corporation Tangent convolution for 3D data
CN110910415A (zh) * 2019-11-28 2020-03-24 重庆中星微人工智能芯片技术有限公司 抛物检测方法、装置、服务器和计算机可读介质
CN111488711A (zh) * 2020-04-08 2020-08-04 暨南大学 一种网络鲁棒性评估方法及系统
CN111509810A (zh) * 2020-05-18 2020-08-07 广东电网有限责任公司东莞供电局 一种锂电池充电状态检测方法、装置及存储介质
CN112346056B (zh) * 2021-01-11 2021-03-26 长沙理工大学 多脉冲雷达信号的分辨性特征融合提取方法及识别方法
CN112801706B (zh) * 2021-02-04 2024-02-02 北京云上曲率科技有限公司 一种游戏用户行为数据挖掘方法及系统
US11961314B2 (en) 2021-02-16 2024-04-16 Nxp B.V. Method for analyzing an output of an object detector
US11688112B2 (en) 2021-05-07 2023-06-27 Nxp B.V. Method for generating detailed visualization of machine learning model behavior

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018022484A (ja) * 2016-08-02 2018-02-08 三菱電機株式会社 画像内の物体を検出する方法及び物体検出システム
JP2018147431A (ja) * 2017-03-09 2018-09-20 コニカミノルタ株式会社 画像認識装置及び画像認識方法
JP2018534694A (ja) * 2015-11-04 2018-11-22 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
WO2017139927A1 (en) * 2016-02-17 2017-08-24 Intel Corporation Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US10387740B2 (en) * 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
JP6854344B2 (ja) * 2016-11-15 2021-04-07 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 直方体検出のための深層機械学習システム
US10657424B2 (en) * 2016-12-07 2020-05-19 Samsung Electronics Co., Ltd. Target detection method and apparatus
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
WO2018170671A1 (en) * 2017-03-20 2018-09-27 Intel Corporation Topic-guided model for image captioning system
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same
CN109241982B (zh) * 2018-09-06 2021-01-29 广西师范大学 基于深浅层卷积神经网络的目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018534694A (ja) * 2015-11-04 2018-11-22 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク
JP2018022484A (ja) * 2016-08-02 2018-02-08 三菱電機株式会社 画像内の物体を検出する方法及び物体検出システム
JP2018147431A (ja) * 2017-03-09 2018-09-20 コニカミノルタ株式会社 画像認識装置及び画像認識方法

Also Published As

Publication number Publication date
CN111461161B (zh) 2024-03-15
KR20200091323A (ko) 2020-07-30
EP3686785A1 (en) 2020-07-29
KR102246368B1 (ko) 2021-04-29
JP6850046B2 (ja) 2021-03-31
CN111461161A (zh) 2020-07-28
US10402692B1 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
JP2020119530A (ja) 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、ｃｎｎ基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
KR102338744B1 (ko) 타겟 객체 예측 네트워크 및 타겟 객체 통합 네트워크를 이용하여 핵심성과지표와 같은 사용자 요구 사항에 따른 최적화를 위해 재구성 가능한 네트워크 기반의 객체 검출기를 학습하는 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
JP6908944B2 (ja) 多重カメラまたはサラウンドビューモニタリングに利用されるために、ターゲット物体統合ネットワーク及びターゲット物体予測ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に適用可能なｃｎｎ基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
KR102337367B1 (ko) 원거리 검출 또는 군사 목적을 위해, 이미지 컨캐터네이션을 이용한, cnn 기반의 하드웨어 최적화가 가능한 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스팅 방법 및 테스팅 장치
JP6908943B2 (ja) イメージコンカチネーションと、ターゲット物体予測ネットワークとを利用して、多重カメラ又はサラウンドビューモニタリングに利用される物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
KR102309711B1 (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102280414B1 (ko) 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치
KR102328734B1 (ko) 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치
US10387754B1 (en) Learning method and learning device for object detector based on CNN using 1×H convolution to be used for hardware optimization, and testing method and testing device using the same
KR102337383B1 (ko) 하드웨어 최적화에 사용되는 1xK 또는 Kx1 컨벌루션 연산을 이용한 CNN을 학습하는 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
US10395140B1 (en) Learning method and learning device for object detector based on CNN using 1×1 convolution to be used for hardware optimization, and testing method and testing device using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210226

R150 Certificate of patent or registration of utility model

Ref document number: 6850046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250