JP2020119519A - 物体の条件に応じてモードを切り換えることができるcnn基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似3dバウンディングボックスを検出する方法及びこれを利用した装置 - Google Patents
物体の条件に応じてモードを切り換えることができるcnn基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似3dバウンディングボックスを検出する方法及びこれを利用した装置 Download PDFInfo
- Publication number
- JP2020119519A JP2020119519A JP2019239147A JP2019239147A JP2020119519A JP 2020119519 A JP2020119519 A JP 2020119519A JP 2019239147 A JP2019239147 A JP 2019239147A JP 2019239147 A JP2019239147 A JP 2019239147A JP 2020119519 A JP2020119519 A JP 2020119519A
- Authority
- JP
- Japan
- Prior art keywords
- test
- layer
- type
- learning
- bounding box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000011176 pooling Methods 0.000 claims abstract description 68
- 238000012360 testing method Methods 0.000 claims description 484
- 238000012549 training Methods 0.000 claims description 44
- 238000013527 convolutional neural network Methods 0.000 claims description 43
- 238000013528 artificial neural network Methods 0.000 claims description 41
- 238000006073 displacement reaction Methods 0.000 claims description 30
- 238000010998 test method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000001902 propagating effect Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 101100410043 Caenorhabditis elegans rpn-12 gene Proteins 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
一実施例において、前記学習装置は、タイプロスレイヤ(Type Loss Layer)をもって、前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記学習用物体のイメージに対応する物体タイプ(Object−Type)原本正解とを参照して少なくとも一つのタイプロスを生成させることにより、前記タイプロスを利用したバックプロパゲーションを通じて前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする。
一実施例において、前記(c)段階で、前記テスト装置は、前記リグレッションレイヤそれぞれをもって、(i)前記テスト用2Dバウンディングボックスの頂点から前記テスト用物体の前面と裏面それぞれに対応するそれぞれのテスト用インスタンスバウンディングボックスの頂点までのそれぞれの変位(Displacement)、並びに(ii)前記テスト用2Dバウンディングボックスの中心から前記それぞれのテスト用インスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記テスト用2Dバウンディングボックスの幅/高さの割合と前記テスト用インスタンスバウンディングボックスのそれぞれの幅/高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記テスト用リグレッション情報を生成させることを特徴とする。
本発明のまた他の態様によると、CNN基盤の疑似(Pseudo)3Dバウンディングボックスを少なくとも一つ検出する学習装置において、インストラクションを格納する少なくとも一つのメモリ;及び(I)少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して特徴マップが生成され、2Dバウンディングボックスが前記トレーニングイメージで少なくとも一つの物体を含むと、プーリングレイヤ(Pooling Layer)をもって、前記特徴マップ上で前記2Dバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて少なくとも一つのプーリング済み特徴マップを生成させ、タイプ分類レイヤ(Type−Classifying Layer)をもって、前記プーリング済み特徴マップを参照して前記プーリング済み特徴マップ内の前記物体のイメージがトランケート(Truncate)されたかトランケートされていないかを判別させるプロセスと、(II)前記物体のイメージがトランケートされた状態であれば前記物体を第1タイプ(First Type)であるとし、前記物体のイメージがトランケートされていない状態であれば前記物体を第2タイプ(Second Type)であるとすると、前記プーリング済み特徴マップ内の前記物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第1タイプと前記第2タイプそれぞれに対応するそれぞれのFCレイヤのうち一つをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記疑似3Dバウンディングボックスに対応するボックスパターン(Box Pattern)情報を生成させるプロセスと、(III)(i)前記FCレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記ボックスパターン情報を参照して前記物体の方向に関する方向クラス情報を出力させ、(ii)前記FCレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記ボックスパターン情報を参照して前記2Dバウンディングボックスの座標に対応する前記疑似3Dバウンディングボックスの座標に関するリグレッション情報を生成させるプロセスと、(IV)少なくとも一つのFCロスレイヤをもって、前記方向クラス情報と、前記リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記FCレイヤのパラメータを学習するプロセスと、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;を含むことを特徴とする。
一実施例において、先行CNN(Preceding CNN)基盤の物体検出器から前記特徴マップと前記2Dバウンディングボックスとを取得することを特徴とする。
一実施例において、検出器学習装置によって前記物体検出器を学習している状態で、前記検出器学習装置が、前記物体検出器内のタイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記イメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記物体検出器内のタイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする。
一実施例において、前記(III)プロセスで、前記プロセッサは、前記リグレッションレイヤそれぞれをもって、(i)前記テスト用2Dバウンディングボックスの頂点から前記テスト用物体の前面と裏面それぞれに対応するそれぞれのテスト用インスタンスバウンディングボックスの頂点までのそれぞれの変位(Displacement)、並びに(ii)前記テスト用2Dバウンディングボックスの中心から前記それぞれのテスト用インスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位や前記テスト用2Dバウンディングボックスの幅/高さの割合と前記テスト用インスタンスバウンディングボックスのそれぞれの幅/高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記テスト用リグレッション情報を生涯成すようにすることを特徴とする。
この他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
110;通信部
120;プロセッサ
130;データベース
200;テスト装置
210;通信部
220;プロセッサ
Claims (30)
- CNN基盤の疑似(Pseudo)3Dバウンディングボックスを少なくとも一つ検出する方法において、
(a)少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの特徴マップと、前記トレーニングイメージで少なくとも一つの物体を含む少なくとも一つの2Dバウンディングボックスとが取得されると、学習装置が、プーリングレイヤ(Pooling Layer)をもって、前記特徴マップ上で前記2Dバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて少なくとも一つのプーリング済み特徴マップを生成させ、タイプ分類レイヤ(Type−Classifying Layer)をもって、前記プーリング済み特徴マップを参照して前記プーリング済み特徴マップ内の前記物体のイメージがトランケート(Truncate)されたかトランケートされていないかを判別させる段階;
(b)前記物体のイメージがトランケートされた状態であれば前記物体を第1タイプ(First Type)であるとし、前記物体のイメージがトランケートされていない状態であれば前記物体を第2タイプ(Second Type)であるとすると、前記学習装置が、前記プーリング済み特徴マップ内の前記物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第1タイプと前記第2タイプそれぞれに対応するそれぞれのFCレイヤのうち一つをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記疑似3Dバウンディングボックスに対応するボックスパターン(Box Pattern)情報を生成させる段階;
(c)前記学習装置が、(i)前記FCレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記ボックスパターン情報を参照して前記物体の方向に関する方向クラス情報を出力させ、(ii)前記FCレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記ボックスパターン情報を参照して前記2Dバウンディングボックスの座標に対応する前記疑似3Dバウンディングボックスの座標に関するリグレッション情報を生成させる段階;及び
(d)前記学習装置が、少なくとも一つのFCロスレイヤをもって、前記方向クラス情報と、前記リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記FCレイヤのパラメータを学習する段階;
を含むことを特徴とする学習方法。 - 前記(a)段階以後に、
前記学習装置は、タイプロスレイヤ(Type Loss Layer)をもって前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記物体のイメージに対応する物体タイプ(Object−Type)原本正解とを参照して、少なくとも一つのタイプロスを生成させることにより、
前記タイプロスをバックプロパゲーションして前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項1に記載の学習方法。 - 前記(a)段階で、
前記学習装置は、前記タイプ分類レイヤをもって、前記物体の全体を含む領域に対する、前記プーリング済み特徴マップ上に示された前記物体の一部のみを含む領域の割合が所定の閾値以下である場合には前記物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には前記物体のイメージがトランケートされていないものと判断させることを特徴とする請求項1に記載の学習方法。 - 前記(c)段階で、
前記学習装置は、前記リグレッションレイヤそれぞれをもって、(i)前記2Dバウンディングボックスの頂点から前記物体の前面と裏面それぞれに対応するそれぞれのインスタンスバウンディングボックスの頂点までのそれぞれの変位(Displacement)、並びに(ii)前記2Dバウンディングボックスの中心から前記それぞれのインスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記2Dバウンディングボックスの幅/高さの割合と前記インスタンスバウンディングボックスのそれぞれの幅/高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記リグレッション情報を生成させることを特徴とする請求項1に記載の学習方法。 - 前記(b)段階で、
前記学習装置は、前記物体が前記第1タイプである場合、前記第1タイプに対応する第1FCレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似3Dバウンディングボックスに対応する第1ボックスパターン情報を生成し、前記物体が前記第2タイプである場合、前記第2タイプに対応する第2FCレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似3Dバウンディングボックスに対応する第2ボックスパターン情報を生成し、
前記(c)段階で、
前記学習装置は、(i)前記第1FCレイヤに対応する第1分類レイヤをもって、前記第1ボックスパターン情報を参照して前記第1タイプを有する前記物体の方向に対応する第1方向クラス情報を生成させ、前記第1FCレイヤに対応する第1リグレッションレイヤをもって、前記第1ボックスパターン情報を参照して前記2Dバウンディングボックスの前記座標に対応する前記疑似3Dバウンディングボックスの前記座標に関する第1リグレッション情報を生成させ、(ii)前記第2FCレイヤに対応する第2分類レイヤをもって、前記第2ボックスパターン情報を参照して前記第2タイプを有する前記物体の方向に対応する第2方向クラス情報を生成させ、前記第2FCレイヤに対応する第2リグレッションレイヤをもって、前記第2ボックスパターン情報を参照して前記2Dバウンディングボックスの前記座標に対応する前記疑似3Dバウンディングボックスの前記座標に関する第2リグレッション情報を生成させることを特徴とする請求項1に記載の学習方法。 - 前記(d)段階で、
前記学習装置は、(i)前記第1FCレイヤに対応する第1FCロスレイヤをもって、前記第1方向クラス情報と、前記第1リグレッション情報と、これに対応する少なくとも一つの第1原本正解とを参照して少なくとも一つの第1方向クラスロス及び少なくとも一つの第1ボックスリグレッションロスを生成させることで、前記第1方向クラスロス及び前記第1ボックスリグレッションロスをバックプロパゲーションして前記第1FCレイヤのパラメータを学習し、(ii)前記第2FCレイヤに対応する第2FCロスレイヤをもって、前記第2方向クラス情報と、前記第2リグレッション情報と、これに対応する少なくとも一つの第2原本正解とを参照して少なくとも一つの第2方向クラスロス及び少なくとも一つの第2ボックスリグレッションロスを生成させることで、前記第2方向クラスロス及び前記第2ボックスリグレッションロスをバックプロパゲーションして前記第2FCレイヤのパラメータを学習することを特徴とする請求項5に記載の学習方法。 - 前記学習装置は、先行CNN(Preceding CNN)基盤の物体検出器から前記特徴マップと前記2Dバウンディングボックスとを取得することを特徴とする請求項1に記載の学習方法。
- 前記学習装置は、前記トレーニングイメージを前記物体の検出器に入力して、前記物体検出器が(i)先行コンボリューションレイヤ(Preceding Convolutional Layer)をもって、前記トレーニングイメージに対してコンボリューション演算を遂行して前記特徴マップを生成させ、(ii)RPNをもって、前記特徴マップから前記トレーニングイメージ内の前記物体に対応する少なくとも一つのプロポーザルボックスを生成させ、(iii)先行プーリングレイヤ(Preceding Pooling Layer)をもって、前記特徴マップ上で前記プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させて先行プーリング済み特徴マップを生成させ、(iv)先行FCレイヤ(PrecedingFC Layer)をもって、前記物体に対応する物体パターン情報を生成させ、(v)先行分類レイヤ(Preceding Classification Layer)をもって、前記物体パターン情報を参照して前記物体のクラスに対応する物体クラス情報を生成させ、(vi)先行リグレッションレイヤ(Preceding Regression Layer)をもって、前記物体パターン情報を参照して前記物体に対応する前記2Dバウンディングボックスに関する先行リグレッション情報を生成させることで、前記特徴マップと前記2Dバウンディングボックスとを生成することを特徴とする請求項7に記載の学習方法。
- 検出器学習装置によって前記物体検出器を学習している状態で、前記検出器学習装置が、前記物体検出器内のタイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記イメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記物体検出器内のタイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項7に記載の学習方法。
- CNN基盤の疑似(Pseudo)3Dバウンディングボックスを少なくとも一つ検出する方法において、
(a)学習装置が、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの学習用特徴マップと、前記トレーニングイメージで少なくとも一つの学習用物体を含む少なくとも一つの学習用2Dバウンディングボックスとが取得されると、(i)プーリングレイヤ(Pooling Layer)をもって、前記学習用特徴マップ上で前記学習用2Dバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つの学習用プーリング済み特徴マップを生成させ、タイプ分類レイヤ(Type−Classifying Layer)をもって、前記学習用プーリング済み特徴マップを参照して前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケート(Truncate)されたかトランケートされていないかを判別させるプロセスと、 (ii)前記学習用物体のイメージがトランケートされた状態であれば前記学習用物体を第1タイプ(First Type)であるとし、前記学習用物体のイメージがトランケートされていない状態であれば前記学習用物体を第2タイプ(Second Type)であるとすると、前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第1タイプと前記第2タイプそれぞれに対応するそれぞれのFCレイヤのうち一つをもって、前記学習用プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて前記学習用疑似3Dバウンディングボックスに対応する学習用ボックスパターン(Box Pattern)情報を生成させるプロセスと、(iii)前記FCレイヤそれぞれに対応する少なくとも一つの分類レイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用物体の方向に関する学習用方向クラス情報を出力させ、前記FCレイヤそれぞれに対応する少なくとも一つのリグレッションレイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用2Dバウンディングボックスの座標に対応する前記学習用疑似3Dバウンディングボックスの座標に関する学習用リグレッション情報を生成させるプロセスと、(iv)少なくとも一つのFCロスレイヤをもって、前記学習用方向クラス情報と、前記学習用リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記FCレイヤのパラメータを学習するプロセスと、を遂行した状態で、少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つのテスト用特徴マップと、前記テストイメージで少なくとも一つのテスト用物体を含む少なくとも一つのテスト用2Dバウンディングボックスとが取得されると、テスト装置が、前記プーリングレイヤ(Pooling Layer)をもって、前記テスト用特徴マップ上で前記テスト用2Dバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つのテスト用プーリング済み特徴マップを生成させ、前記タイプ分類レイヤ(Type−Classifying Layer)をもって、前記テスト用プーリング済み特徴マップを参照して前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケート(Truncate)されたかトランケートされていないかを判別させる段階;
(b)前記テスト用物体のイメージがトランケートされた状態であれば前記テスト用物体を第1タイプ(First Type)であるとし、前記テスト用物体のイメージがトランケートされていない状態であれば前記テスト用物体を第2タイプ(Second Type)であるとすると、前記テスト装置が、前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第1タイプと前記第2タイプそれぞれに対応するそれぞれの前記FCレイヤのうち一つをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記テスト用疑似3Dバウンディングボックスに対応するテスト用ボックスパターン(Box Pattern)情報を生成させる段階;及び
(c)前記テスト装置が、(i)前記FCレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用物体の方向に関するテスト用方向クラス情報を出力させ、(ii)前記FCレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用2Dバウンディングボックスの前記座標に対応する前記テスト用疑似3Dバウンディングボックスの前記座標に関するテスト用リグレッション情報を生成させる段階;
を含むことを特徴とするテスト方法。 - 前記学習装置は、タイプロスレイヤ(Type Loss Layer)をもって、前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記学習用物体のイメージに対応する物体タイプ(Object−Type)原本正解とを参照して少なくとも一つのタイプロスを生成させることにより、前記タイプロスを利用したバックプロパゲーションを通じて前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項10に記載のテスト方法。
- 前記(a)段階は、
前記テスト装置は、前記タイプ分類レイヤをもって、前記テスト用物体の全体を含む領域に比べて前記テスト用プーリング済み特徴マップ上に示された前記テスト用物体の一部のみを含む領域の割合が所定の閾値以下である場合には、前記テスト用物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には、前記テスト用物体のイメージがトランケートされていないものと判断させることを特徴とする請求項10に記載のテスト方法。 - 前記(c)段階で、
前記テスト装置は、前記リグレッションレイヤそれぞれをもって、(i)前記テスト用2Dバウンディングボックスの頂点から前記テスト用物体の前面と裏面それぞれに対応するそれぞれのテスト用インスタンスバウンディングボックスの頂点までのそれぞれの変位(Displacement)、並びに(ii)前記テスト用2Dバウンディングボックスの中心から前記それぞれのテスト用インスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記テスト用2Dバウンディングボックスの幅/高さの割合と前記テスト用インスタンスバウンディングボックスのそれぞれの幅/高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記テスト用リグレッション情報を生成させることを特徴とする請求項10に記載のテスト方法。 - 前記(b)段階で、
前記テスト装置は、前記テスト用物体が前記第1タイプである場合、前記第1タイプに対応する第1FCレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似3Dバウンディングボックスに対応するテスト用第1ボックスパターン情報を生成し、前記テスト用物体が前記第2タイプである場合、前記第2タイプに対応する第2FCレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似3Dバウンディングボックスに対応するテスト用第2ボックスパターン情報を生成し、
前記(c)段階で、
前記テスト装置は、(i)前記第1FCレイヤに対応する第1分類レイヤをもって、前記テスト用第1ボックスパターン情報を参照して前記第1タイプを有する前記テスト用物体の方向に対応するテスト用第1方向クラス情報を生成させ、前記第1FCレイヤに対応する第1リグレッションレイヤをもって、前記テスト用第1ボックスパターン情報を参照して前記テスト用2Dバウンディングボックスの前記座標に対応する前記テスト用疑似3Dバウンディングボックスの前記座標に対するテスト用第1リグレッション情報を生成させ、(ii)前記第2FCレイヤに対応する第2分類レイヤをもって、前記テスト用第2ボックスパターン情報を参照して前記第2タイプを有する前記テスト用物体の方向に対応するテスト用第2方向クラス情報を生成させ、前記第2FCレイヤに対応する第2リグレッションレイヤをもって、前記テスト用第2ボックスパターン情報を参照して前記テスト用2Dバウンディングボックスの前記座標に対応する前記テスト用疑似3Dバウンディングボックスの前記座標に関するテスト用第2リグレッション情報を生成させることを特徴とする請求項10に記載のテスト方法。 - 前記テスト装置は、前記テストイメージを先行CNN基盤の物体検出器に入力して、前記物体検出器が(i)先行コンボリューションレイヤ(Preceding Convolutional Layer)をもって、前記テストイメージに対してコンボリューション演算を遂行して前記テスト用特徴マップを生成させ、(ii)RPNをもって、前記テスト用特徴マップから前記テストイメージ内の前記テスト用物体に対応する少なくとも一つのテスト用プロポーザルボックスを生成させ、(iii)先行プーリングレイヤ(Preceding Pooling Layer)をもって、前記テスト用特徴マップ上で前記テスト用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させてテスト用先行プーリング済み特徴マップを生成させ、(iv)先行FCレイヤ(PrecedingFC Layer)をもって、前記テスト用物体に対応するテスト用物体パターン情報を生成させ、(v)先行分類レイヤ(Preceding Classification Layer)をもって、前記テスト用物体パターン情報を参照して前記テスト用物体のクラスに対応するテスト用物体クラス情報を生成させ、(vi)先行リグレッションレイヤ(Preceding Regression Layer)をもって、前記テスト用物体パターン情報を参照して前記テスト用物体に対応する前記テスト用2Dバウンディングボックスに関するテスト用先行リグレッション情報を生成させることで、前記テスト用特徴マップと前記テスト用2Dバウンディングボックスを生成することを特徴とする請求項10に記載のテスト方法。
- CNN基盤の疑似(Pseudo)3Dバウンディングボックスを少なくとも一つ検出する学習装置において、
インストラクションを格納する少なくとも一つのメモリ;及び
(I)少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して特徴マップが生成され、2Dバウンディングボックスが前記トレーニングイメージで少なくとも一つの物体を含むと、プーリングレイヤ(Pooling Layer)をもって、前記特徴マップ上で前記2Dバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて少なくとも一つのプーリング済み特徴マップを生成させ、タイプ分類レイヤ(Type−Classifying Layer)をもって、前記プーリング済み特徴マップを参照して前記プーリング済み特徴マップ内の前記物体のイメージがトランケート(Truncate)されたかトランケートされていないかを判別させるプロセスと、(II)前記物体のイメージがトランケートされた状態であれば前記物体を第1タイプ(First Type)であるとし、前記物体のイメージがトランケートされていない状態であれば前記物体を第2タイプ(Second Type)であるとすると、前記プーリング済み特徴マップ内の前記物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第1タイプと前記第2タイプそれぞれに対応するそれぞれのFCレイヤのうち一つをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて、前記疑似3Dバウンディングボックスに対応するボックスパターン(Box Pattern)情報を生成させるプロセスと、(III)(i)前記FCレイヤそれぞれに対応する分類レイヤそれぞれをもって、前記ボックスパターン情報を参照して前記物体の方向に関する方向クラス情報を出力させ、(ii)前記FCレイヤそれぞれに対応するリグレッションレイヤそれぞれをもって、前記ボックスパターン情報を参照して前記2Dバウンディングボックスの座標に対応する前記疑似3Dバウンディングボックスの座標に関するリグレッション情報を生成させるプロセスと、(IV)少なくとも一つのFCロスレイヤをもって、前記方向クラス情報と、前記リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記FCレイヤのパラメータを学習するプロセスと、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とする学習装置。 - 前記(I)プロセス以後に、
前記プロセッサは、タイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と前記物体のイメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項16に記載の学習装置。 - 前記(I)プロセスで、
前記プロセッサは、前記タイプ分類レイヤをもって、前記物体の全体を含む領域に対する、前記プーリング済み特徴マップ上に示された前記物体の一部のみを含む領域の割合が所定の閾値以下である場合には前記物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には前記物体のイメージがトランケートされていないものと判断させることを特徴とする請求項16に記載の学習装置。 - 前記(III)プロセスで、
前記プロセッサは、前記リグレッションレイヤそれぞれをもって、(i)前記2Dバウンディングボックスの頂点から前記物体の前面と裏面それぞれに対応するそれぞれのインスタンスバウンディングボックスの頂点までのそれぞれの変位(Displacement)、並びに(ii)前記2Dバウンディングボックスの中心から前記それぞれのインスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記2Dバウンディングボックスの幅/高さの割合と前記インスタンスバウンディングボックスのそれぞれの幅/高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記リグレッション情報を生成させることを特徴とする請求項16に記載の学習装置。 - 前記(II)プロセスで、
前記プロセッサは、前記物体が前記第1タイプである場合、前記第1タイプに対応する第1FCレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似3Dバウンディングボックスに対応する第1ボックスパターン情報を生成し、前記物体が前記第2タイプである場合、前記第2タイプに対応する第2FCレイヤをもって、前記プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記疑似3Dバウンディングボックスに対応する第2ボックスパターン情報を生成し、
前記(III)プロセスで、
前記プロセッサは、(i)前記第1FCレイヤに対応する第1分類レイヤをもって、前記第1ボックスパターン情報を参照して前記第1タイプを有する前記物体の方向に対応する第1方向クラス情報を生成させ、前記第1FCレイヤに対応する第1リグレッションレイヤをもって、前記第1ボックスパターン情報を参照して前記2Dバウンディングボックスの前記座標に対応する前記疑似3Dバウンディングボックスの前記座標に関する第1リグレッション情報を生成させ、(ii)前記第2FCレイヤに対応する第2分類レイヤをもって、前記第2ボックスパターン情報を参照して前記第2タイプを有する前記物体の方向に対応する第2方向クラス情報を生成させ、前記第2FCレイヤに対応する第2リグレッションレイヤをもって、前記第2ボックスパターン情報を参照して前記2Dバウンディングボックスの前記座標に対応する前記疑似3Dバウンディングボックスの前記座標に関する第2リグレッション情報を生成させることを特徴とする請求項16に記載の学習装置。 - 前記(IV)プロセスで、
前記プロセッサは、(i)前記第1FCレイヤに対応する第1FCロスレイヤをもって、前記第1方向クラス情報と、前記第1リグレッション情報と、これに対応する少なくとも一つの第1原本正解とを参照して少なくとも一つの第1方向クラスロス及び少なくとも一つの第1ボックスリグレッションロスを生成させることで、前記第1方向クラスロス及び前記第1ボックスリグレッションロスをバックプロパゲーションして前記第1FCレイヤのパラメータを学習し、(ii)前記第2FCレイヤに対応する第2FCロスレイヤをもって、前記第2方向クラス情報と、前記第2リグレッション情報と、これに対応する少なくとも一つの第2原本正解とを参照して少なくとも一つの第2方向クラスロス及び少なくとも一つの第2ボックスリグレッションロスを生成させることで、前記第2方向クラスロス及び前記第2ボックスリグレッションロスをバックプロパゲーションして前記第2FCレイヤのパラメータを学習することを特徴とする請求項20に記載の学習装置。 - 先行CNN(Preceding CNN)基盤の物体検出器から前記特徴マップと前記2Dバウンディングボックスとを取得することを特徴とする請求項16に記載の学習装置。
- 前記トレーニングイメージを前記物体検出器に入力して、前記物体検出器が(i)先行コンボリューションレイヤ(Preceding Convolutional Layer)をもって前記トレーニングイメージに対してコンボリューション演算を行って前記特徴マップを生成させ、(ii)RPNをもって、前記特徴マップから前記トレーニングイメージ内の前記物体に対応する少なくとも一つのプロポーザルボックスを生成させ、(iii)先行プーリングレイヤ(Preceding Pooling Layer)をもって、前記特徴マップ上で前記プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させて先行プーリング済み特徴マップを生成させ、(iv)先行FCレイヤ(Preceding FC Layer)をもって、前記物体に対応する物体パターン情報を生成させ、(v)先行分類レイヤ(Preceding Classification Layer)をもって、前記物体パターン情報を参照して前記物体のクラスに対応する物体クラス情報を生成させ、(vi)先行リグレッションレイヤ(Preceding Regression Layer)をもって、前記物体パターン情報を参照して前記物体に対応する前記2Dバウンディングボックスに関する先行リグレッション情報を生成させることで、前記特徴マップと前記2Dバウンディングボックスとを生成することを特徴とする請求項22に記載の学習装置。
- 検出器学習装置によって前記物体検出器を学習している状態で、前記検出器学習装置が、前記物体検出器内のタイプロスレイヤをもって、前記物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記イメージに対応する物体タイプ原本正解とを参照して少なくとも一つのタイプロスを生成することにより、前記タイプロスをバックプロパゲーションして前記物体検出器内のタイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項22に記載の学習装置。
- CNN基盤の疑似(Pseudo)3Dバウンディングボックスを少なくとも一つ検出するテスト装置において、
インストラクションを格納する少なくとも一つのメモリ;及び
学習装置が、少なくとも一つのトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して生成される少なくとも一つの学習用特徴マップと、前記トレーニングイメージで少なくとも一つの学習用物体を含む少なくとも一つの学習用2Dバウンディングボックスとを取得すると、(i)プーリングレイヤ(Pooling Layer)をもって、前記学習用特徴マップ上で前記学習用2Dバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つの学習用プーリング済み特徴マップを生成させ、タイプ分類レイヤ(Type−Classifying Layer)をもって、前記学習用プーリング済み特徴マップを参照して前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケート(Truncate)されたかトランケートされていないかを判別させるプロセスと、(ii)前記学習用物体のイメージがトランケートされた状態であれば前記学習用物体を第1タイプ(First Type)であるとし、前記学習用物体のイメージがトランケートされていない状態であれば前記学習用物体を第2タイプ(Second Type)であるとすると、前記学習用プーリング済み特徴マップ内の前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第1タイプと前記第2タイプそれぞれに対応するそれぞれのFCレイヤのうち一つをもって、前記学習用プーリング済み特徴マップに対してニューラルネットワーク演算を少なくとも一回適用させて前記学習用疑似3Dバウンディングボックスに対応する学習用ボックスパターン(Box Pattern)情報を生成させるプロセスと、(iii)前記FCレイヤそれぞれに対応する少なくとも一つの分類レイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用物体の方向に関する学習用方向クラス情報を出力させ、前記FCレイヤそれぞれに対応する少なくとも一つのリグレッションレイヤそれぞれをもって、前記学習用ボックスパターン情報を参照して前記学習用2Dバウンディングボックスの座標情報に対応する前記学習用疑似3Dバウンディングボックスの座標に関する学習用リグレッション情報を生成させるプロセス、(iv)少なくとも一つのFCロスレイヤをもって、前記学習用方向クラス情報と、前記学習用リグレッション情報と、これに対応する少なくとも一つの原本正解とを参照して少なくとも一つのクラスロス及び少なくとも一つのリグレッションロスを生成することにより、前記クラスロス及び前記リグレッションロスをバックプロパゲーションして前記FCレイヤのパラメータを学習するプロセスを遂行した状態で、(I)少なくとも一つのテストイメージに対してコンボリューション演算を少なくとも一回適用してテスト用特徴マップが生成され、テスト用2Dバウンディングボックスが前記テストイメージで少なくとも一つのテスト用物体を含むと、前記プーリングレイヤ(Pooling Layer)をもって、少なくとも一つの前記テスト用特徴マップ上で少なくとも一つの前記テスト用2Dバウンディングボックスに対応する少なくとも一つの領域に対してプーリング演算を少なくとも一回適用させて、少なくとも一つのテスト用プーリング済み特徴マップを生成させ、前記タイプ分類レイヤ(Type−Classifying Layer)をもって、前記テスト用プーリング済み特徴マップを参照して前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケート(Truncate)されたかトランケートされていないかを判別させるプロセス、(II)前記テスト用物体のイメージがトランケートされた状態であれば前記テスト用物体を前記第1タイプ(First Type)であるとし、前記テスト用物体のイメージがトランケートされていない状態であれば前記テスト用物体を前記第2タイプ(Second Type)であるとすると、前記テスト用プーリング済み特徴マップ内の前記テスト用物体のイメージがトランケートされたかトランケートされていないかに関する情報を参照して前記第1タイプと前記第2タイプそれぞれに対応するそれぞれの前記FCレイヤのうち一つをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似3Dバウンディングボックスに対応するテスト用ボックスパターン(Box Pattern)情報を生成させるプロセスと、(III)(i)前記FCレイヤそれぞれに対応する前記分類レイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用物体の方向に関するテスト用方向クラス情報を生成させ、(ii)前記FCレイヤそれぞれに対応する前記リグレッションレイヤそれぞれをもって、前記テスト用ボックスパターン情報を参照して前記テスト用2Dバウンディングボックスの前記座標に対応する前記テスト用疑似3Dバウンディングボックスの前記座標に関するテスト用リグレッション情報を生成させるプロセスと、を遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とするテスト装置。 - 前記学習装置は、タイプロスレイヤ(Type Loss Layer)をもって、前記学習用物体のイメージがトランケートされたかトランケートされていないかに関する情報と、前記学習用物体のイメージに対応する物体タイプ(Object−Type)原本正解とを参照して少なくとも一つのタイプロスを生成させることにより、前記タイプロスを利用したバックプロパゲーションを通じて前記タイプ分類レイヤのパラメータの少なくとも一部を調整することを特徴とする請求項25に記載のテスト装置。
- 前記(I)プロセスで、
前記プロセッサは、前記タイプ分類レイヤをもって、前記テスト用物体の全体を含む領域に比べて前記テスト用プーリング済み特徴マップ上に示された前記テスト用物体の一部のみを含む領域の割合が所定の閾値以下である場合には前記テスト用物体のイメージがトランケートされたものと判断させ、前記割合が前記所定の閾値を超過する場合には前記テスト用物体のイメージがトランケートされていないものと判断させることを特徴とする請求項25に記載のテスト装置。 - 前記(III)プロセスで、
前記プロセッサは、前記リグレッションレイヤそれぞれをもって、(i)前記テスト用2Dバウンディングボックスの頂点から前記テスト用物体の前面と裏面それぞれに対応するそれぞれのテスト用インスタンスバウンディングボックスの頂点までのそれぞれの変位(Displacement)、並びに(ii)前記テスト用2Dバウンディングボックスの中心から前記それぞれのテスト用インスタンスバウンディングボックスのそれぞれの中心までのそれぞれの変位及び前記テスト用2Dバウンディングボックスの幅/高さの割合と前記テスト用インスタンスバウンディングボックスのそれぞれの幅/高さの割合との間のそれぞれの差のうち少なくとも一つを利用して、前記テスト用リグレッション情報を生成させることを特徴とする請求項27に記載のテスト装置。 - 前記(II)プロセスで、
前記プロセッサは、前記テスト用物体が前記第1タイプである場合、前記第1タイプに対応する第1FCレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似3Dバウンディングボックスに対応するテスト用第1ボックスパターン情報を生成し、前記テスト用物体が前記第2タイプである場合、前記第2タイプに対応する第2FCレイヤをもって、前記テスト用プーリング済み特徴マップに対してニューラルネットワーク演算を適用させて前記テスト用疑似3Dバウンディングボックスに対応するテスト用第2ボックスパターン情報を生成し、
前記(III)プロセスで、
前記プロセッサは、(i)前記第1FCレイヤに対応する第1分類レイヤをもって、前記テスト用第1ボックスパターン情報を参照して前記第1タイプを有する前記テスト用物体の方向に対応するテスト用第1方向クラス情報を生成させ、前記第1FCレイヤに対応する第1リグレッションレイヤをもって、前記テスト用第1ボックスパターン情報を参照して前記テスト用2Dバウンディングボックスの前記座標に対応する前記テスト用疑似3Dバウンディングボックスの前記座標に対するテスト用第1リグレッション情報を生成させ、(ii)前記第2FCレイヤに対応する第2分類レイヤをもって、前記テスト用第2ボックスパターン情報を参照して前記第2タイプを有する前記テスト用物体の方向に対応するテスト用第2方向クラス情報を生成させ、前記第2FCレイヤに対応する第2リグレッションレイヤをもって、前記テスト用第2ボックスパターン情報を参照して前記テスト用2Dバウンディングボックスの前記座標に対応する前記テスト用疑似3Dバウンディングボックスの前記座標に関するテスト用第2リグレッション情報を生成させることを特徴とする請求項25に記載のテスト装置。 - 前記テストイメージを先行CNN基盤の物体検出器に入力して、前記物体検出器が、(i)先行コンボリューションレイヤ(Preceding Convolutional Layer)をもって、前記テストイメージに対してコンボリューション演算を遂行して、前記テスト用の特徴マップを生成させ、(iii)RPNをもって、前記テスト用の特徴マップから前記テストイメージ内の前記テスト物体に対応する少なくとも一つのテスト用プロポーザルボックスを生成させ、(iii)先行プーリングレイヤ(Preceding Pooling Layer)をもって、前記テスト用特徴マップ上で前記テスト用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用させてテスト用先行プーリングされた特徴マップを生成させ、(iv)先行FCレイヤ(Preceding FC Layer)をもって、前記テスト用物体に対応するテスト用物体パターン情報を生成させ、(v)先行分類レイヤ(Preceding Classification Layer)をもって、前記テスト用物体パターン情報を参照して前記テスト用物体のクラスに対応するテスト用物体クラス情報を生成させ、(vi)先行リグレッションレイヤ(Preceding Regression Layer)をもって、前記テスト用物体パターン情報を参照して前記テスト用物体に対応する前記テスト用2Dバウンディングボックスに対するテスト用先行リグレッション情報を生成させることで、前記テスト用特徴マップと前記テスト用2Dバウンディングボックスとを生成することを特徴とする請求項26に記載のテスト装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/258,186 US10445611B1 (en) | 2019-01-25 | 2019-01-25 | Method for detecting pseudo-3D bounding box to be used for military purpose, smart phone or virtual driving based-on CNN capable of converting modes according to conditions of objects and device using the same |
US16/258,186 | 2019-01-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119519A true JP2020119519A (ja) | 2020-08-06 |
JP6810432B2 JP6810432B2 (ja) | 2021-01-06 |
Family
ID=68165046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019239147A Active JP6810432B2 (ja) | 2019-01-25 | 2019-12-27 | 物体の条件に応じてモードを切り換えることができるcnn基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似3dバウンディングボックスを検出する方法及びこれを利用した装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10445611B1 (ja) |
EP (1) | EP3686776B1 (ja) |
JP (1) | JP6810432B2 (ja) |
KR (1) | KR102309712B1 (ja) |
CN (1) | CN111488783B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10671878B1 (en) | 2019-01-11 | 2020-06-02 | Capital One Services, Llc | Systems and methods for text localization and recognition in an image of a document |
US20220261593A1 (en) * | 2021-02-16 | 2022-08-18 | Nvidia Corporation | Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision |
DE102021118065A1 (de) | 2021-07-13 | 2023-01-19 | Connaught Electronics Ltd. | Verfahren zum Erzeugen einer dreidimensionalen Information einer dreidimensionalen Umgebung, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9953437B1 (en) * | 2017-10-18 | 2018-04-24 | StradVision, Inc. | Method and device for constructing a table including information on a pooling type and testing method and testing device using the same |
US20180137644A1 (en) * | 2016-11-11 | 2018-05-17 | Qualcomm Incorporated | Methods and systems of performing object pose estimation |
WO2018093796A1 (en) * | 2016-11-15 | 2018-05-24 | Magic Leap, Inc. | Deep learning system for cuboid detection |
US20180268601A1 (en) * | 2017-03-16 | 2018-09-20 | Qualcomm Incorporated | Three-dimensional pose estimation of symmetrical objects |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016054778A1 (en) * | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Generic object detection in images |
US10410096B2 (en) * | 2015-07-09 | 2019-09-10 | Qualcomm Incorporated | Context-based priors for object detection in images |
WO2017015649A1 (en) * | 2015-07-23 | 2017-01-26 | Mireplica Technology, Llc | Performance enhancement for two-dimensional array processor |
US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
US9881234B2 (en) * | 2015-11-25 | 2018-01-30 | Baidu Usa Llc. | Systems and methods for end-to-end object detection |
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
US10331974B2 (en) * | 2016-11-08 | 2019-06-25 | Nec Corporation | Action recognition system with landmark localization on objects in images using convolutional neural networks |
US10546237B2 (en) * | 2017-03-30 | 2020-01-28 | Atomwise Inc. | Systems and methods for correcting error in a first classifier by evaluating classifier output in parallel |
WO2018187632A1 (en) * | 2017-04-05 | 2018-10-11 | Carnegie Mellon University | Deep learning methods for estimating density and/or flow of objects, and related methods and software |
KR102475826B1 (ko) * | 2017-04-21 | 2022-12-09 | 삼성메디슨 주식회사 | 영상 분할 방법 및 그 전자 장치 |
US10572963B1 (en) * | 2017-07-14 | 2020-02-25 | Synapse Technology Corporation | Detection of items |
US10169679B1 (en) * | 2017-10-13 | 2019-01-01 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same |
US9946960B1 (en) * | 2017-10-13 | 2018-04-17 | StradVision, Inc. | Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same |
US10007865B1 (en) * | 2017-10-16 | 2018-06-26 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same |
-
2019
- 2019-01-25 US US16/258,186 patent/US10445611B1/en active Active
- 2019-09-27 KR KR1020190119511A patent/KR102309712B1/ko active IP Right Grant
- 2019-10-24 CN CN201911016989.4A patent/CN111488783B/zh active Active
- 2019-11-07 EP EP19207615.6A patent/EP3686776B1/en active Active
- 2019-12-27 JP JP2019239147A patent/JP6810432B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180137644A1 (en) * | 2016-11-11 | 2018-05-17 | Qualcomm Incorporated | Methods and systems of performing object pose estimation |
WO2018093796A1 (en) * | 2016-11-15 | 2018-05-24 | Magic Leap, Inc. | Deep learning system for cuboid detection |
US20180268601A1 (en) * | 2017-03-16 | 2018-09-20 | Qualcomm Incorporated | Three-dimensional pose estimation of symmetrical objects |
US9953437B1 (en) * | 2017-10-18 | 2018-04-24 | StradVision, Inc. | Method and device for constructing a table including information on a pooling type and testing method and testing device using the same |
Also Published As
Publication number | Publication date |
---|---|
EP3686776B1 (en) | 2024-03-27 |
KR20200092846A (ko) | 2020-08-04 |
EP3686776A1 (en) | 2020-07-29 |
US10445611B1 (en) | 2019-10-15 |
KR102309712B1 (ko) | 2021-10-08 |
EP3686776C0 (en) | 2024-03-27 |
JP6810432B2 (ja) | 2021-01-06 |
CN111488783B (zh) | 2023-09-12 |
CN111488783A (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102309708B1 (ko) | 인스턴스 세그멘테이션을 이용한 객체의 자세에 따라 모드를 전환할 수 있는 cnn 기반의 수도-3d 바운딩 박스를 검출하는 방법 및 이를 이용한 장치 | |
US10410120B1 (en) | Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same | |
JP2020123343A (ja) | 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
KR102121764B1 (ko) | 회귀 분석으로 2d 바운딩 박스에서 수도(pseudo)-3d박스를 획득하는 방법 및 이를 이용한 학습 장치 및 테스트 장치 | |
US10919543B2 (en) | Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route | |
JP6810432B2 (ja) | 物体の条件に応じてモードを切り換えることができるcnn基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似3dバウンディングボックスを検出する方法及びこれを利用した装置 | |
US20230121534A1 (en) | Method and electronic device for 3d object detection using neural networks | |
EP3690811A1 (en) | Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same | |
CN111460879B (zh) | 利用网格生成器的神经网络运算方法及使用该方法的装置 | |
JP6892157B2 (ja) | V2x情報融合技術によって取得された、各物体に対する深さ予測情報及び各物体に対するクラス情報を利用して3d空間を再構築することによりhdマップをアップデートする学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
JP2020126623A (ja) | V2v通信によって取得された、他の自律走行車両の空間探知結果を自身の自律走行車両の空間探知結果と統合する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置{learning method and learning device for integrating object detection information acquired through v2v communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same} | |
KR102373492B1 (ko) | 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치 | |
JP2020123346A (ja) | 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置 | |
KR102372687B1 (ko) | 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치 | |
EP3731143A1 (en) | Method and device for economizing computing resources to be used during a process of verification of convolutional parameters using test pattern | |
US10373004B1 (en) | Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image | |
CN111461318B (zh) | 利用网格生成器的神经网络运算方法及使用该方法的装置 | |
Murali | Perception-aware planning for differentially flat robots | |
EP3686799A1 (en) | Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles | |
CN118189971A (zh) | 基于三维a星与速度障碍的无人机路径规划方法与系统 | |
Arana-Daniel et al. | Reinforcement Learning-SLAM for finding minimum cost path and mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6810432 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |