JP2020119530A - 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、cnn基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 - Google Patents
重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、cnn基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 Download PDFInfo
- Publication number
- JP2020119530A JP2020119530A JP2020001648A JP2020001648A JP2020119530A JP 2020119530 A JP2020119530 A JP 2020119530A JP 2020001648 A JP2020001648 A JP 2020001648A JP 2020001648 A JP2020001648 A JP 2020001648A JP 2020119530 A JP2020119530 A JP 2020119530A
- Authority
- JP
- Japan
- Prior art keywords
- test
- learning
- kth
- feature map
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 390
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 80
- 238000011176 pooling Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 27
- 238000005192 partition Methods 0.000 claims description 7
- 238000010998 test method Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (28)
- ターゲット物体予測ネットワークを用いた物体検出器のパラメータの学習方法において、
(a)少なくとも一つのトレーニングイメージが取得されると、学習装置が、(i)一つ以上のコンボリューションレイヤをもって、前記トレーニングイメージに対応する少なくとも一つの第1加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第1特徴マップを出力するようにし、(ii)RPN(Region Proposal Network)をもって、前記第1特徴マップを利用して、前記第1加工イメージ内に位置する一つ以上の第1物体それぞれに対応する一つ以上の第1物体プロポーザルを出力するようにし、(iii)プーリングレイヤをもって、前記第1特徴マップ上で、前記第1物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第1プーリング済み特徴マップを出力するようにし、(iv)FC(Fully Connected)レイヤをもって、前記第1プーリング済み特徴マップに少なくとも一つのFC演算を適用して、前記第1物体に対応する第1物体検出情報を出力するようにし、(v)FCロスレイヤをもって、前記第1物体検出情報と、これに対応するGTとを参照して一つ以上の第1FCロスを取得するようにすることで、前記第1FCロスを利用したバックプロパゲーションによって、前記FCレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習する段階;及び
(b)kを2からnまで増加させながら、前記学習装置が、(i)前記ターゲット物体予測ネットワークをもって、第(k−1)加工イメージ上の一つ以上の第(k−1)物体プロポーザルを参照して、前記第(k−1)加工イメージ上で、少なくとも一つのターゲット物体が位置するものと予測される領域に対応する第(k−1)ターゲット領域を探すようにし、(ii)前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第(k−1)ターゲット領域に対応する第k加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第k加工イメージに前記コンボリューション演算を適用して第k特徴マップを出力するようにし、(iii)前記RPNをもって、前記第k特徴マップを参照して、前記第k加工イメージ内に位置する一つ以上の第k物体それぞれに対応する一つ以上の第k物体プロポーザルを出力するようにし、(iv)前記プーリングレイヤをもって、前記第k特徴マップ上で、前記第k物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第kプーリング済み特徴マップを出力するようにし、(v)前記FCレイヤをもって、前記FC演算を前記第kプーリング済み特徴マップに適用して、前記第k物体に対応する第k物体検出情報を出力するようにし、(vi)前記FCロスレイヤをもって、前記第k物体検出情報と、これに対応するGTとを参照して一つ以上の第kFCロスを取得するようにすることで、前記第kFCロスを利用したバックプロパゲーションによって、前記FCレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習する段階;
を含むことを特徴とする方法。 - 前記(a)段階で、
前記学習装置は、RPNロスレイヤをもって、前記第1物体プロポーザルの情報と、これに対応するGTとを参照して一つ以上の第1RPNロスを取得するようにすることで、前記第1RPNロスを利用したバックプロパゲーションによって前記RPNのパラメータの中の少なくとも一部を調整するようにし、
前記(b)段階で、
前記学習装置は、前記RPNロスレイヤをもって、前記第k物体プロポーザル情報と、これに対応するGTとを参照して一つ以上の第kRPNロスを取得するようにすることで、前記第kRPNロスを利用したバックプロパゲーションによって前記RPNのパラメータの中の少なくとも一部を調整することを特徴とする請求項1に記載の方法。 - 前記(b)段階で、
前記学習装置は、前記ターゲット物体予測ネットワークをもって、(i)前記第(k−1)加工イメージをMxNグリッドで区分するようにし、(ii)前記第(k−1)物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するプロポーザルの個数を示す少なくとも一つ以上のヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記プロポーザルそれぞれの全体領域または分割の領域が存在し、(iii)ムービングウィンドウの中の少なくとも一つの領域を利用して、前記第(k−1)ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする請求項1に記載の方法。 - 前記(b)段階で、
前記学習装置は、前記トレーニングイメージのサイズを前記第1加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたトレーニングイメージを生成した後、前記リサイズされたトレーニングイメージ上で、前記第(k−1)ターゲット領域に対応する少なくとも一つの領域をクロップ(crop)して、前記第k加工イメージを生成することを特徴とする請求項1に記載の方法。 - 前記(b)段階で、
前記学習装置は、前記トレーニングイメージ上で、前記第(k−1)ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第k加工イメージを生成することを特徴とする請求項1に記載の方法。 - 前記第k加工イメージのサイズが、前記第(k−1)ターゲット領域のサイズより大きくなるように前記第k加工イメージをリサイズすることを特徴とする請求項5に記載の方法。
- 前記第1加工イメージないし第n加工イメージのサイズが、同一の大きさを有することを特徴とする請求項1に記載の方法。
- ターゲット物体予測ネットワークを用いた物体検出器のテスト方法において、
(a)学習装置が、(1−1)一つ以上のコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに対応する少なくとも一つの第1学習用加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第1学習用特徴マップを出力するようにし、(1−2)RPNをもって、前記第1学習用特徴マップを利用して、前記第1学習用加工イメージ内に位置する一つ以上の第1学習用物体それぞれに対応する一つ以上の第1学習用物体プロポーザルを出力するようにし、(1−3)プーリングレイヤをもって、前記第1学習用特徴マップ上で、前記第1学習用物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第1学習用プーリング済み特徴マップを出力するようにし、(1−4)FCレイヤをもって、前記第1学習用プーリング済み特徴マップに少なくとも一つのFC演算を適用して、前記第1学習用物体に対応する第1学習用物体検出情報を出力するようにし、(1−5)FCロスレイヤをもって、前記第1学習用物体検出情報と、これに対応するGTとを参照して一つ以上の第1FCロスを取得するようにすることで、前記第1FCロスを利用したバックプロパゲーションによって、前記FCレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するようにし、kを2からnまで増加させながら、(2−1)前記ターゲット物体予測ネットワークをもって、第(k−1)学習用加工イメージ上の一つ以上の第(k−1)学習用物体プロポーザルを参照して、前記第(k−1)学習用加工イメージ上で、少なくとも一つの学習用ターゲット物体が位置するものと予測される領域に対応する第(k−1)学習用ターゲット領域を探すようにし、(2−2)前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第(k−1)学習用ターゲット領域に対応する第k学習用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第k学習用加工イメージに前記コンボリューション演算を適用して第k学習用特徴マップを出力するようにし、(2−3)前記RPNをもって、前記第k学習用特徴マップを利用して、前記第k学習用加工イメージ内に位置する一つ以上の第k学習用物体それぞれに対応する一つ以上の第k学習用物体プロポーザルを出力するようにし、(2−4)前記プーリングレイヤをもって、前記第k学習用特徴マップ上で、前記第k学習用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第k学習用プーリング済み特徴マップを出力するようにし、(2−5)前記FCレイヤをもって、前記FC演算を前記第k学習用プーリング済み特徴マップに適用して、前記第k学習用物体に対応する第k学習用物体検出情報を出力するようにし、(2−6)前記FCロスレイヤをもって、前記第k学習用物体検出情報と、これに対応するGTとを参照して一つ以上の第kFCロスを取得するようにすることで、前記第kFCロスを利用したバックプロパゲーションによって、前記FCレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習した状態で、少なくとも一つのテストイメージが取得されると、テスティング装置が、(i)前記コンボリューションレイヤをもって、前記テストイメージに対応する少なくとも一つの第1テスト用加工イメージに前記コンボリューション演算を適用して、少なくとも一つの第1テスト用特徴マップを出力するようにし、(ii)前記RPNをもって、前記第1テスト用特徴マップを利用して、前記第1テスト用加工イメージ内に位置する一つ以上の第1テスト用物体それぞれに対応する一つ以上の第1テスト用物体プロポーザルを出力するようにし、(iii)前記プーリングレイヤをもって、前記第1テスト用特徴マップ上で、前記第1テスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第1テスト用プーリング済み特徴マップを出力するようにし、(iv)前記FCレイヤをもって、前記第1テスト用プーリング済み特徴マップに前記FC演算を適用して、前記第1テスト用物体に対応する第1テスト用物体検出情報を出力するようにする段階;及び
(b)kを2からnまで増加させながら、前記テスティング装置が、(i)前記ターゲット物体予測ネットワークをもって、第(k−1)テスト用加工イメージ上の一つ以上の第(k−1)テスト用物体プロポーザルを参照して、前記第(k−1)テスト用加工イメージ上で、少なくとも一つのテスト用ターゲット物体が位置するものと予測される領域に対応する第(k−1)テスト用ターゲット領域を探すようにし、(ii)前記テストイメージ、またはリサイズされたテストイメージ上で、前記第(k−1)テスト用ターゲット領域に対応する第kテスト用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記テスト用第k加工イメージに前記コンボリューション演算を適用して第kテスト用特徴マップを出力するようにし、(iii)前記RPNをもって、前記第kテスト用特徴マップを参照して、前記第kテスト用加工イメージ内に位置する一つ以上の第kテスト用物体それぞれに対応する一つ以上の第kテスト用物体プロポーザルを出力するようにし、(iv)前記プーリングレイヤをもって、前記第kテスト用特徴マップ上で、前記第kテスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第kテスト用プーリング済み特徴マップを出力するようにし、(v)前記FCレイヤをもって、前記FC演算を前記第kテスト用プーリング済み特徴マップに適用して、前記第kテスト用物体に対応する第kテスト用物体検出情報を出力するようにする段階;
を含むことを特徴とする方法。 - 前記学習装置は、RPNロスレイヤをもって、前記第1学習用物体プロポーザル情報と、これに対応するGTとを参照して一つ以上の第1RPNロスを取得するようにすることで、前記第1RPNロスを利用したバックプロパゲーションによって前記RPNのパラメータの中の少なくとも一部を調整するようにし、
前記学習装置は、前記RPNロスレイヤをもって、前記第k学習用物体プロポーザル情報と、これに対応するGTとを参照して一つ以上の第kRPNロスを取得するようにすることで、前記第kRPNロスを利用したバックプロパゲーションによって前記RPNのパラメータの中の少なくとも一部を調整することを特徴とする請求項8に記載の方法。 - 前記(b)段階で、
前記テスティング装置は、前記ターゲット物体予測ネットワークをもって、(i)前記第(k−1)テスト用加工イメージをMxNグリッドで区分するようにし、(ii)前記第(k−1)テスト用物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するテスト用プロポーザルの個数を示す少なくとも一つ以上のテスト用ヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記テスト用プロポーザルそれぞれの全体領域または分割の領域が存在し、(iii)ムービングウィンドウの中の少なくとも一つの領域を利用して前記第(k−1)テスト用ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記テスト用ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする請求項8に記載の方法。 - 前記(b)段階で、
前記テスティング装置は、前記テストイメージのサイズを前記第1テスト用加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたテストイメージを生成した後、前記リサイズされたテストイメージ上で、前記第(k−1)テスト用ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第kテスト用加工イメージを生成することを特徴とする請求項8に記載の方法。 - 前記(b)段階で、
前記テスティング装置は、前記テストイメージ上で、前記第(k−1)テスト用ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第kテスト用加工イメージを生成することを特徴とする請求項8に記載の方法。 - 前記第kテスト用加工イメージのサイズが、前記第(k−1)テスト用ターゲット領域のサイズより大きくなるように前記第kテスト用加工イメージをリサイズすることを特徴とする請求項12に記載の方法。
- 前記第1テスト用加工イメージないし第nテスト用加工イメージのサイズが同一の大きさを有することを特徴とする請求項8に記載の方法。
- ターゲット物体予測ネットワークを用いた物体検出器のパラメータの学習するための学習装置において、
各インストラクションを格納する少なくとも一つのメモリ;及び
(I)(i)一つ以上のコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに対応する少なくとも一つの第1加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第1特徴マップを出力するようにし、(ii)RPN(Region Proposal Network)をもって、前記第1特徴マップを利用して、前記第1加工イメージ内に位置する一つ以上の第1物体それぞれに対応する一つ以上の第1物体プロポーザルを出力するようにし、(iii)プーリングレイヤをもって、前記第1特徴マップ上で、前記第1物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第1プーリング済み特徴マップを出力するようにし、(iv)FC(Fully Connected)レイヤをもって、前記第1プーリング済み特徴マップに少なくとも一つのFC演算を適用して、前記第1物体に対応する第1物体検出情報を出力するようにし、(v)FCロスレイヤをもって、前記第1物体検出情報と、これに対応するGTとを参照して一つ以上の第1FCロスを取得するようにすることで、前記第1FCロスを利用したバックプロパゲーションによって、前記FCレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するプロセス、及び(II)kを2からnまで増加させながら、(i)前記ターゲット物体予測ネットワークをもって、第(k−1)加工イメージ上の一つ以上の第(k−1)物体プロポーザルを参照して、前記第(k−1)加工イメージ上で、少なくとも一つのターゲット物体が位置するものと予測される領域に対応する第(k−1)ターゲット領域を探すようにし、(ii)前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第(k−1)ターゲット領域に対応する第k加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第k加工イメージに前記コンボリューション演算を適用して第k特徴マップを出力するようにし、(iii)前記RPNをもって、前記第k特徴マップを参照して、前記第k加工イメージ内に位置する一つ以上の第k物体それぞれに対応する一つ以上の第k物体プロポーザルを出力するようにし、(iv)プーリングレイヤをもって、前記第k特徴マップ上で、前記第k物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第kプーリング済み特徴マップを出力するようにし、(v)前記FCレイヤをもって、前記FC演算を前記第kプーリング済み特徴マップに適用して、前記第k物体に対応する第k物体検出情報を出力するようにし、(vi)前記FCロスレイヤをもって、前記第k物体検出情報と、これに対応するGTとを参照して一つ以上の第kFCロスを取得するようにすることで、前記第kFCロスを利用したバックプロパゲーションによって、前記FCレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とする学習装置。 - 前記(I)プロセスで、
前記プロセッサは、RPNロスレイヤをもって、前記第1物体プロポーザル情報と、これに対応するGTとを参照して一つ以上の第1RPNロスを取得するようにすることで、前記第1RPNロスを利用したバックプロパゲーションによって前記RPNのパラメータの中の少なくとも一部を調整するようにし、
前記(II)プロセスで、
前記プロセッサは、前記RPNロスレイヤをもって、前記第k物体プロポーザル情報と、これに対応するGTとを参照して一つ以上の第kRPNロスを取得するようにすることで、前記第kRPNロスを利用したバックプロパゲーションによって前記RPNのパラメータの中の少なくとも一部を調整することを特徴とする請求項15に記載の学習装置。 - 前記(II)プロセスで、
前記プロセッサは、前記ターゲット物体予測ネットワークをもって、(i)前記第(k−1)加工イメージをMxNグリッドで区分するようにし、(ii)前記第(k−1)物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するプロポーザルの個数を示す少なくとも一つ以上のヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記プロポーザルそれぞれの全体領域または分割の領域が存在し、(iii)ムービングウィンドウの中の少なくとも一つの領域を利用して、前記第(k−1)ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする請求項15に記載の学習装置。 - 前記(II)プロセスで、
前記プロセッサは、前記トレーニングイメージのサイズを前記第1加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたトレーニングイメージを生成した後、前記リサイズされたトレーニングイメージ上で、前記第(k−1)ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第k加工イメージを生成することを特徴とする請求項15に記載の学習装置。 - 前記(II)プロセスで、
前記プロセッサは、前記トレーニングイメージ上で、前記第(k−1)ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第k加工イメージを生成することを特徴とする請求項15に記載の学習装置。 - 前記第k加工イメージのサイズが、前記第(k−1)ターゲット領域のサイズより大きくなるように前記第k加工イメージをリサイズすることを特徴とする請求項19に記載の学習装置。
- 前記第1加工イメージないし第n加工イメージのサイズが同一の大きさを有することを特徴とする請求項15に記載の学習装置。
- ターゲット物体予測ネットワークを用いた物体検出器をテストするためのテスティング装置において、
各インストラクションを格納する少なくとも一つのメモリ;及び
学習装置が、(1−1)一つ以上のコンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに対応する少なくとも一つの第1学習用加工イメージに一つ以上のコンボリューション演算を適用して、少なくとも一つの第1学習用特徴マップを出力するようにし、(1−2)RPNをもって、前記第1学習用特徴マップを利用して、前記第1学習用加工イメージ内に位置する一つ以上の第1学習用物体それぞれに対応する一つ以上の第1学習用物体プロポーザルを出力するようにし、(1−3)プーリングレイヤをもって、前記第1学習用特徴マップ上で、前記第1学習用物体プロポーザルそれぞれに対応するそれぞれの領域に一つ以上のプーリング演算を適用して、少なくとも一つの第1学習用プーリング済み特徴マップを出力するようにし、(1−4)FCレイヤをもって、前記第1学習用プーリング済み特徴マップに少なくとも一つのFC演算を適用して、前記第1学習用物体に対応する第1学習用物体検出情報を出力するようにし、(1−5)FCロスレイヤをもって、前記第1学習用物体検出情報と、これに対応するGTとを参照して一つ以上の第1FCロスを取得するようにすることで、前記第1FCロスを利用したバックプロパゲーションによって、前記FCレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習するようにし、kを2からnまで増加させながら、(2−1)前記ターゲット物体予測ネットワークをもって、第(k−1)学習用加工イメージ上の一つ以上の第(k−1)学習用物体プロポーザルを参照して、前記第(k−1)学習用加工イメージ上で、少なくとも一つの学習用ターゲット物体が位置するものと予測される領域に対応する第(k−1)ターゲット学習用領域を探すようにし、(2−2)前記トレーニングイメージ、またはリサイズされたトレーニングイメージ上で、前記第(k−1)学習用ターゲット領域に対応する第k学習用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記第k学習用加工イメージに前記コンボリューション演算を適用して第k学習用特徴マップを出力するようにし、(2−3)前記RPNをもって、前記第k学習用特徴マップを利用して、前記第k学習用加工イメージ内に位置する一つ以上の第k学習用物体それぞれに対応する一つ以上の第k学習用物体プロポーザルを出力するようにし、(2−4)前記プーリングレイヤをもって、前記第k学習用特徴マップ上で、前記第k学習用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第k学習用プーリング済み特徴マップを出力するようにし、(2−5)前記FCレイヤをもって、前記FC演算を前記第k学習用プーリング済み特徴マップに適用して、前記第k学習用物体に対応する第k学習用物体検出情報を出力するようにし、(2−6)前記FCロスレイヤをもって、前記第k学習用物体検出情報と、これに対応するGTとを参照して一つ以上の第kFCロスを取得するようにすることで、前記第kFCロスを利用したバックプロパゲーションによって、前記FCレイヤ及び前記コンボリューションレイヤのパラメータの中の少なくとも一部を学習した状態で、(I)(i)前記コンボリューションレイヤをもって、テストイメージに対応する少なくとも一つの第1テスト用加工イメージに前記コンボリューション演算を適用して、少なくとも一つの第1テスト用特徴マップを出力するようにし、(ii)前記RPNをもって、前記第1テスト用特徴マップを利用して、前記第1テスト用加工イメージ内に位置する一つ以上の第1テスト用物体それぞれに対応する一つ以上の第1テスト用物体プロポーザルを出力するようにし、(iii)前記プーリングレイヤをもって、前記第1テスト用特徴マップ上で、前記第1テスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第1テスト用プーリング済み特徴マップを出力するようにし、(iv)前記FCレイヤをもって、前記第1テスト用プーリング済み特徴マップに前記FC演算を適用して、前記第1テスト用物体に対応する第1テスト用物体検出情報を出力するようにするプロセス、及び(II)kを2からnまで増加させながら、(i)前記ターゲット物体予測ネットワークをもって、第(k−1)テスト用加工イメージ上の一つ以上の第(k−1)テスト用物体プロポーザルを参照して、前記第(k−1)テスト用加工イメージ上で、少なくとも一つのテスト用ターゲット物体が位置するものと予測される領域に対応する第(k−1)テスト用ターゲット領域を探すようにし、(ii)前記テストイメージ、またはリサイズされたテストイメージ上で、前記第(k−1)テスト用ターゲット領域に対応する第kテスト用加工イメージが取得されると、前記コンボリューションレイヤをもって、前記テスト用第k加工イメージに前記コンボリューション演算を適用して第kテスト用特徴マップを出力するようにし、(iii)前記RPNをもって、前記第kテスト用特徴マップを参照して、前記第kテスト用加工イメージ内に位置する一つ以上の第kテスト用物体それぞれに対応する一つ以上の第kテスト用物体プロポーザルを出力するようにし、(iv)前記プーリングレイヤをもって、前記第kテスト用特徴マップ上で、前記第kテスト用物体プロポーザルそれぞれに対応するそれぞれの領域に前記プーリング演算を適用して、少なくとも一つの第kテスト用プーリング済み特徴マップを出力するようにし、(v)前記FCレイヤをもって、前記FC演算を前記第kテスト用プーリング済み特徴マップに適用して、前記第kテスト用物体に対応する第kテスト用物体検出情報を出力するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とするテスティング装置。 - 前記学習装置は、RPNロスレイヤをもって、前記第1学習用物体プロポーザル情報と、これに対応するGTとを参照して一つ以上の第1RPNロスを取得するようにすることで、前記第1RPNロスを利用したバックプロパゲーションによって前記RPNのパラメータの中の少なくとも一部を調整するようにし、
前記学習装置は、前記RPNロスレイヤをもって、前記第k学習用物体プロポーザル情報と、これに対応するGTとを参照して一つ以上の第kRPNロスを取得するようにすることで、前記第kRPNロスを利用したバックプロパゲーションによって前記RPNのパラメータの中の少なくとも一部を調整することを特徴とする請求項22に記載のテスティング装置。 - 前記(II)プロセスで、
前記プロセッサは、前記ターゲット物体予測ネットワークをもって、(i)前記第(k−1)テスト用加工イメージをMxNグリッドで区分するようにし、(ii)前記第(k−1)テスト用物体プロポーザルの中で、前記グリッドの各セルごとにそれぞれに対応するテスト用プロポーザルの個数を示す少なくとも一つ以上のテスト用ヒストグラムを生成するようにし、前記グリッドの各セル内にそれに対応する前記テスト用プロポーザルそれぞれの全体領域または分割の領域が存在し、(iii)ムービングウィンドウの中の少なくとも一つの領域を利用して、前記第(k−1)テスト用ターゲット領域を決定するようにし、前記少なくとも一つの領域は、前記ムービングウィンドウの位置を変更して占有されるすべての領域の中で、前記テスト用ヒストグラムの合計が最も大きい値を有する領域であることを特徴とする請求項22に記載のテスティング装置。 - 前記(II)プロセスで、
前記プロセッサは、前記テストイメージのサイズを前記第1テスト用加工イメージのサイズより大きいサイズに拡大して、前記リサイズされたテストイメージを生成した後、前記リサイズされたテストイメージ上で、前記第(k−1)テスト用ターゲット領域に対応する少なくとも一つの領域をクロップして、前記第kテスト用加工イメージを生成することを特徴とする請求項22に記載のテスティング装置。 - 前記(II)プロセスで、
前記プロセッサは、前記テストイメージ上で、前記第(k−1)テスト用ターゲット領域に対応する少なくとも一つの領域をクロップし、前記クロップされた領域をリサイズして、前記第kテスト用加工イメージを生成することを特徴とする請求項22に記載のテスティング装置。 - 前記第kテスト用加工イメージのサイズが、前記第(k−1)テスト用ターゲット領域のサイズより大きくなるように前記第kテスト用加工イメージをリサイズすることを特徴とする請求項26に記載のテスティング装置。
- 前記第1テスト用加工イメージないし第nテスト用加工イメージのサイズが、同一の大きさを有することを特徴とする請求項22に記載のテスティング装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/254,162 US10402692B1 (en) | 2019-01-22 | 2019-01-22 | Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same |
US16/254,162 | 2019-01-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119530A true JP2020119530A (ja) | 2020-08-06 |
JP6850046B2 JP6850046B2 (ja) | 2021-03-31 |
Family
ID=67770001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020001648A Active JP6850046B2 (ja) | 2019-01-22 | 2020-01-08 | 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、cnn基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10402692B1 (ja) |
EP (1) | EP3686785A1 (ja) |
JP (1) | JP6850046B2 (ja) |
KR (1) | KR102246368B1 (ja) |
CN (1) | CN111461161B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10572770B2 (en) * | 2018-06-15 | 2020-02-25 | Intel Corporation | Tangent convolution for 3D data |
CN110910415A (zh) * | 2019-11-28 | 2020-03-24 | 重庆中星微人工智能芯片技术有限公司 | 抛物检测方法、装置、服务器和计算机可读介质 |
CN111488711A (zh) * | 2020-04-08 | 2020-08-04 | 暨南大学 | 一种网络鲁棒性评估方法及系统 |
CN111509810A (zh) * | 2020-05-18 | 2020-08-07 | 广东电网有限责任公司东莞供电局 | 一种锂电池充电状态检测方法、装置及存储介质 |
CN112346056B (zh) * | 2021-01-11 | 2021-03-26 | 长沙理工大学 | 多脉冲雷达信号的分辨性特征融合提取方法及识别方法 |
CN112801706B (zh) * | 2021-02-04 | 2024-02-02 | 北京云上曲率科技有限公司 | 一种游戏用户行为数据挖掘方法及系统 |
US11961314B2 (en) | 2021-02-16 | 2024-04-16 | Nxp B.V. | Method for analyzing an output of an object detector |
US11688112B2 (en) | 2021-05-07 | 2023-06-27 | Nxp B.V. | Method for generating detailed visualization of machine learning model behavior |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018022484A (ja) * | 2016-08-02 | 2018-02-08 | 三菱電機株式会社 | 画像内の物体を検出する方法及び物体検出システム |
JP2018147431A (ja) * | 2017-03-09 | 2018-09-20 | コニカミノルタ株式会社 | 画像認識装置及び画像認識方法 |
JP2018534694A (ja) * | 2015-11-04 | 2018-11-22 | エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. | 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9418319B2 (en) * | 2014-11-21 | 2016-08-16 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
US10410096B2 (en) * | 2015-07-09 | 2019-09-10 | Qualcomm Incorporated | Context-based priors for object detection in images |
US20170124409A1 (en) * | 2015-11-04 | 2017-05-04 | Nec Laboratories America, Inc. | Cascaded neural network with scale dependent pooling for object detection |
US10002313B2 (en) * | 2015-12-15 | 2018-06-19 | Sighthound, Inc. | Deeply learned convolutional neural networks (CNNS) for object localization and classification |
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
WO2017139927A1 (en) * | 2016-02-17 | 2017-08-24 | Intel Corporation | Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model |
US10354362B2 (en) * | 2016-09-08 | 2019-07-16 | Carnegie Mellon University | Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network |
US10387740B2 (en) * | 2016-10-10 | 2019-08-20 | Gyrfalcon Technology Inc. | Object detection and recognition apparatus based on CNN based integrated circuits |
US10198671B1 (en) * | 2016-11-10 | 2019-02-05 | Snap Inc. | Dense captioning with joint interference and visual context |
JP6854344B2 (ja) * | 2016-11-15 | 2021-04-07 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 直方体検出のための深層機械学習システム |
US10657424B2 (en) * | 2016-12-07 | 2020-05-19 | Samsung Electronics Co., Ltd. | Target detection method and apparatus |
US20180211403A1 (en) * | 2017-01-20 | 2018-07-26 | Ford Global Technologies, Llc | Recurrent Deep Convolutional Neural Network For Object Detection |
WO2018170671A1 (en) * | 2017-03-20 | 2018-09-27 | Intel Corporation | Topic-guided model for image captioning system |
US10474908B2 (en) * | 2017-07-06 | 2019-11-12 | GM Global Technology Operations LLC | Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation |
JP7149692B2 (ja) * | 2017-08-09 | 2022-10-07 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10169679B1 (en) * | 2017-10-13 | 2019-01-01 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same |
US10007865B1 (en) * | 2017-10-16 | 2018-06-26 | StradVision, Inc. | Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same |
US10223614B1 (en) * | 2018-09-04 | 2019-03-05 | StradVision, Inc. | Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same |
US10229346B1 (en) * | 2018-09-04 | 2019-03-12 | StradVision, Inc. | Learning method, learning device for detecting object using edge image and testing method, testing device using the same |
CN109241982B (zh) * | 2018-09-06 | 2021-01-29 | 广西师范大学 | 基于深浅层卷积神经网络的目标检测方法 |
-
2019
- 2019-01-22 US US16/254,162 patent/US10402692B1/en active Active
- 2019-09-27 KR KR1020190119530A patent/KR102246368B1/ko active IP Right Grant
- 2019-12-16 CN CN201911294522.6A patent/CN111461161B/zh active Active
- 2019-12-31 EP EP19220237.2A patent/EP3686785A1/en active Pending
-
2020
- 2020-01-08 JP JP2020001648A patent/JP6850046B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018534694A (ja) * | 2015-11-04 | 2018-11-22 | エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. | 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク |
JP2018022484A (ja) * | 2016-08-02 | 2018-02-08 | 三菱電機株式会社 | 画像内の物体を検出する方法及び物体検出システム |
JP2018147431A (ja) * | 2017-03-09 | 2018-09-20 | コニカミノルタ株式会社 | 画像認識装置及び画像認識方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111461161B (zh) | 2024-03-15 |
KR20200091323A (ko) | 2020-07-30 |
EP3686785A1 (en) | 2020-07-29 |
KR102246368B1 (ko) | 2021-04-29 |
JP6850046B2 (ja) | 2021-03-31 |
CN111461161A (zh) | 2020-07-28 |
US10402692B1 (en) | 2019-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020119530A (ja) | 重要業績評価指標のようなユーザ要求事項に適したターゲット物体予測ネットワークを用いた、cnn基盤の変動に強い物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 | |
KR102338744B1 (ko) | 타겟 객체 예측 네트워크 및 타겟 객체 통합 네트워크를 이용하여 핵심성과지표와 같은 사용자 요구 사항에 따른 최적화를 위해 재구성 가능한 네트워크 기반의 객체 검출기를 학습하는 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
JP6908944B2 (ja) | 多重カメラまたはサラウンドビューモニタリングに利用されるために、ターゲット物体統合ネットワーク及びターゲット物体予測ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に適用可能なcnn基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 | |
KR102337367B1 (ko) | 원거리 검출 또는 군사 목적을 위해, 이미지 컨캐터네이션을 이용한, cnn 기반의 하드웨어 최적화가 가능한 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스팅 방법 및 테스팅 장치 | |
JP6908943B2 (ja) | イメージコンカチネーションと、ターゲット物体予測ネットワークとを利用して、多重カメラ又はサラウンドビューモニタリングに利用される物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 | |
KR102309711B1 (ko) | 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
KR102280414B1 (ko) | 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치 | |
KR102328734B1 (ko) | 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치 | |
US10387754B1 (en) | Learning method and learning device for object detector based on CNN using 1×H convolution to be used for hardware optimization, and testing method and testing device using the same | |
KR102337383B1 (ko) | 하드웨어 최적화에 사용되는 1xK 또는 Kx1 컨벌루션 연산을 이용한 CNN을 학습하는 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치 | |
CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及系统 | |
US10395140B1 (en) | Learning method and learning device for object detector based on CNN using 1×1 convolution to be used for hardware optimization, and testing method and testing device using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6850046 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |