JP2020119500A - ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル4及びレベル5を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置 - Google Patents
ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル4及びレベル5を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置 Download PDFInfo
- Publication number
- JP2020119500A JP2020119500A JP2019202411A JP2019202411A JP2020119500A JP 2020119500 A JP2020119500 A JP 2020119500A JP 2019202411 A JP2019202411 A JP 2019202411A JP 2019202411 A JP2019202411 A JP 2019202411A JP 2020119500 A JP2020119500 A JP 2020119500A
- Authority
- JP
- Japan
- Prior art keywords
- layers
- test
- kth
- feature map
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 141
- 230000011218 segmentation Effects 0.000 title claims abstract description 17
- 238000012360 testing method Methods 0.000 title claims description 306
- 238000001514 detection method Methods 0.000 title description 2
- 230000008569 process Effects 0.000 claims description 110
- 238000012549 training Methods 0.000 claims description 28
- 238000010998 test method Methods 0.000 claims description 14
- 230000001965 increasing effect Effects 0.000 claims description 10
- 230000010339 dilation Effects 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
Description
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
Claims (30)
- (i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについて、コンボリューション演算を少なくとも1回遂行して第1ないし第kエンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ、(ii)前記第kエンコード済み特徴マップにデコンボリューション演算を少なくとも1回遂行して第kないし第1デコード済み特徴マップをそれぞれ出力する第kないし第1デコンボリューションレイヤ、(iii)前記k個のコンボリューションレイヤのうちh個のコンボリューションレイヤ(前記hは1から(k−1)までの整数である)それぞれに対応して配置される第1ないし第hマスクレイヤ、及び(iv)前記第1ないし前記第hマスクレイヤそれぞれに対応する第1ないし第hディファレンシャル(differential)レイヤを含む学習装置を利用したイメージセグメンテーションの性能向上のための学習方法において、
(a)前記トレーニングイメージが入力されると、前記学習装置は、前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第kエンコード済み特徴マップを出力するものの、(1)前記第1ないし前記第hマスクレイヤをもって、前記第1ないし前記第kエンコード済み特徴マップのうち、前記第1ないし前記第hマスクレイヤにそれぞれ入力されるh個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記h個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第1ないし第hバンドパス特徴マップを出力させるプロセス、及び(2)前記第1ないし第hディファレンシャルレイヤをもって、前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個のエンコード済み特徴マップそれぞれと前記第1ないし前記第hバンドパス特徴マップそれぞれとの差を求めることにより、第1ないし第hディファレンシャル特徴マップを獲得して、前記第1ないし前記第hディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階;
(b)前記学習装置は、前記第kないし前記第1デコンボリューションレイヤをもって(i)前記第hないし前記第1バンドパス特徴マップ及び前記第hないし前記第1マスクレイヤに対応するh個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたh個のデコード済み特徴マップを利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第kないし前記第1デコード済み特徴マップを順次に出力させる段階;
(c)前記学習装置が、前記第1デコード済み特徴マップ及びこれに対応する少なくとも一つのGTラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第1ないし前記第kデコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節する段階;
を含むことを特徴とする学習方法。 - 前記(1)プロセスで、
前記学習装置は、前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって(前記mは1から前記hまでの整数である)前記第mマスクレイヤに対応する第nコンボリューションレイヤから(前記nは1から前記kまでの整数である)伝達された第nエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第mバンドパス特徴マップを生成し、
前記(2)プロセスで、
前記学習装置は、前記第mマスクレイヤに対応する第mディファレンシャルレイヤをもって前記第nエンコード済み特徴マップと前記第mバンドパス特徴マップとの間の差を計算して第mディファレンシャル特徴マップを出力するようにし、前記第nコンボリューションレイヤの次の第(n+1)コンボリューションレイヤに前記第mディファレンシャル特徴マップを伝達するようにし、
前記(b)段階で、
前記学習装置は、前記第mマスクレイヤに対応する第nデコンボリューションレイヤをもって前記第mバンドパス特徴マップと第(n+1)デコンボリューションレイヤから出力された第(n+1)デコード済み特徴マップの要素ごとの和(element−wise sum)に前記デコンボリューション演算を適用することによって、第nデコード済み特徴マップを出力することを特徴とする請求項1に記載の学習方法。 - 前記(c)段階で、
前記学習装置は、前記第kないし前記第1デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって、前記第kないし前記第1デコンボリューションレイヤのうち前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに該当する少なくとも一つのGTラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行することを特徴とする請求項1に記載の学習方法。 - 前記(a)段階で、
前記学習装置は、前記第1ないし前記第kコンボリューションレイヤをもって前記トレーニングイメージ及び前記第1ないし前記第(k−1)エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第1ないし前記第(k−1)エンコード済み特徴マップのチャンネル数を増加させて前記第1ないし前記第kエンコード済み特徴マップをそれぞれ出力するようにし、前記第1ないし前記第hマスクレイヤをもって前記h個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第1ないし前記第kエンコード済み特徴マップのうちで前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第1ないし前記第hバンドパス特徴マップを出力するようにし、
前記(b)段階で、
前記学習装置は、前記第kないし前記第1デコンボリューションレイヤをもって前記第kエンコード済み特徴マップ及び前記第kないし前記第2デコード済み特徴マップのサイズを順次に増加させ、前記第kエンコード済み特徴マップ及び前記第kないし前記第2デコード済み特徴マップのチャンネル数を順次に減少させて、前記第kないし前記第1デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項1に記載の学習方法。 - 前記学習装置は、(v)それぞれの前記第1ないし前記第hマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第1ないし第h中間レイヤ;をさらに含み、
前記(b)段階は、
(b1)前記学習装置は、前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤから出力されたそれぞれの前記第1ないし前記第hバンドパス特徴マップを獲得して第1ないし第h中間特徴マップをそれぞれ出力させる段階;及び
(b2)前記学習装置は、前記k個のデコンボリューションレイヤをもって(i)前記第hないし前記第1中間レイヤに対応する前記h個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記h個のデコード済み特徴マップ及び前記第hないし前記第1中間特徴マップを利用し、(ii)前記第hないし前記第1中間レイヤに対応しないそれぞれの前記(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤから出力された(k−h−1)個のデコード済み特徴マップ及び前記第kエンコード済み特徴マップを利用して、前記第kないし前記第1デコード済み特徴マップを順次に出力させる段階;
を含むことを特徴とする請求項1に記載の学習方法。 - 前記学習装置は、前記第kコンボリューションレイヤ及び前記第kデコンボリューションレイヤの間でさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kエンコード済み特徴マップに中間演算を適用して第(h+1)中間特徴マップを出力し、前記第kデコンボリューションレイヤに前記第(h+1)中間特徴マップを伝達することを特徴とする請求項5に記載の学習方法。
- 前記第1ないし前記第h中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記h個の中間レイヤの少なくとも一つのレセプティブフィールド(Receptive field)は、0の値を有するフィルター加重値によって決定されることを特徴とする請求項5に記載の学習方法。
- 前記(1)プロセスで、
前記学習装置は、前記第1ないし前記第hマスクレイヤのうち少なくとも第mマスクレイヤ(前記mは1から前記hまでの整数である)をもって前記第mマスクレイヤに対応する第nコンボリューションレイヤから(前記nは1から前記kまでの整数である)伝達される第nエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第mバンドパス特徴マップを生成するようにし、
前記(2)プロセスで、
前記学習装置は、前記第mマスクレイヤに対応する第mディファレンシャルレイヤをもって前記第nエンコード済み特徴マップと前記第mバンドパス特徴マップとの間の差を計算して第mディファレンシャル特徴マップを出力し、前記第nコンボリューションレイヤの次の第(n+1)コンボリューションレイヤに前記第mディファレンシャル特徴マップを伝達するようにし、
前記(b1)段階で、
前記学習装置は、前記第mマスクレイヤに対応する第m中間レイヤをもって前記第mバンドパス特徴マップを参照して第m中間特徴マップを出力し、
前記(b2)段階で、
前記学習装置は、前記第m中間レイヤに対応する第nデコンボリューションレイヤをもって前記第m中間特徴マップと第(n+1)デコンボリューションレイヤから出力された第(n+1)デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第nデコード済み特徴マップを出力することを特徴とする請求項7に記載の学習方法。 - 少なくとも一つのテストイメージに対するセグメンテーションのためのテスト方法において、
(a)学習装置が、(i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも1回遂行して第1ないし第k学習用エンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ、(ii)前記第k学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも1回遂行して第kないし第1学習用デコード済み特徴マップをそれぞれ出力する第kないし第1デコンボリューションレイヤ、(iii)前記k個のコンボリューションレイヤのうちh個のコンボリューションレイヤ(前記hは1から(k−1)までの整数である)それぞれに対応して配置される第1ないし第hマスクレイヤ、及び(iv)前記第1ないし前記第hマスクレイヤそれぞれに対応する第1ないし第hディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、(1)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第k学習用エンコード済み特徴マップを出力するものの、(1−1)前記第1ないし前記第hマスクレイヤをもって、前記第1ないし前記第k学習用エンコード済み特徴マップのうち、前記第1ないし前記第hマスクレイヤにそれぞれ入力されるh個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記h個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第1ないし第h学習用バンドパス特徴マップを出力させるプロセス、(1−2)前記第1ないし第hディファレンシャルレイヤをもって、前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個の学習用エンコード済み特徴マップそれぞれと前記第1ないし前記第h学習用バンドパス特徴マップそれぞれとの差を求めることにより、第1ないし第h学習用ディファレンシャル特徴マップを獲得して、前記第1ないし前記第h学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、(2)前記第kないし前記第1デコンボリューションレイヤをもって(2−1)前記第hないし前記第1学習用バンドパス特徴マップ及び前記第hないし前記第1マスクレイヤに対応するh個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたh個の学習用デコード済み特徴マップを利用し、(2−2)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第kないし前記第1学習用デコード済み特徴マップを順次に出力するようにし、(3)前記第1学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのGTラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第1ないし前記第kデコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、前記テストイメージが入力されると、テスト装置は、前記第1ないし前記第kコンボリューションレイヤをもって第1ないし第kテスト用エンコード済み特徴マップを出力するものの、(a1)前記第1ないし前記第hマスクレイヤをもって、前記第1ないし前記第kテスト用エンコード済み特徴マップのうち、前記第1ないし前記第hマスクレイヤにそれぞれ入力されるh個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記h個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第1ないし第hテスト用バンドパス特徴マップを出力させるプロセス、及び(a2)前記第1ないし第hディファレンシャルレイヤをもって、前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個のテスト用エンコード済み特徴マップそれぞれと前記第1ないし前記第hテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第1ないし第hテスト用ディファレンシャル特徴マップを獲得して、前記第1ないし前記第hテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行する段階;及び
(b)前記テスト装置が、前記第kないし前記第1デコンボリューションレイヤをもって(i)前記第hないし前記第1テスト用バンドパス特徴マップ及び前記第hないし前記第1マスクレイヤに対応するh個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたh個のテスト用デコード済み特徴マップを利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第kないし前記第1テスト用デコード済み特徴マップを順次に出力させる段階;
を含むことを特徴とするテスト方法。 - 前記(a1)プロセスで、
前記テスト装置は、前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって(前記mは1から前記hまでの整数である)前記第mマスクレイヤに対応する第nコンボリューションレイヤから(前記nは1から前記kまでの整数である)伝達された第nテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第mテスト用バンドパス特徴マップを生成し、
前記(a2)プロセスで、
前記テスト装置は、前記第mマスクレイヤに対応する第mディファレンシャルレイヤをもって前記第nテスト用エンコード済み特徴マップと前記第mテスト用バンドパス特徴マップとの間の差を計算して第mテスト用ディファレンシャル特徴マップを出力するようにし、前記第nコンボリューションレイヤの次の第(n+1)コンボリューションレイヤに前記第mテスト用ディファレンシャル特徴マップを伝達するようにし、
前記(b)段階で、
前記テスト装置は、前記第mマスクレイヤに対応する第nデコンボリューションレイヤをもって前記第mテスト用バンドパス特徴マップと第(n+1)デコンボリューションレイヤから出力された第(n+1)テスト用デコード済み特徴マップのテスト用要素ごとの和(element−wise sum)に前記デコンボリューション演算を適用することによって、第nテスト用デコード済み特徴マップを出力することを特徴とする請求項9に記載のテスト方法。 - 前記(a)段階で、
前記テスト装置は、前記第1ないし前記第kコンボリューションレイヤをもって前記テストイメージ及び前記第1ないし前記第(k−1)テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第1ないし前記第(k−1)テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第1ないし前記第kテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第1ないし前記第hマスクレイヤをもって前記h個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第1ないし前記第kテスト用エンコード済み特徴マップのうちで前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第1ないし前記第hテスト用バンドパス特徴マップを出力するようにし、
前記(b)段階で、
前記テスト装置は、前記第kないし前記第1デコンボリューションレイヤをもって前記第kテスト用エンコード済み特徴マップ及び前記第kないし前記第2テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第kテスト用エンコード済み特徴マップ及び前記第kないし前記第2テスト用デコード済み特徴マップのチャンネル数を順次に減少させて、前記第kないし前記第1テスト用デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項9に記載のテスト方法。 - 前記テスト装置は(v)それぞれの前記第1ないし前記第hマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第1ないし第h中間レイヤ;をさらに含み、
前記(b)段階は、
(b1)前記テスト装置は、前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤから出力されたそれぞれの前記第1ないし前記第hテスト用バンドパス特徴マップを獲得して、第1ないし第hテスト用中間特徴マップをそれぞれ出力させる段階;及び
(b2)前記テスト装置は、前記k個のデコンボリューションレイヤをもって(i)前記第hないし前記第1中間レイヤに対応する前記h個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記h個のテスト用デコード済み特徴マップ及び前記第hないし前記第1テスト用中間特徴マップを利用し、(ii)前記第hないし前記第1中間レイヤに対応しないそれぞれの前記(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤから出力された(k−h−1)個のテスト用デコード済み特徴マップ及び前記第kテスト用エンコード済み特徴マップを利用して、前記第kないし前記第1テスト用デコード済み特徴マップを順次に出力させる段階;
を含むことを特徴とする請求項9に記載のテスト方法。 - 前記テスト装置は、前記第kコンボリューションレイヤ及び前記第kデコンボリューションレイヤの間でさらなる第(h+1)中間レイヤをさらに含むものの、前記さらなる第(h+1)中間レイヤは、前記第kテスト用エンコード済み特徴マップに中間演算を適用して第(h+1)テスト用中間特徴マップを出力し、前記第kデコンボリューションレイヤに前記第(h+1)テスト用中間特徴マップを伝達することを特徴とする請求項12に記載のテスト方法。
- 前記第1ないし前記第h中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記h個の中間レイヤの少なくとも一つのレセプティブフィールドは、0の値を有するフィルター加重値によって決定されることを特徴とする請求項12に記載のテスト方法。
- 前記(a1)プロセスで、
前記テスト装置は、前記第1ないし前記第hマスクレイヤのうち少なくとも第mマスクレイヤ(前記mは1から前記hまでの整数である)をもって前記第mマスクレイヤに対応する第nコンボリューションレイヤから(前記nは1から前記kまでの整数である)伝達される第nテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第mテスト用バンドパス特徴マップを生成するようにし、
前記(a2)プロセスで、
前記テスト装置は、前記第mマスクレイヤに対応する第mディファレンシャルレイヤをもって前記第nテスト用エンコード済み特徴マップと前記第mテスト用バンドパス特徴マップとの間の差を計算して第mテスト用ディファレンシャル特徴マップを出力し、前記第nコンボリューションレイヤの次の第(n+1)コンボリューションレイヤに前記第mテスト用ディファレンシャル特徴マップを伝達するようにし、
前記(b1)段階で、
前記テスト装置は、前記第mマスクレイヤに対応する第m中間レイヤをもって前記第mテスト用バンドパス特徴マップを参照して第mテスト用中間特徴マップを出力し、
前記(b2)段階で、
前記テスト装置は、前記第m中間レイヤに対応する第nデコンボリューションレイヤをもって前記第mテスト用中間特徴マップと第(n+1)デコンボリューションレイヤから出力された第(n+1)テスト用デコード済み特徴マップのテスト用要素ごとの和(element−wise sum)に前記デコンボリューション演算を適用するようにすることにより、第nテスト用デコード済み特徴マップを出力することを特徴とする請求項14に記載のテスト方法。 - (i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの特徴マップについてコンボリューション演算を少なくとも1回遂行して第1ないし第kエンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ、(ii)前記第kエンコード済み特徴マップにデコンボリューション演算を少なくとも1回遂行して第kないし第1デコード済み特徴マップをそれぞれ出力する第kないし第1デコンボリューションレイヤ、(iii)前記k個のコンボリューションレイヤのうちh個のコンボリューションレイヤ(前記hは1から(k−1)までの整数である)それぞれに対応して配置される第1ないし第hマスクレイヤ、及び(iv)前記第1ないし前記第hマスクレイヤそれぞれに対応する第1ないし第hディファレンシャルレイヤを含む、セグメンテーション性能向上のための学習装置において、
インストラクションを格納する少なくとも一つのメモリ;及び
(I)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第kエンコード済み特徴マップを出力するものの、(I−1)前記第1ないし前記第hマスクレイヤをもって、前記第1ないし前記第kエンコード済み特徴マップのうち、前記第1ないし前記第hマスクレイヤにそれぞれ入力されるh個のエンコード済み特徴マップで周波数が対応閾値より高い一つ以上の領域を獲得することにより、前記h個のエンコード済み特徴マップから一つ以上のエッジ部分を抽出するようにして、第1ないし第hバンドパス特徴マップを出力させるプロセス、及び(I−2)前記第1ないし第hディファレンシャルレイヤをもって、前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個のエンコード済み特徴マップそれぞれと前記第1ないし前記第hバンドパス特徴マップそれぞれとの差を求めることにより、第1ないし第hディファレンシャル特徴マップを獲得して、前記第1ないし前記第hディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス;(II)前記第kないし前記第1デコンボリューションレイヤをもって(i)前記第hないし前記第1バンドパス特徴マップ及び前記第hないし前記第1マスクレイヤに対応するh個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたh個のデコード済み特徴マップを利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された特徴マップを利用して、前記第kないし前記第1デコード済み特徴マップを順次に出力させるプロセス;及び(III)前記第1デコード済み特徴マップ及びこれに対応する少なくとも一つのGTラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第1ないし前記第kデコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とする学習装置。 - 前記(I−1)プロセスで、
前記プロセッサは、前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって(前記mは1から前記hまでの整数である)前記第mマスクレイヤに対応する第nコンボリューションレイヤから(前記nは1から前記kまでの整数である)伝達された第nエンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第mバンドパス特徴マップを生成し、
前記(I−2)プロセスで、
前記プロセッサは、前記第mマスクレイヤに対応する第mディファレンシャルレイヤをもって前記第nエンコード済み特徴マップと前記第mバンドパス特徴マップとの間の差を計算して第mディファレンシャル特徴マップを出力するようにし、前記第nコンボリューションレイヤの次の第(n+1)コンボリューションレイヤに前記第mディファレンシャル特徴マップを伝達するようにし、
前記(II)プロセスで、
前記プロセッサは、前記第mマスクレイヤに対応する第nデコンボリューションレイヤをもって前記第mバンドパス特徴マップと第(n+1)デコンボリューションレイヤから出力された第(n+1)デコード済み特徴マップの要素ごとの和(element−wise sum)に前記デコンボリューション演算を適用することによって、第nデコード済み特徴マップを出力することを特徴とする請求項16に記載の学習装置。 - 前記(III)プロセスで、
前記プロセッサは、前記第kないし前記第1デコンボリューションレイヤのうち少なくとも一つに対応する少なくとも一つのロスレイヤをもって前記第kないし前記第1デコンボリューションレイヤのうち、前記少なくとも一つから出力された少なくとも一つのデコード済み特徴マップ及びこれに該当する少なくとも一つのGTラベルイメージを参考にして、前記ロスを生成するようにすることにより、前記ロスを利用したバックプロパゲーションプロセスを遂行することを特徴とする請求項16に記載の学習装置。 - 前記(I)プロセスで、
前記プロセッサは、前記第1ないし前記第kコンボリューションレイヤをもって前記トレーニングイメージ及び前記第1ないし前記第(k−1)エンコード済み特徴マップのサイズを順次に減少させ、前記トレーニングイメージ及び前記第1ないし前記第(k−1)エンコード済み特徴マップのチャンネル数を増加させて前記第1ないし前記第kエンコード済み特徴マップをそれぞれ出力するようにし、前記第1ないし前記第hマスクレイヤをもって前記h個のエンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第1ないし前記第kエンコード済み特徴マップのうちで前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個のエンコード済み特徴マップから前記エッジ部分を抽出して前記第1ないし前記第hバンドパス特徴マップを出力するようにし、
前記(II)プロセスで、
前記プロセッサは、前記第kないし前記第1デコンボリューションレイヤをもって前記第kエンコード済み特徴マップ及び前記第kないし前記第2デコード済み特徴マップのサイズを順次に増加させ、前記第kエンコード済み特徴マップ及び前記第kないし前記第2デコード済み特徴マップのチャンネル数を順次に減少させて、前記第kないし前記第1デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項16に記載の学習装置。 - (v)それぞれの前記第1ないし前記第hマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第1ないし第h中間レイヤ;が前記学習装置にさらに含まれ、
前記(II)プロセスは、
(II−1)前記プロセッサは、前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤから出力されたそれぞれの前記第1ないし前記第hバンドパス特徴マップを獲得して第1ないし第h中間特徴マップをそれぞれ出力させるプロセス;及び
(II−2)前記プロセッサは、前記k個のデコンボリューションレイヤをもって(i)前記第hないし前記第1中間レイヤに対応する前記h個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記h個のデコード済み特徴マップ及び前記第hないし前記第1中間特徴マップを利用し、(ii)前記第hないし前記第1中間レイヤに対応しないそれぞれの前記(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤから出力された(k−h−1)個のデコード済み特徴マップ及び前記第kエンコード済み特徴マップを利用して、前記第kないし前記第1デコード済み特徴マップを順次に出力させるプロセス;
を含むことを特徴とする請求項16に記載の学習装置。 - 前記第kコンボリューションレイヤ及び前記第kデコンボリューションレイヤの間でさらなる第(h+1)中間レイヤが前記学習装置にさらに含まれるものの、前記さらなる第(h+1)中間レイヤは、前記第kエンコード済み特徴マップに中間演算を適用して第(h+1)中間特徴マップを出力し、前記第kデコンボリューションレイヤに前記第(h+1)中間特徴マップを伝達することを特徴とする請求項20に記載の学習装置。
- 前記第1ないし前記第h中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記h個の中間レイヤの少なくとも一つのレセプティブフィールド(Receptive field)は、0の値を有するフィルター加重値によって決定されることを特徴とする請求項20に記載の学習装置。
- 前記(I−1)プロセスで、
前記プロセッサは、前記第1ないし前記第hマスクレイヤのうち少なくとも第mマスクレイヤ(前記mは1から前記hまでの整数である)をもって前記第mマスクレイヤに対応する第nコンボリューションレイヤから(前記nは1から前記kまでの整数である)伝達される第nエンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第mバンドパス特徴マップを生成するようにし、
前記(I−2)プロセスで、
前記プロセッサは、前記第mマスクレイヤに対応する第mディファレンシャルレイヤをもって前記第nエンコード済み特徴マップと前記第mバンドパス特徴マップとの間の差を計算して第mディファレンシャル特徴マップを出力し、前記第nコンボリューションレイヤの次の第(n+1)コンボリューションレイヤに前記第mディファレンシャル特徴マップを伝達するようにし、
前記(II−1)プロセスで、
前記プロセッサは、前記第mマスクレイヤに対応する第m中間レイヤをもって前記第mバンドパス特徴マップを参照して第m中間特徴マップを出力し、
前記(II−2)プロセスで、
前記プロセッサは、前記第m中間レイヤに対応する第nデコンボリューションレイヤをもって前記第m中間特徴マップと第(n+1)デコンボリューションレイヤから出力された第(n+1)デコード済み特徴マップの要素ごとの和に前記デコンボリューション演算を適用するようにすることにより、第nデコード済み特徴マップを出力することを特徴とする請求項22に記載の学習装置。 - 少なくとも一つのテストイメージのセグメンテーションに関するテスト装置において、
インストラクションを格納する少なくとも一つのメモリ;及び
学習装置が、(i)少なくとも一つのトレーニングイメージに対応する少なくとも一つの学習用特徴マップについてコンボリューション演算を少なくとも1回遂行して第1ないし第k学習用エンコード済み特徴マップをそれぞれ出力する第1ないし第kコンボリューションレイヤ、(ii)前記第k学習用エンコード済み特徴マップにデコンボリューション演算を少なくとも1回遂行して第kないし第1学習用デコード済み特徴マップをそれぞれ出力する第kないし第1デコンボリューションレイヤ、(iii)前記k個のコンボリューションレイヤのうちh個のコンボリューションレイヤ(前記hは1から(k−1)までの整数である)それぞれに対応して配置される第1ないし第hマスクレイヤ、及び(iv)前記第1ないし前記第hマスクレイヤそれぞれに対応する第1ないし第hディファレンシャルレイヤを含むとするとき、前記トレーニングイメージが入力されると、前記学習装置が、(1)前記第1ないし前記第kコンボリューションレイヤをもって前記第1ないし前記第k学習用エンコード済み特徴マップを出力するものの、(1−1)前記第1ないし前記第hマスクレイヤをもって、前記第1ないし前記第k学習用エンコード済み特徴マップのうち、前記第1ないし前記第hマスクレイヤにそれぞれ入力されるh個の学習用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上の学習用領域を獲得することにより、前記h個の学習用エンコード済み特徴マップから一つ以上の学習用エッジ部分を抽出するようにして、第1ないし第h学習用バンドパス特徴マップを出力させるプロセス、(1−2)前記第1ないし第hディファレンシャルレイヤをもって、前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個の学習用エンコード済み特徴マップそれぞれと前記第1ないし前記第h学習用バンドパス特徴マップそれぞれとの差を求めることにより、第1ないし第h学習用ディファレンシャル特徴マップを獲得して、前記第1ないし前記第h学習用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセスを遂行し、(2)前記第kないし前記第1デコンボリューションレイヤをもって(2−1)前記第hないし前記第1学習用バンドパス特徴マップ及び前記第hないし前記第1マスクレイヤに対応するh個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたh個の学習用デコード済み特徴マップを利用し、(2−2)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力された学習用特徴マップを利用して、前記第kないし前記第1学習用デコード済み特徴マップを順次に出力するようにし、(3)前記第1学習用デコード済み特徴マップ及びこれに対応する少なくとも一つのGTラベルイメージを参考にして出力された一つ以上のロスを利用したバックプロパゲーションを遂行して、前記第1ないし前記第kデコンボリューションレイヤ及び前記第kないし前記第1コンボリューションレイヤのうち少なくとも一部の一つ以上のパラメータを調節した状態で、(I)前記第1ないし前記第kコンボリューションレイヤをもって第1ないし第kテスト用エンコード済み特徴マップを出力するものの、(I−1)前記第1ないし前記第hマスクレイヤをもって、前記第1ないし前記第kテスト用エンコード済み特徴マップのうち、前記第1ないし前記第hマスクレイヤにそれぞれ入力されるh個のテスト用エンコード済み特徴マップで周波数が対応閾値より高い一つ以上のテスト用領域を獲得することにより、前記h個のテスト用エンコード済み特徴マップから一つ以上のテスト用エッジ部分を抽出するようにして、第1ないし第hテスト用バンドパス特徴マップを出力させるプロセス、及び(I−2)前記第1ないし第hディファレンシャルレイヤをもって、前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個のテスト用エンコード済み特徴マップそれぞれと前記第1ないし前記第hテスト用バンドパス特徴マップそれぞれとの差を求めることにより、第1ないし第hテスト用ディファレンシャル特徴マップを獲得して、前記第1ないし前記第hテスト用ディファレンシャル特徴マップそれぞれをこれに対応する次のコンボリューションレイヤに伝達させるプロセス;及び(II)前記第kないし前記第1デコンボリューションレイヤをもって(i)前記第hないし前記第1テスト用バンドパス特徴マップ及び前記第hないし前記第1マスクレイヤに対応するh個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ生成されたh個のテスト用デコード済み特徴マップを利用し、(ii)前記第hないし前記第1マスクレイヤに対応しない(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤからそれぞれ出力されたテスト用特徴マップを利用して、前記第kないし前記第1テスト用デコード済み特徴マップを順次に出力させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とするテスト装置。 - 前記(I−1)プロセスで、
前記プロセッサは、前記第1ないし前記第hマスクレイヤのうちで少なくとも第mマスクレイヤをもって(前記mは1から前記hまでの整数である)前記第mマスクレイヤに対応する第nコンボリューションレイヤから(前記nは1から前記kまでの整数である)伝達された第nテスト用エンコード済み特徴マップから周波数が対応閾値より大きい領域を抽出させることにより、第mテスト用バンドパス特徴マップを生成し、
前記(I−2)プロセスで、
前記プロセッサは、前記第mマスクレイヤに対応する第mディファレンシャルレイヤをもって前記第nテスト用エンコード済み特徴マップと前記第mテスト用バンドパス特徴マップとの間の差を計算して第mテスト用ディファレンシャル特徴マップを出力するようにし、前記第nコンボリューションレイヤの次の第(n+1)コンボリューションレイヤに前記第mテスト用ディファレンシャル特徴マップを伝達するようにし、
前記(II)プロセスで、
前記プロセッサは、前記第mマスクレイヤに対応する第nデコンボリューションレイヤをもって前記第mテスト用バンドパス特徴マップと第(n+1)デコンボリューションレイヤから出力された第(n+1)テスト用デコード済み特徴マップのテスト用要素ごとの和(element−wise sum)に前記デコンボリューション演算を適用することによって、第nテスト用デコード済み特徴マップを出力することを特徴とする請求項24に記載のテスト装置。 - 前記(I)プロセスで、
前記プロセッサは、前記第1ないし前記第kコンボリューションレイヤをもって前記テストイメージ及び前記第1ないし前記第(k−1)テスト用エンコード済み特徴マップのサイズを順次に減少させ、前記テストイメージ及び前記第1ないし前記第(k−1)テスト用エンコード済み特徴マップのチャンネル数を増加させて前記第1ないし前記第kテスト用エンコード済み特徴マップをそれぞれ出力するようにし、前記第1ないし前記第hマスクレイヤをもって前記h個のテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい前記領域を抽出することにより、前記第1ないし前記第kテスト用エンコード済み特徴マップのうちで前記第1ないし前記第hマスクレイヤにそれぞれ入力される前記h個のテスト用エンコード済み特徴マップから前記テスト用エッジ部分を抽出して前記第1ないし前記第hテスト用バンドパス特徴マップを出力するようにし、
前記(II)プロセスで、
前記プロセッサは、前記第kないし前記第1デコンボリューションレイヤをもって前記第kテスト用エンコード済み特徴マップ及び前記第kないし前記第2テスト用デコード済み特徴マップのサイズを順次に増加させ、前記第kテスト用エンコード済み特徴マップ及び前記第kないし前記第2テスト用デコード済み特徴マップのチャンネル数を順次に減少させて、前記第kないし前記第1テスト用デコード済み特徴マップをそれぞれ出力させることを特徴とする請求項24に記載のテスト装置。 - (v)それぞれの前記第1ないし前記第hマスクレイヤとそれに対応するデコンボリューションレイヤとの間にそれぞれ位置した第1ないし第h中間レイヤが前記テスト装置にさらに含まれ;
前記(II)プロセスは、
(II−1)前記プロセッサは、前記第1ないし前記第h中間レイヤをもって前記第1ないし前記第hマスクレイヤから出力されたそれぞれの前記第1ないし前記第hテスト用バンドパス特徴マップを獲得して第1ないし第hテスト用中間特徴マップをそれぞれ出力させるプロセス;及び
(II−2)前記プロセッサは、前記k個のデコンボリューションレイヤをもって(i)前記第hないし前記第1中間レイヤに対応する前記h個のデコンボリューションレイヤそれぞれの以前デコンボリューションレイヤからそれぞれ出力された前記h個のテスト用デコード済み特徴マップ及び前記第hないし前記第1テスト用中間特徴マップを利用し、(ii)前記第hないし前記第1中間レイヤに対応しないそれぞれの前記(k−h)個のデコンボリューションレイヤそれぞれの以前レイヤから出力された(k−h−1)個のテスト用デコード済み特徴マップ及び前記第kテスト用エンコード済み特徴マップを利用して、前記第kないし前記第1テスト用デコード済み特徴マップを順次に出力させるプロセス;
を含むことを特徴とする請求項24に記載のテスト装置。 - 前記第kコンボリューションレイヤ及び前記第kデコンボリューションレイヤの間でさらなる第(h+1)中間レイヤが前記テスト装置にさらに含まれるものの、前記さらなる第(h+1)中間レイヤは、前記第kテスト用エンコード済み特徴マップに中間演算を適用して第(h+1)テスト用中間特徴マップを出力し、前記第kデコンボリューションレイヤに前記第(h+1)テスト用中間特徴マップを伝達することを特徴とする請求項27に記載のテスト装置。
- 前記第1ないし前記第h中間レイヤのうち少なくとも一つは一つ以上の膨張コンボリューション演算を遂行し、前記h個の中間レイヤの少なくとも一つのレセプティブフィールドは、0の値を有するフィルター加重値によって決定されることを特徴とする請求項27に記載のテスト装置。
- 前記(I−1)プロセスで、
前記プロセッサは、前記第1ないし前記第hマスクレイヤのうち少なくとも第mマスクレイヤ(前記mは1から前記hまでの整数である)をもって前記第mマスクレイヤに対応する第nコンボリューションレイヤから(前記nは1から前記kまでの整数である)伝達される第nテスト用エンコード済み特徴マップから前記周波数が対応閾値より大きい領域を抽出することにより、第mテスト用バンドパス特徴マップを生成するようにし、
前記(I−2)プロセスで、
前記プロセッサは、前記第mマスクレイヤに対応する第mディファレンシャルレイヤをもって前記第nテスト用エンコード済み特徴マップと前記第mテスト用バンドパス特徴マップとの間の差を計算して第mテスト用ディファレンシャル特徴マップを出力し、前記第nコンボリューションレイヤの次の第(n+1)コンボリューションレイヤに前記第mテスト用ディファレンシャル特徴マップを伝達するようにし、
前記(II−1)プロセスで、
前記プロセッサは、前記第mマスクレイヤに対応する第m中間レイヤをもって前記第mテスト用バンドパス特徴マップを参照して第mテスト用中間特徴マップを出力し、
前記(II−2)プロセスで、
前記プロセッサは、前記第m中間レイヤに対応する第nデコンボリューションレイヤをもって前記第mテスト用中間特徴マップと第(n+1)デコンボリューションレイヤから出力された第(n+1)テスト用デコード済み特徴マップのテスト用要素ごとの和(element−wise sum)に前記デコンボリューション演算を適用するようにすることにより、第nテスト用デコード済み特徴マップを出力することを特徴とする請求項29に記載のテスト装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/257,713 | 2019-01-25 | ||
US16/257,713 US10402977B1 (en) | 2019-01-25 | 2019-01-25 | Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119500A true JP2020119500A (ja) | 2020-08-06 |
JP6865363B2 JP6865363B2 (ja) | 2021-04-28 |
Family
ID=67770114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019202411A Active JP6865363B2 (ja) | 2019-01-25 | 2019-11-07 | ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル4及びレベル5を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10402977B1 (ja) |
EP (1) | EP3686774B1 (ja) |
JP (1) | JP6865363B2 (ja) |
KR (1) | KR102246326B1 (ja) |
CN (1) | CN111488782B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10503998B2 (en) * | 2016-11-07 | 2019-12-10 | Gracenote, Inc. | Recurrent deep neural network system for detecting overlays in images |
KR20210061839A (ko) * | 2019-11-20 | 2021-05-28 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN111178181B (zh) * | 2019-12-16 | 2023-06-09 | 深圳市华尊科技股份有限公司 | 交通场景分割方法及相关装置 |
CN111160230B (zh) * | 2019-12-27 | 2023-06-06 | 清华大学苏州汽车研究院(吴江) | 一种基于深度学习的道路不规则区域检测网络 |
CN111179283A (zh) * | 2019-12-30 | 2020-05-19 | 深圳市商汤科技有限公司 | 图像语义分割方法及装置、存储介质 |
KR20210111557A (ko) * | 2020-03-03 | 2021-09-13 | 현대자동차주식회사 | 심층 학습 기반의 객체 분류 장치 및 그 방법 |
KR20220148245A (ko) | 2020-03-04 | 2022-11-04 | 구글 엘엘씨 | 스트리밍 시퀀스 모델에 대한 일관성 예측 |
CN113822041B (zh) * | 2020-06-18 | 2023-04-18 | 四川大学 | 一种适用密集文本的深度神经网络自然场景文本检测方法 |
CN112115920A (zh) * | 2020-09-30 | 2020-12-22 | 北京百度网讯科技有限公司 | 生成单目标检测神经网络的方法和装置 |
CN112287807B (zh) * | 2020-10-27 | 2022-06-07 | 武汉大学 | 一种基于多分支金字塔神经网络的遥感影像道路提取方法 |
CN114463187B (zh) * | 2022-04-14 | 2022-06-17 | 合肥高维数据技术有限公司 | 基于聚合边缘特征的图像语义分割方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180292784A1 (en) * | 2017-04-07 | 2018-10-11 | Thanh Nguyen | APPARATUS, OPTICAL SYSTEM, AND METHOD FOR DIGITAL Holographic microscopy |
JP2018181124A (ja) * | 2017-04-18 | 2018-11-15 | Kddi株式会社 | エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8401336B2 (en) * | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
JP5506274B2 (ja) * | 2009-07-31 | 2014-05-28 | 富士フイルム株式会社 | 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム |
CN104700099B (zh) * | 2015-03-31 | 2017-08-11 | 百度在线网络技术(北京)有限公司 | 识别交通标志的方法和装置 |
WO2016197303A1 (en) * | 2015-06-08 | 2016-12-15 | Microsoft Technology Licensing, Llc. | Image semantic segmentation |
CN104933722B (zh) * | 2015-06-29 | 2017-07-11 | 电子科技大学 | 一种基于Spiking‑卷积神经网络模型的图像边缘检测方法 |
JP6993334B2 (ja) * | 2015-11-29 | 2022-01-13 | アーテリーズ インコーポレイテッド | 自動化された心臓ボリュームセグメンテーション |
US20170206434A1 (en) * | 2016-01-14 | 2017-07-20 | Ford Global Technologies, Llc | Low- and high-fidelity classifiers applied to road-scene images |
US11144889B2 (en) * | 2016-04-06 | 2021-10-12 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
EP3252671A1 (en) * | 2016-05-31 | 2017-12-06 | Siemens Healthcare GmbH | Method of training a deep neural network |
WO2018033156A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和电子设备 |
US10424064B2 (en) * | 2016-10-18 | 2019-09-24 | Adobe Inc. | Instance-level semantic segmentation system |
US10582907B2 (en) * | 2016-10-31 | 2020-03-10 | Siemens Healthcare Gmbh | Deep learning based bone removal in computed tomography angiography |
US10157441B2 (en) * | 2016-12-27 | 2018-12-18 | Automotive Research & Testing Center | Hierarchical system for detecting object with parallel architecture and hierarchical method thereof |
WO2018138603A1 (en) * | 2017-01-26 | 2018-08-02 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device including the semiconductor device |
JP7293118B2 (ja) | 2017-02-22 | 2023-06-19 | ザ ユナイテッド ステイツ オブ アメリカ, アズ リプレゼンテッド バイ ザ セクレタリー, デパートメント オブ ヘルス アンド ヒューマン サービシーズ | インスタンス重み付けを伴うランダムフォレストを使用するマルチパラメトリックmriにおける前立腺がんの検出、およびホリスティックネスト型ネットワークを用いたディープラーニングによるmr前立腺セグメント化 |
CN108229455B (zh) * | 2017-02-23 | 2020-10-16 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
US10133964B2 (en) * | 2017-03-28 | 2018-11-20 | Siemens Healthcare Gmbh | Magnetic resonance image reconstruction system and method |
US10325166B2 (en) * | 2017-04-13 | 2019-06-18 | Here Global B.V. | Method, apparatus, and system for a parametric representation of signs |
US11164071B2 (en) * | 2017-04-18 | 2021-11-02 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing computational complexity of convolutional neural networks |
US10824938B2 (en) * | 2017-04-24 | 2020-11-03 | Intel Corporation | Specialized fixed function hardware for efficient convolution |
US10733755B2 (en) * | 2017-07-18 | 2020-08-04 | Qualcomm Incorporated | Learning geometric differentials for matching 3D models to objects in a 2D image |
US10402995B2 (en) * | 2017-07-27 | 2019-09-03 | Here Global B.V. | Method, apparatus, and system for real-time object detection using a cursor recurrent neural network |
CN108022238B (zh) * | 2017-08-09 | 2020-07-03 | 深圳科亚医疗科技有限公司 | 对3d图像中对象进行检测的方法、计算机存储介质和系统 |
US10753997B2 (en) * | 2017-08-10 | 2020-08-25 | Siemens Healthcare Gmbh | Image standardization using generative adversarial networks |
US10282589B2 (en) * | 2017-08-29 | 2019-05-07 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
US11227108B2 (en) * | 2017-09-11 | 2022-01-18 | Nec Corporation | Convolutional neural network architecture with adaptive filters |
CN110838124B (zh) * | 2017-09-12 | 2021-06-18 | 深圳科亚医疗科技有限公司 | 用于分割具有稀疏分布的对象的图像的方法、系统和介质 |
US10223610B1 (en) * | 2017-10-15 | 2019-03-05 | International Business Machines Corporation | System and method for detection and classification of findings in images |
CN108564109B (zh) * | 2018-03-21 | 2021-08-10 | 天津大学 | 一种基于深度学习的遥感图像目标检测方法 |
CN108520212A (zh) * | 2018-03-27 | 2018-09-11 | 东华大学 | 基于改进的卷积神经网络的交通标志检测方法 |
US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
-
2019
- 2019-01-25 US US16/257,713 patent/US10402977B1/en active Active
- 2019-09-27 KR KR1020190119499A patent/KR102246326B1/ko active IP Right Grant
- 2019-10-18 CN CN201910991241.XA patent/CN111488782B/zh active Active
- 2019-10-30 EP EP19206180.2A patent/EP3686774B1/en active Active
- 2019-11-07 JP JP2019202411A patent/JP6865363B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180292784A1 (en) * | 2017-04-07 | 2018-10-11 | Thanh Nguyen | APPARATUS, OPTICAL SYSTEM, AND METHOD FOR DIGITAL Holographic microscopy |
JP2018181124A (ja) * | 2017-04-18 | 2018-11-15 | Kddi株式会社 | エンコーダデコーダ畳み込みニューラルネットワークにおける解像感を改善するプログラム |
Non-Patent Citations (3)
Title |
---|
GUOSHENG LIN, 外3名: ""RefineNet: Multi-path Refinement Networks for High-Resolution Semantic Segmentation"", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), JPN6021000602, 21 July 2017 (2017-07-21), US, pages 5168 - 5177, ISSN: 0004425452 * |
KAZUHIRO HATANO, 外5名: ""Detection of Phalange Region Based on U-Net"", 2018 18TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS (ICCAS), JPN6021000601, 17 October 2018 (2018-10-17), US, pages 1338 - 1342, XP033470892, ISSN: 0004425451 * |
大石涼火, 外2名: ""セマンティックセグメンテーションにおけるハイパーパラメータの自動選択と室内画像からの床領域抽出への", 研究報告コンピュータビジョンとイメージメディア(CVIM), vol. 第2018−CVIM−214巻, 第4号, JPN6021000600, 31 October 2018 (2018-10-31), JP, pages 1 - 8, ISSN: 0004425450 * |
Also Published As
Publication number | Publication date |
---|---|
CN111488782B (zh) | 2023-04-07 |
US10402977B1 (en) | 2019-09-03 |
EP3686774B1 (en) | 2023-08-30 |
EP3686774C0 (en) | 2023-08-30 |
KR20200092839A (ko) | 2020-08-04 |
EP3686774A1 (en) | 2020-07-29 |
CN111488782A (zh) | 2020-08-04 |
JP6865363B2 (ja) | 2021-04-28 |
KR102246326B1 (ko) | 2021-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020119500A (ja) | ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル4及びレベル5を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置 | |
KR102241595B1 (ko) | 에지 로스를 이용하여 보행자 이벤트, 자동차 이벤트, 폴링 이벤트, 폴른 이벤트를 포함한 이벤트를 검출하는데 있어 이용되는 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
EP3686779B1 (en) | Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same | |
KR20200027428A (ko) | 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
KR102319541B1 (ko) | 객체의 종횡비나 스케일에 따라 모드를 전환할 수 있는 r-cnn 기반의 감시에 사용되는 객체 검출기의 학습 방법 및 테스트 방법, 이를 이용한 학습 장치 및 테스트 장치 | |
KR102279376B1 (ko) | CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
JP6869565B2 (ja) | 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置{method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same} | |
KR20200047307A (ko) | 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
US10579907B1 (en) | Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same | |
KR102313113B1 (ko) | R-cnn 기반 객체 검출기의 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치 | |
KR102279388B1 (ko) | 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
JP6957050B2 (ja) | モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なroiをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置{learning method and learning device for pooling roi by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same} | |
US10496899B1 (en) | Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same | |
CN110910395A (zh) | 图像编码方法和装置、利用它们的测试方法和测试装置 | |
US10872297B2 (en) | Learning method and learning device for generating training data from virtual data on virtual world by using generative adversarial network, to thereby reduce annotation cost required in training processes of neural network for autonomous driving, and a testing method and a testing device using the same | |
JP2020038664A (ja) | コンボリューションニューラルネットワークから複数の出力のアンサンブルを利用して統合された特徴マップを提供するための方法及び装置{method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network} | |
KR102313604B1 (ko) | 멀티 피딩을 적용한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
EP3686800A1 (en) | Learning method and learning device for object detector based on cnn using 1xh convolution to be used for hardware optimization, and testing method and testing device using the same | |
KR102320995B1 (ko) | 객체의 스케일에 따라 모드 전환이 가능한 cnn 기반의 감시용 객체 검출기의 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치 | |
KR102252155B1 (ko) | 자율주행 자동차의 레벨 4를 충족시키기 위해 필요한 hd 지도와의 콜라보레이션을 지원하는 임베딩 로스 및 소프트맥스 로스를 이용하여 적어도 하나의 차선을 가지는 이미지를 세그멘테이션하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
KR20200092847A (ko) | 핵심 성능 지수를 만족시킬 수 있는 하드웨어 최적화가 이루어지도록, cnn에서 복수의 블록 내의 입력 이미지로부터 특징을 추출하는 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치 | |
KR102224778B1 (ko) | 횡 필터 마스크를 이용하여 자율 주행 차량의 주행 경로를 계획하기 위해 차선 요소를 검출하는 방법 및 장치 | |
KR20220134428A (ko) | 서로 다른 스펙을 가지는 영상 장치들로부터 획득된 이미지들을 이용하여 퍼셉션 네트워크를 학습 및 테스트하는 방법 및 이를 이용한 학습 및 테스트 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6865363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |