JP2020038667A - 自律走行状況での障害物検出のためのcnn学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置 - Google Patents
自律走行状況での障害物検出のためのcnn学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置 Download PDFInfo
- Publication number
- JP2020038667A JP2020038667A JP2019160649A JP2019160649A JP2020038667A JP 2020038667 A JP2020038667 A JP 2020038667A JP 2019160649 A JP2019160649 A JP 2019160649A JP 2019160649 A JP2019160649 A JP 2019160649A JP 2020038667 A JP2020038667 A JP 2020038667A
- Authority
- JP
- Japan
- Prior art keywords
- image
- test
- composite
- learning
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 219
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000010998 test method Methods 0.000 title claims abstract description 5
- 238000001514 detection method Methods 0.000 title description 5
- 239000002131 composite material Substances 0.000 claims abstract description 204
- 230000008569 process Effects 0.000 claims description 45
- 238000004891 communication Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000001902 propagating effect Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 107
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241000270722 Crocodylidae Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- LNNWVNGFPYWNQE-GMIGKAJZSA-N desomorphine Chemical compound C1C2=CC=C(O)C3=C2[C@]24CCN(C)[C@H]1[C@@H]2CCC[C@@H]4O3 LNNWVNGFPYWNQE-GMIGKAJZSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Automation & Control Theory (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Biodiversity & Conservation Biology (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
Claims (30)
- 自律走行状況で、少なくとも一つの障害物検出のためのCNN学習用イメージデータセットを生成する方法において、
(a)学習装置が、(i)道路走行状況を示す原本イメージ及び(ii)前記原本イメージに対応する原本ラベル(label)及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する段階:及び
(b)前記学習装置が、第1CNNモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージである段階;
を含むことを特徴とする方法。 - (c)前記学習装置は、第2CNNモジュールをもって前記合成イメージを獲得するようにして、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第1出力値を算出するようにし、前記第2CNNモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第2出力値を算出するようにする段階;及び
(d)前記学習装置は、前記第2CNNモジュールをもって前記第1出力値を第1原本正解値と比較して第1ロスを算出して、前記第2出力値を第2原本正解値と比較して第2ロスを算出し、前記第1及び第2ロス値各々を前記第2CNNモジュールと前記第1CNNモジュールを経てバックプロパゲーションすることで、前記第2CNNモジュールと前記第1CNNモジュールを学習する段階;
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記(d)段階で、
前記学習装置は、前記第2CNNモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第1CNNモジュールを学習するようにし、前記第2CNNモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする請求項2に記載の方法。 - 前記(a)段階で、
前記学習装置が、(iii)少なくとも一つのランダムシード値を追加的に獲得して、
前記(b)段階で、
前記学習装置が、前記第1CNNモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項1に記載の方法。 - 前記第1CNNモジュールは、
前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、
前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び
前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項4に記載の方法。 - 前記(a)段階で、
前記学習装置が、前記原本イメージ及び前記合成ラベルを獲得する際、(i)前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第1バウンディングボックスに対する情報及び(ii)前記合成ラベルに含まれる前記特定の物体に対応する第2バウンディンボックスに対する情報を追加的に獲得し、
前記(b)段階で、
前記学習装置が、前記第1バウンディンボックスに対する情報及び前記第2バウンディンボックスに対する情報を利用して前記合成イメージ上に第3バウンディンボックスを追加的に生成するものの、
前記第3バウンディンボックスは、(i)前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び(ii)前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項1に記載の方法。 - 前記第2バウンディンボックスは、最小軸平行長方形(Minimum Axis−parallel Rectangle)方式を利用して生成されることを特徴とする請求子う6に記載の方法。
- 前記(a)段階で、複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項1に記載の方法。
- (e)前記学習装置は、前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加する段階;
をさらに含むことを特徴とする請求項1に記載の方法。 - 自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト方法において、
(a)(I)学習装置が、(i)道路走行状況を示す学習用原本イメージ及び(ii)前記学習用原本イメージに対応される学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、(II)前記学習装置が、第1CNNモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、(III)前記学習装置は、第2CNNモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第1出力値を算出するようにし、前記第2CNNモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第2出力値を算出するようにするプロセス、及び(IV)前記学習装置は、前記第2CNNモジュールをもって前記第1出力値を第1原本正解値と比較して第1ロスを算出して、前記第2出力値を第2原本正解値と比較して第2ロスを算出し、前記第1及び第2ロス値各々を前記第2CNNモジュールと前記第1CNNモジュールを経てバックプロパゲーションすることで、前記第2CNNモジュールと前記第1CNNモジュールを学習するプロセスを遂行した状態で、テスト装置が、(i)道路走行状況を示すテスト用原本イメージ及び(ii)前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを利用して生成されたテスト用合成ラベルを獲得する段階;及び
(b)前記テスト装置が、前記第1CNNモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージである段階;
を含むことを特徴とする方法。 - 前記(a)段階で、
前記テスト装置が、(iii)少なくとも一つのテスト用ランダムシード値を追加的に獲得して、
前記(b)段階で、
前記テスト装置が、前記第1CNNモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項10に記載の方法。 - 前記第1CNNモジュールは、
前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、
前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び
前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項11に記載の方法。 - 前記(a)段階で、
前記テスト装置が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、(i)前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第1テスト用バウンディングボックスに対する情報及び(ii)前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第2テスト用バウンディンボックスに対する情報を追加的に獲得し、
前記(b)段階で、
前記テスト装置が、前記第1テスト用バウンディンボックスに対する情報及び前記第2テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第3テスト用バウンディンボックスを追加的に生成するものの、
前記第3テスト用バウンディンボックスは、(i)前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び(ii)前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項10に記載の方法。 - 前記第2テスト用バウンディンボックスは、最小軸平行長方形(Minimum Axis−parallel Rectangle)方式を利用して生成されることを特徴とする請求項13に記載の方法。
- 前記(a)段階で、複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項10に記載の方法。
- 自律走行状況で、少なくとも一つの障害物検出のためのCNN学習用データセットを生成する学習装置において、
(i)道路走行状況を示す原本イメージ、及び(ii)前記原本イメージに対応される原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する通信部;及び
(I)第1CNNモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ;
を含む学習装置。 - 前記プロセッサは、
(II)前記第2CNNモジュールをもって前記合成イメージを獲得するようにし、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第1出力値を算出するようにし、前記第2CNNモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第2出力値を算出するようにするプロセスを及び(III)前記第2CNNモジュールをもって前記第1出力値を第1原本正解値と比較して第1ロスを算出して、前記第2出力値を第2原本正解値と比較して第2ロスを算出し、前記第1及び第2ロス値各々を前記第2CNNモジュールと前記第1CNNモジュールを経てバックプロパゲーションすることで、前記第2CNNモジュールと前記第1CNNモジュールを学習するプロセスをさらに遂行することを特徴とする請求項16に記載の学習装置。 - 前記(III)プロセスで、
前記プロセッサは、前記第2CNNモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第1CNNモジュールを学習するようにし、前記第2CNNモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする請求項17に記載の学習装置。 - 前記通信部が、(iii)少なくとも一つのランダムシード値を追加的に獲得して、
前記(I)プロセスで、前記プロセッサが、前記第1CNNモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項16に記載の学習装置。 - 前記第1CNNモジュールは、
前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、
前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び
前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項19に記載の学習装置。 - 前記通信部が、前記原本イメージ及び前記合成ラベルを獲得する際、(i)前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第1バウンディングボックスに対する情報及び(ii)前記合成ラベルに含まれる前記特定の物体に対応する第2バウンディンボックスに対する情報を追加的に獲得し、
前記(I)プロセスで、
前記プロセッサが、前記第1バウンディンボックスに対する情報及び前記第2バウンディンボックスに対する情報を利用して前記合成イメージ上に第3バウンディンボックスを追加的に生成するものの、
前記第3バウンディンボックスは、(i)前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び(ii)前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項16に記載の学習装置。 - 前記第2バウンディンボックスは、最小軸平行長方形(Minimum Axis−parallel Rectangle)方式を利用して生成されることを特徴とする請求項21に記載の学習装置。
- 複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項16に記載の学習装置。
- 前記プロセッサは、(IV)前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加するプロセスを遂行することを特徴とする請求項16に記載の学習装置。
- 自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト装置において、
(1)学習装置が、(i)道路走行状況を示す学習用原本イメージ及び(ii)前記学習用原本イメージに対応する学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、(2)前記学習装置が、第1CNNモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、(3)前記学習装置は、第2CNNモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第1出力値を算出するようにし、前記第2CNNモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第2出力値を算出するようにするプロセス、及び(4)前記学習装置は、前記第2CNNモジュールをもって前記第1出力値を第1原本正解値と比較して第1ロスを算出して、前記第2出力値を第2原本正解値と比較して第2ロスを算出し、前記第1及び第2ロス値各々を前記第2CNNモジュールと前記第1CNNモジュールを経てバックプロパゲーションすることで、前記第2CNNモジュールと前記第1CNNモジュールを学習するプロセスを遂行した状態で、(i)道路走行状況を示すテスト用原本イメージ、及び(ii)前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを使用して生成されたテスト用合成ラベルを獲得する通信部;及び
(I)前記第1CNNモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ;
を含むテスト装置。 - 前記通信部が、(iii)少なくとも一つのテスト用ランダムシード値を追加的に獲得し、
前記(I)プロセスで、
前記プロセスが、前記第1CNNモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項25に記載のテスト装置。 - 前記第1CNNモジュールは、
前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、
前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び
前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項26に記載のテスト装置。 - 前記通信部が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、(i)前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第1テスト用バウンディングボックスに対する情報及び(ii)前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第2テスト用バウンディンボックスに対する情報を追加的に獲得し、
前記(I)プロセスで、
前記プロセッサは、前記第1テスト用バウンディンボックスに対する情報及び前記第2テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第3テスト用バウンディンボックスを追加的に生成するものの、
前記第3テスト用バウンディンボックスは、(i)前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び(ii)前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項25に記載のテスト装置。 - 前記第2テスト用バウンディンボックスは、最小軸平行長方形(Minimum Axis−parallel Rectangle)方式を利用して生成されることを特徴とする請求項28に記載のテスト装置。
- 複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項25に記載のテスト装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/121,635 US10311335B1 (en) | 2018-09-05 | 2018-09-05 | Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same |
US16/121,635 | 2018-09-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020038667A true JP2020038667A (ja) | 2020-03-12 |
JP6855082B2 JP6855082B2 (ja) | 2021-04-07 |
Family
ID=66286231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019160649A Active JP6855082B2 (ja) | 2018-09-05 | 2019-09-03 | 自律走行状況での障害物検出のためのcnn学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10311335B1 (ja) |
EP (1) | EP3620955A1 (ja) |
JP (1) | JP6855082B2 (ja) |
KR (1) | KR102279350B1 (ja) |
CN (1) | CN110879959B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021149160A (ja) * | 2020-03-16 | 2021-09-27 | 日本製鉄株式会社 | 深層学習装置、画像生成装置及び深層学習方法 |
JP2022055302A (ja) * | 2020-09-28 | 2022-04-07 | ペキン シャオミ パインコーン エレクトロニクス カンパニー, リミテッド | 遮蔽された画像の検出方法、装置、及び媒体 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6585995B2 (ja) * | 2015-11-06 | 2019-10-02 | クラリオン株式会社 | 画像処理システム |
CN108830277B (zh) * | 2018-04-20 | 2020-04-21 | 平安科技(深圳)有限公司 | 语义分割模型的训练方法、装置、计算机设备和存储介质 |
KR102190527B1 (ko) * | 2019-02-28 | 2020-12-14 | 현대모비스 주식회사 | 자동 영상 합성 장치 및 방법 |
WO2020261362A1 (ja) * | 2019-06-25 | 2020-12-30 | 日本電気株式会社 | 学習装置、物体検出装置、学習方法、及び、記録媒体 |
US11182652B2 (en) * | 2019-08-16 | 2021-11-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and system for inferring perception based on augmented feature maps of a perception network |
WO2021201774A1 (en) * | 2020-03-31 | 2021-10-07 | Agency For Science, Technology And Research | Method and system for determining a trajectory of a target object |
WO2022085859A1 (ko) | 2020-10-21 | 2022-04-28 | 주식회사 팀솔루션 | 기계 학습용 이미지 데이터 생성 방법 및 그 장치 |
KR102256409B1 (ko) * | 2020-11-23 | 2021-05-25 | 주식회사 에이모 | 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치 |
KR102583586B1 (ko) * | 2020-11-30 | 2023-10-05 | 성균관대학교산학협력단 | Multi-class 데이터 잠재공간 분리를 위한 오토인코더 모델 |
FR3119697A1 (fr) * | 2021-02-05 | 2022-08-12 | Psa Automobiles Sa | Procédé de génération d’une base de données d’images pour l’entrainement d’un réseau de neurones artificiels destiné à être implémenté à bord d’un véhicule automobile |
TWI795752B (zh) * | 2021-03-30 | 2023-03-11 | 歐特明電子股份有限公司 | 行車智能系統學習的開發裝置及其開發方法 |
US12050660B2 (en) * | 2021-05-05 | 2024-07-30 | Motional Ad Llc | End-to-end system training using fused images |
KR102354681B1 (ko) * | 2021-11-08 | 2022-01-24 | 주식회사 테스트웍스 | 신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램 |
WO2024136373A1 (en) * | 2022-12-19 | 2024-06-27 | Samsung Electronics Co., Ltd. | Method and electronic device for neuro-symbolic learning of artificial intelligence model |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767565B2 (en) * | 2015-08-26 | 2017-09-19 | Digitalglobe, Inc. | Synthesizing training data for broad area geospatial object detection |
US10049308B1 (en) * | 2017-02-21 | 2018-08-14 | A9.Com, Inc. | Synthesizing training data |
-
2018
- 2018-09-05 US US16/121,635 patent/US10311335B1/en active Active
-
2019
- 2019-04-25 EP EP19171113.4A patent/EP3620955A1/en active Pending
- 2019-08-27 KR KR1020190105466A patent/KR102279350B1/ko active IP Right Grant
- 2019-08-29 CN CN201910810599.8A patent/CN110879959B/zh active Active
- 2019-09-03 JP JP2019160649A patent/JP6855082B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021149160A (ja) * | 2020-03-16 | 2021-09-27 | 日本製鉄株式会社 | 深層学習装置、画像生成装置及び深層学習方法 |
JP7417085B2 (ja) | 2020-03-16 | 2024-01-18 | 日本製鉄株式会社 | 深層学習装置、画像生成装置及び深層学習方法 |
JP2022055302A (ja) * | 2020-09-28 | 2022-04-07 | ペキン シャオミ パインコーン エレクトロニクス カンパニー, リミテッド | 遮蔽された画像の検出方法、装置、及び媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN110879959B (zh) | 2023-09-01 |
KR102279350B1 (ko) | 2021-07-21 |
CN110879959A (zh) | 2020-03-13 |
EP3620955A1 (en) | 2020-03-11 |
KR20200027885A (ko) | 2020-03-13 |
JP6855082B2 (ja) | 2021-04-07 |
US10311335B1 (en) | 2019-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020038667A (ja) | 自律走行状況での障害物検出のためのcnn学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置 | |
US10373026B1 (en) | Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments | |
US10325201B1 (en) | Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately | |
JP2020038668A (ja) | 自律走行状況で、障害物検出のためのcnn学習用イメージデータセットの生成方法及びコンピューティング装置 | |
US10373023B1 (en) | Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation | |
US10395392B1 (en) | Learning method and learning device for strategic transforming RGB training image sets into non-RGB training image sets, to be used for learning object detection on objects of images in non-RGB format, by using cycle GAN, resulting in significantly reducing computational load and reusing data | |
KR102337358B1 (ko) | 모바일 장치 또는 소형 네트워크에 적용 가능한 하드웨어를 최적화하는데 사용될 수 있는 roi를 풀링하기 위하여, 마스킹 파라미터를 이용하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
US10311336B1 (en) | Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles | |
KR102372703B1 (ko) | V2v 통신을 통해 획득된 타 자율 주행 차량의 공간 탐지 결과를 자신의 자율 주행 차량의 공간 탐지 결과와 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
KR102372687B1 (ko) | 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치 | |
JP2020038666A (ja) | 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置 | |
US10872297B2 (en) | Learning method and learning device for generating training data from virtual data on virtual world by using generative adversarial network, to thereby reduce annotation cost required in training processes of neural network for autonomous driving, and a testing method and a testing device using the same | |
JP2020038661A (ja) | 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting lane using lane model and test method, test device using the same} | |
US10325185B1 (en) | Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or IOT devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same | |
US20240020854A1 (en) | Bilateral attention transformer in motion-appearance neighboring space for video object segmentation | |
KR102204565B1 (ko) | 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치 | |
CN114792116B (zh) | 一种时间序列深度卷积网络农作物遥感分类方法 | |
CN116012585A (zh) | 一种基于类别核化动态卷积的实例分割方法 | |
Forte et al. | World-Map Misalignment Detection for Visual Navigation Systems. | |
Kumar et al. | Salient Region Detection in Images Based on U-Net and Deep Learning | |
KR20240038367A (ko) | Uav 환경에서 조난자 탐지 학습을 위한 합성 영상 생성 방법 및 그 장치 | |
WO2024015177A1 (en) | Bilateral attention transformer in motion-appearance neighboring space for video object segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6855082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |