JP2020126640A - 自律走行の安全性を提供するための方法及び装置 - Google Patents
自律走行の安全性を提供するための方法及び装置 Download PDFInfo
- Publication number
- JP2020126640A JP2020126640A JP2020010140A JP2020010140A JP2020126640A JP 2020126640 A JP2020126640 A JP 2020126640A JP 2020010140 A JP2020010140 A JP 2020010140A JP 2020010140 A JP2020010140 A JP 2020010140A JP 2020126640 A JP2020126640 A JP 2020126640A
- Authority
- JP
- Japan
- Prior art keywords
- cnn
- information
- confidence
- predicted
- rpn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 199
- 238000001514 detection method Methods 0.000 claims abstract description 82
- 230000002787 reinforcement Effects 0.000 claims abstract description 44
- 230000006854 communication Effects 0.000 claims abstract description 30
- 238000004891 communication Methods 0.000 claims abstract description 29
- 230000002093 peripheral effect Effects 0.000 claims description 62
- 230000000295 complement effect Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 10
- 230000001629 suppression Effects 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
一方、学習装置は、コンフィデンスレイヤ150をもって、RPNコンフィデンスマップに対応するアンカー特徴マップ内の一つのチャンネルの値を取得させることができ、RPN140コンフィデンスマップを利用してトレーニングイメージのような
の幾何学的サイズを有するリサイズされたRPNコンフィデンスマップを生成させることができる。リサイズされたRPNコンフィデンスマップを生成するために、最近傍サイズ(Nearest Neighbor Size)、バイリニアリサイズ(Bilinear Resize)、バイキュービックリサイズ(Bicubic Resize)、及びランチョスリサイズ(Lanczos Resize)などのようなリサイズ演算のうちのどれであっても、トレーニングイメージ内のそれぞれのピクセルがそれぞれのRPNコンフィデンススコアとペアリング(Pairing)をなすように、RPNコンフィデンスマップに対して適用され得る。
Claims (26)
- 物体検出プロセスと並行して生成された、物体検出の信頼度(Credibility)を示すコンフィデンスコア(Confidence Score)を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するための方法において、
(a)コンピューティング装置が、対象車両に設けられた少なくとも一つのイメージセンサを通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ(Circumstance Image)を取得する段階;
(b)前記コンピューティング装置が、CNN(Convolutional Neural Network)をもって、前記状況イメージに対するCNN演算を少なくとも一回適用させて、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させる段階;及び
(c)前記コンピューティング装置が、前記対象車両から距離が閾値以下である周辺物体のうち少なくとも一部とのV2X通信及び強化学習エージェントの支援を通じて、前記初期物体情報及び前記初期コンフィデンス情報を参照して、前記状況イメージに関する最終物体情報を生成する段階;
を含むことを特徴とする方法。 - 前記(c)段階で、
前記コンピューティング装置が、前記強化学習エージェントをもって、(i)前記初期コンフィデンス情報、前記周辺物体の基本メタ情報、及び前記イメージセンサのセンサ情報を参照して、補完演算が適用される前記状況イメージ上の一つ以上の特定の対象領域に対応する一つ以上の特定の周辺物体を、前記周辺物体の中から選択させ、(ii)前記特定の周辺物体との前記V2X通信を介して補完情報を取得させ、(iii)前記補完情報を利用して前記初期物体情報を調整することによって、前記最終物体情報を生成させることを特徴とする請求項1に記載の方法。 - 前記初期コンフィデンス情報、前記基本メタ情報、及び前記センサ情報が前記強化学習エージェントに入力されると、前記強化学習エージェントは、(i)それ自体のパラメータを利用して前記一つ以上の特定の周辺物体を選択し、(ii)前記補完情報を参照して少なくとも一つのリワード(reward)を生成し、(iii)前記リワードを参照して前記パラメータの少なくとも一部を学習することを特徴とする請求項2に記載の方法。
- 前記コンピューティング装置が、前記強化学習エージェントをもって、(i)前記基本メタ情報に含まれている、前記周辺車両の相対的位置情報及び予定経路情報と、(ii)前記センサ情報に含まれている、FOV(Field−Of−View)情報、内部パラメータ情報、外部パラメータ情報、及び歪曲情報と、(iii)前記初期コンフィデンス情報と、のうち少なくとも一部を利用して、前記一つ以上の特定の周辺物体を選択するか否かを決定することを特徴とする請求項2に記載の方法。
- 前記コンピューティング装置は、前記特定の周辺物体により生成された参照物体情報及び参照コンフィデンス情報のうち少なくとも一部を含む補完情報、及び前記特定の周辺物体の特定のメタデータを参照して、前記初期物体情報を調整することによって前記最終物体情報を生成し、前記特定の周辺物体は、それ自体の周辺物体に対する物体検出を遂行して前記参照物体情報及び前記参照コンフィデンス情報を生成することを特徴とする請求項2に記載の方法。
- (d)前記コンピューティング装置が、前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールをもって、前記最終物体情報を利用して前記対象車両の自律走行を遂行するように支援する段階;
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記(a)段階以前に、
(a1)トレーニングイメージが取得されると、学習装置が、前記CNNに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させる段階;
(a2)前記学習装置が、前記コンボリューション特徴マップに対してアンカー(Anchor)演算を少なくとも一回適用することによって前記トレーニングイメージ上の予測ROI(Region Of Interest)を生成するプロセスを遂行しつつ、RPN(Region Proposal Network)に含まれている少なくとも一つのアンカーレイヤをもって、前記予測ROIが原本正解(Ground−Truth)ROIと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのRPNコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記RPNコンフィデンススコアを含むRPNコンフィデンスマップを生成させる段階;
(a3)前記CNNに含まれているROIプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ROIを利用して生成された少なくとも一つのROIプーリング済み特徴マップが取得されると、前記学習装置は、前記ROIプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記CNNに含まれているFCレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測CNN分類結果及びそれぞれの少なくとも一つの予測CNNリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解CNN分類結果及びそれぞれの少なくとも一つの原本正解CNNリグレッション結果と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのCNNコンフィデンススコアを前記予測ROIごとに生成することによって、前記CNNコンフィデンススコアを含むCNNコンフィデンスマップを生成させる段階;及び
(a4)前記学習装置が、ロスレイヤをもって、前記RPNコンフィデンスマップと、前記CNNコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのRPNロス及び少なくとも一つのCNNロスを生成させ、前記RPNロス及び前記CNNロスを利用してバックプロパゲーションを遂行することによって前記CNN及び前記RPNに含まれているパラメータのうち少なくとも一部を学習させる段階;
をさらに含むことを特徴とする請求項1に記載の方法。 -
-
- 前記(a3)段階以後に、
前記学習装置が、コンフィデンスレイヤをもって、前記RPNコンフィデンスマップ及び前記CNNコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする請求項7に記載の方法。 - 前記学習装置が、前記コンフィデンスレイヤをもって、(i)(i−1)前記CNNから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ROIに対するNMS(Non−Maximum Suppression)結果を取得するプロセス、(i−2)前記RPNコンフィデンスマップに対してリサイズ(Resize)演算を少なくとも一回適用してリサイズされたRPNコンフィデンスマップを生成するプロセス、及び(ii)前記NMS結果と、前記リサイズされたRPNコンフィデンスマップとを参照して、前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項10に記載の方法。
-
- 前記(b)段階は、
(b1)前記状況イメージが取得されると、前記コンピューティング装置が、前記CNNに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させる段階;
(b2)前記コンピューティング装置が、前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ROIを生成するためのプロセスを遂行しつつ、RPNに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ROIが原本正解ROIと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのRPNコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記RPNコンフィデンススコアを含むRPNコンフィデンスマップを生成させる段階;
(b3)前記CNNに含まれているROIプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ROIを利用して生成された少なくとも一つのROIプーリング済み特徴マップが取得されると、前記コンピューティング装置が、前記ROIプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記CNNに含まれるFCレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測CNN分類結果及びそれぞれの少なくとも一つの予測CNNリグレッション結果が原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解CNN分類結果及びそれぞれの少なくとも一つの原本正解CNNリグレッション結果と同一である少なくとも一つの確率それぞれを表すCNNコンフィデンスコアそれぞれを前記予測ROIごとに生成することによって、前記CNNコンフィデンススコアを含むCNNコンフィデンスマップを生成させる段階;及び
(b4)前記コンピューティング装置が、前記CNNと連動して作動するコンフィデンスレイヤをもって、前記RPNコンフィデンスマップ及び前記CNNコンフィデンスマップを参照して統合コンフィデンスマップを生成させる段階;
を含み、
前記コンピューティング装置は、前記CNNをもって、前記予測物体検出結果を含む前記初期物体情報及び前記統合コンフィデンスマップを含む前記初期コンフィデンス情報を出力させることを特徴とする請求項1に記載の方法。 - 物体検出プロセスと並行して生成された、物体検出の信頼度(Credibility)を示すコンフィデンスコア(Confidence Score)を利用することによって、コンピューティングパワーを節約しながらもより優れた自律走行性能を達成するためのコンピューティング装置において、
インストラクションを格納する少なくとも1つのメモリと、
(I)対象車両に設けられた少なくとも一つのイメージセンサを通じて前記対象車両の周辺に対する少なくとも一つの状況イメージ(Circumstance Image)を取得するプロセス、(II)CNN(Convolutional Neural Network)をもって、前記状況イメージにCNN演算を少なくとも一回適用させて、前記状況イメージに関する初期物体情報及び初期コンフィデンス情報を生成させるプロセス、及び(III)前記対象車両から距離が閾値以下である周辺物体のうち少なくとも一部とのV2X通信及び強化学習エージェントの支援を通じて、前記初期物体情報及び前記初期コンフィデンス情報を参照して、前記状況イメージに関する最終物体情報を生成するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。 - 前記(III)プロセスで、
前記プロセッサが、前記強化学習エージェントをもって、(i)前記初期コンフィデンス情報、前記周辺物体の基本メタ情報、及び前記イメージセンサのセンサ情報を参照して、補完演算が適用される前記状況イメージ上の一つ以上の特定の対象領域に対応する一つ以上の特定の周辺物体を、前記周辺物体の中から選択させ、(ii)前記特定の周辺物体との前記V2X通信を介して補完情報を取得させ、(iii)前記補完情報を利用して前記初期物体情報を調整することによって、前記最終物体情報を生成させることを特徴とする請求項14に記載の装置。 - 前記初期コンフィデンス情報、前記基本メタ情報、及び前記センサ情報が前記強化学習エージェントに入力されると、前記強化学習エージェントは、(i)それ自体のパラメータを利用して前記一つ以上の特定の周辺物体を選択し、(ii)前記補完情報を参照して少なくとも一つのリワード(reward)を生成し、(ii)前記リワードを参照して前記パラメータの少なくとも一部を学習することを特徴とする請求項15に記載の装置。
- 前記プロセッサが、前記強化学習エージェントをもって、(i)前記基本メタ情報に含まれている、前記周辺車両の相対的位置情報及び予定経路情報と、(ii)前記センサ情報に含まれている、FOV(Field−Of−View)情報、内部パラメータ情報、外部パラメータ情報、及び歪曲情報と、(iii)前記初期コンフィデンス情報と、のうち少なくとも一部を利用して、前記一つ以上の特定の周辺物体を選択するか否かを決定することを特徴とする請求項15に記載の装置。
- 前記プロセッサは、前記特定の周辺物体により生成された参照物体情報及び参照コンフィデンス情報のうち少なくとも一部を含む補完情報、及び前記特定の周辺物体の特定のメタデータを参照して、前記初期物体情報を調整することによって前記最終物体情報を生成し、前記特定の周辺物体は、それ自体の周辺物体に対する物体検出を遂行して前記参照物体情報及び前記参照コンフィデンス情報を生成することを特徴とする請求項15に記載の装置。
- 前記プロセッサが、(IV)前記最終物体情報を自律走行モジュールに伝達することによって、前記自律走行モジュールをもって、前記最終物体情報を利用して前記対象車両の自律走行を遂行するように支援するプロセスをさらに遂行することを特徴とする請求項14に記載の装置。
- 前記(I)プロセス以前に、
(I−1)トレーニングイメージが取得されると、学習装置が、前記CNNに含まれている少なくとも一つのコンボリューションレイヤをもって、前記トレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス;(I−2)前記学習装置が、前記コンボリューション特徴マップに対してアンカー(Anchor)演算を少なくとも一回適用することによって、前記トレーニングイメージ上の予測ROI(Region Of Interest)を生成するプロセスを遂行しつつ、RPN(Region Proposal Network)に含まれている少なくとも一つのアンカーレイヤをもって、前記予測ROIが原本正解(Ground−Truth)ROIと同一であるそれぞれの少なくとも一つの確率を表すそれぞれの少なくとも一つのRPNコンフィデンススコアを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記RPNコンフィデンススコアを含むRPNコンフィデンスマップを生成させるプロセス;(I−3)前記CNNに含まれているROIプーリングレイヤを通じて、前記コンボリューション特徴マップ及び前記予測ROIを利用して生成された少なくとも一つのROIプーリング済み特徴マップが取得されると、前記学習装置は、前記ROIプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記CNNに含まれているFCレイヤをもって、前記予測物体検出結果に含まれるそれぞれの少なくとも一つの予測CNN分類結果及びそれぞれの少なくとも一つの予測CNNリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解CNN分類結果及びそれぞれの少なくとも一つの原本正解CNNリグレッション結果と同一であるものと予測されるそれぞれの少なくとも一つの確率を表すそれぞれのCNNコンフィデンススコアを前記予測ROIごとに生成することによって、前記CNNコンフィデンススコアを含むCNNコンフィデンスマップを生成させるプロセス;及び(I−4)前記学習装置が、ロスレイヤをもって、前記RPNコンフィデンスマップと、前記CNNコンフィデンスマップと、前記予測物体検出結果と、前記原本正解物体検出結果とを参照して少なくとも一つのRPNロス及び少なくとも一つのCNNロスを生成させ、前記RPNロス及び前記CNNロスを利用してバックプロパゲーションを遂行することによって前記CNN及び前記RPNに含まれているパラメータのうち少なくとも一部を学習させるプロセス;が遂行されることによって、前記CNNが学習されることを特徴とする請求項14に記載の装置。 -
-
- 前記(I−3)プロセス以後に、
前記学習装置が、コンフィデンスレイヤをもって、前記RPNコンフィデンスマップ及び前記CNNコンフィデンスマップを参照して、前記トレーニングイメージ内のピクセルごとの統合コンフィデンススコアそれぞれに関する情報を含む統合コンフィデンスマップを生成させることを特徴とする請求項20に記載の装置。 - 前記学習装置が、前記コンフィデンスレイヤをもって、(i−1)前記CNNから、前記予測物体検出結果を生成するプロセスが遂行される途中に生成される、前記予測ROIに対するNMS(Non−Maximum Suppression)結果を取得するプロセス、(i−2)前記RPNコンフィデンスマップに対してリサイズ(Resize)演算を少なくとも一回適用してリサイズされたRPNコンフィデンスマップを生成するプロセス、及び(ii)前記NMS結果及び前記リサイズされたRPNコンフィデンスマップを参照して前記統合コンフィデンスマップを生成するプロセスを遂行させることを特徴とする請求項23に記載の装置。
-
- 前記(II)プロセスは、
(II−1)前記状況イメージが取得されると、前記CNNに含まれている少なくとも一つのコンボリューションレイヤをもって、前記状況イメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つのコンボリューション特徴マップを生成させるプロセス;(II−2)前記コンボリューション特徴マップに対してアンカー演算を少なくとも一回適用することによって、前記状況イメージ上の予測ROIを生成するためのプロセスを遂行しつつ、RPNに含まれている少なくとも一つのアンカーレイヤをもって、前記予測ROIが原本正解ROIと同一である少なくとも一つの確率それぞれを表す、少なくとも一つのRPNコンフィデンススコアそれぞれを前記コンボリューション特徴マップのピクセルごとに生成することによって、前記RPNコンフィデンススコアを含むRPNコンフィデンスマップを生成させるプロセス;(II−3)前記CNNに含まれているROIプーリングレイヤを通じて前記コンボリューション特徴マップ及び前記予測ROIを利用して生成された少なくとも一つのROIプーリング済み特徴マップが取得されると、前記ROIプーリング済み特徴マップを利用して予測物体検出結果を生成するプロセスを遂行しつつ、前記CNNに含まれるFCレイヤをもって、前記予測物体検出結果に含まれているそれぞれの少なくとも一つの予測CNN分類結果及びそれぞれの少なくとも一つの予測CNNリグレッション結果が、原本正解物体検出結果に含まれているそれぞれの少なくとも一つの原本正解CNN分類結果及びそれぞれの少なくとも一つの原本正解CNNリグレッション結果と同一である少なくとも一つの確率それぞれを表すCNNコンフィデンスコアそれぞれを前記予測ROIごとに生成することによって、前記CNNコンフィデンススコアを含むCNNコンフィデンスマップを生成させるプロセス;及び(II−4)前記CNNと連動して作動するコンフィデンスレイヤをもって、前記RPNコンフィデンスマップ及び前記CNNコンフィデンスマップを参照して統合コンフィデンスマップを生成させるプロセスを含み、前記プロセッサは、前記CNNをもって、前記予測物体検出結果を含む前記初期物体情報と、前記統合コンフィデンスマップを含む前記初期コンフィデンス情報とを出力させることを特徴とする請求項14に記載の装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962799332P | 2019-01-31 | 2019-01-31 | |
US62/799,332 | 2019-01-31 | ||
US16/738,749 | 2020-01-09 | ||
US16/738,749 US11010668B2 (en) | 2019-01-31 | 2020-01-09 | Method and device for attention-driven resource allocation by using reinforcement learning and V2X communication to thereby achieve safety of autonomous driving |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126640A true JP2020126640A (ja) | 2020-08-20 |
JP6941386B2 JP6941386B2 (ja) | 2021-09-29 |
Family
ID=69191989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020010140A Active JP6941386B2 (ja) | 2019-01-31 | 2020-01-24 | 自律走行の安全性を提供するための方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11010668B2 (ja) |
EP (1) | EP3690731A3 (ja) |
JP (1) | JP6941386B2 (ja) |
KR (1) | KR102396274B1 (ja) |
CN (1) | CN111507159B (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3805986A1 (en) * | 2019-10-07 | 2021-04-14 | Robert Bosch GmbH | Method for measuring the boundary performance of a semantic segmentation network |
WO2022039319A1 (ko) * | 2020-08-21 | 2022-02-24 | (주)와토시스 | 개인정보 비식별화 처리 방법, 검증 방법 및 시스템 |
KR20230066018A (ko) * | 2020-10-06 | 2023-05-12 | 엘지전자 주식회사 | 자율 주행 시스템에서 v2x 통신 장치의 강화 학습 수행 방법 |
JP2023550776A (ja) * | 2020-11-30 | 2023-12-05 | エヌイーシー ラボラトリーズ アメリカ インク | 自己最適化ビデオ分析パイプライン |
CN112616131B (zh) * | 2020-12-11 | 2022-05-13 | 北京邮电大学 | 一种基于视频内容优先级的车联网资源分配方法 |
KR102574540B1 (ko) * | 2022-11-22 | 2023-09-07 | (주)와토시스 | 영상 내 개인정보 영역 검출 방법 및 시스템 |
CN116030438B (zh) * | 2023-03-30 | 2023-06-23 | 斯润天朗(北京)科技有限公司 | 基于时间同步的协作式感知方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018028906A (ja) * | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | ディープ(双方向)再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム |
JP2018027776A (ja) * | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | 運転者行動予測モデルの個人適合 |
JP2018190217A (ja) * | 2017-05-09 | 2018-11-29 | オムロン株式会社 | 運転者監視装置、及び運転者監視方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2574958B1 (en) * | 2011-09-28 | 2017-02-22 | Honda Research Institute Europe GmbH | Road-terrain detection method and system for driver assistance systems |
US9365213B2 (en) * | 2014-04-30 | 2016-06-14 | Here Global B.V. | Mode transition for an autonomous vehicle |
US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
US10479373B2 (en) * | 2016-01-06 | 2019-11-19 | GM Global Technology Operations LLC | Determining driver intention at traffic intersections for automotive crash avoidance |
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
US10209718B2 (en) * | 2017-03-14 | 2019-02-19 | Starsky Robotics, Inc. | Vehicle sensor system and method of use |
CN107730904A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统 |
US9946960B1 (en) * | 2017-10-13 | 2018-04-17 | StradVision, Inc. | Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same |
CN108830188B (zh) * | 2018-05-30 | 2022-03-04 | 西安理工大学 | 基于深度学习的车辆检测方法 |
CN109241982B (zh) | 2018-09-06 | 2021-01-29 | 广西师范大学 | 基于深浅层卷积神经网络的目标检测方法 |
-
2020
- 2020-01-09 US US16/738,749 patent/US11010668B2/en active Active
- 2020-01-20 KR KR1020200007639A patent/KR102396274B1/ko active IP Right Grant
- 2020-01-21 CN CN202010069505.9A patent/CN111507159B/zh active Active
- 2020-01-24 JP JP2020010140A patent/JP6941386B2/ja active Active
- 2020-01-24 EP EP20153637.2A patent/EP3690731A3/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018028906A (ja) * | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | ディープ(双方向)再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム |
JP2018027776A (ja) * | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | 運転者行動予測モデルの個人適合 |
JP2018190217A (ja) * | 2017-05-09 | 2018-11-29 | オムロン株式会社 | 運転者監視装置、及び運転者監視方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111507159B (zh) | 2023-12-01 |
EP3690731A2 (en) | 2020-08-05 |
KR102396274B1 (ko) | 2022-05-11 |
US11010668B2 (en) | 2021-05-18 |
KR20200096132A (ko) | 2020-08-11 |
CN111507159A (zh) | 2020-08-07 |
EP3690731A3 (en) | 2020-10-28 |
JP6941386B2 (ja) | 2021-09-29 |
US20200250526A1 (en) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020126640A (ja) | 自律走行の安全性を提供するための方法及び装置 | |
JP6895694B2 (ja) | Avm及び強化学習を利用して自律走行の安全性を達成するためのアテンション−ドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置{method and device for attention−driven resource allocation by using avmand reinforcement learning to thereby achieve safety of autonomous driving} | |
JP6923960B2 (ja) | 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
CN111507157B (zh) | 基于强化学习而在自动驾驶时优化资源分配的方法及装置 | |
JP6857371B2 (ja) | 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置 | |
EP3660745B1 (en) | Real time decision making for autonomous driving vehicles | |
US10997729B2 (en) | Real time object behavior prediction | |
EP3822852B1 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
KR20190026116A (ko) | 객체 인식 방법 및 장치 | |
US20200239029A1 (en) | Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route | |
KR102321004B1 (ko) | 온 디바이스 독립형 예측에 기반하여 자율 주행 차량의 모드를 전환함으로써 자율 주행의 안전성을 도모하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
JP6890855B2 (ja) | Avmを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置{method and device for attention−driven resource allocation by using avm to thereby achieve safety of autonomous driving} | |
US11814072B2 (en) | Method and system for conditional operation of an autonomous agent | |
JP6903352B2 (ja) | 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置{learning method and learning device for heterogeneous sensor fusion by using merging network which learns non−maximum suppression} | |
US11713044B2 (en) | Vehicle for estimation a state of the other vehicle using reference point of the other vehicle, and method of controlling the vehicle | |
US20210398014A1 (en) | Reinforcement learning based control of imitative policies for autonomous driving | |
CN111497939A (zh) | 用于自主行驶车辆的方法和装置 | |
US11810371B1 (en) | Model-based localization on high-definition maps | |
US20210366096A1 (en) | Hazard detection ensemble architecture system and method | |
Huang et al. | iCOIL: Scenario Aware Autonomous Parking Via Integrated Constrained Optimization and Imitation Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6941386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |