JP2019509534A - 将来経路を推定するシステム及び方法 - Google Patents

将来経路を推定するシステム及び方法 Download PDF

Info

Publication number
JP2019509534A
JP2019509534A JP2018530622A JP2018530622A JP2019509534A JP 2019509534 A JP2019509534 A JP 2019509534A JP 2018530622 A JP2018530622 A JP 2018530622A JP 2018530622 A JP2018530622 A JP 2018530622A JP 2019509534 A JP2019509534 A JP 2019509534A
Authority
JP
Japan
Prior art keywords
vehicle
image
road
ahead
current location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018530622A
Other languages
English (en)
Other versions
JP7052174B2 (ja
JP2019509534A5 (ja
Inventor
フーベルマン，デイビッド
シャマ，シェイクド
Original Assignee
モービルアイ ビジョン テクノロジーズ リミテッド
モービルアイ ビジョン テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モービルアイ ビジョン テクノロジーズ リミテッド, モービルアイ ビジョン テクノロジーズ リミテッド filed Critical モービルアイ ビジョン テクノロジーズ リミテッド
Publication of JP2019509534A publication Critical patent/JP2019509534A/ja
Publication of JP2019509534A5 publication Critical patent/JP2019509534A5/ja
Application granted granted Critical
Publication of JP7052174B2 publication Critical patent/JP7052174B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Ecology (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)

Abstract

システム及び方法は、車両の現在位置の先の将来経路を推定する。システムは、少なくとも１つのプロセッサを含み、少なくとも１つのプロセッサは、道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、トレーニング済みシステムを車両の任意の現在位置の先の環境の画像に適用することと、トレーニング済みシステムの画像への適用に基づいて、任意の現在位置の先の、車両の推定将来経路を提供することとを行うようにプログラムされる。

Description

関連出願の相互参照
本願は、２０１６年１月５日に出願された米国仮特許出願第６２／２７５，０４６号及び２０１６年８月１０日に出願された米国仮特許出願第６２／３７３，１５３号の優先権の利益を主張する。
背景
技術分野
本開示は、概して、先進運転支援システム（ＡＤＡＳ）及び自律車両（ＡＶ）システムに関する。更に、本開示は、画像を処理するシステム及び方法、並びに車両の将来経路を推定するシステム及び方法に関する。
背景情報
先進運転支援システム（ＡＤＡＳ）及び自律車両（ＡＶ）システムは、道路を走行中の車両の環境中の特定の物体を検出するように設計される物体分類器をカメラ及び他のセンサと共に使用する。物体分類器は、予め定義された物体を検出するように設計され、ＡＤＡＳシステム及びＡＶシステム内で使用されて、検出される物体のタイプ、その位置等に基づいて車両を制御するか又はドライバーにアラートする。しかし、１つの解決策として、道路環境及びその周囲の限りない多様性及び詳細と、多くの場合に動的なその性質（移動中の車両、影等）とに対処するための予め構成された分類器の能力は限られている。ＡＤＡＳシステム及びＡＶシステムは、完全自律動作に向けて発展するにつれて、そのようなシステムの能力を強化することから恩恵を受ける。
概要
以下の詳細な説明は、添付図面を参照する。可能な場合には常に、図面及び以下の詳細な説明において同じ又は同様の部分を指すのに同じ参照番号が使用される。幾つかの例示的な実施形態が本明細書に記載されるが、変更形態、適合形態及び他の実装形態が可能である。例えば、図面に示される構成要素に対する置換、追加、又は変更が可能であり、本明細書に記載される例示的な方法は、開示される方法のステップの置換、順序変更、削除、又は追加により変更が可能である。したがって、以下の詳細な説明は、開示される実施形態及び例に限定されない。
開示される実施形態は、自律ナビゲーション／運転及び／又はドライバー支援技術特徴の一環として又は組み合わせて使用することができるシステム及び方法を提供する。ドライバー支援技術は、完全自律運転とは対照的に、ＦＣＷ、ＬＤＷ、及びＴＳＲ等の車両のナビゲーション及び／又は制御においてドライバーを支援する任意の適する技術を指す。様々な実施形態では、本システムは、車両に搭載可能な１つ、２つ、又は３つ以上のカメラと、車両の環境を監視する関連するプロセッサとを含み得る。更なる実施形態では、追加のタイプのセンサを車両に搭載することができ、且つ自律ナビゲーション及び／又は運転支援システムに使用することができる。本開示の主題の幾つかの例では、本システムは、画像に基づいて車両の将来経路を推定するようにシステム（例えば、例としてディープラーニングアルゴリズムを適用するニューラルネットワーク、ディープラーニングシステム等）をトレーニングするために、道路を走行中の車両の先の環境の画像を処理する技法を提供し得る。ここで開示される主題の更なる例では、本システムは、トレーニング済みシステムを使用して、道路を走行中の車両の先の環境の画像を処理して車両の将来経路を推定する技法を提供し得る。
本開示の主題の例によれば、本システムは、車両の現在位置の先の将来経路を推定するシステムが提供される。本システムは、少なくとも１つのプロセッサを含み、少なくとも１つのプロセッサは、道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、トレーニング済みシステムを車両の任意の現在位置の先の環境の画像に適用することと、トレーニング済みシステムの画像への適用に基づいて、任意の現在位置の先の、車両の推定将来経路を提供することとを行うようにプログラムされる。
幾つかの実施形態では、トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む。グローバル関数は、畳み込み、最大プーリング、及び／又は正規化線形関数（ＲｅＬＵ）を含むことができる。
幾つかの実施形態では、本方法は、車両の現在位置の先の推定将来経路を利用して、車両の少なくとも１つの移動パラメータを変更するように車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含み得る。幾つかの実施形態では、本方法は、車両の現在位置の先の推定将来経路を利用して、車両のドライバーに感覚フィードバックを提供することを更に含み得る。
幾つかの実施形態では、現在位置の先の、車両の推定将来経路は、少なくとも１つの分類器を使用して、環境の画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づくことができる。
本方法は、車両の現在位置の先の推定将来経路を利用して、車両の操舵制御機能の制御点を提供することを更に含み得る。
幾つかの実施形態では、トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供する。
幾つかの実施形態では、少なくとも１つのプロセッサは、車両の現在位置の先の道路プロファイルを推定するに当たり、車両の現在位置の先の推定将来経路を利用するように更にプログラムされ得る。
幾つかの実施形態では、トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供し、且つ現在位置の先の、車両の２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含み得る。
幾つかの実施形態では、少なくとも１つのプロセッサは、車両の将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、車両の現在位置の先の推定将来経路を利用するように更にプログラムされ得る。
幾つかの実施形態では、少なくとも１つのプロセッサは、車両の将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、車両の少なくとも１つの移動パラメータを車両の少なくとも１つの電子ユニット又は機械ユニットに変更させるように更にプログラムされ得る。
幾つかの実施形態では、少なくとも１つのプロセッサは、１つ又は複数の車両が車両の将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーするように更にプログラムすることができる。
画像を処理する方法は、第１の複数のトレーニング画像を取得することであって、第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である、取得することと、第１の複数のトレーニング画像のそれぞれの１つについて、車両のそれぞれの現在位置の先の、車両の予め記憶された経路を取得することと、画像を所与として、車両のそれぞれの現在位置の先の道路を走行中の車両の将来経路を提供するようにシステムをトレーニングすることであって、システムをトレーニングすることは、システムへの入力として第１の複数のトレーニング画像を提供すること、トレーニング各反復において、重みの現在状態によって推定されたそれぞれの暫定的な将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること、及び損失関数の結果に従ってニューラルの重みを更新することを含む、トレーニングすることとを含み得る。
幾つかの実施形態では、第１の複数のトレーニング画像を取得することは、第１の複数のトレーニング画像からの画像のそれぞれの１つについて、画像が捕捉された瞬間における道路上の車両の位置を示すデータを取得することを更に含み得る。幾つかの実施形態では、第１の複数のトレーニング画像を取得することは、第１の複数のトレーニング画像からの少なくとも１つの画像における少なくとも１つのレーンマークの位置を取得することを含み、第１の複数のトレーニング画像からの画像のそれぞれの１つについて、画像が捕捉された瞬間における道路上の車両の位置を示すデータを取得することは、第１の複数のトレーニング画像からの少なくとも１つの画像について、少なくとも１つの画像における少なくとも１つのレーンマークの位置に従って、少なくとも１つの画像が捕捉された瞬間における道路上の車両の位置を特定することを含む。
幾つかの実施形態では、少なくとも１つの画像における少なくとも１つのレーンマークの位置に従って、第１の複数のトレーニング画像からの少なくとも１つの画像が捕捉された瞬間における道路上の車両の位置を特定することは、少なくとも１つのレーンマークの位置からの予め定義されたオフセットにおける道路上の車両の位置を特定することを含み得る。
幾つかの実施形態では、車両のそれぞれの現在位置の先の、車両の予め記憶された経路は、それぞれの第２の複数のトレーニング画像が捕捉されたそれぞれの瞬間における道路上の車両の位置に基づいて特定され得、第２の複数のトレーニング画像は、現在位置に関連する画像に続けて捕捉された、第１の複数のトレーニング画像からの画像であり得る。
幾つかの実施形態では、システムをトレーニングすることは、複数の反復を含み、且つ停止条件が満たされるまで実行され得る。
幾つかの実施形態では、本方法は、道路を走行中の車両の先の環境の任意の入力画像を所与として、車両の将来経路推定を提供するように構成されるトレーニング済みシステムを出力として提供することを更に含み得る。
幾つかの実施形態では、第１の複数のトレーニング画像は、道路上に比較的希に現れる環境の比較的より多数の画像を含むことができる。幾つかの実施形態では、第１の複数のトレーニング画像は、カーブした道路を含む環境の比較的より多数の画像を含むことができる。幾つかの実施形態では、第１の複数のトレーニング画像は、レーン分割、レーン統合、高速道路出口、高速道路入口、及び／又は分岐合流点を含む環境の比較的より多数の画像を含むことができる。幾つかの実施形態では、第１の複数のトレーニング画像は、車両の先の道路上に、レーンマーク、ボッツドッツ、及び／又は影が少ない環境、又はそれらを含まない環境の比較的より多数の画像を含むことができる。
幾つかの実施形態では、停止条件は、予め定義された数の反復であり得る。
幾つかの実施形態では、本方法は、システムをトレーニングする最後の反復において到達されたトレーニング済みシステムの構成を有するトレーニング済みシステムを出力として提供することを更に含み得る。
本開示の主題の更なる態様によれば、車両の現在位置の先の将来経路を推定する方法が提供される。ここで開示される主題の例によれば、車両の現在位置の先の将来経路を推定する方法は、道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、トレーニング済みシステムを車両の任意の現在位置の先の環境の画像に適用して、それにより任意の現在位置の先の車両の推定将来経路を提供することとを含み得る。
幾つかの実施形態では、トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む。幾つかの実施形態では、グローバル関数は、畳み込み、最大プーリング、及び／又は正規化線形関数（ＲｅＬＵ）を含むことができる。
幾つかの実施形態では、本方法は、車両の現在位置の先の推定将来経路を利用して、車両の少なくとも１つの移動パラメータを変更するように車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含み得る。幾つかの実施形態では、本方法は、車両の現在位置の先の推定将来経路を利用して、車両のドライバーに感覚フィードバックを提供することを更に含み得る。
幾つかの実施形態では、現在位置の先の車両の推定将来経路は、少なくとも１つの分類器を使用して、環境の画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づくことができる。
本方法は、車両の現在位置の先の推定将来経路を利用して、車両の操舵制御機能の制御点を提供することを更に含み得る。
幾つかの実施形態では、将来経路推定トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供する。
幾つかの実施形態では、本方法は、車両の現在位置の先の道路プロファイルを推定するに当たり、車両の現在位置の先の推定将来経路を利用することを更に含み得る。
幾つかの実施形態では、将来経路推定トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供し、且つ現在位置の先の、車両の２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含み得る。
幾つかの実施形態では、本方法は、車両の将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、車両の現在位置の先の推定将来経路を利用することを更に含み得る。
幾つかの実施形態では、本方法は、車両の将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、車両の少なくとも１つの移動パラメータを車両の少なくとも１つの電子ユニット又は機械ユニットに変更させることを更に含み得る。
幾つかの実施形態では、本方法は、その１つ又は複数の車両が車両の将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーすることを更に含み得る。
図面の簡単な説明
本開示に組み込まれ、本明細書の一部をなす添付図面は、開示される様々な実施形態を示す。
開示される実施形態によるシステムのブロック図表現である。 開示される実施形態によるシステムを含む例示的な車両の側面図表現である。 開示される実施形態による図２Ａに示される車両及びシステムの上面図表現である。 開示される実施形態によるシステムを含む車両の別の実施形態の上面図表現である。 開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 開示される実施形態による例示的な車両制御システムの図表現である。 バックミラーと、開示される実施形態による車両撮像システムのユーザインターフェースとを含む車両の内部の図表現である。 開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 開示される実施形態による、異なる視点からの図３Ｂに示されるカメラマウントの図である。 開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 開示される実施形態により、画像を処理してトレーニング済みシステムを提供する方法のフローチャート図である。 開示される実施形態により、画像を処理してトレーニング済みシステムを提供する方法の特徴のグラフィカル図である。 開示される実施形態により、画像を処理してトレーニング済みシステムを提供する方法の特徴のグラフィカル図である。 開示される実施形態により、画像を処理してトレーニング済みシステムを提供する方法の特徴のグラフィカル図である。 開示される実施形態による、車両の現在位置の先の将来経路を推定する方法の特定の態様のグラフィカル図である。 本開示の主題の例による、車両の現在位置の先の将来経路を推定する方法のフローチャート図である。 幾つかの開示される実施形態による、道路を走行中の車両の先の環境の画像を示す。 幾つかの開示される実施形態による、道路を走行中の車両の先の環境の画像を示す。 幾つかの開示される実施形態による、トレーニングフェーズ中にシステムに提供される画像を示す。 幾つかの開示される実施形態による、トレーニングフェーズ中にシステムに提供される画像を示す。 幾つかの開示される実施形態による、システムをトレーニングする特定の態様のグラフィカル図である。 幾つかの開示される実施形態による、システムをトレーニングする特定の態様のグラフィカル図である。 開示される実施形態によって推定された将来経路を含む画像を示す。 開示される実施形態によって推定された将来経路を含む画像を示す。 開示される実施形態によって推定された将来経路を含む画像を示す。 開示される実施形態によって推定された将来経路を含む画像を示す。 開示される実施形態による、高速道路出口を記すために追加された仮想レーンマークを有する入力画像を示す。
詳細な説明
ニューラルネットワーク又はディープラーニングシステム等のシステムをトレーニングして、画像に基づいて車両の将来経路を推定する、道路を走行中の車両の先の環境の画像を処理する特徴又はトレーニング済みシステムを使用して、道路を走行中の車両の先の環境の画像を処理して車両の将来経路を推定する特徴について詳細な例を記載する前に、ここで開示される主題の例による方法の実行及び実施に使用することができる車載可能なシステムの様々な可能な実装形態及び構成の説明を提供する。幾つかの実施形態では、車載可能なシステムの様々な例は、車載することができ、車両が移動中に動作することができる。幾つかの実施形態では、車載可能なシステムは、ここで開示される主題の例による方法を実施することができる。
ここで参照する図１は、開示される実施形態によるシステムのブロック図表現である。システム１００は、特定の実装形態の要件に応じた様々な構成要素を含むことができる。幾つかの例では、システム１００は、処理ユニット１１０、画像取得ユニット１２０、及び１つ又は複数のメモリユニット１４０、１５０を含むことができる。処理ユニット１１０は、１つ又は複数の処理デバイスを含むことができる。幾つかの実施形態では、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、又は任意の他の適する処理デバイスを含むことができる。同様に、画像取得ユニット１２０は、特定の用途の要件に応じて任意の数の画像取得デバイス及び構成要素を含むことができる。幾つかの実施形態では、画像取得ユニット１２０は、画像捕捉デバイス１２２、画像捕捉デバイス１２４、及び画像捕捉デバイス１２６等の１つ又は複数の画像捕捉デバイス（例えば、カメラ）を含むことができる。幾つかの実施形態では、システム１００は、処理ユニット１１０を画像取得デバイス１２０に通信可能に接続するデータインターフェース１２８を含むこともできる。例えば、データインターフェース１２８は、画像取得デバイス１２０により取得された画像データを処理ユニット１１０に送信する任意の有線及び／又は無線の１つ又は複数のリンクを含むことができる。
アプリケーションプロセッサ１８０及び画像プロセッサ１９０の両方は、様々なタイプの処理デバイスを含むことができる。例えば、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のいずれか又は両方は、１つ又は複数のマイクロプロセッサ、プリプロセッサ（画像プリプロセッサ等）、グラフィックスプロセッサ、中央演算処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又はアプリケーションの実行並びに画像の処理及び分析に適する任意の他のタイプのデバイスを含むことができる。幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、任意のタイプのシングル又はマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央演算処理装置等を含むことができる。例えば、Intel（登録商標）、AMD（登録商標）等の製造業者から入手可能なプロセッサを含め、様々な処理デバイスを使用することができ、様々なアーキテクチャ（例えば、x86プロセッサ、ARM（登録商標）等）を含むことができる。
幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、Mobileye（登録商標）から入手可能な任意のEyeQシリーズのプロセッサを含み得る。これらのプロセッサ設計は、それぞれローカルメモリ及び命令セットを有する複数の処理ユニットを含む。そのようなプロセッサは、複数の画像センサから画像データを受信するビデオ入力を含み得ると共に、ビデオ出力機能を含むこともできる。一例では、EyeQ2（登録商標）は、３３２ＭＨｚで動作する９０ｎｍ−ミクロン技術を使用する。EyeQ2（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ ＣＰＵ（MIPS32（登録商標）34K（登録商標）コア）、５つのビジョン計算エンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（ＶＭＰ（登録商標））、Denali６４ビットモバイルＤＤＲコントローラ、１２８ビット内部音響相互接続、デュアル１６ビットビデオ入力及び１８ビットビデオ出力コントローラ、１６チャネルＤＭＡ、及び幾つかの周辺機器を有する。ＭＩＰＳ３４Ｋ ＣＰＵは、５つのＶＣＥ、３つのＶＭＰ（商標）及びＤＭＡ、第２のＭＩＰＳ３４Ｋ ＣＰＵ及びマルチチャネルＤＭＡ、並びに他の周辺機器を管理する。５つのＶＣＥ、３つのＶＭＰ（登録商標）、及びＭＩＰＳ３４Ｋ ＣＰＵは、多機能バンドルアプリケーションにより要求される集中的なビジョン計算を実行することができる。別の例では、開示される例において、第三世代プロセッサであり、EyeQ2（登録商標）よりも６倍強力なEyeQ3（登録商標）を使用し得る。更に他の例では、開示される例において、第４世代プロセッサであるEyeQ4（登録商標）を使用し得る。
図１は、処理ユニット１１０に含まれる２つの別個の処理デバイスを示すが、より多数又はより少数の処理デバイスを使用することもできる。例えば、幾つかの例では、１つの処理デバイスを使用して、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のタスクを達成し得る。他の実施形態では、これらのタスクは、３つ以上の処理デバイスにより実行することができる。
処理ユニット１１０は様々なタイプのデバイスを含むことができる。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央演算処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又は画像を処理及び分析する任意の他のタイプのデバイス等の様々なデバイスを含み得る。画像プリプロセッサは、画像センサから画像を捕捉し、デジタル化し、処理するビデオプロセッサを含むことができる。ＣＰＵは、任意の数のマイクロコントローラ又はマイクロプロセッサを含むことができる。サポート回路は、キャッシュ、電源、クロック、及び入力−出力回路を含め、当技術分野で一般に周知の任意の数の回路であり得る。メモリは、プロセッサにより実行されると、システムの動作を制御するソフトウェアを記憶することができる。メモリは、データベース及び画像処理ソフトウェアを含むことができる。メモリは、任意の数のランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、リムーバブル記憶装置、及び他のタイプの記憶装置を含むことができる。一例では、メモリは、処理ユニット１１０とは別個であり得る。別の例では、メモリは、処理ユニット１１０に統合することができる。
各メモリ１４０、１５０は、プロセッサ（例えば、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０）により実行されると、システム１００の様々な態様の動作を制御することができるソフトウェア命令を含むことができる。これらのメモリユニットは、様々なデータベース及び画像処理ソフトウェアを含むことができる。メモリユニットは、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置、及び／又は任意の他のタイプの記憶装置を含むことができる。幾つかの例では、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０とは別個であり得る。他の実施形態では、これらのメモリユニットは、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に統合することができる。
幾つかの実施形態では、システムは位置センサ１３０を含むことができる。位置センサ１３０は、システム１００の少なくとも１つの構成要素に関連する位置を特定するのに適する任意のタイプのデバイスを含むことができる。幾つかの実施形態では、位置センサ１３０はＧＰＳ受信機を含むことができる。そのような受信機は、全地球測位システム衛星によりブロードキャストされた信号を処理することにより、ユーザの位置及び速度を特定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に提供することができる。
幾つかの実施形態では、システム１００は、システム１００を搭載することができる、車両に搭載される様々なシステム、デバイス、及びユニットに動作可能に接続可能であり得、任意の適するインターフェース（例えば、通信バス）を通して、システム１００は車両のシステムと通信することができる。システム１００が協働することができる車両システムの例としては、スロットルシステム、ブレーキシステム、及び操舵システムが挙げられる。
幾つかの実施形態では、システム１００はユーザインターフェース１７０を含むことができる。ユーザインターフェース１７０は、情報を提供するか、又はシステム１００の１人若しくは複数のユーザから入力を受信するのに適する任意のデバイスを含み得る。幾つかの実施形態では、ユーザインターフェース１７０は、例えば、タッチスクリーン、マイクロフォン、キーボード、ポインタデバイス、トラックホィール、カメラ、つまみ、ボタン等を含め、ユーザ入力デバイスを含み得る。そのような入力デバイスを用いて、ユーザは、命令若しくは情報をタイプし、音声コマンドを提供し、ボタン、ポインタ、若しくは目追跡機能を使用して、又は情報をシステム１００に通信する任意の他の適する技法を通して画面上のメニュー選択肢を選択することにより、システム１００に情報入力又はコマンドを提供可能であり得る。情報は、同様にシステム１００によりユーザインターフェース１７０を通してユーザに提供することができる。
幾つかの実施形態では、システム１００はマップデータベース１６０を含むことができる。マップデータベース１６０は、デジタルマップデータを記憶する任意のタイプのデータベースを含むことができる。幾つかの例では、マップデータベース１６０は、道路、水系特徴、地理的特徴、関心ポイント等を含む様々な項目の、基準座標系における位置に関連するデータを含むことができる。マップデータベース１６０は、そのような項目の位置のみならず、例えば、記憶された任意の特徴に関連する名称を含め、それらの項目に関連する記述子も記憶することができる。幾つかの実施形態では、マップデータベース１６０は、システム１００の他の構成要素と共に物理的に配置することができる。代替又は追加として、マップデータベース１６０又はその部分は、システム１００の他の構成要素（例えば、処理ユニット１１０）からリモートに配置することができる。そのような実施形態では、マップデータベース１６０からの情報は、有線又は無線データ接続を介してネットワークにダウンロードすることができる（例えば、セルラネットワーク及び／又はインターネット等を介して）。
画像捕捉デバイス１２２、１２４、及び１２６は、環境から少なくとも１つの画像を捕捉するのに適した任意のタイプのデバイスをそれぞれ含むことができる。更に、任意の数の画像捕捉デバイスを使用して、画像プロセッサに入力する画像を取得することができる。ここで開示される主題の幾つかの例は、１つの画像捕捉デバイスのみを含むか又はそれを用いて実施することができるが、他の例は、２つ、３つ、又は４つ以上の画像捕捉デバイスを含むか又はそれを用いて実施することができる。画像捕捉デバイス１２２、１２４、及び１２６について、図２Ｂ〜図２Ｅを参照して以下に更に説明する。
システム１００が、例えば、音響センサ、ＲＦセンサ（例えば、レーダー送受信機）、ＬＩＤＡＲセンサを含め、他のタイプのセンサを含むか又はそれに動作可能に関連付けられ得ることが理解される。そのようなセンサは、画像取得デバイス１２０から独立して又は協働して使用することができる。例えば、レーダーシステム（図示せず）からのデータは、画像取得デバイス１２０により取得された画像の処理から受信される処理済み情報を検証して、例えば、画像取得デバイス１２０により取得された画像の処理から生じた特定の誤検知をフィルタリングするために使用することができる。
システム１００又はシステム１００の様々な構成要素は、様々な異なるプラットフォームに組み込み得る。幾つかの実施形態では、システム１００は、図２Ａに示されるように、車両２００に含め得る。例えば、車両２００は、図１に関して上述したように、処理ユニット１１０及びシステム１００の任意の他の構成要素を備え得る。幾つかの実施形態では、車両２００は単一の画像捕捉デバイス（例えば、カメラ）のみを備え得、一方、図２Ｂ〜図２Ｅに関連して考察した実施形態等の他の実施形態では、複数の画像捕捉デバイスが使用可能である。例えば、図２Ａに示されるように、車両２００の画像捕捉デバイス１２２及び１２４のいずれかは、ＡＤＡＳ（最新運転者支援システム）撮像セットの一部であり得る。
画像取得ユニット１２０の一部として車両２００に含まれる画像捕捉デバイスは、任意の適する位置に位置し得る。幾つかの実施形態では、図２Ａ〜図２Ｅ及び図３Ａ〜図３Ｃに示されるように、画像捕捉デバイス１２２は、バックミラーの近傍に配置し得る。この位置は、車両２００のドライバーと同様の視線を提供し得、ドライバーにとって何が見え、何が見えないのかの判断を支援し得る。
画像取得ユニット１２０の画像捕捉デバイスについて、他の位置を使用することもできる。例えば、画像捕捉デバイス１２４は、車両２００のバンパー上又はバンパー内に配置し得る。そのような位置は、広視野を有する画像捕捉デバイスに特に適し得る。バンパーに配置される画像捕捉デバイスの視線は、ドライバーの視線と異なり得る。画像捕捉デバイス（例えば、画像捕捉デバイス１２２、１２４、及び１２６）は、他の位置に配置することもできる。例えば、画像捕捉デバイスは、車両２００のサイドミラーのうちの一方又は両方、車両２００のルーフ、車両２００のフード、車両２００のトランク、車両２００の側部に配置し得、車両２００の任意のウィンドウに搭載し、背後に位置決めし、又は前に位置決めし得、車両２００の前部及び／又は後部のライト又はその近傍等に搭載し得る。画像捕捉ユニット１２０又は画像捕捉ユニット１２０において使用される複数の画像捕捉デバイスの１つである画像捕捉デバイスは、車両のドライバーの視野（ＦＯＶ）と異なるＦＯＶを有することができ、同じ物体を常に見るわけではない。一例では、画像取得ユニット１２０のＦＯＶは、典型的なドライバーのＦＯＶを超えて拡張することができ、したがってドライバーのＦＯＶ外にある物体を撮像することができる。更に別の例では、画像取得ユニット１２０のＦＯＶは、ドライバーのＦＯＶの一部分である。幾つかの実施形態では、画像取得ユニット１２０のＦＯＶは、車両の先の道路のエリア及び可能な場合には道路の周囲もカバーするセクタに対応する。
画像捕捉デバイスに加えて、車両２００は、システム１００の様々な他の構成要素を含み得る。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）に統合されるか、又はＥＣＵとは別個に車両２００に含まれ得る。車両２００には、ＧＰＳ受信機等の位置センサ１３０を備えることもでき、車両２００は、マップデータベース１６０並びにメモリユニット１４０及び１５０を含むこともできる。
図２Ａは、ここで開示される主題の例による車両撮像システムの概略側面図表現である。図２Ｂは、図２Ａに示される例の概略上面図である。図２Ｂに示されるように、開示される例は、車両２００のバックミラーの近傍及び／又は車両２００のドライバーの近傍に位置する第１の画像捕捉デバイス１２２、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上又はその中に位置する第２の画像捕捉デバイス１２４、及び処理ユニット１１０を有するシステム１００を本体に含む車両２００を含むことができる。
図２Ｃに示されるように、画像捕捉デバイス１２２及び１２４の両方は、車両２００のバックミラーの近傍及び／又はドライバーの近傍に位置決めし得る。更に、２つの画像捕捉デバイス１２２及び１２４が図２Ｂ及び図２Ｃに示されているが、他の実施形態が３つ以上の画像捕捉デバイスを含み得ることを理解されたい。例えば、図２Ｄ及び図２Ｅに示される実施形態では、第１の画像捕捉デバイス１２２、第２の画像捕捉デバイス１２４、及び第３の画像捕捉デバイス１２６が車両２００のシステム１００に含まれる。
図２Ｄに示されるように、画像捕捉デバイス１２２は、車両２００のバックミラーの近傍及び／又はドライバーの近傍に位置決めし得、画像捕捉デバイス１２４及び１２６は、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上に位置決めし得る。また、図２Ｅに示されるように、画像捕捉デバイス１２２、１２４、及び１２６は、車両２００のバックミラーの近傍及び／又はドライバーシートの近傍に位置決めし得る。開示される例は、いかなる特定の数及び構成の画像捕捉デバイスにも限定されず、画像捕捉デバイスは、車両２００内及び／又は車両２００上の任意の適する位置に位置決めし得る。
開示される実施形態が、特定のタイプの車両２００に限定されず、自動車、トラック、トレーラー、自動二輪車、自転車、自己平衡型輸送デバイス、及び他のタイプの車両を含む全てのタイプの車両に適用可能であり得ることも理解される。
第１の画像捕捉デバイス１２２は、任意の適するタイプの画像捕捉デバイスを含むことができる。画像捕捉デバイス１２２は光軸を含むことができる。一例では、画像捕捉デバイス１２２は、グローバルシャッタを有するAptina M9V024 WVGAセンサを含むことができる。別の例では、ローリングシャッタセンサを使用することができる。画像取得ユニット１２０及び画像取得ユニット１２０の一部として実施される任意の画像捕捉デバイスは、任意の所望の画像分解能を有することができる。例えば、画像捕捉デバイス１２２は、分解能１２８０×９６０ピクセルを提供することができ、ローリングシャッタを含むことができる。
画像取得ユニット１２０及び画像取得ユニット１２０の一部として実施される任意の画像捕捉デバイスは、様々な光学要素を含むことができる。幾つかの実施形態では、１枚又は複数枚のレンズを含み、例えば、所望の焦点距離及び視野を画像取得ユニット１２０及び画像取得ユニット１２０の一部として実施される任意の画像捕捉デバイスに提供することができる。幾つかの例では、画像取得ユニット１２０の一部として実施される画像捕捉デバイスは、例えば、６ｍｍレンズ又は１２ｍｍレンズ等の任意の光学要素を含むか又はそれに関連付けることができる。幾つかの例では、画像捕捉デバイス１２２は、図２Ｄに示されるように、所望の視野（ＦＯＶ）２０２を有する画像を捕捉するように構成することができる。
第１の画像捕捉デバイス１２２は、第１の一連の画像走査線のそれぞれの取得に関連付けられた走査レートを有し得る。走査レートとは、画像センサが、特定の走査線に含まれる各ピクセルに関連付けられた画像データを取得することができるレートを指し得る。
図２Ｆは、ここで開示される主題の例による車両制御システムの概略表現である。図２Ｆに示されるように、車両２００は、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０を含むことができる。システム１００は、１つ又は複数のデータリンク（例えば、データを送信するための任意の有線及び／又は無線の１つ又は複数のリンク）を介して入力（例えば、制御信号）をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に提供することができる。例えば、画像捕捉デバイス１２２、１２４、及び／又は１２６により取得された画像の分析に基づいて、システム１００は、車両２００をナビゲートする（例えば、加速、ターン、レーンシフト等を行わせることにより）制御信号をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に提供することができる。更に、システム１００は、車両２００の動作状況（例えば、速度、車両２００がブレーキ及び／又はターン中であるか否か等）を示す入力をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数から受信することができる。
図３Ａに示されるように、車両２００は、車両２００のドライバー又は乗員と対話するユーザインターフェース１７０を含むこともできる。例えば、車両アプリケーション内のユーザインターフェース１７０は、タッチスクリーン３２０、つまみ３３０、ボタン３４０、及びマイクロフォン３５０を含み得る。車両２００のドライバー又は乗員は、ハンドル（例えば、例えば、ウィンカーハンドルを含め、車両２００のステアリングコラム上又はその近傍に配置される）及びボタン（例えば、車両２００のハンドルに配置される）等を使用して、システム１００とインタラクトすることもできる。幾つかの実施形態では、マイクロフォン３５０はバックミラー３１０に隣接して位置決めし得る。同様に、幾つかの実施形態では、画像捕捉デバイス１２２は、バックミラー３１０の近傍に配置し得る。幾つかの実施形態では、ユーザインターフェース１７０は、１つ又は複数のスピーカ３６０（例えば、車両オーディオシステムのスピーカ）を含むこともできる。例えば、システム１００は、スピーカ３６０を介して様々な通知（例えば、アラート）を提供し得る。
図３Ｂ〜図３Ｄは、開示される実施形態による、バックミラー（例えば、バックミラー３１０）の背後に、車両フロントガラスと対向して位置決めされるように構成される例示的なカメラマウント３７０の図である。図３Ｂに示されるように、カメラマウント３７０は、画像捕捉デバイス１２２、１２４、及び１２６を含み得る。画像捕捉デバイス１２４及び１２６は、グレアシールド３８０の背後に位置決めし得、グレアシールド３８０は、フロントガラスに直接接触し得、フィルム及び／又は反射防止材料の組成物を含み得る。例えば、グレアシールド３８０は、一致する傾斜を有するフロントガラスと対向して位置合わせされるように位置決めし得る。幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれは、例えば、図３Ｄに示されるように、グレアシールド３８０の背後に位置決めし得る。開示される実施形態は、画像捕捉デバイス１２２、１２４及び１２６、カメラマウント３７０、並びにグレアシールド３８０のいかなる特定の構成にも限定されない。図３Ｃは、前から見た図３Ｂに示されるカメラマウント３７０の図である。
本開示の恩恵を受ける当業者により理解されるように、上記開示された実施形態に対する多くの変形形態及び／又は変更形態がなされ得る。例えば、全ての構成要素がシステム１００の動作にとって必須であるわけではない。更に、任意の構成要素がシステム１００の任意の適切な部分に配置し得、構成要素は、開示される実施形態の機能を提供しながら、様々な構成に再配置し得る。したがって、上記構成は例であり、上述した構成に関係なく、システム１００は、車両２００の周囲を分析する広範囲の機能を提供することができ、この分析に応答して、車両２００をナビゲート及び／又は他の方法で制御及び／又は操作することができる。車両２００のナビゲーション、制御、及び／又は操作は、車両２００に関連する様々な特徴、構成要素、デバイス、モード、システム、及び／又はサブシステムをイネーブル及び／又はディセーブルすること（直接又は上述したコントローラ等の中間コントローラを介して）を含み得る。ナビゲーション、制御、及び／又は操作は、代替又は追加として、例えば視覚的、聴覚的、触覚的、及び／又は他の感覚アラート及び／又は指示を提供することによる、車両２００の内部又は外部に位置し得るユーザ、ドライバー、乗員、通行人、及び／又は他の車両又はユーザとのインタラクトを含み得る。
更に詳細に後述するように、開示される様々な実施形態により、システム１００は、自律運転、半自律運転、及び／又は運転支援技術に関連する様々な特徴を提供し得る。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳ位置情報）、マップデータ、速度データ、及び／又は車両２００に含まれるセンサからのデータを分析し得る。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、及び他のセンサから分析のためのデータを収集し得る。更に、システム１００は、収集されたデータを分析して、車両２０が特定の動作を取るべきか否かを判断し、次に、人間の介入なく、判断された動作を自動的に取り得る。幾つかの場合、車両が自動的に取る動作は、人間の監督下にあり、機械動作に介入、調整、中止、又はオーバーライドする人間の能力が特定の状況下で又は随時イネーブルされることが理解される。例えば、車両２００が人間の介入なしで走行する場合、システム１００は、車両２００のブレーキ、加速、及び／又は操舵を自動的に制御し得る（例えば、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に制御信号を送信することにより）。更に、システム１００は、収集されたデータを分析し、収集されたデータの分析に基づいて、警告、指示、推奨、アラート、又は命令をドライバー、乗員、ユーザ、又は車両の内部若しくは外部の他の人物（又は他の車両）に発し得る。システム１００により提供される様々な実施形態に関する追加の詳細を以下に提供する。
複数撮像システム
上述したように、システム１００は、単一又は複数カメラシステムを使用する運転支援機能、又は、半若しくは全自律運転機能を提供し得る。マルチカメラシステムは、車両の前方方向を向いた１つ又は複数のカメラを使用し得る。他の実施形態では、マルチカメラシステムは、車両の側部又は車両の後方を向いた１つ又は複数のカメラを含み得る。一実施形態では、例えば、システム１００は２カメラ撮像システムを使用し得、その場合、第１のカメラ及び第２のカメラ（例えば、画像捕捉デバイス１２２及び１２４）は、車両（例えば、車両２００）の前部及び／又は側部に位置決めし得る。第１のカメラは、第２のカメラの視野よりも大きい、小さい、又は部分的に重複する視野を有し得る。更に、第１のカメラは、第１の画像プロセッサに接続されて、第１のカメラにより提供される画像の単眼画像分析を実行し得、第２のカメラは第２の画像プロセッサに接続されて、第２のカメラにより提供される画像の単眼画像分析を実行し得る。第１及び第２の画像プロセッサの出力（例えば、処理された情報）は結合し得る。幾つかの実施形態では、第２の画像プロセッサは、第１のカメラ及び第２のカメラの両方からの画像を受信して、立体分析を実行し得る。別の実施形態では、システム１００は３カメラ撮像システムを使用し得、この場合、各カメラは異なる視野を有する。したがって、そのようなシステムは、車両の前方及び側部の両方の様々な距離にある物体から導出される情報に基づいて判断を下し得る。単眼画像分析との言及は、画像分析が単一視点から（例えば、単一のカメラ）から捕捉される画像に基づいて画像分析が実行される場合を指し得る。立体画像分析は、画像捕捉パラメータのうちの１つ又は複数を変更した状態で捕捉された２つ以上の画像に基づいて画像分析が実行される場合を指し得る。例えば、立体画像分析の実行に適した捕捉画像は、２つ以上の異なる位置から捕捉される画像、異なる視野から捕捉される画像、異なる焦点距離を使用して捕捉される画像、視差情報付きで捕捉される画像等を含み得る。
例えば、一実施形態では、システム１００は、画像捕捉デバイス１２２〜１２６を使用する３カメラ構成を実施し得る。そのような構成では、画像捕捉デバイス１２２は、狭視野（例えば、３４度又は約２０〜４５度の範囲から選択される他の値等）を提供し得、画像捕捉デバイス１２４は、広視野（例えば、１５０度又は約１００〜約１８０度の範囲から選択される他の値）を提供し得、画像捕捉デバイス１２６は、中視野（例えば、４６度又は約３５〜約６０度の範囲から選択される他の値）を提供し得る。幾つかの実施形態では、画像捕捉デバイス１２６は、主又は一次カメラとして動作し得る。画像捕捉デバイス１２２〜１２６は、バックミラー３１０の背後に、実質的に並んで（例えば、６ｃｍ離間）位置決めし得る。更に、幾つかの実施形態では、上述したように、画像捕捉デバイス１２２〜１２６のうちの１つ又は複数は、車両２００のフロントガラスと同一平面のグレアシールド３８０の背後に搭載し得る。そのようなシールドは、車内部からのいかなる反射の画像捕捉デバイス１２２〜１２６への影響も最小にするように動作し得る。
別の実施形態では、図３Ｂ及び図３Ｃに関連して上述したように、広視野カメラ（例えば、上記例では画像捕捉デバイス１２４）は、狭い主視野カメラ（例えば、上記例では画像捕捉デバイス１２２及び１２６）よりも低く搭載し得る。この構成は、広視野カメラからの自由な視線を提供し得る。反射を低減するために、カメラは、車両２００のフロントガラス近くに搭載し得、反射光を弱める偏光器をカメラに含み得る。
３カメラシステムは、特定の性能特徴を提供し得る。例えば、幾つかの実施形態は、あるカメラによる物体の検出を別のカメラからの検出結果に基づいて検証する機能を含み得る。上述した３カメラ構成では、処理ユニット１１０は、例えば、３つの処理デバイス（例えば、上述したように３つのEyeQシリーズのプロセッサチップ）を含み得、各処理デバイスは、画像捕捉デバイス１２２〜１２６のうちの１つ又は複数により捕捉される画像の処理に向けられる。
３カメラシステムでは、第１の処理デバイスは、主カメラ及び狭視野カメラの両方から画像を受信し、狭ＦＯＶカメラ又はカメラのクロッピングされたＦＯＶの処理を実行し得る。幾つかの実施形態では、第１の処理デバイスは、ここで開示される主題の例により、トレーニング済みシステムを使用して、車両の現在位置の先の将来経路を推定するように構成することができる。幾つかの実施形態では、トレーニング済みシステムは、ニューラルネットワーク等のネットワークを含み得る。幾つかの他の実施形態では、トレーニング済みシステムは、例えば、機械学習アルゴリズムを使用するディープラーニングシステムを含み得る。
第１の処理デバイスは、例えば、他の車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出することを意図され得る画像処理タスクを実行するように更に構成することができる。更に、第１の処理デバイスは、主カメラからの画像と狭視野カメラからの画像とのピクセルの不一致を計算し、車両２００の環境の３Ｄ再構築を作成し得る。次に、第１の処理デバイスは、３Ｄ再構築を、３Ｄマップデータ（例えば、深度マップ）又は別のカメラからの情報に基づいて計算される３Ｄ情報と結合し得る。幾つかの実施形態では、第１の処理デバイスは、ここで開示される主題の例により、トレーニング済みシステムを深度情報（例えば、３Ｄマップデータ）に対して使用して、車両の現在位置の先の将来経路を推定するように構成することができる。この実装形態では、システム（例えば、ニューラルネットワーク、ディープラーニングシステム等）は、３Ｄマップデータ等の深度情報でトレーニングすることができる。
第２の処理デバイスは、主カメラから画像を受信し得、視覚処理を実行して、他の車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出するように構成することができる。更に、第２の処理デバイスは、カメラ変位を計算し得、変位に基づいて連続画像間のピクセルの不一致を計算し、シーンの３Ｄ再構築（例えば、ストラクチャーフロムモーション）を作成し得る。第２の処理デバイスは、ストラクチャーフロムモーションに基づく３Ｄ再構築を第１の処理デバイスに送信して、立体３Ｄ画像又は立体処理により得られる深度情報と結合し得る。
第３の処理デバイスは、画像を広ＦＯＶカメラから受信し、画像を処理して、車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。第３の処理デバイスは、追加の処理命令を実行して、画像を分析し、レーン変更中の車両、歩行者等の画像内の移動中の物体を識別し得る。
幾つかの実施形態では、画像に基づく情報ストリームを独立して捕捉させ、処理させることは、システムで冗長性を提供する機会を提供し得る。そのような冗長性は、例えば、第１の画像捕捉デバイス及びそのデバイスから処理された画像を使用して、少なくとも第２の画像捕捉デバイスから画像情報を捕捉し処理することにより得られる情報を検証及び／又は補足し得る。
幾つかの実施形態では、システム１００は、車両２００にナビゲーション支援を提供するに当たり２つの画像捕捉デバイス（例えば、画像捕捉デバイス１２２及び１２４）を使用し得、第３の画像捕捉デバイス（例えば、画像捕捉デバイス１２６）を使用して、冗長性を提供し、他の２つの画像捕捉デバイスから受信されるデータの分析を検証し得る。例えば、そのような構成では、画像捕捉デバイス１２２及び１２４は、車両２００をナビゲートするためのシステム１００による立体分析の画像を提供し得、一方、画像捕捉デバイス１２６は、システム１００による単眼分析に画像を提供して、画像捕捉デバイス１２３及び／又は画像捕捉デバイス１２４から捕捉された画像に基づいて得られる情報の冗長性及び検証を提供し得る。すなわち、画像捕捉デバイス１２６（及び対応する処理デバイス）は、画像捕捉デバイス１２２及び１２４から導出された分析へのチェックを提供する冗長サブシステムを提供する（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供するため）と見なし得る。
上記カメラ構成、カメラ配置、カメラ数、カメラ位置等が単なる例示であることを当業者は認識するであろう。全体システムに対して説明されるこれらの構成要素等は、開示される実施形態の範囲から逸脱せずに、様々な異なる構成で組み立て且つ使用し得る。ドライバー支援及び／又は自律車両機能を提供するためのマルチカメラシステムの使用に関する更なる詳細が以下に続く。
本開示の利益を受ける当業者により理解されるように、上記例に対する多くの変形形態及び／又は変更形態がなされ得る。例えば、全ての構成要素がシステム１００の動作に必須であるわけではない。更に、任意の構成要素がシステム１００の任意の適する部分に位置することができ、構成要素は、開示される実施形態の機能を提供しながら、様々な構成に再配置することができる。したがって、上記構成は例であり、上記構成に関係なく、システム１００は、車両２００の周囲を分析し、分析に応答して、車両２００をナビゲートするか又は車両のユーザにアラートする広範囲の機能を提供することができる。
更に詳細に後述されるように、ここで開示される主題の例によれば、システム１００は、自律運転、半自律運転、及び／又は運転支援技術に関する様々な特徴を提供し得る。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳ位置情報）、マップデータ、速度データ、及び／又は車両２００に含まれるセンサからのデータを分析することができる。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、及び他のセンサから分析のためにデータを収集し得る。更に、システム１００は、収集されたデータを分析して、車両２００が特定の動作を取るべきか否かを判断し、次に、人間の介入なく、判断された動作を自動的に取り得、又は特定の動作を取る必要があることをドライバーに示すことができる警告、アラート、又は指示を提供することができる。自動動作は、人間の監督下で実行することができ、人間の介入及び／又はオーバーライドを受けることができる。例えば、車両２００が人間の介入なしで走行する場合、システム１００は、車両２００のブレーキ、加速、及び／又は操舵を自動的に制御し得る（例えば、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に制御信号を送信することにより）。更に、システム１００は、収集されたデータを分析し、収集されたデータの分析に基づいて警告及び／又はアラートを車両乗員に発することができる。
ここで図４が参照され、図４は、ここで開示される主題の例による、画像を処理して、現在位置において捕捉された画像に基づいて車両の現在位置の先の将来経路を推定することが可能なトレーニング済みシステムを提供する方法のフローチャート図である。画像を処理する方法は、第１の複数のトレーニング画像を取得すること（ブロック４１０）を含むことができ、第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である。幾つかの実施形態では、第１の複数の画像は、道路を走行中の車両の先の環境の画像に限定されず、例えば、車両の片側（両側）の環境及び／又は後方の環境の、道路を走行中の車両の他の側の画像を含むことができる。
第１の複数のトレーニング画像のそれぞれについて、車両のそれぞれの現在位置の先の、車両の予め記憶された経路を取得することができる（ブロック４２０）。ここで図５Ａ〜図５Ｃが更に参照され、図５Ａ〜図５Ｃは、ここで開示される主題の例による、画像を処理して、現在位置において捕捉された画像に基づいて車両の現在位置の先の将来経路を推定することが可能なトレーニング済みシステムを提供する方法の特徴のグラフィカル図である。図５Ａにおいて見ることができるように、車両５１０は道路５２０のセクションに進入しつつある。車両５１０は、画像を捕捉するカメラ（図示せず）を含む。図５Ａでは、画像は、車両５１０に搭載されたカメラのＦＯＶを表す円錐５３０により示される。画像は、カメラのＦＯＶ内の任意の物体を映す。画像は、通常、道路標識、レーンマーク、カーブ、他の車両等の道路物体を含む。更に、現在位置において捕捉された画像に基づいて車両の現在位置の先の将来経路を推定することが可能なトレーニング済みシステムを提供するために画像を処理する方法において使用される画像の少なくとも幾つかは、道路の両側の構造物及び木等の他の任意の物体を含む。
図５Ａ〜図５Ｃに示される例では、車両５１０に搭載されたカメラにより捕捉される画像は、道路５２０を走行中の車両５１０の先の環境の画像である。
図５Ｂ及び図５Ｃに見ることができるように、車両５１０は道路５２０（のセグメント）に沿って走行し、その経路は記録される。車両５１０の経路は、ピン５４１〜５４７で記される。位置５４１〜位置５４７の道路５２０に沿った車両５１０の経路が記録される。したがって、道路５２０を下った、ポイント５４１からの車両の将来経路が利用可能である。車両５１０の特定の位置及び道路の２Ｄ又は３Ｄ形状が任意であり、ここで開示される主題の例が任意の道路上の様々な位置に適用可能であることが理解される。図５Ｃに示されるように、車両５１０が道路５２０に沿って走行するにつれて、カメラは、円錐５５１〜５５４により表される複数の画像を捕捉する。位置５４１〜５４７のそれぞれ又は記録された位置の幾つかのみの１つ又は複数の画像を捕捉することができるが、便宜上、図５Ｃでは、道路５２０に沿った車両５１０の記録された位置のサブセットのみの画像が示されている。
図４の説明を再開すると、システム（例えば、ニューラルネットワーク、ディープラーニングシステム等）は、画像を所与として、車両のそれぞれの現在位置の先の道路を走行する車両の将来経路を提供するようにトレーニングすることができる（ブロック４３０）。システムをトレーニングすること（ブロック４３０）は、入力として第１の複数のトレーニング画像をトレーニング済みシステムに提供すること（ブロック４４０）と、トレーニングの各反復において、トレーニング済みシステムの重みの現在状態によって推定された暫定的なそれぞれの将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること（ブロック４５０）と、損失関数の結果に従ってトレーニング済みシステムの重みを更新すること（ブロック４６０）とを含むことができる。
通常、トレーニングフェーズ中、非常に多数の画像がトレーニング済みシステムに提供され、画像毎に、車両のそれぞれの現在位置の先の、車両の予め記憶された経路が提供される。予め記憶された経路は、画像が捕捉されていた間、車両が走行中であった道路に沿った車両の将来位置を記録することにより取得することができる。別の例では、予め記憶された経路は、道路上の車両の位置を示す、道路内又は道路近傍にある様々な物体を視覚的又はアルゴリズム的に識別することにより、手動で又は画像処理を使用して生成することができる。道路上の車両の位置は、画像が捕捉されたセッション中の道路上の車両の実際の位置であってもよく、又は推定位置若しくは人工的に生成された位置であってもよい。例えば、一例では、画像は数メートル毎又は数十メートル毎に撮影することができ、車両の将来経路は、レーンマークに基づいて又は各画像において技術者が視覚的に識別する任意の他の物体に基づいて、技術者によって輪郭を描くことができる。レーンマークの例では、技術者は、レーンマークが現れる画像に対して、レーンマークからの特定の（例えば、予め定義された）オフセットの場所、例えば、いずれかの側のレーンマークにより区別されるレーンの中央に、将来経路の輪郭を描き得る。
図９及び図１０は、幾つかの開示される実施形態により、トレーニングフェーズ中、例えば、トレーニング済みシステム（例えば、ニューラルネットワーク、ディープラーニングシステム等）を使用して機械学習プロセスに提供し得る画像を示す。図１０は、画像処理又は技術者により検出されたレーンマーク１０１２上のポイント１０１０及びレーンの中央上のポイント１０２０を更に示す。
ここで開示される主題の例による、道路を走行中の車両の先の環境の画像８１０及び車両のエゴモーションを使用してこの画像に記録された、予め記憶された経路８１２を示す図８Ａ、及びここで開示される主題の例による、技術者又はコンピュータビジョンアルゴリズムにより記された、記されたレーンマーク８２２を含む、道路を走行中の車両の先の環境の画像８２０を示す図８Ｂがここで更に参照される。記されたレーンマークに基づく予め記憶された経路を生成し、図８Ｂに示される画像のために予め記憶することができる。車両の現在位置（画像が捕捉された場所の位置）の先の、車両の経路を定義するのに使用することができる、所与の画像での車両のエゴモーショントラックは、後続画像を処理することにより決定することができ、例えば、後続画像は、車が道路の先（例えば、現在位置の前方）を移動し続ける際に捕捉された画像である。
上述したように、トレーニングの各反復において、重みの現在状態によって推定された暫定的なそれぞれの将来経路及びそれぞれの予め記憶された経路に基づいて損失関数が計算される（ブロック４５０）。トレーニング済みシステムの重みは、損失関数の結果に従って更新することができる（ブロック４６０）。ここで図１１Ａ及び図１１Ｂが参照され、図１１Ａ及び図１１Ｂは、ここで開示される主題の例による、トレーニングの特定の態様のグラフィカル図を提供する。図１１Ａでは、トレーニングの反復を示す。図１１Ａでは、予め記憶された経路１１１２は、画像１１１０が捕捉された位置の先の道路上のレーンマークの検出（例えば、技術者による）に基づいて生成された。暫定的な将来経路１１１４がトレーニング済みシステムにより計算され、重みの現在状態によって推定された暫定的なそれぞれの将来経路１１１４及びそれぞれの予め記憶された経路１１１２に基づいて損失関数が計算される。ここで開示される主題の例によれば、損失関数は、例えば、予め記憶された経路１１１２及び暫定的な将来経路１１１４のカメラ焦点距離、カメラの高さ、及び動的水平（dynamic horizon）を使用して、上面図（「現実世界での」）表現を使用し、絶対損失が計算される。損失関数は、現実世界における誤差にメートル単位でペナルティを課すように構成することができる（得点を極端な誤差にフォーカスした）。幾つかの実施形態では、記された物体、例えば、技術者により手動で記されたレーンマークは、ここで開示される主題の例によれば、例えば、高速道路出口を記すために仮想レーンマーク１３１０が追加された図１３に示されるように、分岐合流点、レーンマークが欠けているエリア、マークのない高速道路出口又は合流点等の仮想物体を含むこともできる。
図１１Ｂでは、車両のエゴモーションと、１１２０画像が捕捉された位置の（この場合には）先の道路に沿った後続経路とに基づいて、予め記憶された経路１１２２を生成した。ここで開示される主題の例によれば、エゴモーションに基づく予め記憶された経路データでは、予め記憶された経路１１２２と、トレーニング済みシステムにより提供される暫定的な将来経路１１２４との間の最適なオフセットを決定することができ、最適なオフセットによる補正後、損失関数を計算することができる。
ここで開示される主題の例によれば、システムのトレーニングは、停止条件が満たされるまで実行することができる。幾つかの実施形態では、停止条件は特定の反復回数であり得る。例えば、第１の複数のトレーニング画像は、道路上に比較的希に現れる環境のより多数の画像、例えば、カーブした道路を含む環境の画像を含むことができる。別の例では、第１の複数のトレーニング画像は、レーン分割、レーン統合、高速道路出口、高速道路入口、及び／又は分岐合流点を含む環境の比較的より多数の画像を含む。更に別の例では、第１の複数のトレーニング画像は、車両の先の道路上に、レーンマーク、ボッツドッツ、及び／又は影が少ない環境、又はそれらを含まない環境の比較的より多数の画像を含むことができる。
ここで開示される主題の更なる態様によれば、車両の現在位置の先の将来経路を推定するシステム及び方法が提供される。ここで図７が参照され、図７は、ここで開示される主題の例による、車両の現在位置の先の将来経路を推定する方法のフローチャート図である。方法はプロセッサにより実施し得る。ここで開示される主題の例によれば、車両の現在位置の先の将来経路を推定する方法は、道路を走行中の車両の任意の現在位置の先の環境の画像を取得すること（ブロック７１０）を含むことができる。道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたシステムを取得することができる（ブロック７２０）。幾つかの実施形態では、トレーニング済みシステムは、ニューラルネットワーク等のネットワークを含み得る。他の実施形態では、トレーニング済みシステムは、例えば、機械学習アルゴリズムを使用するディープラーニングシステムであり得る。トレーニング済みシステムは、車両の任意の現在位置の先の環境の画像に適用することができる（ブロック７３０）。トレーニング済みシステムにより、任意の現在位置の先の車両の推定将来経路を提供することができる（ブロック７４０）。
ここで図６が参照され、図６は、ここで開示される主題の例による、車両の現在位置の先の将来経路を推定する方法の特定の態様のグラフィカル図である。図６に示されるように、車両６１０は道路６２０のセクションに進入しつつある。道路６２０は任意の道路であり、道路６２０からの画像は、システム（例えば、ニューラルネットワーク、ディープラーニング等）のトレーニングに使用されていてもよく、又は使用されていなくてもよい。車両６１０は、画像を捕捉するカメラ（図示せず）を含む。車両６２０に搭載されたカメラにより捕捉された画像は、トレーニング済みシステムに供給される前にクロッピング又は任意の他の方法で処理（例えば、ダウンサンプリング）されてもよく、又はされなくてもよい。図６では、画像は、車両６１０に搭載されたカメラのＦＯＶを表す円錐６３０により示されている。画像は、カメラのＦＯＶ内の任意の物体を映す。画像は、道路標識、レーンマーク、カーブ、他の車両等の道路物体を含むことができるが、必ずしもそれを含む必要があるわけではない。画像は、道路の両側の構造物及び木等の他の任意の物体を含むことができる。
トレーニング済みシステムは、車両６１０の任意の現在位置の先の環境の画像６３０に適用することができ、任意の現在位置の先の、車両６１０の推定将来経路を提供することができる。図６では、推定将来経路はピン６４１〜６４７で示される。図１２Ａ〜図１２Ｄは、開示される実施形態による推定将来経路１２１０〜１２４０を含む画像を更に示す。
幾つかの実施形態では、トレーニング済みシステムは、グローバル関数の区分アフィン関数を含むことができる。幾つかの実施形態では、グローバル関数は、畳み込み、最大プーリング、及び／又は正規化線形関数（ＲｅＬＵ）を含むことができる。
幾つかの実施形態では、方法は、車両の現在位置の先の推定将来経路を利用して、車両の少なくとも１つの移動パラメータを変更するように車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含み得る。幾つかの実施形態では、方法は、車両の現在位置の先の推定将来経路を利用して、車両のドライバーに感覚フィードバックを提供することを更に含み得る。
幾つかの実施形態では、現在位置の先の車両の推定将来経路は、少なくとも１つの分類器を使用して、環境の画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づくことができる。
方法は、車両の現在位置の先の推定将来経路を利用して、車両の操舵制御機能の制御点を提供することを更に含み得る。
幾つかの実施形態では、トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の車両の２つ以上の推定将来経路を提供する。
幾つかの実施形態では、方法は、車両の現在位置の先の道路プロファイルを推定するに当たり、車両の現在位置の先の推定将来経路を利用することを更に含み得る。
幾つかの実施形態では、トレーニング済みシステムを車両の現在位置の先の環境の画像に適用することは、現在位置の先の、車両の２つ以上の推定将来経路を提供し、且つ現在位置の先の、車両の２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含み得る。
幾つかの実施形態では、方法は、車両の将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、車両の現在位置の先の推定将来経路を利用することを更に含み得る。
幾つかの実施形態では、方法は、車両の将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、車両の少なくとも１つの移動パラメータを車両の少なくとも１つの電子ユニット又は機械ユニットに変更させることを更に含み得る。
幾つかの実施形態では、方法は、１つ又は複数の車両が対象車両の将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーすることを更に含み得る。
幾つかの実施形態では、画像に基づいて車両の将来経路を推定するようにシステム（例えば、ニューラルネットワーク、ディープラーニングシステム等）をトレーニングするために、道路を走行中の車両の先の環境の画像を処理し、及び／又はトレーニング済みシステムを使用して、道路を走行中の車両の先の環境の画像を処理して車両の将来経路を推定することに加えて、信頼度がトレーニングフェーズで提供され得、又はトレーニング済みシステムを使用するナビゲーションフェーズで使用され得る。ホリスティックパス予測（ＨＰＰ）信頼度は、ＨＰＰのニューラルネットワークと同様に、ニューラルネットワーク等のトレーニング済みシステムにより作成される出力である。この概念は、同じ画像での別の分類器の誤差を推測しようとする分類器を生成し得る。これを実施する一方法は、あるトレーニングシステム（例えば、第１のニューラルネットワーク）を使用して、使用済み出力（例えば、レーンの位置、レーンの中心、又は予測された将来経路）を与え、同じ入力データ（又はそのデータのサブセット、又はそのデータから抽出された特徴）を使用して、その画像での第１のトレーニング済みシステムの誤差を推定する（例えば、第１のトレーニング済みシステムの予測の絶対平均損失を推定する）ように別のシステム（例えば、第２のニューラルネットワーク）をトレーニングすることである。
上記説明は、例示を目的として提示されている。上記説明は網羅的ではなく、開示される厳密な形態又は実施形態に限定されない。変更形態及び適合形態は、本明細書を考慮し、開示される実施形態を実施することから当業者に明らかになるであろう。更に、開示される実施形態の態様は、メモリに記憶されるものとして記載されるが、これらの態様が、補助記憶装置等の他のタイプのコンピュータ可読媒体、例えば、ハードディスク若しくはＣＤ ＲＯＭ又は他の形態のＲＡＭ若しくはＲＯＭ、ＵＳＢメディア、ＤＶＤ、Blu-ray、４Ｋ超ＨＤ Blu-ray、又は他の光学駆動媒体に記憶することも可能であることを当業者は理解するであろう。
記載の説明及び開示される方法に基づくコンピュータプログラムは、経験のある開発者の技能内にある。様々なプログラム又はプログラムモジュールは、当業者に既知の任意の技法を使用して作成することができるか、又は既存のソフトウェアに関連して設計することができる。例えば、プログラムセクション又はプログラムモジュールは、.Net Framework、.Net Compact Framework（及びVisual Basic（登録商標）、Ｃ等の関連する言語）、Java（登録商標）、Ｃ＋＋、Objective-C、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸ組み合わせ、ＸＭＬ、又はJavaアプレットを包含したＨＴＭＬにおいて又はそれにより設計することができる。
更に、例示的な実施形態を本明細書において説明したが、あらゆる実施形態の範囲は、本開示に基づいて当業者により理解されるような均等な要素、変更形態、省略形態、組合せ（例えば、様々な実施形態にわたる態様の）、適合形態、及び／又は代替形態を有する。特許請求の範囲での限定は、特許請求の範囲に利用される言語に基づいて広く解釈されるべきであり、本明細書に記載される例又は本願の実行中の例に限定されない。例は、非排他的として解釈されるべきである。更に、開示される方法のステップは、ステップの順序替え及び／又はステップの挿入又は削除を含め、任意の方法で変更し得る。したがって、本明細書及び例が単なる例示として見なされることが意図され、真の範囲及び趣旨は、以下の特許請求の範囲及びその全範囲の均等物により示される。

Claims (43)

  1. 車両の現在位置の先の将来経路を推定するシステムであって、少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、
    道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、
    道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、
    前記トレーニング済みシステムを前記車両の前記任意の現在位置の先の前記環境の前記画像に適用することと、
    前記トレーニング済みシステムの前記画像への適用に基づいて、前記任意の現在位置の先の、前記車両の推定将来経路を提供することと
    を行うようにプログラムされる、システム。
  2. 前記トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む、請求項１に記載のシステム。
  3. 前記グローバル関数は、畳み込み、最大プーリング、又は正規化線形関数を含む、請求項２に記載のシステム。
  4. 前記少なくとも１つのプロセッサは、前記車両の前記現在位置の先の前記推定将来経路を利用して、前記車両の少なくとも１つの移動パラメータを変更するように前記車両の少なくとも１つの電子ユニット又は機械ユニットを制御するように更にプログラムされる、請求項２に記載のシステム。
  5. 前記少なくとも１つのプロセッサは、前記車両の前記現在位置の先の前記推定将来経路を利用して、前記車両のドライバーに感覚フィードバックを提供するように更にプログラムされる、請求項２に記載のシステム。
  6. 前記現在位置の先の、前記車両の前記推定将来経路は、少なくとも１つの分類器を使用して、前記環境の前記画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づく、請求項１に記載のシステム。
  7. 前記少なくとも１つのプロセッサは、前記車両の前記現在位置の先の前記推定将来経路を利用して、前記車両の操舵制御機能の制御点を提供するように更にプログラムされる、請求項１に記載のシステム。
  8. 前記トレーニング済みシステムを前記車両の前記現在位置の先の前記環境の前記画像に適用することは、前記現在位置の先の、前記車両の２つ以上の推定将来経路を提供する、請求項１に記載のシステム。
  9. 前記少なくとも１つのプロセッサは、前記車両の前記現在位置の先の道路プロファイルを推定するに当たり、前記車両の前記現在位置の先の前記推定将来経路を利用するように更にプログラムされる、請求項１に記載のシステム。
  10. 前記トレーニング済みシステムを前記車両の前記現在位置の先の前記環境の前記画像に適用することは、前記現在位置の先の、前記車両の２つ以上の推定将来経路を提供し、且つ前記現在位置の先の、前記車両の前記２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含む、請求項１に記載のシステム。
  11. 前記少なくとも１つのプロセッサは、前記車両の前記将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、前記車両の前記現在位置の先の前記推定将来経路を利用するように更にプログラムされる、請求項１に記載のシステム。
  12. 前記少なくとも１つのプロセッサは、前記車両の前記将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、前記車両の少なくとも１つの移動パラメータを前記車両の少なくとも１つの電子ユニット又は機械ユニットに変更させるように更にプログラムされる、請求項１１に記載のシステム。
  13. 前記少なくとも１つのプロセッサは、１つ又は複数の車両が前記車両の前記将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーするように更にプログラムされる、請求項１１に記載のシステム。
  14. 画像を処理する方法であって、
    第１の複数のトレーニング画像を取得することであって、前記第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である、取得することと、
    前記第１の複数のトレーニング画像のそれぞれの１つについて、前記車両のそれぞれの現在位置の先の、前記車両の予め記憶された経路を取得することと、
    画像を所与として、前記車両のそれぞれの現在位置の先の道路を走行中の車両の将来経路を提供するようにシステムをトレーニングすることであって、前記システムをトレーニングすることは、
    トレーニング済みシステムへの入力として前記第１の複数のトレーニング画像を提供すること、
    前記トレーニングの各反復において、前記トレーニング済みシステムの重みの現在状態によって推定されたそれぞれの暫定的な将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること、及び
    前記損失関数の結果に従って前記トレーニング済みシステムの前記重みを更新すること
    を含む、トレーニングすることと
    を含む、方法。
  15. 前記第１の複数のトレーニング画像を取得することは、前記第１の複数のトレーニング画像からの前記画像のそれぞれの１つについて、前記画像が捕捉された瞬間における前記道路上の前記車両の位置を示すデータを取得することを更に含む、請求項１４に記載の方法。
  16. 前記第１の複数のトレーニング画像を取得することは、前記第１の複数のトレーニング画像からの少なくとも１つの画像における少なくとも１つのレーンマークの位置を取得することを含み、前記第１の複数のトレーニング画像からの前記画像のそれぞれの１つについて、前記画像が捕捉された瞬間のおける前記道路上の前記車両の前記位置を示すデータを取得することは、前記第１の複数のトレーニング画像からの前記少なくとも１つの画像について、前記少なくとも１つの画像における前記少なくとも１つのレーンマークの位置に従って、前記少なくとも１つの画像が捕捉された瞬間における前記道路上の前記車両の前記位置を特定することを含む、請求項１５に記載の方法。
  17. 前記少なくとも１つの画像における前記少なくとも１つのレーンマークの位置に従って、前記第１の複数のトレーニング画像からの前記少なくとも１つの画像が捕捉された瞬間における前記道路上の前記車両の前記位置を特定することは、前記少なくとも１つのレーンマークの前記位置からの予め定義されたオフセットにおける前記道路上の前記車両の前記位置を特定することを含む、請求項１６に記載の方法。
  18. 前記車両の前記それぞれの現在位置の先の、前記車両の前記予め記憶された経路は、それぞれの第２の複数のトレーニング画像が捕捉されたそれぞれの瞬間における前記道路上の前記車両の位置に基づいて特定され、前記第２の複数のトレーニング画像は、前記現在位置に関連する前記画像に続けて捕捉された、前記第１の複数のトレーニング画像からの画像である、請求項１５に記載の方法。
  19. 前記システムをトレーニングすることは、複数の反復を含み、且つ停止条件が満たされるまで実行される、請求項１４に記載の方法。
  20. 道路を走行中の車両の先の環境の任意の入力画像を所与として、前記車両の将来経路推定を提供するように構成されるトレーニング済みシステムを出力として提供することを更に含む、請求項１４に記載の方法。
  21. 前記第１の複数のトレーニング画像は、道路上に比較的希に現れる環境の比較的より多数の画像を含む、請求項１４に記載の方法。
  22. 前記第１の複数のトレーニング画像は、カーブした道路を含む環境の比較的より多数の画像を含む、請求項２１に記載の方法。
  23. 前記第１の複数のトレーニング画像は、レーン分割、レーン統合、高速道路出口、高速道路入口、及び／又は分岐合流点を含む環境の比較的より多数の画像を含む、請求項２１に記載の方法。
  24. 前記第１の複数のトレーニング画像は、前記車両の先の道路上にレーンマーク、ボッツドッツ、及び／又は影が少ない環境、又はそれらを含まない環境の比較的より多数の画像を含む、請求項２１に記載の方法。
  25. 前記停止条件は、予め定義された数の反復である、請求項１９に記載の方法。
  26. 前記トレーニング済みシステムは、ニューラルネットワークを含む、請求項１４に記載の方法。
  27. 車両の現在位置の先の将来経路を推定する方法であって、
    道路を走行中の車両の任意の現在位置の先の環境の画像を取得することと、
    道路を走行中の車両の先の環境の第１の複数の画像上で将来経路を推定するようにトレーニングされたトレーニング済みシステムを取得することと、
    前記トレーニング済みシステムを前記車両の前記任意の現在位置の先の前記環境の前記画像に適用することと、
    前記トレーニング済みシステムの前記画像への前記適用に基づいて、前記任意の現在位置の先の、前記車両の推定将来経路を提供することと
    を含む、方法。
  28. 前記トレーニング済みシステムは、グローバル関数の区分アフィン関数を含む、請求項２７に記載の方法。
  29. 前記グローバル関数は、畳み込み、最大プーリング、又は正規化線形関数を含む、請求項２８に記載の方法。
  30. 前記車両の前記現在位置の先の前記推定将来経路を利用して、前記車両の少なくとも１つの移動パラメータを変更するように前記車両の少なくとも１つの電子ユニット又は機械ユニットを制御することを更に含む、請求項２８に記載の方法。
  31. 前記車両の前記現在位置の先の前記推定将来経路を利用して、前記車両のドライバーに感覚フィードバックを提供することを更に含む、請求項２８に記載の方法。
  32. 前記現在位置の先の、前記車両の前記推定将来経路は、少なくとも１つの分類器を使用して、前記環境の前記画像に現れる１つ又は複数の予め定義された物体を識別することに更に基づく、請求項２７に記載の方法。
  33. 前記車両の前記現在位置の先の前記推定将来経路を利用して、前記車両の操舵制御機能の制御点を提供することを更に含む、請求項２７に記載の方法。
  34. 前記トレーニング済みシステムを前記車両の前記現在位置の先の前記環境の前記画像に適用することは、前記現在位置の先の、前記車両の２つ以上の推定将来経路を提供する、請求項２７に記載の方法。
  35. 前記車両の前記現在位置の先の道路プロファイルを推定するに当たり、前記車両の前記現在位置の先の前記推定将来経路を利用することを更に含む、請求項２７に記載の方法。
  36. 前記トレーニング済みシステムを前記車両の前記現在位置の先の前記環境の前記画像に適用することは、前記現在位置の先の、前記車両の２つ以上の推定将来経路を提供し、且つ前記現在位置の先の、前記車両の前記２つ以上の推定将来経路のそれぞれの１つに沿った道路プロファイルを推定することを更に含む、請求項２７に記載の方法。
  37. 前記車両の前記将来経路又はその近傍に位置する１つ又は複数の車両を検出するに当たり、前記車両の前記現在位置の先の前記推定将来経路を利用することを更に含む、請求項２７に記載の方法。
  38. 前記車両の前記将来経路又はその近傍にあると特定された１つ又は複数の車両の位置に基づいて、前記車両の少なくとも１つの移動パラメータを前記車両の少なくとも１つの電子ユニット又は機械ユニットに変更させることを更に含む、請求項３７に記載の方法。
  39. １つ又は複数の車両が前記車両の前記将来経路又はその近傍にあると判断されることをユーザに示す感覚アラートをトリガーすることを更に含む、請求項３７に記載の方法。
  40. 画像を処理する装置であって、
    少なくとも１つのプロセッサ
    を含み、前記少なくとも１つのプロセッサは、
    第１の複数のトレーニング画像を取得することであって、前記第１の複数のトレーニング画像のそれぞれの１つは、道路を走行中の車両の先の環境の画像である、取得することと、
    前記第１の複数のトレーニング画像のそれぞれの１つについて、前記車両のそれぞれの現在位置の先の、前記車両の予め記憶された経路を取得することと、
    画像を所与として、前記車両のそれぞれの現在位置の先の道路を走行中の車両の将来経路を提供するようにシステムをトレーニングすることであって、前記システムをトレーニングすることは、
    トレーニング済みシステムへの入力として前記第１の複数のトレーニング画像を提供すること、
    前記トレーニングの各反復において、重みの現在状態によって推定されたそれぞれの暫定的な将来経路及びそれぞれの予め記憶された経路に基づいて損失関数を計算すること、及び
    前記損失関数の結果に従って前記トレーニング済みシステムの前記重みを更新すること
    を含む、トレーニングすることと
    を行うようにプログラムされる、装置。
  41. 前記第１の複数のトレーニング画像を取得することは、前記第１の複数のトレーニング画像からの前記画像のそれぞれの１つについて、前記画像が捕捉された瞬間における前記道路上の前記車両の位置を示すデータを取得することを更に含む、請求項４０に記載の装置。
  42. 前記第１の複数のトレーニング画像を取得することは、前記第１の複数のトレーニング画像からの少なくとも１つの画像における少なくとも１つのレーンマークの位置を取得することを含み、前記第１の複数のトレーニング画像からの前記画像のそれぞれの１つについて、前記画像が捕捉された瞬間における前記道路上の前記車両の前記位置を示すデータを取得することは、前記第１の複数のトレーニング画像からの前記少なくとも１つの画像について、前記少なくとも１つの画像における前記少なくとも１つのレーンマークの位置に従って、前記少なくとも１つの画像が捕捉された瞬間における前記道路上の前記車両の前記位置を特定することを含む、請求項４１に記載の装置。
  43. 前記トレーニング済みシステムは、ニューラルネットワークを含む、請求項４０に記載の装置。
JP2018530622A 2016-01-05 2017-01-05 将来経路を推定するシステム及び方法 Active JP7052174B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662275046P 2016-01-05 2016-01-05
US62/275,046 2016-01-05
US201662373153P 2016-08-10 2016-08-10
US62/373,153 2016-08-10
PCT/IB2017/000038 WO2017118907A1 (en) 2016-01-05 2017-01-05 Systems and methods for estimating future paths

Publications (3)

Publication Number Publication Date
JP2019509534A true JP2019509534A (ja) 2019-04-04
JP2019509534A5 JP2019509534A5 (ja) 2020-02-13
JP7052174B2 JP7052174B2 (ja) 2022-04-12

Family

ID=58231654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018530622A Active JP7052174B2 (ja) 2016-01-05 2017-01-05 将来経路を推定するシステム及び方法

Country Status (5)

Country Link
US (2) US11023788B2 (ja)
EP (2) EP3400556A1 (ja)
JP (1) JP7052174B2 (ja)
CN (2) CN114612877A (ja)
WO (1) WO2017118907A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019124539A (ja) * 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836895B1 (en) 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
CN106080590B (zh) * 2016-06-12 2018-04-03 百度在线网络技术（北京）有限公司 车辆控制方法和装置以及决策模型的获取方法和装置
US10176388B1 (en) 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10353390B2 (en) 2017-03-01 2019-07-16 Zoox, Inc. Trajectory generation and execution architecture
KR101878490B1 (ko) * 2017-03-10 2018-07-13 만도헬라일렉트로닉스(주) 차선 인식 시스템 및 방법
US10424079B2 (en) * 2017-04-05 2019-09-24 Here Global B.V. Unsupervised approach to environment mapping at night using monocular vision
JP6673293B2 (ja) * 2017-05-24 2020-03-25 トヨタ自動車株式会社 車両システム
US10621448B2 (en) 2017-08-02 2020-04-14 Wing Aviation Llc Systems and methods for determining path confidence for unmanned vehicles
US10987984B2 (en) * 2017-09-25 2021-04-27 Continental Automotive Systems, Inc. Automated trailer hitching using image coordinates
WO2019088318A1 (ko) * 2017-11-02 2019-05-09 엘지전자 주식회사 주행 시스템 및 차량
WO2019094843A1 (en) * 2017-11-10 2019-05-16 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US20190208136A1 (en) * 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing
DE102018100909A1 (de) * 2018-01-17 2019-07-18 Connaught Electronics Ltd. Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
CN111566441B (zh) * 2018-04-18 2022-08-09 移动眼视力科技有限公司 利用相机进行车辆环境建模
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
JP6697522B2 (ja) * 2018-09-28 2020-05-20 株式会社Ｓｕｂａｒｕ 区画線認識装置
US10800412B2 (en) * 2018-10-12 2020-10-13 GM Global Technology Operations LLC System and method for autonomous control of a path of a vehicle
US11636681B2 (en) * 2018-11-21 2023-04-25 Meta Platforms, Inc. Anticipating future video based on present video
JP7241517B2 (ja) * 2018-12-04 2023-03-17 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム
DE102018221054B4 (de) 2018-12-05 2020-12-10 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen von Kartendaten in einem Kraftfahrzeug, Kraftfahrzeug und zentrale Datenverarbeitungseinrichtung
US11216000B2 (en) 2019-01-17 2022-01-04 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for estimating lane prediction errors for lane segments
US10933880B2 (en) 2019-01-17 2021-03-02 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing lane curvature estimates
US11188766B2 (en) * 2019-02-05 2021-11-30 Honda Motor Co., Ltd. System and method for providing context aware road-user importance estimation
CN110349119B (zh) * 2019-05-27 2020-05-19 北京邮电大学 基于边缘检测神经网络的路面病害检测方法和装置
CN110450718A (zh) * 2019-08-27 2019-11-15 广州小鹏汽车科技有限公司 斜坡驾驶的辅助监视方法、装置、介质、控制终端及汽车
CN110794844B (zh) * 2019-11-18 2023-03-21 北京百度网讯科技有限公司 自动驾驶方法、装置、电子设备及可读存储介质
DE102020105711A1 (de) * 2020-03-03 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem
US11390286B2 (en) * 2020-03-04 2022-07-19 GM Global Technology Operations LLC System and process for end to end prediction of lane detection uncertainty
US11004233B1 (en) * 2020-05-01 2021-05-11 Ynjiun Paul Wang Intelligent vision-based detection and ranging system and method
CN113942524B (zh) * 2020-07-15 2023-08-08 广州汽车集团股份有限公司 一种车辆行驶控制方法、系统及计算机可读存储介质
DE102020210376A1 (de) * 2020-08-14 2022-02-17 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Hardware-Agenten in einer Steuersituation mit mehreren Hardware-Agenten
US11817000B2 (en) * 2020-12-10 2023-11-14 Rockwell Collins, Inc. System and method to reduce runway occupancy time using pseudo threshold
DE102021102526A1 (de) * 2021-02-03 2022-08-04 Ford Global Technologies, Llc Festlegen einer Schlaglöchern ausweichenden Trajektorie eines Kraftfahrzeuges
US20220412756A1 (en) * 2021-06-25 2022-12-29 Toyota Jidosha Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN114636417B (zh) * 2022-05-23 2022-09-02 珠海翔翼航空技术有限公司 基于图像识别的飞行器迫降路径规划方法、系统和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069598A (ja) * 1996-08-29 1998-03-10 Fuji Heavy Ind Ltd 車両の衝突防止装置
US20100098295A1 (en) * 2008-04-24 2010-04-22 Gm Global Technology Operations, Inc. Clear path detection through road modeling
JP2013190936A (ja) * 2012-03-13 2013-09-26 Toyota Motor Corp 車両の運転支援システム
JP2015140181A (ja) * 2014-01-29 2015-08-03 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 衝突確信度に基づいてブレーキ介入を最小限にするための方法

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4967362A (en) * 1989-01-30 1990-10-30 Eaton Corporation Automatic steering apparatus for crop vehicle
US6720560B1 (en) * 1999-12-30 2004-04-13 Eastman Kodak Company Method and apparatus for scanning images
US6539303B2 (en) * 2000-12-08 2003-03-25 Mcclure John A. GPS derived swathing guidance system
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
US7116833B2 (en) * 2002-12-23 2006-10-03 Eastman Kodak Company Method of transmitting selected regions of interest of digital video data at selected resolutions
AU2003300514A1 (en) * 2003-12-01 2005-06-24 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
US7792190B2 (en) * 2004-09-09 2010-09-07 Media Tek Singapore Pte Ltd. Inserting a high resolution still image into a lower resolution video stream
US7664584B2 (en) * 2005-03-01 2010-02-16 Nissan Motor Co., Ltd. Steering control system
JP4715351B2 (ja) * 2005-07-19 2011-07-06 株式会社デンソー ステアリング制御システム
US7972045B2 (en) * 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
US8311730B2 (en) * 2006-11-29 2012-11-13 Neff Ryan A Vehicle position determination system
US8532862B2 (en) * 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
CN101408772B (zh) * 2008-11-21 2010-09-08 哈尔滨工程大学 Auv智能避碰方法
US8775063B2 (en) * 2009-01-26 2014-07-08 GM Global Technology Operations LLC System and method of lane path estimation using sensor fusion
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US20100228427A1 (en) * 2009-03-05 2010-09-09 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
US8190330B2 (en) * 2009-03-06 2012-05-29 GM Global Technology Operations LLC Model based predictive control for automated lane centering/changing control systems
EP2430615A2 (en) * 2009-05-08 2012-03-21 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US8773535B2 (en) * 2010-12-08 2014-07-08 GM Global Technology Operations LLC Adaptation for clear path detection using reliable local model updating
US8681222B2 (en) * 2010-12-08 2014-03-25 GM Global Technology Operations LLC Adaptation for clear path detection with additional classifiers
US9002591B2 (en) * 2011-02-18 2015-04-07 Cnh Industrial America Llc Harvester spout control system and method
TWI438729B (zh) * 2011-11-16 2014-05-21 Ind Tech Res Inst 車道偏移警示方法及系統
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
CN102609765A (zh) * 2012-03-22 2012-07-25 北京工业大学 基于多项式及rbf神经网络的智能车辆换道路径规划方法
US9168924B2 (en) * 2012-03-26 2015-10-27 GM Global Technology Operations LLC System diagnosis in autonomous driving
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
US9080886B1 (en) * 2012-08-03 2015-07-14 Robotic Research, Llc System and method for urban mapping and positioning
US9349058B2 (en) * 2012-10-31 2016-05-24 Tk Holdings, Inc. Vehicular path sensing system and method
US9165196B2 (en) * 2012-11-16 2015-10-20 Intel Corporation Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
WO2014115139A1 (en) * 2013-01-23 2014-07-31 Iatas (Automatic Air Traffic Control) Ltd System and methods for automated airport air traffic control services
DE102013101639A1 (de) * 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9313383B2 (en) * 2013-03-15 2016-04-12 Lockmasters Security Institute, Inc. System, device and method for capturing an image of multiple views of an object
US9269136B2 (en) * 2013-03-15 2016-02-23 Lockmasters Security Institute, Inc. Apparatus and methods for replicating a key from an image depicting the key
US8972103B2 (en) * 2013-03-19 2015-03-03 Ford Global Technologies, Llc Method of building and using local map of vehicle drive path
CN103198320A (zh) * 2013-04-24 2013-07-10 厦门大学 一种自适应视觉辅助驾驶装置
CN103279759B (zh) * 2013-06-09 2016-06-01 大连理工大学 一种基于卷积神经网络的车辆前方可通行性分析方法
US8818681B1 (en) * 2013-07-24 2014-08-26 Google Inc. Detecting and responding to tailgaters
US20150187224A1 (en) * 2013-10-15 2015-07-02 Mbfarr, Llc Driving assessment and training method and apparatus
US20150104757A1 (en) * 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
JP5919243B2 (ja) * 2013-10-18 2016-05-18 本田技研工業株式会社 運転訓練装置及び運転訓練方法
CA2927096C (en) * 2013-10-26 2023-02-28 Amazon Technologies, Inc. Unmanned aerial vehicle delivery system
US9234757B2 (en) * 2013-11-29 2016-01-12 Fedex Corporate Services, Inc. Determining node location using a variable power characteristic of a node in a wireless node network
CN103699124A (zh) * 2013-12-04 2014-04-02 北京工业大学 一种用于全向智能轮椅避障的模糊神经网络控制方法
US9150246B2 (en) * 2013-12-06 2015-10-06 GM Global Technology Operations LLC Algorithm for steering angle command to torque command conversion
DE112013007674B4 (de) * 2013-12-06 2022-11-03 GM Global Technology Operations LLC Vorwarnung bei Überschreiten eines Grenzwertes für ein Lenkdrehmoment eines LCC
US20150166059A1 (en) * 2013-12-18 2015-06-18 Automotive Research & Testing Center Autonomous vehicle driving support system and autonomous driving method performed by the same
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
KR20150087619A (ko) * 2014-01-22 2015-07-30 한국전자통신연구원 증강 현실 기반의 차로 변경 안내 장치 및 방법
EP3108264A2 (en) * 2014-02-20 2016-12-28 Mobileye Vision Technologies Ltd. Advanced driver assistance system based on radar-cued visual imaging
US20150254738A1 (en) * 2014-03-05 2015-09-10 TerrAvion, LLC Systems and methods for aerial imaging and analysis
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
EP2950294B1 (en) * 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis
AU2015339673A1 (en) * 2014-10-31 2017-06-15 Polaris Industries Inc. System and method for controlling a vehicle
EP3018026B1 (en) * 2014-11-06 2019-05-15 Veoneer Sweden AB Method for vehicle path prediction
JP6046190B2 (ja) * 2015-03-31 2016-12-14 本田技研工業株式会社 運転支援装置
DE102015208429A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen
EP4030378A1 (en) * 2015-05-10 2022-07-20 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US9811743B2 (en) * 2015-06-29 2017-11-07 Sharp Laboratories Of America, Inc. Tracking road boundaries
SE539097C2 (en) * 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for avoiding collision with vulnerable road users
US10019907B2 (en) * 2015-09-11 2018-07-10 Qualcomm Incorporated Unmanned aerial vehicle obstacle detection and avoidance
US20170160744A1 (en) * 2015-12-08 2017-06-08 Delphi Technologies, Inc. Lane Extension Of Lane-Keeping System By Ranging-Sensor For Automated Vehicle
DE102015225241A1 (de) * 2015-12-15 2017-06-22 Volkswagen Aktiengesellschaft Verfahren und System zur automatischen Steuerung eines Folgefahrzeugs mit einem Vorderfahrzeug
US10800455B2 (en) * 2015-12-17 2020-10-13 Ford Global Technologies, Llc Vehicle turn signal detection
JP6327719B2 (ja) * 2016-02-04 2018-05-23 株式会社Ｓｕｂａｒｕ 車両の走行制御装置
US20170313439A1 (en) * 2016-04-29 2017-11-02 Jordan Holt Methods and syststems for obstruction detection during autonomous unmanned aerial vehicle landings
US10370102B2 (en) * 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle
US10114373B2 (en) * 2016-05-17 2018-10-30 Telenav, Inc. Navigation system with trajectory calculation mechanism and method of operation thereof
US10248124B2 (en) * 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US9940729B1 (en) * 2016-11-18 2018-04-10 Here Global B.V. Detection of invariant features for localization
US20180150718A1 (en) * 2016-11-30 2018-05-31 Gopro, Inc. Vision-based navigation system
WO2018132605A1 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Determining a road surface characteristic
CN108303103B (zh) * 2017-02-07 2020-02-07 腾讯科技（深圳）有限公司 目标车道的确定方法和装置
US10338594B2 (en) * 2017-03-13 2019-07-02 Nio Usa, Inc. Navigation of autonomous vehicles to enhance safety under one or more fault conditions
WO2018172849A1 (en) * 2017-03-20 2018-09-27 Mobileye Vision Technologies Ltd. Trajectory selection for an autonomous vehicle
US10424079B2 (en) * 2017-04-05 2019-09-24 Here Global B.V. Unsupervised approach to environment mapping at night using monocular vision
US10589739B2 (en) * 2017-04-13 2020-03-17 GM Global Technology Operations LLC Automated driving commands interpretation for stability control
US10186156B2 (en) * 2017-05-25 2019-01-22 Uber Technologies, Inc. Deploying human-driven vehicles for autonomous vehicle routing and localization map updating
US9984455B1 (en) * 2017-06-05 2018-05-29 Hana Resources, Inc. Organism growth prediction system using drone-captured images
US10466706B2 (en) * 2017-08-14 2019-11-05 Aptiv Technologies Limited Automated guidance system
US11216004B2 (en) * 2017-11-07 2022-01-04 Uatc, Llc Map automation—lane classification
US10614717B2 (en) * 2018-05-17 2020-04-07 Zoox, Inc. Drive envelope determination
US20200074233A1 (en) * 2018-09-04 2020-03-05 Luminar Technologies, Inc. Automatically generating training data for a lidar using simulated vehicles in virtual space
US11693415B2 (en) * 2019-11-06 2023-07-04 Waymo Llc Predicting cut-in probabilities of surrounding agents
US11450205B2 (en) * 2019-12-31 2022-09-20 Zoox, Inc. Emergency vehicle detection and response
WO2021216154A1 (en) * 2020-04-21 2021-10-28 Inrix, Inc. Travel speed prediction
US20220101155A1 (en) * 2020-09-25 2022-03-31 Motional Ad Llc Trajectory Generation Using Road Network Model
US20220355824A1 (en) * 2021-05-10 2022-11-10 Waymo Llc Predicting near-curb driving behavior on autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1069598A (ja) * 1996-08-29 1998-03-10 Fuji Heavy Ind Ltd 車両の衝突防止装置
US20100098295A1 (en) * 2008-04-24 2010-04-22 Gm Global Technology Operations, Inc. Clear path detection through road modeling
JP2013190936A (ja) * 2012-03-13 2013-09-26 Toyota Motor Corp 車両の運転支援システム
JP2015140181A (ja) * 2014-01-29 2015-08-03 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 衝突確信度に基づいてブレーキ介入を最小限にするための方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019124539A (ja) * 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP7133927B2 (ja) 2018-01-15 2022-09-09 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム

Also Published As

Publication number Publication date
CN108496178B (zh) 2023-08-08
JP7052174B2 (ja) 2022-04-12
CN108496178A (zh) 2018-09-04
US20210365750A1 (en) 2021-11-25
CN114612877A (zh) 2022-06-10
WO2017118907A1 (en) 2017-07-13
EP3995782A1 (en) 2022-05-11
EP3400556A1 (en) 2018-11-14
US11657604B2 (en) 2023-05-23
US20170193338A1 (en) 2017-07-06
US11023788B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
JP7052174B2 (ja) 将来経路を推定するシステム及び方法
US11126865B2 (en) Forward-facing multi-imaging system for navigating a vehicle
US11192557B2 (en) Road profile along a predicted path
JP7334881B2 (ja) 自動運転車両システム用交差視野
US10753758B2 (en) Top-down refinement in lane marking navigation
US10303958B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
US9619719B2 (en) Systems and methods for detecting traffic signs
US11620837B2 (en) Systems and methods for augmenting upright object detection
US10402665B2 (en) Systems and methods for detecting traffic signs
US20230419536A1 (en) Determination of Changes in Autonomous Vehicle Location Under Adverse Weather Conditions

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190920

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R150 Certificate of patent or registration of utility model

Ref document number: 7052174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150