JP2023500993A - 歩行者を伴い、車両フリースペースを特定する車両ナビゲーション - Google Patents

歩行者を伴い、車両フリースペースを特定する車両ナビゲーション Download PDF

Info

Publication number
JP2023500993A
JP2023500993A JP2022541276A JP2022541276A JP2023500993A JP 2023500993 A JP2023500993 A JP 2023500993A JP 2022541276 A JP2022541276 A JP 2022541276A JP 2022541276 A JP2022541276 A JP 2022541276A JP 2023500993 A JP2023500993 A JP 2023500993A
Authority
JP
Japan
Prior art keywords
vehicle
host vehicle
pedestrian
images
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022541276A
Other languages
English (en)
Inventor
ベントリラ、ジェイコブ
ゲラー、イダン
レゲヴ、リオル
ババ、トマー
ベノウ、アリエル
アロニ、デイビッド
キルズフナー、ドミトリー
カリオ、ジャック
ビク、ハナネル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2023500993A publication Critical patent/JP2023500993A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

車両ナビゲーション用にシステムおよび方法が提供される。一実装例において、ホスト車両用のナビゲーションシステムは、ホスト車両内のカメラから、ホスト車両の環境を表す、少なくとも１つの取り込まれた画像を受信し、少なくとも１つの取り込まれた画像に表される歩行者を検出し、少なくとも１つの取り込まれた画像を分析して、少なくとも１つの取り込まれた画像に表される歩行者の頭に関連する、角回転の指標およびピッチ角の指標を特定し、歩行者の頭に関連する、角回転の指標およびピッチ角の指標に基づいて、ホスト車両による少なくとも１つのナビゲーション動作を引き起こすようにプログラムされた少なくとも１つのプロセッサを備えてもよい。

Description

［関連出願の相互参照］
本願は、２０２０年１月３日出願の米国仮特許出願第６２／９５６，９６４号、２０２０年１月３日出願の米国仮特許出願第６２／９５６，９７０号、２０２０年１月３日出願の米国仮特許出願第６２／９５７，０１４号、および、２０２０年１月６日出願の米国仮特許出願第６２／９５７，５２４号の優先権の利益を主張する。前述の出願は、その全体が参照により本明細書に組み込まれる。
本開示は概して、自動運転車ナビゲーションに関する。
［背景情報］
技術が発展を続けるにつれて、車道をナビゲートできる完全自動運転車の目標が近づいている。自動運転車は様々な要因を考慮し、こうした要因に基づいて適切な判定を行い、意図した目的地に安全且つ正確に到達することが必要になり得る。例えば、自動運転車は、視覚情報（例えば、カメラから取り込まれた情報）を処理して解釈することが必要になる場合があり、他の情報源（例えば、ＧＰＳデバイス、速度センサ、加速度計、サスペンションセンサなどで）から取得した情報も用いることがある。それと同時に、目的地にナビゲートするために、自動運転車は、特定の車道（例えば、複数車線道路での特定の車線）における自車の位置を識別し、他の車両と並んでナビゲートし、障害物や歩行者を避け、交通信号や標識を順守し、適切な交差点またはインターチェンジで、ある道路から別の道路へと走行することも必要になり得る。自動運転車が目的地まで走行するときに当該車両が収集する膨大な情報の利用および解釈は、多くの設計上の課題をもたらす。自動運転車が分析する、アクセスする、および／または格納するのに必要となり得る莫大な量のデータ（例えば、取り込まれた画像データ、マップデータ、ＧＰＳデータ、センサデータなど）は、実際に自動ナビゲーションを制限する可能性のある、または悪影響さえ与える可能性のある課題をもたらす。さらに、自動運転車が従来のマッピング技術を利用してナビゲートする場合、マップの格納および更新を行うのに必要な莫大な量のデータは、非常に困難な課題をもたらす。
本開示と矛盾しない実施形態が、自動運転車ナビゲーション用のシステムおよび方法を提供する。開示する実施形態は、自動運転車ナビゲーション機能を提供するのにカメラを用いることがある。例えば、開示する実施形態と矛盾せずに、開示するシステムは、車両の環境を監視するカメラを１つ、２つ、またはもっと多く含んでよい。開示するシステムは、例えば、これらのカメラのうちの１つまたは複数により取り込まれた画像の分析に基づいて、ナビゲーション応答を提供してよい。
一実施形態では、ホスト車両用のナビゲーションシステムは、少なくとも１つのプロセッサを備えてもよい。少なくとも１つのプロセッサは、ホスト車両内のカメラから、ホスト車両の環境において隠されている歩行者の表現を含む取り込まれた画像を受信するようにプログラムされてもよい。取り込まれた画像は、隠されている歩行者が地面に接触している領域の表現を含まないかもしれない。少なくとも１つのプロセッサはさらに、取り込まれた画像用の出力を生成するように構成された分析モジュールに、取り込まれた画像を提供するようにプログラムされてもよい。生成される出力は、隠されている歩行者の、地面との接触位置の指標を含む。少なくとも１つのプロセッサはさらに、隠されている歩行者の、地面との接触位置の指標を含む、生成される出力を、分析モジュールから受信するようにプログラムされてもよい。少なくとも１つのプロセッサはさらに、隠されている歩行者の、地面との接触位置の指標に基づいて、ホスト車両による少なくとも１つのナビゲーション動作を引き起こすようにプログラムされてもよい。
一実施形態において、ホスト車両用のナビゲーションシステムは、少なくとも１つのプロセッサを備えてもよい。少なくとも１つのプロセッサは、ホスト車両内のカメラから、車両の環境を表す少なくとも１つの取り込まれた画像を受信するようにプログラムされてもよい。少なくとも１つのプロセッサはさらに、少なくとも１つの取り込まれた画像に表される歩行者を検出するようにプログラムされてもよい。少なくとも１つのプロセッサはさらに、少なくとも１つの取り込まれた画像を分析して、少なくとも１つの取り込まれた画像に表される歩行者の頭に関連する、角回転の指標およびピッチ角の指標を特定するようにプログラムされてもよい。少なくとも１つのプロセッサはさらに、歩行者の頭に関連する、角回転の指標およびピッチ角の指標に基づいて、ホスト車両による少なくとも１つのナビゲーション動作を引き起こすようにプログラムされてもよい。
一実施形態において、ホスト車両をナビゲートする方法は、ホスト車両内のカメラから、車両の環境を表す、少なくとも１つの取り込まれた画像を受信することと、少なくとも１つの取り込まれた画像に表される歩行者を検出することと、少なくとも１つの取り込まれた画像を分析して、少なくとも１つの取り込まれた画像に表される歩行者の頭に関連する、角回転の指標およびピッチ角の指標を特定することと、歩行者の頭に関連する、角回転の指標およびピッチ角の指標に基づいて、ホスト車両による少なくとも１つのナビゲーション動作を引き起こすことと、を備えてもよい。
一実施形態において、ホスト車両に対応するフリースペースを検出し、且つ、検出されたフリースペースに対応するホスト車両をナビゲートするためのシステムが開示される。システムは、少なくとも１つのプロセッサを備えてもよい。少なくとも１つのプロセッサは、ホスト車両に関連する１つまたは複数のカメラから複数の画像を受信するようにプログラムされてもよい。複数の画像は、ホスト車両の前方、後方および側方の領域を表してもよい。少なくとも１つのプロセッサはさらに、複数の画像を関連づけて、ホスト車両を取り囲む環境の、途切れない３６０度視界を与えるようにプログラムされてもよい。少なくとも１つのプロセッサはさらに、関連づけられた複数の画像を分析して、ホスト車両を取り囲む環境におけるフリースペース領域を識別するようにプログラムされてもよい。少なくとも１つのプロセッサはさらに、ホスト車両に、識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けながら、識別されたフリースペース領域内をナビゲートさせるようにプログラムされてもよい。
一実施形態において、ホスト車両に対応するフリースペースを検出し、且つ、検出されたフリースペースに対応するホスト車両をナビゲートするためのコンピュータ実装方法が開示される。方法は、ホスト車両に関連する１つまたは複数のカメラから複数の画像を受信することを備えてもよい。複数の画像は、ホスト車両の前方、後方および側方の領域を表してもよい。方法はまた、複数の画像を関連づけて、ホスト車両を取り囲む環境の、途切れない３６０度視界を与えることを備えてもよい。方法はまた、関連づけられた複数の画像を分析して、ホスト車両を取り囲む環境におけるフリースペース領域を識別することを備えてもよい。方法はさらに、ホスト車両に、識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けさせながら、識別されたフリースペース領域内をナビゲートさせることを備えてもよい。
他の開示する実施形態と矛盾せずに、非一時的コンピュータ可読記憶媒体がプログラム命令を格納してよく、プログラム命令は、少なくとも１つの処理デバイスにより実行されて、本明細書で説明する方法のうちのいずれかを行ってよい。
前述の概要および以下の詳細な説明は、例示的であり説明のためのものでしかなく、特許請求の範囲を限定することはない。
本開示に組み込まれ、本開示の一部を構成する添付図面が、開示する様々な実施形態を示している。その図面は以下の通りである。
開示する実施形態と矛盾しない例示的なシステムの概略図である。
開示する実施形態と矛盾しないシステムを含む例示的な車両の概略側面図である。
開示する実施形態と矛盾しない図２Ａに示す車両およびシステムの概略上面図である。
開示する実施形態と矛盾しないシステムを含む車両の別の実施形態の概略上面図である。
開示する実施形態と矛盾しないシステムを含む車両のさらに別の実施形態の概略上面図である。
開示する実施形態と矛盾しないシステムを含む車両のさらに別の実施形態の概略上面図である。
開示する実施形態と矛盾しない例示的な車両制御システムの概略図である。
開示する実施形態と矛盾しない、車両撮像システム用のバックミラーおよびユーザインタフェースを含む車両の内側の概略図である。
開示する実施形態と矛盾しない、バックミラーの背後に車両のフロントガラスに接触して配置されるように構成された、カメラマウントの一例を示す図である。
開示する実施形態と矛盾しない図３Ｂに示すカメラマウントを別の角度から見た図である。
開示する実施形態と矛盾しない、バックミラーの背後に車両のフロントガラスに接触して配置されるように構成された、カメラマウントの一例を示す図である。
開示する実施形態と矛盾しない、１つまたは複数の動作を行うための命令を格納するように構成された、メモリの例示的なブロック図である。
開示する実施形態と矛盾しない、単眼画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、画像のセットに含まれる１つもしくは複数の車両および／または１人もしくは複数の歩行者を検出するための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、画像のセットに含まれる道路標示および／または車線の幾何構造情報を検出するための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、画像のセットに含まれる信号機を検出するための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、車両経路に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、先行車両が車線を変更中であるかどうかを判定するための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、ステレオ画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、３つのセットの画像の分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、自動運転車ナビゲーションを提供するためのスパースマップを示す図である。
開示する実施形態と矛盾しない、道路セグメントの一部の多項式表現を示す図である。
開示する実施形態と矛盾しないスパースマップに含まれる、特定の道路セグメントについての車両の目標軌跡を表す、３次元空間における曲線を示す図である。
開示する実施形態と矛盾しないスパースマップに含まれ得る例示的なランドマークを示す図である。
開示する実施形態と矛盾しない軌跡の多項式表現を示す図である。
開示する実施形態と矛盾しない、複数車線道路に沿った目標軌跡を示す図である。 開示する実施形態と矛盾しない、複数車線道路に沿った目標軌跡を示す図である。
開示する実施形態と矛盾しない例示的な道路シグネチャプロファイルを示す図である。
開示する実施形態と矛盾しない、複数の車両から受信したクラウドソーシングデータを自動運転車ナビゲーションに用いるシステムの概略図である。
開示する実施形態と矛盾しない、複数の３次元スプラインで表される例示的な自動運転車向け道路ナビゲーションモデルを示す図である。
開示する実施形態と矛盾しない、複数のドライブからの位置情報を組み合わせて生成された、マップの骨組みを示す図である。
開示する実施形態と矛盾しない、ランドマークとなる例示的な標識と２つのドライブとを長手方向に揃えた一例を示す図である。
開示する実施形態と矛盾しない、ランドマークとしての例示的な標識と複数のドライブとを長手方向に揃えた一例を示す図である。
開示する実施形態と矛盾しない、カメラ、車両、およびサーバを用いてドライブデータを生成するためのシステムの概略図である。
開示する実施形態と矛盾しない、スパースマップをクラウドソーシングするためのシステムの概略図である。
開示する実施形態と矛盾しない、道路セグメントに沿った自動運転車ナビゲーション用のスパースマップを生成するための、例示的プロセスを示すフローチャートである。
開示する実施形態と矛盾しないサーバのブロック図を示す図である。
開示する実施形態と矛盾しないメモリのブロック図を示す図である。
開示する実施形態と矛盾しない、車両に関連づけられた車両軌跡をクラスタ化するプロセスを示す図である。
開示する実施形態と矛盾しない、自動ナビゲーションに用いられ得る車両用ナビゲーションシステムを示す図である。
開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。 開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。 開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。 開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。
開示する実施形態と矛盾しない、マッピングされた例示的な車線標示を示す図である。
開示する実施形態と矛盾しない、車線標示の検出に関連した例示的な異常を示す図である。
開示する実施形態と矛盾しない、マッピングされた車線標示に基づくナビゲーション用の、車両の周辺環境についての例示的な画像を示す図である。
開示する実施形態と矛盾しない、道路ナビゲーションモデルにおけるマッピングされた車線標示に基づく、車両の横方向位置特定の補正を示す図である。
スパースマップに含まれるマッピングされた特徴を用いて、目標軌跡に沿ってホスト車両を位置特定するための位置特定手法の概念表現を提供する。 スパースマップに含まれるマッピングされた特徴を用いて、目標軌跡に沿ってホスト車両を位置特定するための位置特定手法の概念表現を提供する。
開示する実施形態と矛盾しない、自動運転車ナビゲーションに用いるための車線標示をマッピングする、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、マッピングされた車線標示を用いて道路セグメントに沿ってホスト車両を自律的にナビゲートするための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、１つまたは複数の動作を行うための命令を格納するように構成された、メモリの例示的なブロック図である。
開示する実施形態と矛盾しない、部分的に隠されている歩行者の表現を含む、例示的な取り込まれた画像の図を提供する。
開示する実施形態と矛盾しない、部分的に隠されている歩行者の表現を含む、例示的な取り込まれた画像の図を提供する。
開示する実施形態と矛盾しない、図２８Ｂの取り込まれた画像において部分的に隠されている歩行者を含む例示的なバウンディングボックスを示す図を提供する。
開示する実施形態と矛盾しない、図２８Ｃのバウンディングボックスの画素寸法および現実世界寸法を示す図を提供する。
開示する実施形態と矛盾しない、車両をナビゲートするためのアルゴリズムフローチャートを提供する。
開示する実施形態と矛盾しない、１つまたは複数の操作を実行するための命令を格納するように構成されたメモリの例示的なブロック図である。
開示する実施形態と矛盾しない、頭の姿勢を説明する回転角およびピッチ角の図を提供する。
開示する実施形態と矛盾しない、歩行者の見る方向に基づくナビゲーション変更の図を提供する。
開示する実施形態と矛盾しない、車両をナビゲートするためのアルゴリズムフローチャートを提供する。
開示する実施形態と矛盾しない、１つまたは複数の操作を実行するための命令を格納するように構成されたメモリの例示的なブロック図である。
開示する実施形態と矛盾しない、ホスト車両を取り囲む環境を撮像するためのカメラシステムの図を提供する。
開示する実施形態と矛盾しない、ホスト車両を取り囲む環境の上面図を提供する。
開示する実施形態と矛盾しない、車両をナビゲートするためのアルゴリズムフローチャートを提供する。
以下の詳細な説明では、添付図面を参照する。図面および以下の説明では、可能な限り、同じまたは同様の部分を指すために同じ参照番号が用いられる。いくつかの例示的な実施形態が本明細書で説明されるが、変更、改作、および他の実装例も可能である。例えば、図面に示されている構成要素に対して置換、追加、および変更を行ってもよく、本明細書で説明される例示的方法が、開示する方法に対して段階を置き換える、並べ替える、削除する、または追加することによって変更されてよい。したがって、以下の詳細な説明は、開示する実施形態および例に限定されない。その代わりに、添付の特許請求の範囲によって、適切な範囲が定められる。
［自動運転車の概要］
本開示全体にわたって用いられる場合、用語「自動運転車」とは、運転者の入力を必要とすることなく、少なくとも１つのナビゲーション変更を実施できる車両を指す。「ナビゲーション変更」とは、車両の操縦、ブレーキ、もしくは加速のうちの１つまたは複数における変更を指す。自動であるためには、車両が完全に自動（例えば、運転者を必要としない、または運転者の入力を必要としない完全動作）である必要はない。むしろ、自動運転車は、一定の期間の間、運転者の制御の下で動作し、他の期間では運転者の制御を必要とせずに動作できるものも含む。自動運転車には、（例えば、車両車線制限線の間に車両進路を維持するために）操縦などの車両ナビゲーションの一部の側面だけを制御するが、他の側面（例えば、ブレーキ）は運転者に任せる場合がある車両も含まれてよい。場合によっては、車両のブレーキ、速度制御、および／または操縦の一部または全部の側面を、自動運転車が担ってもよい。
人の運転者は通常、視覚的な手がかりや観測結果を利用して車両を制御するので、それに基づいて交通インフラが構築されており、したがって、車線標示、交通標識、および信号機は全て、視覚情報を運転者に提供するように設計されている。交通インフラのこれらの設計的特徴を考慮して、自動運転車が、カメラと、車両の環境から取り込まれた視覚情報を分析する処理ユニットとを含んでよい。視覚情報には、例えば、運転者が観測可能な交通インフラの構成要素（例えば、車線標示、交通標識、信号機など）、および他の障害物（例えば、他の車両、歩行者、ゴミなど）が含まれてよい。さらに、自動運転車は、ナビゲート時に、車両の環境のモデルを提供する情報などの、格納済みの情報も用いてよい。例えば、車両は、ＧＰＳデータ、（例えば、加速度計、速度センサ、サスペンションセンサなど）のセンサデータ、および／または他のマップデータを用いて、車両が走行している間に、その環境に関連する情報を提供してよく、当該車両（および他の車両）は、その情報を用いてモデル上で自車の位置を特定してよい。
本開示のいくつかの実施形態では、自動運転車が、ナビゲートしている間に（例えば、カメラ、ＧＰＳデバイス、加速度計、速度センサ、サスペンションセンサなどから）取得した情報を用いてよい。他の実施形態では、自動運転車が、当該車両（または他の車両）による過去のナビゲーションから取得された情報をナビゲート中に用いてよい。さらに他の実施形態では、自動運転車が、ナビゲート中に取得された情報と過去のナビゲーションから取得された情報とを組み合わせて用いてよい。以下のセクションでは、開示する実施形態と矛盾しないシステムの概要を提供し、その後に、当該システムと矛盾しない前面撮像システムおよび方法の概要が続く。この後のセクションでは、自動運転車ナビゲーション用のスパースマップを構築する、用いる、且つ更新するためのシステムおよび方法を開示する。
［システム概要］
図１は、開示する例示的な実施形態と矛盾しないシステム１００のブロック図である。システム１００は、具体的な実装例の要件に応じて、様々な構成要素を含んでよい。いくつかの実施形態において、システム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つまたは複数のメモリユニット１４０、１５０、マップデータベース１６０、ユーザインタフェース１７０、および無線送受信機１７２を含んでよい。処理ユニット１１０は、１つまたは複数の処理デバイスを含んでよい。いくつかの実施形態において、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、または任意の他の好適な処理デバイスを含んでよい。同様に、画像取得ユニット１２０は、特定の用途についての要件に応じて、任意の数の画像取得デバイスおよび構成要素を含んでよい。いくつかの実施形態において、画像取得ユニット１２０は、画像取り込みデバイス１２２、画像取り込みデバイス１２４、および画像取り込みデバイス１２６などの１つまたは複数の画像取り込みデバイス（例えば、カメラ）を含んでよい。システム１００は、処理デバイス１１０を画像取得デバイス１２０に通信可能に接続するデータインタフェース１２８も含んでよい。例えば、データインタフェース１２８は、画像取得デバイス１２０で取得した画像データを処理ユニット１１０に送信するための、１つまたは複数の任意の有線リンクおよび／または無線リンクを含んでよい。
無線送受信機１７２は、無線周波数、赤外線周波数、磁界、または電界を用いて、１つまたは複数のネットワーク（例えば、セルラ、インターネットなど）に対するエアインターフェースを介した送信をやり取りするように構成された１つまたは複数のデバイスを含んでよい。無線送受信機１７２は、任意の既知の規格（例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｓｍａｒｔ、８０２．１５．４、ＺｉｇＢｅｅ（登録商標）など）を用いて、データの送信および／または受信を行ってよい。そのような送信には、ホスト車両から遠隔に配置された１つまたは複数のサーバへの通信が含まれてよい。そのような送信には、（例えば、ホスト車両の環境内にいる対象車両を考慮して、またはその対象車両と一緒に、ホスト車両のナビゲーションの調整を容易にするための）ホスト車両とホスト車両の環境内にいる１つまたは複数の対象車両との間の通信（一方向または双方向）、または送信車両の近くにいる不特定受信者へのブロードキャスト送信さえも含まれてよい。
アプリケーションプロセッサ１８０および画像プロセッサ１９０は両方とも、様々なタイプの処理デバイスを含んでよい。例えば、アプリケーションプロセッサ１８０および画像プロセッサ１９０のいずれかまたは両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサなど）、グラフィックス処理装置（ＧＰＵ）、中央演算処理装置（ＣＰＵ）、支援回路、デジタル信号プロセッサ、集積回路、メモリ、またはアプリケーションの実行並びに画像処理および分析に好適な任意の他のタイプのデバイスを含んでよい。いくつかの実施形態において、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、任意のタイプのシングルコアプロセッサまたはマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央演算処理装置などを含んでよい。例えば、Ｉｎｔｅｌ（登録商標）、ＡＭＤ（登録商標）などといった製造業者から入手可能なプロセッサ、またはＮＶＩＤＩＡ（登録商標）、ＡＴＩ（登録商標）などといった製造業者から入手可能なＧＰＵを含む様々な処理デバイスが用いられてよく、様々なアーキテクチャ（例えば、ｘ８６プロセッサ、ＡＲＭ（登録商標）など）を含んでよい。
いくつかの実施形態において、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、Ｍｏｂｉｌｅｙｅ（登録商標）から入手可能なＥｙｅＱシリーズのプロセッサチップのうちのいずれかを含んでよい。これらのプロセッサ設計は各々、ローカルメモリおよび命令セットを有する複数の処理ユニットを含む。そのようなプロセッサは、複数のイメージセンサから画像データを受信するためのビデオ入力を含んでよく、またビデオ出力機能も含んでよい。一例において、ＥｙｅＱ２（登録商標）は９０ｎｍテクノロジを用い、３３２ＭＨｚで動作する。ＥｙｅＱ２（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ型ＣＰＵ（ＭＩＰＳ３２（登録商標）３４Ｋ（登録商標）コア）、５つのビジョン計算エンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（ＶＭＰ（登録商標））、Ｄｅｎａｌｉの６４ビットモバイルＤＤＲコントローラ、１２８ビット内蔵Ｓｏｎｉｃｓ Ｉｎｔｅｒｃｏｎｎｅｃｔ、１６ビットビデオ入力および１８ビットビデオ出力のデュアルコントローラ、１６チャネルＤＭＡ、およびいくつかの周辺機器で構成される。ＭＩＰＳ３４Ｋ ＣＰＵは、５つのＶＣＥ、３つのＶＭＰ（登録商標）およびＤＭＡ、第２のＭＩＰＳ３４Ｋ ＣＰＵおよびマルチチャネルＤＭＡ並びにその他の周辺機器を管理する。５つのＶＣＥ、３つのＶＭＰ（登録商標）、およびＭＩＰＳ３４Ｋ ＣＰＵは、多機能バンドル型アプリケーションが必要とする集中的なビジョン計算を行うことができる。別の例において、第３世代プロセッサであり、ＥｙｅＱ２（登録商標）より処理能力が６倍高いＥｙｅＱ３（登録商標）が、開示する実施形態に用いられてよい。他の例において、ＥｙｅＱ４（登録商標）および／またはＥｙｅＱ５（登録商標）が、開示する実施形態に用いられてよい。当然ながら、任意の新規または将来のＥｙｅＱ処理デバイスも、開示する実施形態と一緒に用いられてよい。
本明細書で開示する処理デバイスのうちのいずれかが、特定の機能を行うように構成されてよい。説明したＥｙｅＱプロセッサまたは他のコントローラもしくはマイクロプロセッサのうちのいずれかなどの処理デバイスを構成して、特定の機能を行うことには、コンピュータ実行可能命令をプログラムすること、および処理デバイスの動作時にこれらの命令を処理デバイスが実行のために利用できるようにすることが含まれてよい。いくつかの実施形態において、処理デバイスを構成することには、処理デバイスをアーキテクチャ命令で直接プログラムすることが含まれてよい。例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）および特定用途向け集積回路（ＡＳＩＣ）などといった処理デバイスが、例えば、１つまたは複数のハードウェア記述言語（ＨＤＬ）を用いて構成されてよい。
他の実施形態において、処理デバイスを構成することは、処理デバイスが動作時にアクセスできるメモリに実行可能命令を格納することを含んでよい。例えば、処理デバイスが動作時に、メモリにアクセスして、格納された命令を取得し実行してよい。どちらの場合にも、本明細書で開示するセンシング、画像分析、および／またはナビゲーション機能を行うように構成された処理デバイスは、ホスト車両のハードウェアベースの複数の構成要素を制御する専用ハードウェアベースのシステムを表している。
図１は処理ユニット１１０に含まれる２つの別個の処理デバイスを示しているが、もっと多いまたは少ない処理デバイスを用いてもよい。例えば、いくつかの実施形態において、単一の処理デバイスを用いて、アプリケーションプロセッサ１８０および画像プロセッサ１９０のタスクを達成してもよい。他の実施形態において、これらのタスクを２つより多くの処理デバイスで行ってもよい。さらに、いくつかの実施形態において、システム１００は、画像取得ユニット１２０などの他の構成要素を含むことなく、処理ユニット１１０のうちの１つまたは複数を含んでよい。
処理ユニット１１０は、様々なタイプのデバイスを含んでよい。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央演算処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、支援回路、デジタル信号プロセッサ、集積回路、メモリ、または画像処理および分析用の任意の他のタイプのデバイスといった様々なデバイスを含んでよい。画像プリプロセッサは、イメージセンサからの画像を取り込み、デジタル化し、処理するためのビデオプロセッサを含んでよい。ＣＰＵは、任意の数のマイクロコントローラまたはマイクロプロセッサを含んでよい。ＧＰＵは、任意の数のマイクロコントローラまたはマイクロプロセッサも含んでよい。支援回路は、例えば、キャッシュ回路、電源回路、クロック回路、および入出力回路を含む、当技術分野で一般によく知られている任意の数の回路であってよい。メモリは、プロセッサにより実行されると、本システムの動作を制御するソフトウェアを格納してよい。メモリは、データベースおよび画像処理ソフトウェアを含んでよい。メモリは、任意の数のランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ、ディスクドライブ、光学ストレージ、テープストレージ、着脱式ストレージ、および他のタイプのストレージを含んでよい。一例において、メモリは処理ユニット１１０から分かれてもよい。別の例において、メモリは処理ユニット１１０に統合されてもよい。
各メモリ１４０、１５０はソフトウェア命令を含んでよく、この命令は、プロセッサ（例えば、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０）によって実行されると、システム１００の様々な態様の動作を制御し得る。例えば、これらのメモリユニットは、様々なデータベースおよび画像処理ソフトウェア、並びに、ニューラルネットワークまたはディープニューラルネットワークなどの訓練システムを含んでよい。メモリユニットは、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、光学ストレージ、テープストレージ、着脱式ストレージ、および／または任意の他のタイプのストレージを含んでよい。いくつかの実施形態において、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０から分かれていてもよい。他の実施形態において、これらのメモリユニットは、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０に統合されてもよい。
位置センサ１３０は、システム１００の少なくとも１つの構成要素に関連する位置を決定するのに好適な任意のタイプのデバイスを含んでよい。いくつかの実施形態において、位置センサ１３０はＧＰＳ受信機を含んでよい。そのような受信器は、全地球測位システム用の衛星がブロードキャストする信号を処理することで、ユーザ位置および速度を決定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０が利用できるようにしてよい。
いくつかの実施形態において、システム１００は、車両２００の速度を測定するための速度センサ（例えば、回転速度計、速度計）、および／または車両２００の加速度を測定するための加速度計（単軸または多軸のいずれか）などの構成要素を含んでよい。
ユーザインタフェース１７０は、システム１００の１人または複数のユーザに情報を提供するか、またはそのユーザからの入力を受信するのに好適な任意のデバイスを含んでよい。いくつかの実施形態において、ユーザインタフェース１７０はユーザ入力デバイスを含んでよく、そのようなデバイスには、例えば、タッチスクリーン、マイク、キーボード、ポインタデバイス、トラックホイール、カメラ、つまみ、ボタンなどが含まれる。そのような入力デバイスを用いて、ユーザは情報入力またはコマンドをシステム１００に提供することができ、例えば、命令または情報を打ち込む、音声コマンドを提供する、ボタン、ポインタ、または視線追跡機能を用いてスクリーン上のメニューオプションを選択する、あるいは情報をシステム１００に伝えるための任意の他の好適な手法が使われてよい。
ユーザインタフェース１７０は、ユーザとの間で情報の受け渡しを行い、例えば、アプリケーションプロセッサ１８０が用いるために当該情報を処理するように構成された１つまたは複数の処理デバイスを備えてよい。いくつかの実施形態において、そのような処理デバイスは、目の動きを認識して追跡する命令、音声コマンドを受信して解釈する命令、タッチスクリーン上で行われたタッチおよび／またはジェスチャーを認識して解釈する命令、キーボード入力またはメニュー選択に応答する命令などを実行してよい。いくつかの実施形態において、ユーザインタフェース１７０は、ディスプレイ、スピーカ、触知デバイス、および／または、出力情報をユーザに提供するための任意の他のデバイスを含んでよい。
マップデータベース１６０は、システム１００にとって有用なマップデータを格納するための、任意のタイプのデータベースを含んでよい。いくつかの実施形態において、マップデータベース１６０は、様々な種目の基準座標系における位置に関連するデータを含んでよく、そのような種目には、道路、ウォータフィーチャ、地理的特徴、商店、関心のある特定の地点、レストラン、ガソリンスタンドなどが含まれる。マップデータベース１６０は、そのような種目の位置だけでなく、これらの種目に関連する記述子も格納してよく、そのような記述子には、例えば、格納された特徴のうちのいずれかに関連した名称が含まれる。いくつかの実施形態において、マップデータベース１６０は、システム１００の他の構成要素と共に物理的に配置されてよい。その代わりに、またはそれに加えて、マップデータベース１６０またはその一部は、システム１００の他の構成要素（例えば、処理ユニット１１０）に対して遠隔に配置されてもよい。そのような実施形態において、マップデータベース１６０からの情報が、ネットワークへの有線データ接続または無線データ接続を介して（例えば、セルラネットワークおよび／またはインターネットなどを介して）ダウンロードされてよい。場合によっては、マップデータベース１６０は、特定の道路特徴（例えば、車線標示）またはホスト車両の目標軌跡の多項式表現を含むスパースデータモデルを格納してよい。そのようなマップを生成するシステムおよび方法を、図８～図１９を参照して以下で論じる。
画像取り込みデバイス１２２、１２４、および１２６は各々、環境から少なくとも１つの画像を取り込むのに好適な任意のタイプのデバイスを含んでよい。さらに、任意の数の画像取り込みデバイスを用いて、画像プロセッサに入力する画像を取得してもよい。いくつかの実施形態では、画像取り込みデバイスを１つだけ含んでよいが、他の実施形態では、画像取り込みデバイスを２つ、３つ、もしくは４つさえも、またはそれより多く含んでよい。画像取り込みデバイス１２２、１２４、および１２６はさらに、図２Ｂ～図２Ｅを参照して以下で説明される。
システム１００またはその様々な構成要素は、様々な別のプラットフォームに組み込まれてもよい。いくつかの実施形態において、システム１００は、図２Ａに示すように、車両２００に含まれてよい。例えば、車両２００は、図１に関連して上述したように、処理ユニット１１０、およびシステム１００の他の構成要素のうちのいずれかを備えてよい。いくつかの実施形態において、車両２００は画像取り込みデバイス（例えば、カメラ）を１つだけ備えてよいが、図２Ｂ～図２Ｅに関連して論じられるもののような他の実施形態では、複数の画像取り込みデバイスを用いることがある。例えば、図２Ａに示すように、車両２００の画像取り込みデバイス１２２および１２４のいずれかが、ＡＤＡＳ（先進運転者支援システム）撮像装置の一部であってよい。
画像取得ユニット１２０の一部として車両２００に含まれる画像取り込みデバイスは、任意の好適な場所に配置されてよい。いくつかの実施形態では、図２Ａ～図２Ｅおよび図３Ａ～図３Ｃに示すように、画像取り込みデバイス１２２をバックミラーの近くに配置してよい。この位置は、車両２００の運転者の視線と同様の視線を提供することができ、そのため、運転者に何が見えるか、何が見えないかを判定するのに役立ち得る。バックミラーに近い任意の場所に画像取り込みデバイス１２２を配置してよいが、ミラーの運転席側に画像取り込みデバイス１２２を配置すると、運転者の視野および／または視線を表す画像を取得するのにさらに役立ち得る。
画像取得ユニット１２０の画像取り込みデバイスについては、他の場所も用いてよい。例えば、画像取り込みデバイス１２４を、車両２００のバンパー上またはバンパー内に配置してもよい。そのような場所は、広い視野を有する画像取り込みデバイスには特に好適かもしれない。バンパーに配置された画像取り込みデバイスの視線は運転者の視線とは異なり得、したがって、バンパーの画像取り込みデバイスおよび運転者は常に同じ物体を見ているとは限らないかもしれない。画像取り込みデバイス（例えば、画像取り込みデバイス１２２、１２４、および１２６）は、他の場所にも配置されてよい。例えば、画像取り込みデバイスは、車両２００の一方または両方のサイドミラー上またはサイドミラー内、車両２００のルーフ上、車両２００のボンネット上、車両２００のトランク上、車両２００の側面上に位置してよく、車両２００の窓ガラスのうちのいずれかに取り付けられても、その背後に配置されても、その前に配置されてもよく、車両２００の前部および／または後部にある照明装置内またはその近くなどに取り付けられてよい。
画像取り込みデバイスに加えて、車両２００はシステム１００の様々な他の構成要素を含んでよい。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）と一体化して、またはＥＣＵから分かれて車両２００に含まれてよい。車両２００は、ＧＰＳ受信機などの位置センサ１３０も備えてよく、マップデータベース１６０並びにメモリユニット１４０および１５０も含んでよい。
先に論じたように、無線送受信機１７２は、１つまたは複数のネットワーク（例えば、セルラネットワーク、インターネットなど）を介してデータの送信および／または受信を行ってよい。例えば、無線送受信機１７２は、システム１００が収集したデータを１つまたは複数のサーバにアップロードし、１つまたは複数のサーバからデータをダウンロードしてよい。無線送受信機１７２を介して、システム１００は、例えば、マップデータベース１６０、メモリ１４０、および／またはメモリ１５０に格納されたデータに対する定期更新または要求に応じた更新を受信してよい。同様に、無線送受信機１７２は、システム１００からのあらゆるデータ（例えば、画像取得ユニット１２０により取り込まれた画像、位置センサ１３０または他のセンサ、車両制御システムなどが受信したデータ）、および／または処理ユニット１１０が処理したあらゆるデータを１つまたは複数のサーバにアップロードしてよい。
システム１００は、プライバシーレベル設定に基づいて、データをサーバに（例えば、クラウドに）アップロードしてよい。例えば、システム１００は、サーバに送られる、車両および／または車両の運転者／所有者を一意に識別し得るデータ（メタデータを含む）のタイプを規制または限定するように、プライバシーレベル設定を実施してよい。そのような設定は、例えば、無線送受信機１７２を介してユーザが設定してもよく、工場出荷時の設定または無線送受信機１７２が受信したデータで初期化されてもよい。
いくつかの実施形態において、システム１００は、プライバシーレベル「高」に従ってデータをアップロードしてよく、設定を設定している最中では、システム１００は、特定の車両および／または運転者／所有者に関するいかなる詳細も用いずに、データ（例えば、ルートに関連する位置情報、取り込まれた画像など）を送信してよい。例えば、プライバシー設定「高」に従ってデータをアップロードする場合、システム１００は、車両登録番号（ＶＩＮ）も車両の運転者または所有者の名称も含まなくてよく、その代わりに、取り込まれた画像および／またはルートに関連する限定された位置情報などのデータを送信してよい。
他のプライバシーレベルも考えられる。例えば、システム１００は、プライバシーレベル「中」に従ってデータをサーバに送信し、プライバシーレベル「高」では含まれない追加の情報、例えば、車両のメーカーおよび／もしくは型式、並びに／または車両タイプ（例えば、乗用車、多目的スポーツ車、トラックなど）といった情報を含めてよい。いくつかの実施形態において、システム１００は、プライバシーレベル「低」に従ってデータをアップロードしてよい。プライバシーレベル設定「低」では、システム１００は、データをアップロードし、特定の車両、所有者／運転者、および／または車両が走行するルートの一部もしくは全体を一意に識別するのに十分な情報を含めることができる。そのようなプライバシーレベル「低」のデータは、例えば、ＶＩＮ、運転者／所有者の名前、出発前の車両の起点、車両の意図した目的地、車両のメーカーおよび／または型式、車両のタイプなどのうちの１つまたは複数を含んでよい。
図２Ａは、開示する実施形態と矛盾しない例示的な車両撮像システムの概略側面図である。図２Ｂは、図２Ａに示す実施形態の概略上面図である。図２Ｂに示すように、開示する実施形態は車両２００を含んでよく、その車体には、車両２００のバックミラーの近くおよび／または運転者の近くに配置された第１の画像取り込みデバイス１２２と、車両２００のバンパー領域（例えば、バンパー領域２１０のうちの１つ）にまたはその中に配置された第２の画像取り込みデバイス１２４と、処理ユニット１１０とを有するシステム１００が含まれる。
図２Ｃに示すように、画像取り込みデバイス１２２および１２４は両方とも、車両２００のバックミラーの近くおよび／または運転者の近くに配置されてよい。さらに、図２Ｂおよび図２Ｃには、２つの画像取り込みデバイス１２２および１２４が示されているが、他の実施形態では２つより多くの画像取り込みデバイスを含んでもよいことを理解されたい。例えば、図２Ｄおよび図２Ｅに示す実施形態では、第１の画像取り込みデバイス１２２、第２の画像取り込みデバイス１２４、および第３の画像取り込みデバイス１２６が、車両２００のシステム１００に含まれている。
図２Ｄに示すように、画像取り込みデバイス１２２は、車両２００のバックミラーの近くおよび／または運転者の近くに配置されてよく、画像取り込みデバイス１２４および１２６は、車両２００のバンパー領域（例えば、バンパー領域２１０のうちの１つ）にまたはその中に配置されてよい。また、図２Ｅに示すように、画像取り込みデバイス１２２、１２４、および１２６が、車両２００のバックミラーの近くおよび／または運転席の近くに配置されてよい。開示する実施形態は、画像取り込みデバイスのいかなる特定の数および構成にも限定されることはなく、画像取り込みデバイスは車両２００の内部および／またはその上の任意の適切な場所に配置されてよい。
開示する実施形態は、車両に限定されることはなく、他の状況にも適用されることがあることを理解されたい。開示する実施形態は、車両２００の特定のタイプに限定されることはなく、自動車、トラック、トレーラ、および他のタイプの車両を含むあらゆるタイプの車両に適用可能であってよいことも理解されたい。
第１の画像取り込みデバイス１２２は、任意の好適なタイプの画像取り込みデバイスを含んでよい。画像取り込みデバイス１２２は、光軸を含んでよい。一例において、画像取り込みデバイス１２２は、グローバルシャッタを備えたＡｐｔｉｎａ製Ｍ９Ｖ０２４ ＷＶＧＡセンサを含んでよい。他の実施形態において、画像取り込みデバイス１２２は、１２８０×９６０画素の解像度を提供してよく、またローリングシャッタを含んでよい。画像取り込みデバイス１２２は、様々な光学素子を含んでよい。いくつかの実施形態では、例えば、所望の焦点距離および視野を画像取り込みデバイスに提供するために、１つまたは複数のレンズが含まれてよい。いくつかの実施形態において、画像取り込みデバイス１２２は、６ｍｍレンズまたは１２ｍｍレンズに関連してよい。いくつかの実施形態では、画像取り込みデバイス１２２は、図２Ｄに示すように、所望の視野（ＦＯＶ）２０２を有する画像を取り込むように構成されてよい。例えば、画像取り込みデバイス１２２は、４６度のＦＯＶ、５０度のＦＯＶ、５２度のＦＯＶ、またはそれより広いＦＯＶを含む４０度～５６度の範囲内といった標準のＦＯＶを有するように構成されてよい。あるいは、画像取り込みデバイス１２２は、２８度のＦＯＶまたは３６度のＦＯＶといった２３～４０度の範囲内の狭ＦＯＶを有するように構成されてもよい。さらに、画像取り込みデバイス１２２は１００～１８０度の範囲内の広ＦＯＶを有するように構成されてもよい。いくつかの実施形態において、画像取り込みデバイス１２２は、広角バンパーカメラ、または、最大１８０度のＦＯＶを有するそれを含んでよい。いくつかの実施形態において、画像取り込みデバイス１２２は、約２：１のアスペクト比（例えば、Ｈ×Ｖ＝３８００×１９００画素）および約１００度の水平ＦＯＶを有する７．２Ｍ画素の画像取り込みデバイスであってよい。そのような画像取り込みデバイスを、３画像取り込みデバイス構成の代わりに用いてよい。そのような画像取り込みデバイスの垂直ＦＯＶは、著しいレンズ歪みにより、画像取り込みデバイスが半径方向に対称なレンズを用いる実装例では５０度より著しく小さいことがある。例えば、そのようなレンズは半径方向に対称でなくてもよく、そうすることで、１００度の水平ＦＯＶで５０度より大きい垂直ＦＯＶが可能になるであろう。
第１の画像取り込みデバイス１２２は、車両２００に関連するシーンに対して複数の第１画像を取得してよい。複数の第１画像の各々は、一連の画像走査線として取得されてよく、これらの画像はローリングシャッタを用いて取り込まれてよい。各走査線は、複数の画素を含み得る。
第１の画像取り込みデバイス１２２は、第１の一連の画像走査線の各々を取得することに関連した走査速度を有してよい。走査速度とは、特定の走査線に含まれる各画素に関連した画像データをイメージセンサが取得できる速度を指してよい。
画像取り込みデバイス１２２、１２４、および１２６は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサを含む、任意の好適なタイプおよび数のイメージセンサを内蔵してよい。一実施形態では、ＣＭＯＳイメージセンサがローリングシャッタと連動して使用されてよく、これにより、ある行の各画素が１つずつ読み出され、画像フレーム全体が取り込まれるまで、行の走査が行ごとに進行する。いくつかの実施形態において、各行は、フレームに対して上部から下部へと順次取り込まれてよい。
いくつかの実施形態において、本明細書で開示する画像取り込みデバイス（例えば、画像取り込みデバイス１２２、１２４、および１２６）のうちの１つまたは複数は、高解像度撮像装置を構成してよく、５Ｍ画素、７Ｍ画素、１０Ｍ画素、またはそれより多くの画を超える解像度を有してよい。
ローリングシャッタを用いると、異なる行の画素が異なる時間に露光され且つ取り込まれることになり得るため、取り込まれた画像フレームにスキューおよび他の画像アーチファクトが生じる場合がある。一方、画像取り込みデバイス１２２がグローバルシャッタまたは同期シャッタで動作するように構成されている場合、全ての画素が同じ時間の間、共通の露光期間に露光され得る。その結果、グローバルシャッタを使用するシステムで収集されたフレームの画像データは、特定の時間におけるＦＯＶ全体（ＦＯＶ２０２など）のスナップショットを表す。これに対して、ローリングシャッタを適用した場合には、異なる時間にフレーム内の各行が露光され、データが取り込まれる。したがって、ローリングシャッタを有する画像取り込みデバイスでは、移動する物体が歪んだように見えることがある。この現象は、以下でより詳細に説明する。
第２の画像取り込みデバイス１２４および第３の画像取り込みデバイス１２６は、任意のタイプの画像取り込みデバイスであってよい。第１の画像取り込みデバイス１２２のように、画像取り込みデバイス１２４および１２６の各々は光軸を含んでよい。一実施形態において、画像取り込みデバイス１２４および１２６の各々は、グローバルシャッタを備えたＡｐｔｉｎａ製Ｍ９Ｖ０２４ ＷＶＧＡセンサを含んでよい。あるいは、画像取り込みデバイス１２４および１２６の各々は、ローリングシャッタを含んでもよい。画像取り込みデバイス１２２のように、画像取り込みデバイス１２４および１２６は、様々なレンズおよび光学素子を含むように構成されてよい。いくつかの実施形態では、画像取り込みデバイス１２４および１２６に関連するレンズが、画像取り込みデバイス１２２に関連するＦＯＶ（ＦＯＶ２０２など）と同じまたはそれより狭いＦＯＶ（ＦＯＶ２０４および２０６など）を提供してよい。例えば、画像取り込みデバイス１２４および１２６は、４０度、３０度、２６度、２３度、２０度、またはそれより狭いＦＯＶを有してよい。
画像取り込みデバイス１２４および１２６は、車両２００に関連するシーンに対して、複数の第２画像および第３画像を取得してよい。複数の第２画像および第３画像の各々は、第２および第３の一連の画像走査線として取得されてよく、これらの画像はローリングシャッタを用いて取り込まれてよい。各々の走査線または行は、複数の画素を含み得る。画像取り込みデバイス１２４および１２６は、第２および第３の一連の画像走査線に含まれる複数の画像走査線の各々を取得することに関連した第２走査速度および第３走査速度を有してよい。
画像取り込みデバイス１２２、１２４、および１２６は各々、車両２００に対して任意の好適な位置および方位で配置されてよい。画像取り込みデバイス１２２、１２４、および１２６の相対配置は、画像取り込みデバイスから取得される情報を融合させるのに役立つように選択されてよい。例えば、いくつかの実施形態では、画像取り込みデバイス１２４に関連するＦＯＶ（ＦＯＶ２０４など）が、画像取り込みデバイス１２２に関連するＦＯＶ（ＦＯＶ２０２など）および画像取り込みデバイス１２６に関連するＦＯＶ（ＦＯＶ２０６など）と部分的にまたは完全に重なり合ってよい。
画像取り込みデバイス１２２、１２４、および１２６は、任意の好適な相対的高さで、車両２００に配置されてよい。一例において、画像取り込みデバイス１２２、１２４、および１２６の間には高さの違いがあってよく、これにより、ステレオ分析を可能とする十分な視差情報が提供され得る。例えば、図２Ａに示すように、２つの画像取り込みデバイス１２２および１２４の高さは異なる。例えば、画像取り込みデバイス１２２、１２４、および１２６の間には横方向の変位差もあってよく、これが、処理ユニット１１０によるステレオ分析に対して追加の視差情報を与える。横方向変位の差異は、図２Ｃおよび図２Ｄに示すように、ｄｘで表されてよい。いくつかの実施形態では、前または後ろへの変位（例えば、範囲変位）が画像取り込みデバイス１２２、１２４、および１２６の間に存在してよい。例えば、画像取り込みデバイス１２２は、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６の０．５～２メートル後ろに、またはもっと後ろに位置してよい。この種の変位によって、これらの画像取り込みデバイスのうちの１つが１つまたは複数の他の画像取り込みデバイスの潜在的な死角を補うことが可能になり得る。
画像取り込みデバイス１２２は、任意の好適な解像能力（例えば、イメージセンサに関連する画素数）を有してよく、画像取り込みデバイス１２２に関連する１つまたは複数のイメージセンサの解像度は、画像取り込みデバイス１２４および１２６に関連する１つまたは複数のイメージセンサの解像度より高くても、低くても、同じであってもよい。いくつかの実施形態において、画像取り込みデバイス１２２並びに／または画像取り込みデバイス１２４および１２６に関連する１つまたは複数のイメージセンサは、６４０×４８０、１０２４×７６８、１２８０×９６０の解像度、または任意の他の好適な解像度を有してよい。
フレームレート（例えば、画像取り込みデバイスが１つの画像フレームの画素データのセットを、次の画像フレームに関連する画素データの取り込みに移る前に取得するレート）が制御可能であってよい。画像取り込みデバイス１２２に関連するフレームレートは、画像取り込みデバイス１２４および１２６に関連するフレームレートより高くても、低くても、同じであってもよい。画像取り込みデバイス１２２、１２４、および１２６に関連するフレームレートは、フレームレートのタイミングに影響を与え得る様々な要因に依存し得る。例えば、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、画像取り込みデバイス１２２、１２４、および／または１２６に含まれるイメージセンサの１つまたは複数の画素に関連する画像データを取得する前または後に課される選択可能な画素遅延期間を含んでよい。一般に、各画素に対応する画像データは、デバイスのクロックレートに従って取得されてよい（例えば、クロックサイクルごとに１つの画素が取得されてよい）。さらに、ローリングシャッタを含む実施形態では、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、画像取り込みデバイス１２２、１２４、および／または１２６に含まれるイメージセンサのある行の画素に関連する画像データを取得する前または後に課される選択可能な水平帰線消去期間を含んでよい。さらに、画像取り込みデバイス１２２、１２４、および／または１２６のうちの１つまたは複数が、画像取り込みデバイス１２２、１２４、および１２６の画像フレームに関連する画像データを取得する前または後に課される選択可能な垂直帰線消去期間を含んでよい。
これらのタイミング制御は、画像取り込みデバイス１２２、１２４、および１２６に関連する各フレームレートの同期を、各々のライン走査速度が異なる場合でさえも可能にし得る。さらに、以下でより詳細に論じられることになるが、これらの選択可能なタイミング制御は、他の要因（例えば、イメージセンサの解像度、最大ライン走査速度など）の中でもとりわけ、画像取り込みデバイス１２２の視野が画像取り込みデバイス１２４および１２６のＦＯＶと異なる場合でさえも、画像取り込みデバイス１２２のＦＯＶが画像取り込みデバイス１２４および１２６のうちの１つまたは複数のＦＯＶと重なり合う領域からの画像取り込みの同期を可能にし得る。
画像取り込みデバイス１２２、１２４、および１２６におけるフレームレートタイミングが、関連するイメージセンサの解像度に依存し得る。例えば、両方のデバイスのライン走査速度が同様であると仮定すると、一方のデバイスが６４０×４８０の解像度を有するイメージセンサを含み、もう一方のデバイスが１２８０×９６０の解像度を有するイメージセンサを含むならば、高解像度を有するセンサの方が、１フレームの画像データを取得するのに必要な時間が長くかかる。
画像取り込みデバイス１２２、１２４、および１２６における画像データ取得のタイミングに影響を与え得る別の要因が、最大ライン走査速度である。例えば、画像取り込みデバイス１２２、１２４、および１２６に含まれるイメージセンサから、ある行の画像データを取得するには、ある程度の最低限の時間が必要になる。画素遅延期間が追加されないと仮定すると、ある行の画像データを取得するためのこの最低限の時間は、特定のデバイスの最大ライン走査速度に関連することになる。高い最大ライン走査速度を提供するデバイスには、低い最大ライン走査速度を有するデバイスより高いフレームレートを提供できる可能性がある。いくつかの実施形態では、画像取り込みデバイス１２４および１２６のうちの一方または両方が、画像取り込みデバイス１２２に関連する最大ライン走査速度より高い最大ライン走査速度を有してよい。いくつかの実施形態において、画像取り込みデバイス１２４および／または１２６の最大ライン走査速度は、画像取り込みデバイス１２２の最大ライン走査速度の１．２５倍、１．５倍、１．７５倍、もしくは２倍、またはそれより大きくてもよい。
別の実施形態において、画像取り込みデバイス１２２、１２４、および１２６は同じ最大ライン走査速度を有してよいが、画像取り込みデバイス１２２は、その最大走査速度より小さいまたはそれに等しい走査速度で動作してよい。本システムは、画像取り込みデバイス１２４および１２６のうちの一方または両方が、画像取り込みデバイス１２２のライン走査速度に等しいライン走査速度で動作するように構成されてよい。他の例において、本システムは、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６のライン走査速度が画像取り込みデバイス１２２のライン走査速度の１．２５倍、１．５倍、１．７５倍、もしくは２倍、またはそれより大きくなり得るように構成されてよい。
いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６は非対称であってよい。すなわち、これらの画像取り込みデバイスは、異なる視野（ＦＯＶ）および焦点距離を有するカメラを含んでよい。画像取り込みデバイス１２２、１２４、および１２６の視野は、例えば、車両２００の環境に対して任意の所望の領域を含んでよい。いくつかの実施形態では、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、車両２００の前方、車両２００の後方、車両２００の側方、またはその組み合わせの環境から画像データを取得するように構成されてよい。
さらに、画像取り込みデバイス１２２、１２４、および／または１２６の各々に関連する焦点距離は、各デバイスが車両２００に対して所望の距離範囲にある物体の画像を取得するように、（例えば、適切なレンズなどを含むことによって）選択可能であってよい。例えば、いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６は、車両から数メートルの範囲内の至近距離にある物体の画像を取得してよい。画像取り込みデバイス１２２、１２４、および１２６は、車両からもっと遠く（例えば、２５ｍ、５０ｍ、１００ｍ、１５０ｍ、またはもっと）離れている範囲の物体の画像を取得するようにも構成されてよい。さらに、画像取り込みデバイス１２２、１２４、および１２６の焦点距離は、１つの画像取り込みデバイス（例えば、画像取り込みデバイス１２２）が車両に比較的近い（例えば、１０ｍの範囲内、または２０ｍの範囲内の）物体の画像を取得でき、その一方で、他の画像取り込みデバイス（例えば、画像取り込みデバイス１２４および１２６）が車両２００からもっと遠く（例えば、２０ｍ、５０ｍ、１００ｍ、１５０ｍを超えるなど）にある物体の画像を取得できるように選択されてよい。
いくつかの実施形態によれば、１つまたは複数の画像取り込みデバイス１２２、１２４、および１２６のＦＯＶは広角であってよい。例えば、１４０度のＦＯＶを有することは、車両２００に近い領域の画像を取り込むのに用いられ得る画像取り込みデバイス１２２、１２４、および１２６に取っては特に有利になり得る。例えば、画像取り込みデバイス１２２は、車両２００の右側または左側の領域の画像を取り込むのに用いられてよく、そのような実施形態では、画像取り込みデバイス１２２が広ＦＯＶ（例えば、少なくとも１４０度）を有することが望ましいかもしれない。
画像取り込みデバイス１２２、１２４、および１２６の各々に関連する視野は、それぞれの焦点距離に依存し得る。例えば、焦点距離が長くなるに連れて、対応する視野は狭くなる。
画像取り込みデバイス１２２、１２４、および１２６は、任意の好適な視野を有するように構成されてよい。１つの特定例において、画像取り込みデバイス１２２は４６度の水平ＦＯＶを有してよく、画像取り込みデバイス１２４は２３度の水平ＦＯＶを有してよく、画像取り込みデバイス１２６は２３度～４６度の間の水平ＦＯＶを有してよい。別の例において、画像取り込みデバイス１２２は５２度の水平ＦＯＶを有してよく、画像取り込みデバイス１２４は２６度の水平ＦＯＶを有してよく、画像取り込みデバイス１２６は２６度～５２度の間の水平ＦＯＶを有してよい。いくつかの実施形態では、画像取り込みデバイス１２２のＦＯＶと、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６のＦＯＶとの比率が、１．５から２．０まで変化し得る。他の実施形態では、この比率が１．２５～２．２５の間で変化し得る。
システム１００は、画像取り込みデバイス１２２の視野が画像取り込みデバイス１２４および／または画像取り込みデバイス１２６の視野と少なくとも部分的に、または完全に重なり合うように構成されてよい。いくつかの実施形態において、システム１００は、例えば、画像取り込みデバイス１２４および１２６の視野が画像取り込みデバイス１２２の視野に含まれ（例えば、画像取り込みデバイス１２２の視野より狭い）、画像取り込みデバイス１２２の視野と共通の中心を共有するように構成されてよい。他の実施形態において、画像取り込みデバイス１２２、１２４、および１２６は、隣接するＦＯＶを取り込んでもよく、それぞれのＦＯＶの中に部分的な重複を有してもよい。いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６の視野は、狭ＦＯＶの画像取り込みデバイス１２４および／または１２６の中心が広ＦＯＶのデバイス１２２の視野の下半分に位置し得るように揃えられてよい。
図２Ｆは、開示する実施形態と矛盾しない例示的な車両制御システムの概略図である。図２Ｆに示すように、車両２００は、スロットル装置２２０と、ブレーキ装置２３０と、操縦装置２４０とを含んでよい。システム１００は、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に、１つまたは複数のデータリンク（例えば、データ送信用の１つまたは複数の任意の有線リンクおよび／または無線リンク）を介して入力（例えば、制御信号）を提供してよい。例えば、画像取り込みデバイス１２２、１２４、および／または１２６が取得した画像の分析に基づいて、システム１００は、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に制御信号を提供して、（例えば、加速、旋回、車線移動などを引き起こすことにより）車両２００をナビゲートしてよい。さらに、システム１００は、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数から、車両２００の動作状態（例えば、速度、車両２００がブレーキをかけているかどうかおよび／または旋回しているかどうかなど）を示す入力を受信してよい。さらなる詳細を、図４～図７に関連して以下に提供する。
図３Ａに示すように、車両２００は、車両２００の運転者または乗員と対話するためのユーザインタフェース１７０も含んでよい。例えば、車両アプリケーションのユーザインタフェース１７０は、タッチスクリーン３２０、つまみ３３０、ボタン３４０、およびマイク３５０を含んでよい。車両２００の運転者または乗員は、ハンドル（例えば、車両２００のステアリングコラムに、またはその近くに位置し、例えば方向指示器レバーを含む）およびボタン（例えば、車両２００のハンドルに位置している）なども用いて、システム１００と対話してよい。いくつかの実施形態において、マイク３５０はバックミラー３１０に隣接して配置されてよい。同様に、いくつかの実施形態において、画像取り込みデバイス１２２はバックミラー３１０の近くに配置されてよい。いくつかの実施形態において、ユーザインタフェース１７０は、１つまたは複数のスピーカ３６０（例えば、車両オーディオシステムのスピーカ）も含んでよい。例えば、システム１００は、スピーカ３６０を介して様々な通知（例えば、アラート）を提供してよい。
図３Ｂ～図３Ｄは、開示する実施形態と矛盾しない、バックミラー（例えば、バックミラー３１０）の背後に車両のフロントガラスに接触して配置されるように構成された、例示的なカメラマウント３７０の図である。図３Ｂに示すように、カメラマウント３７０には、画像取り込みデバイス１２２、１２４、および１２６が含まれてよい。画像取り込みデバイス１２４および１２６は、グレアシールド３８０の背後に配置されてよく、このグレアシールドは、車両のフロントガラスに直接張り付き、フィルム材料および／または反射防止材料の構成物を含んでよい。例えば、グレアシールド３８０は、同じ傾斜を有する車両のフロントガラスに当該シールドが接触して揃うように配置されてよい。いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６の各々は、例えば図３Ｄに示すように、グレアシールド３８０の背後に配置されてよい。開示する実施形態は、画像取り込みデバイス１２２、１２４、および１２６、カメラマウント３７０、並びにグレアシールド３８０のいかなる特定の構成にも限定されない。図３Ｃは、図３Ｂに示すカメラマウント３７０を正面から見た図である。
本開示の恩恵を受ける当業者であれば理解するであろうが、前述の開示した実施形態に対して、多数の変形および／または変更を行うことができる。例えば、全ての構成要素がシステム１００の動作に不可欠であるわけではない。さらに、いかなる構成要素もシステム１００の任意の適切な部分に配置されてよく、これらの構成要素は、開示した実施形態の機能性を提供すると共に、様々な構成に再配置されてよい。したがって、前述の構成は例であり、上述した構成に関係なく、システム１００は幅広い機能性を提供して、車両２００の周囲にあるものを分析し、その分析に応答して車両２００をナビゲートすることができる。
以下でさらに詳細に論じるように、また開示する様々な実施形態と矛盾しないように、システム１００は、自動運転および／または運転者支援技術に関連する様々な機能を提供することができる。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳによる位置情報）、マップデータ、速度データ、および／または、車両２００に含まれるセンサからのデータを分析することができる。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、および他のセンサから、分析用のデータを収集することができる。さらに、システム１００は、収集したデータを分析して、車両２００が特定の動作を起こすべきか否かを判定し、次に、判定された動作を人の介在なしに自動的に起こすことができる。例えば、車両２００が人の介在なしにナビゲートする場合、システム１００は、（例えば、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に制御信号を送ることにより）車両２００のブレーキ、加速、および／または操縦を自動的に制御することができる。さらに、システム１００は、収集したデータを分析し、収集したデータの分析に基づいて、警告および／またはアラートを車両の乗員に発することができる。システム１００により提供される様々な実施形態に関するさらなる詳細を、以下に提供する。
［前面マルチ撮像システム］
上述したように、システム１００は、マルチカメラシステムを用いる運転支援機能を提供することができる。マルチカメラシステムは、車両の前進方向を向いている１つまたは複数のカメラを用いてよい。他の実施形態において、マルチカメラシステムは、車両の側方または車両の後方を向いている１つまたは複数のカメラを含んでよい。一実施形態において、例えば、システム１００は、２カメラ方式の撮像システムを用いてよく、このシステムでは、第１カメラおよび第２カメラ（例えば、画像取り込みデバイス１２２および１２４）が車両（例えば、車両２００）の前部および／または両側面に配置されてよい。第１カメラは、第２カメラの視野より大きい視野、第２カメラの視野より小さい視野、または第２カメラの視野と部分的に重なり合っている視野を有してよい。さらに、第１カメラは、第１カメラにより提供される画像の単眼画像分析を行う第１画像プロセッサに接続されてよく、第２カメラは、第２カメラにより提供される画像の単眼画像分析を行う第２画像プロセッサに接続されてよい。第１画像プロセッサおよび第２画像プロセッサの出力（例えば、処理された情報）は組み合わされてよい。いくつかの実施形態において、第２画像プロセッサは、第１カメラおよび第２カメラの両方から画像を受信して、ステレオ分析を行ってよい。別の実施形態において、システム１００は、複数のカメラの各々が異なる視野を有する３カメラ方式の撮像システムを用いてよい。したがって、そのようなシステムでは、車両の前部および両側部の両方に対して様々な距離に位置する物体から得られた情報に基づいて判定を行うことができる。単眼画像分析への言及は、単一の視点から（例えば、単一のカメラから）取り込まれた画像に基づいて画像分析を行う場合を意味し得る。ステレオ画像分析とは、画像取り込みパラメータの１つまたは複数の変化を伴って取り込まれた２つまたはそれより多くの画像に基づいて画像分析を行う場合を意味し得る。例えば、ステレオ画像分析を行うのに好適な取り込み画像には、２つまたはそれより多くの異なる位置から取り込まれた画像、異なる視野から取り込まれた画像、異なる焦点距離を用いて取り込まれた画像、視差情報と共に取り込まれた画像などが含まれてよい。
例えば、一実施形態において、システム１００は、画像取り込みデバイス１２２、１２４、および１２６を用いる３カメラ構成を実施してよい。そのような構成において、画像取り込みデバイス１２２は狭い視野（例えば、３４度、または約２０～４５度の範囲から選択した他の値など）を提供してよく、画像取り込みデバイス１２４は広い視野（例えば、１５０度、または約１００～約１８０度の範囲から選択した他の値）を提供してよく、画像取り込みデバイス１２６は中間の視野（例えば、４６度、または約３５～約６０度の範囲から選択した他の値）を提供してよい。いくつかの実施形態において、画像取り込みデバイス１２６は、メインカメラまたは一次カメラとしての役割を果たし得る。画像取り込みデバイス１２２、１２４、および１２６は、バックミラー３１０の背後に配置され、且つ実質的に横並びで（例えば、６ｃｍ離れて）配置されてよい。さらに、いくつかの実施形態では上述したように、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、車両２００のフロントガラスと同一平面にあるグレアシールド３８０の背後に取り付けられてよい。そのようなシールドは、画像取り込みデバイス１２２、１２４、および１２６に対する、自動車の内側からのいかなる反射の影響も最小限に抑えるように作用し得る。
別の実施形態では、図３Ｂおよび図３Ｃに関連して上述したように、広視野カメラ（例えば、上の例では画像取り込みデバイス１２４）は、狭視野カメラおよびメイン視野カメラ（例えば、上の例では画像デバイス１２２および１２６）より低く取り付けられてよい。この構成により、広視野カメラからの自由な視線が提供され得る。反射を低減するために、カメラは、車両２００のフロントガラスに近いところに取り付けられてよく、カメラには反射光を減衰させるために偏光板が含まれてよい。
３カメラシステムが、特定の性能特性を提供し得る。例えば、いくつかの実施形態は、あるカメラによる物体の検出を別のカメラの検出結果に基づいて確認する機能を含んでよい。上述した３カメラ構成において、処理ユニット１１０は、例えば、３つの処理デバイス（例えば上述したような、ＥｙｅＱシリーズの３つのプロセッサチップ）を含んでよく、各処理デバイスは、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数により取り込まれた画像の処理に特化している。
３カメラシステムでは、第１処理デバイスがメインカメラおよび狭視野カメラの両方から画像を受信し、狭ＦＯＶカメラによるビジョン処理を行って、例えば、他の車両、歩行者、車線標示、交通標識、信号機、および他の道路地物を検出してよい。さらに、第１処理デバイスは、メインカメラおよび狭視野カメラからの画像同士の画素の視差を計算し、車両２００の環境の３Ｄ復元図を作成してよい。第１処理デバイスは次に、３Ｄ復元図と、３Ｄマップデータまたは別のカメラからの情報に基づいて計算した３Ｄ情報とを組み合わせてよい。
第２処理デバイスは、メインカメラから画像を受信してビジョン処理を行い、他の車両、歩行者、車線標示、交通標識、信号機、および他の道路地物を検出してよい。さらに、第２処理デバイスは、カメラ変位を計算し、その変位に基づいて、連続する画像間の画素の視差を計算して、シーンの３Ｄ復元図（例えば、ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ：ＳｆＭ）を作成してよい。第２処理デバイスは、ステレオ３Ｄ画像と組み合わされるＳｆＭベースの３Ｄ復元図を第１処理デバイスに送ってよい。
第３処理デバイスは、広ＦＯＶのカメラから画像を受信し、その画像を処理して、車両、歩行者、車線標示、交通標識、信号機、および他の道路地物を検出してよい。第３処理デバイスはさらに、追加の処理命令を実行し、画像を分析して、車線を変更する車両、歩行者などといった画像内を移動する物体を識別してよい。
いくつかの実施形態では、画像ベースの情報のストリームが独立して取り込まれ且つ処理されるようにすることで、システムに冗長性をもたらす機会が提供され得る。そのような冗長性には、例えば、第１の画像取り込みデバイスおよび当該デバイスからの処理された画像を用いて、少なくとも第２の画像取り込みデバイスからの画像情報を取り込んで処理することにより取得された情報を確認する且つ／または補足することが含まれてよい。
いくつかの実施形態において、システム１００は、車両２００にナビゲーション支援を提供する際に、２つの画像取り込みデバイス（例えば、画像取り込みデバイス１２２および１２４）を用いてよく、また第３の画像取り込みデバイス（例えば、画像取り込みデバイス１２６）を用いて、冗長性を提供し、他の２つの画像取り込みデバイスから受信したデータの分析を確認してよい。例えば、そのような構成において、画像取り込みデバイス１２２および１２４は、車両２００をナビゲートするために、システム１００によるステレオ分析用に画像を提供してよく、その一方で、画像取り込みデバイス１２６は、システム１００による単眼分析用に画像を提供して、画像取り込みデバイス１２２および／または画像取り込みデバイス１２４から取り込まれた画像に基づいて取得された情報の冗長性および有効性を提供してよい。すなわち、画像取り込みデバイス１２６（および対応する処理デバイス）は、画像取り込みデバイス１２２および１２４から得られた分析に対してチェックを提供するための冗長サブシステムを提供する（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供する）とみなされてよい。さらに、いくつかの実施形態では、受信したデータの冗長性および有効性が、１つまたは複数のセンサから受信した情報（例えば、レーダ、ＬＩＤＡＲ、音響センサ、車両の外側にある１つまたは複数の送受信機から受信した情報など）に基づいて補足されてよい。
当業者であれば、上記のカメラ構成、カメラの配置、カメラの数、カメラの位置などは、単なる例であることを認識するであろう。全体的なシステムに対して説明されたこれらの構成要素などは、開示する実施形態の範囲から逸脱することなく、様々な異なる構成で編成され且つ用いられてよい。運転者支援および／または自動運転車機能を提供するマルチカメラシステムの使用に関するさらなる詳細が以下に続く。
図４は、メモリ１４０および／または１５０の例示的な機能ブロック図であり、これらは、開示する実施形態と矛盾しない１つまたは複数の動作を行うための命令と共に格納され／プログラムされてよい。以下ではメモリ１４０を参照するが、当業者であれば、命令がメモリ１４０および／または１５０に格納され得ることを認識するであろう。
図４に示すように、メモリ１４０は、単眼画像分析モジュール４０２、ステレオ画像分析モジュール４０４、速度加速度モジュール４０６、およびナビゲーション応答モジュール４０８を格納してよい。開示する実施形態は、メモリ１４０のいかなる特定の構成にも限定されない。さらに、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、メモリ１４０に含まれるモジュール４０２、４０４、４０６、および４０８のうちのいずれかに格納された命令を実行してよい。当業者であれば、以下の説明における処理ユニット１１０への言及が、アプリケーションプロセッサ１８０および画像プロセッサ１９０を個々にまたは集合的に指し得ることを理解するであろう。したがって、以下のプロセスのうちのいずれかの各段階が、１つまたは複数の処理デバイスによって行われてよい。
一実施形態において、単眼画像分析モジュール４０２は命令（コンピュータビジョンソフトウェアなど）を格納してよく、この命令は、処理ユニット１１０により実行されると、画像取り込みデバイス１２２、１２４、および１２６のうちの１つによって取得された画像のセットの単眼画像分析を行う。いくつかの実施形態において、処理ユニット１１０は、画像のセットからの情報と、追加の知覚情報（例えば、レーダ、ＬＩＤＡＲなどからの情報）とを組み合わせて単眼画像分析を行ってよい。図５Ａ～図５Ｄに関連して以下に説明するように、単眼画像分析モジュール４０２は、画像のセット内にある、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物、および車両の環境に関連する任意の他の特徴といった特徴のセットを検出するための命令を含んでよい。分析に基づいて、システム１００（例えば、処理ユニット１１０）は、ナビゲーション応答モジュール４０８に関連して以下で論じるように、車両２００において１つまたは複数のナビゲーション応答、例えば、旋回、車線移動、および加速の変更などを生じさせてよい。
一実施形態において、ステレオ画像分析モジュール４０４は命令（コンピュータビジョンソフトウェアなど）を格納してよく、この命令は、処理ユニット１１０により実行されると、画像取り込みデバイス１２２、１２４、および１２６のうちのいずれかから選択された画像取り込みデバイスの組み合わせにより取得された第１セットおよび第２セットの画像のステレオ画像分析を行う。いくつかの実施形態において、処理ユニット１１０は、第１セットおよび第２セットの画像からの情報と、追加の知覚情報（例えば、レーダからの情報）とを組み合わせて、ステレオ画像分析を行ってよい。例えば、ステレオ画像分析モジュール４０４は、画像取り込みデバイス１２４により取得された第１セットの画像と、画像取り込みデバイス１２６により取得された第２セットの画像とに基づいて、ステレオ画像分析を行うための命令を含んでよい。図６に関連して以下で説明するように、ステレオ画像分析モジュール４０４は、第１セットおよび第２セットの画像内にある、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、および危険物などといった特徴のセットを検出するための命令を含んでよい。分析に基づいて、処理ユニット１１０は、ナビゲーション応答モジュール４０８に関連して以下で論じるように、車両２００において１つまたは複数のナビゲーション応答、例えば、旋回、車線移動、および加速の変更などを生じさせてよい。さらに、いくつかの実施形態において、ステレオ画像分析モジュール４０４は、訓練システム（ニューラルネットワークまたはディープニューラルネットワークなど）または未訓練システム（コンピュータビジョンアルゴリズムを用いて、知覚情報が取り込まれて処理された環境内の物体を検出する且つ／またはラベルを付けるように構成され得るシステムなど）に関連する手法を実施してよい。一実施形態において、ステレオ画像分析モジュール４０４および／または他の画像処理モジュールは、訓練システムと未訓練システムとの組み合わせを用いるように構成されてよい。
一実施形態において、速度加速度モジュール４０６は、車両２００内の１つまたは複数のコンピューティング電気機械的デバイスであって、車両２００の速度および／または加速度に変化を起こさせるように構成された１つまたは複数のコンピューティング電気機械的デバイスから受信したデータを分析するように構成されたソフトウェアを格納してよい。例えば、処理ユニット１１０は、速度加速度モジュール４０６に関連する命令を実行し、単眼画像分析モジュール４０２および／またはステレオ画像分析モジュール４０４の実行から得られたデータに基づいて、車両２００の目標速度を計算してよい。そのようなデータには、例えば、目標位置、速度および／または加速度、近くの車両、歩行者、または道路地物に対する車両２００の位置および／または速度、並びに道路の車線標示に対する車両２００の位置情報などが含まれてよい。さらに、処理ユニット１１０は、知覚入力（例えば、レーダからの情報）と、車両２００の他のシステム、例えば、車両２００のスロットル装置２２０、ブレーキ装置２３０、および／または操縦装置２４０からの入力とに基づいて、車両２００の目標速度を計算してよい。計算した目標速度に基づいて、処理ユニット１１０は、車両２００のスロットル装置２２０、ブレーキ装置２３０、および／または操縦装置２４０に電子信号を送信し、例えば、車両２００のブレーキを物理的に踏み込むか、またはアクセルを緩めることにより、速度および／または加速度の変化を引き起こしてよい。
一実施形態において、ナビゲーション応答モジュール４０８は、処理ユニット１１０が単眼画像分析モジュール４０２および／またはステレオ画像分析モジュール４０４の実行から得られたデータに基づいて所望のナビゲーション応答を決定するように実行可能なソフトウェアを格納してよい。そのようなデータには、近くの車両、歩行者、および道路地物に関連する位置情報および速度情報、並びに車両２００の目標位置情報などが含まれてよい。さらに、いくつかの実施形態において、ナビゲーション応答は、マップデータ、車両２００の所定の位置、並びに／または車両２００と単眼画像分析モジュール４０２および／もしくはステレオ画像分析モジュール４０４の実行から検出された１つまたは複数の物体との間の相対速度または相対加速度に（部分的にまたは完全に）基づいてよい。ナビゲーション応答モジュール４０８は、知覚入力（例えば、レーダからの情報）と車両２００の他のシステム（車両２００のスロットル装置２２０、ブレーキ装置２３０、および／または操縦装置２４０など）からの入力とに基づいて、所望のナビゲーション応答を決定してもよい。所望のナビゲーション応答に基づいて、処理ユニット１１０は、車両２００のスロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０に電子信号を送信し、例えば、車両２００のハンドルを回して所定の角度の回転を達成することにより、所望のナビゲーション応答を引き起こしてよい。いくつかの実施形態において、処理ユニット１１０は、ナビゲーション応答モジュール４０８の出力（例えば、所望のナビゲーション応答）を、車両２００の速度の変化を計算するために速度加速度モジュール４０６を実行するための入力として用いてよい。
さらに、本明細書で開示するモジュール（例えば、モジュール４０２、４０４、および４０６）のうちのいずれかが、訓練システム（ニューラルネットワークまたはディープニューラルネットワークなど）または未訓練システムに関連する手法を実施してよい。
図５Ａは、開示する実施形態と矛盾しない、単眼画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス５００Ａを示すフローチャートである。段階５１０において、処理ユニット１１０が処理ユニット１１０と画像取得ユニット１２０との間のデータインタフェース１２８を介して複数の画像を受信してよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２を有する画像取り込みデバイス１２２など）が、車両２００の前方（または、例えば車両の側方または後方）の領域についての複数の画像を取り込み、これらの画像をデータ接続（例えば、デジタル、有線、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。処理ユニット１１０は、図５Ｂ～図５Ｄに関連して以下でさらに詳細に説明されるように、段階５２０で、単眼画像分析モジュール４０２を実行して複数の画像を分析してよい。分析を行うことで、処理ユニット１１０は、画像のセット内の特徴のセット、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、および信号機などを検出してよい。
処理ユニット１１０は、段階５２０において、単眼画像分析モジュール４０２を実行して、例えば、トラックのタイヤの一部、落下した道路標識、緩んだ貨物、および小動物などといった様々な道路障害物も検出してよい。道路障害物は、構造、形状、サイズ、および色が異なり得るため、そのような危険要素の検出がより難しいものになる場合がある。いくつかの実施形態において、処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、複数の画像に対してマルチフレーム分析を行い、道路障害物を検出してよい。例えば、処理ユニット１１０は、連続した画像フレーム間のカメラの動きを推定し、フレーム間の画素の視差を計算して道路の３Ｄマップを構築してよい。処理ユニット１１０は次に、３Ｄマップを用いて、路面と路面上に存在する危険要素とを検出してよい。
段階５３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、段階５２０で行われた分析と図４に関連して上述した手法とに基づき、車両２００において１つまたは複数のナビゲーション応答を発生させてよい。ナビゲーション応答には、例えば、旋回、車線移動、および加速度の変更などが含まれてよい。いくつかの実施形態において、処理ユニット１１０は、速度加速度モジュール４０６の実行から得られたデータを用いて、１つまたは複数のナビゲーション応答を発生させてよい。さらに、複数のナビゲーション応答が同時に、順番に、またはそのあらゆる組み合わせで生じてよい。例えば、処理ユニット１１０は、例えば、車両２００の操縦装置２４０およびスロットル装置２２０に制御信号を順次送信することにより、車両２００を、１つの車線を横切って移動させて次いで加速させることができる。あるいは、処理ユニット１１０は、例えば、車両２００のブレーキ装置２３０および操縦装置２４０に制御信号を同時に送信することにより、車両２００にブレーキをかけさせながら、同時に車線を移動させることができる。
図５Ｂは、開示する実施形態と矛盾しない、画像のセットに含まれる１つもしくは複数の車両および／または１人もしくは複数の歩行者を検出するための、例示的なプロセス５００Ｂを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｂを実施してよい。段階５４０において、処理ユニット１１０は、可能性のある車両および／または歩行者を表す候補物体のセットを決定してよい。例えば、処理ユニット１１０は、１つまたは複数の画像をスキャンし、その画像と１つまたは複数の所定のパターンとを比較し、関心のある物体（例えば、車両、歩行者、またはその一部）を含み得る、可能性のある場所を各画像内で識別してよい。所定のパターンは、高確率の「誤検知（ｆａｌｓｅ ｈｉｔ）」および低確率の「見逃し（ｍｉｓｓ）」を達成するようなやり方で設計されてよい。例えば、処理ユニット１１０は、可能性のある車両または歩行者として候補物体を識別するために、所定のパターンとの類似性に低い閾値を用いてよい。そうすることで、処理ユニット１１０が車両または歩行者を表す候補物体を見逃す（例えば、識別しない）確率を低減することが可能になり得る。
段階５４２では、処理ユニット１１０は、候補物体のセットをフィルタにかけて、分類基準に基づいて特定の候補（例えば、無関係または関連性があまりない物体）を排除してよい。そのような基準は、データベース（例えば、メモリ１４０に格納されたデータベース）に格納された物体のタイプに関連する様々な特性から得られてよい。これらの特性には、物体形状、寸法、テクスチャ、および位置（例えば、車両２００に対する位置）などが含まれてよい。したがって、処理ユニット１１０は、１つまたは複数のセットの基準を用いて、候補物体のセットから間違った候補を排除してよい。
段階５４４では、処理ユニット１１０は、画像の複数のフレームを分析して、候補物体のセットに含まれる物体が車両および／または歩行者を表しているかどうかを判定してよい。例えば、処理ユニット１１０は、検出された候補物体を連続したフレーム全体を通して追跡し、検出された物体に関連するフレームごとのデータ（例えば、サイズ、車両２００に対する位置など）を累積してよい。さらに、処理ユニット１１０は、検出された物体のパラメータを推定し、当該物体のフレームごとの位置データと、予測した位置とを比較してよい。
段階５４６では、処理ユニット１１０は、検出された物体の測定値のセットを構築してよい。そのような測定値には、例えば、検出された物体に関連する（車両２００に対する）位置、速度、および加速度値が含まれてよい。いくつかの実施形態において、処理ユニット１１０は、カルマンフィルタもしくは線形２次推定（ＬＱＥ）などの一連の時間ベースの観測結果を用いる推定手法に基づいて、且つ／または様々な物体のタイプ（例えば、自動車、トラック、歩行者、自転車、道路標識など）に利用可能なモデル化データに基づいて、測定値を構築してよい。カルマンフィルタは、物体のスケールの測定値に基づいてよく、スケール測定値は、衝突までの時間（例えば、車両２００が物体に到達するまでの時間）に比例する。したがって、段階５４０～５４６を行うことで、処理ユニット１１０は、取り込まれた画像のセット内に現れる車両および歩行者を識別し、その車両および歩行者に関連する情報（例えば、位置、速度、サイズ）を得ることができる。この識別および得られた情報に基づいて、処理ユニット１１０は、図５Ａに関連して上で説明したように、車両２００において１つまたは複数のナビゲーション応答を発生させることができる。
段階５４８では、処理ユニット１１０は、「誤検知」を検出する確率と、車両または歩行者を表す候補物体を見逃す確率とを低減するために、１つまたは複数の画像のオプティカルフロー分析を行ってよい。オプティカルフロー分析とは、例えば、他の車両および歩行者に関連する１つまたは複数の画像における、車両２００に対する動きパターンの分析を指してよく、この動きパターンは路面の動きとは異なる。処理ユニット１１０は、異なる時間に取り込まれた複数の画像フレーム全体を通して、物体の様々な位置を観測することにより、候補物体の動きを計算してよい。処理ユニット１１０は、位置および時間の値を、候補物体の動きを計算する数学モデルへの入力として用いてよい。したがって、オプティカルフロー分析は、車両２００の近くの車両および歩行者を検出する別の方法を提供し得る。処理ユニット１１０は、段階５４０～５４６と組み合わせてオプティカルフロー分析を行い、車両および歩行者の検出に冗長性を与え、システム１００の信頼性を高めることができる。
図５Ｃは、開示する実施形態と矛盾しない、画像のセットに含まれる道路標示および／または車線の幾何構造情報を検出するための、例示的なプロセス５００Ｃを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｃを実施してよい。段階５５０において、処理ユニット１１０は、１つまたは複数の画像をスキャンすることで、物体のセットを検出してよい。車線標示、車線の幾何構造情報、および他の関連する道路標示のセグメントを検出するために、処理ユニット１１０は、物体のセットをフィルタにかけて、無関係であると判定されたもの（例えば、小さいくぼみ、小石など）を排除してよい。段階５５２において、処理ユニット１１０は、段階５５０で検出された、同じ道路標示または車線標示に属するセグメントを一緒にグループ化してよい。このグループ化に基づいて、処理ユニット１１０は、検出されたセグメントを表す数学モデルなどのモデルを発展させてよい。
段階５５４において、処理ユニット１１０は、検出されたセグメントに関連する測定値のセットを構築してよい。いくつかの実施形態において、処理ユニット１１０は、検出されたセグメントの、画像平面から実際の平面上への投影図を作成してよい。この投影図は、検出された道路の位置、傾き、曲率、および曲率微分などの物理的特性に対応する係数を有する３次多項式を用いることを特徴とし得る。投影図を生成する際に、処理ユニット１１０は、路面の変化、および車両２００に関連するピッチレートおよびロールレートを考慮してよい。さらに、処理ユニット１１０は、位置および路面上に存在するモーションキューを分析することで、道路標高をモデル化してよい。さらに、処理ユニット１１０は、１つまたは複数の画像内の特徴点のセットを追跡することにより、車両２００に関連するピッチレートおよびロールレートを推定してよい。
段階５５６において、処理ユニット１１０は、例えば、検出されたセグメントを連続した画像フレーム全体を通して追跡して、検出されたセグメントに関連するフレームごとのデータを累積することにより、マルチフレーム分析を行ってよい。処理ユニット１１０がマルチフレーム分析を行うと、段階５５４で構築された測定値のセットは、より信頼できるようになり、次第に高い信頼度に関連づけられるようになるであろう。したがって、段階５５０、５５２、５５４、および５５６を行うことで、処理ユニット１１０は、取り込まれた画像のセット内に現れる道路標示を識別し、車線の幾何構造情報を得ることができる。この識別および得られた情報に基づいて、処理ユニット１１０は、図５Ａに関連して上で説明したように、車両２００において１つまたは複数のナビゲーション応答を発生させることができる。
段階５５８において、処理ユニット１１０は、車両２００の安全モデルを、その周囲にあるものとの関連でさらに発展させるために、追加の情報源を考慮してよい。処理ユニット１１０は、安全モデルを用いて、システム１００が車両２００の自動制御を安全な方式で実行し得る状況を定義してよい。安全モデルを発展させるために、いくつかの実施形態において、処理ユニット１１０は、他の車両の位置および動き、検出された道路エッジおよび道路障壁、並びに／またはマップデータ（マップデータベース１６０のデータなど）から抽出された一般的な道路形状描写を考慮してよい。追加の情報源を考慮することで、処理ユニット１１０は、道路標示および車線の幾何構造の検出に冗長性を与え、システム１００の信頼性を高めることができる。
図５Ｄは、開示する実施形態と矛盾しない、画像のセットに含まれる信号機を検出するための、例示的なプロセス５００Ｄを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｄを実施してよい。段階５６０において、処理ユニット１１０は、画像のセットをスキャンして、信号機を含む可能性がある画像内の位置に現れる物体を識別してよい。例えば、処理ユニット１１０は、候補物体のセットを構築するために、識別した物体をフィルタにかけて、信号機に対応する可能性が低い物体を排除してよい。このフィルタリングは、形状、寸法、テクスチャ、および位置（例えば、車両２００に対する位置）などといった、信号機に関連する様々な特性に基づいて行われてよい。そのような特性は、信号機および交通管制信号の複数の例に基づいてよく、データベースに格納されてよい。いくつかの実施形態において、処理ユニット１１０は、可能性のある信号機を反映した候補物体のセットに対してマルチフレーム分析を行ってよい。例えば、処理ユニット１１０は、連続した画像フレーム全体を通して候補物体を追跡し、候補物体の実際の位置を推定し、移動している物体（信号機である可能性が低い物体）を除外してよい。いくつかの実施形態において、処理ユニット１１０は、候補物体に対して色分析を行い、可能性のある信号機の内側に現れる検出された色の相対位置を識別してよい。
段階５６２において、処理ユニット１１０は、交差点の幾何構造を分析してよい。この分析は、（ｉ）車両２００の両側で検出された車線の数、（ｉｉ）道路上で検出された標示（矢印標示など）、および（ｉｉｉ）マップデータ（マップデータベース１６０のデータなど）から抽出された交差点の記述のあらゆる組み合わせに基づいてよい。処理ユニット１１０は、単眼分析モジュール４０２の実行から得られた情報を用いて分析を行ってよい。さらに、処理ユニット１１０は、段階５６０で検出された信号機と車両２００の近くに現れる車線との対応関係を特定してよい。
車両２００が交差点に近づくと、段階５６４において、処理ユニット１１０は、分析した交差点の幾何構造と検出された信号機とに関連する信頼度を更新してよい。例えば、交差点に現れると推定した信号機の数は、交差点に実際に現れる数と比較すると、信頼度に影響を与え得る。したがって、信頼度に基づいて、処理ユニット１１０は、安全条件を向上させるために、制御権を車両２００の運転者に委ねてよい。段階５６０、５６２、および５６４を行うことで、処理ユニット１１０は、取り込まれた画像のセット内に現れる信号機を識別し、交差点の幾何構造情報を分析してよい。この識別および分析に基づいて、処理ユニット１１０は、図５Ａに関連して上で説明したように、車両２００において１つまたは複数のナビゲーション応答を発生させることができる。
図５Ｅは、開示する実施形態と矛盾しない、車両経路に基づいて車両２００において１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス５００Ｅを示すフローチャートである。段階５７０において、処理ユニット１１０は、車両２００に関連する初期車両経路を構築してよい。この車両経路は、座標（ｘ，ｚ）で表現される点のセットを用いて表されてよく、これらの点のセット内の２点間の距離ｄｉは、１～５メートルの範囲に含まれ得る。一実施形態において、処理ユニット１１０は、２つの多項式、例えば、左右の道路多項式を用いて初期車両経路を構築してよい。処理ユニット１１０は、２つの多項式間の幾何中点を計算し、オフセットがもしあれば（ゼロのオフセットは車線の中央を走行していることに対応し得る）、結果として生じる車両経路に含まれる各点を所定のオフセット（例えば、スマート車線オフセット）だけずらしてよい。このオフセットは、車両経路内の任意の２点間のセグメントに対して垂直な方向に存在し得る。別の実施形態において、処理ユニット１１０は、１つの多項式と推定した車線幅とを用いて、車両経路の各点を、推定した車線幅の半分に所定のオフセット（例えば、スマート車線オフセット）を加えた分だけずらしてよい。
段階５７２において、処理ユニット１１０は、段階５７０で構築した車両経路を更新してよい。処理ユニット１１０は、段階５７０で構築した車両経路を高い解像度を用いて再構築してよく、これにより、車両経路を表す点のセット内の２点間の距離ｄｋは上述した距離ｄｉより小さくなる。例えば、距離ｄｋは、０．１～０．３メートルの範囲に含まれ得る。処理ユニット１１０は、放物線スプラインアルゴリズムを用いて車両経路を再構築してよく、これにより、車両経路の全長に対応する（すなわち、車両経路を表す点のセットに基づく）累積距離ベクトルＳがもたらされ得る。
段階５７４において、処理ユニット１１０は、段階５７２で構築した更新後の車両経路に基づいて、（座標（ｘｌ，ｚｌ）として表現される）ルックアヘッド点を決定してよい。処理ユニット１１０は累積距離ベクトルＳからルックアヘッド点を抽出してよく、ルックアヘッド点はルックアヘッド距離およびルックアヘッド時間に関連づけられてよい。ルックアヘッド距離は、１０～２０メートルの範囲にある下限値を有してよく、車両２００の速度とルックアヘッド時間との積として計算されてよい。例えば、車両２００の速度が低下すると、ルックアヘッド距離も（例えば、下限値に到達するまで）減少し得る。ルックアヘッド時間は、０．５～１．５秒の範囲にあってよく、車両２００においてナビゲーション応答を発生させることに関連する１つまたは複数の制御ループ（方位誤差追跡制御ループなど）のゲインに反比例し得る。例えば、方位誤差追跡制御ループのゲインは、ヨーレートループの帯域幅、ステアリングアクチュエータループ、および自動車の横方向の力学などに依存し得る。したがって、方位誤差追跡制御ループのゲインが高いほど、ルックアヘッド時間が短くなる。
段階５７６において、処理ユニット１１０は、段階５７４で決定したルックアヘッド点に基づいて、方位誤差およびヨーレートコマンドを決定してよい。処理ユニット１１０は、ルックアヘッド点の逆正接、例えばａｒｃｔａｎ（ｘｌ／ｚｌ）を計算することにより、方位誤差を決定してよい。処理ユニット１１０は、方位誤差と高レベル制御ゲインとの積として、ヨーレートコマンドを決定してよい。高レベル制御ゲインは、ルックアヘッド距離が下限値にない場合には、（２／［ルックアヘッド時間］）に等しくなり得る。そうでない場合には、高レベル制御ゲインは、（２×［車両２００の速度］／［ルックアヘッド距離］）に等しくなり得る。
図５Ｆは、開示する実施形態と矛盾しない、先行車両が車線を変更中であるかどうかを判定するための、例示的なプロセス５００Ｆを示すフローチャートである。段階５８０において、処理ユニット１１０は、先行車両（例えば、車両２００の前方を走行する車両）に関連するナビゲーション情報を特定してよい。例えば、処理ユニット１１０は、先行車両の位置、速度（例えば、方向および速度）、および／または加速度を、図５Ａおよび図５Ｂに関連して上で説明した手法を用いて決定してよい。処理ユニット１１０は、図５Ｅに関連して上で説明された手法を用いて、１つまたは複数の道路多項式、（車両２００に関連する）ルックアヘッド点、および／またはスネイルトレイル（例えば、先行車両が通った経路を記述する点のセット）を決定してもよい。
段階５８２において、処理ユニット１１０は、段階５８０で特定したナビゲーション情報を分析してよい。一実施形態において、処理ユニット１１０は、スネイルトレイルと道路多項式との間の（例えば、トレイルに沿った）距離を計算してよい。トレイルに沿ったこの距離の分散が所定の閾値（例えば、直線道路では０．１～０．２メートル、緩やかなカーブの道路では０．３～０．４メートル、および急なカーブの道路では０．５～０．６メートル）を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。複数の車両が車両２００の前方を走行していることが検出された場合、処理ユニット１１０は、各車両に関連するスネイルトレイルを比較してよい。この比較に基づいて、処理ユニット１１０は、スネイルトレイルが他の車両のスネイルトレイルと一致しない車両がおそらく車線を変更中であると判定してよい。処理ユニット１１０はさらに、（先行車両に関連する）スネイルトレイルの曲率と、先行車両が走行している道路セグメントの予期される曲率とを比較してよい。予期される曲率は、マップデータ（例えば、マップデータベース１６０からのデータ）、道路多項式、他の車両のスネイルトレイル、および道路に関する予備知識などから抽出されてよい。スネイルトレイルの曲率と道路セグメントの予期される曲率との差異が所定の閾値を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。
別の実施形態において、処理ユニット１１０は、先行車両の瞬時位置と（車両２００に関連する）ルックアヘッド点とを特定の期間（例えば、０．５～１．５秒）にわたって比較してよい。先行車両の瞬時位置とルックアヘッド点との間の距離が特定の期間の間に変化し、且つ変化量の累積合計が所定の閾値（例えば、直線道路では０．３～０．４メートル、緩やかなカーブの道路では０．７～０．８メートル、また急なカーブの道路では１．３～１．７メートル）を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。別の実施形態において、処理ユニット１１０は、トレイルに沿った横方向移動距離とスネイルトレイルの予期される曲率とを比較することにより、スネイルトレイルの幾何構造を分析してよい。予期される曲率半径は、（δｚ ２＋δｘ ２）／２／（δｘ）という計算に従って求められてよい。ここで、δｘは横方向移動距離を表しており、δｚは縦方向移動距離を表している。横方向移動距離と予期される曲率との差異が所定の閾値（例えば、５００～７００メートル）を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。別の実施形態において、処理ユニット１１０は先行車両の位置を分析してよい。先行車両の位置が道路多項式を見えなくさせている（例えば、先行車両が道路多項式の上に重ねられている）場合、処理ユニット１１０は次いで、先行車両がおそらく車線を変更中であると判定してよい。先行車両の前方に別の車両が検出され、２つの車両のスネイルトレイルが平行ではないというような先行車両の位置の場合、処理ユニット１１０は、（近い方の）先行車両がおそらく車線を変更中であると判定してよい。
段階５８４において、処理ユニット１１０は、段階５８２で行われた分析に基づいて、先行車両２００が車線を変更中であるか否かを判定してよい。例えば、処理ユニット１１０は、段階５８２で行われた個々の分析の加重平均に基づいて、判定を行ってよい。そのような方式では、例えば、特定のタイプの分析に基づいた、先行車両がおそらく車線を変更中であるとの処理ユニット１１０による判定には、「１」の値が割り当てられてよい（「０」は、先行車両がおそらく車線を変更中ではないとの判定を表す）。段階５８２で行われる様々な分析には異なる重みが割り当てられてよく、開示する実施形態は、分析および重みのいかなる特定の組み合わせにも限定されない。
図６は、開示する実施形態と矛盾しない、ステレオ画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス６００を示すフローチャートである。段階６１０において、処理ユニット１１０は、データインタフェース１２８を介して第１および第２の複数の画像を受信してよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２および２０４を有する画像取り込みデバイス１２２および１２４など）が、車両２００の前方の領域の第１および第２の複数の画像を取り込み、これらの画像をデジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。いくつかの実施形態において、処理ユニット１１０は、第１および第２の複数の画像を２つまたはそれより多くのデータインタフェースを介して受信してよい。開示する実施形態は、いかなる特定のデータインタフェース構成またはプロトコルにも限定されない。
段階６２０において、処理ユニット１１０はステレオ画像分析モジュール４０４を実行して、第１および第２の複数の画像のステレオ画像分析を行い、車両の前方の道路の３Ｄマップを作成し、これらの画像内の特徴、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、および道路障害物などを検出してよい。ステレオ画像分析は、図５Ａ～図５Ｄに関連して上で説明した段階と同様の方式で行われてよい。例えば、処理ユニット１１０は、ステレオ画像分析モジュール４０４を実行して、第１および第２の複数の画像内の候補物体（例えば、車両、歩行者、道路標示、信号機、道路障害物など）を検出し、様々な基準に基づいて候補物体のサブセットを除外し、さらにマルチフレーム分析を行い、測定値を構築し、残りの候補物体の信頼度を特定してよい。上記の段階を行う際に、処理ユニット１１０は、１つのセットの画像だけからの情報ではなくむしろ、第１および第２の複数の画像の双方からの情報を考慮してよい。例えば、処理ユニット１１０は、第１および第２の複数の画像の双方に現れる候補物体の画素レベルのデータ（または、取り込まれた画像の２つのストリームのうちの他のデータサブセット）における差異を分析してよい。別の例として、処理ユニット１１０は、（例えば、車両２００に対する）候補物体の位置および／または速度を、その物体が複数の画像のうちの１つに現れるが、その他の画像には現れないことを観測することにより推定してもよく、２つの画像ストリームがある場合に現れる物体に関連して存在し得る他の差異と比較して推定してよい。例えば、車両２００に対する位置、速度、および／または加速度が、２つの画像ストリームの一方または両方に現れる物体に関連する特徴の軌跡、位置、運動特性などに基づいて決定されてよい。
段階６３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、段階６２０で行われた分析と図４に関連して上述した手法とに基づき、車両２００において１つまたは複数のナビゲーション応答を発生させてよい。ナビゲーション応答には、例えば、旋回、車線移動、加速度の変更、速度の変更、およびブレーキなどが含まれてよい。いくつかの実施形態において、処理ユニット１１０は、速度加速度モジュール４０６の実行から得られたデータを用いて、１つまたは複数のナビゲーション応答を発生させてよい。さらに、複数のナビゲーション応答が同時に、順番に、またはそのあらゆる組み合わせで生じてよい。
図７は、開示する実施形態と矛盾しない、３つのセットの画像の分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス７００を示すフローチャートである。段階７１０において、処理ユニット１１０は、データインタフェース１２８を介して第１、第２、および第３の複数の画像を受信してよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２、２０４、および２０６を有する画像取り込みデバイス１２２、１２４、および１２６など）が、車両２００の前方および／または側方の領域の第１、第２、および第３の複数の画像を取り込み、これらの画像をデジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。いくつかの実施形態において、処理ユニット１１０は、第１、第２、および第３の複数の画像を３つまたはそれより多くのデータインタフェースを介して受信してよい。例えば、画像取り込みデバイス１２２、１２４、１２６の各々は、処理ユニット１１０にデータを通信するための関連データインタフェースを有してよい。開示する実施形態は、いかなる特定のデータインタフェース構成またはプロトコルにも限定されない。
段階７２０において、処理ユニット１１０は、第１、第２、および第３の複数の画像を分析して、これらの画像内の特徴、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、および道路障害物などを検出してよい。この分析は、図５Ａ～図５Ｄおよび図６に関連して上で説明した段階と同様の方式で行われてよい。例えば、処理ユニット１１０は、（例えば、単眼画像分析モジュール４０２の実行によって、且つ図５Ａ～図５Ｄに関連して上で説明した段階に基づいて）第１、第２、および第３の複数の画像の各々に対して単眼画像分析を行ってよい。あるいは、処理ユニット１１０は、（例えば、ステレオ画像分析モジュール４０４の実行によって、且つ図６に関連して上で説明した段階に基づいて）第１および第２の複数の画像、第２および第３の複数の画像、並びに／または第１および第３の複数の画像に対してステレオ画像分析を行ってよい。第１、第２、および／または第３の複数の画像の分析に対応する処理済み情報は、組み合わされてよい。いくつかの実施形態において、処理ユニット１１０は、単眼画像分析とステレオ画像分析との組み合わせを行ってよい。例えば、処理ユニット１１０は、（例えば、単眼画像分析モジュール４０２の実行によって）第１の複数の画像に対して単眼画像分析を行い、（例えば、ステレオ画像分析モジュール４０４の実行によって）第２および第３の複数の画像に対してステレオ画像分析を行ってよい。画像取り込みデバイス１２２、１２４、および１２６の構成（それぞれの位置および視野２０２、２０４および２０６を含む）は、第１、第２、および第３の複数の画像に対して行われる分析のタイプに影響を与え得る。開示する実施形態は、画像取り込みデバイス１２２、１２４、および１２６の特定の構成、または第１、第２、および第３の複数の画像に対して行われる分析のタイプに限定されない。
いくつかの実施形態において、処理ユニット１１０は、段階７１０および７２０で取得され且つ分析された画像に基づいて、システム１００に対して試験を行ってよい。そのような試験は、画像取り込みデバイス１２２、１２４、および１２６の特定の構成に対して、システム１００の全体的な性能の指標を与え得る。例えば、処理ユニット１１０は、「誤検知」（例えば、システム１００が車両または歩行者の存在を間違って判定した場合）および「見逃し」の割合を求めてよい。
段階７３０において、処理ユニット１１０は、第１、第２、および第３の複数の画像のうちの２つから得られた情報に基づいて、車両２００において１つまたは複数のナビゲーション応答を発生させてよい。第１、第２、および第３の複数の画像のうちの２つの選択は、様々な要因、例えば、複数の画像の各々で検出される物体の数、タイプ、およびサイズなどに依存し得る。処理ユニット１１０は、画質および解像度、画像に反映された有効視野、取り込まれたフレームの数、１つまたは複数の関心のある物体が実際にフレームに現れる程度（例えば、物体が現れるフレームの割合、そのような各フレームに現れる物体の割合など）などに基づいて選択を行ってもよい。
いくつかの実施形態において、処理ユニット１１０は、第１、第２、および第３の複数の画像のうちの２つから得られる情報を、ある画像ソースから得られた情報が他の画像ソースから得られた情報と一致する程度を特定することにより選択してよい。例えば、処理ユニット１１０は、画像取り込みデバイス１２２、１２４、および１２６の各々から得られた処理済みの情報を（単眼分析によるものであろうと、ステレオ分析によるものであろうと、この２つの任意の組み合わせによるものであろうと）組み合わせて、画像取り込みデバイス１２２、１２４、および１２６の各々から取り込まれた画像に一貫している視覚的指標（例えば、車線標示、検出された車両並びにその位置および／または経路、検出された信号機など）を特定してよい。処理ユニット１１０は、取り込まれた画像に一貫していない情報（例えば、車線を変更している車両、車両２００に近過ぎる車両を示す車線モデルなど）を排除してもよい。したがって、処理ユニット１１０は、一貫している情報および一貫していない情報という判定に基づいて、第１、第２、および第３の複数の画像のうちの２つから得られる情報を選択してよい。
ナビゲーション応答には、例えば、旋回、車線移動、および加速度の変更などが含まれてよい。処理ユニット１１０は、段階７２０で行われた分析と図４に関連して上述した手法とに基づいて、１つまたは複数のナビゲーション応答を発生させてよい。処理ユニット１１０は、速度加速度モジュール４０６の実行から得られたデータを用いて、１つまたは複数のナビゲーション応答を発生させてもよい。いくつかの実施形態において、処理ユニット１１０は、車両２００と第１、第２、および第３の複数の画像のうちのいずれかで検出された物体との相対位置、相対速度、および／または相対加速度に基づいて、１つまたは複数のナビゲーション応答を発生させてよい。複数のナビゲーション応答が同時に、順番に、またはその任意の組み合わせで行われてよい。
［自動運転車ナビゲーション用のスパース道路モデル］
いくつかの実施形態において、開示するシステムおよび方法は、自動運転車ナビゲーション用のスパースマップを用いてよい。具体的には、スパースマップは、道路セグメントに沿った自動運転車ナビゲーション用であってよい。例えば、スパースマップは、自動運転車をナビゲートするのに十分な情報を、大量のデータの格納および／または更新を行うことなく提供することができる。以下でさらに詳細に論じるように、自動運転車は、スパースマップを用い、格納された１つまたは複数の軌跡に基づいて１つまたは複数の道路をナビゲートすることができる。
［自動運転車ナビゲーション用のスパースマップ］
いくつかの実施形態において、開示するシステムおよび方法は、自動運転車ナビゲーション用のスパースマップを生成し得る。例えば、スパースマップは、過度のデータストレージまたはデータ転送レートを必要とすることなく、ナビゲーションに十分な情報を提供することができる。以下でさらに詳細に論じるように、車両（自動運転車であってよい）は、スパースマップを用いて１つまたは複数の道路をナビゲートすることができる。例えば、いくつかの実施形態において、スパースマップは、道路および場合によっては道路に沿うランドマークに関連するデータを含んでよく、このデータは車両ナビゲーションに十分かもしれないが、データフットプリントが小さいことも示している。例えば、以下で詳細に説明するスパースデータマップは、詳細なマップ情報（道路に沿って収集した画像データなど）を含むデジタルマップと比較すると、必要なストレージ領域およびデータ転送帯域幅が著しく少なくてよい。
例えば、スパースデータマップは、道路セグメントの詳細な表現を格納するのではなくむしろ、道路に沿った好ましい車両経路の３次元多項式表現を格納することができる。これらの経路は、データストレージ領域をほとんど必要としなくてよい。さらに、説明したスパースデータマップでは、ナビゲーションに役立つように、ランドマークが識別され、スパースマップ道路モデルに含まれてよい。これらのランドマークは、車両ナビゲーションを可能にするのに好適な任意の間隔で配置されてよいが、場合によっては、そのようなランドマークを識別したり、高密度且つ狭い間隔でモデルに含めたりする必要はない。むしろ、場合によっては、少なくとも５０メートル、少なくとも１００メートル、少なくとも５００メートル、少なくとも１キロメートル、または少なくとも２キロメートルの間隔を置いて配置したランドマークに基づいて、ナビゲーションが可能になり得る。他のセクションでより詳細に論じることになるが、スパースマップは、車両が車道に沿って走行するときに、様々なセンサおよびデバイス、例えば、画像取り込みデバイス、全地球測位システム用のセンサ、モーションセンサなどを備えた車両によって収集または測定されたデータに基づいて生成されてよい。場合によっては、スパースマップは、特定の車道に沿った１つまたは複数の車両の複数のドライブで収集されたデータに基づいて生成されてよい。１つまたは複数の車両の複数のドライブを用いてスパースマップを生成することは、スパースマップの「クラウドソーシング」と呼ばれることがある。
開示する実施形態と矛盾せずに、自動運転車システムがナビゲーション用のスパースマップを用いてよい。例えば、開示するシステムおよび方法は、自動運転車用の道路ナビゲーションモデルを生成するためにスパースマップを配信してよく、スパースマップおよび／または生成した道路ナビゲーションモデルを用いて、道路セグメントに沿って自動運転車をナビゲートしてよい。本開示と矛盾しないスパースマップには、自動運転車が関連する道路セグメントに沿って移動するときに通行し得る所定の軌跡を表し得る１つまたは複数の３次元等高線図が含まれてよい。
本開示と矛盾しないスパースマップには、１つまたは複数の道路特徴を表すデータも含まれてよい。そのような道路特徴には、認識済みのランドマーク、ロードシグネチャプロファイル、および車両をナビゲートするのに有用な任意の他の道路関連の特徴が含まれてよい。本開示と矛盾しないスパースマップによって、スパースマップに含まれる比較的少量のデータに基づく車両の自動ナビゲーションが可能になり得る。例えば、開示するスパースマップの実施形態は、道路エッジ、道路曲率、道路セグメントに関連する画像、または道路セグメントに関連する他の物理的特徴を詳述しているデータなどの道路の詳細な表現を含むのではなくむしろ、比較的少ないストレージ領域（およびスパースマップの各部分を車両に転送する場合には比較的少ない帯域幅）しか必要としなくてよいが、それでも、十分に自動運転車ナビゲーションを提供し得る。以下でさらに詳細に論じるが、開示するスパースマップの小さいデータフットプリントは、いくつかの実施形態では、少量のデータしか必要としないが、それでも自動ナビゲーションを可能とする道路関連要素の表現を格納することで達成され得る。
例えば、開示するスパースマップは、道路の様々な態様の詳細な表現を格納するのではなくむしろ、車両が道路に沿って進み得る１つまたは複数の軌跡の多項式表現を格納してよい。したがって、道路に沿ったナビゲーションを可能にするために、道路の物理的性質に関する詳細を格納する（または詳細を転送する必要がある）のではなくむしろ、開示するスパースマップを用いると、場合によっては、道路の物理的態様を解釈する必要がなく、むしろ車両の走行経路と特定の道路セグメントに沿った軌跡（例えば、多項式スプライン）とを揃えることにより、特定の道路セグメントに沿って車両をナビゲートすることができる。このように、車両は、主に格納された軌跡（例えば、多項式スプライン）に基づいてナビゲートされてよく、格納された軌跡は、車道画像、道路パラメータ、道路レイアウトなどの格納を必要とする手法よりもはるかに少ないストレージ領域しか必要としなくてよい。
道路セグメントに沿った軌跡についての格納された多項式表現に加えて、開示するスパースマップは、道路特徴を表し得るスモールデータオブジェクトも含んでよい。いくつかの実施形態において、スモールデータオブジェクトはデジタル署名を含んでよく、デジタル署名は、道路セグメントに沿って走行する車両に搭載されたセンサ（例えば、カメラ、またはサスペンションセンサなどの他のセンサ）により取得されたデジタル画像（またはデジタル信号）から得られる。デジタル署名は、センサにより取得された信号と比較してサイズが小さくてよい。いくつかの実施形態において、デジタル署名は、例えば、その後のドライブでセンサにより取得される信号からの道路特徴を検出して識別するように構成された分類器機能と互換性があるように作成されてよい。いくつかの実施形態において、デジタル署名は、デジタル署名ができるだけ小さいフットプリントを有すると共に、同じ道路セグメントに沿って走行する車両に搭載されたカメラにより次の機会に取り込まれる道路特徴の画像（または、格納された署名が画像に基づいていない且つ／または他のデータを含む場合には、センサにより生成されるデジタル信号）に基づいて、道路特徴を格納された署名に関連づけるまたは一致させる機能を保持するように作成されてよい。
いくつかの実施形態において、データオブジェクトのサイズはさらに、道路特徴の一意性に関連してよい。例えば、車両に搭載されたカメラにより検出可能な道路特徴について、車両に搭載されたカメラシステムが、当該道路特徴に対応する画像データを特定のタイプの道路特徴（例えば、道路標識）に関連しているものとして区別できる分類器に結合される場合、且つそのような道路標識が当該領域で局所的に一意である（例えば、全く同じ道路標識も、同じタイプの道路標識も近くにない）場合、道路特徴のタイプおよびその位置を示すデータを格納することで十分であろう。
以下でさらに詳細に論じられることになるが、道路特徴（例えば、道路セグメントに沿うランドマーク）は、比較的少ないバイト数で道路特徴を表し得るスモールデータオブジェクトとして格納されてよく、同時に、そのような特徴をナビゲーション用に認識し且つ用いるのに十分な情報を提供し得る。一例において、道路標識が、車両のナビゲーションが根拠とし得る認識済みのランドマークとして識別されてよい。道路標識の表現がスパースマップに格納されてよく、スパースマップには、例えば、ランドマークのタイプ（例えば、一時停止標識）を示す数バイトのデータ、およびランドマークの位置（例えば、座標）を示す数バイトのデータが含まれる。ランドマークのそのようなデータライト表現に基づいてナビゲートすること（例えば、ランドマークに基づいて、位置特定を行い、認識し、ナビゲートするのに十分な表現を用いること）により、スパースマップに関連するデータオーバーヘッドを著しく増加させることなく、スパースマップに関連する所望のレベルのナビゲーション機能が提供され得る。ランドマーク（および他の道路特徴）のこの効率的な表現は、特定の道路特徴を検出し、識別し、且つ／または分類するように構成されるような車両に搭載されたセンサおよびプロセッサを利用してよい。
例えば、所与の領域において、標識または標識の特定のタイプでさえも局所的に一意である場合（例えば、他の標識もなく、同じタイプの他の標識もない場合）、スパースマップはランドマークのタイプ（標識または特定のタイプの標識）を示すデータを用いてよく、ナビゲーション（例えば、自動ナビゲーション）の際に、自動運転車に搭載されたカメラが標識（または特定のタイプの標識）を含む領域の画像を取り込むと、プロセッサは画像を処理し、標識を（実際に画像内に存在するならば）検出し、画像を標識として（または特定のタイプの標識として）分類し、画像の位置とスパースマップに格納された標識の位置とを関連づけてよい。
スパースマップは、道路セグメントに沿って識別される物体の任意の好適な表現を含んでもよい。場合によっては、物体は、セマンティックな物体または非セマンティックな物体と呼ばれてもよい。セマンティックな物体は、例えば、所定のタイプ分類に関連する物体を含んでもよい。このタイプ分類は、環境において認識されるセマンティックな物体を記述するのに必要とされるデータの量を削減する際に有用であってもよく、これは、（例えば複数の収集車両からサーバへとドライブ情報を転送するための帯域幅の使用に関連するコストを低減する）収集段階とナビゲーション段階中との両方において有益なものとなり得る（例えば、マップデータの減少によって、サーバからナビゲート車両へのマップタイルの転送を速めることができ、且つ、そのような転送のための帯域幅の使用に関連するコストを低減することもできる）。セマンティックな物体分類タイプは、車道に沿って遭遇されると予期される任意のタイプの物体または特徴に割り当てられてもよい。
セマンティックな物体はさらに、２つまたはそれより多くの論理グループへと分割されてもよい。例えば、場合によっては、セマンティックな物体タイプの１つのグループは、所定の寸法に関連してもよい。そのようなセマンティックな物体は、特定の速度制限標識、優先道路標識、マージ標識、一時停止標識、信号機、車道上の方向矢印、マンホールカバー、または、標準化されたサイズに関連し得る任意の他のタイプの物体、を含んでもよい。そのようなセマンティックな物体によって提供される１つの利益は、物体を表す／完全に定義するのに、データをほとんど必要としないかもしれないことである。例えば、制限速度サイズの標準化されたサイズが既知であるならば、収集車両が次に、サーバ側でのマップ生成用に十分な情報を提供するべく、検出された制限速度標識の位置のインジケーション（例えば、取り込まれた画像における、標識の中心または標識の特定のコーナーの２Ｄ位置（または、その代わりに、実際の座標における３Ｄ位置））と共に、制限速度標識（認識されるタイプ）の存在を（取り込まれた画像の分析によって）識別することだけを必要としてもよい。２Ｄ画像位置がサーバに送信される場合、サーバは（例えば、１つまたは複数の収集車両から取り込まれた複数の画像を使用するモーション手法における構造を介して）標識の実際の位置を特定できるので、取り込まれた画像に関連する、標識が検出された位置もまた送信されてよい。（各々の検出された物体を定義するのにたった数バイトしか必要としない）この限定された情報を伴っていてもなお、サーバは、１つまたは複数の収集車両から、検出された標識の位置情報と共に受信される（制限速度標識を表す）タイプ分類に基づいて完全に表される制限速度標識を含むマップを構築してもよい。
セマンティックな物体もまた、特定の標準化された特性に関連しない、他の認識される物体または特徴タイプを含んでもよい。そのような物体または特徴は、道路にできた穴、タールシーム、街灯柱、標準化されていない信号、縁石、樹木、木の枝、または、１つまたは複数の可変特性（例えば可変寸法）を備えた任意の他のタイプの認識される物体のタイプ、を含んでもよい。そのような場合、（例えば、道路にできた穴、ポールなどの）検出された物体または特徴タイプのインジケーションおよび検出された物体または特徴の位置情報をサーバに送信することに加えて、収集車両はまた、物体または特徴のサイズのインジケーションも送信してよい。サイズは、（例えば、バウンディングボックス、もしくは、１つまたは複数の寸法値、を伴う）２Ｄ画像寸法、または、（ＬＩＤＡＲまたはＲＡＤＡＲシステム出力、訓練ニューラルネットワーク出力、などに基づく運動計算における構造を介して特定される）実際の寸法で表されてもよい。
非セマンティックな物体または特徴は、認識される種類またはタイプの範囲外であるがそれでもマップ生成において価値ある情報を与え得る、任意の検出可能な物体または特徴を含んでもよい。場合によっては、そのような非セマンティックな特徴は、ビルの検出されたコーナーまたはビルの検出された窓ガラスのコーナー、車道の近くの独特な石または物体、路肩におけるコンクリートスプラッタ、もしくは、任意の他の検出可能な物体または特徴、を含んでもよい。そのような物体または特徴を検出する際、１つまたは複数の収集車両は、検出された物体／特徴に関連する１つまたは複数の点（２Ｄ画像点または３Ｄ現実世界点）の位置をマップ生成サーバへと送信してもよい。さらに、検出された物体または特徴を含む取り込まれた画像の領域について、圧縮された又は簡略化された画像セグメント（例えば、画像ハッシュ）が生成されてもよい。この画像ハッシュは、所定の画像処理アルゴリズムに基づいて計算されてもよく、且つ、検出された非セマンティックな物体または特徴について効果的な署名を形式してもよい。車道を行き来する車両は、取り込まれた画像においてマッピングされた非セマンティックな特徴または物体の存在を検証／立証するために、画像ハッシュを生成するのに使用されるアルゴリズムに類似するアルゴリズムを適用し得るので、そのような署名は、非セマンティックな特徴または物体を含むスパースマップに関連するナビゲーションに有用であるかもしれない。この手法を使用することにより、非セマンティックな特徴は、著しいデータオーバーヘッドを追加することなく、スパースマップの豊富さを追加するかもしれない（そして、例えば、ナビゲーションにおけるそれらの実用性を向上させるかもしれない）。
言及されたように、目標軌跡は、スパースマップに格納されてもよい。これらの目標軌跡（例えば、３Ｄスプライン）は、車道の各々の利用可能な車線用の、交差点を通る各々の有効な経路用の、合流地点および出口のための、などで好ましいまたは推奨される経路を表してもよい。目標軌跡に加えて、他の道路特徴もまた、検出され、収集され、且つ、代表スプラインの形でスパースマップに組み込まれてもよい。そのような特徴は、例えば、道路エッジ、車線標示、縁石、ガードレール、または、車道または道路セグメントに沿って拡張している任意の他の物体もしくは特徴、を含んでもよい。
［スパースマップの生成］
いくつかの実施形態では、スパースマップが、道路セグメントに沿って延びる路面特徴に関する少なくとも１つのライン表現と、道路セグメントに関連する複数のランドマークとを含んでよい。特定の態様において、スパースマップは「クラウドソーシング」を介して、例えば、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像の画像分析によって生成されてよい。
図８は、１つまたは複数の車両、例えば、車両２００（これは、自動運転車であってよい）が自動運転車ナビゲーションを提供するためにアクセスし得るスパースマップ８００を示している。スパースマップ８００は、メモリ１４０または１５０などのメモリに格納されてよい。そのようなメモリデバイスは、任意のタイプの非一時的ストレージデバイスまたはコンピュータ可読媒体を含んでもよい。例えば、いくつかの実施形態において、メモリ１４０または１５０は、ハードドライブ、コンパクトディスク、フラッシュメモリ、磁気ベースのメモリデバイス、光ベースのメモリデバイスなどを含んでよい。いくつかの実施形態において、スパースマップ８００は、メモリ１４０もしくは１５０、または他のタイプのストレージデバイスに格納され得るデータベース（例えば、マップデータベース１６０）に格納されてよい。
いくつかの実施形態において、スパースマップ８００は、車両２００に搭載されたストレージデバイスまたは非一時的コンピュータ可読媒体（例えば、車両２００に搭載されたナビゲーションシステムに含まれるストレージデバイス）に格納されてよい。車両２００に設けられたプロセッサ（例えば、処理ユニット１１０）が、自動運転車２００が道路セグメントを通行するときに当該車両を誘導するためのナビゲーション命令を生成するために、車両２００に搭載されたストレージデバイスまたはコンピュータ可読媒体に格納されたスパースマップ８００にアクセスしてよい。
しかしながら、スパースマップ８００は、車両に対してローカルに格納される必要はない。いくつかの実施形態において、スパースマップ８００は、車両２００または車両２００に関連するデバイスと通信するリモートサーバに設けられたストレージデバイスまたはコンピュータ可読媒体に格納されてよい。車両２００に設けられたプロセッサ（例えば、処理ユニット１１０）は、スパースマップ８００に含まれるデータをリモートサーバから受信してよく、車両２００の自動運転を誘導するために、このデータを実行してよい。そのような実施形態において、リモートサーバは、スパースマップ８００の全て、またはその一部だけを格納してよい。これを受けて、車両２００に搭載された、および／もしくは、１つまたは複数の追加の車両に搭載されたストレージデバイスまたはコンピュータ可読媒体は、スパースマップ８００の１つまたは複数の残りの部分を格納してよい。
さらに、そのような実施形態では、様々な道路セグメントを通行する複数の車両（例えば、数十台、数百台、数千台、または数百万台の車両など）がスパースマップ８００にアクセスできるようにしてよい。スパースマップ８００は複数のサブマップを含んでよいことにも留意されたい。例えば、いくつかの実施形態において、スパースマップ８００は、車両をナビゲートする際に用いられ得る数百、数千、数百万、またはもっと多くのサブマップ（例えばマップタイル）を含んでよい。そのようなサブマップはローカルマップまたはマップタイルと呼ばれることがあり、車道に沿って走行する車両が、車両が走行している場所に関連する任意の数のローカルマップにアクセスしてよい。スパースマップ８００のローカルマップ区域は、スパースマップ８００のデータベースの索引としての全球測位衛星システム（ＧＮＳＳ）キーと共に格納されてよい。したがって、本システムにおいてホスト車両をナビゲートするためのステアリング角の計算が、ホスト車両のＧＮＳＳの位置、道路特徴、またはランドマークに頼ることなく行われてよいが、そのようなＧＮＳＳの情報が関連するローカルマップの検索に用いられてもよい。
一般に、スパースマップ８００は、１つまたは複数の車両が車道に沿って走行するときに当該車両から収集されたデータ（例えばドライブ情報）に基づいて生成されてよい。例えば、１つまたは複数の車両に載せられたセンサ（例えば、カメラ、速度計、ＧＰＳ、加速度計など）を用いて、１つまたは複数の車両が車道に沿って走行する軌跡を記録することができ、この車道に沿ってその後に移動する車両の好ましい軌跡の多項式表現を、１つまたは複数の車両が走行し収集された軌跡に基づいて求めることができる。同様に、１つまたは複数の車両が収集したデータは、特定の車道沿いの可能性のあるランドマークを識別するのに役立ち得る。通行する車両から収集したデータは、道路プロファイル情報、例えば、道路幅プロファイル、道路凹凸プロファイル、車線間隔プロファイル、道路状態などを識別するためにも用いられてよい。収集した情報を用いて、スパースマップ８００は、１つまたは複数の自動運転車をナビゲートする際に用いるのに生成され、（例えば、ローカルストレージ用に、またはオンザフライ方式のデータ送信によって）配信されてよい。しかしながら、いくつかの実施形態では、マップ生成が、マップの初期生成で終了しないことがある。以下でより詳細に論じることになるが、スパースマップ８００は、車両がスパースマップ８００に含まれる車道を継続して通行するときに、当該車両から収集されたデータに基づいて、常にまたは定期的に更新されてよい。
スパースマップ８００に記録されるデータには、全地球測位システム（ＧＰＳ）データに基づく位置情報が含まれてよい。例えば位置情報は、例えば、ランドマークの位置、道路プロファイルの位置などを含む様々なマップ要素についてのスパースマップ８００に含まれてよい。スパースマップ８００に含まれるマップ要素の位置が、車道を通行する車両から収集されたＧＰＳデータを用いて取得されてよい。例えば、識別されたランドマークを通過する車両が、車両に関連するＧＰＳ位置情報と、車両に対する識別されたランドマークの位置の（例えば、車両に搭載された１つまたは複数のカメラから収集されたデータの画像分析に基づく）決定とを用いて、識別されたランドマークの位置を決定してよい。識別されたランドマーク（またはスパースマップ８００に含まれる任意の他の特徴）のそのような位置決定は、識別されたランドマークの位置をさらなる車両が通過するたびに繰り返されてよい。さらなる位置決定の一部または全部が、スパースマップ８００に格納されている識別されたランドマークに関する位置情報を微調整するのに用いられてよい。例えば、いくつかの実施形態では、スパースマップ８００に格納された特定の特徴に関する複数の位置測定値が、まとめて平均化されてよい。しかしながら、マップ要素について決定された複数の位置に基づいて、格納されたマップ要素の位置を微調整するのに、任意の他の数学的操作も用いてよい。
特定の例では、収集車両は特定の道路セグメントを通行してもよい。各収集車両は、それぞれの環境の画像を取り込む。画像は、任意の好適なフレームキャプチャレート（例えば９Ｈｚなど）で収集されてもよい。各収集車両に載せられた１つまたは複数の画像分析プロセッサは、取り込まれた画像を分析して、セマンティックなおよび／もしくは非セマンティックな特徴／物体の存在を検出する。高いレベルで、収集車両は、これらの物体／特徴に関連する位置と共に、セマンティックなおよび／もしくは非セマンティックな物体／特徴の検出のインジケーションをマッピングサーバへと送信する。より詳細には、タイプ指標、寸法指標などが、位置情報と一緒に送信されてもよい。位置情報は、マッピングサーバが検出された物体／特徴をナビゲーションにおいて有用なスパースマップへと集約することを可能にするのに好適な任意の情報を含んでもよい。場合によっては、位置情報は、取り込まれた画像において、セマンティックなまたは非セマンティックな特徴／物体が検出された１つまたは複数の２Ｄ画像位置（例えばＸ－Ｙ画素位置）を含んでもよい。そのような画像位置は、特徴／物体の中心、コーナーなどに対応してもよい。このシナリオにおいて、マッピングサーバが、ドライブ情報を再構築し、複数の収集車両からのドライブ情報を揃えるのを助けるべく、各収集車両もまた、各画像が取り込まれた位置（例えばＧＰＳ位置）をサーバに提供してもよい。
他の場合では、収集車両は、検出された物体／特徴に関連する１つまたは複数の３Ｄ実世界点をサーバに提供してもよい。そのような３Ｄ点は、（ドライブセグメントの原点のような）所定の原点に関連してもよく、且つ、任意の好適な手法によって特定されてもよい。場合によっては、モーション手法における構造が使用されて、検出された物体／特徴の３Ｄ現実世界位置を特定してもよい。例えば、２つまたはそれより多くの取り込まれた画像において、特定の制限速度標識のような特定の物体が検出されてもよい。取り込まれた画像における制限速度標識の観測された変化（Ｘ－Ｙ画素位置における変化、サイズにおける変化など）と共に、複数の取り込まれた画像間における収集車両の既知のエゴモーション（速度、軌跡、ＧＰＳ位置など）のような情報を使用することにより、制限速度標識に関連する１つまたは複数の点の実際の位置が特定され、マッピングサーバに渡されてもよい。そのような手法は、収集車両システムの一部においてより多くの計算を必要とするので、オプションである。開示する実施形態のスパースマップにより、比較的少量の格納データを用いた車両の自動ナビゲーションが可能になり得る。いくつかの実施形態において、スパースマップ８００は、道路１キロメートル当たり２ＭＢ未満、道路１キロメートル当たり１ＭＢ未満、道路１キロメートル当たり５００ｋＢ未満、または道路１キロメートル当たり１００ｋＢ未満のデータ密度（例えば、目標軌跡、ランドマーク、および任意の他の格納された道路特徴を表すデータを含む）を有してよい。いくつかの実施形態において、スパースマップ８００のデータ密度は、道路１キロメートル当たり１０ｋＢ未満もしくはさらに道路１キロメートル当たり２ｋＢ未満（例えば、１キロメートル当たり１．６ｋＢ）であっても、道路１キロメートル当たり１０ｋＢ以下であっても、道路１キロメートル当たり２０ｋＢ以下であってもよい。いくつかの実施形態において、米国の車道の全てではないとしてもほとんどが、合計４ＧＢ以下のデータを有するスパースマップを用いて自律的にナビゲートされ得る。これらのデータ密度値は、スパースマップ８００全体に関する平均、スパースマップ８００内のローカルマップに関する平均、および／またはスパースマップ８００内の特定の道路セグメントに関する平均を表し得る。
言及したように、スパースマップ８００は、道路セグメントに沿った自動運転またはナビゲーションを誘導するための複数の目標軌跡の表現８１０を含んでよい。そのような目標軌跡は、３次元スプラインとして格納されてよい。スパースマップ８００に格納される目標軌跡は、例えば、特定の道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡に基づいて決定されてよい。道路セグメントは、単一の目標軌跡に関連づけられても、複数の目標軌跡に関連づけられてもよい。例えば、２車線道路では、道路に沿って第１方向に走行する目標経路を表すのに第１目標軌跡が格納されてよく、道路に沿って別の方向（例えば、第１方向とは反対）に走行する目標経路を表すのに第２目標軌跡が格納されてよい。特定の道路セグメントに対して、追加の目標軌跡が格納されることがある。例えば、複数車線道路では、１つまたは複数の目標軌跡を格納して、複数車線道路に関連した１つまたは複数の車線にいる複数の車両用の目標走行経路を表してよい。いくつかの実施形態では、複数車線道路の各車線は、独自の目標軌跡に関連づけられてよい。他の実施形態では、複数車線道路に存在する車線より少ない目標軌跡が格納されることがある。そのような場合には、複数車線道路をナビゲートする車両が、目標軌跡が格納されている車線からの車線オフセット量を考慮して、格納された複数の目標軌跡のうちのいずれかを用いてナビゲーションを誘導してよい（例えば、車両が３車線高速道路の左端車線を走行中であり、且つ高速道路の中央車線用の目標軌跡だけが格納されている場合、車両は、ナビゲーション命令を生成するときに中央車線と左端車線との間の車線オフセット量を考慮することにより、中央車線の目標軌跡を用いてナビゲートしてよい）。
いくつかの実施形態において、目標軌跡は、車両が走行するときに、当該車両が通るべき理想的な経路を表し得る。目標軌跡は、例えば、走行車線のほぼ中心に位置してよい。他の場合では、目標軌跡が道路セグメントに対して他の箇所に位置することがある。例えば、目標軌跡が、道路の中心、道路のエッジ、または車線のエッジなどとほぼ一致してよい。そのような場合、目標軌跡に基づくナビゲーションには、目標軌跡の位置に対して維持される決定済みのオフセット量が含まれてよい。さらに、いくつかの実施形態において、目標軌跡の位置に対して維持される決定済みのオフセット量は、車両のタイプに基づいて異なってもよい（例えば、目標軌跡の少なくとも一部に沿って、２つの車軸を含む乗用車が２つより多くの車軸を含むトラックとは異なるオフセットを有してよい）。
スパースマップ８００は、特定の道路セグメント、ローカルマップなどに関連づけられた複数の所定のランドマーク８２０に関連するデータも含んでよい。以下でより詳細に論じるが、これらのランドマークは、自動運転車のナビゲーションに用いられてよい。例えば、いくつかの実施形態において、これらのランドマークは格納された目標軌跡に対する車両の現在位置を決定するのに用いられてよい。この位置情報を用いて、自動運転車は、決定位置において、目標軌跡の方向と一致するように進行方向を調整することが可能になり得る。
複数のランドマーク８２０は、任意の好適な間隔で識別され、スパースマップ８００に格納されてよい。いくつかの実施形態では、ランドマークが比較的高密度で（例えば、数メートルごとに、またはもっと高密度で）格納されてよい。しかしながら、いくつかの実施形態では、著しく大きいランドマーク間隔値が使用されることがある。例えば、スパースマップ８００では、識別（または認識）されたランドマークが、１０メートル、２０メートル、５０メートル、１００メートル、１キロメートル、または２キロメートルの間隔を置いて配置されてよい。場合によっては、識別されたランドマークは、２キロメートルを超える距離さえも離れて配置されてよい。
ランドマーク間、したがって目標軌跡に対する車両位置の決定の間においては、車両は推測航法に基づいてナビゲートすることができ、推測航法では、車両がセンサを用いて自車のエゴモーションを特定し、目標軌跡に対する自車の位置を推定する。推測航法によるナビゲーションでは誤差が累積され得るため、時間の経過と共に、目標軌跡に対する位置決定の精度が次第に低くなることがある。車両は、スパースマップ８００に存在するランドマーク（および、その既知の位置）を用いて、位置決定での推測航法による誤差を取り除くことができる。このように、スパースマップ８００に含まれる識別されたランドマークは、目標軌跡に対する車両の正確な位置を決定し得るナビゲーションの要としての役割を果たすことができる。位置探索では一定量の誤差であれば許容できることがあるため、識別されたランドマークが必ずしも自動運転車に利用可能である必要はない。むしろ、好適なナビゲーションは、上述したように、１０メートル、２０メートル、５０メートル、１００メートル、５００メートル、１キロメートル、２キロメートル、またはもっと長いランドマーク間隔に基づいてさえも可能であってよい。いくつかの実施形態では、道路１ｋｍごとに１つの識別されたランドマークという密度が、縦方向位置決定の精度を１ｍ以内に維持するのに十分であるかもしれない。したがって、道路セグメント沿いに現れるあらゆる可能性のあるランドマークをスパースマップ８００に格納する必要はない。
さらに、いくつかの実施形態では、ランドマーク間で車両の位置特定を行うのに車線標示が用いられてよい。ランドマーク間で車線標示を用いることにより、推測航法によるナビゲーション時の誤差の累積を最小限に抑えることができる。
目標軌跡および識別したランドマークに加えて、スパースマップ８００は、様々な他の道路特徴に関連する情報を含んでよい。例えば図９Ａは、スパースマップ８００に格納され得る特定の道路セグメントに沿ったカーブの表現を示している。いくつかの実施形態では、道路の単一の車線が、道路の左側および右側を３次元多項式で記述することによってモデル化されてよい。単一車線の左側および右側を表すそのような多項式が、図９Ａに示されている。道路にいくつの車線があり得るかに関係なく、図９Ａに示したのと同様のやり方で、多項式を用いて道路を表すことができる。例えば、複数車線道路の左側および右側が、図９Ａに示すのと同様の多項式で表されてよく、複数車線道路に含まれる中間の車線標示（例えば、車線境界を表す破線標示、異なる方向に走行する車線間の境界を表す黄色の実線など）も図９Ａに示すような多項式を用いて表されてよい。
図９Ａに示すように、車線９００は多項式（例えば、１次、２次、３次、または任意の好適な次数の多項式）を用いて表されてよい。説明のために、車線９００は２次元車線として示されており、多項式は２次元多項式として示されている。図９Ａに示すように、車線９００は、左側９１０および右側９２０を含む。いくつかの実施形態では、１つより多くの多項式を用いて、道路の各々の側または車線境界の位置を表すことがある。例えば、左側９１０および右側９２０の各々は、任意の好適な長さの複数の多項式で表されてよい。場合によっては、これらの多項式は、約１００ｍの長さを有することがあるが、１００ｍより長いまたは短い他の長さも用いてよい。さらに、こうした多項式は、ホスト車両が車道に沿って走行するときに次に遭遇した多項式に基づいてナビゲートする際のシームレスな移行を容易にするために、互いに重なり合ってよい。例えば、左側９１０および右側９２０の各々は、約１００メートルの長さ（第１の所定範囲の一例）のセグメントに分割され且つ互いに約５０メートルが重なり合っている複数の３次多項式で表されてよい。左側９１０および右側９２０を表す多項式は、同じ次数であってもなくてもよい。例えば、いくつかの実施形態では、多項式のなかには２次多項式があってもよく、３次多項式があってもよく、４次多項式があってもよい。
図９Ａに示す例では、車線９００の左側９１０が、２つのグループの３次多項式で表されている。第１グループには、多項式セグメント９１１、９１２、および９１３が含まれている。第２グループには、多項式セグメント９１４、９１５、および９１６が含まれている。２つのグループは、実質的に互いに対して平行であると共に、道路のそれぞれの側の位置に沿って延びている。多項式セグメント９１１、９１２、９１３、９１４、９１５、および９１６は約１００メートルの長さがあり、約５０メートルが隣接するセグメントと連続して重なり合っている。しかしながら前述したように、異なる長さおよび異なる重なり量の多項式も用いてよい。例えば、多項式は、５００ｍ、１ｋｍ、またはもっと長い長さであってもよく、重なり量は、０～５０ｍ、５０ｍ～１００ｍ、または１００ｍを超える量で変化してよい。さらに、図９Ａは２Ｄ空間（例えば、紙面上）に延びる多項式を表すものとして示されているが、これらの多項式は（例えば、高さ成分を含む）３次元に延びる曲線を表し、Ｘ－Ｙ面の曲率に加えて、道路セグメントの標高変動も表してよいことを理解されたい。図９Ａに示す例では、車線９００の右側９２０がさらに、多項式セグメント９２１、９２２、および９２３を有する第１グループと、多項式セグメント９２４、９２５、および９２６を有する第２グループとで表されている。
スパースマップ８００の目標軌跡に戻ると、図９Ｂは、特定の道路セグメントに沿って走行する車両の目標軌跡を表す３次元多項式を示している。目標軌跡は、ホスト車両が特定の道路セグメントに沿って走行すべきＸ－Ｙ面の経路だけでなく、ホスト車両が道路セグメントに沿って走行するときに経験する標高変動も表している。したがって、スパースマップ８００に含まれる各目標軌跡は、図９Ｂに示す３次元多項式９５０のような、１つまたは複数の３次元多項式で表されてよい。スパースマップ８００は、複数の軌跡（例えば、世界中の車道に沿う様々な道路セグメントに沿った車両の軌跡を表す数百万または数十億またはもっと多くの軌跡）を含んでよい。いくつかの実施形態において、各目標軌跡は、３次元多項式セグメントを接続したスプラインに対応してよい。
スパースマップ８００に格納された多項式曲線のデータフットプリントに関しては、いくつかの実施形態において、各々の３次多項式が４つのパラメータで表されてよく、各パラメータは４バイトのデータを必要とする。１００ｍごとに約１９２バイトのデータを必要とする３次多項式を用いて、好適な表現を取得することができる。これは、約１００ｋｍ／ｈｒで走行するホスト車両では、１時間当たり約２００ｋＢのデータ利用／転送要件に相当し得る。
スパースマップ８００は、幾何構造記述子とメタデータとの組み合わせを用いて車線のネットワークを記述してよい。幾何構造は、上述した多項式またはスプラインで記述されてよい。メタデータは、車線数、特別な特性（相乗り車線など）、および場合によっては他のスパースラベルを記述してよい。そのような指標の総フットプリントは、ごくわずかかもしれない。
したがって、本開示の実施形態によるスパースマップが、道路セグメントに沿って延びる路面特徴の少なくとも１つのライン表現を含んでよく、各ライン表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表す。いくつかの実施形態では、上述したように、路面特徴の少なくとも１つのライン表現は、スプライン、多項式表現、または曲線を含んでよい。さらに、いくつかの実施形態において、路面特徴は、道路エッジまたは車線標示のうちの少なくとも一方を含んでよい。さらに、「クラウドソーシング」に関して以下で論じるように、路面特徴は、１つまたは複数の車両が道路セグメントを通行するときに取得される複数の画像の画像分析によって識別されてよい。
前述したように、スパースマップ８００は、道路セグメントに関連する複数の所定のランドマークを含んでよい。ランドマークの実画像を格納して、例えば、取り込まれた画像および格納した画像に基づく画像認識分析を利用するのではなくむしろ、スパースマップ８００に含まれる各ランドマークは、実画像を格納した場合に必要となるよりも少ないデータを用いて表され且つ認識され得る。それでも、ランドマークを表すデータには、道路沿いのランドマークを記述するまたは識別するのに十分な情報が含まれ得る。ランドマークの実画像ではなくむしろ、ランドマークの特性を記述するデータを格納することで、スパースマップ８００のサイズを削減することができる。
図１０は、スパースマップ８００に表され得るランドマークのタイプの例を示している。これらのランドマークには、道路セグメント沿いのあらゆる視認可能で識別可能な物体が含まれてよい。ランドマークは、固定されたものであり且つその位置および／または内容に関する変更が頻繁に行われないように選択されてよい。スパースマップ８００に含まれるランドマークは、車両が特定の道路セグメントを通行するときに、目標軌跡に関する車両２００の位置を決定するのに役立ち得る。ランドマークの例には、交通標識、方向標識、一般標識（例えば、長方形の標識）、路側固定物（例えば、街灯柱、反射鏡など）、および任意の他の好適な種類が含まれてよい。いくつかの実施形態において、道路上の車線標示も、スパースマップ８００のランドマークとして含まれてよい。
図１０に示すランドマークの例には、交通標識、方向標識、路側固定物、および一般標識が含まれている。交通標識には、例えば、制限速度標識（例えば、制限速度標識１０００）、優先道路標識（例えば、優先道路標識１００５）、路線番号標識（例えば、路線番号標識１０１０）、信号機標識（例えば、信号機標識１０１５）、一時停止標識（例えば、一時停止標識１０２０）が含まれてよい。方向標識には、異なる場所への１つまたは複数の方向を示す１つまたは複数の矢印を含む標識が含まれてよい。例えば、方向標識には、異なる道路または場所に車両を誘導する矢印を有する高速道路標識１０２５、道路から降りるように車両を誘導する矢印を有する出口標識１０３０などが含まれてよい。したがって、複数のランドマークのうちの少なくとも１つには道路標識が含まれてよい。
一般標識は、交通に無関係であってよい。例えば、一般標識には、広告に用いる掲示板、または２つの国、州、郡、都市、または町の境界に隣接しているウェルカムボードが含まれてよい。図１０には、一般標識１０４０（「ジョーズ・レストラン」）が示されている。一般標識１０４０は図１０に示すように長方形形状でよいが、一般標識１０４０は、正方形、円形、三角形などといった他の形状であってもよい。
ランドマークには、路側固定物も含まれてよい。路側固定物とは、標識ではない物体であってよく、交通に関連しなくても方向に関連しなくてもよい。例えば、路側固定物には、街灯柱（例えば、街灯柱１０３５）、電柱、信号機柱などが含まれてよい。
ランドマークには、自動運転車ナビゲーションシステムでの使用を目的に特別に設計され得るビーコンも含まれてよい。例えば、そのようなビーコンには、ホスト車両をナビゲートする際に役立つように所定の間隔で配置されたスタンドアローン型構造物が含まれてよい。そのようなビーコンには、道路セグメントに沿って走行する車両が識別または認識できる、既存の道路標識に追加された視覚／図形情報（例えば、アイコン、エンブレム、バーコードなど）も含まれてよい。そのようなビーコンには、電子部品も含まれてよい。そのような実施形態では、電子ビーコン（例えば、ＲＦＩＤタグなど）を用いて、非視覚情報をホスト車両に送信してよい。そのような情報には、例えば、ホスト車両が目標軌跡に沿った自車の位置を決定する際に用いることができるランドマーク識別情報および／またはランドマークの位置情報が含まれてよい。
いくつかの実施形態において、スパースマップ８００に含まれるランドマークは、所定サイズのデータオブジェクトで表されてよい。ランドマークを表すデータには、特定のランドマークを識別するのに好適な任意のパラメータが含まれてよい。例えば、いくつかの実施形態において、スパースマップ８００に格納されたランドマークには、ランドマークの物理的サイズ（例えば、既知のサイズ／スケールに基づいてランドマークまでの距離の推定を支援するためのもの）、直前のランドマークまでの距離、横方向オフセット、高さ、タイプコード（例えば、ランドマークのタイプ、つまり、どのタイプの方向標識、交通標識などであるか）、ＧＰＳ座標（例えば、広範囲な位置特定を支援するためのもの）といったパラメータ、および任意の他の好適なパラメータが含まれてよい。各パラメータは、データサイズに関連づけられてよい。例えば、ランドマークのサイズは、８バイトのデータを用いて格納されてよい。直前のランドマークまでの距離、横方向オフセット、および高さは、１２バイトのデータを用いて指定されてよい。方向標識または交通標識などのランドマークに関連づけられるタイプコードには、約２バイトのデータが必要になり得る。一般標識では、一般標識の識別を可能にする画像署名が、５０バイトのデータストレージを用いて格納されてよい。ランドマークのＧＰＳ位置は、１６バイトのデータストレージに関連づけられてよい。各パラメータのこれらのデータサイズは単なる例であり、他のデータサイズも用いてよい。このようにしてランドマークをスパースマップ８００に表すことで、ランドマークをデータベースに効率的に表すための効率的な解決策を提供することができる。いくつかの実施形態において、物体は、標準的でセマンティックな物体または非標準的でセマンティックな物体と呼ばれてもよい。標準的でセマンティックな物体には、複数の特性の標準化されたセット（例えば、既知の寸法または他の特性を有する、制限速度標識、警告標識、方向標識、信号機など）が存在する任意のクラスの物体が含まれてよい。非標準的でセマンティックな物体には、標準化された特性のセットに関連していない任意の物体（例えば、可変寸法を有し得る、一般的な広告標識、企業を識別する標識、道路にできた穴、樹木など）が含まれてよい。各々の非標準的でセマンティックな物体は、３８バイトのデータ（例えば、サイズには８バイト、直前のランドマークまでの距離、横方向オフセットおよび高さには１２バイト、タイプコードには２バイト、位置座標には１６バイト）で表されてよい。マッピングサーバはサイズ情報がスパースマップにおける物体を完全に表すことを必要としないかもしれないので、標準的でセマンティックな物体は、さらに少ないデータを用いて表されてよい。
スパースマップ８００は、タグシステムを用いて、ランドマークのタイプを表してよい。場合によっては、各々の交通標識または方向標識は独自のタグに関連づけられてよく、このタグは、ランドマーク識別情報の一部としてデータベースに格納されてよい。例えば、データベースには、様々な交通標識を表すのに１０００個程度の異なるタグと、方向標識を表すための約１００００個程度の異なるタグが含まれてよい。当然ながら、任意の好適な数のタグを用いてもよく、必要に応じて追加のタグを作成してもよい。いくつかの実施形態では、汎用標識が、約１００バイト未満（例えば、サイズには８バイト、直前のランドマークまでの距離、横方向オフセット、および高さには１２バイト、画像署名には５０バイト、ＧＰＳ座標には１６バイトを含む約８６バイト）を用いて表されてよい。
したがって、画像署名を必要としないセマンティックな道路標識の場合、スパースマップ８００へのデータ密度の影響は、５０ｍ当たり約１つという比較的高いランドマーク密度でさえも、１キロメートル当たり約７６０バイト程度（例えば、［１ｋｍ当たり２０個のランドマーク］×［ランドマーク当たり３８バイト］＝７６０バイト）になり得る。画像署名成分を含む汎用標識の場合でさえも、データ密度の影響は、１ｋｍ当たり約１．７２ｋＢである（例えば、［１ｋｍ当たり２０個のランドマーク］×［ランドマーク当たり８６バイト］＝１，７２０バイト）。セマンティックな道路標識の場合、この影響は、１００ｋｍ／ｈｒで走行する車両にとって、１時間当たり約７６ｋＢのデータ使用量に相当する。汎用標識の場合、この影響は、１００ｋｍ／ｈｒで走行する車両にとって、１時間当たり約１７０ｋＢに相当する。いくつかの環境（例えば都市環境）においては、スパースマップ内に含まれるもののために利用可能な、検出された物体が、かなり高い密度で（おそらく１メートルごとに１つよりも多く）存在し得ることに留意すべきである。いくつかの実施形態では、概して長方形の物体、例えば長方形の標識が、１００バイト以下のデータでスパースマップ８００に表されてよい。スパースマップ８００における概して長方形の物体（例えば、一般標識１０４０）の表現には、概して長方形の物体に関連づけられる短縮画像署名または画像ハッシュ（例えば、短縮画像署名１０４５）が含まれてよい。この短縮画像署名／画像ハッシュは、任意の好適な画像ハッシュアルゴリズムを用いることによって判定されることができ、且つ、この短縮画像署名／画像ハッシュを用いると、例えば認識したランドマークとして、例えば汎用標識を識別するのに役立てることができる。そのような短縮画像署名（例えば、ある物体を表す実画像データから得られた画像情報）によって、物体の実画像を格納する必要も、ランドマークを認識するために実画像に対して行われる比較画像分析の必要もなくすことができる。
図１０を参照すると、スパースマップ８００は、一般標識１０４０の実画像ではなくむしろ、一般標識１０４０に関連づけられる短縮画像署名１０４５を含んでも、格納してもよい。例えば、画像取り込みデバイス（例えば、画像取り込みデバイス１２２、１２４、または１２６）が一般標識１０４０の画像を取り込んだ後に、プロセッサ（例えば、ホスト車両に載せられて、またはホスト車両に対して遠隔に位置して、画像を処理できる画像プロセッサ１９０または任意の他のプロセッサ）が、画像分析を行って、一般標識１０４０に関連づけられる一意の署名またはパターンを含む短縮画像署名１０４５を抽出／作成してよい。一実施形態において、短縮画像署名１０４５には、形状、色パターン、明度パターン、または一般標識１０４０の画像から抽出され得る一般標識１０４０を記述するための任意の他の特徴が含まれてよい。
例えば図１０において、短縮画像署名１０４５に示される円形、三角形、および星形は、異なる色の領域を表してよい。円形、三角形、および星形で表されたパターンは、例えば、画像署名を含むように指定された５０バイト以内で、スパースマップ８００に格納されてよい。特に、円形、三角形、および星形は、そのような形状が画像署名の一部として格納されていることを示すことを必ずしも意味するものではない。むしろ、これらの形状は、識別可能な色差、テクスチャ領域、図形形状、または汎用標識に関連し得る特性の他のバリエーションを有する認識可能な領域を概念的に表すことを意図している。そのような短縮画像署名を用いると、一般標識の形でランドマークを識別することができる。例えば、短縮画像署名を用いると、格納された短縮画像署名と、例えば自動運転車に搭載されたカメラを用いて取り込まれた画像データとの比較に基づいて、同定分析を行うことができる。
したがって、複数のランドマークは、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像の画像分析によって、識別されてよい。以下で「クラウドソーシング」に関して説明するように、いくつかの実施形態において、複数のランドマークを識別するための画像分析は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを受け入れることを含んでよい。さらに、いくつかの実施形態において、複数のランドマークを識別するための画像分析は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを排除することを含んでよい。
ホスト車両が特定の道路セグメントをナビゲートするのに用い得る目標軌跡に戻ると、図１１Ａは、スパースマップ８００を構築または維持するプロセスで取り込まれた多項式表現の軌跡を示している。スパースマップ８００に含まれる目標軌跡の多項式表現が、同じ道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡に基づいて求められてよい。いくつかの実施形態において、スパースマップ８００に含まれる目標軌跡の多項式表現は、同じ道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡の集合体であってよい。いくつかの実施形態において、スパースマップ８００に含まれる目標軌跡の多項式表現は、同じ道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡の平均であってよい。他の数学的操作も、ある道路セグメントに沿って通行する車両から収集される、再構築された軌跡に基づいて、道路経路に沿った目標軌跡を構築するのに用いられてよい。
図１１Ａに示すように、道路セグメント１１００では、異なる時間に複数の車両２００が走行し得る。各車両２００は、車両が道路セグメントに沿って通った経路に関連するデータを収集してよい。特定の車両が走行する経路は、他の可能性のある情報源の中でもとりわけ、カメラデータ、加速度計情報、速度センサ情報、および／またはＧＰＳ情報に基づいて決定されてよい。そのようなデータを用いて、道路セグメントに沿って走行する車両の軌跡を再構築することができ、これらの再構築された軌跡に基づいて、目標軌跡（または複数の目標軌跡）が特定の道路セグメントに対して決定され得る。そのような目標軌跡は、ホスト車両が道路セグメントに沿って走行するときの（例えば、自動ナビゲーションシステムにより誘導される）当該車両の好ましい経路を表してよい。
図１１Ａに示す例では、第１の再構築された軌跡１１０１が、第１期間（例えば、曜日１）に道路セグメント１１００を通行する第１の車両から受信したデータに基づいて決定されてよく、第２の再構築された軌跡１１０２が、第２期間（例えば、曜日２）に道路セグメント１１００を通行する第２の車両から取得されてよく、第３の再構築された軌跡１１０３が第３期間（例えば、曜日３）に道路セグメント１１００を通行する第３車両から取得されてよい。各軌跡１１０１、１１０２、および１１０３は、３次元多項式などの多項式で表されてよい。いくつかの実施形態では、再構築された軌跡のうちのいずれかが、道路セグメント１１００を通行する車両内で編成されてよいことに留意されたい。
さらに、またはその代わりに、そのような再構築された軌跡は、道路セグメント１１００を通行する車両から受信した情報に基づいてサーバ側で決定されてよい。例えば、いくつかの実施形態において、車両２００は、道路セグメント１１００に沿った自車の動きに関連するデータ（例えば、特に、ステアリング角、進行方向、時間、位置、速度、検知された道路の幾何構造、および／または検知されたランドマーク）を１つまたは複数のサーバに送信してよい。サーバは、受信したデータに基づいて、車両２００の軌跡を再構築してよい。サーバは、後に同じ道路セグメント１１００に沿って走行する自動運転車のナビゲーションを誘導するための目標軌跡も、第１の軌跡１１０１、第２の軌跡１１０２、および第３の軌跡１１０３に基づいて生成してよい。目標軌跡が道路セグメントの単一の以前の通行に関連づけられてよいが、いくつかの実施形態において、スパースマップ８００に含まれる各目標軌跡は、同じ道路セグメントを通行する車両の２つまたはそれより多くの再構築された軌跡に基づいて決定されてよい。図１１Ａには、目標軌跡が１１１０で表されている。いくつかの実施形態において、目標軌跡１１１０は、第１の軌跡１１０１、第２の軌跡１１０２、および第３の軌跡１１０３の平均に基づいて生成されてよい。いくつかの実施形態において、スパースマップ８００に含まれる目標軌跡１１１０は、２つまたはそれより多くの再構築された軌跡の集合体（例えば、重みづけされた組み合わせ）であってよい。
マッピングサーバでは、サーバは、道路セグメントを通行する複数の収集車両から、特定の道路セグメント用の実際の軌跡を受信してもよい。道路セグメントに沿う各々の有効な経路（例えば、各々の車線、各々の走行方向、交差点を通る各々の経路、など）用の目標軌跡を生成するべく、受信された実際の軌跡は揃えられてもよい。アライメントプロセスは、実際の収集された軌跡を互いに関連づけるべく、道路セグメントに沿って識別される検出された物体／特徴を、それらの検出された物体／特徴の収集された位置と共に用いることを含んでもよい。一旦揃えられると、各々の利用可能な車線などのための平均的な又は「最良適合」な目標軌跡が、集約され、且つ、関連づけられた／揃えられた実際の軌跡に基づいて判定されてもよい。
図１１Ｂおよび図１１Ｃはさらに、地理的領域１１１１に存在する道路セグメントに関連づけられる目標軌跡の概念を示している。図１１Ｂに示すように、地理的領域１１１１内の第１道路セグメント１１２０は複数車線道路を含んでよく、この複数車線道路には、第１方向への車両走行に指定された２つの車線１１２２と、第１方向とは反対の第２方向への車両走行に指定された２つの追加車線１１２４とが含まれている。車線１１２２および車線１１２４は、二重黄色線１１２３で分離されてよい。地理的領域１１１１には、道路セグメント１１２０と交差する分岐道路セグメント１１３０も含まれてよい。道路セグメント１１３０には２車線道路が含まれてよく、各車線は異なる方向の走行に指定されている。地理的領域１１１１には、他の道路特徴、例えば、一時停止線１１３２、一時停止標識１１３４、制限速度標識１１３６、および危険標識１１３８も含まれてよい。
図１１Ｃに示すように、スパースマップ８００には、地理的領域１１１１内の車両を自動ナビゲーションで支援するための道路モデルを含むローカルマップ１１４０が含まれてよい。例えば、ローカルマップ１１４０には、地理的領域１１１１内の道路セグメント１１２０および／または１１３０に関連づけられた、１つまたは複数の車線の目標軌跡が含まれてよい。例えば、ローカルマップ１１４０には、自動運転車が車線１１２２を通行するときにアクセスできる、または利用できる目標軌跡１１４１および／または１１４２が含まれてよい。同様に、ローカルマップ１１４０には、自動運転車が車線１１２４を通行するときにアクセスできる、または利用できる目標軌跡１１４３および／または１１４４が含まれてよい。さらに、ローカルマップ１１４０には、自動運転車が道路セグメント１１３０を通行するときにアクセスできる、または利用できる目標軌跡１１４５および／または１１４６が含まれてよい。目標軌跡１１４７は、自動運転車が車線１１２０（具体的には、車線１１２０の右端車線に関連づけられた目標軌跡１１４１に対応）から道路セグメント１１３０（具体的には、道路セグメント１１３０の第１の側に関連づけられた目標軌跡１１４５に対応）に移行するときに進むべき好ましい経路を表してよい。同様に、目標軌跡１１４８は、自動運転車が道路セグメント１１３０（具体的には、目標軌跡１１４６に対応）から道路セグメント１１２４の一部（具体的には図示するように、車線１１２４の左車線に関連づけられた目標軌跡１１４３に対応）に移行するときに進むべき好ましい経路を表している。
スパースマップ８００には、地理的領域１１１１に関連する他の道路関連の特徴についての表現も含まれてよい。例えば、スパースマップ８００には、地理的領域１１１１で識別された１つまたは複数のランドマークについての表現も含まれてよい。そのようなランドマークには、一時停止線１１３２に関連づけられた第１ランドマーク１１５０、一時停止標識１１３４に関連づけられた第２ランドマーク１１５２、制限速度標識１１５４に関連づけられた第３ランドマーク、および危険標識１１３８に関連づけられた第４ランドマーク１１５６が含まれてよい。そのようなランドマークは、例えば、示された目標軌跡のうちのいずれかに対する自車の現在位置を決定する際に、自動運転車を支援するのに用いられてよい。これにより、車両はその決定位置において、目標軌跡の方向と一致するように自車の進行方向を調整することができる。
いくつかの実施形態において、スパースマップ８００には、ロードシグネチャプロファイルも含まれてよい。そのようなロードシグネチャプロファイルは、道路に関連する少なくとも１つのパラメータにおける任意の識別可能／測定可能な変化に関連づけられてよい。例えば、場合によっては、そのようなプロファイルは、路面情報の変化、例えば、特定の道路セグメントの路面凹凸の変化、特定の道路セグメント全体の道路幅の変化、特定の道路セグメントに沿って塗装された破線間の距離の変化、特定の道路セグメントに沿った道路曲率の変化などに関連づけられてよい。図１１Ｄは、ロードシグネチャプロファイル１１６０の一例を示している。プロファイル１１６０は、上述したパラメータなどのうちのいずれかを表してよいが、一例において、プロファイル１１６０は、例えば、車両が特定の道路セグメントを走行するときのサスペンション変位の量を示す出力を提供する１つまたは複数のセンサを監視することにより取得された、路面凹凸の測定値を表してよい。
その代わりに、または同時に、プロファイル１１６０は道路幅の変化を表してよく、この変化は、特定の道路セグメントを走行する車両に搭載されたカメラによって取得された画像データに基づいて特定される。そのようなプロファイルは、例えば、特定の目標軌跡に対する自動運転車の特定の位置を決定する際に役立ち得る。すなわち、自動運転車が、ある道路セグメントを通行するときに、当該道路セグメントに関連づけられる１つまたは複数のパラメータに関連するプロファイルを測定してよい。測定したプロファイルが、道路セグメントに沿う位置に関するパラメータの変化をプロットした所定のプロファイルに関連づけられ得る／一致し得る場合、次いで、道路セグメントに沿う現在位置、したがって道路セグメントの目標軌跡に対する現在位置を決定するために、測定したプロファイルおよび所定のプロファイルを（例えば、測定したプロファイルおよび所定のプロファイルの対応する部分同士を重ねることにより）用いてよい。
いくつかの実施形態において、スパースマップ８００には、自動運転車のユーザ、環境状態、且つ／または走行に関連する他のパラメータに関連づけられた様々な特性に基づく様々な軌跡が含まれてよい。例えば、いくつかの実施形態では、様々なユーザ嗜好および／またはプロファイルに基づいて、様々な軌跡が生成されてよい。そのような様々な軌跡を含むスパースマップ８００は、様々なユーザの様々な自動運転車に提供されてよい。例えば、一部のユーザは有料道路を避けることを好むかもしれないが、他のユーザは、ルート上に有料道路があるかどうかに関係なく、最短または最速のルートを通ることを好むかもしれない。開示するシステムは、そのような様々なユーザ嗜好またはプロファイルに基づく様々な軌跡を有する様々なスパースマップを生成してよい。別の例として、一部のユーザは高速車線を走行することを好むかもしれないが、他のユーザは、常に位置を中央車線に維持することを好むかもしれない。
様々な軌跡が、日中および夜間、雪、雨、霧などといった様々な環境状態に基づいて生成され、スパースマップ８００に含まれてよい。様々な環境状態下で走行する自動運転車には、そのような様々な環境状態に基づいて生成されたスパースマップ８００が提供されてよい。いくつかの実施形態では、自動運転車に設けられたカメラが環境状態を検出してよく、そのような情報を、スパースマップを生成し且つ提供するサーバに戻す形で提供してよい。例えば、サーバは、検出された環境状態下での自動運転にとって、より好適または安全かもしれない軌跡を含むようにスパースマップ８００を生成しても、すでに生成されているスパースマップ８００を更新してもよい。環境状態に基づくスパースマップ８００の更新は、自動運転車が道路に沿って走行しているときに、動的に行われてよい。
走行に関連する他の様々なパラメータも、様々なスパースマップを生成して様々な自動運転車にこれを提供するための基礎として用いられてよい。例えば、自動運転車が高速で走行している場合、旋回がよりきつくなり得る。自動運転車が特定の軌跡を進むときに、当該車両が特定の車線を維持できるように、道路ではなくむしろ特定の車線に関連づけられた軌跡がスパースマップ８００に含まれてよい。自動運転車に搭載されたカメラにより取り込まれた画像が、車両が車線から外れて移動した（例えば、車線標示を横切った）ことを示した場合、特定の軌跡に従って車両を指定の車線に戻す動作が車両内で作動してよい。
［スパースマップのクラウドソーシング］
開示されるスパースマップは、クラウドソーシングの力によって効率的に（且つ受動的に）生成されてもよい。例えば、カメラ（例えば、現在の車両においてＯＥＭ装置として日ごろから含まれる単純な低解像度カメラ）を備える任意の自家用車または商用車、および、適切な画像分析プロセッサが、収集車両としての役割を果たすことができる。特別な装備（例えば高解像度撮像および／もしくは測位システム）は必要とされない。開示されるクラウドソーシング手法の結果として、生成されるスパースマップは、極めて正確であり得、且つ、マップ生成処理への入力としていかなる特殊用途の撮像またはセンシング装置も必要とすることなく、（１０ｃｍまたはそれより狭いナビゲーションの誤差制限を可能にする）極めて微調整された位置情報を含み得る。マッピングサーバシステムは、収集車両としての役割も果たすべく最小限に装備された自家用車または商用車によって行き来される任意の道路からの新たなドライブ情報を常に利用できるので、クラウドソーシングもまた、生成されたマップに対する、はるかに高速な（且つ安価な）更新を可能にする。指定された車両は、高解像度撮像およびマッピングセンサを備える必要がない。したがって、そのような特殊用途の車両を構築することに関連する費用を避けることができる。さらに、現在開示されているスパースマップの更新は、専用の特殊用途のマッピング車両（その費用および特別な装備により、通常は、開示される収集手法を実行するためにすでに利用できる自家用車または商用車の数よりもはるかに少ない数の特殊用途の車両の車両隊に制限される）を利用するシステムよりも、はるかに高速に行われ得る。
クラウドソーシングによって生成される、開示されるスパースマップは、特定の道路セグメントに沿って収集されたドライブ情報を有する複数の（数十、数百、数百万などの）収集車両からの複数の入力に基づいて生成され得るので、極めて正確であり得る。例えば、特定の道路セグメントに沿って運転している収集車両ごとに、その実際の軌跡を記録してもよく、且つ、道路セグメントに沿って検出された物体／特徴に関連する位置情報を特定してもよい。この情報は、複数の収集車両からサーバに渡される。実際の軌跡は集約され、道路セグメントに沿う各々の有効な運転経路用に微調整された目標軌跡が生成される。さらに、複数の収集車両から収集される、道路セグメントに沿って検出された（セマンティックなまたは非セマンティックな）物体／特徴の各々の位置情報もまた、集約され得る。その結果として、各々検出された物体／特徴のマッピングされた位置は、各々の検出された物体／特徴について個々に特定された、数百、数千または数百万の位置の平均を構成してもよい。そのような手法は、検出された物体／特徴について、極めて正確にマッピングされた位置をもたらし得る。
いくつかの実施形態において、開示するシステムおよび方法は、自動運転車ナビゲーション用のスパースマップを生成し得る。例えば、開示するシステムおよび方法は、１つまたは複数の自動運転車があるシステムの道路に沿ってナビゲートするのに用い得るスパースマップの生成に、クラウドソーシングによるデータを用いてよい。本明細書で用いる場合、「クラウドソーシング」とは、ある道路セグメントを異なる時間に走行する様々な車両（例えば、自動運転車）からデータを受信することを意味し、そのようなデータは、スパースマップタイルを含む道路モデルを生成する且つ／または更新するのに用いられる。このモデル、または、その複数のスパースマップタイルのうちのいずれかは、次に、自動運転車ナビゲーションを支援するために、当該車両または後に当該道路セグメントに沿って走行する他の車両に送信されてよい。道路モデルには、ある道路セグメントを自動運転車が通行するときに進むべき好ましい軌跡を表す複数の目標軌跡が含まれてよい。これらの目標軌跡は、道路セグメントを通行する車両から収集された実際の軌跡を再構築したものと同じであってよく、収集された実際の軌跡は当該車両からサーバに送信されてよい。いくつかの実施形態において、目標軌跡は、１つまたは複数の車両が道路セグメントを通行したときに以前に通った実際の軌跡と異なる場合がある。目標軌跡は、実際の軌跡に基づいて（例えば、平均化、または任意の他の好適な操作により）生成されてよい。
車両がサーバにアップロードし得る車両軌跡データは、車両の実際の再構築された軌跡に対応してもよく、推奨軌跡に対応してもよい。推奨軌跡は、車両の実際の再構築された軌跡に基づいても、これに関連してもよいが、実際の再構築された軌跡と異なる場合がある。例えば、車両は自車の実際の再構築された軌跡を変更し、変更した実際の軌跡をサーバに提出（例えば、推奨）してよい。道路モデルは、推奨された変更済みの軌跡を他の車両の自動ナビゲーション用の目標軌跡として用いてよい。
軌跡情報に加えて、スパースデータマップ８００を構築する際に用いる可能性のある他の情報が、可能性のあるランドマーク候補に関連する情報を含んでよい。例えば、情報のクラウドソーシングによって、開示するシステムおよび方法は、環境内の可能性のあるランドマークを識別し、ランドマークの位置を微調整することができる。これらのランドマークは、自動運転車のナビゲーションシステムが目標軌跡に沿った車両の位置を決定し且つ／または調整するのに用いられてよい。
車両が道路に沿って走行するときに車両が生成し得る再構築された軌跡は、任意の好適な方法で取得されてよい。いくつかの実施形態において、例えば、エゴモーション推定（例えば、カメラ、したがって車両本体の、３次元並進および３次元回転）を用いて、車両の動きの複数の部分をつなぎ合わせることで、再構築された軌跡を発展させることができる。回転および並進の推定は、１つまたは複数の画像取り込みデバイスにより取り込まれた画像を他のセンサまたはデバイス（慣性センサおよび速度センサなど）からの情報と共に分析した結果に基づいて決定されてよい。例えば、慣性センサは、車体の並進および／または回転の変化を測定するように構成された加速度計または他の好適なセンサを含んでよい。車両は、車両の速度を測定する速度センサを含んでよい。
いくつかの実施形態において、カメラ（したがって車体）のエゴモーションは、取り込まれた画像のオプティカルフロー分析に基づいて推定されてよい。一連の画像のオプティカルフロー分析では、当該一連の画像の画素の動きを識別し、識別した動きに基づいて、車両の動きを特定する。エゴモーションは、車両が進んだ道路セグメントに関連づけられた軌跡を再構築するために、時間の経過と共に道路セグメントに沿って集積されてよい。
ある道路セグメントに沿った異なる時間での複数のドライブにおいて複数の車両により収集されたデータ（例えば、再構築された軌跡）が、スパースデータマップ８００に含まれる（例えば、目標軌跡などを含む）道路モデルを構築するのに用いられてよい。ある道路セグメントに沿った異なる時間での複数のドライブにおいて複数の車両により収集されたデータが、モデルの精度を高めるために平均化されてもよい。いくつかの実施形態において、道路の幾何構造および／またはランドマークに関するデータが、共通の道路セグメントを異なる時間に通り抜ける複数の車両から受信されてよい。異なる車両から受信されるそのようなデータは、道路モデルの生成および／または道路モデルの更新のために組み合わされてよい。
道路セグメントに沿った再構築された軌跡の幾何構造は（目標軌跡の幾何構造も）、３次元空間の曲線で表されてよく、この曲線は３次元多項式を接続するスプラインであってよい。再構築された軌跡の曲線は、車両に設置されたカメラにより取り込まれたビデオストリームまたは複数の画像の分析から求められてよい。いくつかの実施形態では、車両の現在位置の数メートル前方にある各フレームまたは画像で位置が識別される。この位置は、所定の期間の後に車両が走行すると予期されているところである。この操作はフレームごとに繰り返されてよく、同時に、車両はカメラのエゴモーション（回転および並進）を計算してよい。各フレームまたは画像では、カメラに取り付けられた基準フレーム内の車両により、所望の経路の短距離モデルが生成される。複数の短距離モデルをつなぎ合わせて、何らかの座標フレーム内の道路の３次元モデルを取得してよく、この座標フレームは任意の座標フレームでも所定の座標フレームでもよい。道路の３次元モデルは次に、スプラインにフィッティングされてよく、このスプラインは好適な次数の１つまたは複数の多項式を含んでも、この多項式を接続してもよい。
各フレームで短距離道路モデルを完成させるために、１つまたは複数の検出モジュールが用いられてよい。例えば、ボトムアップ型車線検出モジュールが用いられてよい。ボトムアップ型車線検出モジュールは、道路上に車線標示が描かれている場合に役立ち得る。このモジュールは、画像内のエッジを探し出し、これらのエッジを一緒に編成して車線標示を形成してよい。第２モジュールが、ボトムアップ型車線検出モジュールと一緒に用いられてよい。第２モジュールはエンドツーエンド型ディープニューラルネットワークであり、このディープニューラルネットワークは、正確な短距離経路を入力画像から予測するように訓練されてよい。どちらのモジュールでも、道路モデルが画像座標フレーム内で検出され、カメラに仮想的に取り付けられ得る３次元空間に変換されてよい。
再構築された軌跡のモデル化方法では、長期間にわたるエゴモーションの集積により、ノイズ成分を含み得る誤差の累積をもたらすことがあるが、そのような誤差は、生成されたモデルが地域規模でのナビゲーションに十分な精度を提供し得るので重要でないかもしれない。さらに、衛星画像または測地測量などの外部の情報源を用いることで、集積誤差を相殺することが可能である。例えば、開示するシステムおよび方法は、ＧＮＳＳ受信機を用いて累積誤差を相殺してよい。しかしながら、ＧＮＳＳ測位信号は、常に利用できて正確であるとは限らないかもしれない。開示するシステムおよび方法によって、ＧＮＳＳ測位の可用性および精度にあまり依存しないステアリングアプリケーションが可能になり得る。そのようなシステムでは、ＧＮＳＳ信号の使用が限定されてよい。例えば、いくつかの実施形態において、開示するシステムは、データベースの索引作成目的のためだけにＧＮＳＳ信号を用いてよい。
いくつかの実施形態において、自動運転車ナビゲーションのステアリングアプリケーションに適切かもしれない距離範囲（例えば、地域規模）は、５０メートル、１００メートル、２００メートル、３００メートル程度などであってもよい。そのような距離が用いられてよいのは、幾何道路モデルが用いられる目的が主に２つ、軌跡を事前に計画すること、および道路モデルで車両の位置を特定することであるためである。いくつかの実施形態において、計画策定タスクは４０メートル前方（または任意の他の好適な前方距離、例えば２０メートル、３０メートル、５０メートル）という典型的な範囲にわたるモデルを用いてよく、このとき制御アルゴリズムは、１．３秒先（または任意の他の時間、例えば、１．５秒、１．７秒、２秒など）に位置する目標地点に従って車両を操縦する。位置特定タスクは、別のセクションでより詳細に説明される「テールアライメント」と呼ばれる方法に従って、自動車の後方６０メートル（または任意の他の好適な距離、例えば、５０メートル、１００メートル、１５０メートルなど）という典型的な範囲にわたる道路モデルを用いる。開示するシステムおよび方法は、計画した軌跡が、例えば、車線中央から３０ｃｍを超えて逸脱することがないように、１００メートルなどの特定の範囲にわたり十分な精度を有する幾何モデルを生成してよい。
上述したように、短距離部分を検出して、これらを一緒につなぎ合わせることから、３次元道路モデルが構築されてよい。このつなぎ合わせは、カメラにより取り込まれた映像および／または画像、車両の動きを反映する慣性センサからのデータ、およびホスト車両の速度信号を用いて、６段階のエゴモーションモデルを計算することにより可能になり得る。累積誤差は、１００メートル程度といった、ある程度の局所的範囲の規模では十分に小さくなり得る。これが全て、特定の道路セグメントの１つのドライブで完了してよい。
いくつかの実施形態では、結果として生じるモデルを平均化して精度をさらに高めるために、複数のドライブが用いられてよい。同じ自動車が同じルートを複数回走行してもよく、複数の自動車がそれぞれ収集したモデルデータを中央サーバに送信してもよい。いずれにしても、目標軌跡を生成するために、重なり合っているモデルを識別して平均化できるように、マッチング手順が行われてよい。構築された（例えば、目標軌跡を含む）モデルは、一旦、収束基準を満たすと、操縦に用いられてよい。さらなるモデルの改良のために、またインフラの変化に適応するために、その後のドライブが用いられてよい。
複数の自動車同士による走行経験（検知データなど）の共有が、これらの自動車が中央サーバに接続されている場合に実現可能になる。各車両クライアントは、それぞれの現在位置に関連し得る汎用道路モデルの部分的コピーを格納してよい。車両とサーバとの間の双方向の更新手順が、車両およびサーバによって行われてよい。上述した小フットプリントの概念により、開示するシステムおよび方法は、非常に小さい帯域幅を用いて双方向の更新を行うことが可能になる。
可能性のあるランドマークに関連する情報も、特定されて中央サーバに転送されてよい。例えば、開示するシステムおよび方法は、可能性のあるランドマークの１つまたは複数の物理的特性を、ランドマークを含む１つまたは複数の画像に基づいて特定してよい。これらの物理的特性には、ランドマークの物理的サイズ（例えば、高さ、幅）、車両からランドマークまでの距離、ランドマークから直前のランドマークまでの距離、ランドマークの横方向位置（例えば、走行車線に対するランドマークの位置）、ランドマークのＧＰＳ座標、ランドマークのタイプ、ランドマークに関するテキストの識別などが含まれてよい。例えば、車両は、カメラにより取り込まれた１つまたは複数の画像を分析して、制限速度標識などの、可能性のあるランドマークを検出してよい。
車両は、１つまたは複数の画像の分析に基づいて、車両からランドマークまでの距離、または、ランドマーク（例えば、道路セグメントに沿う任意のセマンティックな又は非セマンティックな物体又は特徴）に関連づけられた位置を決定してよい。いくつかの実施形態において、この距離は、ランドマークの画像の分析に基づき、スケーリング法および／またはオプティカルフロー法などの好適な画像分析方法を用いて決定されてよい。前述したように、物体／特徴の位置は、物体／特徴に関連づけられた１つまたは複数の点の２Ｄ画像位置（例えば、１つまたは複数の取り込まれた画像におけるＸ－Ｙ画素位置）を含んでもよく、または、（例えば、ＬＩＤＡＲまたはＲＡＤＡＲ情報など、モーション／オプティカルフロー手法における構造を通じて判定される）１つまたは複数の点の３Ｄの実際の位置を含んでもよい。いくつかの実施形態において、開示するシステムおよび方法は、可能性のあるランドマークのタイプまたは分類を決定するように構成されてよい。特定の可能性のあるランドマークがスパースマップに格納された所定のタイプまたは分類に対応すると車両が判定した場合、車両が当該ランドマークのタイプまたは分類のインジケーションをランドマークの位置と共にサーバに伝えるだけで十分であろう。サーバは、そのようなインジケーションを格納してよい。後に、ナビゲーション中、ナビゲート車両がこのランドマークの表現を含む画像を取り込み、当該画像を（例えば、分類器を用いて）処理し、マッピングされたランドマークの検出を検証するために、且つ、スパースマップに対してナビゲート車両の位置を特定する際にマッピングされたランドマークを用いるために、結果として得られるランドマークを比較してもよい。
いくつかの実施形態では、ある道路セグメントを走行する複数の自動運転車がサーバと通信してよい。車両（またはクライアント）は、自車のドライブを（例えば、エゴモーションの集積によって）描く曲線を任意の座標フレームに生成してよい。車両は、ランドマークを検出し、当該ランドマークを同じフレームに配置してよい。車両は、曲線およびランドマークをサーバにアップロードしてよい。サーバは、車両から複数のドライブによるデータを収集し、統合された道路モデルを生成してよい。例えば、図１９に関して以下で論じるように、サーバは、アップロードされた曲線およびランドマークを用いて、統合された道路モデルを有するスパースマップを生成してよい。
サーバは、このモデルをクライアント（例えば、車両）に配信してもよい。例えば、サーバはスパースマップを１つまたは複数の車両に配信してよい。サーバは、車両から新たなデータを受信すると、モデルを常にまたは定期的に更新してよい。例えば、サーバは、新たなデータを処理し、サーバでデータの更新または新たなデータの作成を作動させるべき情報が当該データに含まれているかどうかを評価してよい。サーバは、自動運転車ナビゲーションを提供するために、更新されたモデルまたは更新情報を車両に配信してよい。
サーバは、車両から受信した新たなデータがモデルの更新を作動させるのか、または新たなデータの作成を作動させるのかを判定するために、１つまたは複数の基準を用いてよい。例えば、以前に認識した特定の位置にあるランドマークがもはや存在していない、または別のランドマークに置き換えられていることを新たなデータが示している場合、サーバは、新たなデータがモデルの更新を作動させるべきと判定してよい。別の例として、ある道路セグメントが閉鎖されていることを新たなデータが示している場合、且つこのことが他の車両から受信したデータによって裏付けられている場合、サーバは、新たなデータがモデルの更新を作動させるべきと判定してよい。
サーバは、更新したモデル（またはモデルの更新部分）を、モデルの更新が関連づけられている道路セグメントを走行している１つまたは複数の車両に配信してよい。サーバは、モデルの更新が関連づけられている道路セグメントを走行する予定の車両、または当該道路セグメントが自車の移動計画に含まれている車両にも、更新したモデルを配信してよい。例えば、自動運転車が、ある更新に関連づけられている道路セグメントに到達する前に別の道路セグメントに沿って走行している間に、サーバは、当該車両がこの道路セグメントに到達する前に、更新情報または更新したモデルを当該自動運転車に配信してよい。
いくつかの実施形態において、リモートサーバは、複数のクライアント（例えば、共通の道路セグメントに沿って走行する車両）から軌跡およびランドマークを収集してよい。サーバは、ランドマークを用いて曲線を一致させ、複数の車両から収集した軌跡に基づいて平均的な道路モデルを作成してよい。サーバは、道路セグメントの各交点または接続点において、道路のグラフおよび最も可能性の高い経路も計算してよい。例えば、リモートサーバは、収集した軌跡からクラウドソーシングによるスパースマップを生成するために、これらの軌跡を揃えてよい。
サーバは、共通の道路セグメントに沿って走行した複数の車両から受信したランドマークの特性、例えば、複数の車両により測定された、あるランドマークと別のランドマーク（例えば、道路セグメント沿いの直前のランドマーク）との間の距離を平均化して、弧長パラメータを求め、各クライアント車両のために、経路に沿った位置特定および速度較正を支援してよい。サーバは、共通の道路セグメントに沿って走行し且つ同じランドマークを認識した複数の車両により測定されたランドマークの物理的寸法を平均化してよい。平均化した物理的寸法は、車両からランドマークまでの距離といった距離推定を支援するのに用いられてよい。サーバは、共通の道路セグメントに沿って走行し且つ同じランドマークを認識した複数の車両により測定されたランドマークの横方向位置（例えば、車両が走行している車線からランドマークまでの位置）を平均化してよい。平均化した横方向位置は、車線指定を支援するのに用いられてよい。サーバは、同じ道路セグメントに沿って走行し且つ同じランドマークを認識した複数の車両により測定されたランドマークのＧＰＳ座標を平均化してよい。平均化したランドマークのＧＰＳ座標は、道路モデルにおいて、ランドマークの広範囲な位置特定または測位を支援するのに用いられてよい。
いくつかの実施形態において、サーバは、車両から受信したデータに基づいて、モデルの変更点、例えば、工事、迂回路、新たな標識、標識の除去などを識別してよい。サーバは、車両から新たなデータを受信すると、モデルを常にまたは定期的にまたは即座に更新してよい。サーバは、自動ナビゲーションを提供するために、モデルの更新情報または更新されたモデルを車両に配信してよい。例えば、以下でさらに論じるように、サーバは、車両が検出された「ゴースト」ランドマークを除外するために、クラウドソーシングによるデータを用いてよい。
いくつかの実施形態において、サーバは、自動運転時に運転者の介入を分析してよい。サーバは、介入が行われた時間および場所で車両から受信したデータ、および／または介入が行われた時間の前に受信したデータを分析してよい。サーバは、介入を引き起こした、または介入に密接に関連しているデータ、例えば、一時的な車線通行止めの設定を示すデータ、道路に歩行者がいることを示すデータのある程度の部分を識別してよい。サーバは、識別したデータに基づいてモデルを更新してよい。例えば、サーバは、モデルに格納された１つまたは複数の軌跡を変更してよい。
図１２は、クラウドソーシングを用いてスパースマップを生成する（および、クラウドソーシングによるスパースマップを配信し、これを用いてナビゲートする）システムの概略図である。図１２は、１つもしくは複数の車線を含む道路セグメント１２００を示している。複数の車両１２０５、１２１０、１２１５、１２２０および、１２２５は（図１２には道路セグメント１２００に同時に現れるように示されているが）、道路セグメント１２００を同時に走行しても、異なる時間に走行してもよい。車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの少なくとも１つは、自動運転車であってよい。本例を簡単にするために、車両１２０５、１２１０、１２１５、１２２０、および１２２５の全てが自動運転車であると仮定する。
各車両は、他の実施形態で開示された車両（例えば、車両２００）と同様であってよく、他の実施形態で開示された車両に含まれる、またはその車両に関連する構成要素またはデバイスを含んでもよい。各車両は、画像取り込みデバイスまたはカメラ（例えば、画像取り込みデバイス１２２またはカメラ１２２）を備えてよい。各車両は、１つまたは複数のネットワークを介し（例えば、セルラネットワークおよび／またはインターネットなどを介し）、破線で示されている無線通信経路１２３５を通じてリモートサーバ１２３０と通信してよい。各車両は、データをサーバ１２３０に送信し、サーバ１２３０からデータを受信してよい。例えば、サーバ１２３０は、道路セグメント１２００を異なる時間に走行する複数の車両からデータを収集してよく、収集したデータを処理して、自動運転車向け道路ナビゲーションモデルまたは当該モデルの更新を生成してよい。サーバ１２３０は、自動運転車向け道路ナビゲーションモデルまたは当該モデルの更新を、サーバ１２３０にデータを送信した車両に送信してよい。サーバ１２３０は、自動運転車向け道路ナビゲーションモデルまたは当該モデルの更新を、後に道路セグメント１２００を走行する他の車両に送信してよい。
車両１２０５、１２１０、１２１５、１２２０、および１２２５が道路セグメント１２００を走行すると、車両１２０５、１２１０、１２１５、１２２０、および１２２５により収集された（例えば、検出された、検知された、または測定された）ナビゲーション情報がサーバ１２３０に送信されてよい。いくつかの実施形態において、ナビゲーション情報は共通の道路セグメント１２００に関連づけられてよい。ナビゲーション情報は、各車両が道路セグメント１２００を走行するときに車両１２０５、１２１０、１２１５、１２２０、および１２２５の各々に関連づけられる軌跡を含んでよい。いくつかの実施形態において、軌跡は、車両１２０５に設けられた様々なセンサおよびデバイスにより検知されたデータに基づいて再構築されてよい。例えば、軌跡は、加速度計データ、速度データ、ランドマークデータ、道路の幾何構造またはプロファイルデータ、車両測位データ、およびエゴモーションデータのうちの少なくとも１つに基づいて再構築されてよい。いくつかの実施形態において、軌跡は、加速度計などの慣性センサからのデータ、および速度センサにより検知された車両１２０５の速度に基づいて再構築されてよい。さらに、いくつかの実施形態において、軌跡は（例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５の各々に搭載したプロセッサにより）、３次元並進および／または３次元回転（または回転運動）を示し得る検知されたカメラのエゴモーションに基づいて決定されてよい。カメラ（したがって、車体）のエゴモーションは、カメラが取り込んだ１つまたは複数の画像の分析から特定されてよい。
いくつかの実施形態において、車両１２０５の軌跡は、車両１２０５に搭載されたプロセッサにより決定されて、サーバ１２３０に送信されてよい。他の実施形態において、サーバ１２３０は、車両１２０５に設けられた様々なセンサおよびデバイスにより検知されたデータを受信し、車両１２０５から受信したデータに基づいて軌跡を決定してよい。
いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５からサーバ１２３０に送信されるナビゲーション情報には、路面、道路の幾何構造、または道路プロファイルに関するデータが含まれてよい。道路セグメント１２００の幾何構造には、車線構成および／またはランドマークが含まれてよい。車線構成には、道路セグメント１２００の車線総数、車線のタイプ（例えば、一方通行車線、双方向車線、走行車線、追い越し車線など）、車線上の標示、車線の幅などが含まれてよい。いくつかの実施形態において、ナビゲーション情報には、車線指定、例えば複数の車線のうちのどの車線を車両が走行することになるかが含まれてよい。例えば、車線指定は数値に関連づけられてよく、「３」は車両が左または右から３番目の車線を走行することを示している。別の例として、車線指定はテキスト値に関連づけられてよく、「中央車線」は車両が中央車線を走行することを示している。
サーバ１２３０は、ナビゲーション情報を非一時的コンピュータ可読媒体に、例えば、ハードドライブ、コンパクトディスク、テープ、メモリなどに格納してよい。サーバ１２３０は、複数の車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報に基づいて、共通の道路セグメント１２００用の自動運転車向け道路ナビゲーションモデルの少なくとも一部を（例えば、サーバ１２３０に含まれるプロセッサにより）生成してよく、このモデルをスパースマップの一部として格納してよい。サーバ１２３０は、道路セグメントの車線を異なる時間に走行する複数の車両（例えば、１２０５、１２１０、１２１５、１２２０、および１２２５）から受信したクラウドソーシングによるデータ（例えば、ナビゲーション情報）に基づいて、各車線に関連づけられる軌跡を決定してよい。サーバ１２３０は、クラウドソーシングによるナビゲーションデータに基づいて決定された複数の軌跡に基づいて、自動運転車向け道路ナビゲーションモデルまたはそのモデルの一部（例えば、更新部分）を生成してよい。サーバ１２３０は、車両のナビゲーションシステムに提供された既存の自動運転車向け道路ナビゲーションモデルを更新するために、道路セグメント１２００を走行する自動運転車１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つもしくは複数、または後に道路セグメントを走行する任意の他の自動運転車に、モデルまたはモデルの更新部分を送信してよい。自動運転車向け道路ナビゲーションモデルは、自動運転車が共通の道路セグメント１２００に沿って自律的にナビゲートする際に用いられてよい。
上述したように、自動運転車向け道路ナビゲーションモデルは、スパースマップ（例えば、図８に示すスパースマップ８００）に含まれてよい。スパースマップ８００は、道路の幾何構造および／または道路沿いのランドマークに関連するデータのスパース記録を含んでよく、これは、自動運転車の自動ナビゲーションを誘導するのに十分な情報を与えることができ、しかも、過度のデータストレージを必要としない。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルは、スパースマップ８００とは別に格納されてよく、ナビゲーションのためにモデルが実行されると、スパースマップ８００からのマップデータを用いてよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルは、自動運転車１２０５、１２１０、１２１５、１２２０、および１２２５、または後に道路セグメント１２００に沿って走行する他の車両の自動ナビゲーションを誘導するために、スパースマップ８００に含まれるマップデータを用いて、道路セグメント１２００に沿った目標軌跡を決定してよい。例えば、車両１２０５のナビゲーションシステムに含まれるプロセッサによって自動運転車向け道路ナビゲーションモデルが実行されると、モデルは、車両１２０５から受信したナビゲーション情報に基づいて決定された軌跡とスパースマップ８００に含まれる所定の軌跡とをプロセッサに比較させて、車両１２０５の現在の走行コースを確認する且つ／または補正してよい。
自動運転車向け道路ナビゲーションモデルでは、道路特徴または目標軌跡の幾何構造は、３次元空間内の曲線によって符号化されてよい。一実施形態において、この曲線は、１つまたは複数の接続３次元多項式を含む３次元スプラインであってよい。当業者であれば理解しているであろうが、スプラインとは、データをフィッティングするために一連の多項式によって区分的に定義されている数値関数であってよい。道路の３次元幾何構造データをフィッティングするためのスプラインには、線形スプライン（１次）、２次スプライン（２次）、３次スプライン（３次）、もしくは任意の他のスプライン（他の次数）、またはこの組み合わせが含まれてよい。スプラインには、道路の３次元幾何構造データのデータ点を接続する（例えば、フィッティングする）様々な次数の１つまたは複数の３次元多項式が含まれてよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルには、共通の道路セグメント（例えば、道路セグメント１２００）または道路セグメント１２００の車線に沿った目標軌跡に対応する３次元スプラインが含まれてよい。
上述したように、スパースマップに含まれる自動運転車向け道路ナビゲーションモデルは、他の情報、例えば、道路セグメント１２００沿いの少なくとも１つのランドマークの識別情報を含んでもよい。ランドマークは、車両１２０５、１２１０、１２１５、１２２０、および１２２５の各々に設置されたカメラ（例えば、カメラ１２２）の視野内で視認可能であってよい。いくつかの実施形態において、カメラ１２２はランドマークの画像を取り込んでよい。車両１２０５に設けられたプロセッサ（例えば、プロセッサ１８０、１９０、または処理ユニット１１０）は、ランドマークの画像を処理して、ランドマークの識別情報を抽出してよい。ランドマークの実画像ではなくむしろ、ランドマークの識別情報はスパースマップ８００に格納されてよい。ランドマークの識別情報は、実画像よりはるかに少ないストレージ領域しか必要としなくてよい。他のセンサまたはシステム（例えば、ＧＰＳシステム）も、ランドマークの特定の識別情報（例えば、ランドマークの位置）を提供してよい。ランドマークには、交通標識、矢印標示、車線標示、破線の車線標示、信号機、一時停止線、方向標識（例えば、方向を示す矢印付きの高速道路出口標識、別の方向または場所を指し示す矢印付きの高速道路標識）、ランドマークビーコン、または街灯柱のうちの少なくとも１つが含まれてよい。ランドマークビーコンとは、車両に設置された受信器に信号を送信するまたは反射する、道路セグメントに沿って設置されたデバイス（例えば、ＲＦＩＤデバイス）を指し、車両がこのデバイスのそばを通ると、車両が受信するビーコンと（例えば、デバイスのＧＰＳ位置から決定される）デバイスの位置とが、自動運転車向け道路ナビゲーションモデルおよび／またはスパースマップ８００に含まれることになるランドマークとして用いられてよい。
少なくとも１つのランドマークの識別情報は、少なくとも１つのランドマークの位置を含んでよい。ランドマークの位置は、複数の車両１２０５、１２１０、１２１５、１２２０、および１２２５に関連づけられたセンサシステム（例えば、全地球測位システム、慣性ベースの測位システム、ランドマークビーコンなど）を用いて行われた位置測定法に基づいて決定されてよい。いくつかの実施形態において、ランドマークの位置は、異なる車両１２０５、１２１０、１２１５、１２２０、および１２２５のセンサシステムにより複数のドライブで検出され、収集され、または受信された位置測定値を平均化することにより決定されてよい。例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５は位置測定値のデータをサーバ１２３０に送信してよく、サーバは、位置測定値を平均化し、平均化した位置測定値をランドマークの位置として用いてよい。ランドマークの位置は、その後のドライブで車両から受信する測定値によって常に微調整されてよい。
ランドマークの識別情報には、ランドマークのサイズが含まれてよい。車両（例えば、１２０５）に設けられたプロセッサは、画像の分析に基づいてランドマークの物理的サイズを推定してよい。サーバ１２３０は、異なる車両から異なるドライブによる、同じランドマークの物理的サイズに関する複数の推定値を受信してよい。サーバ１２３０は、ランドマークの物理的サイズに到達するように様々な推定値を平均化し、そのランドマークのサイズを道路モデルに格納してよい。物理的サイズの推定値はさらに、車両からランドマークまでの距離を決定または推定するために用いられてよい。ランドマークまでの距離は、車両の現在の速度と、カメラの拡張焦点に対する画像に現れるランドマークの位置に基づく拡張スケールとに基づいて推定されてよい。例えば、ランドマークまでの距離は、Ｚ＝Ｖ×ｄｔ×Ｒ／Ｄで推定されてよく、ここで、Ｖは車両の速度であり、Ｒは時間ｔ１におけるランドマークから拡張焦点までの画像内の距離であり、Ｄはｔ１からｔ２までの画像内のランドマークについての距離の変化である。ｄｔは（ｔ２－ｔ１）を表している。例えば、ランドマークまでの距離は、Ｚ＝Ｖ×ｄｔ×Ｒ／Ｄで推定されてよく、ここで、Ｖは車両の速度であり、Ｒはランドマークと拡張焦点との間の画像内の距離であり、ｄｔは時間間隔であり、Ｄはエピポーラ線に沿ったランドマークの画像変位である。上記の式と等価な他の式、例えば、Ｚ＝Ｖ×ω／Δωが、ランドマークまでの距離を推定するのに用いられてよい。ここで、Ｖは車両速度であり、ωは画像長（物体幅のようなもの）であり、Δωは単位時間における画像長の変化である。
ランドマークの物理的サイズが既知である場合、ランドマークまでの距離も、次式、Ｚ＝ｆ×Ｗ／ωに基づいて決定されてよい。ここで、ｆは焦点距離であり、Ｗはランドマークのサイズ（例えば、高さまたは幅）であり、ωはランドマークが画像を離れたときの画素の数である。上記の式から、距離Ｚの変化が、ΔＺ＝ｆ×Ｗ×Δω／ω２＋ｆ×ΔＷ／ωを用いて計算されてよい。ここで、ΔＷは平均化でゼロに減衰し、Δωは画像のバウンディングボックス精度を表す画素の数である。ランドマークの物理的サイズを推定する値が、複数の観測結果をサーバ側で平均化することで計算されてよい。距離推定で結果として生じる誤差は、非常に小さくなり得る。上記の式を用いるときに生じ得る誤差の発生源は２つある。すなわち、ΔＷおよびΔωである。距離誤差に対するそれぞれの寄与分は、ΔＺ＝ｆ×Ｗ×Δω／ω２＋ｆ×ΔＷ／ωで与えられる。しかしながら、ΔＷは平均化によりゼロに減衰するので、ΔＺはΔω（例えば、画像のバウンディングボックスの不正確さ）で求められる。
未知の寸法のランドマークの場合、ランドマークまでの距離は、連続するフレームにわたってランドマーク上の特徴点を追跡することで推定され得る。例えば、制限速度標識上に現れる特定の特徴が２つまたはそれより多くの画像フレームにわたって追跡されてよい。追跡したこれらの特徴に基づいて、特徴点ごとの距離の分布が生成されてよい。距離推定値は、距離の分布から抽出されてよい。例えば、距離の分布に現れる最も頻度が高い距離を、距離推定値として用いてよい。別の例として、距離の分布の平均を距離推定値として用いてよい。
図１３は、複数の３次元スプライン１３０１、１３０２、および１３０３で表される例示的な自動運転車向け道路ナビゲーションモデルを示している。図１３に示す曲線１３０１、１３０２、および１３０３は、説明目的のためだけのものである。各スプラインには、複数のデータ点１３１０を接続した１つもしくは複数の３次元多項式が含まれてよい。各多項式は、１次多項式、２次多項式、３次多項式、または異なる次数を有する任意の好適な多項式の組み合わせであってもよい。各データ点１３１０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報に関連づけられてよい。いくつかの実施形態において、各データ点１３１０は、ランドマークに関連するデータ（例えば、ランドマークのサイズ、位置、および識別情報）および／またはロードシグネチャプロファイル（例えば、道路の幾何構造、道路凹凸プロファイル、道路曲率プロファイル、道路幅プロファイル）に関連づけられてよい。いくつかの実施形態において、データ点１３１０のなかには、ランドマークに関連するデータに関連づけられるものもあってよく、ロードシグネチャプロファイルに関連するデータに関連づけられるものもあってよい。
図１４は、５つの別々のドライブから受信した未処理の位置データ１４１０（例えば、ＧＰＳデータ）を示している。あるドライブを別々の車両が同時に通行した場合、同じ車両が別々の時間に通行した場合、または別々の車両が別々の時間に通行した場合、当該ドライブは別のドライブから分かれてよい。位置データ１４１０の誤差および同じ車線内の複数の車両の異なる位置（例えば、ある車両が別の車両よりも車線の左側の近くを走行しているかもしれない）を考慮するために、サーバ１２３０は、１つまたは複数の統計的手法を用いてマップの骨組み１４２０を生成し、未処理の位置データ１４１０の変化が実際の相違を表しているのか、統計誤差を表しているのかを判定してよい。マップの骨組み１４２０に含まれる各経路は、その経路を形成した未処理データ１４１０にあらためて関連づけられてよい。例えば、マップの骨組み１４２０に含まれるＡとＢとの間の経路は、ドライブ２、３、４、および５からの未処理データ１４１０に関連づけられるが、ドライブ１からの未処理データには関連づけられない。骨組み１４２０は、（例えば、上述したスプラインと異なり、同じ道路の複数の車線からのドライブを組み合わせるため）車両のナビゲートに用いられるほど詳細でなくてもよいが、有用なトポロジー情報を提供することができ、交差点を定義するのに用いることができる。
図１５は、マップの骨組みのセグメント（例えば、骨組み１４２０に含まれるセグメントＡ～Ｂ）に含まれるスパースマップ用に、さらなる詳細が生成され得る例を示している。図１５に示すように、データ（例えば、エゴモーションデータ、道路標示のデータなど）が、ドライブに沿った位置Ｓ（またはＳ１もしくはＳ２）に応じて示されてよい。サーバ１２３０は、ドライブ１５１０のランドマーク１５０１、１５０３、および１５０５と、ドライブ１５２０のランドマーク１５０７および１５０９との一意の一致を識別することにより、スパースマップ用のランドマークを識別してよい。そのようなマッチングアルゴリズムによって、ランドマーク１５１１、１５１３、および１５１５を識別することになり得る。しかしながら当業者であれば、他のマッチングアルゴリズムを用いてもよいことを認識するであろう。例えば、一意の一致の代わりに、またはこれと組み合わせて確率最適化を用いてもよい。サーバ１２３０は、各ドライブを長手方向に揃えて、一致したランドマークを揃えてよい。例えばサーバ１２３０は、１つのドライブ（例えば、ドライブ１５２０）を基準ドライブとして選択し、次いで１つまたは複数のその他のドライブ（例えば、ドライブ１５１０）を揃えるために移動させる且つ／または弾性的に引き延ばしてよい。
図１６は、スパースマップに用いるためにランドマークのデータを揃えた一例を示している。図１６の例では、ランドマーク１６１０は道路標識を含む。図１６の例はさらに、複数のドライブ１６０１、１６０３、１６０５、１６０７、１６０９、１６１１、および１６１３からのデータを示している。図１６の例では、ドライブ１６１３からのデータは「ゴースト」ランドマークで構成されており、サーバ１２３０はこのデータをそのようなものとして識別してよい。なぜならば、ドライブ１６０１、１６０３、１６０５、１６０７、１６０９、および１６１１のどれにも、ドライブ１６１３で識別されたランドマークの近くにランドマークの識別情報が含まれないからである。したがって、サーバ１２３０は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを受け入れてよく、且つ／またはランドマークが現れない画像とランドマークが現れる画像との比率が閾値を超える場合、可能性のあるランドマークを排除してよい。
図１７は、スパースマップをクラウドソーシングするのに用いられ得る、ドライブデータを生成するためのシステム１７００を示している。図１７に示すように、システム１７００は、カメラ１７０１と位置特定デバイス１７０３（例えば、ＧＰＳロケータ）を含んでよい。カメラ１７０１および位置特定デバイス１７０３は、車両（例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つ）に取り付けられてよい。カメラ１７０１は、複数のタイプの複数のデータ、例えば、エゴモーションデータ、交通標識データ、または道路データなどを生成してよい。カメラデータおよび位置データは、複数のドライブセグメント１７０５に分割されてよい。例えば、複数のドライブセグメント１７０５は各々、１ｋｍ未満の走行からのカメラデータおよび位置データを有してよい。
いくつかの実施形態において、システム１７００は、ドライブセグメント１７０５の冗長性を取り除いてよい。例えば、カメラ１７０１からの複数の画像にランドマークが現れる場合、ドライブセグメント１７０５にはランドマークの位置およびランドマークに関連する任意のメタデータが１部だけ含まれるように、システム１７００は冗長なデータを取り除いてよい。さらなる例として、カメラ１７０１からの複数の画像に車線標示が現れる場合、ドライブセグメント１７０５には車線標示の位置および車線標示に関連する任意のメタデータが１部だけ含まれるように、システム１７００は冗長なデータを取り除いてよい。
システム１７００は、サーバ（例えば、サーバ１２３０）も含む。サーバ１２３０は、車両からドライブセグメント１７０５を受信し、これらのドライブセグメント１７０５を再結合して１つのドライブ１７０７にしてよい。そのようなやり方によって、車両とサーバとの間でデータを転送するときの帯域幅要件の低減が可能になると共に、サーバがドライブ全体に関連するデータを格納することも可能になり得る。
図１８は、さらにスパースマップをクラウドソーシングするように構成された、図１７のシステム１７００を示す。図１７にあるように、システム１７００は車両１８１０を含み、当該車両は、例えば、カメラ（これは例えば、エゴモーションデータ、交通標識データ、または道路データなどを生成する）および位置特定デバイス（例えば、ＧＰＳロケータ）を用いてドライブデータを取り込む。図１７にあるように、車両１８１０は、収集したデータを複数のドライブセグメント（図１８には「ＤＳ１ １」、「ＤＳ２ １」、「ＤＳＮ １」と示されている）に分割する。サーバ１２３０は次に、ドライブセグメントを受信し、受信したこれらのセグメントから１つのドライブ（図１８には「ドライブ１」と示されている）を再構築する。
図１８にさらに示すように、システム１７００は追加の車両からもデータを受信する。例えば、車両１８２０も、例えば、カメラ（これは例えば、エゴモーションデータ、交通標識データ、または道路データなどを生成する）および位置特定デバイス（例えば、ＧＰＳロケータ）を用いてドライブデータを取り込む。車両１８１０と同様に、車両１８２０は、収集したデータを複数のドライブセグメント（図１８には「ＤＳ１ ２」、「ＤＳ２ ２」、「ＤＳＮ ２」と示されている）に分割する。サーバ１２３０は次に、ドライブセグメントを受信し、受信したこれらのセグメントから１つのドライブ（図１８には「ドライブ２」と示されている）を再構築する。任意の数の追加の車両が用いられてよい。例えば、図１８は自動車Ｎも含み、当該自動車は、ドライブデータを取り込み、そのデータを複数のドライブセグメント（図１８には「ＤＳ１ Ｎ」、「ＤＳ２ Ｎ」、「ＤＳＮ Ｎ」と示されている）に分割し、これらをサーバ１２３０に送信して１つのドライブ（図１８には「ドライブＮ」と示されている）に再構築する。
図１８に示すように、サーバ１２３０は、複数の車両（例えば、「自動車１」（車両１８１０とも表示されている）、「自動車２」（車両１８２０とも表示されている）、および「自動車Ｎ」）から収集した再構築済みのドライブ（例えば、「ドライブ１」、「ドライブ２」、および「ドライブＮ」）を用いて、スパースマップ（「マップ」と示されている）を構築してよい。
図１９は、道路セグメントに沿った自動運転車ナビゲーション用のスパースマップを生成するための例示的なプロセス１９００を示すフローチャートである。プロセス１９００は、サーバ１２３０に含まれる１つまたは複数の処理デバイスにより行われてよい。
プロセス１９００は、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像を受信する段階（段階１９０５）を含んでよい。サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つまたは複数に含まれるカメラから画像を受信してよい。例えば、カメラ１２２は、車両１２０５が道路セグメント１２００に沿って走行するときに、車両１２０５を取り囲む環境に関する１つまたは複数の画像を取り込んでよい。いくつかの実施形態において、サーバ１２３０は、図１７に関して上述したように、車両１２０５に搭載されたプロセッサによって冗長性が取り除かれた、余分なものを除いた画像データも受信してよい。
プロセス１９００はさらに、複数の画像に基づいて、道路セグメントに沿って延びる路面特徴の少なくとも１つのライン表現を識別する段階（段階１９１０）を含んでよい。各ライン表現は、路面特徴と実質的に対応する、道路セグメントに沿った経路を表してよい。例えば、サーバ１２３０は、カメラ１２２から受信した環境画像を分析し、道路エッジまたは車線標示を識別して、道路エッジまたは車線標示に関連づけられる道路セグメント１２００に沿った走行の軌跡を決定してよい。いくつかの実施形態において、軌跡（またはライン表現）は、スプライン、多項式表現、または曲線を含んでよい。サーバ１２３０は、段階１９０５で受信したカメラのエゴモーション（例えば、３次元並進運動および／または３次元回転運動）に基づいて、車両１２０５の走行の軌跡を決定してよい。
プロセス１９００は、複数の画像に基づいて、道路セグメントに関連づけられる複数のランドマークを識別する段階（段階１９１５）も含んでよい。例えば、サーバ１２３０は、カメラ１２２から受信した環境画像を分析し、道路セグメント１２００沿いの道路標識などの１つまたは複数のランドマークを識別してよい。サーバ１２３０は、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像の分析を用いて、ランドマークを識別してよい。クラウドソーシングを可能にするために、分析には、道路セグメントに関連する可能性のあるランドマークを受け入れること、および排除することに関するルールが含まれてよい。例えば、分析には、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを受け入れる段階、および／またはランドマークが現れない画像とランドマークが現れる画像との比率が閾値を超える場合、可能性のあるランドマークを排除する段階を含んでよい。
プロセス１９００は、サーバ１２３０により行われる他の操作または段階を含んでよい。例えば、ナビゲーション情報には車両が道路セグメントに沿って走行するための目標軌跡が含まれてよく、プロセス１９００は、以下でさらに詳細に論じるように、サーバ１２３０が道路セグメントを走行する複数の車両に関連する車両軌跡をクラスタ化して、クラスタ化した車両軌跡に基づいて目標軌跡を決定する段階を含んでよい。車両軌跡をクラスタ化する段階は、サーバ１２３０が、車両の絶対進行方向または車両の車線指定のうちの少なくとも一方に基づいて、道路セグメントを走行する車両に関連する複数の軌跡をクラスタ化して複数のクラスタにする段階を含んでよい。目標軌跡を生成する段階は、サーバ１２３０が、クラスタ化した軌跡を平均化する段階を含んでよい。さらなる例として、プロセス１９００は、段階１９０５で受信したデータを揃える段階を含んでよい。サーバ１２３０により行われる他のプロセスまたは段階も、上述したように、プロセス１９００に含まれてよい。
開示するシステムおよび方法は、他の特徴を含んでよい。例えば、開示するシステムは、グローバル座標ではなくむしろローカル座標を用いてよい。自動運転の場合、いくつかのシステムは、ワールド座標でデータを示すことがある。例えば、地表面の経度および緯度による座標が用いられてよい。ホスト車両は、マップを操縦に用いるために、マップに対する自車の位置および方位を決定してよい。マップ上で車両を測位するために、且つ本体基準フレームとワールド基準フレーム（例えば、北、東、および南）との間の回転変換を求めるために、搭載されたＧＰＳデバイスを用いるのは自然なことのように思われる。一旦本体基準フレームをマップ基準フレームに揃えると、次に、所望のルートを本体基準フレームで表現することができ、操縦コマンドを計算することも、生成することもできる。
開示するシステムおよび方法は、低フットプリントモデルを用いた自動運転車ナビゲーション（例えば、操縦制御）を可能にしてよく、このモデルは、高価な測量機器の助けを借りることなく、自動運転車そのものによって収集されてよい。自動ナビゲーション（例えば、ステアリングアプリケーション）を支援するために、道路モデルは、モデルに含まれる軌跡に沿った車両の位置または位置を決定するのに用いられ得る道路の幾何構造、その車線構成、およびランドマークを有するスパースマップを含んでよい。上述したように、スパースマップの生成は、道路を走行する車両と通信し且つ車両からデータを受信するリモートサーバにより行われてよい。このデータには、検知データ、検知データに基づいて再構築された軌跡、および／または再構築された軌跡の変更を表し得る推奨軌跡が含まれてよい。以下で論じるように、サーバは、車両または後に道路を走行する他の車両にあらためてモデルを送信して、自動ナビゲーションに役立てることができる。
図２０は、サーバ１２３０のブロック図を示している。サーバ１２３０は通信ユニット２００５を含んでよく、このユニットは、ハードウェアコンポーネント（例えば、通信制御回路、スイッチ、およびアンテナ）とソフトウェアコンポーネント（例えば、通信プロトコル、コンピュータコード）とを両方とも含んでよい。例えば、通信ユニット２００５は、少なくとも１つのネットワークインタフェースを含んでよい。サーバ１２３０は、通信ユニット２００５を介して、車両１２０５、１２１０、１２１５、１２２０、および１２２５と通信してよい。例えば、サーバ１２３０は、通信ユニット２００５を介して、車両１２０５、１２１０、１２１５、１２２０、および１２２５から送信されるナビゲーション情報を受信してよい。サーバ１２３０は、通信ユニット２００５を介して、自動運転車向け道路ナビゲーションモデルを１つまたは複数の自動運転車に配信してよい。
サーバ１２３０は、少なくとも１つの非一時的記憶媒体２０１０、例えば、ハードドライブ、コンパクトディスク、テープなどを含んでよい。ストレージデバイス１４１０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報などのデータ、並びに／またはナビゲーション情報に基づいてサーバ１２３０が生成する自動運転車向け道路ナビゲーションモデルを格納するように構成されてよい。ストレージデバイス２０１０は、スパースマップ（例えば、図８に関して上述したスパースマップ８００）などの任意の他の情報を格納するように構成されてよい。
ストレージデバイス２０１０に加えて、またはその代わりに、サーバ１２３０はメモリ２０１５を含んでよい。メモリ２０１５は、メモリ１４０または１５０と同様であっても、これと異なってもよい。メモリ２０１５は、フラッシュメモリ、ランダムアクセスメモリなどといった、非一時的メモリであってよい。メモリ２０１５はデータを格納するように構成されてよく、そのようなデータには、プロセッサ（例えば、プロセッサ２０２０）が実行可能なコンピュータコードもしくは命令、マップデータ（例えば、スパースマップ８００のデータ）、自動運転車向け道路ナビゲーションモデル、並びに／または車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報などがある。
サーバ１２３０は、メモリ２０１５に格納されたコンピュータコードまたは命令を実行して、様々な機能を果たすように構成された少なくとも１つの処理デバイス２０２０を含んでよい。例えば、処理デバイス２０２０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報を分析し、この分析に基づいて自動運転車向け道路ナビゲーションモデルを生成してよい。処理デバイス２０２０は、通信ユニット１４０５を制御して、自動運転車向け道路ナビゲーションモデルを１つまたは複数の自動運転車（例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つまたは複数、あるいは後に道路セグメント１２００を走行する任意の車両）に配信してよい。処理デバイス２０２０は、プロセッサ１８０、１９０、または処理ユニット１１０と同様であっても、異なってもよい。
図２１は、メモリ２０１５のブロック図を示しており、このメモリは、自動運転車ナビゲーションに用いる道路ナビゲーションモデルを生成するのに１つまたは複数の操作を行うためのコンピュータコードまたは命令を格納してよい。図２１に示すように、メモリ２０１５は、車両ナビゲーション情報を処理する操作を行うための１つまたは複数のモジュールを格納してよい。例えば、メモリ２０１５は、モデル生成モジュール２１０５とモデル配信モジュール２１１０とを含んでよい。プロセッサ２０２０は、メモリ２０１５に含まれるモジュール２１０５および２１１０のうちのいずれかに格納された命令を実行してよい。
モデル生成モジュール２１０５は命令を格納してよく、この命令は、プロセッサ２０２０により実行されると、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報に基づいて、共通の道路セグメント（例えば、道路セグメント１２００）用の自動運転車向け道路ナビゲーションモデルの少なくとも一部を生成してよい。例えば、自動運転車向け道路ナビゲーションモデルを生成する際に、プロセッサ２０２０は、共通の道路セグメント１２００に沿った車両軌跡を様々なクラスタにクラスタ化してよい。プロセッサ２０２０は、様々なクラスタの各々のクラスタ化された車両軌跡に基づいて、共通の道路セグメント１２００に沿った目標軌跡を決定してよい。そのような操作には、各クラスタにおいて、クラスタ化された車両軌跡の平均軌跡を（例えば、クラスタ化された車両軌跡を表すデータを平均化することにより）求める段階が含まれてよい。いくつかの実施形態において、目標軌跡は、共通の道路セグメント１２００の単一の車線に関連づけられてよい。
道路モデルおよび／またはスパースマップは、道路セグメントに関連づけられた軌跡を格納してよい。これらの軌跡は、目標軌跡と呼ばれることがあり、自動ナビゲーションのために自動運転車に提供される。目標軌跡は、複数の車両から受信されてもよく、複数の車両から受信した実際の軌跡または推奨軌跡（一部の変更を伴った実際の軌跡）に基づいて生成されてもよい。道路モデルまたはスパースマップに含まれる目標軌跡は、他の車両から受信した新たな軌跡を用いて常に更新（例えば、平均化）されてよい。
道路セグメントを走行する車両は、様々なセンサでデータを収集してよい。データは、ランドマーク、ロードシグネチャプロファイル、車両の動き（例えば、加速度計データ、速度データ）、車両位置（例えば、ＧＰＳデータ）を含んでよく、実際の軌跡そのものを再構築するか、またはデータをサーバに送信するかのいずれかであってもよく、サーバは実際の軌跡を車両用に再構築することになる。いくつかの実施形態において、車両は、軌跡（例えば、任意の基準フレームにおける曲線）に関連するデータ、ランドマークデータ、および走行経路に沿った車線指定をサーバ１２３０に送信してよい。同じ道路セグメントに沿って複数のドライブで走行する様々な車両が、別々の軌跡を有してよい。サーバ１２３０は、クラスタ化プロセスを通じて車両から受信した軌跡から、各車線に関連づけられたルートまたは軌跡を識別してよい。
図２２は、共通の道路セグメント（例えば、道路セグメント１２００）の目標軌跡を決定するために、車両１２０５、１２１０、１２１５、１２２０、および１２２５に関連づけられた車両軌跡をクラスタ化するプロセスを示している。クラスタ化プロセスから決定される目標軌跡または複数の目標軌跡は、自動運転車向け道路ナビゲーションモデルまたはスパースマップ８００に含まれてよい。いくつかの実施形態において、道路セグメント１２００に沿って走行する車両１２０５、１２１０、１２１５、１２２０、および１２２５は、複数の軌跡２２００をサーバ１２３０に送信してよい。いくつかの実施形態において、サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したランドマーク、道路の幾何構造、および車両の動き情報に基づいて、軌跡を生成してよい。自動運転車向け道路ナビゲーションモデルを生成するために、サーバ１２３０は、図２２に示すように、車両軌跡１６００をクラスタ化して複数のクラスタ２２０５、２２１０、２２１５、２２２０、２２２５、および２２３０にしてよい。
クラスタ化は、様々な基準を用いて行われてよい。いくつかの実施形態では、クラスタに含まれる全てのドライブが、道路セグメント１２００に沿った絶対進行方向に関して類似していてよい。絶対進行方向は、車両１２０５、１２１０、１２１５、１２２０、および１２２５により受信されるＧＰＳ信号から取得されてよい。いくつかの実施形態において、絶対進行方向は推測航法を用いて取得されてよい。推測航法は、当業者であれば理解できるように、現在位置、したがって車両１２０５、１２１０、１２１５、１２２０、および１２２５の進行方向を、以前に決定された位置、推定速度などを用いて決定するのに用いられてよい。絶対進行方向によりクラスタ化された軌跡は、車道に沿ってルートを識別するのに役立ち得る。
いくつかの実施形態では、クラスタに含まれる全てのドライブが、道路セグメント１２００のドライブに沿った車線指定（例えば、交差点の前後では同じ車線）に関して類似していてよい。車線指定によりクラスタ化された軌跡は、車道に沿って車線を識別するのに役立ち得る。いくつかの実施形態では、両方の基準（例えば、絶対進行方向および車線指定）がクラスタ化に用いられてよい。
各クラスタ２２０５、２２１０、２２１５、２２２０、２２２５、および２２３０では、これらの軌跡を平均化して、特定のクラスタに関連づけられる目標軌跡を取得してよい。例えば、同じ車線クラスタに関連づけられた複数のドライブからの軌跡を平均化してよい。平均化された軌跡は、特定の車線に関連づけられた目標軌跡であってよい。あるクラスタの軌跡を平均化するために、サーバ１２３０は、任意の軌跡Ｃ０の基準フレームを選択してよい。全ての他の軌跡（Ｃ１、…、Ｃｎ）について、サーバ１２３０は、ＣｉをＣ０にマッピングするリジッド変換を求めてよい。ここで、ｉ＝１、２、…、ｎであり、ｎはクラスタに含まれる軌跡の総数に対応する正の整数である。サーバ１２３０は、Ｃ０基準フレームにおける平均曲線または軌跡を計算してよい。
いくつかの実施形態において、ランドマークは、異なるドライブ間で一致する弧長を規定してよく、これは軌跡と車線とを揃えるのに用いられてよい。いくつかの実施形態では、交差点の前後の車線標示が、軌跡と車線とを揃えるのに用いられることがある。
これらの軌跡から車線を編成するために、サーバ１２３０は、任意の車線の基準フレームを選択してよい。サーバ１２３０は、選択した基準フレームに、部分的に重なり合っている車線をマッピングしてよい。サーバ１２３０は、全ての車線が同じ基準フレームに入るまでマッピングを継続してよい。互いに隣り合う車線が、あたかも同じ車線であるかのように揃えられてよく、後にこれを横方向に移動させてよい。
道路セグメントに沿って認識されたランドマークが、まず車線レベルで、次に交差点レベルで共通の基準フレームにマッピングされてよい。例えば、同じランドマークは、複数のドライブで複数の車両により複数回認識されることがある。異なるドライブで受信した同じランドマークに関するデータは、わずかに異なることがある。そのようなデータは、平均化されて、Ｃ０基準フレームなどの同じ基準フレームにマッピングされてよい。さらに、またはその代わりに、複数のドライブで受信した同じランドマークのデータの分散を計算してもよい。
いくつかの実施形態において、道路セグメント１２０の各車線は、目標軌跡および特定のランドマークに関連づけられてよい。この目標軌跡または複数のそのような目標軌跡は、自動運転車向け道路ナビゲーションモデルに含まれてよく、同じ道路セグメント１２００に沿って走行する他の自動運転車によって後に用いられてよい。車両１２０５、１２１０、１２１５、１２２０、および１２２５が道路セグメント１２００に沿って走行している間に、これらの車両により識別されたランドマークが、目標軌跡と共に記録されてよい。目標軌跡およびランドマークのデータは、その後のドライブで他の車両から受信した新たなデータで常にまたは定期的に更新されてよい。
自動運転車の位置特定のために、開示するシステムおよび方法は、拡張カルマンフィルタを用いてよい。車両の位置は、３次元位置データおよび／または３次元方位データ、エゴモーションの集積による車両の現在位置の前方の将来位置の予測に基づいて決定されてよい。車両の位置特定は、ランドマークの画像観測によって補正されても、調整されてもよい。例えば、車両がカメラにより取り込まれた画像内にあるランドマークを検出した場合、当該ランドマークは道路モデルまたはスパースマップ８００に格納された既知のランドマークと比較されてよい。既知のランドマークは、道路モデルおよび／またはスパースマップ８００に格納された目標軌跡に沿った既知の位置（例えば、ＧＰＳデータ）を有して得る。現在の速度およびランドマークの画像に基づいて、車両からランドマークまでの距離を推定することができる。目標軌跡に沿った車両の位置は、ランドマークまでの距離と（道路モデルまたはスパースマップ８００に格納されている）ランドマークの既知の位置とに基づいて調整されてよい。道路モデルおよび／またはスパースマップ８００に格納されたランドマークの位置／場所データ（例えば、複数のドライブからの平均値）は、正確であると仮定されてよい。
いくつかの実施形態において、開示するシステムは閉ループサブシステムを形成してよく、このサブシステムでは、車両の６自由度（例えば、３次元位置データおよび３次元方位データ）の位置推定を用いて、所望の点（例えば、格納された点の１．３秒先）に到達できるように自動運転車をナビゲート（例えば、自動運転車のハンドルを操縦）してよい。次に、操縦および実際のナビゲーションから測定されたデータを用いて、６自由度の位置を推定してよい。
いくつかの実施形態では、道路沿いのポール、例えば、街灯柱および送電線またはケーブル線の電柱が、車両の位置を特定するためのランドマークとして用いられることがある。交通標識、信号機、道路上の矢印、一時停止線といった他のランドマーク、および道路セグメント沿いの物体の静的な特徴または署名も、車両の位置を特定するためのランドマークとして用いられてよい。ポールを位置特定に用いる場合、ポールのｙ方向の観測（すなわち、ポールまでの距離）ではなくむしろ、ｘ方向の観測（すなわち、車両からの視野角）が用いられてよい。なぜならば、ポールの下部が遮られることがあり、場合によってはポールが道路面上にないからである。
図２３は車両用ナビゲーションシステムを示しており、このシステムは、クラウドソーシングによるスパースマップを用いた自動ナビゲーションに用いられてよい。説明のために、車両は車両１２０５として参照される。図２３に示す車両は、本明細書に開示される任意の他の車両であってよく、例えば、車両１２１０、１２１５、１２２０、および１２２５、並びに他の実施形態に示す車両２００が含まれてよい。図１２に示すように、車両１２０５はサーバ１２３０と通信してよい。車両１２０５には、画像取り込みデバイス１２２（例えば、カメラ１２２）が含まれてよい。車両１２０５には、車両１２０５が道路（例えば、道路セグメント１２００）を走行するためのナビゲーションガイダンスを提供するように構成されたナビゲーションシステム２３００が含まれてよい。車両１２０５には、速度センサ２３２０および加速度計２３２５などの他のセンサも含まれてよい。速度センサ２３２０は、車両１２０５の速度を検出するように構成されてよい。加速度計２３２５は、車両１２０５の加速または減速を検出するように構成されてよい。図２３に示す車両１２０５は自動運転車であってよく、ナビゲーションシステム２３００は自動運転用のナビゲーションガイダンスを提供するのに用いられてよい。あるいは、車両１２０５は、非自律的で人が制御する車両であってもよく、ナビゲーションシステム２３００はそれでも、ナビゲーションガイダンスを提供するのに用いられてよい。
ナビゲーションシステム２３００には、通信経路１２３５を介してサーバ１２３０と通信するように構成された通信ユニット２３０５が含まれてよい。ナビゲーションシステム２３００には、ＧＰＳ信号を受信して処理するように構成されたＧＰＳユニット２３１０も含まれてよい。ナビゲーションシステム２３００にはさらに、少なくとも１つのプロセッサ２３１５が含まれてよく、このプロセッサは、ＧＰＳ信号、スパースマップ８００からのマップデータ（このデータは、車両１２０５に搭載されたストレージデバイスに格納されてもよく且つ／またはサーバ１２３０から受信されてもよい）、道路プロファイルセンサ２３３０により検知された道路の幾何構造、カメラ１２２により取り込まれた画像、並びに／またはサーバ１２３０から受信した自動運転車向け道路ナビゲーションモデルなどのデータを処理するように構成される。道路プロファイルセンサ２３３０には、路面凹凸、道路幅、道路標高、道路曲率などといった異なるタイプの道路プロファイルを測定するための、異なるタイプのデバイスが含まれてよい。例えば、道路プロファイルセンサ２３３０には、道路凹凸プロファイルを得るために、車両２３０５のサスペンションの動きを測定するデバイスが含まれてよい。いくつかの実施形態において、道路プロファイルセンサ２３３０には、車両１２０５から路側部（例えば、路側部の障壁）までの距離を測定するレーダーセンサが含まれてよく、これにより、道路の幅が測定される。いくつかの実施形態において、道路プロファイルセンサ２３３０には、道路の標高の上昇および下降を測定するように構成されたデバイスが含まれてよい。いくつかの実施形態において、道路プロファイルセンサ２３３０には、道路曲率を測定するように構成されたデバイスが含まれてよい。例えば、カメラ（例えば、カメラ１２２または別のカメラ）を用いて、道路曲率を示す道路の画像を取り込んでもよい。車両１２０５は、そのような画像を用いて、道路曲率を検出してよい。
少なくとも１つのプロセッサ２３１５は、車両１２０５に関連する少なくとも１つの環境画像をカメラ１２２から受信するようにプログラムされてよい。少なくとも１つのプロセッサ２３１５は、少なくとも１つの環境画像を分析して、車両１２０５に関連するナビゲーション情報を特定してよい。ナビゲーション情報には、道路セグメント１２００に沿った車両１２０５の走行に関連する軌跡が含まれてよい。少なくとも１つのプロセッサ２３１５は、カメラ１２２（したがって車両）の動き、例えば、３次元並進運動および３次元回転運動などに基づいて軌跡を決定してよい。いくつかの実施形態において、少なくとも１つのプロセッサ２３１５は、カメラ１２２が取得した複数の画像の分析に基づいて、カメラ１２２の並進運動および回転運動を特定してよい。いくつかの実施形態において、ナビゲーション情報には、車線指定情報（例えば、車両１２０５が道路セグメント１２００に沿ってどの車線を走行するか）が含まれてよい。車両１２０５からサーバ１２３０に送信されるナビゲーション情報は、サーバ１２３０が自動運転車向け道路ナビゲーションモデルを生成する且つ／または更新するのに用いられてよく、この情報は、自動ナビゲーションガイダンスを車両１２０５に提供するために、あらためてサーバ１２３０から車両１２０５に送信されてよい。
少なくとも１つのプロセッサ２３１５は、車両１２０５からサーバ１２３０にナビゲーション情報を送信するようにもプログラムされてよい。いくつかの実施形態において、ナビゲーション情報は、道路情報と共にサーバ１２３０に送信されてよい。道路位置情報には、ＧＰＳユニット２３１０が受信するＧＰＳ信号、ランドマーク情報、道路の幾何構造、車線情報などのうちの少なくとも１つが含まれてよい。少なくとも１つのプロセッサ２３１５は、自動運転車向け道路ナビゲーションモデルまたはそのモデルの一部をサーバ１２３０から受信してよい。サーバ１２３０から受信する自動運転車向け道路ナビゲーションモデルには、車両１２０５からサーバ１２３０に送信されたナビゲーション情報に基づく少なくとも１つの更新が含まれてよい。サーバ１２３０から車両１２０５に送信されるモデルの一部には、モデルの更新部分が含まれてよい。少なくとも１つのプロセッサ２３１５は、受信した自動運転車向け道路ナビゲーションモデルまたはモデルの更新部分に基づいた、車両１２０５による少なくとも１つのナビゲーション操作（例えば、旋回を行う、ブレーキをかける、加速する、別の車両を追い越すなどといった操縦）を発生させてよい。
少なくとも１つのプロセッサ２３１５は、車両１２０５に含まれる様々なセンサおよび構成要素と通信するように構成されてよく、そのようなセンサおよび構成要素には、通信ユニット１７０５、ＧＰＳユニット２３１５、カメラ１２２、速度センサ２３２０、加速度計２３２５、および道路プロファイルセンサ２３３０が含まれる。少なくとも１つのプロセッサ２３１５は、様々なセンサおよび構成要素から情報またはデータを収集して、その情報またはデータをサーバ１２３０に通信ユニット２３０５を介して送信してよい。その代わりに、またはそれに加えて、車両１２０５の様々なセンサまたは構成要素も、サーバ１２３０と通信して、センサまたは構成要素が収集したデータまたは情報をサーバ１２３０に送信してよい。
いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５は互いに通信してよく、ナビゲーション情報を互いに共有してよい。これにより、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの少なくとも１つが、クラウドソーシングを用いて、例えば、他の車両により共有された情報に基づいて、自動運転車向け道路ナビゲーションモデルを生成してよい。いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５は、互いにナビゲーション情報を共有してよく、各車両は各車両に提供された自車の自動運転車向け道路ナビゲーションモデルを更新してよい。いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの少なくとも１つ（例えば、車両１２０５）が、ハブ車両として機能してよい。ハブ車両（例えば、車両１２０５）の少なくとも１つのプロセッサ２３１５は、サーバ１２３０により行われる機能の一部または全部を果たしてよい。例えば、ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両と通信して、他の車両からナビゲーション情報を受信してよい。ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両から受信した共有情報に基づいて、自動運転車向け道路ナビゲーションモデルまたはモデルの更新を生成してよい。ハブ車両の少なくとも１つのプロセッサ２３１５は、自動ナビゲーションガイダンスを提供するために、自動運転車向け道路ナビゲーションモデルまたはモデルの更新を他の車両に送信してよい。
［スパースマップに基づくナビゲーション］
前述したように、スパースマップ８００を含む自動運転車向け道路ナビゲーションモデルには、道路セグメントに関連づけられた、複数のマッピングされた車線標示、および、複数のマッピングされた物体／特徴が含まれてよい。以下でより詳細に論じるように、これらのマッピングされた車線標示、物体および特徴は、自動運転車がナビゲートするときに用いられてよい。例えば、いくつかの実施形態において、マッピングされた物体および特徴は、マップに対して（例えば、マッピングされた目標軌跡に対して）ホスト車両の位置を特定するのに用いられてよい。マッピングされた車線標示は、計画された軌跡又は目標軌跡に対する横方向位置および／または方位を決定するのに、（例えばチェックとして）用いられてよい。この位置情報を用いて、自動運転車は、決定位置において、目標軌跡の方向と一致するように進行方向を調整することが可能になり得る。
車両２００は、所与の道路セグメントにおいて車線標示を検出するように構成されてよい。道路セグメントには、車道の車両交通を誘導するための、道路上のあらゆる標示が含まれてよい。例えば、車線標示は、走行車線のエッジを画定する実線または破線であってよい。車線標示には、例えば、隣接車線で追い越しが許可されているかどうかを示す、二重実線、二重破線、または実線と破線との組み合わせなどの二重線も含まれてよい。車線標示には、高速道路の入口および出口の標示も含まれてよく、この標示は、例えば、出口ランプ用の減速車線、または車線が旋回専用であること、もしくは車線が終了することを示す点線を示している。これらの標示はさらに、作業区間、一時的な車線移動、交差点を通り抜ける経路、中央分離帯、専用車線（例えば、自転車専用車線、ＨＯＶ車線など）、または他の様々な標示（例えば、横断歩道、車両減速用ハンプ、踏切、一時停止線など）を示してよい。
車両２００は、画像取得ユニット１２０に含まれる画像取り込みデバイス１２２および１２４などのカメラを用いて、周辺の車線標示の画像を取り込んでよい。車両２００は、これらの画像を分析して、取り込まれた画像のうちの１つまたは複数で識別された特徴に基づいて、車線標示に関連する点の位置を検出してよい。これらの点の位置は、スパースマップ８００に車線標示を表すために、サーバにアップロードされてよい。カメラの位置および視野に応じて、単一の画像から車両の両側の車線標示が同時に検出されることがある。他の実施形態では、車両の複数の面に取り付けた様々なカメラを用いて、画像を取り込むことがある。車線標示の実画像をアップロードするのではなくむしろ、これらの標示は、スプラインまたは一連の点としてスパースマップ８００に格納されてよく、したがって、車両が遠隔にアップロードする必要があるスパースマップ８００および／またはデータのサイズが削減される。
図２４Ａ～図２４Ｄは、車両２００により検出され得る、特定の車線標示を表すための例示的な点の位置を示している。上述したランドマークと同様に、車両２００は様々な画像認識アルゴリズムまたはソフトウェアを用いて、取り込まれた画像内の点の位置を識別してよい。例えば、車両２００は、特定の車線標示に関連づけられる一連のエッジ点、コーナー点、または様々な他の点の位置を認識してよい。図２４Ａは、車両２００により検出され得る実線車線標示２４１０を示している。車線標示２４１０は、車道の外側エッジを表し、実線の白線で表されてよい。図２４Ａに示すように、車両２００は、車線標示に沿った複数のエッジ位置点２４１１を検出するように構成されてよい。これらの位置点２４１１は、スパースマップにおいてマッピングされた車線標示を作成するのに十分な任意の間隔で車線標示を表すように収集されてよい。例えば、車線標示は、検出されたエッジの１メートルごとに１つの点、検出されたエッジの５メートルごとに１つの点、または他の好適な間隔で表されてよい。いくつかの実施形態において、この間隔は、例えば、車両２００が検出点の位置に関する最高信頼度ランキングを有する点に基づくなどの所定の間隔ではなくむしろ、他の要因で決定されてもよい。図２４Ａは、車線標示２４１０の内側エッジ上のエッジ位置点を示しているが、点は線の外側エッジ上で、または両方のエッジに沿って収集されてもよい。さらに、図２４Ａには１つの線が示されているが、二重実線についても同様のエッジ点が検出されてよい。例えば、点２４１１が実線の一方または両方のエッジに沿って検出されてよい。
車両２００は、車線標示のタイプまたは形状に応じて、車線標示も違うように表してよい。図２４Ｂは、車両２００により検出され得る例示的な破線車線標示２４２０を示している。図２４Ａにあるようにエッジ点を識別するのではなくむしろ、車両は、破線の全境界を画定する車線破線のコーナーを表す一連のコーナー点２４２１を検出してよい。図２４Ｂは、所与の破線標示の各コーナーが位置特定されていることを示しているが、車両２００は、図に示すこれらの点のサブセットを検出しても、アップロードしてもよい。例えば、車両２００は、所与の破線標示の先頭エッジまたは先頭コーナーを検出してもよく、車線の内側に最も近い２つのコーナー点を検出してもよい。さらに、全ての破線標示を取り込まなくてもよく、例えば、車両２００は、破線標示のサンプル（例えば、１つおき、３つごと、５つごとなど）を表す点、または所定の間隔（例えば、１メートルごと、５メートルごと、１０メートルごとなど）で破線標示を表す点を取り込む且つ／または記録してよい。同様な車線標示、例えば、ある車線が出口ランプ用であること、特定の車線が終了することを示す標示、または検出可能なコーナー点を有し得る他の様々な車線標示についても、コーナー点が検出されてよい。二重破線または実線と破線との組み合わせで構成される車線標示についても、コーナー点が検出されてよい。
いくつかの実施形態において、マッピングされた車線標示を生成するためにサーバにアップロードされた点は、検出されたエッジ点またはコーナー点のほかに他の点を表してよい。図２４Ｃは、所与の車線標示の中心線を表し得る一連の点を示している。例えば、実線車線２４１０は、車線標示の中心線２４４０に沿った中心線点２４４１で表されてよい。いくつかの実施形態において、車両２００は、これらの中心点を様々な画像認識手法を用いて検出するように構成されてよく、そのような手法には、畳み込みニューラルネットワーク（ＣＮＮ）、スケール不変特徴変換（ＳＩＦＴ）、勾配方向ヒストグラム（ＨＯＧ）特徴、または他の手法などがある。あるいは、車両２００は、図２４Ａに示すエッジ点２４１１などの他の点を検出してよく、また、例えば、各エッジに沿った点を検出してエッジ点間の中点を求めることにより、中心線点２４４１を計算してよい。同様に、破線車線標示２４２０は、車線標示の中心線２４５０に沿った中心線点２４５１で表されてよい。中心線点は、図２４Ｃに示すように破線のエッジに配置されても、中心線に沿った様々な他の場所に配置されてもよい。例えば、各破線は、破線の幾何中心に１つの点で表されてよい。各点は、中心線に沿って所定の間隔を空けて配置されてもよい（例えば、１メートルごと、５メートルごと、１０メートルごとなど）。中心線点２４５１は、車両２００により直接的に検出されてもよく、図２４Ｂに示すように、コーナー点２４２１などの他の検出された基準点に基づいて計算されてもよい。上記と同様の手法を用いて、二重線などの他の車線標示タイプを表すのにも中心線が用いられてよい。
いくつかの実施形態において、車両２００は、２つの交差する車線標示間の交点などの、他の特徴を表している点を識別してよい。図２４Ｄは、２つの車線標示２４６０と２４６５との交差点を表す例示的な点を示している。車両２００は、２つの車線標示間の交差点を表している交点２４６６を計算してよい。例えば、車線標示２４６０または２４６５のうちの一方が、道路セグメント内の列車の交差領域または他の交差領域を表してよい。車線標示２４６０および２４６５は互いに垂直に交差しているように示されているが、様々な他の構成が検出されてもよい。例えば、車線標示２４６０および２４６５は他の角度で交差してもよく、これらの車線標示の一方または両方が交点２４６６で終了してもよい。同様の手法が、破線または他の車線標示タイプ同士の交差点にも適用されてよい。交点２４６６に加えて、車線標示２４６０および２４６５の方位に関するさらなる情報を提供する様々な他の点２４６７も検出されてよい。
車両２００は、実際の座標を車線標示の各々の検出点に関連づけてよい。例えば、各点の座標を含む位置識別子を生成して、車線標示をマッピングするためにサーバにアップロードしてよい。位置識別子はさらに、これらの点がコーナー点を表すのか、エッジ点を表すのか、中心点を表すのかなどを含む、これらの点に関する他の識別情報を含んでよい。したがって、車両２００は、画像の分析に基づいて、各点の実際の位置を決定するように構成されてよい。例えば、車両２００は、上述した様々なランドマークなどの画像内の他の特徴を検出して、車線標示の実際の位置を特定してよい。これには、検出されたランドマークに対する画像内の車線標示の位置を決定すること、または検出されたランドマークに基づいて車両の位置を決定し、次いで車両（または車両の目標軌跡）から車線標示までの距離を決定することが含まれてよい。ランドマークが利用できない場合、車線標示点の位置は、推測航法に基づいて決定された車両の位置に対して決定されてよい。位置識別子に含まれる実際の座標は、絶対座標（例えば、緯度／経度による座標）として表されてもよく、目標軌跡に沿った縦方向位置と目標軌跡からの横方向距離とに基づくなどの、他の特徴に関連してもよい。位置識別子は次に、ナビゲーションモデル（スパースマップ８００など）においてマッピングされた車線標示を生成するために、サーバにアップロードされてよい。いくつかの実施形態において、サーバは、道路セグメントの車線標示を表すスプラインを構築してよい。あるいは、車両２００はスプラインを生成して、このスプラインがナビゲーションモデルに記録されるように、サーバにアップロードしてよい。
図２４Ｅは、マッピングされた車線標示を含む対応する道路セグメントの例示的なナビゲーションモデルまたはスパースマップを示している。スパースマップは、車両が道路セグメントに沿って進むための目標軌跡２４７５を含んでよい。上述したように、目標軌跡２４７５は、車両が対応する道路セグメントを走行するときに通る理想的な経路を表してもよく、道路上の他の箇所（例えば、道路の中心線など）に位置してもよい。目標軌跡２４７５は、例えば、同じ道路セグメントを通行する車両の２つまたはそれより多くの再構築された軌跡の集合体（例えば、重みづけした組み合わせ）に基づいて、上述した様々な方法で計算されてよい。
いくつかの実施形態において、目標軌跡は、全ての車両タイプおよび全ての道路、車両、並びに／または環境状態に対して等しく生成されてよい。しかしながら、他の実施形態では、様々な他の要因または変数も、目標軌跡を生成する際に考慮されてよい。異なるタイプの車両（例えば、自家用車、軽トラック、およびフルトレーラ）には異なる目標軌跡が生成されてよい。例えば、比較的小さい旋回半径を有する目標軌跡が、大型のセミトレーラートラックではなく、小型の自家用車用に生成されてよい。いくつかの実施形態では、道路、車両、および環境状態も考慮されてよい。例えば、異なる道路状態（例えば、ぬれている、雪が積もっている、凍結している、乾いているなど）、車両状態（例えば、タイヤ状態または推定したタイヤ状態、ブレーキ状態または推定したブレーキ状態、燃料の残量など）、または環境要因（例えば、時刻、視認性、天候など）に対して異なる目標軌跡が生成されてよい。目標軌跡は、特定の道路セグメントの１つまたは複数の態様または特徴（例えば、制限速度、旋回の頻度およびサイズ、勾配など）にも依存してよい。いくつかの実施形態において、設定運転モード（例えば、所望の運転積極性、エコノミーモードなど）などの様々なユーザ設定も、目標軌跡を決定するのに用いられてよい。
スパースマップは、道路セグメントに沿った車線標示を表すマッピングされた車線標示２４７０および２４８０も含んでよい。マッピングされた車線標示は、複数の位置識別子２４７１および２４８１で表されてよい。上述したように、位置識別子は、検出された車線標示に関連づけられた点の実際の座標における位置を含んでよい。モデル内の目標軌跡と同様に、車線標示も標高データを含んでよく、３次元空間の曲線として表されてよい。例えば、この曲線は、好適な次数の３次元多項式を接続したスプラインであってよく、この曲線は位置識別子に基づいて計算されてよい。マッピングされた車線標示も、車線標示のタイプ（例えば、同じ走行方向の２つの車線間、反対の走行方向の２つの車線間、車道のエッジなど）の識別子、および／または車線標示の他の特性（例えば、実線、破線、１つの線、二重線、黄色線、白線など）などの、車線標示に関する他の情報またはメタデータを含んでよい。いくつかの実施形態において、マッピングされた車線標示は、例えば、クラウドソーシング手法を用いて、モデル内で常に更新されてよい。同じ車両は、同じ道路セグメントを走行するという複数の機会において位置識別子をアップロードしてもよく、道路セグメントを異なる時間に走行する複数の車両（１２０５、１２１０、１２１５、１２２０、および１２２５など）からデータが選択されてもよい。スパースマップ８００は次に、車両から受信され且つシステムに格納される、その後の位置識別子に基づいて更新されても、微調整されてもよい。マッピングされた車線標示が更新され、微調整されると、更新された道路ナビゲーションモデルおよび／またはスパースマップは、複数の自動運転車に配信されてよい。
スパースマップにおけるマッピングされた車線標示の生成には、画像または実際の車線標示そのものに含まれる異常に基づいた誤りの検出および／または軽減も含まれてよい。図２４Ｆは、車線標示２４９０の検出に関連した例示的な異常２４９５を示している。異常２４９５は、例えば、車線標示に関するカメラの視界を遮る物体、レンズに付着したゴミなどによって、車両２００により取り込まれた画像に現れることがある。場合によっては、異常が車線標示そのものに起因していることがあり、車線標示が傷んでいるもしくは摩耗している、または、例えば、土、ゴミ、水、雪、もしくは道路上の他の物質で部分的に覆われている場合がある。異常２４９５によって、間違った点２４９１が車両２００により検出されることになり得る。スパースマップ８００は、マッピングされた車線標示を補正し、誤りを排除してよい。いくつかの実施形態において、車両２００は、例えば、画像内の異常２４９５を検出することで、または異常の前後で検出された車線標示点に基づいて誤りを識別することで、間違った点２４９１を検出してよい。異常の検出に基づいて、車両は、点２４９１を除外してもよく、この点を他の検出点に従うように調整してもよい。他の実施形態では、この点がアップロードされた後に、例えば、同じ移動中にアップロードされた他の点に基づいて、または同じ道路セグメントに沿った以前の移動からのデータの集合体に基づいて、この点が予期される閾値から外れていると判定することにより、誤りを補正してよい。
ナビゲーションモデルおよび／またはスパースマップにおいてマッピングされた車線標示は、対応する車道を通行する自動運転車によるナビゲーションにも用いられてよい。例えば、目標軌跡に沿ってナビゲートする車両が、スパースマップにおけるマッピングされた車線標示を定期的に用いて、この車線標示そのものを目標軌跡と揃えてよい。上述したように、ランドマーク間では、車両は推測航法に基づいてナビゲートすることができ、推測航法では、車両がセンサを用いて自車のエゴモーションを特定し、目標軌跡に対する自車の位置を推定する。誤差が時間の経過と共に累積され得るため、目標軌跡に対する車両の位置決定の精度が次第に低くなることがある。したがって、車両はスパースマップ８００に存在する車線標示（および、その既知の位置）を用いて、位置決定での推測航法による誤差を低減することができる。このように、スパースマップ８００に含まれる識別された車線標示は、目標軌跡に対する車両の正確な位置を決定し得るナビゲーションの要としての役割を果たすことができる。
図２５Ａは、マッピングされた車線標示に基づく、ナビゲーションに用いられ得る、車両の周辺環境の例示的な画像２５００を示している。画像２５００は、例えば、画像取得ユニット１２０に含まれる画像取り込みデバイス１２２および１２４を介して車両２００により取り込まれてよい。画像２５００には、図２５Ａに示すように、少なくとも１つの車線標示２５１０の画像が含まれてよい。画像２５００には、上述したナビゲーションに用いられる道路標識などの、１つまたは複数のランドマーク２５２１も含まれてよい。取り込まれた画像２５００には現れないが、車両２００により検出される且つ／または特定される要素２５１１、２５３０、および２５２０などの図２５Ａに示す一部の要素も、参照のために示されている。
図２４Ａ～図２４Ｄおよび図２４Ｆに関して上述した様々な手法を用いて、車両が画像２５００を分析し、車線標示２５１０を識別してよい。画像内の車線標示の特徴に対応する様々な点２５１１が、検出されてよい。例えば、点２５１１は、車線標示のエッジ、車線標示のコーナー、車線標示の中点、２つの交差する車線標示同士の交点、または様々な他の特徴または位置に対応してよい。サーバから受信したナビゲーションモデルに格納された点の位置に対応する点２５１１が検出されてよい。例えば、マッピングされた車線標示の中心線を表す点を含むスパースマップが受信された場合、点２５１１も、車線標示２５１０の中心線に基づいて検出されてよい。
車両は、要素２５２０で表され且つ目標軌跡に沿って位置する縦方向位置も決定してよい。縦方向位置２５２０は、例えば、画像２５００内のランドマーク２５２１を検出して、測定した位置と道路モデルまたはスパースマップ８００に格納された既知のランドマークの位置とを比較することにより、画像２５００から決定されてよい。目標軌跡に沿った車両の位置は次に、ランドマークまでの距離とランドマークの既知の位置とに基づいて決定されてよい。縦方向位置２５２０は、車線標示の位置を決定するのに用いられる画像以外の画像からも決定されてよい。例えば、縦方向位置２５２０は、画像取得ユニット１２０内の他のカメラから同時にまたはほぼ同時に画像２５００を撮った画像に含まれるランドマークを検出することによって決定されてよい。場合によっては、車両は、縦方向位置２５２０を決定するための、いかなるランドマークの近くにも、他の基準点の近くにもいないことがある。そのような場合、車両は推測航法に基づいてナビゲートしてよく、したがって、センサを用いて自車のエゴモーションを特定し、目標軌跡に対する縦方向位置２５２０を推定してよい。車両は、車両と、１つまたは複数の取り込まれた画像内で観測される車線標示２５１０との間の実際の距離を表す距離２５３０も決定してよい。カメラアングル、車両の速度、車両の幅、または様々な他の要因が、距離２５３０を決定する際に考慮されてよい。
図２５Ｂは、道路ナビゲーションモデルにおけるマッピングされた車線標示に基づく、車両の横方向位置特定の補正を示している。上述したように、車両２００は、車両２００により取り込まれた１つまたは複数の画像を用いて、車両２００と車線標示２５１０との間の距離２５３０を決定してよい。車両２００は、マッピングされた車線標示２５５０および目標軌跡２５５５を含み得るスパースマップ８００などの道路ナビゲーションモデルにもアクセスできてよい。マッピングされた車線標示２５５０は、上述した手法を用いてモデル化されてよく、例えば、複数の車両により取り込まれたクラウドソーシングによる位置識別子を用いる。目標軌跡２５５５は、上述した様々な手法を用いて生成されてもよい。車両２００は、図２５Ａに関して上述したように、目標軌跡２５５５に沿った縦方向位置２５２０も決定または推定してよい。車両２００は次に、目標軌跡２５５５と、縦方向位置２５２０に対応するマッピングされた車線標示２５５０との間の横方向距離に基づいて、予期される距離２５４０を決定してよい。車両２００の横方向位置特定は、１つまたは複数の取り込まれた画像を用いて測定された実際の距離２５３０と、モデルからの予期される距離２５４０とを比較することにより、補正されても調整されてもよい。
図２５Ｃおよび２５Ｄは、ナビゲーション中にスパースマップにおけるマッピングされたランドマーク／物体／特徴に基づいてホスト車両の位置を特定する別の例に関連する図を提供する。図２５Ｃは、道路セグメント２５６０に沿ってナビゲートしている車両から取り込まれた一連の画像を概念的に表す。この例では、道路セグメント２５６０は、道路エッジ２５６１および２５６２ならびに中央車線標示２５６３によって記述された、２車線に分割されている高速道路の直線部分を含む。示されるように、ホスト車両は、マッピングされた目標軌跡２５６５に関連する車線２５６４に沿ってナビゲートしている。したがって、理想的な状況（且つ、車道に対象車両または物体が存在することなどのインフルエンサがない場合）において、ホスト車両は、道路セグメント２５６０の車線２５６４に沿ってナビゲートするので、マッピングされた目標軌跡２５６５を近くで追跡するべきである。現実では、ホスト車両は、マッピングされた目標軌跡２５６５に沿ってナビゲートするので、ドリフトを経験してもよい。効果的且つ安全なナビゲーションのために、このドリフトは、許容限界の範囲内（例えば、目標軌跡２５６５から＋／－１０ｃｍの横方向変位、または、任意の他の好適な閾値）で維持されるべきである。定期的にドリフトを考慮に入れ、且つ、必要とされる任意のコース補正を行って、ホスト車両が目標軌跡２５６５を進むことを確保するべく、開示されるナビゲーションシステムは、スパースマップに含まれる１つまたは複数のマッピングされた特徴／物体を使用して、目標軌跡２５６５に沿うホスト車両の位置を特定すること（例えば、目標軌跡２５６５に関連するホスト車両の横方向および縦方向位置を特定すること）が可能であってもよい。
簡単な例として、図２５Ｃは、ホスト車両が道路セグメント２５６０に沿ってナビゲートするに連れて順次に取り込まれた５つの様々な画像に現れ得るような制限速度標識２５６６を示す。例えば、第１の時間、ｔ０において、標識２５６６は、取り込まれた画像において、水平線の近くに現れ得る。ホスト車両が標識２５６６に近づくので、その後の時間ｔ１、ｔ２、ｔ３およびｔ４で取り込まれた画像では、標識２５６６は取り込まれた画像の異なる２Ｄ Ｘ－Ｙ画素位置に現れるであろう。例えば、取り込まれた画像空間において、標識２５６６は、下方へ、且つ、カーブ２５６７（例えば、５つの取り込まれた画像フレームの各々において、標識の中心を通って延びるカーブ）に沿って右へ移動するであろう。標識２５６６は、ホスト車両が近づくに連れてサイズが大きくなるようにも見えるであろう（すなわち、次に取り込まれた画像において多数の画素を占有するであろう）。
標識２５６６のような物体の画像空間表現におけるこれらの変化は、目標軌跡に沿う位置を特定されたホスト車両の位置を決定するのに活用されてもよい。例えば、本開示で説明されるように、標識２５６６のようなセマンティックな特徴や、検出可能且つ非セマンティックな特徴などの、任意の検出可能な物体または特徴が、以前に道路セグメント（例えば道路セグメント２５６０）を行き来した１つまたは複数の収集車両によって識別されてもよい。マッピングサーバが、複数の車両から収集されたドライブ情報を収集し、その情報を集約して関連づけ、且つ、例えば道路セグメント２５６０の車線２５６４用の目標軌跡２５６５を含むスパースマップを生成してもよい。スパースマップはまた、標識２５６６の位置も（タイプ情報などと共に）格納してよい。ナビゲーション中に（例えば道路セグメント２５６０に入る前に）、ホスト車両は、道路セグメント２５６０用のスパースマップを含むマップタイルを供給されてもよい。道路セグメント２５６０の車線２５６４においてナビゲートするべく、ホスト車両は、マッピングされた目標軌跡２５６５を進んでもよい。
標識２５６６のマッピングされた表現は、ホスト車両によって、目標軌跡に関連する、それ自身の位置を特定するのに使用されてもよい。例えば、ホスト車両上のカメラが、ホスト車両の環境の画像２５７０を取り込むこととなり、その取り込まれた画像２５７０は、図２５Ｄに示されるように、特定のサイズおよび特定のＸ－Ｙ画像位置を有する標識２５６６の画像表現を含んでもよい。このサイズおよびＸ－Ｙ画像位置は、目標軌跡２５６５に関連するホスト車両の位置を特定するのに使用されることができる。例えば、標識２５６６の表現を含むスパースマップに基づいて、ホスト車両のナビゲーションプロセッサは、ホスト車両が目標軌跡２５６５に沿って走行していることに応答して、取り込まれた画像において、標識２５６６の中心がライン２５６７に沿って（画像空間内で）移動するように標識２５６６の表現が見えるべきであると決定することができる。画像２５７０などの取り込まれた画像が、ライン２５６７（例えば予期されている画像空間軌跡）からずらされた中心（または他の基準点）を示しているならば、次に、ホスト車両ナビゲーションシステムは、取り込まれた画像の時間において、目標軌跡２５６５上に配置されていなかったと決定することができる。しかしながら、ナビゲーションプロセッサは、画像から、ホスト車両を目標軌跡２５６５に戻すのに適切なナビゲーション補正を決定することができる。例えば、画像においてライン２５６７上の予期されている画像空間位置の左へと距離２５７２だけずらされている標識２５６６の画像位置が分析結果に示されているならば、ナビゲーションプロセッサは次に、ホスト車両に進行変更をさせて（例えばハンドルのステアリング角を変更させて）、ホスト車両を距離２５７３だけ左に移動させてもよい。このように、各々の取り込まれた画像は、フィードバックループプロセスの一部として使用されることができ、その結果、標識２５６６の観測された画像位置と予期されている画像軌跡２５６７との間の差異が最小限に抑えられて、ホスト車両がほとんど逸脱することなく目標軌跡２５６５に沿い続けることを確保してもよい。当然ながら、利用できるマッピングされた物体が多ければ多いほど、説明された位置特定手法はより頻繁に使用され得、これは、目標軌跡２５６５からのドリフトによる逸脱を低減または解消することができる。
上述した処理は、目標軌跡に関連するホスト車両の横方向の方位または変位を検出するのに有用かもしれない。目標軌跡２５６５に関連するホスト車両の位置特定はまた、目標軌跡に沿う対象車両の縦方向位置の判定も含んでよい。例えば、取り込まれた画像２５７０は、特定の画像サイズ（例えば、２Ｄ Ｘ－Ｙ画素領域）を有するような標識２５６６の表現を含む。ライン２５６７に沿う画像空間を通って走行するので（例えば、図２５Ｃに示されるように、標識のサイズは漸進的に増加するので）、このサイズは、マッピングされた標識２５６６の予期されている画像サイズと比べられることができる。画像２５７０における標識２５６６の画像サイズに基づいて、且つ、マッピングされた目標軌跡２５６５に関連する画像空間中の予期されているサイズプログレッションに基づいて、ホスト車両は、（画像２５７０が取り込まれた時間の）目標軌跡２５６５に対する縦方向位置を特定することができる。この、目標軌跡２５６５に対する任意の横方向変位と結合される縦方向位置は、上述した通り、ホスト車両が道路２５６０に沿ってナビゲートするので、目標軌跡２５６５に関連するホスト車両の全位置特定を可能にする。
図２５Ｃおよび２５Ｄは、１つのマッピングされた物体および１つの目標軌跡を使用する、開示される位置特定手法の単なる一例を提供する。他の例では、ずっとより多くの目標軌跡（例えば、複数車線高速道路、都市街路、複雑な交差点などの、各々の実現可能な車線ごとに１つの目標軌跡）が存在してもよく、且つ、ずっとより多くの、位置特定に利用できるマッピングされたものが存在してもよい。例えば、都市環境を表すスパースマップは、１メートルごとに、位置特定に利用できる多数の目的を含んでもよい。
図２６Ａは、開示する実施形態と矛盾しない、自動運転車ナビゲーションに用いるための車線標示をマッピングする例示的なプロセス２６００Ａを示すフローチャートである。段階２６１０において、プロセス２６００Ａは、検出された車線標示に関連づけられた２つまたはそれより多くの位置識別子を受信する段階を含んでよい。例えば、段階２６１０は、サーバ１２３０またはサーバに関連づけられた１つまたは複数のプロセッサにより行われてよい。位置識別子には、図２４Ｅに関して上述したように、検出された車線標示に関連づけられた点の実際の座標における位置が含まれてよい。いくつかの実施形態において、位置識別子は道路セグメントまたは車線標示に関する追加の情報などの、他のデータも含まれてよい。追加のデータ、例えば、加速度計データ、速度データ、ランドマークデータ、道路の幾何構造もしくはプロファイルデータ、車両測位データ、エゴモーションデータ、または上述した様々な他の形式のデータも、段階２６１０で受信されてよい。位置識別子は、車両１２０５、１２１０、１２１５、１２２０、および１２２５などの車両により、この車両が取り込んだ画像に基づいて生成されてよい。例えば、識別子は、ホスト車両に関連づけられたカメラからの、ホスト車両の環境を表す少なくとも１つの画像の取得と、ホスト車両の環境に含まれる車線標示を検出するための少なくとも１つの画像の分析と、ホスト車両に関連づけられた位置に対する検出された車線標示の位置を決定するための少なくとも１つの画像の分析とに基づいて決定されてよい。上述したように、車線標示には様々な異なる標示タイプが含まれてよく、位置識別子は車線標示に関連する様々な点に対応してよい。例えば、検出された車線標示が車線境界を表す破線標示の一部である場合、これらの点は、検出された車線標示のコーナーに対応してよい。検出された車線標示が車線境界を表す実線標示の一部である場合、これらの点は、上述した様々な間隔で検出された車線標示のエッジに対応してよい。いくつかの実施形態において、これらの点は、図２４Ｃに示すように、検出された車線標示の中心線に対応してもよく、図２４Ｄに示すように、２つの交差する車線標示同士の交点と、交差する車線標示に関連づけられた少なくとも一方の他の２つの点とに対応してもよい。
段階２６１２において、プロセス２６００Ａは、検出された車線標示を、対応する道路セグメントに関連づける段階を含んでよい。例えば、サーバ１２３０は、段階２６１０で受信した実際の座標または他の情報を分析し、この座標または他の情報と、自動運転車向け道路ナビゲーションモデルに格納された位置情報とを比較してよい。サーバ１２３０は、車線標示が検出された実際の道路セグメントに対応するモデルにおいて、道路セグメントを決定してよい。
段階２６１４において、プロセス２６００Ａは、検出された車線標示に関連づけられた２つまたはそれより多くの位置識別子に基づいて、対応する道路セグメントに関連する自動運転車向け道路ナビゲーションモデルを更新する段階を含んでよい。例えば、自動道路ナビゲーションモデルはスパースマップ８００であってよく、サーバ１２３０は、スパースマップを更新して、マッピングされた車線標示をモデルに含めても、これを調整してもよい。サーバ１２３０は、図２４Ｅに関して上述した様々な方法またはプロセスに基づいてモデルを更新してよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルを更新する段階には、検出された車線標示の実際の座標における位置の１つまたは複数の指標を格納することが含まれてよい。自動運転車向け道路ナビゲーションモデルには、図２４Ｅに示すように、車両が対応する道路セグメントに沿って進むための少なくとも１つの目標軌跡も含まれてよい。
段階２６１６において、プロセス２６００Ａは、更新した自動運転車向け道路ナビゲーションモデルを複数の自動運転車に配信する段階を含んでよい。例えば、サーバ１２３０は、更新した自動運転車向け道路ナビゲーションモデルを、ナビゲーションのためにこのモデルを用い得る車両１２０５、１２１０、１２１５、１２２０、および１２２５に配信してよい。自動運転車向け道路ナビゲーションモデルは、図１２に示すように、１つまたは複数のネットワークを介し（例えば、セルラネットワークおよび／またはインターネットなどを使い）、無線通信経路１２３５を通じて配信されてよい。
いくつかの実施形態において、車線標示は、図２４Ｅに関して上述したように、クラウドソーシング手法などで複数の車両から受信したデータを用いてマッピングされてよい。例えば、プロセス２６００Ａは、検出された車線標示に関連づけられた位置識別子を含む第１通信を第１ホスト車両から受信する段階と、検出された車線標示に関連づけられた追加の位置識別子を含む第２通信を第２ホスト車両から受信する段階とを含んでよい。例えば、第２通信は同じ道路セグメントを走行するその後の車両から受信されても、同じ道路セグメントに沿ったその後の移動で同じ車両から受信されてもよい。プロセス２６００Ａはさらに、第１通信で受信した位置識別子に基づいて、且つ第２通信で受信した追加の位置識別子に基づいて、検出された車線標示に関連づけられた少なくとも１つの位置の決定を微調整する段階を含んでよい。この段階には、複数の位置識別子の平均を用いること、および／または車線標示の実際の位置を反映していないかもしれない「ゴースト」識別子を除外することが含まれてよい。
図２６Ｂは、マッピングされた車線標示を用いて、道路セグメントに沿ってホスト車両を自律的にナビゲートするための例示的なプロセス２６００Ｂを示すフローチャートである。プロセス２６００Ｂは、例えば、自動運転車２００の処理ユニット１１０により行われてよい。段階２６２０において、プロセス２６００Ｂは、サーバベースのシステムから自動運転車向け道路ナビゲーションモデルを受信する段階を含んでよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルは、道路セグメントに沿ったホスト車両用の目標軌跡と、道路セグメントに関連づけられた１つまたは複数の車線標示に関連づけられた位置識別子とを含んでよい。例えば、車両２００は、プロセス２６００Ａを用いて発展したスパースマップ８００または別の道路ナビゲーションモデルを受信してよい。いくつかの実施形態において、目標軌跡は、例えば図９Ｂに示すように、３次元スプラインとして表されてよい。図２４Ａ～図２４Ｆに関して上述したように、位置識別子は、車線標示に関連づけられた点（例えば、破線車線標示のコーナー点、実線車線標示のエッジ点、２つの交差する車線標示同士の交点および交差する車線標示に関連づけられた他の点、車線標示に関連づけられた中心線など）の実際の座標における位置を含んでよい。
段階２６２１において、プロセス２６００Ｂは、車両の環境を表す少なくとも１つの画像を受信する段階を含んでよい。この画像は、画像取得ユニット１２０に含まれる画像取り込みデバイス１２２および１２４を介するなどして、車両の画像取り込みデバイスから受信されてよい。この画像には、上述した画像２５００と同様に、１つまたは複数の車線標示の画像が含まれてよい。
段階２６２２において、プロセス２６００Ｂは、目標軌跡に沿ったホスト車両の縦方向位置を決定する段階を含んでよい。図２５Ａに関して上述したように、これは、取り込まれた画像に含まれる他の情報（例えば、ランドマークなど）に基づいてもよく、検出されたランドマーク間での車両の推測航法によってもよい。
段階２６２３において、プロセス２６００Ｂは、目標軌跡に沿ったホスト車両の決定された縦方向位置に基づいて、且つ少なくとも１つの車線標示に関連づけられた２つまたはそれより多くの位置識別子に基づいて、車線標示までの予期される横方向距離を決定する段階を含んでよい。例えば、車両２００は、スパースマップ８００を用いて車線標示までの予期される横方向距離を決定してよい。図２５Ｂに示すように、目標軌跡２５５５に沿った縦方向位置２５２０は、段階２６２２において決定されてよい。スパースマップ８００を用いると、車両２００は、縦方向位置２５２０に対応するマッピングされた車線標示２５５０までの予期される距離２５４０を決定することができる。
段階２６２４において、プロセス２６００Ｂは、少なくとも１つの画像を分析して、少なくとも１つの車線標示を識別する段階を含んでよい。車両２００は、例えば上述したように、様々な画像認識手法またはアルゴリズムを用いて、画像内の車線標示を識別してよい。例えば、車線標示２５１０は、図２５Ａに示すように、画像２５００の画像分析によって検出されてよい。
段階２６２５において、プロセス２６００Ｂは、少なくとも１つの画像の分析に基づいて、少なくとも１つの車線標示までの実際の横方向距離を決定する段階を含んでよい。例えば、車両は、図２５Ａに示すように、車両と車線標示２５１０との間の実際の距離を表す距離２５３０を決定してよい。カメラアングル、車両の速度、車両の幅、車両に対するカメラの位置、または様々な他の要因が、距離２５３０を決定する際に考慮されてよい。
段階２６２６において、プロセス２６００Ｂは、少なくとも１つの車線標示までの予期される横方向距離と、少なくとも１つの車線標示までの決定された実際の横方向距離との差異に基づいて、ホスト車両の自動操縦動作を決定する段階を含んでよい。例えば、図２５Ｂに関して上述したように、車両２００は、実際の距離２５３０と予期される距離２５４０とを比較してよい。実際の距離と予期される距離との差異は、車両の実際の位置と車両が進む目標軌跡との誤差（およびその大きさ）を示し得る。したがって、車両は、この差異に基づいて、自動操縦動作または他の自動動作を決定してよい。例えば、図２５Ｂに示すように、実際の距離２５３０が予期される距離２５４０より小さい場合、車両は、車両を車線標示２５１０から離れて左側に誘導するための自動操縦動作を決定してよい。したがって、目標軌跡に対する車両の位置を補正することができる。例えば、プロセス２６００Ｂは、ランドマーク間の車両のナビゲーションを向上させるのに用いられてよい。
プロセス２６００Ａおよび２６００Ｂは、開示されるスパースマップを使用してホスト車両をナビゲートするために使用され得る手法の単なる例を提供する。他の例では、図２５Ｃおよび２５Ｄに関連して説明されたそれらと矛盾しないプロセスもまた使用され得る。
［部分的に隠されている歩行者に基づくナビゲーション］
開示するシステムおよび方法は、取り込まれた画像に表される、部分的に隠されている歩行者に基づいてホスト車両をナビゲートすることを可能にしてもよい。例えば、ホスト車両のナビゲーションは、歩行者の足が地面に接触している位置に基づくことができる（本明細書では「接地位置」と呼ばれる）。しかしながら、もし、取り込まれた画像において歩行者が部分的に隠され、その結果、取り込まれた画像において彼または彼女の足と地面との接触位置が隠されているならば、開示するシステムおよび方法は、接地位置を予測する訓練モデルを用いてもよい。具体的には、隠されている歩行者の表現を含む画像を分析する前に、モデルは、例えば、各々が少なくとも１人の歩行者および接地位置の表現を含む複数の訓練用画像、および／または、訓練用画像に対応する（例えば、ＬＩＤＡＲベースの測定値からの、または、任意の他の深度センシングデバイスによって取得される）深度情報を含む訓練用データに基づいて訓練されてもよい。訓練モデルは次に、画像を分析して、部分的に隠されている歩行者についてのバウンディングボックスを出力してもよい。バウンディングボックスを用いることによって、開示するシステムおよび方法は、部分的に隠されている歩行者の、ホスト車両に対する位置を正確に決定し、部分的に隠されている歩行者との衝突を避けるようにホスト車両を操作してもよい。
図２７は、開示する実施形態と矛盾しない、１つまたは複数の操作を実行するための命令を格納され／プログラムされ得る、メモリ１４０および／または１５０の例示的な機能ブロック図である。以下ではメモリ１４０を参照するが、当業者であれば、命令がメモリ１４０および／または１５０に格納され得ることを認識するであろう。
図２７に示されるように、メモリ１４０は、画像受信モジュール２７０２、隠蔽分析モジュール２７０４、指標モジュール２７０８、および、ナビゲーション動作モジュール２７１０を格納してもよい。開示する実施形態は、メモリ１４０のいかなる特定の構成にも限定されない。さらに、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、メモリ１４０に含まれるモジュール２７０２、２７０４、２７０８および２７１０のうちのいずれかに格納された命令を実行してよい。当業者であれば、以下の説明における処理ユニット１１０への言及が、アプリケーションプロセッサ１８０および画像プロセッサ１９０を個々にまたは集合的に指し得ることを理解するであろう。したがって、以下のプロセスのうちのいずれかの各段階が、１つまたは複数の処理デバイスによって行われてよい。
一実施形態において、画像受信モジュール２７０２は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、ホスト車両（例えばホスト車両２００）に搭載されたカメラから、ホスト車両の環境を表す１つまたは複数の取り込まれた画像を受信させる（コンピュータビジョンソフトウェアなどの）命令を格納してもよい。カメラは、上述の通り、画像取り込みデバイス１２２、画像取り込みデバイス１２４および画像取り込みデバイス１２６のうちの少なくとも１つを含んでもよい。その代わりに、および／または、さらに、画像受信モジュール２７０２は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、画像取り込みデバイス１２２、画像取り込みデバイス１２４および画像取り込みデバイス１２６とは異なるカメラ（例えば、歩行者検出専用カメラ）から画像を受信させる命令を格納してもよい。
開示する実施形態と矛盾せずに、受信される複数の画像のうちの少なくとも１つは、ホスト車両の環境において部分的に隠されている歩行者を含んでもよい。部分的に隠されている歩行者の特定の部分、例えば足は、受信される画像からは見えない。以下の説明では、そうでないことを説明しない限り、「部分的に隠されている歩行者」とは、少なくとも歩行者の足が別の物体によって隠されていることを意味するのに使用され、したがって、「部分的に隠されている歩行者」を含む画像は、少なくとも、歩行者の足が地面に接触している領域の表現を含まない。画像受信モジュール２７０２は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、受信される画像の画像分析を実行させ、部分的に隠されている歩行者を検出させる命令を格納してもよい。具体的には、いくつかの実施形態において、画像分析は、上記の図５Ａ～図５Ｄに関連して説明されたような単眼画像分析を含んでもよく、この場合、画像受信モジュール２７０２は、解剖学的部分、横断歩道、樹木、郵便受け、および歩行者に一般的に関連するその他の特徴などの、画像内の複数の特徴のセットを検出するための命令を含んでもよい。特定の特徴は、歩行者の動きを検出または速度を決定するための参照ポイントとして識別されてもよい。その代わりに、および／または、さらに、いくつかの実施形態において、画像受信モジュール２７０２は、上記の図６に関連して説明されたようなステレオ画像分析を含んでもよく、この場合、画像受信モジュール２７０２は、（例えば画像取り込みデバイス１２４によって取得される）第１セットの画像、および、（例えば画像取り込みデバイス１２６によって取得される）第２セットの画像における複数の特徴のセットを検出するための命令を含んでもよい。単眼画像分析および／またはステレオ画像分析で検出される特徴に基づいて、処理ユニット１１０は、受信される画像から、部分的に隠されている歩行者の表現を検出してもよい。
いくつかの実施形態において、部分的に隠されている歩行者の一部または部分は、受信される画像において見えない。例えば、部分的に隠されている歩行者の足は、物体によって遮られてもよく、したがって、受信される画像は、部分的に隠されている歩行者が、地面に接触している領域の表現を含まなくてもよく、それは例えば路面または歩道であり得る。図２８Ａは、ホスト車両内のカメラによって取り込まれる例示的な画像２８０１を示す。画像２８０１は、画像２８０１内で下半身（すなわち足）が見えない、部分的に隠されている歩行者２８０３の表現を含む。この例では、カメラの、歩行者の足の視界は、ホスト車両とは別の車両２８０５によって遮られている。
図２８Ｂは、ホスト車両の内部のカメラによって取り込まれる画像２８１１が部分的に隠されている歩行者２８１３の表現を含む、別の例を示す。この例では、カメラの、歩行者の足および地面との接触箇所の視界は、ホスト車両自身のボンネット２８１５によって遮られている。この例では、部分的に隠されている歩行者２９０５は、ホスト車両に近いかもしれない。
あらためて図２７を参照すると、部分的に隠されている歩行者の表現を含む、受信される画像を検出すると、画像受信モジュール２７０２は、さらなる分析のために、受信された画像を隠蔽分析モジュール２７０４に提供してもよい。一実施形態において、画像受信モジュール２７０２は、画像における歩行者または歩行者候補の検出に続いて、画像または画像の一部を隠蔽分析モジュール２７０４に提供してもよい。歩行者は、部分的に隠されている歩行者を含めて、コンピュータビジョン（例えばパターン認識）の方法および機械学習ベースの方法を含む、いくつかの既知の方法のうちの任意の１つを用いて、画像において検出されてもよい。一実施形態において、歩行者または歩行者候補の検出はまた、隠蔽分析モジュール２７０４において実行される隠蔽分析の必須の部分として実装されてもよい。
隠蔽分析モジュール２７０４はまた、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、部分的に隠されている歩行者の地面との接触位置（すなわち接地位置）の指標を生成させる命令を格納してもよい。指標は、受信される画像において、部分的に隠されている歩行者の表現を取り囲むバウンディングボックスであってもよい。処理ユニット１００は、部分的に隠されている歩行者の足が地面に接触している領域が受信された画像に表されていた場合、そのような領域を取り囲むようにバウンディングボックスのサイズを決めてもよい。例えば、図２８Ｃは、画像２８１１における部分的に隠されている歩行者２８１３用に生成される、長方形の形状をしたバウンディングボックス２８１７を示す。示されるように、取り込まれた画像２８１１において、ホスト車両の一部（すなわちボンネット２８１５）は、部分的に隠されている歩行者２８１３が地面と接触している領域を見えなくさせている。バウンディングボックス２８１７は、取り込まれた画像２８１１の、ボンネット２８１５の一部を表す領域を含み、それは、歩行者の（図２８Ｃにおいて破線で示される）足および地面との接触位置に対応する。
開示する実施形態と矛盾せずに、バウンディングボックスは、画素寸法および現実世界寸法によって定められてもよい。例えば、図２８Ｄに示されるように、バウンディングボックス２８１７（図２８Ｃ）は、少なくとも、取り込まれた画像２８１１に関連する画素における水平方向の長さ（「Ｌｐ」）、および、取り込まれた画像２８１１に関連する画素における高さ（「Ｈｐ」）によって定められてもよい。ＬｐおよびＨｐの両方が、取り込まれた画像２８１１に関連する基準画素（例えば、長方形の形状をしたバウンディングボックス２８１７の４つの角のうちの１つにおける画素）に対して測定されてもよく、取り込まれた画像２８１１において部分的に隠されている歩行者の画素サイズを説明するのに使用されてもよい。さらに、バウンディングボックス２８１７は、少なくとも現実世界長さ（「Ｌｗ」）および現実世界高さ（「Ｈｗ」）によって定められてもよい。ＬｗおよびＨｗは、現実世界における、部分的に隠されている歩行者の実際のサイズに対応する。図１２に関連して上述されたように、部分的に隠されている歩行者の実際のサイズは、バウンディングボックスの画素サイズの変化だけでなく、部分的に隠されている歩行者とホスト車両との間の距離の変化にも基づいて、推定されてもよい。これを受けて、バウンディングボックス２８１７の現実世界寸法は、同じやり方で推定されてもよい。その代わりに、またはそれに加えて、部分的に隠されている歩行者とホスト車両との間の距離が既知であるならば、バウンディングボックス２８１７の現実世界寸法Ｌｗ、Ｈｗは、部分的に隠されている歩行者とホスト車両との間の距離、バウンディングボックス２８１７の画素寸法Ｌｐ、Ｈｐ、および、部分的に隠されている歩行者の表現を含む画像を取り込むカメラの焦点距離、に基づいて推定されることができる。
いくつかの実施形態において、部分的に隠されている歩行者と地面との接触位置の指標（例えばバウンディングボックス）は、予測モデルを用いて生成されてもよい。具体的には、図２７をあらためて参照し、隠蔽分析モジュール２７０４がさらに、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、予測モデル２７０６を訓練するための機械学習アルゴリズムを実行させる命令を格納してもよい。例えば、予測モデル２７０６は、畳み込みニューラルネットワーク（ＣＮＮ）またはディープニューラルネットワーク（ＤＮＮ）などのニューラルネットワークとして訓練されてもよい。訓練の後、処理ユニット１１０は、部分的に隠されている歩行者の表現を含む受信された画像を、部分的に隠されている歩行者と地面との接触位置の指標（例えばバウンディングボックス）を生成するために訓練された予測モデル２７０６へ提供してもよい。
一実施形態において、処理ユニット１１０は、１つまたは複数の訓練用画像を含む訓練用データに基づいて予測モデル２７０６を訓練してもよく、それらの各々は、少なくとも１人の訓練歩行者の表現を含み、且つ、訓練歩行者の足が地面と接触している領域を示す。１人または複数の訓練歩行者は、画像受信モジュール２７０２によって検出される部分的に隠されている歩行者と同じ人または別の人であってもよい。具体的には、処理ユニット１１０は、１つまたは複数の訓練用画像を用いて、第１訓練セットを生成し、第１訓練セットを用いて予測モデル２７０６を訓練してもよい。訓練中、処理ユニット１１０は、第１訓練セットから特徴を抽出し、且つ、それらと訓練歩行者との対応関係に従って特徴を分類（またはクラスタ化）するように、予測モデル２７０６を構成してもよい。例えば、訓練歩行者の足および地面上の接触位置に対応する特徴が識別され且つラベルを付けられてもよい。同様に、訓練歩行者の他の部分、例えば頭、手、上半身などに対応する特徴が識別され且つラベルを付けられてもよい。さらに、訓練歩行者の別の部分に対応する特徴が関連づけられ且つ同じ歩行者を表すものとして分類（またはクラスタ化）されてもよい。処理ユニット１１０はまた、訓練歩行者の足が地面と接触する領域を隠し、第２訓練セットを生成するべく、１つまたは複数の訓練用画像を変更してもよい。処理ユニット１１０は次に、第２訓練セットを用いて予測モデル２７０６を訓練してもよい。例えば、処理ユニット１１０は、予測モデル２７０６を用いて、第２訓練セットを分析し、少なくとも部分的に、第２訓練セットにおける訓練歩行者の見える部分（例えば頭、手、上半身など）に基づいて、訓練歩行者の足および地面との接触位置の場所を予測してもよい。処理ユニット１１０は次に、予測場所を、第１訓練セットにおける足の実際の場所と比較してもよい。比較に基づいて、処理ユニット１１０は、予測場所に関連する信頼値を決定し、且つ、予測場所と実際の場所との間の差異を最小限に抑えるべく予測モデル２７０６のパラメータを調整してもよい。
一実施形態において、処理ユニット１１０は、予測モデル２７０６を訓練するべく、画像データを追加の知覚情報（例えば、レーダ、ＬＩＤＡＲ、音響センサなどからの情報）と組み合わせてもよい。例えば、訓練用データは、１つまたは複数の訓練用画像と、訓練用画像に関連するＬＩＤＡＲデータとを含んでもよい。１つまたは複数の訓練用画像の各々は、ホスト車両内のカメラによって取り込まれてもよく、且つ、足が訓練用画像において見えても見えなくてもよい少なくとも１人の訓練歩行者の表現を含んでもよい。訓練歩行者は、画像受信モジュール２７０２によって検出される部分的に隠されている歩行者と同じ人または別の人であってもよい。もし足が見えるならば、処理ユニット１１０は、足が地面と接触している領域を隠すように１つまたは複数の訓練用画像を変更してもよい。処理ユニット１１０は、訓練歩行者を含むバウンディングボックスを生成するべく、足領域が隠されている１つまたは複数の訓練用画像を予測モデル２７０６に供給してもよい。予測されるバウンディングボックスは、訓練歩行者の頭から足まで拡張してもよい。予測されるバウンディングボックスの高さ、および、訓練用画像を取り込むカメラの焦点距離に基づいて、処理ユニット１１０は、訓練歩行者からホスト車両までの予測距離を決定してもよい。ＬＩＤＡＲデータは、１つまたは複数の訓練用画像の各々に対応する深度情報を含んでもよい。これを受けて、ＬＩＤＡＲ深度情報は、訓練歩行者からホスト車両までの測定距離を示してもよい。処理ユニット１１０は、予測距離をＬＩＤＡＲ深度情報と比較してもよい。比較に基づいて、処理ユニット１１０は、予測されるバウンディングボックスに関連する信頼値を決定し、且つ、予測距離とＬＩＤＡＲ深度情報との間の差異を最小限に抑えるべく予測モデル２７０６のパラメータを調整してもよい。
開示する実施形態と矛盾せずに、予測モデル２７０６は、隠蔽分析モジュール２７０４が、画像受信モジュール２７０２によって識別される部分的に隠されている歩行者を分析するために呼び出される前に訓練されてもよい。これを受けて、訓練用データは、部分的に隠されている歩行者が隠蔽分析モジュール２７０４によって分析される前に取得されてもよい。一実施形態において、処理ユニット１１０は、訓練用データを格納するべくメモリ１４０または１５０におけるバッファを維持してもよい。例として、バッファは、最大２０画像フレームを格納してもよい。バッファリングされる画像フレームの各々は、訓練歩行者の表現、および／または、訓練歩行者が地面と接触している領域の表現を含んでもよい。さらに、バッファは、画像フレームに対応するＬＩＤＡＲ深度データを格納してもよい。隠蔽分析モジュール２７０４に格納されている命令を実施することによって、処理ユニット１１０は、バッファリングされた訓練用データを隠蔽分析モジュール２７０４に提供して予測モデル２７０６を訓練してもよい。実際には、バッファリングされる訓練用データの全てが予測モデル２７０６を訓練するために必要なわけではない。例えば、たとえバッファが２０個の訓練用画像フレームを含み得るとしても、それらの１５個のみが予測モデル２７０６を訓練するのに使用されてもよい。一実施形態において、処理ユニット１１０は、予測モデル２７０６に関連する信頼値が予め定められた閾値に到達した後に、訓練を中止してもよい。
上述の通り、開示する実施形態と矛盾せずに、隠蔽分析モジュール２７０４は、処理ユニット１００によって実行された場合に、処理ユニットに、画像受信モジュール２７０２によって提供された画像（すなわち、部分的に隠されている歩行者の表現を含み、且つ、部分的に隠されている歩行者の足が地面と接触している領域の表現を含まない画像）を訓練された予測モデル２７０６に供給させて部分的に隠されている歩行者を含むバウンディングボックスを生成させる命令を格納してもよい。生成されるバウンディングボックスは、部分的に隠されている歩行者の足と、足が地面と接触している領域とを含んでもよい。予測モデル２７０６が１つまたは複数の訓練用画像のみを用いて訓練されているならば、処理ユニット１００は、訓練された予測モデル２７０６を用いて、隠されている足領域の予測場所を決定し、次に、予測場所に基づいてバウンディングボックスを生成してもよい。予測モデル２７０６が、１つまたは複数の訓練用画像と対応するＬＩＤＡＲ深度情報との両方を用いて訓練されているならば、処理ユニット１００は、訓練された予測モデル２７０６を用いて、バウンディングボックスを直接生成してもよい。
図２７をさらに参照すると、指標モジュール２７０８は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、部分的に隠されている歩行者の地面との接触位置（すなわち接地位置）の指標（例えばバウンディングボックス）を隠蔽分析モジュール２７０４から受信させ、且つ、部分的に隠されている歩行者とホスト車両の一部との間の距離を決定するべく、および／または、部分的に隠されている歩行者とホスト車両との間の衝突までの推定時間を決定するべく指標を分析させる命令を格納してもよい。一実施形態において、処理ユニット１１０は、取り込まれた画像におけるバウンディングボックスの画素寸法、バウンディングボックスの現実世界寸法、部分的に隠されている歩行者の表現を含む画像を取り込むカメラの焦点距離、および／または、地面に対するカメラの位置、に基づいて、部分的に隠されている歩行者とホスト車両との間の推定距離を決定してもよい。一実施形態において、処理ユニット１１０は、バウンディングボックスを追跡し、且つ、次に取り込まれた画像におけるその変化を監視してもよい。その変化に基づいて、処理ユニット１１０は、ホスト車両が部分的に隠されている歩行者に近づきつつあるのかどうか、および、どれだけ早く近づいているのか、を決定してもよい。例えば、次に取り込まれた画像においてバウンディングボックスのサイズがより大型になってきているならば、処理ユニット１１０は、ホスト車両が部分的に隠されている歩行者に近づいてきていると決定してもよい。反対に、次に取り込まれた画像においてバウンディングボックスのサイズがより小型になってきているならば、処理ユニット１１０は、ホスト車両が部分的に隠されている歩行者から離れてきていると決定してもよい。さらに、バウンディングボックスが大型になってきている割合に基づいて、処理ユニット１１０は、もし何の動作も行われないならば、ホスト車両がどれだけ早くに歩行者と衝突し得るか、または、ホスト車両の（計画されたまたは予測された）軌跡がいつ歩行者の予測軌跡と交差し得るかを決定してもよい。
図２７をさらに参照すると、ナビゲーション動作モジュール２７１０は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、接地位置に基づいてホスト車両用のナビゲーション動作を決定させ、且つ、決定されたホスト車両用のナビゲーション動作に応答して、ホスト車両のナビゲーションアクチュエータの少なくとも１つの調整をさせる、命令を格納してもよい。例えば、部分的に隠されている歩行者を含むバウンディングボックスが、ホスト車両が部分的に隠されている歩行者に近づきつつあることを示しているならば、処理ユニット１１０は、（例えば、減速および／またはブレーキをかけることによって、部分的に隠されている歩行者から離れるようにホスト車両を旋回させることによって、ホスト車両を別の方向へと操縦するおよび／または新たな方向に加速することによって、など）部分的に隠されている歩行者との衝突を避けるべく少なくとも１つのナビゲーション変更を決定してもよい。別の例として、バウンディングボックスが、部分的に隠されている歩行者がホスト車両から離れて移動していることを示しているならば、処理ユニット１１０は、ホスト車両が同じ速度または方向を維持してもよい、または、同じまたは別の方向に加速してもよい、と決定してもよい。
決定されたナビゲーション動作に基づいて、処理ユニット１１０は、決定されたホスト車両用のナビゲーション動作に従ってホスト車両の少なくとも１つのナビゲーションアクチュエータの制御をさせる電子信号を送信してもよい。ナビゲーションアクチュエータは、操縦機構、ブレーキまたはアクセルのうちの少なくとも１つを含んでもよい。いくつかの実施形態において、処理ユニット１１０は、車両２００のスロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に１つまたは複数の信号を送信し、例えば、車両２００のハンドルを回して所定の角度の回転を達成することで、決定されたナビゲーション動作を引き起こしてよい。
開示する実施形態と矛盾せずに、本明細書で開示する複数のモジュール（例えば、モジュール２７０２、２７０４、２７０８および２７１０）のうちのいずれかは、ホスト車両と通信するサーバにおいて遠隔で格納されてもよい。取り込まれた画像は、上述の処理ユニット１１０と同様の１つまたは複数のプロセッサを含み得るサーバへと最初に送信されてもよい。サーバにおける１つまたは複数のプロセッサは、モジュール２７０２、２７０４、２７０８および／または２７１０における命令を、処理ユニット１１０に関連して上述したものと同様のやり方で実行してもよい。サーバは次に、その結果をホスト車両１１０に送信してもよい。例えば、一実施形態において、隠蔽分析モジュール２７０４および予測モデル２７０６は、サーバに格納されてもよい。サーバは、訓練用データに基づいて予測モデル２７０６を訓練してもよく、次に、さらなる使用のために訓練モデルをホスト車両へと送信してもよい。
開示する実施形態と矛盾せずに、ホスト車両またはサーバにおける隠蔽分析モジュール２７０４は、次に取り込まれた画像において部分的に隠されている歩行者を追跡してもよく、且つ、次に取り込まれた画像が、予測されたバウンディングボックスまたは予測された接地位置が正確ではないと示唆しているならば、予測モデル２７０６を再訓練してもよい。例えば、その後の画像において歩行者が完全に見えるようになるならば、隠蔽分析モジュール２７０４は、実際の接地位置を、予測された接地位置と比較して、何らかの相違が存在するかどうかを決定してもよい。同様に、その後の画像において歩行者の特定の特性が検出されるならば（例えば、歩行者がカートを押している、またはスケートボードに乗っている）、隠蔽分析モジュール２７０４は、特別な特性（例えばカートまたはスケートボードの位置）に基づいて歩行者の接地位置を推定してもよく、且つ、何らかの相違が存在するかどうかを決定するべく、推定された実際の接地位置を予測された接地位置と比較してもよい。両方の例において、相違が予め定められたマージンまたは比率を超えるならば、隠蔽分析モジュール２７０４は、予測モデル２７０６を再訓練してもよい。一実施形態によれば、訓練および再訓練がサーバによって実行されるならば、ホスト車両における処理ユニット１１０は、新たに取り込まれた画像を、最大で特定の数のフレーム（例えば２０フレーム）まで格納するべく、メモリ１４０または１５０においてバッファを維持してもよい。新たに取り込まれた画像が、予測されたバウンディングボックスまたは接地位置が正確ではないと示していると決定する場合、処理ユニット１１０は、予測モデル２７０６を再訓練するために、新たに取り込まれた画像をサーバに送ってもよい。
図２９は、開示する実施形態と矛盾しない、検出された部分的に隠されている歩行者に基づいてホスト車両をナビゲートするための例示的な処理２９００を示すフローチャートである。段階２９０２において、処理ユニット１１０は、訓練用データに基づいて、部分的に隠されている歩行者と地面との接触位置の指標の予測モデル（例えば図２７における予測モデル２７０６）を訓練してもよい。予測モデルは、ニューラルネットワークを含んでもよい。訓練用データは、１つまたは複数の訓練用画像を含んでもよく、それらの各々は、少なくとも１人の訓練歩行者と、訓練歩行者が地面（例えば路面または歩道面）と接触する領域との表現を含む。さらに、処理ユニット１１０は、１つまたは複数の訓練用画像に対応するＬＩＤＡＲ深度情報を用いて予測モデルを訓練してもよい。
段階２９０４において、処理ユニット１１０は、ホスト車両内のカメラによって取り込まれる１つまたは複数の画像を受信してもよい。１つまたは複数の取り込まれた画像の各々は、ホスト車両の環境を表すものであってもよく、且つ、データインタフェース１２８を介して受信されてもよい。例えば、（視野２０２、２０４および２０６を有する画像取り込みデバイス１２２、１２４および１２６などの）画像取得ユニット１２０に含まれるカメラは、ホスト車両の前方および／または側方の領域の少なくとも１つの画像を取り込み、これらの画像をデジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。
処理ユニット１１０は、１つまたは複数の受信画像を分析し、且つ、ホスト車両の環境における部分的に隠されている歩行者の表現を含む少なくとも１つの画像を検出してもよい。部分的に隠されている歩行者の少なくとも足は、検出画像において隠されていてもよく（例えば別の物体によって遮られていてもよく）、したがって、検出画像は、部分的に隠されている歩行者が地面と接触している領域の表現を含まない。例えば、地面は、路面または歩道面であってもよい。一実施形態において、処理ユニット１１０は、部分的に隠されている歩行者の１つまたは複数の属性または特徴を検出することによって、部分的に隠されている歩行者を識別してもよい。属性は、顔面領域、コア／本体領域、または、部分的に隠されている歩行者に関連する複数のアクセサリのうちの１つ、を含んでもよい。処理ユニット１１０はまた、足に関連する属性または特徴が検出画像に無いと決定してもよい。
段階２９０６において、処理ユニット１１０は、部分的に隠されている歩行者と地面との接触位置（すなわち接地位置）の指標を生成するべく、部分的に隠されている歩行者を含む画像を訓練された予測モデルへと供給してもよい。当該指標は、見えなくされている接地位置を含む、部分的に隠されている歩行者を取り囲むバウンディングボックスであってもよい。
段階２９０８において、処理ユニット１１０は、生成された指標に基づいて、部分的に隠されている歩行者の接地位置を決定してもよい。例えば、バウンディングボックスの下端は、接地位置に対応し、これは、処理ユニット１１０が、部分的に隠されている歩行者とホスト車両との間の推定距離を決定する、および／または、部分的に隠されている歩行者とホスト車両との間の衝突までの推定時間を決定するのに使用されてもよい。
一実施形態において、処理ユニット１１０はまた、ホスト車両の位置に対応する地面（路面、歩道、軟路肩などを含む）の標高に関する情報などの、他の要因に基づいて、隠されている歩行者の接地位置を決定してもよい。地面の標高情報は、ホスト車両内のセンサからのセンサデータに基づいて生成される測定値を通じて取得されてもよく、および／または、標高情報は、リモートサーバからホスト車両へとダウンロードされるデータを用いて生成されるスパースマップなどのマップから取得されることができる。いくつかの実施形態において、ホスト車両の位置に対する地面の（正のまたは負の）相対標高を考えると、部分的に隠されている歩行者の足と地面とのタッチポイントの正確な予測を可能にするべく、地面の標高情報は予測モジュールへの入力として使用されてもよい。
段階２９１０において、処理ユニット１１０は、生成された指標に基づいて、ホスト車両のナビゲーション動作を引き起こしてもよい。例えば、部分的に隠されている歩行者とホスト車両との間の距離が、予め定められた距離範囲内であると判定されるならば、処理ユニット１１０は、ホスト車両に、減速させ、停車させ、または、部分的に隠されている歩行者から離れるように旋回させてもよい。処理ユニット１１０は、ブレーキ、ハンドル、アクセルなどのナビゲーションアクチュエータへ１つまたは複数の制御信号を送ることによって、ナビゲーション動作を開始してもよい。
開示する実施形態と矛盾せずに、本明細書で開示される、処理２９００の複数の段階（例えば、段階２９０２、２９０４、２９０６、２９０８および２９１０）のうちのいずれかは、ホスト車両と通信するサーバにおいて遠隔で実行されてもよい。例えば、サーバは、段階２９０２を実行し、次に、さらなる使用のためにホスト車両へ訓練モデルを送信してもよい。
［検出される歩行者の頭の姿勢に基づくナビゲーション］
開示するシステムおよび方法は、画像データから検出される歩行者の頭の姿勢（すなわち頭の向き）に基づいてホスト車両をナビゲートすることを許容してもよい。頭の姿勢は、地面に対して平行な水平面における回転角（ヨー角とも呼ばれる）、および、歩行者の鼻および後頭部から延びる垂直面におけるピッチ角によって表されてもよい。歩行者の見る方向は、回転角およびピッチ角に基づいて推定されてもよい。歩行者の見る方向を追跡することによって、ホスト車両は、より効率的なナビゲーション、および、より安全なドライブを可能にするべく、先制的に操作されてもよい。例えば、歩行者の見る方向が、ホスト車両から離れていると判定された場合、ホスト車両は、歩行者がホスト車両を見ていたまたはその方向を見ていたならば用いるであろうものよりも大きな安全マージンを用いることによってナビゲートしてもよい。
図３０は、メモリ１４０および／または１５０の例示的な機能ブロック図であり、これらは、開示する実施形態と矛盾しない１つまたは複数の動作を行うための命令と共に格納され／プログラムされてよい。以下ではメモリ１４０を参照するが、当業者であれば、命令がメモリ１４０および／または１５０に格納され得ることを認識するであろう。
図３０に示されるように、メモリ１４０は、画像受信モジュール３００２、歩行者検出モジュール３００４、頭姿勢分析モジュール３００６、および、ナビゲーション動作モジュール３０１０を格納してもよい。開示する実施形態は、メモリ１４０のいかなる特定の構成にも限定されない。さらに、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、メモリ１４０に含まれるモジュール３００２、３００４、３００６および３０１０のうちのいずれかに格納された命令を実行してよい。当業者であれば、以下の説明における処理ユニット１１０への言及が、アプリケーションプロセッサ１８０および画像プロセッサ１９０を個々にまたは集合的に指し得ることを理解するであろう。したがって、以下のプロセスのうちのいずれかの各段階が、１つまたは複数の処理デバイスによって行われてよい。
一実施形態において、画像受信モジュール３００２は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、ホスト車両内のカメラから、ホスト車両の環境を表す１つまたは複数の画像を受信させる（コンピュータビジョンソフトウェアなどの）命令を格納してもよい。カメラは、上述の通り、画像取り込みデバイス１２２、画像取り込みデバイス１２４および画像取り込みデバイス１２６のうちの少なくとも１つを含んでもよい。その代わりに、および／または、さらに、画像受信モジュール３００２は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、画像取り込みデバイス１２２、画像取り込みデバイス１２４および画像取り込みデバイス１２６とは異なるカメラ（例えば、横断歩道専用カメラ）から画像を受信させる命令を格納してもよい。
一実施形態において、歩行者検出モジュール３００４は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、１つまたは複数の受信画像の画像分析を実行させて、ホスト車両の環境における少なくとも１人の歩行者を検出させる命令を格納してもよい。いくつかの実施形態において、画像分析は、上記の図５Ａ～図５Ｄに関連して説明されたような単眼画像分析を含んでもよく、この場合、歩行者検出モジュール３００４は、解剖学的部分、アクセサリ、衣服、横断歩道、杖、ベビーカ、および歩行者に一般的に関連するその他の特徴などの、画像内の１つまたは複数の特徴を検出するための命令を含んでもよい。その代わりに、および／または、さらに、いくつかの実施形態において、歩行者検出モジュール３００４は、上記の図６に関連して説明されたようなステレオ画像分析を含んでもよく、この場合、歩行者検出モジュール３００４は、（例えば画像取り込みデバイス１２４によって取得される）第１セットの画像、および、（例えば画像取り込みデバイス１２６によって取得される）第２セットの画像における１つまたは複数の特徴を検出するための命令を含んでもよい。単眼画像分析および／またはステレオ画像分析に基づいて、処理ユニット１１０は、１つまたは複数の受信画像において表される少なくとも１人の歩行者を検出してもよい。
一実施形態において、頭姿勢分析モジュール３００６は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、１つまたは複数の受信画像を分析させて、少なくとも１人の検出された歩行者の頭の姿勢を決定させる命令を格納してもよい。具体的には、処理ユニット１１０は最初に、検出された歩行者の頭を識別してもよい。処理ユニット１１０は次に、識別された頭に関連する、角回転の指標およびピッチ角の指標を決定してもよい。回転角およびピッチ角に基づいて、処理ユニット１１０は、検出された歩行者が見る方向を決定してもよい。
一実施形態において、頭姿勢分析モジュール３００６は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、１つまたは複数の受信画像を分析することによって頭を識別させて、頭に関連する特徴を識別させる命令を格納してもよい。例えば、処理ユニット１１０は、特定の形状を有する、画像における複数の領域を識別してもよい。処理ユニット１１０は、識別された複数の領域に対して形状分析を実行して、それらのうちのいずれかが頭の一部に対応するかどうかを決定してもよい。その代わりに、またはそれに加えて、処理ユニット１１０は、識別された複数の領域に対して動き分析を実行して、頭の一部を含む輪郭を検出してもよい。
１つまたは複数の受信画像から歩行者の頭が識別された後、処理ユニット１１０は、頭の姿勢を決定することを進めてもよい。図３１Ａに示されるように、頭の姿勢は、回転角φおよびピッチ角θによって定められてもよい。回転角φは、地面に対して平行な水平面における頭の角回転を指してもよい。別の言い方をすれば、回転角φは、頭の中心を通る垂直軸周りの頭の角運動を示していてもよい。さらに、ピッチ角θは、歩行者の鼻から後頭部まで延びる垂直面における頭の角運動を指してもよい。別の言い方をすれば、ピッチ角θは、歩行者の両耳を通る軸周りの頭の角運動を示していてもよい。
図３０をあらためて参照すると、処理ユニット１１０は、頭に関連する回転角およびピッチ角を決定するべく、頭姿勢分析モジュール３００６に格納されているモデル３００８に１つまたは複数の受信画像を供給してもよい。モデル３００８は、様々な頭の姿勢に関連する画像特徴を分類またはクラスタ化するために使用されるニューラルネットワーク（例えばＣＮＮまたはＤＮＮ）を含んでもよい。モデル３００８を用いて頭の姿勢を決定する前に、処理ユニット１１０は、様々な頭の姿勢および見る方向を示している複数の歩行者の表現を含む複数の訓練用画像に基づいてモデル３００８を訓練してもよい。処理ユニット１１０は、複数の訓練用画像における複数の画像部分および／または画像特徴を、それらの対応する頭の向きまたは見る方向に従って分類またはクラスタ化するように、モデル３００８を訓練してもよい。
訓練が完了した後、処理ユニット１１０は、訓練モデル３００８を用いて、１つまたは複数の受信画像を分析し、頭に関連する回転角およびピッチ角を決定し、且つ、回転角およびピッチ角に基づいて、頭に関連する見る方向を決定してもよい。一実施形態において、頭姿勢分析モジュール３００６は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、歩行者の見る方向がホスト車両と交差する場合にホスト車両のほうを見ていると決定させる命令を格納してもよい。例えば、処理ユニット１１０は、例えば、円錐体の頂点または円錐体内の別の場所にあり、且つ、ホスト車両の（例えばボンネットからトランクに向かう）軸に沿う軸を有するホスト車両を含む円錐体を計算してもよい。円錐体は、９０度以下、４５度以下などの角度を有してもよい。処理ユニット１１０は、歩行者の見る方向が閾値より小さな角度で（例えば、９０度未満、４５度未満など）円錐体の側面と交差している場合にホスト車両のほうを見ていると決定してもよい。その代わりに、処理ユニット１１０は、例えば、円錐体の頂点または円錐体内の別の場所にあり、且つ、歩行者からホスト車両に向かう軸を有する歩行者を含む円錐体を計算してもよい。円錐体は、９０度以下、４５度以下などの角度を有してもよい。処理ユニット１１０は、歩行者の見る方向が円錐体の中にある場合にホスト車両のほうを見ていると決定してもよい。
同様の方法を用いて、処理ユニット１１０はまた、歩行者がホスト車両の環境における他の車両のほうを見ているかどうかを決定してもよい。例えば、頭姿勢分析モジュール３００６は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、１つまたは複数の受信画像における対象車両を識別させ、且つ、頭に関連する見る方向が対象車両と交差するかどうかを決定させる命令を格納してもよい。
一実施形態において、頭姿勢分析モジュール３００６は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、歩行者の見る方向がホスト車両のほうを向いていない場合にホスト車両から離れたほうを見ていると決定させる命令を格納してもよい。処理ユニット１１０は、上述の複数の円錐体のうちのいずれかを用いて、歩行者がホスト車両から離れたほうを見ていると決定してもよい。その代わりに、処理ユニット１１０は、処理ユニット１１０が、頭に関連する特定の顔特徴（例えば目、鼻、口）を識別できないならば、歩行者がホスト車両から離れたほうを見ていると決定してもよい。例えば、歩行者は、１つまたは複数の受信画像において歩行者の頭の側面または背面のみが見えるように、ホスト車両から離れたほうを向いているかもしれない。
一実施形態において、１つまたは複数の受信画像は、カメラによって時間の経過と共に取り込まれる複数の画像を含んでもよい。頭姿勢分析モジュール３００６は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、複数の取り込まれた画像に基づいて、時間の経過に伴う頭の姿勢の変化を追跡させる命令を格納してもよい。例えば、処理ユニット１１０は、複数の取り込まれた画像に示される歩行者が、最初にホスト車両のほうを見ていて、その頭がホスト車両から離れるように回転している、と決定してもよい。別の例として、処理ユニット１１０は、複数の取り込まれた画像が、頭のピッチ角が大きくなったことを示していると決定してもよく、これは、歩行者が頭を上下に傾けていることを意味する。
図３０をさらに参照すると、ナビゲーション動作モジュール３０１０は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、歩行者の頭の姿勢に基づいてホスト車両用のナビゲーション動作を決定させる命令を格納してもよい。一実施形態において、歩行者の頭の姿勢が、ホスト車両から離れるほうを見ていることを示しているならば、処理ユニット１１０は、ホスト車両用の第１ナビゲーション動作を決定してもよい。第１ナビゲーション動作は、ホスト車両を減速もしくは停止すること、または、歩行者から離れる方向にある走行車線内へ移動することを含んでもよい。第１ナビゲーション動作は、ホスト車両および歩行者により長い反応時間を許容する。
一実施形態において、歩行者の頭の姿勢が、ホスト車両のほうを見ていることを示しているならば、処理ユニット１１０は、ホスト車両用の第２ナビゲーション動作を決定してもよい。第２ナビゲーション動作は、元の速度および／または進行方向を維持することを含んでもよい。これは、ホスト車両のほうを見ている歩行者は、近づきつつあるホスト車両に気付き且つそれによってアラートを発せられるためである。同様に、歩行者の頭の姿勢が、ホスト車両の前方で同じ方向に走行している対象車両のほうを見ていることを示しているならば、処理ユニット１１０は、ホスト車両用の第２ナビゲーション動作を決定してもよい。これは、歩行者は、同じ方向に走行している交通をより容易に見ている可能性が有るためである。さらに、歩行者の頭の姿勢が、ホスト車両の前方に位置しているがホスト車両とは反対の方向に走行している対象車両のほうを見ていることを示しているならば、処理ユニット１１０は、ホスト車両用の第２ナビゲーション動作を決定してもよい。これは、対向車線を走行している対象車両を見ている歩行者はホスト車両も見ている可能性が有るためである。
上述の通り、頭姿勢分析モジュール３００６に関連して、処理ユニット１１０は、複数の取り込まれた画像に亘って、時間の経過に伴う頭の姿勢の変化を追跡してもよい。ナビゲーション動作モジュール３０１０はまた、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、時間の経過に伴う頭の姿勢の変化に基づいてホスト車両用のナビゲーション動作を決定させる命令を格納してもよい。例えば、歩行者は最初にホスト車両を見ているが、その後、見る方向をホスト車両から離れるほうに移動させていると判定されたならば、処理ユニット１１０は、見る方向の動きを決定する際に、ホスト車両用の第１ナビゲーション動作を決定してもよい。
ナビゲーション動作モジュール３０１０はまた、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、決定されたホスト車両用のナビゲーション動作に従ってホスト車両の少なくとも１つのナビゲーションアクチュエータの制御をさせる電子信号を送信させる命令を格納してもよい。ナビゲーションアクチュエータは、操縦機構、ブレーキまたはアクセルのうちの少なくとも１つを含んでもよい。いくつかの実施形態において、処理ユニット１１０は、車両２００のスロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に１つまたは複数の信号を送信し、例えば、車両２００のハンドルを回して所定の角度の回転を達成することで、決定されたナビゲーション動作を引き起こしてよい。
図３１Ｂは、検出された歩行者の頭の姿勢に基づいて車両をナビゲートするための、開示するシステムを実装することの一例を示す。図３１Ｂに示されるシーンは、（ホスト車両２００を含み得る）ホスト車両３１０５の環境から取り込まれ得る複数の画像のうちの１つの一例である。上述の通り、画像を分析することによって、処理ユニット１１０は、画像における歩行者３１０３の頭の姿勢を決定してもよい。処理ユニット１１０は、歩行者３１０３の頭に関連する回転角およびピッチ角を決定することによって、この決定を行ってもよい。回転角およびピッチ角に基づいて、処理ユニット１１０はさらに、ホスト車両３１０５または歩行者３１０３に頂点を有する円錐体を構築することによって、ホスト車両３１０５に対する歩行者３１０３の見る方向を決定してもよい。処理ユニット１１０が、歩行者３１０３の見る方向が、閾値より小さな角度で円錐体と交差している、または、円錐体内にある、とそれぞれ決定するならば、処理ユニット１１０は、歩行者３１０３がホスト車両３１０５のほうを見ていると決定してもよい。これを受けて、処理ユニット１１０は、減速もしくはブレーキ、または、車線を切り替える、などの、ホスト車両３１０５用のナビゲーション動作を決定してもよい。いくつかの実施形態において、ホスト車両３１０５は、車線を切り替えてもよく、および／または、停止するべく減速してもよい。円錐体は、歩行者の見る方向を幾何学的形状へ変換するのに使用されることができる幾何学的形状の一例として、ここで使用されていることが理解されるであろう。現実空間における他の３Ｄ形状を使用できることがさらに理解されるであろう。
一実施形態において、ナビゲーション動作モジュール３０１０は、ホスト車両が、１つまたは複数の動作予測サイクルに亘って、意思を信号で知らせ且つ歩行者からの反応を予測する、比較的微妙なまたは繊細な操作を実行し得る交渉操作をホスト車両に実行させてもよい。交渉操作は、例えば、ホスト車両が減速または停止して歩行者に譲る必要があることを示す第１制約（例えば、初期／デフォルトの安全マージン）に到達した場合に使用されてもよいが、そのような環境において、ホスト車両は、歩行者の意思が検証され且つ第２制約（より小さな安全マージン）に準拠している場合にのみ、第２制約の下で進行することを許容されてもよい（そうするようにプログラムされ、または構成されてもよい）。ナビゲーション動作モジュール３０１０は、ホスト車両による信号（例えば、ライトを点滅させること、ホーンを鳴らすこと）に応答して、歩行者の頭の姿勢に基づいて、または、歩行者の頭の姿勢における変化の検出に基づいて、歩行者の意思を決定してもよい。
開示する実施形態と矛盾せずに、本明細書で開示する複数のモジュール（例えば、モジュール３００２、３００４、３００６および３０１０）のうちのいずれかは、ホスト車両と通信するサーバにおいて遠隔で格納されてもよい。取り込まれた画像は、上述の処理ユニット１１０と同様の１つまたは複数のプロセッサを含み得るサーバへと最初に送信されてもよい。サーバにおける１つまたは複数のプロセッサは、モジュール３００２、３００４、３００６および／または３０１０における命令を、処理ユニット１１０に関連して上述したものと同様のやり方で実行してもよい。サーバは次に、その結果をホスト車両１１０に送信してもよい。例えば、一実施形態において、頭姿勢分析モジュール３００６およびモデル３００８は、サーバに格納されてもよい。サーバは、訓練用データに基づいてモデル３００８を訓練してもよく、次に、さらなる使用のために訓練モデルをホスト車両へと送信してもよい。
開示する実施形態と矛盾せずに、ホスト車両またはサーバにおける頭姿勢分析モジュール３００６は、次に取り込まれた画像において歩行者の見る方向または動きを追跡し、且つ、次に取り込まれた画像が、モデル３００８によって生成される頭の姿勢の結果が正確ではないことを提示するならば、モデル３００８を再訓練してもよい。例えば、予測された頭の姿勢が、歩行者がホスト車両のほうを見ていることを示しているが、次に取り込まれた画像における歩行者の目の追跡が、ホスト車両から離れるほうを見ていることを示しているならば、頭姿勢分析モジュール３００６は、モデル３００８を再訓練してもよい。一実施形態によれば、訓練および再訓練がサーバによって実行されるならば、ホスト車両における処理ユニット１１０は、新たに取り込まれた画像を、最大で特定の数のフレーム（例えば２０フレーム）まで格納するべく、メモリ１４０または１５０においてバッファを維持してもよい。新たに取り込まれた画像が、モジュール３００６によって予測された頭の姿勢が正確ではないと示していると決定する場合、処理ユニット１１０は、予測モジュール３００６を再訓練するために、新たに取り込まれた画像をサーバに送ってもよい。
図３２は、開示する実施形態と矛盾しない、検出された歩行者の頭の姿勢に基づいてホスト車両をナビゲートするための例示的な処理３２００を示すフローチャートである。段階３２０２において、処理ユニット１１０は、データインタフェース１２８を介して、ホスト車両の環境を表す１つまたは複数の画像を受信してもよい。例えば、（視野２０２、２０４および２０６を有する画像取り込みデバイス１２２、１２４および１２６などの）画像取得ユニット１２０に含まれるカメラは、ホスト車両の前方および／または側方の領域の少なくとも１つの画像を取り込み、これらの画像をデジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。
段階３２０４において、処理ユニット１１０は、１つまたは複数の受信画像を分析して、ホスト車両の環境における少なくとも１人の歩行者を検出してもよい。例えば、少なくとも１人の歩行者を検出することは、歩行者の１つまたは複数の属性または特徴を検出することを含んでもよい。属性は、顔面領域、コア／本体領域、または、歩行者に関連する複数のアクセサリのうちの１つ、を含んでもよい。
段階３２０６において、処理ユニット１１０は、１つまたは複数の受信画像を分析して、検出された歩行者の頭の姿勢を決定してもよい。例えば、処理ユニット１１０は、訓練モデル（例えば図３０におけるモデル３００８）を用いて、１つまたは複数の受信画像における複数の特徴を分類（またはクラスタ化）し、且つ、分類（またはクラスタ化）に基づいて、歩行者の頭に関連する回転角およびピッチ角を決定してもよい。回転角およびピッチ角に基づいて、処理ユニット１１０は、歩行者の見る方向を決定してもよい。いくつかの実施形態において、１つまたは複数の受信画像は、時間の経過と共に取り込まれる複数の画像を含んでもよく、処理ユニット１１０は、時間の経過に伴う、頭の姿勢の変化および見る方向の動きを追跡してもよい。
段階３２０８において、処理ユニット１１０は、決定された頭の姿勢に基づいて、ホスト車両の少なくとも１つのナビゲーションアクチュエータの制御を引き起こしてもよい。例えば、頭の姿勢が、歩行者がホスト車両のほうを見ていることを示しているならば、処理ユニット１１０は、ホスト車両を減速し、および／もしくは、それにブレーキをかけてもよく、または、新たな進行方向へホスト車両を旋回し、および／もしくは、新たな進行方向にホスト車両を加速してもよい。別の例として、頭の姿勢が、歩行者がホスト車両から離れるほうを見ていることを示しているならば、処理ユニット１１０は、ホスト車両に、元の速度および／もしくは進行方向を維持させ、または、元の進行方向に加速させてもよい。処理ユニット１１０は、ブレーキ、ハンドル、アクセルなどのナビゲーションアクチュエータへ１つまたは複数の制御信号を送ることによって、ナビゲーション動作を開始してもよい。
開示する実施形態と矛盾せずに、本明細書で開示される、処理３２００の複数の段階（例えば、段階３２０２、３２０４、３２０６および３２０８）のうちのいずれかは、ホスト車両と通信するサーバにおいて遠隔で実行されてもよい。例えば、サーバは、段階３２０２－３２０６を実行して、決定された頭の姿勢をホスト車両に送信してもよく、これは次に、決定された頭の姿勢に基づいてナビゲーション動作を決定してもよい。
［検出される歩行者ジェスチャーに基づくナビゲーション］
開示するシステムおよび方法は、検出される歩行者ジェスチャーに基づいてホスト車両をナビゲートすることを許容してもよい。ジェスチャーは、歩行者がホスト車両に対してどのように移動しているかを示してもよい。ジェスチャーは、歩行者の意図、例えば、ホスト車両が進行することを許容すること、または、ホスト車両に停止するよう合図すること、の指標を提供してもよい。さらに、ジェスチャーは、歩行者の特定の状態またはアクティビティ、例えば、電話をかけること、または、モバイルデバイスを見つめること、などを示してもよい。これらのジェスチャーを検出して認識することによって、開示するシステムおよび方法は、ホスト車両に、ジェスチャーに少なくとも部分的に基づいて応答させてもよい。例えば、歩行者が、ホスト車両に停止するよう合図する手のジェスチャーを行っていると判定されたならば、開示するシステムは、ホスト車両に停止させ、または減速させてもよい。別の例として、歩行者が電話をかけていると判定されるならば、開示するシステムは、ホスト車両に、停止させ、減速させ、歩行者から離れるように操縦させ、または、歩行者にアラートを送らせてもよい。
例えば、本開示によって提供される他の実施形態と同様に、メモリ１４０および／または１５０は、検出される歩行者ジェスチャーに基づいてホスト車両をナビゲートするための方法を実行するべく、１つまたは複数のプロセッサによって実行可能なコンピュータ命令を格納してもよい。具体的には、１つまたは複数のプロセッサは、ホスト車両に関連するカメラから複数の画像を受信するようにプログラムされることができる。複数の画像は、ホスト車両の環境を表してもよい。１つまたは複数のプロセッサは、複数の画像において表される歩行者を検出し、且つ、複数の画像を分析して、歩行者による認識されたジェスチャーを検出してもよい。歩行者による検出される認識されたジェスチャーに基づいて、１つまたは複数のプロセッサは、ホスト車両による少なくとも１つのナビゲーション動作を引き起こしてもよい。例えば、ナビゲーション動作は、ホスト車両を加速させること、ブレーキをかけること、または、旋回させること、のうちの少なくとも１つを含んでもよい。
一実施形態において、１つまたは複数のプロセッサは、歩行者の手の向きに基づいて、認識されたジェスチャーを検出してもよい。その代わりに、またはそれに加えて、１つまたは複数のプロセッサは、複数の画像に亘って表される歩行者の手の動きに基づいて、認識されたジェスチャーを検出してもよい。
一実施形態において、１つまたは複数のプロセッサは、複数の訓練用画像グループを含む訓練用データに基づいて、認識されたジェスチャーを検出するように構成された少なくとも１つの訓練モデルを用いることによって、複数の画像を分析してもよい。各々の訓練用画像グループは、１つまたは複数のジェスチャーを行う少なくとも１人の歩行者を表す複数の訓練用画像を含んでもよい。本開示と矛盾せずに、訓練モデルは、ニューラルネットワークなどの、任意の好適な機械学習アルゴリズムであってもよい。
一実施形態において、１つまたは複数のプロセッサは、複数の画像を分析して、歩行者の少なくとも１つの骨組みアンカーポイントを識別すること、および、当該少なくとも１つの骨組みアンカーポイントに対応する１つまたは複数の骨組み部分の動きを識別することにさらに基づいて、歩行者に関連する認識されたジェスチャーを検出してもよい。骨組みアンカーポイントは、例えば、ひじ、肩、手首、指関節、首などであってもよい。骨組み部分は、例えば、手、前腕、指部分、上腕、頭などであってもよい。
一実施形態において、認識されたジェスチャーは、ホスト車両に前方へ移動させるコマンドを示してもよい。これを受けて、認識されたジェスチャーに基づいて、１つまたは複数のプロセッサは、ホスト車両に、選択された速度で前方へ移動させてもよい。
一実施形態において、認識されたジェスチャーは、ホスト車両に停止させるコマンドを示してもよい。これを受けて、認識されたジェスチャーに基づいて、１つまたは複数のプロセッサは、ホスト車両に、停止させ、減速させ、または、進行方向を変更させてもよい。例えば、１つまたは複数のプロセッサは、ホスト車両に停止または減速させるべく、それのブレーキを作動させてもよい。別の例として、１つまたは複数のプロセッサは、ホスト車両に歩行者を譲らせるべく、元の移動方向から逸脱するようにホスト車両を操縦してもよい。
一実施形態において、認識されたジェスチャーは、ホスト車両に歩行者を通過させるコマンドを示してもよい。これを受けて、認識されたジェスチャーに基づいて、１つまたは複数のプロセッサは、ホスト車両に、ホスト車両の現在の速度を維持すること、または、ホスト車両の現在の進行方向を維持すること、のうちの少なくとも一方を実行させてもよい。
一実施形態において、認識されたジェスチャーは、電話をかける歩行者を示してもよい。これを受けて、認識されたジェスチャーに基づいて、１つまたは複数のプロセッサは、ホスト車両に、いかなる事故も防止するべく、歩行者から特定の距離を維持させ、それに対する安全マージン／制約を高めさせ、または、それにアラートを送らせてもよい。例えば、１つまたは複数のプロセッサは、車両に、停止させ、減速させ、または、歩行者から離れるように移動させてもよい。別の例として、１つまたは複数のプロセッサは、歩行者にアラートを出すべく、ホスト車両のホーンを鳴らしてもよい。
一実施形態において、認識されたジェスチャーは、ディスプレイデバイスのほうを見ている歩行者を示してもよい。これを受けて、認識されたジェスチャーに基づいて、１つまたは複数のプロセッサは、ホスト車両に、ホスト車両を減速させること、または、ホスト車両の進行方向を変更すること、のうちの少なくとも一方を実行させてもよい。
一実施形態において、認識されたジェスチャーは、ホスト車両のほうを見るべく旋回する歩行者を示してもよい。これを受けて、認識されたジェスチャーに基づいて、１つまたは複数のプロセッサは、ホスト車両に、ホスト車両の現在の速度を維持すること、または、ホスト車両の現在の進行方向を維持すること、のうちの少なくとも一方を実行させてもよい。
一実施形態において、ナビゲーション動作は、ホスト車両を加速させること、ブレーキをかけること、または、旋回させること、のうちの少なくとも１つを含んでもよい。
一実施形態において、認識されたジェスチャーは、頭のうなずき、頭の揺れ、手のウェーブ、手首を曲げて手のひらをホスト車両から離れるように向ける、手首を曲げて手のひらをホスト車両に向ける、肘を曲げて手のひらをホスト車両から離れるように向ける、肘を曲げて手のひらをホスト車両に向ける、指を曲げて手のひらをホスト車両から離れるように向ける、のうちの少なくとも１つを含んでもよい。１つまたは複数のプロセッサは、認識されたジェスチャーに基づいてホスト車両を操作してもよい。例えば、手首、肘、または、指を曲げて手のひらをホスト車両から離れるように向けることを認識すると、１つまたは複数のプロセッサは、ホスト車両に、元の方向に進行させてもよく、これは、これらのジェスチャーが、一般に、ホスト車両が、歩行者を通過する、またはそれに近づくことを許容されることを合図するのに使用されるためである。別の例として、手首、肘、または、指を曲げて手のひらをホスト車両に向けることを認識すると、１つまたは複数のプロセッサは、ホスト車両に、停止させてもよく、これは、これらのジェスチャーが、一般に、ホスト車両が停止することを必要とすることを合図するのに使用されるためである。
開示する実施形態と矛盾せずに、本明細書で開示される、複数の段階および機能のうちのいずれかは、ホスト車両と通信するサーバにおいて遠隔で実行されてもよい。例えば、サーバは、訓練用データに基づいてモデルを訓練してもよく、使用のために訓練モデルをホスト車両へと送信してもよい。
［車両周りのフリースペースの決定］
開示するシステムおよび方法は、ホスト車両が、ホスト車両を取り囲む環境におけるフリースペース領域を決定することを可能にしてもよい。具体的には、開示するシステムおよび方法は、環境の様々な領域を示す複数の画像を取り込んで、取り込まれた画像を合成し、環境の途切れない３６０度視界を形式してもよい。途切れない３６０度視界は、ホスト車両が安全にナビゲートできるフリースペース領域を示してもよい。例えば、途切れない３６０度視界は、ホスト車両を取り囲む環境の上面視を含んでもよい。上面視は、フリースペースおよび非フリースペースを示してもよい。ホスト車両は、非フリースペース内へのナビゲーションを避けながら、フリースペース内をナビゲートするように制御されてもよい。
図３３は、メモリ１４０および／または１５０の例示的な機能ブロック図であり、これらは、開示する実施形態と矛盾しない１つまたは複数の動作を行うための命令と共に格納され／プログラムされてよい。以下ではメモリ１４０を参照するが、当業者であれば、命令がメモリ１４０および／または１５０に格納され得ることを認識するであろう。
図３３に示されるように、メモリ１４０は、画像受信モジュール３３０２、画像合成モジュール３３０４、画像分析モジュール３３０６、および、ナビゲーション動作モジュール３３０８を格納してもよい。開示する実施形態は、メモリ１４０のいかなる特定の構成にも限定されない。さらに、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、メモリ１４０に含まれるモジュール３３０２、３３０４、３３０６および３３０８のうちのいずれかに格納された命令を実行してもよい。当業者であれば、以下の説明における処理ユニット１１０への言及は、アプリケーションプロセッサ１８０および画像プロセッサ１９０を個々にまたは集合的に指し得ることを理解するであろう。したがって、以下のプロセスのうちのいずれかの各段階が、１つまたは複数の処理デバイスによって行われてよい。
一実施形態において、画像受信モジュール３３０２は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、ホスト車両内の１つまたは複数のカメラから、ホスト車両の前方、後方および側方の領域を表す複数の画像を受信させる（コンピュータビジョンソフトウェアなどの）命令を格納してもよい。カメラは、上述の通り、画像取り込みデバイス１２２、画像取り込みデバイス１２４および画像取り込みデバイス１２６のうちの１つまたは複数を含んでもよい。図３４Ａは、ホスト車両３４０１内の複数のカメラ３４０３の一例を示す。示されるように、複数のカメラ３４０３の各々は、ホスト車両３４０１を取り囲む環境の一部をカバーする視野（「ＦＯＶ」、図３４Ａにおいて破線によって標示される）を有してもよい。複数のカメラ３４０３は、重なり合うＦＯＶを有してもよく、その結果、組み合わされたＦＯＶは、ホスト車両３４０１を取り囲む環境の途切れない３６０度視界をカバーしてもよい。いくつかの実施形態において、複数のカメラ３４０３のうちの１つまたは複数は、それらのＦＯＶを大きくさせるべく、広角レンズを含んでもよい。本開示は、図３４Ａに示される例によって限定されることはないことが考えられる。例えば、いくつかの実施形態において、様々な位置に設置される複数のカメラを用いる代わりに、ホスト車両３４０１の屋根を通って延びる垂直軸周りを常に回転する１つのカメラによって複数の画像が取り込まれてもよい。
あらためて図３３を参照すると、一実施形態において、画像合成モジュール３３０４は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、ホスト車両を取り囲む環境の途切れない３６０度視界を形式するべく複数の画像を関連づけさせる命令を格納してもよい。具体的には、処理ユニット１１０は、複数の画像の２つまたはそれより多くに表される現実世界点を検出し、且つ、検出された現実世界点を用いてホスト車両を取り囲む環境における複数の隣接領域の画像を揃えることによって、複数の画像を関連づけてもよい。現実世界点は、カメラＦＯＶの重なり合う領域における特定の物体（例えば、太陽、建築構造の一部、歩行者の一部、別の車両の一部など）に対応してもよく、且つ、背景と区別可能な画素値を有してもよい。関連づけられた画像に基づいて、処理ユニット１１０は、環境の途切れない３６０度視界を生成してもよい。
開示する実施形態において、途切れない３６０度視界は、様々なやり方で表されてもよい。一実施形態において、途切れない３６０度視界は、関連づけられた複数の画像をつなぎ合わせることによって生成され得る３６０度パノラマ画像として表されてもよい。一実施形態において、途切れない３６０度視界は、関連づけられた複数の画像を用いて環境の上面視をシミュレーションすることによって生成され得る、ホスト車両を取り囲む環境の上面視として表されてもよい。例えば、処理ユニット１１０は、ホスト車両を取り囲む環境を表すスパースマップを生成し、且つ、関連づけられた複数の画像における、当該環境にある複数の物体の位置に従い、それらをスパースマップに挿入することによって、上面視を生成してもよい。そのような上面視の一例が図３４Ｂに示されており、ここでは、ホスト車両３４０１は、車道３４２１上を走行してもよい。示されるように、上面視は、ホスト車両３４０１のルーフ表面の上方の予め定められた高さからのシミュレーションされた視界を提供してもよい。上面視は、道路にできた穴３４１１、建築構造（または家）３４１２、３４１３、歩行者３４１４、および壁（またはフェンス）３４１５など、ホスト車両３４０１がその中を走行しないであろう、または、避けると予期されているであろう１つまたは複数の障害物を示している。上面視はまた、車道３４１１、私道３４２２、縁石３４２３および駐車場３４２４など、ホスト車両３４０１が走行または駐車できる１つまたは複数の場所も示している。
あらためて図３３を参照すると、一実施形態において、画像分析モジュール３３０６は、処理ユニット１１０によって実行された場合に、処理ユニット１１０に、関連づけられた複数の画像を分析させてホスト車両を取り囲む環境におけるフリースペース領域を識別させる命令を格納してもよい。具体的には、処理ユニット１１０は、関連づけられ複数の画像の特徴分析を実行して、フリースペース領域に関連する１つまたは複数の位置を識別してもよい。例示的なフリースペース領域は、車道、私道、駐車場もしくは歩道など、またはそれらの組み合わせのうちの１つまたは複数を含んでもよい。これを受けて、フリースペース領域に関連する特徴は、フリースペースの領域の境界に関連する１つまたは複数の点または線、ランドマーク、ランドマークに関連する１つまたは複数の点または線、など、もしくはそれらの組み合わせを含んでもよい。図３４Ｂに示される例を参照すると、処理ユニット１１０は、フリースペース領域に関連する１つまたは複数の位置を決定してもよい。例えば、処理ユニット１１０は、関連づけられた複数の画像の分析に基づいて、私道３４２２の片側（すなわち位置識別子）を決定してもよい。別の例として、処理ユニット１１０は、車道３４２１に沿う縁石３４２３、および、縁石３４２３の境界の１つまたは複数の点または線を決定してもよい。さらに別の例として、処理ユニット１１０は、関連づけられた複数の画像に基づいて、私道３４２２および駐車場３４２４に隣接する建築構造３４１３の存在（すなわちランドマーク）を決定してもよい。
同様に、処理ユニット１１０は、関連づけられ複数の画像の特徴分析を実行して、フリースペース領域の外側（すなわち非フリースペース）の１つまたは複数の位置を識別してもよい。図３４Ｂにおける例をさらに参照すると、非フリースペースは、壁３４１５などの検出された障害物、歩行者３４１４を含む領域、または、道路にできた穴３４１１を含む領域を含んでもよい。
処理ユニット１１０はまた、決定された位置に基づいて、フリースペース領域を決定してもよい。例えば、図３４Ｂをさらに参照すると、処理ユニット１１０は、車道３４１１、私道３４２２、縁石３４２３および駐車場３４２４によって形成される地続きのフリースペース領域を識別してもよい。車道３４１１、私道３４２２、縁石３４２３および駐車場３４２４の各々は、ホスト車両３４０１が自由に移動できるフリースペースサブ領域を形式してもよい。フリースペースサブ領域は、非フリースペースによって互いに分割されてもよい。例えば、私道３４２２は、建築構造３４１３によって駐車場３４２４から分割されている。
あらためて図３３を参照すると、一実施形態において、ナビゲーション動作モジュール３３０８は、処理ユニット１１０によって実行された場合に、ホスト車両に、識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けさせながら、識別されたフリースペース領域内をナビゲートさせることを、処理ユニット１１０にさせる命令を格納してもよい。具体的には、処理ユニット１１０は、ホスト車両が識別されたフリースペース領域内を安全にナビゲートすることを可能にするナビゲーション動作を決定してもよい。図３４Ｂにおける例を参照すると、フリースペース領域は、私道３４２２を含んでもよく、処理ユニット１１０は、ホスト車両３４０１が私道３４２２の境界と衝突せずに私道３４２２に入るまたはそこから出ることを可能にする、一連のブレーキ、加速および操縦動作を決定してもよい。さらに、歩行者３４１４は、私道３４２２上に存在してもよい。可能性のある衝突を避けるべく、処理ユニット１１０は、歩行者３４１４から離れるホスト車両３４０１の移動を結果としてもたらす操縦動作を決定してもよい。同様に、処理ユニット１１０は、ホスト車両３４０１が駐車場３４２４に入るまたはそこから出ることを可能にする、一連のブレーキ、加速および操縦動作を決定してもよい。
処理ユニット１１０は、ホスト車両に関連する１つまたは複数のアクチュエータシステムに、決定されたホスト車両用のナビゲーション動作を実装させてもよい。例示的なナビゲーション動作は、ブレーキ動作、惰力運転動作、加速動作、もしくは、操縦動作など、またはそれらの組み合わせを含んでもよい。例えば、図３３を参照すると、車両３３０２に関連する自動システムは、車両３３０２に関連する１つまたは複数のアクチュエータシステムに、ブレーキ動作をとって速度を低下させ、私道３３５１の中に向かうよう左に操縦することによって、私道３３５１に入るようナビゲートさせてもよい。
開示する実施形態と矛盾せずに、本明細書で開示する複数のモジュール（例えばモジュール３３０２、３３０４、３３０６および３３０８）のうちのいずれかは、訓練システム（ニューラルネットワークまたはディープニューラルネットワークなど）または未訓練システム（コンピュータビジョンアルゴリズムを用いて、知覚情報が取り込まれて処理された環境内の物体を検出する且つ／またはラベルを付けるように構成され得るシステムなど）に関連する手法を実施してよい。一実施形態において、画像分析モジュール３３０６および／または他の画像処理モジュールは、訓練システムと未訓練システムとの組み合わせを用いるように構成されてよい。
開示する実施形態と矛盾せずに、本明細書で開示する複数のモジュール（例えば、モジュール３３０２、３３０４、３３０６および３３０８）のうちのいずれかは、ホスト車両と通信するサーバにおいて遠隔で格納されてもよい。取り込まれた画像は、上述の処理ユニット１１０と同様の１つまたは複数のプロセッサを含み得るサーバへと最初に送信されてもよい。サーバにおける１つまたは複数のプロセッサは、モジュール３３０２、３３０４、３３０６および／または３３１０における命令を、処理ユニット１１０に関連して上述したものと同様のやり方で実行してもよい。サーバは次に、その結果をホスト車両１１０に送信してもよい。例えば、一実施形態において、画像分析モジュール３３０６は、サーバに格納されてもよい。サーバは、画像分析モジュール３３０６の命令を実行して、フリースペース領域を識別し、次に、さらなる使用のために、フリースペース領域に関する情報をホスト車両に送信してもよい。
図３５は、開示する実施形態と矛盾しない、ホスト車両周りの決定されたフリースペース領域に基づいてホスト車両をナビゲートするための例示的な処理３５００を示すフローチャートである。段階３５０２において、処理ユニット１１０は、ホスト車両の環境を表す複数の画像を受信してもよい。複数の画像は、データインタフェース１２８を介して受信されてもよい。例えば、（視野２０２、２０４および２０６を有する画像取り込みデバイス１２２、１２４および１２６などの）画像取得ユニット１２０に含まれるカメラは、ホスト車両の前方、後方および／または側方の領域を表す複数の画像を取り込み、これらの画像をデジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。
段階３５０４において、処理ユニット１１０は、複数の画像を関連づけて、ホスト車両を取り囲む環境の、途切れない３６０度視界を与えてもよい。一実施形態において、処理ユニット１１０は、ホスト車両のルーフ表面の上方の予め定められた高さから見た場合のように、ホスト車両を取り囲む環境の上面視として、途切れない３６０度視界をレンダリングしてもよい。
段階３５０６において、処理ユニット１１０は、関連づけられた複数の画像を分析して、ホスト車両を取り囲む環境におけるフリースペース領域を識別してもよい。例えば、フリースペース領域は、都市環境の一部であってもよく、処理ユニットは、関連づけられた複数の画像を分析して、私道、駐車場、車道または縁石などのフリースペースを表す特徴を識別してもよく、これらは集合的に地続きのフリースペース領域を形式してもよい。処理ユニット１１０はまた、関連づけられた複数の画像を分析して、障害物、歩行者、建築構造または道路にできた穴などの非フリースペースを表す特徴を識別してもよい。
段階３５０８において、処理ユニット１１０は、ホスト車両に、識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けさせながら、識別されたフリースペース領域内をナビゲートさせてもよい。特に、処理ユニット１１０は、ホスト車両が、フリースペース領域の境界と衝突することなくフリースペース領域内を移動することを可能にする１つまたは複数のナビゲーション動作を決定してもよい。処理ユニット１１０は次に、ブレーキ、ハンドル、アクセルなどのナビゲーションアクチュエータへ１つまたは複数の制御信号を送ることによって、１つまたは複数のナビゲーション動作を開始してもよい。
開示する実施形態と矛盾せずに、本明細書で開示される、処理３５００の複数の段階（例えば、段階３５０２、３５０４、３５０６および３５０８）のうちのいずれかは、ホスト車両と通信するサーバにおいて遠隔で実行されてもよい。例えば、サーバは、段階３５０２－３５０６を実行して、識別されたフリースペース領域をホスト車両に送信してもよく、これは次に、フリースペース領域に基づいてナビゲーション動作を決定してもよい。
前述の記載事項は、説明のために提示されている。これは網羅的ではなく、また開示したそのままの形式または実施形態に限定されない。本明細書を検討し且つ開示した実施形態を実践することから、当業者には複数の変更および改作が明らかになるであろう。さらに、開示した複数の実施形態の態様がメモリに格納されるものとして説明されているが、これらの態様は、二次ストレージデバイスなどの他のタイプのコンピュータ可読媒体、例えば、ハードディスクもしくはＣＤ－ＲＯＭ、または他の形式のＲＡＭもしくはＲＯＭ、ＵＳＢ媒体、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、４Ｋ超高精細度Ｂｌｕ－ｒａｙ（登録商標）、あるいは他の光ドライブ媒体にも格納できることを、当業者であれば理解するであろう。
記載した明細書および開示した方法に基づくコンピュータプログラムは、経験ある開発者の技能の範囲内である。様々なプログラムまたはプログラムモジュールは、当業者に知られている手法のうちのいずれかを用いて作成することもでき、既存のソフトウェアに関連して設計することもできる。例えば、プログラムセクションまたはプログラムモジュールの設計は、．Ｎｅｔ Ｆｒａｍｅｗｏｒｋ、．Ｎｅｔ Ｃｏｍｐａｃｔ Ｆｒａｍｅｗｏｒｋ（および、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｃなどといった関連言語）、Ｊａｖａ（登録商標）、Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ－Ｃ、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸの組み合わせ、ＸＭＬ、またはＪａｖａ（登録商標）アプレットを含んだＨＴＭＬで行うことも、これを用いて行うこともできる。
さらに、例示的実施形態が本明細書に説明されているが、あらゆる実施形態の範囲には、均等な要素、変更、省略、（例えば、様々な実施形態にわたる態様の）組み合わせ、改作、および／または改変が含まれており、こうしたことは当業者が本開示に基づいて理解するであろう。特許請求の範囲における限定は、特許請求の範囲で使用されている用語に基づいて広く解釈されるべきであり、本明細書においてまたは本願の審査手続き中に説明される例に限定されない。これらの例は、非排他的であると解釈されるべきである。さらに、開示した方法の段階は、段階の並べ替え、および／または段階の挿入もしくは削除を含む任意の方式で変更されてよい。したがって、本明細書および例は単なる例示に過ぎないとみなされることが意図されており、実際の範囲および趣旨は以下の特許請求の範囲およびその均等物の全範囲によって示されている。
さらに、例示的実施形態が本明細書に説明されているが、あらゆる実施形態の範囲には、均等な要素、変更、省略、（例えば、様々な実施形態にわたる態様の）組み合わせ、改作、および／または改変が含まれており、こうしたことは当業者が本開示に基づいて理解するであろう。特許請求の範囲における限定は、特許請求の範囲で使用されている用語に基づいて広く解釈されるべきであり、本明細書においてまたは本願の審査手続き中に説明される例に限定されない。これらの例は、非排他的であると解釈されるべきである。さらに、開示した方法の段階は、段階の並べ替え、および／または段階の挿入もしくは削除を含む任意の方式で変更されてよい。したがって、本明細書および例は単なる例示に過ぎないとみなされることが意図されており、実際の範囲および趣旨は以下の特許請求の範囲およびその均等物の全範囲によって示されている。
［項目１］
ホスト車両用のナビゲーションシステムであって、
前記ホスト車両に搭載されたカメラから、前記ホスト車両の環境における隠されている歩行者の表現を含む、取り込まれた画像を受信し、ここで、前記取り込まれた画像は、前記隠されている歩行者が地面と接触する領域の表現を含まず、
前記取り込まれた画像を、前記取り込まれた画像用の出力を生成するように構成された分析モジュールへと提供し、ここで、前記生成された出力は、前記隠されている歩行者と前記地面との接触位置の指標を含み、
前記分析モジュールから、前記隠されている歩行者と前記地面との前記接触位置の前記指標を含む、前記生成された出力を受信し、
前記隠されている歩行者と前記地面との前記接触位置の前記指標に基づいて、前記ホスト車両による少なくとも１つのナビゲーション動作を引き起こすようにプログラムされた少なくとも１つのプロセッサを備える、
ナビゲーションシステム。
［項目２］
前記分析モジュールは、
各々が少なくとも１人の訓練歩行者の表現を含む複数の画像と、
前記複数の画像に対応するＬＩＤＡＲ深度情報と
を含む訓練用データに基づいて訓練された少なくとも１つの訓練モデルを有する、
項目１に記載のナビゲーションシステム。
［項目３］
前記少なくとも１つの訓練モデルはニューラルネットワークを含む、
項目２に記載のナビゲーションシステム。
［項目４］
前記分析モジュールは、
少なくとも１人の訓練歩行者の表現と、
前記訓練歩行者が地面と接触する領域と
を各々が含む複数の画像を含む訓練用データに基づいて訓練された少なくとも１つの訓練モデルを有する、
項目１に記載のナビゲーションシステム。
［項目５］
前記訓練用データはさらに、前記訓練歩行者が地面と接触する領域を隠すように各々が変更された前記複数の画像を含む、
項目４に記載のナビゲーションシステム。
［項目６］
前記少なくとも１つの訓練モデルはニューラルネットワークを含む、
項目４または５に記載のナビゲーションシステム。
［項目７］
前記隠されている歩行者と前記地面との前記接触位置の前記指標は、バウンディングボックスを有する、
項目１から６の何れか一項に記載のナビゲーションシステム。
［項目８］
前記バウンディングボックスは、前記ホスト車両と前記歩行者との間の衝突までの推定時間を特定するときに用いられる、
項目７に記載のナビゲーションシステム。
［項目９］
前記バウンディングボックスは、前記歩行者と前記ホスト車両の少なくとも一部との間の推定距離を特定するときに用いられる、
項目７または８に記載のナビゲーションシステム。
［項目１０］
前記バウンディングボックスは、前記隠されている歩行者が前記地面と接触する前記領域が前記取り込まれた画像に表されている場合、前記取り込まれた画像における前記少なくとも１人の隠されている歩行者の前記表現を取り囲み、且つ、そのような領域を取り囲むようにサイズを決められる、
項目７から９の何れか一項に記載のナビゲーションシステム。
［項目１１］
前記バウンディングボックスは、前記取り込まれた画像に関連する基準画素と比較して少なくとも２つの画素寸法により定められる、
項目７から１０の何れか一項に記載のナビゲーションシステム。
［項目１２］
前記バウンディングボックスは、少なくとも２つの現実世界寸法によって定められる、
項目７から１１の何れか一項に記載のナビゲーションシステム。
［項目１３］
前記隠されている歩行者が前記地面と接触する前記領域は、前記ホスト車両の少なくとも一部によって、取り込まれた画像における視界から見えなくされており、
前記バウンディングボックスは、前記ホスト車両の前記少なくとも一部の表現を含む、前記取り込まれた画像の領域を有する、
項目７から１２の何れか一項に記載のナビゲーションシステム。
［項目１４］
前記ホスト車両の前記少なくとも一部は、前記ホスト車両のボンネットの少なくとも一部を含む、
項目１３に記載のナビゲーションシステム。
［項目１５］
前記地面は、路面または歩道面のうちの少なくとも１つを含む、
項目１から１４の何れか一項に記載のナビゲーションシステム。
［項目１６］
前記少なくとも１つのナビゲーション動作は、前記ホスト車両の加速、ブレーキまたは旋回のうちの少なくとも１つを含む、
項目１から１５の何れか一項に記載のナビゲーションシステム。
［項目１７］
前記少なくとも１つのプロセッサはさらに、
前記取り込まれた画像よりも前に取得された複数の画像を含むバッファを維持するようにプログラムされており、
前記複数の画像のうちの１つまたは複数は、前記取り込まれた画像の前記隠されている歩行者の表現を含む、
項目１から１６の何れか一項に記載のナビゲーションシステム。
［項目１８］
前記複数の画像のうちの１つまたは複数は、前記隠されている歩行者が前記地面と接触する前記領域の表現を含む、
項目１７に記載のナビゲーションシステム。
［項目１９］
前記複数の画像は、取得された最大２０画像フレームを含む、
項目１７または１８に記載のナビゲーションシステム。
［項目２０］
前記少なくとも１つのプロセッサは、前記複数の画像のうちの１つまたは複数を前記分析モジュールに提供するようにプログラムされており、
前記隠されている歩行者と前記地面との前記接触位置の前記指標は、少なくとも部分的に、前記複数の画像のうちの１つまたは複数に基づいて決定される、
項目１７から１９の何れか一項に記載のナビゲーションシステム。
［項目２１］
ホスト車両用のナビゲーションシステムであって、
前記ホスト車両内のカメラから、前記ホスト車両の環境を表す、少なくとも１つの取り込まれた画像を受信し、
前記少なくとも１つの取り込まれた画像に表される歩行者を検出し、
前記少なくとも１つの取り込まれた画像を分析して、前記少なくとも１つの取り込まれた画像に表される前記歩行者の頭に関連する、角回転の指標およびピッチ角の指標を特定し、
前記歩行者の前記頭に関連する、前記角回転の指標および前記ピッチ角の指標に基づいて、前記ホスト車両による少なくとも１つのナビゲーション動作を引き起こす
ようにプログラムされた少なくとも１つのプロセッサを備える、
ナビゲーションシステム。
［項目２２］
前記少なくとも１つのナビゲーション動作を引き起こすことは、前記角回転の指標および前記ピッチ角の指標に基づいて決定される前記歩行者の見る方向に関連する、
項目２１に記載のナビゲーションシステム。
［項目２３］
前記歩行者の前記見る方向は、前記ホスト車両のほうを見ている前記歩行者を示す、
項目２２に記載のナビゲーションシステム。
［項目２４］
前記歩行者の前記見る方向は、前記ホスト車両から離れるほうを見ている前記歩行者を示す、
項目２２に記載のナビゲーションシステム。
［項目２５］
前記歩行者の前記見る方向は、前記ホスト車両の前記環境における対象車両のほうを見ている前記歩行者を示す、
項目２２に記載のナビゲーションシステム。
［項目２６］
前記歩行者の前記見る方向は、
前記ホスト車両のほうを見ている前記歩行者、
前記ホスト車両から離れるほうを見ている前記歩行者、または、
前記ホスト車両の前記環境における対象車両のほうを見ている前記歩行者、
を示し、
前記ホスト車両が行うようにさせられる前記少なくとも１つのナビゲーション動作は、前記見る方向が示すものが、前記歩行者が前記ホスト車両のほうを見ていることか、前記ホスト車両から離れるほうを見ていることか、または、前記対象車両のほうを見ていることか、に依存する、
項目２２に記載のナビゲーションシステム。
［項目２７］
前記少なくとも１つのナビゲーション動作は、前記歩行者が前記ホスト車両から離れるほうを見ていると決定されたならば、前記ホスト車両を減速することを含む、
項目２６に記載のナビゲーションシステム。
［項目２８］
前記少なくとも１つのナビゲーション動作は、前記歩行者が前記ホスト車両のほうを見ていると決定されたならば、前記ホスト車両の速度および進行方向を維持することを含む、
項目２６または２７に記載のナビゲーションシステム。
［項目２９］
前記少なくとも１つのナビゲーション動作は、前記歩行者が前記ホスト車両の前方で同じ方向に走行している対象車両のほうを見ていると決定されたならば、前記ホスト車両の速度および進行方向を維持することを含む、
項目２６から２８の何れか一項に記載のナビゲーションシステム。
［項目３０］
前記少なくとも１つのナビゲーション動作は、前記歩行者が、前記ホスト車両の前方に位置するが前記ホスト車両と反対の方向に走行している対象車両のほうを見ていると決定されたならば、前記ホスト車両の速度および進行方向を維持することを含む、
項目２６から２９の何れか一項に記載のナビゲーションシステム。
［項目３１］
前記少なくとも１つの取り込まれた画像は、複数の取り込まれた画像を含み、前記角回転の指標および前記ピッチ角の指標における変化は、前記複数の取り込まれた画像の分析に基づいて時間の経過に伴い追跡される、
項目２１から３０の何れか一項に記載のナビゲーションシステム。
［項目３２］
前記ホスト車両が行うようにさせられる前記少なくとも１つのナビゲーション動作は、少なくとも部分的に、時間の経過に伴い追跡される前記角回転の指標および前記ピッチ角の指標における前記変化に基づいて決定される、
項目３１に記載のナビゲーションシステム。
［項目３３］
前記少なくとも１つの取り込まれた画像は、様々な頭の向きおよび見る方向を示す歩行者の表現を含む複数の訓練用画像を含む訓練用データに基づいて、少なくとも１つの取り込まれた画像を分析するように構成された少なくとも１つの訓練モデルによって分析される、
項目２１から３２の何れか一項に記載のナビゲーションシステム。
［項目３４］
前記訓練モデルはニューラルネットワークを含む、
項目３３に記載のナビゲーションシステム。
［項目３５］
前記少なくとも１つのナビゲーション動作は、前記ホスト車両の加速、ブレーキまたは旋回のうちの少なくとも１つを含む、
項目２１から３４の何れか一項に記載のナビゲーションシステム。
［項目３６］
ホスト車両をナビゲートするための方法であって、
前記ホスト車両内のカメラから、前記ホスト車両の環境を表す、少なくとも１つの取り込まれた画像を受信することと、
前記少なくとも１つの取り込まれた画像に表される歩行者を検出することと、
前記少なくとも１つの取り込まれた画像を分析して、前記少なくとも１つの取り込まれた画像に表される前記歩行者の頭に関連する、角回転の指標およびピッチ角の指標を特定することと、
前記歩行者の前記頭に関連する、前記角回転の指標および前記ピッチ角の指標に基づいて、前記ホスト車両による少なくとも１つのナビゲーション動作を引き起こすことと
を備える方法。
［項目３７］
前記少なくとも１つのナビゲーション動作を引き起こすことは、前記角回転の指標および前記ピッチ角の指標に基づいて決定される前記歩行者の見る方向に関連する、
項目３６に記載の方法。
［項目３８］
前記歩行者の前記見る方向は、前記ホスト車両のほうを見ている前記歩行者を示す、
項目３７に記載の方法。
［項目３９］
前記歩行者の前記見る方向は、前記ホスト車両から離れるほうを見ている前記歩行者を示す、
項目３７に記載の方法。
［項目４０］
前記歩行者の前記見る方向は、前記ホスト車両の前記環境における対象車両のほうを見ている前記歩行者を示す、
項目３７に記載の方法。
［項目４１］
ホスト車両に対するフリースペースを検出し、且つ、前記検出されたフリースペースに対して前記ホスト車両をナビゲートするためのシステムであって、
前記ホスト車両に関連する１つまたは複数のカメラから、前記ホスト車両の前方、後方および側方の領域を表す複数の画像を受信し、
前記複数の画像を関連づけて、前記ホスト車両を取り囲む環境の、途切れない３６０度視界を与え、
前記関連づけられた複数の画像を分析して、前記ホスト車両を取り囲む前記環境におけるフリースペース領域を識別し、
前記ホスト車両に、前記識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けさせながら、前記識別されたフリースペース領域内をナビゲートさせる
ようにプログラムされた少なくとも１つのプロセッサを備える、
システム。
［項目４２］
前記フリースペース領域は地続きである、
項目４１に記載のシステム。
［項目４３］
前記フリースペース領域は、非フリースペースによって互いに分割された複数のフリースペースサブ領域を含む、
項目４１または４２に記載のシステム。
［項目４４］
前記１つまたは複数のカメラは広角レンズを含む、
項目４１から４３の何れか一項に記載のシステム。
［項目４５］
前記１つまたは複数のカメラは、重なり合う視野を有する、
項目４１から４４の何れか一項に記載のシステム。
［項目４６］
前記複数の画像を関連付けることは、前記複数の画像の２つまたはそれより多くに表される現実世界点を検出し、且つ、前記検出された現実世界点を用いて前記ホスト車両を取り囲む前記環境における複数の隣接領域の画像を揃えることを含む、
項目４１から４５の何れか一項に記載のシステム。
［項目４７］
前記途切れない３６０度視界は、前記ホスト車両を取り囲む前記環境の上面視を含む、
項目４１から４６の何れか一項に記載のシステム。
［項目４８］
前記上面視は、前記ホスト車両のルーフ表面の上方の予め定められた高さからのシミュレーションされた視界を含む、
項目４７に記載のシステム。
［項目４９］
前記フリースペース領域は、私道、駐車場、車道または縁石のうちの少なくとも１つの中に含まれる、
項目４１から４８の何れか一項に記載のシステム。
［項目５０］
前記識別されたフリースペース領域の外側の前記領域は、検出された障害物を含む領域、検出された歩行者を含む領域、検出された道路にできた穴を含む領域、のうちの１つまたは複数を含む、
項目４１から４９の何れか一項に記載のシステム。
［項目５１］
前記障害物、前記歩行者または前記道路にできた穴のうちの１つまたは複数は、前記複数の画像の分析に基づいて検出される、
項目５０に記載のシステム。
［項目５２］
前記ホスト車両をナビゲートすることは、前記ホスト車両を加速させること、ブレーキをかけること、または、旋回させること、のうちの少なくとも１つを含む、
項目４１から５１の何れか一項に記載のシステム。
［項目５３］
前記ホスト車両をナビゲートすることは、私道に入ること、またはそこから出ることを含む、
項目４１から５２の何れか一項に記載のシステム。
［項目５４］
前記ホスト車両をナビゲートすることは、駐車スペースに入ること、またはそこから出ることを含む、
項目４１から５３の何れか一項に記載のシステム。
［項目５５］
前記ホスト車両をナビゲートすることは、前記ホスト車両に、都市環境で移動させることを含む、
項目４１から５４の何れか一項に記載のシステム。
［項目５６］
前記ホスト車両をナビゲートすることは、前記ホスト車両に、１人または複数の歩行者に対して移動させることを含む、
項目４１から５５の何れか一項に記載のシステム。
［項目５７］
ホスト車両に対するフリースペースを検出し、且つ、前記検出されたフリースペースに対して前記ホスト車両をナビゲートするためのコンピュータ実装方法であって、
前記ホスト車両に関連する１つまたは複数のカメラから、前記ホスト車両の前方、後方および側方の領域を表す複数の画像を受信することと、
前記複数の画像を関連づけて、前記ホスト車両を取り囲む環境の、途切れない３６０度視界を与えることと、
前記関連づけられた複数の画像を分析して、前記ホスト車両を取り囲む前記環境におけるフリースペース領域を識別することと、
前記ホスト車両に、前記識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けさせながら、前記識別されたフリースペース領域内をナビゲートさせることと
を備える方法。
［項目５８］
前記フリースペース領域は地続きである、
項目５７に記載の方法。
［項目５９］
前記フリースペース領域は、非フリースペースによって互いに分割された複数のフリースペースサブ領域を含む、
項目５７または５８に記載の方法。
［項目６０］
前記１つまたは複数のカメラは広角レンズを含む、
項目５７から５９の何れか一項に記載の方法。
［項目６１］
プログラムであって、
前記プログラムは、プロセッサによって実行された場合に、前記プロセッサに、ホスト車両に対するフリースペースを検出し、且つ、前記検出されたフリースペースに対して前記ホスト車両をナビゲートするための方法を実行させる命令を含み、
前記方法は、
前記ホスト車両に関連する１つまたは複数のカメラから、前記ホスト車両の前方、後方および側方の領域を表す複数の画像を受信することと、
前記複数の画像を関連づけて、前記ホスト車両を取り囲む環境の、途切れない３６０度視界を与えることと、
前記関連づけられた複数の画像を分析して、前記ホスト車両を取り囲む前記環境におけるフリースペース領域を識別することと、
前記ホスト車両に、前記識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けさせながら、前記識別されたフリースペース領域内をナビゲートさせることと
を備える、
プログラム。

Claims (61)

  1. ホスト車両用のナビゲーションシステムであって、
    前記ホスト車両に搭載されたカメラから、前記ホスト車両の環境における隠されている歩行者の表現を含む、取り込まれた画像を受信し、ここで、前記取り込まれた画像は、前記隠されている歩行者が地面と接触する領域の表現を含まず、
    前記取り込まれた画像を、前記取り込まれた画像用の出力を生成するように構成された分析モジュールへと提供し、ここで、前記生成された出力は、前記隠されている歩行者と前記地面との接触位置の指標を含み、
    前記分析モジュールから、前記隠されている歩行者と前記地面との前記接触位置の前記指標を含む、前記生成された出力を受信し、
    前記隠されている歩行者と前記地面との前記接触位置の前記指標に基づいて、前記ホスト車両による少なくとも１つのナビゲーション動作を引き起こすようにプログラムされた少なくとも１つのプロセッサを備える、
    ナビゲーションシステム。
  2. 前記分析モジュールは、
    各々が少なくとも１人の訓練歩行者の表現を含む複数の画像と、
    前記複数の画像に対応するＬＩＤＡＲ深度情報と
    を含む訓練用データに基づいて訓練された少なくとも１つの訓練モデルを有する、
    請求項１に記載のナビゲーションシステム。
  3. 前記少なくとも１つの訓練モデルはニューラルネットワークを含む、
    請求項２に記載のナビゲーションシステム。
  4. 前記分析モジュールは、
    少なくとも１人の訓練歩行者の表現と、
    前記訓練歩行者が地面と接触する領域と
    を各々が含む複数の画像を含む訓練用データに基づいて訓練された少なくとも１つの訓練モデルを有する、
    請求項１に記載のナビゲーションシステム。
  5. 前記訓練用データはさらに、前記訓練歩行者が地面と接触する領域を隠すように各々が変更された前記複数の画像を含む、
    請求項４に記載のナビゲーションシステム。
  6. 前記少なくとも１つの訓練モデルはニューラルネットワークを含む、
    請求項４または５に記載のナビゲーションシステム。
  7. 前記隠されている歩行者と前記地面との前記接触位置の前記指標は、バウンディングボックスを有する、
    請求項１から６の何れか一項に記載のナビゲーションシステム。
  8. 前記バウンディングボックスは、前記ホスト車両と前記歩行者との間の衝突までの推定時間を特定するときに用いられる、
    請求項７に記載のナビゲーションシステム。
  9. 前記バウンディングボックスは、前記歩行者と前記ホスト車両の少なくとも一部との間の推定距離を特定するときに用いられる、
    請求項７または８に記載のナビゲーションシステム。
  10. 前記バウンディングボックスは、前記隠されている歩行者が前記地面と接触する前記領域が前記取り込まれた画像に表されている場合、前記取り込まれた画像における前記少なくとも１人の隠されている歩行者の前記表現を取り囲み、且つ、そのような領域を取り囲むようにサイズを決められる、
    請求項７から９の何れか一項に記載のナビゲーションシステム。
  11. 前記バウンディングボックスは、前記取り込まれた画像に関連する基準画素と比較して少なくとも２つの画素寸法により定められる、
    請求項７から１０の何れか一項に記載のナビゲーションシステム。
  12. 前記バウンディングボックスは、少なくとも２つの現実世界寸法によって定められる、
    請求項７から１１の何れか一項に記載のナビゲーションシステム。
  13. 前記隠されている歩行者が前記地面と接触する前記領域は、前記ホスト車両の少なくとも一部によって、取り込まれた画像における視界から見えなくされており、
    前記バウンディングボックスは、前記ホスト車両の前記少なくとも一部の表現を含む、前記取り込まれた画像の領域を有する、
    請求項７から１２の何れか一項に記載のナビゲーションシステム。
  14. 前記ホスト車両の前記少なくとも一部は、前記ホスト車両のボンネットの少なくとも一部を含む、
    請求項１３に記載のナビゲーションシステム。
  15. 前記地面は、路面または歩道面のうちの少なくとも１つを含む、
    請求項１から１４の何れか一項に記載のナビゲーションシステム。
  16. 前記少なくとも１つのナビゲーション動作は、前記ホスト車両の加速、ブレーキまたは旋回のうちの少なくとも１つを含む、
    請求項１から１５の何れか一項に記載のナビゲーションシステム。
  17. 前記少なくとも１つのプロセッサはさらに、
    前記取り込まれた画像よりも前に取得された複数の画像を含むバッファを維持するようにプログラムされており、
    前記複数の画像のうちの１つまたは複数は、前記取り込まれた画像の前記隠されている歩行者の表現を含む、
    請求項１から１６の何れか一項に記載のナビゲーションシステム。
  18. 前記複数の画像のうちの１つまたは複数は、前記隠されている歩行者が前記地面と接触する前記領域の表現を含む、
    請求項１７に記載のナビゲーションシステム。
  19. 前記複数の画像は、取得された最大２０画像フレームを含む、
    請求項１７または１８に記載のナビゲーションシステム。
  20. 前記少なくとも１つのプロセッサは、前記複数の画像のうちの１つまたは複数を前記分析モジュールに提供するようにプログラムされており、
    前記隠されている歩行者と前記地面との前記接触位置の前記指標は、少なくとも部分的に、前記複数の画像のうちの１つまたは複数に基づいて決定される、
    請求項１７から１９の何れか一項に記載のナビゲーションシステム。
  21. ホスト車両用のナビゲーションシステムであって、
    前記ホスト車両内のカメラから、前記ホスト車両の環境を表す、少なくとも１つの取り込まれた画像を受信し、
    前記少なくとも１つの取り込まれた画像に表される歩行者を検出し、
    前記少なくとも１つの取り込まれた画像を分析して、前記少なくとも１つの取り込まれた画像に表される前記歩行者の頭に関連する、角回転の指標およびピッチ角の指標を特定し、
    前記歩行者の前記頭に関連する、前記角回転の指標および前記ピッチ角の指標に基づいて、前記ホスト車両による少なくとも１つのナビゲーション動作を引き起こす
    ようにプログラムされた少なくとも１つのプロセッサを備える、
    ナビゲーションシステム。
  22. 前記少なくとも１つのナビゲーション動作を引き起こすことは、前記角回転の指標および前記ピッチ角の指標に基づいて決定される前記歩行者の見る方向に関連する、
    請求項２１に記載のナビゲーションシステム。
  23. 前記歩行者の前記見る方向は、前記ホスト車両のほうを見ている前記歩行者を示す、
    請求項２２に記載のナビゲーションシステム。
  24. 前記歩行者の前記見る方向は、前記ホスト車両から離れるほうを見ている前記歩行者を示す、
    請求項２２に記載のナビゲーションシステム。
  25. 前記歩行者の前記見る方向は、前記ホスト車両の前記環境における対象車両のほうを見ている前記歩行者を示す、
    請求項２２に記載のナビゲーションシステム。
  26. 前記歩行者の前記見る方向は、
    前記ホスト車両のほうを見ている前記歩行者、
    前記ホスト車両から離れるほうを見ている前記歩行者、または、
    前記ホスト車両の前記環境における対象車両のほうを見ている前記歩行者、
    を示し、
    前記ホスト車両が行うようにさせられる前記少なくとも１つのナビゲーション動作は、前記見る方向が示すものが、前記歩行者が前記ホスト車両のほうを見ていることか、前記ホスト車両から離れるほうを見ていることか、または、前記対象車両のほうを見ていることか、に依存する、
    請求項２２に記載のナビゲーションシステム。
  27. 前記少なくとも１つのナビゲーション動作は、前記歩行者が前記ホスト車両から離れるほうを見ていると決定されたならば、前記ホスト車両を減速することを含む、
    請求項２６に記載のナビゲーションシステム。
  28. 前記少なくとも１つのナビゲーション動作は、前記歩行者が前記ホスト車両のほうを見ていると決定されたならば、前記ホスト車両の速度および進行方向を維持することを含む、
    請求項２６または２７に記載のナビゲーションシステム。
  29. 前記少なくとも１つのナビゲーション動作は、前記歩行者が前記ホスト車両の前方で同じ方向に走行している対象車両のほうを見ていると決定されたならば、前記ホスト車両の速度および進行方向を維持することを含む、
    請求項２６から２８の何れか一項に記載のナビゲーションシステム。
  30. 前記少なくとも１つのナビゲーション動作は、前記歩行者が、前記ホスト車両の前方に位置するが前記ホスト車両と反対の方向に走行している対象車両のほうを見ていると決定されたならば、前記ホスト車両の速度および進行方向を維持することを含む、
    請求項２６から２９の何れか一項に記載のナビゲーションシステム。
  31. 前記少なくとも１つの取り込まれた画像は、複数の取り込まれた画像を含み、前記角回転の指標および前記ピッチ角の指標における変化は、前記複数の取り込まれた画像の分析に基づいて時間の経過に伴い追跡される、
    請求項２１から３０の何れか一項に記載のナビゲーションシステム。
  32. 前記ホスト車両が行うようにさせられる前記少なくとも１つのナビゲーション動作は、少なくとも部分的に、時間の経過に伴い追跡される前記角回転の指標および前記ピッチ角の指標における前記変化に基づいて決定される、
    請求項３１に記載のナビゲーションシステム。
  33. 前記少なくとも１つの取り込まれた画像は、様々な頭の向きおよび見る方向を示す歩行者の表現を含む複数の訓練用画像を含む訓練用データに基づいて、少なくとも１つの取り込まれた画像を分析するように構成された少なくとも１つの訓練モデルによって分析される、
    請求項２１から３２の何れか一項に記載のナビゲーションシステム。
  34. 前記訓練モデルはニューラルネットワークを含む、
    請求項３３に記載のナビゲーションシステム。
  35. 前記少なくとも１つのナビゲーション動作は、前記ホスト車両の加速、ブレーキまたは旋回のうちの少なくとも１つを含む、
    請求項２１から３４の何れか一項に記載のナビゲーションシステム。
  36. ホスト車両をナビゲートするための方法であって、
    前記ホスト車両内のカメラから、前記ホスト車両の環境を表す、少なくとも１つの取り込まれた画像を受信することと、
    前記少なくとも１つの取り込まれた画像に表される歩行者を検出することと、
    前記少なくとも１つの取り込まれた画像を分析して、前記少なくとも１つの取り込まれた画像に表される前記歩行者の頭に関連する、角回転の指標およびピッチ角の指標を特定することと、
    前記歩行者の前記頭に関連する、前記角回転の指標および前記ピッチ角の指標に基づいて、前記ホスト車両による少なくとも１つのナビゲーション動作を引き起こすことと
    を備える方法。
  37. 前記少なくとも１つのナビゲーション動作を引き起こすことは、前記角回転の指標および前記ピッチ角の指標に基づいて決定される前記歩行者の見る方向に関連する、
    請求項３６に記載の方法。
  38. 前記歩行者の前記見る方向は、前記ホスト車両のほうを見ている前記歩行者を示す、
    請求項３７に記載の方法。
  39. 前記歩行者の前記見る方向は、前記ホスト車両から離れるほうを見ている前記歩行者を示す、
    請求項３７に記載の方法。
  40. 前記歩行者の前記見る方向は、前記ホスト車両の前記環境における対象車両のほうを見ている前記歩行者を示す、
    請求項３７に記載の方法。
  41. ホスト車両に対するフリースペースを検出し、且つ、前記検出されたフリースペースに対して前記ホスト車両をナビゲートするためのシステムであって、
    前記ホスト車両に関連する１つまたは複数のカメラから、前記ホスト車両の前方、後方および側方の領域を表す複数の画像を受信し、
    前記複数の画像を関連づけて、前記ホスト車両を取り囲む環境の、途切れない３６０度視界を与え、
    前記関連づけられた複数の画像を分析して、前記ホスト車両を取り囲む前記環境におけるフリースペース領域を識別し、
    前記ホスト車両に、前記識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けさせながら、前記識別されたフリースペース領域内をナビゲートさせる
    ようにプログラムされた少なくとも１つのプロセッサを備える、
    システム。
  42. 前記フリースペース領域は地続きである、
    請求項４１に記載のシステム。
  43. 前記フリースペース領域は、非フリースペースによって互いに分割された複数のフリースペースサブ領域を含む、
    請求項４１または４２に記載のシステム。
  44. 前記１つまたは複数のカメラは広角レンズを含む、
    請求項４１から４３の何れか一項に記載のシステム。
  45. 前記１つまたは複数のカメラは、重なり合う視野を有する、
    請求項４１から４４の何れか一項に記載のシステム。
  46. 前記複数の画像を関連付けることは、前記複数の画像の２つまたはそれより多くに表される現実世界点を検出し、且つ、前記検出された現実世界点を用いて前記ホスト車両を取り囲む前記環境における複数の隣接領域の画像を揃えることを含む、
    請求項４１から４５の何れか一項に記載のシステム。
  47. 前記途切れない３６０度視界は、前記ホスト車両を取り囲む前記環境の上面視を含む、
    請求項４１から４６の何れか一項に記載のシステム。
  48. 前記上面視は、前記ホスト車両のルーフ表面の上方の予め定められた高さからのシミュレーションされた視界を含む、
    請求項４７に記載のシステム。
  49. 前記フリースペース領域は、私道、駐車場、車道または縁石のうちの少なくとも１つの中に含まれる、
    請求項４１から４８の何れか一項に記載のシステム。
  50. 前記識別されたフリースペース領域の外側の前記領域は、検出された障害物を含む領域、検出された歩行者を含む領域、検出された道路にできた穴を含む領域、のうちの１つまたは複数を含む、
    請求項４１から４９の何れか一項に記載のシステム。
  51. 前記障害物、前記歩行者または前記道路にできた穴のうちの１つまたは複数は、前記複数の画像の分析に基づいて検出される、
    請求項５０に記載のシステム。
  52. 前記ホスト車両をナビゲートすることは、前記ホスト車両を加速させること、ブレーキをかけること、または、旋回させること、のうちの少なくとも１つを含む、
    請求項４１から５１の何れか一項に記載のシステム。
  53. 前記ホスト車両をナビゲートすることは、私道に入ること、またはそこから出ることを含む、
    請求項４１から５２の何れか一項に記載のシステム。
  54. 前記ホスト車両をナビゲートすることは、駐車スペースに入ること、またはそこから出ることを含む、
    請求項４１から５３の何れか一項に記載のシステム。
  55. 前記ホスト車両をナビゲートすることは、前記ホスト車両に、都市環境で移動させることを含む、
    請求項４１から５４の何れか一項に記載のシステム。
  56. 前記ホスト車両をナビゲートすることは、前記ホスト車両に、１人または複数の歩行者に対して移動させることを含む、
    請求項４１から５５の何れか一項に記載のシステム。
  57. ホスト車両に対するフリースペースを検出し、且つ、前記検出されたフリースペースに対して前記ホスト車両をナビゲートするためのコンピュータ実装方法であって、
    前記ホスト車両に関連する１つまたは複数のカメラから、前記ホスト車両の前方、後方および側方の領域を表す複数の画像を受信することと、
    前記複数の画像を関連づけて、前記ホスト車両を取り囲む環境の、途切れない３６０度視界を与えることと、
    前記関連づけられた複数の画像を分析して、前記ホスト車両を取り囲む前記環境におけるフリースペース領域を識別することと、
    前記ホスト車両に、前記識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けさせながら、前記識別されたフリースペース領域内をナビゲートさせることと
    を備える方法。
  58. 前記フリースペース領域は地続きである、
    請求項５７に記載の方法。
  59. 前記フリースペース領域は、非フリースペースによって互いに分割された複数のフリースペースサブ領域を含む、
    請求項５７または５８に記載の方法。
  60. 前記１つまたは複数のカメラは広角レンズを含む、
    請求項５７から５９の何れか一項に記載の方法。
  61. プログラムであって、
    前記プログラムは、プロセッサによって実行された場合に、前記プロセッサに、ホスト車両に対するフリースペースを検出し、且つ、前記検出されたフリースペースに対して前記ホスト車両をナビゲートするための方法を実行させる命令を含み、
    前記方法は、
    前記ホスト車両に関連する１つまたは複数のカメラから、前記ホスト車両の前方、後方および側方の領域を表す複数の画像を受信することと、
    前記複数の画像を関連づけて、前記ホスト車両を取り囲む環境の、途切れない３６０度視界を与えることと、
    前記関連づけられた複数の画像を分析して、前記ホスト車両を取り囲む前記環境におけるフリースペース領域を識別することと、
    前記ホスト車両に、前記識別されたフリースペース領域の外側の領域内をナビゲーションすることを避けさせながら、前記識別されたフリースペース領域内をナビゲートさせることと
    を備える、
    プログラム。
JP2022541276A 2020-01-03 2020-12-31 歩行者を伴い、車両フリースペースを特定する車両ナビゲーション Pending JP2023500993A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US202062957014P 2020-01-03 2020-01-03
US202062956964P 2020-01-03 2020-01-03
US202062956970P 2020-01-03 2020-01-03
US62/956,970 2020-01-03
US62/956,964 2020-01-03
US62/957,014 2020-01-03
US202062957524P 2020-01-06 2020-01-06
US62/957,524 2020-01-06
PCT/US2020/067756 WO2021138619A2 (en) 2020-01-03 2020-12-31 Vehicle navigation with pedestrians and determining vehicle free space

Publications (1)

Publication Number Publication Date
JP2023500993A true JP2023500993A (ja) 2023-01-17

Family

ID=74495035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022541276A Pending JP2023500993A (ja) 2020-01-03 2020-12-31 歩行者を伴い、車両フリースペースを特定する車両ナビゲーション

Country Status (5)

Country Link
US (2) US11680801B2 (ja)
EP (1) EP4078088A2 (ja)
JP (1) JP2023500993A (ja)
GB (1) GB2599840B (ja)
WO (1) WO2021138619A2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784186B (zh) * 2018-12-18 2020-12-15 深圳云天励飞技术有限公司 一种行人重识别方法、装置、电子设备及计算机可读存储介质
JP7351805B2 (ja) * 2020-07-01 2023-09-27 トヨタ自動車株式会社 情報処理方法、プログラム、車載装置及び車両
US20220198180A1 (en) * 2020-12-23 2022-06-23 Gm Cruise Holdings Llc Gesture analysis for autonomous vehicles
JP7355050B2 (ja) * 2021-03-04 2023-10-03 トヨタ自動車株式会社 車両制御装置、車両制御方法およびプログラム
CN114418093B (zh) * 2022-01-19 2023-08-25 北京百度网讯科技有限公司 训练路径表征模型、输出信息的方法和装置
CN114821531B (zh) * 2022-04-25 2023-03-28 广州优创电子有限公司 基于电子外后视镜adas的车道线识别图像显示系统
CN115641719B (zh) * 2022-10-25 2024-03-19 东南大学 一种高速公路行人检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP2011065338A (ja) * 2009-09-16 2011-03-31 Toyota Central R&D Labs Inc 対象物追跡装置及びプログラム
JP2013149146A (ja) * 2012-01-20 2013-08-01 Nec Corp 物体検知装置、物体検知方法、および、コンピュータ・プログラム
WO2015186570A1 (ja) * 2014-06-03 2015-12-10 住友重機械工業株式会社 建設機械用人物検知システム
US20160180192A1 (en) * 2014-06-06 2016-06-23 Honda Motor Co., Ltd. System and method for partially occluded object detection
US20170205506A1 (en) * 2014-07-25 2017-07-20 Robert Bosch Gmbh Method for migrating radar sensor limitations with video camera input for active braking for pedestrians
WO2017158983A1 (ja) * 2016-03-18 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012029382A1 (ja) * 2010-08-31 2012-03-08 本田技研工業株式会社 車両周辺監視装置
KR101569411B1 (ko) * 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
US9805274B2 (en) * 2016-02-03 2017-10-31 Honda Motor Co., Ltd. Partially occluded object detection using context and depth ordering
US10692000B2 (en) * 2017-03-20 2020-06-23 Sap Se Training machine learning models
DE102018212655A1 (de) * 2018-07-30 2020-01-30 Conti Temic Microelectronic Gmbh Erkennung der Bewegungsabsicht eines Fußgängers aus Kamerabildern
US11508049B2 (en) * 2018-09-13 2022-11-22 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP2011065338A (ja) * 2009-09-16 2011-03-31 Toyota Central R&D Labs Inc 対象物追跡装置及びプログラム
JP2013149146A (ja) * 2012-01-20 2013-08-01 Nec Corp 物体検知装置、物体検知方法、および、コンピュータ・プログラム
WO2015186570A1 (ja) * 2014-06-03 2015-12-10 住友重機械工業株式会社 建設機械用人物検知システム
US20160180192A1 (en) * 2014-06-06 2016-06-23 Honda Motor Co., Ltd. System and method for partially occluded object detection
US20170205506A1 (en) * 2014-07-25 2017-07-20 Robert Bosch Gmbh Method for migrating radar sensor limitations with video camera input for active braking for pedestrians
WO2017158983A1 (ja) * 2016-03-18 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム

Also Published As

Publication number Publication date
GB2599840B (en) 2023-02-08
WO2021138619A2 (en) 2021-07-08
EP4078088A2 (en) 2022-10-26
US20230296382A1 (en) 2023-09-21
US11680801B2 (en) 2023-06-20
US20220332349A1 (en) 2022-10-20
GB2599840A (en) 2022-04-13
WO2021138619A3 (en) 2021-09-16
GB202200065D0 (en) 2022-02-16

Similar Documents

Publication Publication Date Title
US20210372808A1 (en) Collecting non-semantic feature points
JP2022553491A (ja) 車両ナビゲーション用のシステムおよび方法
JP2022166185A (ja) 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信
JP2022166143A (ja) ナビゲーションパラメータを決定するためのシステム及び方法
JP2023509468A (ja) 車両ナビゲーション用のシステムおよび方法
JP2024045389A (ja) レーンマッピング及びナビゲーション
US20220282990A1 (en) Generating a Navigational Map
US20230175852A1 (en) Navigation systems and methods for determining object dimensions
US11680801B2 (en) Navigation based on partially occluded pedestrians
JP2023532482A (ja) 開いている扉を検出するためのシステムおよび方法
US20220327843A1 (en) Systems and methods for detecting traffic lights
JP2023519940A (ja) 車両をナビゲートするための制御ループ
JP2023539868A (ja) マップベースの現実世界モデル化のシステム及び方法
EP4182838A1 (en) Systems and methods for dynamic road geometry modeling and navigation
JP2023504604A (ja) 車両を選択的に減速させるシステムおよび方法
WO2023133420A1 (en) Traffic light oriented network
CN116601671A (zh) 关于行人和确定交通工具自由空间的交通工具导航
GB2616114A (en) Vehicle navigation with pedestrians and determining vehicle free space
WO2023067385A2 (en) Radar-camera fusion for vehicle navigation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221102

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230515

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230821

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230831

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419