JP2021088357A - 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信 - Google Patents

自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信 Download PDF

Info

Publication number
JP2021088357A
JP2021088357A JP2021013983A JP2021013983A JP2021088357A JP 2021088357 A JP2021088357 A JP 2021088357A JP 2021013983 A JP2021013983 A JP 2021013983A JP 2021013983 A JP2021013983 A JP 2021013983A JP 2021088357 A JP2021088357 A JP 2021088357A
Authority
JP
Japan
Prior art keywords
vehicle
road
image
data
road segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021013983A
Other languages
English (en)
Other versions
JP7040867B2 (ja
Inventor
フリードマン，オフェル
Fridman Ofer
イツァーク ベライッシュ，リーバイ
Itzhak Bellaiche Levi
イツァーク ベライッシュ，リーバイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Publication of JP2021088357A publication Critical patent/JP2021088357A/ja
Application granted granted Critical
Publication of JP7040867B2 publication Critical patent/JP7040867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3819—Road shape data, e.g. outline of a route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instructional Devices (AREA)

Abstract

【課題】自律車両ナビゲーションのために疎な地図及びレーン測定値を生成、配信及び使用するシステム及び方法を提供する。【解決手段】疎な地図モデルを受信することであって、前記疎な地図モデルは、前記道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、受信することと、カメラから、前記車両の環境を表す少なくとも１つの画像を受信することと、前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像を分析して前記道路セグメントに沿って延びる前記路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定することと、前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像の前記分析に基づいて前記車両の自律ナビゲーション応答を決定する。【選択図】図２６

Description

関連出願の相互参照
本願は、２０１６年７月２１日に出願された米国仮特許出願第６２／３６５，１８８号、２０１６年７月２１日に出願された米国仮特許出願第６２／３６５，１９２号、及び２０１６年８月１０日に出願された米国仮特許出願第６２／３７３，１５３号の優先権の利益を主張するものである。上記出願の全ては、全体的に参照により本明細書に援用される。
背景
技術分野
本開示は、概して、自律車両ナビゲーション及び自律車両ナビゲーションのための疎な地図に関する。特に、本開示は、自律車両ナビゲーションのための疎な地図をクラウドソーシングするシステム及び方法、クラウドソーシングされた自律車両ナビゲーションのための疎な地図を配信するシステム及び方法、クラウドソーシングされた疎な地図を使用して車両をナビゲーションするシステム及び方法、クラウドソーシングされた地図データを位置合わせするシステム及び方法、クラウドソーシングされた路面情報収集のシステム及び方法、並びにレーン測定値を使用して車両を位置特定するシステム及び方法に関する。
背景情報
技術が進化し続けるにつれ、路上でナビゲーション可能な完全自律車両という目標が現実味を帯びてきている。自律車両は、様々な要因を考慮する必要があり得、それらの要因に基づいて、意図される目的地に安全且つ正確に到達するのに適切な判断を下し得る。例えば、自律車両は、視覚情報（例えば、カメラから捕捉された情報）を処理して解釈する必要があり得ると共に、他のソースから（例えば、ＧＰＳデバイス、速度センサ、加速度計、サスペンションセンサ等から）得られる情報を使用することもある。同時に、目的地にナビゲーションするために、自律車両は、特定の道路内の車両の位置（例えば、複数レーン道路内の特定のレーン）を識別し、他の車両と並んでナビゲーションし、障害物及び歩行者を回避し、交通信号及び標識を観測し、適切な交差点又はインターチェンジで１つの道路から別の道路に走行する必要もあり得る。自律車両が目的地まで走行する際にその車両により収集される膨大な量の情報の利用及び解釈は、多くの設計課題を課す。自律車両が分析、アクセス及び／又は記憶する必要があり得る膨大な量のデータ（例えば、捕捉される画像データ、地図データ、ＧＰＳデータ、センサデータ等）は、実際に自律ナビゲーションを制限する恐れがある課題又は更には自律ナビゲーションに悪影響を及ぼす恐れがある課題を課す。更に、自律車両がナビゲーションのために従来のマッピング技術に依存する場合、地図を記憶及び更新するために必要な膨大な量のデータは、困難な課題を課す。
地図を更新するためのデータの収集に加えて、自律車両は、地図をナビテーションに使用することができなければならない。したがって、地図のサイズ及び詳細度は、その構築及び伝送と同様に最適化されなければならない。
概要
本開示による実施形態は、自律車両ナビゲーションのシステム及び方法を提供する。開示される実施形態は、カメラを使用して、自律車両ナビゲーション特徴を提供し得る。例えば、本開示の実施形態によれば、開示されるシステムは、車両の環境を監視する１つ、２つ、又は３つ以上のカメラを含み得る。開示されるシステムは、例えば、カメラの１つ又は複数により捕捉された画像の分析に基づいてナビゲーション応答を提供し得る。開示されるシステムは、クラウドソーシングされた疎な地図を用いた構築及びナビゲーションを提供することもできる。他の開示されるシステムは、画像の関連付けられた分析を使用して、疎な地図でナビゲーションを補足し得る位置特定を実行し得る。ナビゲーション応答は、例えば、全地球測位システム（ＧＰＳ）データ、センサデータ（例えば、加速度計、速度センサ、サスペンションセンサ等から）、及び／又は他の地図データを含む他のデータを考慮することもできる。
上述したように、幾つかの実施形態では、開示されるシステム及び方法は、疎な地図を自律車両ナビゲーションに使用し得る。例えば、疎な地図は、過度なデータ記憶を必要とせずにナビゲーションに十分な情報を提供し得る。
他の実施形態では、開示されるシステム及び方法は、自律車両ナビゲーションのための道路モデルを構築し得る。例えば、開示されるシステム及び方法は、自律車両ナビゲーションのための疎な地図のクラウドソーシング、自律車両ナビゲーションのためのクラウドソーシングされた疎な地図の配信、及びクラウドソーシングされた地図データの位置合わせを可能にし得る。幾つかの開示されるシステム及び方法は、追加又は代替として、路面情報収集をクラウドソーシングし得る。
更に他の実施形態では、開示されるシステム及び方法は、疎な地図を自律車両ナビゲーションに使用し得る。例えば、開示されるシステム及び方法は、クラウドソーシングされた疎な地図を使用して車両をナビゲーションすることを提供し得る。
更に他の実施形態では、開示されるシステム及び方法は、適応自律ナビゲーションを提供し得る。例えば、開示されるシステム及び方法は、レーン測定値を使用した車両の位置特定を提供し得る。
幾つかの実施形態では、非一時的コンピュータ可読媒体は、道路セグメントに沿った自律車両ナビゲーションのための疎な地図を含み得る。疎な地図は、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現と、道路セグメントに関連付けられた複数の陸標とを含み得る。各線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得、路面特徴は、１つ又は複数の車両が道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別され得る。
他の実施形態では、道路セグメントに沿った自律車両ナビゲーションのための疎な地図を生成するシステムは、少なくとも１つの処理デバイスを含み得る。少なくとも１つの処理デバイスは、１つ又は複数の車両が道路セグメントを走行する際に取得された複数の画像を受信することと、複数の画像に基づいて、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を識別することと、複数の画像に基づいて、道路セグメントに関連付けられた複数の陸標を識別することとを行うように構成され得る。各線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得る。
更に他の実施形態では、道路セグメントに沿った自律車両ナビゲーションのための疎な地図を生成する方法は、１つ又は複数の車両が道路セグメントを走行する際に取得された複数の画像を受信することと、複数の画像に基づいて、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を識別することと、複数の画像に基づいて、道路セグメントに関連付けられた複数の陸標を識別することとを含み得る。各線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得る。
幾つかの実施形態では、自律車両ナビゲーションで使用される道路ナビゲーションモデルを生成する方法は、サーバにより、複数の車両からナビゲーション情報を受信することを含み得る。複数の車両からのナビゲーション情報は、共通の道路セグメントに関連付けられ得る。本方法は、サーバにより、共通の道路セグメントに関連付けられたナビゲーション情報を記憶することと、サーバにより、複数の車両からのナビゲーション情報に基づいて、共通の道路セグメントのための自律車両道路ナビゲーションモデルの少なくとも一部を生成することとを更に含み得る。共通の道路セグメントのための自律車両道路ナビゲーションモデルは、共通の道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み得、各線表現は、路面特徴に実質的に対応する共通の道路セグメントに沿った経路を表し得る。更に、路面特徴は、複数の車両が共通の道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別され得る。本方法は、サーバにより、共通の道路セグメントに沿って１つ又は複数の自律車両を自律的にナビゲーションするのに使用するために自律車両道路ナビゲーションモデルを１つ又は複数の自律車両に配信することを更に含み得る。
他の実施形態では、自律車両ナビゲーションで使用する道路ナビゲーションモデルを生成するシステムは、少なくとも１つのネットワークインタフェースと、少なくとも１つの非一時的記憶媒体と、少なくとも１つの処理デバイスとを含み得る。少なくとも１つの処理デバイスは、ネットワークインタフェースを使用して複数の車両からナビゲーション情報を受信するように構成され得る。複数の車両からのナビゲーション情報は、共通の道路セグメントに関連付けられ得る。少なくとも１つの処理デバイスは、共通の道路セグメントに関連付けられたナビゲーション情報を非一時的記憶媒体に記憶することと、複数の車両からのナビゲーション情報に基づいて、共通の道路セグメントのための自律車両道路ナビゲーションモデルの少なくとも一部を生成することとを行うように更に構成され得る。共通の道路セグメントのための自律車両道路ナビゲーションモデルは、共通の道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み得、各線表現は、路面特徴に実質的に対応する共通の道路セグメントに沿った経路を表し得る。更に、路面特徴は、複数の車両が共通の道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別され得る。少なくとも１つの処理デバイスは、ネットワークインタフェースを使用して、共通の道路セグメントに沿って１つ又は複数の自律車両を自律的にナビゲーションするのに使用するために自律車両道路ナビゲーションモデルを１つ又は複数の自律車両に配信するように更に構成され得る。
幾つかの実施形態では、道路セグメントに沿って車両を自律的にナビゲーションするシステムは、少なくとも１つの処理デバイスを含み得る。少なくとも１つの処理デバイスは、疎な地図モデルを受信するように構成され得る。疎な地図モデルは、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み得、各線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得る。少なくとも１つの処理デバイスは、カメラから、車両の環境を表す少なくとも１つの画像を受信することと、疎な地図モデル及びカメラから受信された少なくとも１つの画像を分析することと、疎な地図モデル及びカメラから受信された少なくとも１つの画像の分析に基づいて車両の自律ナビゲーション応答を決定することとを行うように更に構成され得る。
他の実施形態では、道路セグメントに沿って車両を自律的にナビゲーションする方法は、疎な地図モデルを受信することを含み得る。疎な地図モデルは、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み得、各線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得る。本方法は、カメラから、車両の環境を表す少なくとも１つの画像を受信することと、疎な地図モデル及びカメラから受信された少なくとも１つの画像を分析することと、疎な地図モデル及びカメラから受信された少なくとも１つの画像の分析に基づいて車両の自律ナビゲーション応答を決定することとを更に含み得る。
幾つかの実施形態では、道路セグメントに沿って延びる路面特徴の線表現を特定する方法であり、路面特徴の線表現は、自律車両ナビゲーションで使用されるように構成され、方法は、サーバにより、路面特徴に関連付けられた位置情報を含む運転データの第１の組を受信することと、サーバにより、路面特徴に関連付けられた位置情報を含む運転データの第２の組を受信することとを含み得る。位置情報は、道路セグメントの画像の分析に基づいて特定され得る。本方法は、運転データの第１の組を第１の運転パッチにセグメント化し、且つ運転データの第２の組を第２の運転パッチにセグメント化することと、運転データの第１の組を、対応するパッチ内の運転データの第２の組に長手方向に位置合わせすることと、第１のドラフトパッチ及び第２のドラフトパッチにおける長手方向に位置合わせされた第１の運転データ及び第２の運転データに基づいて路面特徴の線表現を特定することとを更に含み得る。
他の実施形態では、道路セグメントに沿って延びる路面特徴の線表現を特定するシステムであり、路面特徴の線表現は、自律車両ナビゲーションで使用されるように構成され、システムは、少なくとも１つの処理デバイスを含み得る。少なくとも１つの処理デバイスは、路面特徴に関連付けられた位置情報を含む運転データの第１の組を受信することと、路面特徴に関連付けられた位置情報を含む運転データの第２の組を受信することとを行うように構成され得る。位置情報は、道路セグメントの画像の分析に基づいて特定され得る。少なくとも１つの処理デバイスは、運転データの第１の組を第１の運転パッチにセグメント化し、且つ運転データの第２の組を第２の運転パッチにセグメント化することと、運転データの第１の組を、対応するパッチ内の運転データの第２の組に長手方向に位置合わせすることと、第１のドラフトパッチ及び第２のドラフトパッチにおける長手方向に位置合わせされた第１の運転データ及び第２の運転データに基づいて路面特徴の線表現を特定することとを行うように更に構成され得る。
幾つかの実施形態では、道路セグメントの路面情報を収集するシステムは、少なくとも１つの処理デバイスを含み得る。少なくとも１つの処理デバイスは、カメラから、道路セグメントの一部を表す少なくとも１つの画像を受信することと、少なくとも１つの画像において、道路セグメントの一部に沿った少なくとも１つの路面特徴を識別することとを行うように構成され得る。少なくとも１つの処理デバイスは、車両のローカル座標系に従って、路面特徴に関連付けられた複数の位置を特定することと、特定された複数の位置を車両からサーバに送信することとを行うように更に構成され得る。特定された位置は、サーバによる、道路セグメントに沿って延びる路面特徴の線表現の特定を可能にするように構成され得、線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得る。
他の実施形態では、道路セグメントの路面情報を収集する方法は、カメラから、道路セグメントの一部を表す少なくとも１つの画像を受信することと、少なくとも１つの画像において、道路セグメントの一部に沿った少なくとも１つの路面特徴を識別することとを含み得る。本方法は、車両のローカル座標系に従って、路面特徴に関連付けられた複数の位置を特定することと、特定された複数の位置を車両からサーバに送信することとを更に含み得る。特定された位置は、サーバによる、道路セグメントに沿って延びる路面特徴の線表現の特定を可能にするように構成され得、線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得る。
幾つかの実施形態では、道路セグメントを移動している車両の位置を修正するシステムは、少なくとも１つの処理デバイスを含み得る。少なくとも１つの処理デバイスは、少なくとも１つのナビゲーションセンサの出力に基づいて、所定の道路モデル軌道に沿った車両の測定位置を特定するように構成され得る。所定の道路モデル軌道は、道路セグメントに関連付けられ得る。少なくとも１つの処理デバイスは、画像捕捉デバイスから、車両の環境を表す少なくとも１つの画像を受信することと、少なくとも１つのレーンマークを識別するために少なくとも１つの画像を分析することとを行うように更に構成され得る。少なくとも１つのレーンマークは、道路セグメントに沿った走行レーンに関連付けられ得る。少なくとも１つの処理デバイスは、少なくとも１つの画像に基づいて、車両から少なくとも１つのレーンマークへの距離を特定することと、車両の測定位置及び特定された距離に基づいて、所定の道路モデル軌道からの車両の推定オフセットを特定することと、車両の位置を修正するために、推定オフセットに基づいて車両の自律操舵動作を決定することとを行うように更に構成され得る。
他の実施形態では、道路セグメントを移動している車両の位置を修正する方法は、少なくとも１つのナビゲーションセンサの出力に基づいて、所定の道路モデル軌道に沿った車両の測定位置を特定することを含み得る。所定の道路モデル軌道は、道路セグメントに関連付けられ得る。本方法は、画像捕捉デバイスから、車両の環境を表す少なくとも１つの画像を受信することと、少なくとも１つのレーンマークを識別するために少なくとも１つの画像を分析することとを更に含み得る。少なくとも１つのレーンマークは、道路セグメントに沿った走行レーンに関連付けられ得る。本方法は、少なくとも１つの画像に基づいて、車両から少なくとも１つのレーンマークへの距離を特定することと、車両の測定位置及び特定された距離に基づいて、所定の道路モデル軌道からの車両の推定オフセットを特定することと、車両の位置を修正するために、推定オフセットに基づいて車両の自律操舵動作を決定することとを更に含み得る。
開示される他の実施形態によれば、非一時的コンピュータ可読記憶媒体は、少なくとも１つの処理デバイスによって実行され、且つ本明細書に記載される任意の方法を実行するプログラム命令を記憶し得る。
上述した概要及び以下に詳述する説明は、単に例示的及び説明的なものであり、特許請求の範囲の限定ではない。
図面の簡単な説明
本開示に組み込まれ、本明細書の一部をなす添付図面は、開示される様々な実施形態を示す。
開示される実施形態による例示的なシステムの図表現である。 開示される実施形態によるシステムを含む例示的な車両の側面図表現である。 開示される実施形態による図２Ａに示される車両及びシステムの上面図表現である。 開示される実施形態によるシステムを含む車両の別の実施形態の上面図表現である。 開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図表現である。 開示される実施形態による例示的な車両制御システムの図表現である。 バックミラーと、開示される実施形態による車両撮像システムのユーザインタフェースとを含む車両の内部の図表現である。 開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 開示される実施形態による、異なる視点からの図３Ｂに示されるカメラマウントの図である。 開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図である。 開示される実施形態による１つ又は複数の動作を実行する命令を記憶するように構成されるメモリの例示的なブロック図である。 開示される実施形態による、単眼画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 開示される実施形態による、画像の組内の１つ又は複数の車両及び／又は歩行者を検出する例示的なプロセスを示すフローチャートである。 開示される実施形態による、画像の組内の道路マーク及び／又はレーンジオメトリ情報を検出する例示的なプロセスを示すフローチャートである。 開示される実施形態による、画像の組内の信号機を検出する例示的なプロセスを示すフローチャートである。 開示される実施形態による、車両経路に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスのフローチャートである。 開示される実施形態による、先行車両がレーンを変更中であるか否かを特定する例示的なプロセスを示すフローチャートである。 開示される実施形態による、立体画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 開示される実施形態による、３組の画像の分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャートである。 開示される実施形態による自律車両ナビゲーションを提供する疎な地図を示す。 開示される実施形態による道路セグメントの部分の多項式表現を示す。 開示される実施形態による、疎な地図に含まれる特定の道路セグメントの車両の目標軌道を表す三次元空間内の曲線を示す。 開示される実施形態による疎な地図に含み得る陸標例を示す。 開示される実施形態による軌道の多項式表現を示す。 開示される実施形態による複数レーン道路に沿った目標軌道を示す。 開示される実施形態による複数レーン道路に沿った目標軌道を示す。 開示される実施形態による道路シグネチャプロファイル例を示す。 開示される実施形態による、自律車両ナビゲーションについて複数の車両から受信されるクラウドソースデータを使用するシステムの概略図である。 開示される実施形態による、複数の三次元スプラインにより表される自律車両道路ナビゲーションモデル例を示す。 開示される実施形態による、多くの運転からの位置情報を結合することから生成された地図スケルトンを示す。 開示される実施形態による、２つの運転と陸標としての標識例との長手方向の位置合わせの例を示す。 開示される実施形態による、多くの運転と陸標としての標識例との長手方向の位置合わせの例を示す。 開示される実施形態による、カメラ、車両、及びサーバを使用して運転データを生成するシステムの概略図である。 開示される実施形態による、疎な地図をクラウドソーシングするシステムの概略図である。 開示される実施形態による、道路セグメントに沿った自律車両ナビゲーションのための疎な地図を生成する例示的なプロセスを示すフローチャートである。 開示される実施形態によるサーバのブロック図を示す。 開示される実施形態によるメモリのブロック図を示す。 開示される実施形態による車両に関連付けられた車両軌道のクラスタ化プロセスを示す。 開示される実施形態による、自律ナビゲーションに使用し得る車両のナビゲーションシステムを示す。 開示される実施形態による、自律車両ナビゲーションでの使用のために道路ナビゲーションモデルを生成するプロセス例を示すフローチャートである。 開示される実施形態によるメモリのブロック図を示す。 開示される実施形態による、道路セグメントに沿って車両を自律的にナビゲーションするプロセス例を示すフローチャートである。 開示される実施形態によるメモリのブロック図を示す。 開示される実施形態による、４つの別個の運転からの運転データの例を示す。 開示される実施形態による、５つの別個の運転からの運転データの例を示す。 開示される実施形態による、５つの別個の運転からの運転データから特定された車両経路の例を示す。 開示される実施形態による、道路セグメントに沿って延びる路面特徴の線表現を特定するプロセス例を示すフローチャートである。 開示される実施形態によるメモリのブロック図を示す。 開示される実施形態による、道路セグメントの路面情報を収集するプロセス例を示すフローチャートである。 開示される実施形態によるメモリのブロック図を示す。 レーンマークを使用せずにレーンを走行している車両の例を示す。 車両の位置及び進行方位がドリフトした後の図３３Ａの例を示す。 位置及び進行方位が更にドリフトし、陸標の予期される位置が実際の位置からかなりずれた後の図３３Ｂの例を示す。 開示される実施形態による、レーンマークを使用せずにレーンを走行している車両の例を示す。 開示される実施形態による、位置及び進行方位のドリフトを低減した図３４Ａの例を示す。 開示される実施形態による、陸標の予期される位置が実際の位置とかなり位置合わせされた図３４Ｂの例を示す。 開示される実施形態による、道路セグメントをナビゲーションしている車両の位置を修正するプロセス例を示すフローチャートである。
詳細な説明
以下の詳細な説明は、添付図面を参照する。可能な場合には常に、図面及び以下の説明において、同じ又は同様の部分を指すのに同じ参照番号が使用される。幾つかの例示的な実施形態は本明細書で説明されるが、変更形態、適応形態、及び他の実装形態が可能である。例えば、図面に示される構成要素に対する置換形態、追加形態、又は変更形態がなされ得、本明細書に記載される例示的な方法は、開示される方法のステップの置換、順序替え、削除、又は追加により変更することができる。したがって、以下の詳細な説明は、開示される実施形態及び例に限定されない。代わりに、適切な範囲は、添付の特許請求の範囲により規定される。
自律車両概要
本開示を通して使用される場合、「自律車両」という用語は、ドライバーの入力なしで少なくとも１つのナビゲーション変更を実施することが可能な車両を指す。「ナビゲーション変更」は、車両の操舵、ブレーキ、又は加速の１つ又は複数の変更を指す。自律的であるために、車両は完全に自動である（例えば、ドライバーなし又はドライバー入力なしでの完全動作）必要はない。むしろ、自律車両は、特定の時間期間中にはドライバーの制御下で動作し、他の時間期間中にはドライバーの制御なしで動作することができる車両を含む。自律車両は、操舵等の車両ナビゲーションの幾つかの側面のみを制御する（例えば、車両レーン制約間に車両コースを維持するために）が、他の側面（例えば、ブレーキ）をドライバーに任せ得る車両を含むこともできる。幾つかの場合、自律車両は、車両のブレーキ、速度制御、及び／又は操舵の幾つか又は全ての側面を扱い得る。
人間のドライバーは、通常、車両を制御するために視覚的手掛かり及び観測に依存することから、交通基盤はそれに従って構築されており、レーンマーク、交通標識、及び信号機の全ては、視覚的情報をドライバーに提供するように設計されている。交通基盤のこれらの設計特徴に鑑みて、自律車両は、カメラと、車両の環境から捕捉される視覚的情報を分析する処理ユニットとを含み得る。視覚的情報は、例えば、ドライバーにより観測可能な交通基盤の構成要素（例えば、レーンマーク、交通標識、信号機等）及び他の障害物（例えば、他の車両、歩行者、瓦礫等）を含み得る。更に、自動車両は、ナビゲーション時、車両の環境のモデルを提供する情報等の記憶された情報を使用することもできる。例えば、車両は、ＧＰＳデータ、センサデータ（例えば、加速度計、速度センサ、サスペンションセンサ等からの）、及び／又は他の地図データを使用して、車両が走行している間、車両の環境に関連する情報を提供し得、車両（及び他の車両）は、情報を使用して、モデルでの車両自体の位置を特定し得る。
本開示の幾つかの実施形態では、自律車両は、移動している間に得られる情報（例えば、カメラ、ＧＰＳデバイス、加速度計、速度センサ、サスペンションセンサ等からの）を使用し得る。他の実施形態では、自律車両は、移動中、車両（又は他の車両）による過去の移動から得られる情報を使用し得る。更に他の実施形態では、自律車両は、移動している間に得られる情報と、過去の移動から得られる情報との組合せを使用し得る。以下のセクションにおいて、開示される実施形態によるシステムの概要を提供し、その後、前向き撮像システム及びシステムによる方法の概要が続く。以下のセクションは、自律車両ナビゲーションのための疎な地図を構築、使用、及び更新するシステム及び方法を開示する。
システム概要
図１は、開示される例示的な実施形態によるシステム１００のブロック図表現である。システム１００は、特定の実施要件に応じて様々な構成要素を含み得る。幾つかの実施形態では、システム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つ又は複数のメモリユニット１４０、１５０、地図データベース１６０、ユーザインタフェース１７０、及び無線送受信機１７２を含み得る。処理ユニット１１０は、１つ又は複数の処理デバイスを含み得る。幾つかの実施形態では、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、又は任意の他の適する処理デバイスを含み得る。同様に、画像取得ユニット１２０は、特定用途の要件に応じて、任意の数の画像取得デバイス及び構成要素を含み得る。幾つかの実施形態では、画像取得ユニット１２０は、画像捕捉デバイス１２２、画像捕捉デバイス１２４、及び画像捕捉デバイス１２６等の１つ又は複数の画像捕捉デバイス（例えば、カメラ）を含み得る。システム１００は、処理デバイス１１０を画像取得デバイス１２０に通信可能に接続するデータインタフェース１２８を含むこともできる。例えば、データインタフェース１２８は、画像取得デバイス１２０により取得された画像データを処理ユニット１１０に送信する任意の１つ又は複数の有線及び／又は無線リンクを含み得る。
無線送受信機１７２は、無線周波数、赤外線周波数、磁場、又は電場の使用により無線インタフェースを介して伝送情報を１つ又は複数のネットワーク（例えば、セルラ、インターネット等）と交換するように構成される１つ又は複数のデバイスを含み得る。無線送受信機１７２は、任意の既知の標準を使用してデータを送信及び／又は受信し得る（例えば、Ｗｉ−Ｆｉ（登録商標）、Bluetooth（登録商標）、Bluetooth Smart、８０２．１５．４、ZigBee（登録商標）等）。そのような伝送は、ホスト車両から１つ又は複数のリモートロケーションのサーバへの通信を含むことができる。そのような伝送は、ホスト車両と、ホスト車両の環境内の１つ又は複数の標的車両との間の通信（一方向又は双方向）（例えば、ホスト車両の環境内の標的車両を考慮して又は標的車両と一緒に、ホスト車両のナビゲーションの調整を促進するため）又は送信側車両の近傍の非指定受信側へのブロードキャスト伝送を含むこともできる。
アプリケーションプロセッサ１８０及び画像プロセッサ１９０の両方は、様々なタイプの処理デバイスを含み得る。例えば、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のいずれか一方又は両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサ等）、グラフィックス処理装置（ＧＰＵ）、中央演算処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又はアプリケーションを実行し、画像を処理して分析するのに適する任意の他のタイプのデバイスを含み得る。幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、任意のタイプのシングルコア又はマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央演算処理装置等を含み得る。例えば、Intel（登録商標）、AMD（登録商標）等の製造業者から入手可能なプロセッサ又はNVIDIA（登録商標）、ATI（登録商標）等の製造業者から入手可能なＧＰＵを含め、様々な処理デバイスが使用可能であり、様々なアーキテクチャ（例えば、x86プロセッサ、ARM（登録商標）等）を含み得る。
幾つかの実施形態では、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、Mobileye（登録商標）から入手可能な任意のEyeQシリーズのプロセッサをみ得る。これらのプロセッサ設計は、それぞれローカルメモリ及び命令セットを有する複数の処理ユニットを含む。そのようなプロセッサは、複数の画像センサから画像データを受信するビデオ入力を含み得ると共に、ビデオ出力機能を含むこともできる。一例では、EyeQ2（登録商標）は、３３２ＭＨｚで動作する９０ｎｍミクロン技術を使用する。EyeQ2（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ ＣＰＵ（MIPS32（登録商標）34K（登録商標）コア）、５つのビジョン計算エンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（VMP（登録商標））、Denali６４ビットモバイルＤＤＲコントローラ、１２８ビット内部音響相互接続、デュアル１６ビットビデオ入力及び１８ビットビデオ出力コントローラ、１６チャネルＤＭＡ、及び幾つかの周辺機器からなる。MIPS34K ＣＰＵは、５つのＶＣＥ、３つのVMP（商標）及びＤＭＡ、第２のMIPS34K ＣＰＵ及びマルチチャネルＤＭＡ、並びに他の周辺機器を管理する。５つのＶＣＥ、３つのVMP（登録商標）、及びMIPS34K ＣＰＵは、多機能バンドルアプケーションにより要求される集中的なビジョン計算を実行することができる。別の例では、開示される実施形態において、第三世代プロセッサであり、EyeQ2（登録商標）よりも６倍強力なEyeQ3（登録商標）を使用し得る。他の例では、EyeQ4（登録商標）及び／又はEyeQ5（登録商標）は、開示される実施形態に使用され得る。当然ながら、任意のより新しい又は将来のEyeQ処理デバイスも、開示される実施形態と一緒に使用され得る。
本明細書に開示される処理デバイスのいずれも、特定の機能を実行するように構成され得る。特定の機能を実行するように、記載されたEyeQプロセッサのいずれか又は他のコントローラ若しくはマイクロプロセッサ等の処理デバイスを構成することは、コンピュータ実行可能命令をプログラムし、処理デバイスの動作中に実行するように、それらの命令を処理デバイスに提供することを含み得る。幾つかの実施形態では、処理デバイスを構成することは、アーキテクチャ命令を処理デバイスに直接プログラムすることを含み得る。例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）等の処理デバイスは、例えば、１つ又は複数のハードウェア記述言語（ＨＤＬ）を使用して構成され得る。
他の実施形態では、処理デバイスを構成することは、動作中、処理デバイスがアクセス可能なメモリに実行可能命令を記憶することを含み得る。例えば、処理デバイスは、動作中、メモリにアクセスして、記憶された命令を取得及び実行し得る。いずれの場合でも、本明細書に開示される検知、画像分析、及び／又はナビゲーション機能を実行するように構成された処理デバイスは、ホスト車両の複数のハードウェアベースの構成要素を管理する専用ハードウェアベースシステムを表す。
図１は、処理ユニット１１０に含まれる２つの別個の処理デバイスを示すが、より多数又はより少数の処理デバイスを使用することもできる。例えば、幾つかの実施形態では、単一の処理デバイスを使用して、アプリケーションプロセッサ１８０及び画像プロセッサ１９０のタスクを達成し得る。他の実施形態では、これらのタスクは、３つ以上の処理デバイスによって実行され得る。更に、幾つかの実施形態では、システム１００は、画像取得ユニット１２０等の他の構成要素を含まず、処理ユニット１１０の１つ又は複数を含み得る。
処理ユニット１１０は、様々なタイプのデバイスを含み得る。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央演算処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、又は画像を処理及び分析する任意の他のタイプのデバイス等の様々なデバイスを含み得る。画像プリプロセッサは、画像センサから画像を捕捉し、デジタル化し、処理するビデオプロセッサを含み得る。ＣＰＵは、任意の数のマイクロコントローラ又はマイクロプロセッサを含み得る。ＧＰＵも任意の数のマイクロコントローラ又はマイクロプロセッサを含み得る。サポート回路は、キャッシュ、電源、クロック、及び入出力回路を含め、当技術分野で一般に周知の任意の数の回路であり得る。メモリは、プロセッサによって実行されると、システムの動作を制御するソフトウェアを記憶し得る。メモリは、データベース及び画像処理ソフトウェアを含み得る。メモリは、任意の数のランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置、及び他のタイプの記憶装置を含み得る。一例では、メモリは、処理ユニット１１０とは別個であり得る。別の例では、メモリは、処理ユニット１１０に統合され得る。
各メモリ１４０、１５０は、プロセッサ（例えば、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０）によって実行されると、システム１００の様々な態様の動作を制御し得るソフトウェア命令を含み得る。これらのメモリユニットは、様々なデータベース及び画像処理ソフトウェア、並びに例えばニューラルネットワーク又はディープニューラルネットワーク等のトレーニングされたシステムを含み得る。メモリユニットは、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、光学記憶装置、テープ記憶装置、リムーバブル記憶装置、及び／又は任意の他のタイプの記憶装置を含み得る。幾つかの実施形態では、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０とは別個であり得る。他の実施形態では、これらのメモリユニットは、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に統合され得る。
位置センサ１３０は、システム１００の少なくとも１つの構成要素に関連付けられた位置を特定するのに適する任意のタイプのデバイスを含み得る。幾つかの実施形態では、位置センサ１３０はＧＰＳ受信機を含み得る。そのような受信機は、全地球測位システム衛星によりブロードキャストされる信号を処理することにより、ユーザの位置及び速度を特定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０に提供され得る。
幾つかの実施形態では、システム１００は、車両２００の速度を測定する速度センサ（例えば、タコメータ、速度計）及び／又は車両２００の加速度を測定する加速度計（単軸又は多軸のいずれか）等の構成要素を含み得る。
ユーザインタフェース１７０は、情報を提供するか、又はシステム１００の１人若しくは複数のユーザから入力を受信するのに適する任意のデバイスを含み得る。幾つかの実施形態では、ユーザインタフェース１７０は、例えば、タッチスクリーン、マイクロフォン、キーボード、ポインタデバイス、トラックホィール、カメラ、つまみ、ボタン等を含め、ユーザ入力デバイスを含み得る。そのような入力デバイスを用いて、ユーザは、命令若しくは情報をタイプし、音声コマンドを提供し、ボタン、ポインタ、若しくは目追跡機能を使用して、又は情報をシステム１００に通信する任意の他の適する技法を通して画面上のメニュー選択肢を選択することにより、システム１００に情報入力又はコマンドを提供可能であり得る。
ユーザインタフェース１７０は、ユーザに情報を提供するか、又はユーザから情報を受信し、例えば、アプリケーションプロセッサ１８０による使用のためにその情報を処理するように構成される１つ又は複数の処理デバイスを備え得る。幾つかの実施形態では、そのような処理デバイスは、目の動きを認識して追跡する命令、音声コマンドを受信して解釈する命令、タッチスクリーンで行われたタッチ及び／又はジェスチャを認識して解釈する命令、キーボード入力又はメニュー選択に応答する命令等を実行し得る。幾つかの実施形態では、ユーザインタフェース１７０は、ディスプレイ、スピーカ、触覚デバイス、及び／又は出力情報をユーザに提供する任意の他のデバイスを含み得る。
地図データベース１６０は、システム１００にとって有用な地図データを記憶する任意のタイプのデータベースを含み得る。幾つかの実施形態では、地図データベース１６０は、道路、水に関する特徴、地理的特徴、ビジネス、関心点、レストラン、ガソリンスタンド等を含め、様々な項目の、基準座標系での位置に関連するデータを含み得る。地図データベース１６０は、そのような項目の位置のみならず、例えば、記憶された特徴のいずれかに関連付けられた名称を含め、それらの項目に関連する記述子も記憶し得る。幾つかの実施形態では、地図データベース１６０は、システム１００の他の構成要素と共に物理的に配置され得る。代替又は追加として、地図データベース１６０又はその一部は、システム１００の他の構成要素（例えば、処理ユニット１１０）に関してリモートに配置され得る。そのような実施形態では、地図データベース１６０からの情報は、有線又は無線データ接続を介してネットワークにダウンロードされ得る（例えば、セルラネットワーク及び／又はインターネット等を介して）。幾つかの場合、地図データベース１６０は、特定の道路特徴（例えば、レーンマーク）の多項式表現又はホスト車両の目標軌道を含む疎なデータモデルを記憶し得る。そのような地図を生成するシステム及び方法について、図８〜図１９を参照して以下に考察する。
画像捕捉デバイス１２２、１２４、及び１２６は、それぞれ環境から少なくとも１つの画像を捕捉するのに適する任意のタイプのデバイスを含み得る。更に、任意の数の画像捕捉デバイスを使用して、画像プロセッサに入力する画像を取得し得る。幾つかの実施形態は、単一の画像捕捉デバイスのみを含み得る一方、他の実施形態は、２つ、３つ、更には４つ以上の画像捕捉デバイスを含み得る。画像捕捉デバイス１２２、１２４、及び１２６については、図２Ｂ〜図２Ｅを参照して更に以下に説明する。
システム１００又はシステム１００の様々な構成要素は、様々な異なるプラットフォームに組み込み得る。幾つかの実施形態では、システム１００は、図２Ａに示されるように、車両２００に含め得る。例えば、車両２００は、図１に関して上述したように、処理ユニット１１０及びシステム１００の任意の他の構成要素を備え得る。幾つかの実施形態では、車両２００は単一の画像捕捉デバイス（例えば、カメラ）のみを備え得る一方、図２Ｂ〜図２Ｅに関連して考察した実施形態等の他の実施形態では、複数の画像捕捉デバイスが使用可能である。例えば、図２Ａに示されるように、車両２００の画像捕捉デバイス１２２及び１２４のいずれかは、ＡＤＡＳ（最新運転者支援システム）撮像セットの一部であり得る。
画像取得ユニット１２０の一部として車両２００に含まれる画像捕捉デバイスは、任意の適する位置に位置し得る。幾つかの実施形態では、図２Ａ〜図２Ｅ及び図３Ａ〜図３Ｃに示されるように、画像捕捉デバイス１２２は、バックミラーの近傍に配置され得る。この位置は、車両２００のドライバーと同様の視線を提供し得、ドライバーにとって何が見え、何が見えないのかの判断を支援し得る。画像捕捉デバイス１２２は、バックミラーの近傍の任意の位置に位置し得るが、画像捕捉デバイス１２２をミラーのドライバー側に配置することは、ドライバーの視野及び／又は視線を表す画像の取得を更に支援し得る。
画像取得ユニット１２０の画像捕捉デバイスに他の位置を使用することもできる。例えば、画像捕捉デバイス１２４は、車両２００のバンパー上又はバンパー内に配置され得る。そのような位置は、広視野を有する画像捕捉デバイスに特に適し得る。バンパーに配置される画像捕捉デバイスの視線は、ドライバーの視線と異なることができ、したがって、バンパー画像捕捉デバイス及びドライバーは、同じ物体を常に見ているわけではない。画像捕捉デバイス（例えば、画像捕捉デバイス１２２、１２４、及び１２６）は、他の位置に配置することもできる。例えば、画像捕捉デバイスは、車両２００のサイドミラーの一方又は両方、車両２００のルーフ、車両２００のフード、車両２００のトランク、車両２００の側部に配置され得、車両２００の任意のウィンドウに搭載、背後に位置決め、又は前に位置決めされ得、車両２００の前部及び／又は後部のライト又はその近傍等に搭載され得る。
画像捕捉デバイスに加えて、車両２００は、システム１００の様々な他の構成要素を含み得る。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）に統合されるか、又はＥＣＵとは別個に車両２００に含まれ得る。車両２００には、ＧＰＳ受信機等の位置センサ１３０を備えることもでき、車両２００は、地図データベース１６０並びにメモリユニット１４０及び１５０を含むこともできる。
上述したように、無線送受信機１７２は、１つ又は複数のネットワーク（例えば、セルラネットワーク、インターネット等）を介してデータを及び／又は受信し得る。例えば、無線送受信機１７２は、システム１００により収集されたデータを１つ又は複数のサーバにアップロードし、データを１つ又は複数のサーバからダウンロードし得る。無線送受信機１７２を介して、システム１００は、例えば、定期的に又は需要時に地図データベース１６０、メモリ１４０、及び／又はメモリ１５０に記憶されたデータへの更新を受信し得る。同様に、無線送受信機１７２は、システム１００による／からの任意のデータ（例えば、画像取得ユニット１２０により捕捉された画像、位置センサ１３０、他のセンサ、又は車両制御システムにより受信されたデータ等）及び／又は処理ユニット１１０により処理された任意のデータを１つ又は複数のサーバにアップロードし得る。
システム１００は、プライバシーレベル設定に基づいてデータをサーバ（例えば、クラウド）にアップロードし得る。例えば、システム１００は、サーバに送信される、車両及び／又は車両のドライバー／所有者を一意に識別し得るタイプのデータ（メタデータを含む）を規制又は制限するプライバシーレベル設定を実施し得る。そのような設定は、例えば、無線送受信機１７２を介してユーザにより設定され得るか、工場デフォルト設定により初期化され得るか、又は無線送受信機１７２により受信されるデータにより設定され得る。
幾つかの実施形態では、システム１００は、「高」プライバシーレベルに従ってデータをアップロードし得、設定下において、システム１００は、特定の車両及び／又はドライバー／所有者についてのいかなる詳細も伴わないデータ（例えば、ルートに関連する位置情報、捕捉画像等）を送信し得る。例えば、「高」プライバシーレベルに従ってデータをアップロードする場合、システム１００は、車両識別番号（ＶＩＮ）又は車両のドライバー若しくは所有者の氏名を含まず、代わりに捕捉画像及び／又はルートに関連する限られた位置情報等のデータを送信し得る。
他のプライバシーレベルも意図される。例えば、システム１００は、「中」プライバシーレベルに従ってデータをサーバに送信し得、車両及び／又は車両タイプのメーカー及び／又はモデル（例えば、乗用車、スポーツユーティリティ車、トラック等）等の「高」プライバシーレベル下では含まれない追加情報を含み得る。幾つかの実施形態では、システム１００は、「低」プライバシーレベルに従ってデータをアップロードし得る。「低」プライバシーレベル設定下では、システム１００は、特定の車両、所有者／ドライバー、及び／又は車両が走行したルートの一部又は全体を一意に識別するのに十分なデータをアップロードし、そのような情報を含み得る。そのような「低」プライバシーレベルデータは、例えば、ＶＩＮ、ドライバー／所有者氏名、出発前の車両の出発点、車両の意図される目的地、車両のメーカー及び／又はモデル、車両のタイプ等の１つ又は複数を含み得る。
図２Ａは、開示される実施形態による例示的な車両撮像システムの側面図表現である。図２Ｂは、図２Ａに示される実施形態の上面図表現である。図２Ｂに示されるように、開示される実施形態は、バックミラーの近傍及び／又は車両２００のドライバー近傍に位置決めされた第１の画像捕捉デバイス１２２と、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上又はバンパー領域内に位置決めされる第２の画像捕捉デバイス１２４と、処理ユニット１１０とを有するシステム１００を本体内に含む車両２００を示し得る。
図２Ｃに示されるように、画像捕捉デバイス１２２及び１２４の両方は、車両２００のバックミラーの近傍及び／又はドライバーの近傍に位置決めされ得る。なお、２つの画像捕捉デバイス１２２及び１２４が図２Ｂ及び図２Ｃに示されているが、他の実施形態が３つ以上の画像捕捉デバイスを含み得ることを理解されたい。例えば、図２Ｄ及び図２Ｅに示される実施形態では、第１の画像捕捉デバイス１２２、第２の画像捕捉デバイス１２４、及び第３の画像捕捉デバイス１２６が車両２００のシステム１００に含まれる。
図２Ｄに示されるように、画像捕捉デバイス１２２は、車両２００のバックミラーの近傍及び／又はドライバーの近傍に位置決めされ得、画像捕捉デバイス１２４及び１２６は、車両２００のバンパー領域（例えば、バンパー領域２１０の１つ）上に位置決めされ得る。また、図２Ｅに示されるように、画像捕捉デバイス１２２、１２４、及び１２６は、車両２００のバックミラーの近傍及び／又はドライバーシートの近傍に位置決めされ得る。開示される実施形態は、いかなる特定の数及び構成の画像捕捉デバイスにも限定されず、画像捕捉デバイスは、車両２００内及び／又は車両２００上の任意の適する位置に位置決めされ得る。
開示される実施形態が車両に限定されず、他の状況でも適用可能であることを理解されたい。開示される実施形態が特定のタイプの車両２００に限定されず、自動車、トラック、トレーラー、及び他のタイプの車両を含む全てのタイプの車両に適用可能であり得ることも理解されたい。
第１の画像捕捉デバイス１２２は、任意の適するタイプの画像捕捉デバイスを含み得る。画像捕捉デバイス１２２は光軸を含み得る。一例では、画像捕捉デバイス１２２は、グローバルシャッタを有するAptina M9V024 WVGAセンサを含み得る。他の実施形態では、画像捕捉デバイス１２２は、１２８０×９６０ピクセルの解像度を提供し得、ローリングシャッタを含み得る。画像捕捉デバイス１２２は、様々な光学要素を含み得る。幾つかの実施形態では、１枚又は複数枚のレンズが含まれて、例えば、画像捕捉デバイスの所望の焦点距離及び視野を提供し得る。幾つかの実施形態では、画像捕捉デバイス１２２は、６ｍｍレンズ又は１２ｍｍレンズに関連付けられ得る。幾つかの実施形態では、画像捕捉デバイス１２２は、図２Ｄに示されるように、所望の視野（ＦＯＶ）２０２を有する画像を捕捉するように構成され得る。例えば、画像捕捉デバイス１２２は、４６度ＦＯＶ、５０度ＦＯＶ、５２度ＦＯＶ、又は５２度ＦＯＶを超える度数を含め、４０度〜５６度の範囲内等の通常のＦＯＶを有するように構成され得る。代替として、画像捕捉デバイス１２２は、２８度ＦＯＶ又は３６度ＦＯＶ等の２３〜４０度の範囲の狭いＦＯＶを有するように構成され得る。加えて、画像捕捉デバイス１２２は、１００〜１８０度の範囲の広いＦＯＶを有するように構成され得る。幾つかの実施形態では、画像捕捉デバイス１２２は、広角バンパーカメラ又は最高で１８０度ＦＯＶを有するバンパーカメラを含み得る。幾つかの実施形態では、画像捕捉デバイス１２２は、約１００度の水平ＦＯＶを有するアスペクト比約２：１（例えば、Ｈ×Ｖ＝３８００×１９００ピクセル）の７．２Ｍピクセル画像捕捉デバイスであり得る。そのような画像捕捉デバイスは、三次元画像捕捉デバイス構成の代わりに使用され得る。大きいレンズ歪みに起因して、そのような画像捕捉デバイスの垂直ＦＯＶは、画像捕捉デバイスが半径方向に対称なレンズを使用する実装形態では、５０度よりはるかに低くなり得る。例えば、そのようなレンズは、半径方向で対称ではなく、それにより、水平ＦＯＶ１００度で、５０度よりも大きい垂直ＦＯＶが可能である。
第１の画像捕捉デバイス１２２は、車両２００に関連付けられたシーンに対して複数の第１の画像を取得し得る。複数の第１の画像のそれぞれは、一連の画像走査線として取得され得、これらは、ローリングシャッタを使用して捕捉され得る。各走査線は、複数のピクセルを含み得る。
第１の画像捕捉デバイス１２２は、第１の一連の画像走査線のそれぞれの取得に関連付けられた走査レートを有し得る。走査レートとは、画像センサが、特定の走査線に含まれる各ピクセルに関連付けられた画像データを取得することができるレートを指し得る。
画像捕捉デバイス１２２、１２４、及び１２６は、例えば、ＣＣＤセンサ又はＣＭＯＳセンサを含め、任意の適するタイプ及び数の画像センサを含み得る。一実施形態では、ＣＭＯＳ画像センサは、ローリングシャッタと共に利用され得、それにより、行内の各ピクセルは、一度に１つずつ読み取られ、行の走査は、画像フレーム全体が捕捉されるまで行毎に進められる。幾つかの実施形態では、行は、フレームに対して上から下に順次捕捉され得る。
幾つかの実施形態では、本明細書に開示される画像捕捉デバイス（例えば、画像捕捉デバイス１２２、１２４、及び１２６）の１つ又は複数は、高解像度イメージャを構成し得、５Ｍピクセル超、７Ｍピクセル超、１０Ｍピクセル超、又はそれを超える解像度を有し得る。
ローリングシャッタの使用により、異なる行内のピクセルは異なるときに露出され捕捉されることになり得、それにより、スキュー及び他の画像アーチファクトが捕捉画像フレームで生じ得る。他方、画像捕捉デバイス１２２がグローバル又は同期シャッタを用いて動作するように構成される場合、全ピクセルは、同量の時間にわたり、共通の露出期間中に露出され得る。その結果、グローバルシャッタを利用するシステムから収集されるフレーム内の画像データは、特定のときのＦＯＶ全体（ＦＯＶ２０２等）のスナップショットを表す。それとは逆に、ローリングシャッタを適用する場合、フレーム内の各行が露出され、データは異なる時間に捕捉される。したがって、移動中の物体は、ローリングシャッタを有する画像捕捉デバイスでは歪んで見えることがある。この現象について以下により詳細に説明する。
第２の画像捕捉デバイス１２４及び第３の画像捕捉デバイス１２６は、任意のタイプの画像捕捉デバイスであり得る。第１の画像捕捉デバイス１２２のように、画像捕捉デバイス１２４及び１２６のそれぞれは、光軸を含み得る。一実施形態では、画像捕捉デバイス１２４及び１２６のそれぞれは、グローバルシャッタを有するAptina M9V024 WVGAセンサを含み得る。代替として、画像捕捉デバイス１２４及び１２６のそれぞれは、ローリングシャッタを含み得る。画像捕捉デバイス１２２のように、画像捕捉デバイス１２４及び１２６は、様々なレンズ及び光学要素を含むように構成され得る。幾つかの実施形態では、画像捕捉デバイス１２４及び１２６に関連付けられたレンズは、画像捕捉デバイス１２２に関連付けられたＦＯＶ（ＦＯＶ２０２等）と同じであるか、又は狭いＦＯＶ（ＦＯＶ２０４及び２０６等）を提供し得る。例えば、画像捕捉デバイス１２４及び１２６は、４０度、３０度、２６度、２３度、２０度、又は２０度未満のＦＯＶを有し得る。
画像捕捉デバイス１２４及び１２６は、車両２００に関連付けられたシーンに対して複数の第２及び第３の画像を取得し得る。複数の第２及び第３の画像のそれぞれは、第２及び第３の一連の画像走査線として取得され得、これらは、ローリングシャッタを使用して捕捉され得る。各走査線又は各行は、複数のピクセルを有し得る。画像捕捉デバイス１２４及び１２６は、第２及び第３の一連内に含まれる各画像走査線の取得に関連付けられた第２及び第３の走査レートを有し得る。
各画像捕捉デバイス１２２、１２４、及び１２６は、任意の適する位置に、車両２００に対して任意の適する向きで位置決めされ得る。画像捕捉デバイス１２２、１２４、及び１２６の相対位置は、画像捕捉デバイスから取得される情報を一緒に融合させることを支援するように選択され得る。例えば、幾つかの実施形態では、画像捕捉デバイス１２４に関連付けられたＦＯＶ（ＦＯＶ２０４）は、画像捕捉デバイス１２２に関連付けられたＦＯＶ（ＦＯＶ２０２等）及び画像捕捉デバイス１２６に関連付けられたＦＯＶ（ＦＯＶ２０６等）と部分的又は完全に重複し得る。
画像捕捉デバイス１２２、１２４、及び１２６は、任意の適する相対高さで車両２００に配置され得る。一例では、画像捕捉デバイス１２２、１２４、及び１２６間に高さ差があり得、高さ差は、立体分析を可能にするのに十分な視差情報を提供し得る。例えば、図２Ａに示されるように、２つの画像捕捉デバイス１２２及び１２４は異なる高さにある。画像捕捉デバイス１２２、１２４、及び１２６間には横方向変位差もあり得、例えば、処理ユニット１１０による立体分析に追加の視差情報を与える。横方向変位差は、図２Ｃ及び図２Ｄに示されるように、ｄｘで示され得る。幾つかの実施形態では、前部変位又は後部変位（例えば、範囲変位）が、画像捕捉デバイス１２２、１２４、１２６間に存在し得る。例えば、画像捕捉デバイス１２２は、画像捕捉デバイス１２４及び／又は画像捕捉デバイス１２６の０．５〜２メートル以上背後に配置され得る。このタイプの変位では、画像捕捉デバイスの１つが、他の画像捕捉デバイスの潜在的なブラインドスポットをカバー可能であり得る。
画像捕捉デバイス１２２は、任意の適する解像度能力（例えば、画像センサに関連付けられたピクセル数）を有し得、画像捕捉デバイス１２２に関連付けられた画像センサの解像度は、画像捕捉デバイス１２４及び１２６に関連付けられた画像センサの解像度よりも高いか、低いか、又は同じであり得る。幾つかの実施形態では、画像捕捉デバイス１２２及び／又は画像捕捉デバイス１２４及び１２６に関連付けられた画像センサは、解像度６４０×４８０、１０２４×７６８、１２８０×９６０、又は任意の他の適する解像度を有し得る。
フレームレート（例えば、画像捕捉デバイスが、次の画像フレームに関連付けられたピクセルデータの捕捉に移る前、１つの画像フレームのピクセルデータの組を取得する速度）は、制御可能であり得る。画像捕捉デバイス１２２に関連付けられたフレームレートは、画像捕捉デバイス１２４及び１２６に関連付けられたフレームレートよりも高いか、低いか、又は同じであり得る。画像捕捉デバイス１２２、１２４、及び１２６に関連付けられたフレームレートは、フレームレートのタイミングに影響を及ぼし得る様々なファクタに依存し得る。例えば、画像捕捉デバイス１２２、１２４、及び１２６の１つ又は複数は、画像捕捉デバイス１２２、１２４、及び／又は１２６内の画像センサの１つ又は複数のピクセルに関連付けられた画像データの取得前又は取得後に課される選択可能なピクセル遅延期間を含み得る。一般に、各ピクセルに対応する画像データは、デバイスのクロックレート（例えば、１クロックサイクル当たり１ピクセル）に従って取得され得る。更に、ローリングシャッタを含む実施形態では、画像捕捉デバイス１２２、１２４、及び１２６の１つ又は複数は、画像捕捉デバイス１２２、１２４、及び／又は１２６内の画像センサのピクセル行に関連付けられた画像データの取得前又は取得後に課される選択可能な水平ブランク期間を含み得る。更に、画像捕捉デバイス１２２、１２４、及び／又は１２６の１つ又は複数は、画像捕捉デバイス１２２、１２４、及び１２６の画像フレームに関連付けられた画像データの取得前又は取得後に課される選択可能な垂直ブランク期間を含み得る。
これらのタイミング制御により、各画像捕捉デバイスの線走査レートが異なる場合でも、画像捕捉デバイス１２２、１２４、及び１２６に関連付けられたフレームレートを同期させることができ得る。更に、以下に更に詳細に考察するように、ファクタ（例えば、画像センサ解像度、最高線走査レート等）の中でも特に、これらの選択可能なタイミング制御により、画像捕捉デバイス１２２の視野が画像捕捉デバイス１２４及び１２６のＦＯＶと異なる場合でも、画像捕捉デバイス１２２のＦＯＶが画像捕捉デバイス１２４及び１２６の１つ又は複数のＦＯＶと重複するエリアからの画像捕捉を同期させることが可能になり得る。
画像捕捉デバイス１２２、１２４、及び１２６でのフレームレートタイミングは、関連付けられた画像センサの解像度に依存し得る。例えば、両デバイスの線走査レートが同様であると仮定し、一方のデバイスが解像度６４０×４８０を有する画像センサを含み、他方のデバイスが解像度１２８０×９６０を有する画像センサを含む場合、高い解像度を有するセンサからの画像データのフレーム取得ほど、長い時間が必要になる。
画像捕捉デバイス１２２、１２４、及び１２６での画像データ取得のタイミングに影響を及ぼし得る他のファクタは、最高線走査レートである。例えば、画像捕捉デバイス１２２、１２４、及び１２６に含まれる画像センサからの画像データ行の取得は、何らかの最小時間量を必要とする。ピクセル遅延期間が追加されないと仮定すると、画像データ行を取得するこの最小時間量は、特定のデバイスの最高線走査レートに関連することになる。高い最高線走査レートを提供するデバイスほど、より低い最高線走査レートを有するデバイスよりも高いフレームレートを提供する潜在性を有する。幾つかの実施形態では、画像捕捉デバイス１２４及び１２６の一方又は両方は、画像捕捉デバイス１２２に関連付けられた最高線走査レートよりも高い最高線走査レートを有し得る。幾つかの実施形態では、画像捕捉デバイス１２４及び／又は１２６の最高線走査レートは、画像捕捉デバイス１２２の最高線走査レートの１．２５倍、１．５倍、１．７５倍、又は２倍以上であり得る。
別の実施形態では、画像捕捉デバイス１２２、１２４、及び１２６は、同じ最高線走査レートを有し得るが、画像捕捉デバイス１２２は、その最高走査レート以下の走査レートで動作し得る。システムは、画像捕捉デバイス１２４及び１２６の一方又は両方が画像捕捉デバイス１２２の線走査レートと等しい線走査レートで動作するように構成され得る。他の例では、システムは、画像捕捉デバイス１２４及び／又は１２６の線走査レートが、画像捕捉デバイス１２２の線走査レートの１．２５倍、１．５倍、１．７５倍、又は２倍以上であり得るように構成され得る。
幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６は非対称であり得る。すなわち、これら画像捕捉デバイスは、異なる視野（ＦＯＶ）及び焦点距離を有するカメラを含み得る。画像捕捉デバイス１２２、１２４、及び１２６の視野は、例えば、車両２００の環境に対する任意の所望のエリアを含み得る。幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６の１つ又は複数は、車両２００の前の環境、車両２００の背後の環境、車両２００の両側の環境、又はそれらの組合せから画像データを取得するように構成され得る。
更に、各画像捕捉デバイス１２２、１２４、及び／又は１２６に関連付けられた焦点距離は、各デバイスが車両２００から所望の距離範囲にある物体の画像を取得するように選択可能であり得る（例えば、適切なレンズの包含等により）。例えば、幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６は、車両から数メートル以内の近接物体の画像を取得し得る。画像捕捉デバイス１２２、１２４、１２６は、車両からより離れた範囲（例えば、２５ｍ、５０ｍ、１００ｍ、１５０ｍ、又はそれを超える）における物体の画像を取得するように構成することもできる。更に、画像捕捉デバイス１２２、１２４、及び１２６の焦点距離は、ある画像捕捉デバイス（例えば、画像捕捉デバイス１２２）が車両に比較的近い（例えば、１０ｍ以内又は２０ｍ以内）物体の画像を取得することができる一方、他の画像捕捉デバイス（例えば、画像捕捉デバイス１２４及び１２６）が、車両２００からより離れた物体（例えば、２０ｍ超、５０ｍ超、１００ｍ超、１５０ｍ超等）の画像を取得することができるように選択され得る。
幾つかの実施形態によれば、１つ又は複数の画像捕捉デバイス１２２、１２４、及び１２６のＦＯＶは、広角を有し得る。例えば、特に車両２００の近傍エリアの画像取得に使用し得る画像捕捉デバイス１２２、１２４、及び１２６には１４０度のＦＯＶを有することが有利であり得る。例えば、画像捕捉デバイス１２２は、車両２００の右又は左のエリアの画像の捕捉に使用され得、そのような実施形態では、画像捕捉デバイス１２２が広いＦＯＶ（例えば、少なくとも１４０度）を有することが望ましいことがある。
画像捕捉デバイス１２２、１２４、及び１２６のそれぞれに関連付けられた視野は、各焦点距離に依存し得る。例えば、焦点距離が増大するにつれて、対応する視野は低減する。
画像捕捉デバイス１２２、１２４、及び１２６は、任意の適する視野を有するように構成され得る。特定の一例では、画像捕捉デバイス１２２は、水平ＦＯＶ４６度を有し得、画像捕捉デバイス１２４は水平ＦＯＶ２３度を有し得、画像捕捉デバイス１２６は水平ＦＯＶ２３〜４６度を有し得る。別の例では、画像捕捉デバイス１２２は水平ＦＯＶ５２度を有し得、画像捕捉デバイス１２４は水平ＦＯＶ２６度を有し得、画像捕捉デバイス１２６は、水平ＦＯＶ２６〜５２度を有し得る。幾つかの実施形態では、画像捕捉デバイス１２２のＦＯＶと画像捕捉デバイス１２４及び／又は画像捕捉デバイス１２６のＦＯＶとの比率は、１．５〜２．０で変化し得る。他の実施形態では、この比率は１．２５〜２．２５で変化し得る。
システム１００は、画像捕捉デバイス１２２の視野が、画像捕捉デバイス１２４及び／又は画像捕捉デバイス１２６の視野と少なくとも部分的に又は完全に重複するように構成され得る。幾つかの実施形態では、システム１００は、画像捕捉デバイス１２４及び１２６の視野が、例えば、画像捕捉デバイス１２２の視野内に入り（例えば、画像捕捉デバイス１２２の視野よりも小さく）、画像捕捉デバイス１２２の視野と共通の中心を共有するように構成され得る。他の実施形態では、画像捕捉デバイス１２２、１２４、及び１２６は、隣接するＦＯＶを捕捉し得るか、又は部分的に重複するＦＯＶを有し得る。幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６の視野は、ＦＯＶがより狭い画像捕捉デバイス１２４及び／又は１２６の中心が、ＦＯＶがより広いデバイス１２２の視野の下半分に配置され得るように位置合わせされ得る。
図２Ｆは、開示される実施形態による例示的な車両制御システムの図表現である。図２Ｆに示されるように、車両２００は、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０を含み得る。システム１００は、１つ又は複数のデータリンク（例えば、任意の有線及び／又は無線リンク又はデータを伝送するリンク）を介して、スロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に入力（例えば、制御信号）を提供し得る。例えば、画像捕捉デバイス１２２、１２４、及び／又は１２６により取得された画像の分析に基づいて、システム１００は、車両２００をナビゲーションする制御信号をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に提供し得る（例えば、加速、ターン、レーンシフト等を行わせることにより）。更に、システム１００は、車両２００の動作状況を示す入力（例えば、速度、車両２００がブレーキ中及び／又はターン中であるか否か等）をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４の１つ又は複数から受信し得る。以下では、更なる詳細を図４〜図７に関連して提供する。
図３Ａに示されるように、車両２００は、車両２００のドライバー又は乗員と対話するユーザインタフェース１７０を含むこともできる。例えば、車両アプリケーション内のユーザインタフェース１７０は、タッチスクリーン３２０、つまみ３３０、ボタン３４０、及びマイクロフォン３５０を含み得る。車両２００のドライバー又は乗員は、ハンドル（例えば、例えば、ウィンカーハンドルを含め、車両２００のステアリングコラム上又はその近傍に配置される）及びボタン（例えば、車両２００のハンドルに配置される）等を使用して、システム１００と対話することもできる。幾つかの実施形態では、マイクロフォン３５０は、バックミラー３１０に隣接して位置決めされ得る。同様に、幾つかの実施形態では、画像捕捉デバイス１２２は、バックミラー３１０の近傍に配置され得る。幾つかの実施形態では、ユーザインタフェース１７０は、１つ又は複数のスピーカ３６０（例えば、車両オーディオシステムのスピーカ）を含むこともできる。例えば、システム１００は、スピーカ３６０を介して様々な通知（例えば、アラート）を提供し得る。
図３Ｂ〜図３Ｄは、開示される実施形態による、バックミラー（例えば、バックミラー３１０）の背後に、車両フロントガラスと対向して位置決めされるように構成される例示的なカメラマウント３７０の図である。図３Ｂに示されるように、カメラマウント３７０は、画像捕捉デバイス１２２、１２４、及び１２６を含み得る。画像捕捉デバイス１２４及び１２６は、グレアシールド３８０の背後に位置決めされ得、グレアシールド３８０は、フロントガラスに直接接触し得、フィルム及び／又は反射防止材料の組成物を含み得る。例えば、グレアシールド３８０は、一致する傾斜を有するフロントガラスと対向してシールドが位置合わせされるように位置決めされ得る。幾つかの実施形態では、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれは、例えば、図３Ｄに示されるように、グレアシールド３８０の背後に位置決めされ得る。開示される実施形態は、画像捕捉デバイス１２２、１２４及び１２６、カメラマウント３７０、並びにグレアシールド３８０のいかなる特定の構成にも限定されない。図３Ｃは、前から見た図３Ｂに示されるカメラマウント３７０の図である。
本開示の恩恵を受ける当業者により理解されるように、上記開示された実施形態に対する多くの変形形態及び／又は変更形態がなされ得る。例えば、全ての構成要素がシステム１００の動作にとって必須であるわけではない。更に、任意の構成要素がシステム１００の任意の適切な部分に配置され得、構成要素は、開示される実施形態の機能を提供しながら、様々な構成に再配置され得る。したがって、上述した構成は例であり、上述した構成に関係なく、システム１００は、車両２００の周囲を分析し、分析に応答して車両２００をナビゲーションする広範囲の機能を提供することができる。
以下に更に詳細に考察するように、様々な開示される実施形態により、システム１００は、自律運転及び／又はドライバー支援技術に関連する様々な特徴を提供し得る。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳ位置情報）、地図データ、速度データ、及び／又は車両２００に含まれるセンサからのデータを分析し得る。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、及び他のセンサから、分析のためにデータを収集し得る。更に、システム１００は、収集されたデータを分析して、車両２００が特定の行動をとるべきか否かを特定し、次に人間の介入なしで、決定された動作を自動的にとり得る。例えば、車両２００が人間の介入なしでナビゲーションする場合、システム１００は、車両２００のブレーキ、加速度、及び／又は操舵を自動的に制御し得る（例えば、制御信号をスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０の１つ又は複数に送信することにより）。更に、システム１００は、収集されたデータを分析し、収集されたデータの分析に基づいて警告及び／又はアラートを車両の搭乗者に発行し得る。システム１００により提供される様々な実施形態に関する更なる詳細を以下に提供する。
前向きマルチ撮像システム
上述したように、システム１００は、マルチカメラシステムを使用する運転支援機能を提供し得る。マルチカメラシステムは、車両の前方方向を向いた１つ又は複数のカメラを使用し得る。他の実施形態では、マルチカメラシステムは、車両の側部又は車両の後方を向いた１つ又は複数のカメラを含み得る。一実施形態では、例えば、システム１００は２カメラ撮像システムを使用し得、その場合、第１のカメラ及び第２のカメラ（例えば、画像捕捉デバイス１２２及び１２４）は、車両（例えば、車両２００）の前部及び／又は側部に位置決めされ得る。第１のカメラは、第２のカメラの視野よりも大きい、小さい、又は部分的に重複する視野を有し得る。更に、第１のカメラは、第１のカメラにより提供される画像の単眼画像分析を実行するための第１の画像プロセッサに接続され得、第２のカメラは、第２のカメラにより提供される画像の単眼画像分析を実行するための第２の画像プロセッサに接続され得る。第１及び第２の画像プロセッサの出力（例えば、処理された情報）は、結合され得る。幾つかの実施形態では、第２の画像プロセッサは、第１のカメラ及び第２のカメラの両方からの画像を受信して、立体分析を実行し得る。別の実施形態では、システム１００は３カメラ撮像システムを使用し得、この場合、各カメラは異なる視野を有する。したがって、そのようなシステムは、車両の前方及び側部の両方の様々な距離にある物体から導出される情報に基づいて判断を下し得る。単眼画像分析との言及は、画像分析が単一視点から（例えば、単一のカメラ）から捕捉される画像に基づいて画像分析が実行される場合を指し得る。立体画像分析は、画像捕捉パラメータの１つ又は複数を変更した状態で捕捉された２つ以上の画像に基づいて画像分析が実行される場合を指し得る。例えば、立体画像分析の実行に適した捕捉画像は、２つ以上の異なる位置から捕捉される画像、異なる視野から捕捉される画像、異なる焦点距離を使用して捕捉される画像、視差情報付きで捕捉される画像等を含み得る。
例えば、一実施形態では、システム１００は、画像捕捉デバイス１２２、１２４、及び１２６を使用する３カメラ構成を実施し得る。そのような構成では、画像捕捉デバイス１２２は、狭視野（例えば、３４度又は約２０〜４５度の範囲から選択される他の値等）を提供し得、画像捕捉デバイス１２４は、広視野（例えば、１５０度又は約１００〜約１８０度の範囲から選択される他の値）を提供し得、画像捕捉デバイス１２６は、中視野（例えば、４６度又は約３５〜約６０度の範囲から選択される他の値）を提供し得る。幾つかの実施形態では、画像捕捉デバイス１２６は、主又は一次カメラとして動作し得る。画像捕捉デバイス１２２、１２４、及び１２６は、バックミラー３１０の背後に、実質的に並んで（例えば、６ｃｍ離間）位置決めされ得る。更に、幾つかの実施形態では、上述したように、画像捕捉デバイス１２２、１２４、及び１２６の１つ又は複数は、車両２００のフロントガラスと同一平面のグレアシールド３８０の背後に搭載され得る。そのようなシールドは、車内部からのいかなる反射の画像捕捉デバイス１２２、１２４、及び１２６への影響も最小限にするように動作し得る。
別の実施形態では、図３Ｂ及び図３Ｃに関連して上述したように、広視野カメラ（例えば、上記例では画像捕捉デバイス１２４）は、狭い主視野カメラ（例えば、上記例では画像捕捉デバイス１２２及び１２６）よりも低く搭載され得る。この構成は、広視野カメラからの自由な視線を提供し得る。反射を低減するために、カメラは、車両２００のフロントガラス近くに搭載され得、反射光を弱める偏光器をカメラに含み得る。
３カメラシステムは、特定の性能特徴を提供し得る。例えば、幾つかの実施形態は、あるカメラによる物体の検出を別のカメラからの検出結果に基づいて検証する機能を含み得る。上述した３カメラ構成では、処理ユニット１１０は、例えば、３つの処理デバイス（例えば、上述したように３つのEyeQシリーズのプロセッサチップ）を含み得、各処理デバイスは、画像捕捉デバイス１２２、１２４、及び１２６の１つ又は複数により捕捉される画像の処理に向けられる。
３カメラシステムでは、第１の処理デバイスは、主カメラ及び狭視野カメラの両方から画像を受信し得、狭ＦＯＶカメラのビジョン処理を実行して、例えば、他の車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。更に、第１の処理デバイスは、主カメラからの画像と狭カメラからの画像との間でのピクセルの不一致を計算し、車両２００の環境の３Ｄ再構築を作成し得る。次に、第１の処理デバイスは、３Ｄ再構築を、３Ｄマップデータと、又は別のカメラからの情報に基づいて計算される３Ｄ情報と結合し得る。
第２の処理デバイスは、主カメラから画像を受信し得、ビジョン処理を実行して、他の車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。更に、第２の処理デバイスは、カメラ変位を計算し、変位に基づいて、連続画像間のピクセルの不一致を計算し、シーンの３Ｄ再構築（例えば、ストラクチャーフロムモーション）を作成し得る。第２の処理デバイスは、３Ｄ再構築に基づくストラクチャーフロムモーションを第１の処理デバイスに送信し、ストラクチャーフロムモーションを立体３Ｄ画像と結合し得る。
第３の処理デバイスは、画像を広ＦＯＶカメラから受信し、画像を処理して、車両、歩行者、レーンマーク、交通標識、信号機、及び他の道路物体を検出し得る。第３の処理デバイスは、追加の処理命令を更に実行して、画像を分析し、レーン変更中の車両、歩行者等の画像内の移動中の物体を識別し得る。
幾つかの実施形態では、画像に基づく情報ストリームを独立して捕捉させ、処理させることは、システムで冗長性を提供する機会を提供し得る。そのような冗長性は、例えば、第１の画像捕捉デバイス及びそのデバイスから処理された画像を使用して、少なくとも第２の画像捕捉デバイスから画像情報を捕捉し処理することにより得られる情報を検証及び／又は補足し得る。
幾つかの実施形態では、システム１００は、車両２００にナビゲーション支援を提供するに当たり２つの画像捕捉デバイス（例えば、画像捕捉デバイス１２２及び１２４）を使用し得、第３の画像捕捉デバイス（例えば、画像捕捉デバイス１２６）を使用して、冗長性を提供し、他の２つの画像捕捉デバイスから受信されるデータの分析を検証し得る。例えば、そのような構成では、画像捕捉デバイス１２２及び１２４は、車両２００をナビゲーションするためのシステム１００による立体分析の画像を提供し得る一方、画像捕捉デバイス１２６は、システム１００による単眼分析に画像を提供して、画像捕捉デバイス１２２及び／又は画像捕捉デバイス１２４から捕捉された画像に基づいて得られる情報の冗長性及び検証を提供し得る。すなわち、画像捕捉デバイス１２６（及び対応する処理デバイス）は、画像捕捉デバイス１２２及び１２４から導出された分析へのチェックを提供する冗長サブシステムを提供する（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供するため）と見なされ得る。更に、幾つかの実施形態では、受信データの冗長性及び変動は、もう１つのセンサから受信される情報（例えば、レーダ、ライダ、音響センサ、車両外部の１つ又は複数の送受信機等から受信される情報）に基づいて補足され得る。
上記カメラ構成、カメラ配置、カメラ数、カメラ位置等が単なる例示であることを当業者は認識するであろう。全体システムに対して説明されるこれらの構成要素等は、開示される実施形態の範囲から逸脱せずに様々な異なる構成で組み立て且つ使用され得る。ドライバー支援及び／又は自律車両機能を提供するためのマルチカメラシステムの使用に関する更なる詳細が以下に続く。
図４は、開示される実施形態による１つ又は複数の動作を実行する命令を記憶／プログラムされ得るメモリ１４０及び／又は１５０の例示的な機能ブロック図である。以下ではメモリ１４０を参照するが、当業者は、命令がメモリ１４０及び／又は１５０に記憶可能であることを認識するであろう。
図４に示されるように、メモリ１４０は、単眼画像分析モジュール４０２、立体画像分析モジュール４０４、速度及び加速度モジュール４０６、並びにナビゲーション応答モジュール４０８を記憶し得る。開示される実施形態は、いかなる特定の構成のメモリ１４０にも限定されない。更に、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、メモリ１４０に含まれる任意のモジュール４０２、４０４、４０６、及び４０８に記憶された命令を実行し得る。以下の考察での処理ユニット１１０の参照が、アプリケーションプロセッサ１８０及び画像プロセッサ１９０を個々に又はまとめて指し得ることを当業者は理解するであろう。したがって、以下のプロセスのいずれかのステップは、１つ又は複数の処理デバイスによって実行され得る。
一実施形態では、単眼画像分析モジュール４０２は命令（コンピュータビジョンソフトウェア等）を記憶し得、命令は、処理ユニット１１０によって実行されると、画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された画像の組の単眼画像分析を実行する。幾つかの実施形態では、処理ユニット１１０は、画像の組からの情報を追加のセンサ情報（例えば、レーダ、ライダ等からの情報）と結合して、単眼画像分析を実行し得る。以下の図５Ａ〜図５Ｄに関連して説明するように、単眼画像分析モジュール４０２は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物、及び車両の環境に関連付けられた任意の他の特徴等、画像の組内の特徴の組を検出する命令を含み得る。分析に基づいて、システム１００は、ナビゲーション応答モジュール４０８に関連して以下で考察するように、ターン、レーンシフト、及び加速度変更等の１つ又は複数のナビゲーション応答を車両２００において生じさせ得る（例えば、処理ユニット１１０を介して）。
一実施形態では、立体画像分析モジュール４０４は命令（コンピュータビジョンソフトウェア等）を記憶し得、命令は、処理ユニット１１０によって実行されると、画像捕捉デバイス１２２、１２４、及び１２６から選択された画像捕捉デバイスの組合せにより取得される画像の第１及び第２の組の立体画像分析を実行する。幾つかの実施形態では、処理ユニット１１０は、画像の第１及び第２の組からの情報を追加のセンサ情報（例えば、レーダからの情報）と結合して、立体画像分析を実行し得る。例えば、立体画像分析モジュール４０４は、画像捕捉デバイス１２４により取得される画像の第１の組及び画像捕捉デバイス１２６により取得される画像の第２の組に基づいて、立体画像分析を実行する命令を含み得る。以下で図６に関連して説明するように、立体画像分析モジュール４０４は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、及び危険物等の画像の第１及び第２の組内の特徴の組を検出する命令を含み得る。分析に基づいて、処理ユニット１１０は、ナビゲーション応答モジュール４０８に関連して後述するように、ターン、レーンシフト、及び加速度変更等の１つ又は複数のナビゲーション応答を車両２００において生じさせ得る。更に、幾つかの実施形態では、立体画像分析モジュール４０４は、トレーニングされたシステム（ニューラルネットワーク若しくはディープニューラルネットワーク等）又はコンピュータビジョンアルゴリズムを使用して、センサ情報が捕捉及び処理された環境内の物体を検出及び／又はラベル付けるように構成され得るシステム等、トレーニングされていないシステムに関連付けられた技法を実施し得る。一実施形態では、立体画像分析モジュール４０４及び／又は他の画像処理モジュールは、トレーニングされたシステムとトレーニングされていないシステムとの組合せを使用するように構成され得る。
一実施形態では、速度及び加速度モジュール４０６は、車両２００の速度及び／又は加速度を変更させるように構成される車両２００内の１つ又は複数の計算及び電気機械デバイスから受信されるデータを分析するように構成されるソフトウェアを記憶し得る。例えば、処理ユニット１１０は、速度及び加速度モジュール４０６に関連付けられた命令を実行して、単眼画像分析モジュール４０２及び／又は立体画像分析モジュール４０４の実行から導出されるデータに基づいて、車両２００の目標速度を計算し得る。そのようなデータとしては、例えば、目標位置、速度、及び／又は加速度、付近の車両、歩行者、又は道路物体に対する車両２００の位置及び／又は速度、及び道路のレーンマークに対する車両２００の位置情報等を挙げ得る。加えて、処理ユニット１１０は、センサ入力（例えば、レーダからの情報）と、車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び／又は操舵システム２４０等の車両２００の他のシステムからの入力とに基づいて、車両２００の目標速度を計算し得る。計算された目標速度に基づいて、処理ユニット１１０は、電子信号を車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び／又は操舵システム２４０に送信して、例えば、車両２００のブレーキを物理的に弱めるか、又はアクセルを弱めることにより速度及び／又は加速度の変更をトリガーし得る。
一実施形態では、ナビゲーション応答モジュール４０８は、処理ユニット１１０によって実行可能であり、単眼画像分析モジュール４０２及び／又は立体画像分析モジュール４０４の実行から導出されるデータに基づいて、所望のナビゲーション応答を決定するソフトウェアを記憶し得る。そのようなデータは、付近の車両、歩行者、及び道路物体に関連付けられた位置及び速度情報並びに車両２００の目標位置情報等を含み得る。更に、幾つかの実施形態では、ナビゲーション応答は、地図データ、車両２００の所定の位置、及び／又は車両２００と、単眼画像分析モジュール４０２及び／又は立体画像分析モジュール４０４の実行から検出される１つ又は複数の物体との間の相対速度又は相対加速度に基づき得る（部分的又は完全に）。ナビゲーション応答モジュール４０８は、センサ入力（例えば、レーダからの情報）と、車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０等の車両２００の他のシステムからの入力とに基づいて、所望のナビゲーション応答を決定することもできる。所望のナビゲーション応答に基づいて、処理ユニット１１０は、電子信号を車両２００のスロットルシステム２２０、ブレーキシステム２３０、及び操舵システム２４０に送信して、例えば、車両２００のハンドルをターンさせ、所定の角度の回転を達成することにより、所望のナビゲーション応答をトリガーし得る。幾つかの実施形態では、処理ユニット１１０は、車両２００の速度変更を計算するための速度及び加速度モジュール４０６の実行への入力として、ナビゲーション応答モジュール４０８の出力（例えば、所望のナビゲーション応答）を使用し得る。
更に、本明細書に開示される任意のモジュール（例えば、モジュール４０２、４０４、及び４０６）は、トレーニングされたシステム（ニューラルネットワーク若しくはディープニューラルネットワーク等）又はトレーニングされていないシステムに関連付けられた技法を実施し得る。
図５Ａは、開示される実施形態による、単眼画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス５００Ａを示すフローチャートである。ステップ５１０において、処理ユニット１１０は、処理ユニット１１０と画像取得ユニット１２０との間のデータインタフェース１２８を介して、複数の画像を受信し得る。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２を有する画像捕捉デバイス１２２等）は、車両２００の前方（又は例えば、車両の側部若しくは後方）のエリアの複数の画像を捕捉し、データ接続（例えば、デジタル、有線、ＵＳＢ、無線、Bluetooth等）を介して処理ユニット１１０に送信し得る。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、ステップ５２０において、以下で図５Ｂ〜図５Ｄに関連して更に詳細に説明するように、複数の画像を分析し得る。分析を実行することにより、処理ユニット１１０は、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、及び信号機等の画像の組内の特徴の組を検出し得る。
処理ユニット１１０は、ステップ５２０において、単眼画像分析モジュール４０２を実行して、例えば、トラックタイヤの部品、落ちた道路標識、緩んだ貨物、及び小動物等の様々な道路危険物を検出することもできる。道路危険物の構造、形状、サイズ、及び色は様々であり得、そのような危険物の検出をより難しくする。幾つかの実施形態では、処理ユニット１１０は、単眼画像分析モジュール４０２を実行し、マルチフレーム分析を複数の画像に対して実行して、道路危険物を検出し得る。例えば、処理ユニット１１０は、連続画像フレーム間でのカメラ移動を推定し、フレーム間のピクセルの不一致を計算して、道路の３Ｄマップを構築し得る。次に、処理ユニット１１０は、３Ｄマップを使用して、路面及び路面の上に存在する危険物を検出し得る。
ステップ５３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、ステップ５２０において実行された分析及び図４に関連して上述した技法に基づいて、車両２００に１つ又は複数のナビゲーション応答を生じさせ得る。ナビゲーション応答は、例えば、ターン、レーンシフト、及び加速度変更等を含み得る。幾つかの実施形態では、処理ユニット１１０は、速度及び加速度モジュール４０６の実行から導出されるデータを使用して、１つ又は複数のナビゲーション応答を生じさせ得る。更に、複数のナビゲーション応答は、同時に生じ得るか、順次生じ得るか、又はそれらの任意の組合せで生じ得る。例えば、処理ユニット１１０は、例えば、制御信号を車両２００の操舵システム２４０及びスロットルシステム２２０に順次送信することにより、車両２００に１レーン超えさせ、それから、例えば、加速させ得る。代替として、処理ユニット１１０は、例えば、制御信号を車両２００のブレーキシステム２３０及び操舵システム２４０に同時に送信することにより、車両２００に、ブレーキを掛けさせ、それと同時にレーンをシフトさせ得る。
図５Ｂは、開示される実施形態による、画像の組内の１つ又は複数の車両及び／又は歩行者を検出する例示的なプロセス５００Ｂを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｂを実施し得る。ステップ５４０において、処理ユニット１１０は、存在する可能性がある車両及び／又は歩行者を表す候補物体の組を特定し得る。例えば、処理ユニット１１０は、１つ又は複数の画像を走査し、画像を１つ又は複数の所定のパターンと比較し、各画像内で、対象物体（例えば、車両、歩行者、又はそれらの部分）を含み得る可能性がある位置を識別し得る。所定のパターンは、低率の「偽性ヒット」及び低率の「見逃し」を達成するように指定され得る。例えば、処理ユニット１１０は、所定のパターンへの低い類似性閾値を使用して、可能性のある車両又は歩行者として候補物体を識別し得る。そうすることにより、処理ユニット１１０は、車両又は歩行者を表す候補物体を見逃す（例えば、識別しない）確率を低減することができ得る。
ステップ５４２において、処理ユニット１１０は、候補物体の組をフィルタリングして、分類基準に基づいて特定の候補（例えば、無関係又は関係性の低い物体）を除外し得る。そのような基準は、データベース（例えば、メモリ１４０に記憶されるデータベース）に記憶された物体タイプに関連付けられた様々な特性から導出され得る。特性は、物体の形状、寸法、テクスチャ、及び位置（例えば、車両２００に対する）等を含み得る。したがって、処理ユニット１１０は、１つ又は複数の組の基準を使用して、候補物体の組から偽性候補を拒絶し得る。
ステップ５４４において、処理ユニット１１０は、複数の画像フレームを分析して、候補画像の組内の物体が車両及び／又は歩行者を表しているか否かを特定し得る。例えば、処理ユニット１１０は、連続フレームにわたり検出された候補物体を追跡し、検出された物体に関連付けられたフレーム毎データ（例えば、サイズ、車両２００に対する位置等）を蓄積し得る。更に、処理ユニット１１０は、検出された物体のパラメータを推定し、物体のフレーム毎位置データを予測位置と比較し得る。
ステップ５４６において、処理ユニット１１０は、検出された物体の測定値の組を構築し得る。そのような測定は、例えば、検出された物体に関連付けられた位置、速度、及び加速度値（車両２００に対する）を含み得る。幾つかの実施形態では、処理ユニット１１０は、カルマンフィルタ又は線形二次推定（ＬＱＥ）等の一連の時間ベースの観測を使用する推定技法及び／又は異なる物体タイプ（例えば、車、トラック、歩行者、自転車、道路標識等）で利用可能なモデリングデータに基づいて、測定を構築し得る。カルマンフィルタは、物体のスケールの測定に基づき得、ここで、スケール測定は衝突までの時間（例えば、車両２００が物体に達するまでの時間量）に比例する。したがって、ステップ５４０〜５４６を実行することにより、処理ユニット１１０は、捕捉画像の組内に現れる車両及び歩行者を識別し、車両及び歩行者に関連付けられた情報（例えば、位置、速度、サイズ）を導出し得る。識別及び導出される情報に基づいて、処理ユニット１１０は、図５Ａに関連して上述したように、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。
ステップ５４８において、処理ユニット１１０は、１つ又は複数の画像のオプティカルフロー分析を実行して、「偽性ヒット」を検出する確率及び車両又は歩行者を表す候補物体を見逃す確率を低減し得る。オプティカルフロー分析は、例えば、他の車両及び歩行者に関連付けられた１つ又は複数の画像内の車両２００に対する、路面の動きとは別個の移動パターンを分析することを指し得る。処理ユニット１１０は、異なる時刻に捕捉された複数の画像フレームにわたる物体の異なる位置を観測することにより、候補物体の移動を計算し得る。処理ユニット１１０は、位置及び時間値を数学モデルへの入力として使用して、候補物体の移動を計算し得る。したがって、オプティカルフロー分析は、車両２００の付近にある車両及び歩行者を検出する別の方法を提供し得る。処理ユニット１１０は、ステップ５４０〜５４６と組み合わせてオプティカルフロー分析を実行して、車両及び歩行者を検出する冗長性を提供すると共に、システム１００の信頼度を上げ得る。
図５Ｃは、開示される実施形態による、画像の組内の道路マーク及び／又はレーンジオメトリ情報を検出する例示的なプロセス５００Ｃを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｃを実施し得る。ステップ５５０において、処理ユニット１１０は、１つ又は複数の画像を走査することにより物体の組を検出し得る。レーンマークのセグメント、レーンジオメトリ情報、及び他の関連道路マークを検出するために、処理ユニット１１０は、物体の組をフィルタリングして、無関連（例えば、小さい穴、小さい岩等）であると特定されるものを除外し得る。ステップ５５２において、処理ユニット１１０は、同じ道路マーク又はレーンマークに属する、ステップ５５０において検出されたセグメントを一緒にグループ化し得る。グループ化に基づいて、処理ユニット１１０は、数学モデル等のモデルを開発して、検出されたセグメントを表し得る。
ステップ５５４において、処理ユニット１１０は、検出されたセグメントに関連付けられた測定値の組を構築し得る。幾つかの実施形態では、処理ユニット１１０は、画像平面から実世界平面への検出セグメントの射影を作成し得る。射影は、検出された道路の位置、傾斜、曲率、及び曲率微分等の物理特性に対応する係数を有する三次多項式を使用して特徴付け得る。射影を生成するに当たり、処理ユニット１１０は、路面変化並びに車両２００に関連付けられたピッチ及びロール率を考慮に入れ得る。加えて、処理ユニット１１０は、位置及び路面に存在するモーションキューを分析することにより道路高をモデリングし得る。更に、処理ユニット１１０は、１つ又は複数の画像での特徴点の組を追跡することにより、車両２００に関連付けられたピッチ率及びロール率を推定し得る。
ステップ５５６において、処理ユニット１１０は、例えば、連続した画像フレームにわたり検出セグメントを追跡し、検出セグメントに関連付けられたフレーム毎データを蓄積することにより、マルチフレーム分析を実行し得る。処理ユニット１１０はマルチフレーム分析を実行する場合、ステップ５５４において構築された測定値の組は、より信頼性の高いものになり得、一層高い信頼度に関連付けられ得る。したがって、ステップ５５０、５５２、５５４、及び５５６を実行することにより、処理ユニット１１０は、捕捉画像の組内に現れる道路マークを識別し、レーンジオメトリ情報を導出し得る。識別及び導出される情報に基づいて、処理ユニット１１０は、図５Ａに関連して上述したように、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。
ステップ５５８において、処理ユニット１１０は、追加の情報ソースを考慮して、車両の周囲の状況での車両２００の安全モデルを更に開発し得る。処理ユニット１１０は、安全モデルを使用して、システム１００が車両２００の自律制御を安全に実行し得る状況を定義し得る。安全モデルを開発するために、幾つかの実施形態では、処理ユニット１１０は、他の車両の位置及び動き、検出された道路縁部及び障壁、及び／又は地図データ（地図データベース１６０からのデータ等）から抽出された一般道路形状記述を考慮し得る。追加の情報ソースを考慮することにより、処理ユニット１１０は、道路マーク及びレーンジオメトリを検出する冗長性を提供し、システム１００の信頼性を上げ得る。
図５Ｄは、開示される実施形態による、画像の組内の信号機を検出する例示的なプロセス５００Ｄを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｄを実施し得る。ステップ５６０において、処理ユニット１１０は、画像の組を走査し、信号機を含む可能性が高い画像内の位置に現れる物体を識別し得る。例えば、処理ユニット１１０は、識別された物体をフィルタリングして、信号機に対応する可能性が低い物体を除外した候補物体の組を構築し得る。フィルタリングは、形状、寸法、テクスチャ、及び位置（例えば、車両２００に対する）等の信号機に関連付けられた様々な特性に基づいて行い得る。そのような特性は、信号機及び交通制御信号の多くの例に基づき得、データベースに記憶され得る。幾つかの実施形態では、処理ユニット１１０は、可能性のある信号機を反映した候補物体の組に対してマルチフレーム分析を実行し得る。例えば、処理ユニット１１０は、連続した画像フレームにわたり候補物体を追跡し、候補物体の現実世界位置を推定し、移動している（信号機である可能性が低い）物体をフィルタリングして除去し得る。幾つかの実施形態では、処理ユニット１１０は、カラー分析を候補物体に対して実行し、可能性のある信号機内部に表される検出色の相対位置を識別し得る。
ステップ５６２において、処理ユニット１１０は、交差点のジオメトリを分析し得る。分析は、（ｉ）車両２００の両側で検出されるレーン数、（ｉｉ）道路で検出されたマーク（矢印マーク等）、及び（ｉｉｉ）地図データ（地図データベース１６０からのデータ等）から抽出された交差点の記述の任意の組合せに基づき得る。処理ユニット１１０は、単眼分析モジュール４０２の実行から導出される情報を使用して、分析を行い得る。加えて、処理ユニット１１０は、ステップ５６０において検出された信号機と、車両２００近傍に現れるレーンとの対応性を特定し得る。
車両２００が交差点に近づくにつれて、ステップ５６４において、処理ユニット１１０は、分析された交差点ジオメトリ及び検出された信号機に関連付けられた信頼度を更新し得る。例えば、交差点に実際に現れる数と比較した交差点に現れると推定された信号機の数は、信頼度に影響を及ぼし得る。したがって、信頼度に基づいて、処理ユニット１１０は、車両２００のドライバーに制御を委任して、安全状況を改善し得る。ステップ５６０、５６２、及び５６４を実行することにより、処理ユニット１１０は、捕捉画像の組内に現れる信号機を識別し、交差点ジオメトリ情報を分析し得る。識別及び分析に基づいて、処理ユニット１１０は、図５Ａに関連して上述したように、車両２００で１つ又は複数のナビゲーション応答を生じさせ得る。
図５Ｅは、開示される実施形態による、車両経路に基づいて車両２００で１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス５００Ｅのフローチャートである。ステップ５７０において、処理ユニット１１０は、車両２００に関連付けられた初期車両経路を構築し得る。車両経路は、座標（ｘ，ｙ）で表される点の組を使用して表され得、点の組内の２点間距離ｄｉは、１〜５メートルの範囲内にあり得る。一実施形態では、処理ユニット１１０は、左右の道路多項式等の２つの多項式を使用して初期車両経路を構築し得る。処理ユニット１１０は、２つの多項式間の幾何学的中間点を計算し、所定のオフセットがある場合（オフセット０は、レーンの中央での走行に対応し得る）、所定のオフセット（例えば、スマートレーンオフセット）だけ、結果として生成される車両経路に含まれる各点をオフセットさせ得る。オフセットは、車両経路内の任意の２点間のセグメントに垂直の方向であり得る。別の実施形態では、処理ユニット１１０は、１つの多項式及び推定レーン幅を使用して、推定レーン幅の半分に所定のオフセット（例えば、スマートレーンオフセット）を加えたものだけ車両経路の各点をオフセットさせ得る。
ステップ５７２において、処理ユニット１１０は、ステップ５７０において構築された車両経路を更新し得る。処理ユニット１１０は、車両経路を表す点の組内の２点間距離ｄｋが、上述した距離ｄｉよりも短くなるように、より高い解像度を使用して、５７０において構築された車両経路を再構築し得る。例えば、距離ｄｋは０．１〜０．３メートルの範囲であり得る。処理ユニット１１０は、放物線スプラインアルゴリズムを使用して車両経路を再構築し得、これは、（車両経路を表す点の組に基づく）車両経路の全長に対応する累積距離ベクトルＳをもたらし得る。
ステップ５７４において、処理ユニット１１０は、ステップ５７２において行われた更新車両経路に基づいて、先読み点（（ｘｌ，ｚｌ）として座標で表される）を特定し得る。処理ユニット１１０は、累積距離ベクトルＳから先読み点を抽出し得、先読み点は、先読み距離及び先読み時間に関連付けられ得る。先読み距離は、下限範囲１０〜２０メートルを有し得、車両２００の速度と先読み時間との積として計算され得る。例えば、車両２００の速度が下がるにつれて、先読み距離も短くなり得る（例えば、下限に達するまで）。０．５〜１．５秒の範囲であり得る先読み時間は、進行エラー追跡制御ループ等の車両２００でナビゲーション応答を生じさせることに関連付けられた１つ又は複数の制御ループの利得に反比例し得る。例えば、進行エラー追跡制御ループの利得は、ヨー率ループ、操舵アクチュエータループ、及び車横方向ダイナミクス等の帯域幅に依存し得る。したがって、進行エラー追跡制御ループの利得が高いほど、先読み時間は短くなる。
ステップ５７６において、処理ユニット１１０は、ステップ５７４において特定される先読み点に基づいて、進行エラー及びヨー率コマンドを決定し得る。処理ユニット１１０、先読み点の逆正接、例えば、ａｒｃｔａｎ（ｘｌ／ｚｌ）を計算することにより、進エラーを特定し得る。処理ユニット１１０は、進行エラーと高レベル制御利得との積とてヨー率コマンドを決定し得る。高レベル制御利得は、先読み距離が下限にない場合、２／先読み時間）に等しい値であり得る。先読み距離が下限である場合、高レベル制御利得は（２×車両２００の速度／先読み距離）に等しい値であり得る。
図５Ｆは、開示される実施形態による、先行車両がレーンを変更中であるか否かを特定する例示的なプロセス５００Ｆを示すフローチャートである。ステップ５８０において、処理ユニット１１０は、先行車両（例えば、車両２００の前を移動中の車両）に関連付けられたナビゲーション情報を特定し得る。例えば、処理ユニット１１０は、図５Ａ及び図５Ｂに関連して上述した技法を使用して、先行車両の位置、速度（例えば、方向及び速さ）、及び／又は加速度を特定し得る。処理ユニット１１０は、図５Ｅに関連して上述した技法を使用して、１つ又は複数の道路多項式、先読み点（車両２００に関連付けられる）、及び／又はスネイルトレイル（例えば、先行車両がとった経路を記述する点の組）を特定することもできる。
ステップ５８２において、処理ユニット１１０は、ステップ５８０において特定されたナビゲーション情報を分析し得る。一実施形態では、処理ユニット１１０は、スネイルトレイルと道路多項式との間の距離（例えば、トレイルに沿った）を計算し得る。トレイルに沿ったこの距離の相違が所定の閾値（例えば、直線道路では０．１〜０．２メートル、緩くカーブした道路では０．３〜０．４メートル、急カーブの道路では０．５〜０．６メートル）を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと特定し得る。複数の車両が、車両２００の前を走行中であることが検出される場合、処理ユニット１１０は、各車両に関連付けられたスネイルトレイルを比較し得る。比較に基づいて、処理ユニット１１０は、スネイルトレイルが他の車両のスネイルトレイルに一致しない車両が、レーン変更中である可能性が高いと特定し得る。処理ユニット１１０は更に、スネイルトレイル（先行車両に関連付けられた）の曲率を、先行車両が移動中の道路セグメントの予期される曲率と比較し得る。予期される曲率は、地図データ（例えば、地図データベース１６０からのデータ）、道路多項式、他の車両のスネイルトレイル、及び道路についての事前知識等から抽出され得る。スネイルトレイルの曲率と道路セグメントの予期される曲率との差が、所定の閾値を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと特定し得る。
別の実施形態では、処理ユニット１１０は、特定の時間期間（例えば、０．５〜１．５秒）にわたり、先行車両の瞬間位置を先読み点（車両２００に関連付けられた）と比較し得る。特定の時間期間中の先行車両の瞬間位置と先読み点との間の距離の差及び相違の累積和が、所定の閾値（例えば、直線道路では０．３〜０．４メートル、緩くカーブした道路では０．７〜０．８メートル、急カーブの道路では１．３〜１．７メートル）を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと特定し得る。別の実施形態では、処理ユニット１１０は、トレイルに沿って移動した横方向距離をスネイルトレイルの予期される曲率と比較することにより、スネイルトレイルの幾何学的形状を分析し得る。予期される曲率半径は、計算：
（δｚ ２＋δｘ ２）／２／（δｘ）
に従って特定され得、式中、σｘは横方向移動距離を表し、σｚは長手方向移動距離を表す。横方向移動距離と予期される曲率との差が所定の閾値（例えば、５００〜７００メートル）を超える場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと特定し得る。別の実施形態では、処理ユニット１１０は、先行車両の位置を分析し得る。先行車両の位置が道路多項式を覆い隠す（例えば、先行車両が道路多項式の上に重ね合わされる）場合、処理ユニット１１０は、先行車両がレーン変更中である可能性が高いと特定し得る。先行車両の位置が、別の車両が先行車両の前方で検出され、２つの車両のスネイルトレイルが平行ではないようなものである場合、処理ユニット１１０は、（より近い）先行車両がレーン変更中である可能性が高いと特定し得る。
ステップ５８４において、処理ユニット１１０は、ステップ５８２において実行された分析に基づいて、先行車両２００がレーン変更中であるか否かを特定し得る。例えば、処理ユニット１１０は、ステップ５８２において実行された個々の分析の加重平均に基づいてその判断を下し得る。そのような方式では、例えば、特定のタイプの分析に基づいた、先行車両がレーン変更中である可能性が高いという処理ユニット１１０による判断には、値「１」を割り当て得る（「０」は、先行車両がレーン変更中である可能性が低いとの判断を表す）。ステップ５８２において実行される異なる分析には異なる重みを割り当て得、開示される実施形態は、分析及び重みのいかなる特定の組合せにも限定されない。
図６は、開示される実施形態による、立体画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス６００を示すフローチャートである。ステップ６１０において、処理ユニット１１０は、データインタフェース１２８を介して第１及び第２の複数の画像を受信し得る。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２及び２０４を有する画像捕捉デバイス１２２及び１２４等）は、車両２００の前方のエリアの第１及び第２の複数の画像を捕捉し、デジタル接続（例えば、ＵＳＢ、無線、Bluetooth等）を介して処理ユニット１１０に送信し得る。幾つかの実施形態では、処理ユニット１１０は、２つ以上のデータインタフェースを介して第１及び第２の複数の画像を受信し得る。開示される実施形態は、いかなる特定のデータインタフェース構成又はプロトコルにも限定されない。
ステップ６２０において、処理ユニット１１０は、立体画像分析モジュール４０４を実行して、第１及び第２の複数の画像の立体画像分析を実行して、車両の前の道路の３Ｄマップを作成し、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、及び道路危険物等の画像内の特徴を検出し得る。立体画像分析は、図５Ａ〜図５Ｄに関連して上述したステップと同様に実行され得る。例えば、処理ユニット１１０は、立体画像分析モジュール４０４を実行して、第１及び第２の複数の画像内の候補物体（例えば、車両、歩行者、道路マーク、信号機、道路危険物等）を検出し、様々な基準に基づいて候補物体のサブセットをフィルタリングして除外し、マルチフレーム分析を実行し、測定値を構築し、残った候補物体の信頼度を特定し得る。上記ステップを実行するに当たり、処理ユニット１１０は、画像の１つの組のみからの情報ではなく、第１及び第２の複数の画像の両方からの情報を考慮し得る。例えば、処理ユニット１１０は、第１及び第２の複数の画像の両方に現れる候補物体のピクセルレベルデータ（又は捕捉画像の２つのストリームの中からの他のデータサブセット）の差を分析し得る。別の例として、処理ユニット１１０は、物体が複数の画像の１枚に現れるが、他の画像では現れないことを観測することにより、又は２つの画像ストリームに現れる物体に関して存在し得る他の差に関連して、候補物体の位置及び／又は速度（例えば、車両２００に対する）を推定し得る。例えば、車両２００に対する位置、速度、及び／又は加速度は、画像ストリームの一方又は両方に現れる物体に関連付けられた特徴の軌道、位置、移動特性等に基づいて特定され得る。
ステップ６３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、ステップ６２０において実行された分析及び図４に関連して上述した技法に基づいて、車両２００で１つ又は複数のナビゲーション動作を生じさせ得る。ナビゲーション応答は、例えば、ターン、レーンシフト、加速度変更、速度変更、及びブレーキ等を含み得る。幾つかの実施形態では、処理ユニット１１０は、速度及び加速度モジュール４０６の実行から導出されるデータを使用して、１つ又は複数のナビゲーション応答を生じさせ得る。更に、複数のナビゲーション応答は、同時に行われ得るか、順次行われ得るか、又はそれらの任意の組合せで行われ得る。
図７は、開示される実施形態による、３組の画像の分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセス７００を示すフローチャートである。ステップ７１０において、処理ユニット１１０は、データインタフェース１２８を介して第１、第２、及び第３の複数の画像を受信し得る。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２、２０４、及び２０６を有する画像捕捉デバイス１２２、１２４、及び１２６等）は、車両２００の前方及び／又は側部のエリアの第１、第２、及び第３の複数の画像を捕捉し、デジタル接続（例えば、ＵＳＢ、無線、Bluetooth等）を介して処理ユニット１１０に送信し得る。幾つかの実施形態では、処理ユニット１１０は、３つ以上のデータインタフェースを介して第１、第２、及び第３の複数の画像を受信し得る。例えば、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれは、処理ユニット１１０にデータを通信する関連付けられたデータインタフェースを有し得る。開示される実施形態は、いかなる特定のデータインタフェース構成又はプロトコルにも限定されない。
ステップ７２０において、処理ユニット１１０は、第１、第２、及び第３の複数の画像を分析して、レーンマーク、車両、歩行者、道路標識、高速道路出口ランプ、信号機、及び道路危険物等の画像内の特徴を検出し得る。分析は、図５Ａ〜図５Ｄ及び図６に関連して上述したステップと同様に実行され得る。例えば、処理ユニット１１０は、単眼画像分析を第１、第２、及び第３の複数のそれぞれの画像に対して実行し得る（例えば、単眼画像分析モジュール４０２の実行及び図５Ａ〜図５Ｄに関連して上述したステップに基づいて）。代替として、処理ユニット１１０は、立体画像分析を第１及び第２の複数の画像、第２及び第３の複数の画像、及び／又は第１及び第３の複数の画像に対して実行し得る（例えば、立体画像分析モジュール４０４の実行を介して及び図６に関連して上述したステップに基づいて）。第１、第２、及び／又は第３の複数の画像の分析に対応する処理済み情報は、結合され得る。幾つかの実施形態では、処理ユニット１１０は、単眼画像分析と立体画像分析との組合せを実行し得る。例えば、処理ユニット１１０は、単眼画像分析を第１の複数の画像に対して実行し（例えば、単眼画像分析モジュール４０２の実行を介して）、立体画像分析を第２及び第３の複数の画像に対して実行し得る（例えば、立体画像分析モジュール４０４の実行を介して）。画像捕捉デバイス１２２、１２４、及び１２６の構成−各位置及び視野２０２、２０４、及び２０６を含め−は、第１、第２、及び第３の複数の画像に対して行われる分析のタイプに影響を及ぼし得る。開示される実施形態は、画像捕捉デバイス１２２、１２４、及び１２６の特定の構成又は第１、第２、及び第３の複数の画像に対して行われる分析のタイプに限定されない。
幾つかの実施形態では、処理ユニット１１０は、ステップ７１０及び７２０において取得され分析された画像に基づいて、システム１００にテストを実行し得る。そのようなテストは、画像捕捉デバイス１２２、１２４、及び１２６の特定の構成でのシステム１００の全体性能のインジケータを提供し得る。例えば、処理ユニット１１０は、「偽性ヒット」（例えば、システム１００が車両又は歩行者の存在を誤って特定する場合）及び「見落とし」の割合を特定し得る。
ステップ７３０において、処理ユニット１１０は、第１、第２、及び第３の複数の画像の２つから導出される情報に基づいて、車両２００での１つ又は複数のナビゲーション応答を生じさせ得る。第１、第２、及び第３の複数の画像の２つの選択は、例えば、複数の画像のそれぞれで検出される物体の数、タイプ、及びサイズ等の様々なファクタに依存し得る。処理ユニット１１０は、画像の品質及び解像度、画像に反映される有効視野、捕捉フレーム数、及び対象となる１つ又は複数の物体が実際にフレームに現れる程度（例えば、物体が現れるフレームのパーセンテージ、物体がそのような各フレームで現れる割合等）等に基づいて選択を行うことができる。
幾つかの実施形態では、処理ユニット１１０は、ある画像ソースから導出された情報が、他の画像ソースから導出される情報と一貫する程度を特定することにより、第１、第２、及び第３の複数の画像の２つから導出される情報を選択し得る。例えば、処理ユニット１１０は、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれから導出される処理済み情報（単眼分析であれ、立体分析であれ、又はそれら２つの任意の組合せであれ関係なく）を結合して、画像捕捉デバイス１２２、１２４、及び１２６のそれぞれから捕捉される画像にわたり一貫する視覚的インジケータ（例えば、レーンマーク、検出された車両及び／又はその位置及び／又は経路、検出された信号機等）を特定し得る。処理ユニット１１０は、捕捉画像にわたり一貫しない情報（例えば、レーンを変更中の車両、車両２００に近過ぎる車両を示すレーンモデル等）を除外することもできる。したがって、処理ユニット１１０は、一貫情報及び非一貫情報の特定に基づいて、第１、第２、及び第３の複数の画像の２つからの導出される情報を選択し得る。
ナビゲーション応答は、例えば、ターン、レーンシフト、及び加速度変更を含み得る。処理ユニット１１０は、ステップ７２０において実行される分析及び図４に関連して上述した技法に基づいて、１つ又は複数のナビゲーション応答を生じさせ得る。処理ユニット１１０は、速度及び加速度モジュール４０６の実行から導出されるデータを使用して、１つ又は複数のナビゲーション応答を生じさせることもできる。幾つかの実施形態では、処理ユニット１１０は、車両２００と第１、第２、及び第３の複数の画像のいずれかで検出される物体との間の相対位置、相対速度、及び／又は相対加速度に基づいて、１つ又は複数のナビゲーション応答を生じさせ得る。複数のナビゲーション応答は、同時に行われ得るか、順次行われ得るか、又はそれらの任意の組合せで行われ得る。
捕捉された画像を分析すると、自律車両ナビゲーションのための疎な地図モデルの生成及び使用が可能になり得る。加えて、捕捉された画像を分析すると、識別されたレーンマークを使用して自律車両の位置特定が可能になり得る。捕捉された画像の１つ又は複数の特定の分析に基づいて特定の特性を検出し、疎な地図モデルを使用して自律車両をナビゲーションする実施形態について、図８〜図２８を参照して以下に考察する。
自律車両ナビゲーションのための疎な道路モデル
幾つかの実施形態では、開示されるシステム及び方法は、自律車両ナビゲーションに疎な地図を使用し得る。特に、疎な地図は、道路セグメントに沿った自律車両ナビゲーションのためのものであり得る。例えば、疎な地図は、大量のデータを記憶及び／又は更新せずに、自律車両をナビゲーションするのに十分な情報を提供し得る。更に詳細に後述するように、自律車両は、疎な地図を使用して、１つ又は複数の記憶された軌道に基づいて１つ又は複数の道路をナビゲーションし得る。
自律車両ナビゲーションのための疎な地図
幾つかの実施形態では、開示されるシステム及び方法は、疎な地図を自律車両ナビゲーションのために生成し得る。例えば、疎な地図は、過度のデータ記憶又はデータ転送率を必要とせずに、十分な情報をナビゲーションに提供し得る。更に詳細に以下で考察するように、車両（自律車両であり得る）は、疎な地図を使用して、１つ又は複数の道路を移動し得る。例えば、幾つかの実施形態では、疎な地図は、車両ナビゲーションに十分であり得るが、小さいデータフットプリントも示すデータとして、道路と、道路に沿って存在する可能性のある陸標とに関連するデータを含み得る。例えば、以下に詳述する疎なデータ地図では、道路に沿って収集される画像データ等の詳細マップ情報を含むデジタルマップと比較して、必要とされる記憶空間及びデータ転送帯域幅ははるかに少ない。
例えば、道路セグメントの詳細な表現を記憶するのではなく、疎なデータ地図は、道路の沿った好ましい車両経路の三次元多項式表現を記憶し得る。これらの経路が必要とするデータ記憶空間は、ごくわずかであり得る。更に、記載される疎なデータ地図では、ナビゲーションを支援するために、陸標が識別され、疎なマップ道路モデルに含まれ得る。これらの陸標は、車両ナビゲーションを可能にするのに適する任意の間隔で配置され得るが、幾つかの場合、そのような陸標は、高密度且つ短い間隔で識別されてモデルに含まれる必要はない。むしろ、幾つかの場合、ナビゲーションは、少なくとも５０メートル、少なくとも１００メートル、少なくとも５００メートル、少なくとも１キロメートル、又は少なくとも２キロメートルだけ離間された陸標に基づくことが可能であり得る。他のセクションでより詳細に考察するように、疎な地図は、車両が道路に沿って移動する際、画像捕捉デバイス、全地球測位システムセンサ、移動センサ等の様々なセンサ及びデバイスが備えられた車両により収集又は測定されるデータに基づいて生成され得る。幾つかの場合、疎な地図は、特定の道路に沿った１つ又は複数の車両の複数の運転中に収集されるデータに基づいて生成され得る。１つ又は複数の車両の複数の運転を使用して疎な地図を生成することは、疎な地図の「クラウドソーシング」と呼ぶことができる。
開示される実施形態によれば、自律車両システムは、疎な地図をナビゲーションに使用し得る。例えば、開示されるシステム及び方法は、自律車両の道路ナビゲーションモデルを生成するための疎な地図を配信し得、疎な地図及び／又は生成された道路ナビゲーションモデルを使用して、道路セグメントに沿って自律車両をナビゲーションし得る。本開示による疎な地図は、関連付けられた道路セグメントに沿って自律車両が移動する際に走行し得る所定の軌道を表し得る１つ又は複数の三次元輪郭を含み得る。
本開示による疎な地図は、１つ又は複数の道路特徴を表すデータを含むこともできる。そのような道路特徴は、認識された陸標、道路シグネチャプロファイル、及び車両のナビゲーションで有用な任意の他の道路関連特徴を含み得る。本開示による疎な地図は、疎な地図に含まれる比較的小量のデータに基づいて車両の自律ナビゲーションを可能にし得る。例えば、道路縁部、道路曲率、道路セグメントに関連付けられた画像、又は道路セグントに関連付けられた他の物理的な特徴を詳述するデータ等の道路の詳細な表現を含むのではなく、疎な地図の開示される実施形態は、比較的少ない記憶空間（及び疎な地図の部分が車両に転送される場合、比較的小さい帯域幅）のみでよく、それでもなお自律車両ナビゲーションを適宜提供し得る。更に詳細に後述される、開示される疎な地図の小さいデータフットプリントは、幾つかの実施形態では、小量のデータを必要とするが、それでもなお自律ナビゲーションを可能にする道路関連要素の表現を記憶することによって達成され得る。
例えば、道路の様々な態様の詳細な表現を記憶するのではなく、開示される疎な地図は、車両が道路に沿って辿り得る１つ又は複数の軌道の多項式表現を記憶し得る。したがって、道路に沿ったナビゲーションを可能にするために、道路の物理的性質に関する詳細を記憶するのではなく（又は転送する必要があるのではなく）、開示される疎な地図を使用して、幾つかの場合、道路の物理的態様を解釈する必要なく、むしろ走行経路を特定の道路セグメントに沿った軌道（例えば、多項式スプライン）に位置合わせすることにより、特定の道路セグメントに沿って車両をナビゲーションし得る。このようにして、道路画像、道路パラメータ、道路レイアウト等の記憶を含む方法よりもはるかに小さい記憶空間を必要とし得る、記憶された軌道（例えば、多項式スプライン）に主に基づいて車両をナビゲーションし得る。
道路セグメントに沿った軌道の記憶された多項式表現に加えて、開示される疎な地図は、道路特徴を表し得る小さいデータオブジェクトを含むこともできる。幾つかの実施形態では、小さいデータオブジェクトはデジタルシグネチャを含み得、デジタルシグネチャは、道路セグメントに沿って移動中の車両に搭載されるセンサ（例えば、カメラ又はサスペンションセンサ等の他のセンサ）により得られたデジタル画像（又はデジタル信号）から導出される。デジタルシグネチャは、センサにより取得された信号と比較して、低減したサイズを有し得る。幾つかの実施形態では、デジタルシグネチャは、例えば、続く運転中、センサにより取得される信号から道路特徴を検出し識別するように構成される分類機能と互換性を有するように作成され得る。幾つかの実施形態では、デジタルシグネチャは、デジタルシグネチャが、続く時間において、同じ道路セグメントに沿って走行中の車両に搭載されたカメラにより捕捉される道路特徴の画像（記憶されているシグネチャが画像に基づかず、及び／又は他のデータを含む場合、センサにより生成されるデジタル信号）に基づいて、記憶されているシグネチャと相関又は照会する能力を保ちながら、可能な限り小さいフットプリントを有するように作成され得る。
幾つかの実施形態では、データオブジェクトのサイズは、道路特徴の一意性に更に関連付けられ得る。例えば、車載カメラにより検出可能な道路特徴であり、車載カメラシステムが、特定のタイプの道路特徴、例えば、道路標識に関連付けられているものとしてその道路特徴に対応する画像データを区別することが可能である分類器に結合され、そのような道路標識がそのエリアで局所的に一意である（例えば、付近に同一の道路標識又は同じタイプの道路標識がない）場合、道路特徴のタイプ及びその位置を示すデータを記憶することで十分であり得る。
以下に更に詳細に考察するように、道路特徴（例えば、道路セグメントに沿った陸標）は、比較的少数のバイトで道路特徴を表し得る小さいデータオブジェクトとして記憶され得、それと同時に、そのような特徴を認識してナビゲーションに使用するのに十分な情報を提供する。一例では、道路標識は、車両のナビゲーションが基づくことができる認識済み陸標として識別され得る。道路標識の表現は、例えば、陸標のタイプ（例えば、停止標識）を示す数バイトのデータ及び陸標の位置（例えば、座標）を示す数バイトのデータを含むように疎な地図に記憶され得る。陸標のそのようなデータ軽量表現（例えば、陸標の位置特定、認識、及び陸標に基づくナビゲーションに十分な表現を使用する）に基づくナビゲーションは、疎な地図に関連付けられたデータオーバーヘッドをあまり増大させずに、疎な地図に関連付けられた所望レベルのナビゲーション機能を提供し得る。陸標（及び他の道路特徴）のこの無駄のない表現は、特定の道路特徴を検出、識別、及び／又は分類するように構成された、車両に搭載されるセンサ及びプロセッサを利用し得る。
例えば、所与のエリアで、標識、更には標識の特定のタイプが局所的に一意である（例えば、他の標識がないか、又は同じタイプの他の標識がない）場合、疎な地図は、陸標のタイプ（標識又は標識の特定のタイプ）を示すデータを使用し得、ナビゲーション（例えば、自律ナビゲーション）中、自律車両に搭載されたカメラが、標識（又は標識の特定のタイプ）を含むエリアの場像を捕捉する場合、プロセッサは、画像を処理し、標識を検出し（実際に画像に存在する場合）、画像を標識（又は標識の特定のタイプ）として分類し、画像の位置を、疎な地図に記憶された標識の位置に相関付け得る。
疎な地図の生成
幾つかの実施形態では、疎な地図は、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現と、道路セグメントに関連付けられた複数の陸標とを含み得る。特定の態様では、疎な地図は、「クラウドソーシング」を介して、例えば１つ又は複数の車両が道路セグメントを走行する際に取得された複数の画像の画像分析を通して生成され得る。
図８は、１つ又は複数の車両、例えば車両２００（自律車両であり得る）が、自律車両ナビゲーションを提供するためにアクセスし得る疎な地図８００を示す。疎な地図８００は、メモリ１４０又は１５０等のメモリに記憶され得る。そのようなメモリデバイスは、任意のタイプの非一時的記憶装置又はコンピュータ可読媒体を含み得る。例えば、幾つかの実施形態では、メモリ１４０又は１５０は、ハードドライブ、コンパクトディスク、フラッシュメモリ、磁気ベースのメモリデバイス、光学ベースのメモリデバイス等を含み得る。幾つかの実施形態では、疎な地図８００は、メモリ１４０若しくは１５０又は他のタイプの記憶装置に記憶され得るデータベース（例えば、地図データベース１６０）に記憶され得る。
幾つかの実施形態では、疎な地図８００は、車両２００に搭載して提供される記憶装置又は非一時的コンピュータ可読媒体（例えば、車両２００に搭載されるナビゲーションシステムに含まれる記憶装置）に記憶され得る。車両２００に提供されるプロセッサ（例えば、処理ユニット１１０）は、車両２００に搭載して提供される記憶装置又はコンピュータ可読媒体に記憶される疎な地図８００にアクセスして、自律車両２００が道路セグメントを走行する際、その車両をガイドするナビゲーション命令を生成し得る。
しかし、疎な地図８００は、車両にローカルに記憶される必要はない。幾つかの実施形態では、疎な地図８００は、車両２００又は車両２００に関連付けられたデバイスと通信するリモートサーバに提供される記憶装置又はコンピュータ可読媒体に記憶され得る。車両２００に提供されるプロセッサ（例えば、処理ユニット１１０）は、リモートサーバから疎な地図８００に含まれるデータを受信し得、車両２００の自律運転をガイドするデータを実行し得る。そのような実施形態では、リモートサーバは、全ての疎な地図８００又はその一部のみを記憶し得る。したがって、車両２００及び／又は１つ若しくは複数の追加の車両に搭載して提供される記憶装置又はコンピュータ可読媒体は、疎な地図８００の残りの部分を記憶し得る。
更に、そのような実施形態では、疎な地図８００は、様々な道路セグメントを走行する複数の車両（例えば、数十、数百、数千、又は数百万の車両等）がアクセス可能であり得る。疎な地図８００が複数のサブマップを含み得ることにも留意されたい。例えば、幾つかの実施形態では、疎な地図８００は、車両のナビゲーションに使用することができる数百、数千、数百万、又はそれを超えるサブマップを含み得る。そのようなサブマップはローカル地図と呼ぶことができ、道路に沿って走行中の車両は、その車両が走行中の位置に関連する任意の数のローカル地図にアクセスし得る。疎な地図８００のローカル地図セクションは、疎な地図８００のデータベースへのインデックスとして全世界的航法衛星システム（ＧＮＳＳ）キーと共に記憶され得る。したがって、本システムでのホスト車両をナビゲーションする操舵角の計算は、ホスト車両、道路特徴、又は陸標のＧＮＳＳ位置に依存せずに実行され得るが、そのようなＧＮＳＳ情報は、関連するローカル地図の検索に使用され得る。
データの収集及び疎な地図８００の生成について、例えば、図９に関して更に詳細に網羅される。しかし、一般に、疎な地図８００は、車両が道路に沿って走行する際、１つ又は複数の車両から収集されるデータに基づいて生成され得る。例えば、１つ又は複数の車両に搭載されたセンサ（例えば、カメラ、速度計、ＧＰＳ、加速度計等）を使用して、１つ又は複数の車両が道路に沿って走行する軌道を記録し得、道路に沿って続けて走行する車両の好ましい軌道の多項式表現は、１つ又は複数の車両が走行した、収集された軌道に基づいて決定され得る。同様に、１つ又は複数の車両により収集されたデータは、特定の道路に沿った陸標候補（potential landmark）を識別するのに役立ち得る。走行中の車両から収集されたデータは、道路幅プロファイル、道路凹凸プロファイル、走行ライン間隔プロファイル、道路状況等の道路プロファイル情報を識別するのに使用することもできる。収集された情報を使用して、疎な地図８００を生成し、１つ又は複数の自律車両のナビゲーションに使用するのに配信し得る（例えば、ローカル記憶装置に又は無線データ送信を介して）。しかし、幾つかの実施形態では、地図生成は、地図の初期生成時に終わらないことがある。以下に更に詳細に考察するように、疎な地図８００は、車両が、疎な地図８００に含まれる道路を引き続き走行する際、車両から収集されるデータに基づいて連続して又は定期的に更新され得る。
疎な地図８００に記録されるデータは、全地球測位システム（ＧＰＳ）データに基づく位置情報を含み得る。例えば、位置情報は、例えば、陸標位置、道路プロファイル位置等を含め、様々な地図要素について疎な地図８００に含まれ得る。疎な地図８００に含まれる地図要素の位置は、道路を走行中の車両から収集されるＧＰＳデータを使用して取得され得る。例えば、識別された陸標を通過中の車両は、車両に関連付けられたＧＰＳ位置情報及び車両に対する識別された陸標の位置の特定（例えば、車載の１つ又は複数のカメラから収集されるデータの画像分析に基づく）を使用して、識別された陸標の位置を特定し得る。識別された陸標（又は疎な地図８００に含まれる任意の他の特徴）のそのような位置特定は、識別された陸標の位置を追加の車両が通過する際に繰り返され得る。追加の位置特定の幾つか又は全てを使用して、識別された陸標に対する疎な地図８００に記憶された位置情報を改良することができる。例えば、幾つかの実施形態では、疎な地図８００に記憶された特定の特徴に対する複数の位置測定について、まとめて平均をとり得る。しかし、地図要素に特定された複数の位置に基づいて地図要素の記憶された位置を改良するために、任意の他の数学的演算を使用することも可能である。
開示される実施形態の疎な地図は、比較的小量の記憶データを使用して車両の自律ナビゲーションを可能にし得る。幾つかの実施形態では、疎な地図８００は、道路１キロメートル当たり２ＭＢ未満、道路１キロメートル当たり１ＭＢ未満、道路１キロメートル当たり５００ｋＢ未満、又は道路１キロメートル当たり１００ｋＢ未満のデータ密度（例えば、目標軌道、陸標、及び任意の他の記憶された道路特徴を表すデータを含む）を有し得る。幾つかの実施形態では、疎な地図８００のデータ密度は、道路１キロメートル当たり１０ｋＢ未満、更には道路１キロメートル当たり２ｋＢ未満（例えば、１キロメートル当たり１．６ｋＢ）、又は道路１キロメートル当たり１０ｋＢ以下であり得る。幾つかの実施形態では、米国の全てとは言えないにしても略全ての道路は、合計４ＧＢ以下のデータを有する疎な地図を使用して自律的にナビゲーションし得る。これらのデータ密度値は、疎な地図８００の全体、疎な地図８００内のローカル地図、及び／又は疎な地図８００内の特定の道路セグメントにわたる平均を表し得る。
留意されるように、疎な地図８００は、道路セグメントに沿って自律運転又はナビゲーションをガイドする複数の目標軌道８１０の表現を含み得る。そのような目標軌道は、三次元スプラインとして記憶され得る。疎な地図８００に記憶される目標軌道は、例えば、図２９に関して考察されるように、特定の道路セグメントに沿った車両の以前の走行の２つ以上の再構築された軌道に基づいて決定され得る。道路セグメントは、単一の目標軌道又は複数の目標軌道に関連付けられ得る。例えば、２レーン道路では、第１の方向での道路に沿った意図される走行経路を表す第１の目標軌道を記憶し得ると共に、別の方向（例えば、第１の方向の逆）での道路に沿った意図される走行経路を表す第２の目標軌道を記憶し得る。特定の道路セグメントに関する追加の目標軌道を記憶し得る。例えば、複数レーン道路では、複数レーン道路に関連付けられた１つ又は複数のレーンでの車両の意図される走行経路を表す１つ又は複数の目標軌道を記憶し得る。幾つかの実施形態では、複数レーン道路の各レーンは、それ自体の目標軌道に関連付けられ得る。他の実施形態では、複数レーン道路に存在するレーンよりも少数の目標軌道が記憶され得る。そのような場合、複数レーン道路を移動している車両は、記憶された目標軌道のいずれかを使用して、目標軌道が記憶されたレーンからのレーンオフセット量を考慮に入れることにより、ナビゲーションをガイドし得る（例えば、車両が、３レーン高速道路の最も左側のレーンを走行中であり、高速道路の中央レーンの目標軌道のみが記憶されている場合、車両は、ナビゲーション命令を生成する際、中央レーンと最も左側のレーンとの間のレーンオフセット量を明らかにすることにより、中央レーンの目標軌道を使用してナビゲーションし得る）。
幾つかの実施形態では、目標軌道は、車両が走行する際にとるべき理想経路を表し得る。目標軌道は、例えば、走行レーンの概ね中央に配置され得る。他の場合、目標軌道は、道路セグメントに対して他の場所に配置され得る。例えば、目標軌道は、道路の中心、道路の縁部、又はレーンの縁部等に概ね一致し得る。そのような場合、目標軌道に基づくナビゲーションは、目標軌道の位置に対して維持するように決定されたオフセット量を含み得る。更に、幾つかの実施形態では、目標軌道の位置に対して維持するように決定されたオフセット量は、車両のタイプに応じて異なり得る（例えば、２つの車軸を含む乗用車は、目標軌道の少なくとも一部に沿って、３つ以上の車軸を含むトラックと異なるオフセットを有し得る）。
疎な地図８００は、特定の道路セグメント、ローカル地図等に関連付けられた複数の所定の陸標８２０に関連するデータを含むこともできる。以下で更に詳細に考察するように、これらの陸標は、自律車両のナビゲーションに使用され得る。例えば、幾つかの実施形態では、陸標は、記憶された目標軌道に対する車両の現在位置を特定するのに使用され得る。この位置情報を用いて、自律車両は、特定された位置での目標軌道の方向に一致するように、進行方向を調整することが可能であり得る。
任意の適する間隔で複数の陸標８２０を識別し、疎な地図８００に記憶し得る。幾つかの実施形態では、陸標は、比較的高密度で（例えば、数メートル毎以上）記憶され得る。しかし、幾つかの実施形態では、はるかに広い陸標間隔値を利用し得る。例えば、疎な地図８００において、識別済み（又は認識済み）陸標は、１０メートル、２０メートル、５０メートル、１００メートル、１キロメートル、又は２キロメートルだけ離間され得る。幾つかの場合、識別済み陸標は、更には２キロメートルを超える距離だけ離れて配置され得る。
陸標間、したがって目標軌道に対して特定される車両位置の間において、車両は、車両がセンサを使用して自己運動を決定する推測航法に基づいて移動し得、目標軌道に対するそれ自体の位置を推定し得る。推測航法による移動中、誤差が蓄積され得るため、時間の経過に伴い、目標軌道に対する位置特定の正確性が一層低くなり得る。車両は、疎な地図８００に含まれる陸標（及び陸標の既知の位置）を使用して、位置特定での推測航法誘発誤差をなくし得る。このようにして、疎な地図８００に含まれる識別済み陸標はナビゲーションアンカーとして機能し得、そこから、目標軌道に対する車両の正確な位置を特定し得る。位置特定において、特定量の誤差が許容可能であり得るため、識別済み陸標を自律車両に常に提供する必要があるわけではない。むしろ、上述したように、１０メートル、２０メートル、５０メートル、１００メートル、５００メートル、１キロメートル、２キロメートル、又はそれを超える陸標間隔に基づいてさえも、適する移動が可能であり得る。幾つかの実施形態では、道路１ｋｍ毎に１つの識別済み陸標という密度が、長手方向位置特定精度を１ｍ以内に維持するの十分であり得る。したがって、道路セグメントに沿って現れるあらゆる存在する可能性のある陸標を疎な地図８００に記憶する必要があるわけではない。
更に、幾つかの実施形態では、レーンマークは、陸標間隔中の車両の位置を特定するのに使用され得る。陸標間隔中のレーンマークを使用することにより、推測航法によるナビゲーション中の蓄積が最小化され得る。特に、そのような位置特定について、図３５に関して以下に考察する。
目標軌道及び識別済み陸標に加えて、疎な地図８００は、様々な他の道路特徴に関連する情報を含み得る。例えば、図９Ａは、疎な地図８００に記憶され得る特定の道路セグメントに沿ったカーブの表現を示す。幾つかの実施形態では、道路の単一レーンは、その道路の左右のサイドの三次元多項式記述によりモデリングされ得る。単一レーンの左右のサイドを表すそのような多項式を図９Ａに示す。道路が幾つのレーンを有し得るかに関係なく、道路は、図９Ａに示される方法と同様の方法で、多項式を使用して表され得る。例えば、複数レーン道路の左右のサイドは、図９Ａに示される多項式と同様の多項式により表現され得、複数レーン道路に含まれる中間レーンマーク（例えば、破線マークはレーン境界を表し、実線の黄線は、異なる方向に向かうレーン間の境界を表す等）も、図９Ａに示される多項式等の多項式を使用して表現され得る。
図９Ａに示されるように、レーン９００は、多項式（例えば、一次、二次、三次、又は任意の適する次数の多項式）を使用して表現され得る。例示のために、レーン９００は、二次元レーンとして示され、多項式は二次元多項式として示される。図９Ａに示されるように、レーン９００は、左サイド９１０及び右サイド９２０を含む。幾つかの実施形態では、２つ以上の多項式を使用して、道路又はレーン境界の各サイドの位置を表し得る。例えば、左サイド９１０及び右サイド９２０のそれぞれは、任意の適する長さの複数の多項式により表現され得る。幾つかの場合、多項式は約１００ｍの長さを有し得るが、１００ｍよりも長いか、又は短い他の長さも使用可能である。更に、多項式は、互いに重複して、ホスト車両が道路に沿って走行する際、続けて直面する多項式に基づくナビゲーションでのシームレスな遷移を促進し得る。例えば、左サイド９１０及び右サイド９２０のそれぞれは、約１００メートル長（第１の所定の範囲の例）のセグメントに分けられ、約５０メートルだけ互いに重複する複数の三次多項式により表され得る。左サイド９１０及び右サイド９２０を表す多項式は、同じ次数を有しても又は有さなくてもよい。例えば、幾つかの実施形態では、多項式によっては、二次多項式であるものもあれば、三次多項式であるものもあれば、四次多項式であるものもある。
図９Ａに示される例では、レーン９００の左サイド９１０は、２つのグループの三次多項式により表される。第１のグループは多項式セグメント９１１、９１２、及び９１３を含む。第２のグループは、多項式セグメント９１４、９１５、及び９１６を含む。２つのグループは、互いに略平行である間、道路の各サイドの位置を辿る。多項式セグメント９１１、９１２、９１３、９１４、９１５、及び９１６は、長さ約１００メートルを有し、一続き内で隣接するセグメントと約５０メートルだけ重複する。しかし、上述したように、異なる長さ及び異なる重複量の多項式を使用することも可能である。例えば、多項式は、長さ５００ｍ、１ｋｍ、又は１ｋｍ超を有し得、重複量は０〜５０ｍ、５０ｍ〜１００ｍ、又は１００ｍ超と様々であり得る。更に、図９Ａは、２Ｄ空間（例えば、紙の表面）に延びる多項式を表すものとして示されているが、これらの多項式が、三次元（例えば、高さ成分を含む）において延びる曲線を表して、Ｘ−Ｙ曲率に加えて道路セグメントの高さ変化を表し得ることを理解されたい。図９Ａに示される例では、レーン９００の右サイド９２０は、多項式セグメント９２１、９２２、及び９２３を有する第１のグループ並びに多項式セグメント９２４、９２５、及び９２６を有する第２のグループによって更に表される。
疎な地図８００の目標軌道に戻ると、図９Ｂは、特定の道路セグメントに沿って走行する車両の目標軌道を表す三次元多項式を示す。目標軌道は、ホスト車両が特定の道路セグメントに沿って走行すべきＸ−Ｙ経路のみならず、ホスト車両が道路セグメントを走行する際に経験する高さ変化も表す。したがって、疎な地図８００内の各目標軌道は、図９Ｂに示される三次元多項式９５０のように、１つ又は複数の三次元多項式により表され得る。疎な地図８００は、複数の軌道（例えば、世界中の道路に沿った様々な道路セグメントに沿った車両の軌道を表すには数百万又は数十億又は数十億超）を含み得る。幾つかの実施形態では、各目標軌道は、三次元多項式セグメントを結び付けるスプラインに対応し得る。
疎な地図８００に記憶される多項式曲線のデータフットプリントに関して、幾つかの実施形態では、各三次多項式は、４つのパラメータにより表され得、各パラメータは４バイトのデータを必要とする。適する表現は、１００ｍ毎に約１９２バイトのデータを必要とする三次多項式を用いて取得され得る。これは、約１００ｋｍ／時で走行中のホスト車両の場合、約２００ｋＢ／時のデータ使用／転送要件に換算され得る。
疎な地図８００は、ジオメトリ記述子とメタデータとの組合せを使用してレーンネットワークを記述し得る。ジオメトリは、上述したように多項式又はスプラインにより記述され得る。メタデータは、レーン数、特別な特徴（相乗りレーン等）、及び可能な場合には他の疎なラベルを記述し得る。そのようなインジケータの合計フットプリントはごくわずかであり得る。
したがって、本開示の実施形態による疎な地図は、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み得、各線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表す。幾つかの実施形態では、上述したように、路面特徴の少なくとも１つの線表現は、スプライン、多項式表現、又は曲線を含み得る。更に、幾つかの実施形態では、路面特徴は、道路縁部又はレーンマークの少なくとも一方を含み得る。更に、「クラウドソーシング」に関して後述するように、路面特徴は、１つ又は複数の車両が道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別され得る。
上述したように、疎な地図８００は、道路セグメントに関連付けられた複数の所定の陸標を含み得る。陸標の実際の画像を記憶して、例えば捕捉画像及び記憶画像に基づく画像認識分析に依存するのではなく、疎な地図８００内の各陸標は、記憶された実際の画像で必要とされるよりも少ないデータを使用して表現及び認識され得る。陸標を表すデータは、道路に沿った陸標を記述又は識別するのに十分な情報を依然として含み得る。陸標の実際の画像ではなく陸標の特徴を記述するデータを記憶することにより、疎な地図８００のサイズを低減し得る。
図１０は、疎な地図８００で表され得る陸標のタイプの例を示す。陸標は、道路セグメントに沿った任意の可視及び識別可能な物体を含み得る。陸標は、固定され、位置及び／又は内容を頻繁には変更しないものが選択され得る。疎な地図８００に含まれる陸標は、車両が特定の道路セグメントを走行する際、目標軌道に対する車両２００の位置を特定するに当たり有用であり得る。陸標の例としては、交通標識、方向標識、汎用標識（例えば、矩形標識）、路傍固定物（例えば、街灯柱、反射板等）、及び任意の他の適するカテゴリを挙げ得る。幾つかの実施形態では、道路上のレーンマークも陸標として疎な地図８００に含まれ得る。
図１０に示される陸標の例は、交通標識、方向標識、路傍固定物、及び汎用標識を含む。交通標識は、例えば、速度制限標識（例えば、速度制限標識１０００）、譲れの標識（例えば、譲れの標識１００５）、ルート番号標識（例えば、ルート番号標識１０１０）、信号機標識（例えば、信号機標識１０１５）、停止標識（例えば、停止標識１０２０）を含み得る。方向標識は、異なる場所への１つ又は複数の方向を示す１つ又は複数の矢印を含む標識を含み得る。例えば、方向標識は、車両を異なる道路又は場所に向ける矢印を有する高速道路標識１０２５、車両を別の道路に向ける矢印を有する出口標識１０３０等を含み得る。したがって、複数の陸標の少なくとも１つは、道路標識を含み得る。
汎用標識は、交通に非関連であり得る。例えば、汎用標識は、広告に使用される広告板又は２つの国、州、郡、市、若しくは町の境界線に隣接するウェルカムボードを含み得る。図１０は汎用標識１０４０（「Joe's Restaurant」）を示す。汎用標識１０４０は、図１０に示されるように矩形を有し得るが、汎用標識１０４０は、正方形、円形、三角形等の他の形状を有することもできる。
陸標は、路傍固定物を含むこともできる。路傍固定物は、標識ではない物体であり得、交通又は方向に関係しないことがある。例えば、路傍固定物は、街灯柱（例えば、街灯柱１０３５）、電柱、信号機の柱等を含み得る。
陸標は、自律車両ナビゲーションシステムでの使用に特に設計されたビーコンを含むこともできる。例えば、そのようなビーコンは、所定の間隔で配置されて、ホスト車両のナビゲーションを支援するスタンドアロン構造を含み得る。そのようなビーコンは、道路セグメントに沿って走行中の車両により識別又は認識され得る既存の道路標識に追加される視覚的／グラフィカル情報（例えば、アイコン、エンブレム、バーコード等）を含むこともできる。そのようなビーコンは、電子構成要素を含むこともできる。そのような実施形態では、電子ビーコン（例えば、ＲＦＩＤタグ等）を使用して、非視覚情報をホスト車両に送信し得る。そのような情報は、例えば、ホスト車両が目標軌道に沿った位置を特定するに当たり使用し得る陸標識別及び／又は陸標位置情報を含み得る。
幾つかの実施形態では、疎な地図８００に含まれる陸標は、所定のサイズのデータオブジェクトにより表され得る。陸標を表すデータは、特定の陸標の識別に適する任意のパラメータを含み得る。例えば、幾つかの実施形態では、疎な地図８００に記憶される陸標は、陸標の物理的なサイズ（例えば、既知のサイズ／スケールに基づく陸標への距離の推定をサポートするために）、前の陸標への距離、横方向オフセット、高さ、タイプコード（例えば、陸標タイプ−方向標識、交通標識等のいずれかのタイプ）、ＧＰＳ座標（例えば、全地球測位をサポートするため）、及び任意の他の適するパラメータ等のパラメータを含み得る。各パラメータは、データサイズに関連付けられ得る。例えば、陸標サイズは、８バイトのデータを使用して記憶され得る。前の陸標への距離、横方向オフセット、及び高さは、１２バイトのデータを使用して指定され得る。方向標識又は交通標識等の陸標に関連付けられたタイプコードは、約２バイトのデータを要し得る。汎用標識の場合、汎用標識の識別を可能にする画像シグネチャは、５０バイトのデータ記憶を使用して記憶され得る。陸標ＧＰＳ位置は、１６バイトのデータ記憶に関連付けられ得る。各パラメータのこれらのデータサイズは単なる例であり、他のデータサイズを使用することも可能である。
このようにして疎な地図８００において陸標を表すことは、データベース内で陸標を効率的に表現する無駄のない解決策を提供する。幾つかの実施形態では、標識は意味的標識又は非意味的標識と呼ばれ得る。意味的標識は、標準化された意味（例えば、速度制限標識、警告標識、方向標識等）がある標識の任意のクラスを含み得る。非意味的標識は、標準化された意味が関連しない任意の標識（例えば、一般的な広告標識、事業所を識別する標識等）を含み得る。例えば、各意味的標識は、３８バイトのデータ（例えば、サイズに８バイト、前の陸標への距離、横方向オフセット、及び高さに１２バイト、タイプコードに２バイト、並びにＧＰＳ座標に１６バイト）を用いて表現され得る。疎な地図８００は、タグシステムを使用して、陸標タイプを表し得る。幾つかの場合、各交通標識又は方向標識は、それ自体のタグに関連付けられ得、タグは、陸標識別情報の一部としてデータベースに記憶され得る。例えば、データベースは、様々な交通標識を表す１０００のオーダの異なるタグ及び方向標識を表す約１００００のオーダの異なるタグを含み得る。当然ながら、任意の適する数のタグを使用し得、必要に応じて追加のタグを作成し得る。汎用目的標識は、幾つかの実施形態では、約１００バイト未満を使用して表現され得る（例えば、サイズに８バイト、前の陸標への距離、横方向オフセット、及び高さに１２バイト、画像シグネチャに５０バイト、並びにＧＰＳ座標に１６バイトを含む約８６バイト）。
したがって、画像シグネチャを必要としない意味的道路標識の場合、５０ｍ毎に約１つという比較的高い陸標密度であっても、疎な地図８００へのデータ密度の影響は、１キロメートル当たり約７６０バイトのオーダであり得る（例えば、１キロメートル当たり２０個の陸標×１陸標当たり３８バイト＝７６０バイト）。画像シグネチャ成分を含む汎用標識の場合でも、データ密度の影響は１キロメートル当たり約１．７２ｋＢである（例えば、１キロメートル当たり２０個の陸標×１陸標当たり８６バイト＝１，７２０バイト）。意味的道路標識の場合、これは、１００ｋｍ／時で走行中の車両での１時間当たり約７６ｋＢのデータ使用に等しい。汎用標識の場合、これは、１００ｋｍ／時で移動中の車両での１時間当たり約１７０ｋＢに等しい。
幾つかの実施形態では、矩形標識等の略矩形の物体は、疎な地図８００において、１００バイト以下のデータにより表され得る。疎な地図８００での略矩形の物体（例えば、汎用標識１０４０）の表現は、略矩形の物体に関連付けられた凝縮画像シグネチャ（例えば、凝縮画像シグネチャ１０４５）を含み得る。この凝縮画像シグネチャは、例えば、汎用標識、例えば認識済み陸標の識別を支援するのに使用され得る。そのような凝縮画像シグネチャ（例えば、物体を表す実際の画像データから導出される画像情報）は、物体の実際の画像を記憶する必要性又は陸標を認識するために実際の画像に対して実行される比較画像分析の必要性を回避し得る。
図１０を参照すると、疎な地図８００は、汎用標識１０４０の実際の画像ではなく、汎用標識１０４０に関連付けられた凝縮画像シグネチャ１０４５を含むか又は記憶し得る。例えば、画像捕捉デバイス（例えば、画像捕捉デバイス１２２、１２４、又は１２６）が汎用標識１０４０の画像を捕捉した跡、プロセッサ（例えば、画像プロセッサ１９０又はホスト車両に対して車載又はリモートに配置される、画像を処理可能なプロセッサ）は、画像分析を実行して、汎用標識１０４０に関連付けられた一意のシグネチャ又はパターンを含む凝縮画像シグネチャ１０４５を抽出／作成し得る。一実施形態では、凝縮画像シグネチャ１０４５は、形状、カラーパターン、輝度パターン、又は汎用標識１０４０を記述する、汎用標識１０４０の画像から抽出され得る任意の他の特徴を含み得る。
例えば、図１０では、凝縮画像シグネチャ１０４５内に示される円、三角形、及び星は、異なる色のエリアを表し得る。円、三角形、及び星で表されるパターンは、疎な地図８００に、例えば、画像シグネチャを含むように指定される５０バイト以内で記憶され得る。特に、円、三角形、及び星は、必ずしも、そのような形状が画像シグネチャの部分として記憶されることを示すことを意味しない。むしろ、これらの形状は、識別できる色差、テクスチャエリア、グラフィカル形状、又は汎用標識に関連付けられ得る特徴の他の相違を有する認識可能なエリアを概念的に表すことを意味する。そのような凝縮画像シグネチャを使用して、汎用標識の形態の陸標を識別し得る。例えば、凝縮画像シグネチャを使用して、記憶された凝縮画像シグネチャと、例えば、自律車両に搭載されたカメラを使用して捕捉された画像データとの比較に基づいて同じか否か（same-not-same）分析を実行することができる。
したがって、複数の陸標は、１つ又は複数の車両が道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別され得る。「クラウドソーシング」に関して後述するように、幾つかの実施形態では、複数の陸標を識別するための画像分析は、陸標が出現する画像の、陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れることを含み得る。更に、幾つかの実施形態では、複数の陸標を識別するための画像分析は、陸標が出現しない画像の、陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶することを含み得る。
目標軌道に戻ると、ホスト車両は、ナビゲーションに特定の道路セグメントを使用し得、図１１Ａは、疎な地図８００を構築又は維持するプロセス中の多項式表現軌道捕捉を示す。疎な地図８００に含まれる目標軌道の多項式表現は、同じ道路セグメントに沿った車両の以前の走行の２つ以上の再構築軌道に基づいて決定され得る。幾つかの実施形態では、疎な地図８００に含まれる目標軌道の多項式表現は、同じ道路セグメントに沿った車両の以前の走行の２つ以上の再構築軌道の集約であり得る。幾つかの実施形態では、疎な地図８００に含まれる目標軌道の多項式表現は、同じ道路セグメントに沿った車両の以前の走行の２つ以上の再構築軌道の平均であり得る。道路セグメントに沿って走行中の車両から収集される再構築軌道に基づいて道路経路に沿った目標軌道の構築に、他の数学的演算を使用することもできる。
図１１Ａに示されるように、道路セグメント１１００は、異なる時間に幾つかの車両２００により走行され得る。各車両２００は、車両が道路セグメントに沿ってとった経路に関連するデータを収集し得る。特定の車両が走行した経路は、可能性のあるソースの中でも特に、カメラデータ、加速度計情報、速度センサ情報、及び／又はＧＰＳ情報に基づいて特定され得る。そのようなデータを使用して、道路セグメントに沿って走行中の車両の軌道を再構築し得、これらの再構築軌道に基づいて特定の道路セグメントの目標軌道（又は複数の目標軌道）を決定し得る。そのような目標軌道は、ホスト車両が道路セグメントに沿って走行する際、その車両（例えば、自律ナビゲーションシステムによりガイドされる）の好ましい経路を表し得る。
図１１Ａに示される例では、第１の再構築軌道１１０１は、第１の時間期間（例えば、１日目）において、道路セグメント１１００を走行する第１の車両から受信されるデータに基づいて特定され得、第２の再構築軌道１１０２は、第２の時間期間（例えば、２日目）において、道路セグメント１１００を走行する第２の車両から取得され得、第３の再構築軌道１１０３は、第３の時間期間（例えば、３日目）において、道路セグメント１１００を走行する第３の車両から取得され得る。各軌道１１０１、１１０２、及び１１０３は、三次元多項式等の多項式により表され得る。幾つかの実施形態では、再構築軌道のいずれかが、道路セグメント１１００を走行中の車両においてオンボードで構築され得ることに留意されたい。
代替又は追加として、そのような再構築軌道は、道路セグメント１１００から受信される情報に基づいてサーバ側で特定され得る。例えば、幾つかの実施形態では、車両２００は、道路セグメント１１００に沿った走行に関連するデータ（例えば、特に操舵角、進行方位、位置、速度、検知された道路セグメント、及び／又は検知された陸標）を１つ又は複数のサーバに送信し得る。サーバは、受信データに基づいて車両２００の軌道を再構築し得る。サーバは、第１、第２、及び第３の軌道１１０１、１１０２、及び１１０３に基づいて、後の時間に同じ道路セグメント１１００に沿って走行する自律車両のナビゲーションをガイドする軌道を再構築し得る。目標軌道は、道路セグメントの単一の以前の走行に関連付けられ得るが、幾つかの実施形態では、疎な地図８００に含まれる各目標軌道は、同じ道路セグメントを走行する車両の２つ以上の再構築軌道に基づいて特定され得る。図１１Ａでは、目標軌道は、１１１０により表現され得る。幾つかの実施形態では、目標軌道１１１０は、第１、第２、及び第３の軌道１１０１、１１０２、及び１１０３の平均に基づいて生成され得る。幾つかの実施形態では、疎な地図８００に含まれる目標軌道１１１０は、２つ以上の再構築軌道の集約（例えば、加重結合）であり得る。運転データを位置合わせして軌道を構築することについて、図２９に関して更に後述する。
図１１Ｂ及び図１１Ｃは、地理的区域１１１１内に存在する道路セグメントに関連付けられた目標軌道の概念を更に示す。図１１Ｂに示されるように、地理的区域１１１１内の第１の道路セグメント１１２０は、複数の道路を含み得、複数の道路は、車両が第１の方向で移動するように指定された２つのレーン１１２２と、車両が第１の方向とは逆の第２の方向に移動するように指定された２つの追加のレーン１１２４とを含む。レーン１１２２及びレーン１１２４は、二重黄線１１２３により隔てられ得る。地理的区域１１１１は、道路セグメント１１２０と交差する分岐道路セグメント１１３０を含むこともできる。道路セグメント１１３０は２レーン道路を含み得、各レーンは異なる移動方向に指定される。地理的区域１１１１は、停止線１１３２、停止標識１１３４、速度制限標識１１３６、及び危険物標識１１３８等の他の道路特徴を含むこともできる。
図１１Ｃに示されるように、疎な地図８００は、地理的区域１１１１内の車両の自律ナビゲーションを支援する道路モデルを含むローカル地図１１４０を含み得る。例えば、ローカル地図１１４０は、地理的区域１１１１内の道路セグメント１１２０及び／又は１１３０に関連付けられた１つ又は複数のレーンの目標軌道を含み得る。例えば、ローカル地図１１４０は、自律車両が、レーン１１２２を走行する際にアクセスするか、又は依存し得る目標軌道１１４１及び／又は１１４２を含み得る。同様に、ローカル地図１１４０は、自律車両が、レーン１１２４を走行する際にアクセスするか、又は依存し得る目標軌道１１４３及び／又は１１４４を含み得る。更に、ローカル地図１１４０は、自律車両が、道路セグメント１１３０を走行する際にアクセスするか、又は依存し得る目標軌道１１４５及び／又は１１４６を含み得る。目標軌道１１４７は、レーン１１２０（特に、レーン１１２０の一番右側のレーンに関連付けられた目標軌道１１４１に対して）から道路セグメント１１３０（特に、道路セグメント１１３０の第１の側に関連付けられた目標軌道１１４５）に対して遷移する際に自律車両が辿るべき好ましい経路を表す。同様に、目標軌道１１４８は、道路セグメント１１３０（特に、目標軌道１１４６に対して）から道路セグメント１１２４の一部（特に、示されるように、レーン１１２４の左レーンに関連付けられた目標軌道１１４３）に対して遷移する際に自律車両が辿るべき好ましい経路を表す。
疎な地図８００は、地理的区域１１１１に関連付けられた他の道路関連特徴の表現を含むこともできる。例えば、疎な地図８００は、地理的区域１１１１において識別される１つ又は複数の陸標の表現を含むこともできる。そのような陸標は、停止線１１３２に関連付けられた第１の陸標１１５０、停止標識１１３４に関連付けられた第２の陸標１１５２、速度制限標識１１５４に関連付けられた第３の陸標、及び危険物標識１１３８に関連付けられた第４の陸標１１５６を含み得る。そのような陸標を使用して、例えば、示される目標軌道のいずれかに対する自律車両の現在位置を特定するに当たり自律車両を支援し得、それにより、車両は、特定された位置での目標軌道の方向に一致するように、進行方位を調整し得る。疎な地図からの陸標を使用したナビゲーションについて、図２６に関して更に後述する。
幾つかの実施形態では、疎な地図８００は道路シグネチャプロファイルを含むこともできる。そのような道路シグネチャプロファイルは、道路に関連付けられた少なくとも１つのパラメータの任意の識別可能／測定可能な変動に関連付けられ得る。例えば、幾つかの場合、そのようなプロファイルは、特定の道路セグメントの表面凹凸性の変動、特定の道路セグメントにわたる道路幅の変動、特定の道路セグメントに沿って塗装された破線間の距離の変動、特定の道路セグメントに沿った道路曲率の変動等の路面情報の変動に関連付けられ得る。図１１Ｄは、道路シグネチャプロファイル１１６０の例を示す。プロファイル１１６０は上述したパラメータのいずれか又は他のパラメータを表し得るが、一例では、プロファイル１１６０は、例えば、車両が特定の道路セグメントに沿って走行する際、サスペンション変位量を示す出力を提供する１つ又は複数のセンサを監視することにより得られるような路面凹凸性の測定値を表し得る。
代替として又は同時に、プロファイル１１６０は、特定の道路セグメントを走行中の車両に搭載されたカメラを介して取得される画像データに基づいて特定されるような道路幅の変動を表し得る。そのようなプロファイルは、例えば、特定の目標軌道に対する自律車両の特定の位置を特定するに当たり有用であり得る。すなわち、自律車両は、道路セグメントを走行する際、道路セグメントに関連付けられた１つ又は複数のパラメータに関連付けられたプロファイルを測定し得る。測定されたプロファイルが、道路セグメントに沿った位置に関するパラメータ変動をプロットする所定のプロファイルに相関／一致することができる場合、測定されたプロファイル及び予め決定されたプロファイルを使用して（例えば、測定プロファイル及び予め決定されたプロファイルの対応するセクションを重ね合わせることにより）、道路セグメントに沿った現在位置と、したがって道路セグメントの目標軌道に対する現在位置とを特定し得る。
幾つかの実施形態では、疎な地図８００は、自律車両のユーザ、環境状況、及び／又は運転に関連する他のパラメータに関連付けられた異なる特徴に基づいて、異なる軌道を含み得る。例えば、幾つかの実施形態では、異なる軌道は、異なるユーザ選好及び／又はプロファイルに基づいて生成され得る。そのような異なる軌道を含む疎な地図８００は、異なるユーザの異なる自律車両に提供され得る。例えば、ユーザによっては、有料道路の回避を好む者もいれば、ルートに有料道路があるか否かに関わらず、最短又は最速ルートをとることを好む者もいる。開示されるシステムは、そのような異なるユーザ選好又はプロファイルに基づいて、異なる軌道を有する異なる疎な地図を生成し得る。別の例として、ユーザによっては、速く動いているレーンでの走行を好む者もいれば、常時、中央レーンでのポジションを維持することを好む者もいる。
昼及び夜、雪、雨、霧等の異なる環境状況に基づいて、異なる軌道を生成し、疎な地図８００に含め得る。様々な環境状況下で運転する自律車両に対して、そのような様々な環境状況に基づいて生成される疎な地図８００を提供し得る。幾つかの実施形態では、自律車両に提供されるカメラは、環境状況を検出し得、疎な地図を生成し提供するサーバにそのような情報を提供し得る。例えば、サーバは、検出された環境状況下での自律運転により適するか、又はより安全であり得る軌道を含むように、疎な地図８００を生成するか、又は既に生成された疎な地図８００を更新し得る。環境情報に基づく疎な地図８００の更新は、自律車両が道路に沿って走行している際に動的に実行され得る。
運転に関連する他の異なるパラメータも、異なる疎な地図を異なる自律車両に生成し提供するベースとして使用され得る。例えば、自律車両が高速で走行中である場合、ターンはよりきつくなり得る。自律車両が特定の軌道を辿る際、その車両が特定のレーン内を維持し得るように、道路ではなく特定のレーンに関連付けられた軌道を疎な地図８００に含め得る。自律車両に搭載されたカメラにより捕捉された画像が、車両がレーン外部にドリフトした（例えば、レーンマークを超えた）ことを示す場合、車両内で行動をトリガーして、特定の軌道に従って、指定されたレーンに車両を戻し得る。
疎な地図のクラウドソーシング
幾つかの実施形態では、開示されるシステム及び方法は、自律車両ナビゲーションのための疎を生成し得る。例えば、開示されるシステム及び方法は、１つ又は複数の自律車両が道路系統に沿ったナビゲーションに使用し得る疎を生成するために、クラウドソーシングされたデータを使用し得る。本明細書で使用する場合、「クラウドソーシング」とは、異なる時間に道路セグメントを走行中の様々な車両（例えば、自律車両）からデータが受信され、そのようなデータが道路モデルの生成及び／又は更新に使用されることを意味する。また、モデルは、自律車両ナビゲーションを支援するために、後に道路セグメントに沿って走行する車両又は他の車両に送信され得る。道路モデルは、自律車両が道路セグメントを走行する際に辿るべき好ましい軌道を表す複数の目標軌道を含み得る。目標軌道は、車両からサーバに送信され得る、道路セグメントを走行中の車両から収集された、再構築された実際の軌道と同じであり得る。幾つかの実施形態では、目標軌道は、１つ又は複数の車両が道路セグメントを走行するときに以前に辿った実際の軌道と異なり得る。目標軌道は、実際の軌道に基づいて生成され得る（例えば、平均化又は任意の他の適する演算を通して）。目標軌道を生成するためにクラウドソーシングされたデータを位置合わせする一例について、図２９に関して後述する。
車両がサーバにアップロードし得る車両軌道データは、車両の実際の再構築軌道と一致し得ることもあれば、又は車両の実際の再構築軌道に基づくか、若しくは関連し得る推奨軌道に対応し得るが、実際の再構築軌道と異なることもある。例えば、車両は、実際の再構築軌道を変更し、サーバに変更された実際の軌道を提出（例えば、推奨）し得る。道路モデルは、推奨された変更軌道を他の車両の自律ナビゲーションの目標軌道として使用し得る。
軌道情報に加えて、疎なデータ地図８００の構築に使用される可能性のある他の情報は、存在する可能性のある陸標候補に関連する情報を含み得る。例えば、情報のクラウドソーシングを通して、開示されるシステム及び方法は、環境内の存在する可能性のある陸標を識別し、陸標位置を改良し得る。陸標は、自律車両のナビゲーションシステムにより、目標軌道に沿った車両の位置を特定及び／又は調整するのに使用され得る。
車両が道路に沿って走行する際に生成され得る再構築軌道は、任意の適する方法により取得され得る。幾つかの実施形態では、再構築軌道は、例えば、自己運動推定（例えば、カメラ並びにしたがって車体の三次元並進及び三次元回転）を使用して、車両の移動セグメントを一緒にステッチングすることにより開発され得る。回転推定及び並進推定は、慣性センサ及び速度センサ等の他のセンサ又はデバイスからの情報と共に、１つ又は複数の画像捕捉デバイスにより捕捉される画像の分析に基づいて特定され得る。例えば、慣性センサは、加速度計又は車体の並進及び／又は回転の変化を測定するように構成された他の適するセンサを含み得る。車両は、車両の速度を測定する速度センサを含み得る。
幾つかの実施形態では、カメラ（したがって、車体）の自己運動は、捕捉画像のオプティカルフロー分析に基づいて推定され得る。一連の画像のオプティカルフロー分析は、一連の画像からのピクセルの移動を識別し、識別された移動に基づいて車両の移動を特定する。自己運動は、時間にわたり及び道路セグメントに沿って積分して、車両が辿った道路セグメントに関連付けられた軌道を再構築し得る。
異なる時間での道路セグメントに沿った複数運転での複数の車両により収集されるデータ（例えば、再構築軌道）を使用して、疎な地図８００に含まれる道路モデル（例えば、目標軌道等を含む）を構築し得る。異なる時間での道路セグメントに沿った複数運転での複数車両により収集されるデータの平均をとり、モデルの精度を上げることもできる。幾つかの実施形態では、道路の幾何学的形状及び／又は陸標に関するデータは、異なる時間に共通の道路セグメントを通って走行する複数の車両から受信され得る。異なる車両から受信されるそのようなデータは、結合して、道路モデルを生成し、及び／又は道路モデルを更新し得る。
道路セグメントに沿った再構築軌道の幾何学的形状（及び目標軌道の幾何学的形状も）は、三次元空間において曲線で表され得、曲線は、三次多項式を結ぶスプラインであり得る。再構築軌道曲線は、車両に設置されたカメラにより捕捉されるビデオストリーム又は複数の画像の分析から特定され得る。幾つかの実施形態では、各フレーム又は画像において、車両の現在位置の数メートル先の位置が識別される。この位置は、車両が所定の時間期間内に走行することが予期される位置である。この動作は、フレーム毎に繰り返され得、それと同時に、車両は、カメラの自己運動（回転及び並進）を計算し得る。各フレーム又は画像において、所望経路の短距離モデルが、カメラに取り付けられた基準系において車両により生成される。短距離モデルを一緒にステッチングして、何らかの座標系での道路の三次元モデルを取得し得、何らかの座標系は任意又は所定の座標系であり得る。次に、道路の三次元モデルは、スプラインによりフィッティングされ得、フィッティングは、適する次数の１つ又は複数の多項式を含み得るか、又は多項式を結び付け得る。
各フレームでの短距離道路モデルを結論付けるために、１つ又は複数の検出モジュールを使用し得る。例えば、ボトムアップレーン検出モジュールが使用可能である。ボトムアップレーン検出モジュールは、レーンマークが道路に描かれる場合、有用であり得る。このモジュールは、画像内のエッジを探し、エッジを一緒に集めて、レーンマークを形成する。第２のモジュールをボトムアップレーン検出モジュールと一緒に使用し得る。第２のモジュールは、エンドツーエンドディープニューラルネットワークであり、入力画像からの正確な短距離経路を予測するようにトレーニングされ得る。両モジュールにおいて、道路モデルは、画像座標系内で検出され、カメラに仮想的に取り付けられる三次元空間に変換され得る。
再構築軌道モデリング方法は、ノイズ成分を含み得る長期間にわたる自己運動の積分に起因する誤差の蓄積をもたらし得るが、生成されるモデルは地域規模にわたりナビゲーションに十分な正確性を提供し得るため、そのような誤差は取るに足らない。加えて、衛星画像又は測地測量等の外部ソースの情報を使用することにより、積分誤差を相殺することが可能である。例えば、開示されるシステム及び方法は、ＧＮＳＳ受信機を使用して、蓄積誤差を相殺し得る。しかし、ＧＮＳＳ測位信号は、常に利用可能で正確であるわけではないことがある。開示されるシステム及び方法は、ＧＮＳＳ測位の利用可能性及び正確性に弱く依存する操舵アプリケーションを可能にし得る。そのようなシステムでは、ＧＮＳＳ信号の使用を制限し得る。例えば、幾つかの実施形態では、開示されるシステムは、ＧＮＳＳ信号をデータベースインデックス付け目的のみで使用され得る。
幾つかの実施形態では、自律車両ナビゲーション操舵アプリケーションに関連し得る範囲スケール（例えば、ローカルスケール）は、５０メートル、１００メートル、２００メートル、３００メートル等のオーダであり得る。そのような距離は、ジオメトリック道路モデルが主に２つの目的で使用されるため、使用され得る：軌道を事前に計画し、道路モデル上で車両を位置特定する。幾つかの実施形態では、計画タスクは、制御アルゴリズムが１．３秒先（又は１．５秒、１．７秒、２秒等の任意の他の時点）にある目標点に従って車両を操舵する場合、４０メートル先（又は２０メートル、３０メートル、５０メートル等の任意の他の適する距離先）の典型的な範囲にわたりモデルを使用し得る。位置特定タスクは、別のセクションにおいてより詳細に記載される「テール位置合わせ」と呼ばれる方法により、車の６０メートル背後（又は５０メートル、１００メートル、１５０メートル等の任意の他の適する距離）という典型的な範囲にわたり道路モデルを使用する。開示されるシステム及び方法は、計画された軌道が、例えば、レーン中心から３０ｃｍを超えてずれないように、１００メートル等の特定の範囲にわたり十分な正確性を有するジオメトリックモデルを生成し得る。
上述したように、三次元道路モデルは、短距離セクションを検出し、それらを一緒にステッチングすることから構築され得る。ステッチングは、カメラにより捕捉されたビデオ及び／又は画像、車両の移動を反映する慣性センサからのデータ、及びホスト車両の速度信号を使用して、６度自己運動モデルを計算することにより可能になり得る。蓄積誤差は、１００メートルのオーダ等、ある局所的な距離スケールにわたり十分に小さい値であり得る。これは、全て特定の道路セグメントにわたる１回の運転で完了し得る。
幾つかの実施形態では、複数の運転を使用して、結果として生成されるモデルの平均をとり、その精度を更に上げ得る。同じ車が同じルートを複数回走行し得、又は複数の車が、収集されたモデルデータを中央サーバに送信し得る。いずれの場合でも、照合手順を実行して、重複モデルを識別し、平均をとれるようにして、目標軌道を生成し得る。構築されたモデル（例えば、目標軌道を含む）は、収束基準が満たされると、操舵に使用することができる。続く運転は、更なるモデル改善及び基盤変更に適応するために使用され得る。
複数の車の間で運転経験（検知されたデータ等）を共有することは、複数の車が中央サーバに接続されている場合、実現可能になる。各車両クライアントは、車両クライアントの現在位置に関連し得る普遍的道路モデルの部分コピーを記憶し得る。車両とサーバ間の双方向更新手順を車両及びサーバによって実行し得る。上述した小フットプリント概念により、開示されるシステム及び方法は非常に小さい帯域幅を使用して双方向更新を実行することができる。
陸標候補に関連する情報も特定し、中央サーバに転送し得る。例えば、開示されるシステム及び方法は、陸標を含む１つ又は複数の画像に基づいて、存在し得る陸標の１つ又は複数の物理的特性を特定し得る。物理的特性は、陸標の物理的サイズ（例えば、高さ、幅）、車両から陸標までの距離、陸標と前の陸標との間の距離、陸標の横方向位置（例えば、走行レーンに対する陸標の位置）、陸標のＧＰＳ座標、陸標のタイプ、陸標についてのテキストの識別情報等を含み得る。例えば、車両は、カメラにより捕捉された１つ又は複数の画像を分析して速度制限標識等の存在し得る陸標を検出し得る。
車両は、１つ又は複数の画像の分析に基づいて、車両から陸標までの距離を特定し得る。幾つかの実施形態では、距離は、スケーリング方法及び／又はオプティカルフロー方法等の適する画像分析方法を使用する陸標の画像の分析に基づいて特定され得る。幾つかの実施形態では、開示されるシステム及び方法は、存在し得る陸標のタイプ又は分類を特定するように構成され得る。特定の存在し得る陸標が、疎な地図に記憶されている所定のタイプ又は分類に対応すると、車両が判定する場合、車両がサーバに、陸標のタイプ又は分類の指示情報を陸標の位置と共に通信することで足り得る。サーバはそのような指示情報を記憶し得る。後に、他の車両は、その陸標の画像を捕捉し、画像を処理し（例えば、分類器を使用して）、陸標のタイプに関して、画像処理からの結果をサーバに記憶されている指示情報と比較し得る。様々なタイプの陸標があり得、異なるタイプの陸標は、サーバにアップロードされ記憶される異なるタイプのデータに関連付けられ得、車両でのオンボードでの異なる処理は、陸標を検出し、陸標についての情報をサーバに通信し得、車載のシステムは、陸標データをサーバから受信し、陸標データを使用して、自律ナビゲーションにおいて陸標を識別し得る。
幾つかの実施形態では、道路セグメントを走行する複数の自律車両がサーバと通信し得る。車両（又はクライアント）は、任意の座標系でその運転を記述する曲線を生成し得る（例えば、自己運動積分を通して）。車両は、陸標を検出し、同じ系で陸標を位置特定し得る。車両は、曲線及び陸標をサーバにアップロードし得る。サーバは、複数の運転にわたり車両からデータを収集し、統合道路モデルを生成し得る。例えば、図１９に関して後述するように、サーバは、アップロードされた曲線及び陸標を使用して、統合された道路モデルを有する疎な地図を生成し得る。
サーバは、モデルをクライアント（例えば、車両）にも配信し得る。例えば、図２４に関して後述するように、サーバは、疎な地図を１つ又は複数の車両に配信し得る。サーバは、新しいデータを車両から受信するとき、モデルを連続又は定期的に更新し得る。例えば、サーバは、新しいデータを処理して、データが、サーバでのモデルの更新又は新しいデータの作成をトリガーすべき情報を含むか否かを評価し得る。サーバは、自律車両ナビゲーションを提供するために、更新されたモデル又は更新情報を車両に配信し得る。
サーバは、１つ又は複数の基準を使用して、車両から受信された新しいデータが、モデルへの更新又は新しいデータの作成をトリガーすべきであるか否かを特定し得る。例えば、新しいデータが、特定の位置において以前に認識された陸標がもはや存在しないか、又は別の陸標で置換されたことを示す場合、サーバは、新しいデータがモデルへの更新をトリガーすべきであると特定し得る。別の例として、新しいデータが、道路セグメントが閉鎖されことを示し、これが、他の車両から受信されるデータにより裏付けられた場合、サーバは、新しいデータがモデルへの更新をトリガーすべきであると特定し得る。
サーバは、更新されたモデル（又はモデルの更新された部分）を、モデルへの更新が関連付けられた道路セグメントを走行中の１つ又は複数の車両に配信し得る。サーバは、モデルへの更新が関連付けられた道路セグメントを走行しようとしている車両又は計画された旅程がその道路セグメントを含む車両に、更新されたモデルを配信することもできる。例えば、自律車両が、更新が関連付けられた道路セグメントに到達する前、別の道路セグメントに沿って走行中である間、サーバは、自律車両がその道路セグメントに到達する前、更新情報又は更新されたモデルをその車両に配信し得る。
幾つかの実施形態では、リモートサーバは、複数のクライアント（例えば、共通の道路セグメントを走行する車両）から軌道及び陸標を収集し得る。サーバは、陸標を使用して曲線を照合し、複数の車両から収集された軌道に基づいて平均道路モデルを作成し得る。サーバは、道路のグラフ及び道路セグメントの各ノード又は結合点において最も確からしい経路を計算することもできる。例えば、図２９に関して後述するように、リモートサーバは、軌道を位置合わせして、収集された軌道からクラウドソーシングされた疎な地図を生成し得る。
サーバは、複数の車両により測定されるような、ある陸標から別の陸標（例えば、道路セグメントに沿った前の陸標）までの距離等の、共通の道路セグメントに沿って走行した複数の車両から受信される陸標特性の平均をとり、弧長パラメータを特定し、経路に沿った位置特定及び各クライアント車両の速度較正をサポートし得る。サーバは、共通の道路セグメントに沿って走行した複数の車両により測定され、同じ陸標として認識された陸標の物理的寸法の平均をとり得る。平均の物理的寸法を使用して、車両から陸標までの距離等の距離推定をサポートし得る。サーバは、共通の道路セグメントに沿って走行した複数の車両により測定され、同じ陸標として認識された陸標の横方向位置（例えば、車両が走行中のレーンから陸標に対する位置）の平均をとり得る。平均の横方向位置を使用して、レーン割り当てをサポートし得る。サーバは、同じ道路セグメントに沿って走行した複数の車両により測定され、同じ陸標として認識された陸標のＧＰＳ座標の平均をとり得る。陸標の平均ＧＰＳ座標を使用して、道路モデルでの陸標の全地球位置特定又は測位をサポートし得る。
幾つかの実施形態では、サーバは、車両から受信されるデータに基づいて、工事、迂回、新しい標識、標識の除去等のモデル変更を識別し得る。サーバは、車両から新しいデータを受信すると、モデルを連続して、定期的に、又は即座に更新し得る。サーバは、モデルの更新情報又は更新されたモデルを車両に配信して、自律ナビゲーションを提供し得る。例えば、更に後述するように、サーバは、クラウドソーシングされたデータを使用して、車両により検出された「ゴースト」陸標をフィルタリングして除去し得る。
幾つかの実施形態では、サーバは、自律運転中のドライバー介入を分析し得る。サーバは、介入が発生した時刻及び場所において車両から受信されたデータ及び／又は介入が発生した時刻前に受信されたデータを分析し得る。サーバは、介入を生じさせたか、又は介入に密接に関連するデータの特定の部分、例えば、一時的なレーン閉鎖セットアップを示すデータ、道路上の歩行者を示すデータを識別し得る。サーバは、識別されたデータに基づいてモデルを更新し得る。例えば、サーバは、モデルに記憶された１つ又は複数の軌道を変更し得る。
図１２は、疎な地図を生成する（並びにクラウドソーシングされた疎な地図を使用して配信及びナビゲーションする）ためにクラウドソーシングされたものを使用するシステムの概略図である。図１２は、１つ又は複数のレーンを含む道路セグメント１２００を示す。複数の車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、道路セグメント１２００を同時に又は異なる時間に走行し得る（図１２では、道路セグメント１２００に同時に現れるものとして示されているが）。車両１２０５、１２１０、１２１５、１２２０、及び１２２５の少なくとも１つは、自律車両であり得る。本例を簡明にするために、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の全てが自律車両であると仮定する。
各車両は、他の実施形態に開示される車両（例えば、車両２００）と同様であり得、他の実施形態において開示される車両に含まれるか、又は関連付けられる構成要素又はデバイスを含み得る。各車両は、画像捕捉デバイス又はカメラ（例えば、画像捕捉デバイス１２２又はカメラ１２２）を備え得る。各車両は、破線で示されるように、無線通信パス１２３５を通して１つ又は複数のネットワークを介して（例えば、セルラネットワーク及び／又はインターネット等を経由して）リモートサーバ１２３０と通信し得る。各車両は、データをサーバ１２３０に送信し、データをサーバ１２３０から受信し得る。例えば、サーバ１２３０は、異なる時間に道路セグメント１２００を走行中の複数の車両からデータを収集し得、収集されたデータを処理して、自律車両道路ナビゲーションモデル又はモデルへの更新を生成し得る。サーバ１２３０は、データをサーバ１２３０に送信した車両に、自律車両道路ナビゲーションモデル又はモデルの更新情報を送信し得る。サーバ１２３０は、後に道路セグメント１２００を走行する他の車両に、自律車両道路ナビゲーションモデル又はモデルの更新情報を送信し得る。
車両１２０５、１２１０、１２１５、１２２０、及び１２２５が道路セグメント１２００を走行する際、車両１２０５、１２１０、１２１５、１２２０、及び１２２５により収集（例えば、検出、検知、又は測定）されたナビゲーション情報は、サーバ１２３０に送信され得る。幾つかの実施形態では、ナビゲーション情報は、共通の道路セグメント１２００に関連付けられ得る。ナビゲーション情報は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５が道路セグメント１２００を走行する際、各車両に関連付けられる軌道を含み得る。幾つかの実施形態では、軌道は、車両１２０５に提供される様々なセンサ及びデバイスにより検知されるデータに基づいて再構築され得る。例えば、軌道は、加速度計データ、速度データ、陸標データ、道路ジオメトリ又はプロファイルデータ、車両ポジショニングデータ、及び自己運動データの少なくとも１つに基づいて再構築され得る。幾つかの実施形態では、軌道は、加速度計等の慣性センサからのデータ及び速度センサにより検知される車両１２０５の速度に基づいて再構築され得る。加えて、幾つかの実施形態では、軌道は、カメラの検知された自己運動に基づいて決定され得（例えば、車両１２０５、１２１０、１２１５、１２２０、及び１２２５のそれぞれの車載プロセッサにより）、自己運動は、三次元並進及び／又は三次元回転（又は回転移動）を示し得る。カメラ（したがって、車体）の自己運動は、カメラにより捕捉される１つ又は複数の画像の分析から特定され得る。
幾つかの実施形態では、車両１２０５の軌道は、車両１２０５に搭載されて提供されるプロセッサにより決定され、サーバ１２３０に送信され得る。他の実施形態では、サーバ１２３０は、車両１２０５に提供される様々なセンサ及びデバイスにより検知されたデータを受信し、車両１２０５から受信されるデータに基づいて軌道を決定し得る。
幾つかの実施形態では、車両１２０５、１２１０、１２１５、１２２０、及び１２２５からサーバ１２３０に送信されるナビゲーション情報は、路面、道路ジオメトリ又は道路プロファイルに関するデータを含み得る。道路セグメント１２００のジオメトリは、レーン構造及び／又は陸標を含み得る。レーン構造は、道路セグメント１２００のレーン総数、レーンのタイプ（例えば、一方通行レーン、双方向レーン、運転レーン、追い越しレーン等）、レーン上のマーク、レーン幅等を含み得る。幾つかの実施形態では、ナビゲーション情報は、レーン割り当て、例えば、複数のレーンのいずれのレーンで車両が走行中であるかを含み得る。例えば、レーン割り当ては、車両が左又は右から３番目のレーンで走行中であることを示す数値「３」に関連付けられ得る。別の例として、レーン割り当ては、車両が中央レーンを走行中であることを示すテキスト値「中央レーン」に関連付けられ得る。
サーバ１２３０は、ハードドライブ、コンパクトディスク、テープ、メモリ等の非一時的コンピュータ可読媒体にナビゲーション情報を記憶し得る。サーバ１２３０は、複数の車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報に基づいて、共通の道路セグメント１２００の自律車両道路ナビゲーションモデルの少なくとも一部を生成し（例えば、サーバ１２３０に含まれるプロセッサを通して）、疎な地図の一部としてモデルを記憶し得る。サーバ１２３０は、異なる時間に道路セグメントのレーンを走行する複数の車両（例えば、１２０５、１２１０、１２１５、１２２０、及び１２２５）から受信されるクラウドソーシングされたデータ（例えば、ナビゲーション情報）に基づいて、各レーンに関連付けられた軌道を特定し得る。サーバ１２３０は、クラウドソーシングされたナビゲーションデータに基づいて特定された複数の軌道に基づいて、自律車両道路ナビゲーションモデル又はモデルの一部（例えば、更新された部分）を生成し得る。図２４に関して更に詳細に後述するように、サーバ１２３０は、後に車両のナビゲーションシステムにおいて提供される既存の自律車両道路ナビゲーションモデルを更新するように、道路セグメント１２００を走行中の自律車両１２０５、１２１０、１２１５、１２２０、及び１２２５の１つ若しくは複数又は道路セグメントを走行する任意の他の自律車両に、モデル又はモデルの更新された部分を送信し得る。図２６に関して更に後述するように、自律車両道路ナビゲーションモデルは、共通の道路セグメント１２００に沿った自律ナビゲーションにおいて自律車両により使用され得る。
上記で説明されたように、自律車両道路ナビゲーションモデルは、疎な地図（例えば、図８に示される疎な地図８００）に含め得る。疎な地図８００は、道路に沿った道路ジオメトリ及び／又は陸標に関連するデータの疎な記録を含み得、疎な記録は、自律車両の自律ナビゲーションをガイドするのに十分な情報を提供しつつ、過度のデータ記憶を必要としない。幾つかの実施形態では、自律車両道路ナビゲーションモデルは、疎な地図８００とは別個に記憶され得、モデルがナビゲーションのために実行されるとき、疎な地図８００からの地図データを使用し得る。幾つかの実施形態では、自律車両道路ナビゲーションモデルは、疎な地図８００に含まれる地図データを使用して、自律車両１２０５、１２１０、１２１５、１２２０、及び１２２５又は後に道路セグメント１２００を走行する他の車両の自律ナビゲーションをガイドする、道路セグメント１２００に沿った目標軌道を決定し得る。例えば、自律車両道路ナビゲーションモデルが、車両１２０５のナビゲーションシステムに含まれるプロセッサによって実行される場合、モデルは、プロセッサに、車両１２０５から受信されたナビゲーション情報に基づいて決定された軌道を、疎な地図８００に含まれる所定の軌道と比較して、車両１２０５の現在の走行コースを検証及び／又は修正し得る。
自律車両道路ナビゲーションモデルでは、道路特徴又は目標軌道のジオメトリは、三次元空間内の曲線により符号化され得る。一実施形態では、曲線は、三次元多項式を結ぶ１つ又は複数を含む三次元スプラインであり得る。当業者は理解するように、スプラインは、データフィッティングのために一連の多項式により個々に定義される数学の関数であり得る。道路の三次元ジオメトリデータをフィッティングするスプラインは、線形スプライン（一次）、二次スプライン（二次）、三次スプライン（三次）、任意の他のスプライン（他の次数）、又はそれらの組合せを含み得る。スプラインは、道路の三次元ジオメトリデータのデータ点を結ぶ（例えば、フィッティングする）異なる次数の１つ又は複数の三次元多項式を含み得る。幾つかの実施形態では、自律車両道路ナビゲーションモデルは、共通の道路セグメント（例えば、道路セグメント１２００）又は道路セグメント１２００のレーンに沿った目標軌道に対応する三次元スプラインを含み得る。
上記で説明されたように、疎な地図に含まれる自律車両道路ナビゲーションモデルは、道路セグメント１２００に沿った少なくとも１つの陸標の識別情報等の他の情報を含み得る。陸標は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５のそれぞれに設置されるカメラ（例えば、カメラ１２２）の視野内で可視であり得る。幾つかの実施形態では、カメラ１２２は陸標の画像を捕捉し得る。車両１２０５に提供されるプロセッサ（例えば、プロセッサ１８０、１９０、又は処理ユニット１１０）は、陸標の画像を処理して、陸標の識別情報を抽出し得る。陸標の実際の画像ではなく、陸標識別情報を疎な地図８００に記憶し得る。陸標識別情報に必要な記憶空間は、実際の画像に必要な記憶空間よりもはるかに小さくなり得る。他のセンサ又はシステム（例えば、ＧＰＳシステム）は、陸標の特定の識別情報（例えば、陸標の位置）を提供することもできる。陸標は、交通標識、矢印マーク、レーンマーク、破線レーンマーク、信号機、停止線、方向標識（例えば、矢印が方向を示す高速道路出口標識、矢印が様々な方向又は場所を指す高速道路標識）、陸標ビーコン、又は街灯柱の少なくとも１つを含み得る。陸標ビーコンは、車両がデバイスを通過すると、車両により受信されるビーコン及びデバイスの位置（例えば、デバイスのＧＰＳ位置から特定される）を自律車両道路ナビゲーションモデル及び／又は疎な地図８００に含まれる陸標として使用し得るように、車両に設置された受信機に信号を送信又は反射する、道路セグメントに沿って設置されるデバイス（例えば、ＲＦＩＤデバイス）を指す。
少なくとも１つの陸標の識別情報は、少なくとも１つの陸標の位置を含み得る。陸標の位置は、複数の車両１２０５、１２１０、１２１５、１２２０、及び１２２５に関連付けられたセンサシステム（例えば、全地球測位システム、慣性ベースの測位システム、陸標ビーコン等）を使用して実行される位置測定に基づいて特定され得る。幾つかの実施形態では、陸標の位置は、複数の運転を通して異なる車両１２０５、１２１０、１２１５、１２２０、及び１２２５のセンサシステムにより検出、収集、又は受信される位置測定の平均をとることにより特定され得る。例えば、車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、位置測定データをサーバ１２３０に送信し得、サーバ１２３０は、位置測定の平均をとり、平均の位置測定を陸標の位置として使用し得る。陸標の位置は、続く運転で車両から受信される測定により連続して改良され得る。
陸標の識別情報は、陸標のサイズを含み得る。車両（例えば、１２０５）に提供されるプロセッサは、画像の分析に基づいて陸標の物理的サイズを推定し得る。サーバ１２３０は、異なる運転にわたり異なる車両からの同じ陸標の物理的サイズの複数の推定を受信し得る。サーバ１２３０は、様々な推定の平均をとり、陸標の物理的サイズを得て、その陸標サイズを道路モデルに記憶し得る。物理的サイズ推定を使用して、車両から陸標への距離を更に特定又は推定し得る。陸標までの距離は、車両の現在速度及びカメラの拡大焦点に対する画像に現れる陸標の位置に基づく拡大スケールに基づいて推定され得る。例えば、陸標までの距離は、Ｚ＝Ｖ×ｄｔ×Ｒ／Ｄにより推定され得、式中、Ｖは車両の速度であり、Ｒは、時間ｔ１での陸標から拡大焦点までの画像での距離であり、Ｄは、ｔ１からｔ２までの画像での陸標の距離変化である。ｄｔは、（ｔ２−ｔ１）を表す。例えば、陸標までの距離は、Ｚ＝Ｖ×ｄｔ×Ｒ／Ｄにより推定され得、式中、Ｖは車両の速度であり、Ｒは、陸標と拡大焦点との間の画像での距離であり、ｄｔは時間間隔であり、Ｄはエピポーラ線に沿った陸標の画像変位である。Ｚ＝Ｖ×ω／Δω等の上記式に等しい他の式を陸標までの距離の推定に使用し得る。ここで、Ｖは車両速度であり、ωは画像長（物体幅のような）であり、Δωは、時間単位でのその画像長の変化である。
陸標の物理的サイズが既知である場合、陸標までの距離は、以下の式に基づいて特定することもできる：Ｚ＝ｆ×Ｗ／ω、式中、ｆは焦点距離であり、Ｗは陸標のサイズ（例えば、高さ又は幅）、ωは、陸標が画像を出るときのピクセル数である。上記式から、距離Ｚの変化は、ΔＺ＝ｆ×Ｗ×Δω／ω２＋ｆ×ΔＷ／ωを使用して計算され得、式中、ΔＷは平均をとることによりゼロに低下し、式中、Δωは、画像でのバウンディングボックス精度を表すピクセル数である。陸標の物理的サイズを推定する値は、サーバ側での複数の観測の平均をとることにより計算され得る。距離推定での結果として生成される誤差は、非常に小さい値であり得る。上記公式を使用した場合、生じ得る２つの誤差源、すなわちΔＷ及びΔωがある。距離誤差へのそれらの寄与は、ΔＺ＝ｆ×Ｗ×Δω／ω２＋ｆ×ΔＷ／ωにより与えられる。しかし、ΔＷは平均をとることによりゼロに低下し、したがって、ΔＺはΔω（例えば、画像内のバウンディングボックスの不正確性）により決定される。
未知の寸法の陸標の場合、陸標までの距離は、連続フレーム間の陸標上の特徴点を追跡することにより推定され得る。例えば、速度制限標識に現れる特定の特徴を２つ以上の画像フレーム間で追跡し得る。これらの追跡される特徴に基づいて、特徴点毎の距離分布を生成し得る。距離分布から、距離推定を抽出し得る。例えば、距離分布に最も頻繁に現れる距離は、距離推定として使用され得る。別の例として、距離分布の平均は、距離推定として使用され得る。
図１３は、複数の三次元スプライン１３０１、１３０２、及び１３０３により表される自律車両道路ナビゲーションモデル例を示す。図１３に示される曲線１３０１、１３０２、及び１３０３は、単に例示を目的とする。各スプラインは、複数のデータ点１３１０を結ぶ１つ又は複数の三次元多項式を含み得る。各多項式は、一次多項式、二次多項式、三次多項式、又は異なる次数を有する任意の適する多項式の組合せであり得る。各データ点１３１０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報に関連付けられ得る。幾つかの実施形態では、各データ点１３１０は、陸標に関連するデータ（例えば、陸標のサイズ、位置、及び識別情報）及び／又は道路シグネチャプロファイルに関連するデータ（例えば、道路ジオメトリ、道路凹凸プロファイル、道路曲率プロファイル、道路幅プロファイル）に関連付けられ得る。幾つかの実施形態では、データ点１３１０によっては、陸標に関連するデータに関連付けられるものもあれば、道路シグネチャプロファイルに関連するデータに関連付けられるものもある。
図１４は、５つの別個の運転情報（drive）から受信された生の位置データ１４１０（例えば、ＧＰＳデータ）を示す。別個の車両により同時に走行された場合、同じ車両により別個の時間に走行された場合、又は別個の時間に別個の車両により走行された場合、それぞれの運転情報は別個であり得る。位置データ１４１０におけるエラー及び同じレーン内の車両の異なる位置（例えば、ある車両は、別の車両よりレーンの左側により近い場所を運転し得る）を説明するために、サーバ１２３０は、１つ又は複数の統計学的技法を使用して、生の位置データ１４１０の変動が実際の分岐を表すか又は統計エラーを表すかを特定して地図スケルトン１４２０を生成し得る。スケルトン１４２０内の各経路は、その経路を形成した元の生データ１４１０にリンクし得る。例えば、スケルトン１４２０内のＡとＢとの間の経路は、運転情報２、３、４、及び５からの生データ１４１０にリンクされるが、運転情報１からの生データにリンクされない。スケルトン１４２０は、車両のナビゲーションに使用されるのに十分に詳細ではないことがある（例えば、上述したスプラインと異なり、同じ道路上の複数のレーンからの運転情報を結合するため）が、有用なトポロジー情報を提供し得、交差点の定義に使用され得る。
図１５は、地図スケルトンのセグメント（例えば、スケルトン１４２０内のセグメントＡからＢ）内の疎な地図のために追加の詳細を生成し得る例を示す。図１５に示されるように、データ（例えば、自己運動データ、道路マークデータ等）は、運転情報に沿った位置Ｓ（又はＳ１又はＳ２）の関数として示され得る。サーバ１２３０は、運転情報１５１０の陸標１５０１、１５０３、及び１５０５と、運転情報１５２０の陸標１５０７及び１５０９との一意の一致を識別することにより、疎な地図の陸標を識別し得る。そのような照合アルゴリズムは、陸標１５１１、１５１３、及び１５１５を識別し得る。しかし、他の照合アルゴリズムも使用可能であることを当業者は認識する。例えば、一意の一致の代わりに又はそれと組み合わせて、確率最適化を使用し得る。図２９に関して更に詳細に後述するように、サーバ１２３０は、運転情報を長手方向に位置合わせして、一致した陸標を位置合わせし得る。例えば、サーバ１２３０は、基準運転情報として１つの運転情報（例えば、運転情報１５２０）を選択し、次に他の運転情報（例えば、運転情報１５１０）を位置合わせのためにシフト及び／又は弾性的に伸張し得る。
図１６は、疎な地図で使用される位置合わせされた陸標データの例を示す。図１６の例では、陸標１６１０は、道路標識を含む。図１６の例は、複数の運転１６０１、１６０３、１６０５、１６０７、１６０９、１６１１、及び１６１３からのデータを更に示す。図１６の例では、運転１６１３からのデータは、「ゴースト」陸標からなり、サーバ１２３０は、運転１６０１、１６０３、１６０５、１６０７、１６０９、及び１６１１のいずれも、運転１６１３において識別された陸標の近傍に陸標の識別情報を含まないため、「ゴースト」陸標としてそれを識別し得る。したがって、サーバ１２３０は、陸標が出現する画像の、陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れることができ、及び／又は陸標が出現しない画像の、陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶し得る。
図１７は、疎な地図のクラウドソーシングに使用し得る運転データを生成するシステム１７００を示す。図１７に示されるように、システム１７００は、カメラ１７０１及び位置特定デバイス１７０３（例えば、ＧＰＳロケータ）を含み得る。カメラ１７０１及び位置特定デバイス１７０３は、車両（例えば、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の１つ）に搭載され得る。カメラ１７０１は、複数のタイプの複数のデータ、例えば自己運動データ、交通標識データ、道路データ等を生成し得る。カメラデータ及び位置データは、運転セグメント１７０５にセグメント化され得る。例えば、運転セグメント１７０５は、それぞれ１ｋｍ未満の運転情報からのカメラデータ及び位置データを有し得る。
幾つかの実施形態では、システム１７００は、運転セグメント１７０５における冗長性を除去し得る。例えば、陸標がカメラ１７０１からの複数の画像に出現する場合、システム１７００は、運転セグメント１７０５がその陸標の位置の１つのコピーのみ及びその陸標に関連する任意のメタデータを含むように冗長データを剥ぎ取り得る。更なる例として、レーンマークがカメラ１７０１からの複数の画像に出現する場合、システム１７００は、運転セグメント１７０５がそのレーンマークの位置の１つのコピーのみ及びそのレーンマークに関連する任意のメタデータを含むように冗長データを剥ぎ取り得る。
システム１７００は、サーバ（例えば、サーバ１２３０）も含む。サーバ１２３０は、運転セグメント１７０５を車両から受信し、運転セグメント１７０５を１つの運転情報１７０７に再結合し得る。そのような構成により、サーバが運転全体に関連するデータを記憶できるようにしながら、車両とサーバとの間でデータを転送するときの帯域幅要件を低減することが可能になり得る。
図１８は、疎な地図をクラウドソーシングするように更に構成された図１７のシステム１７００を示す。図１７と同様に、システム１７００は、車両１８１０を含み、車両１８１０は、例えば、カメラ（例えば、自己運動データ、交通標識データ、道路データ等を生成する）及び位置特定デバイス（例えば、ＧＰＳロケータ）を使用して運転データを捕捉する。図１７と同様に、車両１８１０は、収集されたデータを運転セグメント（図１８では「ＤＳ１ １」、「ＤＳ２ １」、「ＤＳＮ １」として示されている）にセグメント化する。サーバ１２３０は、次に運転セグメントを受信し、受信されたセグメントから運転情報（図１８では「運転１」として示されている）を再構築する。
図１８に更に示されるように、システム１７００は、追加の車両からもデータを受信する。例えば、車両１８２０も、例えば、カメラ（例えば、自己運動データ、交通標識データ、道路データ等を生成する）及び位置特定デバイス（例えば、ＧＰＳロケータ）を使用して運転データを捕捉する。車両１８１０と同様に、車両１８２０も、収集されたデータを運転セグメント（図１８では「ＤＳ１ ２」、「ＤＳ２ ２」、「ＤＳＮ ２」として示されている）にセグメント化する。サーバ１２３０は、次に運転セグメントを受信し、受信されたセグメントから運転情報（図１８では「運転２」として示されている）を再構築する。任意の数の追加の車両を使用し得る。例えば、図１８は、運転データを捕捉し、運転データを運転セグメント（図１８では「ＤＳ１ Ｎ」、「ＤＳ２ Ｎ」、「ＤＳＮ Ｎ」として示されている）にセグメント化し、運転情報（図１８では「運転Ｎ」として示されている）の再構築のためにサーバ１２３０に送信する「車Ｎ」も含む。
図１８に示されているように、サーバ１２３０は、複数の車両（例えば、「車１」（車両１８１０とも記される）、「車２」（車両１８２０とも記される）、及び「車Ｎ」）から収集した、再構築された運転情報（例えば、「運転１」、「運転２」、及び「運転Ｎ」）を使用して疎な地図（「地図」として示される）を構築し得る。
図１９は、道路セグメントに沿った自律車両ナビゲーションのための疎な地図を生成するプロセス例１９００を示すフローチャートである。プロセス１９００は、サーバ１２３０に含まれる１つ又は複数の処理デバイスによって実行され得る。
プロセス１９００は、１つ又は複数の車両が道路セグメントを走行する際に取得された複数の画像を受信すること（ステップ１９０５）を含み得る。サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の１つ又は複数内に含まれるカメラから画像を受信し得る。例えば、カメラ１２２は、車両１２０５が道路セグメント１２００に沿って走行する際、車両１２０５の周囲環境の１つ又は複数の画像を捕捉し得る。幾つかの実施形態では、サーバ１２３０は、図１７に関して上述したように、車両１２０５のプロセッサにより冗長性を除去した必要最低限の画像データを受信することもできる。
プロセス１９００は、複数の画像に基づいて、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を識別すること（ステップ１９１０）を更に含み得る。各線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得る。例えば、サーバ１２３０は、カメラ１２２から受信された環境画像を分析して道路縁部又はレーンマークを識別し、且つ道路縁部又はレーンマークに関連付けられた道路セグメント１２００に沿った走行軌道を特定し得る。幾つかの実施形態では、軌道（又は線表現）は、スプライン、多項式表現、又は曲線を含み得る。サーバ１２３０は、ステップ１９０５において受信されたカメラ自己運動（例えば、三次元並進移動及び／又は三次元回転移動）に基づいて車両１２０５の走行軌道を特定し得る。
プロセス１９００は、複数の画像に基づいて、道路セグメントに関連付けられた複数の陸標を識別すること（ステップ１９１０）も含み得る。例えば、サーバ１２３０は、カメラ１２２から受信された環境画像を分析して、道路セグメント１２００に沿った道路標識等の１つ又は複数の陸標を識別し得る。サーバ１２３０は、１つ又は複数の車両が道路セグメントを走行する際に取得された複数の画像の分析を使用して陸標を識別し得る。クラウドソーシングを可能にするために、分析は、道路セグメントに関連付けられた陸標候補の許容又は拒絶に関するルールを含み得る。例えば、分析は、陸標が出現する画像の、陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れ、及び／又は陸標が出現しない画像の、陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶することを含み得る。
プロセス１９００は、サーバ１２３によって実行される他の動作又はステップを含み得る。例えば、ナビゲーション情報は、道路セグメントに沿って走行する車両の目標軌道を含み得、プロセス１９００は、サーバ１２３０により、道路セグメントを走行中の複数の車両に関連する車両軌道をクラスタ化し、更に詳細に後述するように、クラスタ化された車両軌道に基づいて目標軌道を特定することを含み得る。車両軌道をクラスタ化することは、サーバ１２３０により、車両の絶対的進行方位又は車両のレーン割り当ての少なくとも一方に基づいて、道路セグメントを走行中の車両に関連する複数の軌道を複数のクラスタにクラスタ化することを含み得る。目標軌道を生成することは、サーバ１２３０により、クラスタ化された軌道を平均化することを含み得る。
更なる例として、プロセス１９００は、図２９に関して更に詳細に後述するように、ステップ１９０５において受信されたデータを位置合わせすることを含み得る。上述したサーバ１２３０によって実行される他のプロセス又はステップをプロセス１９００に含めることもできる。
開示されるシステム及び方法は、他の特徴を含み得る。例えば、開示されるシステムは、グローバル座標ではなくローカル座標を使用し得る。自律運転では、幾つかのシステムは世界座標でデータを提示し得る。例えば、地球表面での緯度及び経度座標を使用し得る。地図を使用して操舵するために、ホスト車両は、地図の対するホスト車両の位置及び向きを特定し得る。搭載されたＧＰＳデバイスを使用して、地図において車両を位置特定し、車体基準系と世界基準系（例えば、北東下）との間の回転変換を見つけることが自然に見える。車体基準系が地図基準系と位置合わせされると、所望ルートを車体基準系で表すことができ、操舵コマンドを計算又は生成し得る。
しかし、この戦略に伴って生じ得る一問題は、現在のＧＰＳ技術が通常、車体位置及び姿勢を十分な精度及び可用性で提供しないことである。この問題を解消するために、世界座標が既知の陸標を使用して、異なる種類の陸標を含む非常に詳細な地図（高精細地図又はＨＤ地図と呼ばれる）を構築することできる。したがって、センサを備えた車両は、それ自体の基準系で陸標を検出し位置特定することができる。車両と陸標との相対位置が見つけられると、陸標の世界座標がＨＤ地図から特定され得、車両は、陸標の世界座標を使用してそれ自体の位置及び姿勢を計算することができる。
それにも関わらず、この方法は、地図と車体基準系との位置合わせを確立する媒介者としてグローバル世界座標系を使用し得る。すなわち、陸標を使用して、車載されたＧＰＳデバイスの制限を補償することができる。陸標は、ＨＤ地図と共に、グローバル座標において精密な車両姿勢を計算できるようにし得、したがって地図−車体位置合わせ問題が解決される。
開示されるシステム及び方法では、世界の１つのグローバル地図の代わりに、多くの地図又はローカル地図を自律ナビゲーションに使用し得る。各地図又は各ローカル地図は、それ自体の座標系を定義し得る。これらの座標系は任意であり得る。ローカル地図での車両の座標は、車両が地球表面でどこにあるかを示す必要がないことがある。更に、ローカル地図は、大規模にわたり正確である必要がないことがあり、ローカル地図をグローバル世界座標系に組み込むことができる厳正な変換がなくてもよいことを意味する。
世界のこの表現に関連する２つの主なプロセスがある：一方は、地図の生成に関連し、他方は、地図の使用に関連する。地図生成に関して、このタイプの表現は、クラウドソーシングにより作成され維持され得る。ＨＤ地図の使用は制限され、したがって、クラウドソーシングが実現可能になるため、高度な調査機器を適用する必要がないことがある。使用に関して、標準世界座標系を経由せずにローカル地図を車体基準系に位置合わせする効率的な方法を利用し得る。したがって、少なくとも大半のシナリオ及び状況において、グローバル座標での車両の位置及び姿勢の精密な推定を有する必要がないことがあり得る。更に、ローカル地図のメモリフットプリントは、非常に小さく保たれ得る。
地図生成の基本となる原理は、自己運動の積分である。車両は、空間におけるカメラの移動（３Ｄ並進及び３Ｄ回転）を検知することができる。車両又はサーバは、時間にわたり自己運動を積分することにより、車両の軌道を再構築し得、この積分経路は、道路ジオメトリのモデルとして使用され得る。このプロセスは、短距離レーンマークの検知と組合せ得、そうすると、再構築されたルートは、車両が辿った特定の経路ではなく、車両が辿るべき経路を反映し得る。換言すれば、再構築ルート又は軌道は、短距離レーンマークに関連する検知データに基づいて変更され得、変更された推奨軌道を再構築軌道又は目標軌道として使用し得、これは、同じ道路セグメントを移動する他の車両が使用するために道路モデル又は疎な地図に保存され得る。
幾つかの実施形態では、地図座標系は任意であり得る。カメラ基準系は、任意の時間に選択され得、地図の座標原点として使用され得る。カメラの積分軌道は、その特定の選ばれたフレームの座標系で表現され得る。地図でのルート座標の値は、地上での場所をそのまま表すわけではないことがある。
積分経路は、誤差を蓄積し得る。これは、自己運動の検知が絶対的に正確ではない場合があることに起因し得る。蓄積誤差の結果は、ローカル地図が逸脱し得、ローカル地図がグローバル地図のローカルコピーとしてみなされない場合があることである。ローカル地図のサイズが大きいほど、地上の「真」のジオメトリからのずれは大きくなる。
ローカル地図の恣意性及び逸脱は、クラウドソーシング（例えば、道路に沿って走行する車両による）で地図を構築するために適用し得る積分方法の結果でない場合がある。しかし、車両は、操舵にローカル地図を問題なく使用し得る。
地図は、長距離にわたり逸脱し得る。地図は車両のごく近くでの軌道の計画に使用されるため、逸脱の影響は許容可能であり得る。任意の瞬間において、システム（例えば、サーバ１２３０又は車両１２０５）は、位置合わせ手順を繰り返し、地図を使用して、何らかの１．３秒先（又は１．５秒、１．０秒、１．８秒等の任意の他の秒数）の道路位置を予測し得る（カメラ座標系において）。この距離にわたる蓄積誤差が十分に小さい限り、自律運転に提供される操舵コマンドを使用し得る。
幾つかの実施形態では、ローカル地図は、ローカルエリアにフォーカスし得、広過ぎるエリアをカバーしないことがある。これは、自律運転での操舵にローカル地図を使用している車両が、ある時点で地図の終わりに到達し得、地図の別のローカル部分又はセグメントに切り替える必要があり得ることを意味する。切り替えは、互いに重複するローカル地図により可能になり得る。車両が、両地図に共通するエリアに入ると、システム（例えば、サーバ１２３０又は車両１２０５）は、第１のローカル地図（使用中の地図）に基づいて操舵コマンドを引き続き生成し得るが、同時に、システムは、第１のローカル地図と重複する他方の地図（すなわち第２のローカル地図）上で車両を位置特定し得る。換言すれば、システムは、カメラの現在の座標系を第１の地図の座標系及び第２の地図の座標系の両方と同時に位置合わせし得る。新しい位置合わせが確立されると、システムは、他方の地図に切り替え、他方の地図で車両の軌道を計画し得る。
開示されるシステムは、追加の特徴を含み得、そのうちの１つは、システムが車両の座標系を地図に位置合わせする方法に関連する。上述したように、車両が陸標への相対位置を測定し得ると仮定して、位置合わせにその陸標を使用し得る。これは自律運転で有用であるが、ときに、大量の陸標、したがって大きいメモリフットプリントを必要とすることになり得る。したがって、開示されるシステムは、この問題に対処する位置合わせ手順を使用し得る。この位置合わせ手順では、システムは、疎な陸標及び自己速度の積分を使用して、道路に沿った車両の位置の１Ｄ推定子を計算し得る。システムは、他のセクションで以下に詳細に考察するテール位置合わせ方法を使用して、軌道自体の形状を使用して、位置合わせの回転部分を計算し得る。したがって、車両は、「テール」を運転しながら、それ自体の軌道を再構築し、道路に沿ったその仮定位置周囲の回転を計算して、テールを地図と位置合わせするができる。そのような位置合わせ手順は、図２９に関して後述するクラウドソーシングされたデータの位置合わせと区別される。
開示されるシステム及び方法では、ＧＰＳデバイスをなお使用し得る。グローバル座標は、軌道及び／又は陸標を記憶するデータベースのインデックス付けに使用され得る。関連するローカル地図及び車両の近傍での関連する陸標は、メモリに記憶され得、グローバルＧＰＳ座標を使用してメモリから検索され得る。しかし、幾つかの実施形態では、グローバル座標は、経路計画に使用されず、正確ではないことがある。一例では、グローバル座標の使用は、情報のインデックス付けに制限され得る。
「テール位置合わせ」が良好に機能できない状況では、システムは、より多数の陸標を使用して車両の姿勢を計算し得る。これは希なケースであり得、したがって、メモリフットプリントへの影響はそれ程大きくないことがある。交差点はそのような状況の例である。
開示されるシステム及び方法は、意味的陸標（例えば、交通標識）を使用し得、なぜなら、意味的陸標は、シーンから高い信頼性で検出され、道路モデル又は疎な地図に記憶されている陸標に一致し得るためである。幾つかの場合、開示されるシステムは、非意味的陸標（例えば、汎用標識）も同様に使用し得、そのような場合、非意味的陸標は、上述したように、外観シグネチャに対応づけられる。システムは、「同じか否か」認識の枠組みに従う、シグネチャ生成の学習法法を使用し得る。
例えば、図１４に関して上記で考察されたように、運転に沿ったＧＰＳ座標を有する多くの運転情報を所与として、開示されるシステムは、土台をなす道路構造交差点及び道路セグメントを生成し得る。道路は、ＧＰＳを使用して道路を区別することができるように、互いから十分に離れていると仮定し得る。幾つかの実施形態では、粗い粒度の地図のみが必要とされ得る。土台をなす道路構造グラフを生成するために、空間は、所与の解像度（例えば、５０ｍ×５０ｍ）の格子に分割され得る。あらゆる運転情報は、格子サイトの順序付きリストとして見ることができる。システムは、運転情報に属するあらゆる格子サイトに色を付けて、統合運転の画像を生成し得る。有色格子点は、統合運転でのノードとして表現され得る。あるノードから別のノードに渡る運転は、リンクとして表現され得る。システムは、画像の小さい穴を埋めて、レーンが分かれてしまうことを回避し、ＧＰＳ誤差を修正し得る。システムは、適する細線化アルゴリズム（例えば、「Zhang-Suen」細線化アルゴリズムという名称のアルゴリズム）を使用して、画像の骨組みを取得し得る。この骨組みは、土台をなす道路構造を表し得、交差点はマスク（例えば、少なくとも３つの他の点に接続する点）を使用して見つけ得る。交差点を見つけた後、セグメントは、交差点に接続する骨組み部分であり得る。運転情報を再び骨組みに一致させるために、システムは隠れマルコフモデルを使用し得る。格子サイトからＧＰＳ点への距離に反比例する確率で、あらゆるＧＰＳ点が格子サイトに関連付けられ得る。連続したＧＰＳ点を非隣接格子サイトに一致にさせないように、適するアルゴリズム（例えば、「ビタビ」アルゴリズムという名称のアルゴリズム）を使用して、ＧＰＳ点を格子サイトに一致させる。
運転情報を再び地図にマッピングするために、複数の方法が使用可能である。例えば、第１の解決策は、細線化プロセス中、トラックを保持することを含み得る。第２の解決策は、近接性マッチングを使用し得る。第３の解決策は、隠れマルコフモデルを使用し得る。隠れマルコフモデルは、あらゆる観測の土台をなす隠れた状態を仮定し、状態を所与として所与の観測に、及び前の状態を所与として状態に、確率を割り当てる。ビタビアルゴリズムを使用して、観測リストを所与として、最も確率の高い状態を見つけ得る。
開示されるシステム及び方法は、追加の特徴を含み得る。例えば、開示されるシステム及び方法は、高速道路入口／出口を検出し得る。同じエリアの複数の運転情報は、ＧＰＳデータを使用して同じ座標系に統合され得る。システムは、マッピング及び位置特定に視覚的特徴点を使用し得る。
幾つかの実施形態では、汎用視覚的特徴は、以前の運転で道路の同じ区間を走行する車両により生成された地図（マッピングフェーズ）に対する、ある運転での移動中の車両の位置及び向きを登録する（位置特定フェーズ）目的で、陸標として使用され得る。これらの車両は、周囲の車両を撮像する較正済みカメラ及びＧＰＳ受信機を備え得る。車両は、他の有意な幾何学的情報及び意味的情報（例えば、レーン構造、道路標識のタイプ及び位置、道路マークのタイプ及び位置、物理的障害物の位置により区切られる付近の運転可能地表エリアの形状、人間ドライバーにより制御される場合、以前に運転された車両経路の形状等）に結び付けられたこれらの視覚的陸標を含む最新地図を保持する中央サーバ（例えば、サーバ１２３０）と通信し得る。道路の長さ当たりで中央サーバと車両との間で通信され得るデータの総量は、マッピングフェーズ及び位置特定フェーズの両方で小さい。
マッピングフェーズでは、開示されるシステム（例えば、自律車両及び／又は１つ若しくは複数のサーバ）は、特徴点（ＦＰ）を検出し得る。特徴点は、陸標等の関連付けられた物体を追跡するために使用される１つ又は複数の点を含み得る。例えば、停止標識のコーナーを構成する８つの点が特徴点であり得る。開示されるシステムは、ＦＰに関連付けられた記述子を更に計算し得る（例えば、ＦＡＳＴ（accelerated segment test）検出器、ＢＲＩＳＫ（binary robust invariant scalable keypoints）検出器、ＢＲＩＥＦ（binary robust independent elementary features）検出器、及び／又は方向付きＦＡＳＴ及び回転ＢＲＩＥＦ（ＯＲＢ）検出器からの特徴を使用して、又はトレーニングライブラリを使用してトレーニングされた検出器／記述子対を使用して）。システムは、画像平面における動きを使用し、例えば記述子空間内のユークリッド距離又はハミング距離を使用して、関連付けられた記述子を照合することにより、出現するフレーム間でＦＰを追跡し得る。システムは、追跡されたＦＰを使用して、カメラの動き及びＦＰが検出され且つ追跡された物体の世界位置を推定し得る。例えば、追跡されたＦＰを使用して、車両の動き及び／又はＦＰが最初に検出された陸標の位置を推定し得る。
システムは、将来の運転で検出される可能性が高いもの又は低いものとしてＦＰを更に分類し得る（例えば、つかの間に移動中の物体、駐車車両、及び影のテクスチャで検出されたＦＰは、将来の運転で再出現する可能性が低い）。この分類は、再現性分類（ＲＣ）と呼ぶことができ、検出されたＦＰの周囲のピラミッド領域における光の強度、画像平面において追跡されるＦＰの運動、及び／又は十分に検出され追跡された視点の広がりの関数であり得る。幾つかの実施形態では、車両は、ＦＰに関連付けられた記述子、ＦＰの車両に相対する推定３Ｄ位置、及びＦＰ検出／追跡時の瞬間的車両ＧＰＳ座標をサーバ１２３０に送信し得る。
マッピングフェーズ中、マッピング車両と中央サーバとの間の通信帯域幅が制限される場合、車両は、地図中のＦＰ又は他の意味的陸標（道路標識及びレーン構造等）の存在が限られ、位置特定目的では不十分である場合、ＦＰをサーバに高周波数で送信し得る。更に、マッピングフェーズにおける車両は、一般に、ＦＰをサーバに低空間周波数で送信し得るが、サーバにおいてＦＰを集積し得る。再出現するＦＰの検出は、サーバによって実行することもでき、サーバは、再出現するＦＰの組を記憶し、及び／又は再出現しないＦＰを破棄し得る。陸標の視覚的出現は、少なくとも幾つかの場合、陸標が捕捉された日時又は季節の影響を受け得る。したがって、ＦＰの再現確率を上げるために、サーバは、受信ＦＰを日時ビン、季節ビン等にグループ分けし得る。幾つかの実施形態では、車両は、ＦＰに関連付けられた他の意味的情報及び地理情報（例えば、レーン形状、道路平面の構造、障害物の３Ｄ位置、マッピングクリップ瞬間座標系での自由空間、セットアップ運転で駐車位置まで人間であるドライバーが運転した経路等）をサーバに送信することもできる。
位置特定フェーズにおいて、サーバは、ＦＰ位置の形態の陸標及び記述子を含む地図を１つ又は複数の車両に送信し得る。特徴点（ＦＰ）は、現在連続フレームの組内の車両により準リアルタイムで検出及び追跡され得る。追跡されたＦＰを使用して、カメラの動き及び／又は陸標等の関連付けられた物体の位置を推定し得る。検出されたＦＰ記述子を検索して、地図に含まれ、車両の現在のＧＰＳ読み取り値から推定有限ＧＰＳ不確実性半径内にＧＰＳ座標を有するＦＰのリストを照合し得る。照合は、記述子空間においてユークリッド距離又はハミング距離を最小化する現在のＦＰとマッピングＦＰとの全ての対を検索することにより行い得る。ＦＰ一致並びにそれらの現在位置及び地図位置を使用して、車両は、瞬間的車両位置とローカル地図座標系との間で回転及び／又は並進を行い得る。
開示されるシステム及び方法は、再現可能な分類器をトレーニングする方法を含み得る。トレーニングは、ラベルコスト及びその結果として分類器精度が上がる順に以下の方式の１つで実行され得る。
第１の方式では、一致した瞬間的車両ＧＰＳ位置を有する車両カメラにより記録された多数のクリップを含むデータベースを収集し得る。このデータベースは、運転の代表的サンプル（様々な特性に関して、例えば、時刻、季節、天候状況、道路のタイプ）を含み得る。同様のＧＰＳ位置及び進行方位での様々な運転のフレームから抽出された特徴点（ＦＰ）は、ＧＰＳ不確実性半径内で潜在的に一致し得る。一致しなかったＦＰは、非再現可能とラベルされ得、一致したＦＰは、再現可能とラベルされ得る。次に、分類器は、画像ピラミッドでのＦＰの外観、車両に対するＦＰの瞬間位置、及びＦＰが問題なく追跡された視点位置の広がりを所与として、ＦＰの再現可能性ラベルを予測するようにトレーニングされ得る。
第２の方式では、第１の方式で説明されたクリップデータベースから抽出されたＦＰ対は、クリップ間のＦＰ一致の注釈付けを担当する人間によりラベル付けることもできる。
第３のシナリオでは、第１の方式のデータベースを、光ＬＩＤＡＲ（Light Detection And Ranging）測定を使用して、精密な車両位置、車両向き、及び画像ピクセル深度で増補したデータベースを使用して、異なる運転での世界位置を正確に一致させ得る。次に、特徴点記述子は、異なる視点及び運転時刻でのこれらの世界点に対応する画像領域で計算され得る。次に、分類器は、一致した記述子からの、記述子が配置される記述子空間での平均距離を予測するようにトレーニングされ得る。この場合、再現可能性は、低記述子距離を有する可能性が高いことにより測定され得る。
開示される実施形態によれば、システムは、共通の道路セグメントを走行する車両の観測軌道（例えば、車両によりサーバに転送される軌道情報に対応し得る）に基づいて、自律車両道路ナビゲーションモデルを生成し得る。しかし、観測された軌道は、道路セグメントを走行している車両によりとられる実際の軌道に対応しないことがある。むしろ、特定の状況では、サーバにアップロードされる軌道は、車両により決定される実際の再構築軌道から変更され得る。例えば、車両システムは、実際にとられた軌道を再構築する間、センサ情報（例えば、カメラにより提供される画像の分析）を使用して、それ自体の軌道が、道路セグメントにとって好ましい軌道ではない可能性があると特定し得る。例えば、車両は、車載カメラからの画像データに基づいて、レーンの中心を運転していないか、又は所定の時間期間にわたりレーン境界を越えたと特定し得る。そのような場合、センサ出力から導出される情報に基づいて、特に、車両の再構築軌道（走行した実際の経路）への改良を行い得る。次に、実際の軌道ではなく、改良された軌道をサーバにアップロードして、疎なデータ地図８００の構築又は更新に潜在的に使用し得る。
幾つかの実施形態では、次に、車両（例えば、車両１２０５）に含まれるプロセッサは、１つ又は複数のセンサからの出力に基づいて車両１２０５の実際の軌道を特定し得る。例えば、カメラ１２２から出力された画像の分析に基づいて、プロセッサは、道路セグメント１２００に沿った陸標を識別し得る。陸標は、交通標識（例えば、速度制限標識）、方向標識（例えば、異なるルート又は場所を指す高速道路方向標識）、及び一般標識（例えば、配色等の固有の署名に関連付けられた矩形ビジネス標識）を含み得る。識別された陸標は、疎な地図８００に記憶された陸標と比較され得る。一致が見つかる場合、疎な地図８００に記憶された陸標の位置を、識別された陸標の位置として使用し得る。識別された陸標の位置は、目標軌道に沿った車両１２０５の位置を特定するのに使用され得る。幾つかの実施形態では、プロセッサは、ＧＰＳユニット１７１０により出力されたＧＰＳ信号に基づいて車両１２０５の位置を特定することもできる。
プロセッサは、サーバ１２３０に送信する目標軌道を特定することもできる。目標軌道は、センサ出力に基づいてプロセッサにより特定された実際の軌道と同じであり得る。しかし、幾つかの実施形態では、目標軌道は、センサ出力に基づいて特定された実際の軌道と異なり得る。例えば、目標軌道は、実際の軌道への１つ又は複数の変更を含み得る。
一例では、カメラ１２２からのデータが、レーンを変更する車両１２５０の１００ｍ先にある一時的なレーンシフト障壁等の障壁を含む場合（例えば、先にある工事又は事故に起因してレーンが一時的にシフトされる場合）、プロセッサは、画像から一時的レーンシフト障壁を検出し、一時的なレーンシフトに準拠して道路モデル又は疎な地図に記憶された目標軌道に対応するレーンと異なるレーンを選択し得る。車両の実際の軌道は、このレーン変更を反映し得る。しかし、レーンシフトが一時的であり、例えば１０分後、１５分後、又は３０分後にクリアされ得る場合、車両１２０５は、目標軌道が、車両１２０５が辿った実際の軌道と異なるべきであることを反映するように、車両１２０５が辿った実際の軌道（すなわちレーンシフト）を変更し得る。例えば、システムは、走行した経路が、道路セグメントに好ましい軌道と異なることを認識し得る。したがって、システムは、軌道情報をサーバにアップロードする前に、再構築された軌道を調整し得る。
他の実施形態では、実際の再構築された軌道情報は、アップロードされ得、１つ又は複数の推奨軌道の改良（例えば、再構築された軌道の少なくとも一部に行われるべき並進のサイズ及び方向）もアップロードされ得る。幾つかの実施形態では、プロセッサ１７１５は、変更された実際の軌道をサーバ１２３０に送信し得る。サーバ１２３０は、受信情報に基づいて目標軌道を生成又は更新し得、図２４に関して更に詳細に後述するように、後に同じ道路セグメントを走行する他の自律車両に目標軌道を送信し得る。
別の例として、環境画像は、道路セグメント１２００に突然現れる歩行者等の物体を含み得る。プロセッサは、歩行者を検出し得、車両１２０５は、歩行者との衝突を回避するようにレーンを変更し得る。検知されたデータに基づいて車両１２０５が再構築する実際の軌道は、レーンの変更を含み得る。しかし、歩行者は直ちに道路を去り得る。したがって、車両１２０５は、目標軌道が、とられた実際の軌道と異なるべきであることを反映するように、実際の軌道を変更（又は推奨変更を決定）し得る（歩行者の出現は、目標軌道決定のために考慮されるべきではない一時的な状況であるため）。幾つかの実施形態では、車両は、実際の軌道が変更される場合、所定の軌道からの一時的な逸脱を示すデータをサーバに送信し得る。データは、逸脱の原因を示し得るか、又はサーバはデータを分析して逸脱の原因を特定し得る。逸脱の原因を知ることは有用であり得る。例えば、逸脱が、最近発生した事故にドライバーが気付いたことに起因し、それに応答して、衝突を回避するように車輪を操舵する場合、サーバは、逸脱の原因に基づいて、より穏やかな調整をモデルに計画し得るか、又は道路セグメントに関連付けられた特定の軌道を計画し得る。別の例として、逸脱の原因が、道路を横断している歩行者である場合、サーバは、将来、軌道を変更する必要がないと特定し得る。
更なる例として、環境画像は、車両１２０５が、恐らく人間ドライバーの制御下で、レーンのわずか外側を運転中であることを示すレーンマークを含み得る。プロセッサは、捕捉画像からレーンマークを検出し得、レーンからのずれを考慮するように車両１２０５の実際の軌道を変更し得る。例えば、観測されるレーンの中心内にあるように、並進を再構築軌道に適用し得る。
クラウドソーシングされた疎な地図の配信
開示されるシステム及び方法は、高価な調査機器を用いずに自律車両自体により収集され得る低フットプリントモデルの自律車両ナビゲーション（例えば、操舵制御）を可能にし得る。自律ナビゲーション（例えば、操舵アプリケーション）をサポートするために、道路モデルは、モデルに含まれる軌道に沿った車両のロケーション又は位置の特定に使用し得る道路のジオメトリ、そのレーン構造、及び陸標を有する疎な地図を含み得る。上述したように、疎な地図の生成は、道路を走行中の車両と通信し、車両からデータを受信するリモートサーバによって実行され得る。データは、検知データ、検知データに基づいて再構築された軌道、及び／又は変更された再構築軌道を表し得る推奨軌道を含み得る。後述するように、サーバは、自律ナビゲーションを支援するために、車両又は道路を後に走行する他の車両にモデルを送信し得る。
図２０は、サーバ１２３０のブロック図を示す。サーバ１２３０は、通信ユニット２００５を含み得、通信ユニット２００５は、ハードウェア構成要素（例えば、通信制御回路、スイッチ、及びアンテナ）及びソフトウェア構成要素（例えば、通信プロトコル、コンピュータコード）の両方を含み得る。例えば、通信ユニット２００５は、少なくとも１つのネットワークインタフェースを含み得る。サーバ１２３０は、通信ユニット２００５を通して車両１２０５、１２１０、１２１５、１２２０、及び１２２５と通信し得る。例えば、サーバ１２３０は、通信ユニット２００５を通して、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から送信されたナビゲーション情報を受信し得る。サーバ１２３０は、通信ユニット２００５を通して、自律車両道路ナビゲーションモデルを１つ又は複数の自律車両に配信し得る。
サーバ１２３０は、ハードドライブ、コンパクトディスク、テープ等の少なくとも１つの非一時的記憶媒体２０１０を含み得る。記憶装置１４１０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されたナビゲーション情報及び／又はサーバ１２３０がナビゲーション情報に基づいて生成する自律車両道路ナビゲーションモデル等のデータを記憶するように構成され得る。記憶装置２０１０は、疎な地図（例えば、図８に関して上述した疎な地図８００）等の任意の他の情報を記憶するように構成され得る。
記憶装置２０１０への追加又は代替として、サーバ１２３０はメモリ２０１５を含み得る。メモリ２０１５は、メモリ１４０又は１５０と同様であるか又は異なり得る。メモリ２０１５は、フラッシュメモリ、ランダムアクセスメモリ等の非一時的メモリであり得る。メモリ２０１５は、プロセッサ（例えば、プロセッサ２０２０）によって実行可能なコンピュータコード又は命令、地図データ（例えば、疎な地図８００のデータ）、自律車両道路ナビゲーションモデル、及び／又は車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報等のデータを記憶するように構成され得る。
サーバ１２３０は、メモリ２０１５に記憶されたコンピュータコード又は命令を実行して様々な機能を実行するように構成される少なくとも１つの処理デバイス２０２０を含み得る。例えば、処理デバイス２０２０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されたナビゲーション情報を分析し、分析に基づいて自律車両道路ナビゲーションモデルを生成し得る。処理デバイス２０２０は、通信ユニット１４０５を制御して、自律車両道路ナビゲーションモデルを１つ又は複数の自律車両（例えば、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の１つ若しくは複数又は後に道路セグメント１２００を走行する任意の車両）に配信し得る。処理デバイス２０２０は、プロセッサ１８０、１９０、又は処理ユニット１１０と同様であるか又は異なり得る。
図２１は、メモリ２０１５のブロック図を示し、メモリ２０１５は、自律車両ナビゲーションに使用される道路ナビゲーションモデルを生成する１つ又は複数の動作を実行するコンピュータコード又は命令を記憶し得る。図２１に示されるように、メモリ２０１５は、車両ナビゲーション情報を処理する動作を実行する１つ又は複数のモジュールを記憶し得る。例えば、メモリ２０１５は、モデル生成モジュール２１０５及びモデル配信モジュール２１１０を含み得る。プロセッサ２０２０は、メモリ２０１５に含まれるモジュール２１０５及び２１１０のいずれかに記憶された命令を実行し得る。
モデル生成モジュール２１０５は、プロセッサ２０２０によって実行されると、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報に基づいて、共通の道路セグメント（例えば、道路セグメント１２００）の自律車両道路ナビゲーションモデルの少なくとも一部を生成し得る命令を記憶し得る。例えば、自律車両道路ナビゲーションモデルを生成するに当たり、プロセッサ２０２０は、共通の道路セグメント１２００に沿った車両軌道を、異なるクラスタにクラスタ化し得る。プロセッサ２０２０は、異なるクラスタのそれぞれのクラスタ化された車両軌道に基づいて、共通の道路セグメント１２００に沿った目標軌道を決定し得る。そのような動作は、各クラスタ内のクラスタ化された車両軌道の平均値又は平均軌道を見つけること（例えば、クラスタ化された車両軌道を表すデータの平均をとることにより）を含み得る。幾つかの実施形態では、目標軌道は、共通の道路セグメント１２００の単一レーンに関連付けられ得る。
自律車両道路ナビゲーションモデルは、共通の道路セグメント１２００の別個のレーンにそれぞれ関連付けられた複数の目標軌道を含み得る。幾つかの実施形態では、目標軌道は、道路セグメント１２００の単一のレーンの代わりに、共通の道路セグメント１２００に関連付けられ得る。目標軌道は、三次元スプラインにより表され得る。幾つかの実施形態では、スプラインは、１キロメートル当たり１０キロバイト未満、１キロメートル当たり２０キロバイト未満、１キロメートル当たり１００キロバイト未満、１キロメートル当たり１メガバイト未満、又は１キロメートル当たり任意の他の適する記憶サイズにより定義され得る。次に、モデル配信モジュール２１１０は、例えば、図２４に関して後述するように、生成されたモデルを１つ又は複数の車両に配信し得る。
道路モデル及び／又は疎な地図は、道路セグメントに関連付けられた軌道を記憶し得る。これらの軌道は、目標軌道と呼ぶことができ、自律ナビゲーションのために自律車両に提供される。目標軌道は、複数の車両から受信され得るか、又は複数の車両から受信される実際の軌道若しくは推奨軌道（幾つかの変更を有する実際の軌道）に基づいて生成され得る。道路モデル又は疎な地図に含まれる目標軌道は、他の車両から受信される新しい軌道を用いて連続して更新（例えば、平均化）され得る。
道路セグメントを走行中の車両は、様々なセンサによりデータを収集し得る。データは、陸標、道路シグネチャプロファイル、車両運動（例えば、加速度計データ、速度データ）、車両位置（例えば、ＧＰＳデータ）を含み得、実際の軌道自体を再構築するか、又はデータをサーバに送信し得、当該サーバが、車両の実際の軌道を再構築する。幾つかの実施形態では、車両は、軌道に関連するデータ（例えば、任意の基準系での曲線）、陸標データ、及び走行路に沿ったレーン割り当てをサーバ１２３０に送信し得る。複数の運転で同じ道路セグメントに沿って走行する様々な車両は、異なる軌道を有し得る。サーバ１２３０は、クラスタ化プロセスを通して、車両から受信する軌道から、各レーンに関連付けられたルート又は軌道を識別し得る。
図２２は、共通の道路セグメント（例えば、道路セグメント１２００）の目標軌道を決定するために、車両１２０５、１２１０、１２１５、１２２０、及び１２２５に関連付けられた車両軌道をクラスタ化するプロセスを示す。クラスタ化プロセスから決定される目標軌道又は複数の目標軌道は、自律車両道路ナビゲーションモデル又は疎な地図８００に含まれ得る。幾つかの実施形態では、道路セグメント１２００に沿って走行中の車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、複数の軌道２２００をサーバ１２３０に送信し得る。幾つかの実施形態では、サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信される、陸標、道路ジオメトリ、及び車両運動情報に基づいて軌道を生成し得る。自律車両道路ナビゲーションモデルを生成するために、サーバ１２３０は、図２２に示されるように、車両軌道１６００を複数のクラスタ２２０５、２２１０、２２１５、２２２０、２２２５、及び２２３０にクラスタ化し得る。
クラスタ化は、様々な基準を使用して実行され得る。幾つかの実施形態では、クラスタ内の全ての運転情報は、道路セグメント１２００に沿った絶対進行方位に関して同様であり得る。絶対進行方位は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５により受信されるＧＰＳ信号から取得され得る。幾つかの実施形態では、絶対進行方位は、推測航法を使用して取得され得る。当業者は理解するように、推測航法を使用して、前に特定された位置、推定速度等を使用することにより、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の現在位置、したがって進行方位を特定し得る。絶対進行方位によりクラスタ化された軌道は、道路に沿ったルートを識別するのに有用であり得る。
幾つかの実施形態では、クラスタ内の全ての運転情報は、道路セグメント１２００での運転に沿ったレーン割り当てに関して同様であり得る（例えば、交差点前後で同じレーン内）。レーン割り当てによりクラスタ化された軌道は、道路に沿ったレーンを識別するのに有用であり得る。幾つかの実施形態では、両方の基準（例えば、絶対進行方位及びレーン割り当て）が、クラスタ化に使用され得る。
各クラスタ２２０５、２２１０、２２１５、２２２０、２２２５、及び２２３０において、軌道の平均をとり、特定のクラスタに関連付けられた目標軌道を取得し得る。例えば、同じレーンクラスタに関連付けられた複数の運転情報からの軌道の平均をとり得る。平均軌道は、特定のレーンに関連付けられた目標軌道であり得る。軌道のクラスタの平均をとるために、サーバ１２３０は、任意の軌道Ｃ０の基準系を選択し得る。他の全ての軌道（Ｃ１、...、Ｃｎ）について、サーバ１２３０は、ＣｉをＣ０にマッピングする剛性変換を見つけ得、ここで、ｉ＝１、２、...、ｎであり、ｎは、正の整数であり、クラスタに含まれる軌道の総数に対応する。サーバ１２３０は、Ｃ０基準系での平均値曲線又は軌道を計算し得る。
幾つかの実施形態では、陸標は、異なる運転情報の間でマッチする弧長を定義し得、この弧長をレーンとの軌道の位置合わせに使用し得る。幾つかの実施形態では、交差点前後のレーンマークがレーンとの軌道の位置合わせに使用され得る。
軌道からレーンを組み立てるために、サーバ１２３０は、任意のレーンの基準系を選択し得る。サーバ１２３０は、部分的に重複したレーンを、選択された基準系にマッピングし得る。サーバ１２３０は、全てのレーンが同じ基準系になるまでマッピングを続け得る。互いに隣接するレーンは、あたかも同じレーンであるかのように位置合わせされ得、後に横方向にシフトされ得る。
道路セグメントに沿って認識された陸標は、最初にレーンレベルで、次に交差点レベルで共通の基準系にマッピングされ得る。例えば、複数の運転情報で複数の車両により複数回にわたって同じ陸標を認識し得る。異なる運転情報から受信される同じ陸標に関するデータは、わずかに異なり得る。そのようなデータは、平均をとられ、Ｃ０基準系等の同じ基準系にマッピングされ得る。追加又は代替として、複数の運転で受信される同じ陸標のデータの分散を計算し得る。
幾つかの実施形態では、道路セグメント１２０の各レーンは、目標軌道及び特定の陸標に関連付けられ得る。目標軌道又は複数のそのような目標軌道は、自律車両道路ナビゲーションモデルに含まれ得、自動車両道路ナビゲーションモデルは、後に同じ道路セグメント１２００に沿って走行する他の自律車両により使用され得る。車両１２０５、１２１０、１２１５、１２２０、及び１２２５が道路セグメント１２００に沿って走行する間にこれらの車両により識別された陸標は、目標軌道と関連付けて記録され得る。目標軌道及び陸標のデータは、続く運転で他の車両から受信される新しいデータを用いて連続して又は定期的に更新され得る。
自律車両の位置特定のために、開示されるシステム及び方法は、拡張カルマンフィルタを使用し得る。車両の位置は、三次元位置データ及び／又は三次元向きデータ、自己運動の積分による、車両の現在位置より先の将来の位置の予測に基づいて、特定され得る。車両の位置特定は、陸標の画像観測により修正又は調整され得る。例えば、車両がカメラにより捕捉された画像内に陸標を検出する場合、陸標は、道路モデル又は疎な地図８００内に記憶された既知の陸標と比較され得る。既知の陸標は、道路モデル及び／又は疎な地図８００に記憶された目標軌道に沿って既知の位置（例えば、ＧＰＳデータ）を有し得る。現在速度及び陸標の画像に基づいて、車両から陸標までの距離を推定し得る。目標軌道に沿った車両の位置は、陸標までの距離及び陸標の既知の位置（道路モデル又は疎な地図８００に記憶される）に基づいて調整され得る。道路モデル及び／又は疎な地図８００に記憶される陸標の位置／場所データ（例えば、複数の運転からの平均値）は、正確であると仮定し得る。
幾つかの実施形態では、開示されるシステムは、閉ループサブシステムを形成し得、ループにおいて、所望のポイント（例えば、記憶されているものの１．３秒先）に到達するように自律車両をナビゲーションする（例えば、車輪を操舵する）のに、車両の自由度６の位置の推定（例えば、三次元位置データに三次元向きデータを加えたもの）を使用し得る。また、操舵及び実際のナビゲーションから測定されるデータを使用して自由度６の位置を推定し得る。
幾つかの実施形態では、街灯柱及び電柱又はケーブル線の柱等の道路に沿った柱は、車両の位置特定のための陸標として使用され得る。交通標識、信号機、道路上の矢印、停止線、及び道路セグメントに沿った物体の静的特徴又はシグネチャ等の他の陸標も、車両を位置特定するための陸標として使用され得る。柱が位置特定に使用される場合、ｙ観測（すなわち柱までの距離）ではなく、柱のｘ観測（すなわち車両からの視角）を使用し得、なぜなら、柱の下部は、遮蔽され得、ときに道路平面にないためである。
図２３は、クラウドソーシングされた疎な地図を使用した、自律ナビゲーションに使用し得る車両のナビゲーションシステムを示す。説明のために、車両は、車両１２０５と呼ばれる。図２３に示される車両は、例えば、車両１２１０、１２１５、１２２０、及び１２２５並びに他の実施形態に示される車両２００を含め、本明細書に開示される任意の他の車両であり得る。図１２に示されるように、車両１２０５は、サーバ１２３０と通信し得る。車両１２０５は、画像捕捉デバイス１２２（例えば、カメラ１２２）を含み得る。車両１２０５は、車両１２０５が道路（例えば、道路セグメント１２００）を走行するためのナビゲーションガイダンスを提供するように構成されるナビゲーションシステム２３００を含み得る。車両１２０５は、速度センサ２３２０及び加速度計２３２５等の他のセンサを含むこともできる。速度センサ２３２０は、車両１２０５の速度を検出するように構成され得る。加速度計２３２５は、車両１２０５の加速又は減速を検出するように構成され得る。図２３に示される車両１２０５は、自律車両であり得、ナビゲーションシステム２３００は、自律運転にナビゲーションガイダンスを提供するのに使用され得る。代替として、車両１２０５は、非自律人間制御車両であり得、ナビゲーションシステム２３００は、それでもなおナビゲーションガイダンスの提供に使用され得る。
ナビゲーションシステム２３００は、通信パス１２３５を通してサーバ１２３０と通信するように構成される通信ユニット２３０５を含み得る。ナビゲーションシステム２３００は、ＧＰＳ信号を受信し処理するように構成されるＧＰＳユニット２３１０を含むこともできる。ナビゲーションシステム２３００は、ＧＰＳ信号、疎な地図８００からの地図データ（車両１２０５からオンボードで提供される記憶装置に記憶され得、及び／又はサーバ１２３０から受信され得る）、道路プロファイルセンサ２３３０により検知される道路ジオメトリ、カメラ１２２により捕捉される画像、及び／又はサーバ１２３０から受信される自律車両道路ナビゲーションモデル等のデータを処理するように構成される少なくとも１つのプロセッサ２３１５を更に含み得る。道路プロファイルセンサ２３３０は、路面凹凸性、道路幅、道路高さ、道路曲率等の異なるタイプの道路プロファイルを測定する異なるタイプのデバイスを含み得る。例えば、道路プロファイルセンサ２３３０は、車両２３０５のサスペンションの動きを測定して、道路凹凸性プロファイルを導出するデバイスを含み得る。幾つかの実施形態では、道路プロファイルセンサ２３３０は、レーダセンサを含み、車両１２０５から道路脇（例えば、道路脇にある障壁）までの距離を測定し、それにより道路の幅を測定し得る。幾つかの実施形態では、道路プロファイルセンサ２３３０は、道路の高さの凸及び凹を測定するように構成されるデバイスを含み得る。幾つかの実施形態では、道路プロファイルセンサ２３３０は、道路曲率を測定するように構成されるデバイスを含み得る。例えば、カメラ（例えば、カメラ１２２又は別のカメラ）を使用して、道路曲率を示す道路の画像を捕捉し得る。車両１２０５は、そのような画像を使用して道路曲率を検出し得る。
少なくとも１つのプロセッサ２３１５は、カメラ１２２から、車両１２０５に関連付けられた少なくとも１つの環境画像を受信するようにプログラムされ得る。少なくとも１つのプロセッサ２３１５は、少なくとも１つの環境画像を分析して、車両１２０５に関連するナビゲーション情報を特定し得る。ナビゲーション情報は、道路セグメント１２００に沿った車両１２０５の走行に関連する軌道を含み得る。少なくとも１つのプロセッサ２３１５は、三次元並進移動及び三次元回転移動等のカメラ１２２（したがって車両）の移動に基づいて軌道を決定し得る。幾つかの実施形態では、少なくとも１つのプロセッサ２３１５は、カメラ１２２によって取得された複数の画像の分析に基づいてカメラ１２２の並進移動及び回転移動を特定し得る。幾つかの実施形態では、ナビゲーション情報は、レーン割り当て情報（例えば、車両１２０５が道路セグメント１２００に沿ってどのレーンで走行中であるか）を含み得る。車両１２０５からサーバ１２３０に送信されるナビゲーション情報は、サーバ１２３０により使用されて自律車両道路ナビゲーションモデルを生成及び／又は更新し得、このモデルは、サーバ１２３０から車両１２０５に送信されて車両１２０５の自律ナビゲーションガイダンスを提供し得る。
少なくとも１つのプロセッサ２３１５は、ナビゲーション情報を車両１２０５からサーバ１２３０に送信するようにプログラムすることもできる。幾つかの実施形態では、ナビゲーション情報は、道路情報と共にサーバ１２３０に送信され得る。道路位置情報は、ＧＰＳユニット２３１０により受信されるＧＰＳ信号、陸標情報、道路ジオメトリ、レーン情報等の少なくとも１つを含み得る。少なくとも１つのプロセッサ２３１５は、サーバ１２３０から自律車両道路ナビゲーションモデル又はモデルの一部を受信し得る。サーバ１２３０から受信された自律車両道路ナビゲーションモデルは、車両１２０５からサーバ１２３０に送信されるナビゲーション情報に基づく少なくとも１つの更新を含み得る。サーバ１２３０から車両１２０５に送信されるモデルの部分は、モデルの更新された部分を含み得る。少なくとも１つのプロセッサ２３１５は、受信された自律車両道路ナビゲーションモデル又はモデルの更新された部分に基づいて、車両１２０５による少なくとも１つのナビゲーション操作（例えば、ターン、ブレーキ、加速、別の車両の追い越し等）を生じさせ得る。
少なくとも１つのプロセッサ２３１５は、通信ユニット１７０５、ＧＰＳユニット２３１５、カメラ１２２、速度センサ２３２０、加速度計２３２５、及び道路プロファイルセンサ２３３０を含め、車両１２０５に含まれる様々なセンサ及び構成要素と通信するように構成され得る。少なくとも１つのプロセッサ２３１５は、様々なセンサ及び構成要素から情報又はデータを収集し、通信ユニット２３０５を通して情報又はデータをサーバ１２３０に送信し得る。代替又は追加として、車両１２０５の様々なセンサ又は構成要素は、サーバ１２３０と通信し、センサ又は構成要素により収集されたデータ又は情報をサーバ１２３０に送信することもできる。
幾つかの実施形態では、車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、互いと通信し得、ナビゲーション情報を互いと共有し得、それにより、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の少なくとも１つは、例えば、他の車両により共有される情報に基づいて、クラウドソーシングを使用して自律車両道路ナビゲーションモデルを生成し得る。幾つかの実施形態では、車両１２０５、１２１０、１２１５、１２２０、及び１２２５は、ナビゲーション情報を互いと共有し得、各車両は、車両において提供されるそれ自体の自律車両道路ナビゲーションモデルを更新し得る。幾つかの実施形態では、車両１２０５、１２１０、１２１５、１２２０、及び１２２５の少なくとも１つ（例えば、車両１２０５）は、ハブ車両として機能し得る。ハブ車両（例えば、車両１２０５）の少なくとも１つのプロセッサ２３１５は、サーバ１２３０によって実行される機能の幾つか又は全てを実行し得る。例えば、ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両と通信し、ナビゲーション情報を他の車両から受信し得る。ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両から受信される共有情報に基づいて、自律車両道路ナビゲーションモデル又はモデルへの更新を生成し得る。ハブ車両の少なくとも１つのプロセッサ２３１５は、自律車両道路ナビゲーションモデル又はモデルへの更新を他の車両に送信して自律ナビゲーションガイダンスを提供し得る。
図２４は、自律車両ナビゲーションで使用される道路ナビゲーションモデルを生成する例示的なプロセス２４００を示すフローチャートである。プロセス２４００は、サーバ１２３０又はハブ車両に含まれるプロセッサ２３１５によって実行され得る。幾つかの実施形態では、プロセス２４００は、車両ナビゲーション情報を集計し、自律車両道路ナビゲーションモデルを提供するか、又はモデルを更新するのに使用され得る。
プロセス２４００は、サーバにより、複数の車両からナビゲーション情報を受信すること（ステップ２４０５）を含み得る。例えば、サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、及び１２２５からナビゲーション情報を受信し得る。複数の車両からのナビゲーション情報は、複数の車両、例えば車両１２０５、１２１０、１２１５、１２２０、及び１２２５が走行する共通の道路セグメント（例えば、道路セグメント１２００）に関連付けられ得る。
プロセス２４００は、サーバにより、共通の道路セグメントに関連付けられたナビゲーション情報を記憶すること（ステップ２４１０）を更に含み得る。例えば、サーバ１２３０は、記憶装置２０１０及び／又はメモリ２０１５にナビゲーション情報を記憶し得る。
プロセス２４００は、サーバにより、複数の車両からのナビゲーション情報に基づいて、共通の道路セグメントのための自律車両道路ナビゲーションモデルの少なくとも一部を生成すること（ステップ２４１５）を更に含み得る。共通の道路セグメントのための自律車両道路ナビゲーションモデルは、共通の道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み得、各線表現は、路面特徴に実質的に対応する共通の道路セグメントに沿った経路を表し得る。例えば、路面特徴は、道路縁部又はレーンマークを含み得る。更に、路面特徴は、複数の車両が共通の道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別され得る。例えば、サーバ１２３０は、共通の道路セグメント１２００を走行する車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報に基づいて、共通の道路セグメント１２００の自律車両道路ナビゲーションモデルの少なくとも一部を生成し得る。
幾つかの実施形態では、自律車両道路ナビゲーションモデルは、地図、画像、又は衛星画像上に重ねられるように構成され得る。例えば、モデルは、Google（登録商標）Map、Waze等の従来のナビゲーションサービスにより提供される地図又は画像上に重ねられ得る。
幾つかの実施形態では、自律車両道路ナビゲーションの少なくとも一部を生成することは、複数の画像の画像分析に基づいて、共通の道路セグメントに関連付けられた複数の陸標を識別することを含み得る。特定の態様では、この分析は、陸標が出現する画像の、陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れ、及び／又は陸標が出現しない画像の、陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶することを含み得る。例えば、陸標候補が車両１２１０からのデータに出現するが、車両１２０５、１２１５、１２２０、及び１２２５からのデータに出現しない場合、システムは、比率１：５が、陸標候補を受け入れる閾値未満であると特定し得る。更なる例として、陸標候補が車両１２０５、１２１５、１２２０、及び１２２５からのデータに出現するが、車両１２１０からのデータに出現しない場合、システムは、比率４：５が、陸標候補を受け入れる閾値を超えると特定し得る。
プロセス２４００は、サーバにより、共通の道路セグメントに沿って１つ又は複数の自律車両を自律的にナビゲーションするのに使用するために自律車両道路ナビゲーションモデルを１つ又は複数の自律車両に配信すること（ステップ２４２０）を更に含み得る。例えば、サーバ１２３０は、自律車両道路ナビゲーションモデル又はモデルの一部（例えば、更新）を車両１２０５、１２１０、１２１５、１２２０、及び１２２５又は道路セグメント１２００を後に走行する任意の他の車両に配信して、道路セグメント１２００に沿って車両を自律的にナビゲーションするのに使用し得る。
プロセス２４００は、追加の動作又はステップを含み得る。例えば、自律車両道路ナビゲーションモデルを生成することは、図２９に関して更に詳細に後述するように、道路セグメント１２００に沿った車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信される車両軌道を複数のクラスタにクラスタ化し、及び／又は車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されたデータを位置合わせすることを含み得る。プロセス２４００は、各クラスタ内のクラスタ化された車両軌道の平均をとることにより、共通の道路セグメント１２００に沿った目標軌道を決定することを含み得る。プロセス２４００は、目標軌道を共通の道路セグメント１２００の単一のレーンに関連付けることも含み得る。プロセス２４００は、自律車両道路ナビゲーションモデルにおいて目標軌道を表す三次元スプラインを特定することを含み得る。
クラウドソーシングされた疎な地図のナビゲーションへの使用
上述したように、サーバ１２３０は、生成された道路ナビゲーションモデルを１つ又は複数の車両に配信し得る。道路ナビゲーションモデルは、詳細に上述したように疎な地図に含まれ得る。本開示の実施形態によれば、１つ又は複数の車両は、配信された疎な地図を自律ナビゲーションに使用するように構成され得る。
図２５は、開示される実施形態による１つ又は複数の動作を実行する命令を記憶／プログラムし得るメモリ１４０及び／又は１５０の例示的な機能ブロック図である。以下ではメモリ１４０を参照するが、命令をメモリ１４０及び／又は１５０に記憶し得ることを当業者は認識する。
図２５に示されるように、メモリ１４０は、疎な地図モジュール２５０２、画像分析モジュール２５０４、路面特徴モジュール２５０６、及びナビゲーション応答モジュール２５０８を記憶し得る。開示される実施形態は、いかなる特定の構成のメモリ１４０にも限定されない。更に、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、メモリ１４０に含まれる任意のモジュール２５０２、２５０４、２５０６、及び２５０８に記憶された命令を実行し得る。以下の考察における処理ユニット１１０への言及がアプリケーションプロセッサ１８０及び画像プロセッサ１９０を個々に又はまとめて指し得ることを当業者は理解する。したがって、以下の任意のプロセスのステップは、１つ又は複数の処理デバイスによって実行され得る。
一実施形態では、疎な地図モジュール２５０２は、処理ユニット１１０によって実行されると、サーバ１２３０により配信された疎な地図を受信する（及び幾つかの実施形態では記憶する）命令を記憶し得る。疎な地図モジュール２５０２は、１つの通信で疎な地図全体を受信し得るか、又は車両が動作中のエリアに対応する疎な地図のサブ部分を受信し得る。
一実施形態では、画像分析モジュール２５０４は、処理ユニット１１０によって実行されると、画像捕捉デバイス１２２、１２４、及び１２６により取得された１つ又は複数の画像の分析を実行する命令（コンピュータビジョンソフトウェア等）を記憶し得る。更に詳細に後述するように、画像分析モジュール２５０４は、１つ又は複数の画像を分析して車両の現在位置を特定し得る。
一実施形態では、路面特徴モジュール２５０６は、処理ユニット１１０によって実行されると、疎な地図モジュール２５０２により受信された疎な地図及び／又は画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された１つ又は複数の画像における路面特徴を識別する命令を記憶し得る。
一実施形態では、ナビゲーション応答モジュール２５０８は、処理デバイス１１０によって実行可能であり、疎な地図モジュール２５０２、画像分析モジュール２５０４、及び／又は路面特徴モジュール２５０６の実行から導出されたデータに基づいて所望のナビゲーション応答を決定するソフトウェアを記憶し得る。
更に、本明細書に開示される任意のモジュール（例えば、モジュール２５０２、２５０４、及び２５０６）は、トレーニングされたシステム（ニューラルネットワーク若しくはディープニューラルネットワーク等）又はトレーニングされていないシステムに関連付けられた技法を実施し得る。
図２６は、道路セグメントに沿って車両を自律的にナビゲーションする例示的なプロセス２６００を示すフローチャートである。プロセス２６００は、ナビゲーションシステム２３００に含まれるプロセッサ２３１５によって実行され得る。
プロセス２６００は、疎な地図モデルを受信すること（ステップ２６０５）を含み得る。例えば、プロセッサ２３１５は、疎な地図をサーバ１２３０から受信し得る。幾つかの実施形態では、疎な地図モデルは、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み得、各線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得る。例えば、道路特徴は、道路縁部又はレーンマークを含み得る。
プロセス２６００は、カメラから、車両の環境を表す少なくとも１つの画像を受信すること（ステップ２６１０）を更に含み得る。例えば、プロセッサ２３１５は、カメラ１２２から少なくとも１つの画像を受信し得る。カメラ１２２は、車両１２０５が道路セグメント１２００に沿って走行する際、車両１２０５の周囲の環境の１つ又は複数の画像を捕捉し得る。
プロセス２６００は、疎な地図モデル及びカメラから受信された少なくとも１つの画像を分析すること（ステップ２６１５）も含み得る。例えば、疎な地図モデル及びカメラから受信された少なくとも１つの画像の分析は、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現に沿った長手方向位置に相対する車両の現在位置を特定することを含み得る。幾つかの実施形態では、この特定は、少なくとも１つの画像における少なくとも１つの認識された陸標の識別に基づき得る。幾つかの実施形態では、プロセス２６００は、長手方向位置に相対する車両の予期される位置及び長手方向位置に相対する車両の現在位置に基づいて推定オフセットを特定することを更に含み得る。
プロセス２６００は、疎な地図モデル及びカメラから受信される少なくとも１つの画像の分析に基づいて車両の自律ナビゲーション応答を決定すること（ステップ２６２０）を更に含み得る。プロセッサ２３１５が推定オフセットを特定する実施形態では、自律ナビゲーション応答は、推定オフセットに更に基づき得る。例えば、プロセッサ２３１５は、車両が１ｍ左に少なくとも１つの線表現からずれていると特定する場合、車両を右に向けてシフトさせ得る（例えば、車輪の向きを変更することにより）。更なる例として、プロセッサ２３１５は、識別された陸標が予期される位置からずれていると特定する場合、識別された陸標をその予期される位置に向けて移動させるように車両をシフトさせ得る。したがって、幾つかの実施形態では、プロセス２６００は、自律ナビゲーション応答に基づいて車両の操舵システムを調整することを更に含み得る。
クラウドソーシングされた地図データの位置合わせ
上述したように、クラウドソーシングされる疎な地図の生成は、共通の道路セグメントに沿った複数の運転情報からのデータを使用し得る。コヒーレントな疎な地図を生成するためにこのデータを位置合わせし得る。図１４に関して上述したように、地図スケルトンを生成することは、ナビゲーションで使用するスプラインを構築するのに不十分であり得る。したがって、本開示の実施形態では、複数の運転情報からクラウドソーシングされたデータを位置合わせすることができる。
図２７は、メモリ２０１５のブロック図を示し、メモリ２０１５は、自律車両ナビゲーションで使用する道路ナビゲーションモデルを生成する１つ又は複数の動作を実行するコンピュータコード又は命令を記憶し得る。図２１に示されるように、メモリ２０１５は、車両ナビゲーション情報を処理する動作を実行する１つ又は複数のモジュールを記憶し得る。例えば、メモリ２０１５は、運転データ受信モジュール２７０５及び長手方向位置合わせモジュール２７１０を含み得る。プロセッサ２０２０は、メモリ２０１５に含まれる任意のモジュール２７０５及び２７１０に記憶された命令を実行し得る。
運転データ受信モジュール２７０５は、プロセッサ２０２０によって実行されると、１つ又は複数の車両（例えば、１２０５、１２１０、１２１５、１２２０、及び１２２５）から運転データを受信するように通信デバイス２００５を制御し得る命令を記憶し得る。
長手方向位置合わせモジュール２７１０は、プロセッサ２０２０によって実行されると、車両１２０５、１２１０、１２１５、１２２０、及び１２２５から受信されるナビゲーション情報に基づいて、運転データ受信モジュール２７０５を使用して受信されたデータが共通の道路セグメント（例えば、道路セグメント１２００）に関連する場合に当該データを位置合わせする命令を記憶し得る。例えば、長手方向位置合わせモジュール２７１０は、パッチに沿ってデータを位置合わせし得、それにより位置合わせに伴うエラー修正の最適化をより容易にし得る。幾つかの実施形態では、長手方向位置合わせモジュール２７１０は、信頼スコアで各パッチ位置合わせを更にスコア付けし得る。
図２８Ａは、４つの異なる運転情報からの生の位置データの例を示す。図２８Ａの例では、第１の運転情報からの生データは、一連の星として示され、第２の運転情報からの生データは、一連の中実正方形として示され、第３の第１の運転情報からの生データは、一連の空白の正方形として示され、第４の運転情報からの生データは、一連の空白の円として示されている。当業者は認識するように、形状は、データ自体の単なる例示であり、データは、ローカルであれグローバルであれ関係なく、一連の座標として記憶され得る。
図２８Ａにおいて見ることができるように、運転情報は、同じ道路（線１２００で表される）に沿った異なるレーンで生じ得る。更に、図２８Ａは、運転データが位置測定（例えば、ＧＰＳ）エラーに起因してばらつきを含み得、システムエラーに起因して欠損データ点を有し得ることを示す。最後に、図２８Ａは、各運転情報が道路に沿ったセグメント内の異なるポイントで開始及び終了し得ることも示す。
図２８Ｂは、５つの異なる運転情報からの生の位置データの別の例を示す。図２８Ｂの例では、第１の運転情報からの生データは、一連の中実正方形として示され、第２の運転情報からの生データは、一連の空白の正方形として示され、第３の第１の運転情報からの生データは、一連の空白の円として示され、第４の運転情報からの生データは、一連の星として示され、第５の運転情報からの生データは、一連の三角形として示されている。当業者は認識するように、形状は、データ自体の単なる例示であり、データは、ローカルであれグローバルであれ関係なく、一連の座標として記憶され得る。
図２８Ｂは、運転データの図２８Ａと同様の特性を示す。図２８Ｂは、他から離れた第５の運転情報の移動を追跡することにより交差点を検出し得ることを更に示す。例えば、図２８Ｂにおけるデータ例は、出口ランプが道路（線１２００で表される）の右側に存在することを示唆し得る。図２８Ｂは、データが道路の新しい部分で開始される場合、追加のレーンを検出し得ることも示す。例えば、図２８Ｂのデータ例における第４の運転情報は、検出された出口ランプの直後に第４のレーンが道路に追加されることを示唆し得る。
図２８Ｃは、生の位置データの例をそこからの目標軌道と共に示す。例えば、第１の運転データ（三角形で表される）及び第２の運転データ（空白の正方形で表される）は、関連付けられた目標軌道２８１０を有する。同様に、第３の運転データ（空白の円で表される）は、関連付けられた目標軌道２８２０を有し、第４の運転データ（中実正方形で表される）は、関連付けられた目標軌道２８３０を有する。
幾つかの実施形態では、運転データは、図２８Ｃに示されるように、１つの目標軌道が各走行レーンに関連付けられるように再構築され得る。そのような目標軌道は、運転データのパッチの適切な位置合わせが実行される場合、１つ又は複数の単純な平滑線モデルから生成され得る。後述するプロセス２９００は、パッチの適切な位置合わせの一例である。
図２９は、道路セグメントに沿って延びる路面特徴の線表現を特定する例示的なプロセス２９００を示すフローチャートである。路面特徴の線表現は、例えば、上記図２６のプロセス２６００を使用して自律車両ナビゲーションで使用されるように構成され得る。プロセス２９００は、サーバ１２３０又はハブ車両に含まれるプロセッサ２３１５によって実行され得る。
プロセス２９００は、サーバにより、路面特徴に関連付けられた位置情報を含む運転データの第１の組を受信すること（ステップ２９０５）を含み得る。位置情報は、道路セグメントの画像の分析に基づいて特定され得、路面特徴は、道路縁部又はレーンマークを含み得る。
プロセス２９００は、サーバにより、路面特徴に関連付けられた位置情報を含む運転データの第２の組を受信すること（ステップ２９１０）を更に含み得る。ステップ２９０５と同様に、位置情報は、道路セグメントの画像の分析に基づいて特定され得、路面特徴は、道路縁部又はレーンマークを含み得る。運転データの第１の組及び運転データの第２の組が収集されるときに応じて、ステップ２９０５及び２９１０が同時に実行され得るか、又はステップ２９０５とステップ２９１０との間で時間が経過し得る。
プロセス２９００は、運転データの第１の組を第１の運転パッチにセグメント化し、且つ運転データの第２の組を第２の運転パッチにセグメント化すること（ステップ２９１５）も含み得る。パッチは、データサイズ又は運転長により定義され得る。パッチを定義するサイズ又は長さは、１つ若しくは複数の値に予め定義され得るか、又はニューラルネットワーク若しくは他の機械技術を用いて更新され得る。例えば、パッチの長さは、常に１ｋｍに予め設定され得るか、又は３０ｋｍ／時超で道路に沿って走行中の場合に１ｋｍに予め設定され、３０ｋｍ／時未満で道路に沿って走行中の場合に０．８ｋｍに予め設定され得る。代替として又は同時に、機械学習分析は、運転状況、運転速度等の幾つかの従属変数に基づいてパッチのサイズ又は長さを最適化し得る。更に、幾つかの実施形態では、経路は、データサイズ及び運転長により定義され得る。
幾つかの実施形態では、データの第１の組及びデータの第２の組は、位置情報を含み得、複数の陸標に関連付けられ得る。そのような実施形態では、プロセス２９００は、図１９に関して上述したように、１つ又は複数の閾値に基づいてデータの組内の陸標を受け入れるか又は拒絶するかを特定することを更に含み得る。
プロセス２９００は、運転データの第１の組を、対応するパッチ内の運転データの第２の組と長手方向に位置合わせすること（ステップ２９２０）を含み得る。例えば、長手方向の位置合わせは、基準データセットとしてデータの第１の組又はデータの第２の組のいずれかを選択し、次にデータの他方の組をシフト及び／又は弾性的に伸張して組内のパッチを位置合わせすることを含み得る。幾つかの実施形態では、データの組を位置合わせすることは、両方の組に含まれ、パッチに関連付けられたＧＰＳデータを位置合わせすることを更に含み得る。例えば、組とのパッチ間の接続は、ＧＰＳデータとより密に位置合わせされるように調整され得る。しかし、そのような実施形態では、ＧＰＳデータの制限が位置合わせを損なわないように調整を制限しなければならない。例えば、ＧＰＳデータは、三次元ではなく、したがって道路の三次元表現に投影されたとき、不自然な捻れ及び傾斜をもたらすことがある。
プロセス２９００は、第１のドラフトパッチ及び第２のドラフトパッチにおける長手方向に位置合わせされた第１の運転データ及び第２の運転データに基づいて路面特徴の線表現を特定すること（ステップ２９２５）を更に含み得る。例えば、線表現は、位置合わせされたデータ上に平滑線モデルを使用して構築され得る。幾つかの実施形態では、線表現を特定することは、運転データの第１の組又は運転データの第２の組の少なくとも一方の一部として取得されたＧＰＳデータに基づく線表現のグローバル座標との位置合わせを含み得る。例えば、データの第１の組及び／又はデータの第２の組は、ローカル座標で表され得るが、平滑線モデルを使用する場合、両方の組が同じ座標軸を有する必要がある。したがって、特定の態様では、データの第１の組及び／又はデータの第２の組は、互いと同じ座標軸を有するように調整され得る。
幾つかの実施形態では、線表現を特定することは、平均変換の組を決定及び適用することを含み得る。例えば、平均変換のそれぞれは、順次パッチにわたる運転データの第１の組からのリンクデータ及び順次パッチにわたる運転データの第２の組からのリンクデータを特定した変換に基づき得る。
プロセス２９００は、追加の動作又はステップを含み得る。例えば、プロセス２９００は、路面特徴の線表現を少なくとも１つの地理画像上に重ね合わせることを更に含み得る。例えば、地理画像は、衛星画像であり得る。更なる例として、プロセス２９００は、特定された線表現及び長手方向の位置合わせに基づいて、誤っているように見える陸標情報及び／又は運転データをフィルタリングして除去することを更に含み得る。そのようなフィルタリングは、図１９に関して上述したように、１つ又は複数の閾値に基づいて陸標候補を拒絶することと概念的に同様であり得る。
路面情報のクラウドソーシング
疎な地図を生成するために陸標及び線表現をクラウドソーシングすることに加えて、開示されるシステム及び方法は、路面特徴も同様にクラウドソーシングされ得る。したがって、道路状況は、自律車両のナビゲーションに使用される疎な地図と共に及び／又は疎な地図内に記憶され得る。
図３０は、メモリ１４０及び／又は１５０の例示的な機能ブロック図であり、メモリ１４０及び／又は１５０に、開示される実施形態による１つ又は複数の動作を実行する命令を記憶／プログラムし得る。以下ではメモリ１４０について言及するが、命令がメモリ１４０及び／又は１５０に記憶可能であることを当業者は認識する。
図３０に示されるように、メモリ１４０は、画像受信モジュール３００２、路面特徴モジュール３００４、位置特定モジュール３００６、及びナビゲーション応答モジュール３００８を記憶し得る。開示された実施形態は、いかなる特定の構成のメモリ１４０にも限定されない。更に、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、メモリ１４０に含まれる任意のモジュール３００２、３００４、３００６、及び３００８に記憶された命令を実行し得る。以下の考察における処理ユニット１１０への言及がアプリケーションプロセッサ１８０及び画像プロセッサ１９０を個々に又はまとめて指し得ることを当業者は理解する。したがって、以下の任意のプロセスのステップは、１つ又は複数の処理デバイスによって実行され得る。
一実施形態では、画像受信モジュール３００２は、処理ユニット１１０によって実行されると、画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された画像を受信する（及び幾つかの実施形態では記憶する）命令を記憶し得る。
一実施形態では、路面特徴モジュール３００４は、処理ユニット１１０によって実行されると、画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された１つ又は複数の画像の分析を実行し、路面特徴を識別する命令（コンピュータビジョンソフトウェア等）を記憶し得る。例えば、路面特徴は、道路縁部又はレーンマークを含み得る。
一実施形態では、位置特定モジュール３００６は、処理ユニット１１０によって実行されると、車両に関連する位置情報を受信する命令（ＧＰＳソフトウェア又は視覚的走行距離計測ソフトウェア等）を記憶し得る。例えば、位置特定モジュール３００６は、車両の位置を含むＧＰＳデータ及び／又は自己運動データを受信し得る。幾つかの実施形態では、位置特定モジュール３００６は、受信された情報を使用して１つ又は複数の位置を計算し得る。例えば、位置特定モジュール３００６は、画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された１つ又は複数の画像を受信し、画像の分析を使用して車両の位置を特定し得る。
一実施形態では、ナビゲーション応答モジュール３００８は、処理ユニット１１０によって実行可能であり、画像受信モジュール３００２、路面特徴モジュール３００４、及び／又は位置特定モジュール３００６の実行から導出されるデータに基づいて所望のナビゲーション応答を決定するソフトウェアを記憶し得る。
更に、本明細書に開示される任意のモジュール（例えば、モジュール３００２、３００４、及び３００６）は、トレーニングされたシステム（ニューラルネットワーク若しくはディープニューラルネットワーク等）又はトレーニングされていないシステムに関連付けられた技法を実施し得る。
図３１は、道路セグメントの路面情報を収集する例示的なプロセス３１００を示すフローチャートである。プロセス３１００は、ナビゲーションシステム２３００に含まれるプロセッサ２３１５によって実行され得る。
プロセス３１００は、カメラから、道路セグメントの一部を示す少なくとも１つの画像を受信すること（ステップ３１０５）を含み得る。例えば、プロセッサ２３１５は、カメラ１２２から少なくとも１つの画像を受信し得る。カメラ１２２は、車両１２０５が道路セグメント１２００に沿って走行する際、車両１２０５の周囲環境の１つ又は複数の画像を捕捉し得る。
プロセス３１００は、少なくとも１つの画像において、道路セグメントの一部に沿った少なくとも１つの路面特徴を識別すること（ステップ３０１０）を更に含み得る。例えば、少なくとも１つの路面特徴は、道路縁部を含み得るか又はレーンマークを含み得る。
プロセス３１００は、車両のローカル座標系に従って、路面特徴に関連付けられた複数の位置を特定すること（ステップ３１１５）も含み得る。例えば、プロセッサ２３１５は、自己運動データ及び／又はＧＰＳデータを使用して複数の位置を特定し得る。
プロセス３１００は、特定された複数の位置を車両からサーバに送信すること（ステップ３１２０）を更に含み得る。例えば、特定された位置は、図２９に関して上述したように、サーバによる、道路セグメントに沿って延びる路面特徴の線表現の特定を可能にするように構成され得る。幾つかの実施形態では、線表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表し得る。
プロセス３１００は、追加の動作又はステップを含み得る。例えば、プロセス３１００は、サーバから線表現を受信することを更に含み得る。この例では、プロセッサ２３１５は、例えば、図２４のプロセス２４００及び／又は図２６のプロセス２６００に従って受信された疎な地図の一部として線表現を受信し得る。更なる例として、プロセス２９００は、路面特徴の線表現を少なくとも１つの地理画像上に重ね合わせることを更に含み得る。例えば、地理画像は、衛星画像であり得る。
陸標のクラウドソーシングに関して上述したように、幾つかの実施形態では、サーバは、車両から受信された路面特徴候補を受け入れるか又は拒絶するかを特定する選択基準を実施し得る。例えば、サーバは、路面特徴が出現する位置の組の、路面特徴が出現しない位置の組に対する比率が閾値を超える場合、路面特徴候補を受け入れ、及び／又は路面特徴が出現しない位置の組の、路面特徴が出現する位置の組に対する比率が閾値を超える場合、路面特徴候補を拒絶し得る。
車両の位置特定
幾つかの実施形態では、開示されるシステム及び方法は、疎な地図を自律車両ナビゲーションに使用し得る。特に、疎な地図は、道路セグメントに沿った自律車両ナビゲーションのためのものであり得る。例えば、疎な地図は、大量のデータを記憶及び／又は更新せずに、自律車両をナビゲーションするのに十分な情報を提供し得る。更に詳細に後述するように、自律車両は疎な地図を使用して、１つ又は複数の記憶された軌道に基づいて１つ又は複数の道路をナビゲーションし得る。
レーンマークを使用した自律車両レーンの位置特定
上述したように、セルフドライブ車両は、陸標間の推測航法に基づいてナビゲーションし得る。しかし、推測航法によるナビゲーション中、誤差が蓄積し得、したがって時間の経過に伴って、目標軌道に相対した位置特定の精度が一層低くなり得る。後述するように、レーンマークは、陸標間隔中、車両の位置を特定するのに使用され得、推測航法によるナビゲーション中の誤差の蓄積を最小限に抑え得る。
例えば、スプラインは、以下の式１に示されるように表され得る。
Figure 2021088357
式１の例では、Ｂ（ｕ）は、スプラインを表す曲線であり、ｂｋ（ｕ）は、基底関数であり、Ｐ（ｋ）は、制御点を表す。制御点は、例えば、以下の式２に従ってローカル座標に変換され得る。
Figure 2021088357
式２の例では、Ｐｌ （ｋ）は、局所座標に変換された制御点Ｐ（ｋ）を表し、Ｒは、例えば、車両の進行方位から推測され得る回転行列であり、ＲＴは、回転行列の転置を表し、Ｔは、車両の位置を表す。
幾つかの実施形態では、車両の経路を表す局所曲線は、以下の式３を使用して特定され得る。
Figure 2021088357
式３の例では、ｆは、カメラの焦点距離であり、Ｂｌｚ、Ｂｌｙ、及びＢｌｘは、ローカル座標での曲線Ｂの成分を表す。Ｈの導関数は、以下の式４により表され得る。
Figure 2021088357
式１に基づいて、式４中のＢ'ｌは、以下の式５により更に表され得る。
Figure 2021088357
例えば、式５は、ニュートン・ラプソンベースの解法により解くことができる。特定の態様では、解法は、５つ以下のステップで実行され得る。ｘについて解くために、幾つかの実施形態では、以下の式６を使用し得る。
Figure 2021088357
幾つかの実施形態では、軌道の導関数を使用し得る。例えば、導関数は、以下の式７により与えられ得る。
Figure 2021088357
式７の例では、Ｘｊは、例えば、車両の位置の状態成分を表し得る。特定の態様では、ｊは、１〜６の整数を表し得る。
式７を解くために、幾つかの実施形態では、以下の式８を使用し得る。
Figure 2021088357
式８を解くために、幾つかの実施形態では、陰関数微分法を使用して、以下の式９及び式１０を取得し得る。
Figure 2021088357
Figure 2021088357
式９及び式１０を使用して軌道の導関数を取得し得る。幾つかの実施形態では、次に拡張カルマンフィルタを使用してレーン測定値を特定し得る。上述したように、レーン測定値を特定することにより、レーンマークを使用して、推測航法によるナビゲーション中の誤差の蓄積を最小限に抑え得る。レーンマークの使用について、図３２〜図３５に関して更に詳細に後述する。
図３２は、メモリ１４０及び／又は１５０の例示的な機能ブロック図であり、メモリ１４０及び／又は１５０に、開示される実施形態による１つ又は複数の動作を実行する命令を記憶／プログラムし得る。以下ではメモリ１４０について言及するが、命令がメモリ１４０及び／又は１５０に記憶可能であることを当業者は認識する。
図３２に示されるように、メモリ１４０は、位置特定モジュール３２０２、画像分析モジュール３２０４、距離特定モジュール３２０６、及びオフセット特定モジュール３２０８を記憶し得る。開示された実施形態は、いかなる特定の構成のメモリ１４０にも限定されない。更に、アプリケーションプロセッサ１８０及び／又は画像プロセッサ１９０は、メモリ１４０に含まれる任意のモジュール３２０２、３２０４、３２０６、及び３２０８に記憶された命令を実行し得る。以下の考察における処理ユニット１１０への言及がアプリケーションプロセッサ１８０及び画像プロセッサ１９０を個々に又はまとめて指し得ることを当業者は理解する。したがって、以下の任意のプロセスのステップは、１つ又は複数の処理デバイスによって実行され得る。
一実施形態では、位置特定モジュール３２０２は、処理ユニット１１０によって実行されると、車両に関連する位置情報を受信する命令（ＧＰＳソフトウェア又は視覚的走行距離計測ソフトウェア等）を記憶し得る。例えば、位置特定モジュール３２０２は、車両の位置を含むＧＰＳデータ及び／又は自己運動データを受信し得る。幾つかの実施形態では、位置特定モジュール３２０２は、受信された情報を使用して１つ又は複数の位置を計算し得る。例えば、位置特定モジュール３２０２は、画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された１つ又は複数の画像を受信し、画像の分析を使用して車両の位置を特定し得る。
位置特定モジュール３２０２は、車両の位置を特定するために他のナビゲーションセンサを使用することもできる。例えば、速度センサ又は加速度計は、車両の位置計算に使用するために情報を位置特定モジュール３２０２に送信し得る。
一実施形態では、画像分析モジュール３２０４は、処理デバイス１１０によって実行されると、画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された１つ又は複数の画像の分析を実行する命令（コンピュータビジョンソフトウェア等）を記憶し得る。更に詳細に後述するように、画像分析モジュール３２０４は、少なくとも１つのレーンマークを識別するために１つ又は複数の画像を分析し得る。
一実施形態では、距離特定モジュール３２０６は、処理デバイス１１０によって実行されると、画像捕捉デバイス１２２、１２４、及び１２６の１つにより取得された１つ又は複数の画像の分析を実行し、車両から、画像分析モジュール３２０４により識別されたレーンマークまでの距離を特定する命令を記憶し得る。
一実施形態では、オフセット特定モジュール３２０８は、処理デバイス１１０によって実行可能であり、道路モデル軌道からの車両の推定オフセットを特定するソフトウェアを記憶し得る。例えば、オフセット特定モジュール３２０８は、距離特定モジュール３２０６により特定された距離を使用して推定オフセットを計算し得る。次に、位置特定モジュール３２０２、画像分析モジュール３２０４、距離特定モジュール３２０６、及び／又はオフセット特定モジュール３２０８の実行から導出されたデータに基づく所望のナビゲーション応答を決定し得る。
更に、本明細書に開示される任意のモジュール（例えば、モジュール３２０２、３２０４、及び３２０６）は、トレーニングされたシステム（ニューラルネットワーク若しくはディープニューラルネットワーク等）又はトレーニングされていないシステムに関連付けられた技法を実施し得る。
図３３Ａは、レーンマークを使用しない推測航法による車両ナビゲーションの例を示す。図３３Ａの例では、車両は、軌道３３１０に沿ってナビゲーションされるが、ナビゲーションにレーンマーク（例えば、マーク３３２０Ａ又は３３２０Ｂ）を使用しない。
図３３Ｂは、３５０ｍ後の図３３Ａの例を示す。図３３Ｂに示されるように、車両の軌道３３１０は、推測航法誤差蓄積に起因してレーンマーク（例えば、マーク３３２０Ａ又は３３２０Ｂ）と完全には位置合わせされない。
図３３Ｃは、１ｋｍ後の図３３Ａ及び図３３Ｂの例を示す。図３３Ｃに示されるように、陸標の予期される位置３３３０Ａは、陸標の実際の位置３３３０Ｂと位置合わせされない。車両は、ここで、陸標を使用して１ｋｍの過程にわたり蓄積した推測航法誤差を修正し得るが、本開示のシステム及び方法では、レーンマークを使用して陸標間の推測航法誤差蓄積を最小限に抑えることができる。
図３４Ａは、レーンマークを用いた推測航法による車両ナビゲーションの例を示す。図３４Ａの例では、車両は、ナビゲーションのために位置特定及び使用される軌道３４１０及びまた識別されたレーンマーク（例えば、マーク３４２０Ａ及び３４２０Ｂ）に沿ってナビゲーションしている。
図３４Ｂは、３５０ｍ後の図３４Ａの例を示す。図３４Ｂに示されるように、車両の軌道３４１０は、車両が、識別されたレーンマークを使用して推測航法誤差を修正したため、レーンマーク（例えば、レーンマーク３４２０Ａ及び３４２０Ｂ）と実質的に位置合わせされる。
図３４Ｃは、１ｋｍ後の図３４Ａ及び図３４Ｂの例を示す。図３４Ｃに示されるように、陸標の予期される位置３４３０Ａは、陸標の実際の位置３４３０Ｂと実質的に位置合わせされる。したがって、陸標に直面すると、図３４Ｃの車両は、図３３Ｃの車両よりもかなり小さい修正を受け得る。後述する図３５のプロセス３５００は、図３４Ａ〜図３４Ｃと同様に車両がナビゲーションにレーンマークを使用し得る例示的なプロセスである。
図３５は、道路セグメントをナビゲーションする車両の位置を修正する例示プロセス３５００を示すフローチャートである。プロセス３５００は、ナビゲーションシステム２３００に含まれるプロセッサ２３１５によって実行され得る。
プロセス３５００は、少なくとも１つのナビゲーションセンサの出力に基づいて、所定の道路モデル軌道に沿った車両の測定位置を特定すること（ステップ３５０５）を含み得る。例えば、所定の道路モデル軌道は、道路セグメントに関連付けられ得、幾つかの実施形態では、所定の道路モデル軌道は、道路セグメントに沿った目標軌道の三次元多項式表現を含み得る。少なくとも１つのナビゲーションセンサは、例えば、速度センサ又は加速度計を含み得る。
プロセス３５００は、画像捕捉デバイスから、車両の環境を示す少なくとも１つの画像を受信すること（ステップ３５１０）を更に含み得る。例えば、プロセッサ２３１５は、カメラ１２２から少なくとも１つの画像を受信し得る。カメラ１２２は、車両１２０５が道路セグメント１２００に沿って走行する際、車両１２０５の周囲環境の１つ又は複数の画像を捕捉し得る。
プロセス３５００は、少なくとも１つのレーンマークを識別するために少なくとも１つの画像を分析することも含み得る。少なくとも１つのレーンマークは、道路セグメントに沿った走行レーンに関連付けられ得る。プロセス３５００は、少なくとも１つの画像に基づいて、車両から少なくとも１つのレーンマークまでの距離を特定することを更に含み得る。例えば、画像内の物体の距離を計算する様々な既知のアルゴリズムを使用し得る。
プロセス３５００は、車両の測定位置及び特定された距離に基づいて、所定の道路モデル軌道からの車両の推定オフセットを特定することを含み得る。幾つかの実施形態では、推定オフセットを特定することは、少なくとも１つのレーンマークへの距離に基づいて、車両が少なくとも１つのレーンマークと交差する軌道にあるか否かを特定することを更に含み得る。代替として又は同時に、幾つかの実施形態では、推定オフセットを特定することは、少なくとも１つのレーンマークへの距離に基づいて、車両が少なくとも１つのレーンマークの所定の閾値内にあるか否かを特定することを更に含み得る。
プロセス３５００は、車両の位置を修正するための推定オフセットに基づいて車両の自律操舵動作を決定することを更に含み得る。例えば、推定オフセットが、少なくとも１つのレーンマークと交差する軌道に車両があるか否か及び／又は車両が少なくとも１つのレーンマークの所定の閾値内にあるか否かを特定することを含む実施形態では、プロセッサ２３１５は、車両軌道と少なくとも１つのレーンマークとの交わりを回避し、及び／又は車両とレーンマークとの距離を所定の閾値未満にするような自律操舵動作を決定し得る。
幾つかの実施形態では、自律操舵動作を決定することは、所定の道路モデル軌道の少なくとも１つの導関数について解くことを更に含み得る。例えば、軌道の導関数は、上述した拡張カルマンフィルタを使用して計算され得る。
プロセス３５００は、追加の動作又はステップを含み得る。例えば、プロセス３５００は、自律操舵動作に基づいて車両の操舵システムを調整することを更に含み得る。
上記説明は、例示を目的として提示されている。上記説明は網羅的ではなく、開示される厳密な形態又は実施形態に限定されない。変更形態及び適合形態は、本明細書を考慮し、開示される実施形態を実施することから当業者に明らかになるであろう。更に、開示される実施形態の態様は、メモリに記憶されるものとして記載されるが、これらの態様が、補助記憶装置等の他のタイプのコンピュータ可読媒体、例えば、ハードディスク若しくはＣＤ ＲＯＭ又は他の形態のＲＡＭ若しくはＲＯＭ、ＵＳＢメディア、ＤＶＤ、Blu-ray（登録商標）、４Ｋ超ＨＤ Blu-ray、又は他の光学駆動媒体に記憶することも可能であることを当業者は理解するであろう。
記載の説明及び開示される方法に基づくコンピュータプログラムは、経験のある開発者の技能内にある。様々なプログラム又はプログラムモジュールは、当業者に既知の任意の技法を使用して作成することができるか、又は既存のソフトウェアに関連して設計することができる。例えば、プログラムセクション又はプログラムモジュールは、.Net Framework、.Net Compact Framework（及びVisual Basic、C等の関連する言語）、Java（登録商標）、C++、Objective-C、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸ組み合わせ、ＸＭＬ、又はJavaアプレットを包含したＨＴＭＬにおいて又はそれにより設計することができる。
更に、例示的な実施形態を本明細書において説明したが、あらゆる実施形態の範囲は、本開示に基づいて当業者により理解されるような均等な要素、変更形態、省略形態、組合せ（例えば、様々な実施形態にわたる態様の）、適合形態、及び／又は代替形態を有する。特許請求の範囲での限定は、特許請求の範囲に利用される言語に基づいて広く解釈されるべきであり、本明細書に記載される例又は本願の実行中の例に限定されない。例は、非排他的として解釈されるべきである。更に、開示される方法のステップは、ステップの順序替え及び／又はステップの挿入又は削除を含め、任意の方法で変更され得る。したがって、本明細書及び例が単なる例示として見なされることが意図され、真の範囲及び趣旨は、以下の特許請求の範囲及びその全範囲の均等物により示される。
（項目１）道路セグメントに沿った自律車両ナビゲーションのための疎な地図を含む非一時的コンピュータ可読媒体であって、前記疎な地図は、
前記道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現であって、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表し、
前記路面特徴は、１つ又は複数の車両が前記道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別される、少なくとも１つの線表現と、前記道路セグメントに関連付けられた複数の陸標と、を含む、
非一時的コンピュータ可読媒体。
（項目２）前記路面特徴は、道路縁部又はレーンマークの少なくとも一方を含む、項目１に記載の非一時的コンピュータ可読媒体。
（項目３）前記複数の陸標の少なくとも１つは、道路標識を含む、項目１に記載の非一時的コンピュータ可読媒体。
（項目４）前記複数の陸標は、前記地図において少なくとも５０ｍの平均距離で離間される、項目１に記載の非一時的コンピュータ可読媒体。
（項目５）前記疎な地図は、１キロメートル当たり１メガバイト以下のデータ密度を有する、項目１に記載の非一時的コンピュータ可読媒体。
（項目６）前記路面特徴の前記少なくとも１つの線表現は、スプライン、多項式表現、又は曲線を含む、項目１に記載の非一時的コンピュータ可読媒体。
（項目７）前記複数の陸標は、１つ又は複数の車両が前記道路セグメントを走行する際に取得された前記複数の画像の画像分析を通して識別される、項目１に記載の非一時的コンピュータ可読媒体。
（項目８）前記複数の陸標を識別するための前記画像分析は、前記陸標が出現する画像の、前記陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れることを含む、項目７に記載の非一時的コンピュータ可読媒体。
（項目９）前記複数の陸標を識別するための前記画像分析は、前記陸標が出現しない画像の、前記陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶することを含む、項目７に記載の非一時的コンピュータ可読媒体。
（項目１０）道路セグメントに沿った自律車両ナビゲーションのための疎な地図を生成するシステムであって、少なくとも１つの処理デバイスを含み、前記少なくとも１つの処理デバイスは、
１つ又は複数の車両が前記道路セグメントを走行する際に取得された複数の画像を受信することと、
前記複数の画像に基づいて、前記道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を識別することであって、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、識別することと、
前記複数の画像に基づいて、前記道路セグメントに関連付けられた複数の陸標を識別することと、
を行うように構成される、システム。
（項目１１）前記路面特徴は、道路縁部又はレーンマークの少なくとも一方を含む、項目１０に記載のシステム。
（項目１２）前記複数の陸標の少なくとも１つは、道路標識を含む、項目１０に記載のシステム。
（項目１３）前記路面特徴の前記少なくとも１つの線表現は、スプライン、多項式表現、又は曲線を含む、項目１０に記載のシステム。
（項目１４）前記複数の陸標を識別することは、１つ又は複数の車両が前記道路セグメントを走行する際に取得された前記複数の画像を分析することを含む、項目１０に記載のシステム。
（項目１５）前記複数の陸標を識別するために前記複数の画像を分析することは、前記陸標が出現する画像の、前記陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れることを含む、項目１４に記載のシステム。
（項目１６）前記複数の陸標を識別するために前記複数の画像を分析することは、前記陸標が出現しない画像の、前記陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶することを含む、項目１４に記載のシステム。
（項目１７）道路セグメントに沿った自律車両ナビゲーションのための疎な地図を生成する方法であって、
１つ又は複数の車両が前記道路セグメントを走行する際に取得された複数の画像を受信することと、
前記複数の画像に基づいて、前記道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を識別することであって、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、識別することと、
前記複数の画像に基づいて、前記道路セグメントに関連付けられた複数の陸標を識別することと、
を含む方法。
（項目１８）前記複数の陸標を識別することは、１つ又は複数の車両が前記道路セグメントを走行する際に取得された前記複数の画像を分析することを含む、項目１７に記載の方法。
（項目１９）前記複数の陸標を識別するために前記複数の画像を分析することは、前記陸標が出現する画像の、前記陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れることを含む、項目１８に記載の方法。
（項目２０）前記複数の陸標を識別するために前記複数の画像を分析することは、前記陸標が出現しない画像の、前記陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶することを含む、項目１８に記載の方法。
（項目２１）自律車両ナビゲーションで使用される道路ナビゲーションモデルを生成する方法であって、
サーバにより、複数の車両からナビゲーション情報を受信することであって、前記複数の車両からの前記ナビゲーション情報は、共通の道路セグメントに関連付けられている、受信することと、
前記サーバにより、前記共通の道路セグメントに関連付けられた前記ナビゲーション情報を記憶することと、
前記サーバにより、前記複数の車両からの前記ナビゲーション情報に基づいて、前記共通の道路セグメントのための自律車両道路ナビゲーションモデルの少なくとも一部を生成することであって、前記共通の道路セグメントのための前記自律車両道路ナビゲーションモデルは、前記共通の道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記共通の道路セグメントに沿った経路を表し、前記路面特徴は、前記複数の車両が前記共通の道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別される、生成することと、
前記サーバにより、前記共通の道路セグメントに沿って１つ又は複数の自律車両を自律的にナビゲーションするのに使用するために前記自律車両道路ナビゲーションモデルを前記１つ又は複数の自律車両に配信することと、
を含む方法。
（項目２２）前記自律車両道路ナビゲーションモデルは、地図、画像、又は衛星画像上に重ねられるように構成される、項目２１に記載の方法。
（項目２３）前記複数の道路特徴は、道路縁部又はレーンマークを含む、項目２１に記載の方法。
（項目２４）前記自律車両道路ナビゲーションモデルの少なくとも一部を生成することは、前記複数の画像の画像分析に基づいて、前記共通の道路セグメントに関連付けられた複数の陸標を識別することを含む、項目２１に記載の方法。
（項目２５）前記自律車両道路ナビゲーションモデルの少なくとも一部を生成することは、前記陸標が出現する画像の、前記陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れることを更に含む、項目２４に記載の方法。
（項目２６）前記自律車両道路ナビゲーションモデルの少なくとも一部を生成することは、前記陸標が出現しない画像の、前記陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶することを更に含む、項目２４に記載の方法。
（項目２７）自律車両ナビゲーションで使用する道路ナビゲーションモデルを生成するシステムであって、
少なくとも１つのネットワークインタフェースと、
少なくとも１つの非一時的記憶媒体と、
少なくとも１つの処理デバイスと、
を含み、前記少なくとも１つの処理デバイスは、
前記ネットワークインタフェースを使用して複数の車両からナビゲーション情報を受信することであって、前記複数の車両からの前記ナビゲーション情報は、共通の道路セグメントに関連付けられている、受信することと、
前記共通の道路セグメントに関連付けられた前記ナビゲーション情報を前記非一時的記憶媒体に記憶することと、
前記複数の車両からの前記ナビゲーション情報に基づいて、前記共通の道路セグメントのための自律車両道路ナビゲーションモデルの少なくとも一部を生成することであって、前記共通の道路セグメントのための前記自律車両道路ナビゲーションモデルは、前記共通の道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記共通の道路セグメントに沿った経路を表し、前記路面特徴は、前記複数の車両が前記共通の道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別される、生成することと、
前記ネットワークインタフェースを使用して、前記共通の道路セグメントに沿って１つ又は複数の自律車両を自律的にナビゲーションするのに使用するために前記自律車両道路ナビゲーションモデルを前記１つ又は複数の自律車両に配信することと、
を行うように構成される、
システム。
（項目２８）前記自律車両道路ナビゲーションモデルは、地図、画像、又は衛星画像上に重ねられるように構成される、項目２７に記載のシステム。
（項目２９）前記複数の道路特徴は、道路縁部又はレーンマークを含む、項目２７に記載のシステム。
（項目３０）前記自律車両道路ナビゲーションモデルの少なくとも一部を生成することは、前記複数の画像の画像分析に基づいて、前記共通の道路セグメントに関連付けられた複数の陸標を識別することを含む、項目２７に記載のシステム。
（項目３１）前記自律車両道路ナビゲーションモデルの少なくとも一部を生成することは、前記陸標が出現する画像の、前記陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れることを更に含む、項目３０に記載のシステム。
（項目３２）前記自律車両道路ナビゲーションモデルの少なくとも一部を生成することは、前記陸標が出現しない画像の、前記陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶することを更に含む、項目３０に記載のシステム。
（項目３３）命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つの処理デバイスによって実行されると、サーバに、
複数の車両からナビゲーション情報を受信することであって、前記複数の車両からの前記ナビゲーション情報は、共通の道路セグメントに関連付けられている、受信することと、
前記共通の道路セグメントに関連付けられた前記ナビゲーション情報を記憶することと、
前記複数の車両からの前記ナビゲーション情報に基づいて、前記共通の道路セグメントのための自律車両道路ナビゲーションモデルの少なくとも一部を生成することであって、前記共通の道路セグメントのための前記自律車両道路ナビゲーションモデルは、前記共通の道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記共通の道路セグメントに沿った経路を表し、前記路面特徴は、前記複数の車両が前記共通の道路セグメントを走行する際に取得された複数の画像の画像分析を通して識別される、生成することと、
前記共通の道路セグメントに沿って１つ又は複数の自律車両を自律的にナビゲーションするのに使用するために前記自律車両道路ナビゲーションモデルを前記１つ又は複数の自律車両に配信することと、
を行わせる、非一時的コンピュータ可読媒体。
（項目３４）前記自律車両道路ナビゲーションモデルは、地図、画像、又は衛星画像上に重ねられるように構成される、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３５）前記複数の道路特徴は、道路縁部又はレーンマークを含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３６）前記自律車両道路ナビゲーションモデルの少なくとも一部を生成する前記命令は、前記複数の画像の画像分析に基づいて、前記共通の道路セグメントに関連付けられた複数の陸標を識別する命令を含む、項目３３に記載の非一時的コンピュータ可読媒体。
（項目３７）前記自律車両道路ナビゲーションモデルの少なくとも一部を生成する前記命令は、前記陸標が出現する画像の、前記陸標が出現しない画像に対する比率が閾値を超える場合、陸標候補を受け入れる命令を更に含む、項目３６に記載の非一時的コンピュータ可読媒体。
（項目３８）前記自律車両道路ナビゲーションモデルの少なくとも一部を生成する前記命令は、前記陸標が出現しない画像の、前記陸標が出現する画像に対する比率が閾値を超える場合、陸標候補を拒絶する命令を更に含む、項目３６に記載の非一時的コンピュータ可読媒体。
（項目３９）道路セグメントに沿って車両を自律的にナビゲーションするシステムであって、少なくとも１つの処理デバイスを含み、前記少なくとも１つの処理デバイスは、
疎な地図モデルを受信することであって、前記疎な地図モデルは、前記道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、受信することと、
カメラから、前記車両の環境を表す少なくとも１つの画像を受信することと、
前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像を分析することと、
前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像の前記分析に基づいて前記車両の自律ナビゲーション応答を決定することと、
を行うように構成される、システム。
（項目４０）前記路面特徴は、道路縁部又はレーンマークを含む、項目３９に記載のシステム。
（項目４１）前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像の前記分析は、前記道路セグメントに沿って延びる路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定することを含む、項目３９に記載のシステム。
（項目４２）前記道路セグメントに沿って延びる路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定することは、前記少なくとも１つの画像における少なくとも１つの認識された陸標の識別に基づく、項目４１に記載のシステム。
（項目４３）前記少なくとも１つの処理デバイスは、前記長手方向位置に対する前記車両の予期位置及び前記流れ方向位置に対する前記車両の前記現在位置に基づいて推定オフセットを特定するように更に構成される、項目４２に記載のシステム。
（項目４４）前記自律ナビゲーション応答は、前記推定オフセットに更に基づく、項目４３に記載のシステム。
（項目４５）前記少なくとも１つの処理デバイスは、前記自律ナビゲーション応答に基づいて前記車両の操舵システムを調整するように更に構成される、項目３９に記載のシステム。
（項目４６）道路セグメントに沿って車両を自律的にナビゲーションする方法であって、
疎な地図モデルを受信することであって、前記疎な地図モデルは、前記道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、受信することと、
カメラから、前記車両の環境を表す少なくとも１つの画像を受信することと、
前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像を分析することと、
前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像の前記分析に基づいて前記車両の自律ナビゲーション応答を決定することと、
を含む方法。
（項目４７）前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像を分析することは、前記道路セグメントに沿って延びる路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定することを含む、項目４６に記載の方法。
（項目４８）前記道路セグメントに沿って延びる路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定することは、前記少なくとも１つの画像における少なくとも１つの認識された陸標の識別に基づく、項目４７に記載の方法。
（項目４９）前記長手方向位置に対する前記車両の予期位置及び前記長手方向位置に対する前記車両の前記現在位置に基づいて推定オフセットを特定することを更に含む、項目４８に記載の方法。
（項目５０）前記自律ナビゲーション応答は、前記推定オフセットに更に基づく、項目４９に記載の方法。
（項目５１）前記自律ナビゲーション応答に基づいて前記車両の操舵システムを調整することを更に含む、項目４６に記載の方法。
（項目５２）命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つの処理デバイスによって実行されると、前記デバイスに、
疎な地図モデルを受信することであって、前記疎な地図モデルは、前記道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、受信することと、
カメラから、車両の環境を表す少なくとも１つの画像を受信することと、
前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像を分析することと、
前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像の前記分析に基づいて前記車両の自律ナビゲーション応答を決定することと、
を行わせる、非一時的コンピュータ可読媒体。
（項目５３）前記道路特徴は、道路縁部又はレーンマークを含む、項目５２に記載の非一時的コンピュータ可読媒体。
（項目５４）前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像の分析は、前記道路セグメントに沿って延びる路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定することを含む、項目５２に記載の非一時的コンピュータ可読媒体。
（項目５５）前記道路セグメントに沿って延びる路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定することは、前記少なくとも１つの画像における少なくとも１つの認識された陸標の識別に基づく、項目５４に記載の非一時的コンピュータ可読媒体。
（項目５６）前記長手方向位置に対する前記車両の予期位置及び前記長手方向位置に対する前記車両の前記現在位置に基づいて推定オフセットを特定する命令を更に記憶する、項目５５に記載の非一時的コンピュータ可読媒体。
（項目５７）前記自律ナビゲーション応答は、前記推定オフセットに更に基づく、項目５６に記載の非一時的コンピュータ可読媒体。
（項目５８）前記自律ナビゲーション応答に基づいて前記車両の操舵システムを調整する命令を更に記憶する、項目５２に記載の非一時的コンピュータ可読媒体。
（項目５９）道路セグメントに沿って延びる路面特徴の線表現を特定する方法であって、前記路面特徴の前記線表現は、自律車両ナビゲーションで使用されるように構成され、前記方法は、
サーバにより、前記路面特徴に関連付けられた位置情報を含む運転データの第１の組を受信することであって、前記位置情報は、前記道路セグメントの画像の分析に基づいて特定される、受信することと、
サーバにより、前記路面特徴に関連付けられた位置情報を含む運転データの第２の組を受信することであって、前記位置情報は、前記道路セグメントの画像の分析に基づいて特定される、受信することと、
前記運転データの第１の組を第１の運転パッチにセグメント化し、且つ前記運転データの第２の組を第２の運転パッチにセグメント化することと、
前記運転データの第１の組を、対応するパッチ内の前記運転データの第２の組に長手方向に位置合わせすることと、
前記第１のドラフトパッチ及び前記第２のドラフトパッチにおける前記長手方向に位置合わせされた第１の運転データ及び第２の運転データに基づいて前記路面特徴の前記線表現を特定することと、
を含む、方法。
（項目６０）前記路面特徴は、道路縁部又はレーンマークを含む、項目５９に記載の方法。
（項目６１）前記線表現を特定することは、前記運転データの第１の組又は前記運転データの第２の組の少なくとも一方の一部として取得されたＧＰＳデータに基づく前記線表現のグローバル座標との位置合わせを含む、項目５９に記載の方法。
（項目６２）前記線表現を特定することは、平均変換の組であって、前記平均変換のそれぞれは、順次パッチにわたる前記運転データの第１の組からのリンクデータ及び順次パッチにわたる前記運転データの第２の組からのリンクデータを特定した変換に基づく、平均変換の組を決定及び適用することを更に含む、項目５９に記載の方法。
（項目６３）前記路面特徴の前記線表現を少なくとも１つの地理画像上に重ね合わせることを更に含む、項目５９に記載の方法。
（項目６４）前記地理画像は、衛星画像である、項目６３に記載の方法。
（項目６５）前記データの第１の組及び前記データの第２の組は、複数の陸標に関連付けられた位置情報を更に含む、項目５９に記載の方法。
（項目６６）道路セグメントに沿って延びる路面特徴の線表現を特定するシステムであって、前記路面特徴の前記線表現は、自律車両ナビゲーションで使用されるように構成され、前記システムは、少なくとも１つの処理デバイスを含み、前記少なくとも１つの処理デバイスは、
前記路面特徴に関連付けられた位置情報を含む運転データの第１の組を受信することであって、前記位置情報は、前記道路セグメントの画像の分析に基づいて特定される、受信することと、
前記路面特徴に関連付けられた位置情報を含む運転データの第２の組を受信することであって、前記位置情報は、前記道路セグメントの画像の分析に基づいて特定される、受信することと、
前記運転データの第１の組を第１の運転パッチにセグメント化し、且つ前記運転データの第２の組を第２の運転パッチにセグメント化することと、
前記運転データの第１の組を、対応するパッチ内の前記運転データの第２の組に長手方向に位置合わせすることと、
前記第１のドラフトパッチ及び前記第２のドラフトパッチにおける前記長手方向に位置合わせされた第１の運転データ及び第２の運転データに基づいて前記路面特徴の前記線表現を特定することと、
を行うように構成される、システム。
（項目６７）前記路面特徴は、道路縁部又はレーンマークを含む、項目６６に記載のシステム。
（項目６８）前記線表現を特定することは、前記運転データの第１の組又は前記運転データの第２の組の少なくとも一方の一部として取得されたＧＰＳデータに基づく前記線表現のグローバル座標との位置合わせを含む、項目６６に記載のシステム。
（項目６９）前記線表現を特定することは、平均変換の組であって、前記平均変換のそれぞれは、順次パッチにわたる前記運転データの第１の組からのリンクデータ及び順次パッチにわたる前記運転データの第２の組からのリンクデータを特定した変換に基づく、平均変換の組を決定及び適用することを更に含む、項目６６に記載のシステム。
（項目７０）前記路面特徴の前記線表現を少なくとも１つの地理画像上に重ね合わせることを更に含む、項目６６に記載のシステム。
（項目７１）前記データの第１の組及び前記データの第２の組は、複数の陸標に関連付けられた位置情報を更に含む、項目６６に記載のシステム。
（項目７２）命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つの処理デバイスによって実行されると、前記デバイスに、
路面特徴に関連付けられた位置情報を含む運転データの第１の組を受信することであって、前記位置情報は、前記道路セグメントの画像の分析に基づいて特定される、受信することと、
前記路面特徴に関連付けられた位置情報を含む運転データの第２の組を受信することであって、前記位置情報は、前記道路セグメントの画像の分析に基づいて特定される、受信することと、
前記運転データの第１の組を第１の運転パッチにセグメント化し、且つ前記運転データの第２の組を第２の運転パッチにセグメント化することと、
前記運転データの第１の組を、対応するパッチ内の前記運転データの第２の組に長手方向に位置合わせすることと、
前記第１のドラフトパッチ及び前記第２のドラフトパッチにおける前記長手方向に位置合わせされた第１の運転データ及び第２の運転データに基づいて前記路面特徴の前記線表現を特定することと、
を行わせる、非一時的コンピュータ可読媒体。
（項目７３）前記路面特徴は、道路縁部又はレーンマークを含む、項目７２に記載の非一時的コンピュータ可読媒体。
（項目７４）前記線表現を特定することは、前記運転データの第１の組又は前記運転データの第２の組の少なくとも一方の一部として取得されたＧＰＳデータに基づく前記線表現のグローバル座標との位置合わせを含む、項目７２に記載の非一時的コンピュータ可読媒体。
（項目７５）前記線表現を特定することは、平均変換の組であって、前記平均変換のそれぞれは、順次パッチにわたる前記運転データの第１の組からのリンクデータ及び順次パッチにわたる前記運転データの第２の組からのリンクデータを特定した変換に基づく、平均変換の組を決定及び適用することを更に含む、項目７２に記載の非一時的コンピュータ可読媒体。
（項目７６）前記路面特徴の前記線表現を少なくとも１つの地理画像上に重ね合わせることを更に含む、項目７２に記載の非一時的コンピュータ可読媒体。
（項目７７）前記地理画像は、衛星画像である、項目７６に記載の非一時的コンピュータ可読媒体。
（項目７８）前記データの第１の組及び前記データの第２の組は、複数の陸標に関連付けられた位置情報を更に含む、項目７２に記載の非一時的コンピュータ可読媒体。
（項目７９）道路セグメントの路面情報を収集するシステムであって、少なくとも１つの処理デバイスを含み、前記少なくとも１つの処理デバイスは、
カメラから、前記道路セグメントの一部を表す少なくとも１つの画像を受信することと、
前記少なくとも１つの画像において、前記道路セグメントの前記一部に沿った少なくとも１つの路面特徴を識別することと、
車両のローカル座標系に従って、前記路面特徴に関連付けられた複数の位置を特定することと、
前記特定された複数の位置を前記車両からサーバに送信することであって、前記特定された位置は、前記サーバによる、前記道路セグメントに沿って延びる前記路面特徴の線表現の特定を可能にするように構成され、前記線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、送信することと、
を行うように構成される、システム。
（項目８０）前記少なくとも１つの路面特徴は、道路縁部を含む、項目７９に記載のシステム。
（項目８１）前記少なくとも１つの路面特徴は、レーンマークを含む、項目７９に記載のシステム。
（項目８２）前記少なくとも１つの処理デバイスは、前記サーバから前記線表現を受信するように更に構成される、項目７９に記載のシステム。
（項目８３）前記少なくとも１つの処理デバイスは、前記路面特徴の前記線表現を少なくとも１つの地理画像上に重ね合わせるように更に構成される、項目８２に記載のシステム。
（項目８４）前記地理画像は、衛星画像である、項目８３に記載のシステム。
（項目８５）道路セグメントの路面情報を収集する方法であって、
カメラから、前記道路セグメントの一部を表す少なくとも１つの画像を受信することと、
前記少なくとも１つの画像において、前記道路セグメントの前記一部に沿った少なくとも１つの路面特徴を識別することと、
車両のローカル座標系に従って、前記路面特徴に関連付けられた複数の位置を特定することと、
前記特定された複数の位置を前記車両からサーバに送信することであって、前記特定された位置は、前記サーバによる、前記道路セグメントに沿って延びる前記路面特徴の線表現の特定を可能にするように構成され、前記線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、送信することと、
を含む、方法。
（項目８６）前記少なくとも１つの路面特徴は、道路縁部を含む、項目８５に記載の方法。
（項目８７）前記少なくとも１つの路面特徴は、レーンマークを含む、項目８５に記載の方法。
（項目８８）前記サーバから前記線表現を受信することを更に含む、項目８５に記載の方法。
（項目８９）前記路面特徴の前記線表現を少なくとも１つの地理画像上に重ね合わせることを更に含む、項目８８に記載の方法。
（項目９０）前記地理画像は、衛星画像である、項目８９に記載の方法。
（項目９１）命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つの処理デバイスによって実行されると、前記デバイスに、
カメラから、道路セグメントの一部を表す少なくとも１つの画像を受信することと、
前記少なくとも１つの画像において、前記道路セグメントの前記一部に沿った少なくとも１つの路面特徴を識別することと、
車両のローカル座標系に従って、前記路面特徴に関連付けられた複数の位置を特定することと、
前記特定された複数の位置を前記車両からサーバに送信することであって、前記特定された位置は、前記サーバによる、前記道路セグメントに沿って延びる前記路面特徴の線表現の特定を可能にするように構成され、前記線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、送信することと、
を行わせる、非一時的コンピュータ可読媒体。
（項目９２）前記少なくとも１つの路面特徴は、道路縁部を含む、項目９１に記載の非一時的コンピュータ可読媒体。
（項目９３）前記少なくとも１つの路面特徴は、レーンマークを含む、項目９１に記載の非一時的コンピュータ可読媒体。
（項目９４）前記少なくとも１つの処理デバイスは、前記サーバから前記線表現を受信するように更にプログラムされる、項目９１に記載の非一時的コンピュータ可読媒体。
（項目９５）前記少なくとも１つの処理デバイスは、前記路面特徴の前記線表現を少なくとも１つの地理画像上に重ね合わせるように更にプログラムされる、項目９４に記載の非一時的コンピュータ可読媒体。
（項目９６）前記地理画像は、衛星画像である、項目９５に記載の非一時的コンピュータ可読媒体。
（項目９７）道路セグメントを移動している車両の位置を修正するシステムであって、少なくとも１つの処理デバイスを含み、前記少なくとも１つの処理デバイスは、
少なくとも１つのナビゲーションセンサの出力に基づいて、所定の道路モデル軌道に沿った前記車両の測定位置を特定することであって、前記所定の道路モデル軌道は、前記道路セグメントに関連付けられている、特定することと、
画像捕捉デバイスから、前記車両の環境を表す少なくとも１つの画像を受信することと、
少なくとも１つのレーンマークを識別するために前記少なくとも１つの画像を分析することであって、前記少なくとも１つのレーンマークは、前記道路セグメントに沿った走行レーンに関連付けられている、分析することと、
前記少なくとも１つの画像に基づいて、前記車両から前記少なくとも１つのレーンマークへの距離を特定することと、
前記車両の前記測定位置及び前記特定された距離に基づいて、前記所定の道路モデル軌道からの前記車両の推定オフセットを特定することと、
前記車両の前記位置を修正するために、前記推定オフセットに基づいて前記車両の自律操舵動作を決定することと、
を行うように構成される、システム。
（項目９８）前記所定の道路モデル軌道は、前記道路セグメントに沿った目標軌道の三次元多項式表現を含む、項目９７に記載のシステム。
（項目９９）前記少なくとも１つの処理デバイスは、前記自律操舵動作に基づいて前記車両の操舵システムを調整するように更に構成される、項目９７に記載のシステム。
（項目１００）前記推定オフセットを特定することは、前記少なくとも１つのレーンマークへの前記距離に基づいて、前記車両が、前記少なくとも１つのレーンマークと交差する軌道上にあるか否かを特定することを更に含む、項目９７に記載のシステム。
（項目１０１）前記推定オフセットを特定することは、前記少なくとも１つのレーンマークへの前記距離に基づいて、前記車両が前記少なくとも１つのレーンマークの所定の閾値内にあるか否かを特定することを更に含む、項目９７に記載のシステム。
（項目１０２）前記少なくとも１つのナビゲーションセンサは、速度センサ又は加速度計を含む、項目９７に記載のシステム。
（項目１０３）前記車両の前記自律操舵動作を決定することは、前記所定の道路モデル軌道の少なくとも１つの導関数を解くことを更に含む、項目９７に記載のシステム。
（項目１０４）道路セグメントを移動している車両の位置を修正する方法であって、
少なくとも１つのナビゲーションセンサの出力に基づいて、所定の道路モデル軌道に沿った前記車両の測定位置を特定することであって、前記所定の道路モデル軌道は、前記道路セグメントに関連付けられている、特定することと、
画像捕捉デバイスから、前記車両の環境を表す少なくとも１つの画像を受信することと、
少なくとも１つのレーンマークを識別するために前記少なくとも１つの画像を分析することであって、前記少なくとも１つのレーンマークは、前記道路セグメントに沿った走行レーンに関連付けられている、分析することと、
前記少なくとも１つの画像に基づいて、前記車両から前記少なくとも１つのレーンマークへの距離を特定することと、
前記車両の前記測定位置及び前記特定された距離に基づいて、前記所定の道路モデル軌道からの前記車両の推定オフセットを特定することと、
前記車両の前記位置を修正するために、前記推定オフセットに基づいて前記車両の自律操舵動作を決定することと、
を含む、方法。
（項目１０５）前記自律操舵動作に基づいて前記車両の操舵システムを調整することを更に含む、項目１０４に記載の方法。
（項目１０６）前記推定オフセットを特定することは、前記少なくとも１つのレーンマークへの前記距離に基づいて、前記車両が、前記少なくとも１つのレーンマークと交差する軌道上にあるか否かを特定することを更に含む、項目１０４に記載の方法。
（項目１０７）前記推定オフセットを特定することは、前記少なくとも１つのレーンマークへの前記距離に基づいて、前記車両が前記少なくとも１つのレーンマークの所定の閾値内にあるか否かを特定することを更に含む、項目１０４に記載の方法。
（項目１０８）前記車両の前記自律操舵動作を決定することは、前記所定の道路モデル軌道の少なくとも１つの導関数を解くことを更に含む、項目１０４に記載の方法。
（項目１０９）命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、少なくとも１つの処理デバイスによって実行されると、前記デバイスに、
少なくとも１つのナビゲーションセンサの出力に基づいて、所定の道路モデル軌道に沿った車両の測定位置を特定することであって、前記所定の道路モデル軌道は、前記道路セグメントに関連付けられている、特定することと、
画像捕捉デバイスから、前記車両の環境を表す少なくとも１つの画像を受信することと、
少なくとも１つのレーンマークを識別するために前記少なくとも１つの画像を分析することであって、前記少なくとも１つのレーンマークは、前記道路セグメントに沿った走行レーンに関連付けられている、分析することと、
前記少なくとも１つの画像に基づいて、前記車両から前記少なくとも１つのレーンマークへの距離を特定することと、
前記車両の前記測定位置及び前記特定された距離に基づいて、前記所定の道路モデル軌道からの前記車両の推定オフセットを特定することと、
前記車両の前記位置を修正するために、前記推定オフセットに基づいて前記車両の自律操舵動作を決定することと、
を行わせる、非一時的コンピュータ可読媒体。
（項目１１０）前記所定の道路モデル軌道は、前記道路セグメントに沿った目標軌道の三次元多項式表現を含む、項目１０９に記載の非一時的コンピュータ可読媒体。
（項目１１１）前記自律操舵動作に基づいて前記車両の操舵システムを調整する命令を更に記憶する、項目１０９に記載の非一時的コンピュータ可読媒体。
（項目１１２）前記推定オフセットを特定する前記命令は、前記少なくとも１つのレーンマークへの前記距離に基づいて、前記車両が、前記少なくとも１つのレーンマークと交差する軌道上にあるか否かを特定する命令を更に含む、項目１０９に記載の非一時的コンピュータ可読媒体。
（項目１１３）前記推定オフセットを特定する前記命令は、前記少なくとも１つのレーンマークへの前記距離に基づいて、前記車両が前記少なくとも１つのレーンマークの所定の閾値内にあるか否かを特定する命令を更に含む、項目１０９に記載の非一時的コンピュータ可読媒体。
（項目１１４）前記車両の前記自律操舵動作を決定する前記命令は、前記所定の道路モデル軌道の少なくとも１つの導関数を解く命令を更に含む、項目１０９に記載の非一時的コンピュータ可読媒体。

Claims (17)

  1. 道路セグメントに沿って車両を自律的にナビゲーションするシステムであって、前記システムは少なくとも１つの処理デバイスを含み、前記少なくとも１つの処理デバイスは、
    疎な地図モデルを受信することであって、前記疎な地図モデルは、前記道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、受信することと、
    カメラから、前記車両の環境を表す少なくとも１つの画像を受信することと、
    前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像を分析して前記道路セグメントに沿って延びる前記路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定することと、
    前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像の前記分析に基づいて前記車両の自律ナビゲーション応答を決定することと、
    を行うように構成される、システム。
  2. 前記路面特徴は、道路縁部又はレーンマークを含む、請求項１に記載のシステム。
  3. 前記道路セグメントに沿って延びる前記路面特徴の前記少なくとも１つの線表現に沿った前記長手方向位置に対する前記車両の前記現在位置を特定することは、前記少なくとも１つの画像における少なくとも１つの認識された陸標の識別に基づく、請求項１または２に記載のシステム。
  4. 前記少なくとも１つの処理デバイスは、前記長手方向位置に対する前記車両の予期位置及び前記長手方向位置に対する前記車両の前記現在位置に基づいて推定オフセットを特定するように更に構成される、請求項１から３のいずれか一項に記載のシステム。
  5. 前記自律ナビゲーション応答は、前記推定オフセットに更に基づく、請求項４に記載のシステム。
  6. 前記少なくとも１つの処理デバイスは、前記自律ナビゲーション応答に基づいて前記車両の操舵システムを調整するように更に構成される、請求項１から５のいずれか一項に記載のシステム。
  7. 道路セグメントに沿って車両を自律的にナビゲーションする方法であって、
    疎な地図モデルを受信する段階であって、前記疎な地図モデルは、前記道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、受信する段階と、
    カメラから、前記車両の環境を表す少なくとも１つの画像を受信する段階と、
    前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像を分析して前記道路セグメントに沿って延びる前記路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定する段階と、
    前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像の前記分析に基づいて前記車両の自律ナビゲーション応答を決定する段階と、
    を含む、方法。
  8. 前記道路セグメントに沿って延びる前記路面特徴の前記少なくとも１つの線表現に沿った前記長手方向位置に対する前記車両の前記現在位置を特定する段階は、前記少なくとも１つの画像における少なくとも１つの認識された陸標の識別に基づく、請求項７に記載の方法。
  9. 前記長手方向位置に対する前記車両の予期位置及び前記長手方向位置に対する前記車両の前記現在位置に基づいて推定オフセットを特定する段階を更に含む、請求項７または８に記載の方法。
  10. 前記自律ナビゲーション応答は、前記推定オフセットに更に基づく、請求項９に記載の方法。
  11. 前記自律ナビゲーション応答に基づいて前記車両の操舵システムを調整する段階を更に含む、請求項７から１０のいずれか一項に記載の方法。
  12. 少なくとも１つの処理デバイスに、
    疎な地図モデルを受信する手順であって、前記疎な地図モデルは、道路セグメントに沿って延びる路面特徴の少なくとも１つの線表現を含み、各線表現は、前記路面特徴に実質的に対応する前記道路セグメントに沿った経路を表す、受信する手順と、
    カメラから、車両の環境を表す少なくとも１つの画像を受信する手順と、
    前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像を分析して前記道路セグメントに沿って延びる路面特徴の前記少なくとも１つの線表現に沿った長手方向位置に対する前記車両の現在位置を特定する手順と、
    前記疎な地図モデル及び前記カメラから受信された前記少なくとも１つの画像の前記分析に基づいて前記車両の自律ナビゲーション応答を決定する手順と、
    を実行させる、プログラム。
  13. 前記路面特徴は、道路縁部又はレーンマークを含む、請求項１２に記載のプログラム。
  14. 前記道路セグメントに沿って延びる前記路面特徴の前記少なくとも１つの線表現に沿った前記長手方向位置に対する前記車両の前記現在位置を特定する手順は、前記少なくとも１つの画像における少なくとも１つの認識された陸標の識別に基づく、請求項１２または１３に記載のプログラム。
  15. 前記少なくとも１つの処理デバイスに、前記長手方向位置に対する前記車両の予期位置及び前記長手方向位置に対する前記車両の前記現在位置に基づいて推定オフセットを特定する手順を更に実行させる、請求項１２から１４のいずれか一項に記載のプログラム。
  16. 前記自律ナビゲーション応答は、前記推定オフセットに更に基づく、請求項１５に記載のプログラム。
  17. 前記少なくとも１つの処理デバイスに、前記自律ナビゲーション応答に基づいて前記車両の操舵システムを調整する手順を更に実行させる、請求項１２から１６のいずれか一項に記載のプログラム。
JP2021013983A 2016-07-21 2021-01-29 システム、方法およびプログラム Active JP7040867B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662365188P 2016-07-21 2016-07-21
US201662365192P 2016-07-21 2016-07-21
US62/365,188 2016-07-21
US62/365,192 2016-07-21
US201662373153P 2016-08-10 2016-08-10
US62/373,153 2016-08-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018567932A Division JP7127941B2 (ja) 2016-07-21 2017-07-21 方法、システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2021088357A true JP2021088357A (ja) 2021-06-10
JP7040867B2 JP7040867B2 (ja) 2022-03-23

Family

ID=59791099

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2018567932A Active JP7127941B2 (ja) 2016-07-21 2017-07-21 方法、システム及びプログラム
JP2021013983A Active JP7040867B2 (ja) 2016-07-21 2021-01-29 システム、方法およびプログラム
JP2021015344A Active JP7020728B2 (ja) 2016-07-21 2021-02-02 システム、方法およびプログラム
JP2022129556A Active JP7559296B2 (ja) 2016-07-21 2022-08-16 方法、システムおよびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018567932A Active JP7127941B2 (ja) 2016-07-21 2017-07-21 方法、システム及びプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021015344A Active JP7020728B2 (ja) 2016-07-21 2021-02-02 システム、方法およびプログラム
JP2022129556A Active JP7559296B2 (ja) 2016-07-21 2022-08-16 方法、システムおよびプログラム

Country Status (7)

Country Link
EP (3) EP3843001A1 (ja)
JP (4) JP7127941B2 (ja)
KR (1) KR20190069384A (ja)
CN (6) CN116929401A (ja)
AU (4) AU2017300097B2 (ja)
CA (1) CA3029124A1 (ja)
WO (1) WO2018015811A1 (ja)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6753358B2 (ja) * 2017-05-31 2020-09-09 トヨタ自動車株式会社 車両制御装置
US10599161B2 (en) * 2017-08-08 2020-03-24 Skydio, Inc. Image space motion planning of an autonomous vehicle
JP6949744B2 (ja) * 2018-01-31 2021-10-13 株式会社日立製作所 情報処理装置及び自動運転軌道管理システム
FR3077547A1 (fr) * 2018-02-08 2019-08-09 Renault S.A.S Systeme et procede de detection d'un risque de collision entre un vehicule automobile et un objet secondaire situe sur les voies de circulation adjacentes audit vehicule lors d'un changement de voie
US10684132B2 (en) * 2018-03-19 2020-06-16 Here Global B.V. Generation and update of a lane network graph model
KR102423172B1 (ko) * 2018-03-20 2022-07-22 모빌아이 비젼 테크놀로지스 엘티디 차량의 항법을 위한 시스템 및 방법
US11263549B2 (en) * 2018-03-22 2022-03-01 Here Global B.V. Method, apparatus, and system for in-vehicle data selection for feature detection model creation and maintenance
US10997429B2 (en) 2018-04-11 2021-05-04 Micron Technology, Inc. Determining autonomous vehicle status based on mapping of crowdsourced object data
US11479262B2 (en) * 2018-06-06 2022-10-25 Metawave Corporation Geographically disparate sensor fusion for enhanced target detection and identification in autonomous vehicles
EP3598414A1 (en) 2018-07-20 2020-01-22 Volvo Car Corporation System and method for avoiding a collision course
JP7147712B2 (ja) * 2018-08-31 2022-10-05 株式会社デンソー 車両側装置、方法および記憶媒体
JP7192704B2 (ja) * 2018-08-31 2022-12-20 株式会社デンソー 地図生成装置及び地図生成プログラム
KR102480417B1 (ko) * 2018-09-21 2022-12-22 삼성전자주식회사 전자 장치 및 전자 장치의 차량 제어 방법, 서버 및 서버의 정밀 지도 데이터 제공 방법
WO2020077117A1 (en) 2018-10-11 2020-04-16 Tesla, Inc. Systems and methods for training machine models with augmented data
EP3640679B1 (en) 2018-10-15 2023-06-07 Zenuity AB A method for assigning ego vehicle to a lane
CA3122865A1 (en) * 2018-12-13 2020-06-18 Continental Holding China Co., Ltd. Method for detecting and modeling of object on surface of road
US11790667B2 (en) * 2018-12-20 2023-10-17 Here Global B.V. Method and apparatus for localization using search space pruning
US10803333B2 (en) * 2019-01-30 2020-10-13 StradVision, Inc. Method and device for ego-vehicle localization to update HD map by using V2X information fusion
US11288521B2 (en) * 2019-01-31 2022-03-29 Uatc, Llc Automated road edge boundary detection
JP2020166584A (ja) * 2019-03-29 2020-10-08 トヨタ自動車株式会社 画像情報収集システム及び車両
CN113825979A (zh) * 2019-05-24 2021-12-21 御眼视觉技术有限公司 用于基于图像分析的车辆导航的系统和方法
CN110378293B (zh) * 2019-07-22 2021-02-23 泰瑞数创科技(北京)有限公司 一种基于实景三维模型生产高精度地图的方法
JP7329381B2 (ja) * 2019-07-22 2023-08-18 株式会社ブリヂストン 制御方法、制御装置、制御システムおよびタイヤ試験方法
CN110443319B (zh) * 2019-08-09 2021-10-29 武汉中海庭数据技术有限公司 一种轨迹去重方法、装置及存储介质
US11195027B2 (en) 2019-08-15 2021-12-07 Toyota Motor Engineering And Manufacturing North America, Inc. Automated crowd sourcing of road environment information
CN110598563A (zh) * 2019-08-15 2019-12-20 北京致行慕远科技有限公司 可移动设备行进的处理方法、装置及存储介质
WO2021045255A1 (ko) * 2019-09-04 2021-03-11 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
CN112461257A (zh) * 2019-09-09 2021-03-09 华为技术有限公司 一种车道线信息的确定方法及装置
US11574409B2 (en) * 2019-09-30 2023-02-07 Ghost Autonomy Inc. Scene filtering using motion estimation
JP2022553491A (ja) * 2019-10-08 2022-12-23 モービルアイ ビジョン テクノロジーズ リミテッド 車両ナビゲーション用のシステムおよび方法
US11300967B2 (en) * 2019-10-25 2022-04-12 Toyota Research Institute, Inc. System and method for collection of performance data by a vehicle
CN112825196B (zh) * 2019-11-20 2023-04-25 阿里巴巴集团控股有限公司 一种道路标记的确定方法、装置、存储介质及编辑平台
CN111044045B (zh) * 2019-12-09 2022-05-27 中国科学院深圳先进技术研究院 基于神经网络的导航方法、装置及终端设备
DE102019219171A1 (de) * 2019-12-09 2021-05-27 Continental Automotive Gmbh Fahrerassistenzsystem, Crowdsourcing-Modul, Verfahren und Computerprogramm
EP3839434A1 (en) 2019-12-20 2021-06-23 Zenuity AB Method and system for generating and updating digital maps
KR102316720B1 (ko) * 2019-12-30 2021-10-25 한국과학기술원 도로 표지판의 패턴과 위치를 이용한 차량의 주행 정보 인식 방법 및 장치
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US20210199446A1 (en) * 2019-12-31 2021-07-01 Lyft, Inc. Overhead view image generation
CN113924462A (zh) * 2020-01-03 2022-01-11 移动眼视觉科技有限公司 用于确定物体尺寸的导航系统和方法
JP2023509468A (ja) * 2020-01-03 2023-03-08 モービルアイ ビジョン テクノロジーズ リミテッド 車両ナビゲーション用のシステムおよび方法
FR3106016B1 (fr) * 2020-01-07 2022-03-25 Continental Automotive Procédé de qualification d’une section d’un segment routier
CN111221340B (zh) * 2020-02-10 2023-04-07 电子科技大学 一种基于粗粒度特征的可迁移视觉导航设计方法
US11599117B2 (en) * 2020-02-20 2023-03-07 Steering Solutions Ip Holding Corporation Systems and methods for obstacle proximity detection
WO2021181652A1 (ja) * 2020-03-13 2021-09-16 三菱電機株式会社 車両制御装置
CN111445699B (zh) * 2020-04-13 2021-10-26 黑龙江工程学院 基于实时车辆轨迹的交叉口交通冲突判别方法
CN111812674B (zh) * 2020-06-08 2024-04-05 北京经纬恒润科技股份有限公司 激光雷达仿真方法及装置
JP7287353B2 (ja) * 2020-06-11 2023-06-06 トヨタ自動車株式会社 位置推定装置及び位置推定用コンピュータプログラム
GB2596080A (en) * 2020-06-16 2021-12-22 Sony Europe Bv Apparatus, method and computer program product for predicting whether an object moving across a surface will reach a target destination
CN111598054A (zh) * 2020-06-19 2020-08-28 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备及存储介质
US11623639B2 (en) * 2020-07-15 2023-04-11 Charter Communications Operating, Llc Video analytics traffic monitoring and control
CN111860383B (zh) * 2020-07-27 2023-11-10 苏州市职业大学 一种群体异常行为识别方法、装置、设备及存储介质
CN112216102B (zh) * 2020-09-11 2021-09-14 恒大新能源汽车投资控股集团有限公司 路面信息的确定方法、装置、设备及存储介质
KR102311719B1 (ko) * 2020-11-16 2021-10-12 (주)에바 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법, 서버 및 컴퓨터프로그램
CN112406706B (zh) * 2020-11-20 2022-07-22 上海华兴数字科技有限公司 车辆景象的显示方法、装置、可读存储介质及电子设备
DE102020131997A1 (de) * 2020-12-02 2022-06-02 Bayerische Motoren Werke Aktiengesellschaft Positionierung bezüglich Landmarken
CN113192387B (zh) * 2021-04-25 2022-10-04 广西师范大学 一种基于microbit技术的智能硬件小车教具
CN113190015A (zh) * 2021-05-20 2021-07-30 中国第一汽车股份有限公司 一种地形识别方法、装置、计算机设备和存储介质
CN113295174B (zh) * 2021-07-27 2021-10-08 腾讯科技（深圳）有限公司 一种车道级定位的方法、相关装置、设备以及存储介质
CN113686339B (zh) * 2021-08-16 2023-11-28 东南大学 一种基于移动终端众包数据的室内导航路网提取方法
CN113936255B (zh) * 2021-10-15 2024-09-03 齐鲁工业大学 一种路口多转向车辆计数方法及系统
CN114111815B (zh) * 2021-11-01 2023-02-03 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114492582B (zh) * 2021-12-28 2022-10-14 广州小鹏自动驾驶科技有限公司 一种分片式道路数据融合的方法、装置、设备及存储介质
CN114526721B (zh) * 2021-12-31 2024-05-24 易图通科技（北京）有限公司 地图对齐处理方法、装置及可读存储介质
CN114526722B (zh) * 2021-12-31 2024-05-24 易图通科技（北京）有限公司 地图对齐处理方法、装置及可读存储介质
CN114608592A (zh) * 2022-02-10 2022-06-10 上海追势科技有限公司 一种地图的众包方法、系统、设备和存储介质
CN115158337A (zh) * 2022-06-17 2022-10-11 重庆长安汽车股份有限公司 基于众包地图更新的驾驶辅助方法、系统及可读存储介质
CN116972870B (zh) * 2023-09-21 2023-12-15 南京遇简信息科技有限公司 基于计算机图像识别的道路导航增强方法、系统及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000122719A (ja) * 1998-10-14 2000-04-28 Toyota Motor Corp 車両走行制御装置
JP2008129867A (ja) * 2006-11-21 2008-06-05 Toyota Motor Corp 運転支援装置
JP2009058429A (ja) * 2007-08-31 2009-03-19 Aisin Aw Co Ltd 画像認識システム、サーバ装置、及び画像認識装置
JP2015191437A (ja) * 2014-03-28 2015-11-02 ダイハツ工業株式会社 運転支援装置
JP2016532914A (ja) * 2013-06-24 2016-10-20 グーグル インコーポレイテッド 環境情報を用いた自律走行車両の画像処理支援

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6029173A (en) * 1997-11-26 2000-02-22 Navigation Technologies Corporation Method and system for representation and use of shape information in geographic databases
JP3807253B2 (ja) 2001-05-25 2006-08-09 日産自動車株式会社 走行路検出装置
JP2005145402A (ja) 2003-11-20 2005-06-09 Mitsubishi Motors Corp 車両のレーンキープ制御装置
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US7158878B2 (en) * 2004-03-23 2007-01-02 Google Inc. Digital mapping system
JP5225542B2 (ja) * 2004-09-22 2013-07-03 三菱電機株式会社 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置
US7430473B2 (en) * 2004-10-01 2008-09-30 Bose Corporation Vehicle navigation display
CN1775601A (zh) * 2005-11-18 2006-05-24 吉林大学 车辆行驶轨迹预估及车道偏离评价方法
US7477988B2 (en) 2006-05-16 2009-01-13 Navteq North America, Llc Dual road geometry representation for position and curvature-heading
JP4797846B2 (ja) 2006-07-12 2011-10-19 トヨタ自動車株式会社 区画線検出装置及び車線検出装置
JP2008076593A (ja) 2006-09-20 2008-04-03 Hirotsu Sokichi 略地図生成装置および略地図生成方法
ATE519193T1 (de) * 2006-12-06 2011-08-15 Mobileye Technologies Ltd Detektion und erkennung von verkehrszeichen
JP2008309529A (ja) * 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
CN100494900C (zh) * 2007-07-03 2009-06-03 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN101842808A (zh) * 2007-11-16 2010-09-22 电子地图有限公司 用于产生车道信息的方法及设备
JP2009208551A (ja) 2008-03-03 2009-09-17 Toyota Motor Corp 車両の操舵支援装置
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
JP5446136B2 (ja) 2008-06-05 2014-03-19 日本電気株式会社 走行支援システムおよび走行路曲線生成方法
US8725474B2 (en) * 2008-10-01 2014-05-13 Navteq B.V. Bezier curves for advanced driver assistance system applications
BRPI0823224A2 (pt) * 2008-11-06 2015-06-16 Volvo Technology Corp Método e sistema para determinação de dados de estrada
CN102059978B (zh) * 2009-11-16 2014-09-10 财团法人工业技术研究院 驾驶辅助方法与系统
JP2013096713A (ja) * 2011-10-28 2013-05-20 Alpine Electronics Inc ナビゲーション装置
US9168924B2 (en) * 2012-03-26 2015-10-27 GM Global Technology Operations LLC System diagnosis in autonomous driving
US8818606B2 (en) 2012-04-16 2014-08-26 GM Global Technology Operations LLC System and method for vehicle lateral control
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
US9026300B2 (en) * 2012-11-06 2015-05-05 Google Inc. Methods and systems to aid autonomous vehicles driving through a lane merge
US9045041B2 (en) * 2013-02-27 2015-06-02 Here Global B.V. Driver behavior from probe data for augmenting a data model
US9816823B2 (en) * 2013-03-15 2017-11-14 Hewlett Packard Enterprise Development Lp Updating road maps
JP6197393B2 (ja) * 2013-06-20 2017-09-20 株式会社豊田中央研究所 レーン地図生成装置及びプログラム
JP2015069289A (ja) 2013-09-27 2015-04-13 日産自動車株式会社 車線認識装置
GB201318049D0 (en) * 2013-10-11 2013-11-27 Tomtom Int Bv Apparatus and methods of displaying navigation instructions
US9090260B2 (en) * 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
US9227659B2 (en) * 2014-01-22 2016-01-05 GM Global Technology Operations LLC Vehicle lane control using differential torque
US9457807B2 (en) * 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
TWI564193B (zh) 2014-10-15 2017-01-01 華創車電技術中心股份有限公司 車輛轉向控制系統及方法
CN113654561A (zh) * 2014-12-05 2021-11-16 苹果公司 自主导航系统
CN104732518B (zh) * 2015-01-19 2017-09-01 北京工业大学 一种基于智能机器人地面特征的ptam改进方法
CN105588576B (zh) * 2015-12-15 2019-02-05 招商局重庆交通科研设计院有限公司 一种车道级导航方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000122719A (ja) * 1998-10-14 2000-04-28 Toyota Motor Corp 車両走行制御装置
JP2008129867A (ja) * 2006-11-21 2008-06-05 Toyota Motor Corp 運転支援装置
JP2009058429A (ja) * 2007-08-31 2009-03-19 Aisin Aw Co Ltd 画像認識システム、サーバ装置、及び画像認識装置
JP2016532914A (ja) * 2013-06-24 2016-10-20 グーグル インコーポレイテッド 環境情報を用いた自律走行車両の画像処理支援
JP2015191437A (ja) * 2014-03-28 2015-11-02 ダイハツ工業株式会社 運転支援装置

Also Published As

Publication number Publication date
JP2021088358A (ja) 2021-06-10
AU2022203634A1 (en) 2022-06-16
AU2022203635A1 (en) 2022-06-16
BR112019000918A2 (pt) 2019-04-30
CN116892952A (zh) 2023-10-17
CN112923930B (zh) 2022-06-28
EP3843001A1 (en) 2021-06-30
JP7559296B2 (ja) 2024-10-02
KR20190069384A (ko) 2019-06-19
AU2022203622B2 (en) 2022-07-14
JP7020728B2 (ja) 2022-02-16
AU2022203634B2 (en) 2022-07-14
JP7127941B2 (ja) 2022-08-30
CA3029124A1 (en) 2018-01-25
EP3488384A1 (en) 2019-05-29
JP7040867B2 (ja) 2022-03-23
CN109643367B (zh) 2023-08-08
CN109643367A (zh) 2019-04-16
AU2022203622A1 (en) 2022-06-16
JP2022166185A (ja) 2022-11-01
EP3843002A1 (en) 2021-06-30
CN112923930A (zh) 2021-06-08
AU2017300097A1 (en) 2019-01-17
CN116929401A (zh) 2023-10-24
WO2018015811A1 (en) 2018-01-25
AU2017300097B2 (en) 2022-03-10
JP2019525148A (ja) 2019-09-05
AU2022203635B2 (en) 2024-02-15
CN116929331A (zh) 2023-10-24
BR112019000918A8 (pt) 2023-04-11
CN112902974A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
JP7020728B2 (ja) システム、方法およびプログラム
JP7432285B2 (ja) レーンマッピング及びナビゲーション
CN112204349B (zh) 用于车辆导航的系统和方法
CN111902694B (zh) 用于确定导航参数的系统和方法
US20210311490A1 (en) Crowdsourcing a sparse map for autonomous vehicle navigation
US10248124B2 (en) Localizing vehicle navigation using lane measurements
JP2023539868A (ja) マップベースの現実世界モデル化のシステム及び方法
CN115735168A (zh) 用于对交通工具进行导航的控制回路
CN118265957A (zh) 用于车辆导航的雷达-摄像头融合

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210325

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R150 Certificate of patent or registration of utility model

Ref document number: 7040867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150