JP2013518298A - 交通信号マップ作成及び検出 - Google Patents

交通信号マップ作成及び検出 Download PDF

Info

Publication number
JP2013518298A
JP2013518298A JP2012550099A JP2012550099A JP2013518298A JP 2013518298 A JP2013518298 A JP 2013518298A JP 2012550099 A JP2012550099 A JP 2012550099A JP 2012550099 A JP2012550099 A JP 2012550099A JP 2013518298 A JP2013518298 A JP 2013518298A
Authority
JP
Japan
Prior art keywords
images
traffic signal
location
identifying
yellow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012550099A
Other languages
English (en)
Other versions
JP2013518298A5 (ja
JP6006641B2 (ja
Inventor
フェアフィールド，ナサニエル
アームソン，クリストファー
スラン，セバスチャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2013518298A publication Critical patent/JP2013518298A/ja
Publication of JP2013518298A5 publication Critical patent/JP2013518298A5/ja
Application granted granted Critical
Publication of JP6006641B2 publication Critical patent/JP6006641B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)

Abstract

システム及び方法が交通信号機の３Ｄロケーションを識別するマップを提供する。交通信号機の位置、ロケーション及び方位を２つ以上の画像から自動的に外挿することができる。そして、そのマップを用いて、ロボット車両又は運転者が交通信号５４０のロケーション及び状況を識別するのを支援することができる。
【選択図】図５

Description

本発明は包括的には交通信号のマップを作成することに関する。より具体的には、これらのマップは、リアルタイム交通信号検出を実現するのに用いることができる。
［関連出願の相互参照］
本出願は、２０１０年６月２１日に出願された「Traffic Signal Mapping And Detection」と題する特許出願第１２／８１９，５７５号の利益を主張し、その特許出願は２０１０年１月２２日に出願された米国仮特許出願第６１／２９７，４６８号の利益を主張し、それらの特許出願の開示全体は引用することにより本明細書の一部をなすものとする。
ロボット車両の重要な構成要素が知覚システムであり、知覚システムによって、車両は運転中に該車両の周囲を知覚し、解釈できるようになる。人間は、運転を更に容易にするために、その問題の解決を工学的に図ってきた。例えば、道路に塗装された線によって描かれた車線、交差点において優先権を与えるための交通信号機、ブレーキライト、及び方向指示器は全て、知覚作業を容易にすることを意図している。ロボットはこれらの運転補助を使用できるものの、多くの場合に、視覚の代わりに、レーダ又はライダのような代替の検知法を使用することが可能である。これらの他の検知法に加えて、ロボットは多くの場合に事前に作成されたマップを活用して、オンライン知覚を容易にすることができる。一時停止の標識、制限速度、車線等を含む事前に作成されたマップを使用すると、ロボット車両は、そのマップに対して自らの位置を推定するという問題（ロケーション特定）、及び他の車両のような動的な障害物に対処するという問題（知覚）に対する車内知覚要件を著しく簡単にすることができる。
交通信号はロボット車両にとって大きな課題である。無線を介して交通信号機の状態を報知しようと試みられてきたが、これにはインフラストラクチャに関して多大な投資が必要とされる。ロボットは多くの場合にレーダ及びライダのようなアクティブセンサを利用してその周囲を知覚することができるが、交通信号の状態は視覚によってのみ知覚することができる。屋外条件が変化に富むことに起因して、いずれの視覚作業にも困難が伴う場合があるが、交通信号機は非常に目立つように設計されている。
本発明は包括的には交通信号機のマップを作成することに関する。より具体的には、これらのマップは、交通信号の状況のリアルタイム検出を実行するのに用いることができる。
本発明の一態様は、交通信号の３次元ロケーションを特定する方法を提供する。該方法は、複数の画像を受信するステップであって、該複数の画像の各画像が地理的ロケーション及び方位情報と関連付けられる、受信するステップと、コンピュータによって、交差点に最も近い地理的ロケーションと関連付けられた複数の画像のうちの１つ以上の画像を選択するステップと、選択された画像ごとに、コンピュータによって、該選択された画像内の赤色物体、黄色物体及び青色物体を識別するステップと、選択された画像のうちの２つ以上の画像の地理的ロケーション及び方位情報に基づいて、該２つ以上の選択された画像内の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップと、（１）前記選択された画像のうちの２つ以上の画像間の識別された関連付けと、（２）２つ以上の選択された画像の地理的ロケーション及び方位情報とに基づいて、交通信号の３次元ロケーションを特定するステップと、交通信号の３次元ロケーションをコンピュータによってアクセス可能なメモリに格納するステップとを含んでなる。
本明細書において検討されるように、任意の実施の形態において、種々の特徴を任意の組み合わせにおいて用いることができる。例えば、本方法は、交通信号の３次元ロケーションを含むマップを生成するステップを含む。
別の例では、複数の画像のそれぞれは１つ以上のカメラによって収集され、各カメラは車両に関連付けられる。代替形態では、１つ以上のカメラのそれぞれは車両に取り付けられる。別の代替形態では、各画像に関連付けられた地理的ロケーション及び方位情報は、地理的位置デバイスによって特定されるようなカメラの地理的ロケーション及び方位情報に基づいて生成される。
別の例では、各画像に関連付けられる地理的ロケーション及び方位情報はレーザポジショニングデバイスによって特定される。
別の例では、各画像に関連付けられる地理的ロケーション及び方位情報はＧＰＳポジショニングデバイスによって特定される。
別の例では、各画像に関連付けられる地理的ロケーション及び方位情報は慣性ポジショニングデバイスによって特定される。
別の例では、地理的ロケーション情報はＧＰＳ緯度及び経度座標である。
複数の画像のそれぞれが１つ以上のカメラによって収集される別の例では、各カメラは車両に関連付けられ、１つ以上のカメラのそれぞれは、交通信号の光の飽和を避けるように設定される利得及びシャッタ速度と関連付けられる。
複数の画像のそれぞれが１つ以上のカメラによって収集される別の例では、各カメラは車両に関連付けられ、複数の画像の各画像が１つ以上のカメラのそれぞれからネットワークを介してコンピュータにアップロードされる。
複数の画像のそれぞれが１つ以上のカメラによって収集される別の例では、各カメラは車両に関連付けられ、１つ以上のカメラのそれぞれは、該車両の運転者の視界を遮るのを最小限に抑えるように配置される。
別の例では、識別された赤色物体、黄色物体及び青色物体は、交通信号に対応するのに相応しいサイズ及びアスペクト比である。更に別の例では、２つ以上の選択された画像の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップは、該２つ以上の選択された画像の識別された物体間の関連距離に基づく。
別の例では、２つ以上の選択された画像の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップは、交通信号の物理的寸法に基づく。
別の例では、２つ以上の選択された画像の関連する赤色物体、黄色物体及び青色物体を識別するステップは、選択された画像間の直接動き補償に基づき、各選択された画像は移動中の車両に取り付けられたカメラによって撮影される。
別の例では、本方法は、直接動き補償に基づいて、選択された画像内の赤色物体、黄色物体及び青色物体のうちの識別されたものを交通信号の光以外の物体として識別するステップを更に含む。
別の例では、本方法は、特定の交通信号の特定された３次元ロケーションを、交差点を通る車線のマップと比較することに基づいて、特定の交通信号に関連付けられた車線を特定するステップを更に含む。
本方法が交通信号の３次元ロケーションを含むマップを生成するステップを含む別の例では、本方法は車両の第２のコンピュータにそのマップをダウンロードすることを含む。
本方法が交通信号の３次元ロケーションを含むマップを生成するステップを含む別の例では、本方法はクライアントデバイスにそのマップをダウンロードすることを含む。
本方法が交通信号の３次元ロケーションを含むマップを生成するステップを含む別の例では、本方法はクライアントデバイスから地理的ロケーションを受信することと、受信した地理的ロケーションに基づいてマップの一部をクライアントデバイスに送信することとを含む。
本発明の別の態様は、交通信号の３次元ロケーションを特定するデバイスを提供する。本デバイスは、プロセッサと、メモリとを備える。プロセッサは、複数の画像を受信し、ここで、該複数の画像の各画像は地理的ロケーション及び方位情報に関連付けられ、交差点に最も近い地理的ロケーションに関連付けられた複数の画像のうちの１つ以上の画像を選択し、選択された画像ごとに、該選択された画像内の赤色物体、黄色物体及び青色物体を識別し、選択された画像のうちの２つ以上の画像の地理的ロケーション及び方位情報に基づいて、該２つ以上の選択された画像内の赤色物体、黄色物体及び青色物体のうちの関連するものを識別し（１）選択された画像のうちの２つ以上の画像間の識別された関連付けと、（２）２つ以上の選択された画像の地理的ロケーション及び方位情報とに基づいて、交通信号の３次元ロケーションを特定し、交通信号の３次元ロケーションを該デバイスによってアクセス可能なメモリに格納するように構成される。
本明細書において検討されるように、任意の実施の形態において、種々の特徴を任意の組み合わせにおいて用いることができる。例えば、プロセッサは、交通信号の３次元ロケーションを含むマップを生成するように構成される。
別の例では、複数の画像のそれぞれが１つ以上のカメラによって収集され、各カメラは車両と関連付けられる。代替形態では、１つ以上のカメラのそれぞれが車両に取り付けられる。別の代替形態では、地理的位置デバイスによって特定されるようなカメラの地理的ロケーション及び方位に基づいて、各画像と関連付けられた地理的ロケーション及び方位情報が生成される。
別の例では、各画像と関連付けられた地理的ロケーション及び方位情報は、レーザポジショニングデバイスによって特定される。
別の例では、各画像と関連付けられた地理的ロケーション及び方位情報は、ＧＰＳポジショニングデバイスによって特定される。
別の例では、各画像と関連付けられた地理的ロケーション及び方位情報は、慣性ポジショニングデバイスによって特定される。
別の例では、地理的ロケーション情報はＧＰＳ緯度及び経度座標である。
複数の画像のそれぞれが１つ以上のカメラによって収集される別の例では、１つ以上のカメラのそれぞれは、交通信号の光の飽和を避けるように設定される利得及びシャッタ速度と関連付けられる。
複数の画像のそれぞれが１つ以上のカメラによって収集される別の例では、複数の画像の各画像は、ネットワークを介して、１つ以上のカメラのそれぞれからデバイスにアップロードされる。
複数の画像のそれぞれが１つ以上のカメラによって収集される別の例では、１つ以上のカメラのそれぞれは、その車両の運転者の視界を遮るのを最小限に抑えるように配置される。
別の例では、識別された赤色物体、黄色物体及び青色物体は、交通信号に対応するのに相応しいサイズ及びアスペクト比である。
別の例では、２つ以上の選択された画像の赤色物体、黄色物体及び青色物体のうちの関連するものを識別することは、２つ以上の選択された画像の識別された物体間の関連距離に基づく。
別の例では、２つ以上の選択された画像の赤色物体、黄色物体及び青色物体のうちの関連するものを識別することは、交通信号の物理的寸法に基づく。
別の例では、２つ以上の選択された画像の関連する赤色物体、黄色物体及び青色物体を識別することは、選択された画像間の直接動き補償に基づき、選択された各画像は、移動中の車両に取り付けられたカメラによって撮影される。
別の例では、プロセッサは、直接動き補償に基づいて、選択された画像内の赤色物体、黄色物体及び青色物体のうちの識別されたものを交通信号の光以外の物体として識別するように更に構成される。
別の例では、プロセッサは、特定の交通信号の特定された３次元ロケーションを、交差点を通る車線のマップと比較することに基づいて、特定の交通信号に関連付けられた車線を特定するように更に構成される。
別の例では、プロセッサは、車両に関連付けられた第２のデバイスにマップをダウンロードするように更に構成される。
別の例では、プロセッサは、クライアントデバイスにマップをダウンロードするように更に構成される。
プロセッサが交通信号の３次元ロケーションを含むマップを生成するように構成される別の例では、プロセッサは、クライアントデバイスから地理的ロケーションを受信し、受信した地理的ロケーションに基づいてマップの一部をクライアントデバイスに送信するように更に構成される。
本発明の更なる態様は、交通信号の状況を特定する方法を提供する。本方法は、クライアントデバイスの現在のロケーションを繰り返し特定するステップと、クライアントデバイスの現在のロケーションと交通信号の３次元ロケーションのマップとの比較に基づいて、交通信号の境界の推定ロケーションを特定するステップと、推定ロケーションの画像を収集するステップと、収集された画像ごとに、クライアントデバイスによって、交通信号の推定ロケーションの境界内の赤色物体、黄色物体及び青色物体を識別するステップと、識別された物体の色に基づいて交通信号の状況を特定するステップとを含んでなる。
本明細書において検討されるように、任意の実施の形態において、種々の特徴を任意の組み合わせにおいて用いることができる。例えば、画像は、クライアントデバイスのカメラによって収集される。
別の例では、クライアントデバイスの現在のロケーションは、レーザベースポジショニングデバイスによって特定される。別の例では、クライアントデバイスの現在のロケーションは、レーザポジショニングデバイスによって特定される。
別の例では、クライアントデバイスの現在のロケーションは、ＧＰＳポジショニングデバイスによって特定される。
別の例では、クライアントデバイスの現在のロケーションは、慣性ポジショニングデバイスによって特定される。
画像がクライアントデバイスのカメラによって収集される別の例では、カメラは、交通信号の光の飽和を避けるように設定される利得及びシャッタ速度と関連付けられる。
画像がクライアントデバイスのカメラによって収集される別の例では、本方法は、クライアントデバイスのメモリから交通信号の３次元ロケーションのマップにアクセスするステップを含む。
別の例では、識別された赤色物体、黄色物体及び青色物体は、交通信号に対応するのに相応しいサイズ及びアスペクト比である。
別の例では、交通信号の状況を特定するステップは、推定ロケーションの境界内の識別された物体のロケーションに基づく。
別の例では、推定ロケーションの境界は寸法と関連付けられ、その寸法は交通信号の寸法よりも大きい。
別の例では、本方法は、クライアントデバイスの現在のロケーションを、交差点を通る車線のマップと比較することに基づいて、クライアントデバイスに関連付けられた車線を特定するステップを含む。
１つの代替形態では、交通信号の境界の推定ロケーションを特定するステップは、クライアントデバイスに関連付けられた車線に基づく。
別の例では、本方法は、ネットワークを介して、交通信号の３次元ロケーションのマップをコンピュータから要求するステップを含み、その要求はクライアントデバイスの現在のロケーションを含む。
別の例では、本方法は、ネットワークを介して、交通信号の３次元ロケーションのマップをコンピュータから受信するステップを含む。
別の例では、本方法は、交通信号の状況がデフォルト状況から変化したか否かを判断するステップを含む。１つの代替形態では、交通信号の推定ロケーションの境界内に識別された物体が存在しない場合には、本方法は、交通信号の状況がデフォルト状況であると判断するステップを含む。更なる代替形態では、デフォルト状況は黄信号である。更なる代替形態では、デフォルト状況は赤信号である。
別の例では、本方法は、交通信号の状況を車両に関連付けられたコンピュータに送信するステップを含む。
別の例では、本方法は、信号機の状況が赤色又は黄色である場合には、車両を減速するステップを含む。別の例では、本方法は、交通信号の状況を可聴音によって識別するステップを含む。
別の例では、本方法は、交通信号の状況に基づいて運転指示を与えるステップを含む。
別の例では、クライアントデバイスは電子ディスプレイを含み、本方法は、電子ディスプレイ上で交通信号の状況を識別するステップを更に含む。
本発明の別の態様は、交通信号の３次元ロケーションを特定するデバイスを提供する。該デバイスは、プロセッサと、補助リソースファイルを格納するための第１の部分を含む、メモリとを備える。プロセッサは、クライアントデバイスの現在のロケーションを繰り返し特定し、クライアントデバイスの現在のロケーションと交通信号の３次元ロケーションのマップとの比較に基づいて、交通信号の境界の推定ロケーションを特定し、推定ロケーションの画像を収集し、収集された画像ごとに、クライアントデバイスによって、交通信号の推定ロケーションの境界内の赤色物体、黄色物体及び青色物体を識別し、識別された物体の色に基づいて交通信号の状況を特定するように構成される。
本明細書において検討されるように、任意の実施の形態において、種々の特徴を任意の組み合わせにおいて用いることができる。例えば、本デバイスは、推定ロケーションの画像を収集するためのカメラを含む。
別の例では、クライアントデバイスのロケーションは、レーザポジショニングデバイスによって特定される。
別の例では、本デバイスはレーザベースポジショニングデバイスを含み、クライアントデバイスの現在のロケーションは、レーザポジショニングデバイスによって特定される。
別の例では、本デバイスはＧＰＳベースポジショニングデバイスを含み、クライアントデバイスの現在のロケーションは、ＧＰＳポジショニングデバイスによって特定される。
別の例では、本デバイスは慣性ベースポジショニングデバイスを含み、クライアントデバイスの現在のロケーションは、慣性ポジショニングデバイスによって特定される。
別の例では、カメラは、交通信号の光の飽和を避けるように設定される利得及びシャッタ速度と関連付けられる。
別の例では、プロセッサは、クライアントデバイスのメモリから交通信号の３次元ロケーションのマップにアクセスするように構成される。
別の例では、識別された赤色物体、黄色物体及び青色物体は、交通信号に対応するのに相応しいサイズ及びアスペクト比である。
別の例では、プロセッサは、推定ロケーションの境界内の識別された物体のロケーションに基づいて、交通信号の状況を特定する。
別の例では、推定ロケーションの境界は寸法と関連付けられ、その寸法は交通信号の寸法よりも大きい。
別の例では、プロセッサは、クライアントデバイスの現在のロケーションを、交差点を通る車線のマップと比較することに基づいて、クライアントデバイスに関連付けられた車線を特定するように更に構成される。
別の例では、プロセッサは、クライアントデバイスに関連付けられた車線に基づいて、交通信号の境界の推定ロケーションを特定する。
別の例では、プロセッサは、ネットワークを介して、交通信号の３次元ロケーションのマップをコンピュータから要求するように更に構成され、その要求はクライアントデバイスの現在のロケーションを含む。
別の例では、プロセッサは交通信号の境界の推定ロケーションを特定し、該プロセッサは、ネットワークを介して、交通信号の３次元ロケーションのマップをコンピュータから受信するように更に構成される。
別の例では、プロセッサは、交通信号の状況がデフォルト状況から変化したか否かを判断するよう更に構成される。代替形態では、プロセッサは、交通信号の推定ロケーションの境界内に識別された物体が存在しない場合には、交通信号の状況がデフォルト状況であると判断するように更に構成される。１つの代替形態では、デフォルト状況は黄信号である。別の代替形態では、デフォルト状況は赤信号である。
別の例では、プロセッサは、交通信号の状況を車両に関連付けられたコンピュータに送信するように更に構成される。
別の例では、プロセッサは、信号機の状況が赤色又は黄色である場合には、車両を減速するように更に構成される。別の例では、プロセッサは、交通信号の状況を可聴音によって識別するように更に構成される。
別の例では、プロセッサは、交通信号の状況に基づいて運転指示を与えるように更に構成される。
別の例では、本デバイスは車両に取り付けられる。
別の例では、本デバイスはポータブルデバイスである。別の例では、本デバイスは電子ディスプレイを含み、プロセッサは、電子ディスプレイ上で交通信号の状況を識別するように更に構成される。
本発明の更なる態様は、交通信号の状況を特定する方法を提供する。本方法は、クライアントデバイスの現在のロケーションを繰り返し特定するステップと、クライアントデバイスの現在のロケーションと交通信号の３次元ロケーションのマップとの比較に基づいて、交通信号の境界の推定ロケーションを特定するステップと、推定ロケーションの画像を収集するステップと、収集された画像ごとに、クライアントデバイスによって、交通信号の推定ロケーションの境界内の赤色物体、黄色物体及び青色物体を識別するステップと、識別された物体の色に基づいて交通信号の状況を特定するステップとを含む。
本明細書において検討されるように、任意の実施の形態において、種々の特徴を任意の組み合わせにおいて用いることができる。例えば、ポジショニングデバイスはレーザポジショニングデバイスである。
別の例では、ポジショニングデバイスはＧＰＳポジショニングデバイスである。
別の例では、ポジショニングデバイスは慣性ポジショニングデバイスである。
別の例では、本方法は、車両の正面前方を向くように車両上にカメラを配置することを含む。
別の例では、本方法は、バックミラーの右側にカメラを配置することを含む。
別の例では、本方法は、運転者の視界を遮るのを制限するようにカメラを配置することを含む。
別の例では、メモリはカメラのローカルメモリである。
別の例では、地理的ロケーションはＧＰＳ緯度及び経度座標として規定される。
別の例では、本方法は、複数の画像並びに関連付けられた地理的ロケーション及び方位情報を受信するステップと、交差点に最も近い地理的ロケーションに関連付けられた複数の画像のうちの１つ以上の画像を選択するステップと、選択された画像ごとに、該選択された画像内の赤色物体、黄色物体及び青色物体を識別するステップと、選択された画像のうちの２つ以上の画像の地理的ロケーション及び方位情報に基づいて、該２つ以上の選択された画像内の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップと、（１）選択された画像のうちの２つ以上の画像間の識別された関連付けと、（２）２つ以上の選択された画像の地理的ロケーション及び方位情報とに基づいて、交通信号の３次元ロケーションを特定するステップと、交通信号の３次元ロケーションをコンピュータによってアクセス可能なメモリ内に格納するステップとを含む。代替形態では、本方法は交通信号の３次元ロケーションを含むマップを生成するステップを含む。
本方法が、選択された画像のうちの２つ以上の画像内の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップを含む別の例では、識別された赤色物体、黄色物体及び青色物体は、交通信号に対応するのに相応しいサイズ及びアスペクト比である。
本方法が、選択された画像のうちの２つ以上の画像内の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップを含む別の例では、２つ以上の選択された画像の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップは、２つ以上の選択された画像の識別された物体間の関連距離に基づく。
本方法が、選択された画像のうちの２つ以上の画像内の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップを含む別の例では、２つ以上の選択された画像の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップは、交通信号の物理的寸法に基づく。
本方法が、選択された画像のうちの２つ以上の画像内の赤色物体、黄色物体及び青色物体のうちの関連するものを識別するステップを含む別の例では、２つ以上の選択された画像の関連する赤色物体、黄色物体及び青色物体を識別するステップは、選択された画像間の直接動き補償に基づく。
本方法が、選択された画像内の赤色物体、黄色物体及び青色物体を識別するステップを含む別の例では、本方法は、直接動き補償に基づいて、選択された画像内の赤色物体、黄色物体及び青色物体のうちの識別されたものを、交通信号の光以外の物体として識別することを含む。
本方法が、選択された画像内の赤色物体、黄色物体及び青色物体を識別するステップを含む別の例では、本方法は、特定の交通信号の特定された３次元ロケーションを、交差点を通る車線のマップと比較することに基づいて、特定の交通信号に関連付けられた車線を特定することを含む。
本発明の更に別の態様は、交通信号の画像を収集するためのデバイスを提供する。本デバイスは、車両と、交通信号の光の飽和を避けるように設定される利得及びシャッタ速度を有するカメラであって、該カメラは車両に取り付けられる、カメラと、ポジショニングデバイスと、車両に結合されるプロセッサと、画像を格納するための第１の部分を含むメモリとを含む。プロセッサは、カメラから画像を受信し、受信した画像の各画像と関連付けられた地理的位置を識別し、画像、地理的位置及び関連付けをメモリに格納し、ネットワークを介して、画像、地理的位置及び関連付けをコンピュータに送信するように構成される。
本明細書において検討されるように、任意の実施の形態において、種々の特徴を任意の組み合わせにおいて用いることができる。例えば、カメラは、車両の正面前方を向くように車両上に配置される。別の例では、カメラは、バックミラーの右側に配置される。別の例では、カメラは、運転者の視界を遮るのを制限するように配置される。別の例では、メモリはカメラのローカルメモリである。
本発明の更に別の態様は、プロセッサとコンピュータとを含むクライアントデバイスを提供する。コンピュータはメモリとプロセッサとを含む。プロセッサは、それぞれが地理的ロケーション及び方位情報と関連付けられた複数の画像を受信し、交差点に最も近い地理的ロケーションと関連付けられた複数の画像のうちの１つ以上の画像を選択し、選択された画像ごとに、選択された画像内の赤色物体、黄色物体及び青色物体を識別し、選択された画像のうちの２つ以上の画像の地理的ロケーション及び方位情報に基づいて、該２つ以上の選択された画像内の赤色物体、黄色物体及び青色物体のうちの関連するものを識別し、（１）選択された画像のうちの２つ以上の画像間の識別された関連付けと、（２）２つ以上の選択された画像の地理的ロケーション及び方位情報とに基づいて、交通信号の３次元ロケーションを特定し、交通信号の３次元ロケーションのマップを生成し、クライアントデバイスからマップの一部の要求を受信し、ここで、その要求は地理的ロケーションを識別し、識別された地理的ロケーションに基づいてマップの関連する部分を識別し、マップの関連する部分をクライアントデバイスに送信するように構成される。第２のデバイスのプロセッサは、クライアントデバイスの現在のロケーションを繰り返し特定し、クライアントデバイスの現在のロケーションを含む要求を送信し、マップの関連する部分を受信し、クライアントデバイスの現在のロケーションと受信したマップの関連する部分との比較に基づいて、交通信号の境界の推定ロケーションを特定し、推定ロケーションの画像を収集し、収集された画像ごとに、交通信号の推定ロケーションの境界内の赤色物体、黄色物体及び青色物体を識別し、交通信号の推定ロケーションの境界内の識別された物体の色に基づいて、交通信号の状況を特定するように構成される。
本明細書において検討されるように、任意の実施の形態において、種々の特徴を任意の組み合わせにおいて用いることができる。例えば、複数の画像のそれぞれが、１つ以上のカメラによって収集され、各カメラは車両と関連付けられる。
別の例では、複数の画像の各画像と関連付けられた地理的ロケーション及び方位情報は、関連する車両と関連付けられた地理的位置デバイスによって特定されるような、カメラの地理的ロケーション及び方位に基づいて生成される。
別の例では、各画像と関連付けられた地理的ロケーション及び方位情報は、レーザポジショニングデバイスによって特定される。
別の例では、各画像と関連付けられた地理的ロケーション及び方位情報は、ＧＰＳポジショニングデバイスによって特定される。
別の例では、各画像と関連付けられた地理的ロケーション及び方位情報は、慣性ポジショニングデバイスによって特定される。
別の例では、地理的ロケーション情報はＧＰＳ緯度及び経度座標である。別の例では、複数の画像のそれぞれが１つ以上のカメラによって収集され、１つ以上のカメラのそれぞれが、交通信号の光の飽和を避けるように設定される利得及びシャッタ速度と関連付けられる。
複数の画像のそれぞれが１つ以上のカメラによって収集される別の例では、複数の画像の各画像は、ネットワークを介して、１つ以上のカメラのそれぞれからコンピュータにアップロードされる。
複数の画像のそれぞれが１つ以上のカメラによって収集される別の例では、１つ以上のカメラそれぞれは、車両の運転者の視界を遮るのを最小限に抑えるように配置される。
別の例では、コンピュータのプロセッサによって識別された赤色物体、黄色物体及び青色物体は、交通信号に対応するのに相応しいサイズ及びアスペクト比である。
別の例では、コンピュータのプロセッサによって２つ以上の選択された画像の赤色物体、黄色物体及び青色物体のうちの関連するものを識別することは、２つ以上の選択された画像の識別された物体間の関連距離に基づく。
別の例では、コンピュータのプロセッサによって２つ以上の選択された画像の赤色物体、黄色物体及び青色物体のうちの関連するものを識別することは、交通信号の物理的寸法に基づく。
別の例では、コンピュータのプロセッサによって２つ以上の選択された画像の赤色物体、黄色物体及び青色物体のうちの関連するものを識別することは、選択された画像間の直接動き補償に基づく。
別の例では、第１のコンピュータのプロセッサは、直接動き補償に基づいて、選択された画像内の赤色物体、黄色物体及び青色物体の識別されたものを交通信号の光以外の物体として識別するように更に構成される。
別の例では、第１のコンピュータのプロセッサは、特定の交通信号の特定された３次元ロケーションを、交差点を通る車線のマップと比較することに基づいて、特定の交通信号に関連付けられた車線を特定するように更に構成される。
別の例では、クライアントデバイスは電子ディスプレイを含み、クライアントデバイスのプロセッサは、電子ディスプレイ上で交通信号の状況を識別するように更に構成される。
別の例では、クライアントデバイスの現在のロケーションは、レーザポジショニングデバイスによって特定される。別の例では、クライアントデバイスの現在のロケーションはＧＰＳポジショニングデバイスによって特定される。
別の例では、クライアントデバイスの現在のロケーションは、慣性ポジショニングデバイスによって特定される。
別の例では、収集された画像はクライアントデバイスのクライアントカメラによって収集される。
別の例では、クライアントカメラは、交通信号の光の飽和を避けるように設定される利得及びシャッタ速度と関連付けられる。
別の例では、クライアントデバイスのプロセッサは、マップの受信した部分をクライアントデバイスのメモリに格納し、メモリから受信した部分にアクセスするように更に構成される。
別の例では、クライアントデバイスのプロセッサによって識別された赤色物体、黄色物体及び青色物体は、交通信号に対応するのに相応しいサイズ及びアスペクト比である。
別の例では、交通信号の状況を特定することは、推定ロケーションの境界内の識別された物体のロケーションに基づく。
別の例では、推定ロケーションの境界は寸法と関連付けられ、その寸法は交通信号の寸法よりも大きい。
別の例では、クライアントデバイスは、クライアントデバイスの現在のロケーションを、交差点を通る車線のマップと比較することに基づいて、クライアントデバイスと関連付けられた車線を特定するように更に構成される。１つの代替形態では、クライアントデバイスのプロセッサは、クライアントデバイスと関連付けられた車線に基づいて、交通信号の境界の推定ロケーションを特定するように更に構成される。
別の例では、クライアントデバイスのプロセッサは、交通信号の状況がデフォルト状況から変化したか否かを判断するように更に構成される。
別の例では、クライアントデバイスのプロセッサは、交通信号の推定ロケーションの境界内に識別された物体が存在しない場合には、交通信号の状況がデフォルト状況であると判断するように更に構成される。１つの代替形態では、デフォルト状況は黄信号である。別の代替形態では、デフォルト状況は赤信号である。
別の例では、クライアントデバイスは、交通信号の状況を車両と関連付けられたコンピュータに送信するように更に構成される。
別の例では、クライアントデバイスのプロセッサは、信号機の状況が赤色又は黄色である場合には、車両を減速する指示を送信するように更に構成される。
別の例では、クライアントデバイスは１つ以上のスピーカを含み、クライアントデバイスのプロセッサは、交通信号の状況を可聴音によって識別するように更に構成される。
別の例では、クライアントデバイスのプロセッサは、交通信号の状況に基づいて、運転指示を与えるように更に構成される。
本発明の一態様によるシステムの機能図である。 本発明の一態様によるシステムの絵画図である。 本発明の一態様による交通信号及び信号機の例示的な図である。 本発明の一態様による流れ図である。 本発明の一態様による流れ図である。 本発明の一態様による交差点の図である。 本発明の一態様による実験データの例示的なヒストグラムである。 本発明の一態様による実験データの例示的な混同行列を示す図である。
本発明の態様、特徴、及び利点は、例示的な実施形態の以下の説明及び添付した図面を参照して検討すると理解されるであろう。種々な図面における同じ参照符号は、同じ要素又は同様の要素を特定することができる。さらに、以下の説明は限定するものではない。本発明の範囲は添付の特許請求の範囲及び均等物によって規定される。
一定の露出及び絞りを有するカメラを、交通信号機の色レベルの画像を収集するように直接較正することができる。交通信号機の位置、ロケーション及び方位は、そのような画像のうちの２つ以上の画像から自動的に外挿することができる。その後、この情報を用いて、交通信号機の３Ｄロケーションを識別するマップを生成することができる。交通信号のこれらの３Ｄマップによって、クライアントデバイスは、交通信号機を予想及び予測できるようになる。
図１Ａ及び図１Ｂに示されるように、本発明の一態様によるシステム１００は、プロセッサ１２０と、メモリ１３０と、汎用コンピュータ内に通常存在する他の構成要素とを含むコンピュータ１１０を備える。
メモリ１３０は、プロセッサ１２０によって実行することができるか、又は別の方法で用いることができる命令１３２及びデータ１３４を含む、プロセッサ１２０によってアクセス可能な情報を格納する。メモリ１３０は、コンピュータ可読媒体、又はハードドライブ、メモリ媒体、ＲＯＭ、ＲＡＭ、ＤＶＤ若しくは他の光ディスク、並びに他の書込み可能メモリ及び読取り専用メモリのような、電子デバイスの助けを借りて読み取ることができるデータを格納する他の媒体を含む、プロセッサによってアクセス可能な情報を格納することができる任意のタイプでありうる。システム及び方法は、上記のものの種々の組み合わせを含むことができ、それゆえ、命令及びデータの種々の部分が種々のタイプの媒体に格納される。
命令１３２は、プロセッサによって直接実行される（機械コード等）か、又は間接的に実行される（スクリプト等）ことになる任意の１組の命令とすることができる。例えば、命令は、コンピュータコードとして、コンピュータ可読媒体上に格納することができる。その点において、用語「命令」及び「プログラム」は、本明細書において交換可能に用いることができる。命令は、プロセッサによって直接処理するためのオブジェクトコード形式において、又は要求に応じて解釈されるか若しくはあらかじめコンパイルされる、スクリプト若しくは独立したソースコードモジュールの集合体を含む、任意の他のコンピュータ言語において、格納することができる。機能、方法及び命令のルーチンが以下に更に詳細に説明される。
命令１３２に従って、プロセッサ１２０によってデータ１３４を検索、格納、又は変更することができる。例えば、本システム及び本方法はいかなる特定のデータ構造によっても制限されないが、データは、コンピュータレジスタ内に、複数の異なるフィールド及びレコード、ＸＭＬドキュメント又は単層ファイルを有するテーブルとしてリレーショナルデータベース内に格納することができる。また、データは、任意のコンピュータ可読形式にフォーマットすることもできる。例示にすぎないが、さらに、画像データを、可逆的に（例えば、ＢＭＰ）若しくは不可逆的に（例えば、ＪＰＥＧ）圧縮されるか、又は圧縮されない形式に従って格納されるピクセルのグリッドで構成されるビットマップ、及びビットマップ又はベクトルベース（例えば、ＳＶＧ）、並びにグラフィックスを描画するためのコンピュータ命令として格納することができる。そのデータは、番号、記述テキスト、所有権コード、同じメモリの他のエリア若しくは（他のネットワークロケーションを含む）異なるメモリに格納されるデータへの参照、又は関連するデータを計算するために或る機能によって用いられる情報のような、関連する情報を識別するのに十分な任意の情報を含みうる。
プロセッサ１２０は、インテル社又はアドバンストマイクロデバイス社製のプロセッサのような任意の従来のプロセッサとすることができる。代替的には、プロセッサは、ＡＳＩＣのような専用デバイスとすることができる。図１は、プロセッサ及びメモリを、同じブロック内に存在するように機能上示すが、プロセッサ及びメモリは実際には複数のプロセッサ及びメモリを含むことができ、それらのプロセッサ及びメモリは物理的に同じハウジング内に格納される場合も、格納されない場合もあることは当業者には理解されよう。例えば、メモリは、データセンターのサーバファーム内に位置するハードドライブ又は他の記憶媒体とすることができる。したがって、プロセッサ又はコンピュータへの参照は、並列に動作する場合も、並列に動作しない場合もあるプロセッサ又はコンピュータ又はメモリの集合体への参照を含むように理解されたい。
コンピュータ１１０は、ネットワーク１５０の１つのノードに存在することができ、ネットワークの他のノードと直接又は間接的に通信することができる。例えば、コンピュータ１１０はウェブサーバを含むことができ、そのウェブサーバは、サーバ１１０がネットワーク１５０を用いて図１Ｂ内の人１９１又は１９２のようなユーザに情報を送信し、表示するか、又は別の方法で提供するように、ネットワーク１５０を介してクライアントデバイス１７０〜１７２と通信することができる。また、サーバ１１０は複数のコンピュータを含むこともでき、それらのコンピュータは、データを受信し、処理し、クライアントデバイスに送信するためにネットワークの種々のノードと情報を交換する。この場合には、それでも、クライアントデバイスは通常、サーバ１１０を含むコンピュータのいずれとも異なるネットワークノードに存在することになる。
ネットワーク１５０、及びサーバ１１０とクライアントデバイスとの間に介在するノードは、種々の構成を含むことができ、インターネット、ワールドワイドウェブ、イントラネット、仮想私設網、ローカルイーサネットネットワーク、１つ以上の企業に独自の通信プロトコルを使用する私設網、セルラネットワーク及び無線ネットワーク（例えば、ＷｉＦｉ）、インスタントメッセージング、ＨＴＴＰ及びＳＭＴＰ、並びに上記のものの種々の組み合わせを含む、種々のプロトコルを使用することができる。図１及び図２には数台のコンピュータしか示されないが、通常のシステムは、接続された多数のコンピュータを含みうることは理解されたい。
各クライアントデバイスは、プロセッサ１２０、メモリ及び命令１３２を用いて、サーバ１１０と同様に構成することができる。各クライアントデバイス１７０〜１７２は、人１９１及び１９２によって使用することを意図したデバイスとすることができ、中央処理装置（ＣＰＵ）、ウェブブラウザのようなデータ１６２及び命令を格納するメモリ（例えば、ＲＡＭ及び内部ハードドライブ）、電子ディスプレイ１６４（例えば、画面を有するモニタ、小型ＬＣＤタッチスクリーン、プロジェクタ、テレビ、コンピュータプリンタ、又は情報を表示するように動作することができる任意の他の電気デバイス）、並びにユーザ入力１６６（例えば、マウス、キーボード、タッチスクリーン及び／又はマイクロフォン）のような、コンピュータと関連して通常使用される構成要素の全てを有することができる。また、クライアントデバイスは、カメラ１７６、地理的位置構成要素１７８、１つ以上のスピーカ１７４、ネットワークインターフェースデバイス、及びこれらの構成要素を互いに接続するために用いられる全ての構成要素も含みうる。
クライアントデバイス１７０〜１７２はそれぞれフルサイズのパーソナルコンピュータを含みうるが、代替的には、それらのデバイスは移動デバイスを含むことができ、その移動デバイスは、インターネットのようなネットワークを介してサーバとデータを無線で交換する場合も、しない場合もある。例示にすぎないが、クライアントデバイス１７２は車載デバイスとすることもできるし、該クライアントデバイス１７２が車両のコンピュータと情報を交換できるように車両に接続することもできる。別の例では、クライアントデバイス１７１は、インターネットを介して情報を入手することができる、無線対応ＰＤＡ又はセルラ電話とすることができる。ユーザは小型キーボード（ブラックベリーフォンの場合）、キーパッド（通常の携帯電話の場合）、又はタッチスクリーン（ＰＤＡの場合）を用いて情報を入力することができる。実際には、本明細書において説明されるシステム及び方法によるクライアントデバイスは、命令を処理し、人との間で、かつ汎用デバイス、ローカル記憶能力を欠いているネットワークコンピュータ等を含む他のコンピュータとの間でデータを送信することができる任意のデバイスを含みうる。
また、クライアントデバイスは、デバイスの地理的ロケーション及び方位を特定するための地理的位置構成要素も含みうる。例えば、クライアントデバイス１７０は、デバイスの緯度、経度及び／又は高度位置を特定するためのＧＰＳ受信機を含みうる。レーザベースロケーション特定システム、慣性支援ＧＰＳ、又はカメラベースロケーション特定のような他のロケーション特定システムを用いることもできる。さらに、地理的位置構成要素は、クライアントデバイスが携帯電話である場合には１つ以上のセルラタワーから携帯電話のアンテナにおいて受信される信号のような、クライアントデバイス１７１において受信される他の信号に基づいてデバイスの位置を特定するためのソフトウェアも含みうる。
また、クライアントデバイス１７１は、加速度計、ジャイロスコープ、又はデバイスが向けられた方向を特定するための他の加速デバイス１６８のような、他の機構を含みうる。一例にすぎないが、加速デバイスは、重力の方向に対するか又は重力に対して垂直な平面に対するピッチ、ヨー又はロール（又はその変化）を特定することができる。その点において、本明細書において示されるような、クライアントデバイスが与えるロケーション及び方位データは、ユーザに対して、サーバに対して、又はその両方に対して自動的に与えることができることが理解されるであろう。
図１Ａに戻ると、データ１３４は、交通信号の画像のような画像データを含みうる。画像は、画像が撮影された時点における車両又はカメラの位置、ロケーション及び方位を含む、種々の情報と関連付けることができる。また、画像データは、画像内の交通信号の位置及びロケーションを示すラベルと関連付けることができる。これらのラベルは、種々の方法によって生成することができる。例えば、ラベル付きの画像を生成するための１つの方法は、人間によるラベラのチームを用いることである。しかしながら、人間のラベラは、通常の都市環境内で高密度の信号機に関して作業することが要求されるときに、相対的に時間がかかる場合がある。さらに、最も優秀な人間のラベラであっても、ラベルの配置に関していつでも正確であるとは限らない。以下に更に詳述される別の例では、ラベルは、交通信号分類器１４０を用いることによって自動的に生成することができる。
画像データ１３６は他の画像との関連付けも含みうる。例えば、２つの異なる画像の２つのラベルが同じ交通信号を識別する場合、これらのラベル（又は画像）を互いに関連付けることができる。以下に更に詳述されるように、これらのラベル及び画像間の関連付けを用いて、交通信号の推定３Ｄ位置を識別する交通信号マップ１３８を生成することができる。
これらの画像は、例えば、カメラ、並びにＧＰＳ、慣性及び／又はレーザシステムのようなナビゲーションシステムを備えた車両を手動で運転して交差点を通過し、正確にタイムスタンプを押されたレーザ距離及びカメラ画像を収集することによって収集することができる。車両１８０及び１８１のような車両は、種々の構成において取り付けられた種々のタイプのカメラ１８２を用いて、交通信号機画像を収集することができる。例えば、Point Grey社製Ｇｒａｓｓｈｏｐｐｅｒ ５ ＭＰカメラを、前方正面を向くように配置し、運転者の視界を遮るのを最小限に抑えるバックミラーの右側に取り付けることができる。３０度の視界を有する固定レンズを備えたカメラの場合に、２０４０×１０８０領域のような特定の対象領域を選択することができる。例えば、８８ｋｍ／ｈ（５５ＭＰＨ）で進行しているときに、適度な制動距離を確保するために、そのカメラは、１５０ｍの地点において交通信号を検出できるように較正することができる。
車両１８０及び１８１又はカメラ１８２は、上記の地理的位置構成要素１７８も含みうる。地理的位置構成要素を用いて、特定の画像が撮影されたときのカメラ又は車両の地理的ロケーション、方位及び位置を識別することができる。
車両１８０及び１８１は、サーバ１１０によって用いるための画像を記録することができる。画像及び関連する情報は、ネットワーク１５０を介して車両からサーバ１１０にアップロードすることもできるし、サーバ１１０に直接ロードすることもできる。
夜間に交通信号の光の画像を収集するために、交通信号の光、特に、明るいＬＥＤベースの青信号の飽和を避けるように、利得及びシャッタ速度を設定することができる。これらの設定を用いて、日中であっても、比較的暗い画像を生成することができる。
図２は、以下に詳述されることになる一実施形態２００を示す。その動作は、以下に示されるのと全く同じ順序で実行される必要はないことは理解されよう。むしろ、種々のステップを異なる順序において、又は同時に処理することができる。
図２のブロック２１０に示されるように、サーバ１１０によって画像データが受信される。その後、ブロック２２０において、サーバは、それらの画像を最も関連があるもの、すなわち、交通信号機を含む可能性が高い画像に至るまで、フィルタリングする。一般的に、交通信号は交差点に配置されるので、地理空間的な問い合わせを用いて、交差点が見える可能性がないときに撮影された画像を破棄することができる。
１組の画像を、車両が交差点に近づきつつあるときに撮影された画像に選別した後に、ブロック２３０及び２４０において示されるように、それらの画像は分類され、ラベルを付される。サーバ１１０は、適切なサイズ及びアスペクト比を有する明るい色の赤色、黄色及び青色の小球（blobs）を見つける交通信号分類器を使用することができ、そして、これらの小球は、位置推定プロセスのための仮の交通信号ラベルとして用いられる。本発明は、１組の赤、黄及び青信号を有する通常の縦型交通信号との関連において説明されるが、これらの具体的な構造は単なる一例として用いられることは理解されよう。交通信号は、多様であり、多くの場合に複雑な幾何学的形状を有する場合があり、本発明は、任意の数のこれらの付加的な幾何学的形状で動作することができる。
図３は、人によってラベルを付される交通信号の例を示す。１つの肯定的な例あたり、８つの付加的な否定的な例が生成される場合がある。新たに生成された例が肯定的な例と重なり合う場合、例えば、２つの交通信号が互いに非常に近い場合には、新たに生成された例を破棄することができる。
ラベル付けステップの出力は多数のラベルとすることができるが、どのラベルがどの交通信号に属するかについての情報はない。３Ｄにおける物体の位置を推定するには、異なる画像内にある少なくとも２つのラベルを必要とし、一般的には、多くのラベルを入手できるほど、位置推定が改善される。しかしながら、特定の交通信号のような、同じ対象を含む２つ以上の画像を識別するために、画像のラベルは互いに関連付けられなければならない。２つの画像と関連付けられたラベルが互いの関連距離内に入る場合に、それらの画像を関連付けることができる。例えば、各ラベルは直径ｄを有することができる。２つのラベルの中心が、ｄ又は１０ｄのような、互いの相対的に短い距離内にある場合には、これらのラベルは互いに関連付けることができる。別の例では、２つのラベルが重なり合う場合には、ラベルを関連付けることができる。関連付けは、画像系列内のラベル間で、位置推定が実行されたなら３Ｄ物体間で、又は両方のタイプの関連付けを組み合わせる反復手法を用いることによって特定することができる。
関連付けを識別するために、サーバは、描画された交通信号のタイプについて、幾つかの推測を行うことができる。例えば、信号が、間違いなく最も一般的な構成である、標準的な縦型赤色−黄色−青色構造を有すると仮定することによって、交通信号のフルサイズを推測することができる。これらのフルサイズの交通信号ラベルは、色を変更した交通信号によってもたされる関連付けラベルを、より簡単にすることができる。
画像間のラベル関連付けは、種々の方法において実行することができる。例えば、概ねアフィン運動及び／又は高いフレームレートの場合、テンプレートトラッカを用いて、或る画像内のラベルと、次の画像内のラベルとを関連付けることができる。別の例では、カメラフレームレートが４ｆｐｓのように低く、かつ物体運動が完全に射影的である場合には、直接動き補償を用いることができる。
上記で言及したように、正確なカメラ姿勢、又は位置／ロケーション／方位は画像ごとにわかる。カメラが移動中の車両に取り付けられる場合には、その姿勢における累積誤差は相対的に小さくすることができ、例えば、数秒の時間期間にわたって進行した距離の１％である。幾つかの例では、車両の位置推定をオフライン最適化法によって精緻化して、０．１５ｍ内の位置精度をもたらすことができる。
図２のブロック２５０に戻ると、サーバ１１０が、直接動き補償を用いて、異なる画像内のラベル間の関連付けを識別することができる。ロール、ピッチ及びヨーの変化に起因する物体の見かけの運動は、固有カメラモデルを用いて補正できるほど単純である場合があるが、車両の前進運動に起因する物体の見かけの運動を補正するには、物体の位置に関する或る推定値が必要である場合がある。画像内の物体の見かけの位置は、その物体の位置を１つの光線に沿った或る場所に制限し、物体の距離の概算は、その物体が特定の寸法の交通信号であると仮定することによって行うことができる。焦点距離ｆｕを有するカメラによって撮影された画像内の、真の幅ｗ及び見かけの幅
Figure 2013518298
 を有する物体への距離ｄは以下のとおりである。
Figure 2013518298
 方向ベクトルＸ＝［ｕ，ｖ］Ｔは、カメラモデルを用いて径方向歪みを補正することによって計算することができ、物体の概算の３Ｄ位置は以下のとおりである。
Figure 2013518298
 Ｔ１及びＴ２が、車両の座標系から局所的に平坦な座標系への、２つの異なる時点の４×４変換行列であり、Ｃが車両座標系からカメラ座標系への変換である場合には、画像間の物体の相対的な動きは以下のように補正することができる。
Figure 2013518298
カメラの固有モデルを用いることによって、歪んだ画像座標を計算することができる。上記で言及したように、（２つの画像内の交通信号の）２つのラベルが互いの関連距離内に入る場合には、それらのラベルを関連付けることができる。このようにして、ラベルの長い系列を関連付けることができ、それらのラベルが全て、特定の交通信号の画像と関連付けられることを示すことができる。
場合によっては、ラベルは他のタイプの物体、例えば、別の車両のテールライトに対応する場合がある。これらの場合には、概算の距離推定及び後続の動き補償が不正確になり、物体間のラベル関連付けが交通信号として誤って分類される可能性が小さくなる場合がある。これにより、サーバは誤ったラベルをフィルタリングして除去することもできる。
動き補正されたラベルが別のラベルと重なり合う場合には、これらのラベルは同じ物体に対応する可能性がある。対応するラベルの系列から物体の３Ｄ位置を推定することができる。
ブロック２６０に示されるように、サーバ１１０は関連付けを用いて、交通信号の３Ｄロケーションを特定することができる。具体的には、２つ以上の画像内の関連付けられたラベルに基づいて３Ｄ物体の姿勢を推定することができる。例えば、最適な三角測量法を用いることができるが、この方法は、多くても３つのラベルとともに用いることしかできないので、同じ交通信号のための数多くのラベルが存在するときには、その有用性が低下する場合がある。別の例では、姿勢は、線形三角測量及び直接線形変形、最小二乗法を用いることによって推定することができる。
最小二乗法を用いるとき、暫定的に分類された各画像ラベルは、画像座標
Figure 2013518298
 と関連付けることができる。これらの画像座標は、径方向歪み等を補正する、カメラの固有モデルを用いて方向ベクトルｘに変換することができる。
ラベル方向ベクトルｘｉ及びカメラ射影行列Ｐｉごとに、以下の式が成り立つような、３Ｄ点Ｘを推定することができる。
Figure 2013518298
 これらの式は以下の形にまとめることができ、
Figure 2013518298
 その式はＸの一次式である。射影幾何学に内在する均質なスケールファクタを除去するために、特定の物体の場合に、各画像ラベル｛ｘ１、ｘ２、．．．｝のクロス積から、３ｎ×４の行列Ａを組み立てることができる。
Figure 2013518298
 ただし、クロス積行列は以下のとおりである。
Figure 2013518298
 及び
Figure 2013518298
 Ａ＝ＵΣＶＴである場合にＡに関する特異値分解を実行すると、Ｘについての解は、逆均質化された（de-homogenized）特異ベクトルであり、そのベクトルはＡの最も小さな特異値、すなわち、Ａの右端の値に対応する。
信号の方位は、交通信号位置を推定するために用いられる全ての画像ラベルにわたる平均車両進向方向の逆進向方向として推定することができる。
上記で生成された情報を用いて、ブロック２７０に示されるように、交通信号の３Ｄロケーション及び幾何学的形状を示すマップ情報を生成することができる。マップ情報の精度は、カメラの外部パラメータ、すなわち、車両の座標系に対するカメラの位置及び方位を表す変換の影響を受けやすい場合がある。外部パラメータの適度な初期推定値を仮定すると、これらのパラメータは、座標降下法を用いて、交通信号の再射影の労力を最小限に抑えることによって較正することができる。
Figure 2013518298
ここで、Ｘｅは、外部パラメータｅを用いるマッピングパイプラインによって推定された交通信号位置である。同様のプロセスを用いて、画像がカメラによって撮影された時点と、その画像がコンピュータに送信された時点（ただしハードウェアタイムスタンプが用いられる場合もある）との間のタイミング遅延を推定することができる。このタイミング遅延はカメラフレームレート及びファイヤワイヤバススケジューリング割当てに依拠して異なる場合があるが、所与の構成の場合に百分の数秒以内まで安定させることもできる。レンズ歪みを決定するカメラの固有パラメータは、チェッカーボードコーナー抽出手順（checkerboard corner extraction procedure）を用いて、標準的な径方向レンズモデルに対して較正することができる。
実際に適用される車線に対する交通信号を識別することもできる。例えば、交通信号の中には、左折又は右折専用車線に対してのみ適用されるものもある。この情報は、交通信号と、交差点を通る種々の許された路線との間の関連付けとして表すことができる。推定された交通信号方位及び平均交差点幅に基づく簡単な発見的問題解決法を用いて、これらの関連付けに関して推定を行うことができる。そして、これらの推定値は手動で検証することができる。これは、複雑な多車線交差点の場合に特に必要である。
新たなラベルを連続して追加し、それらのラベルを用いて分類器を最適化することができる。グリッド探索及び山登りを含む、種々の最適化法を用いることができる。例えば、グリッド探索では、パラメータ空間の各軸を離散化することができ、これらの離散化された座標の全ての組み合わせが評価される。粗いグリッドが、最適化されることになる空間の構造に関する洞察を与えることができる。
図２のステップは単一の中央サーバコンピュータを使用することによって進むように示されるが、各コンピュータが小さな１組の画像をＲＡＭにロードし、そして、それらのキャッシュされた画像に関するその時点のオプティマイザ状態に従って分類器を繰り返し評価するように、画像を１組のコンピュータに分散させることもできる。特定の分類器構成を、数百台のコンピュータによって、１秒以内に１組、例えば、１００００枚の画像にわたって評価することができる。これにより、座標降下法のような、反復山登り手法を用いて、短時間で分類器を最適化できるようになる。単一のオプティマイザステップにおいて評価されることになる全ての状態をバッチ処理することによって、更なる並列化を可能とすることができる。はるかに多くの否定的な例が自動的に生成される場合には、肯定的な例の結果を１０倍高く重み付けすることができる。
マップ情報が生成されると、その情報を用いて、ロボット車両又は運転者を支援することができる。交通信号マップを用いて、交通信号（赤色、黄色又は青色）を識別し、解釈することができる。図４は、このプロセスの例示的な流れ図４００を示す。ブロック４１０に示されるように、クライアントデバイスが、交通信号マップの関連する部分に対して、クライアントデバイスのロケーションを絶えず特定する。例えば、車載又はポータブルデバイスが、交通信号マップに直接アクセスすることもできるし、デバイス（又は車両）のロケーションに基づいて、サーバからマップの一部を要求することも、自動的に受信することもできる。
そして、クライアントデバイスは、ブロック４２０に示されるように、交差点（又は交通信号）に向かって移動しつつあるか否かを判断する。クライアントデバイスが交差点に近づきつつある場合には、クライアントデバイスは、ブロック４３０に示されるように、クライアントデバイスのロケーション、及び交通信号マップに基づいて、その交差点における交通信号の３Ｄロケーションを予測することができる。
車両姿勢及び交通信号マップを用いて、交通信号機が見えるはずの時点、及び交通信号機が画像フレーム内に現れるはずの場所についての予測を行うことができる。交通信号機マップに対する車両又はデバイスの位置は、ＧＰＳ、レーザベースロケーション特定システム、慣性支援ＧＰＳ、カメラベースロケーション特定、又は高度も識別するライダロケーション特定システムのうちの１つ以上のものから推定することができる。ｋｄ木又はＳ２球面幾何学セル（spherical geometry cells）、並びに車両方位及び交通信号方位を含む簡単な視認モデルを用いて、直ぐ近くの信号機の位置を予測することができる。そして、予測された位置は、カメラモデルを用いて、軸並行境界ボックスとして画像フレーム内に射影することができる。境界ボックスの幾何学的形状は、マップ情報によって示されるような交通信号の幾何学的形状に基づいて決定することができる。予測における間違いを考慮に入れるために、一例では、境界ボックスを、各軸において、実際の予測よりも３倍大きくすることができる。
ブロック４４０及び４５０において、クライアントデバイスは、カメラを用いて画像を収集することができ、分類器を用いて、これらの画像の赤色、黄色又は青色小球を検出する。
クライアントデバイスは上記の分類器を用いて、予測された各境界ボックス内の適切なサイズの明るい色の赤色、黄色及び青色小球を見つけることができる。交通信号機の幾何学的形状を用いて、異なるタイプの信号機を区別することができる。例えば、特定の交通信号が青信号を有する場合には、交通信号の近似的なロケーション、形状及びデザインを用いて、青信号が左矢印を指示するか、丸い光を指示するかを判断することができる。その結果は、交通信号ごとの１組の取り得る分類であり、その分類を用いて、交通信号の状態を識別することができる。
ブロック４６０において、予測されたロケーション内で関連する小球が検出されない場合には、ブロック４８０において、クライアントデバイスは交通信号の或るデフォルト状態を仮定することができる。クライアントデバイスは、黄信号のようなデフォルト状態を仮定することができる。デフォルトとして黄色を選択することは、車両が減速する必要があることを示すので、安全機構としての役割を果たすことができる。交通信号の状態を分類し続けるために、交差点に近づきつつあるときに、車両が減速できるようにすることが大抵の場合に安全であると仮定することができる。新たな分類が存在しない場合には、クライアントデバイスは、交通信号の状態が変化しておらず、信号機が依然として黄色であると判断することができる。
さらに、クライアントデバイスは、予測された境界ボックス内の幾何学的に最も高い分類を選択することもできる。例えば窓内において、例えば所与の境界ボックス内において、幾つかの光が検出される場合がある。クライアントデバイスは、物理的に最も高い光が交通信号に対応すると判断することができる。これは、多くの場合に青信号の直ぐ下にあるが、予測された境界ボックス内に十分に存在するオレンジ色の横断歩道信号機のような物体を誤って分類するのを防ぐことができる（図５の「止まれ（Don't Walk）」信号５５０を参照）。
図４に戻ると、ブロック４７０において、分類器によって関連する小球が検出される場合には、クライアントデバイスは、交通信号に何らかの状態変化があったか否かを判断することになる。状態変化がない場合には、ブロック４８０において、クライアントデバイスは再び交通信号のデフォルト状態を仮定することができる。状態が変化している場合には、ブロック４９０において、クライアントデバイスは、変化のタイプを特定することができる。最後に、交通信号の状態が特定され、ブロック４９５において、車両又はユーザを支援するために用いられる準備ができる。
そして、交通信号の状態及び位置を用いて、運転者又はロボット車を支援することができる。デバイスが、人によって運転される車両内で用いられる場合、そのデバイスは、交通信号の状態に関する情報を提供することができる。例えば、デバイスは、「信号機が黄色である」のように、信号機が赤色、黄色又は青色であるという視覚的な、又は可聴音による指示を与えることができる。別の例では、デバイスは、「ブレーキを踏め、信号機が赤である」又は「信号機が赤である、車両を停止せよ」のような、可聴音による指示又は警告を与えることができる。別の例では、デバイスは、左折信号のような妥当な信号機が青でないことを指示することができる。そのデバイスを用いて、ブレーキが踏まれるべきであるという指示を車両に送ることができる。デバイスがナビゲーションシステムとともに用いられる場合には、「次の交差点において停止せよ、信号が赤である」のような付加的な指示を含めることができる。
図５の例では、車両５１０の運転者が交差点に近づきつつある。交通信号５４０の運転者の視界は、車両５２０によって制限されるか、又は完全に遮断される場合がある。車両５１０内のクライアントデバイスは、カメラによって撮影された画像内に交通信号が見えることを判断することができ、例えば、交通信号の光５４５、すなわち、黄信号が点灯していると判断することができる。クライアントデバイスは、例えば、視覚信号又は可聴信号を用いて、「減速せよ、信号機が黄である」を示すか、又は車両のコンピュータにブレーキを踏む必要があることを指示することによって、運転者にこの情報を渡すことができる。クライアントデバイスが交通信号の状況を識別できない場合には、そのデバイスはデフォルトを使用し、再び、ユーザに視覚的な、又は可聴音による命令を与えることができる。別の例では、交通信号が赤信号の場合に、車両を停止することができる。信号機が青に変わると、クライアントデバイスは、交通信号の状態の変化を識別し、この情報を運転者又は車両のコンピュータに与えることができる。その情報を受信した後に、運転者又はコンピュータは、例えば、車両を加速し始めることができる。
更なる例では、車両が特定の路線を進行しつつあり、クライアントデバイスは、該クライアントデバイスの位置を用いて、交差点を通る走行車線を判断することができる。この情報に基づいて、クライアントデバイスは、交差点に関連付けられたどの交通信号が意図した路線に関連するかを判断し、車両のコンピュータ又はユーザに、関連する交通信号の最新の状況を与えることができる。
車両が自律的に動作しているとき、デバイスは、予測された境界ボックス内で、赤又は黄信号が検出されず、かつ少なくとも１つの青信号が検出されなければならないと判断することによって、交差点を通る特定の経路を決定することができる。交差点には一般的に同じ意味の複数の信号機が存在するが、デバイスは、これらの信号機のうちの１つを識別して、通過するか否かを判断しさえすればよいことが理解されよう。
図６は、都市街路及び幹線道路に沿った実験的な３２ｋｍの運転中に予測され、検出された信号機の距離ヒストグラムであり、それらの道路を走行中に、本デバイスを用いて交差点の車の通過を制御した。この例では、２００ｍまでの交通信号が検出され、その距離は、デバイスが、交通信号が見えるはずであると予測し始める時点であった。このようにして、車両内のデバイスと交通信号との間に障害物が存在する場合であっても、交通信号が予測される（図５及び上記の関連する説明を参照）。
図７は、実験的な運転セッションの場合の交通信号混同行列を示す。その行列は、各肯定的な例の８つの隣接物から生成された否定的な例を含む。グラウンド・トルースにおいて黄信号例は含まれなかった。
以下の表１は、交通信号混同行列からの正検出（ｔｐ）、正非検出（ｔｎ）、誤検出（ｆｐ）及び検出漏れ（ｆｎ）を含む。
Figure 2013518298
表１に基づいて、実験的なデバイスの適合率（precision）は９９％（８５１／８５９＝０．９９）であり、一方、再現率（recall）は６２％（８５１／１３８７＝０．６２）であった。画像を実験デバイスに送信するのに約０．１２ｓの待ち時間があることに主に起因して、約０．２ｓの待ち時間が経験された。カメラ帯域幅制限に基づいて、検出パイプラインのフレームレートは４Ｈｚであった。プロセッサ負荷は、画像の解像度が高いことに主に起因して、単一のＣＰＵ（中央処理装置）の２５％未満であった。その実験デバイスは、夜間に、かつ適度な雨であり、カメラがワイパによって拭き取られたエリアの後方に取り付けられる場合に最も良く機能した。
上記で言及したように情報が送信又は受信されるときに、或る利点が得られたが、本発明の態様は、情報の送信のいかなる特定の方法にも限定されない。例えば、幾つかの態様では、情報は光ディスク又はポータブルドライブのような媒体を介して送ることができる。他の態様では、その情報は、非電子的な形式において送信し、手動でシステムに入力することができる。またさらには、幾つかの機能がサーバ上で行われ、他の機能がクライアント上で行われるように示されるが、本システム及び本方法の種々の態様は、単一のプロセッサを有する単一のコンピュータによって実施することができる。
説明され、図示されるデータのサンプル値、タイプ及び構成は例示することだけを目的としていることは更に理解されよう。その点において、本発明の態様によるシステム及び方法は、異なる物理的属性、データ値、データタイプ及び構成を含むことができ、種々の時点において、かつ種々のエンティティによって提供し、受信することができる（例えば、値によっては、あらかじめ示唆されるものもあれば、異なる情報源から与えられるものもある）。
特許請求の範囲によって規定されるような本発明から逸脱することなく、上記で検討された特徴のこれらの、並びに他の変形及び組み合わせを利用することができ、例示的な実施形態のこれまでの説明は、特許請求の範囲によって規定されるような本発明を制限するものではなく、例示するものとみなされるべきである。本発明の例の提供（及び「〜のような」、「例えば」、「〜を含む」等として表現される節）は、本発明を特定の例に限定するものと解釈されるべきではない。むしろ、それらの例は、数多くの取り得る態様のうちの幾つかのみを例示することを意図している。
そうではないと明示される場合を除いて、所与の実施形態、代替形態又は実施例内の全ての特徴は、本明細書における任意の他の実施形態、代替形態又は実施例において用いることができる。例えば、カメラ又は特定の画像に関連付けられた地理的ロケーション及び方位を特定するための任意の技術は、本明細書において任意の構成において用いることができる。交通信号のロケーション又は交通信号の状況を通信するか、又は識別する各方法は、本明細書において任意の構成において用いることができる。
本出願は包括的には交通信号のマップを作成することに関する。さらに、これらのマップを用いて、リアルタイム交通信号検出を実行することができる。

Claims (32)

  1. 交通信号の３次元ロケーションを特定する方法であって、
    複数の画像を受信するステップであって、該複数の画像の各画像は地理的ロケーション及び方位情報と関連付けられる、受信するステップと、
    コンピュータによって、交差点に最も近い前記地理的ロケーションと関連付けられた前記複数の画像のうちの１つ以上の画像を選択するステップと、
    前記選択された画像ごとに、前記コンピュータによって、該選択された画像内の赤色物体、黄色物体及び青色物体を識別するステップと、
    前記選択された画像のうちの２つ以上の画像の前記地理的ロケーション及び方位情報に基づいて、該２つ以上の選択された画像内の前記赤色物体、前記黄色物体及び前記青色物体のうちの関連するものを識別するステップと、
    （１）前記選択された画像のうちの前記２つ以上の画像間の識別された関連付けと、（２）前記２つ以上の選択された画像の前記地理的ロケーション及び方位情報とに基づいて、交通信号の前記３次元ロケーションを特定するステップと、
    前記交通信号の前記３次元ロケーションを前記コンピュータによってアクセス可能なメモリに格納するステップと
    を含んでなる、交通信号の３次元ロケーションを特定する方法。
  2. 前記交通信号の前記３次元ロケーションを含むマップを生成するステップを更に含む、請求項１に記載の方法。
  3. 前記複数の画像のそれぞれは１つ以上のカメラによって収集され、前記カメラのそれぞれは車両に関連付けられている、請求項２に記載の方法。
  4. 前記１つ以上のカメラのそれぞれは前記車両に取り付けられている、請求項３に記載の方法。
  5. 前記画像のそれぞれに関連付けられた前記地理的ロケーション及び方位情報は、地理的位置デバイスによって特定されるような前記カメラの前記地理的ロケーション及び方位情報に基づいて生成される、請求項３に記載の方法。
  6. 前記画像のそれぞれに関連付けられた前記地理的ロケーション及び前記方位情報はレーザポジショニングデバイスによって特定される、請求項１に記載の方法。
  7. 前記画像のそれぞれに関連付けられた前記地理的ロケーション及び方位情報はＧＰＳポジショニングデバイスによって特定される、請求項１に記載の方法。
  8. 前記画像のそれぞれに関連付けられた前記地理的ロケーション及び方位情報は慣性ポジショニングデバイスによって特定される、請求項１に記載の方法。
  9. 前記地理的ロケーション情報はＧＰＳ緯度及び経度座標である、請求項１に記載の方法。
  10. 交通信号の３次元ロケーションを特定するデバイスであって、
    プロセッサと、
    メモリと
    を備えてなり、
    前記プロセッサは、
    複数の画像を受信し、ここで、該複数の画像の各画像は地理的ロケーション及び方位情報に関連付けられ、
    交差点に最も近い地理的ロケーションに関連付けられた前記複数の画像のうちの１つ以上の画像を選択し、
    前記選択された画像ごとに、該選択された画像内の赤色物体、黄色物体及び青色物体を識別し、
    前記選択された画像のうちの２つ以上の画像の前記地理的ロケーション及び方位情報に基づいて、該２つ以上の選択された画像内の前記赤色物体、前記黄色物体及び前記青色物体のうちの関連するものを識別し、
    （１）前記選択された画像のうちの前記２つ以上の画像間の識別された関連付けと、（２）前記２つ以上の選択された画像の前記地理的ロケーション及び方位情報とに基づいて、交通信号の前記３次元ロケーションを特定し、
    前記交通信号の前記３次元ロケーションを該デバイスによってアクセス可能なメモリに格納する、
    ように構成されている、交通信号の３次元ロケーションを特定するデバイス。
  11. 前記複数の画像のそれぞれは１つ以上のカメラによって収集され、前記カメラのそれぞれは車両に関連付けられ、交通信号の光の飽和を避けるように設定されるそれぞれの利得及びシャッタ速度を有する、請求項１０に記載のデバイス。
  12. 前記複数の画像のそれぞれは１つ以上のカメラによって収集され、前記カメラのそれぞれは車両に関連付けられ、前記複数の画像のそれぞれが前記１つ以上のカメラのそれぞれからネットワークを介して前記デバイスにアップロードされる、請求項１０に記載のデバイス。
  13. 前記複数の画像のそれぞれは１つ以上のカメラによって収集され、前記カメラのそれぞれは車両に関連付けられ、該車両の運転者の視界を遮るのを最小限に抑えるように配置される、請求項１０に記載のデバイス。
  14. 前記識別された赤色物体、黄色物体及び青色物体は、交通信号に対応するのに相応しいサイズ及びアスペクト比である、請求項１０に記載のデバイス。
  15. ２つ以上の選択された画像の前記赤色物体、前記黄色物体及び前記青色物体のうちの関連するものを前記識別するステップは、前記２つ以上の選択された画像の識別された物体間の関連距離に基づくものである、請求項１０に記載のデバイス。
  16. ２つ以上の選択された画像の前記赤色物体、前記黄色物体及び前記青色物体のうちの関連するものを前記識別するステップは、交通信号の物理的寸法に基づくものである、請求項１０に記載のデバイス。
  17. ２つ以上の選択された画像の関連する赤色物体、黄色物体及び青色物体を前記識別するステップは、前記選択された画像間の直接動き補償に基づき、前記選択された画像のそれぞれは移動中の車両に取り付けられたカメラによって撮影されるものである、請求項１０に記載のデバイス。
  18. 前記プロセッサは、前記直接動き補償に基づいて、選択された画像内の赤色物体、黄色物体及び青色物体のうちの前記識別されたものを交通信号の光以外の物体として識別するように更に構成される、請求項１０に記載のデバイス。
  19. 前記プロセッサは、特定の交通信号の前記特定された前記３次元ロケーションを、交差点を通る車線のマップと比較することに基づいて、前記特定の交通信号に関連付けられた車線を特定するように更に構成される、請求項１０に記載のデバイス。
  20. 交通信号の状況を特定する方法であって、
    クライアントデバイスの現在のロケーションを繰り返し特定するステップと、
    前記クライアントデバイスの前記現在のロケーションと交通信号の３次元ロケーションのマップとの比較に基づいて、交通信号の境界の推定ロケーションを特定するステップと、
    前記推定ロケーションの画像を収集するステップと、
    収集された前記画像ごとに、前記クライアントデバイスによって、前記交通信号の前記推定ロケーションの前記境界内の赤色物体、黄色物体及び青色物体を識別するステップと、
    前記識別された物体の色に基づいて前記交通信号の前記状況を特定するステップと
    を含んでなる、交通信号の状況を特定する方法。
  21. 前記交通信号の前記状況がデフォルト状況から変化したか否かを判断するステップを更に含む、請求項２０に記載の方法。
  22. 前記交通信号の前記推定ロケーションの前記境界内に識別された物体が存在しない場合には、前記交通信号の前記状況が前記デフォルト状況であると判断する、請求項２０に記載の方法。
  23. 前記デフォルト状況は黄信号である、請求項２１に記載の方法。
  24. 前記デフォルト状況は赤信号である、請求項２２に記載の方法。
  25. 前記交通信号の前記状況を車両に関連付けられたコンピュータに送信するステップを更に含む、請求項２０に記載の方法。
  26. 前記交通信号の前記状況を可聴音によって識別するステップを更に含む、請求項２０に記載の方法。
  27. 前記交通信号の前記状況に基づいて運転指示を与えるステップを更に含む、請求項２０に記載の方法。
  28. 交通信号の３次元ロケーションを特定するデバイスであって、
    プロセッサと、
    補助リソースファイルを格納するための第１の部分を含む、メモリと
    を備えてなり、
    前記プロセッサは、
    クライアントデバイスの現在のロケーションを繰り返し特定し、
    前記クライアントデバイスの前記現在のロケーションと交通信号の３次元ロケーションのマップとの比較に基づいて、交通信号の境界の推定ロケーションを特定し、
    前記推定ロケーションの画像を収集し、
    収集された前記画像ごとに、前記クライアントデバイスによって、前記交通信号の前記推定ロケーションの前記境界内の赤色物体、黄色物体及び青色物体を識別し、
    前記識別された物体の色に基づいて前記交通信号の状況を特定する、
    ように構成される、交通信号の３次元ロケーションを特定するデバイス。
  29. 前記デバイスはディスプレイデバイスを含み、前記プロセッサは該ディスプレイデバイス上で前記交通信号の前記状況を識別するように更に構成される、請求項２８に記載のデバイス。
  30. 交通信号の画像を収集する方法であって、
    交通信号の光の飽和を避けるようにカメラの利得及びシャッタ速度を設定するステップと、
    前記カメラを車両に取り付けるステップと、
    交差点を通るように前記車両を操作するステップと、
    前記交差点の複数の画像を収集するステップと、
    ポジショニングデバイスに基づいて、地理的ロケーション及び方位情報を前記複数の画像のそれぞれと関連付けるステップと、
    前記複数の画像及び関連付けられた地理的ロケーションをメモリに格納するステップと、
    前記複数の画像及び前記関連付けられた地理的位置を、ネットワークを介してコンピュータに送信するステップと
    を含んでなる、交通信号の画像を収集する方法。
  31. 前記複数の画像並びに前記関連付けられた地理的ロケーション及び方位情報を受信するステップと、
    交差点に最も近い地理的ロケーションに関連付けられた前記複数の画像のうちの１つ以上の画像を選択するステップと、
    選択された前記画像ごとに、該選択された画像内の赤色物体、黄色物体及び青色物体を識別するステップと、
    前記選択された画像のうちの２つ以上の画像の前記地理的ロケーション及び方位情報に基づいて、該２つ以上の選択された画像内の前記赤色物体、前記黄色物体及び前記青色物体のうちの関連するものを識別するステップと、
    （１）前記選択された画像のうちの前記２つ以上の画像間の識別された関連付けと、（２）前記２つ以上の選択された画像の前記地理的ロケーション及び方位情報とに基づいて、前記交通信号の３次元ロケーションを特定するステップと、
    前記交通信号の３次元ロケーションを前記コンピュータによってアクセス可能なメモリ内に格納するステップと
    を更に含む、請求項３０に記載の方法。
  32. 特定の交通信号の特定された３次元ロケーションを、交差点を通る車線のマップと比較することに基づいて、前記特定の交通信号に関連付けられる車線を特定するステップを更に含む、請求項３０に記載の方法。
JP2012550099A 2010-01-22 2011-01-20 交通信号マップ作成及び検出 Expired - Fee Related JP6006641B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US29746810P 2010-01-22 2010-01-22
US61/297,468 2010-01-22
US12/819,575 US8559673B2 (en) 2010-01-22 2010-06-21 Traffic signal mapping and detection
US12/819,575 2010-06-21
PCT/US2011/021797 WO2011091099A1 (en) 2010-01-22 2011-01-20 Traffic signal mapping and detection

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016177093A Division JP6230673B2 (ja) 2010-01-22 2016-09-09 交通信号マップ作成及び検出

Publications (3)

Publication Number Publication Date
JP2013518298A true JP2013518298A (ja) 2013-05-20
JP2013518298A5 JP2013518298A5 (ja) 2014-03-06
JP6006641B2 JP6006641B2 (ja) 2016-10-12

Family

ID=43983606

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2012550099A Expired - Fee Related JP6006641B2 (ja) 2010-01-22 2011-01-20 交通信号マップ作成及び検出
JP2016177093A Active JP6230673B2 (ja) 2010-01-22 2016-09-09 交通信号マップ作成及び検出
JP2017200974A Expired - Fee Related JP6494719B2 (ja) 2010-01-22 2017-10-17 交通信号マップ作成及び検出

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016177093A Active JP6230673B2 (ja) 2010-01-22 2016-09-09 交通信号マップ作成及び検出
JP2017200974A Expired - Fee Related JP6494719B2 (ja) 2010-01-22 2017-10-17 交通信号マップ作成及び検出

Country Status (6)

Country Link
US (3) US8559673B2 (ja)
EP (1) EP2526508B1 (ja)
JP (3) JP6006641B2 (ja)
KR (1) KR101534056B1 (ja)
CN (1) CN102792316B (ja)
WO (1) WO2011091099A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015518600A (ja) * 2012-03-26 2015-07-02 グーグル・インク 交通信号とそれらに関連した状態を検出するためのロバスト法

Families Citing this family (159)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9566982B2 (en) 2009-06-16 2017-02-14 Tomtom North America, Inc. Methods and systems for generating a horizon for use in an advanced driver assistance system (ADAS)
US9377313B2 (en) * 2009-06-16 2016-06-28 Tomtom North America Inc. Methods and systems for creating digital street network database
US8948794B2 (en) 2011-03-14 2015-02-03 Nokia Corporation Methods and apparatuses for facilitating provision of a map resource
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
JP5386539B2 (ja) * 2011-05-12 2014-01-15 富士重工業株式会社 環境認識装置
US9031948B1 (en) 2011-07-06 2015-05-12 Shawn B. Smith Vehicle prediction and association tool based on license plate recognition
US8768009B1 (en) 2011-07-26 2014-07-01 Shawn B. Smith Locating persons of interest based on license plate recognition information
WO2013060323A1 (de) * 2011-10-28 2013-05-02 Conti Temic Microelectronic Gmbh Gitterbasiertes umfeldmodell für ein fahrzeug
JP5480925B2 (ja) * 2012-03-05 2014-04-23 本田技研工業株式会社 車両周辺監視装置
DE102012006708A1 (de) * 2012-03-29 2012-10-18 Daimler Ag Kraftfahrzeug, mit dem eine optimale Durchschnittsgeschwindigkeit zum Erreichen eines grünen Lichtzeichens einer Lichtzeichenanlage empfangbar ist
US8761991B1 (en) 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US10068157B2 (en) * 2012-05-10 2018-09-04 Apple Inc. Automatic detection of noteworthy locations
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
US8793046B2 (en) 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
CN104508720B (zh) * 2012-08-01 2016-09-07 丰田自动车株式会社 驾驶辅助装置
US9158980B1 (en) 2012-09-19 2015-10-13 Google Inc. Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
US9720412B1 (en) 2012-09-27 2017-08-01 Waymo Llc Modifying the behavior of an autonomous vehicle using context based parameter switching
US9214021B2 (en) * 2012-10-09 2015-12-15 The Boeing Company Distributed position identification
US8855904B1 (en) * 2012-10-10 2014-10-07 Google Inc. Use of position logs of vehicles to determine presence and behaviors of traffic controls
GB201219742D0 (en) 2012-11-02 2012-12-12 Tom Tom Int Bv Methods and systems for generating a horizon for use in an advanced driver assistance system (adas)
CN103065465B (zh) * 2012-12-26 2016-07-06 招商局重庆交通科研设计院有限公司 基于物联网和动态3d gis的交通管理系统及其方法
CN103101497A (zh) * 2013-01-25 2013-05-15 深圳市保千里电子有限公司 汽车摄像系统及其视角与车速同步变化的数据处理方法
MX346231B (es) * 2013-04-04 2017-03-13 Nissan Motor Aparato de reconocimiento de señales de tránsito.
CN104280036B (zh) * 2013-07-05 2017-11-17 北京四维图新科技股份有限公司 一种交通信息的检测与定位方法、装置及电子设备
DE102013220662A1 (de) * 2013-10-14 2015-04-16 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung von Verkehrssituationen beim Betrieb eines Fahrzeugs
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
EP3092599B1 (en) 2013-12-04 2019-03-06 Mobileye Vision Technologies Ltd. Systems and methods for mimicking a leading vehicle
CN103729863B (zh) * 2013-12-06 2016-05-25 南京金智视讯技术有限公司 基于自主学习的交通信号灯全自动定位识别的方法
US9248832B2 (en) 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
DE102014202503A1 (de) * 2014-02-12 2015-08-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem verkehrsregelnden Objekt
US9142127B1 (en) 2014-04-29 2015-09-22 Maxwell Consulting, LLC Systems and methods for traffic guidance nodes and traffic navigating entities
DE102014209281A1 (de) * 2014-05-16 2015-11-19 Robert Bosch Gmbh Verfahren und System zum Ermitteln zumindest einer straßenbezogenen Information
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
US9707960B2 (en) 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
US9558411B1 (en) 2014-08-29 2017-01-31 Google Inc. Plane estimation for contextual awareness
DE102014013829A1 (de) 2014-09-23 2016-03-24 Daimler Ag Verfahren zur Kennzeichnung von Bildbereichen
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
US9586585B2 (en) * 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
CN104494598B (zh) * 2014-11-23 2017-03-29 北京联合大学 一种用于智能车辆的路口行驶控制方法
EP3032454B1 (en) * 2014-12-10 2018-09-26 Honda Research Institute Europe GmbH Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US9551591B2 (en) * 2015-03-03 2017-01-24 Verizon Patent And Licensing Inc. Driving assistance based on road infrastructure information
CN104851288B (zh) * 2015-04-16 2017-02-22 宁波中国科学院信息技术应用研究院 一种交通灯定位方法
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
US10220705B2 (en) 2015-08-12 2019-03-05 Madhusoodhan Ramanujam Sharing autonomous vehicles
US9805519B2 (en) 2015-08-12 2017-10-31 Madhusoodhan Ramanujam Performing services on autonomous vehicles
US10023231B2 (en) 2015-08-12 2018-07-17 Madhusoodhan Ramanujam Parking autonomous vehicles
US9805605B2 (en) 2015-08-12 2017-10-31 Madhusoodhan Ramanujam Using autonomous vehicles in a taxi service
US10005464B2 (en) * 2015-08-27 2018-06-26 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation at multi-stop intersections
CN106503011A (zh) * 2015-09-07 2017-03-15 高德软件有限公司 一种地图数据处理方法及装置
US11295612B2 (en) 2015-10-20 2022-04-05 Stc, Inc. Systems and methods for roadway management including feedback
US10334050B2 (en) 2015-11-04 2019-06-25 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US9916703B2 (en) 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US10745003B2 (en) 2015-11-04 2020-08-18 Zoox, Inc. Resilient safety system for a robotic vehicle
US11283877B2 (en) 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9701239B2 (en) 2015-11-04 2017-07-11 Zoox, Inc. System of configuring active lighting to indicate directionality of an autonomous vehicle
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10496766B2 (en) 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US10000124B2 (en) 2015-11-04 2018-06-19 Zoox, Inc. Independent steering, power, torque control and transfer in vehicles
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10248119B2 (en) 2015-11-04 2019-04-02 Zoox, Inc. Interactive autonomous vehicle command controller
US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
US9878664B2 (en) 2015-11-04 2018-01-30 Zoox, Inc. Method for robotic vehicle communication with an external environment via acoustic beam forming
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9517767B1 (en) 2015-11-04 2016-12-13 Zoox, Inc. Internal safety systems for robotic vehicles
US9958864B2 (en) 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
US9804599B2 (en) 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
US9802661B1 (en) 2015-11-04 2017-10-31 Zoox, Inc. Quadrant configuration of robotic vehicles
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9746853B2 (en) * 2015-11-30 2017-08-29 Nissan North America, Inc. Traffic signal timing estimation using a support vector regression model
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US10119827B2 (en) 2015-12-10 2018-11-06 Uber Technologies, Inc. Planning trips on a road network using traction information for the road network
US10018472B2 (en) 2015-12-10 2018-07-10 Uber Technologies, Inc. System and method to determine traction of discrete locations of a road segment
CN105608417B (zh) * 2015-12-15 2018-11-06 福州华鹰重工机械有限公司 交通信号灯检测方法及装置
US10126135B2 (en) 2015-12-15 2018-11-13 Nissan North America, Inc. Traffic signal timing estimation using an artificial neural network model
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US10460600B2 (en) * 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US9990548B2 (en) 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10343620B2 (en) * 2016-04-22 2019-07-09 Uber Technologies, Inc. External sensor assembly for vehicles
US10459087B2 (en) 2016-04-26 2019-10-29 Uber Technologies, Inc. Road registration differential GPS
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US9891628B2 (en) * 2016-06-06 2018-02-13 GM Global Technology Operations LLC Sensor-based association of traffic control devices to traffic lanes for autonomous vehicle navigation
US10739786B2 (en) 2016-07-01 2020-08-11 Uatc, Llc System and method for managing submaps for controlling autonomous vehicles
KR101729444B1 (ko) * 2016-07-04 2017-04-24 강래호 신호등 정보 획득 장치 및 방법
EP3491358A4 (en) 2016-07-31 2019-07-31 Netradyne, Inc. DETERMINING THE CAUSES OF TRANSPORT EVENTS AND PROMOTING GOOD DRIVING BEHAVIOR
US9977975B2 (en) 2016-08-18 2018-05-22 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic light detection using multiple regions of interest and confidence scores
JP6402756B2 (ja) * 2016-09-21 2018-10-10 トヨタ自動車株式会社 運転支援装置
US10115305B2 (en) 2016-09-30 2018-10-30 Nissan North America, Inc. Optimizing autonomous car's driving time and user experience using traffic signal information
US10366286B2 (en) 2016-12-13 2019-07-30 Google Llc Detection of traffic light signal changes
US10139832B2 (en) * 2017-01-26 2018-11-27 Intel Corporation Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10338594B2 (en) * 2017-03-13 2019-07-02 Nio Usa, Inc. Navigation of autonomous vehicles to enhance safety under one or more fault conditions
US10423162B2 (en) 2017-05-08 2019-09-24 Nio Usa, Inc. Autonomous vehicle logic to identify permissioned parking relative to multiple classes of restricted parking
US10525903B2 (en) * 2017-06-30 2020-01-07 Aptiv Technologies Limited Moving traffic-light detection system for an automated vehicle
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10839303B2 (en) * 2017-08-21 2020-11-17 Sap Se Automatic detection and correction of license plate misidentification
EP3687863A4 (en) 2017-09-29 2020-12-02 Netradyne, Inc. MULTIPLE EXPOSURE EVENT DETERMINATION
EP4283575A3 (en) 2017-10-12 2024-02-28 Netradyne, Inc. Detection of driving actions that mitigate risk
US11260875B2 (en) 2017-12-07 2022-03-01 Uatc, Llc Systems and methods for road surface dependent motion planning
CN111492366B (zh) * 2017-12-21 2024-08-13 华为技术有限公司 一种信息检测方法及移动设备
US11022971B2 (en) 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
CN111788532B (zh) 2018-02-28 2022-05-10 北美日产公司 用于自主运载工具决策的运输网络基础设施
GB201804194D0 (en) 2018-03-15 2018-05-02 Blue Vision Labs Uk Ltd Urban Environmrnt labeling
US10521913B2 (en) 2018-03-29 2019-12-31 Aurora Innovation, Inc. Relative atlas for autonomous vehicle and generation thereof
US11256729B2 (en) 2018-03-29 2022-02-22 Aurora Operations, Inc. Autonomous vehicle relative atlas incorporating hypergraph data structure
US10503760B2 (en) 2018-03-29 2019-12-10 Aurora Innovation, Inc. Use of relative atlas in an autonomous vehicle
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
EP3865822B1 (en) * 2018-05-15 2024-10-02 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation
DE102018210125B4 (de) * 2018-06-21 2024-10-10 Volkswagen Aktiengesellschaft Zuordnung von Ampel zu zugehörigen Fahrstreifen
US10373502B1 (en) 2018-07-26 2019-08-06 Fca Us Llc Techniques for detecting multiple turn lane driving scenarios and suppressing blind spot monitoring warnings
US10832093B1 (en) * 2018-08-09 2020-11-10 Zoox, Inc. Tuning simulated data for optimized neural network activation
EP3841516A1 (en) * 2018-08-22 2021-06-30 Starship Technologies OÜ Method and system for traffic light signal detection and usage
CN109271892A (zh) * 2018-08-30 2019-01-25 百度在线网络技术（北京）有限公司 一种物体识别方法、装置、设备、车辆和介质
CN109035831B (zh) * 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 交通指示灯的识别方法、装置、设备、存储介质及车辆
WO2020055767A1 (en) * 2018-09-10 2020-03-19 Mapbox, Inc. Mapping objects detected in images to geographic positions
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
CN112740220A (zh) * 2018-09-21 2021-04-30 丰田自动车欧洲公司 用于交通灯识别的系统和方法
WO2020076959A1 (en) 2018-10-09 2020-04-16 Stc, Inc. Systems and methods for traffic priority systems
JP7172441B2 (ja) 2018-10-25 2022-11-16 トヨタ自動車株式会社 進行可能方向検出装置及び進行可能方向検出方法
JP7044038B2 (ja) 2018-11-21 2022-03-30 トヨタ自動車株式会社 地図情報システム
US11016492B2 (en) 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
WO2020185504A1 (en) 2019-03-13 2020-09-17 Stc, Inc. Protected right turn
US11010641B2 (en) 2019-03-14 2021-05-18 Mapbox, Inc. Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device
US10957066B2 (en) 2019-03-19 2021-03-23 General Electric Company Systems and methods for locating humans using dynamic field robotic-sensor network of human robot team
DE102019211100A1 (de) * 2019-07-25 2021-01-28 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Aufbereiten von Daten über eine Ampelanlage
CN110687514B (zh) * 2019-10-16 2022-03-15 电子科技大学 一种非线性判别学习真假目标一维距离像特征提取方法
US11390300B2 (en) * 2019-10-18 2022-07-19 Uatc, Llc Method for using lateral motion to optimize trajectories for autonomous vehicles
DE102019130947A1 (de) * 2019-11-15 2021-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Zuordnen einer Verkehrsampel zu einer entsprechenden Fahrspur
US12112550B2 (en) 2020-01-07 2024-10-08 Motional Ad Llc Systems and methods for traffic light detection
US11854212B2 (en) * 2020-02-26 2023-12-26 Motional Ad Llc Traffic light detection system for vehicle
US11568651B2 (en) * 2020-03-23 2023-01-31 Pony Ai Inc. System and method for localization of traffic signs
AU2021247092A1 (en) 2020-03-28 2022-10-20 Deka Products Limited Partnership System and method for intersection management by an autonomous vehicle
CN111597986B (zh) * 2020-05-15 2023-09-29 北京百度网讯科技有限公司 用于生成信息的方法、装置、设备和存储介质
US11938939B1 (en) 2020-06-04 2024-03-26 Aurora Operations, Inc. Determining current state of traffic light(s) for use in controlling an autonomous vehicle
US11900689B1 (en) 2020-06-04 2024-02-13 Aurora Operations, Inc. Traffic light identification and/or classification for use in controlling an autonomous vehicle
US11527156B2 (en) * 2020-08-03 2022-12-13 Toyota Research Institute, Inc. Light emitting component-wise traffic light state, signal, and transition estimator
US11935309B2 (en) 2020-08-25 2024-03-19 Ford Global Technologies, Llc Determining traffic light labels and classification quality from infrastructure signals
US11681780B2 (en) 2020-09-30 2023-06-20 Nissan North America, Inc. Annotation and mapping for vehicle operation in low-confidence object detection conditions
TWI793454B (zh) * 2020-09-30 2023-02-21 緯創資通股份有限公司 交通狀態顯示系統及其相關交通狀態顯示方法
CN112489466B (zh) * 2020-11-27 2022-02-22 恒大新能源汽车投资控股集团有限公司 交通信号灯识别方法和装置
US11562572B2 (en) 2020-12-11 2023-01-24 Argo AI, LLC Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps
US11767028B2 (en) 2020-12-11 2023-09-26 Aptiv Technologies Limited Change detection criteria for updating sensor-based reference maps
CN112507956B (zh) * 2020-12-21 2024-06-28 阿波罗智联(北京)科技有限公司 信号灯识别方法、装置、电子设备、路侧设备和云控平台
US11731630B2 (en) 2021-04-27 2023-08-22 Ford Global Technologies, Llc Methods and systems for asserting right of way for traversing an intersection
JP7494809B2 (ja) 2021-06-29 2024-06-04 株式会社デンソー 支援装置、支援方法、支援プログラム
US12008819B2 (en) 2021-08-04 2024-06-11 Telenav, Inc. Navigation system with mono-camera based traffic sign tracking and positioning mechanism and method of operation thereof
DE102021128785A1 (de) * 2021-11-05 2023-05-11 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Ermittlung der Entfernung eines Lichtsignalgebers
US12046049B2 (en) * 2021-12-01 2024-07-23 Motional Ad Llc Automatically detecting traffic signals using sensor data
CN115116250B (zh) * 2022-06-20 2023-08-25 广州小鹏汽车科技有限公司 交通灯信息显示方法及其装置、车辆和存储介质
US20240029559A1 (en) * 2022-07-21 2024-01-25 GM Global Technology Operations LLC Augmented reality display for traffic signal awareness
CN115294766B (zh) * 2022-07-31 2023-06-23 东风汽车集团股份有限公司 虚拟红绿灯构建方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259969A (ja) * 2000-12-25 2002-09-13 Matsushita Electric Ind Co Ltd 画像検出装置、プログラムおよび記録媒体
JP2004163353A (ja) * 2002-11-15 2004-06-10 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2005004516A (ja) * 2003-06-12 2005-01-06 Nec Commun Syst Ltd 進路確認システム
JP2005216086A (ja) * 2004-01-30 2005-08-11 Nissan Motor Co Ltd 運転支援装置
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP2006131055A (ja) * 2004-11-04 2006-05-25 Denso Corp 車両走行制御装置
JP2007072987A (ja) * 2005-09-09 2007-03-22 Denso Corp 環境認識装置
JP2007241469A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 画像処理システム
JP2007263737A (ja) * 2006-03-28 2007-10-11 Clarion Co Ltd ナビゲーション装置、方法及びプログラム
JP2008002906A (ja) * 2006-06-21 2008-01-10 Toyota Motor Corp 測位装置
JP2010530997A (ja) * 2007-04-19 2010-09-16 テレ アトラス ベスローテン フエンノートシャップ 道路情報を生成する方法及び装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4814765A (en) * 1987-06-12 1989-03-21 Econolite Control Products, Inc. Method and apparatus for displaying the status of a system of traffic signals
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
US5633629A (en) * 1995-02-08 1997-05-27 Hochstein; Peter A. Traffic information system using light emitting diodes
JP4800455B2 (ja) * 1999-02-19 2011-10-26 富士通株式会社 車速計測方法および装置
JP2001052297A (ja) * 1999-08-06 2001-02-23 Fujitsu Ltd 安全走行支援装置、その方法及び記録媒体
EP1220182A3 (en) 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
JP4253275B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 車両制御システム
JP4483305B2 (ja) * 2004-01-16 2010-06-16 トヨタ自動車株式会社 車両周辺監視装置
US20050187701A1 (en) * 2004-02-23 2005-08-25 Baney Douglas M. Traffic communication system
JP2005346287A (ja) * 2004-06-01 2005-12-15 Denso Corp 画像認識方法および装置
JP4423114B2 (ja) * 2004-06-02 2010-03-03 アルパイン株式会社 ナビゲーション装置およびその交差点案内方法
JP4507815B2 (ja) * 2004-07-09 2010-07-21 アイシン・エィ・ダブリュ株式会社 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
US7573402B2 (en) * 2005-08-25 2009-08-11 Herbert William J Dual laser beam guidance and parking device
JP2007320458A (ja) * 2006-06-01 2007-12-13 Toyota Motor Corp 車間距離制御装置
JP4241834B2 (ja) * 2007-01-11 2009-03-18 株式会社デンソー 車載霧判定装置
JP4915281B2 (ja) * 2007-05-24 2012-04-11 アイシン・エィ・ダブリュ株式会社 信号機検出装置、信号機検出方法及びプログラム
CN201153280Y (zh) * 2008-01-28 2008-11-19 中兴通讯股份有限公司 一种具有红绿灯识别功能的手机

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259969A (ja) * 2000-12-25 2002-09-13 Matsushita Electric Ind Co Ltd 画像検出装置、プログラムおよび記録媒体
JP2004163353A (ja) * 2002-11-15 2004-06-10 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2005004516A (ja) * 2003-06-12 2005-01-06 Nec Commun Syst Ltd 進路確認システム
JP2005216086A (ja) * 2004-01-30 2005-08-11 Nissan Motor Co Ltd 運転支援装置
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP2006131055A (ja) * 2004-11-04 2006-05-25 Denso Corp 車両走行制御装置
JP2007072987A (ja) * 2005-09-09 2007-03-22 Denso Corp 環境認識装置
JP2007241469A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 画像処理システム
JP2007263737A (ja) * 2006-03-28 2007-10-11 Clarion Co Ltd ナビゲーション装置、方法及びプログラム
JP2008002906A (ja) * 2006-06-21 2008-01-10 Toyota Motor Corp 測位装置
JP2010530997A (ja) * 2007-04-19 2010-09-16 テレ アトラス ベスローテン フエンノートシャップ 道路情報を生成する方法及び装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015518600A (ja) * 2012-03-26 2015-07-02 グーグル・インク 交通信号とそれらに関連した状態を検出するためのロバスト法
US9796386B2 (en) 2012-03-26 2017-10-24 Waymo Llc Robust method for detecting traffic signals and their associated states
US10906548B2 (en) 2012-03-26 2021-02-02 Waymo Llc Robust method for detecting traffic signals and their associated states
US11731629B2 (en) 2012-03-26 2023-08-22 Waymo Llc Robust method for detecting traffic signals and their associated states

Also Published As

Publication number Publication date
US20140185880A1 (en) 2014-07-03
US8818043B2 (en) 2014-08-26
CN102792316B (zh) 2016-05-18
JP2017004558A (ja) 2017-01-05
US8712104B2 (en) 2014-04-29
KR20120118478A (ko) 2012-10-26
EP2526508B1 (en) 2018-04-04
US8559673B2 (en) 2013-10-15
JP6494719B2 (ja) 2019-04-03
EP2526508A1 (en) 2012-11-28
JP2018013497A (ja) 2018-01-25
KR101534056B1 (ko) 2015-07-06
WO2011091099A1 (en) 2011-07-28
US20110182475A1 (en) 2011-07-28
CN102792316A (zh) 2012-11-21
JP6006641B2 (ja) 2016-10-12
US20140016826A1 (en) 2014-01-16
JP6230673B2 (ja) 2017-11-15

Similar Documents

Publication Publication Date Title
JP6494719B2 (ja) 交通信号マップ作成及び検出
US10872531B2 (en) Image processing for vehicle collision avoidance system
US10077054B2 (en) Tracking objects within a dynamic environment for improved localization
US10849543B2 (en) Focus-based tagging of sensor data
Fairfield et al. Traffic light mapping and detection
US9990732B2 (en) Entity recognition system
KR102565573B1 (ko) 서브시스템 성능 평가를 위한 메트릭 역전파
CN111221012A (zh) 用于基于周围环境改进的位置决策的方法和设备
US11481579B2 (en) Automatic labeling of objects in sensor data
US11593996B2 (en) Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles
US11475263B2 (en) Automatic labeling of objects in sensor data
KR20240047408A (ko) 비전 기반 시스템을 위한 검출된 오브젝트 경로 예측
US11908095B2 (en) 2-D image reconstruction in a 3-D simulation
CN113928335A (zh) 用于控制具有自主驾驶模式的车辆的方法和系统
JP2021124633A (ja) 地図生成システム及び地図生成プログラム
US20240127603A1 (en) Unified framework and tooling for lane boundary annotation
US20230194301A1 (en) High fidelity anchor points for real-time mapping with mobile devices
CN112805200B (zh) 交通场景的快照图像

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151126

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160215

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160909

R150 Certificate of patent or registration of utility model

Ref document number: 6006641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees