JP2021532382A - 車載型車両カメラを較正するシステムおよび方法 - Google Patents

Abstract

カメラを較正する方法が本明細書中で提供される。本方法は、少なくとも交通標識を含む画像を捕捉することを含み得る。そして、交通標識の場所は、画像を用いて決定され得、この決定は、車両の場所および方向、ならびに車両に対するカメラの場所および方向を入力として採用することを含み得る。方法は、交通標識の実際の場所を取得することも含み得る。決定された場所が実際の場所と異なる場合、カメラは、再較正を要求することを決定され得る。

Description

（関連出願への相互参照）
本願は、２０１８年７月３０日に出願され米国仮特許出願第６２／７１２，０４５号の米国特許法§１１９（ｅ）の下の利益を主張し、その内容は、参照によってその全体が本明細書中に援用される。

（背景）
車両、特に自律車両は、しばしば、正確な画像情報を提供することによって車両の視野を補い、これを補強するために、複数の車載カメラの補助を伴って動作する。しばしば、車載カメラによって捕捉された画像は、座標系を活用して、画像内に捕捉されたコンテンツおよび物体の距離および角度を決定する。そのようなリアルタイム空間情報は、車両全体に位置する種々の車載カメラを用いて車両の近くで獲得され得、そして、車両の安全な運転動作を計算し、決定するために処理され得る。その結果、エラーなく物体を適当に検出し、測定するために、車載カメラが搭載され、正しい場所、配置、および角度に適切に較正されることが必須である。

現在の解決策は、選択エリア（例えば、ガレージ）内に較正パネルを設置して、車載カメラを較正することを含む。しかしながら、これは、ハードウェアの設置を要求するだけでなく、特に車両が較正パネルの近くに駐車され、または据えられなければならないので、一日にわたって実施され得る較正の数を大幅に制限する。その結果、車載カメラは、長時間較正されないことがある。

（概要）
車載型車両カメラを較正する方法およびシステムが本明細書中で説明される。一実施形態では、車両に設置されたカメラを再較正する方法が提供され、方法は、カメラを用いて、少なくとも交通標識を含む画像を捕捉することと、車両の場所および方向と車両に対するカメラの場所および方向とを入力として採用し、画像を用いて交通標識の場所を決定することと、交通標識の実際の場所を取得することと、決定された場所が実際の場所と異なる場合、カメラが再較正を必要とすることを決定することとを含む。

いくつかの実施形態では、方法は、補正後、交通標識の決定された場所が交通標識の実際の場所に一致するように、車両に対するカメラの場所または方向を補正することをさらに含む。

いくつかの実施形態では、交通標識は、信号機、停止標識、および街路標識から成る群から選択される。いくつかの実施形態では、交通標識は、信号機である。いくつかの実施形態では、２つ以上の信号機が、画像内に捕捉され、再較正のために用いられる。

いくつかの実施形態では、交通標識の実際の場所は、車両内のストレージデバイス内に記憶された高精度ＧＰＳマップから取得される。いくつかの実施形態では、交通標識の実際の場所は、車両の１つ以上の他のカメラによって取得される。いくつかの実施形態では、交通標識の実際の場所は、車両のＬｉＤＡＲユニットによって取得される。いくつかの実施形態では、車両の場所および方向は、車両内のＧＰＳユニットによって決定される。

本開示の別の実施形態は、車両に設置されたカメラを再較正する方法を提供し、方法は、カメラを用いて、少なくとも交通標識を含む画像を捕捉することと、交通標識の実際の場所を取得することと、車両の場所および方向と車両に対するカメラの場所および方向とを入力として採用し、画像内の交通標識の見積もり位置を決定することと、交通標識が画像内の決定された位置にない場合、カメラが再較正を必要とすることを決定することとを含む。

いくつかの実施形態では、方法は、補正後、交通標識の決定された位置が交通標識の見積もり位置に一致するように、車両に対するカメラの位置を補正することをさらに含む。いくつかの実施形態では、交通標識は、信号機、停止標識、および街路標識から成る群から選択される。いくつかの実施形態では、交通標識は、信号機である。いくつかの実施形態では、２つ以上の信号機が、画像内に捕捉され、再較正のために用いられる。

いくつかの実施形態では、画像内に捕捉された交通標識の見積もり位置は、左角視、右角視、底角視、前角視、または背角視にある。いくつかの実施形態では、交通標識の実際の場所は、車両の１つ以上の他のカメラによって取得される。いくつかの実施形態では、交通標識の実際の場所は、車両のＬｉＤＡＲユニットによって取得される。いくつかの実施形態では、車両の場所および方向は、車両内のＧＰＳユニットによって決定される。

本技術の種々の実施形態の特定の特徴が、特に付随する請求項で述べられる。本技術の特徴および利点のより良い理解は、本発明の原理が活用される例証的な実施形態を述べる以下の詳細な説明と、添付の図面を参照することによって得られるであろう。

図１は、ある実施形態による、複数の車載カメラを含む車両の例を描写する概略図である。

図２は、種々の実施形態による、車載カメラ較正システムを図示する。

図３は、種々の実施形態による、交差点において複数の信号機によって較正される複数の車載カメラを有する車両を図示する。

図４は、ある実施形態による、車載カメラ搭載ユニットを較正する方法の例のフローチャートである。

図５は、本明細書中で説明される実施形態のいずれかが実装され得るコンピュータシステムの例のブロック図を描写する。

以下の説明では、本発明の種々の実施形態の徹底的な理解を提供するために特定の詳細が述べられる。しかしながら、当業者は、本発明がこれらの詳細なしで実施され得ることが理解されるであろう。さらに、本発明の種々の実施形態が本明細書中で開示される一方で、当業者の共通の一般的知識による本発明の範囲内で、多くの改造物および変形物が作製され得る。そのような変形物は、実質的に同一の方法で同一の結果を達成するために、本発明の任意の側面を公知の同等物で置き換えることを含む。

文脈が別のことを要求しない限り、本明細書および請求項の全体において、「備える（ｃｏｍｐｒｉｓｅ）」という語、ならびに「備える（ｃｏｍｐｒｉｓｅｓ）」および「備えている（ｃｏｍｐｒｉｓｉｎｇ）」等の変化形は、「含むが、限定されない（ｉｎｃｌｕｄｉｎｇ，ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」として制限のない包括的な意味で解釈される。本明細書全体にわたる値の数値的範囲の記載は、範囲を画定する値を含む範囲内に属する各々の別個の値をそれぞれ言及することの簡易表記としての役割を果たすことが意図され、各々の別個の値は、それが本明細書中にそれぞれ記載されているかのように本明細書中に組み込まれる。加えて、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明確に他のことを指示しない限り、複数の指示物を含む。

この明細書全体にわたる「一実施形態」または「ある実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、この明細書全体における種々の箇所での「一実施形態では」または「ある実施形態では」という表現の出現は、必ずしも全てが同一の実施形態を言及しているわけではいないが、いくつかの例にあり得る。さらに、特定の特徴、構造または特性は、１つ以上の実施形態において任意の適した態様で組み合わせられ得る。

本開示の種々の実施形態は、車両における１つ以上のカメラを較正し、または再較正するシステムおよび方法を提供する。較正は、車両が動作しているときに一般に見られる交通標識、特にカメラが動作を導く／調整するために捕捉する必要がある交通標識を利用する。交通標識の非限定的な例は、信号機である。車両が交差点に近付くと、カメラのうちの１つ以上は、交差点にある信号機のうちの１つ以上の色を検出して適切な運転行動を決定するように命令される。

効率的な信号機の検出を確実にするために、車両は、信号機のＧＰＳ位置を含む高解像度ＧＰＳマップを予め装備され得る。したがって、車両のＧＰＳ位置、車両の向き、および車両上のカメラの場所によって、車両は、カメラに対する信号機の位置を正確に予測し得る。そのような相対的場所は、既存の較正パラメータでカメラによって実際に決定される場所と比較され得る。２つの場所が一致する（またはわずかな不一致を有する）場合、再較正は要求されない。２つの場所が互いに一致しない場合（または距離が閾値より大きい場合）、再較正が要求され、および／または実施され得る。

一実施形態では、較正方法は、カメラで少なくとも交通標識の画像を捕捉することと、画像を用いて交通標識の場所を決定することと、車両の場所および方向、ならびに車両に対するカメラの場所および方向を入力として採用することと、交通標識の実際の場所を取得することと、決定された場所が実際の場所と異なる場合、カメラが再較正を要求することを決定することとを含む。

あるいは、別の実施形態では、方法は、カメラで少なくとも交通標識を含む画像を捕捉することと、交通標識の実際の場所を取得することと、画像内の交通標識の見積もり位置を決定することと、車両の場所および方向、ならびに車両に対するカメラの場所および方向を入力として採用することと、交通標識が画像内の決定された位置にない場合、カメラが再較正を要求することを決定することとを含む。

本明細書中で説明される種々の実施形態は、車載型車両カメラを較正するシステムおよび方法に関する。図１は、ある実施形態による複数の車載カメラ架台１０２ａ−１０２ｇを含む車両１００の例を描写する概略図である。本開示における車両１００は、その環境を感知し、車載カメラ架台１０２ａ−１０２ｇに配置された車載カメラを活用して、人間のわずかな入力でまたは人間の入力なしでナビゲートすることが可能な車両１００を表すことを意図される。図１に描写される例では、車両１００は、８つの車載カメラ架台１０２ａ−１０２ｇ（本明細書中でこれ以降、集合的に車載カメラユニット１０２と称される）を含み、車載カメラユニット１０２は、種々の車載カメラを搭載するように構成され得る。例として、車載カメラは、車両１００の前方、側方および後方の周辺領域の画像およびビデオを捕捉し得るスチールカメラおよび／またはビデオカメラであり得る。車載カメラは、車載カメラ架台１０２ａ−１０２ｇの頂部に特定の位置および角度で搭載され、かつ向けられ、先行する車両および後行する車両のみならず、歩行者、物体、および車両１００の略付近を囲む道路状況の画像およびビデオを撮影し得る。

一実施形態では、車両１００は、セダン、ＳＵＶ、ハッチバック車等の通常の乗用車タイプのうちの１つである。別の実施形態では、車両１００は、バス、トラック、トレーラー等の商用車タイプのうちの１つである。図１の例では、運転補助車両１００は、車載カメラ架台ユニット１０２のうちの１つ以上からの入力に基づいて、車両の環境を感知することが可能である。より詳しくは、車載カメラ架台ユニット１０２は、２つの車載カメラ架台ユニット（前方のカメラ架台ユニット）１０２ａおよび１０２ｂと、２つの車載カメラ架台ユニット（右側のカメラ架台ユニット）１０２ｃおよび１０２ｄと、２つのカメラ架台ユニット（後方のカメラ架台ユニット）１０２ｅおよび１０２ｆと、２つの車載カメラ架台ユニット（左側のカメラ架台ユニット）１０２ｇおよび１０２ｈとを含み得る。車載カメラ架台ユニット１０２の各々は、フレーム画像等の画像を捕捉するように構成され得る。しかしながら、車載カメラ架台ユニット１０２がＬｉＤＡＲ（光検出および測距）センサおよびレーダセンサ等の他の種々のセンサを搭載するようにも構成され得ることが留意されるべきである。

いくつかの実施形態では、車載カメラ架台ユニット１０２の数および搭載位置は、図１に描写される例と異なり得る。例えば、車載カメラ架台ユニット１０２の総数は、８つより少ないことも、多いこともある。別の例では、車両１００の各側面における車載カメラ架台ユニット１０２の数は、２つより少なくとも多くともよい。より詳しい実施形態では、車両１００の前側における車載カメラ架台ユニット１０２の数（例えば３つ）は、車両１００の他の側における焦点可変レンズ架台ユニット１０２の数（例えば２つ）より多いこともある。有利に、そのような構成は、車両１００の前側においてより多くの画像を捕捉することが可能であり、車両１００が前方向に進むとき、車両１００は運転補助のためにより多くの画像を要求する。

図２は、種々の実施形態による車載カメラ較正システム２００を図示する。カメラ較正システム２００は、撮像デバイス２０５の群と、高精度ＧＰＳ２１０と、画像ストレージデバイス（ＲＡＭ）２１５と、車載型車両コンピュータ２２０と、較正ユニット２２５とを含み得、撮像デバイス２０５の群は、１つ以上の車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄを含み得る。

いくつかの実施形態では、撮像デバイス２０５は、画像を捕捉し出力するように構成された１つ以上の車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄを含み得る。より詳しくは、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄは、所定の較正標的の画像を捕捉するように構成され得る。例として、所定の較正標的は、交通標識を含み得る。いくつかの例では、交通標識は、信号機であり得る。そして、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄは、信号機の選択された部分の画像、または信号機における３つ全ての白熱電球の画像を捕捉するように構成され得る。他の例では、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄは、信号機のフレームの画像を捕捉するように構成され得る。加えて、他の例では、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄは、白熱電球および交通標識のフレームの両方の画像を捕捉するように構成され得る。

本明細書中で用いられる場合、所定の較正標的は、カメラ較正以外の目的のために、「実世界」環境（例えば、ガレージおよび／または他の試験専用環境ではない環境）で既に展開されている物体を含み得る。例えば、本明細書中の他の場所で議論されるように、所定の較正標的は、信号機を含み得る。

所定の較正標的としての交通標識が信号機に限定される必要はないことが留意されるべきである。代わりに、交通標識は、停止標識、街路標識、および他の所定の較正標的等も含み得る。加えて、所定の較正標的は、道路またはその近くに高確率で出現し、道路で容易に視認される他の物体またはアイテムも含み得る。捕捉された所定の較正標的の画像のいずれかが、画像ストレージデバイス（ＲＡＭ）２１５に記憶され、車載型車両コンピュータ２２０によってレビューされ処理され得る。

車両は、ＧＰＳ２１０によって提供される情報を用いて、所定の較正標的（例えば、交通標識）が道路上で前方に近付いていることを通知され得る。例えば、ＧＰＳ２１０は、道路上に存在する交通標識の実際の場所を提供する詳細なマップを有する高精度ＧＰＳであり得る。ＧＰＳ２１０は、交通標識の場所に関する最新情報を含むために、継続的かつ頻繁に更新され得る。

ＧＰＳ２１０は、詳細なマップ上に示されるように、車両が前方の交通標識に近付いていることをＧＰＳ２１０が検出すると、ＧＰＳ２１０が撮像デバイス２０５に信号を送り、予期される前方の交通標識の１つ以上の画像を捕捉し得るように構成され得る。ＧＰＳ２１０は、車両が予期される交通標識から選択された所定距離にあるとき、ＧＰＳ２１０が車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄに信号を送り、予想される前方の交通標識の画像を捕捉し得るようにさらに構成され得る。

撮像デバイス２０５の車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが予期される前方の交通標識の画像を捕捉すると、捕捉された画像は、車載型車両コンピュータ２２０によって処理され得る。車載型車両コンピュータ２２０は、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄから捕捉された画像を用いて交通標識の場所を決定し得る。そのために、車載型車両コンピュータ２２０は、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄによって画像が捕捉されると同時に車両の場所および方向を入力し得る。例えば、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄによって１つ以上の画像が捕捉されたときの車両の場所は、リアルタイムでＧＰＳ２１０によって提供され得る。加えて、交通標識の１つ以上の画像が捕捉されたときの車両の角度および位置等の車両の方向も、リアルタイムでＧＰＳ２１０によって提供され得る。いくつかの例では、車両に対する車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの場所および方向も、画像をもとに交通標識の場所を決定するために、車載型車両コンピュータ２２０に入力され得る。

車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが再較正される必要があるか否かを決定するために、画像から抽出された交通標識の決定された場所は、それから、交通標識の実際の場所と比較され得る。車両に対する交通標識の実際の場所は、ＧＰＳ２１０に記憶されたマップをもとにした情報を用いてリアルタイムで決定され得る。

他の例では、交通標識の実際の場所は、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄを用いて決定され得る。車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄは、所定の較正標的（例えば、交通標識）を認識するようにも構成され得る。所定の較正標的が認識され識別されると、車両は、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの各々と、識別された道路上の交通標識との間の距離を決定し得る。距離は、ＬｉＤＡＲセンサおよび他の光学センサ等の種々のセンサを用いて決定され得る。ＬｉＤＡＲセンサの使用の場合、ＧＰＳ２１０が前方の交通標識の識別された場所を知らせると、ＬｉＤＡＲセンサが光パルスを送信する。ＬｉＤＡＲセンサは、交通標識で反射されるべき光パルスを送信し得る。光標識と車両との間の距離は、光パルスの伝播時間から計算される。ＧＰＳ２１０をもとにした車両の場所および方向に対する車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの間の検出された距離を活用して、交通標識の実際の場所が決定され得る。

別の例では、交通標識の実際の場所も、車両に位置付けられたＬｉＤＡＲセンサを用いて決定され得る。上で説明されるように、ＧＰＳ２１０が前方の交通標識の予期される場所を識別すると、ＬｉＤＡＲセンサは、ＧＰＳ２１０によって、パルスを送信するように知らされ得る。したがって、ＬｉＤＡＲセンサは、車両の場所および方向に対する交通標識の距離を決定することによって交通標識の実際の場所の正確な距離および場所を決定することができ得る。

画像から抽出された交通標識の決定された場所と、車載型車両コンピュータ２２０によって処理された交通標識の実際の場所とを比較することによって、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄは、いずれかの車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが再較正される必要があるか否かを決定し得る。例えば、決定された場所が、特定の車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄからの特定の取得された画像に対する実際の場所と異なる場合、較正モジュール２２５は、どの車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが再較正される必要があるかを決定し得る。それらの再較正される必要がある特定の車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが、較正ユニット２２５によって検出されると、較正ユニット２２５は、再較正される必要がある選択された車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄを知らせ得る。較正ユニット２２５は、車両に対するそれらの車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの場所および方向を補正し得、それによって、捕捉された画像から決定された交通標識の決定された場所は、補正後、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが再較正された交通標識の実際の場所に一致し得る。

他の実施形態では、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが再較正される必要があるか否かを決定することも、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの捕捉された画像から交通標識の見積もり位置を用いて決定され得る。交通標識の見積もり位置を決定することは、車載型車両コンピュータ２２０で交通標識の捕捉された画像を処理することによって決定され得る。車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが予期される前方の交通標識の画像を捕捉すると、車載型車両コンピュータ２２０は、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄによって画像が捕捉されたときの車両の場所および方向を入力し得る。加えて、車載型車両コンピュータ２２０は、車両に対するカメラの場所および方向も入力し得る。そして、これらの入力された情報を用いて、車載型車両コンピュータ２２０は、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの各々に対する交通標識の捕捉された画像内の交通標識の見積もり位置を決定することができ得る。例えば、車載型車両コンピュータ２２０は、捕捉された交通標識の画像が交通標識の左角視、右角視、底角視、前角視、または背角視のいずれを含むかを見積もることが可能であり得る。

車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが、捕捉された画像に関する交通標識の見積もり位置を活用して再較正される必要があるか否かを決定するために、交通標識の見積もり位置は、画像が捕捉されたときの交通標識の実際の位置と比較される。

交通標識の実際の位置を識別するために、車載型車両コンピュータ２２０は、交通標識の画像が車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄによって捕捉されたときの交通標識の実際の場所を決定し得る。上で議論されるように、交通標識の実際の場所は、ＧＰＳ、カメラ、およびＬｉＤＡＲセンサのうちのいずれかを用いて決定され得る。そして、交通標識の実際の位置を決定するために、車載カメラは、交通標識の画像が車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄによって捕捉されたときの車両の場所および方向に関連する交通標識の実際の場所を用い得る。その結果、車載型車両コンピュータ２２０は、車両および車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄに対する交通標識の実際の位置を決定することが可能であり得、交通標識が、車両、および車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの各々に対する交通標識の左角視、右角視、底角視、前角視、または背角視に位置していたか否かを含み得る。

そして、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが再較正される必要があるか否かを識別するために、画像内に捕捉された交通標識の見積もり位置は、交通標識の実際に決定された位置と比較される。捕捉された交通標識の見積もり位置が交通標識の実際の位置と異なる例では、較正ユニット２２５は、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄのうちの１つ以上が再較正される必要があることを知らせされる。較正ユニット２２５は、車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄのうちのどれが歪んで捕捉された交通標識の画像を生み出しているかを決定し得る。そして、較正ユニット２２５は、適切な車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄの車両に対する場所および方向を補正し得、それによって、補正後、画像内の標識の見積もり位置は、交通標識の実際の位置に一致する。

図３に図示されるように、１つ以上の交通標識３２０、３２５は、交差点または道路の区画に位置し得る。例として、車載カメラ３１０、３１５の各々は、車両３０５が交通標識３２０、３２５に近付くと、複数の交通標識３２０、３２５の各々を認識し、検出するように構成され得る。そして、交通標識３２０、３２５は、必要な場合、車載カメラを再構成するために用いられ得る。この特定の例は、車両３０５に位置する２つの車載カメラ３１０、３１５を開示しているが、任意の数の車載カメラが車両３０５に搭載され得ることが留意されるべきである。

所与の交差点において複数の交通標識３２０、３２５が存在し得るので、車載カメラ３１０、３１５の各々は、交通標識３２０、３２５の種々のプロファイル（例えば、信号機の前面視、信号機の側面視、信号機の背面視、および信号機の底面視）の１つ以上の視野角を有し得る。その結果、較正標的の種々のプロファイル視の各々の取得された画像は、車載カメラの捕捉された画像を用いて種々の交通標識の場所および位置を決定するために活用され得る。そして、このことは、単一の車載カメラが、複数の交通標識３２０、３２５の種々の角度および視点の画像を取得することを可能とする。

交通標識３２０、３２５の各々の決定された場所および決定された位置は、車載カメラ３１０、３１５によって提供される捕捉された画像から活用され得る。より詳しくは、交通標識の各々の決定された場所および決定された位置は、その後、交通標識の実際の場所および実際の位置と比較され得る。交通標識の実際の場所または実際の位置が、捕捉された画像をもとにして決定された場所または決定された位置と揃わない例では、適切な車内カメラの再較正が決定され、それによって再較正され得る。

いくつかの実施形態では、較正ユニット２２５は、適切な所定の較正標的（例えば、信号機、停止標識）が検出される度、および／または特定のタイプの所定の較正（例えば、信号機）が検出される度、１つ以上の撮像デバイス２０５（例えば、車載カメラ２０５ａ、車載カメラ２０５ｂ、車載カメラ２０５ｃ、および／または車載カメラ２０５ｄ）を再較正し、および／または再較正すべきか否かを決定し得る。いくつかの実施形態では、較正ユニット２２５は、定期的に、および／または１つ以上の閾値に基づいて、１つ以上の撮像デバイス２０５を再較正し、および／または再較正すべきか否かを決定し得る。例えば、較正ユニット２２５は、１つ以上の撮像デバイス２０５を、１つおきの検出された所定の較正標的に、３つの検出された所定の較正標的ごとに等、再較正すべきか否かを決定し得る。較正ユニット２２５は、種々の時間間隔で再較正を実施すべきか否かも決定し得る。例えば、所定の較正標的が検出され、再較正、および／または再較正が実施されるべきか否かの決定が、所定の時間（例えば、１時間、１日）発生しなかった場合、較正ユニット２０５は、再較正、および／または再較正を実施すべきか否かの決定をトリガし得る。本明細書中で用いられる場合、「時間」は、車両の走行時間（例えば、車両が電源を入れられている時間、および／または車両が移動している時間）、および／または絶対時間（例えば、車両が電源を入れられているか、電源を切られているか、移動しているか、移動していないか等に関係のない経過時間）であり得る。

いくつかの実施形態では、較正ユニット２０５は、再較正を実施し、かつ／または再較正を実施するか否かを決定するために、１つ以上の閾値を用い得る。例えば、較正ユニット２０５は、以前の再較正の履歴を保持し得る。走行期間（例えば、１日）および／または走行距離（例えば、３００マイル）内の再較正の数が、閾値（例えば、５回の再較正）を下回る場合、これは、撮像デバイス２０５が高い（または「最適な」）レベルで機能していることを示し得、再較正（および／または再較正するか否かの決定）が実施される数および／または速度が、低減させられ得る（例えば、１日１回ではなく２日に１回再較正し、かつ／または再較正するか否かを決定する）。これは、例えば、システムにおける演算量を低減させ、種々の演算リソースを他のタスクのために利用可能にし得る。一方、走行期間および／または走行距離内の較正の数（例えば、５回の再較正）が閾値を上回る場合、これは、撮像デバイス２０５が低い（または「最適でない」）レベルで機能していることを示し得、再較正（および／または再較正するか否かの決定）が実施される数および／または頻度が増加させられ得る（例えば、１日１回ではなく２日に１回再較正し、かつ／または再較正するか否かを決定する）。閾値は、手動で（例えば、ユーザ入力に基づいて）、かつ／または自動で（ユーザ入力を要求することなく）調節され得る。例えば、較正ユニット２０５は、機械学習を用いて、動的に閾値を更新し、かつ／または割り当て得る。

図４は、ある実施形態による、車載カメラを構成する例示的方法４００のフローチャートである。ここで説明される方法４００は、図２で説明される車載カメラ較正システムを用いて車載カメラを構成するステップを含み得る。このフローチャートならびに他のフローチャートおよび／または図において、フローチャートは、例として一続きのステップを例証している。ステップは、適切に、並列実行のために再編成され、または並び替えられ得ることが理解されるべきである。さらに、含まれ得るいくつかのステップは、明確性の目的で、多すぎる情報を提供することを回避するために取り除かれ得、含まれるいくつかのステップが取り除かれ得るが、例証の明確性の目的で含まれ得る。

方法４００は、ステップ４０５を含み得、ステップ４０５は、迫り来る予期された前方の所定の較正標的の画像を捕捉するように車両の車載カメラを構成することを含み、較正標的は、少なくとも交通標識を含み得る。車載カメラは、車両のストレージデバイス内に記憶された高精度ＧＰＳマップを活用して予期された前方の交通標識の画像を捕捉するように知らされ得る。例として、ＧＰＳマップが、所定の距離で予期される前方の交通標識を検出すると、車載カメラは、予期された交通標識の１つ以上の画像を捕捉するように知らされ得る。

そして、車両の車載型車両コンピュータは、ステップ４１０において、車載カメラによって提供された画像を用いて交通標識の場所および／または位置を決定し得る。例として、車載型車両コンピュータは、車両の場所および方向、ならびに車両に対するカメラの場所および方向を入力として採用することによって、画像から交通標識の場所を決定するように構成され得る。

他の例では、車載型車両コンピュータは、車両の場所および方向、ならびに車両に対するカメラの場所および方向を入力として採用することによって、画像から交通標識の位置を決定するように構成され得る。車載車両は、交通標識が車両および車載カメラに対して前面視か、背面視か、左側面視か、右側面視か、または底面視か等、交通標識の見積もり位置を決定することが可能であり得る。

次に、ステップ４１５では、車載カメラが捕捉した交通標識の実際の場所および／または実際の位置が、画像を介して決定され得る。交通標識の実際の場所は、車両内のストレージデバイス内に記憶された高精度ＧＰＳマップから決定され得る。他の例では、交通標識の実際の場所は、車載カメラを用いて決定され得る。車載カメラは、交通標識を認識するようにも構成され得る。交通標識が認識され識別されると、車両は、車載カメラの各々と交通標識との間の距離を決定し得る。距離は、ＬｉＤＡＲセンサおよび他の光学センサ等、種々のセンサを用いて決定され得る。

他の例では、交通標識の実際の場所も、車両に位置付けられたＬｉＤＡＲセンサを用いて決定され得る。上で説明されるように、ＬｉＤＡＲセンサは、ＧＰＳによって、ＧＰＳが前方の交通標識の予期される場所を識別するとパルスを送信するように知らされ得る。したがって、ＬｉＤＡＲセンサは、車両および車載カメラの場所および方向に対する交通標識の距離を決定することによって、交通標識の実際の場所の正確な場所を決定することが可能であり得る。

他の例では、交通標識の実際の位置が決定され得る。交通標識の実際の位置は、交通標識の画像が車載カメラによって捕捉されたときの交通標識の実際の場所を見出すことによって決定され得る。上で議論されるように、交通標識の実際の場所は、ＧＰＳ、カメラおよびＬｉＤＡＲセンサのうちのいずれかを用いて決定され得る。そして、交通標識の実際の位置を決定するために、車載カメラは、交通標識の画像が車載カメラによって捕捉されたときの車両の場所および方向に関連する交通標識の実際の場所を用い得る。その結果、車載型車両コンピュータは、交通標識の実際の場所を決定することが可能であり得、交通標識の実際の場所は、交通標識が、車両および車載カメラに対して前面視か、背面視か、左側面視か、右側面視か、または底面視のいずれに位置付けられたかを含み得る。

車載カメラ２０５ａ、２０５ｂ、２０５ｃ、２０５ｄが再較正を必要とするか否かを識別するために、ステップ４２０において、画像内に捕捉された交通標識の決定された場所および／または位置は、対応する交通標識の実際の場所および／または位置と比較される。

捕捉された画像に関連する交通標識の決定された場所および／または位置が、交通標識の実際の場所および／または位置と異なる例では、較正ユニットは、再較正される必要がある適切な車載カメラを通知され得る。較正ユニットは、車両に対する適切な車載カメラの場所および方向を補正し得、それによって、交通標識の決定された位置は、補正後、交通標識の実際の位置に一致する。加えて、他の例では、較正ユニットは、車両に対する適切な車載カメラの位置を補正し得、それによって、交通標識の決定された位置は、補正後、交通標識の実際の位置に一致するようになる。

図５は、本明細書中で説明される実施形態のいずれかが実装され得るコンピュータシステムの例のブロック図を描写する。本明細書中で用いられる場合、コンポーネントは、任意の形式のハードウェア、ソフトウェア、またはその組み合わせを活用して実装され得る。例えば、１つ以上のプロセッサ、コントローラ、ＡＳＩＣ、ＰＬＡ、ＰＡＬ、ＣＰＬＤ、ＦＰＧＡ、論理コンポーネント、ソフトウェアルーチンまたは他のメカニズムが、コンポーネントを形成するように実装され得る。本明細書中で説明される種々のコンポーネントは、個別のコンポーネントとして実装され得るか、または、説明される機能および特徴は、１つ以上のコンポーネント間で部分的にまたは全体的に共有され得る。つまり、この説明を読んだ後当業者に明らかであり得るように、本明細書中で説明される種々の特徴および機能は、任意の所与の適用で実装され得る。それらは、種々の組み合わせおよび順列で、１つ以上の別個のコンポーネントまたは共通のコンポーネント内に実装され得る。種々の特徴または機能的要素は、別個のコンポーネントとしてそれぞれ説明され、または請求され得るが、これらの特徴／機能は、１つ以上の共通のソフトウェアおよびハードウェアの間で共有され得ることが理解されるべきである。そのような説明は、別個のハードウェアまたはソフトウェアコンポーネントが、そのような特徴または機能を実装するために用いられることを要求せず、またはそのようなことを意味しない。

コンポーネントがソフトウェアを用いて全体的にまたは部分的に実装される場合、これらのソフトウェア要素は、それらに関して説明される機能を実行することが可能な演算または処理コンポーネントで動作するように実装され得る。１つのそのような例示的演算コンポーネントが、図５に示される。種々の実施形態は、この例示的演算コンポーネント５００に関して説明される。この説明を読んだ後、他の演算コンポーネントまたはアーキテクチャを用いたアプリケーションの実装の仕方が、当業者に明らかになるであろう。

ここで図５を参照すると、演算デバイス５００は、例えば、自己調節型ディスプレイ、デスクトップ、ラップトップ、ノートブック、およびタブレットコンピュータ内に見出される演算または処理能力を表し得る。それらは、ハンドヘルド演算デバイス（タブレット、ＰＤＡ、スマートフォン、携帯電話、パームトップ等）内に見出され得る。それらは、ワークステーションもしくはディスプレイを有する他のデバイス、サーバ、または所与の用途または環境のために望ましくもしくは適切であり得る任意の他のタイプの専用もしくは汎用演算デバイス内に見出され得る。演算コンポーネント５００は、所与のデバイス内に組み込まれ、または別様に利用可能な演算能力も表し得る。例えば、演算コンポーネントは、例えば、ポータブル演算デバイス、およびいくつかの形態の処理能力を含み得る他の電子デバイス等の他の電子デバイス内に見出され得る。

演算コンポーネント５００は、例えば１つ以上のプロセッサ、コントローラ、制御コンポーネント、または他の処理デバイスを含み得る。これは、プロセッサ、および／または、ナビゲーションシステム５１４およびそのコンポーネントパーツ、ナビゲーションサーバ／ネットワーク５２４、およびコントローラ５５０を形成するコンポーネントのうちのいずれか１つ以上を含み得る。プロセッサ５０４は、例えばマイクロプロセッサ、コントローラまたは他の制御論理等の汎用もしくは専用処理エンジンを用いて実装され得る。プロセッサ５０４は、バス５０２に接続され得る。しかしながら、任意の通信媒体が、演算コンポーネント５００の他のコンポーネントとの相互作用を促進するために、または外部と通信するために用いられ得る。

演算コンポーネント５００は、１つ以上のメモリコンポーネント（本明細書中で単にメインメモリ５０８と称される）も含み得る。例えば、ランダムアクセスメモリ（ＲＡＭ）または他の動的メモリは、情報およびプロセッサ５０４によって実行される命令を記憶するために用いられ得る。メインメモリ５０８は、プロセッサ５０４によって実行される命令の実行中、一時的な変数または他の中間情報を記憶するためにも用いられ得る。演算コンポーネント５００は、静的な情報およびプロセッサ５０４のための命令を記憶するために、バス５０２に結合された読み取り専用メモリ（「ＲＯＭ」）、および他の静的ストレージデバイスを同様に含み得る。

演算コンポーネント５００は、１つ以上の種々の形式の情報ストレージメカニズム５１０も含み得、情報ストレージメカニズム５１０は、例えばメディアドライブ５１２およびストレージユニットインタフェース５２０を含み得る。メディアドライブ４１２は、固定ストレージ媒体またはリムーバブルストレージ媒体５１４をサポートするために、ドライブまたは他のメカニズムを含み得る。例えば、ハードディスクドライブ、ソリッドステートドライブ、磁気テープドライブ、光学ドライブ、コンパクトディスク（ＣＤ）もしくはデジタルビデオディスク（ＤＶＤ）ドライブ（ＲまたはＲＷ）、または他のリムーバブルメディアドライブもしくは固定メディアドライブが提供され得る。ストレージ媒体５１４は、例えば、ハードディスク、集積回路アセンブリ、磁気テープ、カートリッジ、光ディスク、ＣＤまたはＤＶＤを含み得る。ストレージ媒体５１４は、メディアドライブ５１２によって読み取られ、メディアドライブ５１２に書き込まれ、またはメディアドライブ５１２によってアクセスされる任意の他の固定媒体またはリムーバブル媒体であり得る。これらの例が例証するように、ストレージ媒体５１４は、そこにコンピュータソフトウェアまたはデータを記憶したコンピュータ利用可能ストレージ媒体を含み得る。

代替的実施形態では、情報ストレージメカニズム５１０は、コンピュータプログラムまたは他の命令もしくはデータが演算コンポーネント５００にロードされることを可能とするための他の同様の手段を含み得る。そのような手段は、例えば固定ストレージユニットまたはリムーバブルストレージユニット５２２、ならびにインタフェース５２０を含み得る。そのようなストレージユニット５２２およびインタフェース５２０の例は、プログラムカートリッジおよびカートリッジインタフェース、リムーバブルメモリ（例えば、フラッシュメモリまたは他のリムーバブルメモリコンポーネント）およびメモリスロットを含み得る。他の例は、ＰＣＭＣＩＡスロットおよびカード、ならびに、ソフトウェアおよびデータがストレージユニット５２２から演算コンポーネント５００に移されることを可能とする他の固定ストレージユニットまたはリムーバブルストレージユニット５２２およびインタフェース５２０を含み得る。

演算コンポーネント５００は、通信インタフェース５２４も含み得る。通信インタフェース５２４は、ソフトウェアおよびデータが演算コンポーネント５００と外部デバイスとの間で移されることを可能とするために用いられ得る。通信インタフェース５２４の例は、モデムもしくはソフトモデム、ネットワークインタフェース（イーサネット（登録商標）、ネットワークインタフェースカード、ＷｉＭｅｄｉａ、ＩＥＥＥ８０２．ＸＸまたは他のインタフェース）を含み得る。他の例は、通信ポート（例えば、ＵＳＢポート、ＩＲポート、ＲＳ２３２ポートＢｌｕｅｔｏｏｔｈ（登録商標）インタフェース、または他のポート）または他の通信インタフェースを含む。通信インタフェース５２４を介して移されるソフトウェア／データは、信号で運ばれ得、信号は、電気信号、電磁波信号（光を含む）、または所与の通信インタフェース５２４によって交換されることが可能な他の信号であり得る。これらの信号は、チャンネル５２８を介して通信インタフェース５２４に提供され得る。チャンネル５２８は、信号を運び得、有線または無線通信媒体を用いて実装され得る。チャンネルのいくつかの例は、電話線、セルラ回線、ＲＦ回線、光回線、ネットワークインタフェース、ローカルエリアネットワークまたはワイドエリアネットワーク、ならびに他の有線通信チャンネルまたは無線通信チャンネルを含み得る。

本発明の前述の説明は、例証および説明の目的で提供された。それは、網羅的であること、または開示される精密な形態に本発明を限定することは意図されていない。本発明の幅および範囲は、上で説明される例示的な実施形態のいずれかによって限定されるべきではない。多くの変形物および変更物が当業者に明らかであるだろう。変形物および変更物は、開示される特徴の任意の適した組み合わせを含む。実施形態は、本発明の原理およびその実用的用途を最も良く説明し、それによって当業者が種々の実施形態として本発明を理解し、構想される特定の使用に適した種々の変形物を理解することを可能とするために、選択され説明された。本発明の範囲は、以下の請求項およびそれらの同等物によって定義されることが意図される。

Claims (18)

1. 車両に設置されたカメラを再較正する方法であって、前記方法は、
   前記カメラを用いて、少なくとも交通標識を含む画像を捕捉することと、
   前記車両の場所および方向と前記車両に対する前記カメラの場所および方向とを入力として採用し、前記画像を用いて前記交通標識の場所を決定することと、
   前記交通標識の実際の場所を取得することと、
   前記決定された場所が前記実際の場所と異なる場合、前記カメラが再較正を必要とすることを決定することと
   を含む、方法。
2. 補正後、前記交通標識の前記決定された場所が前記交通標識の前記実際の場所に一致するように、前記車両に対する前記カメラの場所または方向を補正することをさらに含む、請求項１に記載の方法。
3. 前記交通標識は、信号機、停止標識、および街路標識から成る群から選択される、請求項２に記載の方法。
4. 前記交通標識は、信号機である、請求項３に記載の方法。
5. ２つ以上の信号機が、前記画像内に捕捉され、前記再較正のために用いられる、請求項４に記載の方法。
6. 前記交通標識の前記実際の場所は、前記車両内のストレージ媒体内に記憶された高精度ＧＰＳマップから取得される、請求項１に記載の方法。
7. 前記交通標識の前記実際の場所は、前記車両の１つ以上の他のカメラによって取得される、請求項１に記載の方法。
8. 前記交通標識の前記実際の場所は、前記車両のＬｉＤＡＲユニットによって取得される、請求項１に記載の方法。
9. 前記車両の前記場所および前記方向は、前記車両内のＧＰＳユニットによって決定される、請求項１に記載の方法。
10. 車両に設置されたカメラを再較正する方法であって、前記方法は、
    前記カメラを用いて、少なくとも交通標識を含む画像を捕捉することと、
    前記交通標識の実際の場所を取得することと、
    前記車両の場所および方向と前記車両に対する前記カメラの場所および方向とを入力として採用し、前記画像内の前記交通標識の見積もり位置を決定することと、
    前記交通標識が前記画像内の前記決定された位置にない場合、前記カメラが再較正を要求することを決定することと
    を含む、方法。
11. 補正後、前記交通標識の前記決定された位置が前記交通標識の前記見積もり位置に一致するように、前記車両に対する前記カメラの位置を補正することをさらに含む、請求項１０に記載の方法。
12. 前記交通標識は、信号機、停止標識、および街路標識から成る群から選択される、請求項１０に記載の方法。
13. 前記交通標識は、信号機である、請求項１２に記載の方法。
14. ２つ以上の信号機が、前記画像内に捕捉され、前記再較正のために用いられる、請求項１３に記載の方法。
15. 前記画像内に捕捉された前記交通標識の前記見積もり位置は、左角視、右角視、底角視、前角視、または背角視にある、請求項１０に記載の方法。
16. 前記交通標識の前記実際の場所は、前記車両の１つ以上の他のカメラによって取得される、請求項１０に記載の方法。
17. 前記交通標識の前記実際の場所は、前記車両のＬｉＤＡＲユニットによって取得される、請求項１０に記載の方法。
18. 前記車両の前記場所および前記方向は、前記車両内のＧＰＳユニットによって決定される、請求項１０に記載の方法。

Images