JP2021016151A - 少なくとも１つのカメラと光検出および測距センサを較正するためのシステムおよび方法 - Google Patents

Abstract

【課題】１つのカメラとＬｉＤＡＲセンサの較正を容易に行えるようにする。【解決手段】システム１２は、プロセッサ２２と、初期較正モジュール３６およびユーザ較正モジュール３８を格納するメモリ３４を含む。初期較正モジュール３６は、プロセッサ２２に、カメラ１４からカメラ画像を取得させ、カメラ画像がエッジを持つ物体を含むときを判定させ、ＬｉＤＡＲセンサ１６からエッジを持つ物体を含む３次元点群画像を取得させ、カメラ画像の一部と３次元点群画像の一部を含む合成画像を生成させる命令を含む。ユーザ較正モジュール３８は、プロセッサ２２に、合成画像をディスプレイに表示させ、ユーザインターフェースから、３次元点群画像および／またはカメラ画像を移動する入力を受信させ、ユーザインターフェースからの入力に応じて、ＬｉＤＡＲセンサ１６とカメラ１４の少なくとも１つの較正パラメータを調整させる命令を含む。【選択図】図２

Description

本明細書に記載の主題は、概して、少なくとも１つのカメラと、光検出および測距（「ＬｉＤＡＲ」）センサを較正するためのシステムおよび方法に関する。

提供される背景技術の説明は、本開示の一般的な文脈を提示するためのものである。この背景技術の欄に記載されている可能性がある範囲での本発明者の研究、および出願時に先行技術としてみなされない可能性がある説明の記載の側面は、明示的にも黙示的にも現在の技術に対する先行技術として認容されない。

一部の車両、特に自律車両には、外部物体の存在を検出するための多数のセンサが装備されている。センサは、周囲環境の二次元画像を撮像することができる１つ以上のカメラを含むことができる。さらに、センサは、３次元の点群画像を撮像することができるＬｉＤＡＲセンサを含むことができる。システムが、カメラとＬｉＤＡＲセンサからのデータを正しく解釈するためには、カメラとＬｉＤＡＲセンサが、同じまたはそれに近い視野を撮像するように較正される必要がある。

一部のカメラとＬｉＤＡＲセンサは、チェッカーボードなどの既知のターゲットを使用して較正される。他のカメラとＬｉＤＡＲセンサは、ターゲットを必要とせずに較正され、環境内の物体を検出し、検出された物体に基づいてカメラとＬｉＤＡＲセンサの較正を試みることに依拠する。カメラとＬｉＤＡＲセンサの較正は面倒なので、カメラとＬｉＤＡＲセンサの較正は工場で行なわれることがある。

この欄は、本開示を一般的に要約したものであり、その完全な範囲またはそのすべての特徴を包括的に説明するものではない。

一実施形態において、少なくとも１つのカメラとＬｉＤＡＲセンサを較正するための方法は、少なくとも１つのカメラからカメラ画像を取得すること、カメラ画像が少なくとも１つのエッジを有する少なくとも１つの物体を含むときを判定すること、少なくとも１つのエッジを有する少なくとも１つの物体を含む３次元点群画像をＬｉＤＡＲセンサから取得すること、カメラ画像の少なくとも一部と３次元点群画像の少なくとも一部を含む合成画像を生成すること、その合成画像をディスプレイに表示すること、ディスプレイに表示された合成画像の３次元点群画像とカメラ画像との少なくとも１つを移動する少なくとも１つの入力をユーザインターフェースから受信すること、および、ユーザインターフェースからの１つ以上の入力に応じて、ＬｉＤＡＲセンサと少なくとも１つのカメラとの少なくとも１つの較正パラメータを調整すること、を含む。

別の実施形態では、少なくとも１つのカメラとＬｉＤＡＲセンサを較正するためのシステムは、１つ以上のプロセッサと、初期較正モジュールとユーザ較正モジュールを格納する、１つ以上のプロセッサと通信するメモリと、を含む。初期較正モジュールは、１つ以上のプロセッサに、少なくとも１つのカメラからカメラ画像を取得させ、カメラ画像が少なくとも１つのエッジを有する少なくとも１つの物体を含むときを判定させ、少なくとも１つのエッジを有する少なくとも１つの物体を含む３次元点群画像をＬｉＤＡＲセンサから取得させ、および、カメラ画像の少なくとも一部と３次元点群画像の少なくとも一部を含む合成画像を生成させる命令を含む。ユーザ較正モジュールは、１つ以上のプロセッサに、ディスプレイに合成画像を表示させ、ユーザインターフェースから少なくとも１つの入力を受信させ、および、ユーザインターフェースからの１つ以上の入力に応じて、ＬｉＤＡＲセンサと少なくとも１つのカメラとの少なくとも１つの較正パラメータを調整させる命令を含む。

さらに別の実施形態では、少なくとも１つのカメラおよびＬｉＤＡＲセンサを較正するための非一時的なコンピュータ可読媒体は、１つ以上のプロセッサによる実行時に、その１つ以上のプロセッサに、少なくとも１つのカメラからカメラ画像を取得させ、カメラ画像が少なくとも１つのエッジを有する少なくとも１つの物体を含むときを判定させ、少なくとも１つのエッジを有する少なくとも１つの物体を含む３次元点群画像をＬｉＤＡＲセンサから取得させ、カメラ画像の少なくとも一部と３次元点群画像の少なくとも一部を含む合成画像を生成させ、その合成画像をディスプレイに表示させ、ディスプレイに表示された合成画像の３次元点群画像とカメラ画像との少なくとも１つを移動する少なくとも１つの入力をユーザインターフェースから受信させ、および、ユーザインターフェースからの１つ以上の入力に応じて、ＬｉＤＡＲセンサと少なくとも１つのカメラとの少なくとも１つの較正パラメータを調整させる命令を含む。

開示された技術を強化するための更なる適用可能な領域および様々な方法が、提供される説明から明らかになるであろう。本概要の説明および特定の例は、例示のみを目的としており、本開示の範囲を限定することを意図していない。

本明細書に組み込まれ、その一部を構成する添付図面は、本開示の様々なシステム、方法、および他の実施形態を示す。図中の図示された要素の区切り（例えば、ボックス、ボックスのグループ、または他の形状）は、区切りの一実施形態を表すことが理解されるであろう。いくつかの実施形態では、１つの要素が複数の要素として設計されてもよく、あるいは複数の要素が１つの要素として設計されてもよい。いくつかの実施形態では、別の要素の内部コンポーネントとして示される要素は、外部コンポーネントとして実現されてもよく、その逆であってもよい。さらに、要素は縮尺どおりに描画されない場合がある。

少なくとも１つのカメラとＬｉＤＡＲセンサを較正するためのシステムを備えた車両の一例を示す。 少なくとも１つのカメラとＬｉＤＡＲセンサを較正するためのシステムのより詳細なブロック図である。 少なくとも１つのカメラとＬｉＤＡＲセンサのいずれかの較正パラメータを調整するためのユーザインターフェースのスクリーンショットを示す。 少なくとも１つのカメラとＬｉＤＡＲセンサを較正するための方法を示す。

少なくとも１つのカメラとＬｉＤＡＲセンサを較正するためのシステムおよび方法は、１つ以上のプロセッサと、初期較正モジュールおよびユーザ較正モジュールを格納するメモリデバイスとを含む。初期較正モジュールは、１つ以上のプロセッサに、カメラからのカメラ画像とＬｉＤＡＲセンサからの３次元点群画像を取得させる。その後、これらの画像は合成され、合成画像を形成する。

合成画像は表示装置に表示され、ユーザがカメラ画像と３次元点群画像が合成画像において正しく一致するかどうかを確認することを可能にする。ユーザは、ユーザインターフェースを介して、カメラ画像および／または３次元点群画像を移動させ、それらが一致するように、それらの画像の位置を微調整することができる。これが完了すると、ユーザインターフェースによってユーザが提供した入力が、少なくとも１つのカメラおよび／またはＬｉＤＡＲセンサの較正パラメータを調整するために利用される。

図１を参照すると、道路１１を走行する車両１０が示されている。車両１０は、車両１０に取り付けられたカメラ１４およびＬｉＤＡＲセンサ１６を較正するためのシステム１２を含む。車両１０は、ある場所から別の場所へ人または物品を輸送することが可能な、いくつかの異なるタイプの車両のうちのいずれかであってもよい。図１に示す例では、車両１０は自動車の形態をしている。しかしながら、車両１０は、トラック、大型トラック、トラクタートレーラー、トラクター、鉱山用車両、軍用車両などのいくつかの異なる形態のうちの任意の１つを取ることができる。さらに、車両１０は、地上を走行する車両に限定されず、航空機や水上船舶を含むことができる。

後に、本明細書でより詳細に説明するように、車両１０は、車両１８および２０のような他車両、道路標識１９、動物、歩行者、または任意の種類の物体などの物体を検出するために、カメラ１４およびＬｉＤＡＲセンサ１６を利用する。車両１０は、カメラ１４および／またはＬｉＤＡＲセンサ１６から収集されたデータを利用して、車両を目的地まで安全に操縦し、および／または、車両１０が車両１８および２０などの他の物体と衝突することを防止するように修正措置を講じることができる半自律または自律車両であってもよい。

したがって、カメラ１４およびＬｉＤＡＲセンサ１６で収集されるデータは、信頼性があり有用なものであるべきである。これを達成するために、カメラ１４およびＬｉＤＡＲセンサ１６は、互いに較正されるべきである。カメラ１４およびＬｉＤＡＲセンサ１６は、環境の相補的情報を提供する。カメラ１４は、カメラ１４の視野内に位置する物体の色、質感、および外観を含むことができる２次元画像を撮影することができる。ＬｉＤＡＲセンサ１６は、環境内の物体の３次元構造情報を検出することができる。そのため、ＬｉＤＡＲセンサ１６に対するカメラ１４の回転および並進、またはその逆などの較正パラメータは、カメラ１４とＬｉＤＡＲセンサ１６から受信したデータを融合させるのに有用であり得るものであり、それらは他の車両システムによって使用され得る。

図２を参照すると、システム１２のより詳細な図が示されている。最初に、システム１２は車両１０内に配置されるものとして以前に説明されたが、システム１２は必ずしも車両内に配置される必要はないことを理解されたい。さらに、システム１２は必ずしも車両用途に利用される必要はないことを理解されたい。したがって、システム１２は、ＬｉＤＡＲセンサと少なくとも１つのカメラの較正を必要とする可能性があるさまざまな異なる用途に使用することができる。

システム１２は、カメラ１４と通信する１つ以上のプロセッサ２２、ＬｉＤＡＲセンサ１６、入力装置２４、表示装置２６、車両コントローラ２８、データストア３２、およびメモリデバイス３４を含むことができる。ＬｉＤＡＲセンサ１６は、単一のＬｉＤＡＲセンサであってもよいし、または複数のＬｉＤＡＲセンサであってもよい。ＬｉＤＡＲセンサ１６は、レーザ、スキャナ、光学系、光検出器、受信機エレクトロニクス、ナビゲーションおよび測位システムなどの複数の異なる構成要素のうちの任意の１つを有することができる。ＬｉＤＡＲセンサ１６は、いくつかの異なる検出方法のうちの任意の１つを利用することができる。例えば、ＬｉＤＡＲセンサ１６は、ダイレクトエネルギー検出および／またはコヒーレント検出のいずれかを利用することができる。

ＬｉＤＡＲセンサ１６は、環境内のシーンを調査し、３次元点群画像を生成するように構成されている。例えば、ＬｉＤＡＲセンサ１６は、それぞれエッジ２３、２５、２７を有する道路標識１７、１９、２１を含む視野３１を有することができる。ＬｉＤＡＲセンサ１６は、道路標識１７、１９、２１を含む環境を調査し、視野３１内に位置する環境と道路標識１７、１９、２１などの任意の物体の３次元点群画像を生成することができる。３次元点群画像は、１つ以上のプロセッサ２２に提供され得る。

カメラ１４は、単一のカメラであってもよいし、あるいは複数のカメラを含んでもよい。例えば、カメラ１４はステレオカメラであってもよい。カメラ１４は、それぞれエッジ２３、２５、２７を有する道路標識１７、１９、２１を含む視野３３を有することができる。カメラ１４は、道路標識１７、１９、２１を含む環境を調査し、視野３３内に位置する環境と道路標識１７、１９、２１などの任意の物体のカメラ画像を生成することができる。カメラ画像は２次元画像とすることができる。

入力装置２４は、ユーザがシステム１２の１つ以上のプロセッサ２２に情報を提供することを可能にする任意のタイプの装置とすることができる。たとえば、入力装置２４は、ユーザが１つ以上のプロセッサ２２に情報を提供することを可能にするタッチスクリーンおよび／またはキーボードであってもよい。一例において、入力装置２４は、図１の車両１０などの車両の内部に配置されたタッチスクリーンとすることができる。

表示装置２６は、ユーザがシステム１２の１つ以上のプロセッサ２２から視覚情報を受け取ることを可能にする任意のタイプの装置とすることができる。この情報は、カメラ１４によって撮影されたカメラ画像および／またはＬｉＤＡＲセンサ１６によって撮影された３次元点群画像を含むことができる。後に説明するように、情報は、カメラ画像と３次元点群画像との一部を含む合成画像を含むこともできる。さらに、表示装置２６および入力装置２４は、運転者からの情報の入力およびユーザへの情報の表示を可能にするタッチスクリーンとして組み込むことができることを理解されたい。表示装置２６は、図１の車両１０などの車両の内部に組み込むことができる。

システム１２は、車両コントローラ２８を含むこともできる。しかしながら、システム１２は、いくつかの異なる用途で利用されることができ、車両だけに限定されない。したがって、システム１２は、特に車両に関連しない用途で利用される場合、車両コントローラ２８を含まなくてもよい。

車両コントローラ２８は、１つ以上のアクチュエータ３０Ａ、３０Ｂ、および／または３０Ｃを使用して車両を制御可能なコントローラとすることができる。たとえば、アクチュエータ３０Ａは、車両のスロットルを制御でき、アクチュエータ３０Ｂは、車両のブレーキシステムを制御でき、アクチュエータ３０Ｃは、車両のステアリングシステムを制御できてもよい。車両コントローラ２８は、車両が他の物体と衝突するのを防止するために、運転者に半自律的および／または能動的な安全支援を提供することができてもよい。車両コントローラ２８は、車両に自律運転機能を提供することもでき、これにより、車両は最小限の運転者の入力または運転者の入力なしでそれ自体を操縦することを可能とすることができる。

データストア３２は、１つ以上のタイプのデータを格納することができる。データストア３２は、揮発性および／または不揮発性メモリを含むことができる。適切なデータストア３２の例は、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（読み取り専用メモリ）、ＰＲＯＭ（プログラム可能な読み取り専用メモリ）、ＥＰＲＯＭ（消去可能、プログラム可能な読み取り専用メモリ）、ＥＥＰＲＯＭ（電気的に消去可能であるプログラム可能な読み取り専用メモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、またはその他の任意の適切な記憶媒体、もしくはそれらの任意の組み合わせを含む。データストア３２は、１つ以上のプロセッサ２２のコンポーネントとすることができ、または、データストア３２は、それによる使用のために１つ以上のプロセッサ２２に動作可能に接続されることができる。この説明の全体にわたって使用される「動作可能に接続される」という用語は、直接的な物理的接触のない接続を含む、直接的または間接的な接続を含むことができる。例えば、データストア３２は、カメラ１４および／またはＬｉＤＡＲセンサ１６の較正パラメータを格納することができる。

メモリデバイス３４は、１つ以上のプロセッサ２２によって利用され得る情報を格納することが可能な任意のタイプのメモリでとすることができる。したがって、メモリデバイス３４は、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（読み取り専用メモリ）、ＰＲＯＭ（プログラム可能な読み取り専用メモリ）、ＥＰＲＯＭ（消去可能、プログラム可能な読み取り専用メモリ）、ＥＥＰＲＯＭ（電気的に消去可能であるプログラム可能読み取り専用メモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、またはその他の任意の適切な記憶媒体、もしくはそれらの任意の組み合わせを含む。本例では、メモリデバイス３４は、１つ以上のプロセッサ２２から分離しているが、メモリデバイス３４は、別個のデバイスではなく、１つ以上のプロセッサ２２のいずれかに組み込むことができることを理解されたい。また、メモリデバイス３４は、データストア３２と同じ記憶媒体を共用してもよい。

メモリデバイス３４は、１つ以上のプロセッサ２２によって実行されたとき、１つ以上のプロセッサ２２に、本開示で開示されるいくつかの異なる方法の任意の１つを実行させる１つ以上のモジュールを記憶することができる。本例では、メモリデバイス３４は、初期較正モジュール３６およびユーザ較正モジュール３８を含む。

初期較正モジュール３６は、１つ以上のプロセッサ２２によって実行されたとき、１つ以上のプロセッサ２２にいくつかの異なる機能を実行させる命令を含む。これらの機能は、カメラ１４からカメラ画像を取得することを含む。本例では、カメラ画像は、標識１７、１９、２１を含む視野３３を含むことができる。

初期較正モジュール３６は、１つ以上のプロセッサ２２に、カメラ画像が少なくとも１つのエッジを有する少なくとも１つの物体を含むときを判定させる命令も含む。本例では、プロセッサ２２は、道路標識１７、１９、２１の存在を判定することができる。初期較正モジュール３６は、１つ以上のプロセッサ２２が、カメラ画像が道路標識１７、１９、２１のエッジ２３、２５、２７をそれぞれ含むかどうかを判定もするように構成してもよい。初期較正モジュール３６は、特定の数または最小数の物体がカメラ画像内に存在することを必要とする命令を含むことができることを理解されたい。したがって、ただ１つの物体しか必要ではないが、初期較正モジュール３６は、エッジのある少なくとも３つの物体がカメラ画像内において検出されることを必要とする命令を含むことができる。

初期較正モジュール３６は、１つ以上のプロセッサ２２に、ＬｉＤＡＲセンサ１６から３次元点群画像を取得させる命令を含む。３次元点群画像は、カメラ画像において以前に撮影された１つ以上の物体を含むことができる。ここで、本例では、物体は、それぞれエッジ２３、２５、２７を有する道路標識１７、１９、２１を含むことができる。

初期較正モジュール３６は、１つ以上のプロセッサ２２に、三次元点群画像の少なくとも一部にカメラ画像の少なくとも一部を含む合成画像を生成させる命令も含むことができる。合成画像は、カメラ画像が３次元点群画像上に投影されたようなもの、および／または３次元点群画像がカメラ画像上に投影されたようなものであってもよい。

初期較正モジュール３６は、カメラ画像および／または３次元点群画像が、合成画像を生成することを可能にする適切なデータを有するかどうかを判定するための命令も含むことができる。たとえば、初期較正モジュール３６は、１つ以上のプロセッサ２２に、カメラ画像内の物体の数をカウントさせ、および三次元点群画像内の物体の数をカウントさせることを可能にする命令を含んでもよい。三次元点群画像およびカメラ画像内の物体の数が同じである場合、初期較正モジュール３６は、合成画像を生成してもよい。これは任意のステップであり得ることを理解されたい。さらに、適切なデータがカメラ画像および／または三次元点群画像に撮影されたことを判定するために利用され得るいくつかの異なる方法のうちのいずれか１つであってもよい。

初期較正モジュール３６は、１つ以上のプロセッサ２２に、カメラ画像および３次元点群画像に撮影された、道路標識１７、１９、２１のエッジ２３、２５、２７が、それぞれ、実質的に位置合わせされるように、カメラ画像および／または３次元点群画像を移動させる命令も含むことができる。カメラ画像および／または３次元点群画像の移動に基づいて、プロセッサ２２は、カメラ１４および／またはＬｉＤＡＲセンサ１６の較正パラメータを調整するように初期較正モジュール３６によって構成される。

カメラ１４および／またはＬｉＤＡＲセンサ１６の較正パラメータは、カメラ１４および／またはＬｉＤＡＲセンサ１６のヨー、ピッチ、ロール、および／または位置を含むことができる。カメラ１４および／またはＬｉＤＡＲセンサ１６は、提供される較正パラメータに対応するための、カメラ１４および／またはＬｉＤＡＲセンサ１６の調整を可能にする１つ以上のアクチュエータを含むことができる。あるいは、取得された各画像を較正パラメータを用いてソフトウェア処理により修正して、使用するようにしてもよい。

初期較正モジュール３６の命令を実行することによってプロセッサ２２によって生成された較正パラメータは、初期較正であると見なすことができる。初期較正の目的は、カメラ画像と３次元点群画像に撮影された道路標識１７、１９、２１のエッジ２３、２５、２７をそれぞれ部分的に位置合わせすることであってもよい。以降の段落で説明するように、この位置合わせの微調整はユーザによって実行され得る。

ユーザ較正モジュール３８は、１つ以上のプロセッサ２２に、合成画像を表示装置２６に表示させる、１つ以上のプロセッサ２２によって実行される命令を含む。本例では、表示装置２６は、車両１０の内部に配置されることができる。表示装置２６は、車両１０のインフォテインメントシステムの一部であってもよい。しかしながら、別の例では、表示装置は、表示装置４２を有する診断コンピュータ３９などの外部装置に接続することができる。診断コンピュータ３９は、いくつかの異なる形態のうちの任意の１つを取ることができ、従来のデスクトップまたはラップトップコンピュータ、モバイルデバイス、タブレットデバイスなどであり得る。診断コンピュータ３９は、無線で、またはプロセッサ２２と通信する１つ以上のポート４０を使用して、有線接続を介してプロセッサ２２に接続することができる。１つ以上のポートは、一部の車両にあるＯＢＤ−ＩＩポートであってもよい。

ユーザ較正モジュール３８は、１つ以上のプロセッサ２２に、ユーザインターフェースから少なくとも１つの入力を受信させる命令も含む。一例では、入力装置２４は、ユーザが少なくとも１つの入力を提供することを可能にする。ユーザインターフェースは、入力装置２４および／または表示装置２６の一方または両方に組み込むことができる。たとえば、入力装置２４および表示装置２６は、タッチスクリーンの形態で組み合わされてもよい。このタッチスクリーンは、車両のインフォテインメントシステムの一部であってもよい。

あるいは、診断コンピュータ３９が利用される場合、ユーザインターフェースは、診断コンピュータ３９の表示装置４２に表示されてもよい。診断コンピュータ３９は、キーボード４６およびポインティングデバイス４８などの１つ以上の入力装置を含むことができる。診断コンピュータ３９の入力装置は、ユーザがユーザインターフェースに入力を提供することを可能にする。

ユーザ較正モジュール３８は、１つ以上のプロセッサ２２によって実行されたときに、１つ以上のプロセッサ２２に、ユーザによって提供された入力に応じて、合成画像のカメラ画像および／または３次元点群画像を移動させる命令も含む。カメラ画像および／または３次元点群画像の移動または調整は、合成画像の３次元点群画像またはカメラ画像のヨー、ピッチ、ロール、および／または位置の調整または移動を含むことができる。

カメラ画像および／または３次元点群画像を移動する際にユーザによって提供される入力に基づいて、ユーザ較正モジュール３８は、１つ以上のプロセッサ２２に、ＬｉＤＡＲセンサ１６および／またはカメラ１４の較正パラメータを調整させる。カメラ１４および／またはＬｉＤＡＲセンサ１６のいずれかの較正パラメータは、カメラ１４および／またはＬｉＤＡＲセンサ１６のヨー、ピッチ、ロール、および／または位置を含むことができる。その後、較正パラメータに基づいて、カメラ１４および／またはＬｉＤＡＲセンサ１６が調整される。従って、ユーザが合成画像におけるカメラ画像および／または３次元点群画像の位置に関する入力を提供し、調整することを可能とすることにより、システムは、ユーザによるカメラ１４および／またはＬｉＤＡＲセンサ１６の較正の微調整を可能にする。

図３を参照すると、例示的な合成画像５３が示されている。ここで、合成画像５３は、カメラ画像５４および３次元点群画像５５の少なくとも一部を含む。本例では、合成画像５３は、カメラ画像５４上に３次元点群画像５５を投影したものである。しかしながら、合成画像５３は投影を逆にすることができ、すなわち、その場合、カメラ画像５４が３次元点群画像５５上に投影され得ることを理解されたい。

本例では、合成画像５３は、車両の形状をした物体５７を含む。物体５７は、３次元点群画像５５におけるエッジ５６と、カメラ画像５４におけるエッジ５８とを含む。初期較正モジュール３６は、１つ以上のプロセッサ２２に、エッジ５６および５８を実質的に位置合わせするよう試みさせることができる。

図３には、ユーザインターフェース６０も示されている。ここで、ユーザインターフェースは、ユーザがカメラ画像５４に対して３次元点群画像５５を移動することを可能にする。もちろん、ユーザインターフェースはその逆を可能にすることができ、その場合、ユーザインターフェースは、ユーザが３次元点群画像５５に対してカメラ画像５４を移動することを可能にすることを理解されたい。さらに、ユーザインターフェースは、ユーザが合成画像５３内のカメラ画像５４と３次元点群画像５５の両方を移動できるようにすることも可能である。

ユーザインターフェース６０は、画像の移動を可能にするために異なる操作のタイプを含んでもよい。ここで、ユーザインターフェース６０は、３次元点群画像５５の位置をそれぞれＸ、Ｙ、およびＺ方向に関して移動させるための操作部６２、６４、６６を含んでもよい。また、ユーザインターフェース６０は、３次元点群画像５５のロール、ピッチ、およびヨーをそれぞれ変更する操作部６８、７０、７２を含んでもよい。

また、ユーザインターフェース６０は、ドロップダウンメニュー７４を使用して、操作タイプの調整を可能にしてもよい。操作タイプは、操作部６２、６４、６６、６８、７０、および／または７２のよりきめ細かいまたは粗い操作を可能にすることができる。このように、操作タイプは、ユーザが、カメラ画像５４に対する３次元点群画像５５の位置を微調整する能力を持つことを可能にする。

ユーザインターフェースはまた、ユーザによって行われた操作部６２、６４、６６、６８、７０、および／または７２の調整を保存する保存ボタン７６を含むことができる。これらは、データストア３２に保存されてもよい。その後、ユーザによって行われた調整は、カメラ１４および／またはＬｉＤＡＲセンサ１６の較正パラメータに変換される。

図４を参照すると、カメラ１４などの少なくとも１つのカメラ、および／またはＬｉＤＡＲセンサ１６などのＬｉＤＡＲセンサを較正するための方法８０の一例が、図１および図２のシステム１２の観点から説明される。方法８０はシステム１２と組み合わせて説明されるが、方法８０はシステム１２内での実施に限定されず、むしろ、システム１２は、方法８０を実施することができるシステムの一例であることを理解されたい。

方法８０は、ステップ８２で始まり、そこでは、初期較正モジュール３６が、カメラ１４などの少なくとも１つのカメラからカメラ画像を取得することができる。ステップ８４において、初期較正モジュール３６は、カメラ１４によって以前に撮影されたカメラ画像がエッジを有する物体を含んでいるかどうかを判定する。エッジを有する物体が検出されない場合、方法８０はステップ８２に戻る。少なくとも１つの物体の要件は、アプリケーションによって異なってもよい。たとえば、少なくとも１つのエッジを有する少なくとも１つの物体を要求する代わりに、要件は、少なくとも３つのエッジを有する少なくとも３つの物体を見つけることを含んでもよい。換言すれば、それぞれ、少なくとも１つのエッジを有する少なくとも３つの物体を要件としてもよい。さらに、物体は道路標識であるという要件など、利用される物体のタイプも変わる可能性がある。

ステップ８６では、初期較正モジュール３６は、ＬｉＤＡＲセンサ１６などのＬｉＤＡＲセンサから３次元点群画像を取得することができる。その後、ステップ８８で、初期較正モジュール３６は、カメラ画像の一部と３次元点群画像の一部とを有する合成画像を生成することができる。また、ステップ８６は、初期較正モジュール３６によって行われるいくつかの追加の調査を含むことができる。たとえば、初期較正モジュール３６は、カメラ画像および３次元点群画像に撮影された物体の数をカウントしてもよい。物体の数が一致しない場合、方法はステップ８２に戻ってもよい。

ステップ９０において、ユーザ較正モジュール３８は、表示装置２６などの表示装置上に合成画像を表示することができる。ステップ９２において、ユーザ較正モジュール３８は、表示装置に表示された合成画像の３次元点群画像および／またはカメラ画像を移動させる、ユーザインターフェースからの入力を受信することができる。本例では、入力装置２４からの入力が受信され得る。

次に、ステップ９４において、ユーザ較正モジュール３８は、ユーザインターフェースからの入力に応じて、ＬｉＤＡＲセンサ１６および／またはカメラ１４の較正パラメータを調整することができる。ＬｉＤＡＲセンサ１６および／またはカメラ１４の較正パラメータは、ＬｉＤＡＲセンサ１６および／またはカメラ１４のヨー、ピッチ、ロール、および／または位置を含むことができる。

本明細書に記載されたシステムのいずれも、別個の集積回路および／またはチップを用いて、様々な配置で構成され得ることを理解されたい。回路は、別個の回路間での通信信号を提供するために、接続パスを介して接続される。もちろん、別個の集積回路が議論されているが、様々な実施形態では、回路は、共通の集積回路基板に統合されてもよい。さらに、集積回路は、より少ない集積回路に統合されてもよいし、より多くの集積回路に分割されてもよい。

別の実施形態では、説明された方法および／またはそれらの均等物は、コンピュータ実行可能命令で実施されてもよい。このように、一実施形態では、非一時的コンピュータ可読媒体は、機械（例えば、プロセッサ、コンピュータなど）によって実行されたとき、機械（および／または関連するコンポーネント）に方法を実行させる、格納されたコンピュータ実行可能命令を備えるように構成される。

説明を簡単にする目的で、図示された方法は、一連のブロックとして示され、記載されているが、いくつかのブロックは、示され、記載されたものとは異なる順序で、および／または他のブロックと同時に発生し得るので、方法は、ブロックの順序によって制限されないことを理解されたい。さらに、例示された方法を実施するために、図示されたすべてのブロックよりも少ない数のブロックが使用されてもよい。ブロックは、統合されてもよいし、複数の構成要素に分離されてもよい。さらに、追加および／または代替の方法は、図示されていない追加のブロックを使用することができる。

詳細な実施形態が本明細書に開示される。しかし、開示された実施形態は例としてのみ意図されていることを理解されたい。したがって、本明細書で開示される特定の構造および機能の詳細は、限定として解釈されるべきではなく、単に特許請求の範囲の基礎として、および、実質的に任意の適切な詳細構造において本明細書の態様を様々に採用することを当業者に教示するための代表的な根拠として解釈されるべきである。さらに、本明細書で使用される用語および語句は、限定することを意図するものではなく、可能な実施例の理解可能な説明を提供することを意図している。

図中のフローチャートおよびブロック図は、さまざまな実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実施例のアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、特定の論理機能を実行するための１つ以上の実行可能な命令を含むモジュール、セグメント、またはコードの一部を表すことができる。また、いくつかの代替の実施例では、ブロックに記載された機能が、図に記載されている順序以外で発生する可能性があることにも注意されたい。たとえば、連続して示された２つのブロックが、実際には、実質的に同時に実行されても良く、またはそれらのブロックが、関連する機能に応じて、ときには逆の順序で実行されても良い。

上述したシステム、コンポーネント、および／またはプロセスは、ハードウェアまたはハードウェアとソフトウェアの組み合わせで実現でき、１つの処理システムにおいて中央集権方式で、または相互接続された複数の処理システムに異なる要素が分散された分散方式で実現することができる。本明細書に記載の方法を実行するように適合されたあらゆる種類の処理システムまたは別の装置が適する。ハードウェアおよびソフトウェアの組み合わせは、ロードされ、実行されたときに、本明細書に記載の方法を実行するように処理システムを制御するコンピュータ使用可能なプログラムコードを備えた処理システムであり得る。システム、コンポーネント、および／またはプロセスは、本明細書に記載された方法およびプロセスを実行するために機械によって実行可能な命令のプログラムを目に見える方法で具体化した、機械によって読み取り可能な、コンピュータプログラム製品または他のデータプログラム記憶装置などのコンピュータ読み取り可能なストレージに埋め込むこともできる。これらの要素は、本明細書で説明した方法の実行を可能にするすべての機能を備えた、処理システムにロードされたときにこれらの方法を実行することができるアプリケーション製品に組み込むこともできる。

さらに、本明細書で説明された構成は、例えば記憶されるなどして、実施されるコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体に具現化されるコンピュータプログラム製品の形をとることができる。１つ以上のコンピュータ可読媒体の任意の組み合わせが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。「コンピュータ可読記憶媒体」という語句は、非一時的な記憶媒体を意味する。コンピュータ可読媒体は、限定さえるものではないが、不揮発性媒体および揮発性媒体を含む、形態をとってもよい。不揮発性媒体には、たとえば、光ディスク、磁気ディスクなどが含まれる。揮発性媒体には、たとえば、半導体メモリ、ダイナミックメモリなどが含まれる。そのようなコンピュータ可読媒体の例には、限定されるものではないが、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＡＳＩＣ、グラフィックス処理ユニット（ＧＰＵ）、ＣＤ、他の光学媒体、ＲＡＭ、ＲＯＭ、メモリチップまたはカード、メモリスティック、および、コンピュータ、プロセッサ、または足の電子デバイスが読み取ることが可能な他の媒体が含まれる。この明細書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを含む、または格納できる任意の有形の媒体であってもよい。

以下は、本明細書で使用される選択された用語の定義を含む。定義には、用語の範囲内にあり、様々な実施例に使用できる様々な例、および／またはコンポーネントの形式が含まれる。例は限定することを意図していない。用語の単数形と複数形の両方が定義内に入る場合がある。

「１つの実施形態」、「一実施形態」、「１つの例」、「一例」などへの言及は、そのように記載された実施形態または例が、特定の特徴、構造、特性、特質、要素、または限定を含むかもしれないが、すべての実施形態または例が、必ずしも、その特定の特徴、構造、特性、特質、要素、または限定を含むわけではない。さらに、「１つの実施形態では」という語句の繰り返しの使用は、同じ実施形態を指す場合もあるが、必ずしもそうとは限らない。

本明細書で使用される「モジュール」には、コンピュータまたは電気ハードウェアコンポーネント、ファームウェア、命令を記憶する非一時的なコンピュータ可読媒体、および／または、機能またはアクションを実行するように構成された、および／または、別のロジック、方法、および／またはシステムから機能またはアクションを引き起こすように構成された、これらのコンポーネントの組み合わせが含まれる。モジュールには、アルゴリズムによって制御されるマイクロプロセッサ、ディスクリートロジック（ＡＳＩＣなど）、アナログ回路、デジタル回路、プログラムされたロジックデバイス、実行時にアルゴリズムを実行する命令を含むメモリデバイスなどが含まれてもよい。モジュールは、１つ以上の実施形態において、１つ以上のＣＭＯＳゲート、ゲートの組み合わせ、または他の回路部品を含む。複数のモジュールが説明されている場合、１つ以上の実施形態は、複数のモジュールを１つの物理的なモジュールコンポーネントに組み込むことを含んでもよい。同様に、単一のモジュールが説明されている場合、１つ以上の実施形態は、単一のモジュールを複数の物理的コンポーネントに分散してもよい。

さらに、本明細書で使用されるモジュールには、タスクを実行したり、データタイプを実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。さらなる態様において、メモリは一般に、言及されたモジュールを格納する。モジュールに関連付けられたメモリは、プロセッサ内に埋め込まれたバッファまたはキャッシュ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、または別の適切な電子記憶媒体であってもよい。さらに別の態様では、本開示によって想定されるモジュールは、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）のハードウェアコンポーネント、プログラマブルロジックアレイ（ＰＬＡ）、グラフィックス処理ユニット（ＧＰＵ）、または開示された機能を実行するための定義された設定セット（たとえば、命令）が埋め込まれた別の適切なハードウェアコンポーネントとして実現される。

１つ以上の構成において、本明細書に記載のモジュールの１つ以上は、人工または計算知能要素、例えばニューラルネットワーク、ファジー論理、または他の機械学習アルゴリズムを含むことができる。さらに、１つ以上の構成において、モジュールの１つ以上は、本明細書で説明する複数のモジュールに分散させることができる。１つ以上の構成では、本明細書に記載のモジュールの２つ以上が、単一のモジュールに組み合わせることができる。

コンピュータ可読媒体に具現化されるプログラムコードは、限定されるものではないが、無線、有線、光ファイバー、ケーブル、ＲＦなど、またはこれらの任意の適切な組み合わせを含む、任意の適切な媒体を使用して送信されてもよい。本構成の態様の動作を実行するためのコンピュータプログラムコードは、Java（登録商標）、Smalltalk、C ++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されてもよい。プログラムコードは、スタンドア
ロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、あるいは、一部をユーザのコンピュータ上でかつ一部を遠隔コンピュータ上で、もしくは、完全に遠隔コンピュータまたはサーバ上で実行されてもよい。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよいし、または、その接続は、（たとえば、インターネットサービスプロバイダを使用したインターネット経由で）外部コンピュータになされてもよい。

本明細書で使用される「１つ」という用語は、１つ、または１つ以上として定義される。本明細書で使用される「複数」という用語は、２つ、または２つ以上として定義される。本明細書で使用される「別の」という用語は、少なくとも２番目またはそれ以上として定義される。本明細書で使用される「含む」および／または「有する」という用語は、包含する（すなわち、オープン言語）と定義される。本明細書で使用される「...および...の少なくとも１つ」というフレーズは、関連する列挙されたアイテムの１つ以上の任意のおよび全ての可能な組み合わせを指し、包含する。例として、「Ａ、Ｂ、およびＣの少なくとも１つ」というフレーズは、Ａのみ、Ｂのみ、Ｃのみ、またはそれらの任意の組み合わせ（たとえば、ＡＢ、ＡＣ、ＢＣまたはＡＢＣ）を含む。

本明細書の態様は、その主旨または本質的な特質から逸脱することなく、他の形態で具現化することができる。したがって、本明細書の範囲を示すものとして、前述の明細書よりもむしろ、以下の特許請求の範囲を参照すべきである。

１０：車両、１１：道路、１２：システム、１４：カメラ、１６：ＬｉＤＡＲセンサ、１７：道路標識、１８：車両、１９：道路標識、２０：車両、２１：道路標識、２２：プロセッサ、２３：エッジ、２４：入力装置、２５：エッジ、２６：表示装置、２７：エッジ、２８：車両コントローラ、３０Ａ：アクチュエータ、３０Ｂ：アクチュエータ、３０Ｃ：アクチュエータ、３１：視野、３２：データストア、３３：視野、３４：メモリデバイス、３６：初期較正モジュール、３８：ユーザ較正モジュール、３９：診断コンピュータ、４０：ポート、４２：表示装置、４６：キーボード、４８：ポインティングデバイス、５３：合成画像、５４：カメラ画像、５５：３次元点群画像、５６：エッジ、５７：物体、５８：エッジ、６０：ユーザインターフェース、６２：操作部、６４：操作部、６６：操作部、６８：操作部、７０：操作部、７２：操作部、７４：ドロップダウンメニュー、７６：保存ボタン

Claims (20)

1. 少なくとも１つのカメラと、光検出および測距（ＬｉＤＡＲ）センサを較正するための方法であって、
   少なくとも１つのカメラからカメラ画像を取得すること、
   カメラ画像が少なくとも１つのエッジを有する少なくとも１つの物体を含むときを判定すること、
   ＬｉＤＡＲセンサから３次元点群画像を取得すること、３次元点群画像は、少なくとも１つのエッジを有する少なくとも１つの物体を含み、
   合成画像を生成すること、合成画像は、カメラ画像の少なくとも一部と３次元点群画像の少なくとも一部を含み、
   合成画像をディスプレイに表示すること、
   ユーザインターフェースから少なくとも１つの入力を受信すること、少なくとも１つの入力は、ディスプレイに表示された合成画像の３次元点群画像とカメラ画像との少なくとも１つを移動するように構成され、および、
   ユーザインターフェースからの１つ以上の入力に応じて、ＬｉＤＡＲセンサと少なくとも１つのカメラとの少なくとも１つの較正パラメータを調整すること、を含む方法。
2. 合成画像は、合成画像を形成するために、カメラ画像に３次元点群画像を投影することによって生成される、請求項１に記載の方法。
3. 合成画像は、３次元点群画像にカメラ画像を投影することによって生成される、請求項１に記載の方法。
4. 少なくとも１つの物体は、少なくとも１つの道路標識である、請求項１に記載の方法。
5. カメラ画像の少なくとも１つの物体の少なくとも１つのエッジが、合成画像において、三次元点群画像の少なくとも１つの物体の少なくとも１つのエッジと実質的に位置合わせされるように、ＬｉＤＡＲセンサと少なくとも１つのカメラとの少なくとも１つの較正パラメータを調整するステップをさらに含む、請求項１に記載の方法。
6. カメラ画像内の少なくとも１つの物体の数が、３次元点群画像内の少なくとも１つの物体の数と一致するときを判定するステップ、および
   カメラ画像内の少なくとも１つの物体の数が、３次元点群画像内の少なくとも１つの物体の数と一致するときに、合成画像を形成するために、カメラ画像に３次元点群画像を投影するステップ、をさらに含む請求項１に記載の方法。
7. ユーザインターフェースの少なくとも１つの入力は、合成画像の３次元点群画像とカメラ画像の少なくとも１つのヨー、ピッチ、ロール、および位置の少なくとも１つを調整する、請求項１に記載の方法。
8. 較正パラメータは、少なくとも１つのカメラとＬｉＤＡＲセンサの少なくとも１つのヨー、ピッチ、ロール、および位置の少なくとも１つを含む、請求項１に記載の方法。
9. 少なくとも１つのカメラおよびＬｉＤＡＲセンサは、車両に搭載される、請求項１に記載の方法。
10. 少なくとも１つのカメラと、光検出および測距（ＬｉＤＡＲ）センサを較正するためのシステムであって、
    １つ以上のプロセッサと、
    １つ以上のプロセッサと通信するメモリと、を備え、
    メモリは、
    １つ以上のプロセッサによる実行時に、1つ以上のプロセッサに、
    少なくとも1つのカメラからカメラ画像を取得させる命令、
    カメラ画像が少なくとも1つのエッジを有する少なくとも1つの物体を含むときを判定させる命令、
    ＬｉＤＡＲセンサから３次元点群画像を取得させる命令、３次元点群画像は、少なくとも１つのエッジを有する少なくとも１つの物体を含み、および、
    合成画像を生成させる命令、合成画像は、カメラ画像の少なくとも一部と３次元点群画像の少なくとも一部を含む、を有する初期較正モジュールと、
    １つ以上のプロセッサによる実行時に、1つ以上のプロセッサに、
    ディスプレイに合成画像を表示させる命令、
    ユーザインターフェースから少なくとも１つの入力を受信させる命令、少なくとも１つの入力は、ディスプレイに表示された合成画像の３次元点群画像とカメラ画像の少なくとも１つを移動するように構成され、および、
    ユーザインターフェースからの１つ以上の入力に応じて、ＬｉＤＡＲセンサと少なくとも１つのカメラとの少なくとも１つの較正パラメータを調整させる命令、を有するユーザ較正モジュールを格納するシステム。
11. 合成画像は、合成画像を形成するために、カメラ画像に３次元点群画像を投影することによって初期較正モジュールにより生成される、請求項１０に記載のシステム。
12. 合成画像は、３次元点群画像にカメラ画像を投影することによって初期較正モジュールにより生成される、請求項１０に記載のシステム。
13. 少なくとも１つの物体は、少なくとも１つの道路標識である、請求項１０に記載のシステム。
14. 初期較正モジュールは、１つ以上のプロセッサによる実行時に、１つ以上のプロセッサに、カメラ画像の少なくとも１つの物体の少なくとも１つのエッジが、合成画像において、三次元点群画像の少なくとも１つの物体の少なくとも１つのエッジと実質的に位置合わせされるように、ＬｉＤＡＲセンサと少なくとも１つのカメラとの少なくとも１つの較正パラメータを調整させる命令をさらに含む、請求項１０に記載のシステム。
15. 初期較正モジュールは、
    １つ以上のプロセッサによる実行時に、１つ以上のプロセッサに、
    カメラ画像内の少なくとも１つの物体の数が、３次元点群画像内の少なくとも１つの物体の数と一致するときを判定させる命令、および
    カメラ画像内の少なくとも１つの物体の数が、３次元点群画像内の少なくとも１つの物体の数と一致するときに、合成画像を形成するために、カメラ画像に３次元点群画像を投影させる命令、をさらに含む請求項１０に記載のシステム。
16. ユーザインターフェースの少なくとも１つの入力は、合成画像の３次元点群画像とカメラ画像の少なくとも１つのヨー、ピッチ、ロール、および位置の少なくとも１つを調整する、請求項１０に記載のシステム。
17. 較正パラメータは、少なくとも１つのカメラとＬｉＤＡＲセンサの少なくとも１つのヨー、ピッチ、ロール、および位置の少なくとも１つを含む、請求項１０に記載のシステム。
18. 少なくとも１つのカメラおよびＬｉＤＡＲセンサは、車両に搭載される、請求項１０に記載のシステム。
19. 少なくとも１つのカメラと、光検出および測距（ＬｉＤＡＲ）センサを較正するための非一時的なコンピュータ可読媒体であって、
    １つ以上のプロセッサによる実行時に、１つ以上のプロセッサに、
    少なくとも１つのカメラからカメラ画像を取得させる命令、
    カメラ画像が少なくとも１つのエッジを有する少なくとも１つの物体を含むときを判定させる命令、
    ＬｉＤＡＲセンサから３次元点群画像を取得させる命令、３次元点群画像は、少なくとも１つのエッジを有する少なくとも１つの物体を含み、
    合成画像を生成させる命令、合成画像は、カメラ画像の少なくとも一部と３次元点群画像の少なくとも一部を含み、
    合成画像をディスプレイに表示させる命令、
    ユーザインターフェースから少なくとも１つの入力を受信させる命令、少なくとも１つの入力は、ディスプレイに表示された合成画像の３次元点群画像とカメラ画像との少なくとも１つを移動するように構成され、および
    ユーザインターフェースからの１つ以上の入力に応じて、ＬｉＤＡＲセンサと少なくとも１つのカメラとの少なくとも１つの較正パラメータを調整させる命令、を含む非一時的なコンピュータ可読媒体。
20. １つ以上のプロセッサによる実行時に、１つ以上のプロセッサに、カメラ画像の少なくとも１つの物体の少なくとも１つのエッジが、合成画像において、３次元点群画像の少なくとも１つの物体の少なくとも１つのエッジと実質的に位置合わせされるように、ＬｉＤＡＲセンサと少なくとも１つのカメラとの少なくとも１つの較正パラメータを調整させる命令をさらに含む、請求項１９に記載の非一時的なコンピュータ可読媒体。

Images