JP2023504298A - 非剛性ステレオ・ビジョン・カメラ・システム - Google Patents

Abstract

システムの２つ以上のカメラの間の相対的モーションがデプス・マップの推定を劣化させない非剛性アセンブリにおける使用に適した長いベースラインおよび長いデプス範囲のステレオ・ビジョン・システムが提供される。ステレオ・ビジョン・システムは、カメラ位置への高速摂動および低速摂動の間ですらカメラからの画像を訂正する時間の関数としてカメラ・パラメータを追跡するプロセッサを含んでよい。システムの工場キャリブレーションは必要とされず、通常の動作中の手動キャリブレーションも必要とされず、したがって、システムの製造を簡略化する。

Description

本発明の技術は、ステレオ・ビジョン・システムに関する。より詳細には、本技術は、高速および低速な機械的摂動の存在下で動作を改善するための特性を有するステレオ・ビジョン・システム（たとえば、ステレオ・カメラ・システム）、およびシステムの自動キャリブレーションのための方法に関する。

ステレオ・カメラ・システムは、三角測量技法によって視野内の物体についての３次元情報を獲得するために使用されることがある。
従来のステレオ・カメラ・システムは、剛性装着部材を使用して、互いに対するカメラの位置を固定し得る。たとえば、カメラの相対的位置を機械的に安定化するためにカメラならびにそれらの関連付けられたＣＭＯＳセンサおよびレンズの直接的な取り付けのための剛性装着部材としての厚い金属プレートの使用が開示されている（たとえば、特許文献１参照）。本文献の図５に図示されるプレートの厚さは、カメラ間の距離の約５分の１であり、このことは、そのような構造を非常に重くし、これは、広いベースライン・ステレオ・カメラをもつシステムにおける使用に適さないことがある。たとえば、カメラ間の１ｍベースラインをもつステレオ・カメラ・システムは、２０ｃｍ厚さの金属プレートを必要とするであろう。２０ｃｍ厚さの金属プレートは、アルミニウムから作製された場合、１０８ｋｇの重さとなるであろう（１ｍ×０．２ｍ×０．２ｍ）。「広いベースライン」および「長いベースライン」という用語は、本明細書において互換的に使用されてよい。

そのような既存のステレオ・カメラ・システムに関する問題は、個々のカメラ・モジュール（本明細書では「カメラ・センサ」または単純に「カメラ」と呼ばれるときがある）が、経時的に互いに対してシフトおよび／または回転することがあり、これが、初期キャリブレーション・パラメータを経時的に不正確なものにすることがあることである。ステレオ・カメラ・システムが適切にキャリブレーションされたままであるために、ステレオ・カメラ・システムのカメラ・モジュールの視野が互いに対して移動しないことが望ましい。いくつかのステレオ・カメラ・システムでは、０．０５度のみの相対的なカメラ方位回転によっても、システムのキャリブレーションが損なわれることがあり得る。さらに、従来のステレオ・カメラ・システムでは、たとえば、回路基板および／または他のカメラ構成要素に対するレンズ・ホルダの移動の可能性、カメラ・モジュール間の相対的なポインティングが変化する可能性、ならびにまた、回路基板およびフレーム自体の位置が経時的に変化する可能性がある。従来のステレオ・カメラ・システム内の構成要素間の複数のインタフェースは、構成要素間の振動、衝撃、および熱膨張すら、ステレオ・カメラ・システム内のカメラの視野を経時的にシフトさせるということが起こる可能性を高める。カメラ構成要素の相対的移動が、システムの初期工場キャリブレーションを無効にすることがあり、このことによって、システムによって取得されるステレオ・ビジョン・データが信頼できないものになることがある。

従来技術によるステレオ・ビジョン・システムは、典型的には、一般に衝撃もしくは振動を受けない研究室システムであるか、または一般に非常に正確なキャリブレーションが不可欠であると考えられる状況でない短範囲室内ロボットなどの状況で使用されているか、のどちらかであるので、そのようなキャリブレーション問題は、従来技術では対処されていない、または認識すらされていない。したがって、従来のシステムは短いベースライン長に限定されており、大きい機械的補強材を利用するので、キャリブレーションを失うことに対する従来のステレオ・ビジョン・システムの固有感受性は、解決されるべき特定の問題と認識されてこなかった。

従来の自動的キャリブレーション方法は、典型的に、２つのカテゴリすなわち疎なキーポイント手法および消失点手法に分類される。キーポイントとは、コーナまたはエッジなどの、画像内で容易に認識され得る目的のポイントであり、多くの場合、関連付けられた画像記述子を有することがある。たとえば、Ｄａｖｉｄ Ｌｏｗｅによって開発されたスケール不変特徴変換（ＳＩＦＴ）方法は、キーポイントを発見し、不変である記述子を平行移動、回転、およびスケーリング変換に対して提供するためのアルゴリズムの一例である。消失点は、無限距離にある点を表すために使用される。消失点は、カメラ・モジュール方位に対して感受性が高いが、カメラ・モジュール間の相対的平行移動に対して感受性が高くなく、ステレオ・カメラ・モジュールのペアの方位をアライメントするために使用可能である。

疎なキーポイント手法を使用してステレオ・ビジョン・システムを自動的にキャリブレーションするための方法も開示されている（特許文献２および特許文献３参照）。特許文献２における方法は、キーポイントを抽出し、第１のカメラおよび第２のカメラからの画像内のキーポイントをマッチングさせ、垂直誤差の特異値分解解析に基づいてカメラ・キャリブレーションを決定する。特許文献３における方法は、特許文献２の方法に類似しているが、複数の画像フレームにわたってキーポイントを追跡し、モーション由来構造（ｓｔｒｕｃｔｕｒｅ－ｆｒｏｍ－ｍｏｔｉｏｎ）技法を使用して３次元制約を適用する。疎なキーポイント手法は、第１のカメラからの画像と第２のカメラからの画像との間でキーポイントが誤ってマッチングされるとき、失敗する場合があり、これは、繰り返す構造（たとえば、杭垣、建物の窓など）をもつ画像シーンにおいて起こる場合がある。そのうえ、特徴点のサブピクセル精度は、長いベースラインおよび長い範囲動作のための十分な精度をもつカメラ・パラメータを取得するために必要とされることがあり、これは、多くの場合、滑らかなもしくは丸い特徴、またはわずかに焦点のぼけたもしくはぼんやりした画像では、可能でない。従来のモーション由来構造計算は、一般に、フレームごとにキャリブレーション誤差を補償するのに十分なほど高速ではなく、したがって、典型的には、短いベースラインのステレオ・ビジョン・システムの低速摂動に適している。疎なキーポイント手法に関する別の問題は、内因性カメラ・パラメータまたは外因性カメラ・パラメータを正確に決定するのに十分な情報を提供しない、画像の疎なサンプリングである。たとえば、典型的な道路シーンの画像は、空から離れテクスチャレス道路表面から離れる画像の中心においてクラスタ化されたほとんどの特徴を有することがあり、したがって、サンプリングが、一般に画像の中心において行われる。このクラスタ化サンプリングは、ステレオ・カメラの相対的方位（外因性カメラ・パラメータ）、はるかに少ないレンズ歪み係数（内因性カメラ・パラメータ）を、高い精度で決定するのに十分な情報を提供しない。これらのパラメータは、画像のエッジにおける歪みに対して感受性が高い。言い換えれば、これらの従来の技法は、ステレオ・ビジョン・システムの適切なキャリブレーションにとって重要なことがあり得るカメラ・パラメータを補償しない。

消失点を探索してピッチ誤差およびヨー誤差を補正することによってステレオ・ビジョン機器を自動的にキャリブレーションするための方法が開示されている（たとえば、特許文献４参照）。この方法は、機器の２つのカメラ間のロール誤差または相対的平行移動ベクトルを補正しない。そのうえ、方法は、まっすぐで信頼できる道路舗装マーキングを必要とするが、これは、利用できないことがあり、または雪によって遮られたり摩耗もしくは日光曝露によって色あせていたりすることがあり、したがって、機器のキャリブレーションの角度精度を制限する。

モデル飛行機の翼上に装着された構成要素を使用するステレオ・ビジョンのための方法も開示されている（たとえば、非特許文献１参照）。翼は可撓性であり、動き得るので、著者らは、相対的なカメラ・モーションを補償するためにシステムを開発した。このシステムは、カメラの加速度および角速度を測定するためにステレオ・カメラに対して直接的に取り付けられた慣性測定ユニット（ＩＭＵ）の使用を必要とする。このシステムは、次いで、拡張カルマン・フィルタを使用して、カメラの相対的方位および位置を算出する。このシステムの１つの欠点は、システムが、ＩＭＵハードウェアを必要とし、ビデオ・ストリームのみからでは、カメラ位置を補正することはできないことである。別の欠点は、ＩＭＵが高速摂動を補償するために使用可能であるが、低速摂動（たとえば、カメラの位置の低速のずれ）を補償するためには使用可能でないことであり、このことは、カメラが頻繁に（たとえば、毎日）手動でキャリブレーションされることが必要であり得ることを意味する。

米国特許第６３９２６８８号明細書 米国特許第８７９７３８７号明細書 米国特許第１００９７８１２号明細書 特表２００８－５０９６１９号公報

著者ティー．ヒンツマン（Ｔ．Ｈｉｎｚｍａｎｎ），ティー．タオプナー（Ｔ．Ｔａｕｂｎｅｒ）およびアール．ジークバルト（Ｒ．Ｓｉｅｇｗａｒｔ）による「可撓性立体：固定翼航空プラットフォームのための制約のある非剛性広いベースライン立体視（Ｆｌｅｘｉｂｌｅ Ｓｔｅｒｅｏ：Ｃｏｎｓｔｒａｉｎｅｄ，Ｎｏｎ－ｒｉｇｉｄ，Ｗｉｄｅ－ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ ｆｏｒ Ｆｉｘｅｄ－Ｗｉｎｇ Ａｅｒｉａｌ Ｐｌａｔｆｏｒｍｓ）」という題名の２０１８会議論文

上記で説明されたキャリブレーション問題は、カメラ・モジュール間の距離が、たとえば、約２０ｃｍよりも大きい場合、２つ以上のカメラ・モジュールを重量のある構造の梁または装着部材と接続することが可能でないシステム内で、長いベースラインのステレオ・ビジョン・システム内で悪化され得る。スタイリングの場合、および最適な視聴視点の場合、独立したカメラを非剛性である構造（たとえば、可撓性構造）上に装着することが望ましいときがある。たとえば、車両のヘッドライト内に、車両のウインドシールドの上部コーナにおいて、または車両のサイド・ミラー上に、ステレオ・カメラのペアを装着することは、そのような場所が、車両（たとえば、車、トラック、バスなど）内のステレオ・ビジョン・システムのための長いベースラインを確立するのに好都合であり得るので、有利であろう。しかしながら、これらの場所は、数時間または数日にわたってキャリブレーションを維持するのに十分なほど剛性でなく、ましてなおさら、典型的な車両の１５年の寿命については言うまでもない。場合によっては、剛性機械的支持構造のための最も短い経路はそれぞれ、エンジンブロックによってブロックされることがあり、運転手の視界をブロックすることがあり、運転手自身によってブロックされることがあるので、これらの支持構造をヘッドライト、ウインドシールドの上部コーナ、またサイド・ミラーの間に追加することは、現実的には可能でないことがある。そのうえ、支持用構造が追加され得る場合ですら、妥当な構造的支持を提供するために必要とされるそのような構造の厚さおよび重さは、非実際的であることがある。すなわち、梁のたわみ変位は、梁の長さの３乗に比例してスケーリングするので、梁が長いほど、梁に適用される同じ量の力に対して梁がより大きく変位し得る。たとえば、同じ終端力の場合、２ｍベースラインのステレオ・ビジョン・システムは、２０ｃｍベースラインのステレオ・ビジョン・システムの１０００倍変位するであろう。このスケーリングは、市販のステレオ・ビジョン・システムが２０ｃｍ未満のベースラインに対して物理的に限定されることをもたらした。

高振動および衝撃環境において動作し得、非剛性構造上に装着され得、長いベースラインおよび長い範囲のステレオ・ビジョンを支持し得、高い精度で動作し得る、ステレオ・ビジョン・システムが必要とされている。

長いベースラインおよび非剛性構造に適した自動的キャリブレーション技術は、少なくとも４つの理由で、本明細書で開示される技術の前に達成されていない。（１）大きさ：物理によって、梁変位は、梁長さの３乗に比例して増加し（上記の論議を参照）、したがって、相対的なカメラ変位の大きさは、梁長さとともに増加する。剛性を保証しカメラ変位を防止する追加の構造的支持は、現実的には達成可能でないことがある。（２）帯域幅：自動キャリブレーション・システムのキャリブレーション・スピードは、低速変動と高速変動の両方を考慮するために、増加しつつあるベースライン長とともに増加するべきである。必要な算出スピードを達成するために必要とされるプロセッサ・ハードウェアは、高価であることがあり、システムに対して望ましくない複雑さを追加することがある。（３）精度：長いベースライン・システムのために必要とされるキャリブレーション精度は、より大きい角度精度が、より長い距離にあるターゲットを推定するために必要とされるので、短いベースライン・システムの場合よりもはるかに大きいことがある。および（４）完全性：ステレオ・カメラの自動的キャリブレーションのための従来の技法は、少数のカメラ・パラメータ（たとえば、ステレオ・カメラの相対的な方位）を補償し得るが、フル・キャリブレーションは、外因性および内因性カメラ・パラメータすべてのための補償を必要とするであろう。本明細書において提示される技術の前に、これらの４つの理由に対処するシステムは、達成されていない。

本明細書において説明され、特許請求の範囲において特許請求される本発明の技術は、剛性装着部材が必要とされないステレオ・ビジョン・システムを対象とする。ビジョンは、複数のビジョン・センサ（たとえば、カメラ・モジュール）を介して達成されてよい。本技術のいくつかの態様では、第１のカメラ・モジュール（たとえば、カメラ・センサ）および第２のカメラ・モジュールは、撓曲する、シフトする、屈曲する、および／または移動する構造の上に置かれてもよいし、それに取り付けられてもよい。本明細書における別の場所で述べられるように、カメラ・センサ、カメラ・モジュール、およびカメラという用語は、互換的に使用されてよい。本技術の態様によるステレオ・カメラ・システムは、たとえば温度変化による低速材料変形から、たとえば道路ノイズまたはエンジン・ノイズによる高速振動モーションまで、すべてのモーション頻度にわたって正確なデプス・マップを提供するために、第２のカメラに対する第１のカメラの移動に関するアクティブな追跡および補償を実施するように構成されたプロセッサからなってよい。カメラの剛性装着の要件はないので、本技術の態様は、定期的な手動キャリブレーションを必要とすることのない、長い範囲測定のための広いベースライン・ステレオ構成を可能にし得る。

本技術の一態様によれば、ステレオ・ビジョン・システムが提供される。このステレオ・ビジョン・システムは、第１の画像の第１の反射エネルギーを感知し、この第１の反射エネルギーに基づいて第１のセンサ信号を生成するように構成された第１のカメラ・センサと、第２の画像の第２の反射エネルギーを感知し、この第２の反射エネルギーに基づいて第２のセンサ信号を生成するように構成された第２のカメラ・センサと、第１のカメラ・センサからの第１のセンサ信号および第２のカメラ・センサからの第２のセンサ信号を受け取り、第１のセンサ信号および第２のセンサ信号から３次元（３Ｄ）データを生じさせるように構成された少なくとも１つのプロセッサとからなってよい。この少なくとも１つのプロセッサは、ステレオ・キャリブレーション・パラメータを利用して第１のセンサ信号および第２のセンサ信号から訂正された（ｒｅｃｔｉｆｉｅｄ）ステレオ画像を生成し、訂正された画像に対してステレオ・マッチングを実施し、第１のカメラ・センサおよび第２のカメラ・センサによって取得される複数のステレオ画像からのデータを使用して自動的システム・キャリブレーションを実施するように構成されてよい。自動的システム・キャリブレーションは、コスト関数を最小化することに基づいてよい。本態様のいくつかの実施形態では、第１の反射エネルギーおよび／または第２の反射エネルギーは、少なくとも１つの電子デバイス（たとえば、ヘッドライト、街灯、レーザなど）から発せられる光エネルギーまたは光子からなることがある。本態様のいくつかの実施形態では、第１の反射エネルギーおよび／または第２の反射エネルギーは、太陽から発せられる太陽光エネルギーまたは光子からなることがある。本態様のいくつかの実施形態では、第１の反射エネルギーおよび／または第２の反射エネルギーは、太陽光エネルギーと電子デバイスから発せられる光エネルギーの組み合わせからなることがある。

本技術の別の態様によれば、画像内の物体の検出のためのコンピュータ実装方法が提供される。この方法は、１つまたは複数のプロセッサによって実施されてよく、物体上の接続された構成要素領域（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ｒｅｇｉｏｎ）を色によって識別する工程と、接続された構成要素領域の各々のアスペクト比を決定する工程と、接続された構成要素領域の間の距離を決定する工程と、アスペクト比および接続された構成要素領域の間の距離に基づいて、既知の物体であると物体を識別する工程とからなってよい。既知の物体の存在、場所、およびサイズ、のうちの任意の１つまたはそれらのうちの任意の組み合わせは、画像から決定されてよい。

本技術の別の態様によれば、ステレオ・ビジョン・システムをキャリブレーションするコンピュータ実装キャリブレーション方法が提供される。この方法は、１つまたは複数のプロセッサによって実施されてよい。ステレオ・ビジョン・システムは、第１の画像の第１の反射エネルギーを感知し、この第１の反射エネルギーに基づいて第１のセンサ信号を生成するように構成された第１のカメラ・センサと、第２の画像の第２の反射エネルギーを感知し、この第２の反射エネルギーに基づいて第２のセンサ信号を生成するように構成された第２のカメラ・センサとを含んでよい。方法は、第１のセンサ信号および第２のセンサ信号からステレオ画像を生成する工程と、訂正されたステレオ画像を生じさせるために、ステレオ・キャリブレーション・パラメータを使用してステレオ画像を訂正する工程と、訂正されたステレオ画像に対してステレオ・マッチングを実施する工程と、ステレオ・マッチングの結果を使用して、自動的システム・キャリブレーションを実施する工程とからなってよい。自動的システム・キャリブレーションは、コスト関数を最小化することに基づいてよい。本態様のいくつかの実施形態では、第１の反射エネルギーおよび／または第２の反射エネルギーは、少なくとも１つの電子デバイス（たとえば、ヘッドライト、街灯、レーザなど）から発せられる光エネルギーまたは光子からなることがある。本態様のいくつかの実施形態では、第１の反射エネルギーおよび／または第２の反射エネルギーは、太陽から発せられる太陽光エネルギーまたは光子からなることがある。本態様のいくつかの実施形態では、第１の反射エネルギーおよび／または第２の反射エネルギーは、太陽光エネルギーと電子デバイスから発せられる光エネルギーの組み合わせからなることがある。

本技術の別の態様によれば、１つまたは複数のプロセッサによって実行されるとき、１つまたは複数のプロセッサに、第１の画像の第１の反射エネルギーを感知し、第１の反射エネルギーに基づいて第１のセンサ信号を生成するように構成された第１のカメラ・センサと、第２の画像の第２の反射エネルギーを感知し、第２の反射エネルギーに基づいて第２のセンサ信号を生成するように構成された第２のカメラ・センサとを含んでよいステレオ・ビジョン・システムをキャリブレーションさせることができる、コンピュータ実行可能コードを記憶する非一時的なコンピュータ可読媒体が提供される。方法は、第１のセンサ信号および第２のセンサ信号からステレオ画像を生成する工程と、訂正されたステレオ画像を生じさせるために、ステレオ・キャリブレーション・パラメータを使用してステレオ画像を訂正する工程と、訂正されたステレオ画像に対してステレオ・マッチングを実施する工程と、ステレオ・マッチングの結果を使用して、自動的システム・キャリブレーションを実施する工程とからなってよい。自動的システム・キャリブレーションは、コスト関数を最小化することに基づいてよい。本態様のいくつかの実施形態では、第１の反射エネルギーおよび／または第２の反射エネルギーは、少なくとも１つの電子デバイス（たとえば、ヘッドライト、街灯、レーザなど）から発せられる光エネルギーまたは光子からなることがある。本態様のいくつかの実施形態では、第１の反射エネルギーおよび／または第２の反射エネルギーは、太陽から発せられる太陽光エネルギーまたは光子からなることがある。本態様のいくつかの実施形態では、第１の反射エネルギーおよび／または第２の反射エネルギーは、太陽光エネルギーと電子デバイスから発せられる光エネルギーの組み合わせからなることがある。

本技術のいくつかの実施形態による、大型で重い構造的支持材料をカメラ間で使用または必要とすることなく車内またはその上でカメラを装着するための場所を図示する図。 本技術のいくつかの実施形態による、大型で重い構造的支持材料をカメラ間で使用または必要とすることなく車内またはその上でカメラを装着するための場所を図示する図。 本技術のいくつかの実施形態による、大型で重い構造的支持材料をカメラ間で使用または必要とすることなく車内またはその上でカメラを装着するための場所を図示する図。 本技術のいくつかの実施形態による、図１Ａの車の透明化図または部分的透視図。 本技術のいくつかの実施形態による、図１Ｂの車の透明化図または部分的透視図。 本技術のいくつかの実施形態による、図１Ｃの車の透明化図または部分的透視図。 本技術のいくつかの実施形態による、車内の種々の場所に装着された前向きステレオ・ビジョン・カメラ・モジュールの図。 本技術のいくつかの実施形態による、車内の種々の場所に装着された前向きステレオ・ビジョン・カメラ・モジュールの図。 本技術のいくつかの実施形態による、車内の種々の場所に装着された前向きステレオ・ビジョン・カメラ・モジュールの図。 本技術のいくつかの実施形態による、車内の種々の場所に装着された前向きステレオ・ビジョン・カメラ・モジュールの図。 本技術のいくつかの実施形態による、車内の種々の場所に装着された前向きステレオ・ビジョン・カメラ・モジュールの図。 本技術のいくつかの実施形態による、車内の種々の場所に装着された前向きステレオ・ビジョン・カメラ・モジュールの図。 本技術のいくつかの実施形態による、トラック上に装着された前向きステレオ・ビジョン・カメラ・センサの図。 本技術のいくつかの実施形態による、トラックのサイド・ミラー上にカメラ・モジュールが装着された、ステレオ・ビジョン・システムの横向きカメラ・モジュールおよび後ろ向きカメラ・モジュールの斜視図。 本技術のいくつかの実施形態による、トラックのサイド・ミラー上にカメラ・モジュールが装着された、ステレオ・ビジョン・システムの横向きカメラ・モジュールおよび後ろ向きカメラ・モジュールの平面図。 本技術のいくつかの実施形態による、トラックのサイド・ミラー上にカメラ・モジュールが装着された、ステレオ・ビジョン・システムの横向きカメラ・モジュールおよび後ろ向きカメラ・モジュールの正面立面図。 本技術のいくつかの実施形態による、交通信号上に装着されたステレオ・ビジョン・システムのカメラの概略図。 本技術のいくつかの実施形態による、街灯柱上に装着されたステレオ・ビジョン・システムのカメラの概略図。 本技術のいくつかの実施形態による、建設用クレーン上に装着されたステレオ・ビジョン・システムのカメラの概略図。 本技術のいくつかの実施形態による、固定翼機に装着されたステレオ・ビジョン・システムのカメラの概略図。 本技術のいくつかの実施形態による、オフロード車または全地形対応車両上に装着されたステレオ・ビジョン・システムのカメラ配置の正面斜視図。 本技術のいくつかの実施形態による、オフロード車または全地形対応車両上に装着されたステレオ・ビジョン・システムのカメラ配置の背面斜視図。 本技術のいくつかの実施形態による、コンバイン収穫機上に装着された２つのステレオ・ビジョン・システムのカメラの概略図。 本技術のいくつかの実施形態による、自動化されたフォークリフト上に装着されたステレオ・ビジョン・システムのカメラの側面立面図（Ａ）、正面立面図（Ｂ）、および平面図（Ｃ）。 本技術のいくつかの実施形態による、ステレオ・ビジョン・システムのブロック図。 本技術のいくつかの実施形態による、図１３のシステムの処理構成要素のブロック図。 本技術のいくつかの実施形態において利用される訂正アルゴリズムの流れ図。 本技術のいくつかの実施形態による、アルゴリズムによって実施される訂正手順の幾何学的詳細を示す図。 本技術のいくつかの実施形態による、図１４の処理構成要素の自動キャリブレーション・エンジンのブロック図。 本技術のいくつかの実施形態による、図１６の自動キャリブレーション・エンジンのキャリブレーション・エンジンのブロック図。 本技術のいくつかの実施形態による、高速最適化方法の流れ図。 本技術のいくつかの実施形態による、中間的最適化方法の流れ図。 本技術のいくつかの実施形態による、図１７Ｃ－１の中間的最適化方法の角度探索プロセスの流れ図。 本技術のいくつかの実施形態による、低速最適化方法の流れ図。 本技術のいくつかの実施形態による、低速最適化方法の流れ図。 本技術のいくつかの実施形態による、低速最適化方法の流れ図。 本技術のいくつかの実施形態による、低速最適化方法の流れ図。 本技術のいくつかの実施形態による、図１６の自動キャリブレーション・エンジンのステレオ画像安定化エンジンの手順の流れ図。 本技術のいくつかの実施形態による、図１６の自動キャリブレーション・エンジンの絶対的範囲キャリブレーション・エンジンの手順のブロック図であり、この手順は、非負視差制約を有する図。 本技術のいくつかの実施形態による、負の視差をもつピクセルの数がヨーの関数としてどのように変わり得るかを図示するグラフ。 本技術のいくつかの実施形態による、図１６の自動キャリブレーション・エンジンの絶対的範囲キャリブレーション・エンジンの手順の流れ図であり、この手順は、既知の寸法をもつ物体のためのものである図。 本技術のいくつかの実施形態による、既知の寸法をもつ物体の画像の一例を図示する図。 本技術のいくつかの実施形態による、図１６の自動キャリブレーション・エンジンの絶対的範囲キャリブレーション・エンジンの手順の流れ図であり、この手順は、車両走行距離測定を利用する図。 本技術のいくつかの実施形態による、視差が範囲の関数としてどのように変わり得るかを図示するグラフ。 本技術のいくつかの実施形態による、図１６の自動キャリブレーション・エンジンのキャリブレーション・マネージャの手順の流れ図。 本技術のいくつかの実施形態による、図２２のキャリブレーション・マネージャの時系列入力図。 本技術のいくつかの実施形態による、一時停止標識検出器の手順の流れ図。 本技術のいくつかの実施形態による、図１４の処理構成要素のステレオ対応エンジンの手順を例示する図。

本発明者らは、振動の存在下ですら、およびシステムのカメラのための装着構造が剛性でない（たとえば、装着構造が外力から容易に変形され得る）ときですら、高品質をもつデプス・マップをステレオ・ビジョン・システムが生じさせることを可能にし得る画像処理技法を開発した。本発明者らは、高速摂動と低速摂動の両方を補償し得るカメラ自動キャリブレーション方法は、長いベースライン（本明細書では、「広いベースライン」とも呼ばれる）のステレオ・ビジョン・システムが、ロボット、車、トラック、電灯柱（ｌｉｇｈｔ ｐｏｓｔ）、建設用クレーン、航空機などの動的プラットフォーム上で使用されることを可能にし得ることを認識している。

自動車およびトラックなどの車両の場合、審美的設計にとって、製造にとって、および／またはステレオ・ビジョン・システムのセンサもしくはカメラに最適な視点を提供することにとって、好ましいまたは理想的であることすらある装着場所がある。しかしながら、これらの装着場所は、従来のステレオ・ビジョン・システムにおいて使用されるカメラの厳密な角度許容を支持するのに十分な剛性または安定性を有さないことがある。ステレオ・カメラの相対的ポインティング方向をいくつかの従来のステレオ・ビジョン・システムの０．０５度のみ摂動させたとしても、信頼できない範囲推定量が提供されるため、デプス・マップが損なわれるおそれがある。

図１Ａ～図１Ｃは、本技術のいくつかの実施形態による、カメラ間に大型で重い構造的支持材料を使用または必要とすることなく車両内またはその上でカメラを装着するための３つの異なる場所を図示する。

図１Ａは、本技術のいくつかの実施形態によるステレオ・ビジョン・システムの装着構成を図示し、システムの左カメラ１００および右カメラ１０２は、車両のフロント・ウインドシールドの頂部部分に装着されてよい。この場所は、カメラ１００、１０２が車両のキャビンの内部にあり、したがって、塵および雨から保護され得るので、望ましいことがある。たとえば、ウインドシールド・ワイパーは、カメラ１００、１０２の視野から細片（たとえば、雨、雪、葉など）を一掃するために使用されてよい。いくつかの実施形態では、右カメラ１００および左カメラ１０２は、非対称的に装着されることがあり、車両のウインドシールド・ワイパーの掃除ゾーン内にあるように配置されることがある。いくつかの実施形態では、右カメラ１００と左カメラ１０２との間の典型的なベースライン幅は約８０ｃｍであってよいが、この幅は、従来のステレオ・ビジョン・システムでは、２つのカメラ１００、１０２を接続するために非実際的に厚くて重い剛性構造部材を必要とすることになる幅である。理解されるように、そのような構造部材は、人間の運転手の視覚を遮る可能性がある。５０ｃｍよりも大きいベースラインをもつステレオ・カメラを有する従来の自律型試験車両は、典型的には、４５ｍｍ×４５ｍｍまたは９０ｍｍ×９０ｍｍプロファイルをもつ、嵩高いスロット・アルミニウム部材を使用して、一日または時にはそれよりも長くカメラ・アライメントを維持するのに十分な剛性を提供する。

図１Ｂは、本技術のいくつかの実施形態によるステレオ・ビジョン・システムの装着構成を図示し、システムの左カメラ１０４および右カメラ１０６は、車両のルーフ部分上に装着されてよい。ルーフ部分は、高い視点を提供し得るが、これは、ビジョン・システムが車両の前の物体を見回り、濡れた舗道および道路細片からのはねおよびしぶきから遠く位置することを可能にし得る。いくつかの実施形態では、カメラ１０４、１０６は、カメラ１０４、１０６を安定化するために余分な構造材料を使用することなくルーフ・ヘッドライナー上へ装着されることがある。そのうえ、いくつかの実施形態では、カメラ１０４、１０６とともに使用されるカメラ筐体は、１つまたは複数の掃除デバイス（たとえば、霜を除去するおよび／または曇りを取るように構成された発熱体、固体細片を除去するように構成された液体および／または空気のための噴霧器など）を含んでよい。いくつかの実施形態では、左カメラ１０４と右カメラ１０６との間の典型的なベースライン幅は、１．２５ｍであることがある。いくつかの実装形態では、車両のルーフ部分上のカメラ・モジュール１０４、１０６は、車両のスタイリングに対する影響をほとんどまたはまったく有さないことがある。たとえば、いくつかの実施形態では、カメラ１０４、１０６は、車両のルーフ・ラックに沿って連続的に置かれることがある。

図１Ｃは、本技術のいくつかの実施形態によるステレオ・ビジョン・システムの装着構成を図示し、システムの左カメラ１０８および右カメラ１１０は、車両のサイド・ミラー上に装着されてよい。サイド・ミラーは、前向きステレオ・ビジョン・システムに典型的には２．１ｍである最も幅広いベースラインを提供し得るが、図１Ａおよび図１Ｂに図示される装着構成よりも大きい摂動を経験することがある。典型的な車両の場合、サイド・ミラーは、車両の端にある。典型的なサイド・ミラーは、関節式接合部に対して装着され、内部振動源（たとえば、車両のエンジン）ならびに外部摂動（たとえば、風、道路の振動などからの）に対して感受性が高い軽量構造である。サイド・ミラー上に装着されたカメラは、一般に、高速摂動ならびに低速摂動を経験する。

図２Ａ～図２Ｃは、本技術のいくつかの実施形態による、図１Ａ～図１Ｃそれぞれの車両の透明化図または部分的透視図を図示する。いくつかの実施形態では、ワイヤ２００、２０２、２０４、２０６、２０８、２１０は、カメラ１００、１０２、１０４、１０６、１０８、１１０を電子制御ユニット２１２、２１４、２１６に対して接続し得る。ワイヤ２００、２０２、２０４、２０６、２０８、２１０は、電子制御ユニット２１２、２１４、２１６に対してデータを送出し、カメラ１００、１０２、１０４、１０６、１０８、１１０に対して電力を供給するように構成されてよい。

図３Ａから図１２は、移動もしくは撓曲し得る、振動および衝撃を受け得る、手動でキャリブレーションするのに不都合であるもしくはコストがかかることがある、ならびに／または手動キャリブレーションおよび維持なしに数年間動作することが必要であることがある、異なるプラットフォーム上のステレオ・ビジョン・システムの種々の実施形態を図示する。図３Ａから図１２では、本技術のいくつかの実施形態によれば、システムのカメラは、プラットフォーム上に装着されて図示されることがあるが、電子制御ユニットおよびワイヤリングは、プラットフォームのシャーシ内部またはプラットフォーム自体の内部に装着されることがあるので、図示されないことがある。

図３Ａ～図３Ｆは、本技術のいくつかの実施形態による、車内またはその上の種々の場所に装着された前向きステレオ・ビジョン・システムのためのカメラ・モジュールＣ１、Ｃ２を図示する。これらの場所は、典型的には、車の寿命を超える、またはたとえば、季節的な変化および／もしくは夜間から日中への温度変動の間に典型的な車によって経験される温度範囲を超えるステレオ・ビジョン・カメラのアライメントを保証する光学的剛性を提供しない。図３Ａは、サイド・ミラー上に装着されたカメラＣ１、Ｃ２を図示する。図３Ｂは、ルーフ上に装着されたカメラＣ１、Ｃ２を図示する。図３Ｃは、車のウインドシールド・ガラスの後ろに装着されたカメラＣ１、Ｃ２を図示する。図３Ｄは、車のグリル内に装着されたカメラＣ１、Ｃ２を図示する。図３Ｅは、車のヘッドライト・ハウジング内に装着されたカメラＣ１、Ｃ２を図示する。図３Ｆは、車のフォッグライト・ハウジング内に装着されたカメラＣ１、Ｃ２を図示する。

図４は、本技術のいくつかの実施形態による、前向きステレオ・ビジョン・システムのカメラ・モジュールＣ１、Ｃ２を描いたものであり、カメラ・モジュールＣ１、Ｃ２は、トラックのサイド・ミラー上に装着される。トラックは、左サイド・ミラーから右サイド・ミラーまで約３ｍの広いベースライン長を有することがあるが、この長さは、非常に長い範囲の立体視を可能にし得る。いくつかの実施形態では、カメラ・モジュールＣ１、Ｃ２は、ＣＭＯＳセンサからなることがある。

図５Ａ～図５Ｃは、本技術のいくつかの実施形態による、横向きステレオ・ビジョン・システムおよび後ろ向きステレオ・ビジョン・システムのための配置を図示したものであり、カメラ・モジュール５００、５０２は、図５Ａではトラックの右サイド・ミラー上に装着されるように図示されている。図５Ａはトラックの等角図または斜視図であり、図５Ｂはトラックの上面図または平面図であり、図５Ｃはトラックの正面立面図である。いくつかの実施形態では、重複ステレオ・ビジョン・システムはまた、トラックの左側にある物体を感知するために、トラックの左サイド・ミラー上に装着されることがある。重複ステレオ・ビジョン・システムは、不必要な混乱を回避するために、図面に図示されていない。ステレオ・ビジョン・システムの２つのカメラ・モジュール５００、５０２は、垂直に装着されてよく、約１ｍ離れて離間されてよい。理解されるように、ステレオ・マッチングは、互いに対して任意の角度で方位付けられたカメラからの画像をマッチングさせるように実施されてよい。たとえば、互いに対して垂直に配置されたカメラからの画像のステレオ・マッチングは、画像のピクセルの水平ラインすなわち行を相関させてよく、互いに対して水平に配置されたカメラからの画像のステレオ・マッチングは、画像のピクセルの垂直ラインすなわち列を相関させてよい、などである。ステレオ・ビジョン・システムのデプス範囲は、システムのカメラ間の距離に比例してよい。図５Ａ～図５Ｃに図示されるシステムの場合、システムは、図５Ｂに描かれるように、１３５度の水平視野５０４を有してよく、図５Ｃに描かれるように、９０度の垂直視野５０６を有してよい。理解されるように、本技術の他の実施形態では、他の視野は、たとえば、異なるカメラ・レンズ（たとえば、標準レンズ、異なるタイプの広角レンズなど）を介して可能である。図５Ａ～図５Ｃの構成などの横向きおよび後ろ向きステレオ・ビジョン構成は、歩行者を感知およびしたがって回避すること、自転車に乗っている人を感知およびしたがって回避すること、ならびに車両通り抜けを感知することに特に有用であることがある。従来のステレオ・ビジョン・システムは、広い視野システムでは、各ピクセルがより広い範囲の角度にマップされるにつれて角度を正確に推定する能力が劣化するので、典型的には、特に広い視野システムでは非常に不良なデプス範囲を有する。理解されるように、ステレオ・ビジョン・システムのデプス範囲分解能は、システムの視野に比例し得る。広いベースラインのステレオ・ビジョン・システムの場合、システムのデプス範囲分解能はシステムのステレオ・カメラのベースライン長に反比例するので、広い視野カメラを使用することが有利であることがある。したがって、本技術の実施形態は、従来のステレオ撮像システムにおける約５ｃｍから１０ｃｍのベースラインのみと比較して長いステレオ・ビジョン・ベースライン（たとえば、１ｍまたはそれ以上）を可能にすることによって、物体の長い範囲の、サラウンド・ビュー３次元（「３Ｄ」）感知を可能にし得る。

図６は、本技術のいくつかの実施形態による、交通信号ポール６０２上に装着されたステレオ・ビジョン・システムの２つのカメラ６００、６０６を図示する。２つのカメラ６００、６０６は、交通信号ポール６０２のブーム（ｂｏｏｍ）６０２ａの長さによって制限される長いベースラインによって分離されてよい。いくつかの交通信号ポールは、約５ｍのステレオ・ビジョン・ベースライン長を支持することがあり、このことは、極端に長い範囲のデプス推定（たとえば、３００ｍを超える）を可能にし得、これは、交通信号６０４のインテリジェントな切り換えのための交通待ち行列内の車両の待ち行列長さの測定を可能にし得る。理解されるように、交通信号ポールのブームは、撓曲してよい（たとえば、強風、ブームからのぶら下がる物体の動き、近くの大型トラックの通過からの道路振動などに伴って）。そのような撓曲は、カメラ６００、６０６によって経験されることがあり、そのような撓曲は、カメラ６００、６０６を保持する長いポール６０８によって大きくされることがある。したがって、長いベースライン長は、交通信号ポール６０２の典型的な動作環境において、２つのカメラ６００、６０６をすばやくミスアライメントさせ得る。

図７は、本技術のいくつかの実施形態による、街灯柱７００上に装着されたステレオ・ビジョン・システムの２つのカメラ７０２、７０４を図示する。２つのカメラ７０２、７０４は、垂直に装着されることがあり、関心領域（たとえば、歩行者横断歩道）を見るためにわずかに下方へ向けられることがある。たとえば、カメラ７０２の視野の上部エッジ７０６は、水平ラインから約３０度（たとえば、２０度、１０度、５度）未満それることがある。２つのカメラ７０２、７０４間のベースライン距離は、数メートルまたはそれ以上（たとえば、３ｍ、３．５ｍ、４ｍ、４．５ｍなど）であってよい。カメラの類似した垂直構成は、標識ポール、電話／公益事業ポールなどの上に装着されてよい。

図８は、本技術のいくつかの実施形態による、建設用クレーン８００上に装着されたステレオ・ビジョン・システムの２つのカメラ８０４、８０６を図示する。カメラ８０４、８０６は、トロリー８０２上に装着され、たとえば、ペイロード８０８ならびにペイロード８０８の近くおよびその下の周囲建設環境をモニタリングするために、下向き視野を有するように配置されてよい。典型的な視野８１０は、約９０度から約１２０度であってよく、クレーン８００のブームと平行またはほぼ平行な方向に延びてよい。カメラ８０４、８０６間の距離は、望ましい最小デプス範囲およびデプス範囲分解能に応じて、約２ｍから５ｍであってよい。約５０ｍのブーム長さおよび約２００ｍのクレーン高さは、特に構造衝撃および振動によってカメラ８０４、８０６間の一定の相対的位置の維持が困難となるとき、広いベースライン、長い範囲のステレオ・ビジョン・システムを、建設用クレーンの環境をモニタリングするための魅力的な解決策にする。

図９は、本技術のいくつかの実施形態による、固定翼機９００上に装着されたステレオ・ビジョン・システムの２つのカメラ９０２、９０４を図示する。航空機９００は、たとえば、農薬散布機、無人機（ＵＡＶ）、クアッドコプターまたはヘキサコプター、飛行機などであってよい。いくつかの実施形態では、カメラ９０２、９０４は、航空機９００の翼の下面上に装着され、地上領域９０６を見るために下方へ向けられることがある。いくつかの実施形態では、２つのカメラ９０２、９０４は、前方方向に、または後方方向に向けられることがある。翼は、航空機９００の動作中に撓曲または移動し得るので、カメラ９０２、９０４は、所定の位置で互いに対して前後に振動することがあり、立体視は、通常のステレオ・ビジョン技法を使用しても可能でないことがある。

図１０Ａおよび図１０Ｂはそれぞれ、本技術のいくつかの実施形態による、オフロード車両１０００上に装着されたステレオ・ビジョン・システムのカメラ配置の正面斜視図および背面斜視図を図示するものである。ステレオ・ビジョン・システムは、４つのステレオ・ビジョン・カメラ・ペア、すなわち、前面ステレオ・ビジョン・カメラ・ペア１００２、左ステレオ・ビジョン・カメラ・ペア１００４、後面ステレオ・ビジョン・カメラ・ペア１００６、および右ステレオ・ビジョン・カメラ・ペア１００８からなるサラウンド・ビュー構成を有してよい。４つのステレオ・ビジョン・カメラ・ペア１００２、１００４、１００６、１００８は、前面方向、後面方向、左方向、および右方向の各々に１つ、少なくとも９０度の４つの水平視野を提供し得る。理解されるように、オフロード車両は、起伏の多い地形で運転するとき、極端な量の振動および衝撃に遭遇し、このことは、従来のステレオ・ビジョン・カメラをすぐにミスアライメントさせるであろう。オフロード車両の例としては、たとえば、軍用車両、ジープ（登録商標）、全地形対応車両、ダンプ・トラック、採掘車両、および砂利、岩の多い地形、玉石、掘削現場などの未舗装表面上で運転され得る任意のタイプの車両がある。オフロード車両の周囲環境についての高分解能３Ｄ情報は、岩、巨岩、木の枝などで満ちていることがある不均一な表面をナビゲートするために肝要であることがあり、したがって、そのような情報を取得するために信頼できるシステムは、重要性が高い。

図１１は、本技術のいくつかの実施形態による、コンバイン収穫機１１００上に装着された２つのステレオ・ビジョン・システムを図示する。前向きステレオ・ビジョン・システムは、前方カメラ１１０２と、前方カメラ１１０４とを含んでよく、これらのカメラは、たとえば、収穫機１１１０のスロットルの情報に基づいた制御を可能にする、したがって、送り速度を最大化するために、収穫機１１００に遭遇される前に、収穫物の量を測定するための情報を取得するために使用されてよい。前方カメラ１１０２、１１０４は、たとえば、収穫機１１００のヘッドライナー１１１６上に装着されることがある。噴出口（ｓｐｏｕｔ）装着ステレオ・ビジョン・システムは、噴出口カメラ１１０８と、噴出口カメラ１１１０とを含んでよく、これらのカメラは、たとえば、噴出口１１１２の位置を制御し、収集容器内の材料の量を測定するための情報を取得するために使用されてよい。収穫機１１００が農地、植物、および植生の上を移動するとき、収穫機１１００の噴出口１１１２とヘッドライナー１１１６の両方は、極端な量の振動および衝撃を経験することがある。そのうえ、理解されるように、ヘッドライナー１１１６および噴出口１１１２は、前面カメラ１１０２、１１０４の相対的移動および噴出口カメラ１１０８、１１１０の相対的移動が回避され得るような、「光学的に堅固な」構造でないことがある。すなわち、農期を越えて、ましてなおさら、収穫機１１００の寿命全体を越えて、カメラのペアの一定のアライメントを維持することが可能でないことがある。収穫機１１００に関連のあるカメラ・アライメント問題は、他の農場機器（たとえば、トラクタ、乾草梱包機、土木機械車両など）においても問題であることがある。

図１２は、本技術のいくつかの実施形態による、自動化されたフォークリフト１２００上に装着された前向きステレオ・ビジョン・システムのカメラ１２０２、１２０４の左立面図、正面立面図、および平面図を図示する。いくつかの実施形態では、カメラ１２０２、１２０４は、たとえば、１３５度の広い視野を提供することがあり、衝突回避および物体局所化を可能にすることがあるが、これらは、オペレータの視野を遮ることがある大型物体を移動するとき、望ましい特徴である。幅が１ｍを超える広いベースラインは、典型的なフォークリフト・プラットフォーム上では可能である。フォークリフト・システムは、典型的には、約３０ｍのデプス範囲を必要とし、これは、従来のステレオ・ビジョン・ソリューションの能力を十分に超える。フォークリフトはまた、動作中に極端に大きい衝撃を受けることがあり、このことは、キャリブレーションを維持することができる耐衝撃性カメラならびに耐衝撃性電子機器（たとえば、センサ）を有するようにフォークリフトとともに使用される任意のステレオ・ビジョン・システムにとって必須でないとしても、非常に望ましい。衝撃抵抗は、フォークリフトにとってだけでなく、たとえば倉庫および工場内で使用される自動化されたモバイル車両（たとえば、スマート無人誘導車両）にとっても、望ましい。

図３Ａから図１２に関する上記の論議から諒解可能であるように、非剛性プラットフォーム上に装着されることがあり、低速アライメント摂動および／または高速アライメント摂動を調整するために自動的にキャリブレーションされ得るステレオ・ビジョン・システムは、多くの異なるシチュエーションにとって望ましい場合がある。

図１３は、本技術のいくつかの実施形態による、ステレオ・ビジョン・システムのブロック図を図示する。処理構成要素１３１０は、電子制御ユニット（たとえば、電子制御ユニット２１２、２１４、２１６）の各々の一部として含まれてよい。ステレオ・ビジョン・システムの第１のカメラ１３００（「カメラ１」とも呼ばれる）および第２のカメラ１３０２（「カメラ２」とも呼ばれる）は、未加工画像１３０４および１３０６の信号またはデータを処理構成要素１３１０に送出し得る。いくつかの実施形態では、カメラ１３００、１３０２は、モノクロＣＭＯＳカメラ、カラーＣＭＯＳカメラ、近赤外線カメラ、短波赤外線カメラ、中波赤外線カメラ、長波赤外線カメラのいずれかであってよく、未加工画像１３０４および１３０６を処理構成要素１３１０にリアルタイムまたはほぼリアルタイムで提供し得る。いくつかの実施形態では、カメラ１３００、１３０２は、メモリを有することがある、および／またはデータ記憶デバイスと関連付けられることがある、ならびに、カメラ１３００、１３０２は、メモリおよび／またはデータ記憶デバイスから再生される画像のシーケンス（たとえば、未加工画像１３０４および１３０６のシーケンス）を処理構成要素１３１０に対して提供することがある。いくつかの実施形態では、画像は、２次元（たとえば、高さおよび幅）であってよい。いくつかの実施形態では、画像は、３次元（たとえば、高さおよび幅および色）であってよい。処理構成要素１３１０は、コマンドおよび制御ライン１３１２を通じてメイン・システム・コントローラ１３１６によって命令されるように構成されてよい。理解されるように、コマンドおよび制御ライン１３１２は、ワイヤード通信機構（たとえば、データ・バス、通信ライン）であってもよいし、または当技術分野で知られている通信技法を使用するワイヤレス通信機構であってもよい。いくつかの実施形態では、メイン・システム・コントローラ１３１８は、高レベル機能（たとえば、自動車のための自動非常ブレーキ）を協調させるように、および種々のサブ・システム（たとえば、ブレーキ・システム、センサ・システムなど）と通信するように構成されたコンピュータからなってよい。いくつかの実施形態では、一般的な通信プロトコルが、コマンドおよび制御ライン１３１２を介する通信に使用されてよい（たとえば、イーサネット（登録商標）、ＣＡＮ（コントローラ・エリア・ネットワーク）、Ｉ２Ｃ（集積回路間）など）。いくつかの実施形態では、処理構成要素１３１０は、コマンドおよび制御ライン１３１２を通じて、メイン・システム・コントローラ１３１８に対し、キャリブレーション・ステータス（たとえば、システム・ヘルス・ステータス、情報品質ステータスなど）に関して報告を行うことがある。いくつかの実施形態では、コマンドおよび制御ライン１３１２は、処理構成要素１３１０の自動キャリブレーションおよびステレオ対応設定を構成するために使用されることがある。コマンドおよび制御ライン１３１２は、処理構成要素１３１０内の入力データ・ストリームと出力データ・ストリームの両方を開始、停止、および記録するために使用されることもある。デプス・マップ１３０８および対応する信頼マップ１３１４は、未加工画像１３０４および１３０６の各ペアのための処理構成要素１３１０から出力されることがある。いくつかの実施形態では、デプス・マップ１３０８は、未加工画像１３０４と同じ幅と高さとをもつ２次元行列であってよいが、その値は、ターゲット（たとえば、視野内の物体）に対する範囲（たとえば、距離）を示す。デプス・マップ１３０８は、報告されてもよいし、ＲＧＢ画像として出力されてもよく、各２４ビット色値が、ターゲットに対する範囲であるように符号化され得る。たとえば、デプス・マップ１３０８の値がｍｍ（ミリメートル）の単位を有する場合、０から１６，７７７．２１５ｍ（メートル）までの距離が、２４ビットを用いて表され得る。いくつかの実施形態では、信頼マップ１３１４は、未加工画像１３０４と同じ高さと幅とをもつ２次元行列であってよく、信頼マップ１３１４の各要素は、未加工画像１３０４の各ピクセルのデプス推定のための信頼値または信頼レベルを表し得る。いくつかの実施形態では、信頼値は、０から２５５までの８ビットの符号なし値であってよく、比較的高い値は、対応するデプス推定における高いレベルの信頼性を示し得る。いくつかの実施形態では、信頼マップ１３１４のための８ビット表現を使用することは、信頼マップ１３１４が好都合にはグレースケール画像として表示されることを可能にすることがあり、信頼マップ１３１４のためのデータがモノクロ・ビデオ・データ・ストリームとして送出されることを可能にすることもある。信頼マップ１３１４によって提供される情報は、周囲環境の高信頼推定を提供するために種々のセンサ（たとえば、レーダ、ライダー、ソナーなど）からの推定を組み合わせるように機能するセンサ・フュージョン処理パイプラインにとって重要であることがある。

照明器１３１６は、本技術のいくつかの実施形態によれば、夜間動作のために光を投影するために使用されることがある。照明器１３１６は、１つまたは複数の照明要素（たとえば、ランプ、ＬＥＤなど）からなることがある。いくつかの実施形態では、ステレオ・ビジョン・システムは、車上で提供されることがあり、照明器１３１６は、車のヘッドライトからなることがあり、ヘッドライトは、可視放射または赤外放射を発し得る。いくつかの実施形態では、照明器１３１６は、可視放射または赤外放射を発するように構成された外部に装着されたランプからなることがある。いくつかの実施形態では、照明器１３１６は、第１のカメラ・センサの露光間隔および第２のカメラ・センサの露光間隔と同期して可視放射または赤外放射を発するように構成されることがある。変調された波形では、ピーク光パワーは、同じ平均光パワーに対して、より高いことがあり、したがって、カメラ・センサによって登録される光子の数は、平均光パワーに対して感受性が高いことがある、近づいてくる運転手または歩行者の目をくらませることなく増加することがある。いくつかの実施形態では、照明器１３１６は、垂直共振器型面発光レーザ（ＶＣＳＥＬ）アレイからなることがあり、ＶＣＳＥＬアレイは、疑似ランダム・ドット・パターンを投影するように構成されてよい。ランダム化されたドット・パターンの使用は、照明されているシーンにテクスチャを追加することがあり、このことは、正確なデプス・マップを生成するステレオ対応エンジン１４２０の能力を改善し得る。

本技術のいくつかの実施形態では、図１３のステレオ・ビジョン・システムは、３つのカメラをもつシステムであるように修正されることがある。第１のカメラおよび第２のカメラは、短い範囲感知用ステレオ・ビジョン・システムを形成してよく、第１のカメラおよび第３のカメラは、長い範囲感知用ステレオ・ビジョン・システムを形成してよい。第１のカメラと第２のカメラとの間のベースライン距離は、第１のカメラと第３のカメラとの間のベースライン距離よりも短くてよい。第１のカメラおよび第２のカメラからなるステレオ・ビジョン・システムは、第１のカメラおよび第３のカメラからなるステレオ・ビジョン・システムと比較して、より低い最小距離範囲を有することがあるが、より高い範囲分解能を有することがある。

本技術のいくつかの実施形態では、図１３のステレオ・ビジョン・システムは、２つのステレオ・ビジョン・システム、すなわち第１のカメラと第２のカメラとをもつ短い範囲のシステムと第３のカメラと第４のカメラとをもつ長い範囲のシステムからなる、４つのカメラをもつシステムであるように修正されることがある。３つのカメラをもつシステムと比較すると、追加の（第４の）カメラは、追加の動作自由度を提供し得、短い範囲のシステムが、長い範囲のシステムよりも異なる（たとえば、より広い）視野を有することを可能にし得る。いくつかの実施形態では、第１のカメラおよび第２のカメラは、第３のカメラおよび第４のカメラよりも短いベースラインとより広い視野を有することがある。

本技術のいくつかの実施形態では、図１３のステレオ・ビジョン・システムは、ステレオ・ビジョン・システムの最小距離よりもカメラ１３００、１３０２に近い物体を測定するように構成されてよい飛行時間カメラを含むように修正されることがある。

図１４は、本技術のいくつかの実施形態による、処理構成要素１３１０のブロック図を図示する。上記で論じられたように、処理構成要素１３１０は、未加工画像１３０４および１３０６をデプス・マップ１３０８および信頼マップ１３１４へと変換し得る。第１のカメラからの未加工画像１３０４は、訂正エンジン１４１６によって訂正されてよい。第２のカメラからの未加工画像１３０６は、訂正エンジン１４１８によって訂正されてよい。理解されるように、コンピュータ・ビジョン技術では、訂正は、カメラ１およびカメラ２からの画像が行ごとにアライメントされるように画像をゆがめるために使用される変換プロセスである。すなわち、カメラ１からの未加工画像１３０４から生じる訂正された画像１４０６内のピクセルの行内の特徴は、カメラ２の未加工画像１３０６からの訂正された画像１４０８内のマッチング特徴と同じピクセルの行に対してアライメントされる。そのようなピクセルの行アライメントは、対応する特徴に関する探索が行および列に沿った２次元探索よりも行に沿った１次元探索でとなることを可能にするので、ステレオ対応エンジン１４２０がより速く動作することを可能にし得る。いくつかの実施形態では、訂正エンジン１４１６および１４１８は、それぞれカメラ・パラメータ１４１０および１４１２を利用して、マッピング動作またはゆがめ動作を決定することがある。図１５Ａは、本技術のいくつかの実施形態における、訂正エンジン１４１６、１４１８によって利用され得る訂正アルゴリズムの流れ図を図示する。図１５Ｂは、本技術のいくつかの実施形態による、アルゴリズムによって実施される訂正手順の座標系および幾何学的詳細を図示する。

本技術のいくつかの実施形態によれば、カメラ・パラメータ１４１０、１４１２は、２つのカメラ１３００、１３０２の相対的位置および方位を説明し得る６つの外因性カメラ・パラメータと、カメラ座標系から各カメラ１３００、１３０２のピクセル座標系への変換を特徴付け得る１８個の内因性カメラ・パラメータとからなってよい。６つの外因性変数は、相対的ロール、相対的ピッチ、相対的ヨー、相対的平行移動ｘ、相対的平行移動ｙ、および相対的平行移動ｚからなることがある。カメラ１３００と１３０２の両方のための１８個の内因性カメラ・パラメータは、各カメラ１３００、１３０２に関して、焦点距離（Ｆｘ，Ｆｙ）、主点（Ｃｘ，Ｃｙ）、半径方向レンズ歪み係数Ｋ１、Ｋ２、およびＫ３、ならびに接線方向レンズ歪み係数Ｐ１およびＰ２からなってよい。これらのカメラ・パラメータはよく知られており、数百のコンピュータ・ビジョン・アルゴリズムを含むオープン・ソースのライブラリであるＯｐｅｎＣＶ（オープン・ソースのコンピュータ・ビジョン・ライブラリ）によって説明される。広い視野レンズおよび／または魚眼レンズが使用されるとき、１つまたは複数の追加の高次レンズ歪みパラメータが使用されることが必要であることがある。いくつかの実施形態では、カメラ・パラメータ１４１０、１４１２は、一定でなくてよく、カメラ１３００、１３０２における実際の変化を追跡するために、時間の関数として変化してよい。いくつかの実施形態では、カメラ・パラメータ１４１０、１４１２は、あらゆるフレームに関して更新されることがある。

本技術のいくつかの実施形態によれば、自動キャリブレーション・エンジン１４１４は、カメラ１３００、１３０２のステレオ・カメラ・キャリブレーションを維持する方法を実装するように構成されることがある。いくつかの実施形態では、自動キャリブレーション・エンジン１４１４は、現在のフレームの未加工画像１３０４、１３０６および前のフレームの訂正された画像１４０６、１４０８を入力として利用することができる。自動キャリブレーション・エンジン１４１４は、第１のカメラ１３００（カメラ１）のためのカメラ・パラメータ１４１０および第２のカメラ１３０２（カメラ２）のためのカメラ・パラメータ１４１２を出力し得、第１のカメラ１３００のための平行移動パラメータ１４２６および第２のカメラ１３０２のための平行移動パラメータ１４２８を出力し得る。

本技術のいくつかの実施形態によれば、平行移動エンジン１４２２、１４２４は、非常に高速な摂動を補償するように訂正された画像１４０６、１４０８をシフトし、互いに対して訂正された画像１４０６、１４０８を安定化するために、変換動作を実施することがある。平行移動動作は、ピクセル行および／またはピクセル列によって実施されてよく、これは、アフィン変換手順を使用してすばやく達成され得る。平行移動パラメータ１４２６、１４２８は、行に基づいた平行移動オフセットおよび列に基づいた平行移動オフセットであってよい。いくつかの実施形態では、算出時間を減少させるために、平行移動エンジン１４２２、１４２４のうちの一方は破棄される（たとえば、使用されない、またはアイドルである、または存在しない）ことがあり、他方は、（たとえば、和として）平行移動オフセットを受け取る。平行移動エンジン１４２２、１４２４によって出力される画像１４３０、１４３２は、訂正され、安定化された画像１４３０、１４３２であってよく、これらは、ステレオ対応エンジン１４２０へと送られてよい。ステレオ対応エンジン１４２０は、画像１４３０、１４３２内のマッチング・ピクセル間の視差を決定してよく（たとえば、画像１４３０、１４３２は、左画像および右画像であってよい）、視差マップを算出してよく、視差マップからデプス・マップ１３０８を算出および出力してよく、信頼マップ１３１４を算出および出力してよい。

図１６は、本技術のいくつかの実施形態による、自動キャリブレーション・エンジン１４１４のブロック図を図示する。自動キャリブレーション・エンジン１４１４は、５つのキャリブレーション・エンジン、すなわち、高速キャリブレーション・エンジン１６００、中間的キャリブレーション・エンジン１６０２、低速キャリブレーション・エンジン１６０４、絶対的範囲キャリブレーション・エンジン１６０６、およびステレオ画像安定化エンジン１６０８からなってよい。いくつかの実施形態では、高速キャリブレーション・エンジン１６００、中間的キャリブレーション・エンジン１６０２、および低速キャリブレーション・エンジン１６０４は、低速時間スケールから高速時間スケール上で発生し得るカメラ・パラメータ摂動を補償することがあり、これらのキャリブレーション・エンジン１６００、１６０２、１６０４によって使用される方法は、コスト関数を最適化することに基づいてよい。いくつかの実施形態では、絶対的範囲キャリブレーション・エンジン１６０６は、外因性カメラ・パラメータである相対的ヨーを調整することによって、物体に対する絶対的範囲をキャリブレーションすることがある。いくつかの実施形態では、エピポーラ・ジオメトリ制約はヨーの変化に対して感受性が高くないので、絶対的範囲キャリブレーションのキャリブレーションは、最も重要で、十分にキャリブレーションするのが最も困難なパラメータのうちの１つであり得る。いくつかの実施形態では、ステレオ画像安定化エンジン１６０８は、フレームごとのピッチおよびヨーの変動を追跡および補償するために使用されることがある。カメラ・パラメータの時系列履歴は、記憶デバイス１６２２に記憶されてよい。現在のカメラ・パラメータ１６２０は、キャリブレーション・エンジン１６００、１６０２、１６０４、１６０６、１６０８のための開始点として使用されてよい。いくつかの実施形態では、キャリブレーション・エンジン１６００、１６０２、１６０４、１６０６、１６０８の出力１６１０、１６１２、１６１４、１６１６、１６２６は、キャリブレーション・マネージャ１６２４によって組み合わされることがあり、キャリブレーション・マネージャ１６２４は、この情報を使用して、第１のカメラ１３００および第２のカメラ１３０２のためのカメラ・パラメータ１４１０、１４１２の最良推定量を決める。コマンドおよび制御ライン１３１２は、カメラ・パラメータのための値を初期化するために使用されることがあり、これらの値は、手動工場キャリブレーション、製造仕様、またはあて推量から生じることがある。以下で論じられるように、絶対的範囲キャリブレーション・エンジン１６０６は、異なる実施形態を有する。いくつかの実施形態では、高速キャリブレーション・エンジン１６００によって実施される高速キャリブレーション手順、中間的キャリブレーション・エンジン１６０２によって実施される中間的キャリブレーション手順、および低速キャリブレーション・エンジン１６０４によって実施される低速キャリブレーション手順、のうちの任意の１つまたは任意の組み合わせは、１つまたは複数の内因性カメラ・パラメータをキャリブレーションするための内因性パラメータ・キャリブレーション手順を含んでよい。たとえば、各カメラに対して、焦点距離、主点、少なくとも１つの半径方向レンズ歪み係数、および少なくとも１つの接線方向レンズ歪み係数、のうちの任意の１つまたはそれらのうちの任意の組み合わせは、内因性パラメータ・キャリブレーション手順によってキャリブレーションされ得る。いくつかの実施形態では、第１のカメラおよび第２のカメラ１３００、１３０２についての演繹的知識がある場合、たとえば、まれなケースであるが、レンズ装着具自体が可撓性であることが知られている場合、内因性パラメータ・キャリブレーション手順は、高速キャリブレーション・エンジン１６００および／または中間的キャリブレーション・エンジン１６０２によって実施されてよい。いくつかの実施形態では、内因性カメラ・パラメータは、いくつかの理由から、高速時間スケールおよび／または中間的時間スケールでキャリブレーションされることは必要でないことがある。理由：（１）貫通（ｐｉｅｒｃｉｎｇ）点水平場所（Ｃｘ）および焦点距離（ＦｘおよびＦｙ）の小さい変化は、ヨーに対する変化だけ１次（ｆｉｒｓｔ ｏｒｄｅｒ）へ補正されてよい、（２）貫通点水平場所（Ｃｙ）の小さい変化は、ピッチに対する変化だけ１次へ補正されてよい、および（３）レンズ形状は一般に変えられないので、レンズ歪み係数は、典型的には、変化しなくてよい。

図１７Ａは、本技術のいくつかの実施形態による、高速キャリブレーション・エンジン１６００、中間的キャリブレーション・エンジン１６０２、および低速キャリブレーション・エンジン１６０４のブロック図を図示する。キャリブレーション・エンジン１６００、１６０２、１６０４は、同じブロック図構造を有してよいが、異なる最適化方法１７００、１７２２、１７２４をそれぞれ利用してよい。いくつかの実施形態では、方法１７００、１７２２、１７２４の基本概念は、方法１７００、１７２２、１７２４の各々に対して、最適なまたは的確なカメラ・パラメータは、対応する方法に適した最小化されたコスト関数１７０４と関連付けられてよいということである。たとえば、２４個のカメラ・パラメータ（６つの外因性パラメータおよび１８個の内因性パラメータ）の公称ケースの場合、パラメータの力まかせ探索は、コスト関数１００^２４倍を評価し、パラメータあたり１００の値を仮定することを必要とすることがあり、これは、従来のコンピュータを使用して算出するのに不合理に長い時間がかかる（従来のコンピュータを使用した場合、宇宙の年齢よりも長い時間がかかるであろう）。理解されるように、現実世界の設定にとって実際的であるために、最適化動作は、リアルタイムで完了され、摂動の源もしくは原因の時間スケールにマッチングする時間スケールで、またはより早く、実装されるべきである。したがって、いくつかの実施形態では、探索を異なる時間スケールへと分けることによってカメラ・パラメータが効率的に探索されることが非常に望ましい。

本技術のいくつかの実施形態によれば、最適化方法１７００、１７２２、１７２４のうちの１つまたは複数は、有界の探索範囲に対してカメラ・パラメータのサブセットに関してコスト関数１７０４を繰り返し評価することがある。いくつかの実施形態では、コスト関数１７０４の評価をスピード・アップするために、最適化方法１７００、１７２２、１７２４のうちの１つまたは複数は、第１のカメラおよび第２のカメラ１３００、１３０２からの未加工画像１３０４、１３０６のピラミッド・レベル１７０３を動的に合わせることがある。「ピラミッド」という用語は、画像のより小さい画像へのダウンサンプリングを指すと広く理解される一般的なコンピュータ・ビジョン用語である。コスト関数を算出する（すなわち、最小コスト関数を決定する）時間の量は、半分の分解能（またはピラミッド・レベル１）へのサブサンプリングによって、処理されている画像のサイズに比例し得るので、コスト関数を算出する時間は、４分の１に減少され得る。粗いパラメータ探索の場合、高いピラミッド・レベルが、探索をスピード・アップするために使用されてよい。細かいパラメータ探索の場合、低いピラミッド・レベルが、強化された精度のために使用されてよい。いくつかの実施形態では、最適化方法１７００、１７２２、１７２４のそれぞれの出力１６１０、１６１２、１６１４は、対応する最適化方法のコスト関数１７０４を最小化するカメラ・パラメータであってよい。理解されるように、コスト関数を最小化することは、等価な手法と考えられ得るので、性能指数（ｆｉｇｕｒｅ ｏｆ ｍｅｒｉｔ）を最大化するとも考えられ得る。

本技術のいくつかの実施形態によれば、キャリブレーション・ヘルスのインジケータは、コマンドおよび制御ライン１３１２を通じてメイン・システム・コントローラ１３１６に報告されることがある。いくつかの実施形態では、キャリブレーション・ヘルスは、最適化されたカメラ・パラメータに対応する（最小化された）コスト関数（または最大化された性能指数）の負数となるようにされてよい。

本技術のいくつかの実施形態によれば、コスト関数１７０４は、未加工画像１３０４、１３０６のサイズを減少させるように構成されたピラミッド・ダウン・ブロック１７０１と、試験カメラ・パラメータ１７０２に従って減少された画像をゆがめ、行アライメントするように構成された訂正ブロック１７０６と、ステレオ・ブロック・マッチング・ブロック１７１０と、有効ピクセルの数の負数を算出するように構成されたブロック１７１４とからなってよい。いくつかの実施形態では、ステレオ・ブロック・マッチング・ブロック１７１０は、９×９というピクセル・ウィンドウ・サイズ、正規化応答プレフィルタ、６３というプレフィルタ・キャップ、１１というプレフィルタ・サイズ、１００というスペックル・ウィンドウ・サイズ、６４というスペックル範囲、１０というテクスチャしきい値、１０という一意性比、および０から２５５という視差探索範囲を含んでもよい、パラメータとともに、ＯｐｅｎＣＶのステレオ・ブロック・マッチング・アルゴリズムを使用してよい。そのようなブロック・マッチング・アルゴリズムは、多くの異なるタイプのプロセッサにわたるその高速な実行のために選ばれてよい。テクスチャしきい値および一意性比は、間違った距離推定量の数を最小化するため、および対応するピクセルを無効なピクセルと置き換えるために、比較的高く（たとえば、１０～５０という値）設定されてよい。いくつかの実施形態では、最適化方法１７００、１７２２、１７２４の各々は、ステレオ・ブロック・マッチングが実施された後で、無効なピクセルの数を最小化する最適なカメラ・パラメータを発見してよい。

図１７Ｂは、本技術のいくつかの実施形態による、高速キャリブレーション・エンジン１６００の高速最適化方法１７００の流れ図を図示する。ピッチおよびロール外因性カメラ・パラメータは、短い時間スケールの歪みのほとんどに対して責任を負い得るので、高速最適化方法１７００は、これらのパラメータを調節し得る。高速最適化方法１７００は、最適化方法１７００、１７２２、１７２４の中で、最も頻繁な更新に使用されることがある。高速最適化方法１７００は、小さい範囲にわたって比較的少数のカメラ・パラメータ（２つ）を探索するので、高速と考えることができる。

高速最適化方法１７００の工程１７２６では、クイック探索が、選ばれたグリッド点内のコストをチェックすることによって、カメラ・パラメータ１６２０の初期推量のために実施される。いくつかの実施形態では、グリッド点は、典型的には、合計で２７個のグリッド点に対して、－０．４度から０．４度までのピッチに関する９つの値と、カメラ・パラメータ１６２０の初期推量についての－０．２度から０．２度までのロールに関する３つの値とを有してよい。コスト関数１７０４を評価する場合、評価をスピード・アップするために、１というピラミッド・レベルが使用されることがある。

高速最適化方法１７００の工程１７２８では、最低コスト（コスト関数１７０４の最小値）に対応するピッチおよびロールが、グリッド点の中で選択されてよい。
高速最適化方法１７００の工程１７３０では、非線形不等制約を伴う導関数なし最適化のためのＣＯＢＹＬＡ（Ｃｏｎｓｔｒａｉｎｅｄ Ｏｐｔｉｍｉｚａｔｉｏｎ ＢＹ Ｌｉｎｅａｒ Ａｐｐｒｏｘｉｍａｔｉｏｎｓ：線形近似による制約下最適化）アルゴリズムは、工程１７２８において発見されたピッチおよびロール、カメラ・パラメータ１６２０の初期推量の他のカメラ・パラメータ、ならびにピッチとロールの両方における０．１度の境界とともに適用されてよい。工程１７３０において使用されるコスト関数１７０４は、０というピラミッド・レベルを有してよい。カメラ・パラメータ１６２０は、ＣＯＢＹＬＡによって発見された最低コストに対応するピッチおよびロールを用いて更新されてよく、更新されたカメラ・パラメータ１６１０は、高速最適化方法１７００のために返される。

本技術のいくつかの実施形態によれば、ＣＯＢＹＬＡアルゴリズムは、目的関数の連続した線形近似および点のシンプレックスを用いた制約を構築し得、これらの近似を各工程における信用領域内で最適化し得る。いくつかの実施形態では、２つの探索次元、すなわち、ピッチに関して０．１度およびロールに関して０．１度という小さい探索範囲にわたって、ステレオ・カメラのペアの相対的ピッチおよびロールのみがあるので、最適化は、すばやく（たとえば、Ｉｎｔｅｌ Ｃｏｒｅ ｉ７ ＣＰＵプロセッサ上で１００ｍｓ）算出可能であり、必要とされる場合、２０ＦＰＳで１つおきのフレームを補償することができる。いくつかの実施形態では、探索範囲は、所与のプラットフォームのための予想逸脱（ｅｘｃｕｒｓｉｏｎ）に基づいて増加または減少可能である。たとえば、車上の吸引カップ装着の場合、０．１度は十分に大きいが、小道で乗られているマウンテン・バイク上に緩く装着されたカメラの場合、０．２度が必要とされることがある。

いくつかの実施形態では、ＣＯＢＹＬＡ探索方法は、Ｎｅｌｄｅｒ－Ｍｅａｄシンプレックス探索方法、Ｂｒｏｙｄｅｎ－Ｆｌｅｔｃｈｅｒ－Ｇｏｌｄｆａｒ－Ｓｈａｎｎｏ（ＢＦＧＳ）法、Ｐｏｗｅｌｌ法、逐次二次計画（ＳＬＳＱＰ）法、またはＭｏｎｔｅ Ｃａｒｌｏ法などの他の探索方法によって置き換えられてもよいことが留意されるべきである。

図１７Ｃ－１は、本技術のいくつかの実施形態による、中間的キャリブレーション・エンジン１６０２の中間的最適化方法１７２２の流れ図を図示するものである。中間的最適化方法１７２２は、高速最適化方法１７００よりも多くのパラメータを更新し得るが、高速最適化方法１７００よりも遅く更新され得る。いくつかの実施形態では、中間的最適化方法１７２２の主要な目的は、平行移動ベクトルを発見し、次いでピッチおよびロールを最適化することである。図１７Ｃ－２は、本技術のいくつかの実施形態による、図１７Ｃ－１の中間的最適化方法の角度探索プロセスの流れ図を図示するものである。

中間的最適化方法１７２２の工程１７３２では、グリッド探索が平行移動ベクトル角度に対して実施され、平行移動ベクトル角度は、２つの角度すなわちａｙおよびａｚによって表される。角度ａｙは、平行移動ベクトルとｘｚ平面上で測定されるｘ軸との間の角度であってよい。角度ａｚは、平行移動ベクトルとｙｚ平面上で測定されるｘ軸との間の角度であってよい。たとえば、探索は、カメラ・パラメータ１６２０の初期平行移動ベクトルのまわりで、１度刻みで－７度から７度までの値（ａｙ，ａｚ）のグリッドのすべてを試験することがある。各平行移動ベクトルに対して、工程１７３２は、角度探索プロセス１７３６（図１７Ｃ－２を参照）を使用して、最低コストをもたらすピッチ角度およびロール角度の最良タプルを探す。本技術のいくつかの実施形態では、角度探索プロセス１７３６は、探索プロセスを粗い角度探索１７３８、中間的角度探索１７４０、および細かい角度探索１７４２へと分解することがある。

粗い角度探索１７３８は、カメラ・パラメータ１６２０において指定される初期ピッチ、ヨー、およびロールから（０，０，０）、（－１，－１，－１）、（－１，－１，１）、（－１，１，－１）、（１，－１，－１）、（１，１，－１）、（１，－１，１）、（－１，１，１）、および（１，１，１）度の（ピッチ，ヨー，およびロール）を中心とする、９つのＣＯＢＹＬＡ探索を適用し得る。ＣＯＢＹＬＡ探索は、高速評価のためにコスト関数１７０４とともにピラミッド・レベル３を使用することがあり、すべての角度に関する探索境界は［－１，１］度であることがある。最低コストに対応するピッチ、ヨー、およびロールは、中間的角度探索１７４０の開始点として使用されてよい。

中間的角度探索１７４０は、粗い角度探索１７３８から返されたピッチ、ヨー、およびロールから始まるＣＯＢＹＬＡ探索を適用してよい。このＣＯＢＹＬＡ探索は、ピッチ、ヨー、およびロールに関する［－０．２，０．２］度の角度境界を有することがあり、コスト関数１７０４にピラミッド・レベル３を使用することがある。最低コストに対応するピッチ、ヨー、およびロールは、細かい角度探索１７４２の開始点として使用されてよい。

細かい角度探索１７４２は、中間的角度探索１７４０から返されたピッチ、ヨー、およびロールから始まるＣＯＢＹＬＡ探索を適用してよい。このＣＯＢＹＬＡ探索は、ピッチ、ヨー、およびロールに関する［－０．１，０．１］度の角度境界を有することがあり、コスト関数１７０４にピラミッド・レベル０を使用することがある。最低コストに対応するピッチ、ヨー、およびロールは、工程１７３２に返されてよい。

工程１７３２からのａｙ、ａｚ、ピッチ、ヨー、およびロールのための最良推定量は、細かい平行移動ベクトルおよび角度探索１７３４の開始点として使用されてよく、細かい平行移動ベクトルおよび角度探索１７３４は、ＣＯＢＹＬＡ最適化を（ａｙ，ａｚ）に適用し、それに続いてＣＯＢＹＬＡ最適化を（ピッチ、ヨー、ロール）に適用してよい。両方のＣＯＢＹＬＡ探索は、コスト関数１７０４にピラミッド・レベル０を使用して、最適化パラメータに対する感受性を最大化することがある。２つのＣＯＢＹＬＡ探索は、改善がコスト関数においてほとんど見られなくなるまで繰り返されてよい。初期カメラ・パラメータ１６２０は、ａｙ、ａｚ、ピッチ、ヨー、およびロールに最適な値を用いて更新されてよく、次いで、更新されたカメラ・パラメータ１６１２が、中間的最適化方法１７２２から返されてよい。

図１７Ｄ－１から図１７Ｄ－４（総称して「図１７Ｄ」）は、本技術のいくつかの実施形態による、低速最適化方法１７２４の流れ図を図示するものである。いくつかの実施形態では、図１７Ｄの低速最適化方法１７２４は、工場キャリブレーションで１回、次いで、メイン・システム・コントローラ１３１６によって必要と見なされる（たとえば、加速度計または他のセンサが大きい衝撃イベントを報告する）とき、低速キャリブレーション・エンジン１６０４によって実施されてよい。低速最適化方法１７２４は、外因性カメラ・パラメータおよび内因性カメラ・パラメータを最適化し得る。工程１７４４、グローバル・グリッド探索は、［－１０，１０］度にわたってサンプリング間隔（たとえば、０．２度、０．４度、０．７度など）を用いてピッチ角度、ヨー角度、およびロール角度に対して実施されてよい。残っている工程１７４６から１７９６、図１７Ｄは、カメラ・パラメータ１６０２の以前の最良推定量に対して、ＣＯＢＹＬＡなどのローカル探索方法を適用してよい。前述のように、内因性カメラ・パラメータは、焦点距離（ＦＸ，ＦＹ）、貫通点（ＣＸ，ＣＹ）、およびレンズ歪み係数（Ｋ１、Ｋ２、Ｋ３、Ｐ１、Ｐ２）であってよい。外因性カメラ・パラメータは、ピッチ、ヨー、ロール、および平行移動ベクトル（ＴＸ，ＴＹ，ＴＺ）であってよい。いくつかの実施形態では、相補的パラメータ（たとえば、ピッチとＴＸ、ロールとＴＹ、ヨーとＴＺ）は画像（たとえば、未加工画像１３０４、１３０６）を同様にゆがめ得るので、ピッチ、ヨー、およびロールの最適化に続いて、工程１７４６から工程１７４８へ、工程１７６８から工程１７７０へ、工程１７７２から工程１７７４へ、工程１７８４から工程１７８６へ、および工程１７８８から工程１７９０へ、平行移動ベクトルの最適化が行われることがある。

図１８は、本技術のいくつかの実施形態による、自動キャリブレーション・エンジン１４１４のステレオ画像安定化エンジン１６０８のための流れ図を図示するものである。ステレオ画像安定化エンジン１６０８は、カメラ１とカメラ２との相対的変位が最小化されるように、これらのカメラから取得された画像を水平および垂直にシフトする量を決定し得る。ステレオ画像安定化エンジン１６０８は、最も速い摂動（たとえば、エンジン・ノイズおよび道路ノイズ）を補償することがあり、あらゆるフレームを更新することがある。地球に対して画像を安定化し得る従来の単眼画像安定化とは異なり、ステレオ画像安定化エンジン１６０８は、２つの画像を互いに対して安定化し得る。いくつかの実施形態では、ステレオ画像安定化エンジン１６０８は、カメラ１からの未加工画像１３０４から生じる訂正された画像１４０６と、カメラ２の未加工画像１３０６から生じる訂正された画像１４０８を入力として受け取る。ステレオ画像安定化エンジン１６０８は、カメラ１のための平行移動パラメータ１４２６と、カメラ２のための平行移動パラメータ１４２８を出力し得る。１８００では、前方追跡プロセスは、前のフレームから現在のフレームへ、左訂正された画像および右訂正された画像であってよい訂正された画像１４０６、１４０８のためのピラミッドとともに反復的Ｌｕｃａｓ－Ｋａｎａｄｅ法を使用して疎な特徴セットのためのオプティカル・フローを算出し得る。１８０２では、後方追跡プロセスが、現在のフレーム内の点から前のフレーム内の点へ、逆方向にオプティカル・フローを算出し得る。１８０４では、プロセスは、後方軌道（ｔｒａｃｋ）から良好な軌道を決定し得る（たとえば、良好な軌道は、１８０２における後方追跡プロセスが前の軌道の点の１ピクセル以内の点を再投影するときである）。１８０６では、プロセスは、不良な軌道を破棄し得る。１８０８では、プロセスは、残っている良好な点を軌道に対して追加し得る。１８１０では、プロセスは、平行移動パラメータの推定量を更新し得る。いくつかの実施形態では、カメラ１のための平行移動パラメータ１４２６およびカメラ２のための平行移動パラメータ１４２８は、前のフレームに対してカメラ１およびカメラ２からの画像の行および列をシフトする量であってよい。いくつかの実施形態では、平行移動パラメータは、異常値が平均から除去された、カメラ１からの画像とカメラ２からの画像との間のフレームごとの平均相対的平行移動に等しくてよい。

いくつかのフレームの後、キーポイントが画面から（たとえば、視野の外に）消えることがある、または遮られることがあるので、１つまたは複数の軌道が破棄されることがある。１８１２では、プロセスは、新しい軌道を作成するために、新しいキーポイントを発見し得る。たとえば、ｎ個のフレームごとに、ここでｎは典型的には５であってよいが、ステレオ画像安定化エンジン１６０８は、訂正された画像１４０６、１４０８内で新しいキーポイントを探索し得る。キーポイント検出器（図示せず）は、たとえば、Ｓｈｉ－Ｔｏｍａｓｉコーナ検出器を使用して、追跡するのに良好な点を探し得る。１８１４では、プロセスは、カメラ１とカメラ２との間の相対的モーションを除去するために、平行移動パラメータ１４２６、１４２８を使用して訂正された画像１４０６、１４０８を平行移動させ得る。１８１６では、プロセスは、ブロック・マッチング・アルゴリズムを使用して、訂正された画像１４０６、１４０８から視差マップを算出し得る。１８１８では、プロセスは、カメラ１の訂正された画像１４０６のための現在追跡されるキーポイントを無視し得、１８２０では、プロセスは、カメラ１の訂正された画像１４０６内で追跡するのに良好な特徴を発見し得る。１８２２では、カメラ１の訂正された画像１４０６のための発見された各キーポイントに対して、プロセスは、１８２４、１８２６、１８２８、１８３０におけるプロセスを使用して、カメラ２の訂正された画像１４０８内でマッチング・キーポイントを発見し得る。１８２４では、プロセスは、ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎ関数のためのハニング・ウィンドウを作成するために実施され得る。ＯｐｅｎＣＶでは、ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎは、等しいサイズをもつ２つの画像の類似度をチェックする方法を指す。ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎは、テンプレート・マッチングの高速実装形態である。１８２６では、プロセスは、カメラ１とカメラ２との間のマッチング・キーポイントを発見するために実施され得る。画像１４０６および１４０８は訂正されるので、マッチング・キーポイントは、同じ行に沿って並べられる。視差値１８１６をカメラ１キーポイント列値に対して追加することは、カメラ２キーポイント列値のための予想場所をもたらす。１８２８では、プロセスは、マッチングされたキーポイントのためのｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎ関数を算出することによって１８２６のマッチを検証するために実施され得る。ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎ関数は、カメラ１とカメラ２との間のマッチング・キーポイントのペアを中心とする画像パッチ（典型的には４０×４０ピクセル）に対して算出される。ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎ関数は、補正された座標シフトと、応答（典型的には、２つの画像パッチの類似度を示す、０から１の間の値）を返す。１８３０では、プロセスは、マッチング・キーポイントを記録し、１８２８からの補正された座標シフトに従ってキーポイント座標を補正し、ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎ応答がしきい値（典型的には、０．３のしきい値）よりも大きい場合、軌道情報を更新するために実施される。

本技術のいくつかの実施形態では、絶対的範囲キャリブレーション・エンジン１６０６は、３つの異なる実装形態（１６０６ａ、１６０６ｂ、および１６０６ｃと呼ばれる）を有してよく、実装形態のいずれかまたはすべては、自動キャリブレーション・エンジン１４１４に組み込まれてよい。３つの実装形態１６０６ａ、１６０６ｂ、および１６０６ｃは、異なる絶対的距離参照を使用することがある。実装形態１６０６ａは、非負視差制約を使用することがあり（図１９Ａ、図１９Ｂ参照）、実装形態１６０６ｂは、一時停止標識などの既知の物体を使用することがあり（図２０Ａ、図２０Ｂ参照）、実装形態１６０６ｃは、車両走行距離測定を使用することがある（図２１Ａ、図２１Ｂ参照）。いくつかの実施形態では、カメラ１３００、１３０２の間の相対的ヨーは、ステレオ・ビジョン・システムの絶対的範囲のキャリブレーションに対する大きい影響を有することがある。絶対的範囲キャリブレーション・エンジン１６０６は、ヨーをキャリブレーションするために使用されてよい。

図１９Ａは、本技術のいくつかの実施形態による、絶対的範囲キャリブレーション・エンジン１６０６が非負視差制約を有する実装形態１６０６ａの流れ図を図示するものである。実装形態１６０６ａは、第１のカメラおよび第２のカメラ１３００、１３０２の主光線が交差しない場合、ヨーを発見し得る。主光線がカメラの前で交差するとき、対応する視差値は、交差点よりも遠い範囲で、負であることがある。光線が交差しなくなるまでヨーを調節することによって、カメラ１３００、１３０２は、平行になることがあり、視差マップ１７１２内のいくつかの負値は、最小値へ（時には大幅に）減少することがあり、適切な絶対的範囲が発見されることがある。

図１９Ｂは、本技術のいくつかの実施形態による、視差マップ（たとえば、訂正の後で初期カメラ・パラメータ１６２０を使用して未加工画像１３０４、１３０６から算出されるが、ヨーの種々の値をもつ視差マップ）内の負の視差値をもつピクセルの数がヨーの関数としてどのように変わり得るかを図示するグラフ１９００である。グラフ１９００内で約１．８度未満のヨー値の場合、負の視差値の数は大きく増加し、長い範囲において、次いで、ますます近くなる範囲において、カメラ１３００、１３０２の主光線が交差し始め得ることを示す。１．６５度未満のヨー値の場合、負の視差値の数は減少する。これは、この分析で使用されるブロック・マッチャーは、－３２ピクセルまでの視差値のみを探索し得るからであり得る。－３３ピクセルまたはより低い視差値をもつピクセルは、カウントされないことがある。１．８５度よりも大きいヨー値の場合、負の値をもつピクセルの数は少ないが、ゼロではない。これは、マッチングしていないピクセルは、時には負の視差値を有することがあるからであり得る。望ましいヨーは、移行領域内にあり、この移行領域では、グラフ１９００が、ピクセルの数が少なく一般に一定である（グラフ１９００ではヨー＞１．８５度）領域から移行し、ピクセルの数が急速に増加する領域（たとえば、上向きにポインティング矢印１９１２によって示される領域）を含む。グラフ１９００は、ピクセルの視差値が最小視差限度よりも負であり得る領域（たとえば、下向きにポインティング矢印１９１４によって示される領域）も図示する。図１９Ａに図示される実装形態１６０６ａの流れ図に戻ると、１９２０では、粗い探索は、視差マップが算出されるヨーのための初期推量１９０４の周囲で－０．５度（１９０２参照）から１．０度（１９０６参照）まで実施され、負の視差値の数が総計される。探索は、０．１度ステップで実施されてよい。粗い探索の結果は、１６個の値の配列であってよい。グラフ１９００は、粗い曲線のための１６個のデータポイントのプロットの一例である。ヨーに関する粗い曲線の導関数が算出されてよい。粗い曲線の導関数は、変化に対して感受性が高いことがあり、したがって、粗い曲線において移行を発見するのに有用であることがある。１９２２では、粗い探索の品質が、移行領域（たとえば、グラフ１９００内の１．６５度から１．８度までの領域）がテール・ノイズ１９０８の５倍より大きいことを保証することによって、チェックされる。テール・ノイズ１９０８は、粗い曲線の導関数の最後の５つの点の標準偏差であるように定義されてよい。言い換えれば、移行領域は、負の視差の数がゼロであるべきである領域と比較して、負の視差値の数の著しい変化を有するべきである。次に、１９２４では、細かい探索範囲が、最も負の傾き（たとえば、グラフ１９００では約１．７度のヨー）に対応するヨーの周囲の探索によって決定される。最も大きい粗いヨー値から始まり、より低い粗いヨー値の方へ探索すると、上限は、粗い曲線の導関数がテール・ノイズの－３倍よりも大きい値であるように決定される。最も負の傾きに対応するヨーから始まり、最大のヨーへ増加すると、下限は、粗い曲線の導関数がテール・ノイズの－３倍未満である値であるように決定される。次に、１９２６では、細かい探索グリッドが下限から上限まで作成され、細かい探索が実施される。このグリッドは、典型的には、２１個の点を有してよい。１９２８では、最も少ない数の負の視差ピクセルに対応するヨー値が決定される。いくつかの実施形態では、曲線中の移行点は、このように推定されてよい。

図２０Ａは、本技術のいくつかの実施形態による、既知の寸法をもつ物体を絶対的範囲キャリブレーション・エンジン１６０６が使用する実装形態１６０６ｂの流れ図を図示するものである。図２０Ｂは、本技術のいくつかの実施形態による、既知の寸法をもつ物体２００６を撮像するための撮像用光学部品の一例を例示する。いくつかの実施形態では、物体２００６の寸法が知られているので、およびカメラ１３００、１３０２のカメラ・レンズの焦点距離が知られているので、物体（ターゲット）２００６までの範囲または距離は、式２０２０によって決定されることがある。より具体的には、式２０２０によれば、物体の幅Ｗ（２０１２参照）と物体までの範囲Ｒ（２０１４参照）の比は、カメラ・レンズ２００８の焦点距離Ｆ（２０１６参照）とカメラ・センサ２０１０（たとえば、ＣＭＯＳセンサ）によって感知される画像の幅Ｈ（２０１８参照）の比に等しい。いくつかの実施形態では、既知の物体は、既知の検出技術（たとえば、交通標識認識システム、ナンバー・プレート検出器、物体検出器など）を使用する自動化された様式で認識可能である。いくつかの実施形態では、既知の物体は、バウンディング・ボックスおよび既知の物体までの距離の手動入力によって、手動で指定されてよい。一時停止標識を検出するための物体検出器の一例は、図２４に図示されている。

図２０Ａに図示される実装形態１６０６ｂの流れ図に戻ると、２０００では、絶対的範囲キャリブレーション・エンジン１６００が、物体までの平均距離が既知の距離に等しいヨーを発見する。本技術のいくつかの実施形態では、平均距離は、物体の関心領域にわたって算出されることがある。２００２では、求根アルゴリズムのための良好な開始間隔は、初期カメラ・パラメータ１６２０のヨーの±０．１度までの間隔を最初に初期化し、次いで、関心領域にわたる平均デプスが間隔の左端では正となり、間隔の右端では負となるまで、左端および右端を０．１度ずつ修正することによって発見される。２００４では、求根アルゴリズムが稼働される。いくつかの実施形態では、求根アルゴリズムはＢｒｅｎｔ法であってよく、Ｂｒｅｎｔ法では、２００２で発見された探索間隔は、ヨーの最良推定量を決定するために使用される。その後、初期カメラ・パラメータ１６２０は、更新されたヨー値１６１６とともに返される。

図２１Ａは、本技術のいくつかの実施形態による、絶対的範囲キャリブレーション・エンジン１６０６が車両走行距離測定１６２８を利用する実装形態１６０６ｃの流れ図を図示する。図２１Ｂは、本技術のいくつかの実施形態による、視差が範囲の関数としてどのように変わり得るかを図示するグラフ２１０８である。走行距離測定（たとえば、スピード、距離、進行方向など）は、すでに車内（「車載」）センサから入手可能な情報であってよく、ステレオ・ビジョン・システムのヨーを計算する助けとなるために使用されてよい。いくつかの実施形態では、走行距離測定は、車載レーダおよび／またはライダー・システムから入手可能であってよい。実装形態１６０６ｃでは、２１００において、ステレオ画像安定化エンジン１６０８からの各軌道１６２６に対して、範囲の変化ΔＲ_ＯＤＯは、時間ｔ１から時間ｔ２までの走行距離測定データから算出される。対応する範囲の変化ΔＲは、ステレオ・ビジョン・システムによって測定され、キャリブレーション不良のためにΔＲ_ＯＤＯとマッチングしないことがある。２１０２では、視差オフセットｄ_{ｏｆｆｓｅｔ}は、ｄ＝ｆＢ／Ｒによって表現される関数を使用して算出され、ここで、ｆはレンズの焦点距離、Ｂは、補正された範囲ΔＲ’がΔＲ_ＯＤＯに等しいような、第１のカメラ１３００と第２のカメラ１３０２との間のベースライン幅である。静止した物体の軌道は、ｄ_{ｏｆｆｓｅｔ}のために同じまたは類似した値を与えるが、移動中の物体はそうでないことがある。２１０４では、ｄ_{ｏｆｆｓｅｔ}のための異常値が除去され、残っている値は平均化される。２１０４では、ヨーは、初期ヨーと、平均視差オフセットをカメラの焦点距離で除算したものとの和に等しいようにキャリブレーションされる。その後、初期カメラ・パラメータ１６２０は、更新されたヨー値１６１６とともに返される。

図２２は、本技術のいくつかの実施形態による、キャリブレーション・マネージャ１６２４によって実施される手順の流れ図を図示する。２２００では、カメラ・パラメータが初期化され、コマンドおよび制御インタフェース１３１２が、キャリブレーション・エンジン１６００、１６０２、１６０４、１６０６、１６０８を構成する。初期カメラ・パラメータは、設計図、ＣＡＤ図面、製造業者のデータシートなどから取得される外因性カメラ・パラメータおよび内因性カメラ・パラメータであってもよいし、または手動キャリブレーション手順から取得されてもよい。２２０２では、キャリブレーション・マネージャ１６２４が、キャリブレーション・エンジン１６００、１６０２、１６０４、１６０６、１６０８からの出力を待機する。カメラ・パラメータの推定量の出力が受け取られると、２２０４では、この推定量が、経時的に一連の測定を使用し、カメラ・パラメータの新しい推定量を生じさせるトラッキング・フィルタ（たとえば、Ｋａｌｍａｎフィルタ）において使用され、この新しい推定量は、単一の測定のみに関する推定量よりも正確であり得る。これは、複数のカメラ・パラメータの各々に対してなされてよい。２２０６では、カメラ・パラメータのための新しい推定量は、記憶デバイス１６２２内に保存されてよく、カメラ１およびカメラ２のための更新されたカメラ・パラメータ１４１０、１４１２は、キャリブレーション・マネージャ１６２４から出力されてよい。

図２３は、本技術のいくつかの実施形態による、キャリブレーション・マネージャ１６２４の時系列入力図を図示する。時間軸は、異なるフレーム番号に関して図示され、異なるフレーム番号は、異なるフレーム・レート（たとえば、１０、３０、または６０ＦＰＳ）に対応し得る。上向き矢印は、キャリブレーション・マネージャ１６２４によるキャリブレーション方法１６００、１６０２、１６０４、１６０６、１６０８の初期化または開始を示し、下向き矢印は、キャリブレーション方法の完了を示し、最適なパラメータがキャリブレーション・マネージャ１６２４に返される。図２３におけるキャリブレーション方法のための実行時間は、一実施形態の一例である。

図２４は、本技術のいくつかの実施形態による、絶対的範囲キャリブレーションに使用され得る一時停止標識検出器２４００によって実施され得る手順の流れ図を図示する。検出器２４００への入力は、カラー画像２４０２であってよい。たとえば、検出器２４００は、「ＳＴＯＰ」という文字内の赤色の接続された構成要素の配置を探すことがある。これらの構成要素は、卵形内の赤色領域（たとえば、文字「Ｏ」２４０６）と、特定の形状内部の赤色領域（たとえば、文字「Ｐ」２４０８）と、赤色八角形領域２４０４とを含んでよい。接続された構成要素の相対的場所およびサイズは、一意のシグネチャを与えることがあり、これは、ほとんど算出リソースを用いずにすばやく検出され得る。

図２５は、本技術のいくつかの実施形態による、ステレオ対応エンジン１４２０によって実施される手順の流れ図を図示する。ステレオ対応エンジン１４２０への入力は、カメラ１およびカメラ２からの訂正および安定化された画像１４３０、１４３２であってよい。ステレオ対応エンジン１４２０は、デプス・マップ１３０８および信頼マップ１３１４を出力し得る。いくつかの実施形態では、訂正および安定化された画像１４３０内のマッチング・ウィンドウ２５００は、訂正および安定化された画像１４３２内の対応する行２５０２と比較されることがある。各ピクセルに対して、結果として生じるマッチング値２５０６は、マッチング・ウィンドウと対応する行２５０２に沿った各オフセットとの絶対的差の和の負の値であってよい。最良のマッチ２５１０が、最も高いマッチング値に対応し得る場合、および２番目に良いマッチ２５１２が、２番目に高いマッチング値に対応し得る場合、各オフセットのためのマッチング値は算出され得る。所与のピクセルのための一意性比は、最良のマッチ２５１０を２番目に良いマッチ２５１２で除算したものとして決定される比であってよい。より高い信頼は、より高い一意性比に対応する。デプス・マップ１３０８は、最良のマッチ２５１０から導き出されてよい。信頼マップは、最良のマッチ２５１０と２番目に良いマッチ２５１２の比から導き出されてよい。

本技術のいくつかの実施形態によれば、処理構成要素１３１０は、ハードウェア（たとえば、上記で説明された手順および方法を実施するようにプログラムされたコンピュータ・プロセッサ）内で実装されることがある。本技術のいくつかの実施形態によれば、処理構成要素１３１０は、ソフトウェア（たとえば、コンピュータ実行可能コード）内で実装されることがあり、ソフトウェアは、非一時的なコンピュータ可読記憶媒体上または複数の非一時的なコンピュータ可読記憶媒体上に記憶されてよく、コンピュータ・プロセッサによってアクセスおよび実行されてよい。本技術のいくつかの実施形態によれば、処理構成要素１３１０は、ハードウェアとソフトウェアの組み合わせで実装されることがある。いくつかの実施形態では、処理構成要素１３１０の態様は、１つまたは複数のソフトウェア・モジュールとして実装されることがある。たとえば、処理構成要素１３１０のエンジンのうちの１つまたは複数は、非一時的なコンピュータ可読記憶媒体上に記憶されたソフトウェア・モジュールとして実装されることがある。

本明細書において説明される技術によるステレオ撮像システムは、異なる構成で具現化されてよい。例示的構成は、次のように、構成（１）から（２７）の組み合わせを含む。
（１）第１の画像の第１の反射エネルギーを感知し、この第１の反射エネルギーに基づいて第１のセンサ信号を生成するように構成された第１のカメラ・センサと、第２の画像の第２の反射エネルギーを感知し、この第２の反射エネルギーに基づいて第２のセンサ信号を生成するように構成された第２のカメラ・センサと、第１のカメラ・センサからの第１のセンサ信号および第２のカメラ・センサからの第２のセンサ信号を受け取り、第１のセンサ信号および第２のセンサ信号から３次元（３Ｄ）データを生じさせるように構成された少なくとも１つのプロセッサであって、ステレオ・キャリブレーション・パラメータを利用して第１のセンサ信号および第２のセンサ信号から訂正されたステレオ画像を生成し、訂正された画像に対してステレオ・マッチングを実施し、第１のカメラ・センサおよび第２のカメラ・センサによって取得される複数のステレオ画像からのデータを使用して自動的システム・キャリブレーションを実施するように構成された、少なくとも１つのプロセッサとを備え、自動的システム・キャリブレーションは、コスト関数を最小化することに基づく、ステレオ・ビジョン・システム。

（２）自動的システム・キャリブレーションは、
第１の画像および第２の画像内の特徴に対応する画像点を追跡することに基づいて、高頻度摂動を補償すること、ならびに
各カメラに対して、焦点距離、主点、少なくとも１つの半径方向レンズ歪み係数、および少なくとも１つの接線方向レンズ歪み係数、のうちの任意の１つまたは任意の組み合わせをキャリブレーションすること
の一方または両方を実施するために第１のステレオ・キャリブレーション・パラメータを生成するように構成された高速キャリブレーション手順からなる、構成（１）のステレオ・ビジョン・システム。

（３）自動的システム・キャリブレーションは、
相対的カメラ・ピッチおよび相対的カメラ・ロールの関数として高密度（ｄｅｎｓｅ）ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することに基づいて、中間的頻度摂動を補償すること、ならびに
各カメラに対して、焦点距離、主点、少なくとも１つの半径方向レンズ歪み係数、および少なくとも１つの接線方向レンズ歪み係数、のうちの任意の１つまたは任意の組み合わせをキャリブレーションすること
の一方または両方を実施するために第２のステレオ・キャリブレーション・パラメータを生成するように構成された中間的キャリブレーション手順からなる、構成（１）または（２）のステレオ・ビジョン・システム。

（４）自動的システム・キャリブレーションは、
相対的カメラ・ピッチ、相対的カメラ・ロール、相対的カメラ・ヨー、相対的カメラ位置、のうちの任意の１つまたは任意の組み合わせの関数として高密度ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することに基づいて、低頻度摂動を補償すること、ならびに
各カメラに対して、焦点距離、主点、少なくとも１つの半径方向レンズ歪み係数、および少なくとも１つの接線方向レンズ歪み係数、の任意の１つまたは任意の組み合わせをキャリブレーションすること
の一方または両方を実施するために第３のステレオ・キャリブレーション・パラメータを生成するように構成された低速キャリブレーション手順からなる、構成（１）から（３）のいずれかのステレオ・ビジョン・システム。

（５）自動的システム・キャリブレーションは、非負視差制約に基づいて相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成された絶対的範囲キャリブレーション手順からなる、構成（１）から（４）のいずれかのステレオ・ビジョン・システム。

（６）自動的システム・キャリブレーションは、複数のステレオ画像のシーン中の物体の寸法ならびに第１のカメラ・センサおよび第２のカメラ・センサの焦点距離に基づいて相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成された絶対的範囲キャリブレーション手順からなる、構成（１）から（５）のいずれかのステレオ・ビジョン・システム。

（７）物体は交通標識である、構成（６）のステレオ・ビジョン・システム。
（８）物体はナンバー・プレートである、構成（６）のステレオ・ビジョン・システム。

（９）自動的システム・キャリブレーションは、車両走行距離測定に基づいて相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成された絶対的範囲キャリブレーション手順からなる、構成（１）から（８）のいずれかのステレオ・ビジョン・システム。

（１０）自動的システム・キャリブレーションは、低速キャリブレーション手順、中間的キャリブレーション手順、高速キャリブレーション手順、および絶対的範囲キャリブレーション手順の動作スケジュールを管理するように構成されたキャリブレーション管理手順からなる、構成（１）から（９）のいずれかのステレオ・ビジョン・システム。

（１１）自動的システム・キャリブレーションは、自動的システム・キャリブレーションの精度を示すキャリブレーション・ヘルスインジケータからなる、構成（１）から（１０）のいずれかのステレオ・ビジョン・システム。

（１２）ステレオ・マッチングは、複数のステレオ画像の各ピクセルのためのデプス推定信頼スコアからなる、構成（１）から（１１）のいずれかのステレオ・ビジョン・システム。

（１３）第１のカメラ・センサおよび第２のカメラ・センサは、車両、車、トラック、交通信号、街灯柱、車両の左サイド・ミラーおよび右サイド・ミラーそれぞれ、車両のルーフ・ライン、ウインドシールドの左上側および右上側それぞれ、ならびに左ヘッド・ランプおよび右ヘッド・ランプそれぞれ、のいずれかの上に装着される、構成（１）から（１２）のいずれかのステレオ・ビジョン・システム。

（１４）コスト関数は、視差マップ内の有効ピクセルの数に基づく、構成（１）から（１３）のいずれかのステレオ・ビジョン・システム。
（１５）コスト関数は、内因性カメラ・パラメータに基づいて最適化される、構成（１）から（１４）のいずれかのステレオ・ビジョン・システム。

（１６）コスト関数は、外因性カメラ・パラメータに基づいて最適化される、構成（１）から（１５）のいずれかのステレオ・ビジョン・システム。
（１７）少なくとも１つのプロセッサは、キャリブレーション・ヘルス・インジケータを提供するように構成される、構成（１）から（１６）のいずれかのステレオ・ビジョン・システム。

（１８）第１のカメラ・センサおよび第２のカメラ・センサの最小デプス範囲よりも近い範囲内の物体のための３Ｄデータを提供するように構成された近範囲センサ・システムであって、少なくとも１つのプロセッサは、第１のセンサ信号および第２のセンサ信号から生じる３Ｄデータを近範囲センサ・システムによって提供される３Ｄデータと組み合わせるように構成される、近範囲センサ・システムをさらに備える、構成（１）から（１７）のいずれかのステレオ・ビジョン・システム。

（１９）近範囲センサ・システムは、第１のカメラ・センサおよび第２のカメラ・センサよりも広い視野とより短いベースライン距離を有するカメラ・センサのペアからなる、構成（１８）のステレオ・ビジョン・システム。

（２０）近範囲センサ・システムは、第１のカメラ・センサおよび第２のカメラ・センサが第１のカメラ・センサおよび第３のカメラ・センサよりも短いベースライン長を有するように、第１のカメラ・センサおよび第２のカメラ・センサとともに三眼ステレオ・システムを形成する第３のカメラ・センサからなる、構成（１８）のステレオ・ビジョン・システム。

（２１）近範囲センサ・システムは、飛行時間カメラからなる、構成（１８）のステレオ・ビジョン・システム。
（２２）第１のカメラ・センサおよび第２のカメラ・センサの視野に向けて可視放射または赤外放射を発するように構成されたアクティブ照明デバイスをさらに備える、構成（１）から（２１）のいずれかのステレオ・ビジョン・システム。

（２３）アクティブ照明デバイスは、放射を発することと放射を発しないことを交互に行い、第１のカメラ・センサの露光間隔および第２のカメラ・センサの露光間隔と同期して放射を発するように構成される、構成（２２）のステレオ・ビジョン・システム。

（２４）アクティブ照明構成要素は、垂直共振器型面発光レーザ・アレイ、可視スペクトル範囲内で発する放射ランプ、および近赤外線スペクトル範囲内で発する放射ランプ、のうちの任意の１つまたは任意の組み合わせからなる、構成（２２）のステレオ・ビジョン・システム。

（２５）少なくとも１つのプロセッサは、第１のセンサ信号からおよび第２のセンサ信号からモーション由来構造データを算出し、このモーション由来構造データを使用して、第１のカメラ・センサおよび第２のカメラ・センサの最小デプス範囲よりも近い物体の３Ｄ位置を推定するように構成される、構成（１）から（２４）のいずれかのステレオ・ビジョン・システム。

本明細書において説明される技術による物体の検出のための方法は、種々のプロセスを含んでよい。例示的方法は、次のように、プロセス（２６）および（２７）の組み合わせを含む。

（２６）画像内の物体の検出のための１つまたは複数のプロセッサによって実施されるコンピュータ実装方法であって、色によって、物体上の接続された構成要素領域を識別する工程と、接続された構成要素領域の各々のアスペクト比を決定する工程と、接続された構成要素領域の間の距離を決定する工程と、アスペクト比および接続された構成要素領域の間の距離に基づいて、既知の物体であると物体を識別する工程とを備え、既知の物体の存在、場所、およびサイズは、画像から決定される、コンピュータ実装方法。

（２７）接続された構成要素領域の識別は、赤色であると色を識別し、物体の識別は、一時停止標識であると物体を識別する、プロセス（２６）の方法。
本明細書において説明される技術によりステレオ・ビジョン・システムをキャリブレーションする方法は、種々のプロセスを含んでよい。例示的方法は、次のように、プロセス（２８）から（３３）の組み合わせを含む。

（２８）第１の画像の第１の反射エネルギーを感知し、この第１の反射エネルギーに基づいて第１のセンサ信号を生成するように構成された第１のカメラ・センサと、第２の画像の第２の反射エネルギーを感知し、この第２の反射エネルギーに基づいて第２のセンサ信号を生成するように構成された第２のカメラ・センサとを含むステレオ・ビジョン・システムをキャリブレーションするために１つまたは複数のプロセッサによって実施されるコンピュータ実装キャリブレーション方法であって、第１のセンサ信号および第２のセンサ信号からステレオ画像を生成する工程と、訂正されたステレオ画像を生じさせるために、ステレオ・キャリブレーション・パラメータを使用してステレオ画像を訂正する工程と、訂正されたステレオ画像に対してステレオ・マッチングを実施する工程と、ステレオ・マッチングの結果を使用して、自動的システム・キャリブレーションを実施する工程とを備え、自動的システム・キャリブレーションは、コスト関数を最小化することに基づく、コンピュータ実装キャリブレーション方法。

（２９）自動的システム・キャリブレーションは、第１の画像および第２の画像内の特徴に対応する画像点を追跡することに基づいて高頻度摂動を補償するために第１のステレオ・キャリブレーション・パラメータを生成するように構成された高速キャリブレーション手順、相対的カメラ・ピッチおよび相対的カメラ・ロールの関数として高密度ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することに基づいて中間的頻度摂動を補償するために第２のステレオ・キャリブレーション・パラメータを生成するように構成された中間的キャリブレーション手順、ならびに相対的カメラ・ピッチ、相対的カメラ・ロール、相対的カメラ・ヨー、および相対的カメラ位置の関数として高密度ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することに基づいて低頻度摂動を補償するために第３のステレオ・キャリブレーション・パラメータを生成するように構成された低速キャリブレーション手順、のうちの任意の１つまたは任意の組み合わせからなる、プロセス（２８）の方法。

（３０）自動的システム・キャリブレーションは、非負視差制約に基づいて相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成された絶対的範囲キャリブレーション手順からなる、プロセス（２８）またはプロセス（２９）の方法。

（３１）自動的システム・キャリブレーションは、複数のステレオ画像のシーン中の物体の寸法ならびに第１のカメラ・センサおよび第２のカメラ・センサの焦点距離に基づいて相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成された絶対的範囲キャリブレーション手順からなる、プロセス（２８）から（３０）のいずれか１つの方法。

（３２）自動的システム・キャリブレーションは、車両走行距離測定に基づいて相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成された絶対的範囲キャリブレーション手順からなる、プロセス（２８）から（３１）のいずれか１つの方法。

（３３）自動的システム・キャリブレーションは、低速キャリブレーション手順、中間的キャリブレーション手順、高速キャリブレーション手順、および絶対的範囲キャリブレーション手順の動作スケジュールを管理するように構成されたキャリブレーション管理手順からなる、プロセス（２８）から（３２）のいずれか１つの方法。

本明細書において説明される技術によりステレオ・ビジョン・システムをキャリブレーションするためにコンピュータ実行可能コードを記憶する非一時的なコンピュータ可読媒体は、異なる構成で具現化されてよい。例示的構成は、次のように、構成（３４）から（３９）の組み合わせを含む。

（３４）１つまたは複数のプロセッサによって実行されるとき、１つまたは複数のプロセッサに、第１の画像の第１の反射エネルギーを感知し、この第１の反射エネルギーに基づいて第１のセンサ信号を生成するように構成された第１のカメラ・センサと、第２の画像の第２の反射エネルギーを感知し、この第２の反射エネルギーに基づいて第２のセンサ信号を生成するように構成された第２のカメラ・センサとを含むステレオ・ビジョン・システムをキャリブレーションさせるコンピュータ実行可能コードを記憶する非一時的なコンピュータ可読媒体であって、方法は、第１のセンサ信号および第２のセンサ信号からステレオ画像を生成する工程と、訂正されたステレオ画像を生じさせるために、ステレオ・キャリブレーション・パラメータを使用してステレオ画像を訂正する工程と、訂正されたステレオ画像に対してステレオ・マッチングを実施する工程と、ステレオ・マッチングの結果を使用して、自動的システム・キャリブレーションを実施する工程とからなり、自動的システム・キャリブレーションは、コスト関数を最小化することに基づく、非一時的なコンピュータ可読媒体。

（３５）自動的システム・キャリブレーションは、第１の画像および第２の画像内の特徴に対応する画像点を追跡することに基づいて高頻度摂動を補償するために第１のステレオ・キャリブレーション・パラメータを生成するように構成された高速キャリブレーション手順、相対的カメラ・ピッチおよび相対的カメラ・ロールの関数として高密度ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することに基づいて中間的頻度摂動を補償するために第２のステレオ・キャリブレーション・パラメータを生成するように構成された中間的キャリブレーション手順、ならびに相対的カメラ・ピッチ、相対的カメラ・ロール、相対的カメラ・ヨー、および相対的カメラ位置の関数として高密度ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することに基づいて低頻度摂動を補償するために第３のステレオ・キャリブレーション・パラメータを生成するように構成された低速キャリブレーション手順、のうちの任意の１つまたは任意の組み合わせからなる、構成（３４）の非一時的なコンピュータ可読媒体。

（３６）自動的システム・キャリブレーションは、非負視差制約に基づいて相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成された絶対的範囲キャリブレーション手順からなる、構成（３４）または構成（３５）の非一時的なコンピュータ可読媒体。

（３７）自動的システム・キャリブレーションは、複数のステレオ画像のシーン中の物体の寸法ならびに第１のカメラ・センサおよび第２のカメラ・センサの焦点距離に基づいて相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成された絶対的範囲キャリブレーション手順からなる、構成（３４）から（３６）のいずれか１つの非一時的なコンピュータ可読媒体。

（３８）自動的システム・キャリブレーションは、車両走行距離測定に基づいて相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成された絶対的範囲キャリブレーション手順からなる、構成（３４）から（３７）のいずれか１つの非一時的なコンピュータ可読媒体。

（３９）自動的システム・キャリブレーションは、低速キャリブレーション手順、中間的キャリブレーション手順、高速キャリブレーション手順、および絶対的範囲キャリブレーション手順の動作スケジュールを管理するように構成されたキャリブレーション管理手順からなる、構成（３４）から（３８）のいずれか１つの非一時的なコンピュータ可読媒体。

本明細書において説明される実施形態および例は、本発明の技術およびその実際的な適用例の原理、方法、およびプロセスを例示し、それによって、当業者が、種々の実施形態において、企図された特定の使用に適している種々の修正とともに、本発明の技術を利用することを可能にするために選ばれ、説明されたことが理解されるべきである。本発明の技術の特定の実施形態が説明されているが、これらの実施形態は、網羅的と見なされるべきではない。当業者には明らかであろうが、本明細書では具体的に説明されていない他の実施形態および変形形態は、本技術の範囲内である。

別段に述べられていない限り、「約（ａｐｐｒｏｘｉｍａｔｅｌｙ）」および「約（ａｂｏｕｔ）」という用語は、いくつかの実施形態ではターゲット値の±２０％以内、いくつかの実施形態ではターゲット値の±１０％以内、いくつかの実施形態ではターゲット値の±５％以内、およびさらに、いくつかの実施形態ではターゲット値の±２％以内を意味するために使用される。「約（ａｐｐｒｏｘｉｍａｔｅｌｙ）」および「約（ａｂｏｕｔ）」という用語は、ターゲット値を含むことができる。「本質的に」という用語は、ターゲット値の±３％以内を意味するために使用される。

本明細書において説明される技術は、少なくともいくつかの行為が説明されている方法として具現化されてよい。方法の一部として実施される行為は、任意の適切な手段で順序付けられてよい。したがって、行為が説明されるものとは異なる順序で実施される実施形態が実装されてよく、これは、例示的な実施形態では逐次的な行為と説明されるにもかかわらず、いくつかの行為を同時に実施することを含んでよい。さらに、方法は、いくつかの実施形態では説明される行為よりも多い行為を、他の実施形態では説明される行為よりも少ない行為を含んでよい。

本開示の種々の態様は、単独で使用されてもよいし、組み合わせて使用されてもよいし、前述の内容で説明される実施形態で具体的に論じられないさまざまな配置で使用されてもよく、したがって、その適用例では、前述の説明に記載されるまたは図面に例示される構成要素の詳細および配置に限定されない。たとえば、一実施形態に説明される態様は、他の実施形態に説明される態様と任意のやり方で組み合わされてよい。

請求項要素を修飾するための、請求項における「第１の」、「第２の」、「第３の」などの順序を表す用語の使用は、それ自体では、別の請求項要素に対する１つの請求項要素の優先順位、先行、もしくは順序または方法の行為が実施される時間的順序を暗示せず、請求項要素を区別するために、ある名前を有する１つの請求項要素と、同じ名前を有する別の要素を区別する（通常の用語の使用がなければ）ために、ラベルとして使用されるにすぎない。

本明細書において使用される語法および用語は、説明を目的としたものであり、限定と見なされるべきではない。本明細書における「含む（ｉｎｃｌｕｄｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、または「有する（ｈａｖｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」、「伴う（ｉｎｖｏｌｖｉｎｇ）」、およびその変形体の使用は、その後にリストされる項目およびその等価物、ならびに追加の項目を包含することを意味する。

「１つの（ａ）」および「１つの（ａｎ）」という不定冠詞は、本明細書および請求項において使用されるとき、それとは明らかに反対のことが示されない限り、「少なくとも１つの」を意味すると理解されるべきである。

１つまたは複数の要素のリストに関する「少なくとも１つの」という句のいかなる使用も、要素のリスト内の要素のうちのいずれか１つまたは複数から選択された少なくとも１つの要素を意味するが、要素のリスト内に具体的にリストされたあらゆる要素のうちの少なくとも１つを必ずしも含むとは限らず、要素のリスト内の要素のあらゆる組み合わせを除外しないと理解されるべきである。この定義は、「少なくとも１つの」という句が参照する要素のリスト内で具体的に識別される要素以外の要素が、具体的に識別されるそれらの要素が関連するにせよ、関連しないにせよ、任意選択で存在することも可能にする。

２つの値（たとえば、距離、幅など）に関する「等しい（ｅｑｕａｌ）」または「同じ（ｔｈｅ ｓａｍｅ）」という句のいかなる使用も、２つの値が製作公差以内で同じであることを意味する。したがって、２つの値が等しい、または同じであることは、２つの値が互いとは±５％異なることを意味することがある。

「および／または（ａｎｄ／ｏｒ）」という句は、本明細書および請求項において使用されるとき、そのように結合された要素の「どちらかまたは両方（ｅｉｔｈｅｒ ｏｒ ｂｏｔｈ）」、すなわち、ある場合には結合的に存在し、他の場合には分離的に存在する要素を意味すると理解されるべきである。「および／または」とともにリストされた複数の要素は、同じ様式で、すなわち、そのように結合された要素のうちの「１つまたは複数（ｏｎｅ ｏｒ ｍｏｒｅ）」と解釈されるべきである。「および／または」という節によって具体的に識別される要素以外の他の要素が、具体的に識別されるそれらの要素が関連するにせよ、関連しないにせよ、任意選択で存在することがある。したがって、非限定的な例として、「Ａおよび／またはＢ」への言及は、「備える」などの制限のない文言とともに使用されるとき、一実施形態ではＡのみ（任意選択で、Ｂ以外の要素を含む）、別の実施形態ではＢのみ（任意選択で、Ａ以外の要素を含む）、さらに別の実施形態では、ＡとＢの両方（任意選択で、他の要素を含む）などを指すことができる。

本明細書および請求項において使用されるとき、「または（ｏｒ）」は、上記で定義された「および／または」と同じ意味を有すると理解されるべきである。たとえば、リスト内の項目を分離するとき、「または」または「および／または」は、包含的である、すなわち、いくつかの要素または要素のリストの少なくとも１つの包含であるが、複数も含み、任意選択で、リストされていない追加の項目も含むと解釈されるものとする。「のうちの１つのみ（ｏｎｌｙ ｏｎｅ ｏｆ）」または「のうちの１つだけ（ｅｘａｃｔｌｙ ｏｎｅ ｏｆ）」などの、それとは明らかに反対のことが示される用語のみ、または請求項において使用されるとき、「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」は、いくつかの要素または要素のリストの１つの要素だけの包含を指すであろう。一般に、本明細書において使用される「または」という用語は、「どちらか（ｅｉｔｈｅｒ）」、「のうちの１つ（ｏｎｅ ｏｆ）」、「のうちの１つのみ（ｏｎｌｙ ｏｎｅ ｏｆ）」または「のうちの１つだけ（ｅｘａｃｔｌｙ ｏｎｅ ｏｆ）」などの排他性の用語によって先行されるとき、排他的な代替物（すなわち、「両方ではなく一方または他方（ｏｎｅ ｏｒ ｔｈｅ ｏｔｈｅｒ ｂｕｔ ｎｏｔ ｂｏｔｈ）」）を示すとのみ解釈されるものとする。「から実質的になる（Ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」は、請求項において使用されるとき、特許法の分野において使用されるその通常の意味を有するものとする。

「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」という用語は、本明細書において使用される場合、いくつかの実施形態ではターゲット値の９５％以内、いくつかの実施形態ではターゲット値の９８％以内、いくつかの実施形態ではターゲット値の９９％以内、およびいくつかの実施形態ではターゲット値の９９．５％以内を意味すると解釈されてよい。いくつかの実施形態では、「実質的に」という用語は、ターゲット値の１００％に等しいことがある。

また、上記で説明された実施形態のうちのいくつかは、いくつかの例が提供されている１つまたは複数の方法として実装されることがある。方法の一部として実施される行為は、任意の適切な手段で順序付けられてよい。したがって、本明細書において例示または説明されるものとは異なる順序で行為が実施される実施形態が構築されてよく、これは、例示的な実施形態では逐次的な行為と図示されるにもかかわらず、いくつかの行為を同時に実施することを含んでよい。

さらに、本発明の利点が示されてきたが、本発明のあらゆる実施形態が、あらゆる説明された利点を含むわけではないことが理解されるべきである。いくつかの実施形態は、本明細書において有利と説明された特徴を実装しなくてよい。したがって、前述の説明および添付の図面は、例にすぎない。

Claims (20)

1. 第１の画像の第１の反射エネルギーを感知することによって前記第１の画像の複数のフレームを取得し、前記第１の反射エネルギーに基づいて第１のセンサ信号を生成するように構成された第１のカメラ・センサと、
   第２の画像の第２の反射エネルギーを感知することによって前記第２の画像の複数のフレームを取得し、前記第２の反射エネルギーに基づいて第２のセンサ信号を生成するように構成された第２のカメラ・センサと、
   前記第１のカメラ・センサからの前記第１のセンサ信号および前記第２のカメラ・センサからの前記第２のセンサ信号を受け取り、前記第１のセンサ信号および前記第２のセンサ信号から３次元（３Ｄ）データを生じさせるように構成された少なくとも１つのプロセッサであって、
   前記第１の画像の前記フレームおよび前記第２の画像の前記フレームからステレオ画像を生成することと、
   ステレオ・キャリブレーション・パラメータを使用して前記ステレオ画像を訂正することと、
   訂正された画像に対してステレオ・マッチングを実施することと、
   ステレオ・マッチングされた画像からのデータを使用して自動的システム・キャリブレーションを実施することであって、前記自動的システム・キャリブレーションが、コスト関数を最小化することに基づき、前記自動的システム・キャリブレーションが、
   高頻度摂動を補償するために高速間隔で実施される高速キャリブレーション手順と、
   中間的頻度摂動を補償するために中間的間隔で実施される中間的キャリブレーション手順であって、各中間的間隔は各高速間隔よりも長い、中間的キャリブレーション手順と、
   低頻度摂動を補償するために低速間隔で実施される低速キャリブレーション手順であって、各低速間隔は各中間的間隔よりも長い、低速キャリブレーション手順と
   からなる、自動的システム・キャリブレーションを実施することと
   を行うように構成された、少なくとも１つのプロセッサと
   を備えるステレオ・ビジョン・システム。
2. 前記第１の画像および前記第２の画像の前記フレームが前記第１のカメラ・センサおよび前記第２のカメラ・センサによって取得されているとき、前記第１のセンサ信号および前記第２のセンサ信号が、リアルタイムまたはほぼリアルタイムで前記少なくとも１つのプロセッサに対して提供される、請求項１に記載のステレオ・ビジョン・システム。
3. 前記自動的システム・キャリブレーションが、１フレームごとの間隔で実施されるステレオ画像安定化からなる、請求項１に記載のステレオ・ビジョン・システム。
4. 前記高速キャリブレーション手順が、前記第１の画像および前記第２の画像内の特徴に対応する画像点を追跡することによって高頻度摂動を補償するために第１のステレオ・キャリブレーション・パラメータを生成するように構成される、請求項１に記載のステレオ・ビジョン・システム。
5. 前記中間的キャリブレーション手順が、相対的カメラ・ピッチおよび相対的カメラ・ロールの関数として高密度ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することによって中間的頻度摂動を補償するために第２のステレオ・キャリブレーション・パラメータを生成するように構成される、請求項１に記載のステレオ・ビジョン・システム。
6. 前記低速キャリブレーション手順が、相対的カメラ・ピッチ、相対的カメラ・ロール、相対的カメラ・ヨー、および相対的カメラ位置の関数として高密度ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することによって低頻度摂動を補償するために第３のステレオ・キャリブレーション・パラメータを生成するように構成される、請求項１に記載のステレオ・ビジョン・システム。
7. 前記自動的システム・キャリブレーションが、各高速間隔よりも長く各中間的間隔よりも短い間隔で実施される絶対的範囲キャリブレーション手順からなる、請求項１に記載のステレオ・ビジョン・システム。
8. 前記絶対的範囲キャリブレーション手順が、非負視差制約に基づいて、相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成される、請求項７に記載のステレオ・ビジョン・システム。
9. 前記絶対的範囲キャリブレーション手順が、複数のステレオ画像のシーン内の物体の寸法ならびに前記第１のカメラ・センサおよび前記第２のカメラ・センサの焦点距離に基づいて、前記ステレオ・キャリブレーション・パラメータを生成するように構成される、請求項８に記載のステレオ・ビジョン・システム。
10. 第１の画像の第１の反射エネルギーを感知することによって前記第１の画像の複数のフレームを取得し、前記第１の反射エネルギーに基づいて第１のセンサ信号を生成するように構成された第１のカメラ・センサと、第２の画像の第２の反射エネルギーを感知することによって前記第２の画像の複数のフレームを取得し、前記第２の反射エネルギーに基づいて第２のセンサ信号を生成するように構成された第２のカメラ・センサとを含むステレオ・ビジョン・システムをキャリブレーションするために１つまたは複数のプロセッサによって実施されるコンピュータ実装キャリブレーション方法であって、
    前記１つまたは複数のプロセッサによって、前記第１の画像の前記フレームおよび前記第２の画像の前記フレームからステレオ画像を生成する工程と、
    前記１つまたは複数のプロセッサによって、訂正されたステレオ画像を生じさせるために、ステレオ・キャリブレーション・パラメータを使用して前記ステレオ画像を訂正する工程と、
    前記１つまたは複数のプロセッサによって、ステレオ・マッチングされた画像を生じさせるために、訂正されたステレオ画像に対してステレオ・マッチングを実施する工程と、
    前記１つまたは複数のプロセッサによって、ステレオ・マッチングされた画像からのデータを使用して自動的システム・キャリブレーションを実施する工程であって、前記自動的システム・キャリブレーションが、コスト関数を最小化することに基づき、前記自動的システム・キャリブレーションが、
    高頻度摂動を補償するために高速間隔で実施される高速キャリブレーション手順と、
    中間的頻度摂動を補償するために中間的間隔で実施される中間的キャリブレーション手順であって、各中間的間隔は各高速間隔よりも長い、中間的キャリブレーション手順と、
    低頻度摂動を補償するために低速間隔で実施される低速キャリブレーション手順であって、各低速間隔は各中間的間隔よりも長い、低速キャリブレーション手順と
    からなる、自動的システム・キャリブレーションを実施する工程と
    を備えるコンピュータ実装キャリブレーション方法。
11. 前記第１の画像および前記第２の画像の前記フレームが前記第１のカメラ・センサおよび前記第２のカメラ・センサによって取得されているとき、前記１つまたは複数のプロセッサによって、前記第１のセンサ信号および前記第２のセンサ信号をリアルタイムでまたはほぼリアルタイムで受け取る工程
    をさらに備える、請求項１０に記載の方法。
12. 前記自動的システム・キャリブレーションが、１フレームごとの間隔で実施されるステレオ画像安定化からなる、請求項１０に記載の方法。
13. 前記高速キャリブレーション手順が、高頻度摂動を補償するように第１のステレオ・キャリブレーション・パラメータを生成するために前記第１の画像および前記第２の画像内の特徴に対応する画像点を追跡することからなる、請求項１０に記載の方法。
14. 前記中間的キャリブレーション手順が、中間的頻度摂動を補償するように第２のステレオ・キャリブレーション・パラメータを生成するために相対的カメラ・ピッチおよび相対的カメラ・ロールの関数として高密度ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することからなる、請求項１０に記載の方法。
15. 前記低速キャリブレーション手順が、低頻度摂動を補償するように第３のステレオ・キャリブレーション・パラメータを生成するために、相対的カメラ・ピッチ、相対的カメラ・ロール、相対的カメラ・ヨー、および相対的カメラ位置の関数として高密度ステレオ・ブロック・マッチングのための有効ピクセルの数を最適化することからなる、請求項１０に記載の方法。
16. 前記自動的システム・キャリブレーションが、各高速間隔よりも長く各中間的間隔よりも短い間隔で実施される絶対的範囲キャリブレーション手順からなる、請求項１０に記載の方法。
17. 前記絶対的範囲キャリブレーション手順が、非負視差制約を使用して、相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成する、請求項１６に記載の方法。
18. 前記絶対的範囲キャリブレーション手順が、複数の前記ステレオ画像内の物体の寸法ならびに前記第１のカメラ・センサおよび前記第２のカメラ・センサの焦点距離を使用して、前記ステレオ・キャリブレーション・パラメータを生成する、請求項１７に記載の方法。
19. １つまたは複数のプロセッサによって実行されるとき、前記１つまたは複数のプロセッサに、第１の画像の第１の反射エネルギーを感知することによって前記第１の画像の複数のフレームを取得し、前記第１の反射エネルギーに基づいて第１のセンサ信号を生成するように構成された第１のカメラ・センサと、第２の画像の第２の反射エネルギーを感知することによって前記第２の画像の複数のフレームを取得し、前記第２の反射エネルギーに基づいて第２のセンサ信号を生成するように構成された第２のカメラ・センサとを含むステレオ・ビジョン・システムをキャリブレーションする方法を実施させるコンピュータ実行可能コードを記憶する非一時的なコンピュータ可読媒体であって、前記方法が、
    前記第１の画像の前記フレームおよび前記第２の画像の前記フレームからステレオ画像を生成する工程と、
    訂正されたステレオ画像を生じさせるために、ステレオ・キャリブレーション・パラメータを使用して前記ステレオ画像を訂正する工程と、
    ステレオ・マッチングされた画像を生じさせるために、訂正されたステレオ画像に対してステレオ・マッチングを実施する工程と、
    ステレオ・マッチングされた画像からのデータを使用して自動的システム・キャリブレーションを実施する工程であって、前記自動的システム・キャリブレーションが、コスト関数を最小化することに基づき、前記自動的システム・キャリブレーションが、
    高頻度摂動を補償するために高速間隔で実施される高速キャリブレーション手順と、
    中間的頻度摂動を補償するために中間的間隔で実施される中間的キャリブレーション手順であって、各中間的間隔は各高速間隔よりも長い、中間的キャリブレーション手順と、
    低頻度摂動を補償するために低速間隔で実施される低速キャリブレーション手順であって、各低速間隔は各中間的間隔よりも長い、低速キャリブレーション手順と、
    １フレームごとの間隔で実施されるステレオ画像安定化と
    からなる、自動的システム・キャリブレーションを実施する工程と
    からなる非一時的なコンピュータ可読媒体。
20. 前記自動的システム・キャリブレーションが、各高速間隔よりも長く各中間的間隔よりも短い間隔で実施される絶対的範囲キャリブレーション手順からなり、
    前記絶対的範囲キャリブレーション手順が、複数の前記ステレオ画像内の物体の寸法ならびに前記第１のカメラ・センサおよび前記第２のカメラ・センサの焦点距離に基づいて、相対的カメラ・ヨーのためのステレオ・キャリブレーション・パラメータを生成するように構成される、
    請求項１９に記載の非一時的なコンピュータ可読媒体。

Images