JP2015525035A - 立体ゲーテッド画像システム及び方法 - Google Patents

Abstract

場面の画像及びそれから得られるデータの取得プロセスを改善するためのシステムがここに提供される。そのシステムは、所定のゲーティングパラメータに基づき特定の方向のパルス光で前記場面を照明するように構成される光源と、それぞれが異なる空間位置から前記場面の画像を取得するように構成され、前記同期された取得画像のための前記場面の立体融合画像となるように、前記取得画像の少なくとも１つが前記パルス光で同期される２つ以上の取得装置と、前記ゲーテッド画像と前記ゲーティングパラメータとから得られたデータを使用することにより前記取得を改善するように構成されるコンピュータプロセッサーと、を備える。別の実施の形態では、前記光源が存在せず、少なくとも１つのセンサーが単一の読み出しのために複数の露光を加えるように構成され、前記取得を改善するために使用される高品質の画像をもたらす。

Description

本発明は、撮像及び測距システムの分野に関し、特に、アクティブゲーテッド撮像により、昼間、夜間及び過酷な気象条件での立体画像生成に関する。

立体画像生成は、暗視支援、交通標識認識、物体認識、車線認識等のような先進運転支援システム（ＡＤＡＳ）の機能のため、自動車製造業により広く使用されている。立体画像生成は、単一のカメラと対比して、少なくとも２つの異なる場面（すなわち、車両内の異なる位置のカメラにより取得され、各カメラが、視野、感度等のような異なる電子光学特性を有する）と三角測量による三次元情報（すなわち、測距特性、立体鏡検査）の２つの利点を有する。

「自動車のための立体カメラ」という名称の欧州特許第1,831,718 B1は、光感度、画素寸法、カラーフィルターアレイ等のような少なくとも１つの特性に関してお互いに異なる少なくとも２つのカメラに基づく装置を記載している。さらに、前記装置は、暗視支援及び又は交通標識認識及び又は物体認識及び又は道路境界認識及び又は車線認識等のようなＡＤＡＳ機能を実施する。しかしながら、前記装置は、暗視支援のための専用の近赤外線（ＮＩＲ）光源の必要性のような幾つかの重要な観点について扱っておらず、自動車の外側への取り付けについて扱っておらず、車両の光源（例えば、前方ヘッドライト、暗視支援ＮＩＲ光源等）の雨、雪、雹等のような環境中の粒子との相互作用による後方散乱について扱っていない。さらに、前記装置は、（例えば、三角測量による、三次元情報のために要求される）カメラの取り付けの必要条件を簡素化していない。

受動的な立体視（すなわち、三角測量に基づく三次元情報）の深さ情報の正確性は式（１）により推定される。
Δｄ＝（ｄ^２／ｌ・ｈ）×Δｘ

Δｄは深さ情報の推定値、ｄは深さ、ｌは基線の長さ（すなわち、カメラ間の距離）、ｈは画像面と２つのカメラの中央投影の中心を通る平面との間の距離、Δｘは不均衡（すなわち、各カメラの中心から観察場面中の投影された特定点までの距離の合計）である。この深さ情報の推定は、すなわち、より長い観察された距離で基線が短い長さに限定される時のすべての受動的な立体視ベースのシステムに制限する。

本発明の幾つかの実施の形態によれば、画面の画像及びそれから得られるデータの取得プロセスを改善するためのシステムが提供される。そのシステムは、所定のゲーティングパラメータに基づき特定の方向のパルス光で前記場面を照明するように構成される光源と、それぞれが異なる空間位置から前記場面の画像を取得するように構成され、前記同期された取得画像のための前記場面の立体融合画像となるように、前記取得画像の少なくとも１つが前記パルス光で同期される２つ以上の取得装置と、前記ゲーテッド画像と前記ゲーティングパラメータとから得られたデータを使用することにより前記取得を改善するように構成されるコンピュータプロセッサーと、を備える。本発明のこれらのさらなる及び又は他の特徴及び又は利点は、以下の詳細な説明において示され、該詳細な説明から推断可能であり、本発明の実施により学習可能である。

本発明は添付図面に関連してなされる実施の形態の詳細な説明からより容易に理解されるであろう。
本発明の実施の形態による車両に取り付けられる立体ゲーテッド撮像システムの概略図を示している。 本発明の実施の形態による立体ゲーテッド撮像システムのブロック図を示している。 本発明の実施の形態による立体ゲーテッド撮像システムの被写界深度（ＤＯＦ）の実施例を概略的に示している。 本発明の実施の形態による立体ゲーテッド撮像システムの被写界深度（ＤＯＦ）の実施例を概略的に示している。 本発明の実施の形態による立体ゲーテッド撮像のバーストのタイミングを示している。

本発明の少なくとも１つの実施の形態を詳細に説明する前に、本発明が以下の説明に示された又は図面に示された構成部品の詳細な構造及び配置にその適用を限定されるものではないと理解されるべきである。本発明は各種方法で実施又は実行される他の実施の形態に適用可能である。また、ここに用いられる語法及び用語は説明の目的のためであり、限定としてみなされるべきでないことを理解されるべきである。

当技術で公知な好適なゲーテッド撮像システムは、「車両取り付けの暗視撮像システム及び方法」という名称の米国特許第7,733,464 B2に記載されている。（自由空間の）光源パルスは、Ｔ_Laser＝２×｛（Ｒ_０−Ｒ_min）／ｃ｝、そのパラメータは以下の指標で定義される。（自由空間の）ゲーテッドカメラのオン時間は、Ｔ_II=２×｛（Ｒ_max−Ｒ_min）／ｃ｝で定義される。（自由空間の）ゲーテッドカメラのオフ時間は、Ｔ_Off=２Ｒ_min／ｃで定義され、ｃは光速、Ｒ_０、Ｒ_min及びＲ_maxは特定範囲である。ゲーテッド撮像は、Ｔ_Laser、Ｔ_II及びＴ_Offの時間同期を通して範囲の関数として感度を生成するために利用される。

以下、一つの「ゲート」（すなわち、単一読み出し当たりの少なくとも１つのカメラ／センサーの露光の後の１つの光源パルスの照射）は上記定義した特定のＴ_Laser、Ｔ_II及びＴ_Offのタイミングを利用する。以下、「ゲーティング」／「ゲーティングパラメータ」（すなわち、１つのカメラ／センサーの露光の後の１つの光源パルスの照射と単一読み出しのシーケンスの終わりの１つカメラ／センサーの露光の後の１つの光源パルスの）照射のうちの少なくとも１つのシーケンス）は、上記定義した特定のＴ_Laser、Ｔ_II及びＴ_Offのタイミングの各シーケンスを利用する。以下、被写界深度（「スライス」）は少なくとも１つのゲート又はゲーティングを利用し、観察された場面の特定の蓄積された画像を提供する。

昼間状態、暗視状態及び低視程状態の立体ゲーテッド撮像及び測距システムである。さらに、選択的な被写界深度（「スライス」）及び又は蓄積されたターゲットに関して自動警報機構の状態のリアルタイムにおける立体撮像特性に基づき、低い誤り検出の高確率でターゲット検知（すなわち、自動車、オートバイ、歩行者等のような物体のタイプ）を可能にする。立体ゲーテッド撮像システムは可搬式であり、固定及び又は移動プラットフォームに取り付けられる。立体ゲーテッド撮像システムは水中のプラットフォーム、地上のプラットフォーム又は空中のプラットフォームで使用されてもよい。ここでの好適な立体ゲーテッド撮像システムは車両である。

照明パラメータは、パルスの振幅、パルスの期間、パルスの周波数、パルスの形状、パルスの位相、及びパルスのデューティ比のうち少なくとも一つを備えている。

センサーパラメータは、Ｔ_II、Ｔ_Off、ゲイン、露光の期間、露光の周波数、露光の上昇／降下時間、蓄積されたパルスの分極、及び露光のデューティ比のうち少なくとも一つを備えている。

図１及び図２は、例えば、車両２０の前方環境５０を照明するため、不可視周波数帯（例えば、ＬＥＤ及び又はレーザ源によるＮＩＲ）における少なくとも１つのゲーテッド（パルス）光源１０を含む、車両取り付けの立体ゲーテッド撮像及び測距システム６０を示している。さらに、立体ゲーテッド撮像及び測距システムはまた、少なくとも２つのカメラ／センサー４０を含み、少なくとも１つのカメラ／センサーは画像ゲート化のために適用される。立体ゲーテッド撮像カメラは、フロントガラスのワイパーにより洗浄される領域の鏡の後方の車両の内部に配置される。ゲーテッドカメラ／センサーは、（ＣＣＤ／ＣＭＯＳがイメージインテンシファイアに結合される）強化ＣＣＤ、強化ＣＭＯＳ、電子増倍ＣＣＤ、電子衝撃型ＣＭＯＳ、ハイブリッドＦＰＡ（カメラが読み出し集積回路と撮像基盤の２つの主な構成部品を有するＣＣＤ又はＣＭＯＳ）、アバランシェフォトダイオードＦＰＡ等であってもよい。好適なゲーテッドカメラ／センサーはゲーテッド相補型金属酸化物半導体（ＧＣＭＯＳ）に基づいてもよく、ゲーテッド機構／方法はＣＭＯＳ画素レベルで達成される（すなわち、単一画素読み出し毎の１つから複数の画素露光）。さらに、画素の複数の露光／ゲーティングにより蓄積された信号は画素の読み出しノイズを克服しなければならない。第２のカメラ／センサーは、露光／ゲーティングのタイミング、感度、周波数応答、分極応答、ダイナミックレンジ、解像度等のような少なくとも１つの特性に関して、ゲーテッド及び又は非ゲーテッドであってもよく、及び又はゲーテッドカメラ／センサーと異なってもよい。立体ゲーテッド撮像及び測距システム６０はさらに、システムコントロール３０と、歩行者検知警報、サイクリスト検知警報等のようなシステムの視覚及び又は触覚及び又は聴覚の自動警報のようなドライバーヒューマンマシンインターフェース（ＨＭＩ）と、を備えていてもよい。

好適な実施の形態の一変形例では、立体ゲーテッド撮像（すなわち、少なくとも１つのカメラ／センサー及び又は少なくとも１つのゲーテッド光源）が、車両のグリル及び又は別々の車両のヘッドランプ及び又は統合した車両のヘッドランプ及び又は少なくとも１つの車両のサイドミラーのような統一容積の自動車の外部に取り付けられてもよい。別の取り付け方法は、立体ゲーテッド撮像をサブアセンブリーに分割してもよく、各サブアセンブリーは上述されたように車両の異なる場所に配置されてもよい（例えば、１つの場所の少なくとも１つのカメラ／センサー及び又は別の場所の少なくとも１つのゲーテッド光源）。外部に取り付ける場合、ゲーテッド撮像カメラ／センサーはゲーティング領域（すなわち、Ｔ_off）による後方散乱に影響を受けない。さらに、車両のフロントガラスはこの損失を補填するため撮像システムを要求するＮＩＲ周波数帯の４０％以下を伝えてもよい。外部の取り付け（すなわち、車両のフロントガラスのない）は低周波数帯の伝達のために十分な解決法を提供する。

放射された放射線（InSb, HgCdTe, V₂O₅, アモルファスシリコン等のように冷却及び非冷却）の検出に基づく熱型カメラ／センサーは、要求される周波数帯での放射線透過が少ないかないため、標準的は車両のフロントガラスの後方に配置されることができない。少なくとも１つのゲーテッド撮像カメラ／センサーと少なくとも１つのゲーテッド光源と少なくとも１つの熱型カメラ／センサーとから成る、外部に取り付けられる（すなわち、標準的な車両のフロントガラスの後方でない）立体ゲーテッド撮像は、理想的な構成を提供し、ゲーテッドカメラ／光源による後方散乱及びすべての使用周波数帯（すなわち、４００〜１４，０００ｎｍ）での高い分光透過に無関心である。

図２は立体ゲーテッド撮像及び測距システム６０の開示された形態に関する内部モジュールを示す。したがって、立体ゲーテッド撮像カメラ４０は、カメラ＃１−ゲーテッドカメラ／センサー７２とカメラ＃２−７４の少なくとも２つのカメラを有している。ゲーテッドカメラ／センサーの光学モジュール７１はゲーテッド光源１０によって供給されるものに類似する電磁波長を操作及び検出するように設けられる。ゲーテッドカメラ／センサーの光学モジュール７１はさらに、カメラ＃１−ゲーテッドカメラ／センサー７２の光の検出領域に入ってくる光に焦点を合わせるために設けられる。ゲーテッドカメラ／センサーの光学モジュール７１はさらに、帯域通過フィルターにより実行されるように、特定の波長のスペクトルを濾過し、及び又は、各種光の偏波を濾過するために設けられる。カメラ／センサーの光学モジュール７３はさらに、ゲーテッド光源１０により及び又は可視スペクトル（すなわち、４５０〜６５０ｎｍ）で供給されるものに類似する電磁波長を操作及び検出するように設けられる。カメラ／センサーの光学モジュール７３はさらに、カメラ＃２−カメラ／センサー７４の光検出領域に入ってくる光に焦点を合わせるために設けられる。ゲーテッドカメラ／センサーの光学モジュール７３は、帯域通過フィルターにより実行されるように、特定の波長のスペクトル濾過を含み、及び又は、光の偏波フィルターを含む。さらに、＃１−ゲーテッドカメラ／センサー７２は、電磁気変調を検出するように設けられると共に可能にし、電磁気信号を検出するために設けられる同期機構を含み、ゲーテッド又は変調光源１０から派生する。立体ゲーテッド撮像カメラ４０はさらに、画像及び信号処理部７７と、（ゲーテッド撮像カメラ４０とは別個に配置される）立体ゲーテッド撮像制御部３０と、電気インターフェース３５と、を有し、自動車の通信バス８３とインターフェースするように設けられる。立体ゲーテッド撮像制御部３０は起動及び制御９０を介してゲーテッド光源１０のパルスに（制御７５及び７６を介して）カメラゲーティング及び露光のゲーティング同期を供給し、画像及び信号処理部７７に（７８を介して）システムパラメータを供給する。画像及び信号処理部７７に供給されるシステムパラメータは車両パラメータ（例えば、車速、ワイパー操作等）及び又は他のパラメータ（例えば、フレーム毎のパルス／露光の数、カメラ／センサーのゲイン、タイミング等）を含んでいてもよい。画像及び信号処理部７７はカメラ／センサー７２及び又はカメラ／センサー７４からの画像及び又は８５のビデオを介して外部センサーからの追加画像を結合（融合）する。画像及び信号処理部７７はさらに、ＡＤＡＳの特徴（例えば、歩行者検出、車線逸脱警報、交通標識認識、物体範囲推測等）のようなリアルタイム画像処理（コンピュータビジョン）を供給する。さらなるインターフェースは、車両通信バス３５を介するＡＤＡＳの特徴の出力、ドライバーＨＭＩ７０へのデータインターフェース８７、及び立体ゲーテッド撮像システムのビデオ出力のように供給される。ビデオ出力８５は、ＡＤＡＳの特徴のオーバーレイ強調（例えば、歩行者検出警報のための境界の長方形、車線検出警報のためのオーバーレイ線等）を有していてもよい。（車両の電気供給部７９を介して供給される）電源供給部７９はゲーテッド立撮像カメラ４０及び制御部３９に要求される電圧を供給する。

別の実施の形態では、視覚ベースのＨＭＩ７０は、幾何学的考察及び又はゲーテッド画像に基づき（すなわち、立体ゲーテッド撮像カメラ４０とゲーテッド光源１０のうちの少なくとも１つの特定のゲーティング／露光のタイミングに基づき）、カメラのＦＯＶの画像ターゲットへの範囲推測を含む。さらに、立体ゲーテッド画像の視覚表示は車両２０の速度に基づき、表示された立体画像は、高速（例えば、時速５０ｋｍ以上）でズームインされ、低速（例えば時速５０ｋｍ未満）でズームアウトされる。

図２は、不可視スペクトル（すなわち、７５０〜２，０００ｎｍ）における少なくとも１つのゲーテッド光源１０が光源光学モジュール８２を含むことも示しており、光偏波を投射及び又は濾過するように設けられる。光源光学モジュール８２は光を拡散する（例えば、ホログラフィックディフューザ、光学レンズ等）と共に１以上の照明場（ＦＯＩ）を投影するために設けられる。ゲーテッド光源１０はさらに、パルス及び又は変調の光源８１（例えば、ＬＥＤ，レーザ、フラッシュランプ等）を有し、パルス照明を供給又は変調照明を供給する。ゲーテッド光源１０は、当業者により認識されるように、電気的方法（例えば、サーモ電気冷却器）及び又は適切な機械的方法及び又は光学的方法に基づく光源波長コントローラ８０と、照明波長を安定させるための装置と、を備えている。ゲーテッド光源１０はさらに、光源コントローラ８８と、車両の電気供給部８４を介して供給される電源供給部８９と、を備えている。光源コントローラ８８はパルス又は変調の照明を駆動するように設けられ、光源波長コントローラ８０を制御すると共に立体ゲーテッド撮像制御部３０から起動信号を受信するように設けられる。ゲーテッド光源１０はさらに車両通信バス８３への通信インターフェース３５を備え、組み込みテストの状態を制御及び又は供給する。

図３は観察した場面を蓄積した立体ゲーテッドカメラ４０を示している。立体ゲーテッドカメラ４０は、少なくとも１つのゲーテッドカメラ／センサー７２と、少なくとも第２のカメラ／センサー７４と、から構成されている。ゲーテッドカメラ／センサー７２はゲーテッドカメラ／センサーＦＯＶ１５０の投影されたゲーテッド（パルス）光源１０のエネルギーを吸収する。ゲーテッドカメラ／センサー７２は完全な被写界深度（１３０及び１００で描かれている）のエネルギーを吸収する。ゲーテッドカメラ／センサー７２はまた、（すなわち、Ｔ_Laser、Ｔ_II及びＴ_Offの異なるタイミングに基づく）不可視のゲーテッド光源１０からの少なくとも１つの選択的に照明される場面の被写界深度（「スライス」）１４０（１３０，１００及び１１０で描かれている）の反射を蓄積する。カメラ／センサー７４は不可視ゲーテッド光源１０のスペクトルで敏感な非ゲーテッド（すなわち、ゲーテッド光源１０に同期しない）であってもよい。カメラ／センサー７４は画像を蓄積した完全なＦＯＶ１７０を供給するゲーテッド光源１０の反射を吸収する。この方法（構成）において、カメラ／センサー７４は光源１０の照明を利用し、高品質画像を供給する。カメラ／センサー７４は可視スペクトルで敏感な非ゲーテッド（すなわち、ゲーテッド光源１０に同期しない）である（すなわち、不可視ゲーテッド光源１０を検知しない）。カメラ／センサー７４は、車両２０のヘッドライト、周囲の街灯、及び他の方法の照明から派生するような周囲の光を吸収する。この方法において、システム６０は、車両２０のヘッドライトのパターンまで前記立体視の融合画像を生成する第１の範囲と車両２０のヘッドライトのパターンの上方に平面視のゲーテッド画像を生成する第２の範囲の２つのタイプの範囲を有している。

図４は、（蓄積された画像に基づく）観察された場面を蓄積した立体ゲーテッドカメラ４０を示している。立体ゲーテッドカメラ４０は少なくとも２つのゲーテッドカメラ／センサー７２及び７４から構成されている。ゲーテッドカメラ／センサー７２はゲーテッドカメラ／センサーＦＯＶ１５０及び１７０の投影されたゲーテッド（パルス）光源１０のエネルギーを吸収する。各ゲーテッドカメラ／センサー（７２又は７４）はお互いに及びゲーテッド光源１０に同期される。各ゲーテッドカメラ／センサー（７２又は７４）は完全な被写界深度のエネルギーを吸収する（１３０及び１００又は１６０及び１００でそれぞれ描かれている）。各ゲーテッドカメラ／センサー（７２又は７４）はまた、不可視ゲーテッド光源１０からの少なくとも１つの選択的に照射された場面の被写界深度（「スライス」）１４０（１３０、１００及び１１０で描かれている）又は１８０（１６０、１９０及び１１０で描かれている）の反射を蓄積する。

さらに、各ゲーテッドカメラ／センサー（７２及び７４）のために要求される特定のタイミングを与える「まっすぐな」アプローチは、さらなるゲーテッド光源を追加することにより及び又は１つのゲーテッド光源のための１以上の光パルスを追加することにより、ゲーテッド光源１０の全体のデューティ比の増加を有する（すなわち、一定の期間におけるパルス数）。このアプローチは、立体ゲーテッド撮像システムに向かう同一スペクトルを操作する他のビジョンシステムへのブルーミングを増加させる。

別の好適な方法は、１つのゲーテッドカメラの構成に関して同様のデューティ比を供給するが、各ゲーテッドカメラ／センサーのための異なるＤＯＦのオプションを供給する。図５は少なくとも２つのゲーテッドカメラ／センサーのための立体ゲーテッド撮像の１つのバーストタイミングを示している。そのシステムのレーザのパルス期間Ｔ_Laser（上側タイミングスキームで示されるＬ）は、Ｔ_Laser＝max（Ｔ_Laser(1)，Ｔ_Laser(2)）で定義され、Ｔ_Laser(1)＝２×｛（Ｒ₀(1)−Ｒ_min(1)）／ｃ｝はゲーテッドカメラ／センサー＃１に関連するようなパルス期間であり、Ｔ_Laser(2)＝２×｛（Ｒ₀(2)−Ｒ_min(2)）／ｃ｝はゲーテッドカメラ／センサー＃２に関連するようなパルス期間である。２つのゲーテッドカメラ／センサー７２及び７４のための同期タイミングは以下のＤＯＦオプションを含んでいる。

・オプション１：Ｔ_H(1)≠Ｔ_H(2)及びＴ_Off(1)≠Ｔ_Off(2)、各ゲーテッドカメラ／センターのためのＤＯＦは異なり、各ゲーテッドカメラ／センサーの開始範囲（距離）は異なる。

・オプション２：Ｔ_H(1)＝Ｔ_H(2)及びＴ_Off(1)≠Ｔ_Off(2)、各ゲーテッドカメラ／センターのためのＤＯＦは同じで、各ゲーテッドカメラ／センサーの開始範囲（距離）は異なる。

・オプション３：Ｔ_H(1)≠Ｔ_H(2)及びＴ_Off(1)＝Ｔ_Off(2)、各ゲーテッドカメラ／センターのためのＤＯＦは異なり、各ゲーテッドカメラ／センサーの開始範囲（距離）は同じである。

・オプション４：Ｔ_H(1)＝Ｔ_H(2)及びＴ_Off(1)＝Ｔ_Off(2)、各ゲーテッドカメラ／センターのためのＤＯＦは同じで、各ゲーテッドカメラ／センサーの開始範囲（距離）は同じである。

Ｔ_H(1)，Ｔ_H(2)は昼間及び下側タイミングスキームで示されるＧである。Ｔ_R(1)，Ｔ_R(2)は、次のバーストサイクルが始まるまでの各カメラ／センサー及びゲーテッド光源１０の緩和時間である。

次の表は異なる選択的に蓄積されたＤＯＦ（「スライス」）のためのゲーテッド立体撮像システムのタイミングの２つの例を提供する。

立体ゲーテッド撮像カメラのＦＯＶ及び又は光源は、観察された場面の機能としての操作の間、作動している。例えば、観察された道路が上っている場面では、立体ゲーテッドシステムは下向きに回転され、右側に曲がる道路では、ゲーテッドシステムは道路の湾曲と同様の角度で右側に回転される。立体ゲーテッド撮像の回転は、機械的構造、電子機械エンジン、電子光学的構造等によって制御される。

（交通標識又は車両照明等におけるパルス幅変調ＬＥＤのような光変調又はパルス光源のターゲットの１つの画像（１つのフレーム呼び出し）を捕え損ねるという問題がある。立体ゲーテッド撮像システムは、この光変調又はパルス光源のターゲットを捕えることによる解決策を提供する。その技術はゲーテッド光源を必要とすることなく少なくとも１つのシステムのゲーテッドカメラを利用する。変調周波数を「ロックする（Locking）」（例えば、外部の光源のターゲットの変調周波数に直接関連する信号のために特定のゲートを開放及び調査する）ことにより及び又は異なる長さの時間の露出の（すなわち、光源のターゲットの）変調周波数を「知ること」なく）システムゲーテッドカメラの複数のゲートによる。少なくとも１つのゲーテッドカメラ／センサーは、露光期間又は次の露光に対する露光遅れのフレームの読み出し毎の各露光の間の少なくとも１つのパラメータの変化を含む特定の露光パラメータを有するだろう。さらに、特定の露光パラメータは各フレーム毎の露光量を含んでいる。

そのような立体ゲーテッド撮像システムは、読み出し毎のゲート数の低下及び又はゲート長さの時間の狭小及び又はゲーテッドカメラのゲインの低下に直接関係するゲーテッドカメラの高強度の周辺光レベルの間（例えば、昼間、夜間に入ってくる車両の高い又は低いフロントヘッドライト）の撮像カメラのブルーミングの問題を克服する。例えば、５０ナノ秒の１回の露光を有する最初のフレームと、１６ミリ秒の１回の露光を有する連続するフレームとの間で１１０ｄＢのダイナミックレンジを可能にする。

おそらく、立体ゲーテッド撮像における少なくとも１つのゲーテッドカメラは、（５０℃以上の）高温度の保管及び操作、感度が太陽放射照度により損傷を受けない、カメラに対する一定の静止画像の投影によるバーンエフェクト（burn effect）がない、といった車両環境に対応するＣＭＯＳ技術を使用して製造される。

好ましくは、スペクトルフィルターが立体ゲーテッド撮像カメラの少なくとも１つの前に導入され、昼間、夜間、及び他の周辺光の状況において周辺光の蓄積を減少させる。

好ましくは、偏光フィルターが立体ゲーテッド撮像カメラの少なくとも１つの前に導入され、昼間、夜間、及び他の周辺光の状況において強く偏光された光から周辺光の蓄積を減少させ、及び又は観察された場面の情報の別の層を供給する（すなわち、光学場のベクトルの性質についての情報を測定することを求め、表面の特徴、形状、遮光、及び粗さについての情報を供給する）。

別の好適な方法は、１つのカメラのフレーム呼び出しにおいてゲーテッド光源の１つのパルスのための複数の露光により少なくとも１つのシステムのカメラに戻る反射光の同期ゲーテッド源で直接飛行時間（ＴＯＦ）測距及び撮像を行う能力を提供する。

本発明は限定し多数の実施の形態に関して説明されているが、これらは本発明の範囲を限定するものと解釈されるべきではなく、むしろ、幾つかの好適な実施の形態の例示として解釈されるべきである。他の変形、修正、及び適用が本発明の範囲内で可能である。

Claims (27)

1. 場面の画像及びそれから得られるデータの取得プロセスを改善するための方法であって、
   所定のゲーティングパラメータに基づき特定の方向のパルス光で前記場面を照明することと、
   少なくとも２つの異なる空間位置から前記場面の画像を取得し、前記取得した画像の少なくとも１つが前記パルス光と同期され、前記同期された取得画像のための前記場面の立体融合画像となることと、
   前記立体融合画像と前記ゲーティングパラメータとから得られたデータを使用することにより前記取得プロセスを改善することと、
   を備えることを特徴とする方法。
2. 前記画像の取得は、前記立体融合画像をもたらす第１範囲と平面ゲーテッド画像をもたらす第２範囲との２つの範囲について行われる請求項１に記載の方法。
3. 前記２つの範囲の間の閾値は前記画像の取得プロセスの感度により決定される請求項２に記載の方法。
4. 前記画像の取得の少なくとも１つは前記パルス光と同期されず、前記取得プロセスの改善がゲーテッド画像と非ゲーテッド画像の両方を使用して行われるようになっている請求項１に記載の方法。
5. 前記画像の取得は前記パルス光と同期され、第１の取得が第１セットのゲーティングパラメータに基づいて同期され、第２の取得が第２セットのゲーティングパラメータに基づいて同期される請求項１に記載の方法。
6. 前記ゲーティングパラメータは、照明パラメータとセンサーパラメータのうちの少なくとも１つを含む請求項１に記載の方法。
7. 前記取得画像を分析することと、該分析に基づき前記同期に影響を与える更新されたセットのセンサーゲーティングパラメータで前記取得を繰り返すことと、をさらに備える請求項１に記載の方法。
8. 前記取得画像を分析することと、前記ゲーティングに影響を与えるパラメータの更新されたセットで前記場面の照明を繰り返すことと、をさらに備える請求項１に記載の方法。
9. 前記立体画像と前記ゲーテッド画像との間のデータ融合に基づき場面中の１つ以上の範囲を得ることをさらに備える請求項１に記載の方法。
10. 前記画像の取得はマルチスペクトル範囲で行われる請求項１に記載の方法。
11. 前記照明及び前記取得は偏光で行われる請求項１に記載の方法。
12. 前記照明と前記取得のうちの少なくとも１つは車両の外側で行われる請求項１に記載の方法。
13. 場面の画像及びそれから得られるデータの取得プロセスを改善するためのシステムであって、
    所定のゲーティングパラメータに基づき特定の方向のパルス光で前記場面を照明するように構成された光源と、
    それぞれが異なる空間位置から前記場面の画像を取得するように構成され、前記同期された取得画像のための前記場面の立体融合画像となるように、前記取得画像の少なくとも１つが前記パルス光で同期される２つ以上の取得装置と、
    前記立体融合画像と前記ゲーティングパラメータとから得られたデータを使用することにより前記取得を改善するように構成されるコンピュータプロセッサーと、
    を備えることを特徴とするシステム。
14. 前記画像の取得は、前記立体融合画像をもたらす第１範囲と平面ゲーテッド画像をもたらす第２範囲との２つの範囲について行われる請求項１３に記載の方法。
15. 前記２つの範囲の間の閾値は前記取得装置の感度により決定される請求項１４に記載の方法。
16. 前記取得装置の少なくとも１つは前記パルス光と同期されず、ゲーテッド画像と非ゲーテッド画像の両方に基づき更新が行われるようになっている請求項１３に記載のシステム。
17. 前記画像の取得の少なくとも２つは前記パルス光と同期され、第１の取得が第１セットのゲーティングパラメータに基づいて同期され、第２の取得が第２セットのゲーティングパラメータに基づいて同期される請求項１３に記載のシステム。
18. 少なくとも１つのセットの前記ゲーティングパラメータは、前記場面の異なる被写界深度と一致する請求項１３に記載のシステム。
19. 前記コンピュータプロセッサーは、前記取得画像を分析することと、該分析に基づき前記同期に影響を与える更新されたセットのセンサーゲーティングパラメータで前記取得を繰り返すことと、をさらに備える請求項１３に記載のシステム。
20. 前記コンピュータプロセッサーは、前記立体画像と前記ゲーテッド画像との間のデータ融合に基づき場面中の１つ以上の物体の範囲を得るようにさらに構成される請求項１３に記載のシステム。
21. 少なくとも１つの前記センサーはマルチスペクトル範囲で実施可能である請求項１３に記載のシステム。
22. パルス光源と少なくとも１つの前記センサーは偏光で実施可能である請求項１３に記載のシステム。
23. 前記パルス光源と前記少なくとも１つの取得装置のうちの少なくとも１つは車両の外側に配置される請求項１３に記載のシステム。
24. 場面の画像及びそれから得られるデータの取得を改善するための方法であって、
    少なくとも２つの空間位置から前記場面の画像を取得し、前記取得画像の少なくとも１つが特定の露光パラメータに基づき単一読み出し当たりの一連の複数の露光を蓄積し、高品質の画像をもたらし、
    前記高品質の画像から得られたデータ及び特定の露光パラメータを使用することで前記取得画像を改善することを備えることを特徴とする方法。
25. 前記取得画像を分析することと、該分析に基づき前記高品質の画像に影響を与える更新された露光パラメータで前記画像の取得を繰り返すことと、をさらに備える請求項２４に記載の方法。
26. 場面の画像及びそれから得られるデータの取得を改善するためのシステムであって、
    それぞれが異なる空間位置から前記場面の画像を取得するように構成され、前記取得画像の少なくとも１つが単一読み出し当たりの一連の複数の露光を蓄積し、高品質の画像をもたらす２つ以上の取得装置と、
    前記高品質の画像から得られたデータを使用することで前記取得画像を改善するように構成されるコンピュータプロセッサーと、
    を備えることを特徴とするシステム。
27. 前記コンピュータプロセッサーは、前記取得画像を分析すると共に、該分析に基づき前記高品質の画像に影響を与える更新された露光パラメータで前記画像の取得を繰り返すようにさらに構成される請求項２６に記載のシステム。

Images