JP2013546238A - カメラ撮像システムおよび方法 - Google Patents

Abstract

ビデオ撮像システムは、低解像度カラーデジタルビデオカメラと、デジタル処理システムに動作可能に接続された高解像度単色デジタルビデオカメラと、を含む。
【選択図】図１

Description

本発明は、カメラ撮像に関する。

本発明の１以上の実施形態によれば、低解像度カラーデジタルビデオカメラおよび高解像度単色デジタルビデオカメラを含むビデオ撮像システムは、デジタル処理システムへ操作可能に接続される。本システムは、カメラの視野内で動く物体を検出するための物体移動モジュール、およびカメラの視野を覆う物体の位置を決定するための物体位置モジュールをさらに含んでもよい。

本発明の１以上の実施形態によれば、方法は、低解像度カラーデジタルビデオカメラからの画像フレームおよび高解像度単色デジタルビデオカメラからの対応する画像フレームを提供することと、低解像度カラーデジタルビデオカメラから画像フレームよりも高い解像度を有するカラー画像を取得するために該２つの画像フレームを融合させることと、を含む。本方法は、カメラの視野の重複領域において移動物体の位置を決定する３次元座標系を提供することを含んでもよく、これにより、移動物体の２次元位置が画像におけるその位置により決定する一方、カメラから画像の平面に対して垂直な軸における物体までの距離が融合した２つの画像フレーム間の視差エラーから派生される。

本発明の１以上の実施形態によれば、カメラ撮像システムは、低解像度カラーデジタルセンサチップと、高解像度単色デジタルセンサチップと、ビームスプリッタと、レンズとを含み、該レンズは、ビームスプリッタに向かって入射光を集積し、ビームスプリッタは、２つのセンサチップに向かって光を分割する。本システムは、高解像度カラー画像を生成するためにカラーセンサから低解像度カラー画像を融合させ、単色センサから高解像度単色画像を融合させるデジタル処理システムをさらに含む。

本発明の１以上の実施形態に係るデュアルビデオ撮像システムの概略図である。 本発明の１以上の実施形態に係る連続画像フレームの概略図である。 本発明の１以上の実施形態に係る２カメラシステムの概略図である。 本発明の１以上の実施形態に係る２センサ単一レンズシステムの概略図である。 本発明の１以上の実施形態に係る回転ハーフミラーシステムの概略図である。

図１を参照して、本発明の一実施形態に係るデュアルビデオ撮像システムの全体的なシステム構成は、レンズ２０を有するカラーデジタルビデオカメラおよびレンズ２２を有する単色デジタルビデオカメラを含む。カメラ２，４は、シーン６のデジタル信号をそれぞれ生成し、デジタル処理システム（「ＤＰＳ」）１２に転送される。

カメラ２，４は、電荷結合素子（ＣＣＤ）センサまたは相補型ＭＯＳ（「ＣＭＯＳ」）センサを採用する。カメラ２は、低解像度カラー（「ＬＣ」）ビデオカメラであり、カメラ４は、高解像度単色（「ＨＭ」）ビデオカメラである。カメラ２，４は、セキュリティ用システム、観察用システム、または監視用システムの一部として、ストリーミングビデオ信号の提供を可能にする。しかしながら、カメラ２，４に対する出願がそのようなシステムに限定されないことは、理解されるだろう。

カメラ２は、光線８で定義される視野を有し、カメラ４は、光線１０で定義される視野を有する。カラーカメラ２および単色カメラ４は、ＤＰＳ１２に供給される個別ストリーミングビデオ信号を生成する。カメラ２，４は、１つのカメラ筐体（不図示）内に互いに隣接して収容され得る。

カメラ２からの低解像度カラーストリーミングビデオ信号は、融合高解像度カラーストリーミングビデオ信号（「ＨＣ」）２８を生成するためにカメラ４からの高解像度単色ストリーミングビデオ信号に対応するプロセッサ１２で画像融合モジュール（「ＦＭ」）２６によって融合される。カラーおよび単色ビデオ信号を融合することは、単色カメラからの高解像度信号およびカラーカメラからのカラー信号を含むために、劣悪な照明条件の下で高解像度カラービデオ信号の取得が可能な改良された感度でデュアルカメラシステムを提供する。

カラーおよび単色ビデオ信号は、個別の画像フレームに含まれる。カメラ２，４からのビデオ画像フレームの対応する対は、分離され、融合する。フレーム対を融合する様々な方法が使用され得る。例えば、高解像度パンクロ衛星画像で低解像度多重スペクトル衛星画像を融合する画像融合方法は、リモートセンシングの分野で知られ、カメラ２，４からの融合ビデオ画像フレームに適合し得る。そのような方法の１つが、米国特許第７,３４０,０９９号（Ｚｈａｎｇ）に開示されており、その全体が参照によって本明細書に組み込まれる。衛星画像に使用する他の画像融合方法は、計算ベースの融合方法、統計ベースの融合方法、比率ベースの融合方法、およびウェーブレットベースの融合方法を含む。多重スペクトルおよびパンクロ画像に対して本発明に係るカラーおよび単色ビデオ画像をそれぞれ代替することによって、従来の画像融合方法は、カメラ４で取得したビデオ画像フレームでカメラ２によって取得した融合ビデオ画像フレームに適合され得る。

さらなる態様において、図２を参照して、シーン６における移動物体３０は、各ビデオカメラの連続画像フレーム３２における変化を見出すことに基づいてビデオカメラ２，４の両方で検出され得る。シーン６において移動物体がない場合、連続フレームにおける画像は同一である。シーン６において移動物体３０がある場合、連続フレームにおける画像は同一ではない。２つの隣接したフレーム間の変化した面積は、画像上の移動物体の位置である。変化した面積は、隣接したフレームにおける画像を比較することによって見出され得る。連続画像フレームを比較し、そのような画像フレームにおける変化を見出すための適切な従来の方法、技術、およびアルゴリズムは、２つのカメラ２，４のそれぞれから連続画像フレームにおける移動物体を見つけるこのシステムに適合し得る。

さらなる態様において、図３を参照して、シーン６における物体Ｏ１およびＯ２の位置は、３次元座標系に提供される。カメラ２，４が隣接しているので、互いに重複していないと、レンズ２０，２２からシーン６にける任意の物体への光線は、平行とならない。物体が２つのレンズにより近づくと、２つのレンズから物体への２つの光線間の角度が大きくなる。例えば、物体Ｏ２が物体Ｏ１よりも２つのレンズ２０，２２に近づく。すると、角度Ａ２は、角度Ａ１よりも大きくなる。シーン６におけるレンズ２０，２２から任意の物体までの距離は、レンズ２０，２２間の基準線距離および２つの光線間の視野角に従って算出され得る。この距離は、３次元座標系のＺ軸に沿った座標を与える。２つのレンズ間の基準線距離および空中センサから地上物体までの距離を決定するために２つの光線間の視野角を使用することは、写真測量法およびコンピュータビジョンの分野でよく知られている。そのような方法は、カメラ２，４が実質的に同じシーンとみなすので、シーン６における物体への距離を決定するように適合され得るが、カメラ２の視野８とカメラ４の視野１０との間の視差がある。

図２における画像フレーム３２の平面は、画像フレーム３２の２次元における（物体３０などの）物体を配置するために使用されるＸＹ座標系で定義される。物体のＸＹ軸位置プラスＺ軸位置は、カメラ２，４に対して３次元の物体の位置を提供する。ＸＹＺ位置は、シーン６における物体の位置を算出するＤＰＳ１２の位置算出モジュールに提供される。位置算出モジュールは、上記に記載のような従来の写真測量法またはコンピュータビジョンに基づいた適切なコンピュータアルゴリズムでプログラムされている。

１以上の実施形態において、本発明に係るデュアルカメラシステムは、従来のビデオカメラ、移動物体の検出、およびカメラ２，４の共通視野における物体の３次元位置と比較して改良された感度でカラービデオを提供する。

本発明の１以上の実施形態によれば、本発明の方法は、２つの対応する静止カメラからの画像フレームに適用され得る。

さらなる態様において、図４を参照して、最初に図１を参照して上記に記載したデュアル撮像システムは、デュアルセンサ信号レンズカメラでデュアルカメラおよびデュアルレンズを交換することによって変更される。レンズ２２は、省略され、光スプリッタ４０は、追加される。光ビームスプリッタ４０は、２方向への入射光を分割する。カメラ２は、分光ビームの１つに向かう該低解像度デジタルカラーセンサ４２で再構成され、カメラ４は、他の分割ビームに向かう該高解像度単色デジタルセンサ４４で再構成される。

カメラ２，４は、光スプリッタ４０が２方向に入射光を分割する場合、入射光の約半分がカラーデジタルセンサ４２に向かって配向され、入射光のその他の約半分が単色デジタルセンサ４４に向かって配向されるように、配置される。この実施形態において、カメラから移動物体までの距離を検出する容量が減少する。

センサ４２，４４からの個別のストリーミングビデオ信号は、最初に参照した図１で記載したシステムにおけるカメラ２，４からの信号に対して同様の方法でＤＰＳ１２へ供給される。

センサ４２からの低解像度カラーストリーミングビデオ信号は、本明細書で記載した方法を使用して融合した高解像度カラーストリーミングビデオ信号（「ＨＣ」）２８を生成するためにセンサ４４からの対応する高解像度単色ストリーミングビデオ信号でプロセッサ１２においてＦＭ２６によって融合される。

さらなる実施形態において、図５を参照して、回転ハーフミラー５０またはミラー（不図示）は、図４のスプリッタ４０の代わりに使用され得る。ハーフミラー５０は、レンズ２０からの入射角がセンサ４４に直接達するミラーの空の半分を通過する第１位置（Ｐ１）とレンズ２０を通過する入射光がセンサ４２へハーフミラーによって配向される第２位置（Ｐ２）との間で回転する。ミラー５０は、第１および第２位置の間で回転し、十分に迅速にシーンの適切な画像対を取得する。

同時にセンサ４２，４４の両方に向かってレンズ２０からの入射光を配向し得る限り、他の装置がスプリッタ４０またはミラー５０の代わりに使用され得ることは、理解されるだろう。

Claims (15)

1. 低解像度カラービデオ画像フレームストリームを提供するための低解像度カラーデジタルビデオカメラと、
   高解像度単色ビデオ画像フレームストリームを提供するための高解像度単色デジタルビデオカメラと、
   前記低解像度カラーデジタルビデオカメラから前記ビデオ画像フレームストリームよりも高い解像度を有するビデオ画像フレームストリームを取得するために前記２つのビデオ画像フレームストリームを融合させるための画像融合モジュールを含むデジタル処理システムと、
   を含み、
   前記カメラは、前記デジタル処理システムに動作可能に接続され、
   前記画像融合モジュールが使用する前記画像融合方法は、計算ベースの融合方法、統計ベースの融合方法、および比率ベースの融合方法から成る群から選択される、
   ビデオ撮像システム。
2. 前記カメラの少なくとも１つの視野内で動く物体の動きを検出するための物体移動モジュールと、
   前記カメラの視野を覆う物体の位置を決定するための物体位置モジュールと、
   をさらに含む、請求項１に記載のビデオ撮像システム。
3. 前記カメラの少なくとも１つの視野内で動く物体の動きを検出するための物体移動モジュール
   をさらに含む、請求項１に記載のビデオ撮像システム。
4. 前記カメラの視野を覆う物体の位置を決定するための物体位置モジュール
   をさらに含む、請求項１に記載のビデオ撮像システム。
5. 前記ビデオカメラは、セキュリティ用ビデオカメラ、観察用ビデオカメラ、または監視用ビデオカメラから成る群から選択される
   請求項１に記載のビデオ撮像システム。
6. 前記２画像の少なくとも１つの前記物体の位置から前記物体の２次元座標を決定することによって、前記カメラの視野の重複面積における物体の位置を決定するための３次元座標系を提供することと、
   前記低解像度カラーデジタルビデオカメラから前記ビデオ画像フレームストリームよりも高い解像度を有する前記ビデオ画像フレームストリームの２画像フレーム間の視差から、前記画像フレームの平面に直交する軸における前記カメラから前記物体までの距離を決定することと、
   をさらに含む請求項１に記載のビデオ撮像システム。
7. 低解像度カラーデジタルビデオカメラから画像フレームストリームを提供することと、
   高解像度単色デジタルビデオカメラから対応する画像フレームストリームを提供することと、
   前記低解像度カラーデジタルビデオカメラからの前記ビデオ画像フレームストリームよりも高い解像度を有するカラービデオ画像フレームストリームを取得するために前記２つの画像フレームストリームを融合させることと、
   を含み、
   前記ビデオ撮像の前記２つのストリームを融合させるための前記画像融合方法は、計算ベースの融合方法、統計ベースの融合方法、および比率ベースの融合方法から成る群から選択される、
   方法。
8. 前記ビデオカメラは、セキュリティ用ビデオカメラ、観察用ビデオカメラ、または監視用ビデオカメラから成る群から選択される
   請求項７に記載の方法。
9. 前記カメラの少なくとも１つから２つの画像フレームを分離することと、
   前記２つの画像フレームを比較することと、
   前記２つの画像フレームにおける少なくとも１つの差異を識別することと、
   をさらに含む、請求項７に記載の方法。
10. 前記２画像の少なくとも１つの前記物体の位置から前記物体の２次元座標を決定することによって、前記カメラの視野の重複面積における物体の位置を決定するための３次元座標系を提供することと、
    前記低解像度カラーデジタルビデオカメラから前記ビデオ画像フレームストリームよりも高い解像度を有する前記ビデオ画像フレームストリームの２画像フレーム間の視差から、前記画像フレームの平面に直交する軸における前記カメラから前記物体までの距離を決定することと、
    をさらに含む、請求項７に記載の方法。
11. 前記重複面積における物体の動きに少なくとも差異を関連付けること
    をさらに含む、請求項７に記載の方法。
12. デジタルビデオカメラであって、
    低解像度カラーデジタルセンサと、
    高解像度単色デジタルセンサと、
    レンズと、
    前記カラーおよび単色センサへ前記レンズを通過する入射光を配向するためのビームスプリッタと、
    を含むデジタルビデオカメラと、
    前記単色デジタルセンサからのビデオ画像フレームストリームで前記カラーデジタルセンサからビデオ画像フレームストリームを融合させるための画像融合モジュールを含むデジタル処理システムであって、前記センサは、前記デジタル処理システムに動作可能に接続される、デジタル処理システムと、
    を含み、
    前記画像融合モジュールが使用する前記画像融合方法は、計算ベースの融合方法、統計ベースの融合方法、および比率ベースの融合方法から成る群から選択される、
    撮像システム。
13. 前記ビデオカメラは、セキュリティ用ビデオカメラ、観察用ビデオカメラ、または監視用ビデオカメラから成る群から選択される
    請求項１２に記載の撮像システム。
14. デジタルビデオカメラであって、
    低解像度カラーデジタルセンサと、
    高解像度単色デジタルセンサと、
    レンズと、
    前記カラーセンサへ前記レンズを通過する入射光を配向する第１位置と前記単色センサへの前記入射光を配向する第２位置との間で動作可能なミラーと、
    を含むデジタルビデオカメラと、
    前記単色デジタルセンサからのビデオ画像フレームストリームで前記カラーデジタルセンサからビデオ画像フレームストリームを融合させるための画像融合モジュールを含むデジタル処理システムであって、前記センサは、前記デジタル処理システムに動作可能に接続される、デジタル処理システムと、
    を含み、
    前記画像融合モジュールが使用する前記画像融合方法は、計算ベースの融合方法、統計ベースの融合方法、および比率ベースの融合方法から成る群から選択される、
    撮像システム。
15. 前記ビデオカメラは、セキュリティ用ビデオカメラ、観察用ビデオカメラ、または監視用ビデオカメラから成る群から選択される
    請求項１４に記載の撮像システム。

Images