JP2004312745A - 自動焦点、被写界深度及び高分解能機能を実現する複合カメラ及び方法 - Google Patents

Abstract

【課題】 大きな被写界深度を有する向上させたバーチャルイメージを発生することが可能な複合カメラシステムを提供する。
【解決手段】 本発明に基づく複合カメラシステムは、オブジェクトのイメージデータを発生する複数個のコンポーネントカメラ、及び該イメージデータから向上させたバーチャルイメージを発生するデータプロセッサを有している。該データプロセッサは、第一深さ面において第一コンポーネントバーチャルイメージを発生し、第二深さ面において第二コンポーネントバーチャルイメージを発生し、第一コンポーネントバーチャルイメージから第一の選択したピクセルを向上させたバーチャルイメージ内へ挿入し且つ第二コンポーネントバーチャルイメージからの第二の選択したピクセルを向上させたバーチャルイメージ内へ挿入させることにより向上させたバーチャルイメージを発生する。
【選択図】 図１

Description

本発明は、大略、イメージ処理装置に関するものであって、更に詳細には、複合カメラによりキャプチャされた複数個の入力イメージからバーチャルイメージ即ち仮想画像を発生する複合カメラに関するものである。

複合カメラは、１組のコンポーネントカメラと、データプロセッサと、該データプロッセサ上で稼動するイメージ処理ソフトウエアとから構成されている。該コンポーネントカメラは、有線又は無線の電子的信号を介して同期させることが可能である。複合カメラからの個別的なイメージ即ち画像は有線又は無線の接続を介してデータプロセッサへ送信される。イメージ処理ソフトウエアがコンポーネントカメラからのイメージを入力として受取り且つバーチャルカメラの仕様に従って出力イメージを合成する。

従来の複合カメラは多数の態様で実現させることが可能である。第一の従来の実施例においては、複合カメラは多数の同期された通常のビデオカメラとこれらのビデオコンポーネントカメラへ接続された別個のマイクロプロセッサとを有している。第二の従来の実施例においては、複数個のコンポーネントイメージセンサーとマイクロプロセッサとを例えばプリント回路基板（ＰＣＢ）又はハイブリッド基板等の１個の基板上に集積化させる。同期及び通信は基板上のプリント回路接続を介して達成される。３番目の従来の実施例においては、コンポーネントイメージセンサー及びマイクロプロセッサは非常に小さく且つ単一のシリコンチップ上に集積化される。

カメラの物理的なモデルはシャッターと、レンズと、イメージ面とから構成されている。シャッターは、カメラ内に光を入らせるアパーチャと呼ばれる開口を有している。オブジェクト表面上の１つのポイント即ち１つの点から来る１束の光線が該アパーチャを介して入り、レンズにより屈折され、イメージ面上に集光され且つフォーカスされ、そこでオブジェクトポイントの色が記録される。

あるアパーチャ寸法の場合には、イメージが鮮明である範囲の深さが存在している。これは「被写界深度」と呼ばれ且つそれはアパーチャ寸法に逆比例する。イメージ面が前後にスライドして該被写界深度の範囲内において全体的に最も良いイメージをサーチする。通常、大きな被写界深度の範囲が所望される。このことは、センサーからの高い感度を必要とする。何故ならば、アパーチャ寸法は比例的に小さくなるからである。

従来のカメラは、フォーカス即ち焦点及びアパーチャを変化させるために複雑な光学的及び機械的コンポーネントに依存している。物理的な条件が、カメラが達成することが可能な最大の分解能を制限する。複合カメラにおいては、これらの特徴は、マイクロプロセッサ上でイメージ処理ソフトウエアを稼動させることによりデジタル的に実現させることが可能である。

然しながら、従来の複合カメライメージ処理システムは、主に、二つのエリアに焦点を当てている。コンピュータビジョンにおいて、通常の方法は、シーン内のオブジェクトの三次元幾何学的形状を最初にリカバーすることである。これは運動からの構造復元（ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ）と呼ばれる。次に、入力イメージが回復した幾何学的形状を介してバーチャルカメラへ転送される。Ｏｌｉｖｉｅｒ Ｆａｕｇｅｒａｓ著「三次元コンピュータビジョン−幾何学的観点（Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎｓ − Ａ Ｇｅｏｍｅｔｒｉｃ Ｖｉｅｗｐｏｉｎｔ）」、ザ・ＭＩＴ・プレス、１９９６年は良い文献である。Ｆａｕｇｅｒａｓの文献の開示内容を、引用によって本明細書に取込む。このアプローチの問題は、復元された幾何学的形状は、通常、非常に正確なものではなく、特に、色のテクスチャを欠如するオブジェクトの表面に関してそうである。そのことは、合成したイメージにおいて目に見えるアーチファクト即ち人工的効果が発生する。

コンピュータグラフィックスにおいて、光フィールド（ｌｉｇｈｔ ｆｉｅｌｄ）アプローチは、１つの深さ面のみを使用するものとして考えることが可能である。光フィールドアプローチについての良い文献は、Ｍ． Ｌｅｖｏｙ及びＰ． Ｈａｎｒａｈａｎ著「光フィールドレンダリング（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ）」、プロシーディングズ・オブ・ザ・ＡＣＭ ＳＩＧＧＲＡＰＨ ９６、３１−４２頁、１９９６年の文献である。このＬｅｖｏｙ及びＨａｎｒａｈａｎの文献の開示内容は、引用によって本明細書に取込む。然しながら、光フィールドアプローチにおいては、ぼけを取扱うために、コンポーネントカメラを密集して配置させねばならない。密集して配置させたカメラは、通常、多数のカメラとなる。多数のカメラは、処理すべき大量のデータを発生させる。このことは、イメージ処理システムのコスト及び複雑性を著しく増加させることとなる。

従って、ビデオイメージを処理するための改良した装置及び方法を提供することが必要とされている。特に、改良したオートフォーカス即ち自動焦点、高分解能、及び被写界深度機能を実現するイメージ処理システムに対する必要性が存在している。

Ｏｌｉｖｉｅｒ Ｆａｕｇｅｒａｓ著「三次元コンピュータビジョン−幾何学的観点（Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎｓ − Ａ Ｇｅｏｍｅｔｒｉｃ Ｖｉｅｗｐｏｉｎｔ）」、ザ・ＭＩＴプレス、１９９６年 Ｍ． Ｌｅｖｏｙ及びＰ． Ｈａｎｒａｈａｎ著「光フィールドレンダリング（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ）」、プロシーディングズ・オブ・ザ・ＡＣＭ ＳＩＧＧＲＡＰＨ ９６、３１−４２頁、１９９６年

本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、大きな被写界深度を有するエンハンストバーチャルイメージ即ち拡張型仮想画像を発生することが可能な複合カメラシステムを提供することを主要な目的とする。

本発明の好適な実施例によれば、複合カメラシステムが、（１）オブジェクトのイメージデータを発生することが可能な複数個のコンポーネントカメラ、（２）該複数個のコンポーネントカメラからイメージデータを受取り且つエンハンストバーチャルイメージ即ち拡張型仮想画像を発生することが可能なデータプロセッサを有している。データプロセッサは、第一深さ面において第一コンポーネントバーチャルイメージを発生し、第二深さ面において第二コンポーネントバーチャルイメージを発生し、且つ第一コンポーネントバーチャルイメージから第一の選択したピクセルをエンハンストバーチャルイメージ内に挿入し且つ第二コンポーネントバーチャルイメージからの第二の選択したピクセルをエンハンストバーチャルイメージ内に挿入することにより、エンハンストバーチャルイメージを発生させる。

本発明の１実施例によれば、データプロセッサは、第一及び第二コンポーネントバーチャルイメージから対応するピクセルのぼけの量を比較し且つ第一及び第二コンポーネントバーチャルイメージの各々から最小量のぼけを有するピクセルを選択することによって第一コンポーネントバーチャルイメージから第一の選択したピクセルを選択し且つ第二コンポーネントバーチャルイメージから第二の選択したピクセルを選択する。

本発明の別の実施例によれば、データプロセッサは、最小量の色偏差を有する第一及び第二コンポーネントバーチャルイメージの各々からピクセルを選択することによって最小量のぼけを有するピクセルを選択する。

本発明の更に別の実施例によれば、データプロセッサは、バーチャルピクセルデータ（ｕ，ｖ）を逆投影してオブジェクトの第一深さ面に位置したポイントデータ（ｘ，ｙ，ｚ）を発生し、次いでポイントデータ（ｘ，ｙ，ｚ）を投影して第一コンポーネントカメラのイメージ面に位置した第一ピクセルデータ（ｕ₁，ｖ₁）を発生することによって第一コンポーネントバーチャルイメージを発生する。

本発明の更に別の実施例によれば、データプロセッサは、第一深さ面に位置しているポイントデータ（ｘ，ｙ，ｚ）を投影して第二コンポーネントカメラのイメージ面に位置した第二ピクセルデータ（ｕ₂，ｖ₂）を発生することにより第一コンポーネントバーチャルイメージを発生する。

本発明の更に別の実施例によれば、データプロセッサは、第一ピクセルデータ（ｕ₁，ｖ₁）の色と第二ピクセルデータ（ｕ₂，ｖ₂）の色とを結合することにより第一コンポーネントバーチャルイメージを発生する。

本発明の更に別の実施例によれば、データプロセッサは、バーチャルピクセルデータ（ｕ，ｖ）を逆投影してオブジェクトの第二深さ面に位置したポイントデータ（ｘ，ｙ，ｚ）を発生し、次いでポイントデータ（ｘ，ｙ，ｚ）を投影して第一コンポーネントカメラのイメージ面に位置した第一ピクセルデータ（ｕ₁，ｖ₁）を発生することにより第二コンポーネントバーチャルイメージを発生する。

本発明の更に別の実施例によれば、データプロセッサは、第二深さ面に位置しているポイントデータ（ｘ，ｙ，ｚ）を投影して第二コンポーネントカメラのイメージ面に位置した第二ピクセルデータ（ｕ₂，ｖ₂）を発生することにより第二コンポーネントバーチャルイメージを発生する。

本発明の更に別の実施例によれば、データプロセッサは、第一ピクセルデータ（ｕ₁，ｖ₁）の色と第二ピクセルデータ（ｕ₂，ｖ₂）の色とを結合させることにより第二コンポーネントバーチャルイメージを発生する。

本発明の別の目的とするところは、高分解能バーチャルイメージを発生することが可能な複合カメラシステムを提供することである。本発明の好適実施例によれば、複合カメラシステムは、（１）オブジェクトのイメージデータを発生することが可能な複数個のコンポーネントカメラ、（２）第一コンポーネントカメラからの第一イメージデータと第二コンポーネントカメラからの第二イメージデータとを受取り且つ（ｉ）バーチャルピクセルデータ（ｕ，ｖ）を逆投影してオブジェクトの第一オブジェクト面と関連する深さｚ＝Ｚ１に位置したポイントデータ（ｘ，ｙ，ｚ）を発生し、（ｉｉ）ポイントデータ（ｘ，ｙ，ｚ）を投影して第一イメージデータのイメージ面に位置した第一ピクセルデータ（ｕ₁，ｖ₁）を発生し、（ｉｉｉ）ポイントデータ（ｘ，ｙ，ｚ）を投影して第二イメージデータのイメージ面に位置した第二ピクセルデータ（ｕ₂，ｖ₂）を発生することにより高分解能バーチャルイメージを発生することが可能なデータプロセッサを有しており、バーチャルピクセルデータ（ｕ，ｖ）のピクセル密度が第一ピクセルデータ（ｕ₁，ｖ₁）及び第二ピクセルデータ（ｕ₂，ｖ₂）のピクセル密度よりも一層大きいことを特徴としている。

本明細書において本発明の原理を説明するために使用する種々の実施例及び以下に説明する図１乃至５は単に例示的なものであって、本発明の技術的範囲を制限するような態様で解釈されるべきものではない。当業者によって理解されるように、本発明の原理は、適宜構成したイメージ処理システムにおいて実現することが可能なものである。

最初に、図１乃至５に示した物品は縮尺通りのものでないことを理解すべきである。当業者によって理解されるように、図１乃至５における物品は、本発明の動作の説明を簡単化させるためにそれらの相対的な位置関係を示すために描いたものである。

図１は、本発明の第一の例示的実施例に基づく複合カメラシステム１００を示している。複合カメラシステム１００は、例示的なコンポーネントビデオカメラ１１０ａ，１１０ｂ，１１０ｃを包含するＮ個のコンポーネントビデオカメラ１１０と、処理システム１３０とを有している。コンポーネントビデオカメラ１１０ａ，１１０ｂ，１１０ｃは、夫々、適宜ビデオカメラ１、ビデオカメラ２、ビデオカメラＮのラベルを付してある。処理システム１３０及びＮ個のコンポーネントビデオカメラ１１０は通信リンク１２０を介して通信を行う。通信リンク１２０は、ネットワーク接続等の有線リンク、又は無線リンクとすることが可能である。

本発明の例示的実施例によれば、処理システム１３０はパソコン（ＰＣ）、ワークステーション、又は同様のシステムとすることが可能である。コンポーネントビデオカメラ１１０は互いに且つ処理システム１３０と同期されている。コンポーネントビデオカメラ１１０からの個々のイメージデータは処理システム１３０へ送信され、そこでイメージ処理ソフトウエアがコンポーネントビデオカメラ１１０からのイメージデータを入力として受取り且つ以下に詳細に説明するようにバーチャルカメラの仕様に従って出力イメージを合成する。

更に、理解すべきことであるが、コンポーネントビデオカメラ１１０が実際のビデオカメラであることは必要ではない。当業者により理解されるように、各コンポーネントカメラ１１０は、後に処理システム１３０へ転送するためにイメージデータをキャプチャするスチルカメラとすることも可能である。

図２は本発明の第二の例示的実施例に基づく複合カメラシステム２００を示している。複合カメラシステム２００は複数個のコンポーネントイメージセンサー及びビデオプロセッサ２７０を有している。本発明の好適実施例によれば、コンポーネントイメージセンサーの各々は後にビデオプロセッサ２７０へ転送するためにイメージデータをキャプチャすることが可能なスチルカメラである。更に、理解すべきことであるが、ビデオプロセッサ２７０はビデオデータ以外のイメージデータを処理することが可能である。好適実施例によれば、ビデオプロセッサ２７０はスチルイメージデータを処理することが可能である。

本発明の１実施例においては、コンポーネントイメージセンサー及びビデオプロセッサ２７０は１個のプリント回路基板（ＰＣＢ）２９９上に集積化させることが可能である。本発明の別の実施例によれば、コンポーネントイメージセンサー及びビデオプロセッサ２７０は単一の集積回路（ＩＣ）チップ２９９上に集積化させることが可能である。同期及び通信はＰＣＢ２９９（又はＩＣチップ２９９）上のプリント回路接続２６０を介して達成される。

コンポーネントイメージセンサーは５×５イメージセンサーアレイを形成すべく５個の行と５個の列に配列されている。そのアレイの最初の行はコンポーネントイメージセンサー２１０ａ，２１０ｂ，２１０ｃ，２１０ｄ，２１０ｅを有している。該アレイの第二の行はコンポーネントイメージセンサー２２０ａ，２２０ｂ，２２０ｃ，２２０ｄ，２２０ｅを有している（イメージセンサー２２０ｅのみに記号が付けてある）。該アレイの３番目の行はコンポーネントイメージセンサー２３０ａ，２３０ｂ，２３０ｃ，２３０ｄ，２３０ｅを有している（イメージセンサー２３０ｅのみに記号が付けてある）。該アレイの４番目の行はコンポーネントイメージセンサー２４０ａ，２４０ｂ，２４０ｃ，２４０ｄ，２４０ｅを有している（イメージセンサー２４０ｅのみに記号が付けてある）。該アレイの５番目の行はコンポーネントイメージセンサー２５０ａ，２５０ｂ，２５０ｃ，２５０ｄ，２５０ｅを有している。

コンポーネントイメージセンサー２１０ａ−ｅ，２２０ａ−ｅ，２３０ａ−ｅ，２４０ａ−ｅ，２５０ａ−ｅは互いに且つビデオプロセッサ２７０と同期される。コンポーネントイメージセンサー２１０ａ−ｅ，２２０ａ−ｅ，２３０ａ−ｅ，２４０ａ−ｅ，２５０ａ−ｅからの個々のイメージデータはビデオプロセッサ２７０へ送信され、そこでイメージ処理ソフトウエアがコンポーネントイメージセンサー２１０ａ−ｅ，２２０ａ−ｅ，２３０ａ−ｅ，２４０ａ−ｅ，２５０ａ−ｅからのイメージデータを入力として受取り且つ以下に更に詳細に説明するようにバーチャルカメラの仕様に従って出力イメージを合成する。

図３は本発明の原理に基づく複合カメラシステム１００及び２００の動作を例示した光学的構成を示している。処理システム１３０（ビデオプロセッサ２７０）が図１におけるコンポーネントビデオカメラ（又は図２におけるコンポーネントイメージセンサー）により採取された入力イメージからバーチャルイメージＩ_Vを発生する。本発明によるバーチャルイメージの発生に関しての説明の便宜上、以下の説明においては、イメージデータをキャプチャするためにコンポーネントイメージセンサー２１０及び２１０ｂを使用し且つビデオプロセッサ２７０を使用するものと仮定する。然しながら、以下の説明は、図１に示した複合カメラを包含する複合カメラの別の実施例に対しても適用可能なものである。

図３に示したように、オブジェクトＯ（双方向矢印）がオブジェクト面（点線で示してある）内に存在している。コンポーネントイメージセンサー２１０ａがオブジェクトＯからの焦点距離ｆ₁においてイメージＩ₁を発生する。コンポーネントイメージセンサー２１０ｂがオブジェクトＯからの焦点距離ｆ₂においてイメージＩ₂を発生する。図示例においては、ｆ₁＝ｆ₂である。バーチャルイメージＩ_Vがこれら二つの入力イメージＩ₁及びＩ₂から合成される。本発明の原理によれば、バーチャルイメージＩ_Vは次式で示されるように、変換されたイメージの加重平均として計算される。

式１ａにおいて、ｗ₁及びｗ₂の値は正の加重値、即ち重み値であり、ｗ₁＝ｃｏｓ（φ₁）及びｗ₂＝ｃｏｓ（φ₂）であり、尚φ₁は（ｕ₁，ｖ₁）から送られる光線と（ｕ₂，ｖ₂）から送られる光線との間の角度である。これらの加重即ち重み係数に基づいて、バーチャルからより遠いコンポーネントカメラは、より近い別のカメラよりも加重即ち重みの貢献度はより少ないものとすべきである。更に、（ｕ₁，ｖ₁）及び（ｕ₂，ｖ₂）は以下の式から計算される。

Ｍ₁（ｆ，ｆ_v，ｚ）＝Ｔ₁（ｆ，ｚ）・Ｔ_v ^-1（ｆ_v，ｚ）の値及びＭ₂（ｆ，ｆ_v，ｚ）＝Ｔ₂（ｆ，ｚ）・Ｔ_v ^-1（ｆ_v、ｚ）の値はバーチャルカメライメージ面からコンポーネントカメライメージ面への結合変換である。従って、Ｍ₁及びＭ₂は、両方のコンポーネントカメラの共通の焦点距離ｆと、バーチャル焦点距離ｆ_vと、オブジェクト面の深さｚとに依存する。

２個を超えるコンポーネントカメラがある場合には、全てのカメラを包含させるためにより多くの繰返しとなる以外、基準は実質的に上述したものと同じである。その手順のステップは以下の通りである。

（１）オブジェクト面の深さｚを決定し、
（２）各バーチャルピクセルデータ（ｕ，ｖ）に対して、
（ｉ）変換Ｍ_i（ｆ，ｆ_v，ｚ）、ｉ＝１，．．．，ｎを計算し；
（ｉｉ）重さｗ_iを計算し；
（ｉｉｉ）ワープ（ｗａｒｐ）させ、次いで次式に従って、

色をブレンドさせる。

上述した変換マトリクスは以下のようにして派生される。ピクセルを座標（ｕ，ｖ）により２Ｄイメージ面上で表現し、ポイントを（ｘ，ｙ，ｚ）により３Ｄ空間内において表わし、且つカメラを３×４マトリクスＰ（ｆ）によって表わし、尚ｆはカメラの焦点距離である。Ｐ（ｆ）を介して（ｘ，ｙ，ｚ）を（ｕ，ｖ）へ投影させるプロセスは次式で表わされる。

尚、

は３×３マトリクスを有しており、且つ「・」記号はマトリクス乗算を示す。Ｔはプレーンプロジェクションマトリクス（ＰＰＭ）即ち面投影マトリクスである。式３は以下の如くに簡単化させることが可能である。

上の式５は深さｚを有する２Ｄ面上のポイント（ｘ，ｙ，ｚ）をイメージピクセル（ｕ，ｖ）へマッピングする。ＰとＴとの間の差異は、前者が３Ｄから２Ｄへのマッピングであり、一方後者は２Ｄから２Ｄへのマッピングである。式５の逆形式は以下の如くである。

式６はイメージ面上のピクセル（ｕ，ｖ）を深さｚにおけるオブジェクト面上に逆投影させる。

１例として、面投影マトリクスが夫々Ｔ（ｆ，ｚ）及びＴ_v（ｆ_v，ｚ）である２個のカメラが存在するものと仮定する。ビデオプロセッサ２７０は、最初に、バーチャルピクセル（ｕ，ｖ）をＩ_vから深さｚにおける面へ逆投影し、その結果次式に従ってポイント（ｘ，ｙ，ｚ）が得られる。

次に、ビデオプロセッサ２７０はポイント（ｘ，ｙ，ｚ）を次式に従ってコンポーネントイメージ面Ｉへ前方向へ投影させる。

マトリクスＭは「ワーピングマトリクス（ｗａｒｐｉｎｇ ｍａｔｒｉｘ）」と呼ばれる。何故ならば、それは第一カメラのイメージ面から別のカメラのイメージ面へピクセルをワープ（ｗａｒｐ）、即ち変換させるからである。Ｍは、深さｚ及びコンポーネント及びバーチャルカメラの、夫々、焦点距離ｆ及びｆ_vの関数である。要するに、３つのタイプのマトリクスが関与し、即ち（１）マトリクスＰは３Ｄを２Ｄへマッピングし、（２）マトリクスＴは通常の２Ｄ面をイメージ面へマッピングし、（３）マトリクスＭは該イメージ面を別のイメージ面へマッピングする。

好適には、上述したアルゴリズムを、複雑で且つ高価な電気機械的装置を必要とすることなしに、複合カメラにおいてオートフォーカス、被写界深度、高分解能機能を実現するために使用することが可能である。

図４は、オブジェクトのボディ上の幾つかの位置においてオブジェクト面（又は深さ面）の配置を示している。オブジェクトはジョウロ４００であり、それは容器４０５と、側部ハンドル４１０と、上部ハンドル４１５と、吐水口４２０とを有している。ジョウロ４００のイメージは複合カメラシステム２００によりキャプチャされる。本発明の原理に従い、ビデオプロセッサ２７０は、複合カメラ２００に対して見えるジョウロ４００の本体上の多数の位置においてオブジェクト面（又は深さ面）ｚを配置させることが可能である。例えば、ビデオプロセッサ２７０は容器４０５の正面上の点Ｂに深さ面を配置させることが可能である。一方、ビデオプロセッサ２７０は、上部ハンドル４１５の正面上の点Ａにおいて、又は吐水口４２０の端部上の点Ｃにおいて深さ面を配置させることが可能である。

注意すべきことであるが、容器４０５の正面上の点Ｂに深さ面ｚを配置させる場合には、複合カメラシステム２００により発生されるイメージが吐水口４２０上の点Ｃにおいて及び上部ハンドル４１５上の点Ａにおいてぼける場合がある。この現象について図５Ａ及び５Ｂを参照して説明する。

図５Ａ及び５Ｂは深さ面Ｚを異なる深さに移動させる効果を示している。最初に、深さ面（即ちオブジェクト面）が深さＺ１にある。図５Ａにおいて、Ｒ_Vはバーチャル光線であり、Ｒ₁及びＲ₂は円形状のオブジェクト５００から２つの異なるイメージセンサー２１０ａ及び２１０ｂへ伝達される２つの光線である。イメージセンサー２１０ａはポイントＡを見且つイメージセンサー２１０ｂはポイントＢを見る。ポイントＡ及びポイントＢは異なる色を有している。所で、

であるから、Ｒ_Rの色はポイントＡ及びポイントＢからの両方の色の結合である。これは図４において発生する場合のあるぼけの源である。

このぼけを除去するために、図５Ｂに示したように、２番目の深さ面をＺ２に付加している。ポイントＡ及びポイントＢは一層近いので、それらの色は類似している蓋然性が高く、全体的により少ないぼけとなる。このことは、複数個の深さ面を使用することはぼけを減少させることに貢献する場合があることを示している。然しながら、各深さ面は潜在的なバーチャルイメージを導入するので、どのピクセルがバーチャル光線Ｒ_Vにとって最も良い選択であるかの決定をせねばならない。本発明の原理によれば、ビデオプロセッサ２７０は最も少ない色偏差を有する深さ面を選択する。

従来のカメラは、イメージ面をスライドさせ且つ結果的に得られるイメージを解析することによってオートファーカス機能を実現している。然しながら、本発明の原理によれば、イメージ面を物理的にスライドさせる動作は、ソフトウエアにおいてデジタル的にバーチャル深さ面を移動させるビデオプロセッサ２７０により実施される。

同様に、ビデオプロセッサ２７０は、興味のある深さ範囲（例えば、Ｚ１からＺ２）をカバーする複数個のバーチャル深さ面を使用することにより被写界深度機能を実現する。ビデオプロセッサ２７０は潜在的なバーチャルイメージの全てを最終的なイメージへ統合させる。ビデオプロセッサ２７０は、コンポーネントバーチャルイメージの各々から、最小量のぼけを有するピクセルのグループを選択することにより最終イメージを発生する。このことは、ビデオプロセッサ２７０による高いレベルの計算を必要とする。然しながら、物理的な部分が関与するものではない。

大きな被写界深度のイメージを合成することに加えて、ビデオプロセッサ２７０は、同時に、シーンオブジェクトの深さを推定することが可能である。上述したことから想起されるように、バーチャルピクセル（ｕ，ｖ）に対して、ビデオプロセッサ２７０は空間内の１組の候補深さ位置ｚ₁，ｚ₂，．．．，ｚ_mを選択することが可能である。これらの位置ｚ_iの各々において、ビデオプロセッサ２７０は以下の２つの変数を計算することが可能である。即ち、（１）色は次式により与えられ、

且つ（２）色偏差は次式により与えられる。

従って、バーチャルピクセル（ｕ，ｖ）に対して、ビデオプロセッサ２７０は１組の色（Ｉ_v1，Ｉ_v2，．．．，Ｉ_vm）及び偏差（ｖａｒ₁，ｖａｒ₂，．．．，ｖａｒ_m）を計算する。ｚ＝ｚ₁における偏差（即ち、ｖａｒ_i、ｉは１，２，．．．，ｍの内）が現在の偏差の組の中で最小のものである場合には、（ｕ，ｖ）の最終の色はＩ_vi（即ち、Ｉ_v，ｕ，ｖ＝Ｉ_vi）であり、且つ（ｕ，ｖ）の深さはｚである。

このことについて以下に更に詳細に説明する。概念的には、バーチャルカメラのイメージ面上の各ピクセルから、ビデオプロセッサ２７０がバーチャル光線を送り出す。このバーチャル光線は一連の面と交差し、該面の深さ範囲は興味のあるシーン全体をカバーする。バーチャル光線と該面との間の各交差点において、ビデオプロセッサ２７０は対応する入力光線を検索し且つ平均の色及び偏差を計算する。最も低い偏差を有する交差点の色及び深さが現在のバーチャル光線のものとして記録される。全ての面の位置が検査され且つ全てのバーチャルピクセルがスキャンされた後に、バーチャルイメージ及びその深さマップがビデオプロセッサ２７０により形成される。その深さマップの分解能はビデオプロセッサ２７０により選択された面の数に依存する。より多くの深さ面はより細かい深さマップを与える。

ビデオプロセッサ２７０は、又、より高い密度のピクセルを有するバーチャルカメラを選択することにより高分解能機能を実現する。ビデオプロセッサ２７０は異なるコンポーネントカメラからのピクセルを「ワーピング（ｗａｒｐｉｎｇ）」又は補間することにより新たなピクセルを挿入する。複合カメラは、定義上、異なる位置にある複数個のコンポーネントカメラを包含しており、従って、異なる観察角度を包含している。コンポーネントカメラはオブジェクト上の異なるポイント（点）を見る。コンポーネントイメージがバーチャルカメラに関してのそれらの相対的な位置を補償した後に結合されると、入力したものよりもより高い分解能のバーチャルイメージを合成させることが可能である。勿論、幾つかのオブジェクトポイントは１個を超える数のコンポーネントカメラにより見られるので、分解能の向上はコンポーネントカメラの数に直線的に関連するものではない。即ち、Ｎ個のコンポーネントカメラは必ずしもＮ倍高い分解能のバーチャルイメージを保証するものではない。

以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。

本発明の第一の例示的実施例に基づく複合カメラシステムを示した概略図。 本発明の第二の実施例に基づく複合カメラシステムを示した概略図。 本発明の原理に基づく複合カメラシステムの動作を示した光学的構成を示した概略図。 オブジェクトのボディ上に幾つかの位置におけるオブジェクト面（即ち深さ面）の配置を示した概略図。 （Ａ）及び（Ｂ）は深さ面Ｚを異なる深さへ移動させた場合の効果を示した各概略図。

符号の説明

１００ 複合カメラシステム
１１０ コンポーネントビデオカメラ
１２０ 通信リンク
１３０ 処理システム

Claims (26)

1. 大きな被写界深度を有するエンハンストバーチャルイメージを発生することが可能な複合カメラシステムにおいて、
   オブジェクトのイメージデータを発生することが可能な複数個のコンポーネントカメラ、
   前記複数個のコンポーネントカメラからイメージデータを受取り且つそれから前記エンハンストバーチャルイメージを発生することが可能なデータプロセッサ、
   を有しており、前記データプロセッサが第一深さ面において第一コンポーネントバーチャルイメージを発生し、第二深さ面において第二コンポーネントバーチャルイメージを発生し、且つ前記第一コンポーネントバーチャルイメージから第一の選択したピクセルを前記エンハンストバーチャルイメージ内に挿入し且つ前記第二コンポーネントバーチャルイメージからの第二の選択したピクセルを前記エンハンストバーチャルイメージ内に挿入することにより前記エンハンストバーチャルイメージを発生させることを特徴とする複合カメラシステム。
2. 請求項１において、前記データプロセッサが、前記第一及び第二コンポーネントバーチャルイメージから対応するピクセルのぼけの量を比較し且つ前記第一及び第二コンポーネントバーチャルイメージの各々から最小量のぼけを有するピクセルを選択することによって、前記第一コンポーネントバーチャルイメージから前記第一の選択したピクセルを選択し且つ前記第二コンポーネントバーチャルイメージから前記第二の選択したピクセルを選択することを特徴とする複合カメラシステム。
3. 請求項２において、前記データプロセッサが、最小量の色偏差を有する前記第一及び第二コンポーネントバーチャルイメージの各々からピクセルを選択することにより前記最小量のぼけを有するピクセルを選択することを特徴とする複合カメラシステム。
4. 請求項３において、前記データプロセッサが、前記オブジェクトの前記第一深さ面に位置しているポイントデータ（ｘ，ｙ，ｚ）を発生するためにバーチャルピクセルデータ（ｕ，ｖ）を逆投影し、次いで第一コンポーネントカメラのイメージ面に位置した第一ピクセルデータ（ｕ₁，ｖ₁）を発生させるために前記ポイントデータ（ｘ，ｙ，ｚ）を投影させることにより前記第一コンポーネントバーチャルイメージを発生させることを特徴とする複合カメラシステム。
5. 請求項４において、前記データプロセッサが、第二コンポーネントカメラのイメージ面に位置した第二ピクセルデータ（ｕ₂，ｖ₂）を発生させるために前記第一深さ面に位置しているポイントデータ（ｘ，ｙ，ｚ）を投影することにより前記第一コンポーネントバーチャルイメージを発生させることを特徴とする複合カメラシステム。
6. 請求項５において、前記データプロセッサが、前記第一ピクセルデータ（ｕ₁，ｖ₁）の色と前記第二ピクセルデータ（ｕ₂，ｖ₂）の色とを結合させることにより前記第一コンポーネントバーチャルイメージを発生させることを特徴とする複合カメラシステム。
7. 請求項３において、前記データプロセッサが、前記オブジェクトの前記第二深さ面に位置したポイントデータ（ｘ，ｙ，ｚ）を発生させるためにバーチャルピクセルデータ（ｕ，ｖ）を逆投影し、次いで第一コンポーネントカメラのイメージ面に位置した第一ピクセルデータ（ｕ₁，ｖ₁）を発生させるために前記ポイントデータ（ｘ，ｙ，ｚ）を投影させることにより前記第二コンポーネントバーチャルイメージを発生させることを特徴とする複合カメラシステム。
8. 請求項７において、前記データプロセッサが、第二コンポーネントカメラのイメージ面に位置した第二ピクセルデータ（ｕ₂，ｖ₂）を発生させるために前記第二深さ面に位置したポイントデータ（ｘ，ｙ，ｚ）を投影させることにより前記第二コンポーネントバーチャルイメージを発生させることを特徴とする複合カメラシステム。
9. 請求項８において、前記データプロセッサが、前記第一ピクセルデータ（ｕ₁，ｖ₁）の色と前記第二ピクセルデータ（ｕ₂，ｖ₂）の色とを結合させることにより前記第二コンポーネントバーチャルイメージを発生させることを特徴とする複合カメラシステム。
10. 複合カメラシステムにおいて使用するための大きな被写界深度を有するエンハンストバーチャルイメージを発生させる方法において、
    複数個のコンポーネントカメラの各々においてオブジェクトのイメージデータを発生し、
    前記複数個のコンポーネントカメラからイメージデータを受取り、
    第一深さ面において第一コンポーネントバーチャルイメージを発生し、
    第二深さ面において第二コンポーネントバーチャルイメージを発生し、
    前記第一コンポーネントバーチャルイメージから第一の選択したピクセルを前記エンハンストバーチャルイメージ内へ挿入し且つ前記第二コンポーネントバーチャルイメージからの第二の選択したピクセルを前記エンハンストバーチャルイメージ内に挿入して前記エンハンストバーチャルイメージを発生させる、
    上記各ステップを有していることを特徴とする方法。
11. 請求項１０において、更に、
    前記第一及び第二コンポーネントバーチャルイメージからの対応するピクセルのぼけの量を比較することにより前記第一コンポーネントバーチャルイメージからの前記第一の選択したピクセル及び前記第二コンポーネントバーチャルイメージからの前記第二の選択したピクセルを選択し、
    前記第一及び第二コンポーネントバーチャルイメージの各々から最小量のぼけを有するピクセルを前記エンハンストバーチャルイメージ内へ挿入する、
    上記各ステップを有していることを特徴とする方法。
12. 請求項１１において、最小量のぼけを有するピクセルを前記エンハンストバーチャルイメージ内へ挿入する場合に、最小量の色偏差を有する前記第一及び第二コンポーネントバーチャルイメージの各々からのピクセルを前記エンハンストバーチャルイメージ内へ挿入させることを特徴とする方法。
13. 請求項１２において、前記第一コンポーネントバーチャルイメージを発生させる場合に、
    バーチャルピクセルデータ（ｕ，ｖ）を逆投影して前記オブジェクトの前記第一深さ面に位置したポイントデータ（ｘ，ｙ，ｚ）を発生し、
    前記ポイントデータ（ｘ，ｙ，ｚ）を投影して第一コンポーネントカメラのイメージ面に位置した第一ピクセルデータ（ｕ₁，ｖ₁）を発生する、
    上記各ステップを有していることを特徴とする方法。
14. 請求項１３において、前記第一コンポーネントバーチャルイメージを発生させる場合に、前記第一深さ面に位置しているポイントデータ（ｘ，ｙ，ｚ）を投影して第二コンポーネントカメラのイメージ面に位置した第二ピクセルデータ（ｕ₂，ｖ₂）を発生させることを特徴とする方法。
15. 請求項１４において、前記第一コンポーネントバーチャルイメージを発生させる場合に、前記第一ピクセルデータ（ｕ₁，ｖ₁）の色と前記第二ピクセルデータ（ｕ₂，ｖ₂）の色とを結合させることを特徴とする方法。
16. 請求項１２において、前記第二コンポーネントバーチャルイメージを発生させる場合に、
    バーチャルピクセルデータ（ｕ，ｖ）を逆投影して前記オブジェクトの前記第二深さ面に位置したポイントデータ（ｘ，ｙ，ｚ）を発生し、
    前記ポイントデータ（ｘ，ｙ，ｚ）を投影して第一コンポーネントカメラのイメージ面に位置した第一ピクセルデータ（ｕ₁，ｖ₁）を発生する、
    上記各ステップを有していることを特徴とする方法。
17. 請求項１６において、前記第二コンポーネントバーチャルイメージを発生する場合に、前記第二深さ面に位置しているポイントデータ（ｘ，ｙ，ｚ）を投影して第二コンポーネントカメラのイメージ面に位置した第二ピクセルデータ（ｕ₂，ｖ₂）を発生する、
    ことを特徴とする方法。
18. 請求項１７において、前記第二コンポーネントバーチャルイメージを発生する場合に、前記第二ピクセルデータ（ｕ₁，ｖ₁）の色と前記第二ピクセルデータ（ｕ₂，ｖ₂）の色とを結合させることを特徴とする方法。
19. 高分解能バーチャルイメージを発生することが可能な複合カメラシステムにおいて、
    オブジェクトのイメージデータを発生することが可能な複数個のコンポーネントカメラ、
    第一コンポーネントカメラから第一イメージデータを受取り且つ第二コンポーネントカメラから第二イメージデータを受取ることが可能であり且つ（１）バーチャルピクセルデータ（ｕ，ｖ）を逆投影して前記オブジェクトの第一オブジェクト面と関連した深さｚ＝Ｚ１に位置したポイントデータ（ｘ，ｙ，ｚ）を発生し、（２）前記ポイントデータ（ｘ，ｙ，ｚ）を投影して前記第一イメージデータのイメージ面に位置した第一ピクセルデータ（ｕ₁，ｖ₁）を発生し、（３）前記ポイントデータ（ｘ，ｙ，ｚ）を投影して前記第二イメージデータのイメージ面に位置した第二ピクセルデータ（ｕ₂，ｖ₂）を発生することによって前記高分解能バーチャルイメージを発生することが可能なデータプロセッサ、
    を有しており、前記バーチャルピクセルデータ（ｕ，ｖ）のピクセル密度が前記第一ピクセルデータ（ｕ₁，ｖ₁）及び第二ピクセルデータ（ｕ₂，ｖ₂）のピクセル密度よりも大きいことを特徴とする複合カメラシステム。
20. 請求項１９において、前記データプロセッサが、前記第一ピクセルデータ（ｕ₁，ｖ₁）の色と前記第二ピクセルデータ（ｕ₂，ｖ₂）の色とを結合させることにより前記バーチャルイメージを発生させることを特徴とする複合カメラシステム。
21. 請求項２０において、前記データプロセッサが、前記第一の色を第一加重係数で乗算して第一積を形成し、前記第二の色を第二加重係数で乗算して第二積を形成し、前記第一積及び第二積を加算し、その色の和を重みの和で割算することにより前記第一ピクセルデータ（ｕ₁，ｖ₁）の色と前記第二ピクセルデータ（ｕ₂，ｖ₂）の色とを結合させることを特徴とする複合カメラシステム。
22. 請求項２１において、前記重みがｃｏｓ（φ）に比例し、尚φがコンポーネントカメラからのバーチャル光線と対応光線との間の角度であることを特徴とする複合カメラシステム。
23. 請求項１９において、前記データプロセッサが、逆面投影マトリクスを使用して前記バーチャルピクセルデータ（ｕ，ｖ）を投影して前記ポイントデータ（ｘ，ｙ，ｚ）を発生し且つ第一面投影マトリクスを使用して前記ポイントデータ（ｘ，ｙ，ｚ）を投影して前記第一ピクセルデータ（ｕ₁，ｖ₁）を発生することを特徴とする複合カメラシステム。
24. 請求項２３において、前記データプロセッサが、第二面投影マトリクスを使用して前記ポイントデータ（ｘ，ｙ，ｚ）を投影して前記第二ピクセルデータ（ｕ₂，ｖ₂）を発生することを特徴とする複合カメラシステム。
25. 請求項２４において、前記データプロセッサが、更に、前記オブジェクトの第二オブジェクト面と関連する深さｚ＝Ｚ２に位置した前記ポイントデータ（ｘ，ｙ，ｚ）を発生するために前記バーチャルピクセルデータ（ｕ，ｖ）を逆投影し且つ前記第一イメージの前記イメージ面に位置した前記第一ピクセルデータ（ｕ₁，ｖ₁）を発生するために前記ポイントデータ（ｘ，ｙ，ｚ）を投影することにより前記複合カメラシステムの焦点を調節することが可能であることを特徴とする複合カメラシステム。
26. 請求項２５において、前記データプロセッサが、更に、前記第二イメージの前記イメージ面に位置した第二ピクセルデータ（ｕ₂，ｖ₂）を発生するために前記オブジェクトの前記第二オブジェクト面と関連する深さｚ＝Ｚ２に位置した前記ポイントデータ（ｘ，ｙ，ｚ）を投影することにより前記複合カメラシステムの前記焦点を調節することが可能であることを特徴とする複合カメラシステム。

Images