JP2004310777A - 複数個の入力イメージからバーチャルイメージを合成する複合カメラ及び方法 - Google Patents
複数個の入力イメージからバーチャルイメージを合成する複合カメラ及び方法 Download PDFInfo
- Publication number
- JP2004310777A JP2004310777A JP2004110729A JP2004110729A JP2004310777A JP 2004310777 A JP2004310777 A JP 2004310777A JP 2004110729 A JP2004110729 A JP 2004110729A JP 2004110729 A JP2004110729 A JP 2004110729A JP 2004310777 A JP2004310777 A JP 2004310777A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- pixel data
- virtual
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 150000001875 compounds Chemical class 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 21
- 239000002131 composite material Substances 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】複数個の入力イメージからバーチャルイメージを合成する複合カメラシステム及び方法を提供する。
【解決手段】複合カメラシステムは、複数個のコンポーネントカメラ、プロセッサを有している。該プロセッサは、第一のカメラから第一のイメージデータを、第ニのカメラから第二のイメージデータを受け取り、それらからバーチャルイメージを発生する。また、該プロセッサは、バーチャルピクセルデータ(u,v)を投影してオブジェクトのオブジェクト面の深さz=Z1に位置したポイントデータ(x,y,z)を発生し且つポイントデータ(x,y,z)を投影して第一イメージのイメージ面に位置した第一ピクセルデータ(u1,v1)を発生する。
【選択図】図1
【解決手段】複合カメラシステムは、複数個のコンポーネントカメラ、プロセッサを有している。該プロセッサは、第一のカメラから第一のイメージデータを、第ニのカメラから第二のイメージデータを受け取り、それらからバーチャルイメージを発生する。また、該プロセッサは、バーチャルピクセルデータ(u,v)を投影してオブジェクトのオブジェクト面の深さz=Z1に位置したポイントデータ(x,y,z)を発生し且つポイントデータ(x,y,z)を投影して第一イメージのイメージ面に位置した第一ピクセルデータ(u1,v1)を発生する。
【選択図】図1
Description
本発明は、大略、イメージ処理装置に関するものであって、更に詳細には、複合カメラによりキャプチャされた複数個の入力イメージからバーチャルイメージ即ち仮想画像を発生する複合カメラに関するものである。
複合カメラは、1組のコンポーネントカメラと、データプロセッサと、該データプロッセサ上で稼動するイメージ処理ソフトウエアとから構成されている。該コンポーネントカメラは、有線又は無線の電子的信号を介して同期させることが可能である。複合カメラからの個別的なイメージ即ち画像は有線又は無線の接続を介してデータプロセッサへ送信される。イメージ処理ソフトウエアがコンポーネントカメラからのイメージを入力として受取り且つバーチャルカメラの仕様に従って出力イメージを合成する。
従来の複合カメラは多数の態様で実現させることが可能である。第一の従来の実施例においては、複合カメラは多数の同期された通常のビデオカメラとこれらのビデオコンポーネントカメラへ接続された別個のマイクロプロセッサとを有している。第二の従来の実施例においては、複数個のコンポーネントイメージセンサーとマイクロプロセッサとを例えばプリント回路基板(PCB)又はハイブリッド基板等の1個の基板上に集積化させる。同期及び通信は基板上のプリント回路接続を介して達成される。3番目の従来の実施例においては、コンポーネントイメージセンサー及びマイクロプロセッサは非常に小さく且つ単一のシリコンチップ上に集積化される。
カメラの物理的なモデルはシャッターと、レンズと、イメージ面とから構成されている。シャッターは、カメラ内に光を入らせるアパーチャと呼ばれる開口を有している。オブジェクト表面上の1つのポイント即ち1つの点から来る1束の光線が該アパーチャを介して入り、レンズにより屈折され、イメージ面上に集光され且つフォーカスされ、そこでオブジェクトポイントの色が記録される。
あるアパーチャ寸法の場合には、イメージが鮮明である範囲の深さが存在している。これは「被写界深度」と呼ばれ且つそれはアパーチャ寸法に逆比例する。イメージ面が前後にスライドして該被写界深度の範囲内において全体的に最も良いイメージをサーチする。通常、大きな被写界深度の範囲が所望される。このことは、センサーからの高い感度を必要とする。何故ならば、アパーチャ寸法は比例的に小さくなるからである。
従来のカメラは、フォーカス即ち焦点及びアパーチャを変化させるために複雑な光学的及び機械的コンポーネントに依存している。物理的な条件が、カメラが達成することが可能な最大の分解能を制限する。複合カメラにおいては、これらの特徴は、マイクロプロセッサ上でイメージ処理ソフトウエアを稼動させることによりデジタル的に実現させることが可能である。
然しながら、従来の複合カメライメージ処理システムは、主に、二つのエリアに焦点を当てている。コンピュータビジョンにおいて、通常の方法は、シーン内のオブジェクトの三次元幾何学的形状を最初にリカバーすることである。これは運動からの構造復元(structure−from−motion)と呼ばれる。次に、入力イメージが回復した幾何学的形状を介してバーチャルカメラへ転送される。Olivier Faugeras著「三次元コンピュータビジョン−幾何学的観点(Three Dimensional Computer Visions − A Geometric Viewpoint)」、ザ・MIT・プレス、1996年は良い文献である。Faugerasの文献の開示内容を、引用によって本明細書に取込む。このアプローチの問題は、復元された幾何学的形状は、通常、非常に正確なものではなく、特に、色のテクスチャを欠如するオブジェクトの表面に関してそうである。そのことは、合成したイメージにおいて目に見えるアーチファクト即ち人工的効果が発生する。
コンピュータグラフィックスにおいて、光フィールド(light field)アプローチは、1つの深さ面のみを使用するものとして考えることが可能である。光フィールドアプローチについての良い文献は、M. Levoy及びP. Hanrahan著「光フィールドレンダリング(Light Field Rendering)」、プロシーディングズ・オブ・ザ・ACM SIGGRAPH 96、31−42頁、1996年の文献である。このLevoy及びHanrahanの文献の開示内容は、引用によって本明細書に取込む。然しながら、光フィールドアプローチにおいては、ぼけを取扱うために、コンポーネントカメラを密集して配置させねばならない。密集して配置させたカメラは、通常、多数のカメラとなる。多数のカメラは、処理すべき大量のデータを発生させる。このことは、イメージ処理システムのコスト及び複雑性を著しく増加させることとなる。
従って、ビデオイメージを処理するための改良した装置及び方法を提供することが必要とされている。特に、改良したオートフォーカス即ち自動焦点、高分解能、及び被写界深度機能を実現するイメージ処理システムに対する必要性が存在している。
Olivier Faugeras著「三次元コンピュータビジョン−幾何学的観点(Three Dimensional Computer Visions − A Geometric Viewpoint)」、ザ・MITプレス、1996年
M. Levoy及びP. Hanrahan著「光フィールドレンダリング(Light Field Rendering)」、プロシーディングズ・オブ・ザ・ACM SIGGRAPH 96、31−42頁、1996年
本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、入力イメージからバーチャルイメージを合成する改良した複合カメラシステム及び方法を提供することを目的とする。
本発明の好適実施例によれば複合カメラシステムが提供され、それは、(1)オブジェクトのイメージデータを発生することが可能な複数個のコンポーネントカメラ、(2)複数個のコンポーネントカメラからのイメージデータを受取り且つバーチャルイメージを発生することが可能なデータプロセッサを有している。本発明の好適実施例によれば、該データプロセッサは、バーチャルピクセルデータ(u,v)を逆投影してオブジェクトの第一オブジェクト面と関連する深さz=Z1に位置したポイントデータ(x,y,z)を発生することによりバーチャルイメージを発生する。
本発明の1実施例によれば、該データプロセッサは、ポイントデータ(x,y,z)を投影して第一イメージデータのイメージ面に位置した第一ピクセルデータ(u1,v1)を発生する。その後に、該データプロセッサは、同一のポイントデータ(x,y,z)を投影して第二イメージデータのイメージ面に位置した第二ピクセルデータ(u2,v2)を発生する。
本発明の別の実施例によれば、該データプロセッサは、第一ピクセルデータ(u1,v1)の色I1と第二ピクセルデータ(u2,v2)の色I2を結合させることによりバーチャルイメージを発生する。
本発明の更に別の実施例によれば、該データプロセッサは、第一の色I1を第一加重係数w1と乗算して第一積を形成し、第二の色I2を第二加重係数w2と乗算して第二積を形成し、これらの第一積と第二積とを加算し、且つ最終的にそれらの積の和をw1及びw2の和で割算することにより、第一ピクセルデータ(u1,v1)の色I1と第二ピクセルデータ(u2,v2)の色I2とを結合させる。
本発明の更に別の実施例によれば、各加重係数はcos(φ)の値に比例し、尚φは(u,v)及び(u1,v1)、尚i=1又は2、対応する光線の間の角度である。
本発明の更に別の実施例によれば、該データプロセッサはインバースプレーンプロジェクションマトリクス(Inverse Plane Projection Matrix)即ち逆面投影マトリクスを使用してバーチャルピクセルデータ(u,v)を投影してポイントデータ(x,y,z)を発生し且つ第一面投影マトリクスを使用してポイントデータ(x,y,z)を投影して第一バーチャルピクセルデータ(u1,v1)を発生させる。
本発明の更に別の実施例によれば、該データプロセッサは、第二面投影マトリクスを使用して同一のポイントデータ(x,y,z)を投影して第二ピクセルデータ(u2,v2)を発生する。
本発明の更に別の実施例によれば、該データプロセッサは、更に、該オブジェクトの第二面と関連する深さz=Z2に位置したポイントデータ(x,y,z)を発生するためにバーチャルピクセルデータ(u,v)を投影し、且つ第一イメージデータのイメージ面に位置した第一バーチャルピクセルデータ(u1,v1)を発生するためにポイントデータ(x,y,z)を投影することにより複合カメラシステムの焦点を調節することが可能である。
本発明の別の実施例においては、前記データプロセッサが、更に、第二イメージデータのイメージ面に位置した第二ピクセルデータ(u2,v2)を発生するために、前記オブジェクトの第二オブジェクト面と関連する深さz=Z2に位置したポイントデータ(x,y,z)を投影することにより前記複合カメラシステムの焦点を調節することが可能である。
本明細書において本発明の原理を説明するために使用する種々の実施例及び以下に説明する図1乃至5は単に例示的なものであって、本発明の技術的範囲を制限するような態様で解釈されるべきものではない。当業者によって理解されるように、本発明の原理は、適宜構成したイメージ処理システムにおいて実現することが可能なものである。
最初に、図1乃至5に示した物品は縮尺通りのものでないことを理解すべきである。当業者によって理解されるように、図1乃至5における物品は、本発明の動作の説明を簡単化させるためにそれらの相対的な位置関係を示すために描いたものである。
図1は、本発明の第一の例示的実施例に基づく複合カメラシステム100を示している。複合カメラシステム100は、例示的なコンポーネントビデオカメラ110a,110b,110cを包含するN個のコンポーネントビデオカメラ110と、処理システム130とを有している。コンポーネントビデオカメラ110a,110b,110cは、夫々、適宜ビデオカメラ1、ビデオカメラ2、ビデオカメラNのラベルを付してある。処理システム130及びN個のコンポーネントビデオカメラ110は通信リンク120を介して通信を行う。通信リンク120は、ネットワーク接続等の有線リンク、又は無線リンクとすることが可能である。
本発明の例示的実施例によれば、処理システム130はパソコン(PC)、ワークステーション、又は同様のシステムとすることが可能である。コンポーネントビデオカメラ110は互いに且つ処理システム130と同期されている。コンポーネントビデオカメラ110からの個々のイメージデータは処理システム130へ送信され、そこでイメージ処理ソフトウエアがコンポーネントビデオカメラ110からのイメージデータを入力として受取り且つ以下に詳細に説明するようにバーチャルカメラの仕様に従って出力イメージを合成する。
更に、理解すべきことであるが、コンポーネントビデオカメラ110が実際のビデオカメラであることは必要ではない。当業者により理解されるように、各コンポーネントカメラ110は、後に処理システム130へ転送するためにイメージデータをキャプチャするスチルカメラとすることも可能である。
図2は本発明の第二の例示的実施例に基づく複合カメラシステム200を示している。複合カメラシステム200は複数個のコンポーネントイメージセンサー及びビデオプロセッサ270を有している。本発明の好適実施例によれば、コンポーネントイメージセンサーの各々は後にビデオプロセッサ270へ転送するためにイメージデータをキャプチャすることが可能なスチルカメラである。更に、理解すべきことであるが、ビデオプロセッサ270はビデオデータ以外のイメージデータを処理することが可能である。好適実施例によれば、ビデオプロセッサ270はスチルイメージデータを処理することが可能である。
本発明の1実施例においては、コンポーネントイメージセンサー及びビデオプロセッサ270は1個のプリント回路基板(PCB)299上に集積化させることが可能である。本発明の別の実施例によれば、コンポーネントイメージセンサー及びビデオプロセッサ270は単一の集積回路(IC)チップ299上に集積化させることが可能である。同期及び通信はPCB299(又はICチップ299)上のプリント回路接続260を介して達成される。
コンポーネントイメージセンサーは5×5イメージセンサーアレイを形成すべく5個の行と5個の列に配列されている。そのアレイの最初の行はコンポーネントイメージセンサー210a,210b,210c,210d,210eを有している。該アレイの第二の行はコンポーネントイメージセンサー220a,220b,220c,220d,220eを有している(イメージセンサー220eのみに記号が付けてある)。該アレイの3番目の行はコンポーネントイメージセンサー230a,230b,230c,230d,230eを有している(イメージセンサー230eのみに記号が付けてある)。該アレイの4番目の行はコンポーネントイメージセンサー240a,240b,240c,240d,240eを有している(イメージセンサー240eのみに記号が付けてある)。該アレイの5番目の行はコンポーネントイメージセンサー250a,250b,250c,250d,250eを有している。
コンポーネントイメージセンサー210a−e,220a−e,230a−e,240a−e,250a−eは互いに且つビデオプロセッサ270と同期される。コンポーネントイメージセンサー210a−e,220a−e,230a−e,240a−e,250a−eからの個々のイメージデータはビデオプロセッサ270へ送信され、そこでイメージ処理ソフトウエアがコンポーネントイメージセンサー210a−e,220a−e,230a−e,240a−e,250a−eからのイメージデータを入力として受取り且つ以下に更に詳細に説明するようにバーチャルカメラの仕様に従って出力イメージを合成する。
図3は本発明の原理に基づく複合カメラシステム100及び200の動作を例示した光学的構成を示している。処理システム130(ビデオプロセッサ270)が図1におけるコンポーネントビデオカメラ(又は図2におけるコンポーネントイメージセンサー)により採取された入力イメージからバーチャルイメージIVを発生する。本発明によるバーチャルイメージの発生に関しての説明の便宜上、以下の説明においては、イメージデータをキャプチャするためにコンポーネントイメージセンサー210及び210bを使用し且つビデオプロセッサ270を使用するものと仮定する。然しながら、以下の説明は、図1に示した複合カメラを包含する複合カメラの別の実施例に対しても適用可能なものである。
図3に示したように、オブジェクトO(双方向矢印)がオブジェクト面(点線で示してある)内に存在している。コンポーネントイメージセンサー210aがオブジェクトOからの焦点距離f1においてイメージI1を発生する。コンポーネントイメージセンサー210bがオブジェクトOからの焦点距離f2においてイメージI2を発生する。図示例においては、f1=f2である。バーチャルイメージIVがこれら二つの入力イメージI1及びI2から合成される。本発明の原理によれば、バーチャルイメージIVは次式で示されるように、変換されたイメージの加重平均として計算される。
式1aにおいて、w1及びw2の値は正の加重値、即ち重み値であり、w1=cos(φ1)及びw2=cos(φ2)であり、尚φ1は(u1,v1)から送られる光線と(u2,v2)から送られる光線との間の角度である。これらの加重即ち重み係数に基づいて、バーチャルからより遠いコンポーネントカメラは、より近い別のカメラよりも加重即ち重みの貢献度はより少ないものとすべきである。更に、(u1,v1)及び(u2,v2)は以下の式から計算される。
M1(f,fv,z)=T1(f,z)・Tv -1(fv,z)の値及びM2(f,fv,z)=T2(f,z)・Tv -1(fv、z)の値はバーチャルカメライメージ面からコンポーネントカメライメージ面への結合変換である。従って、M1及びM2は、両方のコンポーネントカメラの共通の焦点距離fと、バーチャル焦点距離fvと、オブジェクト面の深さzとに依存する。
2個を超えるコンポーネントカメラがある場合には、全てのカメラを包含させるためにより多くの繰返しとなる以外、基準は実質的に上述したものと同じである。その手順のステップは以下の通りである。
(1)オブジェクト面の深さzを決定し、
(2)各バーチャルピクセルデータ(u,v)に対して、
(i)変換Mi(f,fv,z)、i=1,...,nを計算し;
(ii)重さwiを計算し;
(iii)ワープ(warp)させ、次いで次式に従って、
(2)各バーチャルピクセルデータ(u,v)に対して、
(i)変換Mi(f,fv,z)、i=1,...,nを計算し;
(ii)重さwiを計算し;
(iii)ワープ(warp)させ、次いで次式に従って、
色をブレンドさせる。
上述した変換マトリクスは以下のようにして派生される。ピクセルを座標(u,v)により2Dイメージ面上で表現し、ポイントを(x,y,z)により3D空間内において表わし、且つカメラを3×4マトリクスP(f)によって表わし、尚fはカメラの焦点距離である。P(f)を介して(x,y,z)を(u,v)へ投影させるプロセスは次式で表わされる。
尚、
は3×3マトリクスを有しており、且つ「・」記号はマトリクス乗算を示す。Tはプレーンプロジェクションマトリクス(PPM)即ち面投影マトリクスである。式3は以下の如くに簡単化させることが可能である。
上の式5は深さzを有する2D面上のポイント(x,y,z)をイメージピクセル(u,v)へマッピングする。PとTとの間の差異は、前者が3Dから2Dへのマッピングであり、一方後者は2Dから2Dへのマッピングである。式5の逆形式は以下の如くである。
式6はイメージ面上のピクセル(u,v)を深さzにおけるオブジェクト面上に逆投影させる。
1例として、面投影マトリクスが夫々T(f,z)及びTv(fv,z)である2個のカメラが存在するものと仮定する。ビデオプロセッサ270は、最初に、バーチャルピクセル(u,v)をIvから深さzにおける面へ逆投影し、その結果次式に従ってポイント(x,y,z)が得られる。
次に、ビデオプロセッサ270はポイント(x,y,z)を次式に従ってコンポーネントイメージ面Iへ前方向へ投影させる。
マトリクスMは「ワーピングマトリクス(warping matrix)」と呼ばれる。何故ならば、それは第一カメラのイメージ面から別のカメラのイメージ面へピクセルをワープ(warp)、即ち変換させるからである。Mは、深さz及びコンポーネント及びバーチャルカメラの、夫々、焦点距離f及びfvの関数である。要するに、3つのタイプのマトリクスが関与し、即ち(1)マトリクスPは3Dを2Dへマッピングし、(2)マトリクスTは通常の2D面をイメージ面へマッピングし、(3)マトリクスMは該イメージ面を別のイメージ面へマッピングする。
好適には、上述したアルゴリズムを、複雑で且つ高価な電気機械的装置を必要とすることなしに、複合カメラにおいてオートフォーカス、被写界深度、高分解能機能を実現するために使用することが可能である。
図4は、オブジェクトのボディ上の幾つかの位置においてオブジェクト面(又は深さ面)の配置を示している。オブジェクトはジョウロ400であり、それは容器405と、側部ハンドル410と、上部ハンドル415と、吐水口420とを有している。ジョウロ400のイメージは複合カメラシステム200によりキャプチャされる。本発明の原理に従い、ビデオプロセッサ270は、複合カメラ200に対して見えるジョウロ400の本体上の多数の位置においてオブジェクト面(又は深さ面)zを配置させることが可能である。例えば、ビデオプロセッサ270は容器405の正面上の点Bに深さ面を配置させることが可能である。一方、ビデオプロセッサ270は、上部ハンドル415の正面上の点Aにおいて、又は吐水口420の端部上の点Cにおいて深さ面を配置させることが可能である。
注意すべきことであるが、容器405の正面上の点Bに深さ面zを配置させる場合には、複合カメラシステム200により発生されるイメージが吐水口420上の点Cにおいて及び上部ハンドル415上の点Aにおいてぼける場合がある。この現象について図5A及び5Bを参照して説明する。
図5A及び5Bは深さ面Zを異なる深さに移動させる効果を示している。最初に、深さ面(即ちオブジェクト面)が深さZ1にある。図5Aにおいて、RVはバーチャル光線であり、R1及びR2は円形状のオブジェクト500から2つの異なるイメージセンサー210a及び210bへ伝達される2つの光線である。イメージセンサー210aはポイントAを見且つイメージセンサー210bはポイントBを見る。ポイントA及びポイントBは異なる色を有している。所で、
であるから、RRの色はポイントA及びポイントBからの両方の色の結合である。これは図4において発生する場合のあるぼけの源である。
このぼけを除去するために、図5Bに示したように、2番目の深さ面をZ2に付加している。ポイントA及びポイントBは一層近いので、それらの色は類似している蓋然性が高く、全体的により少ないぼけとなる。このことは、複数個の深さ面を使用することはぼけを減少させることに貢献する場合があることを示している。然しながら、各深さ面は潜在的なバーチャルイメージを導入するので、どのピクセルがバーチャル光線RVにとって最も良い選択であるかの決定をせねばならない。本発明の原理によれば、ビデオプロセッサ270は最も少ない色偏差を有する深さ面を選択する。
従来のカメラは、イメージ面をスライドさせ且つ結果的に得られるイメージを解析することによってオートファーカス機能を実現している。然しながら、本発明の原理によれば、イメージ面を物理的にスライドさせる動作は、ソフトウエアにおいてデジタル的にバーチャル深さ面を移動させるビデオプロセッサ270により実施される。
同様に、ビデオプロセッサ270は、興味のある深さ範囲(例えば、Z1からZ2)をカバーする複数個のバーチャル深さ面を使用することにより被写界深度機能を実現する。ビデオプロセッサ270は潜在的なバーチャルイメージの全てを最終的なイメージへ統合させる。ビデオプロセッサ270は、コンポーネントバーチャルイメージの各々から、最小量のぼけを有するピクセルのグループを選択することにより最終イメージを発生する。このことは、ビデオプロセッサ270による高いレベルの計算を必要とする。然しながら、物理的な部分が関与するものではない。
大きな被写界深度のイメージを合成することに加えて、ビデオプロセッサ270は、同時に、シーンオブジェクトの深さを推定することが可能である。上述したことから想起されるように、バーチャルピクセル(u,v)に対して、ビデオプロセッサ270は空間内の1組の候補深さ位置z1,z2,...,zmを選択することが可能である。これらの位置ziの各々において、ビデオプロセッサ270は以下の2つの変数を計算することが可能である。即ち、(1)色は次式により与えられ、
且つ(2)色偏差は次式により与えられる。
従って、バーチャルピクセル(u,v)に対して、ビデオプロセッサ270は1組の色(Iv1,Iv2,...,Ivm)及び偏差(var1,var2,...,varm)を計算する。z=z1における偏差(即ち、vari、iは1,2,...,mの内)が現在の偏差の組の中で最小のものである場合には、(u,v)の最終の色はIvi(即ち、Iv,u,v=Ivi)であり、且つ(u,v)の深さはzである。
このことについて以下に更に詳細に説明する。概念的には、バーチャルカメラのイメージ面上の各ピクセルから、ビデオプロセッサ270がバーチャル光線を送り出す。このバーチャル光線は一連の面と交差し、該面の深さ範囲は興味のあるシーン全体をカバーする。バーチャル光線と該面との間の各交差点において、ビデオプロセッサ270は対応する入力光線を検索し且つ平均の色及び偏差を計算する。最も低い偏差を有する交差点の色及び深さが現在のバーチャル光線のものとして記録される。全ての面の位置が検査され且つ全てのバーチャルピクセルがスキャンされた後に、バーチャルイメージ及びその深さマップがビデオプロセッサ270により形成される。その深さマップの分解能はビデオプロセッサ270により選択された面の数に依存する。より多くの深さ面はより細かい深さマップを与える。
ビデオプロセッサ270は、又、より高い密度のピクセルを有するバーチャルカメラを選択することにより高分解能機能を実現する。ビデオプロセッサ270は異なるコンポーネントカメラからのピクセルを「ワーピング(warping)」又は補間することにより新たなピクセルを挿入する。複合カメラは、定義上、異なる位置にある複数個のコンポーネントカメラを包含しており、従って、異なる観察角度を包含している。コンポーネントカメラはオブジェクト上の異なるポイント(点)を見る。コンポーネントイメージがバーチャルカメラに関してのそれらの相対的な位置を補償した後に結合されると、入力したものよりもより高い分解能のバーチャルイメージを合成させることが可能である。勿論、幾つかのオブジェクトポイントは1個を超える数のコンポーネントカメラにより見られるので、分解能の向上はコンポーネントカメラの数に直線的に関連するものではない。即ち、N個のコンポーネントカメラは必ずしもN倍高い分解能のバーチャルイメージを保証するものではない。
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
100 複合カメラシステム
110 コンポーネントビデオカメラ
120 通信リンク
130 処理システム
110 コンポーネントビデオカメラ
120 通信リンク
130 処理システム
Claims (17)
- 複合カメラシステムにおいて、
オブジェクトのイメージデータを発生することが可能な複数個のコンポーネントカメラ、
前記複数個のコンポーネントカメラのうちの第一のカメラから第一イメージデータを受取り且つ前記複数個のコンポーネントカメラのうちの第二のカメラから第二イメージデータを受取り且つそれらからバーチャルイメージを発生することが可能なデータプロセッサ、
を有しており、前記データプロセッサは、バーチャルピクセルデータ(u,v)を逆投影して前記オブジェクトの第一オブジェクト面と関連する深さz=Z1に位置したポイントデータ(x,y,z)を発生し、次いで前記ポイントデータ(x,y,z)を投影して前記第一イメージデータのイメージ面に位置した第一ピクセルデータ(u1,v1)を発生することを特徴とする複合カメラシステム。 - 請求項1において、前記データプロセッサが、前記オブジェクトの前記第一オブジェクト面と関連する前記深さz=Z1に位置したポイントデータ(x,y,z)を投影して前記第二イメージデータのイメージ面に位置した第二ピクセルデータ(u2,v2)を発生することを特徴とする複合カメラシステム。
- 請求項2において、前記データプロセッサが前記第一ピクセルデータ(u1,v1)の色と前記第二ピクセルデータ(u2,v2)の色とを結合させることにより前記バーチャルイメージを発生することを特徴とする複合カメラシステム。
- 請求項3において、前記データプロセッサが、前記第一の色を第一加重係数で乗算して第一積を形成し、前記第二の色を第二加重係数で乗算して第二積を形成し、前記第一積と第二積とを加算し、且つ前記色の和を重みの和で割算することにより前記第一ピクセルデータ(u1,v1)の色と前記第二ピクセルデータ(u2,v2)の色とを結合させることを特徴とする複合カメラシステム。
- 請求項4において、前記重みがcos(φ)に比例しており、尚φはバーチャル光線とコンポーネントカメラからの対応する光線との間の角度であることを特徴とする複合カメラシステム。
- 請求項1において、前記データプロセッサは、逆面投影マトリクスを使用してバーチャルピクセルデータ(u,v)を投影して前記ポイントデータ(x,y,z)を発生し且つ第一面投影マトリクスを使用して前記ポイントデータ(x,y,z)を投影して前記第一ピクセルデータ(u1,v1)を発生することを特徴とする複合カメラシステム。
- 請求項6において、前記データプロセッサが第二面投影マトリクスを使用して前記ポイントデータ(x,y,z)を投影して前記第二ピクセルデータ(u2,v2)を発生することを特徴とする複合カメラシステム。
- 請求項7において、前記データプロセッサが、更に、オブジェクトの第二オブジェクト面と関連する深さz=Z2に位置した前記ポイントデータ(x,y,z)を発生するために前記バーチャルピクセルデータ(u,v)を逆投影し且つ前記第一イメージの前記イメージ面に位置した前記第一ピクセルデータ(u1,v1)を発生するために前記ポイントデータ(x,y,z)を投影することにより、前記複合カメラシステムの焦点を調節することが可能であることを特徴とする複合カメラシステム。
- 請求項8において、前記データプロセッサは、更に、前記第二イメージの前記イメージ面に位置した第二ピクセルデータ(u2,v2)を発生するために前記オブジェクトの前記第二オブジェクト面と関連する深さz=Z2に位置した前記ポイントデータ(x,y,z)を投影することにより前記複合カメラシステムの焦点を調節することが可能であることを特徴とする複合カメラシステム。
- 複合カメラシステムを使用したバーチャルイメージを発生する方法において、
複数個のコンポーネントカメラからオブジェクトのイメージデータを発生し、
バーチャルピクセルデータ(u,v)を投影して前記オブジェクトの第一オブジェクト面と関連する深さz=Z1に位置したポイントデータ(x,y,z)を発生し、
前記ポイントデータ(x,y,z)を投影して前記第一イメージのイメージ面に位置した第一ピクセルデータ(u1,v1)を発生し、
前記ポイントデータ(x,y,z)を投影して前記第二イメージのイメージ面に位置した第二ピクセルデータ(u2,v2)を発生し、
前記複数個のコンポーネントカメラのうちの第一カメラからの第一イメージデータ及び前記複数個のコンポーネントカメラのうちの第二カメラからの第二イメージデータを受取る、
上記各ステップを有していることを特徴とする方法。 - 請求項10において、前記データプロセッサが第一ピクセルデータ(u1,v1)及び第二ピクセルデータ(u2,v2)を結合することによりバーチャルイメージを発生することを特徴とする方法。
- 請求項11において、前記データプロセッサが、第一ピクセルデータ(u1,v1)の色を第一加重係数と乗算して第一積を形成し、第二ピクセルデータ(u2,v2)の色を第二加重係数と乗算して第二積を形成し、前記第一積と第二積とを加算し、前記積の和を加重係数の和で割算することにより第一ピクセルデータ(u1,v1)と第二ピクセルデータ(u2,v2)とを結合することを特徴とする方法。
- 請求項12において、前記第一及び第二加重係数がcos(φ)に比例する正の小数値であり、尚φはバーチャル光線とコンポーネントカメラからの対応する光線との間の角度であることを特徴とする方法。
- 請求項10において、前記データプロセッサは、逆面投影マトリクスを使用してバーチャルピクセルデータ(u,v)を投影してポイントデータ(x,y,z)を発生し且つ第一面投影マトリクスを使用してポイントデータ(x,y,z)を投影して第一ピクセルデータ(u1,v1)を発生することを特徴とする方法。
- 請求項14において、前記データプロセッサが、第二面投影マトリクスを使用してポイントデータ(x,y,z)を投影して第二ピクセルデータ(u2,v2)を発生することを特徴とする方法。
- 請求項15において、前記データプロセッサが、更に、バーチャルピクセルデータ(u,v)を投影して前記オブジェクトの第二オブジェクト面と関連する深さz=Z2に位置したポイントデータ(x,y,z)を発生し且つ前記ポイントデータ(x,y,z)を投影して前記第一イメージのイメージ面に位置した第一ピクセルデータ(u1,v1)を発生することにより前記複合カメラシステムの焦点を調節することが可能であることを特徴とする方法。
- 請求項16において、前記プロセッサが、更に、前記第二イメージのイメージ面に位置した第二ピクセルデータ(u2,v2)を発生するために前記オブジェクトの第二オブジェクト面と関連する深さz=Z2に位置した前記ポイントデータ(x,y,z)を投影することにより前記複合カメラシステムの焦点を調節することが可能であることを特徴とする方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/407,505 US7268804B2 (en) | 2003-04-04 | 2003-04-04 | Compound camera and method for synthesizing a virtual image from multiple input images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004310777A true JP2004310777A (ja) | 2004-11-04 |
Family
ID=32850667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004110729A Pending JP2004310777A (ja) | 2003-04-04 | 2004-04-05 | 複数個の入力イメージからバーチャルイメージを合成する複合カメラ及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7268804B2 (ja) |
EP (1) | EP1465112A3 (ja) |
JP (1) | JP2004310777A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018106496A (ja) * | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002090887A2 (en) * | 2001-05-04 | 2002-11-14 | Vexcel Imaging Gmbh | Digital camera for and method of obtaining overlapping images |
US7425984B2 (en) | 2003-04-04 | 2008-09-16 | Stmicroelectronics, Inc. | Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions |
FR2887346B1 (fr) * | 2005-06-17 | 2007-09-28 | Canon Res Ct France Soc Par Ac | Procede et dispositif d'amelioration d'une image numerique |
EP2677734A3 (en) * | 2012-06-18 | 2016-01-13 | Sony Mobile Communications AB | Array camera imaging system and method |
JP6997593B2 (ja) * | 2017-11-06 | 2022-01-17 | 大塚電子株式会社 | 光学特性測定方法および光学特性測定システム |
US10950037B2 (en) * | 2019-07-12 | 2021-03-16 | Adobe Inc. | Deep novel view and lighting synthesis from sparse images |
CN113538318B (zh) * | 2021-08-24 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5682198A (en) * | 1993-06-28 | 1997-10-28 | Canon Kabushiki Kaisha | Double eye image pickup apparatus |
US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
WO2002104009A1 (en) * | 2001-06-19 | 2002-12-27 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method and system for combining video with spatio-temporal alignment |
KR100866450B1 (ko) * | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
US7425984B2 (en) | 2003-04-04 | 2008-09-16 | Stmicroelectronics, Inc. | Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions |
-
2003
- 2003-04-04 US US10/407,505 patent/US7268804B2/en not_active Expired - Fee Related
-
2004
- 2004-04-02 EP EP04252002A patent/EP1465112A3/en not_active Withdrawn
- 2004-04-05 JP JP2004110729A patent/JP2004310777A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018106496A (ja) * | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP1465112A2 (en) | 2004-10-06 |
US20040196391A1 (en) | 2004-10-07 |
EP1465112A3 (en) | 2005-04-06 |
US7268804B2 (en) | 2007-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7425984B2 (en) | Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions | |
JP3593466B2 (ja) | 仮想視点画像生成方法およびその装置 | |
JP4942221B2 (ja) | 高解像度仮想焦点面画像生成方法 | |
US7643025B2 (en) | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates | |
US8447141B2 (en) | Method and device for generating a depth map | |
EP3057317B1 (en) | Light-field camera | |
CN108475327A (zh) | 三维采集与渲染 | |
JP2009116532A (ja) | 仮想視点画像生成方法および仮想視点画像生成装置 | |
JP3990271B2 (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
CA2540538C (en) | Stereoscopic imaging | |
CN110517211B (zh) | 一种基于梯度域映射的图像融合方法 | |
JP2004310777A (ja) | 複数個の入力イメージからバーチャルイメージを合成する複合カメラ及び方法 | |
KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
JP2019016230A (ja) | 学習装置、画像合成装置、学習方法、画像合成方法、及びプログラム | |
JP4193292B2 (ja) | 多眼式データ入力装置 | |
JPH10304244A (ja) | 画像処理装置およびその方法 | |
JP2001256482A (ja) | 視差画像生成装置および視差画像生成方法 | |
CN104463958A (zh) | 基于视差图融合的三维超分辨率方法 | |
JPH07296195A (ja) | 画像処理装置及び方法 | |
Knorr et al. | Super-resolution stereo-and multi-view synthesis from monocular video sequences | |
JP2009210486A (ja) | 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム | |
Pedersini et al. | A multi-view trinocular system for automatic 3D object modeling and rendering | |
Keinert et al. | Cost-effective multi-camera array for high quality video with very high dynamic range | |
Pedersini et al. | Accurate 3-D reconstruction from trinocular views through integration of improved edge-matching and area-matching techniques | |
WO2009014416A1 (en) | Setup for three dimensional image capture |