JP2011160299A - 三次元画像撮影システムおよび三次元画像撮影システム用カメラ - Google Patents

Abstract

【課題】サイズ、重量、およびコストの低減を実現する三次元画像撮影システムおよびこれに用いるカメラを提供する。
【解決手段】第１光学系と第１光検知素子とを有する第１撮像部により二次元の第１画像を撮像する第１撮像手段１０９と、第１光学系と異なる第２光学系と第２光検知素子とを有する第２撮像部により二次元の第２画像を撮像する第２撮像手段１１０と、第１画像から基準画像を生成する基準画像生成手段１０１と、第２画像から参照画像を生成する参照画像生成手段１０２と、基準画像と参照画像とに基づいて水平方向の視差画像を生成する視差画像生成手段１０４と、を有する。
【選択図】図１

Description

本発明は、三次元画像撮影システムおよび三次元画像撮影システム用カメラに関する。

近年、テレビ画像の三次元化が進み、業務用カメラとしては三次元画像が撮影できるステレオカメラが実用化されている。

しかし、民生用カメラとしては、サイズ、重量、コストの低減が必要となるため、三次元画像が撮影できる民生用カメラは実用化に至っていない。

三次元画像を撮影するために、通常のビデオカメラのレンズの前にアダプタを装着する技術がある（特許文献１）。

特開２００４−２９７５４０号公報

しかし、上記従来技術は、光学式のアダプタをレンズの前に装着するため、アダプタのサイズを大きくする必要があり、カメラのサイズ、重量、およびコストの低減を実現することが困難という問題がある。

本発明は、このような問題を解決するためになされたものであり、三次元画像撮影システムおよびこれに用いるカメラのサイズ、重量、およびコストの低減を実現することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）第１光学系と第１光検知素子とを有する第１撮像部により二次元の第１画像を撮像する第１撮像手段と、前記第１光学系と異なる第２光学系と第２光検知素子とを有する第２撮像部により二次元の第２画像を撮像する第２撮像手段と、前記第１画像から基準画像を生成する基準画像生成手段と、前記第２画像から参照画像を生成する参照画像生成手段と、前記基準画像と前記参照画像とに基づいて水平方向の視差画像を生成する視差画像生成手段と、を有することを特徴とする三次元画像撮影システム。

（２）前記基準画像と前記参照画像の画素数に差があるときは、前記差を小さくするように前記基準画像の画素数または前記参照画像の画素数の少なくとも一方を調整する画素数調整手段をさらに有することを特徴とする上記（１）に記載の三次元画像撮影システム。

（３）前記基準画像と前記参照画像とに基づいて被写体の距離データを演算する距離データ演算手段をさらに有し、前記視差画像生成手段は、前記第１画像または前記第２画像のいずれかと、前記距離データと、に基づいて前記視差画像を生成することを特徴とする上記（２）に記載の三次元画像撮影システム。

（４）前記第１撮像部の中心（言い換えれば、第１光学系の中心ともいうことができ、第１光学系の最も前面に配置されたレンズの光学面の中心である）と前記第２撮像部の中心（言い換えれば、第２光学系の中心ともいうことができ、第２光学系の最も前面に配置されたレンズの光学面の中心である）とを結ぶ基線は、鉛直線に対して、平行または鋭角をなすことを特徴とする上記（１）〜（３）のいずれかに記載の三次元画像撮影システム。

（５）前記基線の長さは、人間の両目間隔より短いことを特徴とする上記（４）に記載の三次元画像撮影システム。

（６）前記第１撮像部または前記第２撮像部のいずれかは可動部材に設置されることにより、被写体の撮影時に所定位置まで移動させることを特徴とする上記（１）〜（５）のいずれかに記載の三次元画像撮影システム。この可動部材により、第１撮像部と第２撮像部との相対的な位置及び距離の少なくとも一方を可変可能とした三次元画像撮影システムである。

（７）前記可動部材は、開閉可能な表示部であることを特徴とする上記（６）に記載の三次元画像撮影システム。

（８）前記表示部に設置された前記第１撮像部または前記第２撮像部のいずれかは、前記表示部の開閉による前記表示部の回転方向にのみ移動可能であることを特徴とする上記（７）に記載の三次元画像撮影システム。

（９）前記表示部は前記表示部が設置された前記表示部の開閉に連動して移動することを特徴とする上記（７）または（８）に記載の三次元画像撮影システム。

（１０）前記第１光学系または前記第２光学系のいずれか一方はズームレンズで他方は固定焦点レンズであることを特徴とする上記（１）〜（９）のいずれかに記載の三次元画像撮影システム。

（１１）前記参照画像生成手段は、前記基準画像と前記参照画像とを合成するか、複数の前記参照画像を合成するか、のいずれかにより前記参照画像を補間し、画素数を増加させ、または、超解像技術により前記参照画像を補間し、画素数を増加させることを特徴とする上記（１）〜（１０）のいずれかに記載の三次元画像撮影システム。

（１２）前記参照画像生成手段は、前記基準画像に関する第１画像が撮像された時間と同じ基準時間に撮像された前記第２画像に関する前記参照画像と、前記基準時間に隣接する隣接時間に撮像された前記第２画像に関する前記参照画像と、を合成して、前記基準時間における前記参照画像を補間し、画素数を増加させることを特徴とする上記（１１）に記載の三次元画像撮影システム。

（１３）前記基準画像生成手段は、前記第１画像に対し画素数を減少させた基準画像を生成することを特徴とする上記（１）〜（１２）に記載の三次元画像撮影システム。

（１４）前記基準画像生成手段が前記第１画像に対し画素数を減少させた基準画像を生成するか、または、前記参照画像生成手段が前記第２画像に対し画素数を増大または減少させた参照画像を生成するか、のいずれかを少なくとも行い、前記基準画像生成手段が減少させる前記基準画像の画素数の減少量と、前記参照画像生成手段が増大または減少させる前記参照画像の画素数の増大量または減少量とは、前記ズームレンズのズーム倍率に連動して決定されることを特徴とする上記（１１）〜（１２）のいずれかに記載の三次元画像撮影システム。

（１５）前記基準画像生成手段が周波数ドメインに変換された前記第１画像に対し高周波成分を削減させた基準画像を生成するか、または、前記参照画像生成手段が周波数ドメインに変換された前記第２画像に対し高周波成分を強調または削減させた参照画像を生成するか、のいずれかを少なくとも行い、前記基準画像生成手段が削減させる前記基準画像の高周波成分の削減量と、前記参照画像生成手段が強調または削減させる前記参照画像の高周波成分の強調量または削減量とは、前記ズームレンズのズーム倍率に連動して決定されることを特徴とする前記（１１）〜（１２）のいずれかに記載の三次元画像撮影システム。

（１６）前記距離データ演算手段は、位相限定相関法を用いることにより距離データを求めることを特徴とする上記（３）〜（１５）のいずれかに記載の三次元画像撮影システム。

（１７）前記第１画像または前記第２画像の少なくともいずれかを記録および再生する第１記録再生手段をさらに有し、前記基準画像生成手段と前記参照画像生成手段とは、前記第１記録再生手段が再生した前記第１画像と前記第２画像とから、それぞれ前記基準画像と前記参照画像とを生成することを特徴とする上記（１）〜（１６）のいずれかに記載の三次元画像撮影システム。

（１８）前記第１画像と、前記距離データとを記録および再生する第２記録再生手段をさらに有し、前記視差画像生成手段は、前記第２記録再生手段が再生した前記第１画像と前記距離データとから前記視差画像を生成することを特徴とする上記（１）〜（１６）のいずれかに記載の三次元画像撮影システム。

（１９）被写体を照明する照明手段をさらに有することを特徴とする上記（１）〜（１８）のいずれかに記載の三次元画像撮影システム。

（２０）前記照明手段は、ランダムパターンの光を被写体に照射することを特徴とする上記（１９）に記載の三次元画像撮影システム。

（２１）前記照明手段は、撮影周期に連動して点滅することを特徴とする上記（１９）または（２０）に記載の三次元画像撮影システム。

（２２）前記ランダムパターンの光が放射されたときの被写体の前記基準画像および前記参照画像を利用して、前記距離データを生成することを特徴とする上記（２１）に記載の三次元画像撮影システム。

（２３）第１光学系と第１光検知素子とを有する第１撮像部により二次元の第１画像を撮像する第１撮像手段と、前記第１光学系と異なる第２光学系と第２光検知素子とを有する第２撮像部により二次元の第２画像を撮像する第２撮像手段と、を有することを特徴とする三次元画像撮影システム用カメラ。

本発明に係る三次元画像撮影システムおよび三次元画像撮影システム用カメラによれば、ステレオカメラの一方に、他方のカメラとは異なる光学系の小型・軽量かつ安価なカメラを使用し、かつ、双方のカメラの画像に基づき水平方向の視差画像を生成することで、三次元画像撮影システムおよびこれに用いるカメラのサイズ、重量、およびコストの低減を実現することができる。

本発明の第１実施形態に係る三次元画像撮影システムの構成を示すブロック図である。 ステレオカメラによるステレオカメラと被写体との距離の計算の原理を説明するための説明図である。 本発明の第１実施形態に係るステレオカメラの外観を示す斜視図である。 本発明の第１実施形態に係るステレオカメラの外観であって、メインカメラとサブカメラとの配置を示す図である。 本発明の第１実施形態に係る三次元画像撮影システムの基準画像生成部と参照画像生成部との構成をより詳細に示す三次元画像撮影システムのブロック図である。 Ａは、記録再生部をＭ１の箇所に配置したときの記録再生部に記録する内容を示す説明図で、Ｂは、記録再生部をＭ２の箇所に配置したときの記録再生部に記録する内容を示す説明図である。 本発明の第１実施形態に係る三次元画像撮影システムの基準画像生成部と参照画像生成部とにおけるフレーム処理の内容を説明するための説明図である。 本発明の第２実施形態に係る三次元画像撮影システムの構成を示すブロック図である。

以下、図面を参照して、本発明の実施形態に係る三次元画像撮影システムおよび三次元画像撮影システム用カメラについて詳細に説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る三次元画像撮影システムの構成を示すブロック図である。図の矢印はデータの送信方向を示したものであり、データの処理は矢印の方向に沿って各ブロックにおいてなされる。なお、本明細書において「画像」とは映像を含む概念である。

本実施形態に係る三次元画像撮影システム１０は、ステレオカメラ（三次元画像撮影システム用カメラ）１００、基準画像生成部（基準画像生成手段、画素数調整手段）１０１、参照画像生成部（参照画像生成手段、画素数調整手段）１０２、距離データ生成部（距離データ演算手段）１０３、視差画像生成部（視差画像生成手段）１０４、制御部１０８、記録再生部１０６、３Ｄモニタ１０７、を有する。基準画像生成部１０１、参照画像生成部１０２、距離データ生成部１０３、視差画像生成部１０４は、三次元画像生成部１０５をなす。

ステレオカメラ１００は、メインカメラ（第１撮像手段）１０９、サブカメラ（第２撮像手段）１１０、照明（照明手段）１１１を有する。

メインカメラ１０９は、二次元のＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像を撮像することができるＨＤカメラである。しかし、これに限定されず、メインカメラ１０９は、ＨＤ画像以外の画像（例えば、ＨＤ画像より解像度が低い画像）を撮像するカメラであってもよい。メインカメラ１０９はＨＤカメラ用レンズ（第１光学系）と光センサ（第１光検知素子）とを有するＨＤカメラ用撮像装置（第１撮像部）を含む。ＨＤカメラ用レンズとしてはズームレンズを用いることができる。光センサとしては、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いることができる。メインカメラ１０９のズーム倍率の情報は、ズームデータとしてメインカメラ１０９から出力させることができる。

サブカメラ１１０は、二次元の画像を撮像することができるカメラである。サブカメラ１１０は、メインカメラ１０９のＨＤカメラ用レンズとは異なる光学系のレンズ（第２光学系）と光センサ（第２光検出素子）とを有するサブカメラ用撮像装置（第２撮像部）を含む。異なる光学系とは、光線の性質を利用して物体の像をつくる器具として異なることをいう。例えば、異なる光学系とは、ズーム機能の有無において異なる光学系、解像度が異なる光学系を指す。サブカメラ１１０用レンズとしてはズーム機能のない固定焦点レンズや２焦点レンズなどの固定倍率レンズを用いることができる。以下、サブカメラ１１０で撮像した画像をＭＣＵ画像と称する。また、光学系だけでなく、光検出素子も異なっていてもよい。サブカメラ用撮像装置は、例えば、小型・軽量かつ安価なＭＣＵ（Ｍｉｃｒｏ Ｃａｍｅｒａ Ｕｎｉｔ）や、ＷＬＣ（Ｗｅｆｅｒ Ｌｅｖｅｌ Ｃａｍｅｒａ）であってもよい。

照明１１１は、被写体に光を照射する機能を有する。被写体に光を照射することでステレオカメラ１００が撮像する画像上の被写体を明るくし、画像のＳＮ比を向上することができる。これにより、視差画像（三次元画像）を生成する際に必要となる距離データを精度よく生成することができる。ここで、視差画像とは、視差を有する２つの二次元画像、または、視差を有する２つの二次元画像のデータをいう。

照明１１１は、一時的または周期的に、被写体に赤外線光を照射し、または、例えば点や模様といったランダムパターンを照射することができる。赤外光やランダムパターンの光を照射したときの基準画像および参照画像でマッチング（対応点探索）を行なうことで、被写体が模様のないフラットなものであっても精度のよいマッチングが可能となるため、高精度な距離データを取得することができる。なお、赤外光やランダムパターンの光を照射したときの基準画像、参照画像、ＨＤ画像、ＭＣＵ画像そのものは、一般の光と重なってしまうため、視差画像としては用いることはできない。このため、例えば、フレームレートを２倍にして隔フレームごとにランダムパターンを被写体に照射し、ランダムパターンを被写体に照射したときの画像から距離データを取得し、該距離データとランダムパターンを被写体に照射していないときの画像とを合成することで視差画像を得ることができる。

三次元画像生成部１０５は、例えば、１チップに実装されたマイクロコンピュータおよびマイクロコンピュータが有する記憶装置に記録されたプログラムにより構成されることができる。すなわち、三次元画像生成部１０５は、コンピュータの一般的な構成要素である、記憶装置、演算装置、制御装置、入出力装置といったハードウェアと、ソフトウェアにより構成されることができる。しかし、三次元画像生成部１０５は、全てハードウェアで構成されてもよい。

三次元画像生成部１０５は、制御部１０８、記録再生部１０６ともに１チップ化されてもよいし、複数のチップから構成されてもよい。

基準画像生成部１０１は、メインカメラ１０９が撮像した二次元のＨＤ画像データ（第１画像）を受信し、受信したＨＤ画像データから基準画像を生成する。ここで、基準画像生成部１０１は、ＨＤ画像をそのまま基準画像として用いることもできる。基準画像は、距離データを生成するために用いる画像であり、解像度を低下または向上させた基準画像を用いて距離データが生成されることもある。

参照画像生成部１０２は、サブカメラ１１０が撮像した二次元のＭＣＵ画像データ（第２画像）を受信し、受信した画像データから参照画像を生成する。ここで、参照画像生成部１０２は、ＭＣＵ画像をそのまま参照画像として用いることもできる。参照画像は、距離データを生成するために用いる画像であり、解像度を向上または低下させた参照を用いて距離データが生成されることもある。

本実施形態においては、ＨＤ画像とＭＣＵ画像のフレームレートは同一であり、かつ、フレームの位相は同期させる。また、基準画像と参照画像のフレームレートは同一であり、かつ、フレームの位相は同期させている。

距離データ生成部１０３は、基準画像生成部１０１が生成した基準画像と、参照画像生成部１０２が生成した参照画像とから距離データを生成する。

図２は、ステレオカメラによるステレオカメラと被写体との距離の計算の原理を説明するための説明図である。

図２に示すように、ステレオカメラ１００を構成するメインカメラ１０９とサブカメラ１１０は、被写体２００に向けて設置されることにより、被写体２００を含む画像を撮影する。被写体２００の画像（詳細には、画像を構成する画素）は、それぞれ座標ｘ_１、ｘ_２として仮想スクリーン２０１Ａ、２０２Ａ上に表示される。ステレオカメラから被写体までの距離ｚは、三角測量の原理に基づき、下記式（１）により求めることができる。

ｚ＝Ｂ・Ｆ／（ｘ_１−ｘ_２） ・・・（１）
ここで、Ｂはステレオカメラ１００の基線長、Ｆはステレオカメラ１００のメインカメラ１０９およびサブカメラ１１０の仮想スクリーンまでの距離を示す。これらのパラメータはステレオカメラの設計値を用いることができる。

座標ｘ_１に対応する画素が座標ｘ_２であることを検出して両者を対応させることをマッチングといい、距離データの精度はマッチングの精度に依存する。

距離データ生成部１０３は、マッチングのために位相限定相関（ＰＯＣ；Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）法を用いることができる。位相限定相関法を用いる場合は、基準画像および参照画像をＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などを利用し、周波数ドメインに変換し、さらにそこから位相成分を抽出し、位相のズレを比較することで同一被写体の位置を特定することになる。このようにすることで、距離データの精度を向上させることができる。

図２では１次元の例を示したが、２次元に拡張した場合も同様の考え方を適用することができる。

距離データ生成部１０３は、基準画像または参照画像のすべての画素について距離ｚ(即ち、被写体の３次元形状)を求めることで距離データを生成する。

視差画像生成部１０４は、メインカメラ１０９からのＨＤ画像と、距離データ生成部１０３からの距離データとに基づいて水平方向の視差画像を生成する。距離データは基準画像と参照画像に基づいて生成されるため、視差画像は、基準画像と参照画像とＨＤ画像とに基づいて生成されることになる。視差画像を構成する視差を有する２つの二次元画像のうち、一方（例えば、左目画像）はＨＤ画像をそのまま用いることができ、他方（例えば、右目画像）はＨＤ画像と距離データとに基づく演算により生成することができる。

視差画像生成部１０４は、ＨＤ画像と距離データとに基づいて視差画像を生成するが、基準画像または参照画像の解像度を低下させて（すなわち、画素数を減少させて）距離データを生成させる場合があるため、この場合は、ＨＤ画像のすべての画素についての距離データが存在しないこととなる。しかし、例えば、ＨＤ画像の一部の距離データとＨＤ画像とに基づく類推により、距離データの補間は可能であり、ＨＤ画像のすべての画素についての距離データを補間により取得することで、ＨＤ画像に近い解像度の三次元画像を得ることができる。

具体的には、まず視差画像のうち例えば右目画像をＨＤ画像としたとき、距離データから、左目で見たときの被写体の位置関係を求め、その位置に対応するＨＤ画像の被写体像の場所を移動する等の処理を行い左目画像を作成する。この時、画素単位で場所を移動することが基本であるが、被写体のある塊毎に移動することもできる。ＨＤ画像に対して距離データをマトリックス配列したときの画素数が少ない場合は、距離データをアップサンプリングし、画素間を補間することでＨＤ画像の画素に対応する距離データの画素を求めることができる。左目画像をＨＤ画像とすることもでき、この時は上記と同様に右目画像を距離データから作成することになる。また、ＨＤ画像を中心に左右の視点を設定し、それぞれの視点から見た視差画像をそれぞれ同様に作成することもできる。また、これらをユーザーが選択できるよう切り替えることも可能である。また、視点の位置あるいは方向も自由に設定することができ、これにより奥行き感などを変える事ができ、ユーザーが設定できるようにパラメータにより可変できるようにしておくこともできる。

記録再生部１０６は、視差画像を記録および再生する。

３Ｄモニタ１０７は、視差画像を表示する。３Ｄモニタ１０７は、例えば、裸眼立体ディスプレイであってもよい。

制御部１０８は、ステレオカメラ１００、三次元画像生成部１０５、記録再生部１０６を制御する。

本実施形態に係る三次元画像撮影システムおよび三次元画像撮影システム用カメラによれば、ステレオカメラの一方に、他方のカメラとは異なる光学系の小型・軽量かつ安価なカメラを使用し、かつ、双方のカメラの画像に基づき水平方向の視差画像を生成することで、三次元画像撮影システムおよびこれに用いるカメラのサイズ、重量、およびコストの低減を実現することができる。

図３は、ステレオカメラ１００の外観を示す斜視図である。

ステレオカメラ１００の構成要素である、メインカメラ１０９、サブカメラ１１０、照明１１１は、図３に示すように、メインカメラ１０９の中心（メインカメラ１０９のレンズの中心）とサブカメラ１１０の中心（サブカメラ１１０のレンズの中心）と照明１１１とが鉛直線上に並ぶ（すなわち、これら構成要素を結ぶ線分が鉛直線に対し平行となる）ように配置することができる。これにより、薄型でデザイン性に優れたステレオカメラ１００を実現することができる。

図４は、ステレオカメラ１００の外観の例であって、メインカメラ１０９とサブカメラ１１０との配置を示す図である。

図４のＡは、図３と同様に、メインカメラ１０９の中心とサブカメラ１１０の中心とが鉛直線上に並ぶように配置したステレオカメラ１００の外観を示す図である。

図４のＢは、開閉可能な表示部４００を有するステレオカメラ１００であって、サブカメラ１１０（例えば、サブカメラ１１０のレンズ）が該表示部に設置されたステレオカメラ１００の外観を示す図である。

図４のＣは、開閉可能な表示部４００を有するステレオカメラ１００であって、メインカメラ１０９（例えば、メインカメラ１０９のレンズ）と平行に並ぶようにメインカメラ１０９に取り付けられたサブカメラ１１０（例えば、サブカメラ１１０のレンズ）が、表示部を開くことに連動してメインカメラ１０９との距離を広げるように平行方向（水平方向）に張り出すようにしたステレオカメラ１００の外観を示す図である。

図４のＤは、サブカメラ１１０（例えば、サブカメラ１１０のレンズ）がメインカメラ１０９（例えば、メインカメラ１０９のレンズ）の脇に設置されたステレオカメラ１００の外観を示す図である。

図４のＥは、サブカメラ１１０（例えば、サブカメラ１１０のレンズ）がメインカメラ１０９（例えば、メインカメラ１０９のレンズ）の脇にメインカメラ１０９の中心に対し回転自在に取り付けられ、ステレオカメラ１０９の非使用時（非撮影時）はメインカメラ１０９の中心とサブカメラ１１０の中心とが鉛直線上に並び、使用時（撮影時）はメインカメラ１０９の中心とサブカメラ１１０の中心とが平行方向に並ぶステレオカメラ１００の外観を示す図である。例えば、ステレオカメラ１０９の非使用時から使用時への移行時のサブカメラ１１０の移動（すなわち、回転移動）を、ステレオカメラ１００の開閉可能な表示部４００の開閉やステレオカメラ１００の電源ＯＮに連動させてもよい。

図４のＦは、開閉可能な表示部４００を有し、サブカメラ１１０が該表示部に設置されたステレオカメラ１００であって、表示部４００に設置されたサブカメラ１１０（例えば、サブカメラ１１０のレンズ）は、前記表示部の開閉による前記表示部の回転方向にのみ移動可能としたステレオカメラ１００の外観を示す図である。すなわち、図４のＦに示すステレオカメラ１００は、ステレオカメラ１００の使用時に表示部４００とともに表示部４００の開閉の回転方向に移動したサブカメラ１００が、表示部４００の開閉の回転方向（例えば、鉛直方向を中心とした回転）以外の回転（例えば、平行方向を中心とした回転）ではその向きを変えないように構成している。

図４のＡ〜Ｆに示すテレオカメラ１００においては、メインカメラ１０９の中心とサブカメラ１１０の中心との距離（すなわち、メインカメラ１０９の中心とサブカメラ１１０の中心とを結ぶ基線の長さ）を人間の両目間隔より短く構成することもできる。また、図４のＢ〜Ｆに示すテレオカメラ１００においては、メインカメラ１０９の中心とサブカメラ１１０の中心が、撮影時に鉛直方向または斜め方向に並ぶように構成することもできる。

図４のＡ〜Ｆに示すテレオカメラ１００によれば、薄型でデザイン性に優れたステレオカメラ１００を実現することができる。さらに、図４のＢ、Ｃ、Ｅ、Ｆに示すステレオカメラ１００によれば、ステレオカメラ１００の非使用時の薄型化を実現するとともに、撮影時に、基線長をより長く確保することができるため高精度な距離データひいては三次元画像の撮影を実現できる。

図５は、本実施形態に係る三次元画像撮影システム１０の基準画像生成部１０１と参照画像生成部１０２との構成をより詳細に示す三次元画像撮影システム１０のブロック図である。なお、図５においては、三次元画像撮影システム１０の一部の構成を省略している。

以下、基準画像生成部１０１と参照画像生成部１０２との構成について説明する。

参照画像生成部１０２は、画像合成演算部５０４、切り出し演算部５０５、第２フレームメモリ５０３を有して構成される。

基準画像生成部１０１は、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）５００、サブサンプル部５０１、第１フレームメモリ５０２を有して構成される。

参照画像生成部１０２の画像合成演算部５０４は、ＨＤ画像とＭＣＵ画像の解像度に差があることで基準画像と参照画像の解像度に差がある場合に、基準画像と参照画像の解像度の差を小さくするために、参照画像（フレーム）の解像度を、時間的に異なる複数の参照画像を合成して参照画像の画素を補間することで参照画像の解像度を向上させる。すなわち、画像合成演算部５０４は、基準画像（フレーム）と同期した一の時間（以下、「基準時間」と称する）の参照画像と、基準時間に隣接する他の時間（以下、「隣接時間」と称する）に撮像された参照画像（望ましくは複数のフレーム）と、を合成し、基準時間における参照画像を補間することで参照画像の解像度を向上させる。

ここで、基準時間を設けるのは、基準画像と参照画像との時間が異なると、動いている被写体の位置が変わり、距離データを求める際のマッチングに誤差を生じ得るからである。

メインカメラとサブカメラは同期して動作している。それぞれのカメラが同じタイミングで画像を撮影し、出力している。フレームレートは同じであるか、一方が他方の整数倍であれば良い。距離データを作成するためには、同じタイミングで撮影された画像を使う必要がある。時間軸上の前後の画像から補間して、解像度の高い参照画像を作成する場合も、メインカメラの画像のタイミングに合わせて、同じタイミング(時刻)で撮影されたサブカメラの画像の被写体の位置関係を維持したまま補間処理を行う必要がある。

参照画像の解像度の向上手法としては、上記以外にも考えられる。例えば、参照画像のフレームの画素をその参照画像のフレーム内の情報のみを用いて高周波成分を補いながら補間するといった一般的な超解像技術により参照画像の解像度を向上させてもよい。この時ズームレンズの倍率に連動して、高周波成分の強調度合いを制御する。倍率が高いほど強調度合いを上げるようにする。

第２フレームメモリには、参照画像（または、ＭＣＵ画像）の複数のフレームを記憶させる。画像合成演算部５０４は、第２フレームメモリに記憶された複数のフレームを利用することで、基準時間における参照画像と、基準時間前後の隣接時間における参照画像とを合成し、基準時間における参照画像を補間することで参照画像の解像度を向上させることができる。すなわち、第２フレームメモリは、基準画像の複数のフレームを保持するとともに、基準画像のフレーム間および基準画像のフレームと参照画像のフレームとの位相調整をする機能を担う。

切り出し演算部５０５は、メインカメラ１０９から受信するズームデータに基づいて、画像合成演算部５０４が合成した参照画像の一部を切り出す。具体的には、メインカメラ１０９は、ズームレンズの位置を検知し、これに対応したズーム倍率を計算し、ズーム倍率をズームデータとして切り出し演算部５０４に送信する。ズーム倍率を受信した切り出し演算部５０５は、受信したズーム倍率に応じて画像合成演算部５０４が合成した参照画像の中心部の一部を切り出す。ズーム倍率を求めるには、レンズ位置検知以外に、レンズ駆動のためのモータの回転量を検知する方法、レンズに連動して動く部材の位置を検知する方法などがある。さらに、画像から推定するもあり、例えば、主要被写体を認識し、その大きさが同等になるよう領域を選択する方法や、画像輝度信号ヒストグラムが同じになる領域を選ぶ方法がある。

切り出し演算部５０５が参照画像の一部を切り出すのは、メインカメラ１０９がそのズーム機能により被写体をズームすることにより、ＨＤ画像とＭＣＵ画像とで被写体の範囲に相違が生じ得るため、ＨＤ画像とＭＣＵ画像との被写体の範囲を一致させる必要があるからである。切り出し演算部５０５による参照画像の一部の切り出しは電子ズームに相当する動作である。

切り出し演算部５０５は、切り出した参照画像を距離データ生成部１０３に送信する。

基準画像生成部１０２のＬＰＦ５００とサブサンプル部５０１とは、ＨＤ画像とＭＣＵ画像の解像度に差があることで基準画像と参照画像の解像度に差がある場合に、基準画像と参照画像の解像度の差を小さくするために、基準画像（フレーム）の解像度を低下させる。すなわち、ＬＰＦ５００で基準画像（または、ＨＤ画像）の周波数帯域の高周波数部分をカットして帯域制限した後、サブサンプル部５０１でサブサンプリングにより画素数を低下させる。これにより、基準画像と参照画像の解像度の差を小さくすることができる。基準画像の画質の低下量を決めるサブサンプル係数は、参照画像生成部１０２の切り出し演算部５０５において切り出した参照画像の画素数によって決定する。

第１フレームメモリには、サブサンプル５０１がサブサンプリングした基準画像のフレームを一時的に記憶させ、切り出し演算部５０５から出力される参照画像のフレームとの位相調整を行う。すなわち、第１フレームメモリは、基準時間における基準画像のフレームと参照画像のフレームとのフレーム位相を一致させて、距離データ生成部１０３に基準画像を出力する。

距離データ生成部１０３は、基準画像生成部１０１から受信した基準画像と、参照画像生成部１０２から受信した参照画像とから距離データを生成する。距離データを生成する際のマッチングに位相限定相関法を用いる場合は、基準画像と参照画像とを一旦フーリエ変換する。このとき、必要に応じて、フーリエ空間上で基準画像または参照画像の縮尺を変えることができる。具体的には、双方の画像に含まれる周波数成分が同等になるようにする。双方の画像の周波数スペクトルを比較し、同等のスペクトルになるように、高周波成分を制限または削減することになる。また、周波数スペクトルが同等となるように元の基準画像、参照画像の少なくとも一方にＬＰＦで帯域制限を行っても良い。上記をズームレンズの動きに連動して行う。ズーム倍率が高いほど、基準画像の帯域制限を強くする、または、周波数ドメインに変換した後に高周波成分を少なくする。逆に、ズーム倍率が低いほど、参照画像の帯域制限を強くする、または、周波数ドメインに変換した後に高周波成分を少なくする。帯域制限には多段ＬＰＦあるいは階層構造ＬＰＦなどを利用し、ズーム倍率に応じて段数を可変する。

図５のＭ１〜３のブロックは画像を記録および再生する記録再生部（第１記録再生手段、第２記録再生手段）を配置し得る場所を示している。

記録再生部をＭ１の箇所に配置することにより、記録再生部にＨＤ画像とＭＣＵ画像とを記録することができ、基準画像生成部１０１と参照画像生成部１０２とは、記録再生装置（第１記録再生手段）が再生したＨＤ画像とＭＣＵ画像とからそれぞれ基準画像と参照画像とを生成することができる。

図６のＡは、記録再生部をＭ１の箇所に配置したときの記録再生部に記録する内容を示す説明図である。

記録処理においては、メインカメラ１０９から出力されたＨＤ画像とサブカメラ１１０から出力されたＭＣＵ画像は、それぞれ圧縮されて記録再生部(記録メディア)に記録される。

再生処理においては、圧縮され記録されたＨＤ画像およびＭＣＵ画像は、それぞれ伸張されてそれぞれ基準画像および参照画像となり、これらに基づいて距離画像が生成され、基準画像と距離データとに基づいて視差画像が生成される。

このように、ＨＤ画像、ＭＣＵ画像ともカメラからの画像信号をそのまま記録再生装置に記録し、その再生信号を利用して後処理により基準画像と参照画像とを生成するようにすることにより、立体画像の奥行き感や被写体の位置、視点の位置、視点の方向といった三次元空間における被写体の位置関係を調整しながら三次元画像を生成することができる。また画像を回転させながら三次元化することも可能である。すなわち、生成する三次元画像の調整の自由度を向上させることができる。後処理としては、ビデオカメラ内だけでなく、ＰＣ上のソフトウェア処理や、ネットワーク上のコンピュータでの処理も含む。

記録再生装置をＭ２の箇所に配置することにより、記録再生装置にＨＤ画像と距離データとを記録することができ、視差画像生成部１０４は、記録再生装置が再生したＨＤ画像と距離データとから視差画像を生成することができる。

図６のＢは、記録再生部をＭ２の箇所に配置したときの記録再生部（第２記録再生手段）に記録する内容を示す説明図である。

記録処理においては、メインカメラ１０９から出力されたＨＤ画像は圧縮されて記録再生部に記録される。一方、サブカメラ１１０から出力されたＭＣＵ画像は記録再生部に記録されない。メインカメラ１０９から出力されたＨＤ画像と、サブカメラ１１０から出力されたＭＣＵ画像とに基づいて距離データが生成され、距離データが圧縮されて記録再生部に記録される。

再生処理においては、圧縮され記録されたＨＤ画像および距離データは、それぞれ伸張され、伸張されたＨＤ画像と距離データとに基づいて視差画像が生成される。

このように、記録再生装置をＭ２の箇所に配置することで、記録再生装置をＭ１の箇所に配置した場合と同様に、立体画像の奥行き感や被写体の位置といった三次元空間における被写体の位置関係を調整しながら三次元画像を生成することができる。すなわち、生成する三次元画像の調整の自由度を向上させることができる。Ｍ２の位置での記録再生は、カメラ内で距離データに基づく距離画像生成を行う必要があるが、距離画像はモノクロ信号で良く、Ｍ１の位置での記録再生に比べてデータ量が少なくてすむ利点がある。

記録再生装置をＭ３の箇所に配置することにより、記録再生装置にＨＤ画像と視差画像とを記録することができ、三次元画像撮影システム１０は、三次元画像または二次元画像の少なくともいずれかを、三次元画像であれば３Ｄモニタ１０７に、二次元画像であれば２Ｄモニタ５０６に表示することができる。カメラ内ですべての処理を行う必要があり、処理系の負荷が大きく、また処理の自由度が限定されるが、最も互換性の高い記録方式である。

図７は、本実施形態に係る三次元画像撮影システム１０の基準画像生成部１０１と参照画像生成部１０２とにおけるフレーム処理の内容を説明するための説明図である。

サブカメラ１１０からのＭＣＵ画像７０１は、参照画像としてフレームごとに順次第２フレームメモリに記憶される。ｎフレーム分のメモリがあり、最新のｎフレームを記録しておくようになっている。現在時刻のフレームが０で、過去のフレームがマイナスの数字、未来のフレームがプラスの数字が振ってある。(メインカメラのフレームも同様)。画像合成演算部５０４は、第２フレームメモリに記憶された基準時間(−２フレームのタイミング)前後の隣接時間における参照画像（図の斜線をいれたフレーム７０１ｂ）、を読み出す。画像合成演算部５０４が読み出す参照画像のフレーム７０１ｂのフレーム数は、例えば、４枚とすることができる。

画像合成演算部５０４は、読み出した参照画像のフレームと現在出力されているフレーム０を加えた５フレーム７０１ａを合成し、基準時間における参照画像のフレームを補間する。これにより、参照画像の解像度を基準画像の解像度に近づけることができるため、距離データを演算する際に実施するマッチングが容易となり、距離データの精度を向上することができるとともに、距離データを算出するための演算時間を短縮することができる。

切り出し演算部５０５は、メインカメラ１０９から受信するズームデータに基づいて、画像合成演算部５０４が合成した参照画像の一部（詳細には、参照画像のフレームの一部）を切り出す。参照画像の一部の切り出しは、メインカメラ１０９のレンズがズームレンズで、サブカメラ１１０が固定焦点レンズなどの固定倍率レンズの場合、メインカメラ１０９が光学的ズーム機能を用いることで基準画像と参照画像とで被写体の範囲に相違が生じるため、距離データを生成するためには、被写体の範囲を合わせる必要があるからである。切り出し演算部５０５による参照画像の一部の切り出しは、電子ズームと言い換えることができる。電子ズームで参照画像の一部の切り出しを行なうことで、参照画像の解像度が基準画像より低い場合は、参照画像の解像度に合わせるために基準画像の解像度を低下させる。

なお、参照画像の一部の切り出しによる参照画像の解像度低下を補填するために、画像合成演算部５０４による参照画像の解像度の向上の度合いをさらに増大させてもよい。

メインカメラ１０９からのＨＤ画像は、ＬＰＦ５００およびサブサンプル５０１で解像度を低下させ、切り出された参照画像の解像度に近づけた後、基準画像として、フレームごとにｎ／２フレーム分（この例では２フレーム分）第１フレームメモリに記憶される（７００）。

第１フレームメモリに基準画像を一時的に記憶させることで基準画像のフレーム位相を参照画像のフレーム位相に合わせた後、同じ位相（図の例では、−２のタイミングのフレーム）およびフレームレートを有する基準画像と参照画像は距離データ生成部に入力され、距離データが生成される。

メインカメラ１０９からのＨＤ画像と距離データとに基づいて、視差画像生成部１０４において視差画像が生成される。視差画像は、これを構成する右側画像と左側画像とを三次元モニタに送信することで三次元画像として３Ｄモニタ１０７表示される。

視差画像を構成する右側画像と左側画像のうちの一方は、二次元のＨＤ画像であるため、これを二次元画像として２Ｄモニタ５０６に表示することもできる。

以上、本発明の第１実施形態に係る三次元画像撮影システムおよび三次元画像撮影システム用カメラについて説明したが、本実施形態に係る三次元画像撮影システムおよび三次元画像撮影システム用カメラによれば、三次元画像撮影システムおよびこれに用いるカメラのサイズ、重量、およびコストの低減を実現することができる。

（第２実施形態）
本発明の第２実施形態に係る三次元画像撮影システムおよび三次元画像撮影システムについて詳細に説明する。第１実施形態と重複となる説明は省略する。

本実施形態が第１実施形態と異なる点は、第１実施形態においては、基準時間における参照画像を、基準時間および隣接時間における参照画像を合成して補間することで参照画像の解像度の向上を実現するのに対し、本実施形態においては、参照画像を、参照画像に基準画像を合成して補間する点である。

図８は、本実施形態に係る三次元画像撮影システムの構成を示すブロック図である。

参照画像生成部１０２は、フレームメモリ８００と画像合成演算部５０４とで構成される。

フレームメモリ８００には、基準画像（または、ＨＤ画像）のフレームと、参照画像（または、ＭＣＵ画像）のフレームと、が記憶される。

画像合成演算部５０４は、フレームメモリ８００に記憶された基準画像のフレームを利用し、同じくフレームメモリ８００に記憶された参照画像のフレームの画素を補間することで参照画像の解像度を向上させる。画像合成演算部５０４は、細かいエリアごとに基準点を目印に参照画像の画素を補間する。基準点としては、例えば、エッジなどの部分を利用して決定することができる。また、基準画像の画素で参照画像の画素を類推して参照画像の画素を補間することもできる。

以上、本発明の第２実施形態に係る三次元画像撮影システムについて説明したが、本実施形態による三次元画像撮影システムは、第１実施形態に係る三次元画像撮影システムと同等の効果を奏する。

以上、本発明について、実施形態により説明したが、本発明は上述した実施形態に限定されるものではない。

例えば、上記実施形態の説明においては、メインカメラ１０９で撮像する画像をＨＤ画像で、サブカメラ１１０で撮像する画像をＭＣＵ画像としているが、メインカメラ１０９で撮像する画像をＭＣＵ画像で、サブカメラ１１０で撮像する画像をＨＤ画像としてもよい。この場合は、参照画像の解像度の方が基準画像の解像度より高いこととなるが、ＨＤ画像よりＭＣＵ画像の解像度が高い場合もあり得る。参照画像の解像度の方が基準画像の解像度より高い場合は参照画像をサブサンプルして画素数を削減する。あるいはＦＦＴ後の周波数ドメインにて、高周波成分を制限する。あるいはＬＰＦにて帯域制限を行う。また、メインカメラ画素数より画素数の多いサブカメラを利用することもあり、この場合はズームの広角側と望遠側画素数の関係が逆になる場合もある。

また、三次元画像生成部１０５、制御部１０８、記録再生部１０６の全部または一部はステレオカメラに包含させてもよい。一方、三次元画像生成部１０５、制御部１０８の全部または一部は、例えば、民生用ＨＤレコーダとしての記録再生装置１０６に包含させてもよい。

基準画像生成、参照画像生成、距離画像生成、視差画像生成などの三次元画像生成はカメラ内で行う必要は必ずしも無く、記録したメインカメラ、サブカメラの画像から、ＰＣ上のソフトウェア処理や、ネットワーク上のコンピュータでの処理を利用して作成しても良い。

１０ 三次元画像撮影システム、
１００ ステレオカメラ、
１０１ 基準画像生成部、
１０２ 参照画像生成部、
１０３ 距離データ生成部、
１０４ 視差画像生成部、
１０５ 三次元画像生成部、
１０６ 記録再生部、
１０７ ３Ｄモニタ、
１０８ 制御部、
１０９ メインカメラ、
１１０ サブカメラ、
２００ 被写体、
４００ 表示部、
５００ ＬＰＦ、
５０１ サブサンプル、
５０２ 第１フレームメモリ、
５０３ 第２フレームメモリ、
５０４ 画像合成演算部、
５０５ 切り出し演算部、
８００ フレームメモリ。

Claims (23)

1. 第１光学系と第１光検知素子とを有する第１撮像部により二次元の第１画像を撮像する第１撮像手段と、
   前記第１光学系と異なる第２光学系と第２光検知素子とを有する第２撮像部により二次元の第２画像を撮像する第２撮像手段と、
   前記第１画像から基準画像を生成する基準画像生成手段と、
   前記第２画像から参照画像を生成する参照画像生成手段と、
   前記基準画像と前記参照画像とに基づいて水平方向の視差画像を生成する視差画像生成手段と、
   を有することを特徴とする三次元画像撮影システム。
2. 前記基準画像と前記参照画像の画素数に差があるときは、前記差を小さくするように前記基準画像の画素数または前記参照画像の画素数の少なくとも一方を調整する画素数調整手段をさらに有することを特徴とする請求項１に記載の三次元画像撮影システム。
3. 前記基準画像と前記参照画像とに基づいて被写体の距離データを演算する距離データ演算手段をさらに有し、
   前記視差画像生成手段は、前記第１画像または前記第２画像のいずれかと、前記距離データと、に基づいて前記視差画像を生成することを特徴とする請求項２に記載の三次元画像撮影システム。
4. 前記第１撮像部の中心と前記第２撮像部の中心とを結ぶ基線は、鉛直線に対して、平行または鋭角をなすことを特徴とする請求項１〜３のいずれかに記載の三次元画像撮影システム。
5. 前記基線の長さは、人間の両目間隔より短いことを特徴とする請求項４に記載の三次元画像撮影システム。
6. 前記第１撮像部または前記第２撮像部のいずれかは可動部材に設置されることにより、被写体の撮影時に所定位置まで移動させることを特徴とする請求項１〜５のいずれかに記載の三次元画像撮影システム。
7. 前記可動部材は、開閉可能な表示部であることを特徴とする請求項６に記載の三次元画像撮影システム。
8. 前記表示部に設置された前記第１撮像部または前記第２撮像部のいずれかは、前記表示部の開閉による前記表示部の回転方向にのみ移動可能であることを特徴とする請求項７に記載の三次元画像撮影システム。
9. 前記表示部は前記表示部が設置された前記表示部の開閉に連動して移動することを特徴とする請求項７または８に記載の三次元画像撮影システム。
10. 前記第１光学系または前記第２光学系のいずれか一方はズームレンズで他方は固定倍率レンズであることを特徴とする請求項１〜９のいずれかに記載の三次元画像撮影システム。
11. 前記参照画像生成手段は、前記基準画像と前記参照画像とを合成するか、複数の前記参照画像を合成するか、のいずれかにより前記参照画像を補間し、画素数を増加させ、または、超解像技術により前記参照画像を補間し、画素数を増加させることを特徴とする請求項１〜１０のいずれかに記載の三次元画像撮影システム。
12. 前記参照画像生成手段は、前記基準画像に関する第１画像が撮像された時間と同じ基準時間に撮像された前記第２画像に関する前記参照画像と、前記基準時間に隣接する隣接時間に撮像された前記第２画像に関する前記参照画像と、を合成して、前記基準時間における前記参照画像を補間し、画素数を増加させることを特徴とする請求項１１に記載の三次元画像撮影システム。
13. 前記基準画像生成手段は、前記第１画像に対し画素数を減少させた基準画像を生成することを特徴とする請求項１〜１２に記載の三次元画像撮影システム。
14. 前記基準画像生成手段が前記第１画像に対し画素数を減少させた基準画像を生成するか、または、前記参照画像生成手段が前記第２画像に対し画素数を増大または減少させた参照画像を生成するか、のいずれかを少なくとも行い、
    前記基準画像生成手段が減少させる前記基準画像の画素数の減少量と、前記参照画像生成手段が増大または減少させる前記参照画像の画素数の増大量または減少量とは、前記ズームレンズのズーム倍率に連動して決定されることを特徴とする請求項１１〜１２のいずれかに記載の三次元画像撮影システム。
15. 前記基準画像生成手段が周波数ドメインに変換された前記第１画像に対し高周波成分を削減させた基準画像を生成するか、または、前記参照画像生成手段が周波数ドメインに変換された前記第２画像に対し高周波成分を強調させた参照画像を生成するか、のいずれかを少なくとも行い、
    前記基準画像生成手段が削減させる前記基準画像の高周波成分の削減量と、前記参照画像生成手段が強調または削減させる前記参照画像の高周波成分の強調量または削減量とは、前記ズームレンズのズーム倍率に連動して決定されることを特徴とする請求項１１〜１２のいずれかに記載の三次元画像撮影システム。
16. 前記距離データ演算手段は、位相限定相関法を用いることにより距離データを求めることを特徴とする請求項３〜１５のいずれかに記載の三次元画像撮影システム。
17. 前記第１画像または前記第２画像の少なくともいずれかを記録および再生する第１記録再生手段をさらに有し、
    前記基準画像生成手段と前記参照画像生成手段とは、前記第１記録再生手段が再生した前記第１画像と前記第２画像とから、それぞれ前記基準画像と前記参照画像とを生成することを特徴とする請求項１〜１６のいずれかに記載の三次元画像撮影システム。
18. 前記第１画像と、前記距離データとを記録および再生する第２記録再生手段をさらに有し、
    前記視差画像生成手段は、前記第２記録再生手段が再生した前記第１画像と前記距離データとから前記視差画像を生成することを特徴とする請求項１〜１６のいずれかに記載の三次元画像撮影システム。
19. 被写体を照明する照明手段をさらに有することを特徴とする請求項１〜１８のいずれかに記載の三次元画像撮影システム。
20. 前記照明手段は、ランダムパターンの光を被写体に照射することを特徴とする請求項１９に記載の三次元画像撮影システム。
21. 前記照明手段は、撮影周期に連動して点滅することを特徴とする請求項１９または２０に記載の三次元画像撮影システム。
22. 前記ランダムパターンの光が放射されたときの被写体の前記基準画像および前記参照画像を利用して、前記距離データを生成することを特徴とする請求項２１に記載の三次元画像撮影システム。
23. 第１光学系と第１光検知素子とを有する第１撮像部により二次元の第１画像を撮像する第１撮像手段と、
    前記第１光学系と異なる第２光学系と第２光検知素子とを有する第２撮像部により二次元の第２画像を撮像する第２撮像手段と、
    を有することを特徴とする三次元画像撮影システム用カメラ。