JP2005072674A - 三次元画像生成装置および三次元画像生成システム - Google Patents
三次元画像生成装置および三次元画像生成システム Download PDFInfo
- Publication number
- JP2005072674A JP2005072674A JP2003209035A JP2003209035A JP2005072674A JP 2005072674 A JP2005072674 A JP 2005072674A JP 2003209035 A JP2003209035 A JP 2003209035A JP 2003209035 A JP2003209035 A JP 2003209035A JP 2005072674 A JP2005072674 A JP 2005072674A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- eye image
- image
- eye
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
【課題】撮影装置を駆動させる手段等の余分な機構を設けることなく、高画質な三次元画像を生成する。
【解決手段】三次元画像生成装置１０は、左目用画像データにおける被写体の位置と右目用画像データにおける被写体の位置とのずれを検出する左右ずれ検出部３２と、左右ずれ検出部３２により検出した左右画像における被写体の位置のずれに応じて、左目用画像データにおける被写体の位置と右目用画像データにおける被写体の位置とがほぼ一致するように、左目用画像データから画像を切り出す左目用画像切出部３３Ｌと、右目用画像データから画像を切り出す右目用画像切出部３３Ｒと、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒにより切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成部３４とを備えている。これにより、高画質の三次元画像を生成できる。
【選択図】 図１
【解決手段】三次元画像生成装置１０は、左目用画像データにおける被写体の位置と右目用画像データにおける被写体の位置とのずれを検出する左右ずれ検出部３２と、左右ずれ検出部３２により検出した左右画像における被写体の位置のずれに応じて、左目用画像データにおける被写体の位置と右目用画像データにおける被写体の位置とがほぼ一致するように、左目用画像データから画像を切り出す左目用画像切出部３３Ｌと、右目用画像データから画像を切り出す右目用画像切出部３３Ｒと、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒにより切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成部３４とを備えている。これにより、高画質の三次元画像を生成できる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、２つの画像撮影装置より得られた画像データから、三次元画像を生成する三次元画像生成装置および当該三次元画像生成装置を備える三次元画像生成システムに関するものである。
【０００２】
【従来の技術】
２つの撮影光学系（カメラ）を用いて同じ被写体を撮影し、各カメラで取り込んだ映像を左目用画像、及び右目用画像として利用することで三次元画像を得る方法は、従来から数多く提案されている。
【０００３】
一般に、左右のカメラのレンズ光軸を平行に設置した場合では、被写体が遠方にある場合は良好な撮影を行うことができるが、近距離撮影においては、左右のレンズ間隔を近づけるには物理的に限界があるため、平行光軸のままでは三次元撮影が困難となる。
【０００４】
そこで被写体までの距離に応じて左右のカメラの輻輳角を適宜変更することで三次元画像を得る方法が提供されたが、左右のカメラに輻輳角を持たせて被写体を撮影すると、左右の画像に奥行きと関係のない像の歪みが生じ、立体視が困難となり、特に、近距離撮影における輻輳角は比較的大きいので、左右画像の歪みが極めて問題になる。
【０００５】
このような問題を解決するため、２台のカメラを備えた三次元画像撮影装置において、輻輳角に起因する画像の歪みを小さくするために複数の画像撮影装置の中心に被写体が来るように画像撮影装置の方向を制御する歪み補正手段を設けた立体画像撮影装置が開示されている（特許文献１参照）。
【０００６】
上記立体画像撮影装置を用いた立体画像撮影技術について簡単に説明する。まず、測距手段によってカメラから被写体までの距離（被写体距離）を検出し、被写体距離に応じて左右のカメラのレンズ間距離、および輻輳角を変更して被写体を撮影する。そして、各カメラで取得した画像データを画像処理回路に導き、ここで輻輳角に応じて、画像の歪みを補正する画像処理を行うというものである。
【０００７】
この技術により輻輳角を持たせた２台のカメラで共通の被写体を撮影する場合、各カメラで取得される画像の歪みを補正手段によって輻輳角に応じて補正するので、被写体までの距離にかかわらず、歪みの無い左右画像を得ることができ、高画質な三次元画像を提供できる。
【０００８】
【特許文献１】
特開平１１−３４１５２２号公報（１９９９年１２月１０日公開）
【０００９】
【発明が解決しようとする課題】
しかしながら、上述のような従来の立体画像撮影装置では、立体画像データを構成する複数の画像間における被写体の位置のずれや画像の歪みを、カメラ自体を駆動制御することで補正している。そのため、例えば、輻輳角可変機構、電動駆動手段（カメラ支持装置、回転テーブル）等のカメラを駆動する機構を付加する必要があり、そうした駆動機構を持たないものと比較して装置自体が大きくなり、費用も高価になるという問題があった。
【００１０】
このような、装置自体の大型化、高コスト化は、デバイスの小型化、低価格化という流れに逆行するものであり、小型化、低コストでありながら、高画質の三次元画像を得ることができる技術の開発が強く求められていた。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、撮影装置を駆動させる手段等の余分な機構を設けることなく、高画質な三次元画像を生成できる三次元画像生成装置および三次元画像生成システムを提供することにある。
【００１２】
【課題を解決するための手段】
本発明者は、上記の課題に鑑み鋭意検討した結果、三次元画像データを構成する複数の画像データを取得した後、取得した画像データ自体に加工を行って、三次元画像データを補正することにより、装置自身に特別な機構を付加することなく高画質の三次元画像データを構成することが可能な三次元画像生成装置および三次元画像生成システムを開発することに成功し、本発明を完成させるに至った。
【００１３】
すなわち、本発明にかかる三次元画像生成装置は、上記の課題を解決するために、左目用画像撮影装置と右目用画像撮影装置とを用いて同一被写体を撮影し、左目用画像撮影装置から得られる左目用画像データと右目用画像撮影装置から得られる右目用画像データとを用いて、当該被写体の三次元画像を生成する三次元画像生成装置において、上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とのずれを検出する左右ずれ検出手段と、上記左右ずれ検出手段により検出した左右目用の画像データ間における被写体の位置のずれに応じて、上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とがほぼ一致するように、上記左目用画像データから画像切出領域を指定して画像を切り出す左目用画像切出手段と、上記右目用画像データから画像切出領域を指定して画像を切り出す右目用画像切出手段と、を備えていることを特徴としている。
【００１４】
三次元画像データを構成するための、左目用画像データと右目用画像データとが固定された２つの撮影装置によって撮影された場合、左右目用の画像データにおいて被写体の位置がずれるため、このままの画像データでは高画質の三次元画像が得られなかった。
【００１５】
しかし、上記の構成によれば、固定された撮影装置から得られる左右目用の画像データにおける被写体の位置のずれを検出し、そのずれに応じて、撮影された被写体の位置がほぼ一致するように各画像データから画像を切り出すという処理方法を行うことができ、左目用の画像データと右目用画像データとにおける被写体の位置のずれが補正できる。そして、切り出された２つのデータそのものが三次元画像データである場合、これら２つの画像データに基づいて、高画質の三次元画像を生成することができる。
【００１６】
このように、本発明にかかる三次元画像生成装置は、画像を見る人間が立体感を容易に得られるように画像データ自体を処理するため、撮影装置を被写体の位置にあわせて移動させるための手段を設けなくても、容易に、高画質の三次元画像を生成することができる。
【００１７】
したがって、本発明の三次元画像生成装置を用いることにより、従来必要とされた撮影装置自体を制御する機構を備える必要がなくなり、立体画像撮影装置（三次元画像生成システム）等の小型化、低コスト化を達成することができる。
【００１８】
なお、「左目用画像データにおける被写体の位置」とは、左目用画像データにおける被写体の位置を示す座標をいい、「右目用画像データにおける被写体の位置」とは、右目用画像データにおける被写体の位置を示す座標をいう。また、「上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とのずれ」とは、上記座標の差をいい、上記「ずれを検出する」方法としては、例えば、左目用画像データの被写体における特徴点の座標と右目用画像データの被写体における特徴点の座標との差を求める方法が挙げられるが、これに限定されるものではない。
【００１９】
また、「ほぼ一致する」とは、完全に一致する場合、および、わずかにずれるが実質的に一致する場合を含む概念である。また、実質的に一致とは、人間の目によって観察した場合、一致して見える程度の状態をいう。
【００２０】
また、本発明にかかる三次元画像生成装置は、さらに、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成手段を備えていることを特徴としている。
【００２１】
上記の構成によれば、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データが三次元画像データでない場合でも、これら２つの画像データを三次元画像データとして特別なフォーマットへと容易に加工することができる。これにより、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データが三次元画像データでない場合でも、高画質の三次元画像データを容易に生成することができる。
【００２２】
また、本発明にかかる三次元画像生成装置は、さらに、上記左目用画像データから被写体の特徴点を抽出する左目用画像特徴点抽出手段と、上記右目用画像データから被写体の特徴点を抽出する右目用画像特徴点抽出手段とを備えており、上記左目用画像特徴点抽出手段と右目用画像特徴点抽出手段とは、どちらか一方の画像特徴点抽出手段が画像データから特徴点を抽出した後、もう一方の画像特徴点抽出手段が、当該先に抽出した特徴点に対応する特徴点を画像データから抽出するとともに、それぞれ抽出した特徴点の位置に関する情報を左右ずれ検出手段に供給するものであり、上記左右ずれ検出手段は、上記「ずれ」として、上記左目用画像特徴点抽出手段から得られた左目用画像データにおける特徴点の位置と、右目用画像特徴点抽出手段から得られた右目用画像データにおける特徴点の位置とのずれを検出するものであることを特徴としている。
【００２３】
上記の構成によれば、三次元画像データを構成するための、左目用画像データおよび右目用画像データから、特徴点を抽出することができる。そして、この特徴点に基づいて、左右目用の画像データにおける被写体の位置のずれを容易に検出することができる。
【００２４】
なお、「特徴点の位置に関する情報」とは、例えば、特徴点が画素である場合、その画素の座標をいう。
【００２５】
このため、例えば、上記左目用画像特徴点抽出手段は、左目用画像データにおける同一垂直座標を有する画素の集合に含まれる各画素について、当該各画素と水平方向に隣り合う画素との差分を求めることにより、特徴的な画素を選択し、当該特徴的な画素を左目用画像データにおける特徴点として抽出するものであり、上記右目用画像特徴点抽出手段は、右目用画像データにおける同一垂直座標を有する画素の集合に含まれる各画素について、当該各画素と水平方向に隣り合う画素との差分を求めることにより、特徴的な画素を選択し、当該特徴的な画素を右目用画像データにおける特徴点として抽出するものとして機能し、特徴点を抽出することができる。
【００２６】
これにより、自動的に左右目用の画像データから特徴点を抽出することができる。
【００２７】
また、本発明にかかる三次元画像生成装置は、さらに、上記左目用画像切出手段および右目用画像切出手段に対して、画像切出領域を指定するための情報を入力する入力手段を備えていることを特徴としている。
【００２８】
上記の構成によれば、自動的に画像を切り出すことができるだけでなく、さらに、ユーザーが任意で切り出す画像の領域を指定して、画像を切り出すことも可能となる。このため、多様な応用が可能となる。
【００２９】
また、本発明にかかる三次元画像生成装置は、左目用画像撮影装置と右目用画像撮影装置とを用いて同一被写体を撮影し、左目用画像撮影装置から得られる左目用画像データと右目用画像撮影装置から得られる右目用画像データとを用いて、当該被写体の三次元画像を生成する三次元画像生成装置において、上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とがほぼ一致するように、上記左目用画像データと右目用画像データから画像切出領域を指定する入力手段と、上記入力手段によって、指定された画像切出領域に基づいて、左目用画像データから画像を切り出す左目用画像切出手段と、上記右目用画像データから画像を切り出す右目用画像切出手段と、を備えていることを特徴としている。
【００３０】
上記の構成によれば、左目用画像データおよび右目用画像データそのものが、三次元画像データを構成する場合、これらの２つの画像データから、ユーザーが任意で切り出す画像の領域を指定して、画像を切り出すことも可能となる。そして、切り出した画像データに基づいて高画質の三次元画像を生成することができる。
【００３１】
また、本発明にかかる三次元画像生成装置は、さらに、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成手段を備えていることを特徴としている。
【００３２】
上記の構成によれば、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データが三次元画像データでない場合でも、これら２つの画像データを三次元画像データとして特別なフォーマットへと容易に加工することができる。これにより、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データが三次元画像データでない場合でも、高画質の三次元画像データを容易に生成することができる。
【００３３】
また、本発明にかかる三次元画像生成システムは、上記の課題を解決するために、上記いずれかの三次元画像生成装置と、左目用画像データを得るための左目用画像撮影装置と、右目用画像データを得るための右目用画像撮影装置と、上記三次元画像生成装置により生成された画像データに基づいて三次元画像を表示するための出力装置とを備えていることを特徴としている。
【００３４】
上記の構成によれば、固定された撮影装置によって撮影された画像データを三次元画像生成装置によって処理した後、当該処理後の画像データに基づいて、容易に高画質の三次元画像を得ることができる。このため、撮影装置自体を駆動させる手段を設ける必要がなく、三次元画像生成システムが大型化することを防止できるとともに、コストの抑制も可能となる。
【００３５】
【発明の実施の形態】
本発明では、左目用画像撮影装置と右目用画像撮影装置とによって撮影された画像データ自体を補正演算することで、余分な構成（例えば、カメラを駆動させるための駆動機構など）を設けることなく、単純な構成で高画質の三次元画像を得ることを目的としている。
【００３６】
本発明でいう「左目用画像撮影装置」、「右目用画像撮影装置」とは、人間の左右の目に見たてた２つの画像撮影装置（例えば、カメラ等）のうち、人間の左目に対応する画像撮影装置を「左目用画像撮影装置」といい、人間の右目に対応する画像撮影装置を「右目用画像撮影装置」という。
【００３７】
また、本発明で対象としている「三次元画像」とは、右目用画像撮影装置と左目用画像撮影装置とを用いて、別々の撮影した右目用の画像と左目用の画像とを、３Ｄメガネや３Ｄ液晶のような三次元画像の可視化装置を介して、あるいは、ステレオ視と呼ばれる立体画像可視化方法によって、人間が右目と左目とで見ることにより、擬似的な立体感が得られる画像をいう。
【００３８】
ここで、上記いずれの可視化装置または可視化方法においても、人間の脳が三次元的な立体感を得られるようにするためには、なるべく人間の目に近い形で、右目用・左目用それぞれの最終的な２枚の画像を生成する必要がある。三次元的な立体画像を得るための問題点を図４（ａ）、（ｂ）を用いて説明する。図４（ａ）は、被写体と撮影装置との距離が近いとき、２つの撮影装置を用いて被写体を撮影した場合の補正前後の画像データを示す図であり、図４（ｂ）は、被写体と撮影装置との距離が遠いとき、２つの撮影装置を用いて被写体を撮影した場合の補正前後の画像データを示す図である。図４（ａ）、（ｂ）に示すように、２つの固定された撮影装置を用いて右目用・左目用それぞれの画像を撮影すると、撮影装置から被写体までの距離に応じて右目用・左目用それぞれの画像内に現れる被写体の位置が、異なってしまう。
【００３９】
すなわち、図４（ａ）のように、撮影装置と被写体とが近い場合、左目用画像撮影装置１Ｌで撮られた左目用生画像（補正前）データ１０１における被写体の位置は、画像の右端によっており、右目用画像撮影装置１Ｒで撮られた右目用生画像データ２０１における被写体の位置は、画像の左端によっている。一方、図４（ｂ）に示すように、左目用画像撮影装置１Ｌで撮られた左目用生画像データ１０３における被写体の位置は、画像の中央よりやや右端によっており、右目用画像撮影装置１Ｒで撮られた右目用生画像データ２０３における被写体の位置は、画像の中央よりやや左端によっている。
【００４０】
このように、左目用生画像データと右目用生画像データとにおける被写体の位置のずれが大きくなると、これらの画像データに基づいて、人間の脳で擬似的に、三次元的な立体感を得ることが難しくなる。
【００４１】
そこで、本願発明者は、図４（ａ）における補正後画像データ１０２、２０２、または図４（ｂ）における補正後画像データ１０４、２０４のように、左目用画像データと右目用画像データとにおける被写体の位置のずれ具合が小さくなるように、生画像データから被写体を含む画像を切り出すことで、擬似的に三次元的な立体感を得やすいように、画像データを補正演算する三次元画像生成装置を開発した。
【００４２】
以下、添付の図１〜図６に基づいて、本発明の三次元画像生成装置および三次元画像生成システムに関する実施の一形態について詳細に説明する。
【００４３】
まず、図１に本実施の形態にかかる三次元画像生成システム１０の構成を表すブロック図を示す。同図に示すように、三次元画像生成システム１０は、左目用画像撮影装置１Ｌと、右目用画像撮影装置１Ｒと、演算装置３と、出力装置４とを備えている。
【００４４】
ここで、左目用画像撮影装置１Ｌと右目用画像撮影装置１Ｒとは、実際の被写体の撮影を行うための画像撮影装置である。左目用画像撮影装置１Ｌは、左目用の画像データを撮影するためのものであって、右目用画像撮影装置１Ｒは、右目用の画像データを撮影するためのものである。また、演算装置３は、左目用画像撮影装置１Ｌおよび右目用画像撮影装置１Ｒにより撮影された画像データに基づき補正処理演算を行って、高画質の三次元画像データを生成する三次元画像生成装置である。
【００４５】
出力装置４は、演算装置（三次元画像生成装置）３により生成された三次元画像データを外部に出力するためのものである。
【００４６】
まず、左目用画像撮影装置１Ｌおよび右目用画像撮影装置１Ｒについて説明する。
【００４７】
左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒの詳細な構造は図示しないが、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒは同一の光学系を有し、それぞれ同一仕様の撮影レンズと、撮像手段たる固体撮像素子（ＣＣＤ）とを備えている。左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒは、原則として、人間の左右の目のように、被写体を同一の高さ（垂直座標が同じ）から捉える構成になっており、撮影開始から撮影終了までの間、固定されている。
【００４８】
なお、撮像手段は、ＣＣＤに限らず他の形式の撮像素子でもよく、また撮像管でもよい。撮影レンズは、複数枚のレンズが組み合わされて成り、光量を調節する絞り機構、像面を光軸方向に移動調節するフォーカス調節機構、及び撮影倍率（焦点距離）を可変調節するズーム機構を備えている（いずれも不図示）。また、これら絞り機構、フォーカス調節機構、及びズーム機構には、それぞれ対応するモータ等の電動駆動手段が設けられており、不図示の制御装置によって前記各電動駆動手段が制御され、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒの絞り、フォーカス（焦点）、及びズーム（焦点距離）等の調節が行われる。撮影レンズを介してＣＣＤの受光面に結像された画像光は、ＣＣＤによってその光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、ＣＣＤ駆動回路から加えられる駆動パルスに基づいて順次転送され、信号電荷に応じた電圧信号として読み出される。そして、ＣＣＤから読み出された信号は演算装置３に加えられる。なお、上記各電動駆動手段を制御する制御装置の機能は、演算装置３が行うこともできる。
【００４９】
次に、本発明の特徴的な部分である演算装置３について詳細に説明する。上述したように、本実施の形態における演算装置３は、本発明でいう三次元画像生成装置として機能するものである。
【００５０】
図１に示すように、演算装置３は、左目用画像特徴点抽出部３１Ｌ、右目用画像特徴点抽出部３１Ｒ、左右ずれ検出部３２、左目用画像切出部３３Ｌ、右目用画像切出部３３Ｒ、三次元画像データ生成部３４を備えている。
【００５１】
以下、演算装置３が有する各種手段の機能を、図２におけるフローチャートに従って説明し、本実施の形態における演算装置（三次元画像生成装置）３が行うデータ処理について説明する。
【００５２】
まず、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒによって、それぞれ被写体が撮影され、左目用画像データ、右目用画像データが生成され、演算装置３に送られる（ステップＳ１）。
【００５３】
次いで、ステップＳ２、Ｓ３では、左目用画像特徴点抽出部３１Ｌ、右目用画像特徴点抽出部３１Ｒが、ステップＳ１において得られた左目用画像データ、右目用画像データのそれぞれから特徴点を抽出する。なお、ここでいう「特徴点を抽出」とは、立体的な画像を得る対象の被写体の画像データにおける特徴的な部分を選択することをいい、この「特徴点」としては、例えば、画像データにおける被写体の特徴的な部分を構成する画素が挙げられ、「特徴点の抽出」としては、例えば、画素の座標を選択する処理が挙げられる。
【００５４】
すなわち、ステップＳ２において、まず、左目用画像特徴点抽出部３１Ｌが、左目用の画像データの同一垂直座標を持つ画素の集合に含まれる各画素に対して、水平方向に隣り合う画素との差分を求める。ここで、同一垂直座標を有する画素について考慮するのは、左目用画像撮影装置１Ｌと右目用画像撮影装置１Ｒとは、原則として、人間の左右の目のように、被写体を同一の垂直座標で捉えるため、被写体の垂直座標は原則として同じであると考えられるためである。
【００５５】
ＲＧＢ座標系を使用したデジタル画像データにおいて、隣り合う画素との差分を求める方法としては、例えば、以下の数式（１）にしたがって求められるＤ１に基づいて求める方法が挙げられる。
【００５６】
Ｄ１ ＝ ｜Ｐｌｒ−Ｏｌｒ｜＋｜Ｐｌｒ−Ｑｌｒ｜＋｜Ｐｌｇ−Ｏｌｇ｜＋｜Ｐｌｇ−Ｑｌｇ｜＋｜Ｐｌｂ−Ｏｌｂ｜＋｜Ｐｌｂ−Ｑｌｂ｜ ・・・（１）
この数式（１）において、Ｐｌｒ Ｐｌｇ Ｐｌｂ は、差分を求める対象としている画素（これをＰｌとする）のＲ成分、Ｇ成分、Ｂ成分を表し、Ｏｌｒ Ｏｌｇ Ｏｌｂ は差分を求める対象としている画素Ｐｌの左隣りの画素ＯｌのＲ成分、Ｇ成分、Ｂ成分を表し、Ｑｌｒ Ｑｌｇ Ｑｌｂ は差分を求める対象としている画素Ｐｌの右隣りの画素ＱｌのＲ成分、Ｇ成分、Ｂ成分を表しているとする。
【００５７】
上記数式（１）を用いて、左目用の画像データの同一垂直座標を有する画素の集合に含まれる各画素のＤ１の値のうち最も大きい画素を選択することで、左目用画像データから特徴点を抽出することができる。そして、左目用画像特徴点抽出部３１Ｌは、この抽出した特徴点（画素）の情報（画素の成分、差分、座標等）を右目用画像特徴点抽出部３１Ｒと、左右ずれ検出部３２とに供給する。
【００５８】
次に、ステップＳ３において、右目用画像特徴点抽出部３１Ｒが、右目用画像データにおける画素のうち、ステップＳ２において選択したＰｌに対応する（相当する）特徴点を選択する。例えば、右目用画像特徴点抽出部３１Ｒは、Ｐｌと最も近い右目用画像データにおける画素（これをＰｒとする）を選択する。ここでいう「Ｐｌと最も近い右目用画像データにおける画素」とは、以下の数式（２）によって表されるＤ２の値が最も小さい値を有する画素のことを示す。
【００５９】
Ｄ２ ＝ ｜Ｐｌｒ−Ｐｒｒ｜＋｜Ｐｌｇ−Ｐｒｇ｜＋｜Ｐｌｂ−Ｐｒｂ｜＋｜Ｏｌｒ−Ｏｒｒ｜＋｜Ｏｌｇ−Ｏｒｇ｜＋｜Ｏｌｂ−Ｏｒｂ｜＋｜Ｑｌｒ−Ｑｒｒ｜＋｜Ｑｌｇ−Ｑｒｇ｜＋｜Ｑｌｂ−Ｑｒｂ｜ ・・・（２）
この数式（２）において、Ｐｒｒ Ｐｒｇ Ｐｒｂ、Ｏｒｒ Ｏｒｇ Ｏｒｂ、および、Ｑｒｒ Ｑｒｇ Ｑｒｂは、上記ステップＳ２において説明したものと同様に、差分を求める対象としている画素（これをＰｒとする）のＲ成分、Ｇ成分、Ｂ成分、画素Ｐｒの左隣りの画素ＯｒのＲ成分、Ｇ成分、Ｂ成分、画素Ｐｒの右隣りの画素ＱｒのＲ成分、Ｇ成分、Ｂ成分を表している。
【００６０】
右目用画像特徴点抽出部３１Ｒは、このようにして左目用画像データにおける画素Ｐｌと対応する右目用画像データにおける画素、すなわち「Ｐｌと最も近い右目用画像データにおける画素」を選択する。そして、右目用画像特徴点抽出部３１Ｒは、この抽出した特徴点（画素）の情報（画素の成分、差分、座標等）を左右ずれ検出部３２に供給する。また、このときの、Ｐｌの左目画像データ内における水平座標をＰｌｘとし、Ｐｒの右目画像データ内における水平座標をＰｒｘとする。
【００６１】
なお、本実施の形態では、まずステップＳ２において左目用画像データの処理を行い、次いで、その結果に基づき、ステップＳ３において右目用画像データの処理を行っているが、これに限定されるものではない。例えば、ステップＳ２において右目用画像データの処理を行い、その結果に基づき、ステップＳ３において左目用画像データの処理を行ってもよい。
【００６２】
続いて、ステップＳ４において、左右ずれ検出部３２が、ステップＳ２、Ｓ３において取得された特徴点の位置のずれを検出する。具体的には、左右ずれ検出部３２が、ステップＳ２、Ｓ３において取得された特徴点の水平座標であるＰｌｘとＰｒｘとの差を求めることにより、左右の画像における被写体の位置のずれを検出する。このＰｌｘとＰｒｘとの差の値が大きいほど、左右の画像における被写体の位置のずれ（水平方向の位置のずれ）が大きいことになる。
【００６３】
次いで、ステップＳ５では、ステップＳ４において上記左右ずれ検出部３２により検出した左右画像における特徴点のずれに応じて、上記左目用画像データにおける特徴点の位置と上記右目用画像データにおける特徴点の位置とがほぼ一致するように、左目用画像切出部３３Ｌが上記左目用画像データから画像を切り出し、また、右目用画像切出部３３Ｒが上記右目用画像データから画像を切り出す。すなわち、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒは、ステップＳ４において求めた画素の差分に応じて左右それぞれの画像データから実際に出力すべき画素の集合を決定する。具体的には、以下のように行う。
【００６４】
まず、例えば、左目用画像データにおける特徴点（画素）の水平座標Ｐｌｘと、右目用画像データにおける特徴点（画素）の水平座標Ｐｒｘを一致するように画像を切り出す場合を考える。
【００６５】
図３に示すように、補正前（切り出される前）の左目用画像データのサイズ、補正前の右目用画像データのサイズが一致しており、これら画像データのサイズにおける水平方向の大きさをＩｗ、垂直方向の大きさをＩｈとする（図３中の実線の長方形）。そして、左目用画像切出部３３Ｌまたは右目用画像切出部３３Ｒによって、切り出される画像データの水平方向の大きさをＣｗ、垂直方向の大きさをＣｈとする（図３中の破線の長方形）。このとき、左目用画像切出部３３Ｌは、補正前の左目用画像データから、以下の範囲（画像切出領域）を指定して、画像を切り出す。
・切り出す範囲の左上隅座標Ａ（（Ｐｒｘ−Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２，（Ｉｈ−Ｃｈ）÷２））
・切り出す範囲の右下隅座標Ｂ（（Ｐｒｘ−Ｐｌｘ＋Ｃｗ＋Ｉｗ）÷２，（Ｉｈ＋Ｃｈ）÷２））
一方、右目用画像切出部３３Ｒは、補正前の右目用画像データから以下の範囲（画像切出領域）を指定して、画像を切り出す。
・切り出す範囲の左上隅座標Ｄ（（Ｐｌｘ−Ｐｒｘ−Ｃｗ＋Ｉｗ）÷２，（Ｉｈ−Ｃｈ）÷２））
・切り出す範囲の右下隅座標Ｅ（（Ｐｌｘ−Ｐｒｘ＋Ｃｗ＋Ｉｗ）÷２，（Ｉｈ＋Ｃｈ）÷２））
上記のように補正前の左右目用の画像データから、画像切出領域を指定して画像を切り出すことにより、補正前の画像データのなるべく中心を取り出しながら、左目用画像データにおける特徴点（画素）と右目用画像データにおける特徴点（画素）との位置がほぼ一致するように切り出すことが可能となる。
【００６６】
以下に、上記の画像データ補正処理方法（画像データ切出方法）によって切り出された画像の中心が、補正前の画像のほぼ中心と一致することを示す。
【００６７】
まず、切り出された左目用画像データの水平方向の中心は、下記の数式（３）により表される。
【００６８】
（（Ｐｒｘ−Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２＋（Ｐｒｘ−Ｐｌｘ＋Ｃｗ＋Ｉｗ）÷２）÷２＝（Ｐｒｘ−Ｐｌｘ＋Ｉｗ）÷２ ・・・（３）
また、切り出された右目用画像データの水平方向の中心は、下記の数式（４）により表される。
【００６９】
（（Ｐｌｘ−Ｐｒｘ−Ｃｗ＋Ｉｗ）÷２＋（Ｐｌｘ−Ｐｒｘ＋Ｃｗ＋Ｉｗ）÷２）÷２＝（Ｐｌｘ−Ｐｒｘ＋Ｉｗ）÷２ ・・・（４）
このため、切り出された左目用画像データの水平方向の中心と右目用画像データの水平方向の中心とは、以下の数式（５）により表される。
【００７０】
（（Ｐｒｘ−Ｐｌｘ＋Ｉｗ）÷２＋（Ｐｌｘ−Ｐｒｘ＋Ｉｗ）÷２）÷２＝Ｉｗ÷２ ・・・（５）
したがって、上記数式（５）で表される、切り出された左目用画像データの水平方向の中心と右目用画像データの水平方向の中心とは、補正前の画像の中心となっていることがわかる。なお、垂直方向の中心に関しては自明であるため、ここでは説明を省略する。
【００７１】
次に、切り出された左目用画像データにおける特徴点（画素）の座標と、切り出された右目用画像データにおける特徴点（画素）の座標とがほぼ一致することを示す。
【００７２】
切り出し後の左目用画像データにおける特徴点（画素）の水平位置の座標は、下記の数式（６）で表される。
【００７３】
（Ｐｒｘ−Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２＋Ｐｌｘ＝（Ｐｒｘ＋Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２ ・・・（６）
一方、切り出し後の右目用画像データにおける特徴点（画素）の水平位置の座標は、下記の数式（７）で表される。
【００７４】
（Ｐｌｘ−Ｐｒｘ−Ｃｗ＋Ｉｗ）÷２＋Ｐｒｘ＝（Ｐｒｘ＋Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２ ・・・（７）
したがって、切り出し後の左目用画像データにおける特徴点（画素）の座標と、切り出し後の右目用画像データにおける特徴点（画素）の座標とが一致することがわかる。なお、垂直座標に関しては自明であるため、ここでは説明を省略する。
【００７５】
以上のように、ステップＳ５において、左目用画像切出部３３Ｌまたは右目用画像切出部３３Ｒは、上述の画像補正処理を用いて切り出し位置を選択し、最適な三次元画像データを切り出す。具体的には、図４（ａ）（ｂ）における、補正後左目用画像データ１０２、補正後右目用画像データ２０２、または補正後左目用画像データ１０４、補正後右目用画像データ２０４のように画像を切り出すことになる。
【００７６】
最後に、ステップＳ６では、三次元画像データ生成部３４が、ステップＳ５において切り出された画像データに基づき、三次元画像データを生成して出力装置４へと出力する。
【００７７】
演算装置３で処理された画像データは、デコード化された後、出力装置４に供給される。こうして、左目用画像撮影装置１Ｌおよび右目用画像撮影装置１Ｒが捉えた映像が、出力装置４の画面に表示される。
【００７８】
上記の構成の三次元画像生成システム１０によれば、三次元画像データを構成するための、左目用画像データと右目用画像データとが固定された左目用画像撮影装置１Ｌおよび右目用画像撮影装置１Ｒにより撮影された場合でも、三次元画像生成装置（演算装置３）により、これらの画像データから、撮影された被写体の位置がほぼ一致するように画像を切り出すことによって、画像を見る人間が立体感を容易に得られるように、左目用画像データおよび右目用画像データ自体を補正することができる。このため、撮影装置を被写体の位置にあわせて移動させるための手段を設けることなく、容易に、高画質の三次元画像を生成することができる。
【００７９】
すなわち、本実施の形態にかかる三次元画像生成装置（演算装置３）を備える三次元画像生成システム１０は、従来必要とされた撮影装置自体を制御する機構を備える必要がなくなり、立体画像撮影装置等の小型化、低コスト化を達成することができる。
【００８０】
また、演算装置３における画像補正処理は、原則として自動で行われるが、例えば、三次元画像生成装置に入力装置５を設けた場合は、ユーザーが任意で切り出す画像を指定することもできる。
【００８１】
この場合、図５に示すように入力装置５を追加した三次元画像生成装置３’を使用することとなる。入力装置５は、上記三次元画像生成装置の動作に関わる情報を入力可能とするものであれば特に限定されるものではなく、キーボードやタブレット、あるいはマウス等の従来公知の入力手段を好適に用いることができる。具体的には、例えば、左右画像のずれ具合（Ｐｒｘ−Ｐｌｘ）を数値入力するようなものであればよい。切り出す範囲の座標のうち入力画像サイズと出力画像サイズが決定していれば、左右画像のずれ具合（Ｐｒｘ−Ｐｌｘ）が決定するだけで出力する画像を一意に決定することができるために、このような入力装置でも十分に目的を達成することが可能である。また、入力装置５は撮影した画像内に表示される枠を移動させるようなものであってもよい。
【００８２】
また、三次元画像を自動的に生成せず、もっぱらユーザーが行う三次元画像生成装置も本発明に含まれる。例えば、図６に示すように、入力装置５と、左目用画像切出部３３Ｌと、右目用画像切出部３３Ｒと、三次元画像データ生成部３４とを備えている三次元画像生成装置３’’が挙げられる。
【００８３】
このような構成の三次元画像生成装置３’’は、ユーザーが任意で画像切出領域を指定して、画像を切り出すことができる。このため、処理が非常に単純になるという利点がある。
【００８４】
なお、ここまで、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データが、そのままでは三次元画像データとして出力装置に対して出力できない場合に、三次元画像生成装置（演算装置）３内に三次元画像データ生成部３４を設けて、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データを三次元画像データとして生成する（例えば、特別なフォーマットへと加工する）ものについて説明してきた。しかし、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データがそのまま三次元画像データとして利用可能であり、当該２つの切り出された画像データを三次元画像として生成する必要がない場合は、三次元画像生成装置（演算装置）３内に三次元画像データ生成部３４を設ける必要はない。すなわち、かかる場合は、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データをそのまま三次元画像データとして出力装置４に出力することもできる。このため、図１において、三次元画像生成装置（演算装置）３内に三次元画像データ生成部３４を備えていない三次元画像生成装置（演算装置）３も本発明に含まれる。
【００８５】
また、上記出力装置４は、生成した立体画像を３Ｄメガネや３Ｄ液晶のような三次元画像の可視化装置、あるいは、ステレオ視と呼ばれる方法を用いて可視化するようなものであればよく、ＣＲＴディスプレイや、液晶ディスプレイ等といった各種可視化装置が好適に用いられるが特に限定されるものではない。
【００８６】
さらに、図７に示すように、三次元画像生成装置（演算装置）３に三次元画像データ生成部３４を備えず、出力装置４’内に三次元画像データ生成部３４を備える三次元画像生成システム１０も本発明に含まれる。かかる三次元画像生成システム１０の場合、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データを直接出力装置４’に対して入力することにより、出力装置４’内の三次元画像データ生成部３４が当該２つの切り出された画像データに基づいて三次元画像を生成し、その後、三次元画像を出力することになる。なお、本三次元画像生成システム１０では、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データがそのまま三次元画像データとして利用できる場合であってもよい。この場合は、出力装置４’内で三次元画像データ生成部３４が機能する必要はない。
【００８７】
また、上記出力装置４には、印刷手段が設けられていてもよい。上記印刷手段は、出力装置４で表示可能な画像情報をＰＰＣ用紙等の記録材に記録（印刷・画像形成）する。具体的には、公知のインクジェットプリンタやレーザープリンタ等の画像形成装置が好適に用いられるが特に限定されるものではない。なお、出力装置４としては、上記印刷手段等に限定されるものではなく、その他の出力手段を備えていてもよい。
【００８８】
また、本実施の形態にかかる三次元画像生成システム１０は、記憶手段を備えていてもよい。上記記憶手段は、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒにより撮影され、演算装置３により所定の処理が施された画像データを記憶するものである。なお、上記記憶手段に記憶される情報は、必要に応じて圧縮処理されてもよい。具体的には、例えば、ＲＡＭやＲＯＭ等の半導体メモリ、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスク、ＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系等、従来公知の各種記憶手段を好適に用いることができる。
【００８９】
また、上記記憶手段は、上記三次元画像生成システムと一体化されていて一つの装置になっていてもよいが、別体となっている外部記憶装置となっていてもよく、さらには、一体化された記憶手段と外部記憶装置とが両方とも備えられている構成であってもよい。例えば、一体化した記憶手段としては、内蔵型のハードディスクや装置に組み込まれたフロッピー（登録商標）ディスクドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブ等が挙げられ、外部記憶装置としては、外付けハードディスクや外付け型の上記各種ディスクドライブ等が挙げられる。また、上記記憶手段に保存した画像データは演算装置３の制御に基づいて読み出しが可能であり、読み出された画像データは解凍処理された後、演算装置３を介して出力装置４に出力される。こうして、出力装置４には再生画像が表示される。
【００９０】
なお、上記演算装置３は、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒ、および出力装置４への制御を行う装置と共通で使用することができる。この場合、三次元画像生成システムに特別な機構を用意しなくても画像の補正を行うことが可能となるため、より一層の小型化が可能となる。
【００９１】
さらに、上述の説明では、被写体を示す画像光をＣＣＤ等の撮像装置を用いて電気信号に変換するカメラ（電子カメラ）を搭載した三次元画像生成システムを例に述べたが、本発明は、画像光を写真フイルムその他の感光材料に記録するカメラ（銀塩カメラ）を用いた三次元画像生成システムにも適用できる。また、本発明は静止画像を撮影する装置のみならず、ビデオカメラの如く、動画を撮影する装置にも適用できる。
【００９２】
また、本実施の形態にかかる三次元画像生成装置（演算装置３）、三次元画像生成システム１０の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００９３】
すなわち、三次元画像生成装置（演算装置３）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ ）、上記プログラムを格納したＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、上記プログラムを展開するＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである三次元画像生成装置（演算装置３）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記三次元画像生成装置（演算装置３）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００９４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００９５】
また、三次元画像生成装置（演算装置３）を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。
【００９６】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。
【００９７】
例えば、本発明にかかる三次元画像生成システムは、三次元画像データを生成する画像生成装置にて、左目用に撮影された画像と、右目用に撮影された画像から、自動的に異なる範囲を切り出して三次元画像データを生成するように構成されていてもよい。これにより、人間が三次元画像データの立体感を得ることを容易にするように補正することができる。
【００９８】
また、上記の三次元画像生成システムは、自動的に画像を切り出すのではなく、装置を使用する人間が切り出す範囲を指定するように構成されていてもよい。
【００９９】
また、上記の三次元画像生成システムは、切り出した結果の画像を表示するように構成されていてもよい。
【０１００】
【発明の効果】
本発明の三次元画像撮影装置は、以上のように、左目用画像データにおける被写体の位置と右目用画像データにおける被写体の位置とのずれを検出する左右ずれ検出手段と、上記左右ずれ検出手段により検出した左右目用の画像データ間における被写体の位置のずれに応じて、上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とがほぼ一致するように、上記左目用画像データから画像切出領域を指定して画像を切り出す左目用画像切出手段と、上記右目用画像データから画像切出領域を指定して画像を切り出す右目用画像切出手段と、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成手段と、を備えている構成である。
【０１０１】
それゆえ、固定された撮影装置から得られる左右目用の画像データにおける被写体の位置のずれを検出し、そのずれに応じて、撮影された被写体の位置がほぼ一致するように各画像データから画像を切り出すという処理方法を行うことができ、左目用の画像データと右目用画像データとにおける被写体の位置のずれが補正できる。
【０１０２】
このように、本発明にかかる三次元画像生成装置は、画像を見る人間が立体感を容易に得られるように画像データ自体を処理するため、撮影装置を被写体の位置にあわせて移動させるための手段を設けなくても、容易に、高画質の三次元画像を生成することができるという効果を奏する。
【０１０３】
したがって、本発明の三次元画像生成装置を用いることにより、従来必要とされた撮影装置自体を制御する機構を備える必要がなくなり、三次元画像生成システムの小型化、低コスト化を達成することができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態にかかる三次元画像生成システムの機能ブロック図である。
【図２】本実施の形態にかかる三次元画像生成装置が行う処理のフローチャートである。
【図３】補正前（切り出し前）の左右目用の画像データと補正後（切り出し後）の左右目用の画像データの関係を示す図である。
【図４】図４（ａ）は、被写体と撮影装置との距離が近いとき、２つの撮影装置を用いて被写体を撮影した場合の補正前後の画像データを示す図であり、図４（ｂ）は、被写体と撮影装置との距離が遠いとき、２つの撮影装置を用いて被写体を撮影した場合の補正前後の画像データを示す図である。
【図５】本実施の形態にかかる他の三次元画像生成システムの機能ブロック図である。
【図６】本実施の形態にかかる他の三次元画像生成システムの機能ブロック図である。
【図７】本実施の形態にかかる他の三次元画像生成システムの機能ブロック図である。
【符号の説明】
１Ｌ 左目用画像撮影装置
１Ｒ 右目用画像撮影装置
３ 演算装置（三次元画像生成装置）
３’ 演算装置（三次元画像生成装置）
３’’ 演算装置（三次元画像生成装置）
４ 出力装置
４’ 出力装置
５ 入力装置（入力手段）
１０ 三次元画像生成システム
３２ 左右ずれ検出部（左右ずれ検出手段）
３４ 三次元画像データ生成部（三次元画像データ生成手段）
３１Ｌ 左目用画像特徴点抽出部（左目用画像特徴点抽出手段）
３１Ｒ 右目用画像特徴点抽出部（右目用画像特徴点抽出手段）
３３Ｌ 左目用画像切出部（左目用画像切出手段）
３３Ｒ 右目用画像切出部（右目用画像切出手段）
【発明の属する技術分野】
本発明は、２つの画像撮影装置より得られた画像データから、三次元画像を生成する三次元画像生成装置および当該三次元画像生成装置を備える三次元画像生成システムに関するものである。
【０００２】
【従来の技術】
２つの撮影光学系（カメラ）を用いて同じ被写体を撮影し、各カメラで取り込んだ映像を左目用画像、及び右目用画像として利用することで三次元画像を得る方法は、従来から数多く提案されている。
【０００３】
一般に、左右のカメラのレンズ光軸を平行に設置した場合では、被写体が遠方にある場合は良好な撮影を行うことができるが、近距離撮影においては、左右のレンズ間隔を近づけるには物理的に限界があるため、平行光軸のままでは三次元撮影が困難となる。
【０００４】
そこで被写体までの距離に応じて左右のカメラの輻輳角を適宜変更することで三次元画像を得る方法が提供されたが、左右のカメラに輻輳角を持たせて被写体を撮影すると、左右の画像に奥行きと関係のない像の歪みが生じ、立体視が困難となり、特に、近距離撮影における輻輳角は比較的大きいので、左右画像の歪みが極めて問題になる。
【０００５】
このような問題を解決するため、２台のカメラを備えた三次元画像撮影装置において、輻輳角に起因する画像の歪みを小さくするために複数の画像撮影装置の中心に被写体が来るように画像撮影装置の方向を制御する歪み補正手段を設けた立体画像撮影装置が開示されている（特許文献１参照）。
【０００６】
上記立体画像撮影装置を用いた立体画像撮影技術について簡単に説明する。まず、測距手段によってカメラから被写体までの距離（被写体距離）を検出し、被写体距離に応じて左右のカメラのレンズ間距離、および輻輳角を変更して被写体を撮影する。そして、各カメラで取得した画像データを画像処理回路に導き、ここで輻輳角に応じて、画像の歪みを補正する画像処理を行うというものである。
【０００７】
この技術により輻輳角を持たせた２台のカメラで共通の被写体を撮影する場合、各カメラで取得される画像の歪みを補正手段によって輻輳角に応じて補正するので、被写体までの距離にかかわらず、歪みの無い左右画像を得ることができ、高画質な三次元画像を提供できる。
【０００８】
【特許文献１】
特開平１１−３４１５２２号公報（１９９９年１２月１０日公開）
【０００９】
【発明が解決しようとする課題】
しかしながら、上述のような従来の立体画像撮影装置では、立体画像データを構成する複数の画像間における被写体の位置のずれや画像の歪みを、カメラ自体を駆動制御することで補正している。そのため、例えば、輻輳角可変機構、電動駆動手段（カメラ支持装置、回転テーブル）等のカメラを駆動する機構を付加する必要があり、そうした駆動機構を持たないものと比較して装置自体が大きくなり、費用も高価になるという問題があった。
【００１０】
このような、装置自体の大型化、高コスト化は、デバイスの小型化、低価格化という流れに逆行するものであり、小型化、低コストでありながら、高画質の三次元画像を得ることができる技術の開発が強く求められていた。
【００１１】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、撮影装置を駆動させる手段等の余分な機構を設けることなく、高画質な三次元画像を生成できる三次元画像生成装置および三次元画像生成システムを提供することにある。
【００１２】
【課題を解決するための手段】
本発明者は、上記の課題に鑑み鋭意検討した結果、三次元画像データを構成する複数の画像データを取得した後、取得した画像データ自体に加工を行って、三次元画像データを補正することにより、装置自身に特別な機構を付加することなく高画質の三次元画像データを構成することが可能な三次元画像生成装置および三次元画像生成システムを開発することに成功し、本発明を完成させるに至った。
【００１３】
すなわち、本発明にかかる三次元画像生成装置は、上記の課題を解決するために、左目用画像撮影装置と右目用画像撮影装置とを用いて同一被写体を撮影し、左目用画像撮影装置から得られる左目用画像データと右目用画像撮影装置から得られる右目用画像データとを用いて、当該被写体の三次元画像を生成する三次元画像生成装置において、上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とのずれを検出する左右ずれ検出手段と、上記左右ずれ検出手段により検出した左右目用の画像データ間における被写体の位置のずれに応じて、上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とがほぼ一致するように、上記左目用画像データから画像切出領域を指定して画像を切り出す左目用画像切出手段と、上記右目用画像データから画像切出領域を指定して画像を切り出す右目用画像切出手段と、を備えていることを特徴としている。
【００１４】
三次元画像データを構成するための、左目用画像データと右目用画像データとが固定された２つの撮影装置によって撮影された場合、左右目用の画像データにおいて被写体の位置がずれるため、このままの画像データでは高画質の三次元画像が得られなかった。
【００１５】
しかし、上記の構成によれば、固定された撮影装置から得られる左右目用の画像データにおける被写体の位置のずれを検出し、そのずれに応じて、撮影された被写体の位置がほぼ一致するように各画像データから画像を切り出すという処理方法を行うことができ、左目用の画像データと右目用画像データとにおける被写体の位置のずれが補正できる。そして、切り出された２つのデータそのものが三次元画像データである場合、これら２つの画像データに基づいて、高画質の三次元画像を生成することができる。
【００１６】
このように、本発明にかかる三次元画像生成装置は、画像を見る人間が立体感を容易に得られるように画像データ自体を処理するため、撮影装置を被写体の位置にあわせて移動させるための手段を設けなくても、容易に、高画質の三次元画像を生成することができる。
【００１７】
したがって、本発明の三次元画像生成装置を用いることにより、従来必要とされた撮影装置自体を制御する機構を備える必要がなくなり、立体画像撮影装置（三次元画像生成システム）等の小型化、低コスト化を達成することができる。
【００１８】
なお、「左目用画像データにおける被写体の位置」とは、左目用画像データにおける被写体の位置を示す座標をいい、「右目用画像データにおける被写体の位置」とは、右目用画像データにおける被写体の位置を示す座標をいう。また、「上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とのずれ」とは、上記座標の差をいい、上記「ずれを検出する」方法としては、例えば、左目用画像データの被写体における特徴点の座標と右目用画像データの被写体における特徴点の座標との差を求める方法が挙げられるが、これに限定されるものではない。
【００１９】
また、「ほぼ一致する」とは、完全に一致する場合、および、わずかにずれるが実質的に一致する場合を含む概念である。また、実質的に一致とは、人間の目によって観察した場合、一致して見える程度の状態をいう。
【００２０】
また、本発明にかかる三次元画像生成装置は、さらに、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成手段を備えていることを特徴としている。
【００２１】
上記の構成によれば、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データが三次元画像データでない場合でも、これら２つの画像データを三次元画像データとして特別なフォーマットへと容易に加工することができる。これにより、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データが三次元画像データでない場合でも、高画質の三次元画像データを容易に生成することができる。
【００２２】
また、本発明にかかる三次元画像生成装置は、さらに、上記左目用画像データから被写体の特徴点を抽出する左目用画像特徴点抽出手段と、上記右目用画像データから被写体の特徴点を抽出する右目用画像特徴点抽出手段とを備えており、上記左目用画像特徴点抽出手段と右目用画像特徴点抽出手段とは、どちらか一方の画像特徴点抽出手段が画像データから特徴点を抽出した後、もう一方の画像特徴点抽出手段が、当該先に抽出した特徴点に対応する特徴点を画像データから抽出するとともに、それぞれ抽出した特徴点の位置に関する情報を左右ずれ検出手段に供給するものであり、上記左右ずれ検出手段は、上記「ずれ」として、上記左目用画像特徴点抽出手段から得られた左目用画像データにおける特徴点の位置と、右目用画像特徴点抽出手段から得られた右目用画像データにおける特徴点の位置とのずれを検出するものであることを特徴としている。
【００２３】
上記の構成によれば、三次元画像データを構成するための、左目用画像データおよび右目用画像データから、特徴点を抽出することができる。そして、この特徴点に基づいて、左右目用の画像データにおける被写体の位置のずれを容易に検出することができる。
【００２４】
なお、「特徴点の位置に関する情報」とは、例えば、特徴点が画素である場合、その画素の座標をいう。
【００２５】
このため、例えば、上記左目用画像特徴点抽出手段は、左目用画像データにおける同一垂直座標を有する画素の集合に含まれる各画素について、当該各画素と水平方向に隣り合う画素との差分を求めることにより、特徴的な画素を選択し、当該特徴的な画素を左目用画像データにおける特徴点として抽出するものであり、上記右目用画像特徴点抽出手段は、右目用画像データにおける同一垂直座標を有する画素の集合に含まれる各画素について、当該各画素と水平方向に隣り合う画素との差分を求めることにより、特徴的な画素を選択し、当該特徴的な画素を右目用画像データにおける特徴点として抽出するものとして機能し、特徴点を抽出することができる。
【００２６】
これにより、自動的に左右目用の画像データから特徴点を抽出することができる。
【００２７】
また、本発明にかかる三次元画像生成装置は、さらに、上記左目用画像切出手段および右目用画像切出手段に対して、画像切出領域を指定するための情報を入力する入力手段を備えていることを特徴としている。
【００２８】
上記の構成によれば、自動的に画像を切り出すことができるだけでなく、さらに、ユーザーが任意で切り出す画像の領域を指定して、画像を切り出すことも可能となる。このため、多様な応用が可能となる。
【００２９】
また、本発明にかかる三次元画像生成装置は、左目用画像撮影装置と右目用画像撮影装置とを用いて同一被写体を撮影し、左目用画像撮影装置から得られる左目用画像データと右目用画像撮影装置から得られる右目用画像データとを用いて、当該被写体の三次元画像を生成する三次元画像生成装置において、上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とがほぼ一致するように、上記左目用画像データと右目用画像データから画像切出領域を指定する入力手段と、上記入力手段によって、指定された画像切出領域に基づいて、左目用画像データから画像を切り出す左目用画像切出手段と、上記右目用画像データから画像を切り出す右目用画像切出手段と、を備えていることを特徴としている。
【００３０】
上記の構成によれば、左目用画像データおよび右目用画像データそのものが、三次元画像データを構成する場合、これらの２つの画像データから、ユーザーが任意で切り出す画像の領域を指定して、画像を切り出すことも可能となる。そして、切り出した画像データに基づいて高画質の三次元画像を生成することができる。
【００３１】
また、本発明にかかる三次元画像生成装置は、さらに、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成手段を備えていることを特徴としている。
【００３２】
上記の構成によれば、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データが三次元画像データでない場合でも、これら２つの画像データを三次元画像データとして特別なフォーマットへと容易に加工することができる。これにより、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データが三次元画像データでない場合でも、高画質の三次元画像データを容易に生成することができる。
【００３３】
また、本発明にかかる三次元画像生成システムは、上記の課題を解決するために、上記いずれかの三次元画像生成装置と、左目用画像データを得るための左目用画像撮影装置と、右目用画像データを得るための右目用画像撮影装置と、上記三次元画像生成装置により生成された画像データに基づいて三次元画像を表示するための出力装置とを備えていることを特徴としている。
【００３４】
上記の構成によれば、固定された撮影装置によって撮影された画像データを三次元画像生成装置によって処理した後、当該処理後の画像データに基づいて、容易に高画質の三次元画像を得ることができる。このため、撮影装置自体を駆動させる手段を設ける必要がなく、三次元画像生成システムが大型化することを防止できるとともに、コストの抑制も可能となる。
【００３５】
【発明の実施の形態】
本発明では、左目用画像撮影装置と右目用画像撮影装置とによって撮影された画像データ自体を補正演算することで、余分な構成（例えば、カメラを駆動させるための駆動機構など）を設けることなく、単純な構成で高画質の三次元画像を得ることを目的としている。
【００３６】
本発明でいう「左目用画像撮影装置」、「右目用画像撮影装置」とは、人間の左右の目に見たてた２つの画像撮影装置（例えば、カメラ等）のうち、人間の左目に対応する画像撮影装置を「左目用画像撮影装置」といい、人間の右目に対応する画像撮影装置を「右目用画像撮影装置」という。
【００３７】
また、本発明で対象としている「三次元画像」とは、右目用画像撮影装置と左目用画像撮影装置とを用いて、別々の撮影した右目用の画像と左目用の画像とを、３Ｄメガネや３Ｄ液晶のような三次元画像の可視化装置を介して、あるいは、ステレオ視と呼ばれる立体画像可視化方法によって、人間が右目と左目とで見ることにより、擬似的な立体感が得られる画像をいう。
【００３８】
ここで、上記いずれの可視化装置または可視化方法においても、人間の脳が三次元的な立体感を得られるようにするためには、なるべく人間の目に近い形で、右目用・左目用それぞれの最終的な２枚の画像を生成する必要がある。三次元的な立体画像を得るための問題点を図４（ａ）、（ｂ）を用いて説明する。図４（ａ）は、被写体と撮影装置との距離が近いとき、２つの撮影装置を用いて被写体を撮影した場合の補正前後の画像データを示す図であり、図４（ｂ）は、被写体と撮影装置との距離が遠いとき、２つの撮影装置を用いて被写体を撮影した場合の補正前後の画像データを示す図である。図４（ａ）、（ｂ）に示すように、２つの固定された撮影装置を用いて右目用・左目用それぞれの画像を撮影すると、撮影装置から被写体までの距離に応じて右目用・左目用それぞれの画像内に現れる被写体の位置が、異なってしまう。
【００３９】
すなわち、図４（ａ）のように、撮影装置と被写体とが近い場合、左目用画像撮影装置１Ｌで撮られた左目用生画像（補正前）データ１０１における被写体の位置は、画像の右端によっており、右目用画像撮影装置１Ｒで撮られた右目用生画像データ２０１における被写体の位置は、画像の左端によっている。一方、図４（ｂ）に示すように、左目用画像撮影装置１Ｌで撮られた左目用生画像データ１０３における被写体の位置は、画像の中央よりやや右端によっており、右目用画像撮影装置１Ｒで撮られた右目用生画像データ２０３における被写体の位置は、画像の中央よりやや左端によっている。
【００４０】
このように、左目用生画像データと右目用生画像データとにおける被写体の位置のずれが大きくなると、これらの画像データに基づいて、人間の脳で擬似的に、三次元的な立体感を得ることが難しくなる。
【００４１】
そこで、本願発明者は、図４（ａ）における補正後画像データ１０２、２０２、または図４（ｂ）における補正後画像データ１０４、２０４のように、左目用画像データと右目用画像データとにおける被写体の位置のずれ具合が小さくなるように、生画像データから被写体を含む画像を切り出すことで、擬似的に三次元的な立体感を得やすいように、画像データを補正演算する三次元画像生成装置を開発した。
【００４２】
以下、添付の図１〜図６に基づいて、本発明の三次元画像生成装置および三次元画像生成システムに関する実施の一形態について詳細に説明する。
【００４３】
まず、図１に本実施の形態にかかる三次元画像生成システム１０の構成を表すブロック図を示す。同図に示すように、三次元画像生成システム１０は、左目用画像撮影装置１Ｌと、右目用画像撮影装置１Ｒと、演算装置３と、出力装置４とを備えている。
【００４４】
ここで、左目用画像撮影装置１Ｌと右目用画像撮影装置１Ｒとは、実際の被写体の撮影を行うための画像撮影装置である。左目用画像撮影装置１Ｌは、左目用の画像データを撮影するためのものであって、右目用画像撮影装置１Ｒは、右目用の画像データを撮影するためのものである。また、演算装置３は、左目用画像撮影装置１Ｌおよび右目用画像撮影装置１Ｒにより撮影された画像データに基づき補正処理演算を行って、高画質の三次元画像データを生成する三次元画像生成装置である。
【００４５】
出力装置４は、演算装置（三次元画像生成装置）３により生成された三次元画像データを外部に出力するためのものである。
【００４６】
まず、左目用画像撮影装置１Ｌおよび右目用画像撮影装置１Ｒについて説明する。
【００４７】
左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒの詳細な構造は図示しないが、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒは同一の光学系を有し、それぞれ同一仕様の撮影レンズと、撮像手段たる固体撮像素子（ＣＣＤ）とを備えている。左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒは、原則として、人間の左右の目のように、被写体を同一の高さ（垂直座標が同じ）から捉える構成になっており、撮影開始から撮影終了までの間、固定されている。
【００４８】
なお、撮像手段は、ＣＣＤに限らず他の形式の撮像素子でもよく、また撮像管でもよい。撮影レンズは、複数枚のレンズが組み合わされて成り、光量を調節する絞り機構、像面を光軸方向に移動調節するフォーカス調節機構、及び撮影倍率（焦点距離）を可変調節するズーム機構を備えている（いずれも不図示）。また、これら絞り機構、フォーカス調節機構、及びズーム機構には、それぞれ対応するモータ等の電動駆動手段が設けられており、不図示の制御装置によって前記各電動駆動手段が制御され、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒの絞り、フォーカス（焦点）、及びズーム（焦点距離）等の調節が行われる。撮影レンズを介してＣＣＤの受光面に結像された画像光は、ＣＣＤによってその光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、ＣＣＤ駆動回路から加えられる駆動パルスに基づいて順次転送され、信号電荷に応じた電圧信号として読み出される。そして、ＣＣＤから読み出された信号は演算装置３に加えられる。なお、上記各電動駆動手段を制御する制御装置の機能は、演算装置３が行うこともできる。
【００４９】
次に、本発明の特徴的な部分である演算装置３について詳細に説明する。上述したように、本実施の形態における演算装置３は、本発明でいう三次元画像生成装置として機能するものである。
【００５０】
図１に示すように、演算装置３は、左目用画像特徴点抽出部３１Ｌ、右目用画像特徴点抽出部３１Ｒ、左右ずれ検出部３２、左目用画像切出部３３Ｌ、右目用画像切出部３３Ｒ、三次元画像データ生成部３４を備えている。
【００５１】
以下、演算装置３が有する各種手段の機能を、図２におけるフローチャートに従って説明し、本実施の形態における演算装置（三次元画像生成装置）３が行うデータ処理について説明する。
【００５２】
まず、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒによって、それぞれ被写体が撮影され、左目用画像データ、右目用画像データが生成され、演算装置３に送られる（ステップＳ１）。
【００５３】
次いで、ステップＳ２、Ｓ３では、左目用画像特徴点抽出部３１Ｌ、右目用画像特徴点抽出部３１Ｒが、ステップＳ１において得られた左目用画像データ、右目用画像データのそれぞれから特徴点を抽出する。なお、ここでいう「特徴点を抽出」とは、立体的な画像を得る対象の被写体の画像データにおける特徴的な部分を選択することをいい、この「特徴点」としては、例えば、画像データにおける被写体の特徴的な部分を構成する画素が挙げられ、「特徴点の抽出」としては、例えば、画素の座標を選択する処理が挙げられる。
【００５４】
すなわち、ステップＳ２において、まず、左目用画像特徴点抽出部３１Ｌが、左目用の画像データの同一垂直座標を持つ画素の集合に含まれる各画素に対して、水平方向に隣り合う画素との差分を求める。ここで、同一垂直座標を有する画素について考慮するのは、左目用画像撮影装置１Ｌと右目用画像撮影装置１Ｒとは、原則として、人間の左右の目のように、被写体を同一の垂直座標で捉えるため、被写体の垂直座標は原則として同じであると考えられるためである。
【００５５】
ＲＧＢ座標系を使用したデジタル画像データにおいて、隣り合う画素との差分を求める方法としては、例えば、以下の数式（１）にしたがって求められるＤ１に基づいて求める方法が挙げられる。
【００５６】
Ｄ１ ＝ ｜Ｐｌｒ−Ｏｌｒ｜＋｜Ｐｌｒ−Ｑｌｒ｜＋｜Ｐｌｇ−Ｏｌｇ｜＋｜Ｐｌｇ−Ｑｌｇ｜＋｜Ｐｌｂ−Ｏｌｂ｜＋｜Ｐｌｂ−Ｑｌｂ｜ ・・・（１）
この数式（１）において、Ｐｌｒ Ｐｌｇ Ｐｌｂ は、差分を求める対象としている画素（これをＰｌとする）のＲ成分、Ｇ成分、Ｂ成分を表し、Ｏｌｒ Ｏｌｇ Ｏｌｂ は差分を求める対象としている画素Ｐｌの左隣りの画素ＯｌのＲ成分、Ｇ成分、Ｂ成分を表し、Ｑｌｒ Ｑｌｇ Ｑｌｂ は差分を求める対象としている画素Ｐｌの右隣りの画素ＱｌのＲ成分、Ｇ成分、Ｂ成分を表しているとする。
【００５７】
上記数式（１）を用いて、左目用の画像データの同一垂直座標を有する画素の集合に含まれる各画素のＤ１の値のうち最も大きい画素を選択することで、左目用画像データから特徴点を抽出することができる。そして、左目用画像特徴点抽出部３１Ｌは、この抽出した特徴点（画素）の情報（画素の成分、差分、座標等）を右目用画像特徴点抽出部３１Ｒと、左右ずれ検出部３２とに供給する。
【００５８】
次に、ステップＳ３において、右目用画像特徴点抽出部３１Ｒが、右目用画像データにおける画素のうち、ステップＳ２において選択したＰｌに対応する（相当する）特徴点を選択する。例えば、右目用画像特徴点抽出部３１Ｒは、Ｐｌと最も近い右目用画像データにおける画素（これをＰｒとする）を選択する。ここでいう「Ｐｌと最も近い右目用画像データにおける画素」とは、以下の数式（２）によって表されるＤ２の値が最も小さい値を有する画素のことを示す。
【００５９】
Ｄ２ ＝ ｜Ｐｌｒ−Ｐｒｒ｜＋｜Ｐｌｇ−Ｐｒｇ｜＋｜Ｐｌｂ−Ｐｒｂ｜＋｜Ｏｌｒ−Ｏｒｒ｜＋｜Ｏｌｇ−Ｏｒｇ｜＋｜Ｏｌｂ−Ｏｒｂ｜＋｜Ｑｌｒ−Ｑｒｒ｜＋｜Ｑｌｇ−Ｑｒｇ｜＋｜Ｑｌｂ−Ｑｒｂ｜ ・・・（２）
この数式（２）において、Ｐｒｒ Ｐｒｇ Ｐｒｂ、Ｏｒｒ Ｏｒｇ Ｏｒｂ、および、Ｑｒｒ Ｑｒｇ Ｑｒｂは、上記ステップＳ２において説明したものと同様に、差分を求める対象としている画素（これをＰｒとする）のＲ成分、Ｇ成分、Ｂ成分、画素Ｐｒの左隣りの画素ＯｒのＲ成分、Ｇ成分、Ｂ成分、画素Ｐｒの右隣りの画素ＱｒのＲ成分、Ｇ成分、Ｂ成分を表している。
【００６０】
右目用画像特徴点抽出部３１Ｒは、このようにして左目用画像データにおける画素Ｐｌと対応する右目用画像データにおける画素、すなわち「Ｐｌと最も近い右目用画像データにおける画素」を選択する。そして、右目用画像特徴点抽出部３１Ｒは、この抽出した特徴点（画素）の情報（画素の成分、差分、座標等）を左右ずれ検出部３２に供給する。また、このときの、Ｐｌの左目画像データ内における水平座標をＰｌｘとし、Ｐｒの右目画像データ内における水平座標をＰｒｘとする。
【００６１】
なお、本実施の形態では、まずステップＳ２において左目用画像データの処理を行い、次いで、その結果に基づき、ステップＳ３において右目用画像データの処理を行っているが、これに限定されるものではない。例えば、ステップＳ２において右目用画像データの処理を行い、その結果に基づき、ステップＳ３において左目用画像データの処理を行ってもよい。
【００６２】
続いて、ステップＳ４において、左右ずれ検出部３２が、ステップＳ２、Ｓ３において取得された特徴点の位置のずれを検出する。具体的には、左右ずれ検出部３２が、ステップＳ２、Ｓ３において取得された特徴点の水平座標であるＰｌｘとＰｒｘとの差を求めることにより、左右の画像における被写体の位置のずれを検出する。このＰｌｘとＰｒｘとの差の値が大きいほど、左右の画像における被写体の位置のずれ（水平方向の位置のずれ）が大きいことになる。
【００６３】
次いで、ステップＳ５では、ステップＳ４において上記左右ずれ検出部３２により検出した左右画像における特徴点のずれに応じて、上記左目用画像データにおける特徴点の位置と上記右目用画像データにおける特徴点の位置とがほぼ一致するように、左目用画像切出部３３Ｌが上記左目用画像データから画像を切り出し、また、右目用画像切出部３３Ｒが上記右目用画像データから画像を切り出す。すなわち、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒは、ステップＳ４において求めた画素の差分に応じて左右それぞれの画像データから実際に出力すべき画素の集合を決定する。具体的には、以下のように行う。
【００６４】
まず、例えば、左目用画像データにおける特徴点（画素）の水平座標Ｐｌｘと、右目用画像データにおける特徴点（画素）の水平座標Ｐｒｘを一致するように画像を切り出す場合を考える。
【００６５】
図３に示すように、補正前（切り出される前）の左目用画像データのサイズ、補正前の右目用画像データのサイズが一致しており、これら画像データのサイズにおける水平方向の大きさをＩｗ、垂直方向の大きさをＩｈとする（図３中の実線の長方形）。そして、左目用画像切出部３３Ｌまたは右目用画像切出部３３Ｒによって、切り出される画像データの水平方向の大きさをＣｗ、垂直方向の大きさをＣｈとする（図３中の破線の長方形）。このとき、左目用画像切出部３３Ｌは、補正前の左目用画像データから、以下の範囲（画像切出領域）を指定して、画像を切り出す。
・切り出す範囲の左上隅座標Ａ（（Ｐｒｘ−Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２，（Ｉｈ−Ｃｈ）÷２））
・切り出す範囲の右下隅座標Ｂ（（Ｐｒｘ−Ｐｌｘ＋Ｃｗ＋Ｉｗ）÷２，（Ｉｈ＋Ｃｈ）÷２））
一方、右目用画像切出部３３Ｒは、補正前の右目用画像データから以下の範囲（画像切出領域）を指定して、画像を切り出す。
・切り出す範囲の左上隅座標Ｄ（（Ｐｌｘ−Ｐｒｘ−Ｃｗ＋Ｉｗ）÷２，（Ｉｈ−Ｃｈ）÷２））
・切り出す範囲の右下隅座標Ｅ（（Ｐｌｘ−Ｐｒｘ＋Ｃｗ＋Ｉｗ）÷２，（Ｉｈ＋Ｃｈ）÷２））
上記のように補正前の左右目用の画像データから、画像切出領域を指定して画像を切り出すことにより、補正前の画像データのなるべく中心を取り出しながら、左目用画像データにおける特徴点（画素）と右目用画像データにおける特徴点（画素）との位置がほぼ一致するように切り出すことが可能となる。
【００６６】
以下に、上記の画像データ補正処理方法（画像データ切出方法）によって切り出された画像の中心が、補正前の画像のほぼ中心と一致することを示す。
【００６７】
まず、切り出された左目用画像データの水平方向の中心は、下記の数式（３）により表される。
【００６８】
（（Ｐｒｘ−Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２＋（Ｐｒｘ−Ｐｌｘ＋Ｃｗ＋Ｉｗ）÷２）÷２＝（Ｐｒｘ−Ｐｌｘ＋Ｉｗ）÷２ ・・・（３）
また、切り出された右目用画像データの水平方向の中心は、下記の数式（４）により表される。
【００６９】
（（Ｐｌｘ−Ｐｒｘ−Ｃｗ＋Ｉｗ）÷２＋（Ｐｌｘ−Ｐｒｘ＋Ｃｗ＋Ｉｗ）÷２）÷２＝（Ｐｌｘ−Ｐｒｘ＋Ｉｗ）÷２ ・・・（４）
このため、切り出された左目用画像データの水平方向の中心と右目用画像データの水平方向の中心とは、以下の数式（５）により表される。
【００７０】
（（Ｐｒｘ−Ｐｌｘ＋Ｉｗ）÷２＋（Ｐｌｘ−Ｐｒｘ＋Ｉｗ）÷２）÷２＝Ｉｗ÷２ ・・・（５）
したがって、上記数式（５）で表される、切り出された左目用画像データの水平方向の中心と右目用画像データの水平方向の中心とは、補正前の画像の中心となっていることがわかる。なお、垂直方向の中心に関しては自明であるため、ここでは説明を省略する。
【００７１】
次に、切り出された左目用画像データにおける特徴点（画素）の座標と、切り出された右目用画像データにおける特徴点（画素）の座標とがほぼ一致することを示す。
【００７２】
切り出し後の左目用画像データにおける特徴点（画素）の水平位置の座標は、下記の数式（６）で表される。
【００７３】
（Ｐｒｘ−Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２＋Ｐｌｘ＝（Ｐｒｘ＋Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２ ・・・（６）
一方、切り出し後の右目用画像データにおける特徴点（画素）の水平位置の座標は、下記の数式（７）で表される。
【００７４】
（Ｐｌｘ−Ｐｒｘ−Ｃｗ＋Ｉｗ）÷２＋Ｐｒｘ＝（Ｐｒｘ＋Ｐｌｘ−Ｃｗ＋Ｉｗ）÷２ ・・・（７）
したがって、切り出し後の左目用画像データにおける特徴点（画素）の座標と、切り出し後の右目用画像データにおける特徴点（画素）の座標とが一致することがわかる。なお、垂直座標に関しては自明であるため、ここでは説明を省略する。
【００７５】
以上のように、ステップＳ５において、左目用画像切出部３３Ｌまたは右目用画像切出部３３Ｒは、上述の画像補正処理を用いて切り出し位置を選択し、最適な三次元画像データを切り出す。具体的には、図４（ａ）（ｂ）における、補正後左目用画像データ１０２、補正後右目用画像データ２０２、または補正後左目用画像データ１０４、補正後右目用画像データ２０４のように画像を切り出すことになる。
【００７６】
最後に、ステップＳ６では、三次元画像データ生成部３４が、ステップＳ５において切り出された画像データに基づき、三次元画像データを生成して出力装置４へと出力する。
【００７７】
演算装置３で処理された画像データは、デコード化された後、出力装置４に供給される。こうして、左目用画像撮影装置１Ｌおよび右目用画像撮影装置１Ｒが捉えた映像が、出力装置４の画面に表示される。
【００７８】
上記の構成の三次元画像生成システム１０によれば、三次元画像データを構成するための、左目用画像データと右目用画像データとが固定された左目用画像撮影装置１Ｌおよび右目用画像撮影装置１Ｒにより撮影された場合でも、三次元画像生成装置（演算装置３）により、これらの画像データから、撮影された被写体の位置がほぼ一致するように画像を切り出すことによって、画像を見る人間が立体感を容易に得られるように、左目用画像データおよび右目用画像データ自体を補正することができる。このため、撮影装置を被写体の位置にあわせて移動させるための手段を設けることなく、容易に、高画質の三次元画像を生成することができる。
【００７９】
すなわち、本実施の形態にかかる三次元画像生成装置（演算装置３）を備える三次元画像生成システム１０は、従来必要とされた撮影装置自体を制御する機構を備える必要がなくなり、立体画像撮影装置等の小型化、低コスト化を達成することができる。
【００８０】
また、演算装置３における画像補正処理は、原則として自動で行われるが、例えば、三次元画像生成装置に入力装置５を設けた場合は、ユーザーが任意で切り出す画像を指定することもできる。
【００８１】
この場合、図５に示すように入力装置５を追加した三次元画像生成装置３’を使用することとなる。入力装置５は、上記三次元画像生成装置の動作に関わる情報を入力可能とするものであれば特に限定されるものではなく、キーボードやタブレット、あるいはマウス等の従来公知の入力手段を好適に用いることができる。具体的には、例えば、左右画像のずれ具合（Ｐｒｘ−Ｐｌｘ）を数値入力するようなものであればよい。切り出す範囲の座標のうち入力画像サイズと出力画像サイズが決定していれば、左右画像のずれ具合（Ｐｒｘ−Ｐｌｘ）が決定するだけで出力する画像を一意に決定することができるために、このような入力装置でも十分に目的を達成することが可能である。また、入力装置５は撮影した画像内に表示される枠を移動させるようなものであってもよい。
【００８２】
また、三次元画像を自動的に生成せず、もっぱらユーザーが行う三次元画像生成装置も本発明に含まれる。例えば、図６に示すように、入力装置５と、左目用画像切出部３３Ｌと、右目用画像切出部３３Ｒと、三次元画像データ生成部３４とを備えている三次元画像生成装置３’’が挙げられる。
【００８３】
このような構成の三次元画像生成装置３’’は、ユーザーが任意で画像切出領域を指定して、画像を切り出すことができる。このため、処理が非常に単純になるという利点がある。
【００８４】
なお、ここまで、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データが、そのままでは三次元画像データとして出力装置に対して出力できない場合に、三次元画像生成装置（演算装置）３内に三次元画像データ生成部３４を設けて、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データを三次元画像データとして生成する（例えば、特別なフォーマットへと加工する）ものについて説明してきた。しかし、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データがそのまま三次元画像データとして利用可能であり、当該２つの切り出された画像データを三次元画像として生成する必要がない場合は、三次元画像生成装置（演算装置）３内に三次元画像データ生成部３４を設ける必要はない。すなわち、かかる場合は、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データをそのまま三次元画像データとして出力装置４に出力することもできる。このため、図１において、三次元画像生成装置（演算装置）３内に三次元画像データ生成部３４を備えていない三次元画像生成装置（演算装置）３も本発明に含まれる。
【００８５】
また、上記出力装置４は、生成した立体画像を３Ｄメガネや３Ｄ液晶のような三次元画像の可視化装置、あるいは、ステレオ視と呼ばれる方法を用いて可視化するようなものであればよく、ＣＲＴディスプレイや、液晶ディスプレイ等といった各種可視化装置が好適に用いられるが特に限定されるものではない。
【００８６】
さらに、図７に示すように、三次元画像生成装置（演算装置）３に三次元画像データ生成部３４を備えず、出力装置４’内に三次元画像データ生成部３４を備える三次元画像生成システム１０も本発明に含まれる。かかる三次元画像生成システム１０の場合、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データを直接出力装置４’に対して入力することにより、出力装置４’内の三次元画像データ生成部３４が当該２つの切り出された画像データに基づいて三次元画像を生成し、その後、三次元画像を出力することになる。なお、本三次元画像生成システム１０では、左目用画像切出部３３Ｌおよび右目用画像切出部３３Ｒによって切り出された画像データがそのまま三次元画像データとして利用できる場合であってもよい。この場合は、出力装置４’内で三次元画像データ生成部３４が機能する必要はない。
【００８７】
また、上記出力装置４には、印刷手段が設けられていてもよい。上記印刷手段は、出力装置４で表示可能な画像情報をＰＰＣ用紙等の記録材に記録（印刷・画像形成）する。具体的には、公知のインクジェットプリンタやレーザープリンタ等の画像形成装置が好適に用いられるが特に限定されるものではない。なお、出力装置４としては、上記印刷手段等に限定されるものではなく、その他の出力手段を備えていてもよい。
【００８８】
また、本実施の形態にかかる三次元画像生成システム１０は、記憶手段を備えていてもよい。上記記憶手段は、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒにより撮影され、演算装置３により所定の処理が施された画像データを記憶するものである。なお、上記記憶手段に記憶される情報は、必要に応じて圧縮処理されてもよい。具体的には、例えば、ＲＡＭやＲＯＭ等の半導体メモリ、フロッピー（登録商標）ディスクやハードディスク等の磁気ディスク、ＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系等、従来公知の各種記憶手段を好適に用いることができる。
【００８９】
また、上記記憶手段は、上記三次元画像生成システムと一体化されていて一つの装置になっていてもよいが、別体となっている外部記憶装置となっていてもよく、さらには、一体化された記憶手段と外部記憶装置とが両方とも備えられている構成であってもよい。例えば、一体化した記憶手段としては、内蔵型のハードディスクや装置に組み込まれたフロッピー（登録商標）ディスクドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブ等が挙げられ、外部記憶装置としては、外付けハードディスクや外付け型の上記各種ディスクドライブ等が挙げられる。また、上記記憶手段に保存した画像データは演算装置３の制御に基づいて読み出しが可能であり、読み出された画像データは解凍処理された後、演算装置３を介して出力装置４に出力される。こうして、出力装置４には再生画像が表示される。
【００９０】
なお、上記演算装置３は、左目用画像撮影装置１Ｌ、右目用画像撮影装置１Ｒ、および出力装置４への制御を行う装置と共通で使用することができる。この場合、三次元画像生成システムに特別な機構を用意しなくても画像の補正を行うことが可能となるため、より一層の小型化が可能となる。
【００９１】
さらに、上述の説明では、被写体を示す画像光をＣＣＤ等の撮像装置を用いて電気信号に変換するカメラ（電子カメラ）を搭載した三次元画像生成システムを例に述べたが、本発明は、画像光を写真フイルムその他の感光材料に記録するカメラ（銀塩カメラ）を用いた三次元画像生成システムにも適用できる。また、本発明は静止画像を撮影する装置のみならず、ビデオカメラの如く、動画を撮影する装置にも適用できる。
【００９２】
また、本実施の形態にかかる三次元画像生成装置（演算装置３）、三次元画像生成システム１０の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００９３】
すなわち、三次元画像生成装置（演算装置３）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ ）、上記プログラムを格納したＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、上記プログラムを展開するＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである三次元画像生成装置（演算装置３）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記三次元画像生成装置（演算装置３）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【００９４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【００９５】
また、三次元画像生成装置（演算装置３）を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。
【００９６】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。
【００９７】
例えば、本発明にかかる三次元画像生成システムは、三次元画像データを生成する画像生成装置にて、左目用に撮影された画像と、右目用に撮影された画像から、自動的に異なる範囲を切り出して三次元画像データを生成するように構成されていてもよい。これにより、人間が三次元画像データの立体感を得ることを容易にするように補正することができる。
【００９８】
また、上記の三次元画像生成システムは、自動的に画像を切り出すのではなく、装置を使用する人間が切り出す範囲を指定するように構成されていてもよい。
【００９９】
また、上記の三次元画像生成システムは、切り出した結果の画像を表示するように構成されていてもよい。
【０１００】
【発明の効果】
本発明の三次元画像撮影装置は、以上のように、左目用画像データにおける被写体の位置と右目用画像データにおける被写体の位置とのずれを検出する左右ずれ検出手段と、上記左右ずれ検出手段により検出した左右目用の画像データ間における被写体の位置のずれに応じて、上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とがほぼ一致するように、上記左目用画像データから画像切出領域を指定して画像を切り出す左目用画像切出手段と、上記右目用画像データから画像切出領域を指定して画像を切り出す右目用画像切出手段と、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成手段と、を備えている構成である。
【０１０１】
それゆえ、固定された撮影装置から得られる左右目用の画像データにおける被写体の位置のずれを検出し、そのずれに応じて、撮影された被写体の位置がほぼ一致するように各画像データから画像を切り出すという処理方法を行うことができ、左目用の画像データと右目用画像データとにおける被写体の位置のずれが補正できる。
【０１０２】
このように、本発明にかかる三次元画像生成装置は、画像を見る人間が立体感を容易に得られるように画像データ自体を処理するため、撮影装置を被写体の位置にあわせて移動させるための手段を設けなくても、容易に、高画質の三次元画像を生成することができるという効果を奏する。
【０１０３】
したがって、本発明の三次元画像生成装置を用いることにより、従来必要とされた撮影装置自体を制御する機構を備える必要がなくなり、三次元画像生成システムの小型化、低コスト化を達成することができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態にかかる三次元画像生成システムの機能ブロック図である。
【図２】本実施の形態にかかる三次元画像生成装置が行う処理のフローチャートである。
【図３】補正前（切り出し前）の左右目用の画像データと補正後（切り出し後）の左右目用の画像データの関係を示す図である。
【図４】図４（ａ）は、被写体と撮影装置との距離が近いとき、２つの撮影装置を用いて被写体を撮影した場合の補正前後の画像データを示す図であり、図４（ｂ）は、被写体と撮影装置との距離が遠いとき、２つの撮影装置を用いて被写体を撮影した場合の補正前後の画像データを示す図である。
【図５】本実施の形態にかかる他の三次元画像生成システムの機能ブロック図である。
【図６】本実施の形態にかかる他の三次元画像生成システムの機能ブロック図である。
【図７】本実施の形態にかかる他の三次元画像生成システムの機能ブロック図である。
【符号の説明】
１Ｌ 左目用画像撮影装置
１Ｒ 右目用画像撮影装置
３ 演算装置（三次元画像生成装置）
３’ 演算装置（三次元画像生成装置）
３’’ 演算装置（三次元画像生成装置）
４ 出力装置
４’ 出力装置
５ 入力装置（入力手段）
１０ 三次元画像生成システム
３２ 左右ずれ検出部（左右ずれ検出手段）
３４ 三次元画像データ生成部（三次元画像データ生成手段）
３１Ｌ 左目用画像特徴点抽出部（左目用画像特徴点抽出手段）
３１Ｒ 右目用画像特徴点抽出部（右目用画像特徴点抽出手段）
３３Ｌ 左目用画像切出部（左目用画像切出手段）
３３Ｒ 右目用画像切出部（右目用画像切出手段）
Claims (8)
- 左目用画像撮影装置と右目用画像撮影装置とを用いて同一被写体を撮影し、左目用画像撮影装置から得られる左目用画像データと右目用画像撮影装置から得られる右目用画像データとを用いて、当該被写体の三次元画像を生成する三次元画像生成装置において、
上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とのずれを検出する左右ずれ検出手段と、
上記左右ずれ検出手段により検出した左右目用の画像データ間における被写体の位置のずれに応じて、上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とがほぼ一致するように、上記左目用画像データから画像切出領域を指定して画像を切り出す左目用画像切出手段と、上記右目用画像データから画像切出領域を指定して画像を切り出す右目用画像切出手段と、を備えていることを特徴とする三次元画像生成装置。 - さらに、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成手段を備えていることを特徴とする請求項１に記載の三次元画像生成装置。
- さらに、上記左目用画像データから被写体の特徴点を抽出する左目用画像特徴点抽出手段と、上記右目用画像データから被写体の特徴点を抽出する右目用画像特徴点抽出手段とを備えており、
上記左目用画像特徴点抽出手段と右目用画像特徴点抽出手段とは、どちらか一方の画像特徴点抽出手段が画像データから特徴点を抽出した後、もう一方の画像特徴点抽出手段が、当該先に抽出した特徴点に対応する特徴点を画像データから抽出するとともに、それぞれ抽出した特徴点の位置に関する情報を左右ずれ検出手段に供給するものであり、
上記左右ずれ検出手段は、上記「ずれ」として、上記左目用画像特徴点抽出手段から得られた左目用画像データにおける特徴点の位置と、右目用画像特徴点抽出手段から得られた右目用画像データにおける特徴点の位置とのずれを検出するものであることを特徴とする請求項１または２に記載の三次元画像生成装置。 - 上記左目用画像特徴点抽出手段は、左目用画像データにおける同一垂直座標を有する画素の集合に含まれる各画素について、当該各画素と水平方向に隣り合う画素との差分を求めることにより、特徴的な画素を選択し、当該特徴的な画素を左目用画像データにおける特徴点として抽出するものであり、
上記右目用画像特徴点抽出手段は、右目用画像データにおける同一垂直座標を有する画素の集合に含まれる各画素について、当該各画素と水平方向に隣り合う画素との差分を求めることにより、特徴的な画素を選択し、当該特徴的な画素を右目用画像データにおける特徴点として抽出するものであることを特徴とする請求項３に記載の三次元画像生成装置。 - さらに、上記左目用画像切出手段および右目用画像切出手段に対して、画像切出領域を指定するための情報を入力する入力手段を備えていることを特徴とする請求項１〜４のいずれか１項に記載の三次元画像生成装置。
- 左目用画像撮影装置と右目用画像撮影装置とを用いて同一被写体を撮影し、左目用画像撮影装置から得られる左目用画像データと右目用画像撮影装置から得られる右目用画像データとを用いて、当該被写体の三次元画像を生成する三次元画像生成装置において、
上記左目用画像データにおける被写体の位置と上記右目用画像データにおける被写体の位置とがほぼ一致するように、上記左目用画像データと右目用画像データから画像切出領域を指定する入力手段と、
上記入力手段によって、指定された画像切出領域に基づいて、左目用画像データから画像を切り出す左目用画像切出手段と、上記右目用画像データから画像を切り出す右目用画像切出手段と、を備えていることを特徴とする三次元画像生成装置。 - さらに、上記左目用画像切出手段および右目用画像切出手段により切り出された画像データを用いて三次元画像データを生成する三次元画像データ生成手段を備えていることを特徴とする請求項６に記載の三次元画像生成装置。
- 請求項１〜７のいずれか１項に記載の三次元画像生成装置と、
左目用画像データを得るための左目用画像撮影装置と、右目用画像データを得るための右目用画像撮影装置と、
上記三次元画像生成装置により生成された画像データに基づいて三次元画像を表示するための出力装置とを備えていることを特徴とする三次元画像生成システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003209035A JP2005072674A (ja) | 2003-08-27 | 2003-08-27 | 三次元画像生成装置および三次元画像生成システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003209035A JP2005072674A (ja) | 2003-08-27 | 2003-08-27 | 三次元画像生成装置および三次元画像生成システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005072674A true JP2005072674A (ja) | 2005-03-17 |
Family
ID=34402102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003209035A Withdrawn JP2005072674A (ja) | 2003-08-27 | 2003-08-27 | 三次元画像生成装置および三次元画像生成システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005072674A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010103949A (ja) * | 2008-10-27 | 2010-05-06 | Fujifilm Corp | 撮影装置、方法およびプログラム |
| WO2011135904A1 (ja) * | 2010-04-28 | 2011-11-03 | 日本ビクター株式会社 | 立体映像撮像装置 |
| JP2014522596A (ja) * | 2011-05-31 | 2014-09-04 | トムソン ライセンシング | ３ｄコンテンツを再目標化するための方法およびデバイス |
-
2003
- 2003-08-27 JP JP2003209035A patent/JP2005072674A/ja not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010103949A (ja) * | 2008-10-27 | 2010-05-06 | Fujifilm Corp | 撮影装置、方法およびプログラム |
| WO2011135904A1 (ja) * | 2010-04-28 | 2011-11-03 | 日本ビクター株式会社 | 立体映像撮像装置 |
| JP2011234151A (ja) * | 2010-04-28 | 2011-11-17 | Victor Co Of Japan Ltd | 立体映像撮像装置 |
| CN102893616A (zh) * | 2010-04-28 | 2013-01-23 | Jvc建伍株式会社 | 立体影像拍摄装置 |
| KR101385583B1 (ko) * | 2010-04-28 | 2014-04-15 | 가부시키가이샤 제이브이씨 켄우드 | 입체 영상 촬상 장치 |
| CN102893616B (zh) * | 2010-04-28 | 2015-06-17 | Jvc建伍株式会社 | 立体影像拍摄装置 |
| US9154771B2 (en) | 2010-04-28 | 2015-10-06 | JVC Kenwood Corporation | Apparatus for capturing stereoscopic image |
| JP2014522596A (ja) * | 2011-05-31 | 2014-09-04 | トムソン ライセンシング | ３ｄコンテンツを再目標化するための方法およびデバイス |
| US9743062B2 (en) | 2011-05-31 | 2017-08-22 | Thompson Licensing Sa | Method and device for retargeting a 3D content |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5679978B2 (ja) | 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム | |
| JP5414947B2 (ja) | ステレオ撮影装置 | |
| US8810629B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and program | |
| JP5547854B2 (ja) | 携帯型装置で捕捉される多重画像からの肖像画像合成 | |
| JP5140210B2 (ja) | 撮影装置および画像処理方法 | |
| US8274552B2 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
| JP5917017B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JP5204350B2 (ja) | 撮影装置、再生装置、および画像処理方法 | |
| JP5204349B2 (ja) | 撮影装置、再生装置、および画像処理方法 | |
| JP5320524B1 (ja) | ステレオ撮影装置 | |
| US20130113875A1 (en) | Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method | |
| JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
| JP5425305B2 (ja) | 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム | |
| JP6155471B2 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
| JP2005072674A (ja) | 三次元画像生成装置および三次元画像生成システム | |
| JP2000102035A (ja) | 立体写真システム | |
| JP2012220603A (ja) | ３ｄ映像信号撮影装置 | |
| JPWO2019082415A1 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理プログラムおよび記録媒体 | |
| JP2002034054A (ja) | 画像処理システムおよび記録媒体 | |
| JPH07296165A (ja) | ３次元画像撮影用カメラ | |
| JP2007194694A (ja) | 立体映像撮影装置並びにそのプログラム | |
| JPH07199054A (ja) | 撮像装置 | |
| JP2012215980A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2013070154A (ja) | 複眼撮像装置およびその動作制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061107 |