JP2008141666A - 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法 - Google Patents

Abstract

【課題】撮影者の撮影時における意図を反映させた奥行き画像を生成して、撮影者の意図に合った立体視画像を得るようにする。
【解決手段】被写体の二次元画像６２を取得する第１カメラ部１６と、被写体までの距離情報を取得する距離情報取得手段７８と、少なくとも取得した距離情報に基づいて被写体の立体視画像を出力するための奥行き画像８８を生成する奥行き画像生成手段８０と、被写体を撮像した際の１以上の撮影関連情報を取得する撮影関連情報取得手段８２と、奥行き画像８８を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段８４とを有し、奥行き画像生成手段８０は、取得した距離情報と、奥行き画像生成方法決定手段８４にて決定された奥行き画像生成方法に基づいて奥行き画像８８を生成する。
【選択図】図２

Description

本発明は、被写体の立体視画像を生成するための立体視画像作成装置と、生成された立体視画像を出力（例えば表示）するための立体視画像出力装置と、被写体の立体視画像を生成するための立体視画像作成方法に関する。

一般に、被写体の二次元画像と、撮影装置から被写体までの距離情報が二次元的に配列された奥行き情報とを合成することによって、被写体の立体視画像を生成することができる。

表示のための奥行き情報は、例えば仮想的な画面において個々の画素が画面に対して垂直な方向のどの位置に見えるかを表したものであり、奥行き画像やデプスマップと称されている。

奥行き情報を生成する方法としては、撮像装置から被写体までの実距離を測定し、その距離を表示用の仮想的な奥行き値にマッピングする方法がある。マッピングする際には、被写体までの実距離を奥行き値に線形的にマッピングすることもできるし、任意の距離範囲を限ってその範囲内をより詳細な分解能でマッピングすることもできる。

そこで、従来では、立体視用映像データを提供する方法で、二次元画像データに、奥行き情報と、奥行き情報の値の間隔を非均等に変形させることを目的とした定義情報を提供する方法が開示されている（例えば特許文献１参照）。

この特許文献１は、さらに、立体視用映像データを提供する方法で、二次元画像データに、画面領域によって異なるビット数で表した奥行き情報を提供する方法が開示されている。

また、この特許文献１には、二次元画像データと付属情報から立体視映像を生成する表示装置で、奥行き情報の値の間隔を非均等に変形させるための複数のテーブルを持ち、奥行き情報とテーブルから視差量を生成し、求めた視差量を利用して立体映像を生成する表示装置が開示されている。

ＷＯ２００４／０７１１０２号公報

上述したように、従来例では、奥行き情報の値の間隔を非均等に変形させることによって、奥行き上の任意の位置に所望の分解能を設定することが可能であったが、撮影者が撮影時の意図として奥行き上のどの位置の分解能を重視したいのかを簡便にデータに反映させることが困難であった。

さらに、奥行き情報を変換した際に、画面中に分解能が高い領域と低い領域が混在することがあるが、データに対して後から編集を行う際に、画面中の分解能が高い領域と低い領域を区別することが困難であったり、画面領域によって奥行き情報のビット数が異なっている領域を区別するために、より多くの演算を必要とするという問題があった。

本発明はこのような課題を考慮してなされたものであり、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法を提供することを目的とする。

また、本発明の他の目的は、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができると共に、奥行き精度の低い領域の演算を簡単化することができる立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法を提供することを目的とする。

第１の本発明に係る立体視画像作成装置は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、前記被写体を撮像した際の１以上の撮影関連情報を取得する撮影関連情報取得手段と、前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段とを有し、前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成することを特徴とする。

これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる。

次に、第２の本発明に係る立体視画像作成装置は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、前記被写体を撮像した際の複数の撮影関連情報を取得する撮影関連情報取得手段と、生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成する奥行き精度画像生成手段と、前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段と、前記奥行き精度画像を生成するための複数の奥行き精度画像生成方法のうち、１つの奥行き精度画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き精度画像生成方法決定手段とを有し、前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成し、前記奥行き精度画像生成手段は、前記奥行き精度画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き精度画像を生成することを特徴とする。

これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができると共に、奥行き精度の低い領域の演算を簡単化することができる。

そして、第２の本発明において、前記奥行き精度画像生成手段にて生成される前記奥行き精度画像は、精度の高低を示す２値画像であってもよい。この場合、奥行き精度の低い領域の演算を簡単化することができる。

また、上述の第１及び第２の本発明において、さらに、前記複数の奥行き画像生成方法を記憶する記憶手段を有し、前記奥行き画像生成方法決定手段は、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法を前記記憶手段から読み出して、前記奥行き画像生成手段に供給するようにしてもよい。あるいは、前記奥行き画像生成方法決定手段は、前記複数の奥行き画像生成方法のうち、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法をネットワークを通じて受け取り、前記奥行き画像生成手段に供給するようにしてもよい。

また、第１及び第２の本発明において、前記撮影関連情報取得手段にて取得される前記撮影関連情報としては、入力される撮影モードや、前記二次元画像生成手段にて生成された前記二次元画像の輝度情報や、撮影時のレンズの絞り値や、撮影時の合焦距離情報等がある。合焦距離情報としては、オートフォーカスの距離情報やマニュアルフォーカスの距離情報が挙げられる。

また、前記撮影関連情報取得手段にて取得される前記撮影関連情報としては、前記二次元画像生成手段にて生成された前記二次元画像のうち、前記被写体の画像が記録されている領域情報であってもよい。この場合、前記被写体の顔の画像が記録されている領域情報であってもよい。

次に、第３の本発明に係る立体視画像出力装置は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成する奥行き精度画像生成手段とを有し、さらに前記二次元画像生成手段にて生成された前記二次元画像と、前記奥行き画像生成手段にて生成された前記奥行き画像と、前記奥行き精度画像生成手段にて生成された前記奥行き精度画像から立体視画像を生成する立体視画像生成手段を有することを特徴とする。

これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を出力（例えば三次元モニタへの表示）することができると共に、奥行き精度の低い領域の演算を簡単化することができる。

次に、第４の本発明に係る立体視画像作成方法は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、前記被写体を撮像した際の１以上の撮影関連情報を取得し、前記被写体の立体視画像を出力するための奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、前記取得した撮影関連情報に基づいて決定し、前記取得した前記距離情報と、前記決定された奥行き画像生成方法に基づいて奥行き画像を生成することを特徴とする。

これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる。

次に、第５の本発明に係る立体視画像作成方法は、被写体の二次元画像を取得する二次元画像取得手段と、前記被写体までの距離情報を取得する距離情報取得手段と、少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、前記被写体を撮像した際の複数の撮影関連情報を取得し、生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成し、前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定し、前記奥行き精度画像を生成するための複数の奥行き精度画像生成方法のうち、１つの奥行き精度画像画像生成を、前記取得した撮影関連情報に基づいて決定し、前記取得した前記距離情報と、前記決定された奥行き画像生成方法に基づいて奥行き画像を生成し、前記決定された奥行き画像生成方法に基づいて奥行き精度画像を生成することを特徴とする。

これにより、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができると共に、奥行き精度の低い領域の演算を簡単化することができる。

以上説明したように、本発明に係る立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法によれば、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができる。

また、本発明に係る立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法によれば、撮影者の撮影時における意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像及び奥行き精度画像を簡便に生成することができ、撮影者の意図に合った立体視効果の高い立体視画像を得ることができると共に、奥行き精度の低い領域の演算を簡単化することができる。

以下、本発明に係る立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法の実施の形態例を図１〜図２５を参照しながら説明する。

先ず、第１の実施の形態に係る立体視画像作成装置（以下、第１立体視画像作成装置１０Ａと記す）は、少なくとも被写体の二次元画像と二次元画像に対応した奥行き画像を生成して、外部記憶装置１２に記憶するようになっている。

この第１立体視画像作成装置１０Ａは、図１に示すように、第１ＣＣＤ撮像素子１４を有する第１カメラ部１６と、第２ＣＣＤ撮像素子１８を有する第２カメラ部２０と、デジタル信号処理を行うためのメインメモリ２２と、システムの起動等を行うためのシステム情報が記録されたシステムメモリ２４と、各種プログラムを起動して動作させるＣＰＵ２６とを有する。

これら第１カメラ部１６、第２カメラ部２０、メインメモリ２２、システムメモリ２４、ＣＰＵ２６等は制御バスやデータバス（以下、単にバス２８と記す）を通じて接続されている。このバス２８には、上述の部材のほか、不揮発性メモリ３０、ＵＳＢドライバ３２、Ｉ／Ｏインターフェース３４、カレンダ時計３６、タイマ３８等が接続されている。ＵＳＢドライバ３２には外部コネクタ４０が接続され、該外部コネクタ４０を介して外部記憶装置１２が接続されている。また、Ｉ／Ｏインターフェース３４には、操作パネル４２上のスイッチやＬＥＤ等が接続されている。なお、これら各部材は、コネクタ４４に接続された外部電源（図示せず）が電源制御回路４６及びＤＣ−ＤＣコンバータ４８を介して供給されるようになっている。

第１カメラ部１６は、上述した第１ＣＣＤ撮像素子１４のほか、レンズやモータを有し、且つ、被写体の映像を第１ＣＣＤ撮像素子１４に結像させるための第１光学系５０と、第１ＣＣＤ撮像素子１４からの撮像信号をアナログの映像信号に信号処理する第１アナログ信号処理回路５２と、映像信号をデジタル変換して映像データにする第１Ａ／Ｄ変換器５４と、第１Ａ／Ｄ変換器５４からの出力に基づいてオートアイリスやオートフォーカスのための制御信号を生成する第１積算回路と、第１積算回路５６からの制御信号に基づいてレンズの絞りやフォーカシング、ズーム等を制御する第１駆動制御部５８と、第１ＣＣＤ撮像素子１４や第１アナログ信号処理回路５２等にタイミング信号を出力する第１タイミング発生回路６０とを有する。そして、第１Ａ／Ｄ変換器５４から出力される映像データが水平同期信号に合わせてメインメモリ２２に二次元的に記録されることで、第１二次元画像６２（図２参照）が生成されることになる。従って、この第１カメラ部１６は二次元画像取得手段として機能する。

第２カメラ部２０は、上述した第１カメラ部１６と同様の構成を有し、第２ＣＣＤ撮像素子１８に加えて以下の部材を有する。すなわち、レンズやモータを有し、且つ、被写体の映像を第２ＣＣＤ撮像素子１８に結像させるための第２光学系６４と、第２ＣＣＤ撮像素子１８からの撮像信号をアナログの映像信号に信号処理する第２アナログ信号処理回路６６と、映像信号をデジタル変換して映像データにする第２Ａ／Ｄ変換器６８と、第２Ａ／Ｄ変換器６８からの出力に基づいてオートアイリスやオートフォーカスのための制御信号を生成する第２積算回路７０と、第２積算回路７０からの制御信号に基づいてレンズの絞りやフォーカシング、ズーム等を制御する第２駆動制御部７２と、第２ＣＣＤ撮像素子１８や第２アナログ信号処理回路６６等にタイミング信号を出力する第２タイミング発生回路７４とを有する。そして、第２Ａ／Ｄ変換器６８から出力される映像データが水平同期信号に合わせてメインメモリ２２に二次元的に記録されることで、第２二次元画像７６（図２参照）が生成されることになる。

一方、ＣＰＵ２６で起動、動作するソフトウエアは、図２に示すように、距離情報取得手段７８と、奥行き画像生成手段８０と、撮影関連情報取得手段８２と、奥行き画像生成方法決定手段８４とを有する。

距離情報取得手段７８は、例えば第１カメラ部１６から被写体までの距離情報を取得する。この場合、第１カメラ部１６からの第１二次元画像６２と第２カメラ部２０からの第２二次元画像７６とを画像処理して、第１二次元画像６２における画素ごとの距離情報をそれぞれ演算して取得し、距離情報ファイル８６としてメインメモリ２２に記憶する。２つの二次元画像から距離情報を取得する方法としては、例えば特開２００６−１９１３５７号公報に記載された手法を使用することができる。

なお、上述の例では、第１二次元画像６２に対する距離情報を取得する方法を述べたが、第２二次元画像７６に対する距離情報を取得するようにしてもよい。この場合、第２カメラ部２０が二次元画像取得手段として機能することになる。

奥行き画像生成手段８０は、少なくとも距離情報取得手段７８にて取得した画素ごとの距離情報（距離情報ファイル８６）に基づいて、被写体の立体視画像を出力するための奥行き画像８８を生成する。

撮影関連情報取得手段８２は、撮影者が撮影の際に操作入力した情報や、撮影時の被写体の状況を撮影関連情報として電気的に取得する手段である。撮影関連情報としては、以下のようなものが挙げられる。

（１）操作パネル４２に配列されたスイッチを撮影者が操作することによって入力される撮影モード。

（２）第１カメラ部１６によって取得された第１二次元画像６２の輝度情報。

（３）第１積算回路５６から出力されるレンズの絞り値。

（４）第１積算回路５６から出力されるオートフォーカスの合焦距離。

（５）第１二次元画像６２に含まれる被写体の画像の記録範囲。

（６）被写体が人間や動物の顔である場合に、第１二次元画像６２に含まれる顔の画像の記録範囲。

奥行き画像生成方法決定手段８４は、奥行き画像８８を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、撮影関連情報取得手段８２にて取得した撮影関連情報に基づいて決定する。奥行き画像生成方法としては、例えば図３〜図６に示すように、距離に対する奥行き値のマッピングテーブル９０ａ〜９０ｇが挙げられる。これらマッピングテーブル９０ａ〜９０ｇは、横軸に距離の対数目盛り、縦軸に奥行き値の数直線目盛りをとったグラフをテーブル化したものである。記憶容量の関係から、１００ｍ以上の距離を無限大とし、奥行き値の範囲を８ビットで収まるようにしてある。複数のマッピングテーブル９０ａ〜９０ｇは、予め例えば不揮発性メモリ３０に記憶される。

そして、複数のマッピングテーブル９０ａ〜９０ｇ（奥行き画像生成方法）としては、図３〜図６に示すような例が挙げれられる。

図３は、撮影モードが「風景モード、夜景モード」の場合のマッピングテーブル９０ａの例であり、図４は、撮影モードが「ポートレートモード」の場合のマッピングテーブル９０ｂの例であり、図５は、撮影モードが「マクロモード」の場合のマッピングテーブル９０ｃの例であり、図６は、オートフォーカスの合焦距離別の４種のマッピングテーブル９０ｄ〜９０ｇの例である。図６において、ＡＦ＝０．１ｍの場合にマッピングテーブル９０ｄを用い、ＡＦ＝１ｍの場合にマッピングテーブル９０ｅを用い、ＡＦ＝５ｍの場合にマッピングテーブル９０ｆを用い、ＡＦ＝無限大の場合にマッピングテーブル９０ｇを用いる。

図３〜図６に示すマッピングテーブル９０ａ〜９０ｇの特性を、第１二次元画像に含まれる被写体の画像の記録範囲の大小や、第１二次元画像に含まれる顔の画像の記録範囲の大小によって変化させるようにしてもよい。

また、図３〜図６では、距離を基準にした奥行き値のマッピングテーブル９０ａ〜９０ｇの例を示したが、その他、輝度を基準にした奥行き値のマッピングテーブルも同様に用意すればよい。この場合、撮影関連情報のうち、第１カメラ部１６によって取得された第１二次元画像６２の輝度情報や第１積算回路５６から出力されるレンズの絞り値に応じた奥行き値を得ることができる。もちろん、この輝度を基準にしたマッピングテーブルにおいても、その特性を、第１二次元画像６２に含まれる被写体の画像の記録範囲の大小や、第１二次元画像６２に含まれる顔の画像の記録範囲の大小によって変化させるようにしてもよい。

そして、上述した奥行き画像生成手段８０は、距離情報取得手段７８にて取得した画素ごとの距離情報（距離情報ファイル８６）と、奥行き画像生成方法決定手段８４にて決定された１つの奥行き画像生成方法（マッピングテーブル）に基づいて奥行き画像を生成する。

ここで、第１立体視画像作成装置１０Ａの処理動作の２つの例（第１処理例及び第２処理例）について図７を参照しながら説明する。

第１処理例は、不揮発性メモリ３０に、撮影モードに対応した例えば図３〜図５に示す３つのマッピングテーブル９０ａ〜９０ｃが記憶されている場合を想定したものである。

先ず、図７のステップＳ１において、撮影関連情報取得手段８２は撮影モードを取得する。撮影者は、被写体の撮影の際に、現在の撮影において最適だと意図した撮影モードを操作パネル４２のスイッチを操作することによって入力する。従って、撮影関連情報取得手段８２は、スイッチの入力割込みに基づいて、入力される撮影モードを取得し、メインメモリ２２の所定アドレスに格納する。

その後、図７のステップＳ２において、奥行き画像生成方法決定手段８４は、今回の撮影モードに対応した奥行き画像生成方法を取得する。具体的には、不揮発性メモリ３０に記憶されている３つのマッピングテーブル９０ａ〜９０ｃのうち、取得された撮影モードに対応したマッピングテーブルを選択し、その情報、例えば選択したマッピングテーブルの先頭アドレスやテーブル番号等をメインメモリ２２の所定アドレスに格納する。

その後、図７のステップＳ３において、第１カメラ部１６は、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像６２）を取得してメインメモリ２２に記録する。このとき、第２カメラ部２０にて撮像した第２二次元画像７６もメインメモリ２２に記録される。

その後、図７のステップＳ４において、距離情報取得手段７８は、メインメモリ２２に記録されている第１二次元画像６２と第２二次元画像７６とを画像処理して、第１二次元画像６２における画素ごとの距離情報をそれぞれ演算して取得し、距離情報ファイル８６としてメインメモリ２２に記録する。

その後、図７のステップＳ５において、奥行き画像生成手段８０は、ステップＳ２においてメインメモリ２２の所定アドレスに記憶されたマッピングテーブルの情報に対応する１つの奥行き画像生成方法（マッピングテーブル）を読み出し、このマッピングテーブルと、距離情報取得手段７８にて取得した画素ごとの距離情報（距離情報ファイル８６）とに基づいて、画素ごとに奥行き値をそれぞれ設定していき、奥行き画像８８を生成し、生成した奥行き画像８８をメインメモリ２２に記録する。この段階で、第１処理例が終了する。

次に、第２処理例について図８を参照しながら説明する。第２処理例は、不揮発性メモリ３０に、オートフォーカスの合焦距離撮に対応した例えば図６に示す４つのマッピングテーブル９０ｄ〜９０ｇが記憶されている場合を想定したものである。

先ず、図８のステップＳ１０１において、撮影関連情報取得手段８２は、オートフォーカス（ＡＦ）の合焦距離を取得する。撮影者は、被写体の撮影の際に、例えば被写体との距離が最適だと意図したところに移動する。このとき、第１積算回路５６からＡＦの合焦距離が出力され、第１駆動制御部５８によって第１光学系５０が駆動制御され、合焦距離に応じたオートフォーカシング制御が行われる。なお、第２カメラ部２０でも同様の処理が行われる。従って、撮影関連情報取得手段８２は、第１積算回路５６から出力されるＡＦの合焦距離を取得し、メインメモリ２２の所定アドレスに格納する。

その後、図８のステップＳ１０２において、奥行き画像生成方法決定手段８４は、今回のＡＦの合焦距離に対応した奥行き画像生成方法を取得する。具体的には、不揮発性メモリ３０に記憶されている４つのマッピングテーブル９０ｄ〜９０ｇのうち、取得されたＡＦの合焦距離に対応したマッピングテーブルを選択し、その情報、例えば選択したマッピングテーブルの先頭アドレスやテーブル番号等をメインメモリ２２の所定アドレスに格納する。

その後、図８のステップＳ１０３において、第１カメラ部１６は、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得してメインメモリ２２に記録する。このとき、第２カメラ部２０にて撮像した第２二次元画像７６もメインメモリ２２に記録される。

その後、図８のステップＳ１０４において、距離情報取得手段７８は、メインメモリ２２に記録されている第１二次元画像６２と第２二次元画像７６とを画像処理して、第１二次元画像６２における画素ごとの距離情報をそれぞれ演算して取得し、距離情報ファイル８６としてメインメモリ２２に記録する。

その後、図８のステップＳ１０５において、奥行き画像生成手段８０は、ステップＳ１０２においてメインメモリ２２の所定アドレスに記憶されたマッピングテーブルの情報に対応する１つの奥行き画像生成方法（マッピングテーブル）を読み出し、このマッピングテーブルと、距離情報取得手段７８にて取得した画素ごとの距離情報（距離情報ファイル７８）とに基づいて、画素ごとに奥行き値をそれぞれ設定していき、奥行き画像８８を生成し、生成した奥行き画像８８をメインメモリ２２に記録する。この段階で、第２処理例が終了する。

上述の第１処理例及び第２処理例は、距離を基準にした奥行き値のマッピングテーブル９０ａ〜９０ｇを主体にして説明したが、その他、輝度を基準にしたマッピングテーブルを用いた処理や、これらマッピングテーブルを組み合わせた処理も同様に行うことができる。

このように、第１立体視画像作成装置１０Ａにおいては、撮影者が撮影時の意図（どの部分を鮮明に撮りたいか等の意図）を反映させた奥行き画像を生成することができ、撮影者の意図に合った立体視画像を得ることができる。例えば、第１処理例によれば、撮影者が入力した撮影モードによって得られた被写体に適した立体視画像を作成することができる。第２処理例によれば、撮影時のＡＦの合焦距離によって得られた被写体に適した立体視画像を作成することができる。同様に、二次元画像の輝度に適した立体視画像を作成することができ、また、撮影時のレンズの絞り値によって得られた被写体に適した立体視画像を作成することができる。

次に、さらに好ましい態様を有する第２の実施の形態に係る立体視画像作成装置（以下、第２立体視画像作成装置１０Ｂを記す）について図９〜図１８を参照しながら説明する。

この第２立体視画像作成装置１０Ｂは、図９に示すように、上述した第１立体視画像作成装置１０Ａとほぼ同様の構成を有するが、距離情報取得手段７８と、奥行き画像生成手段８０と、撮影関連情報取得手段８２と、奥行き画像生成方法決定手段８４とに加えて、奥行き精度画像生成手段９２を有する。

被写体の距離や輝度によっては、被写体の一部を鮮明に、あるいは凹凸を詳細に撮って、その他の部分を簡略化して撮りたい場合がある。すなわち、１つの二次元画像について、被写体の一部の奥行き精度を高くし、他の部分の奥行き精度を低く設定したいという意図が働く場合がある。

奥行き精度の高低は、被写体の輝度や、距離、二次元画像上での記録範囲、被写体の内容等によって変わる。

そこで、奥行き精度画像生成手段９２は、上述した生成された奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像９４を生成する。すなわち、取得した二次元画像６２と同じ画素配列を有する別の二次元画像（奥行き精度画像９４）を用意し、取得した二次元画像６２のうち、奥行き精度を高くしたい画素について奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、奥行き精度が低くてもよい画素について奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。そして、この奥行き精度画像９４を用いて、奥行き画像８８に記録されている奥行き値から視差量を演算することで、撮影者が鮮明に撮りたいという意図のもとで撮影した被写体の画像が、特に鮮明に表示（出力）されることなる。

次に、この奥行き精度を考慮した４つの処理例（第３処理例〜第６処理例）について図１０〜図１８を参照しながら説明する。なお、上述した奥行き画像生成方法決定手段８４による処理はいずれも撮影モードに対応した１つのマッピングテーブルを決定する場合を想定している。

そして、第３処理例は、二次元画像６２の輝度情報に基づいて奥行き精度画像９４を生成する処理を含む。

先ず、図７のステップＳ１〜ステップＳ５と同様に、図１０のステップＳ２０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ２０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１０のステップＳ２０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ２０４において、距離情報取得手段７８が第１二次元画像における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ２０５において、奥行き画像生成手段８０は、ステップＳ２０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。

そして、ステップＳ２０６において、奥行き精度画像生成手段９２は、二次元画像６２の画素ごとの輝度値から、撮影モードと予め設定された輝度に関する閾値に基づいて画素ごとの奥行き精度を設定し、奥行き精度画像９４を生成する。

例えば、撮影モードがスキー場等のように背景が明るい場合に適した撮影モードである場合、輝度の高い被写体については光量が多すぎてほとんど形状等の見分けがつかないことがあり、このような場合、奥行き精度を高くしても立体視画像とする効果はほとんどなく、むしろ奥行き精度を低くして平面的な画像にすることが好ましい。そこで、図１１に示すように、輝度の高い画素（輝度値が第１閾値Ｖｔ１よりも高い画素）については、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当て、輝度が低い画素（輝度値が第１閾値以下の画素）については、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当てる。

反対に、撮影モードが夜景等のように背景が暗い場合に適した撮影モードである場合、輝度の低い被写体については光量が少なすぎてほとんど形状等の見分けがつかないことがあり、このような場合、奥行き精度を高くしても立体視画像とする効果はほとんどなく、むしろ奥行き精度を低くして平面的な画像にすることが好ましい。そこで、図１２に示すように、輝度の低い画素（輝度値が第２閾値Ｖｔ２（＜第１閾値Ｖｔ１）よりも低い画素）については、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当て、輝度が高い画素（輝度値が第２閾値以上の画素）については、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当てる。

奥行き精度画像生成手段９２は、上述のようにして、奥行き精度画像９４を生成し、生成した奥行き精度画像９４をメインメモリ２２に記録する。この段階で、第３処理例が終了する。

次に、第４処理例について図１３及び図１４を参照しながら説明する。この第４処理例は、二次元画像の距離情報と被写界深度に基づいて奥行き精度画像を生成する処理を含む。

先ず、図７のステップＳ１〜ステップＳ５と同様に、図１３のステップＳ３０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ３０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１３のステップＳ３０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ３０４において、距離情報取得手段７８が第１二次元画像における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ３０５において、奥行き画像生成手段８０は、ステップＳ３０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。

そして、ステップＳ３０６において、撮影関連情報取得手段８２は、レンズ情報（例えば開口数等）を取得し、メインメモリ２２の所定アドレスに格納する。

その後、ステップＳ３０７において、撮影関連情報取得手段８２は、第１積算回路５６から出力されるレンズの絞り値を取得し、メインメモリ２２の所定アドレスに格納する。

その後、ステップＳ３０８において、撮影関連情報取得手段８２は、第１積算回路５６から出力されるＡＦの合焦距離を取得し、メインメモリ２２の所定アドレスに格納する。

その後、ステップＳ３０９において、奥行き精度画像生成手段９２は、撮影関連情報取得手段８２によって取得されたレンズ情報、絞り値、ＡＦの合焦距離に基づいて被写界深度を算出する。

その後、ステップＳ３１０において、奥行き精度画像生成手段９２は、二次元画像６２の画素ごとの距離情報（距離情報ファイル８６）と被写界深度に基づいて画素ごとの奥行き精度を設定し、奥行き精度画像９４を生成する。

例えば、二次元画像６２に配列されている画素のうち、被写界深度内に入っている画素については、撮影者が特に鮮明に撮りたいという意図のもとで撮影した被写体の画像を構成する画素であるから、奥行き精度を高くして立体視画像を鮮明にすることが好ましい。逆に被写界深度から外れている画素については、撮影者が特に鮮明に撮りたいという対象から外れているため、奥行き精度を高くしても立体視画像とする効果はほとんどなく、むしろ奥行き精度を低くして平面的な画像にすることが好ましい。

そこで、図１４に示すように、取得した二次元画像６２の画素ごとの距離情報を確認して、距離が被写界深度Ｄｄ内にある画素については、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、距離が被写界深度を外れている画素については、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。

奥行き精度画像生成手段９２は、上述のようにして、奥行き精度画像９４を生成し、生成した奥行き精度画像９４をメインメモリ２２に記録する。この段階で、第４処理例が終了する。

次に、第５処理例について図１５を参照しながら説明する。この第５処理例は、取得した二次元画像６２のうち、中央部分に記録されている画像に基づいて奥行き精度画像９４を生成する処理を含む。これは、取得した二次元画像６２のうち、中央部分に記録されている画像は、撮影者が特に鮮明に撮りたいという意図のもとで記録されたものであり、中央部分に記録された画像の奥行き精度を高くする。

先ず、図７のステップＳ１〜ステップＳ５と同様に、図１５のステップＳ４０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ４０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１５のステップＳ４０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ４０４において、距離情報取得手段７８が第１二次元画像における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ４０５において、奥行き画像生成手段８０は、ステップＳ４０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。

そして、ステップＳ４０６において、奥行き精度画像生成手段９２は、二次元画像６２のうち、予め設定された範囲（中央部分の範囲）に記録されている被写体の画像を特定する。図１６の例では、被写体の画像として建物の画像９６を特定した例を示す。

その後、ステップＳ４０７において、奥行き精度画像生成手段９２は、図１６Ｂに示すように、上述のように特定した建物の画像９６に含まれる画素について、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、建物の画像９６に含まれていない画素について、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。

奥行き精度画像生成手段９２は、上述のようにして、奥行き精度画像９４を生成し、生成した奥行き精度画像９４をメインメモリ２２に記録する。この段階で、第５処理例が終了する。

次に、第６処理例について図１７を参照しながら説明する。この第６処理例は、上述した第５処理例とほぼ同じであるが、取得した二次元画像のうち、記録されている画像に人間の顔や動物の顔の画像が含まれているかどうかに基づいて奥行き精度画像を生成する処理を含む。これは、取得した二次元画像のうち、被写体が人間の顔や動物の顔等である場合、撮影者が特に鮮明に撮りたいという意図のもとで記録されたものであり、人間の顔や動物の顔の画像の奥行き精度を高くする。

先ず、図７のステップＳ１〜ステップＳ５と同様に、図１７のステップＳ５０１において、撮影関連情報取得手段８２が撮影モードを取得し、ステップＳ５０２において、奥行き画像生成方法決定手段８４が今回の撮影モードに対応した奥行き画像生成方法を取得する。その後、図１７のステップＳ５０３において、第１カメラ部１６が、撮影者による撮影ボタンの入力に基づいて、被写体の二次元画像６２（第１二次元画像）を取得し、ステップＳ５０４において、距離情報取得手段７８が第１二次元画像における画素ごとの距離情報、すなわち、距離情報ファイル８６を取得する。その後、ステップＳ５０５において、奥行き画像生成手段８０は、ステップＳ５０２において決定した１つの奥行き画像生成方法（マッピングテーブル）と距離情報取得手段７８にて取得した距離情報ファイル８６とに基づいて奥行き画像８８を生成する。

そして、ステップＳ５０６において、奥行き精度画像生成手段９２は、二次元画像６２のうち、人間の顔や動物の顔の画像が記録されているかどうかを探索し、その記録範囲を特定する。例えば、予め人間の代表的な顔の参照画像や動物の代表的な顔の参照画像を用意しておき、取得した二次元画像に参照画像と類似する画像が記録されているかどうかを例えばパターンマッチング法等を使用して探索する。探索の結果、参照画像に類似した画像が存在する場合は、その記録範囲の情報をメインメモリ２２の所定アドレスに格納する。図１８の例では、人間の顔の画像９８の記録範囲を特定した例を示す。

その後、ステップＳ５０７において、奥行き精度画像生成手段９２は、図１８に示すように、特定した記録範囲に含まれる画素について、奥行き精度＝「高」を示す情報（例えば論理値「１」）を割り当て、前記記録範囲以外の範囲の画素について、奥行き精度＝「低」を示す情報（例えば論理値「０」）を割り当てる。

奥行き精度画像生成手段９２は、上述のようにして、奥行き精度画像９４を生成し、生成した奥行き精度画像９４をメインメモリ２２に記録する。この段階で、第６処理例が終了する。

このように、第２立体視画像作成装置１０Ｂにおいては、撮影者が撮影時の意図（どの部分を鮮明に撮りたいか、詳細に記録したいか等の意図）を反映させた奥行き画像８８及び奥行き精度画像９４を生成することができ、撮影者の意図に合った立体視画像を得ることができる。例えば、第３処理例によれば、撮影者が入力した撮影モードに応じて立体視効果がほとんど期待できない部分について奥行き精度を低く設定でき、立体視効果が期待できる部分（撮影者が鮮明に撮りたい部分）について奥行き精度を高く設定することができる。第４処理例によれば、撮影者が鮮明に撮りたい部分、すなわち、被写界深度内に収まる画像について奥行き精度を高く設定でき、被写界深度から外れた画像について奥行き精度を低く設定することができる。第５処理例によれば、撮影者が注目した部分、すなわち、中央部分に記録された画像について奥行き精度を高く設定でき、被写界深度から外れた画像について奥行き精度を低く設定することができる。第６処理例によれば、撮影者が鮮明に撮りたい部分、すなわち、人間の顔や動物の顔の画像について奥行き精度を高く設定でき、それ以外の画像について奥行き精度を低く設定することができる。

上述の例では、第１カメラ部１６と第２カメラ部２０を設けることで、距離情報を得るようにしたが、その他、図１９の第３の実施の形態に係る立体視画像作成装置（以下、第３立体視画像作成装置１０Ｃと記す）のように、第２カメラ部２０に代えて、レーザ光による距離測定装置１００を設置するようにしてもよい。

この距離測定装置１００は、レーザ光の出射指示に基づいてレーザ光源（図示せず）からレーザ光を出射するように制御するレーザ光制御部１０２と、被写体から反射したレーザ光を受光するレーザ光受光部１０４と、レーザ光の出射指示から受光までにかかった時間に基づいて被写体までの距離を測定する信号処理回路１０６とを有し、距離情報取得手段７８として機能する。距離測定装置１００は、第１カメラ部１６での撮像範囲をカバーするようにレーザ光を走査しながら、第１カメラ部１６で取得される二次元画像６２の画素ごとの距離情報（距離情報ファイル８６）を取得する。

この第３立体視画像作成装置１０Ｃでは、第２カメラ部２０を設置する必要がなく、また、メインメモリ２２に第２二次元画像７６を記録する必要がないため、装置自体の小型化、メインメモリ２２の記憶容量の低減化を図ることができる。

上述の例では、撮影関連情報取得手段８２にて取得する撮影時の合焦距離情報として、ＡＦの距離情報を用いたが、その他、撮影時のマニュアルフォーカスの距離情報を用いるようにしてもよい。

また、上述の例では、ＵＳＢドライバ３２の外部コネクタ４０に外部記憶装置１２を接続した例を示したが、その他、図２０に示すように、例えば第２立体視画像作成装置１０Ｂをパーソナルコンピュータ１０８にＵＳＢドライバ３２の外部コネクタ４０を介して接続し、パーソナルコンピュータ１０８のハードディスクに二次元画像６２、奥行き画像８８、奥行き精度画像９４を記録するようにしてもよい。また、複数のマッピングテーブル９０ａ〜９０ｇを不揮発性メモリ３０から入手するのではなく、ネットワーク１１０及びパーソナルコンピュータ１０８を経由してＷｅｂサイト１１２からダウンロードするようにしてもよい。この場合、様々な撮影関連情報に合わせた多種多様のマッピングテーブルを適宜入手することができ、しかも、機種変更にも容易に対応させることができ、撮影者の撮影時における意図を忠実に反映させた奥行き画像を生成することができる。もちろん、パーソナルコンピュータ１０８のハードディスクに記録された二次元画像６２、奥行き画像８８、奥行き精度画像９４をＷｅｂサイト１１２にアップロードしたり、他のユーザのパーソナルコンピュータに転送するようにしてもよい。

次に、本実施の形態に係る立体視画像出力装置２００について図２１〜図２５を参照しながら説明する。

この立体視画像出力装置２００は、図２１に示すように、各種プログラムを起動して動作させるＣＰＵ２０２と、デジタル処理を行うためのメインメモリ２０４と、メインメモリ２０４で加工されたデータを外部に接続された三次元モニタ２０６に出力するＩ／Ｏインターフェース２０８とを有する。これらＣＰＵ２０２、メインメモリ２０４、Ｉ／Ｏインターフェース２０８は制御バスやデータバス（以下、単にバス２１０と記す）を通じて接続されている。このバス２１０には、上述の部材のほか、ＵＳＢドライバ２１２が接続されている。ＵＳＢドライバ２１２には外部コネクタ２１４が接続され、該外部コネクタ２１４を介して外部記憶装置１２が接続されている。

ＣＰＵ２０２で起動、動作するソフトウエアは、図２２に示すように、外部記憶装置１２に記憶された二次元画像６２、奥行き画像８８及び奥行き精度画像９４をメインメモリ２０４に読み出す画像読出し手段２１６と、奥行き画像に記録された奥行き値と奥行き精度画像９４に記録された精度情報に基づいて二次元画像の画素ごとの視差量を演算して視差量画像２１７を作成する視差量演算手段２１８と、視差量画像２１７の画素ごとの視差量に基づいて二次元画像６２の画素ずらしを行って立体視画像２２０を生成する立体視画像生成手段２２２と、生成された立体視画像２２０をモニタ、パーソナルコンピュータ、プリンタ等に出力する立体視画像出力手段２２４とを有する。本実施の形態における立体視画像出力手段２２４は、生成された立体視画像２２０を三次元モニタ２０６に出力して立体視画像２２０を表示する場合を示している。

ここで、立体視画像出力装置２００の処理動作について図２３を参照しながら説明する。

先ず、ステップＳ６０１において、画像読出し手段２１６は、外部記憶装置１２に記憶されている二次元画像６２、奥行き画像８８及び奥行き精度画像９４を読み出して、メインメモリ２０４に記録する。

その後、ステップＳ６０２において、視差量演算手段２１８は、処理対象の画素の更新を示すカウンタの値ｎを初期値「１」にする（ｎ＝１）。

次いで、ステップＳ６０３において、視差量演算手段２１８は、奥行き画像８８のうち、カウンタの値ｎに対応する画素（ｎ番目の画素）の奥行き値を読み出す。

その後、ステップＳ６０４において、視差量演算手段２１８は、奥行き精度画像９４のうち、カウンタの値ｎに対応する画素（ｎ番目の画素）の精度情報（精度の高／低＝１／０）を読み出す。

その後、ステップＳ６０５において、精度情報が「０」（精度＝「低」）であるか、「１」（精度＝「高」）であるかが判別される。

精度情報が「０」（精度＝「低」）である場合は、ステップＳ６０６に進み、図２４Ａに示す低い精度用の第１補正テーブル２２６に基づいてｎ番目の画素の視差量を求める。

第１補正テーブル２２６は、横軸に奥行き値、縦軸に視差量をとったグラフをテーブル化したものである。この第１補正テーブルでは、奥行き値が増加するに従って視差量が階段状に増加する特性となっている。従って、奥行き値が例えばＤ０〜Ｄ９の間にある場合は、視差量は一律Ｔ１、奥行き値が例えばＤ１０〜Ｄ１９の間にある場合は、視差量は一律Ｔ２というように、奥行き値がある範囲まで変化しないと画素ずらしがなされず、ほとんど立体視効果が現れないようになっている。従って、その分、立体視表示のためにかかる演算処理が簡略化され、ＣＰＵ２０２での演算負担が低減されることになる。

一方、精度情報が「１」（精度＝「高」）である場合は、ステップＳ６０７に進み、図２４Ｂに示す高い精度用の第２補正テーブル２２８に基づいてｎ番目の画素の視差量を求める。

第２補正テーブル２２８は、第１補正テーブル２２６と同様に、横軸に奥行き値、縦軸に視差量をとったグラフをテーブル化したものである。特に、この第２補正テーブル２２８では、奥行き値が増加するに従って視差量も線形に増加する特性となっている。従って、奥行き値の変化がそのまま線形変化として視差量に反映されることから、細かい凹凸まで忠実に表示することができる。

前記ステップＳ６０６あるいはステップＳ６０７での処理が終了した段階で次のステップＳ６０８に進み、カウンタの値を＋１更新して、前記ステップＳ６０９に進み、全ての画素について処理が終了したか否かが判別される。全ての画素についての処理が終了していなければ、前記ステップＳ６０３以降の処理を繰り返す。

そして、ステップＳ６０９において、全ての画素について処理が終了したと判別された場合、すなわち、二次元画像６２に対応する視差量画像２１７が完了した場合は、次のステップＳ６１０に進み、立体視画像生成手段２２２は、視差量画像２１７の画素ごとの視差量に基づいて二次元画像６２の画素ずらしを行って立体視画像２２０を生成する。

その後、ステップＳ６１１において、立体視画像出力手段２２４は、生成された立体視画像２２０を三次元モニタ２０６に出力する。これによって、三次元モニタ３０６から今回の立体視画像２２０が表示されることになる。この段階で、本実施の形態に係る立体視画像出力装置２００での処理が終了する。

上述の例では、第１補正テーブル２２６の特性として、階段状の特性を示したが、その他、奥行き値に対する視差量を「０」にするようにしてもよい。この場合、精度＝「低」とされた画素で構成された画像は平面的な画像として表示されることになる。

また、上述の例では、外部記憶装置１２に記録された二次元画像６２、奥行き画像８８、奥行き精度画像９４に基づいて立体視画像２２０を表示するようにしたが、その他、図２５に示すように、本実施の形態に係る立体視画像出力装置２００をパーソナルコンピュータ１０８に接続し、パーソナルコンピュータ１０８のハードディスクに記録されている二次元画像６２、奥行き画像８８、奥行き精度画像９４や、ネットワーク１１０を経由してＷｅｂサイト１１２からダウンロードした二次元画像６２、奥行き画像８８、奥行き精度画像９４や、他のユーザから転送された二次元画像６２、奥行き画像８８、奥行き精度画像９４に基づいて立体視画像２２０を作成し、出力（表示等）するようにしてもよい。

なお、本発明に係る立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法は、上述の実施の形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

第１立体視画像作成装置を示す構成図である。 第１立体視画像作成装置の構成を示す機能ブロック図である。 撮影モードが風景モード、夜景モードの場合のマッピングテーブルの例を示すグラフである。 撮影モードがポートレートモードの場合のマッピングテーブルの例を示すグラフである。 撮影モードがマクロモードの場合のマッピングテーブルの例を示すグラフである。 ＡＦの合焦距離に応じた４種類のマッピングテーブルの例を示すグラフである。 第１処理例の動作を示すフローチャートである。 第２処理例の動作を示すフローチャートである。 第２立体視画像作成装置を示す構成図である。 第３処理例の動作を示すフローチャートである。 背景が明るい場合に適した撮影モードである場合において、奥行き精度の高低を決定する基準を示す説明図である。 背景が暗い場合に適した撮影モードである場合において、奥行き精度の高低を決定する基準を示す説明図である。 第４処理例の動作を示すフローチャートである。 被写界深度に基づいて奥行き精度の高低を決定する基準を示す説明図である。 第５処理例の動作を示すフローチャートである。 図１６Ａは建物の画像を特定した状態を示す説明図であり、図１６Ｂは建物の画像を構成する画素の奥行き精度を「高」に設定し、それ以外の画素の奥行き精度を「低」に設定した例を示す説明図である。 第６処理例の動作を示すフローチャートである。 顔の画像を特定した状態を示す説明図である。 第３立体視画像作成装置を示す構成図である。 第２立体視画像作成装置の他の使用例を示す説明図である。 立体視画像出力装置を示す構成図である。 立体視画像出力装置の構成を示す機能ブロック図である。 立体視画像出力装置の処理動作を示すフローチャートである。 図２４Ａは第１補正テーブルの例を示すグラフであり、図２４Ｂは第２補正テーブルの例を示すグラフである。 立体視画像出力装置の他の使用例を示す説明図である。

符号の説明

１０Ａ…第１立体視画像作成装置 １０Ｂ…第２立体視画像作成装置
１０Ｃ…第３立体視画像作成装置 １２…外部記憶装置
１６…第１カメラ部 ２０…第２カメラ部
６２…第１二次元画像（二次元画像） ７６…第２二次元画像
７８…距離情報取得手段 ８０…奥行き画像生成手段
８２…撮影関連情報取得手段 ８４…奥行き画像生成方法決定手段
８６…距離情報ファイル ８８…奥行き画像
９０ａ〜９０ｇ…マッピングテーブル ９２…奥行き精度画像生成手段
９４…奥行き精度画像 ９６…建物の画像
９８…顔の画像 １００…距離測定装置
１０８…パーソナルコンピュータ １１０…ネットワーク
１１２…Ｗｅｂサイト ２００…立体視画像出力装置
２０６…三次元モニタ ２１６…画像読出し手段
２１７…視差量画像 ２１８…視差量演算手段
２２０…立体視画像 ２２２…立体視画像生成手段
２２４…立体視画像出力手段

Claims (14)

1. 被写体の二次元画像を取得する二次元画像取得手段と、
   前記被写体までの距離情報を取得する距離情報取得手段と、
   少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、
   前記被写体を撮像した際の１以上の撮影関連情報を取得する撮影関連情報取得手段と、
   前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段とを有し、
   前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成することを特徴とする立体視画像作成装置。
2. 被写体の二次元画像を取得する二次元画像取得手段と、
   前記被写体までの距離情報を取得する距離情報取得手段と、
   少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、
   前記被写体を撮像した際の複数の撮影関連情報を取得する撮影関連情報取得手段と、
   生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成する奥行き精度画像生成手段と、
   前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き画像生成方法決定手段と、
   前記奥行き精度画像を生成するための複数の奥行き精度画像生成方法のうち、１つの奥行き精度画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定する奥行き精度画像生成方法決定手段とを有し、
   前記奥行き画像生成手段は、前記距離情報取得手段にて取得した前記距離情報と、前記奥行き画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き画像を生成し、
   前記奥行き精度画像生成手段は、前記奥行き精度画像生成方法決定手段にて決定された奥行き画像生成方法に基づいて奥行き精度画像を生成することを特徴とする立体視画像作成装置。
3. 請求項２記載の立体視画像作成装置において、
   前記奥行き精度画像生成手段にて生成される前記奥行き精度画像は、精度の高低を示す２値画像であることを特徴とする立体視画像作成装置。
4. 請求項１〜３のいずれか１項に記載の立体視画像作成装置において、
   さらに、前記複数の奥行き画像生成方法を記憶する記憶手段を有し、
   前記奥行き画像生成方法決定手段は、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法を前記記憶手段から読み出して、前記奥行き画像生成手段に供給することを特徴とする立体視画像作成装置。
5. 請求項１〜３のいずれか１項に記載の立体視画像作成装置において、
   前記奥行き画像生成方法決定手段は、前記複数の奥行き画像生成方法のうち、前記撮影関連情報取得手段にて取得した撮影関連情報に対応する奥行き画像生成方法をネットワークを通じて受け取り、前記奥行き画像生成手段に供給することを特徴とする立体視画像作成装置。
6. 請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
   前記撮影関連情報取得手段にて取得される前記撮影関連情報は、入力される撮影モードであることを特徴とする立体視画像作成装置。
7. 請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
   前記撮影関連情報取得手段にて取得される前記撮影関連情報は、前記二次元画像生成手段にて生成された前記二次元画像の輝度情報であることを特徴とする立体視画像作成装置。
8. 請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
   前記撮影関連情報取得手段にて取得される前記撮影関連情報は、撮影時のレンズの絞り値であることを特徴とする立体視画像作成装置。
9. 請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
   前記撮影関連情報取得手段にて取得される前記撮影関連情報は、撮影時の合焦距離情報であることを特徴とする立体視画像作成装置。
10. 請求項１〜５のいずれか１項に記載の立体視画像作成装置において、
    前記撮影関連情報取得手段にて取得される前記撮影関連情報は、前記二次元画像生成手段にて生成された前記二次元画像のうち、前記被写体の画像が記録されている領域情報であることを特徴とする立体視画像作成装置。
11. 請求項１０記載の立体視画像作成装置において、
    前記被写体の画像が記録されている領域情報は、前記被写体の顔の画像が記録されている領域情報であることを特徴とする立体視画像作成装置。
12. 被写体の二次元画像を取得する二次元画像取得手段と、
    前記被写体までの距離情報を取得する距離情報取得手段と、
    少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段と、
    生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成する奥行き精度画像生成手段と、
    前記二次元画像生成手段にて生成された前記二次元画像と、前記奥行き画像生成手段にて生成された前記奥行き画像と、前記奥行き精度画像生成手段にて生成された前記奥行き精度画像から立体視画像を生成する立体視画像生成手段とを有することを特徴とする立体視画像出力装置。
13. 被写体の二次元画像を取得する二次元画像取得手段と、
    前記被写体までの距離情報を取得する距離情報取得手段と、
    少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、
    前記被写体を撮像した際の１以上の撮影関連情報を取得し、
    前記被写体の立体視画像を出力するための奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像生成方法を、前記取得した撮影関連情報に基づいて決定し、
    前記取得した前記距離情報と、前記決定された奥行き画像生成方法に基づいて奥行き画像を生成することを特徴とする立体視画像作成方法。
14. 被写体の二次元画像を取得する二次元画像取得手段と、
    前記被写体までの距離情報を取得する距離情報取得手段と、
    少なくとも前記距離情報取得手段にて取得した前記距離情報に基づいて前記被写体の立体視画像を出力するための奥行き画像を生成する奥行き画像生成手段とを有する立体視画像作成装置にて使用される立体視画像作成方法において、
    前記被写体を撮像した際の複数の撮影関連情報を取得し、
    生成された前記奥行き画像中の奥行き精度を設定するための精度情報が配列された奥行き精度画像を生成し、
    前記奥行き画像を生成するための複数の奥行き画像生成方法のうち、１つの奥行き画像画像生成を、前記撮影関連情報取得手段にて取得した撮影関連情報に基づいて決定し、
    前記奥行き精度画像を生成するための複数の奥行き精度画像生成方法のうち、１つの奥行き精度画像画像生成を、前記取得した撮影関連情報に基づいて決定し、
    前記取得した前記距離情報と、前記決定された奥行き画像生成方法に基づいて奥行き画像を生成し、
    前記決定された奥行き画像生成方法に基づいて奥行き精度画像を生成することを特徴とする立体視画像作成方法。

Images