JP2013197881A

JP2013197881A - 撮像装置及び撮像方法、画像表示装置及び画像表示方法、プログラム

Info

Publication number: JP2013197881A
Application number: JP2012062709A
Authority: JP
Inventors: Katsuya Sakamaki; 勝也坂牧
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2012-03-19
Filing date: 2012-03-19
Publication date: 2013-09-30

Abstract

【課題】専用の表示装置を用いることなく立体画像として認識することできる撮影画像を取得し、また取得した撮影画像を立体画像として認識させる。
【解決手段】撮影画像における複数の被写体部分を、実空間での奥行き方向の距離範囲別にグループ化し、同一グループの被写体部分のみからなるグループ数分の分割画像に分割する。各分割画像を、対応する各グループの位置関係が奥側の分割画像の被写体部分に比べ、手前側の分割画像の被写体部分が大きくなるよう拡大し、対応する各グループの位置関係を反映させたレイヤー構造を確保し上書き合成して表示用画像Ｇを生成し、表示する。その間、最下層の除く各層の被写体部分を共に左右方向へ移動させ、かつ相対的に上層側の被写体部分を相対的に下層側の被写体部分に比べて大きく移動させる。
【選択図】図１１

Description

本発明は、主として、専用の表示装置を用いることなく立体画像として認識することができる撮影画像を取得する技術に関する。

従来、いわゆる３Ｄ画像を得るための技術として、左右に配置された第１、第２の２つの撮像部を設け、各撮像部によって同一の被写体を同時に撮像したり、１つの撮像部を横方向にスライドさせて同一の被写体を左右の異なる位置から撮像したりすることにより、視差の存在する右画像と左画像との２種類の画像を取得し、係る２種類の画像に基づき専用の３Ｄ表示装置を用いて画像を立体的に視認（立体視）させる技術が提案されている（例えば、特許文献１参照）。なお、専用の３Ｄ表示装置としては、例えば視差バリアを備えたパララックスバリア方式のものや、偏光フィルタを備えた偏光フィルタ方式によるものが公知である。

特開平０６−３３９０５２号公報

しかしながら、上記従来技術により取得された右画像と左画像は、通常の表示装置とは異なる物理的構成を有する専用の３Ｄ表示装置を用いなければ立体画像として認識できないという問題があった。

本発明は、係る従来の課題に鑑みてなされたものであり、専用の表示装置を用いることなく立体画像として認識することができる撮影画像の取得を可能とする撮像装置及び撮像方法と、その撮影画像を立体画像として認識させるための画像表示装置及び画像表示方法、及びそれらの実施に使用されるプログラムを提供することを目的とする。

前記課題を解決するため、第１の発明にあっては、撮像手段と、前記撮像手段により得られた撮影画像に存在する複数の被写体部分の実空間における奥行き方向の位置関係を示す奥行き情報を取得する奥行き情報取得手段と、前記奥行き情報取得手段により取得された奥行き情報に基づき、前記複数の被写体部分を奥行き方向の距離範囲別に複数グループにグループ分けするグループ化手段と、前記撮影画像から、同一グループの被写体部分のみがそれぞれ存在するグループ数に応じた複数の分割画像を生成する分割画像生成手段と、前記分割画像生成手段により生成された複数の分割画像を、互いに関連付けられ、かつ前記複数グループの奥行き方向の距離範囲の位置関係に対応する各分割画像の奥行き方向の位置関係を示す位置関係情報が付加された状態で記憶する記憶手段とを備えたことを特徴とする。

また、第２の発明にあっては、特定の構成を備えた撮像装置により撮影画像から生成されるとともに、互いに関連付けられ、かつ相互間における奥行き方向の位置関係を示す位置関係情報を付加された状態で記憶手段に記憶されている複数の分割画像に基づく画像を表示する画像表示装置であって、前記複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する合成手段と、前記合成手段により生成された表示用画像を表示する表示手段と、前記表示手段による表示用画像の表示期間に、前記合成手段が表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を制御することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる表示制御手段とを備えたことを特徴とする。

第１の発明によれば、専用の表示装置を用いなくても、立体画像として認識することができる撮影画像の取得が可能になる。また、第２の発明によれば、第１の本発明により取得した撮影画像を立体画像として認識させることができる。

（Ａ）は、本発明の実施形態に係る撮像装置の正面図、（Ｂ）は、同撮像装置の背面の背面図である。撮像装置の構成を示すブロック図である。画像処理部の構成を示す機能ブロック図である。画像出力部の構成を示す機能ブロック図である。４つのレイヤーデータの記録形態の一例を示す画像データの概念図である。ＭＰＯファイルの概念図である。撮影画像の一例を示す図である。各被写体と撮像装置の位置関係を示した図である。各レイヤーデータと、奥行き方向の距離範囲との関係を示す図である。各レイヤーデータの位置関係を示した図である。表示部における画像の表示状態を示した図である。

以下、本発明の実施形態について説明する。本実施形態は、本発明を２つの撮像部を備える２眼式の撮像装置に適用した場合の例を示したものである。

図１は、本発明における撮像装置１０００を示す外観図であって、（Ａ）は、本発明の実施形態に係る撮像装置の正面図、（Ｂ）は、同撮像装置の背面の背面図である。

図１（Ａ）に示すように、撮像装置１０００の正面には、一対のレンズ１１１Ａとレンズ１１１Ｂとが所定の間隔を隔て左右に並んで配置されている。また、図１（Ａ）に示すように、撮像装置１０００の上面には、シャッター動作を指示（撮像操作）するためのシャッターボタン３３１が設けられている。さらに、図１（Ｂ）に示すように、撮像装置１０００の背面には、表示部３１０と、撮像装置１０００の動作モード等の指定や各種機能の設定に使用される操作キー３３２と、電源キー３３３とが設けられている。

図２は、前記撮像装置１０００の電気的構成の概略を示すブロック図である。図２に示すように、撮像装置１０００は、第１撮像部１００Ａと、第２撮像部１００Ｂと、データ処理部２００と、Ｉ／Ｆ部３００とを備えている。

第１撮像部１００Ａと第２撮像部１００Ｂとは同一の構成であり、それぞれが光学装置１１０Ａ，１１０Ｂと、撮像素子１２０Ａ，１２０Ｂとを備えている。光学装置１１０Ａ，１１０Ｂは、前記レンズ１１１Ａとレンズ１１１Ｂ、及びフォーカスレンズを含む光学系、絞り、機械式シャッター等から構成される。撮像素子１２０Ａ，１２０Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の固体撮像素子である。

第１撮像部１００Ａと第２撮像部１００Ｂとによって、任意の被写体を１回の撮像操作に応じて左右の異なる位置から同時に撮像し、視差の存在する右画像と左画像とからなる一対の撮影画像が取得可能となっている。

データ処理部２００は、撮像素子１２０Ａ，１２０Ｂにおける撮像動作によって生成された電気信号を処理し、撮像された被写体の画像を示すデジタルデータを生成するとともに、当該画像に対する画像処理を行なう。

データ処理部２００は、主として制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０から構成される。

制御部２１０は、例えば、ＣＰＵ(Central Processing Unit：中央演算処理部）などのプロセッサや、ＲＡＭ(Random Access Memory)などの主記憶装置(メモリ)から構成される。制御部２１０は、記憶部２５０に格納されているプログラムを実行することで、撮像装置１０００の各部を制御するとともに、ＡＦ（Auto Focus）制御やＡＥ（Auto Exposure）制御を実行する。また、本実施形態では、制御部２１０が所定のプログラムを実行することで、画像処理部２２０の後述する画像のレイヤー記録処理、レイヤー画像の表示処理が制御される。

画像処理部２２０は、例えばＡＤＣ（Analog-Digital Converter：アナログ・デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、撮像素子１２０Ａ，１２０Ｂによって生成された電気信号に基づいて、画像処理を実施する。なお、画像処理部２２０の画像処理には、後述する画像のレイヤー記録処理、レイヤー画像の表示処理が含まれる。

画像メモリ２３０は、例えばＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。

画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号に変換して表示画面（後述する表示部３１０など）に出力する。

記憶部２５０は、例えば、ＲＯＭ(Read Only Memory)やフラッシュメモリなどの記憶装置から構成され、撮像装置１０００の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムなどが記憶部２５０に格納されているものとする。

外部記憶部２６０は、例えば、メモリカードなどといった、撮像装置１０００に着脱可能な記憶装置から構成され、撮像装置１０００で撮像した画像データなどを格納する。

Ｉ／Ｆ部３００は、撮像装置１０００とその使用者、あるいは外部装置とのインターフェースに利用され、表示部３１０、外部Ｉ／Ｆ部３２０、操作部３３０などから構成される。

表示部３１０は、例えば、液晶表示装置などから構成され、撮像装置１０００を操作するために必要な種々の画面や、撮像時のライブビュー画像、撮像画像、などを表示出力する。本実施例では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力が行われる。

外部インターフェース部３２０は、例えばＵＳＢ(Universal Serial Bus)コネクタやビデオ出力端子などから構成され、外部のコンピュータ装置への画像データの出力や外部３Ｄ表示装置への撮像画像の表示出力などを行う。

操作部３３０は、図１に示したシャッター動作を指示するためのシャッターボタン３３１や、撮像装置１０００の動作モード等の指定や各種機能設定を行なう操作キー３３２を含む各種ボタンなどによって構成され、撮像装置１０００の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。

一方、図３は、画像処理部２２０において実現される本発明に係る機能を示す機能ブロック図である。図３に示すように、画像処理部２２０は、受付部２２０Ａと、奥行き検出部２２０Ｂと、被写体グループ化部２２０Ｃと、第１被写体グループ切り出し部２２０Ｄと、第２被写体グループ切り出し部２２０Ｅと、第３被写体グループ切り出し部２２０Ｆと、第４被写体グループ切り出し部２２０Ｇと、第１グループレイヤー化部２２０Ｈと、第２グループレイヤー化部２２０Ｉと、第３グループレイヤー化部２２０Ｊと、第４グループレイヤー化部２２０Ｋと、第１記録部２２０Ｌと、第２記録部２２０Ｍとから構成される。

受付部２２０Ａは、画像処理部２２０におけるＡＤＣ、バッファメモリにより実現される機能部分であり、第１撮像部１００Ａと第２撮像部１００Ｂとから入力した撮像信号を受け付け、左右一対の撮影画像（右画像と左画像）を表す画像データに変換する。

奥行き検出部２２０Ｂは、画像データに変換された左右一対の撮影画像に基づいて、撮像された各被写体が撮像装置１０００から、それぞれ何メートル離れた位置に存在するかを検出する。

奥行き検出部２２０Ｂが、撮像装置１０００から各被写体までの距離を検出する際の処理は、視差量に基づいて奥行き位置を検出する処理であって、従来より知られている三角測量の原理、レンズの性質、幾何学の法則等に基づくものである。

ここでは、一例として、奥行き検出部２２０Ｂが、以下の処理により各被写体までの距離を検出するものとする。まず、撮像操作に応じた撮影時に、制御部２１０がＡＦ制御によりピントを合わせを行った時点で光学装置１１０Ａ，１１０Ｂにおけるフォーカスレンズの調整位置に基づき、主たる被写体に対応する領域（例えば画面中央部）の距離データを取得するものとする。なお、距離データは、フォーカスレンズの調整位置と被写体までの距離との関係を示す距離取得テーブルを用いて取得することができる。

そして、奥行き検出部２２０Ｂは、制御部２１０から供給される主たる被写体の距離データと、主たる被写体に対応する領域を示す情報を利用し各被写体までの距離を検出（取得）する。

まず、奥行き検出部２２０Ｂは、左右一対の撮影画像の一方をメイン画像、他方をサブ画像とし、メイン画像に対してエッジ検出を行うことにより１ライン分の特徴点を抽出する。次に、奥行き検出部２２０Ｂは、サブ画像から、特徴ベースマッチングによって、設定した所定の探索範囲内において抽出した１ライン分の各々の特徴点と相関が最も高いと判断した点を探索し、探索した点を対応点として特定するとともに、メイン画像の特徴点とサブ画像の対応点との水平方向のずれ量（視差）を算出し、その算出結果を、特徴点の距離データとして記憶する。

奥行き検出部２２０Ｂは、以上の処理を、処理対象のラインを順に変更しながら繰り返し行い、全てのラインについて特徴点の距離データが取得できたら、各々の特徴点の距離データについて、主たる被写体に対応する領域（画面中央部）の距離データとの差を計算し、その結果と、主たる被写体の距離とに基づき、全ての特徴点における撮像装置１０００からの距離を算出する。そして、奥行き検出部２２０Ｂは、メイン画像内で撮像装置１０００からの距離がほぼ同一である複数の特徴点によって囲まれる領域が同一距離の被写体部分であるものとする。

被写体グループ化部２２０Ｃは、奥行き検出部２２０Ｂにより検出された距離を各被写体部分の奥行き情報とし、係る奥行き情報を元にして、各被写体部分を所定の奥行き範囲（奥行き方向の距離範囲）別に複数グループにグループ分けする。

本実施例においては、奥行き範囲別の複数グループを、撮像装置１０００から０〜３ｍの範囲に位置する第１被写体グループ、３〜８ｍの範囲に位置する第２被写体グループ、８〜１５ｍの範囲に位置する第３被写体グループ、１５ｍ〜無限遠の範囲に位置する第４被写体グループの４グループとする。

第１被写体グループ切り出し部２２０Ｄ、第２被写体グループ切り出し部２２０Ｅ、第３被写体グループ切り出し部２２０Ｆ、第４被写体グループ切り出し部２２０Ｇは、グループ分けされた被写体部分を、左右一対の撮影画像の一方からグループ毎にそれぞれ切り出す。例えば、第１被写体グループ切り出し部２２０Ｄであれば、撮影画像から第１被写体グループに属する１又は複数の被写体部分を切り出す。

第１被写体グループ切り出し部２２０Ｄ〜第４被写体グループ切り出し部２２０Ｇにより切り出されたグループ毎の被写体部分は、それぞれ、第１グループレイヤー化部２２０Ｈ、第２グループレイヤー化部２２０Ｉ、第３グループレイヤー化部２２０Ｊ、第４グループレイヤー化部２２０Ｋによってレイヤー化される。

ここでレイヤー化とは、同一グループの被写体部分のみが存在する画像のデータを生成する処理であり、例えば第１被写体グループ切り出し部２２０Ｄであれば、撮影画像と同サイズを有する背景が透明色の画像に、第１被写体グループ切り出し部２２０Ｄによって切り出された１又は複数の被写体部分を、画像内の位置を保持した状態で貼付けた画像のデータであるレイヤーデータを生成する。第１グループレイヤー化部２２０Ｈ〜第４グループレイヤー化部２２０Ｋが生成するレイヤーデータによって表される画像が本発明における分割画像に相当する。

第１記録部２２０Ｌは、レイヤー化された４つのグループのレイヤーデータ、つまり階層構造を有する画像データを１つの画像データとして、メモリカード等の外部記憶部２６０に記録する。図５は、外部記憶部２６０に記録される画像データ５００を示す概念図である。

本実施形態において、画像データ５００は、例えばＥｘｉｆ（Exchangeable Image File Format）フォーマットに準拠するファイル形式を拡張した拡張形式の画像ファイルであり、各々が画像データ本体である第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４の４つのレイヤーデータが圧縮された状態で格納される。

また、画像データ５００には、各レイヤーデータ５０１〜５０４に関する管理情報５０５が付加されており、管理情報５０５には、各々のレイヤーデータ５０１〜５０４の階層位置を示す階層位置情報が含まれる。階層位置情報は、被写体グループ化部２２０Ｃが、撮影画像に存在する各被写体部分をグループ分けする際の、各グループの奥行き範囲の位置関係に対応する各レイヤー階層位置を示す情報である。つまり本発明の位置関係情報に相当する情報である。

本実施形態においては、第１のレイヤーデータ５０１が、撮像装置１０００から０〜３ｍの奥行き範囲に位置する第１被写体グループに対応する、最上層となる第１層目のレイヤーデータである。また、第４のレイヤーデータ５０４が、１５ｍ〜無限遠の奥行き範囲に位置する第４被写体グループに対応する、最下層となる第４層目のレイヤーデータである。

なお、第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４は、互いに関連付けられ、かつ各々の階層位置を知ることができれば、必ずしも１つの画像データとして記録する必要はなく、個別の画像ファイルとして記録することもできる。その場合、例えばファイル名によって互いの関連付けを行うとともに、階層位置を示すようにすればよい。

また、第２記録部２２０Ｍは、受付部２２０Ａにおいて撮像信号から変換された視差の存在する異なる２枚の画像を、専用の外部３Ｄ表示装置で立体表示を行うための１対（右画像と左画像）の画像データ、例えばＭＰＯ（Multi Picture Object Format）ファイルと呼ばれる画像ファイルとして、メモリカード等の外部記憶部２６０に記録する。図６は、ＭＰＯファイル６００として記録されている右画像データ６０１と左画像データ６０２を示す概念図である。

ここで、上記説明した画像処理部２２０における画像のレイヤー記録処理について、図７〜図９を用いて具体的に説明する。

ここでは、撮影操作に応じて撮像された左右一対の画像のうちでレイヤーデータの生成対象となる一方の撮影画像（右画像、又は左画像）が、図７のような写真を撮像する場合を例とする。図示したように、この撮影画像には、被写体部分として花畑Ａ、３人の人物Ｂ、建物Ｃ、背景の空Ｄとが存在している。

図８で、各被写体部分Ａ，Ｂ，Ｃ，Ｄと撮像装置１０００の位置関係を説明する。図８において、左側手前部分に撮像装置１０００がある。各被写体部分Ａ，Ｂ，Ｃ，Ｄの撮像装置１０００からの距離は、図７最下段の花畑Ａは３ｍ、人物Ｂが５ｍ、建物Ｃは１５ｍ、背景の空Ｄは無限遠に相当する位置となっている。

これらの被写体部分は、奥行き検出部２２０Ｂと被写体グループ化部２２０Ｃとにより、
花畑Ａ：第１被写体グループ（０〜３ｍ）
人物Ｂ：第２被写体グループ（３〜８ｍ）
建物Ｃ：第３被写体グループ（８〜１５ｍ）
空Ｄ：第４被写体グループ（１５ｍ〜無限遠）
にグループ化され、それぞれ、第１被写体グループ切り出し部２２０Ｄ〜第４被写体グループ切り出し部２２０Ｇにより、各被写体部分Ａ，Ｂ，Ｃ，Ｄが切り出される。

切り出された各被写体部分Ａ，Ｂ，Ｃ，Ｄは、第１グループレイヤー化部２２０Ｈ〜第４グループレイヤー化部２２０Ｋにより、
レイヤー１：花畑Ａ
レイヤー２：人物Ｂ
レイヤー３：建物Ｃ
レイヤー４：空Ｄ
にレイヤー化され、第１記録部２２０Ｌにより、４つのグループに対応する第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４が、前述した階層位置情報を付加された状態で１つの画像データとして、メモリカード等の外部記憶部２６０に記録される。

この各レイヤーデータ５０１〜５０４と、奥行き方向の距離範囲との関係を示したものが図９である。なお、図９に示した第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４には、それぞれのレイヤーで切り出された被写体部分以外の部分を、網掛けによるグレー表示とした。

引き続き、図４を参照して、図２に示した画像出力部２４０の詳細について説明する。図４は、画像出力部２４０において実現される本発明に係る機能を示す機能ブロック図である。

図４に示すように、画像出力部２４０は、レイヤー分割部２４０Ａと、第１レイヤー拡大部２４０Ｂと、第２レイヤー拡大部２４０Ｃと、第３レイヤー拡大部２４０Ｄと、第４レイヤー拡大部２４０Ｅと、第１レイヤー表示制御部２４０Ｆと、第２レイヤー表示制御部２４０Ｇと、第３レイヤー表示制御部２４０Ｈと、第４レイヤー表示制御部２４０Ｉと、レイヤー合成部２４０Ｊと、外部Ｉ／Ｆ出力部２４０Ｋとを備える。

レイヤー分割部２４０Ａは、メモリカード等の外部記憶部２６０に１つの画像データとして記録されているレイヤーデータ（図５参照）を、第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４に分割する。

第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４に分割された各レイヤーデータは、それぞれ、第１レイヤー拡大部２４０Ｂ、第２レイヤー拡大部２４０Ｃ、第３レイヤー拡大部２４０Ｄ、第４レイヤー拡大部２４０Ｅによって、前述した階層位置情報に示される階層位置に応じて予め決められている異なる倍率でそれぞれ拡大される。

本実施形態において、第１のレイヤーデータ５０１は１．３倍、第２のレイヤーデータ５０２は１．２倍、第３のレイヤーデータ５０３は１．１倍、第４のレイヤーデータ５０４は１．０倍に拡大される。これにより、各レイヤーデータ５０１〜５０４により表される分割画像の各被写体は、相対的に奥側の分割画像の被写体部分に比べ、相対的に手前側の分割画像の被写体部分の方が大きくなる。

第１レイヤー拡大部２４０Ｂ〜第４レイヤー拡大部２４０Ｅによって拡大された各レイヤーデータ５０１〜５０４は、それぞれ、第１レイヤー表示制御部２４０Ｆ、第２レイヤー表示制御部２４０Ｇ、第３レイヤー表示制御部２４０Ｈ、第４レイヤー表示制御部２４０Ｉにより合成位置を制御され、レイヤー合成部２４０Ｊで１枚の画像データに合成される。

レイヤー合成部２４０Ｊにおける合成処理は、第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４を、背景部分を透明とて前述した階層位置に応じた順に上書きすることにより表示用画像のデータ生成する処理である。

その後、合成後における表示用画像の画像データは表示部３１０へ送られ、表示において再生される。また、表示部３１０において画像データを再生する間、つまり表示用画像が表示されている間には、第１レイヤー表示制御部２４０Ｆ〜第３レイヤー表示制御部２４０Ｈが、最下層の第４のレイヤーデータ５０４に対する、上層側の他のレイヤーデータ５０１〜５０３の合成位置を制御する。

これにより、各レイヤーデータ５０１〜５０４における被写体部分を表示用画像内で共に左右方向へ往復移動させ、かつ相対的に上層側の被写体部分を相対的に下層側の被写体部分に比べて大きく移動させる。つまり第１レイヤー表示制御部２４０Ｆ〜第４レイヤー表示制御部２４０Ｉは、各レイヤーデータ５０１〜５０４の被写体部分を、「レイヤー１〜レイヤー４」と表記すると、各被写体部分の移動速度が、
レイヤー１＞レイヤー２＞レイヤー３＞レイヤー４（固定）
といった関係になる異なる速度で各レイヤーデータ５０１〜５０３の被写体部分を移動させる。同時に、その際における最下層を除く各レイヤーデータ５０１〜５０３の被写体部分の最大の移動幅を、各レイヤーデータ５０１〜５０３の拡大率に応じて予め決められている移動幅とする。

また、外部Ｉ／Ｆ出力部２４０Ｋは、メモリカード等の外部記憶部２６０に例えばＭＰＯファイルとして記録されているデータ（図６）を、専用の外部３Ｄ表示装置に出力し、立体表示を行なわせる。

ここで、上記説明した画像出力部２４０におけるレイヤー画像の表示処理について、図１０〜図１１を用いて具体的に説明する。

図１０は、各レイヤーデータ５０１〜５０４の拡大倍率、及び各レイヤーデータ５０１〜５０４の階層位置、つまり奥行き方向の位置関係を示した図である。

図１０に示すように、レイヤー分割部２４０Ａで分割された第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４は、それぞれ、第１レイヤー拡大部２４０Ｂ、第２レイヤー拡大部２４０Ｃ、第３レイヤー拡大部２４０Ｄ、第４レイヤー拡大部２４０Ｅによって、第１のレイヤーデータ５０１は１．３倍、第２のレイヤーデータ５０２は１．２倍、第３のレイヤーデータ５０３は１．１倍、第４のレイヤーデータ５０４は１．０倍にそれぞれ拡大される。

そして、最下層の第４のレイヤーデータ５０４を基準として、第３のレイヤーデータ５０３、第２のレイヤーデータ５０２、第１のレイヤーデータ５０１の順に合成される。

また、図１１は、表示部３１０において表示される合成後の画像データに基づく表示用画像Ｇの表示状態を示した図である。図中の太枠は、表示部３１０の表示部分を枠囲みしたものである。また、枠外にはみ出している破線で示した部分は、表示領域を超えるレイヤー部分（画像部分）であり、実際の表示画面から見ることはできない部分である。

図１１（Ａ）は、全レイヤーデータ５０１〜５０４を画面中央で位置合わせした状態を示した図である。この状態から、先に説明したように、第１レイヤー表示制御部２４０Ｆ〜第３レイヤー表示制御部２４０Ｈが、
レイヤー１＞レイヤー２＞レイヤー３＞レイヤー４（固定）
の関係となる異なる速度で、最下層を除く各レイヤーデータ５０１〜５０３の被写体部分を、表示部３１０の画面の右端、または左端まで同一方向に連動して往復移動させる。

図１１（Ｂ）は、各レイヤーデータ５０１〜５０３の被写体部分が画面の左端まで移動した状態を示した図であり、図１１（Ｃ）は、各レイヤーデータ５０１〜５０３の被写体部分が画面の右端まで移動した状態を示した図である。

なお、図１１（Ｂ）、図１１（Ｃ）に示した状態においても、移動する各被写体部分が拡大されており、かつ各々の最大の移動幅が拡大率に応じて予め決められているため、階層位置が隣り合う下層側の被写体部分に存在する上層側の被写体部分の欠落が、上層側の被写体部分によって常に隠された状態を維持される。

そして、上記の最下層を除く各レイヤーデータ５０１〜５０３の被写体部分の移動速度が上層側ほど速い、つまり移動速度が近距離の被写体部分は速く、遠距離の被写体部分は動かない。これにより表示用画像Ｇの観察者に奥行き（立体感）を感じさせ、立体画像として認識させることができる。

しかも、撮像装置１０００において取得し、上記のように記録された第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４からなる撮影画像データは、基本的には画像を表示する機能、画像を合成する機能を備えたものであれば、所定のアプリケーションソフトを用意することにより、パーソナルコンピュータ等の汎用的な装置においても表示することができる。

以上説明したように、本実施形態の撮像装置１０００によれば、従来のように専用の表示装置を用いなくても、立体画像として認識することできる撮影画像を取得することができる。また、取得した撮影画像を立体画像として認識させることができる。

ここで、本実施形態においては、奥行き検出部２２０Ｂが、第１撮像部１００Ａと、第２撮像部１００Ｂとによって取得された左右一対の撮影画像に基づいて、撮影画像に存在する各被写体の奥行き情報を取得する構成について説明した。

しかし、左右一対の撮影画像は、単一の撮像部を横方向にスライドさせて同一の被写体を左右の異なる位置から撮像することにより取得してもよい。また、各被写体の奥行き情報は、必ずしも左右一対の撮影画像に基づいて取得する必要はなく、例えば画角内の任意の被写体の距離を検出可能な任意の測距センサを用いて取得する等の他の手法によって取得しても構わない。

また、本実施形態においては、撮影画像のデータから生成した第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４を撮影時にそのまま記録し、それらを再生段階で拡大するものについて説明した。しかし、本発明の実施に際しては、撮影画像のデータから生成した第１のレイヤーデータ５０１〜第４のレイヤーデータ５０４を撮影時に予め拡大した状態で記録し、再生段階ではそれらを、そのまま合成する構成を採用することもできる。

以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
撮像手段と、前記撮像手段により得られた撮影画像に存在する複数の被写体部分の実空間における奥行き方向の位置関係を示す奥行き情報を取得する奥行き情報取得手段と、前記奥行き情報取得手段により取得された奥行き情報に基づき、前記複数の被写体部分を奥行き方向の距離範囲別に複数グループにグループ分けするグループ化手段と、前記撮影画像から、同一グループの被写体部分のみがそれぞれ存在するグループ数に応じた複数の分割画像を生成する分割画像生成手段と、前記分割画像生成手段により生成された複数の分割画像を、互いに関連付けられ、かつ前記複数グループの奥行き方向の距離範囲の位置関係に対応する各分割画像の奥行き方向の位置関係を示す位置関係情報が付加された状態で記憶する記憶手段とを備えたことを特徴とする撮像装置。
［請求項２］
前記記憶手段に記憶された前記複数の分割画像に対し、前記位置関係情報により示される位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す拡大手段と、前記拡大手段による拡大処理後の複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する合成手段と、前記合成手段により生成された表示用画像を表示する表示手段と、前記表示手段が表示用画像を表示する間、前記合成手段が表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を制御することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる表示制御手段とをさらに備えたことを特徴とする請求項１記載の撮像装置。
［請求項３］
前記分割画像生成手段により生成された複数の分割画像を、前記複数グループの奥行き方向の距離範囲の位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す拡大手段をさらに備え、前記記憶手段は、前記拡大手段による拡大処理後の複数の分割画像を、互いに関連付けられ、かつ前記複数グループの奥行き方向の距離範囲の位置関係に対応する各分割画像の奥行き方向の位置関係を示す位置関係情報が付加された状態で記憶することを特徴とする請求項１記載の撮像装置。
［請求項４］
前記記憶手段に記憶された前記複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する合成手段と、前記合成手段により生成された表示用画像を表示する表示手段と、前記表示手段が表示用画像を表示する間、前記合成手段が表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を制御することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる表示制御手段とをさらに備えたことを特徴とする請求項３記載の撮像装置。
［請求項５］
前記撮像手段は、１回の撮像操作に応答し視差の存在する左右一対の撮影画像を取得し、前記奥行き情報取得手段は、前記撮像手段により取得された視差の存在する左右一対の撮影画像に基づき、左右いずれか一方の撮影画像に存在する複数の被写体部分の実空間における奥行き方向の位置関係を示す奥行き情報を取得し、前記分割画像生成手段は、前記左右一対の撮影画像の少なくともいずれか一方の撮影画像から、同一グループの被写体部分のみがそれぞれ存在するグループ数に応じた複数の分割画像を生成することを特徴とする請求項１乃至４いずれか記載の撮像装置。
［請求項６］
前記撮像手段により取得された視差の存在する左右一対の撮影画像を記憶する第２の記憶手段をさらに備えたことを特徴とする請求項５記載の撮像装置。
［請求項７］
撮像手段により得られた撮影画像に存在する複数の被写体部分の実空間における奥行き方向の位置関係を示す奥行き情報を取得する工程と、取得した奥行き情報に基づき、前記複数の被写体部分を奥行き方向の距離範囲別の複数グループにグループ分けする工程と、前記撮影画像から、同一グループの被写体部分のみがそれぞれ存在するグループ数に応じた複数の分割画像を生成する工程と、生成した複数の分割画像を、前記複数グループの奥行き方向の距離範囲の位置関係に対応する各分割画像の奥行き方向の位置関係を示す位置関係情報を付加し互いに関連付けて記憶する工程とを含むことを特徴とする撮像方法。
［請求項８］
撮像装置が有するコンピュータに、撮像手段により得られた撮影画像に存在する複数の被写体部分の実空間における奥行き方向の位置関係を示す奥行き情報を取得する処理と、取得した奥行き情報に基づき、前記複数の被写体部分を奥行き方向の距離範囲別の複数グループにグループ分けする処理と、前記撮影画像から、同一グループの被写体部分のみがそれぞれ存在するグループ数に応じた複数の分割画像を生成する処理と、生成した複数の分割画像を、前記複数グループの奥行き方向の距離範囲の位置関係に対応する各分割画像の奥行き方向の位置関係を示す位置関係情報を付加し互いに関連付けて記憶手段に記憶する処理とを実行させることを特徴とするプログラム。
［請求項９］
特定の構成を備えた撮像装置により撮影画像から生成されるとともに、互いに関連付けられ、かつ相互間における奥行き方向の位置関係を示す位置関係情報を付加された状態で記憶手段に記憶されている複数の分割画像に基づく画像を表示する画像表示装置であって、前記複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する合成手段と、前記合成手段により生成された表示用画像を表示する表示手段と、前記表示手段による表示用画像の表示期間に、前記合成手段が表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を制御することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる表示制御手段とを備えたことを特徴とする画像表示装置。
［請求項１０］
前記複数の分割画像に対し、前記位置関係情報により示される位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す拡大手段をさらに備え、前記合成手段は、前記拡大手段による拡大処理後の複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成することを特徴とする請求項９記載の画像表示装置。
［請求項１１］
特定の構成を備えた撮像装置により撮影画像から生成されるとともに、相互間における奥行き方向の位置関係を示す位置関係情報を付加され互いに関連付けて記憶手段に記憶された複数の分割画像に基づく画像を表示する画像表示方法であって、前記記憶手段に記憶された前記複数の分割画像に対し、前記位置関係情報により示される位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す工程と、拡大処理後の複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成し、生成した表示用画像を表示する一方、当該表示用画像の表示期間に、表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を逐次変更することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる工程とを含むことを特徴とする画像表示方法。
［請求項１２］
特定の構成を備えた撮像装置により撮影画像から生成されるとともに、相互間における奥行き方向の位置関係を示す位置関係情報を付加され互いに関連付けて記憶手段に記憶された複数の分割画像に基づく画像を表示する画像表示装置が有するコンピュータに、前記記憶手段に記憶された前記複数の分割画像に対し、前記位置関係情報により示される位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す処理と、拡大処理後の複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する処理と、生成した表示用画像を表示する処理と、前記表示用画像を表示する間に、表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を制御することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる処理とを実行させることを特徴とするプログラム。

１００Ａ第１撮像部
１１０Ａ光学装置
１１１Ａレンズ
１２０Ａ撮像素子
１００Ｂ第２撮像部
１１０Ｂ光学装置
１１１Ｂレンズ
１２０Ｂ撮像素子
２００データ処理部
２１０制御部
２２０画像処理部
２２０Ａ受付部
２２０Ｂ奥行き検出部
２２０Ｃ被写体グループ化部
２２０Ｄ第１被写体グループ切り出し部
２２０Ｅ第２被写体グループ切り出し部
２２０Ｆ第３被写体グループ切り出し部
２２０Ｇ第４被写体グループ切り出し部
２２０Ｈ第１グループレイヤー化部
２２０Ｉ第２グループレイヤー化部
２２０Ｊ第３グループレイヤー化部
２２０Ｋ第４グループレイヤー化部
２２０Ｌ第１記録部
２２０Ｍ第２記録部
２３０画像メモリ
２４０画像出力部
２４０Ａレイヤー分割部
２４０Ｂ第１レイヤー拡大部
２４０Ｃ第２レイヤー拡大部
２４０Ｄ第３レイヤー拡大部
２４０Ｅ第４レイヤー拡大部
２４０Ｆ第１レイヤー表示制御部
２４０Ｇ第２レイヤー表示制御部
２４０Ｈ第３レイヤー表示制御部
２４０Ｉ第４レイヤー表示制御部
２４０Ｊレイヤー合成部
２４０Ｋ外部Ｉ／Ｆ出力部
２５０記憶部
２６０外部記憶部
３００Ｉ／Ｆ部
３１０表示部
３２０外部Ｉ／Ｆ部
３３０操作部
３３１シャッターボタン
３３２操作キー
３３３電源キー
１０００撮像装置

Claims

撮像手段と、
前記撮像手段により得られた撮影画像に存在する複数の被写体部分の実空間における奥行き方向の位置関係を示す奥行き情報を取得する奥行き情報取得手段と、
前記奥行き情報取得手段により取得された奥行き情報に基づき、前記複数の被写体部分を奥行き方向の距離範囲別に複数グループにグループ分けするグループ化手段と、
前記撮影画像から、同一グループの被写体部分のみがそれぞれ存在するグループ数に応じた複数の分割画像を生成する分割画像生成手段と、
前記分割画像生成手段により生成された複数の分割画像を、互いに関連付けられ、かつ前記複数グループの奥行き方向の距離範囲の位置関係に対応する各分割画像の奥行き方向の位置関係を示す位置関係情報が付加された状態で記憶する記憶手段と
を備えたことを特徴とする撮像装置。
前記記憶手段に記憶された前記複数の分割画像に対し、前記位置関係情報により示される位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す拡大手段と、
前記拡大手段による拡大処理後の複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する合成手段と、
前記合成手段により生成された表示用画像を表示する表示手段と、
前記表示手段が表示用画像を表示する間、前記合成手段が表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を制御することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる表示制御手段と
をさらに備えたことを特徴とする請求項１記載の撮像装置。
前記分割画像生成手段により生成された複数の分割画像を、前記複数グループの奥行き方向の距離範囲の位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す拡大手段をさらに備え、
前記記憶手段は、前記拡大手段による拡大処理後の複数の分割画像を、互いに関連付けられ、かつ前記複数グループの奥行き方向の距離範囲の位置関係に対応する各分割画像の奥行き方向の位置関係を示す位置関係情報が付加された状態で記憶する
ことを特徴とする請求項１記載の撮像装置。
前記記憶手段に記憶された前記複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する合成手段と、
前記合成手段により生成された表示用画像を表示する表示手段と、
前記表示手段が表示用画像を表示する間、前記合成手段が表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を制御することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる表示制御手段と
をさらに備えたことを特徴とする請求項３記載の撮像装置。
前記撮像手段は、１回の撮像操作に応答し視差の存在する左右一対の撮影画像を取得し、
前記奥行き情報取得手段は、前記撮像手段により取得された視差の存在する左右一対の撮影画像に基づき、左右いずれか一方の撮影画像に存在する複数の被写体部分の実空間における奥行き方向の位置関係を示す奥行き情報を取得し、
前記分割画像生成手段は、前記左右一対の撮影画像の少なくともいずれか一方の撮影画像から、同一グループの被写体部分のみがそれぞれ存在するグループ数に応じた複数の分割画像を生成する
ことを特徴とする請求項１乃至４いずれか記載の撮像装置。
前記撮像手段により取得された視差の存在する左右一対の撮影画像を記憶する第２の記憶手段をさらに備えたことを特徴とする請求項５記載の撮像装置。
撮像手段により得られた撮影画像に存在する複数の被写体部分の実空間における奥行き方向の位置関係を示す奥行き情報を取得する工程と、
取得した奥行き情報に基づき、前記複数の被写体部分を奥行き方向の距離範囲別の複数グループにグループ分けする工程と、
前記撮影画像から、同一グループの被写体部分のみがそれぞれ存在するグループ数に応じた複数の分割画像を生成する工程と、
生成した複数の分割画像を、前記複数グループの奥行き方向の距離範囲の位置関係に対応する各分割画像の奥行き方向の位置関係を示す位置関係情報を付加し互いに関連付けて記憶する工程と
を含むことを特徴とする撮像方法。
撮像装置が有するコンピュータに、
撮像手段により得られた撮影画像に存在する複数の被写体部分の実空間における奥行き方向の位置関係を示す奥行き情報を取得する処理と、
取得した奥行き情報に基づき、前記複数の被写体部分を奥行き方向の距離範囲別の複数グループにグループ分けする処理と、
前記撮影画像から、同一グループの被写体部分のみがそれぞれ存在するグループ数に応じた複数の分割画像を生成する処理と、
生成した複数の分割画像を、前記複数グループの奥行き方向の距離範囲の位置関係に対応する各分割画像の奥行き方向の位置関係を示す位置関係情報を付加し互いに関連付けて記憶手段に記憶する処理と
を実行させることを特徴とするプログラム。
特定の構成を備えた撮像装置により撮影画像から生成されるとともに、互いに関連付けられ、かつ相互間における奥行き方向の位置関係を示す位置関係情報を付加された状態で記憶手段に記憶されている複数の分割画像に基づく画像を表示する画像表示装置であって、
前記複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する合成手段と、
前記合成手段により生成された表示用画像を表示する表示手段と、
前記表示手段による表示用画像の表示期間に、前記合成手段が表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を制御することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる表示制御手段と
を備えたことを特徴とする画像表示装置。
前記複数の分割画像に対し、前記位置関係情報により示される位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す拡大手段をさらに備え、
前記合成手段は、前記拡大手段による拡大処理後の複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する
ことを特徴とする請求項９記載の画像表示装置。
特定の構成を備えた撮像装置により撮影画像から生成されるとともに、相互間における奥行き方向の位置関係を示す位置関係情報を付加され互いに関連付けて記憶手段に記憶された複数の分割画像に基づく画像を表示する画像表示方法であって、
前記記憶手段に記憶された前記複数の分割画像に対し、前記位置関係情報により示される位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す工程と、
拡大処理後の複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成し、生成した表示用画像を表示する一方、当該表示用画像の表示期間に、表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を逐次変更することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる工程と
を含むことを特徴とする画像表示方法。
特定の構成を備えた撮像装置により撮影画像から生成されるとともに、相互間における奥行き方向の位置関係を示す位置関係情報を付加され互いに関連付けて記憶手段に記憶された複数の分割画像に基づく画像を表示する画像表示装置が有するコンピュータに、
前記記憶手段に記憶された前記複数の分割画像に対し、前記位置関係情報により示される位置関係において相対的に奥側の分割画像の被写体部分に比べ、前記位置関係において相対的に手前側の分割画像の被写体部分を大きくする拡大処理を施す処理と、
拡大処理後の複数の分割画像を、前記位置関係情報により示される位置関係を反映させた順に上書き合成することにより表示用画像を生成する処理と、
生成した表示用画像を表示する処理と、
前記表示用画像を表示する間に、表示用画像を生成する際における最下層の分割画像に対する上層側の分割画像の合成位置を制御することにより、前記上層側の分割画像の被写体部分を表示用画像内で共に左右方向へ移動させ、かつ相対的に上層側の分割画像の被写体部分を相対的に下層側の分割画像の被写体部分に比べて大きく移動させる処理と
を実行させることを特徴とするプログラム。