JP2011147067A - 画像処理装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】ユーザにとって直感的な操作で、３Ｄ表示されるオブジェクトの凹凸の度合いを調整できるようにする。
【解決手段】 画像表示処理部１６２は、３Ｄ画像のための左目用画像及び右目用画像の間の視差を、２Ｄ画像の奥行き方向に対する所定の操作が割り当てられた操作部の操作に応じて設定する。３Ｄ画像生成処理部１６３は、視差設定部により設定された前記視差の分だけ離間した位置に対応するオブジェクトをそれぞれ配置させた左目用画像及び右目用画像のデータを生成する。本発明は、デジタルカメラに適用することができる。
【選択図】図１１

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、ユーザにとって直感的な操作で、３Ｄ表示されるオブジェクトの凹凸の度合いを調整できるようにした、画像処理装置及び方法、並びにプログラムに関する。

従来、３Ｄ(Dimension)表示用に被写体を撮影し、その結果得られる左目用画像及び右目用画像（以下、これらをまとめて３Ｄ画像と適宜称する）を用いて、被写体像を３Ｄ表示する技術が知られている。なお、以下、画像に含まれる物体像を、前景に位置する場合、および背景に位置する場合を含めてオブジェクトと称する。

３Ｄ画像を表示する場合、３Ｄ表示されるオブジェクトの凹凸の度合いを調整することが提案されている（例えば、特許文献１参照）。

特開平４−３５４９１号公報

ところで、３Ｄ表示されるオブジェクトの凹凸の度合いをユーザに調整させる場合、ユーザは従来の２Ｄ画像の表示に慣れているため、その操作に違和感を覚える場合がある。

そこで、３Ｄ表示されるオブジェクトの凹凸の度合いを、ユーザにとって直感的な操作で調整できるようにすることが望まれる。

本発明は、このような状況に鑑みてなされたものであり、ユーザにとって直感的な操作で、３Ｄ表示されるオブジェクトの凹凸の度合いを調整できるようにするものである。

本発明の一側面の画像処理装置は、３Ｄ画像のための左目用画像及び右目用画像の間の視差を、２Ｄ画像の奥行き方向に対する所定の操作が割り当てられた操作部の操作に応じて設定する視差設定手段と、前記視差設定手段により設定された前記視差の分だけ離間した位置に対応するオブジェクトをそれぞれ配置させた前記左目用画像及び前記右目用画像のデータを生成する３Ｄ画像生成手段とを備える。

前記操作部は、奥行き方向に対する所定の操作が割り当てられたハードウェアのボタン若しくはタッチパネルに表示されるソフトウェアのボタンとすることができる。

前記視差の可変範囲は、前記操作部の可動範囲に対応付けられており、前記視差設定手段は、前記操作部の前記可動範囲内の可動位置に対応付けられた大きさの前記視差を設定することができる。

被写体を撮影することによってパノラマ画像のデータを得る撮影手段をさらに備え、前記３Ｄ画像生成手段は、前記撮影手段により得られた前記パノラマ画像のデータを用いて、前記左目用画像及び前記右目用画像のデータを生成することができる。

１度の撮影指示により被写体に対して相対的に略水平方向に移動しながら一定の間隔毎に撮影することによって複数の画像のデータを得る撮影手段と、前記３Ｄ画像生成手段は、前記撮影手段により得られた前記複数の画像のデータを用いて、前記左目用画像及び前記右目用画像のデータを生成することができる。

前記視差設定手段は、前記左目用画像及び前記右目用画像の少なくとも一部の領域の上にそれぞれ合成される前景オブジェクトの間の視差を、前記左目用画像及び前記右目用画像の間の視差として設定し、前記３Ｄ画像生成手段は、前記前景オブジェクトが所定位置に配置された前景画像のデータと、左目用背景画像のデータとを合成することによって、前記左目用画像のデータを生成し、前記前景オブジェクトが前記所定位置から前記視差の分だけずれた位置に配置された前景画像のデータと、右目用背景画像のデータとを合成することによって、前記右目用画像のデータを生成することができる。

本発明の一側面の画像処理方法及びプログラムは、上述した本発明の一側面の画像処理装置に対応する方法及びプログラムである。

本発明の一側面の画像処理装置及び方法並びにプログラムにおいては、３Ｄ画像のための左目用画像及び右目用画像の間の視差が、２Ｄ画像の奥行き方向に対する所定の操作が割り当てられた操作部の操作に応じて設定され、設定された前記視差の分だけ離間した位置に対応するオブジェクトをそれぞれ配置させた前記左目用画像及び前記右目用画像のデータが生成される。

以上のごとく、本発明によれば、ユーザにとって直感的な操作で、３Ｄ表示されるオブジェクトの凹凸の度合いを調整できる。

３Ｄ画像の第１の生成手法について説明する図である。 ３Ｄ画像の第２の生成手法について説明する図である。 ３Ｄ画像の第３の生成手法について説明する図である。 パノラマ画像から３Ｄ画像を生成する手法について説明する図である。 パノラマ画像から３Ｄ画像を生成する手法について説明する図である。 パノラマ画像から３Ｄ画像を生成する手法について説明する図である。 パノラマ画像から３Ｄ画像を生成する手法について説明する図である。 ３Ｄ表示の例について説明する図である。 ３Ｄ表示の例について説明する図である。 本発明が適用される画像処理装置の一実施の形態としての撮像装置の外観構成例を示す図である。 撮像装置の内部構成例を示す図である。 記録処理部の機能的構成例を示すブロック図である。 画像表示処理部の機能的構成例を示すブロック図である。 ３Ｄ画像生成処理部の機能的構成例を示すブロック図である。 画像記録処理の一例を説明するフローチャートである。 画像表示処理の一例を説明するフローチャートである。 ３Ｄ画像生成処理の一例を説明するフローチャートである。 処理対象領域内の基準点について説明する図である。 視差と、処理対象領域から抽出される左目用領域及び右目用領域との関係を示す図である。 記録デバイスの記録内容の一例を示す図である。 画像記録処理の一例を説明するフローチャートである。 対応関係表のデータ構造の一例を示す図である。 ３Ｄ画像生成処理の一例を説明するフローチャートである。 左目用画像及び右目用画像を抽出する処理の例を示す図である。 左目用画像及び右目用画像を抽出する処理の例を示す図である。 対応関係表のデータ構造の他の例を示す図である。 左目用画像及び右目用画像を抽出する処理の例を示す図である。 左目用画像及び右目用画像を抽出する処理の例を示す図である。 ３Ｄ画像の生成手法を説明する図である。 ３Ｄ画像の生成手法を説明する図である。 画像表示処理の一例を説明するフローチャートである。 スタンプ画像合成処理の一例を説明するフローチャートである。 操作部の表示例を示す図である。 ３Ｄ表示の他の例について説明する図である。 ３Ｄ表示の他の例について説明する図である。

[３Ｄ画像の生成手法の概略]
本発明の実施の形態は、３Ｄ画像を表示する。そこで、本発明の実施の形態の理解を容易なものとすべく、本発明の実施形態の説明の前に、左目用画像及び右目用画像から構成される３Ｄ画像の生成手法の概略について説明する。３Ｄ画像の生成手法は、主に次の３つの手法に大別される。以下、それぞれを、第１の生成手法、第２の生成手法、及び第３の生成手法と称する。

図１は、３Ｄ画像の第１の生成手法について説明する図である。

第１の生成手法は、２つのレンズが設けられた撮像装置を用いる手法である。すなわち、第１の生成手法では、ユーザ等は、このような撮像装置を、２つのレンズが略水平方向に配置されるように保持して、撮影を１度行う。すると、２つのレンズのうち、左側に位置するレンズを透過した光によって左目用画像のデータが生成され、右側に位置するレンズを透過した光によって右目用画像のデータが生成される。

このようにして生成された左目用画像及び右目用画像の各々には、対応するオブジェクトが、撮像装置の２つのレンズ間の距離に応じた分だけ離間した位置にそれぞれ含まれる。ここで、左目用画像及び右目用画像の各々に含まれる対応するオブジェクトの略水平方向の配置位置の差分（すなわち、距離）を、以下、視差と称する。このような、視差が大きくなるほど、３Ｄ表示されるオブジェクトの奥行きが深くなる、すなわち、凹凸の度合いが強くなる、という特徴がある。従って、かかる特徴を有する視差は、３Ｄ表示されるオブジェクトの凹凸の度合いを決定づけるパラメータとして使用することができる。

しかしながら、第１の生成手法では、２つのレンズ間の距離は固定であることから視差も固定であり、その結果、オブジェクトの凹凸の度合いを可変設定することができない。

図２は、３Ｄ画像の第２の生成手法について説明する図である。

第２の生成手法は、１度の撮影で１枚のパノラマ画像のデータを生成し、そのパノラマ画像のデータから、所定の視差の分だけ離間した位置に対応するオブジェクトをそれぞれ配置させた左目用画像及び右目用画像のデータを生成する手法である。ここで、パノラマ画像とは、通常の画角で被写体を撮影した結果得られる通常サイズの画像と比較して、広い画角で被写体を撮影した結果得られる水平方向のサイズが長い画像をいう。第２の生成手法では、視差は、ユーザにより可変設定することができる。すなわち、第２の生成手法は、ユーザが３Ｄ表示されるオブジェクトの凹凸の度合いを可変設定することができる手法である。なお、第２の生成手法の詳細については後述する。

図３は、３Ｄ画像の第３の生成手法について説明する図である。

第３の生成手法は、１度の撮影指示で撮像装置が被写体に対して相対的に略水平方向に移動しながら一定の間隔毎に撮像（以下、連写と称する）することによって得られた複数の画像のデータの中から２つの画像のデータを選択し、選択された２つの画像を左目用画像と右目用画像として採用する手法である。このようにして左目用画像及び右目用画像の各々として選択された２つの画像には、対応するオブジェクトが、撮像装置の移動距離に応じた分の視差だけ離間した位置にそれぞれ含まれる。従って、ユーザは、選択する２つの画像の組み合わせを変えることによって、視差を変えることができる。すなわち、第３の生成手法は、ユーザが３Ｄ表示されるオブジェクトの凹凸の度合いを可変設定することができる手法である。なお、第３の手法の詳細については後述する。

以下、第２の生成手法と第３の生成手法の各々による３Ｄ画像のオブジェクトの凹凸の度合いの調整の例を、それぞれ第１実施形態、第２実施形態として説明する。さらに、３Ｄ画像としてのスタンプ画像の凹凸の度合いの調整の例を第３実施形態として説明する。詳細については後述するが、スタンプ画像とは、背景画像の少なくとも一部の領域の上に合成されて表示される画像をいう。

以下、３つの実施形態について、次の順序で説明する。

１．第１実施形態（パノラマ画像から生成した３Ｄ画像のオブジェクトの凹凸の度合いの調整の例）
２．第２実施形態（連写撮影により得られる複数画像から生成した３Ｄ画像のオブジェクトの凹凸の度合いの調整の例）
３．第３実施形態（３Ｄ画像としてのスタンプ画像の凹凸の度合いの調整の例）

＜第１実施形態＞
[パノラマ画像から３Ｄ画像を生成する手法]
ここで、第１実施形態の理解を容易なものとすべく、第１実施形態の画像処理装置の構成等を説明する前に、第２の生成手法、すなわち、パノラマ画像から３Ｄ画像を生成する手法を詳細に説明し、次に、当該第２の手法に従って生成された３Ｄ画像の表示の例について説明する。

図４乃至図７は、パノラマ画像から３Ｄ画像を生成する手法について説明する図である。

図４に示されるように、まず、パノラマ画像１１のデータが複数の処理単位Ｓｋ（ｋ＝１乃至Ｎのうちの何れかの整数値。ただし、Ｎは２以上の任意の整数値）に区分される。ここで、処理単位Ｓｋの大きさは、水平方向のサイズ（水平方向の画素数）によって表わされるとする。この場合、処理単位Ｓｋは、その大きさが一定になるように区分される。

このようにしてパノラマ画像１１のデータから区分された複数の処理単位Ｓ１乃至ＳＮのうち、はじめに、処理単位Ｓ１が処理対象領域２１として設定され、処理対象領域２１に対して次のような一連の処理が実行される。

すなわち、処理対象領域２１の水平方向の所定位置が基準点Ｐに設定される。基準点Ｐに対して同一距離だけ離間している左右の領域が、それぞれ左目用領域３１Ｌ１及び右目用領域３１Ｒ１として抽出される。具体的には、左目用領域３１Ｌ１と右目用領域３１Ｒ１との間の距離が視差ｄとなるため、図５に示されるように、基準点Ｐから視差ｄの半分（＝ｄ/２）の距離だけ左側に離間した幅ｗの領域が左目用領域３１Ｌ１として抽出される。同様に、基準点Ｐから視差ｄの半分（＝ｄ/２）の距離だけ右側に離間した幅ｗの領域が右目用領域３１Ｒ１として抽出される。抽出された左目用領域３１Ｌ１及び右目用領域３１Ｒ１の各々は、左目用画像及び右目用画像の各々の一部分として設定される。

このようにして、処理単位Ｓ１が処理対象領域２１として設定され、上述した一連の処理が実行されると、今度は、処理単位Ｓ２が処理対象領域２１として設定され、上述した一連の処理が実行される。すなわち、今度は、処理単位Ｓ２である処理対象領域２１から、左目用領域３１Ｌ２と右目用領域３１Ｒ２の各々が抽出される。抽出された左目用領域３１Ｌ２は、これまでの左目用画像の一部分であった左目用領域３１Ｌ１の右側に追加される。これにより、左目用領域３１Ｌ１及び３１Ｌ２が、新たな左目用画像の一部分として設定される。同様に、抽出された右目用領域３１Ｒ２は、これまでの右目用画像の一部分であった右目用領域３１Ｒ１の右側に追加される。これにより、右目用領域３１Ｒ１及び３１Ｒ２が、新たな左目用画像の一部分として設定される。

以下、処理単位Ｓ３乃至ＳＮの各々が順次処理対象領域２１として選択され、上述した一連の処理が繰り返し実行される。すなわち、図６に示されるように、処理単位Ｓｋ（ｋは３乃至Ｎのうちの何れかの整数値）が処理対象領域２１として設定されると、処理単位Ｓｋである処理対象領域２１から、左目用領域３１Ｌｋと右目用領域３１Ｒｋとの各々が抽出される。抽出された左目用領域３１Ｌｋは、これまでの左目用画像の一部分であった左目用領域３１Ｌ１乃至３１Ｌ（k−１）の右側に追加される。これにより、左目用領域３１Ｌ１乃至３１Ｌkが、新たな左目用画像の一部分として設定される。同様に、抽出された右目用領域３１Ｒｋは、これまでの右目用画像の一部分であった右目用領域３１Ｒ１乃至３１Ｒ(ｋ−１)の右側に追加される。これにより、右目用領域３１Ｒ１乃至３１Ｒｋが、新たな右目用画像の一部分として設定される。

最後の処理単位ＳＮに対して上述の一連の処理が実行されると、図７に示されるように、左目用領域３１Ｌ１乃至３１ＬＮが得られ、これらがすきまなく結合されて左目用画像４１Ｌとして設定される。同様に、右目用領域３１Ｒ１乃至３１ＲＮが得られ、これらがすきまなく結合されて右目用画像４１Ｒとして設定される。

このようにして３Ｄ画像として完成した左目用画像４１Ｌ及び右目用画像４１Ｒを用いることにより、パノラマ画像１１に含まれていたオブジェクトの３Ｄ表示が可能になる。

ここで、上述したように、左目用領域３１Ｌ１と右目用領域３１Ｒ１との間の距離である視差ｄが大きいほど、３Ｄ表示されるオブジェクトの凹凸の度合い（前方に突出するか、または後退する度合い）は強くなる。従って、ユーザは、上述した一連の処理が実行される前に視差ｄを調整することによって、３Ｄ表示されるオブジェクトの凹凸の度合いを調整することが可能になる。

なお、単に処理対象領域２１内の基準点Ｐの領域の画像をつなぎ合わせていくと、もとのパノラマ画像１１が生成される。

[３Ｄ表示の例]
図８と図９は、左目用画像４１Ｌ及び右目用画像４１Ｒを用いた３Ｄ表示の例について説明する図である。

図８に示されるように、撮像装置の液晶等の表示部は、左目用画像４１Ｌを垂直偏光画像とし、右目用画像４１Ｒを水平偏光画像として、両者を同時に偏光画像５１として表示する。

この状態で、図９に示されるように、ユーザが、偏光メガネ６１をかけて偏光画像５１を見たとする。この場合、左目用画像４１Ｌの垂直偏光のみが左レンズ７１Ｌを透過するので、ユーザの左目には左目用画像４１Ｌのみが映ることになる。一方、右目用画像４１Ｒの水平偏光のみが右レンズ７１Ｒを透過するので、ユーザの右目には右目用画像４１Ｒのみが映ることになる。上述したように、左目用画像４１Ｌ及び右目用画像４１Ｒの各々においては、各種オブジェクト（図９の例では、山や湖等のオブジェクト）は、所定の視差分だけ離間して配置されている。従って、ユーザは、各種オブジェクトが３Ｄ表示されている、と視認することができる。

なお、その他の３Ｄ画像の表示の例については、図３４と図３５を参照して後述する。

[画像処理装置の外観構成例]
次に、このようなパノラマ画像から３Ｄ画像を生成する、第１実施形態の画像処理装置の構成について説明する。

図１０は、本発明が適用される画像処理装置の一実施の形態としての撮像装置９１の外観構成例を示す図である。

図１０Ａは、撮像装置９１の正面を、図１０Ｂは、その背面をそれぞれ示している。

図１０Ａに示されるように、例えばデジタルカメラで構成される撮像装置９１の正面の向かって右側には、レンズ部１１１が設けられている。レンズ部１１１は、被写体からの光を集光するレンズやフォーカス（ピント）の調整をするためのフォーカスレンズ、絞り等の光学系その他から構成されている（いずれも図示せず）。レンズ部１１１は、撮像装置９１の電源がオンにされたときに撮像装置９１の筐体から突出し、撮像装置９１の電源がオフにされたときに、撮像装置９１の筐体内部に収納されるようになっている。図１０Ａでは、レンズ部１１１は、撮像装置９１の筐体内部に収納された状態になっている。

撮像装置９１の正面の、レンズ部１１１の右上には、AF(Auto Focus)補助光投光部１１２が設けられている。AF補助光投光部１１２は、レンズ部１１１の光学系の光軸方向に向かって、AF補助光としての光を照射することにより、被写体を照明する。これにより、例えば、暗い場所でも、被写体の画像を撮像して、その画像に基づいて、被写体にフォーカス（ピント）を合わせる、いわゆるオートフォーカス機能が働くようになっている。

撮像装置９１の正面の中央上方には、ストロボ１１３が配置されている。

撮像装置９１の上面の、正面側から見て右側には、電源をオン／オフするときに操作される電源ボタン１１４が設けられ、正面側から見て左側には、撮像されている画像を記録するときに操作されるシャッタボタン（レリーズボタン）１１５とが設けられている。

図１０Ｂに示されるように、撮像装置９１の背面の右上には、ズームボタン１１６が設けられている。本実施形態では、操作部としてのズームボタン１１６には、第１の機能乃至第３の機能が割り当てられている。

第１の機能とは、撮像装置９１が被写体を撮像する場合に実現される機能であって、望遠（Tele）の指示（被写体の拡大指示）又は広角（Wide）の指示（被写体の縮小指示）を行う機能である。具体的には、ユーザは、撮像装置９１を用いて被写体を撮像する場合、望遠（Tele）の指示を行うときには、ズームボタン１１６のうちの「Ｔ」と印字された部分（以下、Ｔボタンと称する）を押下する。一方、ユーザは、広角（Wide）の指示を行うときには、ズームボタン１１６のうちの「Ｗ」と印字された部分（以下、Ｗボタンと称する）を押下する。なお、ユーザは、Ｔボタン又はＷボタンの押下状態を継続することによって、望遠（Tele）又は広角（Wide）の連続指示を行うことができる。

第２の機能とは、撮像装置９１が２次元表示用画像を表示する場合に実現される機能であって、オブジェクトの拡大指示又は縮小指示を行う機能である。具体的には、ユーザは、２次元表示用画像に含まれるオブジェクトの拡大表示の指示を行うときには、Ｔボタンを押下する。一方、ユーザは、縮小表示の指示を行うときには、Ｗボタンを押下する。なお、ユーザは、Ｔボタン又はＷボタンの押下状態を継続することによって、オブジェクトの拡大表示又は縮小表示の連続指示を行うことができる。

第３の機能とは、撮像装置９１が３Ｄ画像を表示する場合に実現される機能であって、３Ｄ表示されるオブジェクトの凹凸の度合いの調整を行う機能である。具体的には、ユーザは、３Ｄ表示されるオブジェクトの凹凸の度合いを強くする指示を行うときには、Ｔボタンを押下する。一方、ユーザは、３Ｄ表示されるオブジェクトの凹凸の度合いを弱くする指示を行うときには、Ｗボタンを押下する。なお、ユーザは、Ｔボタン又はＷボタンの押下状態を継続することによって、オブジェクトの凹凸の度合いの強弱の連続指示を行うことができる。なお、３Ｄ画像のオブジェクトの凹凸の度合いの調整については後述する。

このような第１乃至第３の機能が割り当てられたズームボタン１１６の下方には、モードダイヤル１１７が設けられている。モードダイヤル１１７は、撮像装置９１の各種モードを選択するとき等に操作される。撮像装置９１の動作モードとしては、例えば、被写体を撮影する撮影モードや、被写体が撮影された結果得られる撮影画像を表示させる画像表示モードが存在する。また、撮影モード時の各種操作に関連するモードとして、ストロボ１１３の発光を強制的にオン又はオフにするモードや、セルフタイマを使用するモード、後述する液晶パネル１２０にメニュー画面を表示するモード等が存在する。例示は省略するが、画像表示モード時の各種操作に関連するモードが存在する。

このようなモードダイヤル１１７の下方には、操作ボタン１１８が設けられている。操作ボタン１１８は、予め割り当てられた指示操作をユーザが行う場合に用いられる。本実施形態では、液晶パネル１２０に表示されたメニュー画面に対する各種指示操作が、操作ボタン１１８に割り当てられている。

例えば、ユーザは、操作ボタン１１８を操作することで、メニュー画面におけるカーソルを移動させ、カーソルの配置位置に存在する項目を選択することができる。このような項目として、例えば撮影モード時の複数の撮影方式を示す項目がメニュー画面に表示される。そこで、ユーザは、操作ボタン１１８を操作して、所望の撮影方式の項目にカーソルを配置させて、その項目を選択することで、その項目が示す所望の撮影方式を選択することができる。なお、このような複数の撮影方式としては、パノラマ撮影方式、連写撮影方式、通常撮影方式等が存在する。なお、パノラマ撮影方式とは、撮影画像としてパノラマ画像を得るように撮影する方式をいう。連写撮影方式とは、連写により撮影する方式をいう。また、通常撮影方式とは、撮影画像として通常のサイズの１枚の画像を得るように撮影する方式をいう。

また例えば、メニュー画面に表示される項目として、画像表示モード時の複数の表示方式を示す項目がメニュー画面に表示される。ユーザは、操作ボタン１１８の操作により、液晶パネル１２０に表示されたメニュー画面から、３Ｄ表示、２次元での画像の表示(以下、２Ｄ表示と称する)等の画像表示モード時の表示方式を選択することができる。

タッチスクリーン１１９は、液晶パネル１２０とその上に配置されたタッチパネル１２１とが一体的になったもので、液晶パネル１２０によって各種の画像を表示するとともに、タッチパネル１２１によって、ユーザの操作を受け付けることができる。ユーザは、ズームボタン１１６のみならず、タッチスクリーン１１９を操作することによっても、３Ｄ画像のオブジェクトの凹凸の度合いの調整することができる。なお、タッチスクリーン１１９による３Ｄ画像のオブジェクトの凹凸の度合いの調整については後述する。

[撮像装置の内部構成例]
図１１は、図１０の撮像装置９１の内部構成例を示す図である。

なお、図１１では、図１０のAF補助光投光部１１２、及びストロボ１１３の図示は、省略してある。

CCD(Charge Coupled Device)１３１は、タイミングジェネレータ(TG)１４１から供給されるタイミング信号に従って動作することにより、レンズ部１１１を介して入射する被写体からの光を受光して光電変換を行い、受光量に応じた電気信号としてのアナログの画像信号を、アナログ信号処理部１３２に供給する。

アナログ信号処理部１３２は、CPU(Central Processing Unit)１３６の制御にしたがい、CCD１３１からのアナログの画像信号を増幅等するアナログ信号処理を行い、そのアナログ信号処理の結果得られる画像信号を、A/D(Analog/Digital)変換部１３３に供給する。

A/D変換部１３３は、CPU１３６の制御にしたがい、アナログ信号処理部１３２からのアナログ信号の画像信号をA/D変換し、その結果得られるディジタル信号の画像のデータを、ディジタル信号処理部１３４に供給する。

ディジタル信号処理部１３４は、CPU１３６の制御にしたがい、A/D変換部１３３からの画像のデータに対し、ノイズ除去処理等のディジタル信号処理を施し、処理後の画像のデータを液晶パネル１２０に供給する。これにより、液晶パネル１２０には、供給された画像のデータに対応する画像、すなわち、撮影中の撮影画像（以下、スルー画と称する）が表示される。また、ディジタル信号処理部１３４は、A/D変換部１３３からの画像のデータを、例えば、JPEG(Joint Photographic Experts Group)方式等で圧縮符号化し、その結果得られる圧縮符号化データを、記録デバイス１３５に供給して記録させる。さらに、ディジタル信号処理部１３４は、記録デバイス１３５に記録された圧縮符号化データを伸張復号し、その結果得られる画像のデータを液晶パネル１２０に供給する。これにより、液晶パネル１２０には、供給された画像のデータに対応する画像、すなわち、記録された撮影画像が表示される。

記録デバイス１３５は、例えば、DVD(Digital Versatile Disc)等のディスクや、メモリカード等の半導体メモリその他のリムーバブルなリムーバブル記録媒体であり、撮像装置９１に対して、容易に着脱可能になっている。記録デバイス１３５には、撮影画像のデータが記録される。すなわち、第１実施形態においては、通常撮影方式で撮影された結果得られる通常サイズの撮影画像、及びパノラマ撮影方式で撮影された結果得られるパノラマサイズの撮影画像（以下、パノラマ画像と適宜称する）の各々のデータが記録される。また、記録デバイス１３５には、撮影画像のサムネイル画像のデータが記録される。

CPU１３６は、プログラムROM(Read Only Memory)１３９に記録されているプログラムを実行することにより、撮像装置９１を構成する各部を制御し、また、タッチパネル１２１からの信号や、操作部１３７からの信号に応じて、各種の処理を行う。

本実施形態では、CPU１３６は、所定のプログラムを実行することにより、記録処理部１６１、画像表示処理部１６２、及び３Ｄ画像生成処理部１６３の各機能を発揮させることができる。なお、記録処理部１６１、画像表示処理部１６２、及び３Ｄ画像生成処理部１６３の各機能については、図１２乃至図１４を参照して後述する。

操作部１３７は、ユーザによって操作され、その操作に対応した信号を、CPU１３６に供給する。なお、操作部１３７には、図１０に示した、電源ボタン１１４、シャッタボタン１１５、ズームボタン１１６、モードダイヤル１１７、操作ボタン１１８等が含まれる。

EEPROM(Electrically Erasable Programmable ROM)１３８は、CPU１３６の制御にしたがい、撮像装置９１に設定された各種の情報その他の、撮像装置９１の電源がオフにされたときも保持しておく必要があるデータ等を記憶する。

プログラムROM１３９は、CPU１３６が実行するプログラム、さらには、CPU１３６がプログラムを実行する上で必要なデータを記憶している。RAM(Read Only Memory)１４０は、CPU１３６が各種の処理を行う上で必要なプログラムやデータを一時記憶する。

タイミングジェネレータ１４１は、CPU１３６の制御にしたがい、タイミング信号を、CCD１３１に供給する。タイミングジェネレータ１４１からCCD１３１に供給されるタイミング信号によって、CCD１３１における露出時間（シャッタスピード）等が制御される。

モータドライバ１４２は、CPU１３６の制御にしたがい、モータにより構成されるアクチュエータ１４３を駆動する。アクチュエータ１４３が駆動されることにより、レンズ部１１１は、撮像装置９１の筐体から突出し、あるいは、撮像装置９１の筐体内部に収納される。また、アクチュエータ１４３が駆動されることにより、レンズ部１１１を構成する絞りの調整や、レンズ部１１１を構成するフォーカスレンズの移動が行われる。

以上のように構成される撮像装置９１においては、CCD１３１が、レンズ部１１１を介して入射する被写体からの光を受光して光電変換を行い、その結果得られるアナログの画像信号を出力する。CCD１３１が出力するアナログの画像信号は、アナログ信号処理部１３２及びA/D変換部１３３を介することにより、ディジタル信号の画像のデータとされ、ディジタル信号処理部１３４に供給される。

ディジタル信号処理部３４は、A/D変換部１３３からの画像のデータを、液晶パネル１２０に供給し、これにより、液晶パネル１２０では、いわゆるスルー画が表示される。

その後、ユーザが、シャッタボタン１１５（図１０）を操作すると、その操作に応じた信号が、操作部１３７からCPU１３６に供給される。CPU１３６は、操作部１３７から、シャッタボタン１１５の操作に応じた信号が供給されると、ディジタル信号処理部１３４を制御し、そのときA/D変換部１３３からディジタル信号処理部１３４に供給された画像のデータを圧縮させ、その結果得られる圧縮画像のデータを、記録デバイス１３５に記録させる。

以上のようにして、いわゆる写真撮影が行われる。

なお、CPU１３６に実行させるプログラムは、あらかじめプログラムROM１３９にインストール（記憶）させておく他、記録デバイス１３５に記録しておき、パッケージメディアとしてユーザに提供して、その記録デバイス１３５から、ディジタル信号処理部１３４及びCPU１３６を介して、EEPROM１３８にインストールすることができる。また、CPU１３６に実行させるプログラムは、ダウンロードサイトから、図１１の撮像装置９１に直接ダウンロードし、あるいは、図示せぬコンピュータでダウンロードして、図１１の撮像装置９１に供給し、EEPROM１３８にインストールすることも可能である。

[記録処理部１６１の構成例]
図１２は、図１１のCPU１３６が有する記録処理部１６１の機能的構成例を示すブロック図である。

図１２の記録処理部１６１は、判定部１８１、撮影制御部１８２、記録指示部１８３、及び生成部１８４から構成される。

判定部１８１は、撮像装置９１の複数の撮影方式の中で何れの撮影方式がユーザにより選択されたのかを判定する。本実施形態では、通常のサイズの画像を撮影する通常撮影方式と、パノラマ画像を撮影するパノラマ撮影方式とが採用されている。これらの撮影方式の選択操作は、メニュー画面を用いて行われる。すなわち、ユーザは、液晶パネル１２０に表示されたメニュー画面を見ながら、操作ボタン１１８の所定の押下操作をすることで、通常撮影方式又はパノラマ撮影方式を選択する。判定部１８１は、ユーザによる操作ボタン１１８の押下操作の内容を解析することにより、通常撮影方式とパノラマ撮影方式とのうち何れが選択されたのかを判定する。

撮影制御部１８２は、レンズ部１１１、CCD１３１、アナログ信号処理部１３２、及びA/D変換部１３３（以下、撮影部と称する）を制御する。すなわち、撮影部は、撮影制御部１８２の制御の下、判定部１８１により判定された撮影方式に従って、被写体を撮影する。これにより、当該撮影方式により規定されている画像のデータが得られる。すなわち、通常撮影方式であれば通常のサイズの画像のデータが得られ、パノラマ撮影方式であればパノラマ画像のデータが得られる。

記録指示部１８３は、ディジタル信号処理部１３４に対して、撮影制御部１８２が被写体を撮影した結果得られる画像（以下、撮影画像と称する）の記録を指示する。この指示に対応してディジタル信号処理部１３４は、撮影画像のデータを、記録デバイス１３５に記録させる。

生成部１８４は、撮影画像のサムネイル画像のデータを生成し、記録デバイス１３５に記録する。なお、サムネイル画像とは、一覧表示される対象の画像であって、撮影画像が縮小された画像をいう。

[画像表示処理部１６２の構成例]
図１３は、図１１のCPU１３６が有する画像表示処理部１６２の機能的構成例を示すブロック図である。

図１３の画像表示処理部１６２は、表示制御部２０１、操作認識部２０２、及び視差設定部２０３から構成される。

表示制御部２０１は、各種画像を液晶パネル１２０に表示させる制御をする。表示制御部２０１の制御対象となる各種画像、すなわち、液晶パネル１２０の表示対象の各種画像としては、３Ｄ画像の他、操作時にユーザを支援する画像（以下、操作用画像と称する）、すなわち、メニュー画面や、奥行き情報を含む画像等が存在する。なお、奥行き情報とは、３Ｄ画像のオブジェクトの凹凸の度合いを示す情報、すなわち、視差を特定する情報をいう。奥行き情報の用途等については後述する。

操作認識部２０２は、表示制御部２０１の制御に基づいて液晶パネル１２０に操作用画像が表示されている状態で、ユーザによりズームボタン１１６や操作ボタン１１８が操作された場合、その操作内容を認識する。例えば、表示制御部２０１の制御に基づいて液晶パネル１２０に奥行き情報を含む画像が表示されている状態で、ズームボタン１１６が押下された場合、操作認識部２０２は、奥行き情報の調整指示操作がなされたと認識する。また、例えば、表示制御部２０１の制御に基づいて液晶パネル１２０に表示されたメニュー画面から、３Ｄ表示、２Ｄ表示等が選択されて操作ボタン１１８が押下された場合、操作認識部２０２は、画像表示モード時の表示方式の指示がなされたと認識する。また、例えば、表示制御部２０１の制御に基づいて液晶パネル１２０に表示されたメニュー画面から、画像表示モードの終了が選択されて操作ボタン１１８が押下された場合、操作認識部２０２は、処理終了の指示がなされたと認識する。

視差設定部２０３は、操作認識部２０２により認識された奥行き情報の調整指示操作に基づいて、視差ｄを設定する。すなわち、本実施形態では、奥行き情報の値と視差ｄとは、奥行き情報の値が大きくなると視差ｄも大きくなるように対応付けられている。従って、奥行き情報を含む画像が表示されている状態で、ユーザがズームボタン１１６を押下して奥行き情報の調整指示操作をすると、視差設定部２０３は、ズームボタン１１６の押下操作に応じて特定される奥行き情報の値に対応させて、視差ｄを設定する。そして、上述したように、視差ｄに応じて、３Ｄ表示されるオブジェクトの凹凸の度合いが決定される。従って、視差設定部２０３により視差ｄが調整されることは、３Ｄ表示されるオブジェクトの凹凸の度合いが調整されることを意味する。

[３Ｄ画像生成処理部１６３の構成例]
図１４は、図１１のCPU１３６が有する３Ｄ画像生成処理部１６３の機能的構成例を示すブロック図である。

３Ｄ画像生成処理部１６３は、データ取得部２２１、設定部２２２、抽出部２２３、及び生成部２２４から構成される。

データ取得部２２１は、３Ｄ画像の生成の元となる画像のデータ、本実施形態では、記録デバイス１３５に記録されたパノラマ画像のデータを取得する。

設定部２２２は、データ取得部２２１により取得されたパノラマ画像のデータを水平方向に複数の処理単位Ｓｋに区分し、複数の処理単位Ｓｋのうちの１つを処理対象領域２１に設定する。また、設定部２２２は、処理対象領域２１の水平方向の所定位置に基準点Ｐを設定する。

抽出部２２３は、設定部２２２により設定された処理対象領域２１のデータを抽出する。そして、抽出部２２３は、抽出した処理対象領域２１のデータのうち、設定部２２２により設定された基準点Ｐに対して同一距離だけ離間している左右の領域の各データを、左目用領域３１Ｌｋ及び右目用領域３１Ｒｋの各データとして抽出する。

３Ｄ画像生成手段としての生成部２２４は、複数の処理単位Ｓｋ毎の抽出部２２３により抽出された左目用領域３１Ｌｋの各々を積算していくことで、左目用画像のデータを生成する。同様に、生成部２２４は、複数の処理単位Ｓｋ毎の抽出部２２３により抽出された右目用領域３１Ｒｋの各々を積算していくことで、右目用画像のデータを生成する。

[画像記録処理]
次に、記録処理部１６１が実行する処理（以下、画像記録処理と称する）について図１５を参照して説明する。

図１５は、記録処理部１６１による画像記録処理の一例を説明するフローチャートである。

ユーザが、モードダイヤル１１７を操作して撮影モードを選択すると、画像記録処理が開始される。

ステップＳ１において、判定部１８１は、パノラマ撮影方式が指示されたか否かを判定する。

本実施形態では、ユーザが、液晶パネル１２０に表示されたメニュー画面をみながら、操作ボタン１１８を押下操作して、パノラマ撮影方式を選択した場合には、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、撮影制御部１８２は、上述した撮影部を制御することにより、パノラマ撮影方式で被写体を撮影する。これにより、撮影画像のデータとして、パノラマ画像のデータが得られ、処理はステップＳ３に進む。

ステップＳ３において、記録指示部１８３は、ディジタル信号処理部１３４を制御して、ステップＳ２の処理の結果得られたパノラマ画像のデータを、記録デバイス１３５に記録する。

ステップＳ４において、生成部１８４は、撮影画像（いまの場合、パノラマ画像）のサムネイル画像のデータを生成し、記録デバイス１３５に記録する。これにより、画像記録処理は終了する。

このようにして、ユーザがパノラマ撮影方式を選択した場合には、パノラマ画像及びそのサムネイル画像の各データが記録デバイス１３５に記録される。これに対して、ユーザが通常撮影方式を選択した場合には、ステップＳ１において、パノラマ撮影方式が指示されていないと判定されて、処理はステップＳ５に進む。

ステップＳ５において、撮影制御部１８２は、上述した撮影部を制御することにより、通常撮影方式で被写体を撮影する。これにより、撮影画像のデータとして、通常サイズの画像のデータが得られ、処理はステップＳ６に進む。

ステップＳ６において、記録指示部１８３は、ディジタル信号処理部１３４を制御して、ステップＳ５の処理の結果得られた通常サイズの画像のデータを、記録デバイス１３５に記録する。通常サイズの画像のデータが、記録デバイス１３５に記録されると、処理はステップＳ４に進む。

ステップＳ４において、生成部１８４は、撮影画像（いまの場合、通常サイズの画像）のサムネイル画像のデータを生成し、記録デバイス１３５に記録する。これにより、画像記録処理は終了する。

[画像表示処理]
次に、画像表示処理部１６２が実行する処理（以下、画像表示処理と称する）について図１６を参照して説明する。

図１６は、画像表示処理部１６２による画像表示処理の一例を説明するフローチャートである。

ユーザが、モードダイヤル１１７を操作して画像表示モードを選択すると、画像表示処理が開始される。

ステップＳ３１において、表示制御部２０１は、サムネイル画像を液晶パネル１２０に表示する。すなわち、表示制御部２０１は、図１５の画像記録処理によって記録デバイス１３５に記録されたサムネイル画像のデータを読み出して、そのサムネイル画像を液晶パネル１２０に表示させる。

ステップＳ３２において、操作認識部２０２は、ステップＳ３１の処理で表示されたサムネイル画像が選択されたか否かを判定する。

サムネイル画像が１枚も選択されない場合、ステップＳ３２においてＮＯであると判定されて、処理はステップＳ３２に戻され、それ以降の処理が繰り返される。すなわち、サムネイル画像が選択されるまでの間、ステップＳ３２の判定処理が繰り返される。

その後、ユーザが、液晶パネル１２０に表示されたメニュー画面を見ながら、操作ボタン１１８を押下操作してサムネイル画像の中から所定の１枚を選択した場合には、ステップＳ３２においてＹＥＳであると判定されて、処理はステップＳ３３に進む。

ステップＳ３３において、表示制御部２０１は、ステップＳ３２の処理で選択された画像を液晶パネル１２０に表示する。すなわち、サムネイル画像に対応する元の画像が表示される。

ステップＳ３４において、操作認識部２０２は、３Ｄ表示の指示がされたか否かを判定する。

３Ｄ表示の指示がされなかった場合、ステップＳ３４においてＮＯであると判定されて、処理はステップＳ４５に進む。

ステップＳ４５において、表示制御部２０１は、ステップＳ３２の処理で選択されたサムネイル画像に対応する撮影画像を液晶パネルに２Ｄ表示させる。これにより画像表示処理は終了する。

これに対して、ユーザが、液晶パネル１２０に表示されたメニュー画面をみながら、操作ボタン１１８を押下操作して、３Ｄ表示での表示方式を選択した場合、３Ｄ表示の指示がされたとして、ステップＳ３４においてＹＥＳと判定されて、処理はステップＳ３５に進む。

ステップＳ３５において、操作認識部２０２は、ステップＳ３２の処理で選択された画像は通常サイズの画像であるか否かを判定する。つまり、ステップＳ３３の処理で表示されている画像が通常サイズの画像であるのかが判定される。

ステップＳ３２の処理で選択されたサムネイル画像に対応する撮影画像が通常撮影方式で撮影された画像であった場合には、ステップＳ３５においてＹＥＳであると判定されて、処理はステップＳ４６に進む。

ステップＳ４６において、表示制御部２０１は、３Ｄ表示不可のメッセージを液晶パネル１２０に表示させる。すなわち、本実施形態では、３Ｄ画像はパノラマ画像から生成されるので、撮影画像が通常サイズの画像であった場合には、その撮影画像を３Ｄ表示させることができない。従って、３Ｄ表示不可のメッセージが液晶パネル１２０に表示されて、画像表示処理は終了する。

これに対して、ステップＳ３２の処理で選択されたサムネイル画像に対応する撮影画像がパノラマ画像であった場合、３Ｄ表示することができることから、ステップＳ３５においてＮＯであると判定されて、処理はステップＳ３６に進む。

ステップＳ３６において、表示制御部２０１は、奥行き指定を促すメッセージを液晶パネル１２０に表示させる。

ステップＳ３７において、表示制御部２０１は奥行き情報を含む画像を液晶パネル１２０に表示させる。奥行き情報の表示形態は、特に限定されないが、本実施形態では０乃至１００パーセントの値が表示される形態であるとする。ここで、奥行き情報の値が０パーセントとは、オブジェクトの凸凹がなく、２Ｄ表示と同様の表示がされることを意味する。これに対して、奥行き情報の値が１００パーセントとは、オブジェクトの凸凹の度合いが最大限に強く表示されることを意味する。なお、推奨される奥行き情報の値がデフォルトの値として設定されており、ステップＳ３６の処理により奥行き指定を促すメッセージが表示された後のステップＳ３７の処理では、奥行き情報のデフォルトの値が液晶パネル１２０に表示される。

ステップＳ３８において、操作認識部２０２は、ズームボタン１１６が押下されたか否かを判定する。

ズームボタン１１６が押下されない場合、ステップＳ３８においてＮＯであると判定されて、処理はステップＳ３７に戻され、それ以降の処理が繰り返される。すなわち、ズームボタン１１６が押下されない限り、ステップＳ３７，Ｓ３８のＮＯのループ処理が繰り返されて、奥行き情報の値が更新されずに維持されたままの画像が、液晶パネル１２０に表示され続ける。

その後、ズームボタン１１６が押下されると、ステップＳ３８においてＹＥＳであると判定されて、処理はステップＳ３９に進む。

ステップＳ３９において、視差設定部２０３は、ズームボタン１１６の押下に応じて、奥行き情報の値を変更する。具体的には例えば、ズームボタン１１６のＴボタンが押下されると、視差設定部２０３は、表示されている奥行き情報の値を大きくするように変更する。これにより、後述するステップＳ４３の処理で表示される３Ｄ画像のオブジェクトの凸凹の度合いが大きくなる。一方、ズームボタン１１６のＷボタンが押下されると、視差設定部２０３は、表示されている奥行き情報の値を小さくなるように変更する。これにより、後述するステップＳ４３の処理で表示される３Ｄ画像のオブジェクトの凸凹の度合いが小さくなる。

なお、ズームボタン１１６の可動範囲の下限位置、すなわち、Ｗボタンの押下を続けた場合に可動が禁止される制限位置に、奥行き情報の０の値が対応付けられている。逆に、ズームボタン１１６の可動範囲の上限位置、すなわち、Ｔボタンの押下を続けた場合に可動が禁止される制限位置に、奥行き情報の１００の値が対応付けられている。そして、ズームボタン１１６の可動範囲が１００等分された各々の位置に、奥行き情報の０乃至１００の各値が対応付けられている。このようにして、奥行き情報の値は、ズームボタン１１６の可動範囲内でマッピングされている。

ステップＳ４０において、操作認識部２０２は、ズームボタン１１６の押下が解除されたか否かを判定する。

ズームボタン１１６の押下が解除されていない場合（すなわち、ズームボタン１１６が押下され続けている場合）、ステップＳ４０においてＮＯであると判定されて、処理はステップＳ３７に戻され、それ以降の処理が繰り返される。すなわち、ズームボタン１１６の押下が継続されている限り、ステップＳ３７、Ｓ３８のＹＥＳ、Ｓ３９、及びＳ４０のＮＯのループ処理が繰り返されて、奥行き情報の値が逐次更新され、奥行き情報の値が逐次更新されていく様子が液晶パネル１２０に表示される。

その後、ズームボタン１１６の押下が解除された場合、ステップＳ４０においてＹＥＳであると判定されて、処理はステップＳ４１に進む。

ステップＳ４１において、視差設定部２０３は、ズームボタン１１６の押下が解除された時点の奥行き情報に基づいて視差ｄを設定する。上述したように、視差ｄが大きくなるほど、表示される３Ｄ画像のオブジェクトの凹凸の度合いも強くなる。本実施形態では、奥行き情報の各値と視差ｄの各値が対応付けられており、奥行き情報の値が大きくなる程、大きな値の視差ｄが設定される。

ステップＳ４２において、３Ｄ画像生成処理部１６３は、ステップＳ４１の処理で設定された視差ｄに基づいて、３Ｄ画像、すなわち左目用画像及び右目用画像を生成する。なお、以下、このような３Ｄ画像生成処理部１６３により３Ｄ画像が生成される一連の処理を、３Ｄ画像生成処理と称する。３Ｄ画像生成処理の詳細については、図１７を参照して後述する。

ステップＳ４２の３Ｄ画像生成処理が実行され、３Ｄ画像、すなわち左目用画像及び右目用画像が生成されると、処理はステップＳ４３に進む。

ステップＳ４３において、表示制御部２０１は、ステップＳ４２の３Ｄ画像生成処理により生成された３Ｄ画像を液晶パネル１２０に表示させる。すなわち、表示制御部２０１は、図８を参照して上述したように、左目用画像及び右目用画像をそれぞれ例えば垂直偏光画像と水平偏光画像とし、両者を同時に液晶パネル１２０に表示させる。この状態で、ユーザは、偏光メガネをかけて偏光画像を見ることにより、３Ｄ表示されたオブジェクトを視認すること、すなわち、視差ｄに応じた度合いで各種オブジェクトが凹凸している様子を視認することができる。

ステップＳ４４において、操作認識部２０２は、奥行き情報の更新指示がされたか否かを判定する。

本実施形態では、ユーザは、３Ｄ表示されたオブジェクトを見て凹凸の度合いを変化させたいと所望した場合、すなわち、奥行き情報の更新指示をする場合、その操作として、改めてズームボタン１１６を押下する。従って、本実施形態では、３Ｄ画像が液晶パネル１２０に表示された状態でズームボタン１１６が押下操作された場合、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ３７に戻され、それ以降の処理が繰り返される。すなわち、奥行き情報の更新指示がされる度に、ステップＳ３７乃至Ｓ４４のループ処理が繰り返されて、奥行き情報の更新値に基づいて視差ｄが再設定され、表示される３Ｄ画像のオブジェクトの凹凸の度合いが変化する。

奥行き情報の更新指示がされない場合、ステップＳ４４においてＮＯであると判定されて、処理はステップＳ４５に進む。

ステップＳ４５において、操作認識部２０２は、処理終了の指示がされたか否かを判定する。

処理終了の指示がされない場合、ステップＳ４５においてＮＯと判定されて、処理はステップＳ４３に戻され、それ以降の処理が繰り返される。すなわち、処理終了の指示がされない限り、ステップＳ４３乃至Ｓ４５のループ処理が繰り返されて、ステップＳ４２の３Ｄ画像生成処理により生成された３Ｄ画像が液晶パネル１２０に表示される。

その後、処理終了の指示がされた場合、ステップＳ４５においてＹＥＳであると判定されて、画像表示処理は終了する。

このように、画像表示処理が実行されると、ズームボタン１１６の押下操作に応じて、視差ｄが設定され、設定された視差ｄに応じた凹凸の度合いでオブジェクトが３Ｄ表示される。具体的には例えば、ズームボタン１１６のＴボタンが押下されると、奥行き情報の値が大きくなり、それに応じて、視差ｄも大きな値に設定される。その結果、３Ｄ表示されるオブジェクトの凸凹の度合い（突出する距離）が大きくなる。これに対して、ズームボタン１１６のＷボタンが押下されると、奥行き情報の値が小さくなり、それに応じて、視差ｄも小さな値が設定される。その結果、３Ｄ表示されるオブジェクトの凸凹の度合い（突出する距離）が小さくなる。すなわち、ユーザは、ズームボタン１１６といった、２Ｄ画像の奥行き方向を操作する操作部を用いた直感的な操作をするだけで、３Ｄ表示されるオブジェクトの凹凸の度合いを調整することが可能となる。

[３Ｄ画像生成処理部１６３の３Ｄ画像生成処理]
次に、図１７に示されるフローチャートを参照して、図１６に示される画像表示処理のステップＳ４２の３Ｄ画像生成処理について説明する。

図１７は、３Ｄ画像生成処理部１６３による３Ｄ画像生成処理の一例を説明するフローチャートである。

ステップＳ６１において、データ取得部２２１は、画像のデータを取得する。すなわち、図１６に示される画像表示処理のステップＳ３２において選択されたパノラマ画像のデータが記録デバイス１３５から取得される。

ステップＳ６２において、設定部２２２は、画像のうち1つの処理単位を、処理対象領域に設定する。すなわち、図４に示されるように、設定部２２２は、取得したパノラマ画像のデータを複数の処理単位Ｓ１乃至ＳＮに区分し、そのうちの１つの処理単位Ｓｋを、処理対象領域２１に設定する。

ステップＳ６３において、抽出部２２３は、処理対象領域の画像のデータを抽出する。

ステップＳ６４において、設定部２２２は、処理対象領域内の基準点を設定する。すなわち、図４に示されるように、設定部２２２は、設定した処理対象領域２１内の水平方向の所定位置である基準点Ｐを決定する。

ステップＳ６５において、抽出部２２３は、基準点から左に視差の１/２だけ離れた領域を左目用領域として抽出する。すなわち、図５に示されるように、設定部２２２は、基準点Ｐから視差ｄの半分（＝ｄ/２）の距離だけ左側に離間した所定の幅ｗの領域を左目用領域３１Ｌ１として抽出する。

ステップＳ６６において、抽出部２２３は、基準点から右に視差の１/２だけ離れた領域を右目用領域として抽出する。すなわち、図５に示されるように、設定部２２２は、基準点Ｐから視差ｄの半分（＝ｄ/２）の距離だけ右側に離間した所定の幅ｗの領域を右目用領域３１Ｒ１として抽出する。ステップＳ６５とＳ６６の処理における視差ｄは、図１６に示される画像表示処理のステップＳ４０の処理においてユーザがズームボタン１１６の押下を解除した時点の奥行き情報に基づいて設定されたものである。

ここで、図１８を参照して基準点Ｐについて説明する。また、図１９を参照して視差ｄと抽出される左目用領域３１Ｌ及び右目用領域３２Ｒとの関係について説明する。

図１８は、処理対象領域内の基準点Ｐについて説明する図である。

図１８Ａに示されるように、基準点Ｐが処理対象領域２１の中心に設定されている場合には、基準点Ｐからそれぞれ視差ｄの半分（＝ｄ/２）の距離ＬＡだけ左右に離間した領域が、それぞれ左目用領域３１Ｌ、右目用領域３１Ｒとして抽出される。すなわち、処理対象領域２１の両端の各々の領域が、左目用領域３１Ｌ及び右目用領域３１Ｒのそれぞれとして抽出される。

一方、図１８Ｂに示されるように、基準点Ｐが処理対象領域２１の中心に設定されていない場合には、処理対象領域２１の両端の領域のうち、基準点Ｐからより近い端までの距離をＬＢと記述して、基準点Ｐからより遠い端までの距離をＬＣ（＞ＬＢ）と記述するものとする。この場合、視差ｄの半分（＝ｄ/２）の距離は、距離ＬＢ−ｗ/２となる。すなわち、基準点Ｐからそれぞれ視差ｄの半分（＝ｄ/２）の距離ＬＢ−ｗ/２だけ左右に離間した領域が、それぞれ左目用領域３１Ｌ、右目用領域３１Ｒとして抽出される。例えば、図１８Ｂの例では、基準点Ｐが処理対象領域２１の中心よりも右側に設定されているので、基準点Ｐから右側の端までの距離が、距離ＬＢになる。従って、基準点Ｐから右側に距離ＬＢ−ｗ/２だけ離間した、幅ｗの領域が、右目用領域３１Ｒとして抽出される。また、基準点Ｐから左側に距離ＬＢ−ｗ/２だけ離間した幅ｗの領域が、左目用領域３１Ｌとして抽出される。

図１９は、視差ｄと、処理対象領域２１から抽出される左目用領域及び右目用領域との関係を示す図である。

図１９において、横軸は視差ｄの大きさを示している。ズームボタン１１６のＴボタンが押下されると視差ｄが大きくなり、Ｗボタンが押下されると、視差ｄが小さくなる。

本実施形態においては、視差ｄの推奨値がデフォルト値Ｑとして設定されている。具体的には例えば、視差ｄがデフォルト値Ｑである場合の処理対象領域２１が図１９の左から３番目に示されている。このとき、基準点Ｐから視差ｄの半分（＝ｄ/２）の距離だけ左側に離間した幅ｗの領域が左目用領域３１Ｌとして抽出され、基準点Ｐから視差ｄの半分（＝ｄ/２）の距離だけ右側に離間した幅ｗの領域が右目用領域３１Ｒとして抽出される。なお、図１６のステップＳ３７において表示される奥行き情報の値は、視差ｄのデフォルト値Ｑに対応する値である。

視差ｄがデフォルト値Ｑである状態からズームボタン１１６のＷボタンが押下されると、奥行き情報の値が小さくなり、それに応じて、視差ｄがデフォルト値Ｑよりも小さくなるように設定される。視差ｄがデフォルト値Ｑよりも小さい所定の値に設定されると、例えば、図１９の左から２番目に示されるように、処理対象領域２１から抽出される幅ｗの左目用領域３１Ｌと幅ｗの右目用領域３１Ｒとの各々の一部が重なった状態になる。この場合、表示される３Ｄ画像のオブジェクトの凹凸の度合いは、視差ｄがデフォルト値Ｑである状態よりも弱くなる。

この状態からさらにズームボタン１１６のＷボタンが押下されると、奥行き情報の値が小さくなり、それに応じて、視差ｄがさらに小さくなるように設定される。例えば、図１９の１番左に示されるように、視差ｄが０となった場合には、処理対象領域２１から抽出される幅ｗの左目用領域３１Ｌと幅ｗの右目用領域３１Ｒとが完全に重なった状態になる。すなわち、幅ｗの左目用領域３１Ｌと幅ｗの右目用領域３１Ｒとの水平方向の中心位置が、基準点Ｐと一致する。この場合、３Ｄ表示されるオブジェクトは、奥行きがゼロ、すなわち凸凹がない通常の２Ｄ表示と同様の表示となる。視差ｄが０の状態が、上述したように、ズームボタン１１６の位置が可動範囲の下限位置となっている状態なので、さらにズームボタン１１６のＷボタンが押下されても、これ以上視差ｄが小さくなることはない。

これに対して、視差ｄがデフォルト値Ｑである状態からズームボタン１１６のＴボタンが押下されると、奥行き情報の値が大きくなり、それに応じて視差ｄがデフォルト値Ｑよりも大きくなるように設定される。例えば、図１９の左から４番目（最も右）に示されるように、視差ｄが１００となった場合には、処理対象領域２１から抽出される幅ｗの左目用領域３１Ｌと幅ｗの右目用領域３１Ｒとのそれぞれが、処理対象領域２１の両端に一致した状態になる。この場合、３Ｄ表示されるオブジェクトの凹凸の度合いは、視差ｄがデフォルト値Ｑである状態よりも強くなる。視差ｄが１００の状態が、上述したように、ズームボタン１１６の位置が可動範囲の上限位置となっている状態なので、さらにズームボタン１１６のＴボタンが押下されても、これ以上視差ｄが大きくなることはない。

図１７のフローチャートの説明に戻り、ステップＳ６７において、生成部２２４は、抽出部２２３により抽出された左目用領域を左目用画像に追加したデータを生成する。すなわち、図６に示されるように、抽出された左目用領域３１Ｌｋは、左目用画像に追加される。

ステップＳ６８において、生成部２２４は、抽出部２２３により抽出された右目用領域を右目用画像に追加したデータを生成する。すなわち、図６に示されるように、抽出された右目用領域３１Ｒｋは、右目用画像に追加される。

ステップＳ６９において、設定部２２２は、処理対象領域がすべて設定されたか否かを判定する。

処理対象領域としてすべてがまだ設定されていない場合、ステップＳ６９においてＮＯであると判定されて、処理はステップＳ６２に戻され、それ以降の処理が繰り返される。すなわち、図６に示されるように、複数の処理単位Ｓ１乃至ＳＮに区分されたパノラマ画像１１のデータのうち、処理単位Ｓ１から処理単位Ｓ２、Ｓ３・・・と順番に処理対象領域２１に設定され、処理対象領域２１から抽出された左目用領域３１Ｌ１及び右目用領域３１Ｒが、それぞれ左目用画像及び右目用画像に追加されていく。すなわち、処理対象領域がすべて設定されるまで、ステップＳ６２乃至Ｓ６９のループ処理が繰り返され、処理対象領域２１から抽出された左目用領域３１Ｌ及び右目用領域３１Ｒが、それぞれ左目用画像及び右目用画像に追加されていく。

その後、処理対象領域がすべて設定された場合、ステップＳ６９においてＹＥＳであると判定されて、３Ｄ画像生成処理は終了し、処理は図１６のステップＳ４３に進む。

このように、ユーザが、２Ｄ表示においてはオブジェクトの拡大指示又は縮小指示を行うズームボタン１１６を操作することにより、３Ｄ表示においては視差ｄが設定され、設定された視差ｄに応じた凹凸の度合いでオブジェクトが３Ｄ表示される。すなわち、ユーザは、ズームボタン１１６といった、２Ｄ画像の奥行き方向を操作する操作部を用いた直感的な操作をするだけで、３Ｄ表示されるオブジェクトの凹凸の度合いを調整することが可能となる。

＜２．第２実施形態＞
以上の第１実施形態では、３Ｄ画像は、パノラマ画像を用いて生成された。これに対して、第２実施形態では、３Ｄ画像は、連写撮影方式によって被写体が撮影された結果得られる複数の画像（以下、連写撮影画像と称する）を用いて生成される。

なお、第２実施形態の撮像装置９１の構成は、図１０及び図１１に示される第１実施形態と基本的に同様であるので、一致点の説明は省略し、差異点である記録デバイス１３５についてのみ説明する。

[記録デバイス１３５の構成例]
図２０は、記録デバイス１３５の記録内容の一例を示す図である。

記録デバイス１３５に記録される画像は、第１実施形態ではパノラマ画像であったのに対して、第２実施形態では、図２０に示されるように、複数の連写撮影画像である。すなわち、記録デバイス１３５には、連写時の撮像装置９１の水平方向の移動に応じて配置位置が水平方向に徐々にずれたオブジェクトがそれぞれ含まれる連写撮影画像Ｇ１乃至ＧＮ（Ｎは２以上の整数値）のデータが記録される。

さらに、記録デバイス１３５には、対応関係表２４１のデータが記録される。対応関係表２４１は、視差ｄと、左目用画像又は右目用画像として抽出される連写撮影画像との対応関係を示す表である。すなわち、Ｎ枚の連写撮影画像Ｇ１乃至ＧＮのうち、左目用画像又は右目用画像として選択される２つの連写撮影画像が、視差ｄの各値毎に予め規定されており、この規定の内容が対応関係表２４１に示されている。

[画像記録処理]
次に、連写撮影時に記録処理部１６１が実行する画像記録処理について図２１を参照して説明する。

図２１は、記録処理連写撮影時における部１６１による画像記録処理の一例を説明するフローチャートである。

ユーザが、モードダイヤル１１７を操作して撮影モードを選択すると、画像記録処理が開始される。

ステップＳ９１において、判定部１８１は、連写撮影方式が指示されたか否かを判定する。

本実施形態では、ユーザが、液晶パネル１２０に表示されたメニュー画面を見ながら、操作ボタン１１８を押下操作して、連写撮影方式を選択した場合には、ステップＳ９１においてＹＥＳであると判定されて、処理はステップＳ９２に進む。

ステップＳ９２において、撮影制御部１８２は、被写体を連写撮影方式で撮影する。すなわち、撮影制御部１８２は、上述した撮影部を制御することにより、連写撮影方式による被写体の撮影、すなわち、被写体に対して撮像装置９１を相対的に水平方向に移動しながら一定時間おきにＮ回の撮影をする。これにより、撮影画像のデータとして、Ｎ枚の連写撮影画像Ｇ１乃至ＧＮのデータが得られ、処理はステップＳ９３に進む。

ステップＳ９３において、記録指示部１８３は、ディジタル信号処理部１３４を制御して、ステップＳ９２の処理の結果得られたＮ枚の連写撮影画像Ｇ１乃至ＧＮのデータを、記録デバイス１３５に記録する。

ステップＳ９４において、生成部１８４は、対応関係表２４１を生成し、記録デバイス１３５に記録させる。

ステップＳ９５において、生成部１８４は、連写撮影画像Ｇ１乃至ＧＮの各々のサムネイル画像のデータを生成し、記録デバイス１３５に記録する。これにより、画像記録処理は終了する。

なお、ステップＳ９２の処理が毎回同様の処理である場合、すなわち、撮像装置９１の移動速度や移動距離、Ｎ回の撮影の時間間隔等が毎回同一である場合、予め対応関係表２４１を生成して記録デバイス１３５に記録させておいてもよい。この場合、ステップＳ９４の処理は省略可能である。

[対応関係表]
図２２は、対応関係表２４１のデータ構造の一例を示す図である。

本実施形態においては、対応関係表２４１は行列構造を有しているため、以下、図２２の横方向の項目の集合体を「行」と称し、同図の縦方向の項目の集合体を「列」と称する。所定の行には、視差ｄの所定の値が対応付けられている。すなわち、所定の行には、当該行に対応する視差ｄの値についての、「視差」、「左目用画像」、及び「右目用画像」という項目がそれぞれ配置されている。

所定の行の「視差」には、当該行に対応する視差ｄに対応する値Ｄが格納される。

所定の行の「左目用画像」には、当該行に対応する視差ｄが値Ｄである場合に、Ｎ枚の連写撮影画像Ｇ１乃至ＧＮのうち、左目用画像として選択される連写撮影画像を特定する情報（図２２の例では画像に付された番号）が格納される。

所定の行の「右目用画像」には、当該行に対応する視差ｄが値Ｄである場合に、Ｎ枚の連写撮影画像Ｇ１乃至ＧＮのうち、右目用画像として選択される連写撮影画像を特定する情報（図２２の例では画像に付された番号）が格納される。

なお、図２２の例では、連写撮影画像ＧＫ（Ｋは番号であり、１乃至Ｎ−１のうちの何れかの整数値）と連写撮影画像Ｇ（Ｋ＋１）との各々に含まれる同一オブジェクトの水平方向の配置位置のズレ量が、視差ｄの値Ｄ（Ｄは、１以上の整数値）と値（Ｄ＋１）との差分量（値１つ分）に対応することが前提となっている。

なお、以上の対応関係表２４１に関する記載事項については、後述する図２６の例についても同様に当てはまるとする。

図２２の例の対応関係表２４１から明らかなように、視差ｄの値が「１」である場合、左目用画像としては連写撮影画像Ｇ２（２番目に撮影された画像）が選択され、右目用画像としては連写撮影画像Ｇ３（３番目に撮影された画像）が選択される。ここで、本実施形態では、連写撮影画像Ｇ２が、連写撮影方式による撮影時に決定される代表画Ｒ（EXIF規格）であるとする。そして、このような代表画Ｒである連写撮影画像Ｇ２が左目用画像として選択され、連写撮影画像Ｇ２の直後の回に撮影された連写撮影画像Ｇ３が右目用画像として選択される視差ｄの値Ｄ、すなわち「１」がデフォルト値とされている。

視差ｄの値Ｄが「２」以上の場合には、視差ｄの値Ｄが１つ増えるたびに、次のパターン１とパターン２との選択手法が交互に繰り返されて適用されることによって、左目用画像及び右目用画像が選択される。換言すると、図２２の例の対応関係表２４１は、「視差ｄの値Ｄが１つ増えるたびに、次のパターン１とパターン２との選択手法が交互に繰り返されて適用される」という規定に則って、ステップＳ９４の処理で生成されたものである。

パターン１の選択手法とは、次のようにして左目用画像及び右目用画像が選択される手法をいう。すなわち、左目用画像としては、１つ少ない視差ｄの値Ｄで選択されるのと同一の連写撮影画像が選択される。そして、右目用画像としては、１つ少ない視差ｄの値Ｄで連写撮影画像ＧＫが選択されるとすると、その直後の回に撮影された連写撮影画像Ｇ（Ｋ＋１）が選択される。

パターン２の選択手法とは、次のようにして左目用画像及び右目用画像が選択される手法をいう。すなわち、左目用画像としては、１つ少ない視差ｄの値Ｄで連写撮影画像ＧＫが選択されるとすると、その直前の回に撮影された連写撮影画像Ｇ（Ｋ−１）が選択される。そして、右目用画像としては、１つ少ない視差ｄの値Ｄで選択されるのと同一の連写撮影画像が選択される。

具体的には、例えば、視差ｄの値Ｄが「１」から１つ増えた「２」の場合、パターン１の選択手法により、左目用画像としては、視差ｄの値Ｄが「１」で選択されるのと同一の連写撮影画像Ｇ２が選択される。また、右目用画像としては、視差ｄの値Ｄが「１」の場合には連写撮影画像Ｇ３が選択されるので、その直後の回に撮影された連写撮影画像Ｇ４が選択される。

さらに、視差ｄの値Ｄが「２」から１つ増えた「３」の場合、パターン２の選択手法により、左目用画像としては、視差ｄの値Ｄが「２」の場合には連写撮影画像Ｇ２が選択されるので、その直前の回に撮影された連写撮影画像Ｇ１が選択される。また、右目用画像としては、視差ｄの値Ｄが「２」で選択されるのと同一の連写撮影画像Ｇ４が選択される。

さらに、視差ｄの値Ｄが「３」から１つ増えた「４」の場合、パターン１の選択手法により、左目用画像としては、視差ｄの値Ｄが「３」の場合に選択されるのと同一の連写撮影画像Ｇ１が選択される。また、右目用画像としては、視差ｄの値Ｄが「３」の場合には連写撮影画像Ｇ４が選択されるので、その直後の回に撮影された連写撮影画像Ｇ５が選択される。

ただし、視差ｄの所定値で左目用画像として連写撮影画像Ｇ１が選択された場合、その所定値以降の値では、パターン２の選択手法を適用することが出来ないので、パターン１の選択手法が繰り返し適用される。逆に、視差ｄの所定値で右目用画像として連写撮影画像ＧＮが選択された場合、その所定値以降の値では、パターン１の選択手法を適用することが出来ないので、パターン２の選択手法が繰り返し適用される。

図２１のフローチャートの説明に戻り、ステップＳ９５において、生成部１８４は、連写撮影画像Ｇ１乃至ＧＮの各々のサムネイル画像のデータを生成し、記録デバイス１３５に記録する。これにより、画像記録処理は終了する。

このようにして、ユーザが連写撮影方式を選択した場合には、Ｎ枚の連写撮影画像Ｇ１乃至ＧＮ及びそれらのサムネイル画像の各データが記録デバイス１３５に記録される。これに対して、ユーザが通常撮影方式を選択した場合には、ステップＳ９１において、連写撮影方式が指示されていないと判定されて、処理はステップＳ９６に進む。

ステップＳ９６において、撮影制御部１８２は、上述した撮影部を制御することにより、通常撮影方式で被写体を撮影する。これにより、撮影画像のデータとして、通常サイズの画像のデータが得られ、処理はステップＳ９７に進む。

ステップＳ９７において、記録指示部１８３は、ディジタル信号処理部１３４を制御して、ステップＳ９６の処理の結果得られた通常サイズの画像のデータを、記録デバイス１３５に記録する。通常サイズの画像のデータが、記録デバイス１３５に記録されると、処理はステップＳ９５に進む。

ステップＳ９５において、生成部１８４は、撮影画像（いまの場合、通常サイズの画像）のサムネイル画像のデータを生成し、記録デバイス１３５に記録する。これにより、画像記録処理は終了する。

[３Ｄ画像生成処理]
次に、連写撮影時に画像表示処理部１６２が実行する画像表示処理について説明する。本実施形態における画像表示処理は、図１６に示される画像表示処理と基本的に同様であるので、一致点の説明は省略し、差異点であるステップＳ４２の３Ｄ画像生成処理についてのみ説明する。

図２３は、連写撮影画像に対する３Ｄ画像生成処理部１６３による３Ｄ画像生成処理の一例を説明するフローチャートである。

図１６のステップＳ４１において、ズームボタン１１６の押下が解除された時点の奥行き情報に基づいて視差ｄが設定されると、処理はステップＳ４２の３Ｄ画像生成処理に進み、図２３のフローチャートに従った処理が実行される。

すなわち、ステップＳ１２１において、データ取得部２２１は、記録デバイス１３５から対応関係表２４１のデータを取得する。

ステップＳ１２２において、抽出部２２３は、ステップＳ１２１の処理で取得された対応関係表２４１のデータ、及び視差ｄに基づいて、左目用画像と右目用画像との各データを抽出する。このときの視差ｄの値は、図１６のステップＳ４０の処理においてユーザがズームボタン１１６の押下を解除した時点の奥行き情報に基づいて設定された値である。すなわち、抽出部２２３は、設定された視差ｄの値と、ステップＳ１２１の処理で取得された対応関係表２４１とを用いて、設定された視差ｄの値に対応づけられた２枚の連写撮影画像を左目用画像及び右目用画像として各々のデータを抽出する。左目用画像及び右目用画像の各データが抽出されると、３Ｄ画像生成処理は終了し、処理は図１６のステップＳ４３に進む。

さらに、以下、図２４及び図２５を参照して、３Ｄ画像生成処理の具体例について説明する。

図２４及び図２５は、図２２の例の対応関係表２４１を用いて左目用画像及び右目用画像を抽出する処理の具体例を示す図である。

図２４の記録デバイス１３５には、連写撮影方式により得られたＮ枚の連写撮影画像Ｇ１乃至ＧＮのデータが記録されている。また、横軸は視差ｄの値を示している。ズームボタン１１６のＴボタンが押下されると視差ｄの値が大きくなる。すなわち、図２４に示されるように、視差ｄの値が図中右方向に変化する。

例えば図１６のステップＳ４１の処理で奥行き情報に基づいて設定された視差ｄの値が「１」であったとする。この場合、図２３のステップＳ１２１の処理で図２２の対応関係表２４１のデータが取得されると、次のステップＳ１２２の処理では、左目用画像のデータとしては代表画Ｒである連写撮影画像Ｇ２のデータが抽出されて、右目用画像としては連写撮影画像Ｇ３のデータが抽出される。そして、図１６のステップＳ４３の処理で、連写撮影画像Ｇ２が左目用画像として、連写撮影画像Ｇ３が右目用画像として、液晶パネル１２０に表示される。

この状態からズームボタン１１６のＴボタンが押下されると、図１６のステップＳ４４の処理でＹＥＳであると判定されて、処理はステップＳ３７に戻され、ステップＳ３７乃至Ｓ４１の処理によって、奥行き情報の値が大きくなるように設定され、それに応じて、視差ｄの値も大きくなるように設定される。例えば図１６のステップＳ４１の処理で奥行き情報に基づいて設定された視差ｄの値が「２」であったとする。この場合、図２３のステップＳ１２１の処理で図２２の対応関係表２４１のデータが取得されると、次のステップＳ１２２の処理では、左目用画像のデータとしては代表画Ｒである連写撮影画像Ｇ２のデータが抽出され、右目用画像としては連写撮影画像Ｇ４のデータが抽出される。そして、図１６のステップＳ４３の処理で、連写撮影画像Ｇ２が左目用画像として、連写撮影画像Ｇ４が右目用画像として、液晶パネル１２０に表示される。

この状態からさらにＴボタンが押下されて、同様の処理が繰り返された結果、例えば、視差ｄの値が「３」に設定された場合、図２２の対応関係表２４１に従って、左目用画像としては連写撮影画像Ｇ１のデータが抽出され、右目用画像としては連写撮影画像Ｇ４のデータが抽出される。さらにＴボタンが押下されて、例えば、視差ｄの値が「４」に設定された場合、左目用画像としては連写撮影画像Ｇ１のデータが抽出され、右目用画像としては連写撮影画像Ｇ５のデータが抽出される。

図２５は、図２４に示される視差ｄが「４」である状態から、ズームボタン１１６のＷボタンが押下された場合の左目用画像及び右目用画像を抽出する処理の具体例を示す図である。

図２５の記録デバイス１３５には、図２４と同様に、連写撮影方式により得られたＮ枚の連写撮影画像Ｇ１乃至ＧＮのデータが記録されている。また、横軸は視差ｄの値を示している。ズームボタン１１６のＷボタンが押下されると、視差ｄの値が小さくなる。すなわち、図２５に示されるように、視差ｄの値が図中左方向に変化する。

例えば、図２４で視差ｄの値が「４」に設定され、左目用画像としては連写撮影画像Ｇ１が抽出され、右目用画像としては連写撮影画像Ｇ５が抽出された場合、図１６のステップＳ４３の処理で、連写撮影画像Ｇ１が左目用画像として、連写撮影画像Ｇ５が右目用画像として、液晶パネル１２０に表示される。

この状態からズームボタン１１６のＷボタンが押下されると、図１６のステップＳ４４の処理でＹＥＳであると判定されて、処理はステップＳ３７に戻され、ステップＳ３７乃至Ｓ４１の処理によって、奥行き情報の値が小さくなるように設定され、それに応じて、視差ｄの値も小さくなるように設定される。例えば図１６のステップＳ４１の処理で奥行き情報に基づいて設定された視差ｄの値が「３」であったとする。この場合、図２３のステップＳ１２１の処理で図２２の対応関係表２４１のデータが取得されると、次のステップＳ１２２の処理では、左目用画像のデータとしては連写撮影画像Ｇ１のデータが抽出されて、右目用画像としては連写撮影画像Ｇ４のデータが抽出される。そして、図１６のステップＳ４３の処理で、連写撮影画像Ｇ１が左目用画像として、連写撮影画像Ｇ４が右目用画像として、液晶パネル１２０に表示される。

この状態からさらにＷボタンが押下されて、同様の処理が繰り返された結果、例えば、視差ｄの値が「２」に設定された場合、左目用画像としては代表画Ｒである連写撮影画像Ｇ２のデータが抽出されて、右目用画像としては連写撮影画像Ｇ４のデータが抽出される。

なお、図２１のステップＳ９４の処理において生成される対応関係表は、図２２に示される対応関係表に限定されず、例えば、図２６に示される対応関係表であってもよい。

図２６は、対応関係表２４１のデータ構造の他の例を示す図である。

図２６に示される対応関係表２４１から明らかなように、視差ｄの値が「１」である場合、左目用画像としては連写撮影画像Ｇ２が抽出され、右目用画像としては連写撮影画像Ｇ３が抽出される。ここで、上述したように、本実施形態では、連写撮影画像Ｇ２が、連写撮影方式による撮影時に決定される代表画Ｒ（EXIF規格）である。そして、このような代表画Ｒである連写撮影画像Ｇ２が左目用画像として選択され、連写撮影画像Ｇ２の直後の回に撮影された連写撮影画像Ｇ３が右目用画像として選択される視差ｄの値、すなわち「１」がデフォルト値とされている。

視差ｄの値が「２」以上の場合には、次の選択手法が適用されることによって、左目用画像及び右目用画像が選択される。すなわち、図２６の例の対応関係表２４１に適用された選択手法は、次のようにして左目用画像及び右目用画像が選択される手法である。すなわち、左目用画像としては、代表画Ｒである連写撮影画像Ｇ２が選択される。一方、右目用画像としては、１つ少ない視差ｄの値で連写撮影画像ＧＫが選択されるとすると、その直後の回に撮影された連写撮影画像Ｇ（Ｋ＋１）が選択される。

具体的には、例えば、視差ｄの値が「１」から１つ増えた「２」の場合、図２６の例の対応関係表２４１に適用された選択手法により、左目用画像としては、代表画Ｒである連写撮影画像Ｇ２が選択される。また、右目用画像としては、視差ｄの値が「１」では連写撮影画像Ｇ３が選択されるので、その直後の回に撮影された連写撮影画像Ｇ４が選択される。

さらに、視差ｄの値が「２」から１つ増えた「３」の場合、図２６の例の対応関係表２４１に適用された選択手法により、左目用画像としては、代表画Ｒである連写撮影画像Ｇ２が選択される。また、右目用画像としては、視差ｄの値が「２」では連写撮影画像Ｇ４が選択されるので、その直後の回に撮影された連写撮影画像Ｇ５が選択される。

ただし、視差ｄの所定値で右目用画像として連写撮影画像ＧＮが選択された場合、その所定値以降の値では、図２６の例の対応関係表２４１に適用された選択手法を適用することが出来ないので、左目用画像としては、代表画Ｒである連写撮影画像Ｇ２の直前の回に撮影された連写撮影画像Ｇ１が選択される。

具体的には、視差ｄの所定値「ｍ」で右目用画像として連写撮影画像ＧＮが選択された場合、視差ｄの値が「ｍ」から１つ増えた「ｍ＋１」では、左目用画像としては、代表画Ｒである連写撮影画像Ｇ２の直前の回に撮影された連写撮影画像Ｇ１が選択される。「ｍ＋１」が視差ｄの最大値である。

図２７及び図２８は、図２６に示される対応関係表２４１を用いて左目用画像及び右目用画像を抽出する処理の具体的な処理結果の例を示す図である。

図２７の記録デバイス１３５には、連写撮影方式により得られたＮ枚の連写撮影画像Ｇ１乃至ＧＮのデータが記録されている。また、横軸は視差ｄの値を示している。ズームボタン１１６のＴボタンが押下されると視差ｄの値が大きくなる。すなわち、図２７に示されるように、視差ｄの値が図中右方向に変化する。

例えば図１６のステップＳ４１の処理で奥行き情報に基づいて設定された視差ｄの値が「１」であったとする。この場合、図２３のステップＳ１２１の処理で図２６の対応関係表２４１のデータが取得されると、次のステップＳ１２２の処理では、左目用画像のデータとしては代表画Ｒである連写撮影画像Ｇ２のデータが抽出されて、右目用画像としては連写撮影画像Ｇ３のデータが抽出される。そして、図１６のステップＳ４３の処理で、連写撮影画像Ｇ２が左目用画像として、連写撮影画像Ｇ３が右目用画像として、液晶パネル１２０に表示される。

この状態からズームボタン１１６のＴボタンが押下されると、図１６のステップＳ４４の処理でＹＥＳであると判定されて、処理はステップＳ３７に戻され、ステップＳ３７乃至Ｓ４１の処理によって、奥行き情報の値が大きくなるように設定され、それに応じて、視差ｄの値も大きくなるように設定される。例えば図１６のステップＳ４１の処理で奥行き情報に基づいて設定された視差ｄの値が「２」であったとする。この場合、図２３のステップＳ１２１の処理で図２６の対応関係表２４１が取得されると、次のステップＳ１２２の処理では、左目用画像のデータとしては代表画Ｒである連写撮影画像Ｇ２のデータが抽出されて、右目用画像としては連写撮影画像Ｇ４のデータが抽出される。そして、図１６のステップＳ４３の処理で、連写撮影画像Ｇ２が左目用画像として、連写撮影画像Ｇ４が右目用画像として、液晶パネル１２０に表示される。

この状態からさらにＴボタンが押下されて、同様の処理が繰り返された結果、例えば、視差ｄの値が「３」に設定された場合、左目用画像としては代表画Ｒである連写撮影画像Ｇ２のデータが抽出され、右目用画像としては連写撮影画像Ｇ５のデータが抽出される。さらにＴボタンが押下されて、例えば、視差ｄの値が「ｍ」に設定された場合、左目用画像としては代表画Ｒである連写撮影画像Ｇ２のデータが抽出され、右目用画像としては連写撮影画像ＧＮのデータが抽出される。

図２８は、図２７に示される視差ｄが「ｍ」である状態から、さらにズームボタン１１６のＴボタンが押下された場合の左目用画像及び右目用画像を抽出する処理の具体例を示す図である。

図２８の記録デバイス１３５には、図２７と同様に、連写撮影方式により得られたＮ枚の連写撮影画像Ｇ１乃至ＧＮのデータが記録されている。また、横軸は視差ｄの値を示している。ズームボタン１１６のＴボタンが押下されると視差ｄの値が大きくなる。

例えば、図２７で視差ｄの値が「ｍ」に設定され、左目用画像としては代表画Ｒである連写撮影画像Ｇ２のデータが抽出され、右目用画像としては連写撮影画像ＧＮのデータが抽出された場合、図１６のステップＳ４３の処理で、連写撮影画像Ｇ２が左目用画像として、連写撮影画像ＧＮが右目用画像として、液晶パネル１２０に表示される。

この状態からズームボタン１１６のＴボタンが押下されると、図１６のステップＳ４４の処理でＹＥＳであると判定されて、処理はステップＳ３７に戻される。そして、ステップＳ３７乃至Ｓ４１の処理によって、奥行き情報の値が大きくなるように設定され、それに応じて、視差ｄの値も大きくなるように設定される。

例えば図１６のステップＳ４１の処理で奥行き情報に基づいて設定された視差ｄの値が「ｍ＋１」であったとする。この場合、図２３のステップＳ１２１の処理で図２６の対応関係表２４１が取得されると、次のステップＳ１２２の処理では、左目用画像としては連写撮影画像Ｇ１のデータが抽出されて、右目用画像としては連写撮影画像ＧＮのデータが抽出される。そして、図１６のステップＳ４３の処理で、連写撮影画像Ｇ１が左目用画像として、連写撮影画像ＧＮが右目用画像として、液晶パネル１２０に表示される。

このように、画像表示処理が実行されると、ズームボタン１１６の押下操作に応じて、視差ｄが設定され、設定された視差ｄに応じた凹凸の度合いでオブジェクトが３Ｄ表示される。具体的には例えば、ズームボタン１１６のＴボタンが押下されると、奥行き情報の値が大きくなり、それに応じて、視差ｄも大きな値に設定され、選択される右目用画像及び左目用画像の組み合わせが、画像に付された番号の差が大きい組み合わせとなる。その結果、３Ｄ表示されるオブジェクトの凸凹の度合いが大きくなる。これに対して、ズームボタン１１６のＷボタンが押下されると、奥行き情報の値が小さくなり、それに応じて、視差ｄも小さな値に設定され、選択される右目用画像及び左目用画像の組み合わせが、画像に付された番号の差が小さい組み合わせとなる。その結果、３Ｄ表示されるオブジェクトの凸凹の度合いが小さくなる。すなわち、ユーザは、ズームボタン１１６といった、２Ｄ画像の奥行き方向を操作する操作部を用いた直感的な操作をするだけで、３Ｄ表示されるオブジェクトの凹凸の度合いを調整することが可能となる。

＜３．第３実施形態＞
以上説明したように、第１実施形態では、パノラマ撮影方式によって撮影された結果得られるパノラマ画像のデータから、３Ｄ画像のデータが生成された。また、第２実施形態では、連写撮影方式によって撮影された結果得られる複数枚の画像のデータから選択された２枚の画像データが、３Ｄ画像のデータとして生成された。すなわち、第１実施形態及び第２実施形態では、撮影画像に含まれるオブジェクトが３Ｄ表示されるように、３Ｄ画像のデータが生成された。これに対して、第３実施形態では、撮影画像は背景画像として用いられ、これらの背景画像のデータの上にスタンプ画像のデータが合成されることによって、３Ｄ画像のデータが生成される。すなわち、第３実施形態では、少なくともスタンプ画像に含まれるオブジェクトが３Ｄ表示されるように、３Ｄ画像が生成される。

なお、第３実施形態の撮像装置９１の構成は、図１０及び図１１に示される第１実施形態と基本的に同様であるので、一致点の説明は省略し、差異点である記録デバイス１３５についてのみ説明する。

図示はしないが、第３実施形態の撮像装置９１の記録デバイス１３５には、通常サイズの画像のデータが記憶されている。この撮影画像は、３Ｄ画像として生成される左目用画像及び右目用画像の背景画像（以下、左目用背景画像、右目用背景画像と各々称する）として用いられる。

この場合、対となる左目用背景画像及び右目用背景画像には、対応するオブジェクトが含まれている必要があるが、そのオブジェクトの配置位置は、同一であってもよいし、所定の視差ｄ分だけ水平方向にずれていてもよい。

例えば、通常撮像方式によって撮影された結果得られる通常サイズの画像のデータをそのまま、左目用背景画像及び右目用背景画像の各々に採用してもよい。この場合、オブジェクトの配置位置は同一になるため、当該オブジェクトは３Ｄ表示されず、後述するスタンプ画像のオブジェクトのみが３Ｄ表示される。

一方、例えば第１実施形態又は第２実施形態において撮影画像から左目用画像として生成された通常サイズの画像を、左目用背景画像として採用し、第１実施形態又は第２実施形態において撮影画像から右目用画像として生成された通常サイズの画像を、右目用背景画像として採用してもよい。この場合、オブジェクトの配置位置は、左目用背景画像及び右目用背景画像において所定の視差ｄ分だけ水平方向にずれるため、当該オブジェクトは、その視差ｄに応じた凹凸の度合いで３Ｄ表示される。すなわち、この場合には、左目用背景画像及び右目用背景画像に含まれる対応するオブジェクトは、後述するスタンプ画像のオブジェクトと共に３Ｄ表示される。

なお、以下、左目用背景画像及び右目用背景画像に含まれる対応するオブジェクトを、背景オブジェクトと称する。これに対して、後述するスタンプ画像のオブジェクトを、前景オブジェクトと称する。

この記録デバイス１３５にはまた、このような左目用背景画像又は右目用背景画像のデータの上に合成させるスタンプ画像のデータが記録されている。スタンプ画像には、前景オブジェクトが含まれており、それ以外の領域は透明領域となっている。このようなスタンプ画像は１枚でなく、同一の前景オブジェクトの配置位置が水平方向に徐々にずれた複数枚のスタンプ画像の各データが、記録デバイス１３５に記憶されている。このような複数のスタンプ画像のうち、所定位置に配置された前景オブジェクトを含むスタンプ画像のデータが、左目用背景画像のデータの上に合成されることによって、左目用画像のデータが生成される。一方、所定位置から視差ｄ分だけ水平方向にずれた位置に配置された前景オブジェクトを含むスタンプ画像のデータが、右目用背景画像のデータの上に合成されることによって、右目用画像のデータが生成される。勿論、スタンプ画像は１枚とし、その合成位置をずらすようにしてもよい。このようにして生成された左目用画像及び右目用画像の各データに基づいて、前景オブジェクトは、視差ｄに応じた凹凸の度合いで３Ｄ表示される。なお、背景オブジェクトが３Ｄ表示されるか否かは、上述したように、左目用背景画像及び右目用背景画像内の背景オブジェクトの各々の配置位置に依存する。

[３Ｄ画像の生成手法]
このような第３実施形態の３Ｄ画像の生成手法について、図２９及び図３０を参照して具体的に説明する。

図２９及び図３０は、第３実施形態の３Ｄ画像の生成手法を模式的に説明する図である。

図２９に示されるように、左目用背景画像２６１Ｌ及び右目用背景画像２６１Ｒのそれぞれには、運転手が乗った自動車のオブジェクトが背景オブジェクトとして含まれている。なお、図２９の例では、同一の撮影画像が、左目用背景画像２６１Ｌ及び右目用背景画像２６１Ｒの各々として採用されている。すなわち、左目用背景画像２６１Ｌ及び右目用背景画像２６１Ｒ内の背景オブジェクトの各配置位置は同一であることから、背景オブジェクトは３Ｄ表示されない。

第３実施形態では、このような左目用背景画像２６１Ｌ及び右目用背景画像２６１Ｒの各データの上にスタンプ画像のデータがそれぞれ合成される。なお、図２９にはスタンプ画像に含まれるハート型の前景オブジェクト２７１のみが図示されており、スタンプ画像（透明領域の部分）の図示は省略されている。

すなわち、左目用背景画像２６１Ｌのデータに対して、所定位置に前景オブジェクト２７１Ｌが配置されたスタンプ画像のデータが合成されることによって、左目用画像のデータが生成される。同様に、右目用背景画像２６１Ｒのデータに対して、所定位置に前景オブジェクト２７１Ｒが配置されたスタンプ画像のデータが合成されることによって、右目用画像のデータが生成される。ただし、図３０に示されるように、右目用背景画像２６１Ｒのデータに対して前景オブジェクト２７１Ｒが配置されたスタンプ画像のデータが合成される位置は、左目用背景画像２６１Ｌの挿入位置から視差ｄ分だけ水平方向にずれている。このようにして生成された左目用画像及び右目用画像のデータに基づいて、視差ｄに応じた凹凸の度合いで前景オブジェクト２７１が３Ｄ表示される。

[第３実施形態における画像表示処理]
次に、このような第３実施形態の３Ｄ画像の生成手法が適用された画像表示処理について説明する。

図３１は、第３実施形態における画像表示処理部１６２による画像表示処理の一例を説明するフローチャートである。

ユーザが、モードダイヤル１１７を操作して画像表示モードを選択すると、画像表示処理が開始される。

ステップＳ１４１において、表示制御部２０１は、サムネイル画像を液晶パネル１２０に表示する。ここで、液晶パネル１２０に表示されるサムネイル画像は、背景画像のサムネイル画像である。

ステップＳ１４２において、操作認識部２０２は、ステップＳ１４１の処理で表示されたサムネイル画像が選択されたか否かを判定する。

サムネイル画像が１枚も選択されない場合、ステップＳ１４２においてＮＯであると判定されて、処理はステップＳ１４２に戻され、それ以降の処理が繰り返される。すなわち、サムネイル画像が選択されるまでの間、ステップＳ１４２の判定処理が繰り返される。

その後、ユーザが、液晶パネル１２０に表示されたメニュー画面を見ながら、操作ボタン１１８を押下操作してサムネイル画像の中から所定の１枚を選択した場合には、ステップＳ１４２においてＹＥＳであると判定されて、処理はステップＳ１４３に進む。

ステップＳ１４３において、表示制御部２０１は、ステップＳ１４２の処理で選択された画像を液晶パネル１２０に表示する。すなわち、サムネイル画像の元の画像が表示される。

ステップＳ１４４において、操作認識部２０２は、スタンプ画像付加の指示がされたか否かを判定する。

ユーザは、液晶パネル１２０に表示された画像、すなわち背景画像を見て、スタンプ画像を付加させたいと所望した場合には、スタンプ付加の指示操作をする。本実施形態では、ユーザは、スタンプ付加の指示操作として、液晶パネル１２０に表示されたメニュー画面をみながら、操作ボタン１１８を押下操作して、スタンプ画像の付加を選択する。従って、操作ボタン１１８が押下操作されなかった場合、スタンプ画像付加の指示がされなかったとして、ステップＳ１４４においてＮＯであると判定されて、画像表示処理は終了する。

これに対して、ユーザが操作ボタン１１８を押下操作して、スタンプ画像の付加を選択した場合、スタンプ画像付加の指示がされたとして、ステップＳ１４４においてＹＥＳであると判定されて、処理はステップＳ１４５に進む。

なお、ステップＳ１４５乃至Ｓ１５０の処理は、図１６のステップＳ３６乃至Ｓ４１の処理と同様であるので、その説明は省略する。

ステップＳ１５０において、ズームボタン１１６の押下が解除された時点の奥行き情報に基づいて視差ｄが設定されると、処理はステップＳ１５１に進む。

ステップＳ１５１において、３Ｄ画像生成処理部１６３は、ステップＳ１５０の処理で設定された視差ｄに基づいて、スタンプ画像の前景オブジェクトを含む３Ｄ画像のデータを生成する。すなわち、所定位置に配置された前景オブジェクトを含むスタンプ画像のデータが、左目用背景画像のデータの上に合成されることによって、左目用画像のデータが生成される。一方、所定位置から視差ｄ分だけ水平方向にずれた位置に配置された前景オブジェクトを含むスタンプ画像のデータが、右目用背景画像のデータの上に合成されることによって、右目用画像のデータが生成される。このようにして生成された左目用画像及び右目用画像が表示されると、前景オブジェクトは、視差ｄに応じた凹凸の度合いで３Ｄ表示される。なお、背景オブジェクトが３Ｄ表示されるか否かは、上述したように、背景オブジェクトの左目用背景画像及び右目用背景画像の各々の配置位置に依存する。なお、以下、このようなステップＳ１５１の処理を、スタンプ画像合成処理と称する。スタンプ画像合成処理の詳細については、図３２を参照して後述する。

ステップＳ１５２において、表示制御部２０１は、ステップＳ１５１のスタンプ画像合成処理により生成されたスタンプ画像が合成された画像を液晶パネル１２０に表示させる。すなわち、表示制御部２０１は、図８を参照して上述したように、左目用画像及び右目用画像をそれぞれ例えば垂直方向と水平方向の偏光画像として液晶パネル１２０に表示させる。この状態で、ユーザは、偏光メガネをかけて偏光画像を見ることにより、３Ｄ表示された前景オブジェクトを視認すること、すなわち、視差ｄに応じた度合いで前景オブジェクトが凹凸している様子を視認することができる。なお、背景オブジェクトが３Ｄ表示されるか否かは、上述したように、左目用背景画像及び右目用背景画像内の背景オブジェクトの各々の配置位置に依存する。

ステップＳ１５３において、操作認識部２０２は、奥行き情報の更新指示がされたか否かを判定する。

本実施形態では、ユーザは、３Ｄ表示された前景オブジェクトを見て凹凸の度合いを変化させたいと所望した場合、すなわち、奥行き情報の更新指示をする場合、その操作として、改めてズームボタン１１６を押下するものとする。従って、本実施形態では、３Ｄ画像が液晶パネル１２０に表示された状態でズームボタン１１６が押下操作された場合、ステップＳ１５３においてＹＥＳと判定されて、処理はステップＳ１４６に戻され、それ以降の処理が繰り返される。すなわち、奥行き情報の更新指示がされる度に、ステップＳ１４６乃至Ｓ１５３のループ処理が繰り返されて、奥行き情報の更新値に基づいて視差ｄが再設定され、表示される３Ｄ画像の前景オブジェクトの凹凸の度合いが変化する。

奥行き情報の更新指示がされない場合、ステップＳ１５３においてＮＯであると判定されて、処理はステップＳ１５４に進む。

ステップＳ１５４において、操作認識部２０２は、処理終了の指示がされたか否かを判定する。

処理終了の指示がされない場合、ステップＳ１５４においてＮＯと判定されて、処理はステップＳ１５２に戻され、それ以降の処理が繰り返される。すなわち、処理終了の指示がされない限り、ステップＳ１５２乃至Ｓ１５４のループ処理が繰り返されて、ステップＳ１５１のスタンプ画像合成処理により生成された３Ｄ画像が液晶パネル１２０に表示される。

その後、処理終了の指示がされた場合、ステップＳ１５４においてＹＥＳであると判定されて、画像表示処理は終了する。

このように、画像表示処理が実行されると、ズームボタン１１６の押下操作に応じて、視差ｄが設定され、設定された視差ｄに応じた凹凸の度合いで、スタンプ画像に含まれていた前景オブジェクトが３Ｄ表示される。

[スタンプ画像合成処理]
次に、図３２に示されるフローチャートを参照して、図３１に示される画像表示処理のステップＳ１５１のスタンプ画像合成処理について説明する。

図３２は、３Ｄ画像生成処理部１６３によるスタンプ画像合成処理の一例を説明するフローチャートである。

ステップＳ１８１において、設定部２２２は、視差ｄに基づいて、左目用背景画像と右目用背景画像の各々における、スタンプ画像の前景オブジェクトの合成位置を設定する。

ステップＳ１８２において、生成部２２４は、ステップＳ１８１の処理で左目用背景画像の合成位置として設定された位置に前景オブジェクトが配置されたスタンプ画像のデータを取得する。そして、生成部２２４は、取得したスタンプ画像のデータを左目用背景画像のデータの上に合成することによって、左目用画像のデータを生成する。

具体的には例えば上述の図３０の例では、同図の左側の左目用背景画像２６１Ｌの上にひかれた実線の垂直線で示される位置が、左目用背景画像の合成位置となる。従って、ステップＳ１８２において、この合成位置にハート形状の前景オブジェクト２７１Ｌが配置されたスタンプ画像のデータが取得されて、左目用背景画像２６１Ｌのデータに合成される。これにより、図３０の左側に示されるような左目用画像のデータが生成される。

ステップＳ１８３において、生成部２２４は、ステップＳ１８１の処理で右目用背景画像の合成位置として設定された位置に前景オブジェクトが配置されたスタンプ画像のデータを取得する。そして、生成部２２４は、取得したスタンプ画像のデータを右目用背景画像のデータを合成することによって、右目用画像のデータを生成する。

具体的には例えば上述の図３０の例では、同図の右側の右目用背景画像２６１Ｒの上にひかれた実線の垂直線で示される位置、すなわち、点線の垂直線で示される位置（左目用背景画像の合成位置）から視差ｄ分だけ水平右方向にずれた位置が、右目用背景画像の合成位置となる。従って、ステップＳ１８３において、この合成位置にハート形状の前景オブジェクト２７１Ｒが配置されたスタンプ画像のデータが取得されて、右目用背景画像２６１Ｒのデータに合成される。これにより、図３０の右側に示されるような右目用画像のデータが生成される。

左目用画像のデータと右目用画像のデータが生成されると、スタンプ画像合成処理は終了し、処理は図３１のステップＳ１５２に進む。

なお、記録デバイス１３５に記録されるスタンプ画像のサイズは、上述の例では背景画像と同一のサイズとされたが、これに特に限定されない。例えば、前景オブジェクト（図２９の例ではハート形状のオブジェクト）を囲む矩形程度のサイズ、すなわち、背景画像よりも小さいサイズを、スタンプ画像のサイズとしてもよい。この場合、記録デバイス１３５に記録されるスタンプ画像のデータは、１つだけ用意すれば足りる。この場合、図３２のステップＳ１８２の処理として、生成部２２４は、次のような処理を実行すればよい。すなわち、生成部２２４は、左目用背景画像の合成位置にスタンプ画像（前景オブジェクト）を配置させるように、そのスタンプ画像のデータを左目用背景画像のデータの上に合成する。同様に、図３２のステップＳ１８３の処理とし、生成部２２４は、次のような処理を実行すればよい。生成部２２４は、右目用背景画像の設定された合成位置にスタンプ画像（前景オブジェクト）を配置させるように、そのスタンプ画像のデータを右目用背景画像のデータの上に合成する。

このように、画像表示処理が実行されると、ズームボタン１１６の押下操作に応じて、視差ｄが設定され、設定された視差ｄに応じた凹凸の度合いで、少なくともスタンプ画像の前景オブジェクトが３Ｄ表示される。具体的には例えば、ズームボタン１１６のＴボタンが押下されると、奥行き情報の値が大きくなり、それに応じて、視差ｄも大きな値に設定される。その結果、３Ｄ表示される前景オブジェクトの凸凹の度合いが大きくなる。これに対して、ズームボタン１１６のＷボタンが押下されると、奥行き情報の値が小さくなり、それに応じて、視差ｄも小さな値が設定される。その結果、３Ｄ表示される前景オブジェクトの凸凹の度合いが小さくなる。すなわち、ユーザは、ズームボタン１１６といった、２Ｄ画像の奥行き方向を操作する操作部を用いた直感的な操作をするだけで、３Ｄ表示される前景オブジェクトの凹凸の度合いを調整することが可能となる。

[タッチパネル１２１による操作]
図３３は、タッチスクリーン１１９に含まれる液晶パネル１２０による操作部の表示例を示す図である。

図３３Ａの例では、タッチスクリーン１１９に含まれる液晶パネル１２０には、スライダー２９１が表示されている。ユーザが、スライダー２９１の表示位置に指等を接触させ、その接触状態を維持したまま指等を上下方向に動かすと、その指等の軌跡はタッチスクリーン１１９に含まれるタッチパネル１２１により検出される。すると、CPU１３６は、この検出結果に基づいて、スライダー２９１を上下方向に移動させた画像を液晶パネル１２０に表示させる。このようにして、ユーザは、表示されているスライダー２９１を上下方向に移動させることができる。このようなスライダー２９１の上下方向の移動操作は、ズームボタン１１６のＴボタンとＷボタンの押下操作に対応している。すなわち、スライダー２９１には、上述した第１乃至第３の機能が割り当てられている。すなわち、２Ｄ画像の奥行き方向の操作機能が割り当てられている。例えば第３の機能が実現される場合には、スライダー２９１の上下方向の移動に応じて、視差ｄが設定され、設定された視差ｄに応じた凹凸の度合いでオブジェクトが３Ｄ表示される。具体的には、例えば、スライダー２９１が上方向に移動されると、奥行き情報の値が大きくなり、それに応じて、視差ｄも大きな値に設定される。その結果、３Ｄ表示されるオブジェクトの凸凹の度合いが大きくなる。これに対して、スライダー２９１が下方向に移動されると、奥行き情報の値が小さくなり、それに応じて、視差ｄも小さな値が設定される。その結果、３Ｄ表示されるオブジェクトの凸凹の度合いが小さくなる。

図３３Ｂの例では、タッチスクリーン１１９に含まれる液晶パネル１２０には、プラスボタンとマイナスボタンとからなる調整ボタン３０１が表示されている。ユーザが、プラスボタン又はマイナスボタンを押下操作すると、すなわち、プラスボタン又はマイナスボタンに指等を接触させると、その指等の接触位置は、タッチスクリーン１１９に含まれるタッチパネル１２１により検出される。すると、CPU１３６は、この検出結果に基づいて、プラスボタン又はマイナスボタンの押下操作を検出する。このような調整ボタン３０１のプラスボタンとマイナスボタンとの各々は、ズームボタン１１６のＴボタンとＷボタンとの各々に対応している。すなわち、調整ボタン３０１には、上述した第１乃至第３の機能が割り当てられている。すなわち、２Ｄ画像の奥行き方向の操作機能が割り当てられている。例えば第３の機能が実現される場合には、調整ボタン３０１の押下操作に応じて、視差ｄが設定され、設定された視差ｄに応じた凹凸の度合いでオブジェクトが３Ｄ表示される。具体的には例えば、調整ボタン３０１のプラスボタンが押下操作されると、奥行き情報の値が大きくなり、それに応じて、視差ｄも大きな値に設定される。その結果、３Ｄ表示されるオブジェクトの凸凹の度合いが大きくなる。これに対して、調整ボタン３０１のマイナスボタンが押下操作されると、奥行き情報の値が小さくなり、それに応じて、視差ｄも小さな値が設定される。その結果、３Ｄ表示されるオブジェクトの凸凹の度合いが小さくなる。

このように、ユーザは、液晶パネル１２０に表示されたスライダー２９１や調整ボタン３０１といった２Ｄ画像の奥行き方向を操作するソフトウェア上の操作部を、タッチパネル１２１に指等接触して操作することができる。ユーザは、このような直感的な操作をするだけで、３Ｄ表示されるオブジェクトの凹凸の度合いを調整することが可能となる。

[３Ｄ表示の例]
図３４と図３５は、左目用画像４１Ｌ及び右目用画像４１Ｒを用いた３Ｄ表示の他の例について説明する図である。

図３４は、シャッタメガネ３２１を用いた３Ｄ画像の表示の例について説明する図である。

図３４に示されるように、画像処理装置は、左目用画像４１Ｌ及び右目用画像４１Ｒを、時分割で交互に切り替えて表示する。

この状態で、ユーザが、シャッタメガネ３２１をかけて左目用画像４１Ｌ及び右目用画像４１Ｒを見たとする。このシャッタメガネ３２１は、左目用画像４１Ｌ及び右目用画像４１Ｒの表示タイミングに同期して時分割で交互に開放される左レンズ３３１Ｌと右レンズ３３１Ｒとを有している。すなわち、左目用画像４１Ｌが表示されるとき、左レンズ３３１Ｌが開放され、右レンズ３３１Ｒが閉じられる。その結果、左目用画像４１Ｌは左レンズ３３１Ｌを通して、ユーザの左目に映ることになる。一方、右目用画像４１Ｒが表示されるとき、右レンズ３３１Ｒが開放され、左レンズ３３１Ｌが閉じられる。その結果、右目用画像４１Ｒは右レンズ３３１Ｒを通して、ユーザの右目に映ることになる。上述したように、左目用画像４１Ｌ及び右目用画像４１Ｒの各々においては、各種オブジェクト（図３４の例では、山や湖等のオブジェクト）は、所定の視差ｄ分だけ離間して配置されている。従って、ユーザは、各種オブジェクトが３Ｄ表示されている、と視認することができる。

図３５は、指向性を持つ光を用いた３Ｄ画像の表示の例について説明する図である。

図３５に示されるように、表示部３５１は、指向性を持つ光を画素単位で出射することができる。そこで、図示せぬ画像処理装置は、表示部３５１から出射されてユーザの左目と右目との各々に届く光の方向を制御することによって、左目には左目用画像３６１Ｌだけを投影させ、右目には右目用画像３６１Ｒだけを投影させることができる。ここで、左目用画像３６１Ｌ及び右目用画像３６１Ｒの各々においては、左目用画像４１Ｌ及び右目用画像４１Ｒの各々と同様に、各種オブジェクト（図３５の例では、三角柱のオブジェクト３７１）は、所定の視差ｄ分だけ離間して配置されているとする。この場合、ユーザは、特別なメガネ等をかけずに裸眼のままで、各種オブジェクト（図３５の例では、三角柱のオブジェクト３７１）が３Ｄ表示されている、と視認することができる。

本発明は、デジタルカメラ、パーソナルコンピュータ、携帯電話機、タッチパネル付きフォトフレーム等、奥行き方向を操作する操作部を備えた装置であって、画像を表示可能な装置に適用することができる。

１１ パノラマ画像， ２１ 処理対象領域， ３１Ｌ 左目用領域， ３１Ｒ 右目用領域， ４１Ｌ 左目用画像， ４１Ｒ 右目用画像， ９１ 撮像装置， １１４ 電源ボタン， １１５ シャッタボタン， １１６ ズームボタン， １１７ モードダイヤル， １１８ 操作ボタン， １１９ タッチスクリーン， １２０ 液晶パネル， １２１ タッチパネル， １３５ 記録デバイス， １３６ CPU， １３７ 操作部， １６１ 記録処理部， １６２ 画像表示処理部， １６３ ３Ｄ画像生成処理部， １８１ 判定部， １８２ 撮影制御部， １８３ 記録指示部， １８４ 生成部， ２０１ 表示制御部， ２０２ 操作認識部, ２０３ 視差設定部， ２２１ データ取得部， ２２２ 設定部 ， ２２３ 抽出部， ２２４ 生成部， ２４１ 対応関係表， ２６１Ｌ 左目用背景画像， ２６１Ｒ 右目用背景画像， ２７１ 前景オブジェクト， ２９１ スライダー， ３０１ 調整ボタン

Claims (8)

1. ３Ｄ画像のための左目用画像及び右目用画像の間の視差を、２Ｄ画像の奥行き方向に対する所定の操作が割り当てられた操作部の操作に応じて設定する視差設定手段と、
   前記視差設定手段により設定された前記視差の分だけ離間した位置に対応するオブジェクトをそれぞれ配置させた前記左目用画像及び前記右目用画像のデータを生成する３Ｄ画像生成手段と
   を備える画像処理装置。
2. 前記操作部は、奥行き方向に対する所定の操作が割り当てられたハードウェアのボタン若しくはタッチパネルに表示されるソフトウェアのボタンである
   請求項１に記載の画像処理装置。
3. 前記視差の可変範囲は、前記操作部の可動範囲に対応付けられており、
   前記視差設定手段は、前記操作部の前記可動範囲内の可動位置に対応付けられた大きさの前記視差を設定する
   請求項２に記載の画像処理装置。
4. 被写体を撮影することによってパノラマ画像のデータを得る撮影手段
   をさらに備え、
   前記３Ｄ画像生成手段は、前記撮影手段により得られた前記パノラマ画像のデータを用いて、前記左目用画像及び前記右目用画像のデータを生成する
   請求項３に記載の画像処理装置。
5. １度の撮影指示により被写体に対して相対的に略水平方向に移動しながら一定の間隔毎に撮影することによって複数の画像のデータを得る撮影手段
   をさらに備え、
   前記３Ｄ画像生成手段は、前記撮影手段により得られた前記複数の画像のデータを用いて、前記左目用画像及び前記右目用画像のデータを生成する
   請求項３に記載の画像処理装置。
6. 前記視差設定手段は、
   前記左目用画像及び前記右目用画像の少なくとも一部の領域の上にそれぞれ合成される前景オブジェクトの間の視差を、前記左目用画像及び前記右目用画像の間の視差として設定し、
   前記３Ｄ画像生成手段は、
   前記前景オブジェクトが所定位置に配置された前景画像のデータと、左目用背景画像のデータとを合成することによって、前記左目用画像のデータを生成し、
   前記前景オブジェクトが前記所定位置から前記視差の分だけずれた位置に配置された前景画像のデータと、右目用背景画像のデータとを合成することによって、前記右目用画像のデータを生成する
   請求項１に記載の画像処理装置。
7. ３Ｄ画像のための左目用画像及び右目用画像の間の視差を、２Ｄ画像の奥行き方向に対する所定の操作が割り当てられた操作部の操作に応じて設定する視差設定ステップと、
   前記視差設定ステップの処理により設定された前記視差の分だけ離間した位置に対応するオブジェクトをそれぞれ配置させた前記左目用画像及び前記右目用画像のデータを生成する３Ｄ画像生成ステップと
   を備える画像処理方法。
8. ３Ｄ画像のための左目用画像及び右目用画像の間の視差を、２Ｄ画像の奥行き方向に対する所定の操作が割り当てられた操作部の操作に応じて設定し、
   設定された前記視差の分だけ離間した位置に対応するオブジェクトをそれぞれ配置させた前記左目用画像及び前記右目用画像のデータを生成する
   ステップを含む制御処理をコンピュータに実行させるプログラム。

Images