以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(表示制御:多視点画像の撮像動作の終了後に代表画像および進捗状況通知情報を表示させる例)
2.第2の実施の形態(表示制御:装置の姿勢の変化に応じて多視点画像の代表画像候補を順次レビュー表示させて代表画像を決定する例)
<1.第1の実施の形態>
[撮像装置の構成例]
図1は、本発明の第1の実施の形態における撮像装置100の内部構成例を示すブロック図である。撮像装置100は、撮像部110と、ジャイロセンサ115と、解像度変換部120と、画像圧縮伸張部130とを備える。また、撮像装置100は、ROM(Read Only Memory)140と、RAM(Random Access Memory)150と、CPU(Central Processing Unit)160とを備える。また、撮像装置100は、LCD(Liquid Crystal Display)コントローラ171と、LCD172と、入力制御部181と、操作部182と、リムーバブルメディアコントローラ191と、リムーバブルメディア192とを備える。なお、撮像装置100を構成する各部の間で行われるやりとりは、バス101を介して行われる。撮像装置100は、例えば、被写体を撮像して複数の画像データ(撮像画像)を生成し、これらの複数の画像データについて各種画像処理を行うことが可能なデジタルスチルカメラにより実現することができる。
撮像部110は、CPU160の制御に基づいて、被写体からの入射光を変換して画像データ(撮像画像)を生成するものであり、生成された画像データをRAM150に供給する。具体的には、撮像部110は、光学ユニット112(図7に示す)、撮像素子111(図7に示す)および信号処理部(図示せず)を備える。光学ユニットは、被写体からの光を集光する複数のレンズ(ズームレンズ、フォーカスレンズ等)から構成され、これらのレンズおよびアイリスを介して入射された被写体からの光が撮像素子に供給される。また、光学ユニットを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像処理を行い、撮像信号を信号処理部に出力する。そして、その撮像信号に対して信号処理部が信号処理を行うことにより画像データが生成され、この生成された画像データがRAM150に順次供給されて一時的に保持される。なお、撮像素子として、例えば、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等を用いることができる。
ジャイロセンサ115は、撮像装置100の角速度を検出するものであり、検出された角速度をCPU160に出力する。なお、ジャイロセンサ以外の他のセンサ(例えば、加速度センサ)を用いて、撮像装置100の加速度、動き、傾き等を検出し、この検出結果に基づいて、CPU160が撮像装置100の姿勢の変化を検出するようにしてもよい。
解像度変換部120は、CPU160からの制御信号に基づいて、入力された各種画像データを各画像処理に適した解像度に変換するものである。
画像圧縮伸張部130は、CPU160からの制御信号に基づいて、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。画像圧縮伸張部130は、例えば、入力された各種画像データをJPEG(Joint Photographic Experts Group)形式の画像データに圧縮または伸張する。
ROM140は、読み出し専用のメモリであり、各種制御プログラム等を記憶するものである。
RAM150は、CPU160のメインメモリ(主記憶装置)に用いられるメモリであり、CPU160において実行されるプログラムの作業領域等を備え、CPU160が各種の処理を行う上で必要なプログラムやデータが一時的に保持される。また、RAM150は、各種の画像処理のための画像保存領域を備える。
CPU160は、ROM140に記憶されている各種制御プログラムに基づいて、撮像装置100の各部を制御するものである。また、CPU160は、操作部182により受け付けられた操作入力等に基づいて撮像装置100の各部を制御する。
LCDコントローラ171は、CPU160からの制御信号に基づいて、各種画像データをLCD172に表示させるものである。
LCD172は、LCDコントローラ171から供給された各種画像データに対応する画像を表示する表示部である。LCD172は、例えば、撮像部110により生成された画像データに対応する撮像画像を順次表示する(いわゆる、モニタリング表示)。また、LCD172は、例えば、リムーバブルメディア192に記憶されている画像ファイルに対応する画像を表示する。なお、LCD172の代わりに、例えば、有機EL(Electro Luminescence)パネル等の表示パネルを用いるようにしてもよい。また、表示パネルとして、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
入力制御部181は、CPU160からの指示に基づいて、操作部182により受け付けられる操作入力に関する制御を行うものである。
操作部182は、ユーザにより操作された操作入力を受け付ける操作部であり、受け付けられた操作入力に応じた信号をCPU160に出力する。例えば、多視点画像を記録するための多視点画像撮影モードにおいて、多視点画像を生成するための撮像画像の撮像動作開始および撮像動作終了を指示するためのシャッターボタン183(図4(a)等に示す)等の操作部材が撮像装置100に備えられている。なお、本発明の第1の実施の形態において生成される多視点画像は、多視点の立体視画像(例えば、パノラマ状の立体視画像)であるものとする。また、操作部182およびLCD172については、タッチパネルにより一体で構成するようにしてもよい。
リムーバブルメディアコントローラ191は、リムーバブルメディア192と接続され、CPU160からの制御信号に基づいて、リムーバブルメディア192へのデータの読出しおよび書込みを行うものである。例えば、リムーバブルメディアコントローラ191は、撮像部110により生成された画像データ等の各種画像データを画像ファイル(画像コンテンツ)としてリムーバブルメディア192に記録させる。また、リムーバブルメディアコントローラ191は、リムーバブルメディア192から画像ファイル等のコンテンツを読み出してバス101を介してRAM150等に出力する。
リムーバブルメディア192は、リムーバブルメディアコントローラ191から供給された画像データを記録する記録デバイス(記録媒体)である。リムーバブルメディア192には、例えば、JPEG形式の画像データ等の各種データが記録される。リムーバブルメディア192として、例えば、テープ(例えば、磁気テープ)、光ディスク(例えば、記録可能なDVD(Digital Versatile Disc))を用いることができる。また、リムーバブルメディア192として、例えば、磁気ディスク(例えば、ハードディスク)、半導体メモリ(例えば、メモリカード)、光磁気ディスク(例えば、MD(MiniDisc))を用いるようにしてもよい。
[画像ファイルの構成例]
図2は、本発明の第1の実施の形態におけるリムーバブルメディア192に記憶されている画像ファイルを模式的に示す図である。図2では、複数の静止画を1つのファイル(拡張子:.MPO)として記録するMP(Multi Picture)フォーマットに準拠した静止画ファイルのファイル構造の一例を示す。すなわち、MPファイル(「CIPA DC−007−2009 マルチピクチャフォーマット」参照。)は、先頭画像に続いて、1または複数の画像を記録することができるファイルである。
図2(a)には、2視点画像(立体視画像を表示するための左眼用画像および右眼用画像)のファイル構造の一例を示し、図2(b)には、モニタ表示用画像(いわゆる、スクリーンネイル画像)が関連付けられている2視点画像のファイル構造の一例を示す。また、図2(c)には、多視点画像(3視点以上の多視点画像)のファイル構造の一例を示す。
図2(a)乃至(c)に示す各ファイル構造において、SOI(Start Of Image)は、画像の開始を意味するセグメントであり、JPEG画像またはモニタ表示用画像の先頭に配置される。また、EOI(End Of Image)は、画像の終了を意味するセグメントであり、JPEG画像またはモニタ表示用画像の最後に配置される。
また、SOIおよびEOIの間には、APP(Application Segment)1、APP2およびJPEG画像データが配置される。APP1およびAPP2は、JPEG画像データに対する付属情報を格納するアプリケーションマーカセグメントである。なお、圧縮画像データの前には、DQT、DHF、SOF、SOS(Start Of Scan)のマーカセグメントが挿入されるが、これらの図示は省略する。また、DQT(Define Quantization Table)、DHF(Define Huffman Table)、SOF(Start Of Frame)の記録順序は任意である。また、図2(b)に示すモニタ表示用画像304および305は、MPフォーマット付属情報を含むAPP2を記録することができない。ただし、主画像(元画像)のAPP2にモニタ表示用画像が従属している旨が記録される。なお、モニタ表示用画像は、主画像とアスペクト比が同一であり、例えば、横を1920画素とし、縦は本画像のアスペクト比に合わせるようにすることができる。
また、ファイル構造の最も上位にあるAPP2(301乃至303)は、ファイル構造を示す重要な役割を有し、各視点の画像位置(オフセットアドレス)、バイトサイズ、代表画像であるか否か等の情報が記録される。
ここで、「CIPA DC−007−2009 マルチピクチャフォーマット」の「6.2.2.2 立体視用画像」および「A.2.1.2.3 代表画像の選定」を参照して多視点画像の記録について簡単に説明する。「6.2.2.2 立体視用画像」には、次の(1)が記載され、「A.2.1.2.3 代表画像の選定」には、次の(2)が記載されている。
(1)立体視用画像では、視点番号は、被写体に向かって左にある視点から右にある視点へ、昇順になるように番号を付与しなければならない。
(2)立体視用画像を記録する場合、代表画像として使用する画像は、視点数偶数の場合は(視点数/2)または((視点数/2)+1)、視点数奇数の場合は(視点数/2+0.5)で表される視点番号の画像(全視点の中央近傍画像)を使用することを推奨する。
この規定に従った場合には、左視点画像ほどファイル上の上位アドレスにパッキングされるため、通常は、合成処理やエンコード等の順序を左視点画像ほど先に行うことになる。この場合に、例えば、中央画像である代表画像をレビュー表示する場合には、中央画像の合成処理等が終了するまで、代表画像のレビュー表示を行うことができない。そこで、本発明の第1の実施の形態では、撮像動作が終了した後には、代表画像を迅速に表示させる例を示す。ただし、ユーザの好み等に応じて、代表画像の表示タイミングを適宜変更することができる。なお、レビュー表示は、静止画の撮影モードが設定されている状態で静止画の記録指示操作が行われた場合に、この記録指示操作による撮像画像の撮像処理が終了した後に、一定期間、その撮像処理により生成された撮像画像を自動的に表示させる表示動作である。
[記録対象画像の選択例]
図3は、本発明の第1の実施の形態における撮像装置100による多視点画像の撮影モードを設定する設定画面の表示例を示す図である。これらの各設定画面は、例えば、操作部182からのユーザ操作に応じてLCD172に表示される。
図3(a)には、撮影モードとして、2視点画像撮影モードおよび多視点画像撮影モードの何れかを設定するための設定画面350の表示例を示す。設定画面350には、2視点画像撮影モード選択ボタン351と、多視点画像撮影モード選択ボタン352と、決定ボタン353と、戻るボタン354とが設けられている。
2視点画像撮影モード選択ボタン351は、多視点画像の撮影モードとして、2視点画像撮影モードを設定する際に押下されるボタンである。2視点画像撮影モードは、2視点画像を撮影するための撮影モードである。また、2視点画像撮影モード選択ボタン351の押下操作に応じて2視点画像撮影モードが設定された場合には、撮像部110により生成された画像が、図2(a)または(b)に示す2視点画像の画像ファイルとして記録される。
多視点画像撮影モード選択ボタン352は、多視点画像の撮影モードとして、多視点画像撮影モードを設定する際に押下されるボタンである。この多視点画像撮影モードは、3視点以上の多視点画像を撮影するための撮影モードであり、記録対象となる視点数を予め設定しておくようにしてもよく、記録対象となる視点数をユーザ操作により変更可能とするようにしてもよい。この変更例については、図3(b)に示す。また、多視点画像撮影モード選択ボタン352の押下操作に応じて多視点画像撮影モードが設定された場合には、撮像部110により生成された画像が、図2(c)に示す多視点画像の画像ファイルとして記録される。
決定ボタン353は、2視点画像撮影モードまたは多視点画像撮影モードを選択する押下操作がされた後に、その選択を決定する際に押下されるボタンである。戻るボタン354は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
図3(b)には、多視点画像撮影モードが設定された場合に、その記録対象となる視点数をユーザ操作により設定するための設定画面360の表示例を示す。図3(b)に示す設定画面360には、視点数軸361と、マイナス表示領域362と、プラス表示領域363と、指定位置マーカ364と、決定ボタン365と、戻るボタン366とが設けられている。
視点数軸361は、ユーザ操作により指定対象となる視点数を表す軸であり、視点数軸361上における各目盛が視点の値に対応する。例えば、視点数軸361上における各目盛のうち、マイナス表示領域362に最も近い目盛が3視点に対応する。また、視点数軸361上における各目盛のうち、プラス表示領域363に最も近い目盛が、最大の視点(例えば、15視点)に対応する。
指定位置マーカ364は、ユーザ操作により指定された視点数を指し示すためのマーカである。例えば、カーソル367を用いた操作やタッチ操作(タッチパネルを備える場合)により、ユーザが所望する視点数軸361上における位置に指定位置マーカ364を移動させて、記録対象となる視点数を指定することができる。
決定ボタン365は、ユーザが所望する視点数軸361上における位置に指定位置マーカ364が移動された後に、その指定を決定する際に押下されるボタンである。戻るボタン366は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
[多視点画像の撮像動作例およびこの進捗状況の通知例]
図4は、本発明の第1の実施の形態における撮像装置100を用いて多視点画像を生成する際における撮像動作例と、この撮像動作の進捗状況の通知例とを模式的に示す図である。
図4(a)には、撮像装置100を用いて多視点画像を生成する際における撮像動作を上面から見た場合を模式的に示す。すなわち、図4(a)では、撮像装置100の撮像位置を基準として、水平方向(矢印370の方向)に撮像装置100を移動させる操作(いわゆる、パンニング操作(スイング操作))をユーザが行うことにより多視点画像を生成する例を示す。この場合における撮像装置100の画角(水平方向の画角)をαとし、一連のパンニング操作により撮像対象となる範囲(撮像範囲)を太い点線371で模式的に示す。
図4(b)には、多視点画像撮影モード(3視点以上)が設定されている場合にLCD172に表示される進捗状況通知画面380の表示例を示す。進捗状況通知画面380には、多視点画像の撮像動作の進捗状況を通知するためのプログレスバー381と、操作支援情報382および383とが設けられている。
プログレスバー381は、多視点画像撮影モードが設定されている場合におけるユーザ操作(撮像装置100のパンニング操作)の進捗状況をユーザに通知するための棒状グラフである。具体的には、プログレスバー381は、多視点画像撮影モードにおいて必要となる全体の操作量(例えば、パンニング操作の回転角度)に対する現在の操作量(グレー部分384)がどの程度の割合で進行したかを表す。なお、プログレスバー381については、時間軸において隣接する撮像画像間における移動量および移動方向の検出結果に基づいて、CPU160が現在の操作量を算出し、この現在の操作量に基づいてその表示状態を変更する。その移動量および移動方向として、例えば、撮像装置100の移動に伴って発生する撮像画像全体の動きに対応する動きベクトル(GMV(Global Motion Vector)が検出される。なお、ジャイロセンサ115により検出された角速度に基づいて、CPU160が現在の操作量を算出するようにしてもよい。また、その移動量および移動方向の検出結果と、ジャイロセンサ115により検出された角速度とを用いて、CPU160が現在の操作量を算出するようにしてもよい。このように、多視点画像の撮影中にプログレスバー381を表示することにより、あとどの程度パンニング操作を行えばよいかをユーザが容易に把握することができる。
操作支援情報382および383は、多視点画像撮影モードが設定されている場合におけるユーザ操作(撮像装置100のパンニング操作)を支援するための情報である。操作支援情報382として、例えば、そのユーザ操作を支援するためのメッセージが表示される。また、操作支援情報383として、例えば、そのユーザ操作を支援するための矢印(その操作方向を表す矢印)が表示される。
[多視点画像の撮像動作例およびこれにより生成された撮像画像の記録例]
図5は、本発明の第1の実施の形態における撮像装置100による多視点画像の生成時における撮像動作例と、これにより生成された複数の撮像画像の流れの一例とを模式的に示す図である。
図5(a)には、撮像装置100を用いて多視点画像を生成する際における撮像動作を上面から見た場合を模式的に示す。なお、図5(a)は、矩形372乃至374を追加して点以外は、図4(a)に示す例と同様である。すなわち、図5(a)では、図5(b)に示す撮像画像(画像(#1)401、(#i)404、(#M)405)を円上(点線371上)に仮想的に配置して、その撮像範囲を上面から見た場合における位置関係を矩形372乃至374により模式的に示す。なお、矩形372乃至374内には、対応する符号(#1、#i、#M)を付す。また、このように生成される複数の撮像画像は、水平方向において少なくとも一部の領域に同一の被写体が含まれるように撮像動作が行われて生成された撮像画像であるものとする。
図5(b)には、図5(a)に示すパンニング操作により生成された撮像画像(画像(#1)401乃至(#M)405)がRAM150に保持されている状態を模式的に示す。すなわち、図5(a)に示すように、ユーザによる撮像装置100のパンニング操作中に、撮像部110が画像(#1)401乃至(#M)405を順次生成する。ここで、画像(#1)401乃至(#M)405は、水平方向にオフセットを有する複数の撮像画像であり、例えば、その上限数を70枚〜100枚程度とすることができる。なお、画像(#1)401乃至(#M)405については、時系列に番号が付与されているものとする。このように、撮像装置100において多視点画像の記録指示操作が行われた場合には、その撮像動作中に生成された複数の撮像画像がRAM150に順次記録される。なお、多視点画像の記録指示操作は、例えば、多視点画像記録モードが設定されている状態で、シャッターボタン183を押下する状態を維持することにより行うことができる。
[多視点画像の生成例]
図6乃至図8は、本発明の第1の実施の形態における撮像装置100により多視点画像を生成する際における生成方法を模式的に示す図である。この例では、多視点画像として15視点から構成される画像を生成する例を示す。
図6(a)には、撮像部110により生成された画像(#i)404を矩形により模式的に示す。また、図6(a)では、画像(#i)404において、多視点画像を生成する際に用いられる画像の取出領域(合成対象となる視点毎の画像領域)を、対応する多視点画像の視点番号(視点1乃至15)により示す。ここで、画像(#i)404における水平方向の長さをW1とし、中央画像(視点8の多視点画像)の合成に用いられる取出領域(短冊領域)における水平方向の長さをwとする。この場合に、中央画像の取出領域は、画像(#i)404における水平方向の中央に決定される(すなわち、W1=W2×2)。また、画像(#i)404における各視点の取出領域における水平方向の長さは、同一(すなわち、w)であるものとする。ここで、各視点の取出領域における水平方向の長さwについては、撮像部110により生成された画像(#1)401乃至(#M)405のそれぞれの画像間における移動量に大きく依存する。そこで、各視点の取出領域における水平方向の長さwの算出方法および画像(#1)401乃至(#M)405における各視点の取出領域の位置については、図7および図8を参照して詳細に説明する。
図6(b)には、RAM150に保持されている画像(#1)401乃至(#M)405を用いて多視点画像を生成する生成方法を模式的に示す。図6(b)では、RAM150に保持されている画像(#1)401乃至(#M)405を用いて、視点j画像411を生成する例を示す。なお、図6(b)では、RAM150に保持されている画像(#1)401乃至(#M)405のうち、視点j画像の合成対象となる画像領域をグレーにして示す。このように、RAM150に保持されている画像(#1)401乃至(#M)405のそれぞれについて、少なくとも一部の画像領域を用いて、多視点画像が生成される。
次に、RAM150に保持されている画像(#1)401乃至(#M)405における取出領域を設定する設定方法について説明する。
図7は、本発明の第1の実施の形態における撮像素子111と焦点距離と画角との関係を概略的に示す図である。なお、撮像素子111および光学ユニット112は、撮像部110に備えられている。ここで、撮像素子111の幅を撮像素子の幅IE1[mm]とする。この場合に、撮像素子の幅IE1は、次の式1により求めることができる。
IE1=p×h … 式1
なお、p[um]は、撮像素子111の画素ピッチを示す値であり、h[pixel]は、撮像素子111の水平画素数を示す値である。
また、図7に示す例における撮像装置100の画角をα[deg]とする。この場合に、画角αは、次の式2により求めることができる。
α=(180/π)×2×tan−1((p×h×10−3)/(2×f)) … 式2
なお、f[mm]は、撮像装置100における焦点距離を示す値である。
このように算出された画角αを用いることにより、撮像素子111を構成する一画素辺りの画角(画素密度)μ[deg/pixel]について、次の式3により求めることができる。
μ=α/h … 式3
ここで、撮像装置100において多視点画像撮影モードが設定されている場合に、この多視点画像撮影モードにおける画像の連写スピード(すなわち、1秒あたりのフレーム数)をs[fps]とする。この場合に、1つの撮像画像における1視点の取出領域(最大取出領域)の水平方向の長さ(取出領域の幅)w[pixel]は、次の式4により求めることができる。
w=(d/s)×(1×μ) … 式4
なお、d[deg/sec]は、撮像装置100を操作するユーザの振り角速度を示す値である。このように、撮像装置100を操作するユーザの振り角速度dを用いることにより、取出領域の幅(最大取出領域の幅)wを求めることができる。
図8には、RAM150に保持されている撮像画像(画像(#i)404)における多視点画像の合成対象となる取出領域のずらし量の算出方法を示す。図8(a)には、中央画像(視点8の多視点画像)の取出領域を示し、図8(b)には、最左視点画像(視点1の多視点画像)の取出領域を示し、図8(c)には、最右視点画像(視点15の多視点画像)の取出領域を示す。
上述したように、多視点画像の合成処理が行われる場合には、撮像部110により生成されてRAM150に保持されている各撮像画像(画像(#1)401乃至(#M)405)のそれぞれから、多視点画像の合成対象となる画像(短冊画像)が取り出される。すなわち、RAM150に保持されている1つの撮像画像における取出領域(短冊領域)の位置をずらしながら、合成対象となる画像(短冊画像)が順次取り出される。この場合に、取り出された画像について、各画像間における相関性に基づいて、各画像を重ねて合成させる。具体的には、時間軸において隣接する2つの撮像画像間の移動量および移動方向(すなわち、隣接する撮像画像間の相対変位)が検出される。そして、検出された移動量および移動方向(隣接する画像間の移動量および移動方向)に基づいて、取り出された各画像が、互いの重複領域が互いに重なり合うように合成され、多視点画像が生成される。
ここで、RAM150に保持されている1つの撮像画像における取出領域(短冊領域)のサイズおよび位置と、視点jのずらし量との算出方法について説明する。
撮像部110による撮像処理およびRAM150への記録処理が終了した後に、RAM150に保持されている複数の撮像画像のそれぞれにおいて、どの領域を取出領域とするかが算出される。具体的には、式4に示すように、取出領域の幅が算出され、中央画像(視点8の多視点画像)の合成に用いられる取出領域における水平方向の位置を、RAM150に保持されている各撮像画像における中央の位置とする。
ここで、中央画像(視点8の多視点画像)以外の他の多視点画像の合成に用いられる取出領域における水平方向の位置は、中央画像(視点8の多視点画像)の合成に用いられる取出領域における水平方向の位置を基準にして算出される。具体的には、中心視点(視点8)と視点jとの視点番号の差分に応じて、最初の位置(中央の位置)からずらした位置が算出される。すなわち、視点jのずらし量MQjは、次の式5により求めることができる。
MQj=(CV−OVj)×β … 式5
なお、CVは、多視点画像のうちの中心視点を示す値であり、OVjは、多視点画像のうちの中心視点以外の他の視点(視点j)を示す値である。また、βは、1視点あたり取出領域の位置のズラシ量(短冊位置ズラシ量)を示す値である。なお、取出領域のサイズ(短冊サイズ)は変更しない。
ここで、短冊位置ズラシ量βの算出方法について説明する。短冊位置ズラシ量βは、次の式6により求めることができる。
β=(W1−w×2)/VN … 式6
なお、W1は、RAM150に保持されている撮像画像の1枚あたり水平サイズを示す値であり、wは、取出領域の幅(最大取出領域の幅)を示す値であり、VNは、多視点画像の視点数を示す値である。すなわち、図8(a)に示すW3(=W1−w×2)を視点数(15)で除算した値が、短冊位置ズラシ量βとして算出される。
このように、短冊位置ズラシ量βは、最左視点画像または最右視点画像の合成処理の際に取り出される画像(短冊画像)が、RAM150に保持されている撮像画像のうち、少なくとも左端および右端の位置に配置されるように算出される。
なお、パノラマ状の平面画像(2次元画像)の合成処理を行う場合には、取出領域の幅(最大取出領域の幅)wに対応する中央の短冊画像(視点8に相当する画像)を順次取り出して合成する。また、2視点画像の合成処理を行う場合には、中央の短冊画像からのずらし量(オフセット量)OFが左視点および右視点で同一となるように2つの取出領域が設定される。この場合に、撮像装置100を操作するユーザの振り角速度dにおいて許容できるオフセット量(最小短冊オフセット量)OFmin[pixel]は、次の式7により求めることができる。
OFmin=w/2 … 式7
なお、最小短冊オフセット量OFminは、左眼用短冊画像および右眼用短冊画像の重なりが発生しない(オーバーラップしない)最小の許容短冊オフセット量である。
また、2視点画像の合成処理に用いられる取出領域がRAM150に保持されている撮像画像の画像領域の外にはみ出ない設定とするための最大の許容短冊オフセット量(最大短冊オフセット量)OFmaxは、次の式8により求めることができる。
OFmax=(t−OFmin)/2 … 式8
ここで、t[pixel]は、撮像部110により生成される画像一枚の水平有効サイズである。この水平有効サイズtは、RAM150に保持される撮像画像の横幅である水平画素数に対応する。
[多視点画像の記録処理例]
図9は、本発明の第1の実施の形態における撮像装置100により生成された多視点画像がリムーバブルメディア192に記録されるまでの流れを模式的に示す図である。図9では、RAM150に保持されている画像(#1)401乃至(#M)405を用いて生成された視点j画像411をMPファイル430(拡張子:.MPO)として記録する場合におけるRAM150上におけるデータの流れの一例を示す。なお、図9に示す画像(#1)401乃至(#M)405は、図6(a)と同様である。
上述したように、撮像部110により生成された画像(#1)401乃至(#M)405がRAM150に順次記録される。続いて、RAM150に保持されている画像(#1)401乃至(#M)405のそれぞれについて、CPU160が、視点jの取出領域を算出して、取出領域に含まれる画像を取得する。続いて、画像(#1)401乃至(#M)405のそれぞれの取出領域から取得された画像を用いて、CPU160が、視点jの合成画像(視点j画像411)を生成する。なお、この例では、CPU160が、多視点画像の合成画像を生成する例を示すが、画像合成用のハードウエアやソフトウエア(アクセレータ)を別途設け、これらにより多視点画像の合成画像を生成するようにしてもよい。
続いて、解像度変換部120が、視点j画像411について解像度変換を行い、視点jの最終画像(視点j画像420)とする。続いて、画像圧縮伸張部130が、視点j画像420をJPEG形式の画像データに圧縮する。続いて、CPU160が、JPEG化された視点j画像420をMPファイル430にパッキング処理(ヘッダ付加等のパッキング処理)する。また、他の多視点画像の生成についても同様に行われる。そして、全ての多視点画像の合成処理が終了すると、リムーバブルメディアコントローラ191が、CPU160の制御に基づいて、MPファイル430をリムーバブルメディア192に記録させる。
なお、図9では、MPファイル430のうち、視点jの多視点画像の記録までが終了している状態を模式的に示す。すなわち、MPファイル430において、記録が終了している多視点画像の領域を実線で示し、記録が終了していない多視点画像の領域を点線で示す。
[多視点画像の代表画像の表示処理例]
図10は、本発明の第1の実施の形態における撮像装置100により生成される多視点画像のうちの代表画像が表示されるまでの流れを模式的に示す図である。図10では、RAM150に保持されている画像(#1)401乃至(#M)405を用いて生成された視点8画像を代表画像としてLCD172に表示させる場合におけるRAM150上におけるデータの流れの一例を示す。なお、図10に示す画像(#1)401乃至(#M)405は、図6(a)と同様である。
なお、視点8の合成画像(代表画像441)および視点8の最終画像(代表画像442)の生成については、図9に示す例と同様であるため、ここでの説明を省略する。
代表画像442が生成された後に、解像度変換部120が、表示に最適な画サイズとなるように、代表画像442について解像度変換を行い、視点8の表示画像(代表画像443)とする。続いて、LCDコントローラ171が、CPU160の制御に基づいて、代表画像443をLCD172に表示させる。すなわち、代表画像443がレビュー表示される。なお、このようにレビュー表示が行われた後でも、生成された代表画像442については、図9に示すMPファイル430にパッキング処理されるまで、RAM150に保持させておく。これにより、代表画像442について再度合成処理を行う必要がなく、合成処理時間のオーバーヘッドを削減することができる。
このように、撮像部110により生成された複数の画像を用いて多視点画像が生成される。また、この生成される多視点画像のうちの代表画像が、最初にLCD172に表示される。
[撮像装置の機能構成例]
図11は、本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。撮像装置100は、操作受付部210と、姿勢検出部220と、制御部230と、撮像部240と、撮像画像保持部250と、移動量検出部260と、合成部270と、表示制御部280と、表示部285と、記録制御部290と、コンテンツ記憶部300とを備える。
操作受付部210は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた操作信号を制御部230に供給する。操作受付部210は、例えば、図1に示す入力制御部181および操作部182に対応する。
姿勢検出部220は、撮像装置100の加速度、動き、傾き等を検出することにより撮像装置100の姿勢の変化を検出するものであり、検出された姿勢の変化に関する姿勢変化情報を制御部230に出力する。なお、姿勢検出部220は、図1に示すジャイロセンサ115に対応する。また、姿勢検出部220は、特許請求の範囲に記載の検出部の一例である。
制御部230は、操作受付部210からの操作内容に基づいて、撮像装置100の各部を制御するものである。例えば、制御部230は、操作受付部210により撮影モードの設定操作が受け付けられた場合には、その設定操作に応じた撮影モードを設定する。また、例えば、制御部230は、姿勢検出部220から出力された姿勢変化情報に基づいて、撮像装置100の姿勢の変化量(移動方向、移動量等)を解析してその解析結果を合成部270および表示制御部280に出力する。また、例えば、制御部230は、撮像部240による複数の撮像画像の生成処理が終了した後に、合成部270による生成対象となる複数の多視点画像のうち所定順序(例えば、中央の視点)となる多視点画像を代表画像として表示部285に表示させる制御を行う。このように、代表画像を表示させた後には、制御部230は、例えば、所定規則(例えば、各視点)に従って、生成された多視点画像の少なくとも一部を表示部285に順次表示させる制御を行う。また、例えば、制御部230は、撮像部240による複数の撮像画像の生成処理が終了した後には、合成部270による多視点画像の生成の進捗に関する情報(例えば、図19乃至図21に示すプログレスバー521)を表示部285に表示させる制御を行う。この場合に、制御部230は、例えば、撮像部240による複数の撮像画像の生成処理が終了した直後に、その進捗情報を表示部285に表示させる制御を行う。なお、制御部230は、図1に示すCPU160に対応する。
撮像部240は、制御部230の制御に基づいて、被写体を撮像して撮像画像を生成するものであり、生成された撮像画像を撮像画像保持部250に供給する。また、撮像部240は、2視点画像撮影モードまたは多視点画像撮影モードが設定されている場合には、被写体を撮像して時系列で連続する複数の撮像画像を生成し、生成された撮像画像を撮像画像保持部250に供給する。なお、撮像部240は、図1に示す撮像部110に対応する。
撮像画像保持部250は、撮像部240により生成された撮像画像を保持する画像メモリであり、保持されている撮像画像を合成部270に供給する。なお、撮像画像保持部250は、図1に示すRAM150に対応する。
移動量検出部260は、撮像画像保持部250に保持されている撮像画像について、時間軸において隣接する撮像画像間における移動量および移動方向を検出するものであり、検出された移動量および移動方向を合成部270に出力する。例えば、移動量検出部260は、隣接する2つの撮像画像を構成する画素間のマッチング処理(すなわち、同一被写体の撮影領域を判別するマッチング処理)を行い、各撮像画像間において移動された画素数を算出する。このマッチング処理では、基本的には被写体は静止していると仮定した処理を行う。なお、被写体に動体が含まれる場合には、撮像画像全体の動きベクトルと異なる動きベクトルが検出されるが、これらの動体に対応する動きベクトルは検出対象外として処理を行う。すなわち、撮像装置100の移動に伴って発生する撮像画像全体の動きに対応する動きベクトル(GMV:グローバルモーションベクトル)のみを検出する。なお、移動量検出部260は、図1に示すCPU160に対応する。
合成部270は、制御部230の制御に基づいて、撮像画像保持部250に保持されている複数の撮像画像を用いて、多視点画像を生成するものであり、生成された多視点画像を表示制御部280および記録制御部290に供給する。すなわち、合成部270は、制御部230から出力された解析結果(撮像装置100の姿勢の変化量の解析結果)に基づいて、撮像画像保持部250に保持されている複数の撮像画像のそれぞれにおける取出領域を算出する。そして、合成部270は、複数の撮像画像のそれぞれにおける取出領域から画像(短冊画像)を取り出し、この取り出された画像を合成して多視点画像を生成する。この場合に、合成部270は、移動量検出部260から出力された移動量および移動方向に基づいて、その取り出された画像を重ねて合成して多視点画像を生成する。このように生成された多視点画像は、所定規則に基づく順序関係(各視点)を有する複数の合成画像である。また、例えば、合成部270は、撮像部240による複数の撮像画像の生成処理が終了した直後には、代表画像を最初に生成する。なお、ユーザ操作または設定内容により、最初に生成される画像について変更するようにしてもよい。なお、合成部270は、図1に示す解像度変換部120、RAM150およびCPU160に対応する。
表示制御部280は、制御部230の制御に基づいて、合成部270により生成された多視点画像を表示部285に表示させるものである。例えば、表示制御部280は、撮像部240による複数の撮像画像の生成処理が終了した後に、合成部270による生成対象となる複数の多視点画像のうち所定順序(例えば、中央の視点)となる多視点画像を代表画像として表示部285に表示させる。このように、代表画像を表示させた後には、表示制御部280は、例えば、所定規則(例えば、各視点)に従って、生成された多視点画像の少なくとも一部を表示部285に順次表示させる。また、例えば、表示制御部280は、撮像部240による複数の撮像画像の生成処理が終了した後には、合成部270による多視点画像の生成の進捗に関する情報(例えば、図19乃至図21に示すプログレスバー521)を表示部285に表示させる。これらの表示例については、図12乃至図21を参照して詳細に説明する。なお、表示制御部280は、図1に示す解像度変換部120およびLCDコントローラ171に対応する。
表示部285は、表示制御部280から供給された画像を表示する表示部である。また、表示部285には各種メニュー画面や各種画像が表示される。なお、表示部285は、図1に示すLCD172に対応する。
記録制御部290は、制御部230の制御に基づいて、合成部270により生成された多視点画像をコンテンツ記憶部300に記録させる制御を行うものである。すなわち、記録制御部290は、多視点画像の代表画像を示す代表画像情報と、多視点画像の順序関係(例えば、視点番号)とを、生成された多視点画像に関連付けて、その多視点画像をMPファイルとして記録媒体に記録させる。なお、記録制御部290は、図1に示す画像圧縮伸張部130およびリムーバブルメディアコントローラ191に対応する。
コンテンツ記憶部300は、合成部270により生成された多視点画像を画像ファイル(画像コンテンツ)として記憶するものである。なお、コンテンツ記憶部300は、図1に示すリムーバブルメディア192に対応する。
[代表画像の表示例]
図12は、本発明の第1の実施の形態における表示部285に表示される代表画像の表示例を示す図である。図12では、7視点の多視点画像を生成し、これらの各画像を関連付けてコンテンツ記憶部300に記録する例を示す。また、図12では、これらの7視点の多視点画像について、被写体に向かって左にある視点(視点1)から右にある視点(視点7)へ、昇順となるように視点番号を付して、画像を表す矩形内に視点番号を示す。また、図12では、7視点の多視点画像のうち、中央画像(視点4の多視点画像)を代表画像とする例を示す。なお、代表画像として、例えば、中央画像に隣接または近接する画像を用いるようにしてもよい。
図12(a)には、コンテンツ記憶部300への記録対象となる多視点画像の一例を示す。なお、図12(a)では、視点番号の順序で各画像を並べて示す。
図12(b)には、図12(a)に示す視点1乃至7の多視点画像を生成するための撮像動作が終了した後に、合成処理により生成される視点1乃至7の多視点画像を、その生成順序に並べて示す。すなわち、表示部285に最初に表示される代表画像(視点4の多視点画像)が、最初の合成処理の対象となる。この代表画像(視点4の多視点画像)の合成処理が終了した後には、他の多視点画像について合成処理が行われる。例えば、視点番号の順序(視点1〜3、5〜7の順序)で合成処理が行われる。
図12(c)には、図12(b)に示す合成処理中に、表示部285に最初に表示される画像として代表画像が表示される例を示す。このように、代表画像を最初に表示することにより、その多視点画像の代表画像を迅速に容易に確認することができる。
以上では、3視点以上の多視点画像を記録する場合に、代表画像のみをレビュー表示する例を示した。ただし、ユーザの好みに応じて代表画像以外の他の多視点画像を順次表示するようにしてもよい。そこで、以下では、代表画像以外の他の多視点画像を順次レビュー表示する例を示す。
図13乃至図16は、本発明の第1の実施の形態における表示部285に表示される多視点画像の表示遷移例を示す図である。図13乃至図16では、図12に示す例と同様に、7視点の多視点画像を関連付けてコンテンツ記憶部300に記録する場合に、中央画像(視点4の多視点画像)を代表画像とする例を示す。また、図13乃至図16では、図12に示す例と同様に、7視点の多視点画像について、被写体に向かって左にある視点(視点1)から右にある視点(視点7)へ、昇順となるように視点番号を付して、画像を表す矩形内に視点番号を示す。
図13乃至図16の各図(a)には、コンテンツ記憶部300への記録対象となる多視点画像の一例を示す。なお、これらの各図(a)は、図12(a)に示す例と同様である。
図13(b)および図14(b)には、図12(a)に示す視点1乃至7の多視点画像を生成するための撮像動作が終了した後に、合成処理により生成される視点1乃至7の多視点画像を、その生成順序に並べて示す。なお、図13(b)および図14(b)は、図12(b)に示す例と同様である。
図13(c)には、図13(b)に示す合成処理中に、表示部285に表示される多視点画像の表示遷移例を示す。すなわち、図13(c)では、多視点画像を生成するための撮像動作が終了した後に合成処理により生成された多視点画像を、その生成順序に応じて順次レビュー表示する例を示す。
図14(c)には、図14(b)に示す合成処理中に、表示部285に表示される多視点画像の表示遷移例を示す。すなわち、図14(c)では、多視点画像を生成するための撮像動作が終了した後に合成処理により生成された多視点画像を、代表画像から視点番号の降順に順次レビュー表示させ、この表示後に、視点番号の昇順に順次レビュー表示させる例を示す。
このように、代表画像を最初にレビュー表示させ、この代表画像の表示後には、合成処理により生成された多視点画像を、所定規則に従って順次レビュー表示させることができる。これにより、最初に、多視点画像の代表画像を迅速に確認することができ、この確認後には、他の多視点画像を容易に確認することができる。
ここで、例えば、多視点画像を再生する場合には、所望の多視点画像を選択するための選択画面において、多視点画像の代表画像が一覧表示されることが多い。そこで、撮像部240による撮像処理が終了した直後には、多視点画像の代表画像をレビュー表示させる。例えば、撮像部240による撮像処理が終了した直後に最初にその代表画像がレビュー表示される。このため、再生時に一覧表示される代表画像と同一の画像をレビュー表示時において容易に確認することができる。これにより、再生時における違和感を軽減させることができる。
また、撮像部240による撮像処理が終了した直後に、多視点画像の代表画像を最初に合成してレビュー表示させることにより、左視点画像から代表画像を合成するまでの時間を、ユーザが待つ必要がない。このため、ユーザが、記録対象となる多視点画像を確認するタイミングを早くすることができる。これにより、例えば、記録対象となる多視点画像の確認後に、撮影のキャンセルタイミングが遅れる等の不都合を解消することができる。なお、ユーザの好みに応じて、多視点画像の表示順序を変更するようにしてもよい。以下では、これらの表示遷移例を示す。
図15(b)および図16(b)には、図12(a)に示す視点1乃至7の多視点画像を生成するための撮像動作が終了した後に、合成処理により生成される視点1乃至7の多視点画像を、その生成順序に並べて示す。この例では、被写体に向かって左にある視点(視点1)から右にある視点(視点7)へ昇順となるように、多視点画像の合成処理を行う例を示す。
図15(c)には、図15(b)に示す合成処理中に、表示部285に表示される多視点画像の表示遷移例を示す。すなわち、図15(c)では、多視点画像を生成するための撮像動作が終了した後に合成処理により生成された多視点画像を、その生成順序に応じて順次レビュー表示する例を示す。
図16(c)には、図16(b)に示す合成処理中に、表示部285に表示される多視点画像の表示遷移例を示す。すなわち、図16(c)では、図15(c)に示す例と同様に、視点番号の昇順に多視点画像を順次レビュー表示させた後に、さらに、視点番号の昇順に多視点画像を順次レビュー表示させる例を示す。すなわち、図16(c)に示す例では、生成された多視点画像のコンテンツ記憶部300への記録処理が終了するまでの間、視点番号の昇順に多視点画像を順次レビュー表示させる表示動作を繰り返し行う。なお、図15および図16に示す例では、視点番号の昇順に多視点画像を順次レビュー表示させる例を示したが、視点番号の降順に多視点画像を順次レビュー表示させるようにしてもよい。
このように、視点番号の昇順となるように多視点画像の合成処理を行い、この合成処理により生成された多視点画像を順次レビュー表示させることができる。これにより、多視点画像の視点番号の昇順または降順に、多視点画像の代表画像とともに、他の多視点画像を容易に確認することができる。このように、視点番号の昇順または降順にレビュー表示を行うことにより、多視点画像の再生順序に応じて多視点画像の確認を容易に行うことができる。
なお、図15および図16では、視点番号の昇順または降順にレビュー表示を行う例を示したが、多視点画像の合成処理が終了した時点では、代表画像をレビュー表示させることが好ましい。すなわち、最後にレビュー表示される画像を代表画像とすることが好ましい。
[多視点画像の合成処理の進捗状況通知例]
図17は、本発明の第1の実施の形態における表示部285に表示される多視点画像の合成処理の進捗状況通知情報を模式的に示す図である。図17では、多視点画像の合成処理の進捗状況通知情報(進捗情報)として、プログレスバーを表示する例を示す。このプログレスバーは、多視点画像の合成処理がどの程度の割合で進行したかを棒状のグラフにより表すものである。また、図17に示す例では、多視点画像として7視点画像を生成する例を示す。
図17(a)には、プログレスバー500を表示する際における表示方法を模式的に示す。例えば、多視点画像の合成処理が行われている間、表示部285には、プログレスバー500が設けられている進捗状況通知画面(例えば、図19に示す進捗状況通知画面520)が表示される。プログレスバー500は、水平方向の長さがL1であるものとする。
ここで、多視点画像として7視点画像を生成する場合には、表示制御部280が、プログレスバー500における水平方向の長さを7で除算した値を算出し、この算出された値によりプログレスバー500における7つの矩形領域を設定する。すなわち、プログレスバー500における水平方向の長さを7で除算した値として、長さL11(=L12乃至L17)が算出され、長さL11乃至L17に対応する7つの矩形領域が設定される。この矩形領域は、1つの多視点画像の合成処理が終了した際に表示状態を順次変更するための単位となる領域である。
図17(b)には、多視点画像の合成処理の遷移を示す。図17(b)では、縦軸を時間軸とし、合成処理が終了した多視点画像を時間軸に沿って並べて模式的に示す。また、図17(c)には、図17(b)に示す合成処理に応じて変更されるプログレスバー500の表示遷移を示す。また、図17(b)および(c)に示す例では、図17(b)に示す多視点画像の合成処理の遷移と、図17(c)に示す合成処理に応じて変更されるプログレスバー500の表示遷移とについて、対応する関係を左右に並べて示す。
例えば、多視点画像の撮像動作が終了した直後には、進捗状況通知画面(例えば、図19に示す進捗状況通知画面520)が表示部285に表示される。この進捗状況通知画面が表示された直後には、プログレスバー500が単一色(例えば、白色)として表示される。続いて、多視点画像の合成処理が開始されて、1つの多視点画像の合成処理が終了した場合には、図17(c)に示すように、表示制御部280が、左端の矩形領域(長さL11に対応する矩形領域)の表示状態を変更する(例えば、グレー色に変更する)。
また、図17(c)に示すように、多視点画像の合成処理が終了する毎に、表示制御部280が、合成処理が終了した多視点画像の数だけ、左端からの矩形領域(長さL12乃至L16に対応する矩形領域)の表示状態を順次変更する。そして、全ての多視点画像の合成処理が終了した場合には、各矩形領域(すなわち、プログレスバー500の全体)の表示状態を変更する。
このように、多視点画像の合成処理が終了する毎に、プログレスバー500の表示状態を変更して、多視点画像の合成処理の進捗状況を通知することにより、ユーザがその合成処理の状況を容易に把握することができる。
なお、この例では、多視点画像の合成処理が終了する毎に、プログレスバー500の表示状態を変更する例を示した。ただし、例えば、合成対象となる多視点画像の数が多い場合には、複数の多視点画像を1単位とし、これらの各多視点画像の合成処理が終了する毎に、プログレスバー500の表示状態を変更するようにしてもよい。例えば、5つの多視点画像を1単位とする場合には、5つ目の多視点画像の合成処理が終了する毎に、プログレスバー500の表示状態を変更する。これにより、プログレスバー500の表示状態を頻繁に更新し過ぎないようにすることができ、ユーザに見易くさせることができる。
[2視点画像の合成処理の進捗状況通知画面の表示例]
図18は、本発明の第1の実施の形態における表示部285に表示される進捗状況通知画面の表示遷移例を示す図である。図18では、多視点画像として2視点画像を記録する場合における進捗状況通知画面の一例を示す。
図18(a)には、2視点画像の撮像動作が終了した直後に表示部285に表示される進捗状況通知画面510を示す。進捗状況通知画面510には、2視点画像のうちの代表画像(例えば、左視点画像)513が表示され、この代表画像513に重ねて処理中メッセージ511が表示される。なお、図18に示す代表画像513については、対応する矩形内に代表画像(左視点画像)の文字を付して簡略して示す。また、図19乃至図21に示す表示画像についても同様に、対応する矩形内に各画像を表す文字を付して簡略して示す。
処理中メッセージ511は、2視点画像の合成処理を実行中である旨を示す文字である。なお、進捗状況通知画面510には、2視点画像のうちの代表画像の合成処理が終了するまでの間、処理中メッセージ511のみが表示される。
図18(b)には、2視点画像の記録処理が終了した直後に表示部285に表示される進捗状況通知画面510を示す。進捗状況通知画面510には、2視点画像のうちの代表画像(例えば、左視点画像)513が表示され、この代表画像513に重ねて処理終了メッセージ512が表示される。処理終了メッセージ512は、2視点画像の記録処理が終了した旨を示す文字である。
このように、2視点画像の記録処理が行われる場合には、合成対象となる画像の数が少ないため、その合成処理が比較的早く終了することが想定される。このため、2視点画像の記録処理が行われる場合に表示される進捗状況通知画面には、進捗状況を通知するプログレスバーを表示しないようにすることができる。なお、ユーザの好みに応じてプログレスバーを表示するようにしてもよい。
[多視点画像(3視点以上)の合成処理の進捗状況通知画面の表示例]
図19は、本発明の第1の実施の形態における表示部285に表示される進捗状況通知画面の表示遷移例を示す図である。図19では、3以上の多視点画像を記録する場合における進捗状況通知画面の一例を示す。
図19(a)には、多視点画像の撮像動作が終了した直後に表示部285に表示される進捗状況通知画面520を示す。進捗状況通知画面520には、多視点画像のうちの代表画像524が表示され、この代表画像524に重ねて、プログレスバー521および処理中メッセージ522が表示される。なお、プログレスバー521は、図17に示すプログレスバー500と同様である。また、処理中メッセージ522は、多視点画像の合成処理を実行中である旨を示す文字である。なお、進捗状況通知画面520には、多視点画像のうちの代表画像の合成処理が終了するまでの間、プログレスバー521および処理中メッセージ522のみが表示される。
図19(b)および(c)には、多視点画像の合成処理が行われている間に、表示部285に表示される進捗状況通知画面520を示す。この進捗状況通知画面520には、図19(a)と同様に、代表画像524、プログレスバー521および処理中メッセージ522が表示される。ここで、プログレスバー521は、図17(c)に示すように、合成処理が終了した多視点画像の数に応じて、その表示状態が変更される。なお、図19(c)には、全ての多視点画像の合成処理の終了直後に、表示部285に表示される進捗状況通知画面520を示す。
図19(d)には、多視点画像の記録処理が終了した直後に表示部285に表示される進捗状況通知画面520を示す。この進捗状況通知画面520には、多視点画像のうちの代表画像524が表示され、この代表画像524に重ねて処理終了メッセージ523が表示される。処理終了メッセージ523は、多視点画像の記録処理が終了した旨を示す文字である。
以上では、多視点画像の合成処理が行われている間に、多視点画像の代表画像およびプログレスバーを表示する例を示した。ただし、図13乃至図16に示すように、多視点画像の合成処理が行われている間に、多視点画像のうち、代表画像以外の他の画像を順次表示するようにしてもよい。また、プログレスバー以外に他の表示態様により、多視点画像の合成処理の進捗状況通知情報を表示するようにしてもよい。以下では、これらの表示例を示す。
図20は、本発明の第1の実施の形態における表示部285に表示される進捗状況通知画面の表示遷移例を示す図である。図20では、3以上の多視点画像を記録する場合における進捗状況通知画面の一例を示す。また、図20に示す例は、図19の変形例であり、図19と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
図20(a)には、多視点画像の撮像動作が終了した直後に表示部285に表示される進捗状況通知画面530を示す。この進捗状況通知画面530には、図20(a)と同様に、代表画像531、プログレスバー521および処理中メッセージ522が表示される。
図20(b)および(c)には、多視点画像の合成処理が行われている間に、表示部285に表示される進捗状況通知画面530を示す。この進捗状況通知画面530には、図19(b)および(c)と同様に、プログレスバー521および処理中メッセージ522が表示されるが、これらの背景に合成処理済の多視点画像532および533が表示される点が、図19(b)および(c)と異なる。なお、合成処理済の多視点画像532および533は、多視点画像のうちの代表画像以外の多視点画像であり、例えば、図13または図14に示す順序により表示させることができる。
図20(d)には、多視点画像の記録処理が終了した直後に表示部285に表示される進捗状況通知画面530を示す。この進捗状況通知画面520には、図19(d)と同様に、代表画像531および処理終了メッセージ523が表示される。このように、多視点画像の記録処理が終了した直後には、代表画像を表示させることが好ましい。
図21は、本発明の第1の実施の形態における表示部285に表示される進捗状況通知画面の表示遷移例を示す図である。図21では、3以上の多視点画像を記録する場合における進捗状況通知画面の一例を示す。また、図21に示す例は、図19の変形例であり、図19と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
図21(a)には、多視点画像の撮像動作が終了した直後に表示部285に表示される進捗状況通知画面540を示す。この進捗状況通知画面540には、図19(a)と同様に、代表画像524、プログレスバー521および処理中メッセージ522が表示される。ただし、代表画像524に重ねて、他の進捗状況通知情報(進捗状況通知情報541)が表示される点が図19(a)と異なる。進捗状況通知情報541は、多視点画像の合成処理の進捗状況を通知する情報であり、多視点画像の合成処理がどの程度の割合で進行したかを数値により表すものである。図21に示す例では、合成処理の対象となる多視点画像の全体の数を分母とし、合成処理済の多視点画像の数を分子とする分数により、その進捗状況を通知する進捗状況通知情報541を示す。
図21(a)に示す進捗状況通知画面540は、多視点画像の撮像動作が終了した直後に表示されるため、何れの多視点画像の合成処理も終了していない。このため、進捗状況通知情報541として「進捗度(0/7)」が表示される。
図21(b)および(c)には、多視点画像の合成処理が行われている間に、表示部285に表示される進捗状況通知画面540を示す。この進捗状況通知画面540には、図19(b)および(c)と同様に、プログレスバー521および処理中メッセージ522が表示されるが、進捗状況通知情報541が表示される点が、図19(b)および(c)と異なる。なお、多視点画像の合成処理が行われている間に表示されるプログレスバー521および進捗状況通知情報541については、互いに対応する。
図21(d)には、多視点画像の記録処理が終了した直後に表示部285に表示される進捗状況通知画面540を示す。この進捗状況通知画面520には、図19(d)と同様に、代表画像531および処理終了メッセージ523が表示される。
このように、多視点画像の合成処理が行われている間に、プログレスバー521および進捗状況通知情報541を表示することにより、その進捗状況をさらに容易に把握することができる。なお、この例では、プログレスバー521および進捗状況通知情報541を同時に表示する例を示したが、進捗状況通知情報541のみを表示するようにしてもよい。また、多視点画像の合成処理がどの程度の割合で進行したかを表す他の進捗状況通知情報(多視点画像の合成処理の進捗状況通知情報)を表示するようにしてもよい。他の進捗状況通知情報として、例えば、その割合を数値(%)や円グラフで表示することができる。
また、図21では、合成処理の対象となる多視点画像の全体の数を分母とする例を示したが、分母の数が大きい場合には間引きを行い、この間引き後の数値を分母として進捗状況通知情報を表示するようにしてもよい。例えば、分母が100となる場合には、間引きを行うことにより分母を10として表示させることができる。この場合には、その間引きに応じて、分子の値についても変更する。
[撮像装置の動作例]
図22は、本発明の第1の実施の形態における撮像装置100による多視点画像記録処理の処理手順の一例を示すフローチャートである。この処理手順では、代表画像のみをレビュー表示する例を示す。
最初に、多視点画像の記録指示操作が行われたか否かが判断され(ステップS901)、その記録指示操作が行われていない場合には監視を継続して行う。一方、その記録指示操作が行われた場合には(ステップS901)、撮像画像記録処理が行われる(ステップS910)。この撮像画像記録処理については、図23を参照して詳細に説明する。なお、ステップS910は、特許請求の範囲に記載の撮像手順の一例である。
続いて、代表画像決定処理が行われる(ステップS920)。この代表画像決定処理については、図24を参照して詳細に説明する。続いて、プログレスバー計算処理が行われる(ステップS930)。このプログレスバー計算処理については、図25を参照して詳細に説明する。
続いて、多視点画像が表示部285に表示されているか否かが判断され(ステップS902)、多視点画像が表示部285に表示されている場合には、視点j画像生成処理が行われる(ステップS950)。この視点j画像生成処理については、図27を参照して詳細に説明する。一方、多視点画像が表示部285に表示されていない場合には(ステップS902)、代表画像生成処理が行われる(ステップS940)。この代表画像生成処理については、図26を参照して詳細に説明する。なお、ステップS940およびS950は、特許請求の範囲に記載の合成手順の一例である。
続いて、表示制御部280が、合成部270により生成された代表画像を表示用に解像度変換し(ステップS903)、解像度変換された表示用の代表画像を表示部285に表示させる(ステップS904)。なお、ステップS904は、特許請求の範囲に記載の制御手順の一例である。
また、視点j画像生成処理が行われた後に(ステップS950)、記録制御部290が、視点j画像生成処理により生成された複数の多視点画像をMPファイルとしてコンテンツ記憶部300に記録させる(ステップS905)。
図23は、本発明の第1の実施の形態における撮像装置100による多視点画像記録処理の処理手順のうちの撮像画像記録処理(図22に示すステップS910の処理手順)の一例を示すフローチャートである。
最初に、撮像部240が撮像画像を生成し(ステップS911)、生成された撮像画像を撮像画像保持部250に順次記録させる(ステップS912)。続いて、撮像動作終了の指示操作が行われた否かが判断され(ステップS913)、撮像動作終了の指示操作が行われた場合には、撮像画像記録処理の動作を終了する。一方、撮像動作終了の指示操作が行われていない場合には(ステップS913)、ステップS911に戻る。
図24は、本発明の第1の実施の形態における撮像装置100による多視点画像記録処理の処理手順のうちの代表画像決定処理(図22に示すステップS920の処理手順)の一例を示すフローチャートである。
最初に、ユーザ操作により設定されている撮像モードが取得される(ステップS921)。そして、2視点画像撮像モードが設定されているか否かが判断され(ステップS922)、2視点画像撮像モードが設定されている場合には、制御部230が、左視点画像を代表画像として決定する(ステップS923)。
一方、2視点画像撮像モードが設定されていない場合(すなわち、3視点以上の多視点画像撮影モードが設定されている場合)には(ステップS922)、制御部230が、設定されている多視点画像撮影モードの視点数を取得する(ステップS924)。続いて、取得された視点数が奇数であるか否かが判断され(ステップS925)、取得された視点数が奇数である場合には、制御部230が、中央画像を代表画像として決定する(ステップS926)。
一方、取得された視点数が偶数である場合には(ステップS925)、制御部230が、中央近傍の2つの画像のうち、左側の画像を代表画像として決定する(ステップS927)。
図25は、本発明の第1の実施の形態における撮像装置100による多視点画像記録処理の処理手順のうちのプログレスバー計算処理(図22に示すステップS930の処理手順)の一例を示すフローチャートである。
最初に、制御部230が、設定されている多視点画像撮像モードの視点数を取得し(ステップS931)、1視点あたりの記録時間を取得する(ステップS932)。続いて、制御部230が、取得された視点数と、1視点あたりの記録時間とに基づいて、全ての視点数の記録時間を算出する(ステップS933)。
続いて、算出された全ての視点数の記録時間が規定値以上であるか否かが判断される(ステップS934)。算出された全ての視点数の記録時間が規定値以上である場合には(ステップS934)、制御部230が、取得された視点数に基づいて、プログレスバーの表示領域を算出する(ステップS935)。この場合に、例えば、合成対象となる多視点画像の数が多い場合には、複数の多視点画像を1単位とし、これらの各単位に対応する各多視点画像の合成処理が終了する毎に、プログレスバーの表示状態を変更する設定とする。続いて、表示制御部280が、プログレスバーを表示部285に表示させる(ステップS936)。
また、算出された全ての視点数の記録時間が規定値未満である場合には(ステップS934)、制御部230が、プログレスバーを表示しないことを決定する(ステップS937)。この場合には、表示部285にプログレスバーが表示されない。
図26は、本発明の第1の実施の形態における撮像装置100による多視点画像記録処理の処理手順のうちの代表画像生成処理(図22に示すステップS940の処理手順)の一例を示すフローチャートである。
最初に、合成部270が、制御部230から出力された解析結果に基づいて、撮像画像保持部250に保持されている各撮像画像における取出領域(短冊領域)の位置およびサイズを算出する(ステップS941)。続いて、合成部270が、算出された取出領域の位置およびサイズに基づいて、撮像画像保持部250に保持されている各撮像画像から短冊画像を取得する(ステップS942)。
続いて、合成部270が、各撮像画像から取得された短冊画像を合成して代表画像を生成する(ステップS943)。この場合に、合成部270は、移動量検出部260から出力された移動量および移動方向に基づいて、その取得された画像を重ねて合成して代表画像を生成する。
続いて、合成部270が、生成された代表画像について記録用に解像度変換を行い(ステップS944)、合成処理が終了した代表画像の視点番号を取得する(ステップS945)。続いて、プログレスバーの更新が必要か否かが判断される(ステップS946)。例えば、複数の多視点画像を1単位としてプログレスバーの表示状態を変更する設定がされている場合には、これらの各単位に対応する各多視点画像の合成処理が終了するまでの間、プログレスバーの更新が不要であると判断される。そして、プログレスバーの更新が必要である場合には(ステップS946)、表示制御部280がプログレスバーの表示状態を変更し(ステップS947)、代表画像生成処理の動作を終了する。一方、プログレスバーの更新が不要である場合には(ステップS946)、代表画像生成処理の動作を終了する。
図27は、本発明の第1の実施の形態における撮像装置100による多視点画像記録処理の処理手順のうちの視点j画像生成処理(図22に示すステップS950の処理手順)の一例を示すフローチャートである。
最初に、j=1とされる(ステップS951)。続いて、合成部270が、ステップS941で算出された取出領域(短冊領域)のサイズを用いて、短冊位置ズラシ量βを算出する(ステップS952)。続いて、合成部270が、算出された短冊位置ズラシ量βを用いて、視点jのずらし量(例えば、式5に示すMQj)を算出する(ステップS953)。
続いて、合成部270が、算出された視点jのずらし量、取出領域の位置およびサイズに基づいて、撮像画像保持部250に保持されている各撮像画像から短冊画像を取得する(ステップS954)。
続いて、合成部270が、各撮像画像から取得された短冊画像を合成して視点j画像(多視点画像)を生成する(ステップS955)。この場合に、合成部270は、移動量検出部260から出力された移動量および移動方向に基づいて、その取得された画像を重ねて合成して視点j画像を生成する。
続いて、合成部270が、生成された視点j画像について記録用に解像度変換を行い(ステップS956)、合成処理が終了した視点j画像の視点番号を取得する(ステップS957)。続いて、プログレスバーの更新が必要か否かが判断され(ステップS958)、プログレスバーの更新が必要である場合には、表示制御部280がプログレスバーの表示状態を変更する(ステップS959)。一方、プログレスバーの更新が不要である場合には(ステップS958)、ステップS960に進む。
続いて、記録制御部290が、解像度変換がされた視点j画像をエンコードし(ステップS960)、エンコードされた視点j画像をMPファイルに記録する(ステップS961)。続いて、視点jが最後の視点であるか否かが判断され(ステップS962)、視点jが最後の視点である場合には、視点j画像生成処理の動作をする。一方、視点jが最後の視点でない場合には(ステップS962)、jをインクリメントし(ステップS963)、視点j画像が代表画像であるか否かが判断される(ステップS964)。視点j画像が代表画像である場合には(ステップS964)、ステップS960に戻り、視点j画像が代表画像でない場合には、ステップS953に戻る。
<2.第2の実施の形態>
本発明の第1の実施の形態では、一連の撮像動作により生成された複数の画像を所定規則に基づいて表示する例を示した。ここで、多視点画像撮影モードにおける多視点画像の撮像動作が終了した後にその撮像動作により生成された多視点画像を確認する場合に、ユーザが特定視点の多視点画像の表示を所望することも想定される。そこで、本発明の第2の実施の形態では、多視点画像の撮像動作が終了した後に、表示対象となる画像を撮像装置の姿勢に応じて変化させて表示させる例を示す。なお、本発明の第2の実施の形態における撮像装置の構成については、LCD172の代わりに入出力パネル710を設けた点以外は、図1および図11に示す例と略同様である。このため、本発明の第1の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
[撮像装置の外観構成例およびその使用例]
図28は、本発明の第2の実施の形態における撮像装置700の外観構成例およびその使用時における姿勢の一例を示す図である。撮像装置700は、入出力パネル710を備える。
入出力パネル710は、各種画像を表示するとともに、入出力パネル710における接触操作を検出することによりユーザからの操作入力を受け付けるものである。すなわち、入出力パネル710はタッチパネルを備え、このタッチパネルは、例えば、表示パネルの画面を透過するように表示パネルに重ねて配置され、表示面に接触する物体を検出することによりユーザからの操作入力を受け付ける。
なお、撮像装置700には、電源スイッチ、モード切替スイッチ等の他の操作部材やレンズ部等が備えられているが、説明の容易のため、ここでの図示および説明は省略する。また、光学ユニット112は、その一部が撮像装置700に内蔵されている。
図28(a)には、撮像装置700を用いて多視点画像のレビュー表示を行う場合における撮像装置700の姿勢の一例を示す。例えば、人物800が、多視点画像の撮像動作の終了後に、撮像装置700を用いて多視点画像の表示を行う場合には、撮像装置700を両手で持った状態で、入出力パネル710に表示される画像を見ることができる。
図28(b)には、撮像装置700の姿勢を変化させる場合におけるその遷移例を示す。なお、図28(b)は、図28(a)に示す状態を上面から見た場合を簡略化して示す例である。
ここで、撮像装置700の姿勢の変化について説明する。例えば、ユーザが撮像装置700を手に持った状態で、直交3軸周りの回転角(すなわち、ヨー角、ピッチ角、ロール角)を変化させることができる。例えば、図28(b)に示す撮像装置700の状態で、垂直方向を軸とする矢印701方向に撮像装置700の姿勢を変化(ヨー角の変化)させることができる。また、例えば、図28(b)に示す撮像装置700の状態で、水平方向を軸とする回転方向に撮像装置700の姿勢を変化(ピッチ角の変化)させることができる。また、例えば、図28(b)に示す撮像装置700の状態で、人物800の前後方向を軸とする回転矢印方向に撮像装置700の姿勢を変化(ロール角の変化)させることができる。
なお、本発明の第2の実施の形態では、図28(b)に示すように撮像装置700の姿勢を変化させることにより、入出力パネル710にレビュー表示される画像を順次変更する例を示す。すなわち、ユーザによるジェスチャー操作により、入出力パネル710にレビュー表示される画像を順次変更する例を示す。
[回転角度への関連付け例]
図29は、本発明の第2の実施の形態における撮像装置700を用いて生成された複数の多視点画像と、これらをレビュー表示させる際における撮像装置700の傾き角度との関係を模式的に示す図である。この例では、5視点の多視点画像が生成された場合を例にして説明する。
図29(a)には、撮像装置700を用いて生成された複数の多視点画像(視点1乃至視点5)を簡略化して示す。
図29(b)には、図29(a)に示す複数の多視点画像(視点1乃至視点5)の撮像動作が終了した後に、これらの各多視点画像をレビュー表示する場合における撮像装置700の遷移例を示す。なお、図29(b)では、撮像装置700の底面(すなわち、シャッターボタン183が設けられている面の反対側の面)側の外観を示す。
また、図29(b)では、撮像装置700の遷移に対応する撮像装置700の操作範囲(回転角度の全範囲(角度V))を模式的に示す。なお、角度Vは、ユーザが表示画面を見ることが可能な角度とすることが好ましく、例えば、180度とすることができる。
また、図29(b)では、図28(b)に示す矢印701方向に撮像装置700を回転させてその姿勢を変化させることにより多視点画像の表示状態を変更する例を示す。この場合における多視点画像の表示状態を変更する際に基準となる傾け角度(基準角度)をγとする。この傾け角度γは、多視点画像の数に応じて適宜設定するようにしてもよく、ユーザの好みに応じてユーザ操作により設定するようにしてもよい。この傾け角度γは、例えば、45度とすることができる。
また、図29(a)に示す多視点画像(視点1乃至5)と、図29(b)に示す撮像装置700(傾け角度γ単位で傾けた状態731乃至735の撮像装置700)とについて、矢印で結んで関連付けて示す。このように、生成された多視点画像(視点1乃至5)を、傾け角度γ単位で傾けた各状態に適切に割り当てる。なお、撮像装置700を傾けることにより多視点画像の表示変更を変更する操作については、図30を参照して詳細に説明する。
図30は、本発明の第2の実施の形態における入出力パネル710に表示される画像の表示遷移例を示す図である。図30(a)には、図29(a)に示す多視点画像(視点1乃至視点5)の撮像動作が終了した直後における入出力パネル710の表示例を示す。例えば、本発明の第1の実施の形態で示したように、多視点画像(視点1乃至視点5)の撮像動作が終了した直後には、視点3の多視点画像が代表画像として入出力パネル710に表示される。
図30(a)に示す表示画面には、視点3の多視点画像が表示され、この多視点画像に重ねて、決定ボタン751と、撮り直しボタン752と、操作支援情報753および754と、メッセージ755とが表示される。なお、図30(a)および(b)に示す表示画面に表示される多視点画像については、対応する文字を括弧内に付して簡略化して示す。
決定ボタン751は、入出力パネル710に表示されている多視点画像(代表画像候補)を代表画像として新たに決定する際に押下されるボタンである。すなわち、決定ボタン751が押下された場合には、この押下操作時に入出力パネル710に表示されていた多視点画像が新たな代表画像として決定される。そして、記録制御部290は、その決定された新たな代表画像を示す代表画像情報と、多視点画像の順序関係(例えば、視点番号)とを、生成された多視点画像に関連付けて、その多視点画像をMPファイルとして記録媒体に記録させる。
撮り直しボタン752は、例えば、多視点画像の撮像動作を新たに行う場合に押下されるボタンである。すなわち、入出力パネル710に表示された多視点画像を確認した後に、多視点画像の撮り直しを行う必要があるとユーザ判断した場合には、撮り直しボタン752を押下することにより、迅速に撮り直しを行うことができる。
操作支援情報753および754は、入出力パネル710に表示されている多視点画像を変更するための操作を支援するための操作ガイドである。メッセージ755は、その操作および代表画像の決定操作を支援するための操作ガイドである。
図30(b)には、図30(a)に示す状態から人物800が撮像装置700を右側にγ度以上傾けた場合における入出力パネル710の表示例を示す。
例えば、図30(a)に示すように、入出力パネル710に視点3の多視点画像がレビュー表示されている状態で、人物800が他の多視点画像の表示を所望することが考えられる。例えば、入出力パネル710に視点3の多視点画像がレビュー表示されている状態で、人物800が撮像装置700を右側にγ度以上傾けた場合には、図30(b)に示すように、視点4の多視点画像が入出力パネル710にレビュー表示される。さらに、例えば、入出力パネル710に視点4の多視点画像がレビュー表示されている状態で、人物800が撮像装置700を右側にγ度以上傾けた場合には、視点5の多視点画像が入出力パネル710にレビュー表示される。
また、例えば、入出力パネル710に視点3の多視点画像がレビュー表示されている状態で、人物800が撮像装置700を左側にγ度以上傾けた場合には、視点2の多視点画像が入出力パネル710にレビュー表示される。さらに、例えば、入出力パネル710に視点2の多視点画像がレビュー表示されている状態で、人物800が撮像装置700を左側にγ度以上傾けた場合には、視点1の多視点画像が入出力パネル710にレビュー表示される。このように、撮像装置700を傾ける操作により代表画像以外の多視点画像を代表画像候補として入出力パネル710にレビュー表示させることができる。
また、撮像装置700を傾ける操作により代表画像候補が入出力パネル710にレビュー表示されている状態で、決定ボタン751が押下されると、その代表画像候補が新たな代表画像として決定される。例えば、撮像装置700を傾ける操作により視点2の多視点画像が入出力パネル710にレビュー表示されている状態で、決定ボタン751が押下されると、視点3の多視点画像の代わりに、視点2の多視点画像が新たな代表画像として決定される。
ここで、例えば、入出力パネル710に視点3の多視点画像がレビュー表示されている状態で、人物800が撮像装置700を何れかの方向にγ度以上傾けた場合には、他の多視点画像がレビュー表示される。この場合に、合成部270が、表示対象となる多視点画像の合成処理を終了していないことも想定される。そこで、撮像装置700を傾ける操作により表示対象画像が変更される場合において、表示対象となる多視点画像の合成処理が終了していない場合には、他の多視点画像よりもその表示対象となる多視点画像の合成処理を優先して行うようにする。すなわち、撮像装置700を傾ける操作による表示対象画像の変更が行われない場合には、本発明の第1の実施の形態と同様の順序で合成処理を順次行う。一方、撮像装置700を傾ける操作により表示対象画像が変更され、表示対象となる多視点画像の合成処理が終了していない場合には、合成部270が、その表示対象となる多視点画像の合成処理を優先して行う。
これにより、ユーザが所望する多視点画像を撮像装置700の傾きに応じて容易に迅速にレビュー表示させることができる。このため、ユーザが多視点画像を確認する場合に、その確認を容易に行うことができる。また、決定ボタン751の押下により、所望の多視点画像を代表画像として決定することができる。
なお、図30に示す例では、プログレスバーの表示を省略した表示例を示したが、多視点画像とともにプログレスバーを表示するようにしてもよい。このように多視点画像とともにプログレスバーを表示する例を図31に示す。
図31は、本発明の第2の実施の形態における入出力パネル710に表示される画像の表示遷移例を示す図である。図31は、図30(a)および(b)に示す各表示画面に、プログレスバー756を設けた例であり、他のプログレスバー756を設けた点以外は、図30(a)および(b)に示す例と同様である。なお、プログレスバー756における表示状態の変更等については、本発明の第1の実施の形態における表示状態と同様である。
すなわち、姿勢検出部220が、代表画像が入出力パネル710に表示された際における撮像装置700の姿勢を基準として撮像装置700の姿勢の変化を検出する。そして、制御部230が、入出力パネル710に代表画像を表示させた後に、その検出された姿勢の変化と、所定規則とに基づいて、多視点画像(代表画像候補)を入出力パネル710に順次表示させる制御を行う。ここで、所定規則は、例えば、図29(a)に示す多視点画像(視点1乃至5)と、図29(b)に示す状態731乃至735(傾け角度γ単位で傾けた状態731乃至735)との関連付けを意味する。
なお、本発明の第2の実施の形態では、入出力パネル710に最初に代表画像を表示する例を示すが、撮像部240による複数の撮像画像の生成処理が終了した直後における姿勢の変化に基づいて、最初に表示される多視点画像を決定するようにしてもよい。すなわち、姿勢検出部220が、撮像部240による複数の撮像画像の生成処理が終了した直後における撮像装置700の姿勢を基準として撮像装置700の姿勢の変化を検出する。そして、制御部230が、その検出された姿勢の変化に応じた順序(視点)に対応する多視点画像を入出力パネル710に最初に代表画像として表示させるようにしてもよい。この場合に、表示対象となる多視点画像の合成処理を終了していない場合には、合成部270が、その表示対象となる多視点画像の合成処理を優先して行う。
また、本発明の第2の実施の形態では、代表画像候補を表示させるための操作方法として、撮像装置700を傾ける操作方法を用いる例を示したが、キーボタン等の操作部材を用いて代表画像候補を表示させるようにしてもよい。
また、本発明の第2の実施の形態では、ユーザ操作により代表画像候補を表示させて代表画像を決定する例を示した。ただし、本発明の第1の実施の形態で示したように、自動で多視点画像が順次表示される場合に、この表示されている多視点画像のうちから、ユーザ操作により代表画像を決定するようにしてもよい。この場合には、例えば、所望の多視点画像が表示されている場合に、決定ボタン等の操作部材を用いた決定操作により代表画像の決定を行うことができる。
[撮像装置の動作例]
図32および図33は、本発明の第2の実施の形態における撮像装置700による多視点画像記録処理の処理手順の一例を示すフローチャートである。この処理手順は、図27(図22に示すステップS950の処理手順)の変形例である。このため、図27に示す処理手順と同一のものには、同一の符号を付して、共通する部分の説明を省略する。また、この処理手順では、自動で順次表示される多視点画像のうちから、ユーザ操作により代表画像を決定する例を示す。
エンコードされた視点j画像がMPファイルに記録された後に(ステップS961)、表示制御部280が、合成部270により生成された視点j画像を表示用に解像度変換する(ステップS971)。続いて、表示制御部280が、解像度変換された表示用の視点j画像を表示部285に表示させる(ステップS972)。
続いて、代表画像の決定操作が行われたか否かが判断され(ステップS973)、代表画像の決定操作が行われた場合には、制御部230が、表示部285に表示されている視点j画像を新たな代表画像として決定する(ステップS974)。一方、代表画像の決定操作が行われていない場合には(ステップS973)、ステップS962に進む。
図34および図35は、本発明の第2の実施の形態における撮像装置700による多視点画像記録処理の処理手順の一例を示すフローチャートである。この処理手順は、図32および図33(図22に示すステップS950の処理手順)の変形例である。このため、図32および図33に示す処理手順と同一のものには、同一の符号を付して、共通する部分の説明を省略する。また、この処理手順では、ユーザ操作により代表画像候補を表示させて代表画像を決定する例を示す。
短冊位置ズラシ量βが算出された後に(ステップS952)、撮像装置700の姿勢が一定以上変化したか否かが判断され(ステップS981)、撮像装置700の姿勢が一定以上変化していない場合には、ステップS985に進む。一方、撮像装置700の姿勢が一定以上変化した場合には(ステップS981)、その変化に対応する視点jが設定される(ステップS982)。続いて、視点jの多視点画像が合成処理済であるか否かが判断され(ステップS983)、視点jの多視点画像が合成処理済である場合には、視点jの多視点画像が記録処理済であるか否かが判断される(ステップS984)。ここで、視点jの多視点画像が合成処理済である場合は、例えば、短冊画像の合成により生成された視点j画像(多視点画像)について、記録用の解像度変換が行われている場合である(例えば、図9に示す視点j画像(最終画像)420)。また、視点jの多視点画像が記録処理済である場合は、例えば、エンコードがされた視点j画像(多視点画像)がMPファイルに記録されている場合である(例えば、図9に示すMPファイルに記録されている場合)。
また、視点jの多視点画像が合成処理済でない場合には(ステップS983)、ステップS953に進む。また、視点jの多視点画像が記録処理済である場合には(ステップS984)、ステップS971に進み、視点jの多視点画像が記録処理済でない場合には、ステップS985に進む。
また、ステップS985において、視点(j−1)画像が記録処理済であるか否かが判断され、視点(j−1)画像が記録処理済である場合には、ステップS960に進む。一方、視点(j−1)画像が記録処理済でない場合には(ステップS985)、ステップS971に進む。
また、撮像装置700の姿勢が一定以上変化していない場合には(ステップS981)、j=0とされ(ステップS986)、jがインクリメントされる(ステップS987)。続いて、視点jの多視点画像が合成処理済であるか否かが判断され(ステップS988)、視点jの多視点画像が合成処理済である場合には、視点jの多視点画像が記録処理済であるか否かが判断される(ステップS989)。視点jの多視点画像が記録処理済である場合には(ステップS989)、ステップS987に戻り、視点jの多視点画像が記録処理済でない場合には、ステップS985に戻る。また、視点jの多視点画像が合成処理済でない場合には(ステップS988)、ステップS953に戻る。
また、多視点画像の記録処理が全て終了した場合には(ステップS990)、視点j画像生成処理の動作を終了する。一方、多視点画像の記録処理が全て終了していない場合には(ステップS990)、ステップS981に戻る。
なお、本発明の実施の形態では、時系列で連続する複数の撮像画像を用いて多視点画像を生成する場合におけるレビュー表示の表示例を示した。ただし、時系列で連続する複数の撮像画像を用いて連写画像を生成する場合において、その連写画像についてレビュー表示を行う場合に本発明の実施の形態を適用することができる。例えば、連写モードが設定されている場合に、撮像部240が、時系列で連続する複数の撮像画像(例えば、15枚)を生成する。そして、記録制御部290が、その生成された複数の撮像画像のうちの少なくとも一部(または全部)を所定規則に基づく順序関係を付与して互いに関連付けてコンテンツ記憶部300に記録させる。すなわち、時系列で連続する複数の撮像画像が、その生成順序に応じた順序関係が付与されて互いに関連付けて、連写画像の画像ファイルとして記録される。この場合に、制御部230が、撮像部240による複数の撮像画像の生成処理が終了した後に、その記録対象となる複数の撮像画像のうち所定順序となる撮像画像(例えば、真ん中の画像(7枚目の画像))を代表画像として表示部285に表示させる制御を行う。
また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置等の撮像装置に本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。