JP2019140568A - 画像処理装置 - Google Patents

Abstract

【課題】 パノラマ画像から動画を生成する際に、状況に応じた動画の生成を行うことにより、見栄えのよい動画を生成することを目的とする。【解決手段】 パノラマ画像を取得する取得手段と、パノラマ画像に基づいて動画を生成する動画生成手段であって、パノラマ画像をトリミングする際のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングした複数のトリミング画像が順次再生される動画を生成する動画生成手段と、を有し、動画生成手段は、パノラマ画像のアスペクト比または所定方向のサイズに応じて（Ｓ９０１）、パノラマ画像を所定のアスペクト比でトリミングするか（Ｓ９０６）、パノラマ画像を所定のアスペクト比と異なるアスペクト比でトリミングするか（Ｓ９０７，Ｓ９０８）を切り替えることを特徴とする。【選択図】 図９

Description

本発明は、パノラマ画像を取り扱う画像処理装置に関する。

従来、デジタルカメラやスマートフォンにおいて、撮影した静止画像及び動画像を用いて一連のアルバム動画を作成し、家族や仲間と楽しむといったことが一般的に行われるようになってきた。アルバム動画を楽しむために、アルバム動画の素材となる静止画像及び動画像に文字データを付与したり、フェードなどのトランジションやＢＧＭを併せて記録するなど趣向を凝らした効果が提供されている。

また、近年のデジタルカメラやスマートフォンにおいて、様々な撮影方法が提供されている。その中で、広い範囲に広がる風景を撮影するパノラマ撮影も広く利用されている。パノラマ撮影で撮影されるパノラマ画像は、通常撮影される静止画と大きく異なるアスペクトで記録される。パノラマ画像は、撮影時の周りの雰囲気全体を表現しており、アルバム動画の素材対象として適している。パノラマ画像をアルバム動画に取り込むために動画に変換する必要がある。特許文献１では、パノラマ画像からパノラマ画像全体を見渡すパンニング動画を作成する方法が記載されている。

特開２０１１−０８２９１７号公報

パノラマ画像からパンニング動画を生成して再生することは有効な表現手段である。しかしながら、単純にパンニング動画生成するだけではパンニング動画の見栄えを損なってしまう場合がある。例えば、パノラマ画像を含む複数の画像を連続的に再生する場合、他のシーンの再生時間が４秒と決められている中、パンニング動画だけ４秒を大きく超えてしまうと、全体としての見栄えを損なってしまう。または、ＢＧＭがソローテンポな曲であるにもかかわらず、パンニング動画のスライド速度が速かったり、他のシーンとの差異が目立ち、アルバム動画の１シーンとしては適切とは言えず、その結果アルバム動画全体の見栄えが損なわれてしまうことが起こる。そこで、本願発明では、パノラマ画像から動画を生成する際に、状況に応じた動画の生成を行うことにより、見栄えのよい動画を生成することを目的とする。

上述の課題を解決するため、本発明の画像処理装置は、
パノラマ画像を取得する取得手段と、パノラマ画像に基づいて動画を生成する動画生成手段であって、パノラマ画像をトリミングする際のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングした複数のトリミング画像が順次再生される動画を生成する動画生成手段と、を有し、動画生成手段は、パノラマ画像のアスペクト比または所定方向のサイズに応じて、パノラマ画像を所定のアスペクト比でトリミングするか、パノラマ画像を所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする。

または、本発明の画像処理装置は、
パノラマ画像を取得する取得手段と、パノラマ画像の一部領域をトリミングし、トリミングされた画像を表示するように制御する表示制御手段であって、パノラマ画像のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングしたトリミング画像を順次表示させるように制御する表示制御手段と、を有し、表示制御手段は、パノラマ画像のアスペクト比または所定方向のサイズに応じて、パノラマ画像を所定のアスペクト比でトリミングするか、パノラマ画像を所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする。

または、本発明の画像処理装置は、
パノラマ画像を取得する取得手段と、パノラマ画像の一部をトリミングし、トリミングした画像からパノラマ画像に対応する動画を生成する動画生成手段であって、トリミング領域の位置を所定の方向に順次移動することにより、再生される領域がパノラマ画像内で所定方向に移動する動画を生成する動画生成手段と、パノラマ画像が所定の条件を満たしている場合には、所定のアスペクト比でパノラマ画像をトリミングし、パノラマ画像が所定の条件を満たさない場合には、所定のアスペクト比と異なるアスペクト比でトリミングするように動画生成手段を制御する制御手段と、を有することを特徴とする。

本発明によれば、パノラマ画像から適切な動画を生成することができる。

デジタルカメラ１００の構成ブロック図である。 パノラマ撮影モードのフローチャートである。 パノラマ画像撮影時のデジタルカメラの動きと撮影画像の関係を示す図である。 パノラマ画像撮影時の画像合成を説明する図である。 再生モードのフローチャートである。 アルバム作成処理のフローチャートである。 アルバム動画保存処理のフローチャートである。 ＪＰＥＧデータをアルバム動画に追記する処理のフローチャートである。 パノラマ画像のトリミング方法の決定処理のフローチャートである。 横長のパノラマ画像のトリミングを説明するための模式図である。 ＭＰ４データをアルバム動画に追記する処理のフローチャートである。 ＢＧＭの合成処理のフローチャートである。 アルバム作成に関するメニュー表示の画面例である。 縦長のパノラマ画像のトリミングを説明するための模式図である。 シナリオの構成を示す図である。

［実施例１］
本実施例では撮像装置としてのデジタルカメラを例にとって説明するが、これ以外にもカメラ付き携帯電話などであってもよい。或いは、撮像装置で撮影した画像を記録媒体、または、通信を介して取得可能な情報処理装置、画像処理装置等で実現してもよい。

以下、図１を用いて、本実施例の撮像装置（デジタルカメラ）１００の主要な構成を説明する。

図１において、制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）、不揮発性メモリ（ＥＥＰＲＯＭ）などから構成される。そして、不揮発性メモリ（ＥＥＰＲＯＭ）からプログラムを読み出し、読み出したプログラムに基づいて各種処理を実行して撮像装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０１は、ユーザからの操作を受け付ける操作部１０２からの操作信号に応じて、撮像装置１００の各ブロックを制御する。また、制御部１０１は、後述の画像処理部１１１によって得られた画像を解析し、その解析結果に応じて、撮像装置１００の各ブロックを制御する。

操作部１０２は、例えば、電源ボタン、シャッターボタン（ＳＷ１，ＳＷ２）、動画記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類からなる。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されると制御部１０１に操作信号を送信する。

また、バス１０３は、各種データ、制御信号、指示信号などを撮像装置１００の各ブロックに送るための汎用バスである。

不揮発性メモリ１０５は、電気的に消去・記録可能なメモリであり、制御部１０１の動作用の定数、プログラム等が記憶される。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部１１１に送信する。

画像処理部１１１は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行う。そして、画像処理部１１１で処理された画像信号は、制御部１０１により、メモリ１０４や後述の映像出力部１５０や表示制御部１３１に送信される。

本実施例においては、例えば、撮像部１１０は、「光学ズーム」機能、「光学防振」機能を有し、画像処理部１１１は、「電子ズーム」機能、「電子防振」機能を有している。ここで、「光学ズーム」機能、「電子ズーム」機能は、ユーザの操作に応じて、得られる画像を拡大する機能である。また、「光学防振」機能、「電子防振」機能は、撮像装置１００本体の振動による画像の揺れを防止する機能である。そして、これらの機能は、制御部１０１の制御の元、同時に使用されたり交互に使用されたり、単独で使用されたりする。

ここで、「光学ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、撮像部１１０のレンズを移動させ、取り込まれる被写体の光学像を拡大／縮小する機能である。また、「電子ズーム」機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、画像処理部１１１が、撮像部１１０により生成された画像のうち一部を切り出した画像を拡大した画像信号を生成する処理である。また、「光学防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、レンズの移動量を算出し、レンズを移動させることで、取得される画像の揺れを防止する機能である。また、「電子防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０により取得された画像信号の位置を調整することにより、画像の揺れを防止する機能である。また、「電子防振」機能は、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０の撮像素子における読み出し位置をずらすことによっても実現できる。これらの機能は公知の技術であるため、詳細な説明は省略する。

また、音声入力部１２０は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を集音（収音）し、アナログデジタル変換をして音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等の音声に関する処理を行う。そして、音声処理部１２１で処理された音声信号は、制御部１０１によりメモリ１０４に送信される。メモリ１０４は、画像処理部１１１、音声処理部１２１により得られた画像信号及び音声信号を一時的に記憶する。

画像処理部１１１及び音声処理部１２１は、メモリ１０４に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号、圧縮音声信号等を生成する。制御部１０１は、これらの圧縮画像信号、圧縮音声信号を、記録再生部１４０に送信する。

記録再生部１４０は、記録媒体１４１に対して画像処理部１１１及び音声処理部１２１で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と画像処理部１１１により生成された圧縮画像信号とを、記録再生部１４０に送信し記録媒体１４１に記録させる。

記録媒体１４１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体１４１には、撮像装置１００で生成した圧縮画像信号、圧縮音声信号、音声信号、後述するＢＧＭデータを含む各種データなどを記録することができ、不揮発性メモリ１０５よりも大容量な媒体が一般的に使用される。例えば、記録媒体１４１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

また、記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラムを読み出す（再生する）。そして読み出した圧縮画像信号、圧縮音声信号を、制御部１０１は画像処理部１１１及び音声処理部１２１に送信する。画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声信号を一時的にメモリ１０４に記憶させ、所定の手順で復号し、復号した音声信号を音声出力部１５１へ、復号化した画像信号を映像出力部１５０や表示制御部１３１に送信する。また、音声信号が記録媒体１４１に非圧縮記録されている場合には、制御部１０１は、音声信号を直接音声出力部１５１に送信する。

音声出力部１５１は、例えば音声出力端子からなり、接続されたイヤホンやスピーカなどから音声を出力させるために音声信号を送信する。また、音声出力部１５１は、撮像装置１００に内蔵され、音声信号にかかる音声を出力するスピーカであってもよい。映像出力部１５０は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部１５１、映像出力部１５０は、統合された１つの端子、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子のような端子であってもよい。

また、表示制御部１３１は、画像処理部１１１から送信された画像信号による映像や、撮像装置１００の操作をするための操作画面（メニュー画面）等を表示部１３０に表示させる。表示部１３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。

通信部１５２は、撮像装置１００と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド等の、撮影にかかる制御信号や、その他の情報を送信したり受信したりする。通信部１５２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

ここで、本実施例の撮像装置１００の通常の動作について説明する。

本実施例の撮像装置１００は、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。

電源が供給されると、制御部１０１は、例えば、操作部１０２のモード切り換えスイッチが、例えば、静止画撮影モード、動画撮影モード、再生モード等のどのモードであるかを操作部１０２からの指示信号により確認する。

静止画撮影モードでは、撮像装置１００は撮影待機状態でユーザが操作部１０２の静止画記録ボタンを操作することで撮影を行い、圧縮画像信号が記録媒体１４１に記録される。そして再び撮影待機状態になる。動画撮影モードでは、撮像装置１００は撮影待機状態でユーザが操作部１０２の動画記録開始ボタンを操作することで撮影を開始し、その間、圧縮画像信号と圧縮音声信号または音声信号が記録媒体１４１に記録される。そしてユーザが操作部１０２の動画記録終了ボタンを操作することで撮影を終了し、再び撮影待機状態になる。再生モードでは、ユーザが選択したファイルに関する圧縮画像信号や圧縮音声信号または音声信号を記録媒体１４１から再生して、音声出力部１５１から音声信号を出力し、表示部１３０に映像を表示させる。

以下、撮像装置１００における各種処理について、図２、５，６，７、８，９、１１，１２のフローチャートを参照して説明する。これらのフローチャートの処理については、制御部１０１が、不揮発性メモリ１０５から読み出したプログラムに基づいて、制御部１０１により実行される。

図２は、パノラマ撮影モードにおけるパノラマ画像の撮影処理。パノラマ撮影モードにおけるパノラマ画像の撮影処理を示すフローチャートである。

撮像装置１００では、操作部１０２に含まれるモード切り替えスイッチを切り替えることで、ＳＷ２を押し続けながら撮像装置１００を左から右へ移動さることによってパノラマ画像を記録するパノラマ撮影モードを選択することができる。本実施形態では、左から右に移動させることとしたが、右から左や、上下に移動させて撮影するようにしてもよい。

また、パノラマ撮影モードにおける撮像装置１００の動作を図示したものが図３である。

パノラマ撮影モードでは、図３のように、３０１から３０Ｎの状態まで撮像装置１００を右に移動しながら連続撮影をおこなう。この時撮影される画像がＰ（０）〜Ｐ（Ｎ）である。この複数枚連続撮影された画像の前後の画像Ｐ（ｎ）、Ｐ（ｎ−１）の位置合わせを行い結合し続けることによって、最終的にパノラマ画像３０１を記録することができる。

パノラマ撮影モードでは、ステップＳ２０１にて、制御部１０１は、ＳＷ１が押下されたか確認をおこない、押下されていればステップＳ２０２に進みそうでなければ、再びステップＳ２０１に戻る。

ＳＷ１が押下された場合、ステップＳ２０２では、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理を実行するように、制御部１０１が各ブロックに指示する。

ステップＳ２０３では、制御部１０１は、ＳＷ１が押下中であるか確認をおこない、押下されていればステップＳ２０４に進みそうでなければ、再びステップＳ２０１に戻る。

ステップＳ２０４では、制御部１０１は、ＳＷ２が押下されたか確認をおこない、押下されていればステップＳ２０５に進みそうでなければ、ステップＳ２０３に戻る。

ステップＳ２０５にて、制御部１０１は、パノラマ撮影モードでの１つのパノラマ画像の撮影時に、画像が撮像された回数を示す変数ｎを０に初期化する。

ステップＳ２０６では撮影処理をおこない、制御部１０１が撮像部１１０から得られた画像Ｐ（ｎ）を画像処理部１１１で画像処理を施した後にメモリ１０４に格納する。

ステップＳ２０７では、ｎが０でないか比較し、０であればステップＳ２１１に進み、そうでなければステップＳ２０８へと進む。ここでは、ｎが０である場合を想定してステップＳ２１１に進む。

ステップＳ２１１では、撮影数を示す変数ｎに１加える。

ステップＳ２１２では、ｎが所定数に達したか確認をおこない、達していればステップＳ２１３へと進む。そうでなければステップＳ２０６へと戻る。この所定数は、１つのパノラマ画像の撮影時に画像を撮影可能な最大回数であり、記録サイズや、メモリの容量等によって予め設定しておく。

ステップＳ２１３では、ＳＷ２が押下され続けているか確認をおこない、押下されていればステップＳ２０６へ進む。そうでなければステップＳ２１４へ進む。

続いて、ステップＳ２０７でｎが１以上の場合に行う、ステップＳ２０８〜ステップＳ２１０の処理について説明をおこなう。

ステップＳ２０８では、メモリ１０４に格納されている、撮影した最新の画像Ｐ（ｎ）と、１回前に撮影した画像Ｐ（ｎ−１）の画像の位置合わせ処理を画像処理部１１１にて行う。

位置合わせ処理の例を図示したものが図４である。まず、位置合わせ処理では、新たに撮影したＰ（ｎ）上の１２個のブロックＢ（ｎ）［ｎ＝０〜１１］を設定する。Ｂ（ｎ）は、Ｐ（ｎ−１）と重なる領域が含まれるように、パノラマ撮影におけるカメラの移動方向と逆方向の端部側の領域、つまり、本実施形態では、左から右にカメラを移動して撮影するので、Ｐ（ｎ）の右側の領域に設定される。そして、Ｂ（ｎ）それぞれの領域が、前に撮影したＰ（ｎ−１）上のどの位置に対応するか（以下、対応ブロック位置と称す）探索をおこなう。

対応ブロック位置の決定方法としては、ブロックの領域の画素の高周波成分の差分が最小となる個所を対応ブロック位置とする方法や、画素の差分絶対値の和が最小となるものを対応ブロック位置とする方法等を用いる。

対応ブロック位置の理想的な探索結果Ｂ’（ｎ）を示したものが図４（２）である。図４（２）は理想的な探索結果を図示しており、各ブロックの位置関係がＰ（ｎ）上の位置関係と同様に等間隔になっている。しかしながら、一般的には、撮影中に被写体が動作中であったり、撮像装置のランダムノイズなどが影響することにより理想的な形にはならない。

対応ブロック位置の実際の探索結果Ｂ’’（ｎ）を図示したものが図４（３）である。このような場合は、相対的な位置が大きくずれた個所を除外して、位置関係がずれていない太字のブロックのみを用いて位置決めをおこなう。

ステップＳ２０９では、ステップＳ２０８で探索したブロックで相対的な位置関係がずれていないブロックの個数を合成信頼度としてメモリ１０４に記憶する。つまり、合成信頼度とは、合成する２枚の画像間の合成箇所を、ブロックごとにパターンマッチングして類似度を算出し、類似度が所定値以上となった、合成時に位置決めに使用されるブロックの数のことである。位置関係がずれていない位置決めに使用されたブロックの個数が多いほど結合が正しくできたものと判断可能である。そのため、合成時に位置決めに使用される位置関係がずれていないブロックの個数は合成処理がどれほどの精度で正しくなされたかを示す数値であると考えることができる。

ステップＳ２１０では、ステップＳ２０８の位置合わせの結果を元に合成をおこない、Ｐ（ｎ−１）としてメモリ１０４に格納する。

こうして得られメモリ１０４に格納された画像が、Ｓ２１３においてＳＷ２がＯＦＦになったと判断されると、ステップＳ２１４にてＪＰＥＧ画像として外部記録媒体１４１に記録する。ステップＳ２０９で得られた合成信頼度の情報も画像と共に画像情報（属性情報）として記録される。

以上のように、パノラマ画像の撮影を行う。

次に図５を用いて再生モード処理について説明する。

ステップＳ５０１では、制御部１０１は、記録媒体１４１から記録媒体１４１に記録されている画像の画像情報を取得しメモリ１０４に記憶する。そして、記録媒体１４１から最新の画像を読み出して最新画像を表示部１３０に表示し、ステップＳ５０２へ進む。

ステップＳ５０２では、制御部１０１は、操作部１０２のアルバムボタンが押下されたか否かの判定を行う。アルバムボタンが押下されたと判定した場合、ステップＳ５０３へ進み、アルバムボタンが押下されていないと判定した場合はステップＳ５０７へ進む。

ステップＳ５０３では、制御部１０１は、図１３の１３０１のようなアルバム選択画面を表示する。アルバム選択画面では、「イベント」「日付」「人物」「カスタム」の４つのアルバム選択アイコンの中から、１つを選択することにより、アルバムの再生対象とする画像の条件を選択できる。「イベント」を選択すると、現在表示部１３０に表示している画像の撮影日を基準として、数日間に撮影された画像をアルバム再生対象画像の選択条件とする。「日付」を選択すると、現在表示部１３０に表示している画像と同じ撮影日の画像をアルバム再生対象画像の選択条件とする。「人物」を選択すると、現在表示部１３０に表示している画像から人物を検出し、検出した人物と同じ人物が含まれる画像、または、関連する人物が含まれる画像をアルバム再生対象画像の選択条件とする。「カスタム」を選択すると、ユーザに日付、画像、人物等を選択させ、選択された日付、画像、人物に従って、アルバム再生対象画像の選択条件を決定する。

なお、本実施形態では、アルバムの対象となることが可能なアルバム対象画像は、撮像装置１００で自己録された静止画、動画とするため、Ｓ５０１で取得した画像情報を用いて、予めアルバム対象画像が存在するか否かの判定を行ってもよい。アルバム対象画像が存在しないと判定された場合、アルバム選択画面のアルバム選択アイコンをグレーアウト表示してもよい。また、現在表示中の画像と同じ撮影日のアルバム対象画像が所定数よりも少ない場合には「日付」アイコンをグレーアウトしたり、現在表示中の画像に含まれる人物を有するアルバム対象画像が所定数よりも少ない場合には「人物」アイコンをグレーアウトしてもよい。

ステップＳ５０４では、制御部１０１は、操作部１０２を用いて、アルバム選択画面において作成するアルバムが選択されたか否かの判定を行う。アルバムが選択された場合、ステップＳ５０５へ進み、アルバムが選択されない場合はＳ５０６へ進む。

ステップＳ５０５では、制御部１０１において、アルバム作成を行い、ステップＳ５０６へ進む。アルバム作成処理に関しては図６において説明する。

ステップＳ５０６では、制御部１０１は、アルバム選択画面において「終了」が選択されたか、つまり、アルバムモードを終了するか否かの判定を行う。アルバムモードを終了する場合、ステップＳ５０７へ進み、アルバムモード終了しない場合ステップＳ５０３へ進む。

ステップＳ５０７では、制御部１０１は、ユーザから再生モードの終了の操作を受け付けて、再生モード終了か否かの判定を行う。再生モードが終了する場合、再生モードを終了し、再生モードを終了しない場合ステップＳ５０８へ進む。

ステップＳ５０８では、制御部１０１は、操作部１０２より指示されたその他の再生処理を行いステップＳ５０２へ進む。その他処理は、例えば、表示部１３０に表示される画像を切り替える画像送り処理や、動画の再生処理、画像消去、画像編集、画像送信等である。

以上のように、再生モード処理を行う。

次に図６を用いて、ステップＳ５０５で実行されるアルバム作成処理について説明する。

ステップＳ６０１では、制御部１０１は、メモリ１０４に読み込まれたアルバム対象画像を用いて、シナリオ作成処理を行い、作成したシナリオをメモリ１０４に記録する。シナリオ作成処理では、まずは、アルバム動画に用いる静止画及び動画像を選抜する。前に説明したように、「日付」でアルバム動画を作成する場合は、その日付に撮影された画像を選抜し、「人物」でアルバム動画を作成する場合は、その人物が被写体として撮影されたことが画像の画像情報に記録されている画像を選抜する。「イベント」でアルバム動画を作成する場合は、表示画像の撮影日を基準として数日間に撮影された画像を選抜する。そして、ユーザがアルバム動画の作成で「カスタム」を選んだ場合は、ユーザが選択した画像を選抜画像とする。

画像の選抜が終了したら、アルバムとして選抜された画像の再生順（表示順）を決定し、図１５のようなシナリオを作成する。シナリオには、再生対象の画像毎に、シーン番号１５０１、ファイル情報１５０２、チャプタ１５０３、フレーム数１５０４、画像サイズ１５０５、パノラマ画像フラグ１５０６等が再生順で記載される。シーン番号１５０１は、画像の再生順を示しており、１から始まる。ファイル情報１５０２は、再生対象の画像を特定するための情報が記載されており、本実施形態では、画像のファイルパスが記録されている。ファイルパスでなく、画像が特定できる、ハンドルや識別ＩＤなどをファイル情報１５０２として記録してもよい。チャプタ１５０３には、再生対象の画像が動画の場合に、再生対象とするチャプタの番号が記載される。静止画の場合には記載されない。このように、動画については、再生対象として、動画全体ではなく、チャプタ毎に再生対象を指定する。フレーム数１５０４には、再生する際のフレーム数が記載される。動画のチャプタが再生対象として指定されている場合は、そのチャプタのフレーム数がフレーム数１５０４に記録される。静止画の場合は、通常の画像の場合は６０、パノラマ画像の場合は１２０とする。本実施形態では、アルバム動画の再生および記録は、３０ｆｐｓのフレームレートで行われる。つまり、通常の静止画の場合は２秒間再生され、パノラマ画像の場合は、４秒間再生されることになる。縦横サイズ１５０５には、再生対象の画像の縦横のサイズが記載される。パノラマ画像フラグ１５０６には、再生対象の画像がパノラマ画像であるかを示す情報が記載される。このようなシナリオを作成することにより、再生対象となる画像について、再生順、再生時間、動画については再生対象となるチャプタを指定することができる。また、これらの情報の他にも、シナリオ全体の情報として、ＢＧＭ設定の情報や、シナリオ全体のフレーム数の情報も記録する。

ステップＳ６０２では、制御部１０１は、図１３（１３０５）のアルバム設定変更メニュー１３０５を表示部１３０に表示させる。

ステップＳ６０３、Ｓ６０５、Ｓ６０８、Ｓ６１０では、アルバム設定変更メニューでの操作部１０２への操作を監視し、アルバム動画作成１３０６、ＢＧＭ設定１３０７、プレビュー再生１３０８、終了１３０９のうちのいずれかが選択されたことを判定する。いずれかが選択されるまで、ステップＳ６０３、Ｓ６０５、Ｓ６０８、Ｓ６１０の処理を繰り返す。ステップＳ６０３で、ＢＧＭ設定１３０７が選択されたと判定した場合、Ｓ６０４へ進む。

ステップＳ６０４では、制御部１０１はＢＧＭ設定を行う。撮像装置１００の記録媒体１４１に予め記録されている複数のＢＧＭからアルバム動画に合成するＢＧＭを選択したり、動画の音声とＢＧＭとをミックスする際の音声合成率などを選択したりする。設定した内容は、シナリオに記録し、その後、ステップＳ６０３に戻る。このときＢＧＭ設定の付属情報を併せてシナリオに記録する。ＢＧＭの付属情報とは、ＢＧＭがどのような曲、例えば、スローな曲、テンポの速い曲、さらには、曲の再生時間、音声合成率などを設定する。

ステップＳ６０５で、アルバム動画保存１３０６が選択されたと判定された場合、ステップＳ６０６へ進む。

ステップＳ６０６では、ステップＳ６０１で作成したシナリオに基づきアルバム動画保存を行う。アルバム動画保存処理について図７で説明する。アルバム動画保存が完了すると、制御部１０１は再生モードへ遷移するように制御し（ステップＳ６０７）、アルバム作成処理を終了する。

ステップＳ６０８で、アルバム再生１３０８が選択されたと判定された場合、ステップＳ６０９へ進む。ステップＳ６０９では、シナリオに基づいて、アルバム動画の再生を行う。

ステップＳ６１０で、終了１３０９が選択されたと判定された場合、制御部１０１は、再生モードへ遷移するように制御し（ステップＳ６０７）、アルバム作成処理を終了する。

次に図７を用いて、アルバム動画保存処理について説明する。

ます、ステップＳ７０１では、制御部１０１は、アルバム動画用の動画ファイルを新規作成し、記録再生部１４０により、新規動画ファイルを記録媒体１４１に記録させる。

ステップＳ７０２では、制御部１０１は、ステップＳ６０１で作成しメモリ１０４に記録されているシナリオから、シーン番号が１のシナリオ情報を読み出す。そして、読み出したシーン番号のシナリオ情報に基づいて、ステップＳ７０３〜Ｓ７０６の処理を実行する。

ステップＳ７０３は、制御部１０１は、シナリオ情報に記載されているファイル情報から、再生対象の画像ファイルを特定し、再生対象の画像ファイルがＪＥＰＧ（静止画）ファイルであるかＭＰ４（動画）ファイルであるかを判断する。ＪＥＰＧファイルであった場合はステップＳ７０４へ進み、そうでなければ動画のＭＰ４ファイルのため、ステップＳ７０５へとすすむ。

ステップＳ７０４では、制御部１０１は、シナリオ情報に記載されているファイル情報で特定された再生対象のＪＰＥＧファイルについて、ＪＰＥＧファイルのデータをアルバム動画用ファイルに追記する処理を実行し、ステップＳ７０６へ進む。ＪＰＥＧファイルのデータをアルバム動画用ファイルに追記する処理は図８で詳細に説明する。

ステップＳ７０５では、制御部１０１は、シナリオ情報に記載されているファイル情報で特定された再生対象のＭＰ４ファイルについて、ＪＰＥＧファイルのデータをアルバム動画用ファイルに追記する処理を実行し、ステップＳ７０６へ進む。ＭＰ４ファイルのデータをアルバム動画用ファイルに追記する処理を実行しは図１１で詳細に説明する。

本実施形態では、シナリオで再生対象として指定された画像データ（静止画、動画）について、アルバム動画用ファイルに順次追記していくことにより、アルバム動画データを生成するものとした。しかし、シナリオで再生対象として指定された画像データから、それぞれ動画データを生成し、生成した動画を結合してアルバム動画ファイルを作成するようにしてもよい。

ステップＳ７０６では、制御部１０１は、メモリ１０４に記録されているシナリオに、次のシーン番号のシナリオ情報があるかを判断する。次のシーン番号のシナリオ情報があると判定された場合は、ステップＳ７０７で次のシーン番号のシナリオ情報を読み出し、読み出したシナリオ情報に基づいて、ステップＳ７０３〜Ｓ７０５の処理を実行する。次のシーン番号のシナリオ情報がなくなるまで、ステップＳ７０３〜Ｓ７０７の処理を繰り返す。そして、次のシーン番号のシナリオ情報がなくなったと判定された場合、アルバム動画の生成が完了していることになるので、ステップＳ７０８に進む。

ステップＳ７０８では、制御部１０１は、ステップＳ６０１で作成されメモリ１０４に記録されたシナリオに記載されているＢＧＭの設定に関する情報に従って、ＢＧＭを合成するか否かの判定を行う。ＢＧＭを合成すると判定した場合はステップＳ７０９へ進み、合成しないと判定した場合はアルバム動画保存処理を終了する。

ステップＳ７０９では、ステップＳ７０８で生成が完了したアルバム動画のＭＰ４ファイルにＢＧＭデータの合成を行うＢＧＭ合成処理を実行してから、アルバム動画保存処理を終了する。ＢＧＭ合成処理については、図１２で詳細に説明する。

次に図８を用いてステップＳ７０４の、ＪＰＥＧファイルのデータをアルバム動画用ファイルに追記する処理について説明する。

ステップＳ８０１では、ファイル情報１５０２から特定されるＪＰＥＧファイルを記録媒体１４１から読み出して、メモリ１０４に一時保持する。

ステップＳ８０２では、メモリ１０４に保持したＪＰＥＧファイルの画像データを、画像処理部１１１を用いてＹＵＶデータへデコードしてメモリ１０４に保持し、ステップＳ８０３へ進む。

ステップＳ８０３では、パノラマ画像フラグ１５０６の情報から、再生対象の画像がパノラマ画像であるかを判定する。本実施形態では、シナリオにパノラマ画像フラグ１５０６の情報を記録するものとしたが、シナリオに１５０６の情報を記録せずに、ＪＰＥＧファイルに記載されている画像情報からパノラマ画像であるかを判定してもよい。例えば、画像情報に含まれる撮影モードの情報にパノラマ撮影モードで撮影されたことを示す情報が記載されていた場合はパノラマ画像であると判定するようにしてもよい。また、画像の縦横サイズに応じて、パノラマ画像であるかを判定するようにしてもよい。パノラマ画像でないと判定された場合は、ステップＳ８０４に進み、パノラマ画像であると判定された場合、ステックＳ８１１に進む。

ステップＳ８０４では、ステップＳ８０２でメモリ１０４に保持したＹＵＶデータについて、画像処理部１１１を用いてアルバム動画の画像サイズに合わせてトリミングやリサイズを行ってメモリ１０４に保持し、ステップＳ８０５へ進む。なお、本実施形態においては、アルバム動画の画像サイズは、フルＨＤ（１９２０×１０８０）とする。

ステップＳ８０５では、リサイズしてメモリ１０４に保持されたＹＵＶデータを、画像処理部１１１を用いて色フィルターなどの効果をかけ、再度メモリ１０４に保持し、ステップＳ８０６へ進む。

ステップＳ８０６では、効果をかけてメモリ１０４に保持されたＹＵＶデータを、画像処理部１１１を用いてＨ．２６４にエンコードし、動画データを作成する。

ステップＳ８０７では、音声処理部１２１を用いて無音のＰＣＭデータをＡＡＣにエンコードした音声データを生成し、ステップＳ８０８へ進む。

ステップＳ８０８では、Ｓ８０６でエンコードして生成された動画データと、Ｓ８０７でエンコードして生成された音声データとからなるストリームデータを、ステップＳ７０１で記録媒体１４１に作成したアルバム動画用ファイルに追記する。ここで、記録媒体１４１へ書き込む単位はＨ．２６４のフレーム数やストリームデータのデータサイズ毎に書き込んでもよいし、所定のフレーム数、時間毎に書き込みを行ってもよい。

ステップＳ８０９では、フレーム数１５０４で指定されているフレーム数分について、ステップＳ８０６〜Ｓ８０８の処理が完了したかを判定する。指定されたフレーム数分の処理が完了していない場合は、フレーム数１５０４で指定された期間分の動画が生成されていないので、Ｓ８０６〜Ｓ８０８の処理を繰り返す。ステップＳ８０４〜Ｓ８０９は、通所の静止画についての処理であるため、６０フレーム、つまり、２秒分の動画が生成され、アルバム動画用のファイルに追記される。そして、指定されたフレーム数分の処理が完了すると、ステップＳ８１０において、ストリームを追記したアルバム用動画ファイルのファイル管理情報を更新して記録する。なお、１つの静止画から生成された動画が、１つのチャプタとして構成されるように、管理情報を更新する。このようにして、シナリオで指定された静止画から生成した動画データの、アルバム用動画ファイルへの追記の処理が完了する。

一方、再生対対象のＪＰＥＧファイルがパノラマ画像と判定された場合、ステップＳ８１１でパノラマ画像（静止画）からパンニング動画にするためのトリミングの方法について決定する。トリミング方法の決定処理については、後述するが、この処理によって、パノラマ画像から作成されるパンニング動画の各フレームをパノラマ画像のどの領域からトリミングして作成するかが決定される。具体的には、まず、パノラマ画像から一部領域をトリミングする際のトリミング領域のアスペクト比が決定され、決定されたアスペクト比に基づいて、縦横サイズと、トリミング領域の移動量が決定される。パノラマ画像の長辺方向の一方の端部から他方の端部まで移動するようにトリミング領域の移動量が決定されるため、トリミングした複数のトリミング画像により、パンニング動画を生成できる。以降の処理はこの処理で決められた方法に応じて処理を行う。

ステップＳ８１２では、ステップＳ８０２でメモリ１０４に保持したＹＵＶデータについて、画像処理部１１１を用いて、ステップＳ８１１で決定された領域をトリミングし、さらに、アルバム動画用の画像サイズに収まるサイズにリサイズする。そして、リサイズしたＹＵＶデータを、メモリ１０４に保持する。ここで、１つのパノラマ画像から生成されるアルバム動画は、１２０フレーム（４秒）分である。トリミング領域のサイズは１２０フレームで共通しているが、トリミング領域の位置は、各フレームによって異なるため、ステップＳ８１２では、生成するフレームに対応する位置でトリミングを行うようにする。具体的には、１フレーム目のデータを生成する際にはパノラマ画像の長辺方向の端の領域をトリミングし、２フレーム目以降は前のフレームを生成した際のトリミング領域の位置を記憶しておき、ステップＳ８１１で決定された移動量分トリミング領域を移動させる。トリミング領域の移動方向については、１フレーム目をトリミングした際のパノラマ画像の長辺方向の端側から、長辺方向の他方の端部側へ移動する方向とする。つまり、１フレーム目で右端をトリミングした場合の移動方向は右から左に、１フレーム目で左端をトリミングした場合の移動方向は左から右となる。また、１フレーム目で上端をトリミングした場合の移動方向は上から下に、１フレーム目で下端をトリミングした場合の移動方向は下から上となる。このように、生成するフレーム毎にトリミング領域の位置を順次移動させる。そのため、パノラマ画像内での位置が移動した領域の画像が順次再生（順次表示）されるパンニング動画が生成されることになる。

ステップＳ８１３では、リサイズしてメモリ１０４に保持されたＹＵＶデータを、画像処理部１１１を用いて色フィルターなどの効果をかけ、再度メモリ１０４に保持し、ステップＳ８１５へ進む。

ステップＳ８１５では、リサイズされたＹＵＶデータのアスペクトがアルバム動画のアスペクトと同じ１６：９であるか否かを判定する。なお、Ｓ８１２において、アルバム動画のサイズに収まるようにリサイズを行っているので、実際には、リサイズ済みのＹＵＶデータの縦横サイズが、アルバム動画のサイズと同じであるかを判定する。同じであれば、ステップＳ８１５の処理を行わずにステップＳ８１６へ進み。異なっている場合には、ステップＳ８１５に進む。

ステップＳ８１５では、リサイズされたＹＵＶデータの縦横サイズが、アルバム動画の画像サイズと同じになるように、足りないサイズ分の余分画像（黒データ）を付加して、してメモリ１０４に保持する。余分画像は、左右または上下均等になるように付加する。

ステップＳ８１６では、メモリ１０４に保持されている効果をかけられたＹＵＶデータ（ステップＳ８１５を実行した場合は、余分画像を付加したＹＵＶデータ）を、画像処理部１１１を用いてＨ．２６４にエンコードし、動画データを作成する。

ステップＳ８１７では、音声処理部１２１を用いて無音のＰＣＭデータをＡＡＣにエンコードして音声データを生成し、ステップＳ８１８へ進む。

ステップＳ８１８では、Ｓ８１６でエンコードして生成された動画データおよびＳ８１７でエンコードして生成された音声データからなるストリームデータをステップＳ７０１で記録媒体１４１に作成したアルバム動画用のファイルに追記する。ここで、記録媒体１４１へ書き込む単位はＨ．２６４のフレーム数やストリームデータのデータサイズ毎に書き込んでもよいし、所定のフレーム数、時間毎に書き込みを行ってもよい。

ステップＳ８１９では、フレーム数１５０４で指定されているフレーム数分について、ステップＳ８１２〜Ｓ８１８の処理が完了したかを判定する。指定されたフレーム数分の処理が完了していない場合は、指定された期間分の動画が生成されるまで、Ｓ８１２〜Ｓ８１８の処理を繰り返す。ステップＳ８１２〜Ｓ８１８は、パノラマ画像についての処理であるため、１２０フレーム、つまり、４秒分の動画が生成され、アルバム動画用のファイルに追記される。そして、指定されたフレーム数分の処理が完了すると、ステップＳ８１０において、ストリームを追記したアルバム用動画ファイルのファイル管理情報を更新して記録する。なお、１つの静止画から生成された動画が、１つのチャプタとして構成されるように、管理情報を更新する。このようにして、シナリオで指定されたパノラマ画像から生成された動画データの、アルバム用動画ファイルへの追記処理が完了する。

なお、Ｓ８０６〜Ｓ８０８、または、Ｓ８１２〜Ｓ８１８の処理で作成された１つの静止画から生成された動画データが、アルバム動画の１チャプタとなるように記録する。
次に、図９、図１０を参照して、パノラマ画像のトリミング方法の決定について説明する。

まず、図１０を参照して、横長のパノラマ画像１００１を例に、トリミング領域のアスペクト比の設定とパンニング動画生成について説明する。

パノラマ画像１００１は、４２００×９００のサイズを有する画像である。このパノラマ画像１００１について、アルバム動画と同じアスペクト比１６：９のトリミング領域でトリミングする場合、トリミング領域１０１１のサイズは、１６００×９００となる。ここで、パンニング動画を生成する際に、トリミング領域はフレーム毎にパノラマ画像の長辺方向（横方向）に移動させるので、パノラマ画像の短辺方向（縦方向）の画像サイズが、そのままトリミング領域の縦方向サイズとなる。また、パノラマ画像の長辺方向に対応するトリミング領域の横方向のサイズは、パノラマ画像の短辺方向の画像サイズとトリミング領域のアスペクト比とから算出できる。アスペクト比１６：９のトリミング領域１０１１でトリミングする場合、アルバム動画も同じ１６：９のアスペクト比であるため、トリミングした画像をリサイズするだけでアルバム動画のフレーム１０１２を生成することができる。

パノラマ画像１００１ついて、アスペクト比２０：９のトリミング領域でトリミングする場合、トリミング領域１０２１のサイズは、２０００×９００となる。この場合、アルバム動画のアスペクト比とトリミング領域１０２１のアスペクト比が異なる。そのため、トリミングした画像（２０００×９００）をリサイズして１９２０×８６４の画像１０２３を生成し、さらに、リサイズした画像１０２３の上下にそれぞれ余分画像を付加して、１９２０×１０８０のアルバム動画のフレーム１０２２を生成する。

さらに、パノラマ画像１００１ついて、アスペクト比３０：９のトリミング領域でトリミングする場合、トリミング領域１０３１のサイズは、３０００×９００となる。この場合、アルバム動画のアスペクト比とトリミング領域１０３１のアスペクト比が異なる。そのため、トリミングした画像（３０００×９００）をリサイズして１９２０×５７６の画像１０３３を生成し、さらに、リサイズした画像１０３３の上下にそれぞれ余分画像を付加して、１９２０×１０８０のアルバム動画のフレーム１０３２を生成する。

ここで、アルバム画像と同じ１６：９のアスペクト比でトリミングしたほうが、余分画像が付加せずにパンニング動画を生成することができる。しかし、本実施形態において、パノラマ画像から生成されるパンニング動画の長さは、１２０フレームの４秒分と決まっている。そのため、短辺方向のサイズに対して長辺方向のサイズが非常に大きいパノラマ画像において、長辺方向全体を移動するパンニング動画を生成する場合、フレーム間でのトリミング位置の移動量が大きくなり、パンニングのスピードが速い動画が生成されてしまう。１６：９のアスペクト比に対し、２０：９のアスペクト比のほうが、トリミングされる長辺方向の画像サイズが大きくなるため、１６：９のときよりも、フレーム間でのトリミング位置の移動量を小さくし、パンニングのスピードを小さくすることができる。さらに、２０：９のアスペクト比よりも、３０：９のアスペクト比のほうが、トリミングされる長辺方向の画像サイズがさらに大きくなるため、フレーム間でのトリミング位置の移動量をさらに小さくし、パンニングのスピードを小さくすることができる。

そこで、本実施形態では、パンニングのスピードを調整するため、パノラマ画像の長辺方向（横方向）と短辺方向（縦方向）の画像サイズの比、または、長辺方向（横方向）の画像サイズに応じて、パノラマ画像からパンニング動画を生成する際のトリミングのアスペクト比を切り換えている。

図９を用いて、ステップＳ８１１におけるトリミング方法決定処理について説明する。

ステップＳ９０１では、制御部１０１は、パノラマ画像の横の画像サイズ（長辺の長さ）が閾値ＴＨ１未満か判定する。閾値ＴＨ１未満であれば、ステップＳ９０６に進む。ＴＨ１以上であれば、ステップＳ９０２に進む。本実施形態では、パノラマ画像は横長であり、パノラマ画像の縦の画像サイズが１０８０で固定であるため、長辺側である横の画像サイズが閾値ＴＨ１未満であるかを判定するものとした。しかし、パノラマ画像の短辺側の縦の画像サイズが可変である場合は、横（長辺）の画像サイズと横（短辺）の画像サイズを取得し、（横の画像サイズ）／（縦の画像サイズ）が閾値ＴＨ１０未満であるか判定するようにしてもよい。

ステップＳ９０６では、それほど長辺方向に長くないパノラマ画像であるので、制御部１０１は、パンニング動画を生成するためのトリミング領域のアスペクト比を、アルバム動画のアスペクト比と同じ１６：９とすることに決定する。

ステップＳ９０２では、制御部１０１は、パノラマ画像の画像情報に含まれる被写体情報に人物が記録されているか判定する。人物が記録されていれば、ステップＳ９０６に進む。記録されていなければ、ステップＳ９０３に進む。人物が記録されているパノラマ画像は、パンニングスピードが速くなったとしても、余分画像を付加せずに、画像を大きく再生したほうがよいため、トリミング領域のアスペクト比を１６：９に設定する。

ステップＳ９０３では、制御部１０１は、前述のシナリオに記載されているＢＧＭの付属情報からＢＧＭのテンポが早いか否か判定する。早ければ、ステップＳ９０６に進む。それ以外であれば、ステップＳ９０４に進む。ＢＧＭのテンポが速い場合、パンニングスピードが速くなったとしてもＢＧＭとの親和性が高くなり、パンニングスピードを遅くする必要がないため、リミング領域のアスペクト比を１６：９に設定する。

ステップＳ９０４では、制御部１０１は、前述のシナリオに記載されているイベント情報がスポーツシーンか否か判定する。スポーツが設定されていれば、ステップＳ９０６に進む。それ以外であれば、ステップＳ９０５に進む。

ステップＳ９０５では、制御部１０１は、パノラマ画像の横の画像サイズ（長辺の長さ）が閾値ＴＨ２（＞ＴＨ１）未満かを判定する。閾値ＴＨ２未満であれば、ステップＳ９０７に進み、閾値ＴＨ２以上であれば、ステップＳ９０８に進む。ステップＳ９０５についても、ステップＳ９０１と同様に、（横の画像サイズ）／（縦の画像サイズ）が閾値ＴＨ２０未満であるか判定するようにしてもよい。ここで、ＴＨ２０＞ＴＨ１０である。

ステップＳ９０７では、パノラマ画像がある程度長辺方向に長いパノラマ画像であるので、制御部１０１は、パンニング動画を生成するためのトリミング領域のアスペクト比を、２０：９とすることに決定する。ステップＳ９０８では、パノラマ画像が長辺方向に非常に長いパノラマ画像であるので、制御部１０１は、パンニング動画を生成するためのトリミング領域のアスペクト比を、３０：９とすることに決定する。ステップＳ９０９では、ステップＳ９０６〜Ｓ９０８で決定したトリミング領域のアスペクト比と、パノラマ画像の画像サイズとから、トリミング領域のサイズを決定する。

そして、ステップＳ９１０では、決められたトリミング領域のサイズと、シナリオに記載されているフレーム数１５０４とから、トリミング領域をパノラマ画像の長辺方向の一方の端部から他方の端部まで順次移動させる際の移動量を決定する。本実施形態では、トリミング領域の縦横サイズとフレーム間での移動量を決定することにしたが、各フレームについて個別にトリミング領域の位置を決定するようにしてもよい。以上のように、パノラマ画像の縦横サイズやシナリオに設定されている情報からトリミングする領域のサイズとフレーム毎のトリミング領域の移動量を決定する。

本実施形態では、パノラマ画像からパンニング動画を作成する際のフレーム数は１２０フレーム（４秒分）とあらかじめ決まっている。そのため、長辺のサイズが異なるパノラマ画像に対して、トリミングする領域のアスペクト比を同じに設定してしまうと、フレーム間でトリミング領域を移動する際の移動量が大きくなってしまう。それにより長辺方向に長いパノラマ画像では、再生時には高速でパンニングしているよう再生されてしまう。そのため、本願発明では、長辺方向の画像サイズ、または、短辺方向の画像サイズと長辺方向の画像サイズの比（アスペクト比）でトリミング領域のアスペクト比を適切に変更し、パンニングの速度を調節している。一方で、テンポの早いＢＧＭが設定されている場合やイベントがスポーツである場合は、そのアルバム動画全体としては、躍動感のあるスピーディな動画として構成される。そのため、ユーザに提供する動画としてはあえて再生速度が速くなるようなトリミングを行って作成するパンニング動画を組み込むことが適していると考えられる。

図９では、横長のパノラマ画像におけるトリミング方法について説明した。縦長のパノラマ画像の場合も、横長のパノラマ画像と同様に、図９のフローチャートによりトリミング方法（トリミング領域のサイズとトリミング領域の移動量）を決定できる。ただし、縦長のパノラマ画像の場合は、ステップＳ９０１、Ｓ９０５の判定方法、ステップＳ９０６、Ｓ９０７，Ｓ９０８で設定されるアスペクト比が、横長のパノラマ画像とは異なる。

横長のパノラマ画像においてトリミング方法を決定する場合の、横長のパノラマ画像でのトリミング方法決定処理とは異なる点を以下に説明する。下記で説明する以外の処理は、横長のパノラマ画像でのトリミング方法決定処理と同様である。

ステップＳ９０１において、制御部１０１は、パノラマ画像の縦方向（長辺）の画像サイズが、閾値ＴＨ３未満であるかを判定する。そして、閾値ＴＨ３未満の場合は、ステップＳ９０８に進み、閾値ＴＨ３未満でない場合は、ステップＳ９０２に進む。

ステップＳ９０５において、制御部１０１は、パノラマ画像の縦方向（長辺）の画像サイズが、閾値ＴＨ４（＞ＴＨ３）未満であるかを判定する。そして、閾値ＴＨ４未満の場合は、ステップＳ９０８に進み、閾値ＴＨ４未満でない場合は、ステップＳ９０２に進む。なお、ステップＳ９０１、Ｓ９０５において、長辺の画像サイズと閾値とを比較せずに、アスペクト比と閾値とを比較することにより判定を行ってもよい。つまり、Ｓ９０１において（縦の画像サイズ／横の画像サイズ）が閾値ＴＨ３０未満であるかを判定し、Ｓ９０５において（縦の画像サイズ／横の画像サイズ）が閾値ＴＨ４０（＞ＴＨ３０）未満であるかを判定してもよい。

ステップＳ９０６では、パノラマ画像は長辺方向にそれほど長くはないパノラマ画像であるので、制御部１０１は、トリミング領域のアスペクト比を、アルバム動画のアスペクト比と同じ１６：９に設定する。

ステップＳ９０７では、パノラマ画像がある程度長辺方向に長いパノラマ画像であるので、制御部１０１は、パンニング動画を生成するためのトリミング領域のアスペクト比を、４：３に設定する。ステップＳ９０８では、パノラマ画像が長辺方向に非常に長いパノラマ画像であるので、制御部１０１は、パンニング動画を生成するためのトリミング領域のアスペクト比を、１：１に設定する。

ここで、図１４を参照して、縦長のパノラマ画像１４０１を例に、トリミング領域のアスペクト比の設定とパンニング動画生成について説明する。

パノラマ画像１４０１は、１６００×３６００のサイズを有する縦方向に長いパノラマ画像である。このパノラマ画像１４０１について、アルバム動画と同じ、アスペクト比１６：９のトリミング領域でトリミングする場合、トリミング領域１４１１のサイズは、１６００×９００となる。ここで、パンニング動画を生成する際に、トリミング領域はフレーム毎にパノラマ画像の長辺方向（縦方向）に移動させるので、パノラマ画像の短辺方向（横方向）の画像サイズが、そのままトリミング領域の横方向のサイズとなる。また、パノラマ画像の長辺方向に対応する縦方向のトリミング領域のサイズは、パノラマ画像の短辺方向（横方向）の画像サイズとトリミング領域のアスペクト比とから算出できる。アスペクト比１６：９のトリミング領域１４１１でトリミングする場合、アルバム動画も同じ１６：９のアスペクト比であるため、トリミングした画像をリサイズするだけでアルバム動画のフレーム１４１２を生成することができる。

パノラマ画像１４０１ついて、アスペクト比４：３のトリミング領域でトリミングする場合、トリミング領域１４２１のサイズは、１６００×１２００となる。この場合、アルバム動画のアスペクト比とトリミング領域１４２１のアスペクト比が異なる。そのため、トリミングした画像（１６００×１２００）をリサイズして１４４０×１０８０の画像１４２３を生成し、さらに、リサイズした画像１４２３の左右にそれぞれ余分画像を付加して、１９２０×１０８０のアルバム動画のフレーム１４２２を生成する。

さらに、パノラマ画像１４０１ついて、アスペクト比１：１のトリミング領域でトリミングする場合、トリミング領域１４３１のサイズは、１６００×１６００となる。この場合、アルバム動画のアスペクト比とトリミング領域１４３１のアスペクト比が異なる。そのため、トリミングした画像（１６００×１６００）をリサイズして１０８０×１０８０の画像１０３３を生成し、さらに、リサイズした画像１４３３の左右にそれぞれ余分画像を付加して、１９２０×１０８０のアルバム動画のフレーム１４３２を生成する。

ここで、アルバム画像と同じ１６：９のアスペクト比でトリミングしたほうが、余分画像が付加せずにパンニング動画を生成することができる。１６：９のアスペクト比に対し、４：３のアスペクト比のほうが、トリミングされる長辺方向（縦方向）の画像サイズが大きくなるため、１６：９のときよりも、フレーム間でのトリミング位置の移動量を小さくし、パンニングのスピードを小さくすることができる。さらに、４：３のアスペクト比よりも、１：１のアスペクト比のほうが、トリミングされる長辺方向（縦方向）の画像サイズがさらに大きくなるため、フレーム間でのトリミング位置の移動量をさらに小さくし、パンニングのスピードを小さくすることができる。

以上のように、縦長のパノラマ画像においても、横長のパノラマ画像と同様に、トリミング方法を決定することができる。

なお、本実施形態では、生成されるアルバム動画の画像サイズを、フルＨＤ（１９２０×１０８０）サイズとしたが、ユーザの操作部１０２への操作により他のサイズに変更可能に構成してもよい。その場合、ステップＳ９０６で設定されるアスペクト比は、変更されたサイズのアルバム動画のアスペクト比と同じにする。そして、ステップＳ９０７では、アルバム動画のアスペクト比よりも、パノラマ画像の長辺方向の割合が大きくなるアスペクト比に設定し、ステップＳ９０７では、さらに長辺方向の割合が大きくなるアスペクト比に設定する。

次に図１１を用いてステップＳ７０５のＭＰ４ファイルのデータをアルバム動画用ファイルに追記する処理について説明する。

ステップＳ１１０１では、制御部１０１は、ファイル情報１５０２から特定されるＭＰ４ファイルのうち、チャプタ番号１５０３で特定されるチャプタ番号のチャプタのデータを、記録媒体１４１から読み出して、メモリ１０４に一時保持する。ここで、ステップＳ１１０１では、特定されるチャプタ番号のデータについて、先頭から順に、特定の単位（ＧＯＰ単位またはフレーム単位）で読み出す。

ステップＳ１１０２では、ステップＳ１１０１でメモリ１０４に保持したチャプタのデータのうち、Ｈ．２６４形式の画像（動画）データを、画像処理部１１１を用いてＹＵＶデータへデコードし、ステップＳ１１０３へ進む。

ステップＳ１１０３では、制御部１０１は、ステップＳ１１０１でメモリ１０４に保持したチャプタのデータに音声データが含まれているか否かの判定を行う。音声データがあると判定した場合はＳ１１０４へ進む、音声データがないと判定した場合はＳ１１０５へ進む。

ステップＳ１１０４では、メモリ１０４に保持されたＡＡＣ形式の音声データを、音声処理部１２１を用いてＰＣＭ形式の音声データへデコードし、ステップＳ１１０６へ進む。

一方、ステップＳ１１０５では、音声処理部１２１を用いて無音のＰＣＭ形式の音声データをメモリ１０４に格納し、ステップＳ１１０６へ進む。

ステップＳ１１０６では、メモリ１０４に保持したＹＵＶデータについて、ステップＳ８０５、Ｓ８１３と同様に画像処理部１１１により画像処理効果を施す。また、ＹＵＶデータの縦横サイズが、アルバム動画の縦横サイズと異なる場合は、アルバム動画の縦横サイズとなるようにリサイズ処理を施す。ステップＳ１１０７では、ステップＳ１１０６で効果をかけたＹＵＶデータについて、ステップＳ８０６、Ｓ８１６と同様に、画像処理部１１１によりエンコードして、Ｈ．２６４形式の画像（動画）データに変換する。

ステップＳ１１０８では、ステップＳ１１０４およびステップＳ１１０５で作られたＰＣＭデータを、音声処理部１２１を用いてＡＡＣにエンコードし、ステップＳ１１０９へ進む。この時、不揮発性メモリ１０５に記録されたＢＧＭデータ（ＡＡＣデータ）のビットレートよりも大きいビットレートでエンコードを実施することにより、記録媒体１４１に記録するＭＰ４ファイルの音声品質を高めることが可能である。容量制約のある不揮発性メモリ１０５に記録するＢＧＭデータは、ビットレートを抑制する事で、容量を小さくすることで複数のＢＧＭデータを格納することを可能とする。

ステップＳ１１０９は、ステップＳ８０８と同様に、ステップＳ１１０７、Ｓ１１０８で生成された画像データ及び音声データからなるストリームデータを、ステップＳ７０１で記録媒体１４１に作成したアルバム動画用のファイルに追記する。ステップＳ１１１０で、制御部１０１は、フレーム数１５０４で指定されたフレーム数について、ステップＳ１１０１〜Ｓ１１０８の処理を行ったかを判定する。指定されたフレーム数の処理が完了したと判定された場合はステップＳ１１１１へ進む。完了していないと判定した場合はステップＳ１１０１に戻り、指定されたフレーム数の処理が完了するまで処理を繰り返す。

ステップＳ１１１１では、ストリームを追記したアルバム用動画ファイルのファイル管理情報を更新して記録する。なお、シナリオで指定されたチャプタから生成された動画が、１つのチャプタとして構成されるように、管理情報を更新する。このようにして、シナリオで指定された動画のチャプタから生成したアルバム動画用のデータが、アルバム用動画ファイルに追記される。

次に図１２を用いてステップＳ７０９のアルバム動画のＭＰ４ファイルにＢＧＭを合成する処理について説明する。

ステップＳ１２０１では、合成用のＢＧＭデータとして選択されている、ＷＡＶファイルを記録媒体１４１から読み出してメモリ１０４保持し、ステップＳ１２０２へ進む。

ステップＳ１２０２では、ＢＧＭ合成用のＭＰ４ファイルを新規作成し、記録媒体１４１に記録する。

ステップＳ１２０３は、アルバム動画のＭＰ４ファイルのデータを記録媒体１４１から読み出してメモリ１０４に保持する。ここでは、ＭＰ４ファイルのデータを先頭から順に、所定の単位（ＧＯＰ単位、フレーム単位、時間単位）で読みだす。

ステップＳ１２０４では、ステップＳ１２０３でメモリ１０４に保持したＭＰ４ファイルのＨ．２６４形式の画像データをデコードし、ＹＵＶデータにする。ステップＳ１２０５では、テップＳ１２０３でメモリ１０４に保持したＭＰ４ファイルのＡＡＣ形式の音声データをデコードしＰＣＭ形式の音声データに変換する。

ステップＳ１２０６では、ステップＳ１２０１でメモリ１０４に保持したＷＡＶファイルのＰＣＭデータとステップＳ１２０５でデコードされたＰＣＭデータとを、音声処理部１２１を用いてミックス処理を行う。ここで、ミックスする割合はシナリオに記載されている合成率０％、５０％、１００％のいずれかに応じて合成処理を行い、ステップＳ１２０７へ進む。

ステップＳ１２０７では、ステップＳ１２０４で生成したＹＵＶデータを。Ｈ．２６４データにエンコードする。ステップＳ１２０８では、ステップＳ１２０６でＢＧＭがミックスされたＰＣＭデータをＡＣＣにエンコードする。そして、ステップＳ１２０９では、ステップＳ１２０７で取得したＨ．２６４形式の動画データと、ステップＳ１２０８で取得したＡＡＣ形式の音声データと〜構成されるストリームデータを、ステップＳ１２０２で作成したＧＭ合成用のＭＰ４ファイルに記録する。既に、ストリームデータが記録されている場合は、追記していく。ステップＳ１２０１では、制御部１０１は、ＢＧＭの合成が指定されたアルバム動画のＭＰ４ファイルの全フレームのデータについて、ステップＳ１２０３〜Ｓ１２０９の処理が完了したかを判定する。完了したと判定されるまで、ステップＳ１２０３〜Ｓ１２０９の処理を繰り返す。完了したと判定されたら、ステップＳ１２１１において、ＢＧＭ合成用のＭＰ４ファイルの管理情報を記録する。そして、ステップＳ１２１２では、ＢＧＭ合成対象として指定されていたＢＧＭ合成前のＭＰ４ファイルを記録媒体１４１から削除する。

このようにして、ＢＧＭの合成処理が実行される。

次に、ステップＳ６０９のプレビュー再生について説明する。

プレビュー再生処理においては、ステップＳ６０６のアルバム動画保存処理と同様にアルバム動画が作成される。ただし、プレビュー再生処理では、生成されたアルバム動画は、記録媒体１４１には記録せずに、表示制御部により表示用のデータに変換され、表示部１３０に表示される。記録媒体への記録はしないので、リサイズや効果を施してＹＵＶデータを生成した後、Ｈ．２６４へのエンコードは行わずに、すぐに表示用のデータに変換して表示部１３０に表示するようにしてもよい。

このように、本実施形態の撮像装置１００では、アルバム動画を生成し、記録、または、表示（再生）する際に、再生対象としてパノラマ画像が含まれている場合に、パンニング動画を生成する。そして、パノラマ画像からパンニング動画を生成する際に、パノラマ画像の長辺方向の画像サイズまたはアスペクト比、ＢＧＭのテンポ、撮影シーンに応じて、トリミング方法を決定する。そのため、パノラマ画像から適切な動画を生成することができる。

なお、本実施形態では、アルバム動画を生成して保存するものとしたが、生成したシナリオを記録媒体１４１に保存することにより、次回も同じアルバム動画の再生を行うようにしてもよい。その場合、再生時に出力するアスペクト比を変更することができる。そのため、例えばアスペクト比の異なる外部の表示装置にアルバム動画を出力する際などにも、外部表示装置の表示サイズや画像を表示する表示領域のサイズに応じた、適切なアルバム動画を生成することができる。この場合、上記で説明した処理において、アルバム動画の画像サイズの代わりに、表示サイズを用いて処理を実行する。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims (21)

1. パノラマ画像を取得する取得手段と、
   前記パノラマ画像に基づいて動画を生成する動画生成手段であって、前記パノラマ画像をトリミングする際のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングした複数のトリミング画像が順次再生される動画を生成する動画生成手段と、を有し、
   前記動画生成手段は、前記パノラマ画像の所定方向のサイズまたはアスペクト比に応じて、前記パノラマ画像を所定のアスペクト比でトリミングするか、前記パノラマ画像を前記所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする画像処理装置。
2. 前記所定のアスペクト比は、前記動画生成手段により生成される動画のアスペクト比であることを特徴とする請求項１に記載の画像処理装置。
3. 前記動画生成手段は、前記パノラマ画像をトリミングする際に、トリミング領域のアスペクト比は変更せずに、トリミング領域の位置を順次移動することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記動画生成手段は、前記パノラマ画像の画像サイズと、トリミング領域のアスペクト比とに応じて、トリミング領域の位置の移動量を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記動画生成手段は、１つのパノラマ画像について所定期間の動画を生成することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記動画生成手段は、前記パノラマ画像の画像サイズと、トリミング領域のアスペクト比と、前記所定期間の長さとに応じて、トリミング領域の位置の移動量を決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記動画生成手段は、前記パノラマ画像をトリミングする際に、トリミング領域の位置を、前記パノラマ画像の長辺方向の一方の端部から、長辺方向の他方の端部まで移動させることを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記動画生成手段は、前記パノラマ画像の長辺サイズ、または、長辺サイズ／短辺サイズが所定の値よりも小さい場合に、前記所定のアスペクト比でトリミングし、前記パノラマ画像の長辺サイズ、または、長辺サイズ／短辺サイズが前記所定の値よりも大きい場合に、前記所定のアスペクト比よりも前記パノラマ画像の長辺に対応する辺のサイズが大きくなるアスペクト比でトリミングするように制御することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 前記動画生成手段は、前記パノラマ画像の長辺サイズ、または、長辺サイズ／短辺サイズが所定の値よりも小さい場合に、前記所定のアスペクト比でトリミングして動画を生成し、前記パノラマ画像の長辺サイズ、または、長辺サイズ／短辺サイズが前記所定の値よりも大きい場合に、前記所定のアスペクト比よりも前記パノラマ画像の長辺に対応する辺のサイズが大きくなるアスペクト比でトリミングし、トリミングされた画像に所定のデータを付加して動画を生成することを特徴とする請求項８に記載の画像処理装置。
10. パノラマ画像を取得する取得手段と、
    前記パノラマ画像の一部領域をトリミングし、トリミングされた画像を表示するように制御する表示制御手段であって、前記パノラマ画像のトリミング領域の位置を順次移動してトリミングし、位置を変更してトリミングしたトリミング画像を順次表示させるように制御する表示制御手段と、を有し、
    前記表示制御手段は、前記パノラマ画像の所定方向のサイズまたはアスペクトに応じて、前記パノラマ画像を所定のアスペクト比でトリミングするか、前記パノラマ画像を前記所定のアスペクト比と異なるアスペクト比でトリミングするかを切り替えることを特徴とする画像処理装置。
11. 前記所定のアスペクト比は、前記パノラマ画像を表示させる際の表示サイズに対応するアスペクト比であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記表示制御手段は、前記パノラマ画像をトリミングして表示する際に、トリミング領域のアスペクト比は変更せずに、トリミング領域の位置を順次移動することを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記表示制御手段は、前記パノラマ画像の画像サイズと、トリミング領域のアスペクト比とに応じて、トリミング領域の位置の移動量を決定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記表示制御手段は、１つのパノラマ画像について所定期間の表示を行うために、位置を変更してトリミングした画像を前記所定期間において順次表示させるように制御することを特徴とする請求項１０ないし１３のいずれか１項に記載の画像処理装置。
15. 前記表示制御手段は、前記パノラマ画像の画像サイズと、トリミング領域のアスペクト比と、前記所定期間の長さとに応じて、トリミング領域の位置の移動量を決定することを特徴とする請求項１４に記載の画像処理装置。
16. 前記表示制御手段は、前記パノラマ画像をトリミングする際に、トリミング領域の位置を、前記パノラマ画像の長辺方向の一方の端部から、長辺方向の他方の端部まで移動させることを特徴とする請求項１０ないし１５のいずれか１項に記載の画像処理装置。
17. 前記表示制御手段は、前記パノラマ画像の長辺サイズ、または、長辺サイズ／短辺サイズが所定の値よりも小さい場合に、前記所定のアスペクト比でトリミングし、前記パノラマ画像の長辺サイズ、または、長辺サイズ／短辺サイズが前記所定の値よりも大きいさい場合に、前記所定のアスペクト比よりも前記パノラマ画像の長辺に対応する辺のサイズが大きくなるアスペクト比でトリミングするように制御することを特徴とする請求項１０ないし１６のいずれか１項に記載の画像処理装置。
18. 前記表示制御手段は、前記パノラマ画像の長辺サイズ、または、長辺サイズ／短辺サイズが所定の値よりも小さい場合に、前記所定のアスペクト比でトリミングして表示し、前記パノラマ画像の長辺サイズ、または、長辺サイズ／短辺サイズが前記所定の値よりも大きいさい場合に、前記所定のアスペクト比よりも前記パノラマ画像の長辺に対応する辺のサイズが大きくなるアスペクト比でトリミングし、トリミングされた画像に所定のデータを付加して生成された前記所定のアスペクト比の画像を表示するように制御することを特徴とする請求項１７に記載の画像処理装置。
19. パノラマ画像を取得する取得手段と、
    前記パノラマ画像の一部をトリミングし、トリミングした画像から前記パノラマ画像に対応する動画を生成する動画生成手段であって、トリミング領域の位置を所定の方向に順次移動することにより、再生される領域が前記パノラマ画像内で前記所定の方向に移動する動画を生成する動画生成手段と、
    前記パノラマ画像が所定の条件を満たしている場合には、所定のアスペクト比で前記パノラマ画像をトリミングし、前記パノラマ画像が所定の条件を満たさない場合には、前記所定のアスペクト比と異なるアスペクト比でトリミングするように前記動画生成手段を制御する制御手段と、を有することを特徴とする画像処理装置。
20. 前記所定の条件は、前記パノラマ画像に人物が含まれている場合であることを特徴とする請求項１９に記載の画像処理装置。
21. コンピュータを、請求項１ないし２０に記載の画像処理装置の各手段として機能させるためのプログラム。

Images