以下、図面を参照して本発明の好適な実施形態を説明する。
図1に本発明の電子機器の一例としてのデジタルカメラ100の外観図を示す。表示部28は画像や各種情報を表示する表示部である。表示部28にはタッチ操作を受付可能(タッチ検出可能)なタッチパネル70aが重畳されている。シャッターボタン61は撮影指示を行うための操作部である。モード切替スイッチ60は各種モードを切り替えるための操作部である。操作部70はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。十字キー73は上下左右キーを有する操作部70に含まれる操作部材であり、各キーの方向に応じた方向への操作が可能である。左キー73a、右キー73b、上キー73c、下キー73dを押下するとそれぞれの方向に選択項目、カーソル、画像の表示位置等が変わる。例えば、右キー73bを押下すると選択中の項目が現在選択中の項目の右方向にある項目に切り替わる。SETボタン74は、選択中の項目を確定するためのボタンである。メニューボタン75は、再生画面や撮影画面においてはメニュー画面を表示するためのボタンであり、項目設定をしている画面においては戻るボタン、編集操作を行っている画面においては編集した画像を確認する画面に遷移するボタン(及び戻る)である。倍率切替バー76は、左右に回すように操作をすると、再生画像が表示されている場合には再生画像の倍率を変更可能なバーであり、左方向に回すと縮小、右方向に回すと拡大することができる。ダイヤル77は回転部材であり、回転操作がされると選択する項目の移動や、表示する項目を切り替えるようなスクロール操作を行うことができる。電源スイッチ72は、電源オン、電源オフを切り替えるための押しボタンである。記録媒体200はメモリカードやハードディスク等の不揮発性の記録媒体である。記録媒体スロット201は記録媒体200を格納するためのスロットである。記録媒体スロット201に格納された記録媒体200は、デジタルカメラ100との通信が可能となり記録や再生が可能となる。蓋202は記録媒体スロット201の蓋である。図においては、蓋202を開けてスロット201から記録媒体200の一部を取り出して露出させた状態を示している。
なお操作部70の一つとして、表示部28に対する接触を検知可能なタッチパネル70aを有する。タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aを光の透過率が表示部28の表示を妨げないように構成し、表示部28の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部28上の表示座標とを対応付ける。これにより、恰もユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザーインターフェース)を構成することができる。システム制御部50はタッチパネル70aへの以下の操作。あるいは状態を検出できる。
・タッチパネルにタッチしていなかった指やペンが新たにタッチパネルにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネルを指やペンでタッチしている状態であること(以下、タッチオン(Touch−On)と称する)。
・タッチパネルを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネルへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネルに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。タッチオンした後に、タッチムーブせずに素早くタッチアップを行う一連の操作をタップという。これらの操作・状態や、タッチパネル上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知され、システム制御部50は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。タッチムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。後述する指定領域または並び替え領域に表示されたサムネイル列(アイテム列)へのフリック操作が有効な場合には、左右へのフリック操作が行われると、タッチアップ後も減速しながらサムネイル列のスクロールが行われ、その後停止する。すなわち、フリック操作でスクロール指示を行うと、タッチムーブ量より大きい距離のスクロールをさせることができ、少ない操作ですばやく画像を探すことができる。スクロール操作はフリック操作よりも長い距離のタッチムーブをする操作であり、操作距離に応じて移動の指示等がされる。一方で、スクロール操作よりもタッチムーブをする距離が短いフリック操作では、フリック操作における指の移動速度が速いほど、長い距離の移動指示(速度に応じて指示量が大きくなる)がされる。また、所定距離以上を、所定速度未満でタッチムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対して指やペンが接近していても触れないこともタッチがあったと検出する方式ものがあるが、いずれの方式でもよい。
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。
図2において、撮影レンズ103はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター101は絞り機能を備えるシャッターである。撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器13を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器13においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示(ライブビュー表示)を行える。
不揮発性メモリ56は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。
システム制御部50は、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。
システムメモリ52には、RAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。
システムタイマ53は、時間を計測可能なタイマであり、アニメーションにおける表示更新をするための時間等を計測可能である。
モード切替スイッチ60、シャッターボタン61、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、ショートクリップミックス、再生モード等のいずれかに切り替える。モード切替スイッチ60で、メニュー画面に含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、メニューボタン75でメニュー画面に一旦切り換えた後に、メニュー画面に含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。撮影された画像は記録媒体200に記録され、再生モードにおいて再生可能である。
第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70には、少なくともダイヤル77、十字キー73、SETボタン74、タッチパネル70a、メニューボタン75が含まれる。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源スイッチ72は、ユーザからの電源スイッチのオン、オフの操作に応じてデジタルカメラ100の電源をオフ、オンにするようにシステム制御部50に伝える。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の不揮発性の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。
本実施形態で説明するショートクリップミックスの動画とは、動画撮影モードの一種であるショートクリップミックスで撮影された2秒〜5秒の動画であり、スロー再生、倍速再生、リピート再生をするように動画に効果をかけることができる。また、ショートクリップミックスで撮影された動画は、ショートクリップミックス動画のID(他のモードの動画とは識別可能なID)が付与されて記録される。ショートクリップミックス編集画面において編集及び動画の再生が可能であり、編集画面において撮影された複数のショートクリップミックスの動画を動画素材として連結(結合)し、結合動画とすることにより1組の結合動画(動画ファイル)が作成される。
後述するショートクリップミックスの編集操作を行うショートクリップミックスの編集画面について図7を用いて説明する。図7は、ショートクリップミックスの編集画面の一例であり、ショートクリップミックスで撮影された動画(以下、動画素材とする)を示すサムネイル(アイテム)が左から右に向かって時系列に一列に並ぶ(左の動画素材の方が古い)指定領域701がある。時系列とは、ファイル名順、撮影日時順、ファイル作成日時順等であり、時系列でサムネイルが並べられていると所望のサムネイルのある位置をユーザが予測しやすく、並び順の規則に沿って所望のサムネイルを探しやすい。また、ショートクリップミックス動画の結合動画に含める動画素材として、ユーザから指定された動画素材のサムネイルが一列に並ぶ並べ替え領域702の領域がある。各サムネイルに重畳して示されている番号は、サムネイルの番号を示すためのものであり、実際には表示されない。また、各サムネイルに対応する動画素材の番号は、サムネイルの番号と同じであり、例えばサムネイル8に対応する動画素材は動画素材6である。並べ替え領域702に表示されるサムネイルに対応する動画素材を結合することで1つの結合動画が作成でき、結合動画においては並べ替え領域702で左から右に向かう方向の順番で表示されるサムネイルに対応する動画が再生される(順次再生)。すなわち、サムネイルの配置順で結合動画が再生される。並べ替え領域702に表示される動画素材のIDは記録媒体200内の管理ファイルに記録されており、管理ファイル内では再生される順番(結合される順番)に対応して動画素材のIDが記録されている。もしくは、各動画素材に再生順序の情報を付与するようにしてもよい。なお、結合動画に含めることのできる動画素材の数は40までである。また、並べ替え領域702においては、指定された動画素材を並べ替える操作を受付可能である。動画指定モードの場合には、図7(a)のように、指定領域701にある動画素材6〜10から結合動画に含める動画素材を指定動画として指定可能である。さらに、スクロール操作を行うことにより動画素材6〜10以外の動画のサムネイルも表示可能である。表示されているサムネイルのうち中央にあるサムネイルに枠705が表示される。動画素材を指定すると枠705の位置(中央)にあるサムネイル(図7(a)の例ではサムネイル8)が並べ替え領域702に移動する(移動したサムネイルに対応する動画素材が指定動画となる)。このとき、動画素材6は結合動画に含まれ、管理ファイルに動画素材のIDが記録される。複数の動画素材が並べ替え領域702に移動され、さらに並べ替え領域702に表示されたサムネイルがSET(設定)されると、ユーザはスクロール操作によって並べ替え操作を行うことができる。このように、デジタルカメラ100のように小さい操作画面において、動画素材(サムネイル)の数が画面に表示しきれない数あったとしてもスクロール操作によって表示する(操作可能な)動画素材を切り替えることができる。よって、動画素材の指定や並び替え等の操作をすることができる。また指定領域701と並べ替え領域702に分けて、動画素材の指定と編集操作を同じ画面で(画面遷移せずに)行うことができるのでユーザは操作性良く画像の編集操作を行うことができる。指定領域701に表示される複数のサムネイルと、並べ替え領域702に表示される複数のサムネイルとは平行に並んで表示されている。なお、図7の指定領域701ではサムネイルが5つ表示されているが、指定領域701に表示可能なサムネイルは3つや7つであってもよい。
図3を用いて、本実施形態における結合動画作成処理について説明する。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この処理は、デジタルカメラ100に電源が入り、再生モードが選択され(再生画面が表示され)、さらにショートクリップミックスの編集画面が選択されると開始する。また、図3の処理は動画素材の指定操作を行うモード(動画指定モード)について説明をしている。
S301では、システム制御部50は、作成途中の結合動画の管理ファイルが記録媒体200に記録されているか否かを判定する。ショートクリップミックス動画では、最後に編集操作が行われた結合動画の管理ファイルを、その管理ファイル内の動画素材を結合動画として結合(連結)して保存していても、していなくても保存する。管理ファイルがある場合には、前回の続きから結合動画を作成することができる。既に作成途中の管理ファイルがあると判定した場合は、S302へ進み、そうでない場合は、S305へ進む。
S302では、システム制御部50は、作成途中の結合動画の続きから作成するか否かをユーザからの指示により判定する(S301で判定された管理ファイルに上書きしていくか否かを判定する)。S301で作成途中の結合動画があると判定された場合には、表示部28に前回の続きから編集操作を行うか、新たに結合動画を作成するかの選択肢を表示し、ユーザがいずれかを選択できるようにする。作成途中の結合動画の続きから作成すると判定した(指示された)場合は、S304へ進み、そうでない場合は、S305へ進む。
S303では、システム制御部50は、作成中の管理ファイルを呼び出す(読み込む)。図14は、記録媒体200に書き込まれた管理ファイルの記録状態の一例を示しており、再生順序とショートクリップ動画1つ1つに割り当てられるIDが対応して書き込まれる。本実施形態においては、動画素材1のIDは0001、動画素材2のIDは0002、動画素材3のIDは0003というように動画素材の番号とIDの番号が対応するように設定するものとして説明する。
S304では、システム制御部50は、S303において読み出した管理ファイルにある動画素材のIDに対応するサムネイルを表示部28の並び替え領域702に表示する。詳しくは、図7(c)のように読み出したサムネイルを左に寄せて表示する。このように左に寄せて表示することで、次に動画素材を指定する操作を行った場合には、後述するように指定された動画素材は並べ替え領域702の一番最後の位置に挿入される。または、図7(d)、(f)に示すように並べ替え領域702に、並べ替え領域702の中心を空ける(中心に画像が配置されない)ようにサムネイルを表示(センター割り表示)してもよい。図7(e)は、並べ替え領域702にサムネイルが移動する途中の状態(並べ替え領域702に移動した際の状態)を示しているのでセンター割り表示ではないセンターフォーカス表示である。センターフォーカス表示では、領域の中心に1つのサムネイルが表示されるよう奇数個のサムネイルが表示され、センター割り表示では偶数個のサムネイルが領域の中心を空けるように(領域の中心から左右に同じ数のサムネイルが表示されるように)表示される。言い換えれば、動画素材の並び替えをする場合には、サムネイルの順番が分かりやすいように、サムネイルを同じ間隔で並べて並び替え領域702に表示する(中央の領域にも表示をする)。一方で、動画素材の指定をする場合には、指定する動画の挿入位置が分かりやすいように、並び換え領域702の中央の領域をあけ、中央の領域を挟むように動画を挿入する位置の前後の動画素材のサムネイルを表示する。言い換えれば、これから選択する動画が挿入される前後の動画のサムネイル間の境界領域が中央の位置にくるようにアイテム列を並べる。このように、指定される動画が挿入される位置の前の動画(並べ替え領域702)、挿入候補となる動画(指定領域701)、後の動画(並べ替え領域702)を横方向に順番に表示するので、指定する動画の挿入位置と、挿入後の並び順をイメージしやすくなる。また、並べ替え領域702への操作を行っている場合には、動画素材を指定する際に境界領域が中央位置には重ならず、中央位置にはサムネイルが表示される。
S305では、システム制御部50は、初期画面表示をする。すなわち、図7(a)、(b)のように、表示部28を並び替え領域702にサムネイルを表示しない状態にする。また、S302において続きから作成しないと判定されたので、ここで記録媒体200に記録されていた管理ファイル中の動画素材のIDを削除する。S301〜S305で説明したように、新たに結合動画を作成することもできるし、前回作業していた続きから結合動画を作成することもできる。なお、記録媒体200内において複数のショートクリップ動画のための管理ファイルを設けられるようにしてもよく、その場合には作成途中のどの結合動画の続きから編集操作を行うかを選択できるようにする。
S306では、システム制御部50は、指定領域701において指定領域701または表示部28の横方向の中央の位置にサムネイルが位置するように、サムネイルを表示する。すなわち、図7(a)の指定領域701のように、サムネイル(サムネイル8)が表示部28の横幅、及び指定領域701の中央に位置するように表示する。また、中央に表示されるサムネイル(サムネイル8)に枠705を表示する。このとき、他のサムネイルを含むサムネイル列(サムネイル6〜10)を移動して表示(センターフォーカス表示)する。また、サムネイル6〜10は指定領域701の横方向に並べられており、指定領域701の横方向の中央の位置にあるサムネイル8(選択中の動画素材に対応するサムネイル)が枠705に囲まれて表示される。枠705で囲まれるサムネイル8が選択状態であることを示している。また、選択されるサムネイルは中央の位置に表示される。なお、結合される動画に含むものとして既に指定されている動画素材のサムネイル(並べ替え領域に同一のサムネイルがあるもの)は、指定領域701においてグレーアウトして表示される。
S307では、システム制御部50は、結合動画作成処理の終了指示がされたか否かを判定する。結合動画作成処理の終了指示には、電源を切る操作、並び替え領域702にサムネイルが表示されていない場合のメニューボタンの選択(メニューボタン75の押下や図7(a)、(b)のメニューアイテム703へのタッチ操作)で再生モードに戻す操作がある。さらに撮影指示、無線通信処理等がある。結合動画作成処理の終了指示がされたと判定した場合は、結合動画作成処理を終了し、そうでない場合は、S308へ進む。このとき、作成途中の結合動画の管理ファイルは記録媒体200に記録される。
S308では、システム制御部50は、並び替え領域702にサムネイルが表示されている場合にメニューの選択がされたか否かを判定する。S308におけるメニューの選択がされたか否かは、メニューボタン75への押下か、結合を示すメニューアイテム708が表示されている場合にはメニューアイテム708へのタッチ操作がされたかにより判定する。メニューの選択がされたと判定した場合には、S309へ進み、そうでない場合は、S314へ進む。メニューを示す記号と共に表示されるガイドが図7(c)のメニューアイテム708のように結合を示すものではなく、図7(a)のメニューアイテム703のように元の画面に戻るものである(初期画面)場合には、S308の判定をNoとしてS314へ進む。メニューアイテム708は、動画素材を結合する指示をするためのアイテムであり、並び替え領域702に1つ以上のサムネイルが表示されている場合に表示される。また、並べ替え領域702にサムネイルが表示されていない場合(指定された動画素材がない場合)には、メニューアイテム708ではなく戻る指示をするためのメニューアイテム703が表示される。すなわち、メニューアイテム708が表示されている時にメニューボタン75が押下されると動画素材の結合指示になり、メニューアイテム703が表示されている時にメニューボタン75が押下されると再生モードに戻す指示になる。
S309では、システム制御部50は、不図示の結合メニューの表示をする。結合メニュー画面には、結合処理をするためのプレビュー、保存、BGM設定、色効果設定等の選択肢が表示される。また、結合メニューが表示されている場合には、メニューボタン75の押下によって、もとの結合動画作成処理を行うための画面に戻る指示をすることができる。
S310では、システム制御部50は、結合メニュー画面から結合動画作成処理を行うための画面に戻る指示(メニューボタン75の押下)がされたか否かの判定をする。戻る指示がされたと判定した場合には、S306へ戻り、そうでない場合には、S311において結合処理を行う。
S311では、システム制御部50は、結合メニュー画面に表示された保存以外の選択肢の選択操作に応じた処理を行う。この処理は、S309で表示した結合メニューのうち、プレビュー、BGM設定、色効果設定等の処理である。ユーザは、プレビューをすることによって、結合動画作成の途中で作成中の結合動画を確認することができる。また、結合動画の動画素材につけるBGMや色効果等を選択することができるので、ユーザがより面白いと感じる結合動画を作成することができる。
S312では、システム制御部50は、S309で表示した結合メニューのうち保存が選択され、ユーザにより作成した結合動画を保存する指示がされたか否かを判定する。作成した結合動画を保存する指示がされたと判定した場合にはS313へ進み、そうでない場合は、S310に戻る。
S313では、システム制御部50は、管理ファイルに記録された順番で複数の動画素材を結合して1つの動画(結合動画)を作成する結合処理を行う。さらに、作成された結合動画(編集された管理ファイルの記録状態)に、新たにショートクリップ結合動画としてIDを付与して記録媒体200に記録(保存)する。結合動画の記録処理が終了すると、結合動画作成処理が終了し、再生画面へと戻る。
S314では、システム制御部50は、指定領域701への横方向のスクロール指示がされたか否かを判定する。スクロール指示とは、ここでは指定領域701での左右方向へのタッチムーブによるスクロールまたはフリック、指定領域701の画像が選択された状態で十字キー73の左右キー73a、bの押下、ダイヤル77の回転操作である。スクロール指示の方向は、指定領域701においてサムネイルが並ぶ方向に基づき、縦方向にサムネイルが並ぶ場合には縦方向へのスクロール指示がされたか否かを判定する。スクロール指示がされたと判定された場合には、S315へ進み、そうでない場合は、S316へ進む。図7は指定領域701の動画素材が選択されている際の表示部28の一例であり、このように指定領域701の動画素材が選択された(指定領域701のサムネイルに枠705が囲まれている)状態で、指定領域701へのスクロール指示がされたかを判定する。指定領域701が選択されている状態(動画指定モード)でスクロール操作がされると、指定領域701に表示しているサムネイルを切り替えることが可能である。
S315では、システム制御部50は、指定領域701に表示されているサムネイルをスクロール(移動)する。図7(a)、(b)は指定領域701へのスクロール指示がされた前後の表示部28の一例を示している。図7(a)では、サムネイル8が選択されている。この状態で右方向への2つのサムネイルの幅に相当する距離(2サムネイル分)のタッチムーブのスクロール操作、もしくは左キー73aが2回押下されると、図7(b)に示すようにサムネイル8の2つ左にあるサムネイル6(動画素材6)が選択される。または、フリック操作、ダイヤル77の2メモリ分の左回転操作によってもスクロール指示することができる。フリック操作によるスクロール指示はフリック操作が行われた速さに応じてその距離が決まる。本実施形態では選択中のサムネイルが領域の中央に表示される(選択枠の位置が固定)ため、操作部材への操作でスクロール指示をする場合には、左方向にある項目の選択操作により左方向の項目が中央に位置するようにサムネイル列が右方向にスクロールする。また、図7(a)ではサムネイル6〜10が表示されていた状態でスクロール指示がされると、例えば図7(b)のようにサムネイル4〜8が表示されるようになる。このように、指定領域701においてスクロール指示を行うと、表示するサムネイルを切り替えることができるので、指定する動画素材を現在表示されているサムネイルに限らず選ぶことができる。すなわち、デジタルカメラ100のように表示領域の限られた場合であってもスクロールによって、表示領域には表示しきれない数のサムネイルからの指示操作をすることができる。選択された動画素材のサムネイルは他のサムネイルよりも大きく表示されるので、動画の様子や詳細を確認しやすい。また、図7(a)、(b)の時間710や、拡大マーク711が、サムネイルが選択された後2秒間、選択されたサムネイルに重畳して表示される。時間710は、選択されたサムネイルに対応するサムネイルに対応する動画素材の再生時間を示しており、拡大マーク711は動画素材の再生が拡大操作によって行うことができることを示す表示であり、再生時間や再生方法をユーザに通知する。
S316では、システム制御部50は、選択中のサムネイルに対応する動画素材を再生する指示がされたか否かを判定する。動画素材の再生は、上述したように図7(a)のサムネイル8、もしくは図7(b)のサムネイル6に重畳して表示される拡大マーク711が示すように、画像を拡大する操作によって行うことができる。つまり、倍率切替バー76を右方向に回す操作(画像を拡大する操作)がされたか否かを判定する。また、選択中のサムネイルに対するピンチアウト操作(2点でタッチし、互いのタッチ位置を遠ざけるようにタッチムーブする操作)で再生する指示ができるようにしてもよい。選択中の動画素材を再生する指示がされたと判定した場合は、S317へ進み、そうでない場合は、S318へ進む。
S317では、システム制御部50は、S316において動画素材の再生指示がされた際に選択されていた動画素材の再生をする。動画素材を再生する際には、指定領域701や並べ替え領域702のある編集画面から再生画面へと切り替わる。動画素材の再生が終了すると、動画素材の再生指示をした際のもとの編集画面へと戻る。このように、並べ替える動画素材を指定する操作の途中に、動画素材を再生して動画の内容を容易に確認することができる。よって、ユーザは結合動画作成する編集画面から、画像の再生がされる画面に切り替え、さらに再生する画像を選択するという操作を行わなくても、指定領域701において再生指示をするだけで動画素材を再生させることができる。また、動画素材の再生終了後にはユーザが操作をしなくても、元の編集画面に戻るので、動画の内容を確認した動画素材に対してすぐに動画素材の指定操作、解除操作、並べ替え操作を行うことができる。
S318では、システム制御部50は、動画素材をSET(指定もしくは解除)する操作がされたか否かを判定する。SETする操作には指定操作と解除操作が含まれており、同じ操作であっても操作をする対象となる動画素材が既に指定されている場合(指定済、移動済)には、解除操作になり、指定既でない場合(未指定)には指定操作になる。また、同じSETのアイテム(704または706)であっても、選択中の動画素材が指定済の場合にはSETを示すアイテムは解除指示を示し、未指定の場合にはSETを示すアイテムは指定指示を示す。すなわち、指定操作は図7(a)〜(d)に示すアイテム704、解除操作は図7(e)、(f)のアイテム706をタッチする操作によって行うことができる。もしくは、SETボタン74の押下によってもSETすることができる。SETボタン74が押下された際に、アイテム704が表示されていれば(すなわち選択中の動画素材が未指定であれば)指定、アイテム706が表示されていれば(すなわち選択中の動画素材が指定済であれば)解除の指示となる。また指定領域701から並べ替え領域702への下方向のフリック操作や、タッチオンとタッチアップの一連したタッチ操作(アイテムへタッチして離す操作)によっても、操作時に選択されている動画素材にSET(動画素材を指定)する操作を行うことができる。動画素材をSETする操作がされたと判定した場合には、S319へ進み図4で説明する画像指定解除処理を行い、そうでない場合は、S320へ進む。
S319では、システム制御部50は、画像指定/解除処理を行う。画像指定/解除処理については、図4を用いて後述する。
S320では、システム制御部50は、並べ替え領域702へのスクロール指示がされたか否かを判定する。図3の処理は、動画素材を指定する動画指定モードの処理を示しているが、動画指定モードであっても並べ替え領域702へのスクロール指示(ユーザ操作)は受け付ける。スクロール指示は並べ替え領域702における左右方向(横方向)タッチムーブによるドラッグまたはフリック操作によって行うことができる。ただし、ダイヤル77、十字キー73への操作が行われた場合には、動画指定モードで指定領域701がアクティブな状態であるので、指定領域701への操作となる。図7(c)、(d)に示すように、サムネイル6が選択された状態である動画指定モード中に、並べ替え領域702への右方向のスクロール指示が行われるとサムネイル6の挿入位置を変更することができる。つまり、図7(c)の状態でサムネイル6の指定操作が行われるとサムネイル6はサムネイル1の後ろに挿入されるが、図7(d)の状態でサムネイル6の指定操作が行われるとサムネイル6はサムネイル3と1の間に挿入される。このように動画指定モードにおいても並べ替え領域702へのスクロール指示を受け付けるので、ユーザは動画素材の挿入位置を決めた後に、指定操作をすることで、所望の位置への動画素材の挿入をすることができる。並べ替え領域702へのスクロール指示がされたと判定した場合は、S321へ進み、そうでない場合は、S322へ進む。
S321では、システム制御部50は、並べ替え領域702において表示されているサムネイル列を移動するアニメーションを表示する(スクロール表示する)。例えば、図7(c)のようにサムネイル3と1が位置する場合に、右方向への1サムネイル分のスクロール指示が行われると、図7(d)においてサムネイル3と1が表示されている位置まで右側に1サムネイル分移動する。なお、並べ替え領域702において並べ替え操作ではなく、表示切り替えをするためのスクロール指示がされた場合には、管理ファイルの記録状態は変わらない。
S322では、システム制御部50は、並べ替え領域702が選択されたか否かを判定する。並べ替え領域702の選択は、並べ替え領域702へのタップ操作によって行うことができる。もしくは、下キー73dの押下、もしくは図7(c)〜(f)の並べ替えモードへの切り替えを示すアイテム707へのタッチ操作によっても可能である。ただし、S320で上述したように動画指定モードにおける並べ替え領域702へのスクロール指示は表示される指定画像の移動がされるのであって、並べ替え領域702の選択がされるわけではない。並べ替え領域702が選択されると並べ替えモードに切り替えられる。並べ替え領域702の選択がされたと判定した場合は、S323へ進み、そうでない場合は、S306へ戻る。
S323では、システム制御部50は、並べ替えモードの処理を行う。並べ替えモードの処理は、図5において説明する。並べ替えモードに切り替えられると、指定領域701において選択状態で表示されていたサムネイルは、非選択状態になる。動画指定モードの場合には指定領域701のサムネイルが選択された状態であり、指定領域701にスクロールバー713が表示されたり、ダイヤル77の回転操作をした際に指定領域701のサムネイルが移動する。並び替えモードの場合には並び替え領域702のサムネイルが選択された状態であり、図9に示すように並び替え領域702にスクロールバー903が表示されたり、ダイヤル77の回転操作をした際に並び替え領域702のサムネイルが移動する。このように、動画素材の指定と、動画素材の並べ替えの何れかの操作を行うためのモードを同じ画面内において切り替えることができる。
また、結合動画作成処理のうち動画指定モードにおいては指定領域701と、並べ替え領域702においてスクロールをすることにより、表示部28に表示する動画素材のサムネイルを切り替えることができる。
次に、図4を用いて、本実施形態における画像指定/解除処理について説明する。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この処理は、図3のS319の詳細の処理である。
S401では、システム制御部50は、管理ファイルを参照し、図3のS318において指定領域701で選択状態になっていた動画素材が、結合動画に含める動画素材として指定済(指定動画素材)か否かを判定する。図7(a)〜(c)のようにサムネイル6が未指定状態の場合には指定されていない動画素材であることを示す。また、図7(e)、(f)のようにサムネイル6が網掛けされるような(グレーアウト表示)表示形態709で表示されている場合には動画素材6は指定済の動画素材であることを示す。このように、指定済の動画素材に対応するサムネイルは、未指定のサムネイルと識別可能な表示様式(識別表示)で表示される。よって、ユーザはサムネイル6の表示形態によって動画素材が未指定か、指定済かわかる。また、指定済の動画素材のIDは図14に示す管理ファイルに書き込まれる。図14の(a)は、図7(c)、(d)の際の管理ファイルの記録状態を示しており、動画素材3と動画素材1が指定済の動画素材として記録されている。図7(c)において選択状態の動画素材6は未指定である。一方で、図14(b)は、図7(e)、(f)の際の管理ファイルの記録状態を示しており、動画素材3、動画素材6、動画素材1が指定済の動画素材として記録されており、図7(e)において選択状態の動画素材6は指定済である。
S402では、システム制御部50は、図7(d)〜(e)に示すように、図3のS318において指定(SET)された動画素材が、並び替え領域702のうち中央位置である指定動画挿入位置712に移動するようにアニメーションを表示する。すなわち、サムネイル3とサムネイル1の間に挿入されるように指定領域701のサムネイル6が並び替え領域702に移動する。また同時に、並び替え領域702にもともと表示されていたサムネイルを、新たに挿入されたサムネイルの分移動する。例えば、図7(d)のサムネイル3とサムネイル1が図7(e)のサムネイル3とサムネイル1の位置に移動するように、サムネイル6の幅の分、外側に徐々に動くアニメーションを表示する。指定動画挿入位置712は、並び替え領域702の左右中央位置であり、指定領域701における選択画像からすぐ下の位置である(横方向の座標が等しい)。また、指定動画挿入位置712は、図7(d)の並び替え領域702においてはサムネイル3とサムネイル1の間の位置である。下方向へのフリック操作によって動画素材の指定操作をする場合には、動画素材を指定領域701から並べ替え領域702へ落とすような操作で感覚的に操作を行うことができる。指定された動画素材は並べ替え領域702に表示されている指定動画素材のうち、指定動画挿入位置712の左にあるサムネイル(指定動画素材)の後の順番、かつ指定動画挿入位置712の右にあるサムネイル(指定動画素材)の前の順番になるように挿入される。また、並べ替え領域702に指定動画素材が1つしかない、または1つもない場合にも、指定動画挿入位置712に指定領域701からサムネイルが移動する。
S403では、システム制御部50は、管理ファイルの指定位置(結合動画内の指定動画素材の再生順序)に指定した動画素材のIDを記録する。上述したように図14(a)の管理ファイルには動画素材3と動画素材1が指定済の動画素材として記録されている。動画素材6が図7(d)の指定動画挿入位置712(動画素材3と動画素材1の間の位置)に挿入されると、図14(b)の管理ファイルのように動画素材6のIDが動画素材3と動画素材1の間の順番に記録される。すなわち、動画素材1のIDは再生順序がm+1からm+2に変更して記録される。このように、指定された動画素材は管理ファイルのうち、ユーザが予め指定した再生順序(並べ替えの順番)の位置に対応して記録される。また、アイテム714は指定された動画素材の再生時間の合計を示しており、ユーザは結合動画全体の再生時間を把握することができる。動画素材が新たに指定されると、指定された動画素材の再生時間分足された再生時間が表示される。
S404では、システム制御部50は、図3のS318において指定(SET)した動画素材を、上述したように、図7(e)、(f)のサムネイル6のような指定状態の表示形態709にする。
S405では、システム制御部50は、並び替え領域701の指定動画素材の並び方をセンター割表示にする。すなわち、図7(e)のようにセンターフォーカス表示している状態から、図7(f)のように指定動画素材を左方向にサムネイルの幅の半分の長さ移動させ、中央位置(指定動画挿入位置712)を空け、センター割表示をするようにする。これによって、指定動画挿入位置712は挿入したばかりの動画素材(動画素材6)の直後となる。
S406〜S409の処理は、S402〜S405の動画素材を指定する処理ではなく、指定済の動画素材を解除して未指定の状態にする処理である。
S406では、システム制御部50は、並べ替え領域702にある解除された指定動画素材(サムネイル)が、並べ替え領域702から指定領域701へ移動するようなアニメーションを表示する。図8は、並べ替え領域702の指定動画素材を、指定領域701における操作で指定領域701に戻す様子の一例を(a)〜(c)の順で示したものである。図8(a)のように指定領域701において指定状態のサムネイル6が選択されている際に指定を解除する操作が行われると、並べ替え領域702にあるサムネイル6は、指定領域701の表示形態709のサムネイル6に移動するように徐々に動く。また、図8(b)のように並び替え領域702からサムネイル6が非表示になる。
S407では、システム制御部50は、管理ファイルから解除された指定動画素材のIDを削除(削除指示)する。図14(c)は図8(a)の際の管理ファイルの記録状態を示しており、図14(d)は図8(c)の際の管理ファイルの記録状態を示している。図14(c)に示す管理ファイルにおいては動画素材6のIDが記録されていたが、S406のように動画素材6を指定状態から解除する操作が行われると、管理ファイルから動画素材6のIDは削除される。また、解除された動画素材が記録されていた分の順序をつめて、図14(d)に示す管理ファイルの記録状態になる。
S408では、システム制御部50は、指定領域701に表示される、指定を解除された動画素材に対応するサムネイルを未指定状態の表示形態(指定する前のもともとの表示形態)に替える。図8(b)の指定領域701のサムネイル6の表示形態709から、図8(c)の指定領域701のサムネイル6の表示形態に変えるように、指定領域701におけるサムネイルの表示形態を未指定状態に切替える。
S409では、システム制御部50は、解除されたサムネイルが表示されていた分の幅を詰めるように、並び替え領域702にあるサムネイルを移動させるアニメーションを表示する。S405において指定動画素材が並び替え領域702から非表示になった分(図8(b)の並び替え領域702のサムネイル3とサムネイル7の間には1サムネイル空いている)、詰めるように徐々に移動する。ただし、動画指定モードの場合には、センター割表示になるように移動する。
このように、動画指定モード(指定領域)において動画素材の指定と解除を行うことができるので、時系列に並べられたサムネイルからユーザはより容易に動画素材を探すことができる。また、動画素材の解除を行うことができるので、並び替えモードに切替えたり、並び替え領域702から解除する動画素材を探さなくてもよいので操作性が高くなる。
また、動画素材の指定を行う際には、結合動画に含める動画素材をユーザの所望の再生順序の位置に挿入することができる。よって、ユーザは動画素材を指定した後に指定した動画素材を並び替える画面に遷移しなくても、挿入する位置を指定した後に、動画素材の指定操作で結合動画のうち所望の位置への挿入できるので、結合動画作成操作の操作性が高くなる。デジタルカメラ100のように表示部28の表示領域の大きさが限られており結合動画に含まれる動画素材を表示しきれないような場合であっても、並べ替え領域702へのスクロール指示によって指定する動画素材の挿入位置を変更することができる。
なお、動画素材の解除をすると、並び替え領域702から解除された動画素材に対応するサムネイルを非表示にするとしたが、サムネイルを徐々に小さくしていったりグレーアウトしていったりしてもよい。
次に、図5を用いて、本実施形態における並び替えモード処理について説明する。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この処理は、図3のS323の詳細の処理である。
S501では、システム制御部50は、図9(a)、(b)に示すように、指定領域701のサムネイルをセンターフォーカス表示し、並べ替え領域702のサムネイルをセンターフォーカス表示し、中央にあるサムネイルに枠901を表示する。枠901は、選択されているサムネイルを示すものであり、図9(a)ではサムネイル1に、(b)ではサムネイル7を囲うように表示する。図9(a)、(b)は、並べ替え領域702におけるサムネイルの移動操作をする場合(並べ替え動画素材がSETされていない場合)の表示例である。
S502では、システム制御部50は、図3のS308と同様に、メニューの選択がされたか(メニューボタン75への押下か、結合を示すメニューアイテム708が表示されている場合にはメニューアイテム708へのタッチ操作がされたか)否かを判定する。メニューの選択がされたと判定した場合には、図3のS309へ進み、そうでない場合は、S503へ進む。
S503では、システム制御部50は、指定領域701が選択されたか(動画指定モードに切り替えられたか)否かを判定する。指定領域701の選択は、指定領域701へのタップ操作(ただし、並べ替え領域702において並べ替え動画素材が指定されていない場合)、十字キー73の上キー73cの押下によって行うことができる。指定領域701が選択されたと判定した場合には、並べ替えモードを終了し、図3のS306に進み、動画指定モードの処理を行う。指定領域701が選択されなかったと判定された場合は、S504へ進む。図9(a)のように並び替え領域702のサムネイル1が選択されている状態から、指定領域701のサムネイル6が選択されると図9(c)に示すように、動画指定モードの画面に切り替わる。図9(c)は図9(a)の状態から動画指定モードに切り替えられた場合の表示例である。このとき、動画指定モードに切り替わるので、動画素材の指定操作が行いやすいように、並べ替え領域702のサムネイルはセンター割り表示からセンターフォーカス表示に切り替わる(サムネイルの半分の幅、並べ替え領域702のサムネイルが左方向に移動する)。また、指定領域701の中央にあったサムネイル(図9(c)においてはサムネイル6)が選択状態となる。
S504では、システム制御部50は、並び替え動画素材がSET(選択)されたか否かを判定する。図9(a)、(b)に示す並び替えをする動画素材(選択アイテム)を選択するためのアイテム902へのタッチ操作、もしくはアイテム902が示すようにSETボタン74への押下により動画素材のSET可能(選択可能)である。並び替え動画素材がSET(選択)されたと判定した場合には、S514へ進み、そうでない場合は、S505へ進む。
S505では、システム制御部50は、図3のS316と同様に、選択中の動画素材を再生する指示がされたか否かを判定する。選択中の動画素材を再生する指示がされたと判定した場合は、S506へ進み、そうでない場合は、S507へ進む。
S506では、システム制御部50は、図3のS317と同様に、S505において動画素材の再生指示がされた際に選択されていた動画素材の再生をする。
S507では、システム制御部50は、並び替え領域702への横方向のスクロール指示がされたか否かを判定する。S507においては、並び替え領域702のサムネイルが選択されている状態であるので、図3のS320の時とは異なり、ダイヤル77、十字キー73への操作によっても並び替え領域702へのスクロール指示をすることができる。すなわち、S507においては、並べ替え領域702における横方向のタッチムーブによるドラッグまたはフリック操作と、ダイヤル77、十字キー73a、bへの操作のいずれかが行われると並び替え領域702への横方向のスクロール操作となる。スクロール指示がされたと判定された場合には、S508へ進み、そうでない場合は、S509へ進む。なお、S507においても並べ替え領域702へタッチ操作によるスクロール操作とフリック操作によってスクロール指示可能である。
S508では、システム制御部50は、表示されているサムネイル列を移動するアニメーションを表示する(スクロール表示)。図9(a)、(b)はスクロール指示がされた前後の表示部28の一例を示している。図9(a)のサムネイル1が選択されている状態で左方向への1つのサムネイルの幅に相当する距離のスクロール指示、または右キー73bが1回押下されると、図9(b)のようにサムネイル1の1つ右にあるサムネイル7(動画素材7)が選択される。並べ替え領域702に表示されるサムネイルは左方向に1サムネイル分、徐々に移動していき、サムネイル7が中央位置に来たところで、図9(b)に示すようにサムネイル7が選択状態で表示される。また、新たにサムネイルが選択された後2秒間、選択されたサムネイルに対応する動画素材の再生時間が各サムネイルに重畳して表示されるので、ユーザは再生時間を確認することができる。また、図9(a)ではサムネイル2、3、1、7、8が表示されていた状態でスクロール指示がされると、例えば図9(b)のようにサムネイル3、1、7、8、10が表示されるようになる。並べ替え領域702に指定動画素材を全て表示しきれないような場合であっても、スクロール指示により、表示するサムネイルを切り替えることができるので、デジタルカメラ100のように表示領域が限られているような場合であっても選択対象が限られない。
S509では、システム制御部50は、並べ替え領域702の中央にあるサムネイルに対して上方向のフリック操作(指定画像を解除する操作)があったか否かを判定する。図9(a)であれば、サムネイル1に対して上方向のフリック操作(並び替え領域702から指定領域701へ移動させるようなタッチ操作)があったか否かを判定する。サムネイルに対する上方向のフリック操作があったと判定した場合、S510へ進み、そうでない場合は、S513に進む。
S510〜S512の処理は、図4のS406〜S409で行った並べ替え領域702のサムネイル(画像)を指定領域701に戻す処理である。ただし、並び替えモードの際に指定領域701に表示されるサムネイルはグレーアウトして表示されるので、指定領域701のサムネイルの表示形態はS408のようには切り替わらない。
S510では、システム制御部50は、並べ替え領域702の中央にある指定動画素材(サムネイル)が、並べ替え領域702から指定領域701へ移動するアニメーションを表示する。図10は図8とは異なり、並べ替え領域702の指定動画素材を、並べ替え領域702における操作で指定領域701に戻す(指定動画素材を解除する)様子の一例を(a)〜(c)の順番で示したものである。図10(a)のように並び替え領域702の中央にあるサムネイル6が指定領域701の指定状態で表示されているサムネイル6に移動するように動く。つまり、図10(b)のように並び替え領域702からサムネイル6が非表示になる。並び替え領域702の指示動画素材を解除する操作を行う場合に、必ずしも対応するサムネイルが指定領域701に表示されていなくてもよい。
S511では、システム制御部50は、管理ファイルから解除された指定動画素材のIDを削除する。
S512では、システム制御部50は、解除されたサムネイルが表示されていた分の幅を詰めるように、並び替え領域702にあるサムネイルを移動させるアニメーションを表示する。S510において指定動画素材が並び替え領域702から非表示になった分(図10(b)の並び替え領域702のサムネイル3とサムネイル7の間には1サムネイル空いている)、図10(c)に示すようにサムネイルが詰めるように徐々に移動する。また、解除された動画素材の次の動画素材(図10(c)においては動画素材7)に対応するサムネイルが中央にくるように移動する。
S513では、システム制御部50は、S503と同様に指定領域701が選択されたか否かを判定する。指定領域701が選択されたと判定された場合は、図3のS306へ進み、そうでない場合は、S501に進む。
S514では、システム制御部50は、S504でSETされた動画素材を並び替え動画素材として設定(固定)し、対応する並び替え領域702のサムネイルに、図11(a)の固定枠1101のような固定枠を表示する。すなわち、枠901から固定枠1101に切り替える。並び替え動画素材としてSETされていない(並べ替えや、解除をする動画素材の候補として選択されている)場合には、図9の枠901で表示する。また、並び替え動画素材としてSETされた場合には図11の固定枠1101のように左右に移動可能である矢印を含めた枠で表示する。このように、並び替え領域702において中央位置にあるサムネイルを囲う枠の表示形態を行われる処理に応じて変えることで、ユーザはスクロール指示に応じて、並べ替えと表示切替のどちらの処理が行われるのか容易に分かる。
S515では、システム制御部50は、並び替え領域702への横方向のスクロール指示(アイテム列における順番の変更操作)がされたか否かを判定する。S515においては、並び替え動画素材がSETされている状態であるため、並べ替え領域702における横方向のタッチムーブによるドラッグ操作、十字キー73a、bの押下、ダイヤル77の回転操作によってスクロール指示を行うことができる。ただし、並べ替え領域702へのフリック操作によってはスクロール指示を行うことができない。S515におけるスクロール指示は結合動画内の動画素材の順番を変更するためのスクロール指示であるため、確実にユーザの意図する位置でスクロール指示を止められることが望ましい。しかしながら、フリック操作を受け付けると、1回の操作でのタッチムーブ量よりも大きい、操作速度に応じた距離、サムネイルが移動するような操作だとユーザの意図に反して、所望の位置よりも行き過ぎる可能性がある。そのため、動画素材の並び替えをする際にはフリック操作は受け付けないようにすると、ユーザはより確実な並び替え操作を行いやすくなる。スクロール指示がされたと判定された場合には、S516へ進み、そうでない場合は、S518へ進む。
S516では、システム制御部50は、S304で並び替え動画素材としてSETされた動画素材に対応するサムネイルを並べ替え領域702の中央位置に固定する。すなわち、スクロール指示がされても並び替え動画素材は動かずに、並び替え動画素材ではない動画素材の位置が変わるようにする。スクロール指示は並び替え動画素材の位置を変更するための指示であるが、位置が変更される並び替え動画素材の位置は固定される。つまり、スクロール指示によって(順番の変更前と変更後で)並び替え動画素材の挿入位置(再生順序)を変更するように、並び替え動画素材以外の動画素材が移動する。また、ここで並び替え動画素材に対応するサムネイルのX座標の中心座標をXpとする。
S517では、システム制御部50は、SETされた動画素材以外の動画素材についてS515でのスクロール指示に応じて並び替えアニメーションを表示する。並び替えアニメーションについては、図6を用いて後述する。
S518では、システム制御部50は、図10のアイテム1003へのタッチ操作もしくはSETボタン74の押下によって、SETされた並び替え動画素材の挿入位置を決定する操作が行われたか否かを判定する。挿入位置を決定する操作が行われたと判定した場合は、S519へ進み、そうでない場合は、S521へ進む。
S519では、システム制御部50は、S304においてSETされた並び替え動画素材の挿入位置を、S518において挿入位置を決定する操作が行われた時に対応するサムネイルが表示されていた位置に決定する。また、固定枠1101から枠901に枠を変更する。図11(a)においては挿入位置を決定する操作が行われた場合には、サムネイル6はサムネイル3とサムネイル7の間にあるので、動画素材6は動画素材3と動画素材7の間で再生される。すなわち、作成される結合動画では、動画素材3、動画素材6、動画素材7、動画素材8の順番で再生される。このように、ユーザは並べ替えをする動画素材をSETして、スクロール指示と決定操作をすることにより、SETした動画素材の挿入位置を変更することができる。
S520では、システム制御部50は、S518で決定する操作が行われた際の挿入位置に、管理ファイル内において並び替え動画素材のIDを記録し直す。図14(e)は、図11(a)の際の管理ファイルの状態、図14(f)は、図11(e)の際の管理ファイルの状態を示している。図14(e)では、動画素材のIDは動画素材5、動画素材3、動画素材6、動画素材7、動画素材8、動画素材10の順序で管理ファイルに記録されている。ここで、並び替え操作が行われ、並び順を決定する操作が行われると、例えば、動画素材6の順序が変更されると、図14(f)のように、動画素材5、動画素材3、動画素材7、動画素材6、動画素材8、動画素材10の順序で管理ファイルに記録される。このように、決定操作がされると並び替えられた動画素材の順に管理ファイルに動画素材のIDが記録される。
S521では、システム制御部50は、指定動画素材を解除する操作がされたか否かを判定する。指定動画素材を解除する操作は、図10の解除を示すアイテム1001へのタッチ操作、並べ替え領域702の中央にあるサムネイルに対して上方向のフリック操作、または十字キー73の上キー73cの押下のいずれかの操作である。指定動画素材を解除する操作がされたと判定した場合には、S510に進み、並べ替え領域702から指定領域701に指定動画素材を戻す処理を行う。そうでない場合には、S515に戻る。
このように、並び替えモードにおいては、指定動画素材の並び替え操作(再生する順番を変える)、表示するサムネイルの切り替え操作、並び替え領域702から指定領域701に指定動画素材を戻す操作(結合動画から動画素材を削除する)を行うことができる。なお、動画素材の並び替え操作によっても、並べ替え領域702に表示されるサムネイルは切り替わり、指定動画素材は、スクロール指示によって挿入位置を変更できる。このように、結合動画における動画素材の並び替えや、動画素材の削除(指定解除)を同じ画面において容易に行えるので、動画素材の削除をするための画面と並び替えをする画面とを切り替えずに、操作性良く結合動画の作成をすることができる(作成可能)。例えば、挿入位置を変更しようとして並び替え動画素材をSETしたものの、挿入位置を探した結果、その動画素材が不要であることが分かった場合に、すぐに指定解除することができる。
また、並べ替え操作において、並べ替え動画素材を固定すると、より操作性良く並べ替えを行うことができる。デジタルカメラ100のように表示領域が限られており、他の動画素材の位置を固定したままで並べ替えをする動画素材の位置をスクロール操作等によって移動させると、表示領域に表示されている動画素材の中に挿入位置が限られる可能性がある。しかしながら、このように並べ替え動画素材を固定し、挿入位置を移動するようにすることで挿入位置が現在表示されている範囲に限られず、並べ替え領域702に結合動画に含まれるサムネイルを表示しきれない場合であっても、並べ替え操作を行うことができる。
また、並べ替え動画素材を固定することで、操作に応じて挿入位置が変わり、並べ替え操作中、並べ替え動画素材が挿入される前後の動画素材のサムネイルに挟まれて表示される。よって、ユーザは挿入位置を変更しようとしている動画素材(固定枠1101で囲まれた中央の動画素材)が、把握しやすく、より意図通りの位置に挿入することができる。
次に、図6を用いて、本実施形態における並び替えアニメーションについて説明する。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。なお、この処理は、図5のS517の詳細の処理であり、S517の処理に進むと開始する。
S601では、システム制御部50は、図5のS515で判定されたスクロール指示がタッチ操作によるものであったか否かを判定する。タッチ操作によるものであったと判定した場合は、S602へ進み、そうでない(十字キー73への操作)場合は、S604へ進む。
S602では、システム制御部50は、図5のS515で判定されたスクロール指示のタッチの移動速度を検出し、検出した移動速度をA(m/s)としてシステムメモリ52に記録する。
S603では、システム制御部50は、S602で検出されたタッチの移動速度と、後述する表示更新をするための所定時間α(s)との積(=A×α)から、所定時間毎(所定時間内)のサムネイルの移動距離dを求め、システムメモリ52に記録する。なお、所定時間αの例としては、1/100秒や、2/100秒等である。
S604では、システム制御部50は、所定時間毎のサムネイルの移動距離dをDとしてシステムメモリ52に記録する。Dの長さは例えば、サムネイルの幅を4Lとした場合に、4L/100や、4L/200等である。つまり、十字キー73への操作によって移動する場合には、操作回数に応じた長さ移動する。
S605では、システム制御部50は、更新時間T=0に設定し、システムメモリ52に記録する。更新時間は、表示更新をしてから、もしくはスクロール指示をされてから次の表示更新をするまでの所定時間が経過したか否かを判定するための時間である。更新時間Tが所定時間を経過すると、表示更新をする。
S606では、システム制御部50は、表示中のサムネイルのX座標を取得する。図11は並べ替えアニメーションの様子を示す図であり、サムネイル6が並び替え動画素材であり、並び替え動画素材の挿入位置を一つ前に変更する場合の一例である。図11(a)においては、サムネイル5、3、6、7、8の順番でサムネイルが並んでおり、並べ替え動画素材に対応するサムネイルはサムネイル6である。図5のS516において並べ替え動画素材のサムネイルのX座標はX=Xpに固定されている。並べ替え動画素材ではないサムネイル(表示更新されるサムネイル)のX座標を取得し、それぞれのX座標(まとめてXnとする)を以下のように座標を設定する。Xn(サムネイル5、3、7、8の順)=(X(p−2)n、X(p−1)n、X(p+1)n、X(p+2)n)とする。ただし、図11(a)においては表示更新するサムネイルが4つであり、4つのサムネイルのX座標を求めたが、図11(b)のように表示更新するサムネイルが5つの場合もある。
S607では、システム制御部50は、システムタイマ53を用いて更新時間Tの計測を開始する。
S608では、システム制御部50は、S607において計測開始した更新時間Tが所定時間αを経過したか否かを判定する。所定時間α経過したと判定した場合は、S609へ進み、そうでない場合は、所定時間α経過するまで待つ。
S609では、システム制御部50は、表示更新するサムネイルのうち判定対象となる1つのサムネイルの表示領域が、並び替え動画素材のサムネイルの表示領域(図11においてはアイテム列上)と重なるか否かを判定する。並び替え動画素材のサムネイルの表示領域は、並び替え動画素材のサムネイルの表示領域のX座標の中心座標は、図5のS516で設定したXp、サムネイルのX方向の幅が4Lであるので、(Xp−2L)<x<(Xp+2L)である。また、表示更新するサムネイルの表示領域も同様に、(Xn−2L)<x<(Xn+2L)である。よって、表示更新するサムネイルの表示領域のX座標の範囲が、並べ替え動画素材のサムネイルの表示領域のX座標の範囲と重なっているか否かを判定する。また、並び替え動画素材のサムネイルの表示領域と重なるサムネイルは、並び替え操作によって、並び替え動画素材の前から後ろ、もしくは後ろから前に動画素材ファイルにおける並び順が入れ替わる動画素材のサムネイルである。また、スクロール指示に応じた方向のサムネイルである。すなわち、スクロール指示が右方向であれば、並べ替え動画素材の前にあるサムネイル、左方向であれば後にあるサムネイルが重なるサムネイルとなる。並べ替え動画素材のサムネイルと重なると判定した場合は、S610へ進み、そうでない場合は、S611へ進む。
S610では、システム制御部50は、S609において並べ替え動画素材と重なると判定されたサムネイルをサムネイルPとして、システムメモリ52に記録する。
S611では、システム制御部50は、S609において並べ替え動画素材と重ならないと判定されたサムネイルをサムネイルQとして、システムメモリ52に記録する。
S612では、システム制御部50は、現在、表示更新する対象となるサムネイルのうち、全てのサムネイルに対してS609の判定をしたか否かを判定する。図11(a)であれば、サムネイル5、3、7、8の全てが、サムネイルPもしくはサムネイルQとして振り分けられたか否かを判定する。表示更新するサムネイル全てにS609の判定をしたと判定した場合は、S613へ進み、そうでない場合は、S609に戻り、他の表示更新するサムネイルについて判定をする。例えば、サムネイル5、6、7、8の順番で判定をしていく。サムネイルPに判定されたサムネイルが出た時点で、残りのサムネイルをサムネイルQとしてもよい。図11(a)では、表示更新するサムネイルは、まだ並べ替え動画素材と重なっていないが、図11(b)においては、サムネイル7が重なっている。よって、サムネイル7がサムネイルPとなり、他のサムネイルがサムネイルQとなる。
S613では、システム制御部50は、図5のS515で判定されたスクロール指示がユーザから見て右方向へのスクロール指示であったか否かを判定する。右方向へのスクロール指示であったと判定した場合には、S614へ進み、そうでない場合は、S615へ進む。右方向はX座標の正方向である。
S614では、システム制御部50は、サムネイルPのX座標をXn=X(n−1)+2d、サムネイルQのX座標とXn=X(n−1)+dに設定する。つまり、並べ替え動画素材と重なるサムネイルはX座標が2d進んだ位置に表示するようにし、並べ替え動画素材と重ならないサムネイルはX座標がd進んだ位置に表示するようにする。
S615では、システム制御部50は、サムネイルPのX座標をXn=X(n−1)−2d、サムネイルQのX座標とXn=X(n−1)−dに設定する。つまり、並べ替え動画素材と重なるサムネイルはX座標が2d進んだ位置に表示するようにし、並べ替え動画素材と重ならないサムネイルはX座標がd進んだ位置に表示するようにする。S615では、左方向へスクロール指示がされた場合のX座標の位置であるので、右方向の場合とは反対方向に2dまたはdの距離移動した位置に表示されるようにする。
S616では、システム制御部50は、S614またはS615で設定したX座標に各サムネイルの中心座標が位置するように移動した状態で表示をする(表示更新)。このように、各サムネイルの表示位置を所定時間おきに変更するように表示更新をすることで、あたかもそれぞれのサムネイルが移動しているようにみえる。また、表示更新をする所定時間は短いほどサムネイルの移動がスムーズに見える。
ここで、(L/d)×α)経過する毎のサムネイルの移動様子、距離Lの分表示更新される毎のサムネイルの様子を説明する。図11(a)はサムネイルが移動する前の様子を示した図であり、サムネイル5、3、6、7、8の順番でサムネイルが表示されており、結合動画ではこの順番で動画素材が再生される。また、図11(a)における各サムネイルの幅を4Lとする。図11(a)〜(e)は、左方向にスクロール指示がされた場合に、サムネイル6以外のサムネイルが右から左方向に1サムネイル分移動する様子の図であり、距離4L(後述するサムネイル7は8L)移動した過程を示している。図11(a)から(b)、(b)から(c)、(c)から(d)、(d)から(e)はそれぞれL(後述するサムネイル7は2L)移動した後の様子を示している。すなわち、それぞれ((L/d)×α)時間が経過した後の様子を示したものである。なお、並び替え領域702に表示している長さを示す矢印とLの表示は、距離を示すために表示したものであり、実際の表示部28に表示されるわけではない。
図11(b)は、図11(a)の状態からサムネイル5、3、8、10が左方向に距離L移動した場合の表示例である。サムネイル8の後の順番であったサムネイル10も並び替え領域702に表示されるように移動し、距離L分だけ(サムネイル10の左4分の1)表示される。また、サムネイル5は距離L移動したため、サムネイル5の左4分の1だけ非表示になる。サムネイル3が左方向に距離L移動したが、サムネイル6は固定されており、移動しないためサムネイル3とサムネイル6には、サムネイル3が移動した分の距離L分空き領域ができる。サムネイル7は、並べ替え動画素材の表示領域に重なるサムネイルであるので、他のサムネイルの倍の速度で左方向に移動する。つまり、サムネイル7は2L左方向に移動し、その結果、サムネイル7の左半分はサムネイル6に隠れ(左半分は重畳するので見えなくなる)、残りの右半分は視認可能である。サムネイル7が左方向に2L移動する間にサムネイル8は距離Lのみ左方向に移動したので、サムネイル7とサムネイル8の間には距離L分空き領域ができる。
図11(b)は、図11(a)の状態からサムネイル5、3、8、10が左方向に距離2L移動した場合の表示例である。サムネイル10は距離2L分(サムネイル10の左2分の1)表示され、サムネイル5は距離2L移動したため、サムネイル5の左2分の1だけ非表示になる。サムネイル3が左方向に距離2L移動したが、サムネイル6は固定されており、移動しないためサムネイル3とサムネイル6には、サムネイル3が移動した分の距離2L分空き領域ができる。サムネイル7は4L左方向に移動し、その結果、サムネイル7とサムネイル6は重なり、サムネイル6の後ろに隠れて視認不可能になっている。サムネイル7が左方向に4L移動する間にサムネイル8は距離2Lのみ左方向に移動したので、サムネイル7とサムネイル8の間には距離2L分空き領域ができる。
図11(c)は、図11(a)の状態からサムネイル5、3、8、10が左方向に距離3L移動した場合の表示例である。サムネイル10は距離3L分(サムネイル10の左3分の1)表示され、サムネイル5は距離3L移動したため、サムネイル5の左4分の3だけ非表示になり、右4分の1だけ表示される。サムネイル7が左方向に6L移動し、幅4Lであるサムネイル6の表示領域を通過したため、サムネイル7はサムネイル6の左側から2L分表示され、残りの2L分はサムネイル6と重なっているため視認不可能である。よって、サムネイル3が左方向に距離3L移動し、サムネイル7がサムネイル6の左側から左方向に距離2L移動してきたので、サムネイル3とサムネイル7の距離はLとなる。サムネイル6は固定されており、移動しないため図11(a)であったサムネイル8とサムネイル6の距離は、サムネイル8が左方向に3L移動した分小さくなり、空き領域は距離Lになる。
図11(d)は、図11(a)の状態からサムネイル5、3、8、10が左方向にサムネイル1つ分、距離4L移動した場合の表示例である。サムネイル10は距離4L分移動したためサムネイル10の全体が表示され、サムネイル5は距離4L移動したためサムネイル5の全体が非表示になっている。サムネイル7が左方向に8L移動し、幅4Lであるサムネイル6の表示領域を通過し、サムネイル7の全体がサムネイル6の左側に表示されている。よって、サムネイル7はサムネイル6の右から左(再生順序が後から前)に移動したことになる。言い換えれば、サムネイル6はサムネイル3とサムネイル7の間から、サムネイル7とサムネイル8の間に挿入位置が変更されたことになる。サムネイル8は4L移動したため、固定されているサムネイル6の横に表示され、サムネイル10も4L移動したため全体が表示されている。
このように、並び替え動画素材に対応するサムネイルを固定して、サムネイルを移動させるアニメーションをする場合に、並べ替え動画素材を通過する(重なる)サムネイルの移動距離を他のサムネイルよりも長くすると、移動するサムネイルを認識しやすくなる。並べ替え動画素材の前後にあるサムネイルのうち、並び替え動画素材の後ろから前の順番に移動するサムネイルが、2サムネイル分移動と並び替え動画素材の挿入位置を変えることができる。このとき、2サムネイル分移動するために、例えばサムネイル6の右側から左側に徐々に移動することなく、突然移動してしまうとユーザがサムネイル7を見失う可能性がある。徐々にサムネイルの移動をした場合に、他のサムネイルと同じ距離移動するようにすると、並び替え動画素材と重なって表示される時間も長くなるので視認性が低下する。よって、他のサムネイルの2倍の移動距離で移動(表示位置の変更)を行うようにすると、ユーザは並び替えの様子を視認性が高いまま確認することができるので、所望の位置に並べ替え動画素材を挿入しやすくなる。
S617では、システム制御部50は、図5のS515で判定されたスクロール指示がタッチ操作によるものであったか否かを判定する。タッチ操作によるものであったと判定した場合は、S618へ進み、そうでない(十字キー73への操作)場合は、S620へ進む。
S618では、システム制御部50は、図5のS515でスクロール指示として判定されたタッチ操作がタッチオフされたか否かを判定する。タッチオフされたと判定した場合は、S619へ進み、そうでない場合は、S602へ進む。
S619では、システム制御部50は、図5のS515でスクロール指示として判定されたタッチ操作の移動距離に応じたサムネイル分、サムネイルの移動がされたか否かを判定する。すなわち、タッチ操作の移動距離がサムネイルの幅の距離である4Lの倍数でない場合には、以下のようにする。移動距離が4Lの倍数より2L以上長い距離である場合にはさらに1サムネイル分移動するようにし、移動距離が4Lの倍数より2L未満の距離である場合には倍数の数のサムネイル分移動するようにする。タッチ操作の移動距離に応じたサムネイル分、サムネイルは移動したと判定した場合は、並び替えアニメーションを終了し、そうでない場合にはS605に進む。
S620では、システム制御部50は、S619とは異なり、十字キー73での操作による移動なので、1サムネイル分(4L)移動したか否かを判定する。1サムネイル分移動したと判定した場合は、並び替えアニメーションを終了し、そうでない場合にはS605に進む。このように、スクロール指示に応じた距離移動するまでアニメーションを続ける。図11(a)においてはサムネイル6の1つ前の順番のサムネイルはサムネイル3、1つ後の順番のサムネイルはサムネイル7であったが、サムネイル6の順番が1サムネイル分(再生順では1つ後の順番に)移動した。よって、図11(e)のように、サムネイル6の1つ前の順番のサムネイルはサムネイル7、1つ後の順番のサムネイルはサムネイル8になった。また、サムネイル6の順番が移動したことにより、サムネイル3とサムネイル7は隣り合う順番になった。
このように、アニメーションをする際に、並び替え動画素材を固定するので、並び替え動画素材の位置がずれて見失ってしまうことがなく、ユーザは並び替え動画素材の挿入位置をより確認しやすくなる。また、タッチ操作で並び替え操作を行う場合にも、並び替え動画素材へのスクロール指示で並べ替えの指示をするわけではなく、他のサムネイルもしくは並べ替え領域702へのスクロール指示で並べ替え操作を指示するので並べ替え動画素材が操作する指で隠れない。並べ替え動画素材の位置をタッチ操作で移動させると、常に並べ替え動画素材が指で隠れ、並べ替えをしている動画素材(サムネイルの画像)の視認性が低下するが、並べ替え動画素材以外の動画素材を移動させることでアニメーション中にも視認性が高くなる。
以上、説明した並べ替え処理の実施形態では、主に指定領域701における画像の指定、指定領域701における指定画像の解除、並び替え領域702における並び替え画像の固定、並べ替えアニメーションについて説明した。以下にそれぞれの処理についてまとめる。
<指定領域における画像の指定>
説明した実施形態によれば、結合動画に含める動画素材をユーザの所望の再生順序の位置に挿入する場合に、動画素材を指定する操作によって所望の位置に挿入することができる。すなわち、動画素材を指定する前に、なんかしらの動画素材を挿入したいとユーザが考えた時に、ユーザは先に挿入する位置を決めてから動画素材を選択することができる。よって、ユーザは、動画素材を探す操作をする際に、動画素材を挿入しようと思った位置を記憶していなくてもよく、さらに挿入したい動画素材を見つけたら選択操作をするだけで、挿入位置まで移動する操作をしなくてもよい。
また、並び替え領域702に表示されるサムネイル列から、何らかの動画素材を挿入したい位置をユーザが見つけた場合に、これから選択する動画素材が挿入される位置が分かりやすいように、並び替え領域702においてサムネイルが移動する。並び替え領域702では、図7(d)のように選択候補となる動画素材(指定領域701の中央のサムネイル)が、選択された場合に挿入される動画素材と動画素材の横方向の間に位置する。よって、ユーザは選択候補となる動画を挿入した場合にどのような順番に動画素材が並ぶのかイメージしながら、選択操作を行うことができる。
また、ユーザは動画素材の指定後に指定(選択)した動画素材を並び替える画面に遷移して挿入位置を決定する操作を行う等の画面の切り替えをすることなく、少ない操作で動画素材の指定と所望の位置への挿入をすることができる。言い換えれば、挿入位置を決定した状態で、指定操作をすると所望の位置へと動画素材を挿入することができる。表示領域のうち、主に動画素材を指定するための領域(指定領域701)と、画像ファイル中の動画素材の並び替えをするための領域(並び替え領域702)とを設けることで、画像の指定と並び替えの操作を、画面を切り替える操作をしなくても行うことができる。ユーザは並び替え領域の画像を確認しながら指定操作を行ったり、指定領域の画像を見ながら並び替え操作をすることもできる。また、デジタルカメラ100のように表示部28の表示領域の大きさが限られており結合動画に含まれる動画素材を表示しきれないような場合であっても、並べ替え領域702へのスクロール指示によって指定する動画素材の挿入位置を変更することができる。同様に、デジタルカメラ100のように表示領域が限られていても、指定領域701へのスクロール指示によって、指定領域に表示する動画素材を切り替えることができる。よって、1画面に全動画素材分のサムネイルを表示しきれない場合であっても、画面を切り替えずに所望の動画素材を指定することができる。
<指定領域における指定画像の解除>
説明した実施形態によれば、画像(動画素材)の指定操作を行っている途中に、並び替え領域702において解除をする操作をしなくても、指定領域701において動画素材の指定を解除することができる。よって、動画素材の指定を解除するために、動画素材を指定する操作を中断して、並べ替え領域702から動画素材を探して、解除する操作をしなくても、操作中の領域において解除する操作を行うことができるので、少ない操作数で行うことができる。動画素材を削除した後も、すぐに指定操作を行うことができるので、ユーザは指定と削除の操作をスムーズに行うことができる。また、動画指定モード(指定領域)において動画素材の指定と解除を行うことができるので、指定領域701に時系列に並べられたサムネイルを見ながらユーザはより容易に動画素材を探すことができる。
<並び替え領域における並び替え画像の固定>
説明した実施形態によれば、並べ替え動画素材を固定することで、限られた領域内であっても、操作性良く動画素材の並び替えを行うことができる。並び替える動画素材は固定された位置に表示され、並び替え操作が行われると、固定された位置を挟むように表示される動画素材が移動するので、ユーザは動画素材の並び順を把握しやすい。限られた領域内であっても、並び替える動画素材を固定し、他の動画素材を移動するようにするので、並び替え操作(表示される動画素材を切り替える操作)によって、表示されている以外の位置にも動画素材を挿入することができる。指定済の動画素材のサムネイルを1画面分の並べ替え領域702に表示しきれない場合であっても、スクロール指示によって挿入位置を変更することができる。また、並べ替え操作と、並べ替え領域702におけるサムネイルのスクロール指示とを同じ操作である、表示するサムネイルを切り替える操作で行うことができるので、表示領域が限られていてもそれぞれの操作を操作性良く行うことができる。並べ替え動画素材を固定することで、操作に応じて挿入位置が変わり、並べ替え操作中、並べ替え動画素材が挿入される前後の動画素材のサムネイルに挟まれて表示されるのでユーザは結合動画の並び順を把握しやすくより確実に並べ替え位置を決定することができる。
さらにアニメーションをする際には、並び替え動画素材を固定するので、並び替え動画素材の位置がずれて見失ってしまうことがなく、ユーザは並び替え動画素材の挿入位置をより確認しやすくなる。また、並び替え動画素材ではないサムネイル、もしくは並べ替え領域702へのタッチ操作で並べ替え操作を指示するので並べ替え動画素材が操作する指で隠れず、アニメーション中にも並び替え動画素材(サムネイルの画像)の視認性が高くなる。
<並べ替えアニメーション>
説明した実施形態によれば、並べ替え動画素材と重なるサムネイルの移動距離を他のサムネイルよりも長くするので、並べ替え動画素材とサムネイルが重なる時間や、重なるサムネイルの領域を小さくすることができる。つまり、並べ替え動画素材と重畳する(並べ替え動画と並び順が交互になる)アイテムは、並べ替え動画を重ならない動画素材よりも早く移動するように見えるので、サムネイルが重なっている時間を短くすることができる。よって、移動するサムネイルの視認性が落ちず、移動中のサムネイルを認識しやすくなる。
[本実施形態の変形例]
図12及び図13を用いて、上述した実施形態の変形例について説明する。まず、図12を用いて図4の指定領域における画像の指定解除の処理の変形例を説明し、図13を用いて図6の並び替えアニメーションの変形例を説明する。
図12は、図4の処理の変形例であり、指定領域701における指定済の動画素材の表示形態の一例を示す図である。上述した実施形態においては、指定された画像に対応するサムネイルは図7(e)のサムネイル6にグレーをかけるような表示形態709で表示することを説明したが、変形例ではサムネイル自体の表示形態を変えずにチェックマークや印等をつけるようにする。また、上述の実施形態では、指定領域701にある1種類のサムネイルは1回のみ指定可能であることを説明したが、変形例では、複数回指定する可能な場合についても説明する。
図12(a)〜(c)は、指定された動画素材を示すための表示形態を示すための表示例である。図12(a)は、指定領域701にある各サムネイルにチェックボックス1201を重畳して表示させる。ここで図3のS318において、動画素材を指定(SET)する操作が行われると、図12(b)のサムネイル6のように、チェック1202がチェックボックス1201に表示される。このように、サムネイルにチェックがついている場合には、そのサムネイルに対応する動画素材が指定済であることが分かり、そうでない場合には未指定であることが分かる。また、図12(b)の状態で、S318の動画素材を解除する操作を行うとチェック1202が非表示になり、並び替え領域702からサムネイル6が非表示になる。
図12(c)では、並び替え領域702にサムネイル3、6が表示されており、サムネイル3、6が並び替えをする動画素材として指定済である。指定領域701のサムネイル6と、並び替え領域702のサムネイル6は線1203でつながれており、指定領域701のサムネイル6が指定済の動画素材であることが分かる。なお、サムネイル3は図12(b)の指定領域701において表示されていないが、サムネイル3がある方向に並び替え領域702のサムネイル3から線1203が伸びている。このように指定済の動画素材を、並び替え領域702にある対応するサムネイルと線1203で結ぶことで、指定済であることが分かるだけでなく、並び替え領域702にあるサムネイルが指定領域701においてどのあたりにあるのか分かる。指定領域701において、サムネイルは撮影された時系列に並んでいるので、ユーザは撮影された順番等を容易に確認することができる。
以上、説明した実施形態の変形例によれば、ユーザは指定済の動画素材であるか否かを認識可能なだけでなく、並び替え領域702における位置と、指定領域701における位置とを対応して認識することができる。よって、サムネイルを表示領域に表示しきれない場合で、表示領域に表示するサムネイルを切り替える(スクロール指示)ことで所望のサムネイルを探す場合に、サムネイルの位置がどの方向にあるのかを把握することができる。
図12(d)、(e)は、1種類のサムネイルを複数回指定する場合の表示例である。図12(d)の指定領域701にある操作領域1207は、指定領域701において選択された(中央位置にある)動画素材が既に選択済みの動画素材である場合に表示される。操作領域1207にあるように、サムネイル6に対応する動画素材は、現在並び替え領域702にある結合動画において1番目と3番目に挿入されている。このとき、指定領域701にあるサムネイル6を下方向にタッチムーブする操作によってさらに、サムネイル6を指定済の動画素材として(3枚目)指定することができる。また、1番目を示すアイコン1208と3番目を示すアイコン1209のうち、1番目を示すアイコン1208が枠1204で囲われており、選択状態であることを示している。このとき、チェック1205をタッチする操作、アイテム706をタッチする操作、SETボタン74を押下する操作(アイコン1208が選択状態である場合)のいずれかをすると、結合動画のうち1番目に挿入されていた動画素材を解除することができる。図12(e)には、サムネイル6に対応する動画素材が作成中の結合動画の1番目から解除された場合の表示部28の表示例を示している。チェックボックス1206が表示されている。チェック1205が表示されていないチェックボックス1206が表示されている場合には、未指定であることを示す。1番目を示すアイコン1208にはチェック1205が表示されていないが、3番目を示すアイコン1209にはチェック1205が表示されているので、1番目に挿入されていた動画素材は解除されたが、3番目に挿入された動画素材は指定状態であることがわかる。なお、このとき、3番目を示すアイコン1209の表示を2番目にしてもよい。並べ替え領域702では、1番目にあったサムネイル6がグレーアウトする。しかし、再び図12(e)の1番目を示すアイコンのチェックボックス1206をタッチする操作、アイテム706をタッチする操作、SETボタン74を押下する操作(アイコン1208が選択状態である場合)のいずれかを行うと指定し直すことができる。すなわち、再び1番目にサムネイル6に対応する動画素材を挿入することができる。
以上、説明した実施形態の変形例によれば、1種類の動画素材を結合動画のうち複数の位置に入れる場合に、そのうちのいずれかの位置の指定動画素材を解除する操作が行いやすい。また、選択中の動画素材が結合動画中のどの位置にあるのかを確認することができるので、結合動画の複数の位置に動画素材を挿入した際にも動画素材の位置が分かるので、動画素材を探しやすい。
なお、上述の説明では、動画素材の並び替えをする際に、並び替え動画素材を並び替え領域702の中央に固定することを説明したが、これに限らず、スクロール方向に応じた位置に固定してもよい。つまり、右方向へのスクロール指示が行われた場合には表示部28の右端に近い位置に、左方向へのスクロール指示が行われた場合には表示部28の左端の近い位置に固定してもよい。このように、スクロール方向に応じた位置に固定することで、ユーザはスクロール指示によって新たに並べ替え領域702に表示されたサムネイルをより多く確認することができる。つまり、中央に表示した場合には並べ替え動画素材の左右にあるサムネイルを表示する領域は同じ大きさになる。しかし、スクロール方向の端に近い位置に固定すると、これから並べ替え動画素材と順番が入れ替わるサムネイルを、既に並べ替え動画素材と順番が入れ替わったサムネイルよりも多く確認することができる。よって、これから並べ替え動画素材と順番が入れ替わる動画素材のサムネイルを見て、並べ替え動画素材をさらに先または後の位置に挿入したい場合に、スクロール指示を所望の位置を過ぎないように慎重に行わなくてもよい。また、所望の位置を早めに確認することができるので、より確実に素早く挿入位置を決定することができる。また、固定する位置は、スクロール方向の端に近い位置で、表示されるサムネイルのうち最も端ではない位置であると、並べ替え動画素材の前後の動画素材を確認することができるので好ましい。
次に、図13を用いて図6の並び替えアニメーションの変形例を説明する。図13(a)は、図11(a)と同じく、並べ替えアニメーションが始まる前の表示部28の表示例であり、図13(b)、(c)は並び替えアニメーションの途中の表示例である。また、図13(b)、(c)では、サムネイル6が並び替え動画素材であり、並び替え動画素材以外の動画素材のサムネイルを左方向に1サムネイル分移動させる場合の移動が半分進んだ際の表示例である。
図13(b)では、サムネイル7が4Lの幅から半分の2Lの幅にX方向の幅が縮小(圧縮)されて表示されている。また、サムネイル10の左半分(2L)が大きさを縮小することなく表示されている。サムネイル5、3は図13(a)の位置から移動せず、サムネイル8は図13(a)の位置から2L左方向に移動している。すなわち、並べ替えをするためのスクロール指示が行われると、並べ替えの前後で並べ替え動画素材と順序が前後する動画素材は、徐々に幅が縮小されていくことで、サムネイル同士の隣接状態を保ったまま、並び替えアニメーションを表示することができる。また、サムネイル10はサムネイル6の幅が徐々に縮小される過程で並べ替え領域702に表示されるようになる。サムネイル7は図12(b)の後、サムネイル6の右側でつぶれていき、右側では見えなくなり、左側から徐々に(0〜4L)X方向の幅が縮小された状態から通常の1サムネイル分の幅になるまで伸びていく。また、サムネイル5はサムネイル6の幅が徐々に伸びていく過程で、並び替え領域702から非表示になっていく。
以上、説明した実施形態の変形例によれば、並び替え動画素材と結合動画における順序が入れ替わる様子を並べ替えアニメーションにおいて、サムネイルの伸縮で示すことでサムネイル同士の隣接状態を保つことができる。そのため、現在の動画素材の順序を確認しやすい。また、サムネイル7の表示形態が伸縮することで変化するので、並び替え動画素材と順序が変わるサムネイルがサムネイル7であることをすぐに認識することができる。
図13(c)では、サムネイル7の4Lの幅のうち、左半分の2Lの領域がサムネイル6の左側に表示され、残りの右半分の2Lの領域がサムネイル6の右側に表示されている。このとき、サムネイル5、3、8、10は2Lずつ左方向に移動している。サムネイル7は、アニメーションの進行に伴って、並び替え動画素材のサムネイル6の右側から左側へ、サムネイル7の左側から一部分が徐々に移動する。
以上、説明した実施形態の変形例によれば、並び替え動画素材と結合動画における順序が入れ替わる様子を並べ替えアニメーションにおいて、サムネイルの一部分を移動させながら示すことでサムネイル同士の隣接状態を保つことができる。そのため、現在の動画素材の順序を確認しやすい。また、サムネイル7は領域が分かれて表示されるものの、常に全ての部分を視認可能に表示さえるため、視認性が低下せず、並び替え動画素材と順序が変わるサムネイルの内容を認識しやすい。
なお、上述した実施形態では、固定されるサムネイルと移動するサムネイルの幅が同じであったので、固定されるサムネイルを通過するサムネイルの移動距離をそうでないサムネイルの2倍の移動距離としたが、この限りではない。つまり、固定されるサムネイルの幅が、移動するサムネイルの幅の8Lであれば3倍の移動距離で移動すると、並び替えアニメーションの視認性が高くなる。
また、並び替え動画素材のサムネイルと重畳するサムネイルは、移動中に重畳される一部が見えなくなることを説明したが、完全に重畳される必要はなく、表示の透明度を変えることにより一部が見えていてもよい。
なお、本実施形態では、指定された動画素材が1つの結合動画として記録されることを説明したが、動画素材のIDを記録した管理ファイルのみを記録するようにしてもよい。すなわち、再生時に記録された管理ファイルに記録された動画素材のIDを読みとり、記録された動画素材の順番で動画を再生するようにしてもよい。
また、上述した実施形態では、指定領域701での指定操作を行った後、または並び替え領域702での解除操作を行った後にも、操作がされたサムネイルが選択状態のまま中央に表示することを説明した。しかしながら、指定操作または解除操作が行われた後には、選択されるサムネイルが次(右隣り)のサムネイルになるように、1サムネイル分表示されているサムネイルが移動してもよい。すなわち、図7(c)においてサムネイル6が選択されている状態で指定操作がされた後に、指定領域701のサムネイル4〜サムネイル8が左方向に1サムネイル分移動し、サムネイル7が選択状態になるようにする。このように、サムネイルが移動するとユーザは連続して指定操作や解除操作を行うことができる。
なお、本実施形態では、動画素材の再生をする場合に、選択中の動画素材の再生をすることを説明したがこれに限らず、選択中の動画素材の前後の動画素材を含めて再生をするようにしてもよい。また、本実施形態では、複数の動画素材から結合動画を作成する場合を例に挙げて説明したが、静止画からスライドショーを作成するような場合にも適用可能である。また、結合動画に静止画を含めてもよく、作成するファイルは結合動画でなくても、印刷用の画像の配置や、音楽ファイルの作成等でもよい。さらに、サムネイルや画像でなくても、アイコン、項目、表示素材等の指定と並び替え操作を行う場合にも有効である。
なお、電子機器の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。
また、上述した実施形態においては、本発明をデジタルカメラ100に適用した場合を例にして説明したが、これはこの例に限定されず、以下の装置にも適用可能である。つまり、図3乃至図5で説明した例は、複数の画像から画像を選択できるような画像処理装置であれば適用可能である。図4及び図5で説明した例は、アイテムの指定と解除をすることのできる表示処理装置であれば適用可能である。図5で説明した例は、アイテムの並び替えを行うことのできる電子機器であれば適用可能である。図6で説明した例は、アイテムの表示位置を制御可能な電子機器であれば適用可能である。即ち、本発明はパーソナルコンピュータ(PC)や、携帯電話端末や携帯型の画像ビューワ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレットPC、スマートフォン、投影装置、表示部を有する家電装置等に適用可能である。また、デジタルカメラ等で撮影したライブビュー画像を有線または無線通信を介して受信して表示し、リモートでデジタルカメラ(ネットワークカメラを含む)を制御するスマートフォンやタブレットPC、デスクトップPCなどの装置にも適用可能である。