以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施の形態(インデックス指示に応じたインデックス区間の設定)
2.第2の実施の形態(オブジェクト認識を利用したインデックス区間の設定)
3.第3の実施の形態(ユーザのジャスチャーに応じたインデックス区間の設定)
4.まとめ
<1.第1の実施形態>
[撮像装置の構成]
まず、図1〜図3を参照して、本開示の第1の実施形態に係る撮像装置の構成について説明する。図1、図2は、本実施形態に係る撮像装置10の正面側と背面側の外観構成を示す斜視図であり、図3は、本実施形態に係る撮像装置10のハードウェア構成を示すブロック図である。
図1、図2に示すように、本実施形態に係る撮像装置10は、例えばデジタルビデオカメラで構成されており、動画を撮像及び記録する機能を有する。しかし、本開示の撮像装置は、ビデオカメラの例に限定されず、被写体を連続的に撮像した動画像を記録可能な任意の電子機器であれば、例えば、動画撮像機能を有するデジタルスチルカメラ、携帯電話、PDA(Personal Digital Assistant)、携帯型の映像/音楽プレーヤー、ゲーム機などにも適用できる。
撮像装置10の外装を構成するケース12は、左右方向の幅よりも大きな寸法の前後方向の長さ及び上下方向の高さを有している。なお、本明細書において左右は、撮像装置10を後方から見た状態でいうものとし、また、撮像光学系の光軸方向で被写体側を前方といい、撮像素子側を後方という。
ケース12の上部の前部には、撮像光学系14が組み込まれたレンズ鏡筒16が前後に延設され、レンズ鏡筒16の前部がケース12の前面に臨むように設けられている。レンズ鏡筒16の後端には撮像光学系14によって導かれた被写体像を撮像する撮像素子18(図3参照)が設けられている。
図1に示すように、ケース12の左側部には、表示パネル20が開閉可能に設けられ、この表示パネル20は閉じられた際に収容凹部1202に収容される。表示パネル20は、撮像素子18によって撮像された画像などを表示するための表示部の一例であり、例えば、液晶表示装置(LCD:Liquid Crystal Display)、有機EL表示装置(Organic Electro Luminescence Display)などで構成される。なお、収容凹部1202の底壁には、再生された音声データを出力するためのスピーカ22(図3参照)が設けられている。
図2に示すように、ケース12の右側面には、前後方向に延在するグリップベルト26が設けられている。さらに、ケース12の右側部には、画像データや音声データを記録するディスク状記録媒体2(図3参照)を装脱可能に収容する収容部24が設けられ、収容部24は開閉蓋2402により開閉される。ディスク状記録媒体2は、例えば、ブルーレイディスク(Blu−ray Disc(登録商標))、DVD(Digital Versatile Disc)、CD(Compact Disc)等の光ディスクである。なお、撮像された画像を記録するための記録媒体は、上記光ディスク以外にも、例えば、光磁気ディスク、メモリカード4(図3参照)等の半導体メモリといった任意のリムーバブルメディアであってもよいし、或いは、撮像装置10に内蔵されたハードディスク等の内蔵型記録媒体であってもよい。
また、ケース12の上面前部には、音声を収音するためのマイクロフォン28が設けられている。ケース12の上面後部には、小型の表示装置2902(図3参照)が組み込まれた電子式ビューファインダー装置29が設けられている。また、ケース12の背面下部側には、バッテリ25が着脱可能に装着される。
さらに図1及び図2に示すように、撮像装置10には、撮像に関する種々の機能の実行を指示するための操作部として、例えば、電源スイッチ30A、静止画撮像用ボタン30B、ズーム用スイッチ30C、モード切換用スイッチ30D、動画撮像用ボタン30E、インデックス用ボタン30Fなどが設けられている。動画撮像用ボタン30Eは、ユーザが撮像装置10に対して、撮像された動画の録画開始/録画終了を指示するための操作具であり、録画開始ボタン及び録画終了ボタンとして兼用される。ユーザが、撮像したい被写体の構図を決めて動画撮像用ボタン30Eを押下すると、撮像装置10は録画動作を開始し、ユーザがもう一度動画撮像用ボタン30Eを押下すると、撮像装置10は録画動作を終了する。なお、録画動作とは、上記撮像素子18によって連続的に撮像された画像(複数のフレームからなる動画像)のデータを、記録媒体に記録する動作である。
次に、図3を参照して撮像装置10の内部構成について詳述する。図3に示すように、撮像装置10は、上述したケース12、撮像光学系14、レンズ鏡筒16、撮像素子18、表示パネル20、スピーカ22、マイクロフォン28、各種の操作部30A〜Fを備える。さらに、撮像装置10は、タッチパネル40、映像信号用増幅回路100、画像データ処理部102、マイクロフォン用増幅回路104、音声データ処理回路105、出力用増幅回路106、記録再生回路108、コントロール回路110、記録再生機構112、ドライブ回路114、インターフェース回路116、メモリカード用スロット118、ズーム駆動部120、測位部122などを備える。
撮像光学系14、レンズ鏡筒16、撮像素子18及びズーム駆動部120等は、被写体を撮像して撮像信号を出力する撮像部200(図4参照)として機能する。撮像光学系14は、フォーカスレンズ、ズームレンズ等の各種レンズや、不要な波長を除去する光学フィルタ、絞り等の光学部品からなる。被写体から入射された光は、撮像光学系14における各光学部品を介して撮像素子18に導かれる。撮像素子18は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子で構成される。この撮像素子18は撮像光学系14を介して導かれた光を光電変換し、撮像された被写体像を表す撮像信号(アナログ映像信号)を出力する。
映像信号用増幅回路100及び画像データ処理部102は、撮像部により生成された撮像信号を信号処理して画像データを生成する画像処理部210(図4参照)として機能する。上記撮像素子18で生成された撮像信号は映像信号用増幅回路100で増幅され、画像データ処理部102に供給される。画像データ処理部102は、この撮像信号に所定の信号処理を行うことで、画像データ(動画データ又は静止画データ)を生成し、記録再生回路108に供給する。所定の信号処理は、例えば、CDS(Correlated Double Sampling:相関2重サンプリング)処理、プログラマブルゲインアンプ(PGA)によるゲイン処理などのアナログ信号処理や、A/D変換処理、ガンマ補正処理、ホワイトバランス処理等のデジタル信号処理などである。
また、マイクロフォン28で収音された音声信号はマイクロフォン用増幅回路104で増幅され、音声データ処理回路105によって所定の信号処理がなされ音声データとして記録再生回路108に供給される。
記録再生回路108及び記録再生機構112は、画像データ、音声データ等の各種のデータを記録媒体に記録するとともに、記録媒体に記録された各種のデータを再生する記録再生部220(図4参照)として機能する。記録再生回路108は、コントロール回路110からの指示に基づいて、記録再生機構112を制御して、ディスク状記録媒体2に対してデータを記録/再生する。
例えば、記録再生回路108は、コントロール回路110の制御に従って、画像データ処理部102から供給された画像データ(動画データ又は静止画データ)や、音声データ処理回路105から供給された音声データを、記録再生機構112に供給する。記録再生機構112は、動画データ、静止画データや、音声データをディスク状記録媒体2に記録する。
また、記録再生回路108は、画像データ処理部102から供給された動画データ/静止画データや、音声データ処理回路105から供給された音声データを、インターフェース回路116を介して、メモリカード用スロット118に装着されたメモリカード4に記録する。
また、記録再生回路108は、コントロール回路110の制御に従って、画像データ処理部102から供給された動画データ/静止画データを、ドライブ回路114を介して表示パネル20、2902に供給して、画像を表示させる。
また、記録再生回路108は、インターフェース回路116を介してメモリカード4から供給される動画データ/静止画データを、ドライブ回路114を介して表示パネル20、2902に供給して、画像を表示させるとともに、インターフェース回路116を介してメモリカード4から供給される音声データを、出力用増幅回路106を介してスピーカ22に供給して、音声を出力させる。
また、記録再生回路108は、記録再生機構112によりディスク状記録媒体2から再生された動画データ/静止画データを、ドライブ回路114を介して表示パネル20、2902に供給して、画像を表示させるとともに、記録再生機構112によりディスク状記録媒体2から再生された音声データを、出力用増幅回路106を介してスピーカ22に供給して、音声を出力させる。
表示パネル20、2902は、上記のように供給された各種の画像データ(動画像、静止画)を表示する表示部として機能する。例えば、表示パネル20、2902は、記録再生回路108から撮像中にリアルタイムで入力される動画像(ライブビュー画像)を表示する。これにより、ユーザは、撮像装置10で撮像中の動画像を見ながら、撮像操作(例えば、ズーム操作や、録画開始指示、録画終了指示、インデックス指示の入力操作など)を行い、所望の被写体を所望の構図で撮像できる。また、記録媒体2、4に記録されている動画像を記録再生回路108により再生したときに、表示装置130は、記録再生回路108から入力された再生画像を表示する。これにより、ユーザは、記録媒体2、4に記録されている動画像の内容を確認することができる。
タッチパネル40は、表示パネル20の表示画面に対して操作体が接触又は近接した位置を検出する位置検出部として機能する。タッチパネル40は、表示パネル20に重ねて配設されており、操作体が接触又は近接した表示画面上の位置を検知するセンサを具備する。これにより、タッチパネル40は、操作体により指定された表示画面上の位置や、操作体の移動軌跡や移動速度を検出することができる。タッチパネル40の操作に用いられる操作体は、例えば、ユーザの指やスタイラス、タッチペン等である。タッチパネル40は、操作体が接触又は近接した表示画面上の位置を座標として検出し、タッチパネル40により検出された座標は、コントロール回路110に伝送されて、所定の処理が実行される。
タッチパネルとしては、例えば、感圧式、静電気式、光学式など、任意の方式のタッチパネルを使用できる。感圧式タッチパネルは、操作体によりパネルを押圧したときの圧力の変化を検知する。静電気式タッチパネルは、パネルに対する操作体の接触に伴う静電気による電気信号を検知する。光学式タッチパネルは、表示パネルの外枠に設けられた光学センサにより、パネルに接触した操作体の位置や移動方向を検知する方式が一般的である。また、他の方式の光学式センサとして、インセル型の光学式タッチパネルも存在する。インセル型の光学式タッチパネルでは、表示パネルに光学式センサアレイが搭載されており、この光学式センサアレイにより表示パネルに接触又は近接した操作体の位置や移動軌跡を検知する。
また、タッチパネル40としては、操作体の接触を検知する接触式のタッチパネル(例えば、上記感圧式、静電気式のタッチパネル)が一般的である。ユーザは、指やスタイラス等でタッチパネル40の面上を押圧(即ち、タップ)したり、当該押圧した指やスタイラス等を移動させたりすることで、撮像装置10に対して各種の操作を行うことができる。
なお、操作体がタッチパネルに直接接触しなくても、タッチパネルに近接している操作体を認識可能な非接触式のタッチパネルも存在する。この非接触式のタッチパネルは、例えば、上記光学式タッチパネルで実現できる。以下では、説明の便宜上、操作体(例えば指)が接触した位置を検出する接触式のタッチパネル40の例を挙げて説明するが、本開示の位置検出部は、非接触式のタッチパネルや、その他の画面位置検出デバイスで構成することも可能である。
コントロール回路110は、撮像装置10の各部を制御する制御部230(図4参照)として機能する。コントロール回路110は、例えば、不図示のCPU(Central Processing Unit)、EEPROM(Electrically Erasable Programmable ROM)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成される。コントロール回路110におけるROMには、コントロール回路110の各種の制御処理を実行させるためのプログラムが格納されている。CPUは、該プログラムに基づいて動作して、RAMを用いながら、上記各制御のための必要な演算・制御処理を実行する。当該プログラムは、撮像装置10に内蔵された記憶装置(例えばROM)に予め格納しておくことができる。また、当該プログラムは、リムーバブル記録媒体に格納されて、撮像装置10に提供されてもよいし、LAN、インターネット等のネットワークを介して撮像装置10にダウンロードされてもよい。
コントロール回路110の制御について以下に例示する。コントロール回路110は、電源スイッチ30Aに対するユーザ操作に基づいて撮像装置10の電源のオン、オフを行う。
また、コントロール回路110は、静止画撮像用ボタン30Bに対するユーザ操作に基づいて画像データ処理部102及び記録再生回路108に指令を与えることにより、画像データ処理部102から供給される静止画データを、記録再生回路108を介して記録再生機構112に供給することで、静止画データをディスク状記録媒体2に記録させる。このように、静止画撮像用ボタン30Bは、静止画を撮像及び記録するためのいわゆるシャッタボタンとして機能する。
また、コントロール回路110は、ズーム用スイッチ30Cに対するユーザ操作に基づいてズーム駆動部120に指令を与えることにより、撮像光学系14の可動レンズ(図示せず。)を移動させて、撮像光学系14のズーム率を変化させる。
また、コントロール回路110は、モード切換用スイッチ30Dの操作に基づいて画像データ処理部102に指令を与えることにより、画像データ処理部102により動画データを生成する動画撮像モードと、画像データ処理部102により静止画データを生成する静止画撮像モードとを切り換える。なお、動画撮像モードでは、画像データ処理部102で生成された動画データが記録再生回路108を介してディスク状記録媒体2またはメモリカード4に記録され、静止画撮像モードでは、画像データ処理部102で生成された静止画データが記録再生回路108を介してディスク状記録媒体2またはメモリカード4に記録される。なお、コントロール回路110は、上記2つの撮像モード以外にも、記録された画像を再生するための再生モードに切り替えることもできる。
また、コントロール回路110は、動画撮像用ボタン30Eに対する第1のユーザ操作に基づいて、撮像装置10による動画データの記録を開始/停止させる。すなわち、コントロール回路110は、動画撮像用ボタン30Eに対するユーザ操作(録画開始指示)に基づいて、画像データ処理部102及び記録再生回路108に指令を与えることにより、画像データ処理部102から供給される動画データを、記録再生回路108を介して記録再生機構112に供給することで、動画データをディスク状記録媒体2に記録させる動作を開始(録画開始)させる。さらに、コントロール回路110は、動画撮像用ボタン30Eに対する第2のユーザ操作(録画終了指示)に基づいて、上記記録動作を停止(録画終了)させる。このように、動画撮像用ボタン30Eは、ユーザが撮像装置10に対して動画像の録画開始/終了を指示するための操作部材(録画開始/終了用操作部)として機能する。なお、本実施形態に係る撮像装置10では、録画開始用操作部と録画終了用操作部を同一の操作部材(動画撮像用ボタン30E)で構成しているが、両者を別の操作部材で構成してもよい。
また、コントロール回路110は、録画開始指示から録画終了指示までの録画期間中に、インデックス用ボタン30Fに対するユーザ操作(インデックス指示)に基づいて、動画像のインデックス区間を設定する。そして、コントロール回路110は、設定したインデックス区間を表すインデックス情報を生成し、そのインデックス情報を当該動画データに関連づけて記録する。インデックス用ボタン30Fは、ユーザによるインデックス指示を入力するための操作部材(インデックス用操作部)として機能する。
インデックス情報は、動画像の撮像及び記録中(録画期間中)にユーザにより指定された任意の時点を含む所定期間を示す時間情報である。例えば、動画撮像中に、ユーザは、撮像中に盛り上がったシーン(例えば、野球のホームランのシーン)や好みのシーン(例えば、子供の笑顔のシーン)で、インデックス用ボタン30Fを押下して、インデックス指示を入力する。撮像装置10は、インデックス指示の入力時点を含む所定期間に撮像された動画像の一部の区間をインデックス区間に設定し、そのインデックス情報を記録する。なお、インデックス用操作部は、インデックス用ボタン30Fのような専用の物理的な操作具で構成されてもよいし、表示パネル20の表示画面上に表示されるGUI(Graphical User Interface)部品で構成されてもよい。
測位部122は、撮像装置10の現在位置を測定して、動画像の撮像位置を表す撮像位置情報を生成する機能を有する。測位部122は、例えば、GPS(Global Positioning System)センサ、角速度センサ、加速度センサ、磁気センサなどで構成される。測位部122は、かかる各種のセンサを用いて、動画像を撮像した時の撮像装置の位置(緯度、経度等)や姿勢などを測定することによって、動画像を撮像したときの撮像位置を表す撮像位置情報を生成する。
例えば、GPSセンサは、複数のGPS衛星からの電波を受信して、各GPS衛星との距離を割り出すことにより、撮像装置10の現在位置(緯度、経度)を測定する。角速度センサ、加速度センサは、撮像中に撮像装置10が移動したときの角速度、加速度をそれぞれ検出する。磁気センサは、当該撮像装置10の周囲の磁場を検出することで、撮像装置10の向きを検出する。測位部122は、このように検出した撮像装置10の現在位置、角速度、加速度、地磁気の変動などの測定データを解析することによって、動画像を撮像したときの撮像装置10の位置(即ち、撮像位置)を求め、当該撮像位置を表す撮像位置情報を生成する。
コントロール回路110は、記録再生回路105等を制御することにより、上記測位部122により生成された撮像位置情報を、その撮像位置で撮像された動画像のフレームに関連づけて記録媒体に記録する。例えば、測位部122は、動画像の撮像中(録画期間中)に所定の時間間隔(例えば数秒ごと、数分ごと)で撮像位置を測定し、当該撮像位置を表す撮像位置情報を生成する。当該撮像位置情報は、例えば、動画像のフレーム位置情報に関連づけられて、メモリ等の記録媒体に保存される。フレーム位置情報は、動画像を構成する各フレームの位置を表す情報であり、例えば、撮像時刻、タイムコード、動画像の先頭フレームからのフレーム数、又は、動画像の先頭からの時間などである。
また、コントロール回路110は、上記記録再生機構112、記録再生回路108、ドライブ回路114等を制御することにより、録画期間に撮像された動画像から複数のサムネイル画像を生成する。コントロール回路110は、動画撮像直後(即ち、録画終了指示の直後)に、上述したインデックス区間を表す表示オブジェクトやサムネイル画像等を含む録画確認画面を表示パネル20に表示させる。この録画確認画面は、動画像の録画終了直後に、録画された動画像に設定されたインデックス区間を確認するためのオートレビュー画面(Rec_Review画面)であるが、その詳細説明は後述する。
[撮像装置の機能構成]
次に、図4を参照して、本実施形態に係る撮像装置10の機能構成について説明する。図4は、本実施形態に係る撮像装置10の機能構成を示すブロック図である。
図4に示すように、撮像装置10は、撮像部200と、画像処理部210と、記録再生部220と、制御部230と、表示パネル20と、各種の操作部30A〜30Fと、別の操作部であるタッチパネル40と、測位部122とを備える。制御部230は、撮像制御部232と、表示制御部234と、インデックス設定部236と、メモリ238と、オブジェクト認識部240と、機能制御部242とを備える。以下、撮像装置10の各機能部について説明する。
撮像部200は、例えば図3に示した撮像光学系14、レンズ鏡筒16、撮像素子18と、ズーム駆動部120等の駆動回路からなる。撮像部200は、撮像制御部232による制御に従って、撮像素子18により被写体の光学像を撮像し、当該撮像により得られた画像を表す撮像信号を出力する。
画像処理部210は、例えば図3に示した映像信号用増幅回路100及び画像データ処理部102等からなる。画像処理部210は、撮像制御部232による制御に従って、撮像信号に対して所定の信号処理を施すことにより、複数枚の画像データからなる動画像を生成する。動画像は、所定の時間間隔(例えば1/60秒)で連続的に生成される動画フレームからなる。
記録再生部220は、例えば図3に示した記録再生回路108及び記録再生機構112からなり、ディスク状記録媒体2に対して各種データを記録したり、ディスク状記録媒体2から各種データを再生したりする。例えば、記録再生部220は、撮像制御部232による制御に従って、画像処理部210から入力された動画像をディスク状記録媒体2に記録し、また、ディスク状記録媒体2に記録された動画像を再生する。さらに、記録再生部220は、表示制御部234により動画像から生成されたサムネイル画像をディスク状記録媒体2に記録し、また、ディスク状記録媒体2に記録されたサムネイル画像を再生する。
制御部230は、例えば図3に示したコントロール回路110からなり、撮像装置10の各部を制御する。コントロール回路110のプロセッサが、以下に説明する各機能を実現するためのコンピュータプログラムを実行することにより、図4に示す各機能部が実現される。
撮像制御部232は、撮像装置10の撮像動作を制御する。即ち、撮像制御部232は、各種操作部30A〜30Eに対するユーザ操作に応じて、上記のように撮像部200、画像処理部210、記録再生部220を制御して、動画又は静止画の撮像処理や、記録/再生処理を実行させる。例えば、ユーザが動画撮像用ボタン30Eを押下して、録画開始指示を入力すると、撮像制御部232は、記録再生部220を制御して、撮像部200及び画像処理部210により生成された動画像を、ディスク状記録媒体2に記録開始する(録画開始動作)。一方、ユーザが動画撮像用ボタン30Eをもう一度押下して、録画終了指示を入力すると、撮像制御部232は、記録再生部220を制御して、当該動画像の記録を終了する(録画終了動作)。
なお、撮像制御部232は、モード切換用スイッチ30Dに対するユーザ操作に基づいて、撮像装置10の動作モードを、動画撮像モード、静止画撮像モード又は再生モード等に切り替えることができる。動画撮像モード及び静止画撮像モードでは、撮像部200による撮像処理と、画像処理部210による画像処理は継続的に行われており、これらの処理により得られた撮像中の動画像(以下、撮像画像ともいう。)は、表示パネル20にライブビュー画面として表示される。ユーザは、この撮像画像のライブビュー画面を見ながら、被写体の構図やシャッターチャンスを判断して、動画又は静止画の記録指示を撮像装置10に入力する。動画撮像モードでは、上記動画撮像用ボタン30Eによる録画開始指示から録画終了指示までの録画期間に撮像及び画像処理された動画像のデータが、ディスク状記録媒体2に記録される。静止画撮像モードでは、ユーザが静止画撮像用ボタン30B(いわゆるシャッタボタン)を押下したレリーズ指示に応じて、当該レリーズ指示のタイミングで撮像及び画像処理された静止画のデータがディスク状記録媒体2に記録される。
表示制御部234は、表示パネル20を制御して、各種の画像やデータを表示させる。例えば、表示制御部234は、動画像の撮像中に、撮像画像のライブビュー画面を表示パネル20にリアルタイムで表示させる。ライブビュー画面は、上記撮像部200による撮像処理と、画像処理部210による画像処理とにより得られる撮像画像を表す画面である。ユーザは、表示パネル20にリアルタイムでライブビュー画面を見ることで、被写体の構図を決めたり、録画開始/終了のタイミングや、インデックスを付加するタイミングなどを判断したりできる。
また、表示制御部234は、動画像の録画終了直後に、当該動画像の録画確認画面を、表示パネル20に自動的に表示させる。録画確認画面は、動画像の録画終了直後(つまり、録画終了指示が入力された直後)に、撮像装置10の表示パネル20に自動的に表示されるオートレビュー画面である。この録画確認画面は、録画された動画像を再生した画像や
当該動画像のサムネイル画像等を含む。サムネイル画像は、録画期間に録画された動画像から抽出された静止画像である。かかる録画確認画面は、録画された動画像の概要を録画直後にユーザに提示するためのオートレビュー機能と、録画直後に当該動画像に対して所定機能(再生、削除、レーティング等)を実行するため画像操作機能とを兼ね備えている。このような録画確認画面を表示することで、ユーザは、動画像の録画終了直後に、録画された動画像の内容を確認し、その動画像を編集できる。
インデックス設定部236は、動画像の撮像中(録画期間中)に、インデックス用操作部に対する1回のユーザ操作に応じて、当該動画像のインデックス区間を設定する。そして、インデックス設定部236は、設定したインデックス区間を表すインデックス情報を生成し、当該インデックス情報を当該動画像に関連づけてメモリ238に保存する。インデックス情報は、動画像中の盛り上がったシーンや好みのシーンに付加されるインデックスとして機能する。
上記のように動画像の撮像中(録画期間中)に、ユーザは、盛り上がったシーンや所望のシーンなどで、インデックス用操作部を操作する。このユーザ操作は、例えば、インデックス用ボタン30Fの押下や、表示パネル20のライブビュー画面上に表示されたGUI部品(例えば図5のインデックスアイコン306)に対するタップなどである。ユーザは、かかる操作により、撮像装置10に対してインデックス指示を入力できる。すると、インデックス設定部236は、ユーザからのインデックス指示の入力に応じて、該インデックス指示の入力時点を含む所定期間を設定し、当該所定期間に撮像された複数のフレームからなる動画像の一部の区間を、インデックス区間として設定する。そして、インデックス設定部236は、設定したインデックス区間を表す時間情報(例えば、インデックス区間の始点と終点を表す時刻、タイムコード、又は、動画像の先頭からの時間若しくはフレーム数など)を含むインデックス情報を生成する。さらに、インデックス設定部236は、生成したインデックス情報を、当該動画像に関連づけてメモリ238等の記録媒体に保存する。
このようにインデックス設定部236は、動画像の撮像中に、インデックス操作部に対する1回のユーザ操作に応じて、動画像の1時点ではなく、動画像の所定区間からなるインデックス区間を設定し、そのインデックス区間を表すインデックス情報を保存する。これにより、ユーザの指定した任意の時点を基準として、ユーザ指定された時点に対応する動画像の区間にインデックス(しおり)を付加できる。従って、撮像中の動画像に対して、盛り上がったシーンや好みのシーンを特定するためのインデックスを付加することができるので、撮像中にユーザが指定したシーンを特別なシーンとして識別可能にしておくことができる。このように動画像の撮像時に生成されるインデックス情報は、事後的に動画像を再生したり編集したりするときのインデックスとして有用である。
また、インデックス設定部236は、タッチパネル40により検出された表示画面に対するユーザ操作に応じて、設定するインデックス区間の時間長又は位置等を変更することもできる。例えば、動画像の撮像中にユーザが指で表示パネル20の表示画面をなぞったときに、タッチパネル40は、そのなぞり方(例えば、なぞり長又はなぞり向き)を検出する。すると、インデックス設定部236は、タッチパネル40により検出されたなぞり方に応じて、インデックス区間を設定する。なお、なぞり方向は、操作体により表示画面がなぞられた方向であり、なぞり長は、操作体により表示画面がなぞられた長さである。
具体的には、インデックス設定部236は、操作体によるなぞり方向に応じて、インデックス区間を設定する。例えば、操作体により表示画面が第1方向(例えば右方向、上方向など)になぞられた時には、インデックス設定部236は、なぞった時点以降の所定期間に撮像されたフレームの区間を、インデックス区間として設定する。逆に、操作体により表示画面が第2方向(例えば、左方向、下方向)になぞられた時には、インデックス設定部236は、なぞった時点以前の所定期間に撮像されたフレームの区間を、インデックス区間として設定する。
また、インデックス設定部236は、操作体によるなぞり長に応じて、インデックス区間を設定する。例えば、インデックス設定部236は、操作体によるなぞり長に応じて、インデックス区間の時間長を決定する。また、インデックス設定部236は、操作体によるなぞり長に対応する時間を決定し、表示画面がなぞられた時点から当該時間だけ前の時点を始点として設定し、その始点以降に撮像された動画像の区間を、インデックス区間として設定する。
上記のように、ユーザは、表示画面をなぞる方向又はなぞる長さによって、所望のインデックス区間の位置や時間長を簡単に指定できる。このように、ユーザによる表示画面のなぞり方に応じて、インデックス区間を設定する方法の詳細については、後述する。
オブジェクト認識部240は、撮像中の動画像を解析することにより、当該動画像のライブビュー画面300上に映っているオブジェクト340、即ち、現在撮像中の撮像画像302に含まれるオブジェクト340を認識する。ここで、オブジェクトは、撮像装置10により撮像された撮像画像に含まれる任意の被写体であり、例えば、人物、動物、植物、乗り物、建造物など任意の物であってよい。例えば、ユーザが撮像装置10により犬を撮像した場合、その犬がオブジェクトとなる。オブジェクト認識部240によるオブジェクト認識方法としては、公知の任意のオブジェクト認識技術を利用することができる。
オブジェクト認識部240は、動画像の撮像中に、ユーザにより指定された表示画面上の位置に映っているオブジェクト340を認識する(図12参照。)。詳細には、動画像の撮像中に、ユーザが操作体を用いてライブビュー画面300上の任意の位置を指定すると、タッチパネル40は、操作体により指定されたライブビュー画面300上の位置を検出する。このようなライブビュー画面300に対するユーザの指定操作が、インデックス指示に相当する。かかるインデックス指示に応じて、オブジェクト認識部240は、当該指定されたライブビュー画面300上の位置に映っているオブジェクト340を認識し、そのオブジェクト340が映っている複数のフレームからなる動画像の区間を特定する。インデックス設定部236は、かかるオブジェクト認識部240により認識されたオブジェクトが映っている複数のフレームからなる動画像の区間を、インデックス区間として設定する。このように、オブジェクト認識を利用して、インデックス区間を設定することで、ユーザは、ライブビュー画面300上でオブジェクト340を指定するという簡単な操作で、所望のオブジェクト340が映っている動画像の区間に対して、インデックスを付加できる。
以上、インデックス設定部236によるインデックス区間の設定方法について説明した。表示制御部234は、上記インデックス設定部236により設定されたインデックス区間を表す情報を、表示パネル20に表示させる。例えば、表示制御部234は、動画像の撮像中に、ライブビュー画面300上に、当該撮像中に設定されたインデックス区間を表す表示オブジェクト320を、動画像の録画時間の時間軸に対応付けて表示させる(図5参照。)。さらに、表示制御部234は、インデックス区間内の任意のポイント(例えば、インデックス指示の入力時点や、インデックス区間の始点又は終点)で撮像されたサムネイル画像330を、ライブビュー画面300上に表示してもよい。このように、表示制御部234は、動画像の撮像中に、ライブビュー画面300上にインデックス区間を表す表示オブジェクト320を表示する。これにより、ユーザは、撮像中に設定されたインデックス区間の時間長や位置をリアルタイムで確認できる。かかる動画像の撮像中のインデックス区間の表示については後述する(図5参照。)。
さらに、動画像の録画終了直後には、表示制御部234は、録画確認画面400を表示パネル20に表示させる(図7等参照。)。この録画確認画面400が表示されているときに、表示制御部234は、録画確認画面400上に、動画像の撮像中に設定されたインデックス区間を表す表示オブジェクト420を、動画像の録画時間の時間軸に対応付けて表示させる。この表示オブジェクト420は、メモリ238に保存されたインデックス情報に基づいて、表示される。さらに、表示制御部234は、インデックス区間内の任意のポイント(例えば、インデックス指示の入力時点や、インデックス区間始点又は終点)で撮像されたサムネイル画像430を、録画確認画面400上に表示してもよい。このように録画終了後に録画確認画面400上にインデックス区間を表す表示オブジェクト420を表示することにより、ユーザは、撮像時に動画像に付加されたインデックス区間の時間長や位置を、録画後に確認できるとともに、録画確認画面400上でそのインデックス区間を修正できる。かかる動画像の録画終了後のインデックス区間の表示及び修正については後述する(図8等参照。)。
また、表示制御部234は、上記のライブビュー画面300や、録画確認画面400にサムネイル画像330、430を表示する際に、メモリ238に保存されたインデックス情報に基づいて、動画像に対して設定された1又は2以上のインデックス区間を代表するサムネイル画像を生成する。このとき、表示制御部234は、インデックス情報が表すインデックス区間内の任意のポイント(例えば、インデックス区間の始点又は終点、インデックス指示の入力時点など)に対応するフレームを特定し、そのフレームを、当該インデックス区間を代表するサムネイル画像330、430像として抽出してもよい。
機能制御部242は、記録再生部220等を制御して、録画された動画像に対して所定の機能を実行する。この機能制御部242は、タッチパネル40に対するユーザ操作に基づいて、当該動画像の一部又は全部の区間に対して、所定機能を実行する。所定機能は、動画像の画像データに対して実行可能な任意の機能であり、例えば、動画像の少なくとも一部の区間の削除、再生、評価値の付与(即ち、レーティング)、プレイリスト作成などの機能である。機能制御部242は、これらの所定機能を、録画された1つの動画像の全部に対して行ってもよいし、或いは、当該動画像の一部の区間に対してのみ行ってもよい。このように、機能制御部242は、削除部、再生部、レーティング部、プレイリスト作成などとして機能する。
機能制御部242は、録画終了直後の録画確認画面400に対するユーザ操作に応じて、記録媒体2に記録された動画像に対して所定機能を実行する。例えば、録画確認画面400の表示中に、ユーザが、録画確認画面400に表示された1又は2以上の機能アイコン450の中から削除アイコン450C(図7参照)を指定した場合を考える。この場合、タッチパネル40は、録画確認画面400上に表示された削除アイコン450Cに対するユーザ操作を検出する。機能制御部242は、上記削除アイコン450Cに対するユーザ操作に応じて、記録媒体2に記録された動画像のうち、当該インデックス区間以外の区間を削除する。このとき、機能制御部242は、メモリ238内のインデックス情報に基づいて、動画像のインデックス区間以外の画像区間を特定できる。このようにして、ユーザはタッチパネル40を用いて、録画確認画面400内の所望の機能アイコンを選択することで、録画終了直後の動画像に対して、削除、再生、レーティング等の機能を実行することができる。
また、機能制御部242は、撮像中のライブビュー画面300に対するユーザ操作に応じて、撮像及び記録中の動画像に対して所定機能を実行する。例えば、撮像中に動画像にインデックス区間が付加された場合には、機能制御部242は、記録媒体2に対して記録された動画像のうち、インデックス区間より前に撮像された動画像の区間を自動的に削除する。これにより、ユーザが、撮像中に動画像の必要区間に対してインデックス区間を付加するだけで、撮像装置10は、そのインデックス区間より前の不要な画像の区間を自動的に削除することができる。
[ライブビュー画面の表示例]
次に、図5を参照して、本実施形態に係る動画像の撮像中に表示されるライブビュー画面300の表示例について説明する。図5は、本実施形態に係るライブビュー画面300の表示例を示す図である。
図5に示すように、撮像装置10におる動画像の撮像中(録画期間中)には、表示パネル20の表示画面にライブビュー画面300が表示される。ライブビュー画面300は、撮像装置10により現在撮像中の画像(即ち、撮像画像302)をリアルタイムで表示する画面である。ライブビュー画面300の撮像画像302上には、インデックスアイコン306が表示される。インデックスアイコン306は、撮像中に動画像に対してインデックスを付加するためのGUIボタンであり、上述した物理的なインデックス用ボタン30Fと同等の機能を有する。ユーザは、動画像の撮像中の任意の時点で、ライブビュー画面300上のインデックスアイコン306をタップすることで、撮像装置10にインデックス指示を入力して、その時点の動画像に対してインデックスを付加することができる。なお、ライブビュー画面300上のインデックスアイコン306の表示/非表示は、ユーザ設定に応じて切り替え可能である。
また、ライブビュー画面300の下部側には、タイムバー310と、撮像中に設定されたインデックス区間を表す表示オブジェクト320及びサムネイル画像330が、撮像画像302上に重畳して表示される。
タイムバー310は、撮像中の動画像の録画時間の時間軸を表す表示オブジェクトの一例である。図示の例のタイムバー310は、ポイント状のスライダ312を有するスライダーバーで構成される。タイムバー310中のスライダ312は、録画時間の経過に伴って画面左方向から右方向に移動する。このスライダ312の位置は、動画像の先頭から現在撮像中の撮像画像302までの録画時間(即ち、録画開始時点から現在までの録画時間)を表す。ユーザは、タイムバー310中のスライダ312の位置を見ることで、撮像中の動画像の現在の録画時間を把握できる。なお、タイムバー310の尺を一定にして、現在時点を表すスライダ312が常に画面横方向の中心に配置されるように、タイムバー310がスクロール表示されてもよい。或いは、録画時間の経過とともにタイムバー310の尺を縮小して、ライブビュー画面300内に常にタイムバー310全体が表示されるようにしてもよい。
表示オブジェクト320は、動画像の撮像中に設定されたインデックス区間を表す。このインデックス区間を表す表示オブジェクト320(以下、インデックス区間オブジェクト320という。)は、上記動画像の録画時間の時間軸を表すタイムバー310に対応づけて表示される。図示の例では、1つの動画像の撮像中に設定された2つのインデックス区間をそれぞれ表す2つのインデックス区間オブジェクト320A、320Bが、タイムバー310の上側に表示されている。タイムバー310に対するインデックス区間オブジェクト320の相対位置は、インデックス区間オブジェクト320が表すインデックス区間が、録画時間の時間軸上のどの位置に該当するかを表している。ユーザは、インデックス区間オブジェクト320とタイムバー310を見比べることで、撮像中に設定されたインデックス区間の位置や時間長を把握できる。
さらに、インデックス区間オブジェクト320は、ユーザによるインデックス指示の入力時点を表すポイント322を含む。このポイント322は、動画像の撮像中に、ユーザがインデックス用ボタン30F又はインデックスアイコン306を操作して、インデックス指示を入力した時点を表している。図示の例では、2つのポイント322A、322Bが表示されており、1つの動画像の撮像中に2回のインデックス指示が入力されたことが分かる。ユーザは、インデックス区間オブジェクト320内のポイント322を見ることで、動画像に対してインデックスを付加した時点を把握できる。また、図示の例では、ポイント322A、322Bは、インデックス区間オブジェクト320A、320Bの右端に配置されており、インデックス指示の入力時点がインデックス区間の終点であることが分かる。
サムネイル画像330は、インデックス区間を代表する静止画像である。サムネイル画像330は、動画像のインデックス区間内の任意の時点(例えば始点、終点、インデックス指示の入力時点)で撮像されたフレームの画像である。図示の例では、上記インデックス指示の入力時点(ポイント322に相当)で撮像された撮像画像302のフレームが、サムネイル画像330として用いられている。しかし、インデックス区間の始点又は終点で撮像されたフレームが、そのインデックス区間のサムネイル画像330として表示されてもよい。また、図示の例では、2つのインデックス区間オブジェクト320A、320Bについてそれぞれ、サムネイル画像330A、330Bがポイント322A、322Bからポップアップ表示されている。ユーザは、かかるサムネイル画像330を見ることで、設定されたインデックス区間の代表画像をライブビュー画面300上で確認できる。
以上、図5を参照してライブビュー画面300の表示例について説明した。次に、撮像装置10による動画像の撮像中にインデックスを付加したときの撮像装置10の動作について説明する。
上述したように、撮像装置10には、撮像中に盛り上がったシーンや所望のシーンなどで、動画像の任意の時点にインデックスを付加するためのインデックス用操作部が設けられている。このインデック用操作部は、上記インデックス用ボタン30Fや、インデックスアイコン306に対するユーザ操作を検出するタッチパネル40などである。
撮像装置10のユーザ(撮像者)は、撮像中のシーンが盛り上がっていると感じたときに、インデックス用操作部を操作して、撮像装置10にインデックス指示を入力する。ユーザによりインデックス指示が入力されると、撮像装置10は、そのインデックス指示が入力された時点を基準としてインデックス区間を設定し、そのインデックス区間を表すインデックス情報をメモリ238に記録する。さらに、撮像装置10は、図5に示したように、表示パネル20に表示されているライブビュー画面300上に、タイムバー310と、インデックス区間オブジェクト320と、サムネイル画像330を表示する。上記のように、タイムバー310は録画時間の時間軸を表し、インデックス区間オブジェクト320は、設定されたインデックス区間を表し、サムネイル画像330はインデックス指示が入力された時点での撮像画像302である。
このように、本実施形態に係る撮像装置10では、インデックス指示が入力された時点で撮像された1つのフレームに対してのみインデックスを付加するのではなく、インデックス指示が入力された時点を含む所定の期間で撮像された複数のフレームからなる区間に対してインデックスを付加する。この理由は次の通りである。動画撮像においては、ユーザによるインデックス指示の入力は1時点であっても、その入力時点の前後から撮像中のシーンは盛り上がっていると考えられる。例えば、父親が撮像装置10により子供の笑顔を撮像したい場合、父親は、子供が笑った後にインデックス指示を入力する。しかし、実際の盛り上がりシーン(子供の笑い顔のシーン)は、父親がインデックス指示を入力した時点よりも前にも始まっている。このような場合には、インデックス指示の入力時点よりも前に撮像された画像に、インデックスを付加することが好ましい。
そこで、本実施形態に係る撮像装置10は、インデックス用操作部に対する1回のユーザ操作を契機として、そのユーザ操作によりインデックス指示が入力された時点を基準として、その時点を含む所定期間を設定し、当該所定期間に撮像された複数のフレームからなる動画像の区間を、インデックス区間として自動的に設定する。
このインデックス区間の時間長は、例えば、予め設定された所定時間(例えば、5秒、10、30秒等)に設定される。撮像装置10は、インデックス指示の入力時点を基準として、等配所定の時間長のインデックス期間を自動的に設定する。
図6A〜Cは、本実施形態に係る撮像装置10によるインデックス区間の自動設定方法を示す概念図である。図6A〜Cでは、インデックス区間の時間長が所定時間(例えば10秒)に固定されている例を示す。
図6Aに示す例では、撮像装置10は、インデックス区間を、インデックス指示の入力時点以前の10秒間に設定する。この場合、インデックス区間の終点がインデックス指示の入力時点に対応する。かかる設定方法は、インデックス指示の入力前に既に撮像されたシーンが、盛り上がりシーンである場合に有用である。
また、図6Bに示す例では、撮像装置10は、インデックス区間を、インデックス指示の入力時点以後の10秒間に設定する。この場合、インデックス区間の始点がインデックス指示の入力時点に対応する。かかる設定方法は、インデックス指示の入力後に盛り上がるシーンを撮像する場合に有用である。
また、図6Cに示す例では、撮像装置10は、インデックス区間を、インデックス指示の入力時点の前後の10秒間に設定する。この場合、インデックス区間の中点がインデックス指示の入力時点に対応する。かかる設定方法は、インデックス指示の入力前後に盛り上がりシーンがあり、盛り上がりのピークでインデックス指示が入力される場合に有用である。
上記のように、本実施形態に係る撮像装置10は、動画像中の盛り上がりシーン等を表すインデックスを、ポイントではなく、区間として取り扱う。そして、撮像装置10は、インデックス指示の入力時点を基準としてインデックス区間を自動的に設定する。これにより、ユーザがインデックス用操作部を1回だけ操作すれば、撮像装置10によって、その操作時点を基準として適切なインデックス区間を自動的に設定される。従って、ユーザは、インデックス区間を設定するために複数回の操作を行わなくて済むので、便利である。なお、ユーザは、図6A〜Cに示したインデックス区間の設定方法と、インデックス区間の時間長を、撮像装置10に対して予め設定しておくことができる。
さらに、動画像の撮像中には、ライブビュー画面300上に、上記のように設定されたインデックス区間を表すインデックス区間オブジェクト320が、タイムバー310及びサムネイル画像330とともに表示される。その後、これらの表示開始から所定時間Ts1だけ経過すると、撮像装置10は、上記タイムバー310、インデックス区間オブジェクト320及びサムネイル画像330等を、ライブビュー画面300上から自動的に消去する。
以上説明したように、本実施形態に係る撮像装置10は、動画像の撮像中に、その動画像の時間軸にマッピングされたインデックス区間オブジェクト320等を含むライブビュー画面300を表示する。これにより、ユーザは、インデックス指示を入力した直後に、自動的に設定されたインデックス区間の時間長や位置をリアルタイムで確認できる。
[録画確認画面の表示例]
次に、図7を参照して、本実施形態に係る動画像の録画終了直後に表示される録画確認画面400の表示例について説明する。図7は、本実施形態に係る録画確認画面400の表示例を示す図である。
図7に示すように、撮像装置10による動画像の録画終了直後(録画終了指示の入力直後)には、表示パネル20の表示画面に録画確認画面400が自動的に表示される。つまり、ユーザが録画終了ボタン(動画撮像用ボタン30E)を押下して、動画像の撮像及び記録を終了すると、撮像装置10は、表示パネル20に録画確認画面400を表示する。
録画確認画面400は、動画像の録画終了直後に撮像装置10の表示パネル20に自動的に表示されるオートレビュー画面である。ここで、「録画終了指示の直後(録画終了直後)」とは、「録画終了指示が入力された時点から、録画確認画面400の生成及び表示に必要な処理時間の経過後すぐに」を意味するが、例えば、録画終了指示が入力された時点から数秒(例えば1秒)以内に録画確認画面400が表示されることが好ましい。録画確認画面400は、タッチパネル40に対して所定機能を実行するためのユーザ操作が行なわれない限り、録画終了直後に自動的に表示されてから任意の所定時間Ts2が経過すると自動的に消え、録画待機画面に遷移する。録画終了前後において表示パネル20に表示される画面の遷移を整理すると以下の通りである
(1)録画モードでの録画期間中には、撮像及び録画中のライブビュー画面300が表示される。このライブビュー画面300上には、インデックス指示の入力に応じて、上述したインデックス区間オブジェクト320等が所定時間Ts2だけ自動的に表示され、その後、インデックス区間オブジェクト320等が非表示になる。
(2)録画期間中に録画終了指示が入力されて、録画を終了した直後には、録画確認画面400が自動的に表示される。そして、録画確認画面400に対してユーザ操作がない場合には、録画確認画面400の表示開始から所定時間Ts2経過後に、当該録画確認画面400が自動的に消去される。
(3)録画確認画面400が消去された後の録画待機モード(非録画期間)では、撮像装置10による撮像中のライブビュー画面である録画待機画面(図示せず。)が表示される。
以下に、図7を参照して録画確認画面400の内容について詳述する。図7に示すように録画確認画面400では、録画された動画像から抽出された任意のフレームの再生画像402(例えば、動画像の最終画像)が表示される。
さらに、録画確認画面400の下部側には、タイムバー410と、インデックス区間を表す表示オブジェクト420と、サムネイル画像430が、再生画像402上に重畳して表示される。表示オブジェクト420は、撮像中に設定された全てのインデックス区間を表す表示オブジェクト(以下、インデックス区間オブジェクト420という。)である。図7に示す録画確認画面400上に表示されるタイムバー410、インデックス区間オブジェクト420及びサムネイル画像430は、図5に示したライブビュー画面300上に表示されるタイムバー310、インデックス区間オブジェクト320及びサムネイル画像330と略同一の機能構成を有する。
タイムバー410は、録画された動画像の録画時間の時間軸を表す表示オブジェクトの一例である。図示の例のタイムバー410は、ポイント状のスライダ412を有するスライダーバーで構成される。このスライダ412の位置は、動画像の先頭から、録画確認画面400上に表示される再生画像402までの録画時間(即ち、録画開始時点から現在までの録画時間)を表す。ユーザは、タイムバー410中のスライダ412の位置を見ることで、再生画像402の時間軸上の位置(フレーム位置)を把握できる。また、ユーザが、スライダ412をタップして、タイムバー410内を左右にスライドさせると、撮像装置10は、スライダ412の位置を検知して、動画像のうち当該スライダ412の位置に対応するフレームの再生画像402を録画確認画面400上に表示させる。これにより、ユーザは、録画された動画像の時間軸上の任意の位置の再生画像402を確認できる。なお、タイムバー410の尺を一定にして、現在時点を表すスライダ412が常に画面横方向の中心に配置されるように、タイムバー410がスクロール表示されてもよい。或いは、再生時間の経過とともにタイムバー410の尺を縮小して、録画確認画面400内に常にタイムバー410全体が表示されるようにしてもよい。
インデックス区間オブジェクト420は、動画像の録画時間の時間軸を表すタイムバー410に対応づけて表示される。図示の例では、1つの動画像の撮像中に設定された2つのインデックス区間をそれぞれ表す2つのインデックス区間オブジェクト420A、420Bが、タイムバー410の上側に表示されている。タイムバー410に対するインデックス区間オブジェクト420の相対位置は、インデックス区間オブジェクト420が表すインデックス区間が、録画時間の時間軸上のどの位置に該当するかを表している。ユーザは、インデックス区間オブジェクト420とタイムバー410を見比べることで、撮像中に設定されたインデックス区間の位置や時間長を把握できる。
さらに、インデックス区間オブジェクト420は、ユーザによるインデックス指示の入力時点を表すポイント422を含む。図示の例では、2つのポイント422A、422Bが表示されており、1つの動画像の撮像中に2回のインデックス指示が入力されたことが分かる。ユーザは、インデックス区間オブジェクト420内のポイント422を見ることで、動画像に対してインデックスを付加した時点を把握できる。
サムネイル画像430は、インデックス区間を代表する静止画像であり、サムネイル画像430は、動画像のインデックス区間内の任意の時点(例えば始点、終点、インデックス指示の入力時点)で撮像されたフレームの画像である。図示の例では、2つのインデックス区間オブジェクト420A、420Bについてそれぞれ、サムネイル画像430A、430Bがポイント422A、422Bからポップアップ表示されている。ユーザは、かかるサムネイル画像430を見ることで、設定されたインデックス区間の代表画像を録画確認画面400上で確認できる。
以上説明したように、本実施形態に係る撮像装置10では、動画像の録画終了直後に、その動画像の時間軸にマッピングされたインデックス区間オブジェクト420等を含む録画確認画面400を表示する。これにより、ユーザは、動画像の録画終了直後の記録の鮮明なうちに、撮像中に動画像に対して設定された全てのインデックス区間の時間長や位置を確認できる。さらに、ユーザは、上記録画確認画面400上で、上記撮像装置10により自動的に設定されたインデックス区間が妥当かどうか確認し、インデックス区間をユーザ所望の区間に修正できる。
以下に、図8〜図10を参照して、録画確認画面400上でのインデックス区間の修正処理について説明する。図8は、本実施形態に係る録画確認画面400におけるインデックス区間の修正例を示す図である。図9、図10は、インデックス区間の修正の変更例を示す。
図8に示すように、録画確認画面400上に表示されるインデックス区間オブジェクト420の両端には、インデックス区間の始点及び終点を表す旗マーク424が表示される。この旗マーク424は、インデックス区間の始点及び終点を表す表示オブジェクトの一例である。図示の例では、2つのインデックス区間オブジェクト420の両端に、それぞれのインデックス区間の始点と終点を表す旗マーク424A、424B、424C、424Dがそれぞれ表示されている。
ユーザは、録画確認画面400上で、修正したいインデックス区間に対応するインデックス区間オブジェクト420の旗マーク424を指でタップして、録画確認画面400上をなぞりながら当該旗マーク424を左右に移動させる。このとき、かかる旗マーク424の移動に応じて、録画確認画面400上の再生画像402も、その旗マーク424の時間軸上の位置に該当するフレームの画像に変化する。これにより、ユーザは録画確認画面400上の再生画像402を見ながら、インデックス区間の始点又は終点を所望の位置に正確に修正できる。
かかるユーザ操作に応じて、撮像装置10は、ユーザにより操作された旗マーク424に対応するインデックス区間の始点又は終点を修正する。このインデックス区間の修正処理について詳述する。タッチパネル40は、上記ユーザ操作により指定された旗マーク424と、その移動量及び移動方向を検知する。インデックス設定部236は、検知された旗マーク424に対応するインデックス区間の始点又は終点を特定し、その始点又は終点を、検知された移動量及び移動方向に応じた位置に修正する。例えば、図8の例で、ユーザが旗マーク424Bを左方向に動かした場合には、インデックス区間オブジェクト420が表すインデックス区間の終点が修正され、当該インデックス区間の時間長が短くなる。
また、図9は、図8の旗マーク424をサムネイル画像430に置換した変更例である。サムネイル画像430C、430Dはそれぞれ、インデックス区間オブジェクト420に対応するインデックス区間の始点と終点のフレームの画像である。また、図10は、図8の旗マーク424をGUIボタン440に置換した変更例である。ユーザは、録画確認画面400上で、かかるサムネイル画像430やGUIボタン440を指定して、所望の方向に、所望の移動量だけ移動させることで、上記旗マーク424の場合と同様にして、インデックス区間を修正できる。
以上のようにして、ユーザは、上記録画確認画面400上で、上記撮像装置10により自動的に設定されたインデックス区間の始点と終点を、ユーザが実際に認識している盛り上がりシーンの始点と終点に修正できる。録画確認画面400は、動画像の録画終了直後のユーザの記憶が鮮明なときに表示されるので、ユーザは、撮像装置10により自動設定されたインデックス区間を、所望の区間に正確に修正できる。このようにして、録画直後にインデックス区間を正確に修正しておくことで、後に動画像を編集するときの正確な目安となる。
かかる録画確認画面400は、(a)録画された動画像に対して設定されたインデックス区間を録画直後にユーザに提示するためのオートレビュー機能と、(b)録画直後にインデックス区間を修正するための修正機能と、(c)録画直後に当該動画像の少なくとも一部に対して所定機能(再生、削除、レーティング等)を実行するため編集機能とを兼ね備えている。(a)のオートレビュー機能と(b)の修正機能は、上記のように、録画確認画面400内に録画時間の時間軸に対応付けて表示されるインデックス区間オブジェクト420等により実現される。(c)の編集機能は、録画確認画面400上に表示される機能アイコン450(図7及び図8参照)により実現される。
ここで、再び図7及び図8を参照して、録画確認画面400上の機能アイコン450を利用した動画像の編集機能について説明する。
図8及び図9に示すように、録画確認画面400には、複数の機能アイコン450が表示される。機能アイコン450は、録画された動画像に対して所定機能(例えば、再生、レーティング、削除等)を実行するための契機となるGUI部品である。図8の例では、録画確認画面400の右側に、3つの機能アイコン450、即ち、再生アイコン450A、レーティングアイコン450B、削除アイコン450Cが表示されている。
再生アイコン450Aは、記録媒体2に記録された動画像のうちインデックス区間のみを再生するための機能アイコンである。レーティングアイコン450Bは、記録媒体2に記録された動画像のインデックス区間に評価値を付与するための機能アイコンである。削除アイコン450Cは、記録媒体2に記録された動画像のうち、インデックス区間以外の区間を削除するための機能アイコンである。
ユーザは、録画確認画面400上で上記機能アイコン450を指定することで、録画された動画像に対して、当該選択した機能アイコン450に対応する機能を実行させることができる。上述したように、撮像装置10の表示パネル20上にはタッチパネル40が設けられており、タッチパネル40は、ユーザにより指定された録画確認画面400上の位置(画面位置)を検出する。かかるタッチパネル40により、機能アイコン450の選択操作などを検出できる。
録画確認画面400の表示中には、撮像装置10は、タッチパネル40により当該ユーザ操作の有無を検出している。この結果、録画確認画面400の表示中にタッチパネル40により検出された位置が、いずれかの機能アイコン450の表示位置に対応する場合には、ユーザが、当該機能アイコン450を選択したといえる。この場合、撮像装置10は、当該機能アイコン450に対応する機能の実行指示が入力されたと判断し、録画された動画像のインデックス区間又はそれ以外の区間に対して、当該機能アイコン450に対応する機能を実行する。
例えば、録画確認画面400の表示中に、ユーザが再生アイコン450Aを指定(タップ)すると、撮像装置10は、インデックス情報に基づいて、記録媒体2に記録された動画像からインデックス区間の画像データのみを抽出し、当該インデックス区間の画像データのみを再生して、再生画像を録画確認画面400上に表示する。これにより、ユーザは、録画された動画像のうち、盛り上がりシーン等からなるインデックス区間の画像のみを見ることができるので、動画像の見たい区間を効率的に確認できる。
また、録画確認画面400の表示中に、ユーザがレーティングアイコン450Bを指定(タップ)すると、撮像装置10は、記録媒体2に記録された動画像のインデックス区間に対して、ユーザにより指定された評価値を付与する。例えば、撮像装置10は、レーティングアイコンの指定に応じて、評価値を入力するための画面(図示せず。)を表示し、その入力画面内で指定された評価値を動画像に付与するようにしてもよい。評価値は、例えばレベル1〜レベル5までの多段階で付与することが可能である。入力された評価値の情報は、動画像に関連づけて記録媒体2等に保存される。かかる評価値の情報はその後に動画像を再生又は編集するときに有用である。
また、録画確認画面400の表示中に、ユーザが削除アイコン450Cを指定(タップ)すると、撮像装置10は、動画像のうちインデックス区間以外の区間の画像データを、記録媒体2から削除する。この場合、撮像装置10は、削除アイコン450Cに対するユーザ操作に応じて直接、動画像のインデックス区間以外の区間の画像データを削除してもよい。或いは、撮像装置10は、削除するか否かを確認するための確認ダイアログ(図示せず。)を表示して、ユーザ確認が得られた場合に、動画像のインデックス区間以外の区間の画像データを削除してもよい。また、動画像を削除する方法としては、例えば、記録媒体2に記録されている動画像のデータを完全に削除する方法の他、当該動画像のデータを削除リストに移動させて所定期間保持した後に削除する方法、又は、実際には動画像のデータは保存されているが、ユーザに当該データを提示しない方法などがある。
以上のように、録画確認画面400上の機能アイコン450にタップするという簡単なユーザ操作により、録画された動画像のうち見たい区間であるインデックス区間を再生したり、インデックス区間以外の不要な区間のみを削除したりできる。ユーザは、録画確認画面400上で機能アイコン450を指定するだけで、インデックス区間のみを再生する、又は、インデックス区間のみを記録媒体2に本記録するなどの編集作業を簡単に行うことができる。また、撮影された動画像のうち、ユーザにとって必要な部分であるインデックス区間の画データのみを記録媒体2に記録することができる。従って、記録媒体2の記録領域を無駄に使わずに、必要な動画像を効率的に記録できる。
以上、図7〜図10を参照して、録画確認画面400におけるインデックス区間の修正機能及び動画像の編集機能について説明した。本実施形態に係る録画確認画面400によれば、ユーザは、動画像を録画した直後の記憶が鮮明なうちに、撮像中に設定したインデックス区間を所望の区間に修正することができるので、より精度の高いインデックス区間を動画像に付加することができる。さらに、動画像に対して1時点のインデックスポイントではなく、所定の時間長のインデックス区間が付加されているので、撮像後に動画像を再生、編集するときに、インデックス区間を目安にして、短時間で効率的に動画像を再生、編集できる。
さらに、録画確認画面400によれば、ユーザは、動画像を録画した直後の記憶が鮮明なうちに、インデックス区間を基準として動画像を再生、編集することができる。しかも、かかる動画像に対する再生、編集作業は、タッチパネル40を用いて機能アイコン450を指定するという簡単なユーザ操作で実現できる。
従来の撮像装置では、録画した動画像を事後的に選別・編集する場合、動画像を先頭から再生してその内容を確認する必要があり、非常に煩雑で非効率的な作業であった。これに対し、本実施形態に係る録画確認画面400によれば、録画直後のユーザの記憶が鮮明なうちに、動画像のインデックス区間のみを再生する、動画像のインデックス区間以外の不要部分を削除するなどの編集作業をすることができる。従って、再生、編集作業が容易であり、非常に便利である。また、録画直後に録画確認画面400において、動画像のインデックス区間を部分的にレーティングしておけば、事後的に動画像を再生閲覧したり編集したりする際にも便利である。
[撮像装置による処理フロー]
次に、図11を参照して、本実施形態に係る撮像装置10による撮像及び画像処理フローについて説明する。図11は、本実施形態に係る撮像装置10による撮像時及び録画終了時の処理方法を示すフローチャートである。
図11Aに示すように、ユーザにより録画開始ボタン(動画撮像用ボタン30E)が押下されて、録画開始指示が入力されると、(S100)、撮像装置10は、動画像の録画動作を開始する(S102)。この動画像の録画動作では、撮像装置10は、被写体を撮像するとともに、当該撮像により得られた複数枚のフレームをディスク状記録媒体2に記録する。また、撮像装置10は、現在撮像中の撮像画像302を表すライブビュー画面300(図5参照。)を表示パネル20に表示する。
録画期間中には、撮像装置10は、インデックス用操作部(例えば、インデックス用ボタン30F、タッチパネル40)に対する1回のユーザ操作が行われたか否か、即ち、ユーザからインデックス指示が入力されたか否を検出している(S104)。ユーザは、インデックス用ボタン30Fを押下するか、ライブビュー画面300上のインデックスアイコン306をタップすることで、撮像装置10にインデックス指示を入力できる。
次いで、撮像装置10は、インデックス指示の入力に応じて、インデックス指示が入力された時点を含む所定期間に撮像された動画像の区間を、インデックス区間として設定する(S106)。例えば図6A〜Cに示したように、撮像装置10は、インデックス指示の入力時点を含むようにインデックス期間を設定し、そのインデックス期間に撮像された複数のフレームからなるインデックス区間を設定する。
さらに、撮像装置10は、ライブビュー画面300上に、S104で設定されたインデックス区間を表すインデックス画像を表示する(S108)。インデックス画像は、図5で説明したタイムバー310、インデックス区間オブジェクト320及びサムネイル画像330などを含む。かかるインデックス画像をライブビュー画面300上に表示することにより、ユーザは、S104でのインデックス操作に応じて設定されたインデックス区間を、撮像中に確認できる。その後、上記ライブビュー画面300上のインデックス画像の表示時間が所定時間Ts1になったときに(S110)、撮像装置10は、ライブビュー画面300上からインデックス画像を消去する(S112)。
以上のような動画像の録画処理と、インデックス区間の設定及び表示処理S104〜S112は、ユーザにより録画終了指示が入力されるまで継続される(S114)。つまり、録画期間中には、撮像装置10は、ユーザにより録画終了指示が入力されたか否か、即ち、録画終了ボタン(即ち、動画撮像用ボタン30E)が押下されたか否かを検出している(S114)。録画終了指示が入力されたときには、撮像装置10は録画動作を終了して(S116)、録画された動画像に関する録画確認画面400(図7参照。)を表示する(S118)。録画確認画面400は、図7で説明したタイムバー410、インデックス区間オブジェクト420及びサムネイル画像430などを含む。かかる録画確認画面400により、ユーザは、録画中に設定された全てのインデックス区間を、録画終了直後に再度確認できる。
さらに図11Bに示すように、録画確認画面400の表示中には、撮像装置10は、ユーザによりインデックス区間の修正操作が行われたか否かを検出している(S120)。図8に示したように、ユーザは、録画確認画面400上のインデックス区間オブジェクト420を操作することで、インデックス区間の始点又は終点を修正できる。インデックス区間を修正するユーザ操作が行われた場合、撮像装置10は、当該ユーザ操作に応じて、インデックス区間を修正して、メモリ238内のインデックス情報を更新するとともに、修正後のインデックス区間に対応するインデックス区間オブジェクト420を、録画確認画面400上に表示する(S122)。
また、録画確認画面400の表示中に、録画確認画面400上の機能アイコン450に対するユーザ操作が行われた場合には、撮像装置10は、当該機能アイコン450に対するユーザ操作に応じて、動画像を編集する(S124)。例えば、録画確認画面400上の再生アイコン450Aが指定された場合には、録画された動画像のうちインデックス区間のみを再生する。また、録画確認画面400上の削除アイコン450Cが指定された場合には、録画された動画像のうちインデックス区間以外の区間を削除する。
その後、インデックス区間の修正操作(S120)や、動画像の編集操作(S124)が行われることなく、録画確認画面400の表示時間が所定時間Ts2になったときに(S126)、撮像装置10は、動画像とインデックス情報とを関連づけて記録媒体2に記禄する(S128)。S124で動画像が編集されている場合には、編集後の動画像(例えば、インデックス区間のみの画像データ)が記録される。また、S122でインデックス区間が修正されている場合には、修正後のインデックス区間を表すインデックス情報が記録される。
さらに、撮像装置10は、録画待機状態に移行して、録画確認画面400を自動的に消去して、録画待機画面を表示する(S130)。録画待機画面は、録画待機モードで表示されるライブビュー画面であり、撮像装置10による撮像中の画像を表示する。なお、必ずしも、上記のように録画確認画面400の表示後に録画待機モードに移行しなくてもよい。例えば、ユーザが録画確認画面400を用いて一定時間以上編集操作をおこなっている場合には、動画像を編集する編集モードに移行してもよい。この編集モードとは、再生モード中の編集専用の機能を意味する。
上記のように本実施形態では、録画確認画面400の表示時間が所定時間Ts2となったときに、動画像とインデックス情報を本記録するとともに、録画確認画面400を自動消去する。他の例として、録画確認画面400上に、当該録画確認画面400の表示を終了するためのGUIボタンを設け、ユーザがそのGUIボタンを指定(タップ)すると、撮像装置10は、動画像とインデックス情報を記録媒体に記録するとともに、録画確認画面400を消去して、録画待機状態に戻ってもよい。
<2.第2の実施形態>
次に、本開示の第2の実施形態について説明する。第2の実施形態に係る撮像装置10は、動画像の撮像中に、ライブビュー画面300上でユーザが指定したオブジェクトが映っている区間をインデックス区間として設定する。なお、第2の実施形態は、第1の実施形態と比べてインデックス区間の設定方法が相違し、その他の機能構成は第1の実施形態と実質的に同一であるのでその詳細説明は省略する。
[オブジェクト認識によるインデックス区間の設定]
まず、図12を参照して、第2の実施形態に係るオブジェクト認識を利用したインデックス区間の設定方法について説明する。図12は、本実施形態に係るライブビュー画面300上において、撮像画像302に映っているオブジェクト340を指定してインデックス区間を設定するときの表示例を示す図である。
図12に示すように、動画像の撮像中には、ライブビュー画面300上には、撮像装置10により撮像中の被写体の撮像画像302がリアルタイムで表示される。このライブビュー画面300上の撮像画像302には、ユーザが撮像したいオブジェクト340(図示の例では犬)が映っている。オブジェクトは、撮像装置10による撮像対象である任意の物、例えば、人物、人物の顔、動物、植物、乗り物、建造物、風景などである。
動画像の撮像中に、ユーザが、撮像画像302中のオブジェクト340を指で指定(タップ)すると、撮像装置10は、ユーザにより指定されたライブビュー画面300上の位置に映っているオブジェクト340を認識する。そして、撮像装置10は、録画期間に撮像される動画像のうち、そのオブジェクト340が映っている区間をインデックス区間として設定する。以下に、このようにオブジェクト認識を利用してインデックス区間を設定するときの動作について詳述する。
まず、動画像の撮像中に、ユーザが、ライブビュー画面300を見ながら、操作体を用いてライブビュー画面300上に表示されているオブジェクト340を指定する。かかるユーザによりオブジェクト340の指定操作が、撮像装置10に対するインデックス指示の入力操作となる。ライブビュー画面300に対するオブジェクト340の指定に応じて、タッチパネル40は、ユーザにより指定されたライブビュー画面300上の位置を検出する。そして、撮像装置10は、その時点での撮像画像302のフレームを解析することで、上記タッチパネル40により検出された画面位置に映っているオブジェクト340を認識する。そして、オブジェクト認識部240は、録画期間中に撮像される動画像の中から、そのオブジェクト340が映っている複数のフレームを特定する。そして、撮像装置10は、オブジェクト340が映っている複数のフレームからなる動画像の区間を、インデックス区間として設定する。このインデックス区間は、オブジェクト340が映っている区間であれば、ユーザによるインデックス指示の入力時点(オブジェクト340がタップされた時点)の前後に渡る。即ち、インデックス区間は、インデックス指示の入力時点より前に既に撮像された区間(図12のインデックス区間オブジェクト320に相当する部分)と、当該入力時点以後に撮像される区間(図12では図示せず。)を含む。
かかるオブジェクト認識によりインデックス区間が設定されると、図12に示すように、撮像装置10は、ライブビュー画面300上に、設定したインデックス区間に関するインデックス画像を所定時間Ts1だけ表示させる。このインデックス画像は、上述したタイムバー310、インデックス区間オブジェクト320及びサムネイル画像330に加えて、オブジェクトモデル345などを含む。オブジェクトモデル345は、上記オ認識されたオブジェクト340のアニメーション化した表示モデルである。ユーザは、かかるインデックス画像を見ることで、指定したオブジェクト340が映っているインデックス区間の位置や時間長を確認できる。また、オブジェクトモデル345により、認識されたオブジェクト340を確認できる。
以上のように、本実施形態に係る撮像装置10は、オブジェクト認識を利用して、ユーザ指定されたオブジェクト340が映っている区間のみを自動的に切り出して、インデックス区間を設定する。これにより、ユーザは、ライブビュー画面300上でオブジェクト340を指定するという簡単な操作を行うだけで、所望のオブジェクト340が映っている動画像の区間に対して、インデックスを付加できる。従って、撮像後に動画像を再生、編集するときに、所望のオブジェクト340が映っている区間とそれ以外の区間を容易に区別できる。さらに、ユーザは、オブジェクト340が映っている区間のみを再生したり、それ以外の区間(即ち、オブジェクト340が映っていない区間)を削除したりできる。また、タッチパネル40上の任意の位置に対するユーザ操作により、インデックス指示を入力できるので、第1の実施形態のようなインデックス専用の操作部(インデックス用ボタン30F、インデックスアイコン306)を設けなくても済む。
[オブジェクトが映っていない区間の削除]
次に、図13を参照して、撮像後に、録画確認画面400において削除アイコン450Cを用いて動画像の一部を削除する方法について詳述する。図13は、本実施形態に係る録画確認画面400において、インデックス区間以外の区間を削除するときの表示例を示す図である。
図13に示すように、録画終了後に表示される録画確認画面400上には、上記の機能アイコン450が表示される。このうち削除アイコン450Cは、録画された動画像のうち、インデックス区間以外の区間をまとめて削除するための操作ボタンである。録画確認画面400の表示中に、ユーザが削除アイコン450Cを指定(タップ)すると、撮像装置10は、仮記録されている動画像のうち、インデックス区間以外の区間の画像データを削除して、インデックス区間のみの画像データを記録媒体2に本記録する。
具体的には、図13の例は、動画像の撮像中に図12で説明したオブジェクト指定によりインデックス区間を設定し、その動画像の録画終了後に表示される録画確認画面400において、オブジェクト340が映っていない区間を削除する例である。図13に示すように、録画確認画面400上には、2つのインデックス区間オブジェクト420A、420Bが表示されている。これにより、撮像中に2つのインデックス区間が設定され、それぞれのインデックス区間に、撮像中ユーザにより指定されたオブジェクト340(例えば犬)が映っていることが分かる。
このような録画確認画面400において、ユーザが削除アイコン450Cをタップすると、撮像装置10は、撮像中にメモリ238に記録されたインデックス情報に基づいて、オブジェクト340が映っているインデックス区間と、それ以外の区間を特定する。そして、撮像装置10は、仮記録されている動画像のうち、オブジェクト340が映っていない区間(図13のタイムバー410中の斜線部分414に相当する。)を削除し、オブジェクト340が映っている区間(図13のインデックス区間オブジェクト420に相当する。)を記録媒体2に本記録する。
以上のように、削除アイコン450Cにタップするという簡単なユーザ操作に応じて、撮像中にユーザが指定したオブジェクト340(被写体)が映っていない不要区間は削除されて、当該オブジェクト340が映っている必要区間のみが記録される。従って、ユーザは、撮像中に、図12のライブビュー画面300上でオブジェクト340を指定し、撮像後に、図13の録画確認画面400で削除アイコン450Cを指定するだけで、所望の被写体が映っている画像区間だけを切り出して、記録することができる。よって、短時間で効率的に動画像の編集作業を実行できる。
[オブジェクトが映っていない区間の自動削除]
次に、図14を参照して、撮像中に、ライブビュー画面300において動画像の一部を自動的に削除する方法について詳述する。図14は、本実施形態に係るライブビュー画面300において、インデックス区間より前に撮像された区間を自動削除するときの表示例を示す図である。
図14に示すように、動画像の撮像中に、ユーザが、ライブビュー画面300上に表示されているオブジェクト340を指定(タップ)すると、図12と同様に、撮像装置10は、オブジェクト認識により、オブジェクト340が映っている区間をインデックス区間として設定する。さらに、撮像装置10は、上記オブジェクト340の指定に伴うインデックス区間の設定に応じて、インデックス区間より前に撮像された動画像の区間を自動的に削除する。ここで、インデックス区間より前に撮像された動画像の区間とは、撮像中の動画像の先頭から、設定されたインデックス区間の始点までの区間(図14のタイムバー310中の斜線部分314に相当する。)である。
このように、撮像装置10は、撮像中にオブジェクト認識によりインデックス区間を設定した時点で、既に撮像及び記録された動画像のうち、当該インデックス区間よりも前の部分を自動的に削除する。これにより、動画像の撮像中にユーザが削除操作を行わなくても、インデックス区間より前に撮像された不要な区間を、自動的に削除できる。
かかる自動削除は、例えば次のようなユースケースで有用である。例えば、ユーザが、移動している物体A(例えば、運動会で走っている子供、走行中の電車など)を撮像するために、録画動作中の撮像装置10を構えている場合を想定する。この場合、移動している物体Aが撮像装置10の撮像範囲内に入ってきたときに、ユーザが、ライブビュー画面300上に映っている物体Aをタップする。すると、撮像装置10は、その物体Aが映っている区間をインデックス区間に設定し、物体Aが映る前に撮像された部分のデータを自動的に削除する。これにより、撮像装置10は、ユーザ所望の物体Aが映っている区間の画像データのみを記録媒体に記録できる。
なお、図12〜図14の例では、オブジェクト340として犬の例を挙げて、犬が映っている区間をインデックス区間に設定する例について説明したが、本開示はかかる例に限定されない。例えば、人物の顔をオブジェクト340として指定することで、その人物の顔が映っている区間をインデックス区間として設定してもよい。また、オブジェクト認識技術と笑顔検出技術とを組み合わせて、人物の笑顔が映っている区間をインデックス区間に設定することもできる。
<3.第3の実施形態>
次に、本開示の第3の実施形態について説明する。第3の実施形態に係る撮像装置10は、動画像の撮像中に、タッチパネル40に対するユーザのジェスチャー(表示画面のなぞり方)に応じてインデックス区間を設定する。なお、第3の実施形態は、第1及び第2の実施形態と比べてインデックス区間の設定方法が相違し、その他の機能構成は第1及び第2の実施形態と実質的に同一であるのでその詳細説明は省略する。
上記のように、タッチパネル40は、操作体(例えばユーザの指)により指定された表示画面上の位置だけでなく、操作体による表示画面のなぞり方(例えば、なぞり方向、なぞり長)を検出できる。従って、撮像中にユーザが表示画面をなぞったときに、撮像装置10は、タッチパネル40によりそのなぞり方を検出し、当該なぞり方に応じてインデックス区間の設定方法を変更することができる。
例えば、撮像装置10は、操作体による表示画面のなぞり方向に応じて、表示画面がなぞられた時点を基準としてインデックス区間を設定する。また、撮像装置10は、操作体による表示画面のなぞり長に応じて、インデックス区間の時間長及び始点を設定する。このようにユーザによるなぞり方に応じてインデックス区間を設定することで、表示画面に対する1回のユーザ操作に応じて、撮像装置10が設定可能なインデックス区間のバリエーションを増やすことができる。これにより、ユーザは、簡単な操作によって、所望のインデックス区間を設定するように撮像装置10に指示できる。以下に具体的な表示例について説明する。
[画面のなぞり方向に応じたインデックス区間の設定]
まず、図15〜図17を参照して、第3の実施形態に係るライブビュー画面300において、表示画面に対するなぞり方向に応じて、インデックス区間を設定する方法について説明する。図15は、ライブビュー画面300上でオブジェクト340が左方向になぞられたときの表示例であり、図16は、ライブビュー画面300上でオブジェクト340が右方向になぞられたときの表示例である。図17は、図16で設定されたインデックス区間を表す録画確認画面400の表示例である。
図15に示すように、動画像の撮像中に、ユーザが、ライブビュー画面300上の撮像画像302に含まれるオブジェクト340を指で左方向になぞったときは、まず、撮像装置10は、タッチパネル40により、ライブビュー画面300上のなぞられた位置と、なぞり方向を検出する。次いで、撮像装置10は、ライブビュー画面300上のなぞられた位置に映っているオブジェクト340を認識する。この場合、ユーザが表示画面(タッチパネル40)をなぞる操作は、インデックス指示の入力操作に相当し、なぞられた時点は、インデックス指示の入力時点に該当する。また、オブジェクト340を認識する処理は、第2の実施形態と同様である。
次いで、撮像装置10は、なぞられた時点より前に既に撮像された動画像のうち、オブジェクト340が映っている区間の始点(ポイント324に相当)から、なぞられた時点(ポイント322に相当)までの区間を、インデックス区間として設定する。ここで、オブジェクト340が映っている区間の始点は、動画像中でオブジェクト340が最初に認識されたフレームに対応する。その後、撮像装置10は、ライブビュー画面300上に、設定したインデックス区間を表すインデックス区間オブジェクト420等のインデックス表示を表示する。
このように、ライブビュー画面300上でオブジェクト340が左方向になぞられた場合には、なぞられた時点(インデックス指示の入力時点)以前に撮像された動画像のうちで、オブジェクト340が映っている区間が、インデックス区間として設定される。かかる設定手法は、例えば、所望のオブジェクト340の撮像中に、ユーザが、そのオブジェクト340の撮像を終了してもよいと思ったときに、念のためもう少し撮像しておく場合に有用である。
一方、図16に示すように、動画像の撮像中に、ユーザが、ライブビュー画面300上の撮像画像302に含まれるオブジェクト340を指で右方向になぞったときは、撮像装置10は、タッチパネル40により、ライブビュー画面300上のなぞられた位置と、なぞり方向を検出し、なぞられた位置に映っているオブジェクト340を認識する。次いで、撮像装置10は、なぞられた時点以後に撮像する動画像のうち、なぞられた時点(ポイント322に相当)から、オブジェクト340が映っている区間の終点(ポイント326に相当)までの区間を、インデックス区間として設定する。ここで、オブジェクト340が映っている区間の終点は、動画像中でオブジェクト340が最後に認識されたフレームに対応する。
図16の例で、オブジェクト340が右方向になぞられた時点では、インデックス区間の終点(ポイント326に相当)は未確定であるので、撮像装置10は、インデックス区間の始点(ポイント322に相当)のみを設定する。さらに、なぞられた直後には、撮像装置10は、ライブビュー画面300上に、インデックス区間オブジェクト420の始点を表すポイント322のみを表示し、さらに、撮像時間の経過と共に、インデックス区間オブジェクト420を右側に延長表示する。その後、オブジェクト340が撮像範囲から外れて、撮像画像308中にオブジェクト340が映らなくなったときには、撮像装置10はインデックス区間の終点(ポイント326に相当)を設定し、確定したインデックス区間全体を表すインデックス区間オブジェクト420を表示する。
このように、図16のライブビュー画面300上で、オブジェクト340を右方向になぞってインデックス区間を設定した場合には、録画終了後に表示される図17に示す録画確認画面400上で、最終的なインデックス区間を確認できる。図17のライブビュー画面300では、上記右方向のなぞり操作により設定されたインデックス区間を表すインデックス区間オブジェクト420が表示される。このインデックス区間オブジェクト420の左端のポイント422は、インデックス区間の始点(インデックス指示入力時点)を表し、右端のポイント426は、インデックス区間の終点を表す。
以上のように、ライブビュー画面300上でオブジェクト340が右方向になぞられたときには、なぞられた時点(インデックス指示の入力時点)以後に撮像された動画像のうちで、オブジェクト340が映っている区間が、インデックス区間として設定される。かかる設定手法は、例えば、所望のオブジェクト340の撮像中に、そのオブジェクト340の盛り上がりシーンが到来した時点で、それ以降のオブジェクト340を全て撮像したい場合に有用である。
[画面をなぞる長さに応じたインデックス区間の設定]
次に、図18及び図19を参照して、第3の実施形態に係るライブビュー画面300において、表示画面に対するなぞり長に応じて、インデックス区間を設定する方法について説明する。図18は、ライブビュー画面300上でオブジェクト340がなぞられたときの表示例である。図19は、なぞり長と付加区間の時間長との関係を示す図である。
図19に示すように、動画像の撮像中に、ユーザが、ライブビュー画面300上の撮像画像302に含まれるオブジェクト340を指で任意の方向(図では右方向)になぞったときは、まず、撮像装置10は、タッチパネル40により、ライブビュー画面300上のなぞられた位置と、なぞり方向を検出する。次いで、撮像装置10は、ライブビュー画面300上のなぞられた位置に映っているオブジェクト340を認識する。
次いで、撮像装置10は、なぞり長に応じて、付加区間(図18のタイムバー310内のチェック部分316に相当する。)の時間長を設定する。例えば図19に示すように、撮像装置10は、ユーザによる表示画面のなぞり長が長いほど、付加区間の時間長は長くなるように設定する。
ここで、付加区間は、インデックス指示の入力時点(なぞられた時点)より前の所定時間に撮像された区間であり、インデックス区間に含まれる。この付加区間は、インデックス指示の入力時点の少し前に撮像された画像からなるので、所望のオブジェクト340が映っているシーンであるか、盛り上がりシーンの導入部分である可能性が高い。この付加区間をインデックス区間に含めることで、これらの必要なシーンをインデックス区間含めることができる。よって、ユーザによるインデックス指示の入力の遅れを補償できる。しかし、付加区間が必要以上に長すぎると、不要な区間がインデックス区間に含まれてしまうので、適切ではない。
そこで、ライブビュー画面300に対するユーザ操作(ジェスチャー)に応じて、付加区間の時間長を適切な時間長に調整するために、撮像装置10は、ユーザによるなぞり長に応じて、付加区間の時間長を設定する。これにより、ユーザは、なぞり長を変えることで、付加区間の時間長を所望の時間に設定できる。例えば、ユーザは、インデックス指示入力前の付加区間を長くしたければ、なぞり長を長くすればよいし、当該付加区間を短くしたければ、なぞり長を短くすればよい。
次いで、撮像装置10は、上記なぞり長に応じて設定された時間長の付加期間を含むインデックス区間を設定する。つまり、撮像装置10、なぞり長に応じて付加期間の時間長を決定し、ライブビュー画面300がなぞられた時点(図18のポイント322に相当する。)から当該時間長だけ前の時点を、インデックス区間の始点として設定する。そして、撮像装置10は、その始点以降に撮像された動画像の区間を、インデックス区間として設定する。このとき、上記付加区間は、なぞられた時点から当該時間長だけ前の時点までの期間に撮像されたフレームからなる。更に、撮像装置10は、当該付加区間より前にある動画像の先頭の不要区間(図18のタイムバー310内の斜線部分314に相当する。)を削除する。
以上のように、ユーザがライブビュー画面300上のオブジェクト340にタップしてなぞると、撮像装置10は、既に撮像された動画像のうち、タップ時点からなぞり長に応じた時間長だけ前の付加区間(316)をインデックス区間に含め、付加区間より前の不要区間(314)を削除する。これにより、ユーザのインデックス指示の入力遅延を補償でき、ユーザにとって必要な区間を適切にインデックス区間に含めることができる。特に、なぞり長に応じて、なぞった時点より前のインデックス区間の時間長(つまり、付加期間の時間長)を自由に調整できる点が有用である。
なお、なぞり方向は、図18のような右方向以外にも、左方向など、任意の方向であってよい。また、付加区間の基準となる時点は、上記のようにオブジェクト340をなぞった時点(即ち、インデックス指示の入力時点)であってもよいし、オブジェクト340を認識した時点であってもよい。
以上、本実施形態に係る撮像装置10は、ユーザによる表示画面のなぞり方(タッチパネル40に対するジェスチャー)に応じて、インデックス区間を設定できる。これにより、ユーザは、表示画面のなぞり方によって、インデックス区間の位置や時間長を指定することができ、所望のインデックス区間を設定することができる。また、ユーザは、表示画面のなぞり方を変えるという簡単な操作で、インデックス区間を自由に設定し、効率的に編集作業を行うことができる。
<4.まとめ>
以上、本開示の好適な実施形態に係る撮像装置10と画像処理方法について詳細に説明した。本実施形態によれば、ユーザは、動画像の撮像中に1回の操作で、動画像の1時点ではなく、適切な時間長の区間に対して、インデックスを付加できる。これにより、ユーザは、動画像の所望区間に対してインデックスを付加するために、撮像装置10を複数回操作する必要が無く、簡単な操作でインデックスを付加でき、操作性に優れる。
また、ユーザは、動画像の録画終了直後に表示される録画確認画面400において、録画内容を確認しながら、付加したインデックスの始点又は終点を自由に修正できる。従って、より精度の高いインデックスを付加することが可能である。
また、撮像中のライブビュー画面300や、録画直後のライブビュー画面300において、設定されたインデックス区間を、動画像の時間軸と対応付けて表示する。これにより、動画像の撮像中や録画直後のユーザの記憶が鮮明なうちに、動画像のインデックス区間をユーザに対して分かりやすく提示できる。よって、ユーザは、動画像の内容を容易かつ適切に把握でき、インデックス区間の修正や、動画像の編集の要否などを容易に判断できる。
よって、動画像の撮像中と録画終了直後における撮像者の記憶が鮮明なうちに、動画像の盛り上がりシーンなどの所望の区間に対して、インデックスを高精度で付加しておくことができる。従って、事後的に動画像を再生、編集するときに、ユーザは、インデックス区間を目安として、動画像の再生、編集作業を短時間で効率的に行うことができる。
また、上記ライブビュー画面300又は録画確認画面400上において、簡単なユーザ操作により又は自動的に、撮像された動画像のうち必要部分(インデックス区間)のみを再生したり、不要部分(インデックス区間以外)を削除したりできる。従って、従来よりも効率的に動画像を取り扱うことが可能である。特に、録画された動画像の不要部分を削除する編集作業を、撮像中に自動的に、或いは、録画直後にタッチパネル40に対する簡単な操作で実現できるので、編集作業を大幅に効率化できる。
また、上記のように動画像の撮像時又は録画終了時に、撮像した動画像のうち必要な部分のみを記録媒体に記録できるので、記録媒体を無駄に使用せずに、効率的に記録できる。
さらに、第2の実施形態によれば、インデックス区間の設定にオブジェクト認識を適用することで、ライブビュー画面300上でオブジェクト340を指定するという簡単なユーザ操作によって、所望のオブジェクト340が映っている動画像の区間に対して、インデックスを付加できる。従って、ユーザは、撮像後に動画像を再生、編集するときに、所望のオブジェクト340が映っている区間とそれ以外の区間を容易に識別できる。
また、第3の実施形態によれば、タッチパネル40を用いて、ユーザによるライブビュー画面300のなぞり方(ジェスチャー)を検出し、このなぞり方に応じて、多様なバリエーションのインデックス区間を設定できる。これにより、ユーザは、簡単な操作によって、所望の区間に対して自由にインデックスを付加できる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。