JP2014220724A - 表示制御装置、表示制御方法、およびプログラム - Google Patents
表示制御装置、表示制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2014220724A JP2014220724A JP2013099792A JP2013099792A JP2014220724A JP 2014220724 A JP2014220724 A JP 2014220724A JP 2013099792 A JP2013099792 A JP 2013099792A JP 2013099792 A JP2013099792 A JP 2013099792A JP 2014220724 A JP2014220724 A JP 2014220724A
- Authority
- JP
- Japan
- Prior art keywords
- person
- moving image
- image
- display
- clip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
【課題】広い画角の画像を効率的に見ることができるようにする。
【解決手段】本技術の一側面の表示制御装置は、動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において動画に写っている第2の人物の画像を第2の表示領域に表示させ、第2の人物が追尾対象として選択された場合、第1の人物の画像に代えて第2の人物の画像を表示させ続けるように、第1の表示領域の表示を切り替える表示制御部を備える。本技術は、例えば、水平方向に360度の画角を有する動画を撮影可能なデジタルカメラから動画データを取得し、処理可能な情報処理装置に適用することができる。
【選択図】図40
【解決手段】本技術の一側面の表示制御装置は、動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において動画に写っている第2の人物の画像を第2の表示領域に表示させ、第2の人物が追尾対象として選択された場合、第1の人物の画像に代えて第2の人物の画像を表示させ続けるように、第1の表示領域の表示を切り替える表示制御部を備える。本技術は、例えば、水平方向に360度の画角を有する動画を撮影可能なデジタルカメラから動画データを取得し、処理可能な情報処理装置に適用することができる。
【選択図】図40
Description
本技術は、表示制御装置、表示制御方法、およびプログラムに関し、特に、広い画角の画像を効率的に見ることができるようにした表示制御装置、表示制御方法、およびプログラムに関する。
近年、パノラマ撮影の機能を搭載したデジタルカメラが各種販売されている。パノラマ撮影は、デジタルカメラ本体がユーザによって一定方向に動かされている間に撮影した複数枚の画像を合成し、1枚の広い画角の画像を生成する機能である。
また、非常に広い画角を有するレンズを搭載し、画像の合成を行うことなく広い画角の画像を撮影することができるデジタルカメラがある。そのようなデジタルカメラの中には360度の方向を撮影可能なものもある。
広い画角の画像を撮影することができるとしても、実際にユーザが見たいと思う範囲は一部の範囲に限られることが多い。従って、そのような広い画角の画像がそのまま表示されるとした場合、ユーザは、どの範囲に注目して画像を見ればいいのか分からない。
本技術はこのような状況に鑑みてなされたものであり、広い画角の画像を効率的に見ることができるようにするものである。
本技術の一側面の表示制御装置は、動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える表示制御部を備える。
前記動画を再生する再生部をさらに設けることができる。
前記表示制御部には、前記動画の全区間に写る人物の画像を前記動画から切り出して追尾対象とする人物の選択画面に表示させ、前記再生部には、前記選択画面から選択された前記第1の人物が写る区間を再生させることができる。
前記表示制御部には、前記動画の再生中、前記動画に写らなくなった前記第2の人物の画像を前記第2の表示領域から消し、前記動画に写るようになった人物の画像を前記第2の人物の画像として前記第2の表示領域に表示させるようにすることができる。
前記動画に写る人物を検出する人物検出部と、前記人物検出部により検出されたそれぞれの人物の識別情報、前記動画の撮影範囲内における表示位置を表す情報を、再生時刻の情報と対応付けて記憶する記憶部とをさらに設けることができる。この場合、前記表示制御部には、前記動画の再生中、前記記憶部に記憶されている情報に基づいて、前記第2の表示領域に表示させる前記第2の人物の画像の表示を制御させることができる。
前記表示制御部には、複数の前記第2の人物の画像を、前記第1の表示領域内に形成した前記第2の表示領域に並べて表示させることができる。
前記表示制御部には、複数の前記第2の人物の画像を、複数の前記2の人物の前記動画の撮影範囲における並び順に従って、前記第2の表示領域に並べて表示させることができる。
前記表示制御部には、複数の前記第2の人物の画像を、前記第1の表示領域と隣接する前記第2の表示領域に並べて表示させることができる。
本技術の一側面の表示制御方法は、動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替えるステップを含む。
本技術の一側面のプログラムは、動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替えるステップを含む処理をコンピュータに実行させる。
本技術の一側面においては、動画に写る人物の中から追尾対象として選択された第1の人物の画像が第1の表示領域に表示され続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像が第2の表示領域に表示され、前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示が切り替えられる。
本技術によれば、ユーザは、広い画角の画像を効率的に見ることができる。
<情報処理装置の基本的機能>
[装置の外観構成]
図1は、本技術の一実施形態に係る情報処理装置1と、情報処理装置1との間で通信を行うデジタルカメラ2を示す図である。
[装置の外観構成]
図1は、本技術の一実施形態に係る情報処理装置1と、情報処理装置1との間で通信を行うデジタルカメラ2を示す図である。
情報処理装置(表示制御装置)1は、いわゆるタブレット型の携帯情報端末である。情報処理装置1は板状の筐体を有し、筐体の表面にはLCD(Liquid Crystal Display)などのディスプレイ11が設けられる。ディスプレイ11にはタッチパネルが設けられる。ユーザは、ディスプレイ11に表示されるボタンを指で直接触れるなどして情報処理装置1を操作することができる。
デジタルカメラ2は、動画の撮影機能を有する撮影装置である。デジタルカメラ2は薄型の略縦長直方体状の筐体を有し、筐体の上面には広角レンズ21が設けられる。デジタルカメラ2による動画の撮影は、例えば図1に示すように広角レンズ21の光軸を真上に向けた状態で行われる。
図2は、デジタルカメラ2の画角の例を示す図である。
位置P1において広角レンズ21を真上に向けて撮影が行われた場合、図2に示すように、一点鎖線で示す光軸L1と天頂が交わる半天球状の範囲の動画が撮影される。すなわち、水平方向に360度、垂直方向に180度の画角を有する動画が撮影される。
デジタルカメラ2の筐体下面にも広角レンズが設けられ、図3に示すように全天球状の範囲の動画が撮影されるようにしてもよい。光軸L2は、デジタルカメラ2の筐体の下面に設けられた広角レンズの光軸である。この場合、上面の広角レンズ21を介して撮影された動画と下面の広角レンズを介して撮影された動画が、同時刻に撮影されたフレーム同士合成され、1つの全天球状の範囲を撮影範囲とする動画が生成される。
以下、デジタルカメラ2により撮影される広角動画が、図2に示す半天球状の範囲を撮影範囲とする動画である場合について説明する。
デジタルカメラ2による広角動画の撮影は、例えば1時間や2時間といったように比較的長い時間、連続して行われる。デジタルカメラ2を体の一部に固定するなどして行動することにより、ユーザは、自身の行き先の全方向(水平方向に360度、垂直方向に180度の方向)の風景を動画として撮影することができる。
情報処理装置1には、デジタルカメラ2により撮影された広角動画を管理するアプリケーションである広角動画管理アプリケーションがインストールされている。広角動画管理アプリケーションは、デジタルカメラ2との間で無線または有線の通信を行い、デジタルカメラ2により撮影された広角動画のデータを取得する。デジタルカメラ2から取得された広角動画のデータは、例えば情報処理装置1の内蔵のメモリに記憶される。
情報処理装置1においては、デジタルカメラ2から取得された長時間の広角動画が10分毎などの所定の時間毎に区切られ、クリップとして管理される。また、複数のクリップが、撮影間隔などに基づいてイベント毎にまとめて管理される。
[UI(User Interface)の例]
図4は、イベント選択画面の例を示す図である。
図4は、イベント選択画面の例を示す図である。
イベント選択画面は、再生対象とするクリップが属するイベントの選択に用いられる画面である。図4のイベント選択画面は、例えば、メニュー画面にあるアイコンをタップするなどして、広角動画管理アプリケーションの起動が指示されたときにディスプレイ11に表示される。
図4の上段のイベント選択画面の左側には、帯状(横長長方形状)のサムネイル画像31乃至35が所定の間隔を空けて縦に並べて表示される。サムネイル画像31は略下半分のみが表示され、サムネイル画像35は略上半分のみが表示されている。サムネイル画像の右側には、撮影日、イベント名などの情報が表示される。
サムネイル画像は、クリップの広角動画から一部の範囲を切り出し、帯状に展開することによって生成された静止画である。後述するように、各クリップの広角動画を対象として例えば人物が写っている範囲が切り出され、サムネイル画像が生成される。
このように、情報処理装置1においては、1フレームの広角動画から任意の一部の範囲を切り出して展開することによって帯状のフレーム形状を有する静止画が生成され、サムネイル画像として用いられる。サムネイル画像として静止画ではなく動画を用いることも可能である。
以下、適宜、サムネイル表示される動画をサムネイル動画という。単にサムネイル画像というときは、その画像は、サムネイル表示される画像が静止画であることを表す。サムネイル動画は、一部の範囲を切り出して帯状のフレーム形状に展開することを広角動画の各フレームを対象として行うことによって生成される。
サムネイル画像31乃至35の下には、同じイベントに属するサムネイル画像が角度を若干ずらして重ねて表示される。サムネイル画像が重ねて表示されていることは、同じイベントに属するクリップとして複数のクリップがあることを表す。
ユーザは、イベント選択画面上でドラッグ操作を行うことにより、下段のイベント選択画面に示すように表示を切り替えることができる。例えば上方向のドラッグ操作が行われたとき、サムネイル画像31乃至35全体が操作量に応じて上方向に移動し、イベント選択画面の表示は下段の画面に切り替わる。下段のイベント選択画面においては、サムネイル画像34乃至38が表示される状態になっている。
図4のイベント選択画面から、ユーザはサムネイル画像を見て好みのイベントを選択することができる。
図5は、クリップ選択画面の例を示す図である。
クリップ選択画面は、図4のイベント選択画面において所定のサムネイル画像がタップされ、イベントが選択されたときに表示される。
イベントが選択されたとき、クリップ選択画面の右側には、画像53が中央にくるようにして、帯状の画像である画像51乃至55が縦方向に、それぞれ位置を若干ずらして表示される。画像51乃至55は、選択されたイベントに属するクリップを表す画像である。画像51乃至55の左側にはクリップの撮影時刻が表示される。イベントが選択されたとき、図4のイベント選択画面は、束ねられた帯が画面上に広がるようなアニメーションを経て図5のクリップ選択画面に切り替わる。
画像51は、撮影時刻を「14:40」とするクリップを表すサムネイル画像である。画像52は、撮影時刻を「14:50」とするクリップを表すサムネイル画像である。
また、フォーカスがあてられた状態になっている中央の画像53は、撮影時刻を「15:00」とするクリップを表すサムネイル動画である。例えば、フォーカスがあてられた動画である画像53のみがカラー表示となり、他のサムネイル画像(静止画)はグレー表示となる。
画像54は、撮影時刻を「15:10」とするクリップを表すサムネイル画像である。画像55は、撮影時刻を「15:20」とするクリップを表すサムネイル画像である。
なお、中央の画像53の位置を基準とすると、上にある画像52は、画像52の下側の一部が画像53の下に隠れるように、かつ、画像53より右側に若干ずらして表示される。また、下にある画像54は、画像54の上側の一部が画像53の下に隠れるように、かつ、画像53より右側に若干ずらして表示される。
一番上の画像51は、画像51の下側の一部が画像52の下に隠れるように、かつ、画像52より右側に若干ずらして表示される。一番下の画像55は、画像55の上側の一部が画像54の下に隠れるように、かつ、画像54より右側に若干ずらして表示される。
ユーザは、クリップ選択画面上でドラッグ操作を行うことにより、下段のクリップ選択画面に示すように表示を切り替えることができる。例えば上方向のドラッグ操作が行われたとき、画像51乃至55全体が操作量に応じて上方向に移動し、クリップ選択画面の表示は下段の画面に切り替わる。下段のクリップ選択画面においては、画像51乃至55が表示されていた位置にそれぞれ画像53乃至57が表示される状態になっている。
中央に表示されていないから、画像53は、動画ではなく、撮影時刻を「15:00」とするクリップを表すサムネイル画像となる。画像54は、撮影時刻を「15:10」とするクリップを表すサムネイル画像である。
フォーカスがあてられた状態になっている中央の画像55は、撮影時刻を「15:20」とするクリップを表すサムネイル動画である。撮影時刻を「15:20」とするクリップの広角動画から切り出された動画が画像55として表示される。
画像56は、撮影時刻を「15:30」とするクリップを表すサムネイル画像である。画像57は、撮影時刻を「15:40」とするクリップを表すサムネイル画像である。
図5のクリップ選択画面から、ユーザは、選択したイベントに属する各クリップの内容を時系列順に確認することができる。
図6は、クリップ再生画面の例を示す図である。
クリップ再生画面は、図5のクリップ選択画面からクリップが選択されたときに表示される。フォーカスがあてられたサムネイル動画に対してタップが行われることによってクリップが選択されたとき、情報処理装置1のモードは動画ビューモードとなり、選択されたクリップの再生が開始される。クリップ再生画面には、クリップの広角動画から切り出された所定の範囲の動画が表示される。
ユーザは、図6の画面中央に矢印で示すように上下左右にドラッグ操作を行うことにより、動画の切り出し範囲を自由に変更し、好みの被写体が写る範囲を表示させることができる。
図7は、動画の切り出し範囲の例を示す図である。
図7の半天球が、ユーザにより選択されたクリップの広角動画の1フレームの撮影範囲全体を表す。位置P1は広角動画の撮影位置、すなわちデジタルカメラ2の撮影時の位置である。切り出し範囲の説明に用いる他の図においても同様である。
球面上に破線で示す枠F1が広角動画からの切り出し範囲を示す。クリップ再生画面には、枠F1で示す範囲内の画像が広角動画の各フレームから切り出され、動画として表示される。位置P1を基準として水平方向に360度、垂直方向に180度の方向にある被写体が広角動画には写っているが、一部の被写体しか表示されないことになる。
ユーザによりドラッグ操作が行われたとき、ユーザの操作に応じて枠F1が移動することによって切り出し範囲が切り替わり、クリップ再生画面に表示される被写体も切り替わる。ピンチアウト/ピンチインによって枠F1の大きさを変え、クリップ再生画面に表示する被写体の拡大/縮小を行うことができるようにしてもよい。
クリップの再生が開始された直後のデフォルトの枠F1の位置は、例えば人物が写っている範囲を切り出すようにして設定される。複数の人物が写っている場合、人物が密集している範囲(人物の密度が閾値より高い範囲)を切り出すようにして枠F1が設定されるようにすることも可能である。
クリップのオーディオデータに基づいて音源方向を特定し、音源方向の範囲を切り出すように枠F1を設定するといったように、画像データ以外のデータを用いて切り出し範囲を設定することも可能である。動画の切り出し範囲の設定については後に詳述する。
このように、情報処理装置1においては、デジタルカメラ2により撮影された長時間の広角動画がクリップ毎に分けて管理され、再生される。また、広角動画から切り出した一部の範囲の動画が表示される。
これにより、ユーザは、広い画角の動画を効率的に見せることができる。仮に、長時間の広角動画がそのまま表示されるとした場合、ユーザは、自分が注目している被写体が写っていない時間帯の動画や、注目している被写体が写っていない範囲の動画も見る必要があるが、そのようなことを防ぐことが可能になる。
以上のような画面表示を行う情報処理装置1の処理についてはフローチャートを参照して後述する。
[機器の内部構成]
図8は、デジタルカメラ2のハードウェア構成例を示すブロック図である。
図8は、デジタルカメラ2のハードウェア構成例を示すブロック図である。
デジタルカメラ2は、制御部71に対して、撮影部72、マイクロフォン73、センサ74、ディスプレイ75、操作部76、スピーカ77、記憶部78、および通信部79が接続されることによって構成される。
制御部71は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などより構成される。制御部71は、所定のプログラムを実行し、ユーザの操作に応じてデジタルカメラ2の全体の動作を制御する。
例えば、制御部71は、撮影部72により撮影された広角動画のデータを、マイクロフォン73から供給されたオーディオデータやセンサ74から供給されたセンサデータとともに記憶部78に記憶させる。広角動画のデータには、撮影日時などの情報も付加される。また、制御部71は、通信部79を制御して情報処理装置1と通信を行い、広角動画のデータを情報処理装置1に送信する。
撮影部72は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有する。撮影部72は、広角レンズ21を介して取り込んだ光の光電変換やアナログ信号のA/D変換などを行い、広角動画のデータを制御部71に出力する。
マイクロフォン73は、広角動画の撮影にあわせて集音し、オーディオデータを制御部71に出力する。
センサ74は、GPS(Global Positioning System)センサ、ジャイロセンサ、加速度センサなどにより構成される。センサ74は、広角動画の撮影にあわせて、測位や、角速度、加速度の検出を行い、センサデータを制御部71に出力する。センサデータには、広角動画の撮影中の各時刻における撮影位置、角速度、および加速度の情報が含まれる。
ディスプレイ75は、LCDなどにより構成され、制御部71による制御に従って、メニュー画面や撮影中の広角動画などの各種の情報を表示する。
操作部76は、デジタルカメラ2の筐体表面に設けられた操作ボタンやタッチパネルなどより構成される。操作部76は、ユーザによる操作の内容を表す情報を制御部71に出力する。
スピーカ77は、例えば広角動画の再生中、制御部71から供給されたオーディオ信号に基づいて音声を出力する。
記憶部78は、フラッシュメモリや、筐体に設けられたカードスロットに挿入されたメモリカードにより構成される。記憶部78は、制御部71から供給された広角動画のデータなどの各種のデータを記憶する。
通信部79は、無線や有線の通信を情報処理装置1との間で行う。通信部79は、制御部71から供給された広角動画のデータなどの各種のデータを情報処理装置1に送信する。
図9は、情報処理装置1のハードウェア構成例を示すブロック図である。
CPU91、ROM92、RAM93は、バス94により相互に接続される。CPU91は、所定のプログラムを実行し、情報処理装置1の各部を制御する。例えば、CPU91は、所定のOS(Operating System)上で動作する広角動画管理アプリケーションを実行し、広角動画の再生に関する各種の処理を行う。
バス94には、入出力インタフェース95が接続され、入出力インタフェース95には、ディスプレイ11、タッチパネル96、スピーカ97、記憶部98、通信部99、およびドライブ100が接続される。入出力インタフェース95に接続される各部とCPU91との間のデータの送受信は、バス94と入出力インタフェース95を介して行われる。
タッチパネル96は、ディスプレイ11の表面に対するユーザの操作を検出し、操作の内容を表す信号をCPU91に出力する。
スピーカ97は、広角動画の音声などの各種の音声を出力する。
記憶部98は、フラッシュメモリなどの記憶媒体により構成される。記憶部98は、広角動画のデータなどの各種のデータを記憶する。記憶部98に記憶されたデータは、適宜、CPU91により読み出される。
通信部99は、無線や有線の通信をデジタルカメラ2との間で行う。通信部99は、デジタルカメラ2から送信されてきた広角動画のデータを受信し、記憶部98に供給して記憶させる。
ドライブ100は、カードスロットに挿入されたメモリカード101を駆動する。ドライブ100は、メモリカード101に対する各種のデータの書き込みや、メモリカード101からの各種のデータの読み出しを行う。
図10は、情報処理装置1の機能構成例を示すブロック図である。
図10に示す機能部のうちの少なくとも一部は、図9のCPU91により広角動画管理アプリケーションが実行されることによって実現される。情報処理装置1においては、画像データ取得部111、クリップ生成部112、クリップデータ記憶部113、再生部114、情報処理部115、および表示制御部116が実現される。
画像データ取得部111は、デジタルカメラ2から送信され、通信部99において受信された広角動画のデータを取得する。画像データ取得部111が取得する広角動画のデータには、オーディオデータ、センサデータ、および、撮影日時、ファイル名などのメタデータも付加されている。画像データ取得部111は、取得したデータをクリップ生成部112に出力する。
広角動画のデータが、デジタルカメラ2による広角動画の撮影に連動してリアルタイムで取得されるようにしてもよい。
クリップ生成部112は、画像データ取得部111から供給された長時間の広角動画を10分などの短い時間毎に区切ることによってクリップを生成する。クリップ生成部112は、広角動画、オーディオデータ、センサデータ、メタデータを含む各クリップのデータをクリップデータ記憶部113に記憶させる。
また、クリップ生成部112は、複数のクリップをイベント毎にまとめ、各クリップのメタデータとして、クリップが属するイベントの識別情報、イベント名などの情報を設定する。各クリップのイベントは、撮影間隔が所定の時間内にあるクリップをまとめたり、撮影日が同じ日にちのクリップをまとめたりして決定される。広角動画を解析し、同じシーンが写っているクリップをまとめるようにして決定されるようにしてもよい。イベント名は、ユーザにより入力されるなどして設定される。
クリップデータ記憶部113は、例えば記憶部98において実現される。クリップデータ記憶部113は、クリップ生成部112から供給された各クリップのデータを記憶する。また、クリップデータ記憶部113は、情報処理部115から供給された情報を記憶する。情報処理部115からクリップデータ記憶部113に対しては、各クリップに写る人物の識別情報、人物の位置を表す情報などが供給される。
図11は、クリップデータの例を示す図である。
各クリップのデータは、10分毎などに区切られた広角動画のデータ、オーディオデータ、センサデータ、メタデータ、およびサムネイルデータから構成される。
センサデータには、撮影時にデジタルカメラ2において検出されたクリップの撮影位置、加速度、角速度の情報が含まれる。
メタデータには、クリップ名、撮影日時、イベントID、イベント名、人物ID、および人物位置情報が含まれる。
クリップ名は、例えばデジタルカメラ2において広角動画のデータに設定されたファイル名とクリップの撮影日時を組み合わせるなどして設定される。撮影日時は、例えばクリップの撮影日時を表す。
イベントIDは、クリップが属するイベントの識別情報である。イベント名は、クリップが属するイベントの名前である。イベントIDとイベント名は例えばクリップ生成部112により設定される。
人物IDは、クリップの広角動画に写る人物に割り当てられた識別情報である。人物位置情報は、広角動画に写っている人物の、撮影範囲内における位置を表す。人物IDと人物位置情報は情報処理部115により設定される。例えば、人物IDと人物位置情報は、クリップの再生時刻と対応付けて管理される。情報処理装置1は、メタデータから、クリップ再生中のどのタイミングで、どの人物が、どこに写っているのかを特定することが可能となる。
サムネイルデータには、クリップの広角動画の1フレームから切り出された静止画であるサムネイル画像と、広角動画の各フレームから切り出すことによって生成された動画であるサムネイル動画が含まれる。
クリップデータ記憶部113は、各クリップのデータとして、このような各種のデータを記憶する。クリップデータ記憶部113に記憶された各クリップのデータは、適宜、再生部114、情報処理部115、および表示制御部116により読み出される。
再生部114は、再生対象とするクリップの広角動画のデータをクリップデータ記憶部113から読み出して再生する。広角動画のデータは例えば所定のフォーマットで符号化されている。再生部114は、再生して得られた広角動画の各フレームのデータを情報処理部115に出力する。
なお、再生部114による広角動画の再生と併せて、図示せぬ再生部においてオーディオデータの再生も行われる。オーディオデータを再生して得られたオーディオ信号に基づいて、図9のスピーカ97からクリップの音声が出力される。
情報処理部115は、再生部114から供給された広角動画から一部の範囲を切り出すなどの画像処理を行う。情報処理部115は、再生対象とするクリップの広角動画から切り出した動画を表示制御部116に出力する。また、情報処理部115は、クリップの解析時、広角動画から切り出した静止画をサムネイル画像としてクリップデータ記憶部113に出力する。
表示制御部116は、情報処理部115から供給された動画をディスプレイ11に表示させる。また、表示制御部116は、例えばイベント選択画面を表示するとき、メタデータとして設定されている各クリップのサムネイル画像やサムネイル動画をクリップデータ記憶部113から読み出し、表示させる。
図12は、図10の情報処理部115の構成例を示すブロック図である。
情報処理部115は、画像解析部131、データ解析部132、および切り出し部133から構成される。画像解析部131には人物検出部131Aが含まれる。再生部114から供給された広角動画のデータは、画像解析部131と切り出し部133に入力される。また、クリップデータ記憶部113から読み出されたオーディオデータ、センサデータ、およびメタデータはデータ解析部132に入力される。
画像解析部131は、広角動画を対象として各種の解析を行い、解析結果を切り出し部133に出力する。
画像解析部131の人物検出部131Aは、広角動画の各フレームの撮影範囲全体を対象として人物を検出する。人物の検出には例えば顔検出の技術が用いられる。複数の人物が広角動画に写っている場合、それぞれの人物が検出される。画像解析部131は、人物の位置を表す情報を切り出し部133に出力する。また、画像解析部131は、人物IDと人物位置情報をクリップデータ記憶部113に出力する。
データ解析部132は、クリップのオーディオデータ、センサデータ、メタデータを解析し、解析結果を切り出し部133に出力する。
例えば、データ解析部132は、オーディオデータを解析することによって広角動画の撮影範囲に含まれる音源方向を特定し、音源方向の情報を出力する。また、データ解析部132は、センサデータに含まれる角速度、加速度のデータを解析することによって広角動画の撮影時におけるデジタルカメラ2の進行方向などを特定し、デジタルカメラ2の進行方向に関する情報を出力する。データ解析部132は、メタデータを解析し、再生対象のクリップに写っている人物ID、人物位置情報を出力する。
切り出し部133は、画像解析部131とデータ解析部132による解析結果に基づいて、動画の切り出し範囲を設定する。切り出し範囲はユーザにより指定された位置にも基づいて設定される。
切り出し部133は、ユーザにより選択されたクリップの再生時、広角動画から切り出した動画を表示制御部116に出力して表示させる。また、切り出し部133は、クリップの解析時、広角動画から切り出した静止画をサムネイル画像として、また、動画をサムネイル動画としてクリップデータ記憶部113に出力する。
図13は、動画の切り出し範囲の例を示す図である。
図13の例においては、広角動画の撮影範囲に3人の人物が写っており、人物検出部131Aにより検出される。この場合、例えば、枠F11で示すように2人の人物を含む範囲や、枠F12で示すように1人の人物を含む範囲が切り出し範囲として設定される。
このように、1フレームの広角動画から複数の動画を切り出すことも可能である。また、切り出し範囲の位置、大きさ(画角)、縦横比なども任意である。
[情報処理装置の動作]
ここで、以上のような構成を有する情報処理装置1の処理について説明する。
ここで、以上のような構成を有する情報処理装置1の処理について説明する。
はじめに、図14のフローチャートを参照して、情報処理装置1のクリップ生成処理について説明する。図14の処理は、例えば、デジタルカメラ2から送信されてきた広角動画のデータが通信部99により受信されたときに開始される。
ステップS1において、画像データ取得部111は、広角動画のデータを取得し、オーディオデータ、センサデータ、およびメタデータとともにクリップ生成部112に出力する。
ステップS2において、クリップ生成部112は、画像データ取得部111から供給された長時間の広角動画を短い時間毎に区切ることによってクリップを生成する。
ステップS3において、クリップ生成部112は、複数のクリップをイベント毎にまとめ、各クリップのデータをクリップデータ記憶部113に記憶させる。クリップデータ記憶部113には、広角動画のデータ、オーディオデータ、センサデータと、クリップ名、撮影日時、イベントID、イベント名を含むメタデータが各クリップのデータとして記憶される。その後、クリップの解析が行われる。
ステップS4において、再生部114は、1つのクリップに注目し、再生する。再生部114は、再生して得られた広角動画のデータを情報処理部115に出力する。
ステップS5において、人物検出部131Aは、広角動画の各フレームの撮影範囲全体を対象として人物を検出する。
ステップS6において、人物検出部131Aは、検出した人物の人物IDと人物位置情報をクリップデータ記憶部113に出力し、メタデータとして設定する。
ステップS7において、データ解析部132は、注目されているクリップのオーディオデータとセンサデータをクリップデータ記憶部113から読み出して解析する。例えば、データ解析部132は、オーディオデータを解析し、音源の方向や各音源の音量を特定する。また、データ解析部132は、センサデータを解析し、撮影時の進行方向、移動速度などを特定する。データ解析部132は、解析結果を切り出し部133に出力する。
ステップS8において、切り出し部133は、人物検出部131Aによる検出結果とデータ解析部132による解析結果に基づいて、広角動画の1フレームから一部の範囲を切り出し、サムネイル画像を生成する。また、切り出し部133は、人物検出部131Aとデータ解析部132による解析結果に基づいて、広角動画の各フレームから一部の範囲を切り出し、サムネイル動画を生成する。
例えば、人物が多く写っている範囲、音量が大きい音源方向の範囲などが、盛り上がっている被写体が写っている範囲として判断され、広角動画から切り出される。また、撮影時の進行方向の範囲、デジタルカメラ2の正面方向の範囲などが広角動画から切り出される。
ステップS9において、切り出し部133は、切り出したサムネイル画像とサムネイル動画を、注目しているクリップのデータとしてクリップデータ記憶部113に記憶させる。
ステップS10において、再生部114は、全てのクリップに注目したか否かを判定する。再生部114は、全てのクリップに注目していないとステップS10において判定した場合、ステップS4に戻り、注目するクリップを切り替えて以上の処理を繰り返す。全てのクリップに注目したとステップS10において判定された場合、処理は終了される。
以上においては、クリップの生成後に各クリップの解析が行われ、サムネイル画像の生成などが行われるものとしたが、図4を参照して説明したようなイベント選択画面の表示前のタイミングであれば他のタイミングに行われるようにしてもよい。
次に、図15のフローチャートを参照して、情報処理装置1のクリップ再生処理について説明する。図15の処理は、例えば、メニュー画面にあるアイコンをタップするなどして広角動画管理アプリケーションの起動が指示されたときに開始される。
ステップS21において、表示制御部116は、各イベントのサムネイル画像をクリップデータ記憶部113から読み出し、並べて表示させる。例えば、表示制御部116は、イベントに属するクリップの中から選択した1つのクリップのサムネイル画像をイベント毎に表示させる。
これにより、図4を参照して説明したようなイベント選択画面が表示される。ユーザは、上方向または下方向のドラッグ操作を行うことにより、サムネイル画像の表示を切り替え、サムネイル画像をタップすることによって好みのイベントを選択することができる。
イベントが選択されたとき、ステップS22において、表示制御部116は、選択されたイベントに属する各クリップのサムネイル画像をクリップデータ記憶部113から読み出し、並べて表示させる。撮影時刻順に並べたときに中央に位置するクリップについては、表示制御部116はサムネイル動画をクリップデータ記憶部113から読み出して表示させる。
これにより、図5を参照して説明したようなクリップ選択画面が表示される。ユーザは、上方向または下方向のドラッグ操作を行うことにより、サムネイル画像やサムネイル動画の表示を切り替え、タップによって好みのクリップを選択することができる。
クリップが選択されたとき、ステップS23において、再生部114は、選択されたクリップを再生し、広角動画のデータを情報処理部115に出力する。
ステップS24において、切り出し部133は、広角動画から一部の範囲の動画を切り出し、切り出した各フレームからなる動画のデータを表示制御部116に出力する。
ステップS25において、表示制御部116は、広角動画から切り出された動画をディスプレイ11に表示させる。
これにより、図6を参照して説明したようなクリップ再生画面が表示される。ユーザは、ドラッグ操作により表示範囲(広角動画からの切り出し範囲)を切り替えたり、ピンチアウト/ピンチイン操作により表示範囲を拡大縮小したりすることができる。
以上の処理により、ユーザは、画角が広い動画が先頭から表示される場合に較べて、好みの区間のクリップの好みの範囲のみを表示させることができ、画角が広い動画を効率的に見ることができる。
[クリップ再生画面の他の例]
図16は、クリップ再生画面の他の例を示す図である。図16のクリップ再生画面は、例えば図4のイベント選択画面からイベントが選択されたときに表示される。
図16は、クリップ再生画面の他の例を示す図である。図16のクリップ再生画面は、例えば図4のイベント選択画面からイベントが選択されたときに表示される。
図16のクリップ再生画面は、横長長方形の広い領域である動画表示領域141と、縦長長方形の領域であるサムネイル表示領域142から構成される。動画表示領域141は、ディスプレイ11の略5/6の範囲を占めるように、ディスプレイ11の右側に形成される。サムネイル表示領域142は動画表示領域141の左側に形成される。
動画表示領域141には、再生中のクリップの広角動画から切り出された動画が表示される。サムネイル表示領域142には、各クリップを表すサムネイル画像151乃至155が時系列順に縦に並べて表示される。中央のサムネイル画像153にはカーソルCがあてられている。動画表示領域141に表示されている動画は、サムネイル画像153により内容が表されるクリップの広角動画から切り出されたものである。
ユーザは、サムネイル表示領域142上で上下方向のドラッグ操作を行うことにより、サムネイル画像の表示を切り替えることができる。また、ユーザは、動画表示領域141上でドラッグ操作を行うことにより、動画の切り出し範囲を切り替え、再生中のクリップの好みの範囲を見ることができる。
図17は、クリップ再生画面のさらに他の例を示す図である。図17のクリップ再生画面は、サムネイル画像の表示領域と動画の表示領域の配置を図16の画面と較べて変更したものである。
図17のクリップ再生画面は、動画表示領域171とサムネイル表示領域172から構成される。動画表示領域171は、ディスプレイ11の略3/4の範囲を占めるように、ディスプレイ11の上側に形成される。サムネイル表示領域172は動画表示領域171の下側に形成される。
このように、クリップ再生画面の構成は適宜変更可能である。図16と図17の表示を切り替えたり、図6と図16の表示、図6と図17の表示をそれぞれ切り替えたりすることができるようにしてもよい。
<タイムシフト再生>
次に、タイムシフト再生について説明する。
次に、タイムシフト再生について説明する。
[タイムシフト再生について]
図18は、タイムシフト再生の概念を示す図である。
図18は、タイムシフト再生の概念を示す図である。
タイムシフト再生は、撮影時間が連続する複数のクリップの再生を先頭から同時刻に開始し、それぞれのクリップの広角動画から切り出した動画を1画面に並べて表示させる機能である。
図18の例においては、3つのクリップであるクリップ#1乃至#3が、それぞれ先頭の時刻t1,t2,t3から同時に再生される。
また、白抜き矢印の先に示すように、クリップ#1乃至#3の広角動画から、それぞれ枠F21乃至F23で示す範囲の動画が切り出され、1画面に並べて表示される。枠F21乃至F23で示す範囲は、同じ方向にある同じ大きさの範囲である。
図18の左側に示す実線矢印A1は、クリップ#1の撮影時における進行方向を表す。図18の中央に示す実線矢印A2と右側に示す実線矢印A3は、それぞれ、クリップ#2,#3の撮影時における進行方向を表す。進行方向は、例えばセンサデータに含まれる加速度や角速度のデータに基づいて特定される。枠F21乃至F23で示す範囲は、いずれも、撮影時の進行方向にある同じ範囲である。
各クリップは同じ時間毎に区切られているから、クリップの再生時間と同じ時間だけ時間をシフトさせた、同じ範囲の動画が1画面に並べて表示されることになる。
動画の切り出し範囲の基準となる方向は撮影時の進行方向に限られない。例えば、音源方向を基準として動画が切り出されるようにしてもよいし、特定の人物がいる方向を基準として動画が切り出されるようにしてもよい。
[タイムシフト再生のUIの例]
図19は、タイムシフト再生画面の例を示す図である。
図19は、タイムシフト再生画面の例を示す図である。
図19のタイムシフト再生画面は、例えば図4のイベント選択画面から所定のイベントが選択されたときに表示される。イベントが選択されたとき、イベントに属するクリップのうち、撮影時間が連続する例えば3つのクリップの再生が開始される。
図19の上段のタイムシフト再生画面においては、ディスプレイ11が縦方向に3分割され、上から順に、帯状の動画表示領域201乃至203が形成されている。
動画表示領域201には、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が表示される。また、動画表示領域202には、撮影時刻を「14:40」とするクリップの広角動画から切り出された動画が表示されている。動画表示領域203には、撮影時刻を「14:50」とするクリップの広角動画から切り出された動画が表示されている。それぞれの表示領域の右端には、撮影時刻の情報が動画に重ねて表示されている。
各クリップの再生が開始されてから一定時間が経過した後、各動画が上方向にスクロールし、下段の画面に示すように、動画表示領域201乃至203の各動画が切り替えられる。
下段のタイムシフト再生画面の動画表示領域201には、撮影時刻を「15:00」とするクリップの広角動画から切り出された動画が表示されている。撮影時刻を「15:00」とするクリップは、上段のタイムシフト再生画面において一番下の動画表示領域203に表示されていたクリップに続くクリップである。
また、下段のタイムシフト再生画面の動画表示領域202には、撮影時刻を「15:10」とするクリップの広角動画から切り出された動画が表示され、動画表示領域203には、撮影時刻を「15:20」とするクリップの広角動画から切り出された動画が表示されている。
動画の切り替えは、各クリップの再生が最後まで終了したときに行われるようにしてもよいし、3分などの所定の時間が経過したときに行われるようにしてもよい。動画の切り替えのタイミングをユーザが設定できるようにしてもよい。
動画表示領域201乃至203の各領域に表示される動画は、例えば上下方向のドラッグ操作がユーザにより行われたときにも切り替えられる。図19の上段のタイムシフト再生画面が表示されている状態で、3つの動画分の上方向のドラッグ操作が行われたとき、タイムシフト再生画面の表示は、図19の下段の画面に切り替わる。
図20は、タイムシフト再生画面の切り替えについて説明する図である。
タイムシフト再生画面の切り替えは、各クリップの広角動画から切り出した動画を時系列順に縦に並べ、そのうちの3つの動画を囲む枠fをユーザの操作に応じて上下に、または一定時間毎に下方向に移動させるようにして行われる。枠fにより囲まれている動画が、動画表示領域201乃至203にそれぞれ表示されることになる。
例えば、クリップ#11乃至#13の広角動画から切り出された動画の表示が開始されてから一定時間が経過した後、枠fで囲んで示すクリップ#14乃至#16の広角動画から切り出された動画が表示される。また、クリップ#14乃至#16の広角動画から切り出された動画の表示が開始されてから一定時間が経過した後、クリップ#17乃至#19の広角動画から切り出された動画が表示される。クリップ#11乃至#19は撮影時間が連続するクリップである。
以上のようなタイムシフト再生の機能を利用することにより、ユーザは、複数のクリップを並行して見ることができる。ユーザは、クリップを1つずつ見る場合に較べて、広い画角の動画を効率的に見ることが可能になる。
タイムシフト再生によって表示されている動画に対してタップが行われ、いずれかのクリップが選択された場合、選択されたクリップの広角動画から切り出された動画がディスプレイ11全体に図6に示すようにして表示される。
例えば、図19の上段のタイムシフト再生画面の動画表示領域201に表示されている動画に対してタップ操作が行われた場合、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が図6に示すようにして表示される。広角動画からの切り出し範囲は、例えば動画表示領域201に表示されていた範囲を含む範囲となる。
これにより、ユーザは、図19に示すタイムシフト再生画面を見て、詳細を確認したいクリップがあったときには、そのクリップを選択することによって、選択したクリップの動画をディスプレイ11に大きく表示させることができる。
[タイムシフト再生処理]
ここで、図21のフローチャートを参照して、情報処理装置1のタイムシフト再生処理について説明する。図23の処理は、例えば、図4に示すイベント選択画面から所定のイベントが選択されたときに開始される。
ここで、図21のフローチャートを参照して、情報処理装置1のタイムシフト再生処理について説明する。図23の処理は、例えば、図4に示すイベント選択画面から所定のイベントが選択されたときに開始される。
ステップS51において、再生部114は、選択されたイベントに属する複数のクリップの中から、撮影時間が連続する複数のクリップを撮影時刻が早いものから順に選択し、再生する。再生部114は、再生して得られた各クリップの広角動画のデータを情報処理部115に出力する。
ステップS52において、切り出し部133は、各クリップの広角動画から同じ範囲の動画を切り出す。各クリップの広角動画から切り出された動画のデータは表示制御部116に供給される。
ステップS53において、表示制御部116は、各クリップの広角動画から切り出された動画を図19に示すように各動画表示領域に並べて表示させる。
ステップS54において、再生部114は、上下方向のドラッグ操作がユーザにより行われたか否かを判定する。
上下方向のドラッグ操作が行われたとステップS54において判定した場合、ステップS55において、再生部114は、再生するクリップをユーザの操作に応じて切り替える。再生部114は、ステップS51に戻り、新たに選択した複数のクリップの再生を開始してそれ以降の処理を行う。
一方、上下方向のドラッグ操作が行われていないとステップS54において判定した場合、ステップS56において、再生部114は、再生を開始してから一定時間が経過したか否かを判定する。再生を開始してから一定時間が経過していないとステップS56において判定した場合、再生部114は、ステップS51に戻り、再生中のクリップの再生を続行する。
一方、再生を開始してから一定時間が経過したとステップS56において判定した場合、ステップS57において、再生部114は、ユーザにより選択されたイベントに属する最後のクリップまで再生したか否かを判定する。
最後のクリップまで再生していないとステップS57において判定した場合、ステップS58において、再生部114は、再生するクリップを、それまで再生していたクリップに続く複数のクリップに切り替える。
その後、再生部114は、ステップS51に戻り、新たに選択した複数のクリップの再生を開始してそれ以降の処理を行う。一方、最後のクリップまで再生したとステップS57において判定された場合、処理は終了される。
以上の処理により、ユーザは、クリップを1つずつ見る場合に較べて、広い画角の動画を効率的に見ることが可能になる。
タイムシフト再生時に広角動画から切り出した動画を表示させるのではなく、予め生成された、各クリップのサムネイル動画を用いて図19に示すような画面が表示されるようにしてもよい。
[タイムシフト再生時のUIの他の例]
図22は、タイムシフト再生画面の他の例を示す図である。
図22は、タイムシフト再生画面の他の例を示す図である。
図22の例においては、ディスプレイ11が垂直方向に6分割され、動画表示領域221乃至226が形成されている。動画表示領域221乃至226には、撮影時間が連続する6つのクリップの広角動画から切り出された動画が表示される。例えば、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が一番上の動画表示領域221に表示され、そのクリップに続く各クリップの広角動画から切り出された動画が動画表示領域222乃至226に表示される。
このように、一画面に並べて表示する動画を3つ以上とすることも可能である。例えば、ユーザが情報処理装置1の向きを横向きから縦向きに変えたとき、タイムシフト再生時の画面は、図19に示す画面から図22に示す画面に切り替わる。
図23は、再生時刻の変更の例を示す図である。
図23のタイムシフト再生画面は図19の上段の画面と同じである。動画表示領域201には、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が表示され、動画表示領域202には、撮影時刻を「14:40」とするクリップの広角動画から切り出された動画が表示されている。動画表示領域203には、撮影時刻を「14:50」とするクリップの広角動画から切り出された動画が表示されている。
この状態において、例えば、白抜き矢印A11で示すように、撮影時刻を「14:40」とするクリップの動画上で左方向のドラッグ操作が行われた場合、撮影時刻を「14:40」とするクリップのみ、再生時刻の巻き戻しが行われる。また、白抜き矢印A12で示すように右方向のドラッグ操作が行われた場合、撮影時刻を「14:40」とするクリップのみ、再生時刻の早送りが行われる。
このように、複数の動画を並行して再生させるのではなく、ユーザが再生時刻を指定できるようにしてもよい。また、ユーザにより選択されたクリップのみを対象として再生時刻の巻き戻しまたは早送りを行うのではなく、複数の動画の再生時刻を一括して巻き戻しまたは早送りさせることができるようにしてもよい。
また、以上においては、各クリップの広角動画から切り出した帯状の動画を表示させるものとしたが、表示画面の構成は適宜変更可能である。
図24は、タイムシフト再生画面のさらに他の例を示す図である。
図24の例においては、画面全体が縦方向に3分割されるとともに横方向にも3分割され、動画の表示領域として動画表示領域241乃至249の9つの領域が形成されている。この場合、広角動画からの切り出し範囲は、横方向の長さが縦方向の長さに対して若干長い横長長方形の範囲となり、そのような範囲の動画が動画表示領域241乃至249の各領域に表示される。
図24の例においては、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が左上の動画表示領域241に表示されている。また、撮影時刻を「14:30」とするクリップに続く8個の各クリップの広角動画から切り出された動画が動画表示領域242乃至249に表示されている。
以上のように、タイムシフト再生時の画面には複数のクリップの動画が表示されるが、撮影時刻以外の、クリップに関する各種の情報を動画とともに表示させるようにすることも可能である。
図25は、お気に入りアイコンを動画に重ねて表示する場合の例を示す図である。
この例においては、ユーザは、並べて表示される動画を見てお気に入りのクリップがあった場合、そのことを表す情報をクリップに設定することができるようになされている。お気に入りのクリップの選択は、例えば、並べて表示されている動画に対してタップを一定時間以上続けるなどの所定の操作によって行われる。
お気に入りのクリップが選択された場合、表示制御部116は、選択されたクリップの動画に重ねて、星形などの所定の形状のアイコンをお気に入りアイコンとして表示させる。また、情報処理部115は、お気に入りのクリップとして選択されたことを表す情報をクリップのメタデータとして設定する。
図25の例においては、クリップ#21乃至#27のうち、クリップ#21、#23、#26の動画に対して、お気に入りアイコン261乃至263が付加されている。
お気に入りアイコンが表示されることにより、ユーザは、タイムシフト再生時の画面をスクロールしてクリップの内容を見ているときなどに、過去に、自分がお気に入りとして設定したクリップであることを確認することができる。
メタデータとして設定された、お気に入りのクリップであることを表す情報は、例えば、クリップのダイジェスト版を生成するときに用いられる。ダイジェスト版のコンテンツは、あるイベントに属するクリップの中から選択された所定の数のクリップを結合することによって生成される動画コンテンツである。
例えば、あるイベントが選択され、ダイジェスト版の生成がユーザにより指示された場合、情報処理部115は、お気に入りのクリップとして選択されたことを表す情報をメタデータに含むクリップを優先的に組み込むようにしてコンテンツを生成する。
このように、クリップのメタデータに対してタグとなる各種の情報を設定することができるようにしてもよい。
図26は、盛り上がり区間を含むクリップの広角動画から切り出された動画を強調表示する場合の例を示す図である。
この例においては、各クリップを対象として、盛り上がり区間を含むクリップであるか否かの判定が行われるようになされている。
盛り上がり区間を含むクリップであるか否かは、例えば、人物検出部131Aにより検出された人物の数、オーディオデータに基づいてデータ解析部132により検出された音量などに基づいて情報処理部115により判定される。閾値以上の数の人物が写っているクリップなどが、盛り上がり区間を含むクリップとして判定される。情報処理部115は、盛り上がり区間を含むと判定したクリップに対して、そのことを表す情報をメタデータとして設定する。
表示制御部116は、盛り上がり区間を含むクリップの動画に所定の色の枠の画像を付加し、強調して表示させる。
図26の例においては、クリップ#31乃至#41のうち、クリップ#32、#36、#39の動画が強調して表示されている。
強調して表示されることにより、ユーザは、タイムシフト再生画面をスクロールしてクリップの内容を見ているときなどに、盛り上がり区間を含むクリップであることを容易に確認することができる。
<マルチスクリーン表示>
次に、マルチスクリーン表示について説明する。
次に、マルチスクリーン表示について説明する。
マルチスクリーン表示は、1つのクリップの広角動画に対して複数の切り出し範囲を設定し、切り出した複数の動画を一画面に表示させる機能である。
[マルチスクリーン表示の第1の例]
図27は、マルチスクリーン表示の第1の例を示す図である。
図27は、マルチスクリーン表示の第1の例を示す図である。
図27の動画再生画面においては、ディスプレイ11が上下に2分割され、領域301と領域302が形成されている。領域301は、ディスプレイ11の略3/4の範囲を占めるように、ディスプレイ11の上側に形成される。領域302は領域301の下側に形成される。
領域301には、ほぼまっすぐな道路の両脇に木々がある風景を被写体とする動画が表示されている。領域302には、オートバイのハンドル中央に設けられたインジケータ類を被写体とする動画が表示されている。図27の動画再生画面に表示されている動画は、それぞれ、オートバイの運転中に撮影されたクリップの広角動画から切り出された動画である。
図28は、動画の切り出し範囲の例を示す図である。
撮影位置である位置P1は、オートバイの運転手の略胸元前方付近の位置である。矢印A21は撮影中の進行方向を示す。
この場合、切り出し部133は、枠F31で示す、縦横比が領域301の縦横比とほぼ同じ横長長方形の範囲を切り出し範囲として設定する。枠F31で示す切り出し範囲は、例えば、撮影中の進行方向の被写体であり、かつ、動きが大きく遠くにある被写体を含むように設定されたものである。切り出し部133は、枠F31で示す範囲から切り出した、進行方向前方の風景を被写体とする動画の表示領域として領域301を割り当てる。
また、切り出し部133は、枠F32で示す、縦横比が領域302の縦横比とほぼ同じ帯状の範囲を切り出し範囲として設定する。枠F32で示す切り出し範囲は、例えば、撮影中の進行方向の被写体であり、かつ、動きが小さく近くにある被写体を含むように設定されたものである。切り出し部133は、枠F32で示す範囲から切り出した、インジケータ類を被写体とする動画の表示領域として領域302を割り当てる。
この例においては、動画の切り出し範囲の設定と、切り出した動画の表示領域への割り当てが、撮影中の進行方向、被写体の動きの量、および被写体までの距離に基づいて行われることになる。
すなわち、撮影中の進行方向の動画であり、動きが大きく遠くにある被写体を含む動画が、広い領域である領域301に割り当てられる。また、撮影中の進行方向の動画であり、動きが小さく近くにある被写体を含む動画が、狭い領域である領域302に割り当てられる。撮影中の進行方向は、撮影中に検出された角速度、加速度のセンサデータに基づいて特定される。また、被写体の動きの量と被写体までの距離は、広角動画を解析することによって特定される。
なお、切り出し範囲の数と形状は、例えば、ユーザにより選択された動画再生画面の領域レイアウトに応じて決定される。ユーザは、マルチスクリーン表示の対象とするクリップを選択する前や後に、予め用意されている複数のレイアウトの中から好みの領域レイアウトを選択することになる。
このような画面が表示されることにより、ユーザは、運転中に見ていた前方の風景とインジケータ類の動きを見比べることができる。また、前方の風景とインジケータ類の動きは運転中の様子を見返すユーザにとっては興味のある被写体といえるから、ユーザは、運転中の広角動画の撮影範囲全体が表示される場合に較べて、広角動画を効率的に見ることができる。
ユーザは、各領域に表示されている動画に対して操作を行うことにより、動画の切り出し範囲を変更することができる。例えば、領域301に表示されている動画に対してタップが行われた場合、枠F31で示す範囲を含む動画が同じ広角動画から切り出され、ディスプレイ11全体に図6に示すようにして表示される。ユーザは、運転中の前方の風景が全体に表示される図6に示す画面においてドラッグ操作を行うことにより、前方の風景以外の好みの風景を確認することもできる。
また、領域301に表示されている動画に対してドラッグ操作が行われた場合、枠F31で示す範囲がドラッグ操作に応じて移動し、異なる範囲の動画が広角動画から切り出される。切り出された動画は領域301に表示される。
さらに、領域301に表示されている動画に対してピンチアウト/ピンチイン操作が行われた場合、枠F31で示す範囲のサイズが、縦横比を維持したまま切り替わり、画角の異なる範囲の動画が広角動画から切り出される。切り出された動画は領域301に表示される。
領域302に表示されている動画についても同様に、ユーザの操作に応じて表示が切り替えられる。後述するマルチスクリーン表示の他の画面の動画についても同様である。
[マルチスクリーン表示の第2の例]
図29は、マルチスクリーン表示の第2の例を示す図である。
図29は、マルチスクリーン表示の第2の例を示す図である。
図29の動画再生画面は、台形の領域である領域311、領域311と対向する台形の領域である領域312、および、それ以外の領域である領域313から構成される。
領域311は、ディスプレイ11の上辺を下底とし、下底の略1/2の長さの上底を有する台形の領域であり、ディスプレイ11の上側に形成される。領域312は、ディスプレイ11の下辺を下底とし、下底の略1/2の長さの上底を有する台形の領域であり、ディスプレイ11の下側に形成される。領域311と領域312の高さはそれぞれディスプレイの垂直方向の長さの略1/4であり、その上底同士は所定の距離だけ離れている。
領域311には、オートバイの運転手を被写体とする動画が表示され、領域312には、オートバイのハンドル中央に設けられたインジケータ類を被写体とする動画が表示されている。領域311と領域312に挟まれた領域である領域313には、ほぼまっすぐな道路の両脇に木々がある風景を被写体とする動画が表示されている。図29の動画再生画面に表示されている動画も、それぞれ、オートバイの運転中に撮影されたクリップの広角動画から切り出された動画である。
図30は、動画の切り出し範囲の例を示す図である。
撮影位置である位置P1は、オートバイの運転手の略胸元前方付近の位置である。矢印A21は撮影中の進行方向を示す。
この場合、切り出し部133は、枠F41で示す、縦横比がディスプレイ11の縦横比とほぼ同じ横長長方形の範囲を切り出し範囲として設定する。枠F41で示す切り出し範囲は、例えば、撮影中の進行方向の被写体であり、かつ、動きが大きく遠くにある被写体を含むように設定されたものである。切り出し部133は、枠F41で示す範囲から切り出した、進行方向前方の風景を被写体とする動画の表示領域として領域313を割り当てる。
また、切り出し部133は、枠F42で示す、縦横比が領域312の下底と高さの比とほぼ同じ帯状の範囲を切り出し範囲として設定する。枠F42で示す切り出し範囲は、例えば、撮影中の進行方向の被写体であり、かつ、動きが小さく近くにある被写体を含むように設定されたものである。切り出し部133は、枠F42で示す範囲から切り出したインジケータ類を被写体とする動画の表示領域として領域312を割り当てる。
切り出し部133は、枠F43で示す、縦横比が領域311の下底と高さの比とほぼ同じ帯状の範囲を切り出し範囲として設定する。枠F43で示す切り出し範囲は、例えば、撮影中の進行方向と反対方向の被写体であり、かつ、動きが小さく近くにいる人物を含むように設定されたものである。切り出し部133は、枠F43で示す範囲から切り出した、運転手を被写体とする動画の表示領域として領域311を割り当てる。
この例においては、動画の切り出し範囲の設定と、切り出した動画の表示領域への割り当てが、撮影中の進行方向、被写体の動きの量、被写体までの距離、および人物の位置に基づいて設定される。
すなわち、撮影中の進行方向の動画であり、動きが大きく遠くにある被写体を含む動画が、広い領域である領域313に割り当てられる。また、撮影中の進行方向の被写体であり、かつ、動きが小さく近くにある被写体を含む動画が、狭い領域である領域312に割り当てられる。さらに、撮影中の進行方向と反対方向の被写体であり、かつ、動きが小さく近くにいる人物を含む動画が、狭い領域である領域311に割り当てられる。
このような領域レイアウトの画面を表示することにより、情報処理装置1は、クリップの奥行き感(スピード感)を強調することが可能になる。
また、ユーザは、運転中に見ていた前方の風景と、インジケータ類の動きと、運転手の様子とを見比べることができる。ユーザは、運転中の広角動画の撮影範囲全体を見る場合に較べて、広い画角の動画を効率的に見ることができる。
センサデータに基づいて特定される撮影中の移動速度に応じて画面構成が変更されるようにしてもよい。例えば、情報処理装置1は、撮影中の移動速度が閾値の速度以上である場合、台形の領域をより広くするなどして図29の画面構成を変更する。これにより、情報処理装置1は、奥行き感などのユーザが受ける印象を移動速度に応じて強調することが可能になる。
[マルチスクリーン表示の第3の例]
図31は、マルチスクリーン表示の第3の例を示す図である。
図31は、マルチスクリーン表示の第3の例を示す図である。
図31の動画再生画面においては、図27の画面と同様に、ディスプレイ11が上下に2分割され、領域321と領域322が形成されている。
領域321には、演劇発表会の出演者を被写体とする動画が表示されている。領域322には、演劇発表会の観客を被写体とする動画が表示されている。すなわち、図31の動画再生画面に表示されている動画は、それぞれ、演劇発表会の最中に撮影されたクリップの広角動画から切り出された動画である。
図32は、動画の切り出し範囲の例を示す図である。
撮影位置である位置P1は、発表会の舞台と観客席の間の位置である。矢印A21は舞台の方向を示す。
この場合、切り出し部133は、枠F51で示す、縦横比が領域321の縦横比とほぼ同じ横長長方形の範囲を切り出し範囲として設定する。枠F51で示す切り出し範囲は、例えば、動きが大きく、音源方向にある被写体を含むように設定されたものである。切り出し部133は、枠F51で示す範囲から切り出した、舞台上の出演者を被写体とする動画の表示領域として領域321を割り当てる。
また、切り出し部133は、枠F52で示す、縦横比が領域322の縦横比とほぼ同じ帯状の範囲を切り出し範囲として設定する。枠F52で示す切り出し範囲は、例えば、動きが大きく、音源方向にある被写体と反対方向の被写体であり、かつ、動きが小さい人物を被写体として含むように設定されたものである。切り出し部133は、枠F52で示す範囲から切り出した観客を被写体とする動画の表示領域として領域322を割り当てる。
この例においては、動画の切り出し範囲の設定と、切り出した動画の表示領域への割り当てが、撮影中の音源方向、被写体の動きの量に基づいて設定されることになる。
すなわち、撮影中の音源方向の被写体であり、動きが大きい被写体を含む動画が、広い領域である領域301に割り当てられる。また、撮影中の音源方向と反対方向の被写体であり、動きが小さい被写体を含む動画が、狭い領域である領域302に割り当てられる。撮影中の音源方向は、クリップのオーディオデータに基づいて特定される。また、被写体の動きの量は広角動画を解析することによって特定される。
このような画面が表示されることにより、ユーザは、演劇の内容と観客の様子を見比べることができる。また、ユーザは、演劇中の撮影範囲全体を見る場合に較べて、広い画角の動画を効率的に見ることができる。
[マルチスクリーン表示の第4の例]
図33は、マルチスクリーン表示の第4の例を示す図である。
図33は、マルチスクリーン表示の第4の例を示す図である。
図33の動画再生画面においては、ディスプレイ11が左右に2分割され、右半分だけがさらに上下に2分割されることによって領域331乃至333が形成されている。領域331は、ディスプレイ11の略1/2の範囲を占めるように、ディスプレイ11の左半分に形成される。領域332は、ディスプレイ11の略1/4の範囲を占めるように、ディスプレイ11の右上に形成される。領域333は領域332の下側に形成される。
領域321には、2人のプレーヤーがいるテニスコートを被写体とする動画が表示されている。領域332と領域333には、それぞれ、プレーヤーを被写体とする動画が表示されている。図33の動画再生画面に表示されている動画は、それぞれ、テニスのプレー中に撮影されたクリップの広角動画から切り出された動画である。
図34は、動画の切り出し範囲の例を示す図である。
撮影位置である位置P1は、テニスコート全体を見下ろすことができる観客席の位置である。矢印A21はテニスコートの方向を示す。
この場合、切り出し部133は、枠F61で示す、縦横比が領域331の縦横比とほぼ同じ長方形の範囲を切り出し範囲として設定する。枠F61で示す切り出し範囲は、例えば、動きが大きい2人の人物を常に含むように設定されたものである。切り出し部133は、枠F61で示す範囲から切り出した、テニスコート全体を被写体とする動画の表示領域として領域331を割り当てる。
また、切り出し部133は、枠F62で示す、縦横比が領域332の縦横比とほぼ同じ長方形の範囲を切り出し範囲として設定する。枠F61で示す切り出し範囲内の一部の範囲の動画が切り出されることになる。枠F62で示す切り出し範囲は、例えば、動きが大きく、遠くにいる人物を被写体として含むように設定されたものである。切り出し部133は、枠F62で示す範囲から切り出した、2人のプレーヤーのうちの遠くにいるプレーヤーを被写体とする動画の表示領域として領域332を割り当てる。
切り出し部133は、枠F63で示す、縦横比が領域333の縦横比とほぼ同じ長方形の範囲を切り出し範囲として設定する。枠F63で示す切り出し範囲は、例えば、動きが大きく、近くにいる人物を被写体として含むように設定されたものである。切り出し部133は、枠F63で示す範囲から切り出した、2人のプレーヤーのうちの近くにいるプレーヤーを被写体とする動画の表示領域として領域333を割り当てる。
この例においては、動画の切り出し範囲の設定と、切り出した動画の表示領域への割り当てが、被写体の動きの量、および人物の位置に基づいて行われることになる。また、広い範囲と、その内部の一部の範囲を切り出すように切り出し範囲の設定が行われる。
上述したように、各クリップのメタデータには、広角動画に写っている人物の人物IDと人物位置情報が時刻情報と対応付けて設定されている。
枠F62で示す切り出し範囲は、人物位置情報に基づいて、同じ人物の動きに追尾して設定される。枠F63で示す切り出し範囲も同様に、人物位置情報に基づいて、同じ人物の動きに追尾して設定される。
これにより、領域332には同じ人物が表示され続け、領域333には同じ人物が表示され続けることになる。
広い画角の動画とその動画のうちの一部に寄った動画が並べて表示されることにより、ユーザは、テニスコート全体の様子と2人のプレーヤーのそれぞれの様子を見比べることができる。また、ユーザは、広い画角の動画を見てからプレーヤーに寄った動画を見るといったようにクリップを1つずつ見る場合に較べて、広い画角の動画を効率的に見ることができる。
[マルチスクリーン表示の第5の例]
図35は、マルチスクリーン表示の第5の例を示す図である。
図35は、マルチスクリーン表示の第5の例を示す図である。
図35の動画再生画面においては、ディスプレイ11が左右に2分割され、左半分だけがさらに上下に2分割されることによって領域341乃至343が形成されている。領域341は、ディスプレイ11の略1/4の範囲を占めるように、ディスプレイ11の左上に形成される。領域342は、ディスプレイ11の略1/4の範囲を占めるように、ディスプレイ11の左下に形成される。領域343は、ディスプレイ11全体の略1/2の範囲を占めるように、ディスプレイ11の右半分に形成される。
領域341には、風景を被写体とする動画が表示され、領域342には、自転車に乗っている人物を被写体とする動画が表示されている。図35の動画再生画面に表示されている動画は、それぞれ、自転車の運転中に撮影されたクリップの広角動画から切り出された動画である。
動画の切り出し範囲は、図30の枠F41と枠F43で示す切り出し範囲とほぼ同様である。撮影中の進行方向の被写体であり、かつ、動きが大きく遠くにある被写体を含む範囲の動画が広角動画から切り出され、領域341に割り当てられる。また、撮影中の進行方向と反対方向の被写体であり、かつ、動きが小さく近くにいる人物を含む範囲の動画が領域342に割り当てられる。
領域343には、インターネット上のサーバなどからダウンロードされた地図が表示されている。地図上にはアイコン351が表示され、撮影時の位置が示されている。上述したように、各クリップのメタデータには、撮影時の位置を表す情報が含まれている。
このように、広角動画から切り出した動画とともに、動画に関連する各種の情報を表示させるようにすることも可能である。これにより、ユーザは、動画に関連する情報を確認しながら、広い画角の動画を効率的に見ることができる。
図35の動画再生画面の中央下方にはアイコン361とアイコン362が並べて表示されている。アイコン361とアイコン362は表示モードを切り替えるときに操作される。図35の動画再生画面が表示されているとき、アイコン361のみが操作可能となり、アイコン362は操作不可の状態になる。
図36は、図35の動画再生画面が表示されている状態でアイコン361が操作されたときに表示される画面の例を示す図である。
アイコン361が操作されたとき、図35の動画再生画面の領域341に表示されていた動画が、上下に弓形の黒領域を付した形でディスプレイ11に拡大して表示される。このような表示によっても、情報処理装置1は、クリップの奥行き感を強調することが可能になる。
図36の動画再生画面が表示されている状態でアイコン362が操作されたとき、ディスプレイ11の表示は図35の動画再生画面に切り替わる。図36の動画再生画面が表示されているとき、アイコン362のみが操作可能となり、アイコン361は操作不可の状態になる。
[マルチスクリーン表示処理]
ここで、図37のフローチャートを参照して、情報処理装置1のマルチスクリーン表示処理について説明する。図37の処理は、例えば、図5に示すクリップ選択画面から再生対象とするクリップが選択されたときに開始される。
ここで、図37のフローチャートを参照して、情報処理装置1のマルチスクリーン表示処理について説明する。図37の処理は、例えば、図5に示すクリップ選択画面から再生対象とするクリップが選択されたときに開始される。
再生対象とするクリップが選択されたとき、ディスプレイ11には、領域レイアウトの選択画面が表示される。ユーザは、選択画面に表示される複数種類の領域レイアウトの中から、好みの領域レイアウトを選択することが可能となる。
ステップS61において、切り出し部133は、選択画面に対するユーザの操作に応じて、領域レイアウトを選択する。切り出し部133は、領域レイアウトに応じて、広角動画から動画を切り出す範囲の大きさ、形状、数を決定する。
ステップS62において、再生部114は、再生対象のクリップを再生し、広角動画のデータを情報処理部115に出力する。
ステップS63において、画像解析部131は、広角動画の撮影範囲全体の解析を行う。例えば、画像解析部131は、広角動画に写っているシーンの認識、広角動画に写っている被写体毎の動きの量、被写体までの距離などを特定する。画像解析部131は、解析結果のデータを切り出し部133に出力する。
ステップS64において、データ解析部132は、再生対象のクリップのオーディオデータとメタデータをクリップデータ記憶部113から読み出し、解析する。例えば、データ解析部132は、オーディオデータを解析することによって音源方向を特定する。また、データ解析部132は、角速度、加速度のデータに基づいて撮影時の進行方向を特定する。
クリップに写っている人物の検出と同様に、ステップS63とステップS64において行われる解析がクリップの再生前に予め行われるようにしてもよい。この場合、解析結果のデータは各クリップのメタデータとして設定される。
ステップS65において、切り出し部133は、領域レイアウトに応じた動画の切り出し範囲を設定する。また、切り出し部133は、切り出した動画を表示領域に割り当てる。切り出し範囲の設定と表示領域に対する動画の割り当ては、画像解析部131とデータ解析部132による解析結果、および再生対象のクリップのメタデータに含まれる人物の情報に基づいて、図28、図30、図32、または図34を参照して説明したようにして行われる。
ステップS66において、切り出し部133は、設定した切り出し範囲に従って、クリップの広角動画から動画を切り出す。
ステップS67において、表示制御部116は、広角動画から切り出された動画を、図27、図29、図31、または図33を参照して説明したように各領域に表示させる。
ステップS68において、再生部114は、再生終了か否かを判定し、再生終了ではないと判定した場合、ステップS62以降の処理を繰り返す。繰り返し行われる処理においては、ユーザによる操作が行われた場合や人物の追尾を行う場合などに、切り出し範囲の設定が再度行われる。一方、再生終了であるとステップS68において判定された場合、処理は終了される。
以上の処理により、ユーザは、広い画角の動画を効率的に見ることができる。
以上においては、領域レイアウトがユーザにより選択されるものとしたが、人物検出の結果、広角動画の解析結果、オーディオデータやセンサデータの解析結果などに基づいて情報処理装置1により自動的に選択されるようにしてもよい。
また、切り出し範囲の設定と各表示領域への動画の割り当てがクリップの再生時に行われるものとしたが、例えば図27に示すような動画再生画面を表示するためのクリップが、予め生成されるようにしてもよい。予め生成されたマルチスクリーン表示用のクリップの再生が指示されたとき、図27に示すような動画再生画面が表示される。
<人物追尾再生>
次に、人物追尾再生について説明する。
次に、人物追尾再生について説明する。
[人物追尾再生について]
図38は、人物追尾再生の概念を示す図である。
図38は、人物追尾再生の概念を示す図である。
人物追尾再生は、特定の人物の動きに切り出し範囲を追尾させ、同じ人物が写る動画を表示させ続ける機能である。人物追尾再生は、再生対象のクリップのメタデータに含まれる人物IDと人物位置情報を用いて実現される。
図38に示すクリップ#51は、時刻t11から時刻t14までの時間を再生時間とするクリップである。1人の人物が、時刻t11から時刻t12までは位置P11に写り、時刻t12から時刻t13までは位置P12に写っている。また、同じ人物が、時刻t13から時刻t14までは位置P13に写っている。このような各時刻の人物の位置を表す情報がメタデータに含まれている。
クリップ#51に写る人物を対象とした人物追尾再生が指示された場合、時刻t11から時刻t12までは、位置P11を含む、枠F101で示す範囲の動画が切り出され、表示される。また、時刻t12から時刻t13までは、位置P12を含む、枠F102で示す範囲の動画が切り出され、表示される。時刻t13から時刻t14までは、位置P13を含む、枠F103で示す範囲の動画が切り出され、表示される。
これにより、ディスプレイ11には、クリップ#51に写っている同じ人物が常に表示され続けることになる。ユーザは、自分が選択した人物に注目してクリップを見ることができる。
[人物追尾再生の第1の例]
図39は、顔画像選択画面の例を示す図である。
図39は、顔画像選択画面の例を示す図である。
顔画像選択画面は、追尾対象とする人物の選択に用いられる。図39の顔画像選択画面には、人物の顔の画像である顔画像401乃至412が、3行4列に並べて画面中央付近に表示されている。顔画像401乃至412は、それぞれランダムに角度を変えて、一部が重なり合うように表示されている。顔画像401乃至412の背景には、再生対象のクリップの画像が表示されている。
顔画像401乃至412は、再生対象のクリップに写っている全ての人物の顔の画像である。顔の画像は、例えば人物追尾再生を開始する前に再生対象のクリップの広角動画から切り出される。
ユーザは、顔画像をタップすることによって、追尾対象とする人物を選択することができる。図39の例においては、顔画像401がカーソルCによって選択された状態になっている。
このように、追尾対象とする人物の選択は、人物の顔を指定することによって行われる。
図40は、追尾再生画面の例を示す図である。
追尾再生画面は、追尾対象とする人物が選択されたときに表示される。人物が選択されたとき、クリップ全体のうち、選択された人物が写っている時刻から再生が開始され、追尾対象とする人物を含む範囲の動画が広角動画から切り出される。切り出された動画は画面全体に表示される。
図40に示すように、追尾再生画面の下方には、再生対象のクリップの動画に重ねて、顔画像421乃至428が横に並べて表示される。図40の例においては、破線で囲んで示す顔画像の表示領域431が、再生対象のクリップの動画の表示領域である画面全体の内側に形成されている。
顔画像421乃至428は、再生中のシーンに写っている人物全員の、いまの顔の動画である。顔画像425にカーソルCがあてられ、顔画像425の顔の人物が追尾対象になっていることが表されている。
ユーザは、追尾再生画面の下に並べて表示されている顔画像をタップすることによって、追尾対象とする人物を切り替えることができる。
図41は、追尾再生画面に表示する顔画像の切り出しについて説明する図である。
左奥の位置P11に写っている人物が、いま追尾対象になっている人物である。追尾再生画面の全体には、枠F101で示す、追尾対象の人物を含む範囲の動画が表示される。
図41の例においては、いま再生中のシーンには、位置P21乃至P26にいる6人の人物が、追尾対象の人物(位置P11にいる人物)以外に写っている。枠F101で示す範囲の外にいるから、追尾対象の人物以外の6人の人物は、いまは、顔画像によって顔が表示されることを除いて、追尾再生画面に表示されていない人物である。
このとき、追尾対象の位置P11にいる人物を含む範囲の動画以外に、枠F111乃至F116で示す6人の人物の顔を含む範囲の動画も広角動画から切り出される。切り出された動画が、追尾対象の人物の顔画像とともに、図40に示すように顔画像として並べて表示される。追尾対象の人物の顔画像は、例えば、枠F101で示す範囲の動画の表示範囲を制限することによって表示される。
例えば、位置P21にいる人物の顔画像が追尾再生画面において選択された場合、新たな追尾対象の人物は位置P21にいる人物となり、動画の切り出し範囲は、位置P21にいる人物を含む範囲に切り替えられる。
追尾再生画面には、位置P21にいる人物が写っている動画が全体に表示される。また、追尾再生画面には、位置P11にいる人物と、位置P21乃至P26にいる人物のそれぞれの顔画像が下に並べて表示される。
このように、ユーザは、追尾して表示させている人物以外の人物を、新たな追尾対象として容易に選択することができる。
図42は、クリップの再生中における顔画像の切り替えについて説明する図である。
再生対象のクリップであるクリップ#61は、時刻t21から時刻t27までの時間を再生時間とするクリップである。クリップ#61には、再生時間全体を通して、人物A乃至Dの4人の人物が現れる(4人の人物が写っている)。
時間軸方向に示す矢印は、それぞれの人物が写っている時間を表す。人物Aは、時刻t21から時刻t25までの時間帯に写り、人物Bは、時刻t21から時刻t24までの時間帯に写っている。人物Cは、時刻t23から時刻t26までの時間帯に写り、人物Dは、時刻t21から時刻t27までの全時間帯に写っている。メタデータに含まれる人物IDに基づいて、それぞれの人物がどの時間帯に写っているのかが特定される。
追尾対象とする人物の選択に用いられる顔画像選択画面には、図43に示すように、人物A乃至Dの顔画像が表示される。例えば、人物Dの顔画像が選択され、人物Dが追尾対象として選択されたものとする。
人物Dを追尾対象とすることが選択された場合、クリップ#61の再生が開始される。人物Dは時刻t21から写っているから、クリップ#61の再生は先頭の時刻t21から開始される。仮に人物Cが追尾対象の人物として選択された場合、人物Cが写っている時刻t23からクリップ#61の再生が開始される。
クリップ#61の再生が開始されたとき、追尾対象として選択された人物Dを含む範囲の動画が追尾再生画面に表示される。これにより、ユーザは、人物Dを含む範囲だけを見ることができる。
また、時刻t21から時刻t23までの時間帯においては、人物Dを含む範囲の動画だけでなく、その時間帯に写っている人物Aと人物Bの顔を含む範囲の動画も切り出される。追尾再生画面の下方には、図44の最上段に示すように、人物Aの顔画像と人物Bの顔画像が、追尾対象になっている人物Dの顔画像とともに表示される。ユーザは、追尾対象を、人物Dから、人物Aまたは人物Bに切り替えることができる。
人物Dに追尾したクリップ#61の再生が進み、時刻t23になったとき、追尾再生画面の表示は、図44の白抜き矢印A101の先に示すように、人物A、人物B、および人物Dの顔画像に加えて、人物Cの顔画像も表示される状態になる。人物Cは、クリップ#61の広角動画中に時刻t23から現れる。白抜き矢印A101の先に示す表示は、時刻t24まで続けられる。ユーザは、追尾対象を、人物Dから、人物A、人物B、または人物Cに切り替えることができる。
人物Dに追尾したクリップ#61の再生が進み、時刻t24になったとき、追尾再生画面の表示は、図44の白抜き矢印A102の先に示すように、人物Bの顔画像が消え、人物A、人物C、および人物Dの顔画像が表示される状態になる。人物Bは、時刻t24から、クリップ#61の広角動画中に現れなくなる。白抜き矢印A102の先に示す表示は、時刻t25まで続けられる。ユーザは、追尾対象を、人物Dから、人物A、または人物Cに切り替えることができる。
人物Dに追尾したクリップ#61の再生が進み、時刻t25になったとき、追尾再生画面の表示は、図44の白抜き矢印A103の先に示すように、人物Aの顔画像が消え、人物Cの顔画像と人物Dの顔画像が表示される状態になる。人物Aは、時刻t25から、クリップ#61の広角動画中に現れなくなる。白抜き矢印A103の先に示す表示は、時刻t26まで続けられる。ユーザは、追尾対象を、人物Dから、人物Cに切り替えることができる。
人物Dに追尾したクリップ#61の再生が進み、時刻t26になったとき、追尾再生画面の表示は、図44の白抜き矢印A104の先に示すように、人物Cの顔画像が消え、人物Dの顔画像のみが表示される状態になる。人物Cは、時刻t26から、クリップ#61の広角動画中に現れなくなる。白抜き矢印A104の先に示す表示は、時刻t27まで続けられる。
人物Dに追尾したクリップ#61の再生中に所定の操作が行われたとき、クリップ#61の再生は一時停止され、ディスプレイ11には、追尾再生画面に代えて、図43の顔画像選択画面が表示される。ユーザは、新たな追尾対象とする人物を顔画像選択画面からも選択することができる。
このように、ユーザは、人物の顔の画像から、追尾対象とする人物を選択することができる。また、特定の人物が写っている動画が表示され続けることから、ユーザは、画角が広い動画を効率的に見ることができる。
[人物追尾再生処理]
ここで、図45のフローチャートを参照して、情報処理装置1の顔画像生成処理について説明する。図45の処理は、例えば人物追尾再生の開始前に行われる。
ここで、図45のフローチャートを参照して、情報処理装置1の顔画像生成処理について説明する。図45の処理は、例えば人物追尾再生の開始前に行われる。
図45の処理によって生成された顔画像は、例えば顔画像選択画面の表示に用いられる。図45の処理によって生成された顔画像が、人物追尾再生中の画面の表示に用いられるようにしてもよい。
ステップS81において、データ解析部132は、人物追尾再生を行うクリップのメタデータをクリップデータ記憶部113から読み出す。データ解析部132は、読み出したメタデータに含まれる人物ID、人物位置情報に基づいて、各人物が写っている時刻と、広角動画中の位置を特定する。データ解析部132は、特定した時刻と位置の情報を切り出し部133に出力する。
ステップS82において、再生部114は、クリップを再生し、広角動画のデータを情報処理部115に出力する。
ステップS83において、切り出し部133は、人物が写っているとしてデータ解析部132により特定された時刻の広角動画が再生部114から供給されたとき、その広角動画のうち、データ解析部132により特定された位置に写る人物の顔の画像を顔画像として切り出す。顔画像は静止画であってもよいし、動画であってもよい。
ステップS84において、再生部114は、再生終了か否かを判定し、再生終了ではないと判定した場合、ステップS82以降の処理を繰り返す。繰り返し行われる処理によって、クリップに写る全ての人物の顔画像が広角動画から順次切り出される。
一方、再生終了であるとステップS84において判定された場合、ステップS85において、データ解析部132は、広角動画から切り出した全ての人物の顔画像をメタデータとしてクリップデータ記憶部113に記憶させる。その後、処理は終了される。
次に、図46のフローチャートを参照して、情報処理装置1の人物追尾再生処理について説明する。図46の処理は、例えば図5に示すクリップ選択画面から、人物追尾再生の対象とするクリップが選択されたときに開始される。
ステップS101において、表示制御部116は、人物追尾再生の対象とするクリップのメタデータをクリップデータ記憶部113から読み出し、メタデータに含まれる顔画像を用いて顔画像選択画面を表示させる。ディスプレイ11には、図39を参照して説明したような顔画像選択画面が表示される。
追尾対象とする人物が選択されたとき、ステップS102において、再生部114は、メタデータに含まれる、各人物が写っている再生時刻の情報をクリップデータ記憶部113から読み出し、追尾対象の人物が写っているシーンの再生を開始する。追尾対象の人物が写っているシーンの広角動画のデータは切り出し部133に供給される。
ステップS103において、切り出し部133は、追尾対象の人物が写っている範囲の動画と、同じシーンに写っている人物の顔を含む範囲の動画を広角動画から切り出す。再生中のシーンに写っている各人物の位置は、メタデータに含まれる人物位置情報に基づいてデータ解析部132により特定される。
ステップS104において、表示制御部116は、追尾対象の人物が写っている範囲の動画を追尾再生画面の全体に表示させるとともに、再生中のシーンに写っている人物の顔の動画を顔画像として並べて表示させる。
ステップS105において、表示制御部116は、他の人物を追尾対象とすることが追尾再生画面の下に並べて表示した顔画像を用いて選択されたか否かを判定する。
他の人物を追尾対象とすることが選択されていないとステップS105において判定した場合、ステップS106において、表示制御部116は、顔画像選択画面の表示が指示されたか否かを判定する。
顔画像選択画面の表示が指示されたとステップS106において判定した場合、表示制御部116は、ステップS101に戻り、顔画像選択画面を再度表示させて以上の処理を繰り返す。
一方、顔画像選択画面の表示が指示されていないとステップS106において判定した場合、ステップS107において、表示制御部116は、再生終了か否かを判定する。再生終了ではないとステップS107において判定された場合、ステップS103以降の処理が繰り返される。
ステップS105において他の人物を追尾対象とすることが選択されたと判定された場合も同様に、追尾対象の人物を変えて、ステップS103以降の処理が繰り返される。ステップS107において再生終了であると判定された場合、処理は終了される。
[人物追尾再生の第2の例]
図47は、追尾再生画面の他の例を示す図である。
図47は、追尾再生画面の他の例を示す図である。
図47の追尾再生画面においては、ディスプレイ11全体が上下に2分割され、領域451と領域452が形成されている。領域451は、ディスプレイ11全体の略3/4の範囲を占めるように、ディスプレイ11の上側に形成される。領域452は領域451の下側に形成される。
領域451には、ある人物を中心に、再生中のクリップから切り出された、広い範囲の動画が表示されている。領域451上でドラッグ操作を行うことによって、ユーザは表示範囲を切り替えることができる。
領域452には、左から順に、5人のそれぞれの顔を含む顔画像461乃至465が表示されている。図41の例においては、顔画像の表示領域である領域452が、再生対象のクリップの動画の表示領域である領域451と隣接して形成されている。顔画像が表示されている5人の人物は、再生中のシーンに写っている人物である。
ここでは、適宜、顔画像461乃至465に顔が写っている5人の人物をそれぞれ人物A1乃至E1という。顔画像465にカーソルCがあてられ、人物E1が追尾対象になっていることが表されている。領域451の中心に表示されている人物は人物E1である。
ユーザは、領域451に並べて表示されている顔画像をタップすることによって、追尾対象とする人物を切り替えることができる。
図48は、顔画像の切り出しについて説明する図である。
位置P31に写っている人物が、いま追尾対象になっている人物E1である。領域451には、枠F121で示す、人物E1を含む範囲の動画が表示される。
図48の例においては、いま再生中のシーンには、人物E1の位置を基準として、時計回りに、人物A1、人物B1、人物C1、および人物D1が写っている。人物A1乃至D1の位置は、それぞれ位置P32乃至P35である。
このとき、枠F131乃至F134で示す人物A1乃至D1の顔を含む範囲の動画も広角動画から切り出される。切り出された動画が、領域452に並べて顔画像461乃至464として表示される。顔画像464の右隣に表示される人物E1の顔画像465は、例えば、枠F121で示す範囲の動画の表示範囲を枠F135で示す範囲に制限することによって表示される。
このように、領域452には、再生中のシーンに写っている各人物の顔画像が、人物の実際の並び順に従って表示される。ユーザは、領域452に表示されている顔画像の並び順から、再生中のクリップの広角動画中で、各人物の位置関係がどのような関係にあるのかを確認することができる。
図49は、追尾再生画面の表示の切り替えの例を示す図である。
再生対象のクリップが選択されたとき、図49の最上段に示すように、広角動画の撮影範囲全体を水平方向にパンするようにして、広角動画から切り出された動画が表示される。イメージとしては、図48の枠F121が水平方向に球面上を移動し、枠F121内の動画が切り出されて表示されることになる。追尾再生画面の上下には黒の帯状領域が形成される。
追尾再生画面に表示されている動画に写る例えば人物C1をユーザがタップしたとき、白抜き矢印A111の先に示すように、追尾対象とする人物が選択されたことを表すアイコン481が人物C1に重ねて表示される。白抜き矢印A111の先に示す追尾再生画面において、円形のアイコン481が表示されている人物が人物C1である。人物C1がタップされたことは人物位置情報に基づいて特定される。
人物C1を追尾対象とすることが選択された場合、白抜き矢印A112の先に示すように、図47を参照して説明した追尾再生画面が表示される。領域451には、人物C1を含む範囲の動画が表示される。また、追尾対象として人物C1が選択されていることを示すように、人物C1の顔画像である顔画像463に対してカーソルCがあてられる。
ユーザは、領域451の表示から、人物C1に注目してクリップを見ることができるとともに、各タイミングにおける他の人物の顔も、領域452の表示から確認することができる。
領域452の右端に表示されている人物E1の顔画像である顔画像465が選択された場合、白抜き矢印A113の先に示すように、アイコン482が、顔画像465(人物E1)に重ねて表示される。
このとき、人物C1が写っている範囲から人物E1が写っている範囲までパンするようにして、領域451の表示が切り替わる。動画の切り出し範囲が人物E1を含む範囲まで移動したとき、白抜き矢印A114の先に示すように、領域451には、人物E1を含む範囲の動画が表示される。また、追尾対象として人物E1が選択されていることを示すように、人物E1の顔画像である顔画像465に対してカーソルCがあてられる。
このように、追尾対象の切り替えに用いられる顔画像を、実際の人物の並び順通りに並べて表示させることも可能である。
領域452の顔画像の表示も、図44を参照して説明したように、広角動画中に写らなくなったり、または写るようになったりすることに応じて切り替えられる。
<変形例>
デジタルカメラ2により撮影された広角動画に基づいて以上のような画面表示が情報処理装置1において行われるものとしたが、広角動画の撮影機能が情報処理装置1に搭載され、情報処理装置1自身が撮影した広角動画に基づいて、各種の画面表示が行われるようにしてもよい。
デジタルカメラ2により撮影された広角動画に基づいて以上のような画面表示が情報処理装置1において行われるものとしたが、広角動画の撮影機能が情報処理装置1に搭載され、情報処理装置1自身が撮影した広角動画に基づいて、各種の画面表示が行われるようにしてもよい。
[ネットワークシステムに適用した例]
以上のような画面表示が、情報処理装置1が搭載するブラウザ上で、インターネットを介してサーバから送信されてくるデータに基づいて行われるようにしてもよい。
以上のような画面表示が、情報処理装置1が搭載するブラウザ上で、インターネットを介してサーバから送信されてくるデータに基づいて行われるようにしてもよい。
図50は、ネットワークシステムの構成例を示す図である。
図50に示すネットワークシステムは、情報処理装置1とサーバ501が、インターネットなどよりなるネットワーク502を介して接続されることによって構成される。
サーバ501は、情報処理装置1などからアップロードされたクリップのデータを管理する。サーバ501は、情報処理装置1から送信されてくる情報により表されるユーザの操作に応じて、上述したタイムシフト再生処理、マルチスクリーン表示処理、人物追尾再生処理などを行い、表示画面のデータを情報処理装置1に送信する。
サーバ501は、図9に示す情報処理装置1の構成と同様の構成を有する。サーバ501においては、所定のプログラムが実行されることによって図10に示す各機能部が実現される。
この場合、サーバ501において実現される画像データ取得部111は、情報処理装置1から送信されてきた広角動画のデータを取得する。また、表示制御部116は、各画面のデータを情報処理装置1に送信することによって、情報処理装置1のディスプレイ11に各画面を表示させる。図10の他の機能部は、基本的に、上述した処理と同様の処理を行う。
情報処理装置1は、サーバ501から送信されてきたデータに基づいて、図19に示すタイムシフト再生時の画面、図27に示すマルチスクリーン表示の画面、図38に示す人物追尾再生時の画面などをディスプレイ11に表示させる。
これにより、ユーザは、情報処理装置1のブラウザ上で、広い画角の動画を効率的に見ることができる。
[プログラム等について]
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
インストールされるプログラムは、図9に示すメモリカード101などのリムーバブルメディアに記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
[構成の組み合わせ例]
本技術は、以下のような構成をとることもできる。
本技術は、以下のような構成をとることもできる。
(1)
動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える表示制御部を備える
表示制御装置。
動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える表示制御部を備える
表示制御装置。
(2)
前記動画を再生する再生部をさらに備える
前記(1)に記載の表示制御装置。
前記動画を再生する再生部をさらに備える
前記(1)に記載の表示制御装置。
(3)
前記表示制御部は、前記動画の全区間に写る人物の画像を前記動画から切り出して追尾対象とする人物の選択画面に表示させ、
前記再生部は、前記選択画面から選択された前記第1の人物が写る区間を再生する
前記(2)に記載の表示制御装置。
前記表示制御部は、前記動画の全区間に写る人物の画像を前記動画から切り出して追尾対象とする人物の選択画面に表示させ、
前記再生部は、前記選択画面から選択された前記第1の人物が写る区間を再生する
前記(2)に記載の表示制御装置。
(4)
前記表示制御部は、前記動画の再生中、前記動画に写らなくなった前記第2の人物の画像を前記第2の表示領域から消し、前記動画に写るようになった人物の画像を前記第2の人物の画像として前記第2の表示領域に表示させる
前記(1)乃至(3)のうちのいずれかに記載の表示制御装置。
前記表示制御部は、前記動画の再生中、前記動画に写らなくなった前記第2の人物の画像を前記第2の表示領域から消し、前記動画に写るようになった人物の画像を前記第2の人物の画像として前記第2の表示領域に表示させる
前記(1)乃至(3)のうちのいずれかに記載の表示制御装置。
(5)
前記動画に写る人物を検出する人物検出部と、
前記人物検出部により検出されたそれぞれの人物の識別情報、前記動画の撮影範囲内における表示位置を表す情報を、再生時刻の情報と対応付けて記憶する記憶部と
をさらに備え、
前記表示制御部は、前記動画の再生中、前記記憶部に記憶されている情報に基づいて、前記第2の表示領域に表示させる前記第2の人物の画像の表示を制御する
前記(4)に記載の表示制御装置。
前記動画に写る人物を検出する人物検出部と、
前記人物検出部により検出されたそれぞれの人物の識別情報、前記動画の撮影範囲内における表示位置を表す情報を、再生時刻の情報と対応付けて記憶する記憶部と
をさらに備え、
前記表示制御部は、前記動画の再生中、前記記憶部に記憶されている情報に基づいて、前記第2の表示領域に表示させる前記第2の人物の画像の表示を制御する
前記(4)に記載の表示制御装置。
(6)
前記表示制御部は、複数の前記第2の人物の画像を、前記第1の表示領域内に形成した前記第2の表示領域に並べて表示させる
前記(4)または(5)に記載の表示制御装置。
前記表示制御部は、複数の前記第2の人物の画像を、前記第1の表示領域内に形成した前記第2の表示領域に並べて表示させる
前記(4)または(5)に記載の表示制御装置。
(7)
前記表示制御部は、複数の前記第2の人物の画像を、複数の前記2の人物の前記動画の撮影範囲における並び順に従って、前記第2の表示領域に並べて表示させる
前記(2)乃至(5)のうちのいずれかに記載の表示制御装置。
前記表示制御部は、複数の前記第2の人物の画像を、複数の前記2の人物の前記動画の撮影範囲における並び順に従って、前記第2の表示領域に並べて表示させる
前記(2)乃至(5)のうちのいずれかに記載の表示制御装置。
(8)
前記表示制御部は、複数の前記第2の人物の画像を、前記第1の表示領域と隣接する前記第2の表示領域に並べて表示させる
前記(7)に記載の表示制御装置。
前記表示制御部は、複数の前記第2の人物の画像を、前記第1の表示領域と隣接する前記第2の表示領域に並べて表示させる
前記(7)に記載の表示制御装置。
(9)
動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、
前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える
ステップを含む表示制御方法。
動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、
前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える
ステップを含む表示制御方法。
(10)
動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、
前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える
ステップを含む処理をコンピュータに実行させるプログラム。
動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、
前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える
ステップを含む処理をコンピュータに実行させるプログラム。
1 情報処理装置, 2 デジタルカメラ, 111 画像データ取得部, 112 クリップ生成部, 113 クリップデータ記憶部, 114 再生部, 115 情報処理部, 116 表示制御部, 131 画像解析部, 131A 人物検出部, 132 データ解析部, 133 切り出し部
Claims (10)
- 動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える表示制御部を備える
表示制御装置。 - 前記動画を再生する再生部をさらに備える
請求項1に記載の表示制御装置。 - 前記表示制御部は、前記動画の全区間に写る人物の画像を前記動画から切り出して追尾対象とする人物の選択画面に表示させ、
前記再生部は、前記選択画面から選択された前記第1の人物が写る区間を再生する
請求項2に記載の表示制御装置。 - 前記表示制御部は、前記動画の再生中、前記動画に写らなくなった前記第2の人物の画像を前記第2の表示領域から消し、前記動画に写るようになった人物の画像を前記第2の人物の画像として前記第2の表示領域に表示させる
請求項1に記載の表示制御装置。 - 前記動画に写る人物を検出する人物検出部と、
前記人物検出部により検出されたそれぞれの人物の識別情報、前記動画の撮影範囲内における表示位置を表す情報を、再生時刻の情報と対応付けて記憶する記憶部と
をさらに備え、
前記表示制御部は、前記動画の再生中、前記記憶部に記憶されている情報に基づいて、前記第2の表示領域に表示させる前記第2の人物の画像の表示を制御する
請求項4に記載の表示制御装置。 - 前記表示制御部は、複数の前記第2の人物の画像を、前記第1の表示領域内に形成した前記第2の表示領域に並べて表示させる
請求項4に記載の表示制御装置。 - 前記表示制御部は、複数の前記第2の人物の画像を、複数の前記2の人物の前記動画の撮影範囲における並び順に従って、前記第2の表示領域に並べて表示させる
請求項2に記載の表示制御装置。 - 前記表示制御部は、複数の前記第2の人物の画像を、前記第1の表示領域と隣接する前記第2の表示領域に並べて表示させる
請求項7に記載の表示制御装置。 - 動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、
前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える
ステップを含む表示制御方法。 - 動画に写る人物の中から追尾対象として選択された第1の人物の画像を第1の表示領域に表示させ続けるとともに、再生中の時刻において前記動画に写っている第2の人物の画像を第2の表示領域に表示させ、
前記第2の人物が追尾対象として選択された場合、前記第1の人物の画像に代えて前記第2の人物の画像を表示させ続けるように、前記第1の表示領域の表示を切り替える
ステップを含む処理をコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013099792A JP2014220724A (ja) | 2013-05-10 | 2013-05-10 | 表示制御装置、表示制御方法、およびプログラム |
PCT/JP2014/002387 WO2014181529A1 (en) | 2013-05-10 | 2014-05-01 | Display control apparatus, display control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013099792A JP2014220724A (ja) | 2013-05-10 | 2013-05-10 | 表示制御装置、表示制御方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014220724A true JP2014220724A (ja) | 2014-11-20 |
Family
ID=50884442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013099792A Pending JP2014220724A (ja) | 2013-05-10 | 2013-05-10 | 表示制御装置、表示制御方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2014220724A (ja) |
WO (1) | WO2014181529A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017037423A (ja) * | 2015-08-07 | 2017-02-16 | 株式会社リコー | 画像管理システム、画像管理方法、画像通信システム及びプログラム |
JP2017054541A (ja) * | 2016-12-05 | 2017-03-16 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017063276A (ja) * | 2015-09-24 | 2017-03-30 | カシオ計算機株式会社 | 映像表示装置、映像表示方法、及びプログラム |
JP2017216553A (ja) * | 2016-05-31 | 2017-12-07 | 日本電信電話株式会社 | 撮像システム、撮像方法 |
US10321089B2 (en) | 2015-11-17 | 2019-06-11 | Canon Kabushiki Kaisha | Image preproduction apparatus, method for controlling the same, and recording medium |
JP2020088855A (ja) * | 2018-11-16 | 2020-06-04 | 協栄精工株式会社 | ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 |
JP2020126523A (ja) * | 2019-02-06 | 2020-08-20 | 日本放送協会 | 画像切出装置、画像解析装置及びプログラム |
US10839601B2 (en) | 2016-03-31 | 2020-11-17 | Sony Corporation | Information processing device, information processing method, and program |
US11463625B2 (en) | 2020-02-12 | 2022-10-04 | Sharp Kabushiki Kaisha | Electronic appliance, image display system, and image display control method |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102536945B1 (ko) | 2016-08-30 | 2023-05-25 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작방법 |
CN110377204B (zh) | 2019-06-30 | 2021-07-09 | 华为技术有限公司 | 一种生成用户头像的方法及电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11331827A (ja) | 1998-05-12 | 1999-11-30 | Fujitsu Ltd | テレビカメラ装置 |
GB2395853A (en) * | 2002-11-29 | 2004-06-02 | Sony Uk Ltd | Association of metadata derived from facial images |
JP4243767B2 (ja) * | 2007-09-21 | 2009-03-25 | 富士通株式会社 | 魚眼レンズカメラ装置及びその画像抽出方法 |
JP4640515B2 (ja) * | 2009-03-25 | 2011-03-02 | 日本ビクター株式会社 | サムネイル生成装置、サムネイル生成方法、及びサムネイル生成プログラム |
JP5376403B2 (ja) * | 2009-09-02 | 2013-12-25 | 株式会社リコー | 映像表示装置及びプログラム |
US10645344B2 (en) * | 2010-09-10 | 2020-05-05 | Avigilion Analytics Corporation | Video system with intelligent visual display |
JP5649429B2 (ja) * | 2010-12-14 | 2015-01-07 | パナソニックIpマネジメント株式会社 | 映像処理装置、カメラ装置および映像処理方法 |
JP5810296B2 (ja) * | 2011-06-07 | 2015-11-11 | パナソニックIpマネジメント株式会社 | 画像表示装置及び画像表示方法 |
-
2013
- 2013-05-10 JP JP2013099792A patent/JP2014220724A/ja active Pending
-
2014
- 2014-05-01 WO PCT/JP2014/002387 patent/WO2014181529A1/en active Application Filing
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017037423A (ja) * | 2015-08-07 | 2017-02-16 | 株式会社リコー | 画像管理システム、画像管理方法、画像通信システム及びプログラム |
JP2017063276A (ja) * | 2015-09-24 | 2017-03-30 | カシオ計算機株式会社 | 映像表示装置、映像表示方法、及びプログラム |
US10321089B2 (en) | 2015-11-17 | 2019-06-11 | Canon Kabushiki Kaisha | Image preproduction apparatus, method for controlling the same, and recording medium |
US10839601B2 (en) | 2016-03-31 | 2020-11-17 | Sony Corporation | Information processing device, information processing method, and program |
US11417062B2 (en) | 2016-03-31 | 2022-08-16 | Sony Group Corporation | Information processing device, information processing method, and program |
JP2017216553A (ja) * | 2016-05-31 | 2017-12-07 | 日本電信電話株式会社 | 撮像システム、撮像方法 |
JP2017054541A (ja) * | 2016-12-05 | 2017-03-16 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2020088855A (ja) * | 2018-11-16 | 2020-06-04 | 協栄精工株式会社 | ゴルフダイジェスト作成システム、移動撮影ユニットおよびダイジェスト作成装置 |
JP2020126523A (ja) * | 2019-02-06 | 2020-08-20 | 日本放送協会 | 画像切出装置、画像解析装置及びプログラム |
JP7304704B2 (ja) | 2019-02-06 | 2023-07-07 | 日本放送協会 | 画像切出装置、画像解析装置及びプログラム |
US11463625B2 (en) | 2020-02-12 | 2022-10-04 | Sharp Kabushiki Kaisha | Electronic appliance, image display system, and image display control method |
Also Published As
Publication number | Publication date |
---|---|
WO2014181529A1 (en) | 2014-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6249202B2 (ja) | 画像表示装置、画像表示方法、およびプログラム | |
JP2014220724A (ja) | 表示制御装置、表示制御方法、およびプログラム | |
JP7053869B2 (ja) | ビデオ生成の方法、装置、電子機器及びコンピュータ読み取り可能記憶媒体 | |
CN109275028B (zh) | 视频获取方法、装置、终端和介质 | |
TWI520610B (zh) | 電視控制裝置與相關方法 | |
US8457387B2 (en) | System and method for interactive environments presented by video playback devices | |
JP6450064B2 (ja) | 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。 | |
JP5524653B2 (ja) | 表示制御装置及びその制御方法 | |
JP6787394B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2004356774A (ja) | マルチメディア再生装置およびマルチメディア再生方法 | |
JP6187811B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2023554470A (ja) | ビデオ処理方法、装置、機器、記憶媒体、及びコンピュータプログラム製品 | |
JP6143678B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6628343B2 (ja) | 装置および関連する方法 | |
JP6004475B2 (ja) | 再生制御装置、再生制御方法及びプログラム | |
JP2014220722A (ja) | 表示制御装置、表示制御方法、およびプログラム | |
WO2017022296A1 (ja) | 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法 | |
US20220264008A1 (en) | Image processing device, image processing method, and program | |
JP2006229467A (ja) | フォトムービー作成装置及びフォトムービー作成プログラム、並びに被写体認識方法 | |
JP6019612B2 (ja) | 映像編集装置、テレビジョン受像機、および映像編集プログラム | |
JP6468089B2 (ja) | 表示装置、表示方法及びプログラム | |
JP6020665B2 (ja) | 再生制御装置、再生制御方法及びプログラム | |
Mitarai et al. | Interactive video cam system for emotive video production |