JP2017224981A - 動画再生装置とその制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】動画撮影時の撮影方向が変化して動画に動きが生じても一定の方向の映像を簡単に視聴し続けることができる動画再生装置を提供する。【解決手段】動画再生装置３００の制御部３０１は、動画を再生する際に動画の全撮影範囲の中から一部の領域の映像を切り出し、切り出した領域の映像を表示部３０６に表示する。制御部３０１は、動画再生中に動画における撮影方向の変化を検出し、表示部３０６に表示された領域での再生を続ける操作があったか否かを判定し、その操作があったと判定された場合には検出した撮影方向の変化に基づいて映像を切り出す方向を調整する。【選択図】図４

Description

本発明は、動画再生装置とその制御方法、プログラム及び記憶媒体に関する。

複数台のカメラで３６０度の全方位を撮影し、カメラごとに撮影されて記憶された映像を表示する表示装置が知られている（特許文献１参照）。この表示装置は、ディスプレイの向きを変えることができ、ディスプレイの向きが変更されたときにディスプレイに表示される映像を変更後のディスプレイの向きに対応するカメラで撮影された映像に切り替えることができるように構成されている。

特開２００４−３２５９４３号公報

しかしながら、上記特許文献１に記載された表示装置では、動画撮影時にカメラ自体が動くことで撮影方向が変わった場合の映像表示について考慮されていない。そのため、視聴中の映像を撮影しているカメラ自体の撮影方向が変わった場合に同じ方向の映像を視聴し続けるためには、ディスプレイの向きを調整する必要があり、手間が掛かる。また、視聴方向を変更する操作と映像そのものの動きとが重なったときには、視聴方向を変更する指示が行いにくいという問題がある。

本発明は、動画の視聴時にその動画を撮影した撮像装置の撮影方向が変化したことにより視聴中の動画に動きが生じても、一定の方向の映像を簡単に視聴し続けることができる技術を提供することを目的とする。また、本発明は、撮影方向を変えながら撮影された動画であっても、視聴方向を簡単な操作で変更することができる技術を提供することを目的とする。

本発明に係る動画再生装置は、動画を再生する際に前記動画の全撮影範囲の中から一部の領域の映像を切り出し、切り出した領域の映像を表示装置に表示する動画再生装置であって、前記動画を撮影した動画撮影装置の前記動画の撮影時における撮影方向を示す情報を前記動画の再生時に取得する取得手段と、前記動画の撮影時に前記動画撮影装置の撮影方向が変化した場合に、前記動画撮影装置の正面方向の映像を切り出し続けて前記表示装置に表示するモードと、前記動画の全撮影範囲のうち所定の方向の映像を切り出し続けて前記表示装置に表示するモードとを切り替える切り替え手段と、前記全撮影範囲から映像を切り出す方向を前記切り替え手段により設定されたモードに合わせて調整する調整手段と、を備えることを特徴とする。

本発明によれば、動画の視聴時に動画に動きが生じても一定の方向の映像を簡単に視聴し続けることができ、また、撮影方向を変えながら撮影された動画であっても、視聴方向を簡単な操作で変更することができる。

動画を撮影する動画撮影装置の概略構成を示すブロック図である。 動画撮影装置の外観を示す正面図及び背面図である。 本発明の実施形態に係る動画再生装置の概略構成を示すブロック図である。 動画再生装置での第１の再生モードによる表示画面の例を示す図である。 動画再生装置による全天動画の第１の再生モードのフローチャートである。 ステップＳ５０３の処理のフローチャートである。 動画再生装置での第２の再生モードによる表示画面の例を示す図である。 動画再生装置による全天動画の第２の再生モードのフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。最初に、本発明に係る動画再生装置で再生可能な動画を撮影する動画撮影装置について説明する。図１は、動画撮影装置１００の概略構成を示すブロック図である。動画撮影装置１００は、制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、操作部１０５、撮像部１０６、方位センサ１０７及びシステムバス１０８を備える。

制御部１０１は、動画撮影装置１００の全体制御を行うＣＰＵを有する。ＲＯＭ１０２は、制御部１０１が実行する、変更を必要としないプログラムやパラメータを格納する記憶手段である。ＲＡＭ１０３は、外部記憶装置１０４や不図示の外部装置等から供給されるプログラムやデータを一時記憶し、また、制御部１０１のワークエリアとして用いられる記憶手段である。外部記憶装置１０４は、撮像部１０６により撮影された動画データ等を記憶する記憶媒体であり、動画撮影装置１００に固定設置され又は着脱自在なハードディスク、フラッシュメモリ、ＤＶＤ−ＲＡＭ等の光ディスク、メモリカード等である。
操作部１０５は、動画の撮影指示等の使用者（ユーザ）の操作を受け付けるボタンやスイッチ等の操作手段である。

撮像部１０６は、動画を撮影するための撮像部であり、レンズ群と、レンズ群を通過した光の像をアナログ電気信号へ変換する撮像素子、撮像素子から出力されるアナログ電気信号をデジタル信号からなる画像データに変換するＡ／Ｄ変換器等を含む。また、撮像部１０６は、図２を参照して後述するように、画角が１８０度以上で撮影することができる広角レンズを２つ組み合わせることによって全方位を撮影することができる構成を有する。方位センサ１０７は、動画撮影装置１００の正面（第１レンズ２０１）がどの方向を向いているかを検出する方位検出手段である。システムバス１０８は、動画撮影装置１００を構成する各部を通信可能に接続する伝送路である。

図２（ａ），（ｂ）はそれぞれ、動画撮影装置１００の外観を示す側面図及び背面図である。動画撮影装置１００の正面には、正面側の被写体からの光が入射する第１レンズ２０１が配置されており、動画撮影装置１００の背面には、背面側の被写体からの光が入射する第２レンズ２０２が配置されている。このように、動画撮影装置１００は、所謂、全天カメラとして構成されている。

動画撮影装置１００の背面には電源ボタン２０３が設けられており、電源ボタン２０３が押下されると、動画撮影装置１００が起動して動画撮影が開始される。動画撮影中に電源ボタン２０３が押下されると、動画撮影は終了する。制御部１０１は、第１レンズ２０１と第２レンズ２０２を通して撮影された映像を、正距円筒図法で２次元の１つのフレーム（全天フレーム）として連続的に記憶することで、全天動画の動画ファイルを作成する。全天動画の動画ファイルを作成する方法には、周知の技術を用いることができ、また、本発明の特徴ではないため、詳細な説明を省略する。なお、撮影した映像を正距円筒図法で２次元の１つのフレームとせずに、第１レンズ２０１と第２レンズ２０２ごとに映像とフレームとを関連付けて保存し、映像の再生時に全天動画として再現することができるようにしてもよい。

図３は、本発明の実施形態に係る動画再生装置３００の概略構成を示すブロック図である。動画再生装置３００は、制御部３０１、ＲＯＭ３０２、ＲＡＭ３０３、外部記憶装置３０４、操作部３０５、表示部３０６及びシステムバス３０７を備える。動画再生装置３００は、具体的には、パーソナルコンピュータであるが、これに限定されるものではなく、例えば、動画再生を行う専用装置であってもよい。

制御部３０１は、動画再生装置３００の全体制御を行うＣＰＵを有する。制御部３０１は、動画再生装置３００を構成する各部の処理の全部又は一部を論理回路により実現するＡＳＩＣ等の専用プロセッサであってもよい。ＲＯＭ３０２は、制御部３０１が実行する、変更を必要としないプログラムやパラメータを格納する記憶手段である。ＲＯＭ３０２には、動画再生プログラムや検索表示プログラム等の各種のプログラムが制御部３０１に読み取り可能なプログラムコードとして格納されている。制御部３０１は、これらのプログラムコードをＲＯＭ３０２から読み出してＲＡＭ３０３に展開する。制御部３０１が動画再生プログラムを実行することにより、動画再生が開始される。また、制御部３０１が検索表示プログラムを実行することにより、全天動画の再生の際に、撮影時の動画撮影装置１００の姿勢と向きを取得する機能と、撮影時の撮影方向で再生する機能と、再生される映像の方向を調整する機能の実現が可能となる。

ＲＡＭ３０３は、外部記憶装置３０４や不図示の外部装置等から供給されるプログラムやデータを一時記憶し、また、制御部３０１のワークエリアとして用いられる記憶手段である。外部記憶装置３０４は、動画撮影装置１００から供給された動画データ等を記憶する記憶媒体であり、動画再生装置３００に固定設置され又は着脱自在なハードディスク、フラッシュメモリ、ＤＶＤ−ＲＡＭ等の光ディスク、メモリカード等である。操作部３０５は、動画を再生するためのソフトウェアを起動させる指示や動画再生中に各種の指示を制御部３０１に与えるキーボードやマウス、タッチパネル等の操作手段である。表示部３０６は、動画再生装置３００の保持するデータや供給されたデータを表示するための表示手段であり、タッチパネルを備えていてもよい。システムバス３０７は、動画撮影装置１００を構成する各部を通信可能に接続する伝送路である。なお、表示部３０６は、必ずしも動画再生装置３００と一体である必要はなく、別体であっても構わない。つまり、動画データの再生を司る制御装置と、動画を再生表示する表示装置とによって、動画再生装置（システム）が構成されていてもよい。

＜第１実施形態＞
以下、動画再生装置３００による全天動画の第１の再生モードについて説明する。まず、全天動画の第１の再生モードによる再生時に表示部３０６に表示される画面について説明する。図４は、第１の再生モードの実行により表示部３０６に表示される画面を説明する図である。

図４（ａ）は、動画撮影装置１００で撮影された全天動画の再生開始時に表示部３０６に表示される画面である。表示部３０６には、全天動画の一部の領域を表示する再生画面４０１が表示されている。動画再生装置３００で全天動画の再生が開始されると、動画撮影装置１００の第１レンズ２０１を通して撮影された真正面の画角４５度の領域（画角４５度の正面映像）が表示部３０６に表示され、その後、同領域の映像の自動再生が始まる。なお、再生画面４０１に表示される画角は４５度に限定されるものではなく、より狭い角度或いはより広い角度であってもよい。また、再生開始時に再生画面４０１に表示される映像の全天動画における方向を使用者が選択するための選択画面（ＵＩ）が表示され、選択画面で選択された方向の映像が表示されるようになっていてもよい。再生画面４０１に表示されている映像は、撮影開始時の映像であるため、動画撮影装置１００にパン操作（第１レンズ２０１と第２レンズ２０２のそれぞれの光軸と直交する軸まわりの回転）が行われる前の映像である。

表示部３０６の画面には、全天動画の再生を開始する再生ボタン４０２と、全天動画の再生を停止する停止ボタン４０３と、全天動画の再生ポジションを表示するスライダバー４０４と、全天動画再生を終了する閉じるボタン４０６が表示される。また、スライダバー４０４上には、再生ポジションを示すスライダ４０５が表示される。

図４（ｂ）は、図４（ａ）の再生画面４０１が全天動画のどの方向のどの位置の映像であるのかを説明するための図である。図４（ｂ）に示す全天動画の全方位映像は、表示部３０６の画面に表示されるものではなく、後述する図４（ｄ），図４（ｆ）についても同様である。図４（ｂ）は、全天動画の全方位映像である全天フレーム４０７に対して設定されたトリミング枠４０８から切り出した（トリミングした）映像が再生画面４０１に表示されていることを示している。トリミング枠４０８は、全天動画の真正面の画角４５度の領域に設定されている。

図４（ｃ）は、全天動画の再生中における表示部３０６の１画面である。表示部３０６には、全天動画の一部の領域を表示する再生画面４１１が表示されている。図４（ｄ）は、図４（ｃ）の再生画面４１１が全天動画のどの方向のどの位置の映像であるのかを説明するための図である。図４（ｃ），（ｄ）から、トリミング枠４１８の映像が再生画面４１１に表示されていることがわかる。図４（ｂ），（ｄ）を比較すると明らかなように、トリミング枠４１８は、トリミング枠４０８と同じ真正面の画角４５度の領域に位置している。よって、再生画面４１１には、再生画面４０１と同様に画角４５度の正面映像が表示されている。しかし、再生画面４１１に現れている被写体は、再生画面４０１に現れている被写体とは異なっており、このことから、動画撮影装置１００に対するパン操作により動画撮影装置１００の正面の向きが変わったことがわかる。

図４（ｅ）は、全天動画の再生中における表示部３０６の別の１画面である。表示部３０６には、全天動画の一部の領域を表示する再生画面４２１が表示されている。図４（ｆ）は、図４（ｅ）の再生画面４２１が全天動画のどの方向のどの位置の映像であるのかを説明するための図である。図４（ｅ），（ｆ）から、トリミング枠４２８の映像が再生画面４２１に表示されていることを示している。再生画面４２１内には操作部３０５の１つであるマウスカーソル４２２が表示されており、操作者はマウスカーソル４２２を操作することにより、全天動画の全方位映像から映像を切り出すトリミング枠の位置を変えることができるようになっている。マウスカーソル４２２の操作は、操作者が操作部３０５の１つであるマウスを操作することで行うことができる。制御部１０１はマウスカーソル４２２の操作の有無を検知し、また全天動画から切り出すべき領域の指定及び変更の操作を検知する操作検知手段として機能し、受け付けた操作に基づき、切り出して表示する領域を変更する。図４（ｆ）から、再生画面４２１に表示するために映像を切り出すトリミング枠４２８の位置は、全天動画全体の正面ではなく、右側へ変更されていることがわかる。

ここで、図４（ｃ），（ｅ）では、スライダ４０５の位置は同じとなっている。図４（ｃ）の再生画面４１１は、図４（ａ）の再生画面４０１からマウスカーソル４２２が操作されることなく再生が進んだ状態を示している。一方、図４（ｅ）の再生画面４２１は、再生画面４０１が表示された後にマウスカーソル４２２により、表示される領域を変えないようにドラッグ操作が行われたことで、動画撮影装置１００の真正面からずれた位置の映像が表示された状態を示している。その結果、再生画面４０１，４２１では、ほぼ同じ映像となっている。

本実施形態では、再生画面に表示されたマウスカーソルをドラッグ操作することにより、全天動画の全方位映像から切り出して表示したい領域の位置を変更することができる。動画再生装置３００では、全天動画の再生開始時には動画撮影装置１００の正面側の映像が表示部３０６に表示されるが、マウスカーソル４２２によりトリミング枠の位置が調整された後には、調整後のトリミング枠で映像が切り出されて表示部３０６に表示される。その際、制御部３０１は、再生画面がドラッグ操作されている間は、動画撮影装置１００のパン操作等によって動画撮影装置１００の正面の向きが変わることによる映像の動きの影響を受けることなく、一定の方向の映像が表示され続けるように制御する。ここでのドラッグ操作とは、マウスを大きくは動かさずに、ドラッグ状態を保持する操作を指すものとする。次に、この制御の詳細について説明する。

図５は、動画再生装置３００による全天動画の第１の再生モードでの処理を説明するフローチャートである。図５のフローチャートに示す各処理は、制御部３０１がＲＯＭ３０２から読み出した動画再生プログラムや検索表示プログラム等のプログラムをＲＡＭ３０３に展開して、動画再生装置３００を構成する各部の動作を制御することによって実現される。操作者が操作部３０５を操作して外部記憶装置３０４等に格納された全天動画を開くことによって全天動画を第１の再生モードで再生するためのソフトウェアが起動し、処理が開始される。

ステップＳ５０１において制御部３０１は、全天動画の動画ファイルから全天フレームの読み出しを行う。ステップＳ５０２において制御部３０１は、読み出した全天フレームから正面映像（真正面の画角４５度の領域）を切り出して表示部３０６に表示する。これにより、図４の場合、全天フレーム４０７からトリミング枠４０８の領域が切り出されて再生画面４０１が表示される。ステップＳ５０３において制御部３０１は、全天動画の全撮影範囲の中から表示部３０６に再生画面として表示する映像を切り出すためのトリミング枠の方向と位置（以下「トリミング位置」という）を調整する。なお、ステップＳ５０３のトリミング位置の調整処理の詳細については、図６を参照して後述する。ステップＳ５０４において制御部３０１は、ステップＳ５０３で決定されたトリミング位置で映像を切り出し、切り出した映像を表示部３０６に表示する。ステップＳ５０５において制御部３０１は、最後まで全天動画を再生したか否かを判定する。制御部３０１は、全天動画を最後まで再生した場合（Ｓ５０５でＹＥＳ）、本処理を終了させ、最後まで再生していない場合（Ｓ５０５でＮＯ）、処理をステップＳ５０３へ戻す。

図６は、ステップＳ５０３の処理のフローチャートである。ステップＳ６０１において制御部３０１は、全天動画ファイルから次に表示する全天フレームを読み出す。ステップＳ６０２において制御部３０１は、ステップＳ６０１で読み出した全天フレームと表示部３０６に表示している映像（全天フレーム）との間にある動きを分析する。続くステップＳ６０３において制御部３０１は、全天動画に対するトリミング位置を調整する指示が行われたか否かを判定する。トリミング位置の調整指示が行われたか否かの判定は、操作者が操作部３０５のマウスを操作してマウスカーソルを動かすことで映像をドラッグする操作を行ったか否かを検出することにより行われる。ここでのドラッグ操作とは、マウスを大きくは動かさずに、ドラッグ状態を保持する操作を指す。制御部３０１は、トリミング位置の調整が指示されている場合（Ｓ６０３でＹＥＳ）、処理をステップＳ６０４へ進め、トリミング位置の調整が指示されていない場合（Ｓ６０３でＮＯ）、処理をステップＳ６０６へ進める。

ステップＳ６０４において制御部３０１は、ステップＳ６０２での分析結果に基づいて全天動画にパンする動きがあるか否かを判定する。ステップＳ６０４の判定は、例えば、２枚のフレームから複数の被写体について１又は複数の動きベクトルを抽出し、抽出した動きベクトルの殆どが同じ方向に動いている場合に、全天動画にパンする動きがあると判定する。動きベクトルの抽出や抽出した動きベクトルの分析方法には周知の技術を用いることができ、また、動画再生装置３００の特徴ではないため、詳細な説明は省略する。制御部３０１は、全天動画にパンする動きがある場合（Ｓ６０４でＹＥＳ）、処理をステップＳ６０５へ進め、全天動画にパンする動きがない場合（Ｓ６０４でＮＯ）、処理をステップＳ６０７へ進める。

ステップＳ６０５において制御部３０１は、表示部３０６に表示される映像でのパンする動きをキャンセルする方向にトリミング位置を決定する。つまり、操作者のマウス操作によるトリミング位置の変更を妨げないように、全天動画がパンする動きをキャンセルする処理を行う。このキャンセル処理により、全天動画の撮影時に動画撮影装置１００がパン操作されて正面方向が図４（ｂ）から図４（ｆ）へ遷移しても、図４（ａ）から図４（ｅ）へと、表示部３０６に表示される映像が変化しないようすることができる。マウス操作でマウスカーソルが色々な方向に動かされた場合には、全天動画にパンの動きがある場合であっても、マウスカーソルの動きに追従して全天動画はトリミング枠で切り出されて表示部３０６に表示される。

ステップＳ６０３においてトリミング位置の調整指示がない場合に行われるステップＳ６０６において制御部３０１は、動画撮影装置１００の正面方向（第１レンズ２０１による撮影方向（第１レンズ２０１の光軸方向））に合わせてトリミング位置を更新する。なお、図６のステップＳ６０６の欄には、動画撮影装置１００を「カメラ」と記している。ステップＳ６０７において制御部３０１は、設定されたトリミング位置で映像を切り出す。即ち、トリミング位置の調整指示がある場合において、全天動画にパンする動きがない場合にはステップＳ６０３での調整指示に従って、全天動画にパンする動きがある場合にはステップＳ６０５での決定に従って、トリミング位置が変更されて映像を切り出される。また、トリミング位置の調整指示がない場合には、ステップＳ６０３でのトリミング位置の更新に従ってトリミング位置が変更されて映像を切り出される。これにより本処理は終了となり、ステップＳ６０７で切り出された領域がステップＳ５０４において表示部３０６の再生画面に表示される。

以上の処理によれば、全天動画におけるトリミング位置を調整する指示の最中に、映像がパンする動きによって表示部３０６に表示されている映像が変化してしまうのを抑制することができるため、トリミング位置の変更操作が行いやすくなる。ここでは、画角が１８０度以上で撮影可能な２つの広角レンズにより全方位を撮影する動画撮影装置１００で撮影された全天動画を第１の再生モードで再生する処理について説明したが、第１の再生モードでの再生が可能な動画はこれに限定されるものではない。例えば、画角の広い動画や解像度の高い動画の全範囲から切り出した一部の領域を表示部３０６に表示する場合も、動画に収められている画角の範囲内で第１の再生モードでの再生が可能である。また、再生対象が全天動画である場合には、撮影時のレンズ数に制限はなく、全方位の映像であれば、上述の第１の再生モードを適用することができる。更に、ステップＳ６０２では、映像にパンする動きがあるかどうかを全天フレーム間の動きベクトルを分析することで検出したが、これに限らず、動画撮影装置１００が動くことで発生する映像のボケを分析する方法を用いてもよい。

＜第２実施形態＞
動画再生装置３００による全天動画の第２の再生モードについて説明する。第１実施形態と同様に、本実施形態でも、動画撮影装置１００により撮影された全天動画を動画再生装置３００で再生する場合について説明する。動画撮影装置１００及び動画再生装置３００の構成については既に説明済みであるため、ここでの説明を省略する。

動画撮影装置１００に備えられた方位センサ１０７は、動画撮影装置１００の正面方向（第１レンズ２０１の光軸方向）を検出しており、検出された正面方向は全天動画を構成する各全天フレームと関連付けられて全天動画の動画ファイルに記憶されている。そこで、第２の再生モードでは、全天動画の動画ファイルに記憶されている動画撮影装置１００の正面方向を示す情報を用いて、表示部３０６に再生表示するために全天動画から映像を切り出す方向（以下「トリミング方向」という）を制御する。

まず、第２の再生モードによる全天動画の再生時に表示部３０６に表示される画面について説明する。図７は、第２の再生モードの実行により表示部３０６に表示される画面の例を説明する図である。図７（ａ），（ｃ）は実際に表示部３０６に表示される画面であるが、図７（ｂ），（ｄ）はそれぞれ、図７（ａ），（ｃ）の説明を補助する図である。

図７（ａ）は、動画撮影装置１００で撮影された全天動画の再生開始時に表示部３０６に表示される画面である。表示部３０６には、全天動画の一部分を表示する再生画面７０１が表示されている。動画再生装置３００で全天動画の再生が開始されると、第１の再生モードと同様に再生画面７０１に画角４５度の正面映像が表示され、その後、同領域の映像の自動再生が始まる。なお、再生画面７０１に表示される画角は４５度に限定されるものではなく、より狭い角度或いはより広い角度であってもよい。

表示部３０６の画面には、再生ボタン７０２、停止ボタン７０３、スライダバー７０４、スライダ７０５及び閉じるボタン７０８が表示されている。これらはそれぞれ、図４を参照して説明した再生ボタン４０２、停止ボタン４０３、スライダバー４０４、スライダ４０５、閉じるボタン４０６のそれぞれに対応しており、ここでの説明を省略する。

本実施形態では、全天動画の再生中に画面に対するドラッグ操作を行わないため、マウスカーソル４２２に対応するアイテムは表示部３０６には表示されない。一方、表示部３０６には、方向ロック用（方向固定用）のチェックボックス７０６と、映像方向表示用の矢印７０７が表示されている。チェックボックス７０６は、表示部３０６に表示する映像の方向をロックするか否かを設定するためのアイテムである。矢印７０７は、方位センサ１０７が検出した動画撮影装置１００の正面方向を表示するアイテムであり、全天動画の再生開始時（全天動画の撮影開始時）の動画撮影装置１００の正面方向を上向き矢印で示すものとする。

図７（ｂ）は、図７（ａ）の再生画面７０１が全天動画のどの向きのどの位置の映像であるのかを説明するための図である。図７（ｂ）の全天動画の全方位映像は、表示部３０６の画面に表示されるものではなく、図７（ｄ）も同様である。図７（ｂ）は、全天動画の全方位映像である全天フレーム７０９の一部を切り出したトリミング枠７１０の位置にある映像が再生画面７０１に表示されていることを示している。第１の再生モードと同様に、トリミング枠７１０は、正面側の画角４５度の領域に位置している。図７（ｂ）から、動画撮影装置１００の正面（第１レンズ２０１の光軸）は北を向いていることがわかる。よって、トリミング枠７１０は北方向に設定されて、再生画面７０１には北向きの映像が表示されている。図７（ａ）に示される映像方向表示用の矢印７０７は、全天動画の再生開始時の動画撮影装置１００の正面方向を示すため、上向き矢印となっている。図７（ａ）ではチェックボックス７０６にチェックが入っているため、動画の再生が進んだときに映像にパンする動作があっても、常に北方向の映像が表示部３０６に表示される。これについて、図７（ｃ），（ｄ）を参照して説明する。

図７（ｃ）は、全天動画の再生中における表示部３０６の１画面である。表示部３０６には、全天動画の一部分を表示する再生画面７１１が表示されている。図７（ｄ）は、図７（ｃ）の再生画面７１１が全天動画のどの向きのどの位置の映像であるのかを説明するための図であり、トリミング枠７２０の映像が再生画面７１１に表示されていることを示している。図７（ｄ）に示されるように動画撮影装置１００の正面は北東の方向を向いていることから動画撮影装置１００がパン操作されたことがわかり、これに対応して、図７（ｃ）において矢印７０７は北東の向きに対応する方向を向いている。また、図７（ａ）においてチェックボックス７０６にチェックが入っているために、表示部３０６に表示される映像は北向きでロックされている。したがって、トリミング方向は北方向に設定されて、再生画面７１１には、図７（ａ）と同じく、北向きの映像が表示され続ける。このように、全天動画の第２の再生モードでは、表示部３０６に表示される映像が、全天動画の再生中に動画撮影装置１００の正面の向きが変わることによる映像の動きの影響を受けないようにする。

図８は、動画再生装置３００による全天動画の第２の再生モードでの処理を説明するフローチャートである。図８のフローチャートに示す各処理は、制御部３０１がＲＯＭ３０２から読み出した動画再生プログラムや検索表示プログラム等のプログラムをＲＡＭ３０３に展開して、動画再生装置３００を構成する各部の動作を制御することによって実現される。なお、図８の所定の処理にある「カメラ」とは、動画撮影装置１００を指すものとする。また、動画撮影装置１００による全天動画の撮影時に方位センサ１０７が検出した動画撮影装置１００の正面方向を示す情報は、全天動画の各全天フレームに記憶されているものとする。更に、第２の再生モードでは、パン方向（水平方向）についてのみ、映像の向きの変化を抑制することができるものとする。チルト方向（鉛直方向）の動きは、動画撮影装置１００の正面方向が極端に変化しない限りは、同じ方向を向いているものとする。

操作者が操作部３０５を操作して外部記憶装置３０４等に格納された全天動画を開くことによって全天動画を第２の再生モードで再生するためのソフトウェアが起動し、処理が開始される。なお、全天動画を開いた際に第１の再生モードと第２の再生モードのどちらの再生モードでの再生を開始するかの設定には、周知の技術を用いることができる。例えば、動画ファイルの再生処理に関連付けて予め設定する方法や、動画ファイルの再生開始時に再生モードを選択するための画面を表示し、使用者に選択させる等の方法を用いればよい。

ステップＳ８０１，Ｓ８０２の処理は、図５のフローチャートのステップＳ５０１，５０２の処理と同じであるため、ここでの説明を省略する。ステップＳ８０３において制御部３０１は、読み出した全天フレームから動画撮影装置１００の正面方向を取得し、表示部３０６に矢印７０７で表示する。ステップＳ８０２，Ｓ８０３の処理により、表示部３０６は図７（ａ）に示した状態となるが、チェックボックス７０６にはチェックが入っていない場合もあり得る。ステップＳ８０４において制御部３０１は、トリミング方向（表示部３０６に表示している映像を切り出している方向）を設定する。ステップＳ８０５において制御部３０１は、全天動画に対するトリミング方向の固定設定を取得する。つまり、チェックボックス７０６にチェックが入っているか否かを確認し、その結果をＲＡＭ３０３等に記憶する。

ステップＳ８０６において制御部３０１は、次の全天フレームにおける動画撮影装置１００の正面方向を取得する。ステップＳ８０７において制御部３０１は、表示部３０６に表示中の全天フレームと次に表示する全天フレームとの間で動画撮影装置１００の正面方向に変化があるか否かを判定する。制御部３０１は、動画撮影装置１００の正面方向に変化がある場合（Ｓ８０７でＹＥＳ）、処理をステップＳ８０８へ進め、動画撮影装置１００の正面方向に変化がない場合（Ｓ８０７でＮＯ）、処理をステップＳ８１３へ進める。ステップＳ８０８において制御部３０１は、動画撮影装置１００の正面方向の情報を更新すると共に矢印７０７の表示を更新する。なお、ステップＳ８０７の判定は、方位センサ１０７の情報は全天フレームごとに全ての全天フレームについて記憶されていることを前提としている。但し、これに限られず、方位センサ１０７の情報は、一定のフレーム間隔で記憶するか又は動画撮影装置１００に動きがあったときにだけ記憶するようにしてもよい。なお、各フレームに対応付けて正面方向の情報を記憶するのであれば、記憶位置としてはこれに限らない。例えば、上記のように各フレーム内に正面方向の情報を記憶するだけでなく、別のファイルや別の記憶領域に、各フレームに対応付けて正面方向の情報を記憶してもよい。この対応付けは、フレームの番号に基づいてもよいし、撮影開始からの経過時間や絶対時間情報に基づいてもよいし、他の指標を用いて対応付けてもよい。

ステップＳ８０９において制御部３０１は、ステップＳ８０５で取得したトリミング方向の固定設定が有効か否かを判定する。制御部３０１は、トリミング方向の固定設定が有効である場合（Ｓ８０９でＹＥＳ）、処理をステップＳ８１０へ進め、トリミング方向の固定設定が無効である場合（Ｓ８０９でＮＯ）、処理をステップＳ８１１へ進める。ステップＳ８１０において制御部３０１は、トリミング方向を固定する。例えば、図７（ａ），（ｂ）に示されるように、トリミング方向が北向きに固定されたとする。この場合、動画撮影装置１００の正面方向が図７（ｄ）の北東向きへ変化しても（全天動画にパンする動きが生じても）、後のステップＳ８１３では図７（ｃ）の再生画面７１１のように、北向きの映像が表示される。つまり、ステップＳ８１０の処理により、全天動画のパンする動きによらず、常に同じ方向の映像を切り出すようにトリミング位置が調整される。

ステップＳ８１１において制御部３０１は、ステップＳ８０８で更新した動画撮影装置１００の正面方向に基づき、表示中の映像の方向（表示中の映像が全天動画のどの方向から切り出されているか）を求める。ステップＳ８１２において制御部３０１は、ステップＳ８１１で算出した表示中の映像の方向を現在の映像のトリミング方向として更新する。ステップＳ８１２で更新されトリミング方向は、その直後のステップＳ８０５においてトリミング方向の固定設定が有効とされた場合のそれ以降のステップでのトリミング方向として固定される。ステップＳ８１３において制御部３０１は、トリミング位置の映像を表示部３０６に表示する。ステップＳ８１４において制御部３０１は、最後まで全天動画を再生したか否かを判定する。制御部３０１は、全天動画を最後まで再生した場合（Ｓ８１４でＹＥＳ）、本処理を終了させ、最後まで再生していない場合（Ｓ８１４でＮＯ）、処理をステップＳ８０５へ戻す。

以上の処理によって、全天動画の再生時に同じ方向の映像を視聴し続けたい場合に、全天動画の全方位から映像を切り出すトリミング方向を調整する手間を軽減することができる。本実施形態では、第２の再生モードではトリミング方向の調整を水平方向に限定して行うこととしたが、垂直方向についてのみ行うようにしてもよく、また、全方位について行うようにしてもよい。その場合、動画撮影装置１００に６軸センサを設けて動画撮影装置１００の姿勢変化に関する情報を取得し、取得した情報に基づいてトリミング方向が変化しないように制御すればよい。また、動画撮影装置１００の正面方向を、撮影開始時を上向きとして矢印７０７で表示するようにしたが、方位センサ１０７で検出した動画撮影装置１００の正面方向を絶対方位で表示部３０６に表示するようにしてもよい。例えば、矢印７０７の表示を、コンパスのように上が北、右が東、下が南、左が西を示すようにして、動画撮影装置１００のパン動作を表示するようにしてもよい。更に、全天動画から映像を切り出すトリミング方向を固定しているときに、動画撮影装置１００のパン動作に起因する動きによる映像のボケを軽減する処理を追加してもよい。また、第２の再生モードでは、方位センサ１０７により検出された情報に基づいて行ったが、全天動画の再生開始時における動画撮影装置１００の正面方向を基準とし、映像の動きを分析してトリミング方向が変化しないように制御する構成としてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。動画再生装置３００の上述した各種の機能は、動画再生装置３００を構成するハードウェアによる実現とソフトウェア（プログラム）による実現のいずれもが可能であり、また、ソフトウェアとハードウェアとの組み合せによって実現することも可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 制御部
３０４ 外部記憶装置
３０５ 操作部
３０６ 表示部
４０１，４１１，４２１，７０１，７１１ 再生画面
４０８，４１８，４２８，７１０，７２０ トリミング枠
４２２ マウスカーソル
７０６ チェックボックス
７０７ （映像方向表示用の）矢印

Claims (17)

1. 動画を再生する際に前記動画の全撮影範囲の中から一部の領域の映像を切り出し、切り出した領域の映像を表示装置に表示する動画再生装置であって、
   前記動画を撮影した動画撮影装置の前記動画の撮影時における撮影方向を示す情報を前記動画の再生時に取得する取得手段と、
   前記動画の撮影時に前記動画撮影装置の撮影方向が変化した場合に、前記動画撮影装置の正面方向の映像を切り出し続けて前記表示装置に表示するモードと、前記動画の全撮影範囲のうち所定の方向の映像を切り出し続けて前記表示装置に表示するモードとを切り替える切り替え手段と、
   前記全撮影範囲から映像を切り出す方向を前記切り替え手段により設定されたモードに合わせて調整する調整手段と、を備えることを特徴とする動画再生装置。
2. 前記取得手段は、前記動画の撮影時に前記動画を構成するフレームごとに記憶された情報であって前記動画を撮影した動画撮影装置の正面方向を示す情報を取得することを特徴とする請求項１に記載の動画再生装置。
3. 使用者による前記所定の方向の指定および変更の操作を検知する操作検知手段を更に有することを特徴とする請求項１又は２に記載の動画再生装置。
4. 動画を再生する際に前記動画の全撮影範囲の中から一部の領域の映像を切り出し、切り出した領域の映像を表示装置に表示する再生手段と、
   前記表示装置に表示された領域での再生を続ける操作を検知する操作検知手段と、
   前記再生手段による前記動画の再生時に、前記動画における撮影方向の変化を検出する検出手段と、
   前記操作検知手段が前記操作を検知した場合に、前記検出手段が検出した前記撮影方向の変化に基づいて前記映像を切り出す方向を調整する調整手段と、を備えることを特徴とする動画再生装置。
5. 前記操作検知手段は、前記動画の撮影方向に変化が生じたときの、前記表示装置に表示された領域を変更する操作手段が前記表示装置に表示される領域を変えないように操作されたことを検知することを特徴とする請求項４に記載の動画再生装置。
6. 前記検出手段は、前記動画の撮影時に前記動画を構成するフレームごとに記憶された情報であって前記動画を撮影した動画撮影装置の正面方向を示す情報、前記動画を構成するフレームの間の動きを分析した結果、前記動画に発生しているボケを分析した結果、のいずれかに基づいて前記動画における撮影方向の変化を検出することを特徴とする請求項４又は５に記載の動画再生装置。
7. 前記検出手段は、前記動画を構成するフレームごとに前記動画における撮影方向の変化を検出することを特徴とする請求項４乃至６のいずれか１項に記載の動画再生装置。
8. 動画を再生する際に前記動画の全撮影範囲の中から一部の領域の映像を切り出し、切り出した領域の映像を表示装置に表示する再生手段と、
   前記表示装置に表示するために前記全撮影範囲の中から切り出す領域の方向を所定の方向に固定する固定手段と、
   前記再生手段による前記動画の再生時に前記動画の正面方向を検出する検出手段と、
   前記固定手段により前記全撮影範囲の中から切り出す領域の方向が固定された場合に、前記検出手段が検出した前記動画の正面方向を基準として前記映像を切り出す方向を調整する調整手段と、を備えることを特徴とする動画再生装置。
9. 前記検出手段は、前記動画の撮影時に前記動画を構成するフレームごとに記憶された情報であって前記動画を撮影した動画撮影装置の正面方向を示す情報、前記動画を構成するフレームの間の動きを分析した結果、前記動画に発生しているボケを分析した結果、のいずれかに基づいて前記動画撮影装置の正面方向を検出することを特徴とする請求項８に記載の動画再生装置。
10. 前記検出手段は、前記動画を構成するフレームごとに前記動画の正面方向を検出することを特徴とする請求項８又は９に記載の動画再生装置。
11. 前記再生手段は、前記動画の正面方向または前記動画を撮影した動画撮影装置の動きを示すアイテムを前記表示装置に表示することを特徴とする請求項８乃至１０のいずれか１項に記載の動画再生装置。
12. 前記調整手段は、前記映像を切り出す方向を水平方向に限定することを特徴とする請求項４乃至１１のいずれか１項に記載の動画再生装置。
13. 動画再生装置の制御方法であって、
    動画の全撮影範囲の中から一部の領域の映像を切り出し、切り出した領域の映像を表示装置に表示する再生ステップと、
    前記動画を撮影した動画撮影装置の前記動画の撮影時における撮影方向を示す情報を取得する取得ステップと、
    前記動画の撮影時に前記動画撮影装置の撮影方向が変化した場合に、前記動画撮影装置の正面方向の映像を切り出し続けて前記表示装置に表示するモードと、前記動画の全撮影範囲のうち所定の方向の映像を切り出し続けて前記表示装置に表示するモードとを切り替える切り替えステップと、
    前記全撮影範囲から映像を切り出す方向を前記切り替えステップで設定されたモードに合わせて調整する調整ステップと、を有することを特徴とする動画再生装置の制御方法。
14. 動画再生装置の制御方法であって、
    動画の全撮影範囲の中から一部の領域の映像を切り出し、切り出した領域の映像を表示装置に表示する表示ステップと、
    前記動画における撮影方向の変化を検出する検出ステップと、
    前記表示装置に表示された領域での再生を続ける操作があったか否かを判定する判定ステップと、
    前記判定ステップで前記操作があったと判定された場合に、前記検出ステップで検出された前記撮影方向の変化に基づいて前記映像を切り出す方向を調整する調整ステップと、を有することを特徴とする動画再生装置の制御方法。
15. 動画再生装置の制御方法であって、
    動画の全撮影範囲の中から一部の領域の映像を切り出し、切り出した領域の映像を表示装置に表示する再生ステップと、
    前記再生ステップにおいて前記動画の正面方向を検出する検出ステップと、
    前記表示装置に表示するために前記全撮影範囲の中から切り出す領域の方向を所定の方向に固定する指示があるか否かを判定する判定ステップと、
    前記判定ステップで前記指示があると判定された場合に、前記検出ステップで検出された前記動画の正面方向を基準として前記映像を切り出す方向を調整する調整ステップと、を有することを特徴とする動画再生装置の制御方法。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載された動画再生装置の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１乃至１２のいずれか１項に記載された動画再生装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。