JP2013183218A - 動画再生装置および動画再生プログラム - Google Patents

Abstract

【課題】ユーザが地図上で選択した動画の主要部分を直ぐに見ることができるようにする。
【解決手段】表示地図範囲内にランドマークが存在する場合は、ランドマークの位置情報を取得する。表示地図範囲内のルート動画（位置情報付き）を解析し、ランドマークとしての対象物が映っている部分を抽出し、その部分をその動画の主要部分とする。主要部分からいずれかのフレームの画像をインデックス画像として抽出し、抽出されたインデックス画像を対応する動画ルート上の対応する位置に表示する。表示されたインデックス画像に対して再生操作を行うと、対応する動画の主要部分が再生される。
【選択図】図５

Description

本発明は、表示された地図で特定される地域に関連する動画を再生可能な動画再生装置および動画再生プログラムに関する。

ＧＰＳ受信機で取得した位置情報（緯度，経度情報）を動画に対応づけて記録可能な電子カメラが知られている。また、このような位置情報付き動画と地図とをリンクさせ、地図上の任意の位置に、その位置で撮像した動画が存在するか否かを明示するシステムも知られている。ある位置で撮影した動画が存在する場合は、地図上の該当する位置にその動画の１フレームをサムネイル表示し、サムネイル画像の選択操作がなされると、その動画を再生する。さらに、地図上の指定位置に複数の動画がある場合に、再生する動画の選択を容易に行えるようにしたものもある（例えば、特許文献１参照）。

特開２００９−１４７５４２号公報

しかしながら、一般に地図上で選択した動画を再生する際に、その動画の主要部分を頭出しする機能はないため、特に参考にならない（見たくない）シーンをも含めて動画を観賞しなければならず、時間の無駄である。

本発明に係る動画再生装置は、地図を表示するとともに、その地図が示す地域に関連する動画を再生可能な動画再生装置であって、動画に時系列で対応づけられている複数の撮影位置情報に基づき、当該動画を撮影したときのカメラの移動経路を地図に対応させて認識する経路認識手段と、動画に対してその主要部分を推定し、推定した主要部分に含まれるいずれかのフレームの画像をインデックス画像として抽出する抽出手段と、表示されている地図上に認識された移動経路を表示するとともに、当該移動経路に対応する動画から抽出されたインデックス画像を当該移動経路に対応づけて表示する表示制御手段と、表示されたインデックス画像に対する所定操作に応答して、当該インデックス画像に対応する動画の主要部分を再生する再生手段とを具備することを特徴とする。
本発明に係る動画再生プログラムは、地図を表示するとともに、その地図が示す地域に関連する動画を再生可能なコンピュータに用いられるもので、動画に時系列で対応づけられている複数の撮影位置情報に基づき、当該動画を撮影したときのカメラの移動経路を地図に対応させて認識する処理と、任意の動画に対してその主要部分を推定し、認識した主要部分に含まれるいずれかのフレームの画像をインデックス画像として抽出する処理と、表示されている地図上に認識された移動経路を表示するとともに、当該移動経路に対応する動画から抽出された前記インデックス画像を当該移動経路に対応づけて表示する処理と、表示されたインデックス画像に対する所定操作に応答して、当該インデックス画像に対応する動画の主要部分を再生する再生する処理とを実行させるためのものである。

本発明によれば、ユーザが地図上で選択した動画の主要部分を直ぐに見ることができる。

本発明の一実施形態における動画再生システムの構成図。 動画再生システム（動画共有サービス）のサーバで実行される処理の手順例を示すフローチャート。 インデックス処理の詳細を示すフローチャート。 インデックス作成Ａ処理の詳細を示すフローチャート。 インデックス作成Ｂ処理の詳細を示すフローチャート。 インデックス作成Ｃ処理の詳細を示すフローチャート。 インデックス作成Ｄ処理の詳細を示すフローチャート。 インデックス作成Ｅ処理の詳細を示すフローチャート。 インデックス作成Ｆ処理の詳細を示すフローチャート。 インデックス作成Ｇ処理の詳細を示すフローチャート。 地図表示の初期画面を示す図。 地図上における動画ルートおよびインデックス画像の表示例を示す図。 図１２と同様の図で、「ランドマーク」選択時の表示例を示す図。 「ランドマーク」選択時の他の表示例を示す図。 「ランドマーク」選択時の他の表示例を示す図。 「ランドマーク」選択時の他の表示例を示す図。 検索を行った場合の表示例を示す図。 検索を行った場合の他の表示例を示す図。

図１〜図１８により本発明の実施の形態を説明する。
以下に説明する動画再生装置（システム）は、表示された地図で特定される地域に関連する動画を再生可能とするもので、特にカメラを移動させながら撮影した動画（例えば、自動車、自転車、航空機などに搭載したカメラで撮影した動画や、歩きながら撮影した動画）を再生する際の便宜を図ったものである。

動画撮影が可能なカメラ（ビデオカメラや動画機能付きデジタルスチルカメラなど）のうち、ＧＰＳ受信機を備えたものでは、所定時間おきに動画ファイルにカメラの位置情報（撮影位置情報）を埋め込むことができる。本装置では、その位置情報を利用して地図上にカメラの移動経路を示す線を表示し、その移動経路に対応させて、動画のいずれかのフレームをインデックス画像としてサムネイル表示する。そして、ユーザがサムネイル画像に対して再生操作を行うことで、その動画を再生する。
以下の説明では、上記カメラの移動経路を示す線を「動画ルート」、動画ルートに対応する動画を「ルート動画」と呼ぶ。

装置（システム）の形態としては、ネットワーク上のサーバに上記の機能を組み込み、利用者が各端末からネットワークを介してサーバにアクセスし、動画を投稿したり、投稿された動画を地図上で再生できるようにするサービスが考えられる。インターネット回線を用いたものでもよいし、より小規模なネットワークでもよい。サーバとの接続は、Ｗｅｂブラウザを用いてもよいし、専用のアプリケーションソフトウェアを用いてもよい。あるいはネットワークを利用せず、個々のコンピュータにおいて利用するためのアプリケーションソフトウェアとして上記の機能が提供されるようにしてもよい。

以下、不特定多数の利用者を対象とした動画共有サービスを例に挙げて詳細に説明する。
図１は本システムの概略構成図である。各サービス利用者（以下、ユーザ）は、パーソナルコンピュータ（以下、ユーザＰＣ）１０や、携帯電話機からインターネット回線２０を経由してサービス提供者のサーバ３０にアクセスする。

サーバ３０は、通信を行うための通信部３１と、地図表示を行うための地図データベースＤＢ１や動画データベースＤＢ２、各種プログラムなどが格納される記憶部３２と、プログラムを実行するためのＣＰＵ３３とを有している。動画データベースＤＢ２には、ユーザからアップロードにより投稿された動画が登録される。ＣＰＵ３３は、ユーザから動画が投稿されると、後述する検索処理を実現するために、その動画ファイルに埋め込まれた種々の動画情報（撮影情報等）を読み出し、それらの動画情報や、動画情報を解析して得られる情報を動画ファイルに対応づけて動画データベースＤＢ２に格納する。

ユーザＰＣ１０は、ＰＣ本体１１と、マウスやキーボード等の操作部１２と、表示装置としてのディスプレイ１３とを有する。

図２〜図１０はサーバ３０のＣＰＵ３３によって実行されるプログラムの処理手順を示している。
このプログラムは、予めサーバ３０の記憶部３２に組み込まれたもので、動画の観賞を目的としたユーザを対象としたものである。ユーザがＰＣ１０からＷｅｂブラウザ等を用いてサーバ３０にアクセスし、所定の操作を行うと、サーバ３０のＣＰＵ３３によってこのプログラムが実行される。なお、記憶部３２の動画データベースＤＢ２には、投稿者としてのユーザによってアップロードされた複数の動画が既に格納されているものとする。

図２のステップＳ１では地図データベースＤＢ１から地図情報を取得し、ステップＳ２では、取得した地図情報に基づいて、ユーザＰＣ１０のディスプレイ１３に地図画面（初期画面）を表示する。

図１１はディスプレイ１３に表示された地図画面の一例を示している。地図画面では、地図表示部４１が中央に配置されるとともに、その周辺にユーザ操作部として、インデックス選択部４２、検索部４３、動画再生操作部４４、表示条件入力部４５などが配置される。初期状態では、例えば日本全域を含む広域地図が地図表示部４１に表示される。地図表示部４１においては、ユーザがマウス操作等によって地図の縮尺を自由に変更でき、また地図上をマウスでドラッグするなどして表示範囲を自由に変更できる。
なお、初期画面で表示される地図範囲を各ユーザが設定できるようにしてもよい。

初期画面表示後、ＣＰＵ３３はステップＳ３〜Ｓ８のループでいずれかのユーザ操作を待ち、ステップＳ３で終了操作が確認されると、処理を終了させる。ステップＳ４で上記縮尺や表示範囲の変更操作（地図操作）が確認されると、それに応じてステップＳ９で縮尺や表示範囲を変更する（地図画面変更）。ステップＳ１０では、動画データベースＤＢ２を検索し、現在の表示地図範囲に対応するルート動画ファイルが存在する場合は、その動画に対する動画ルートを地図上に表示する。動画ルートは、動画ファイルから所定の時間周期で埋め込まれた撮影位置情報を読み出し、撮影開始から終了までの各位置情報に対応する地図上の点を線で結ぶことで作成され、表示される。
なお、動画ルートの表示は、表示された地図の縮尺率がある程度以上のときにのみ行うようにすることが望ましい。

図１２はある地域を地図表示部４１に表示した例を示している。地図上には、５つの動画に対応する動画ルートＲ１〜Ｒ５が表示されている。図では５本の動画ルートを線種を変えて示してあるが、実際には線の色を変えて表示することで区別し易くなる。また、複数の動画ルートが同一部分を通る場合は、ルート線が互いに重ならないようにずらして表示する。なお、車載カメラ等で撮影した動画の場合、動画ルートは図のように道路に沿った線となるが、空撮の場合はそうとは限らない。
なお１箇所に留まって撮影した動画や、移動範囲の短い動画については、動画ルートは点あるは短い線で表示されるため、後述するインデックス表示を行うと動画ルートが視認されないことがあり得る。

次に、インデックス処理について説明する。
ここでいうインデックスとは、ルート動画から抽出されたいずれかのフレームの画像（インデックス画像）を指す。インデックス画像を動画ルートに対応させてサムネイル表示することで、その動画ルートに対応する動画の内容をユーザに知らしめることができる。

図１２においては、動画ルートＲ１，Ｒ２に対する各２個のインデックス画像ＳＮ１，ＳＮ２：ＳＮ３，ＳＮ４が各ルートに重ねて表示されている。

後述するように、ＣＰＵ３３は、まず各動画の主要部分（基本的にはユーザが見たいと思われる部分、あるいは撮影者が見せたいと思われる部分）を推定し、その主要部分に含まれるいずれかのフレーム画像をインデックス画像とする。主要部分の推定およびインデックス画像の抽出は、種々の観点から行うことができ、１本の動画ルートに対するインデックス画像が２以上の場合もあり、また１つも表示されない場合もある。

インデックス画像を如何なる観点から作成するかは、インデックス選択部４２においてユーザが選択可能である。インデックス選択部４２には、「撮影開始」、「ランドマーク」、「速度変化」、「映像変化」、「おすすめ」、「再生回数」、「ユーザ指定」の７個の項目がある。ユーザは、各項目のチェックボックスにチェックを入れることで、１または複数の項目を選択できる。

ＣＰＵ３３は、ステップＳ１０の動画ルート表示後、ステップＳ１１のインデックス処理に進む。インデックス処理の詳細を示す図３において、ステップＳ１０１では、インデックス項目としての「撮影開始」が選択されているか否かを判定し、肯定されるとステップＳ１０２でインデックス作成Ａ処理を行う。

インデックス作成Ａ処理の詳細を示す図４において、ＣＰＵ３３は、現在表示対象となっている全ルート動画に対し、以下の処理を行う。
ステップＳ２０１では、動画の撮影開始点が現在の表示地図範囲内にあるか否かを判定する。ステップＳ２０１が肯定されるとステップＳ２０２に進み、そのルート動画の撮影開始フレームの画像をインデックス画像とする。ステップＳ２０３では、インデックス画像を当該動画ルートの撮影開始点に対応する地図上の位置に表示する。これによりユーザは、各ルート動画の撮影開始点および撮影開始フレームの内容を容易に確認できる。もし、撮影開始点が現在の表示地図範囲外であれば、インデックスの作成および表示は行わない。

図３のステップＳ１０３では、「ランドマーク」が選択されているか否かを判定し、肯定されると、ステップＳ１０４でインデックス作成Ｂ処理を行う。

インデックス作成Ｂ処理の詳細を示す図５において、ＣＰＵ３３は、現在表示対象となっている全ルート動画に対し、以下の処理を行う。
ステップＳ３０１では、表示地図範囲内にランドマークが存在するか否かを判定し、肯定されるとステップＳ３０２でランドマークの位置情報を取得する。ランドマークに関する情報は、本システムがデータベースとして有していてもよいが、有していないない場合は、所定のＷｅｂサービスを介して入手するようにすればよい。例えば、全世界の地理データを収めたデータベースを有し、それらのデータをＷｅｂサービスを通じて提供するプロジェクトが実在し、かかるサービスを介してランドマークの位置情報（緯度、経度情報）などを取得することができる。

ここで、図１２の例では、インデックス選択部４２において「ランドマーク」が選択されている。表示地図範囲内には「塔」および「寺院」の２つのランドマークが存在し、これらのランドマークに対応するシンボルマークＭＫ１，ＭＫ２が、地図上のそれぞれの存在位置に表示されている。

図５のステップＳ３０３では、表示地図範囲内のルート動画を解析し、ランドマークとしての対象物が映っている部分を抽出し、その部分をその動画の主要部分とする。対象物が映っているか否かは、例えば次のようにして判別することができる。

ルート動画を撮影したカメラが電子コンパスを有していれば、撮影レンズが向いている方向をカメラが認識でき、その情報をカメラの位置情報とともに、所定の時間周期で動画ファイルに埋め込むことができる。また、撮影レンズの焦点距離の情報も同様に動画ファイルに埋め込むことができる。ＣＰＵ３３は、これらの情報を動画ファイルから読取り、レンズの向き情報と、カメラの位置情報と、対象物の位置情報とに基づき、各時点において撮影レンズが対象物を向いているか（対象物が映っているか）否かを判定する。また、カメラと対象物のそれぞれ位置情報から両者の距離が判明し、これに焦点距離情報を加味することで、対象物がどの程度の大きさで映っているか否かも推定できる。

ここで、レンズは対象物に向けられていても、カメラと対象物との間に遮蔽物が存在し、実際には対象物が映っていないということもあり得る。そこで、対象物の有無をより厳密に判定するならば、上記の方法で対象物が映っていると判定されたフレームに対し、更に画像解析を行い、パターンマッチングにより対象物が真に映っているか否かを判定し、映っていると判定されたフレームのみを抽出するようにしてもよい。パターンマッチングの元となるランドマークの画像は、サーバ３０が予め有していてもよいし、外部のＷｅｂサービス等から入手するようにしてもよい。また、撮影レンズの向きを示す情報を持たない動画については、最初からパターンマッチングのみによってランドマークが映っているか否かを判別するようにしてもよい。

ＣＰＵ３３は、ステップＳ３０４において、対象物が映っていると判定されたフレームが連続する部分をその動画の主要部分とする。次いでステップＳ３０５では、その主要部分からいずれかのフレームの画像をインデックス画像として抽出する（詳細は後述する）。ステップＳ３０６では、抽出されたインデックス画像を対応する動画ルート上の対応する位置に表示する。対応する位置とは、撮影時にそのインデックス画像が得られた地点に対応する地図上の位置であり、これは動画に埋め込まれた撮影位置情報から認識できる。
なお、ランドマークが映っていないルート動画に対しては、「ランドマーク」に対するインデックス画像の抽出および表示はなされない。

次に、インデックス画像の抽出および表示方法について説明する。
図１３は、動画ルートＲ１１，Ｒ１２の各主要部分Ｍ１１，Ｍ１２の先頭フレームの画像をインデックス画像ＳＮ１１，ＳＮ１２として抽出した例を示している。つまり、移動中にカメラがランドマークを捕らえ始めたときのフレームがインデックス画像ＳＮ１１，ＳＮ１２となり、地図上の主要部分Ｍ１１，Ｍ１２の先頭位置に表示される。

ここで、上述したように各動画ルートは色を変えて表示されるが、個々の動画ルートのうち、主要部分（ランドマークが映っている部分）に相当する箇所は線を強調表示することで、非主要部分（ランドマークが映っていない部分）と容易に区別できる。強調表示の手法としては、例えば主要部分と非主要部分とで線の色を変える、主要部分は太線で表示する、主要部分は線を点滅表示するなどの方法が考えられる。図１３では色の濃い部分が主要部分を表している。

また、地図上に多くの動画ルートが表示される場合は、インデックス表示も煩雑となるが、各インデックス画像を対応する動画ルート（主要部分）と同色の矩形枠で囲むことで、動画ルートとインデックス画像との対応関係が視覚的に容易に判別できる。これらの措置は、「ランドマーク」以外の他のインデックス項目に対しても同様に適用可能である。

さらに、画面の煩雑さを解消するために、表示される動画の数をユーザが制限できるようにしてもよい。本例では、表示条件入力部４５に表示条件および最大表示数を入力することで、入力値を超える数の動画（動画ルートとインデックス画像）が表示されないようになっている。表示条件としては、「撮影日時の新しい順」の他に、「撮影日時の古い順」、「再生回数の多い順」、「投稿日時の新しい順」、「投稿日時の古い順」などが選択肢として存在する。なお、表示数制限は、ルート動画と、後述する非ルート動画に対して個別に行えるようにしてもよい。

図１４に示す例では、インデックス画像ＳＮ２１が動画ルートＲ２１の主要部分Ｍ２１の中途に表示されている。この表示位置は、主要部分Ｍ２１のうち当該ランドマークに最も近い（撮影位置とランドマーク位置との距離が最も短い）位置であり、インデックス画像ＳＮ２１も当該位置にて取得されたフレームの画像となる。なお、インデックス画像とその表示位置は必ずしも一致させる必要はなく、例えば主要部分の先頭に相当する位置に、ランドマークの最も近い位置で得られたフレームの画像をインデックス画像として表示してもよい。

図１５は図１４と同様の動画ルートＲ２１に対し、主要部分に複数のインデックス画像を表示した例を示している。例えば、主要部分において所定時間または所定移動距離ごとのフレーム画像をインデックス画像として複数抽出し、それぞれの画像を対応する位置に表示することが考えられる。このように単一の動画ルートに複数のインデックス画像が存在する場合は、それらが同一の動画ルートに対応する画像であることが分かるように、複数のインデックス画像を重ねて表示することが望ましい。逆に同一の移動経路に対して複数の動画ルートが存在する場合、異なる動画ルートのインデックス画像は、互いに重ならないように表示することが望ましい。なお、インデックス画像を重ねて表示すると、下のインデックス画像は全体を視認できないため、例えば重なったインデックス画像にマウスポインタを合わせると、重なっていた複数の動画が重ならないように並んで表示されるようにしてもよい。

図１６も複数のインデックス画像を表示する例であるが、この例では、上述したレンズ方位情報に応じて地図平面におけるインデックス画像の向きを変えている。これによれば、インデックス画像を見て撮影者が何を撮影したかが分かる。

なお、基本的には主要部分のいずれのフレーム画像をインデックス画像としてもよい。例えば主要部分からランダムにインデックス画像を抽出するようにしてもよい。

詳細は後述するが、表示されたインデックス画像に対してユーザが再生操作を行うと、その動画の主要部分の再生がなされる。したがって、ランドマークの動画を見たいユーザは、インデックス選択部４２で「ランドマーク」を選択すれば、ランドマークが映っている動画を直ぐに見つけられるだけでなく、その動画のランドマークが映っている部分を直ぐに見ることができる。

次に、図３のステップＳ１０５で「速度変化」が選択されていると判定された場合、ＣＰＵ３３はステップＳ１０６でインデックス作成Ｃ処理を行う。インデックス作成Ｃ処理の詳細を示す図６において、ＣＰＵ３３は、現在表示対象となっている全ルート動画に対し、以下の処理を行う。

ステップＳ４０１では、ルート動画を撮影したときのカメラの移動速度を求める。例えば、カメラでルート動画を撮影する際に、周期的に位置情報と日時情報とがセットで動画ファイルに埋め込まれる設定にしておけば、それらの情報を読み出すことで、その動画におけるカメラの移動速度を求めることができる。ここでは、所定時間ごとに動画を幾つかのパートに分割し、パートごとに移動平均速度を求める。パートの時間をユーザが指定できるようにしてもよい。

ステップＳ４０２では、移動平均速度の変化を解析し、ルート動画の主要部分を推定する。例えば移動平均速度が所定値以上低下した箇所が確認されたら、撮影者が何らかの対象物に注目して移動速度を緩めたと推定できる。したがって、動画のうち移動平均速度が所定値以上低下してから再び所定値以上増加するまでの部分（撮影者が注目した対象物が映っていると推定される部分）を主要部分と判断する。あるいは、移動平均速度が所定値以上低下した箇所から最後までを主要部分と判断してもよい。ステップＳ４０３では、主要部分からインデックス画像を抽出し、ステップＳ４０４でその画像を対応する位置に表示する。例えば、移動平均速度が所定値以上低下した箇所のフレーム画像（主要部分の先頭のフレーム画像）をインデックス画像とすればよい。

図３のステップＳ１０７で「映像変化」が選択されていると判定された場合、ＣＰＵ３３はステップＳ１０８でインデックス作成Ｄ処理を行う。インデックス作成Ｄ処理の詳細を示す図７において、ＣＰＵ３３は、現在表示対象となっている全ルート動画に対し、以下の処理を行う。

ステップＳ５０１では動画のデータレートを解析し、ステップＳ５０２でその結果に基づいて主要部分を推定する。ここで、可変データレート（ビットレート）でエンコードされた動画の場合、動きの激しい部分はデータレートが高く、動きのない部分ではデータレートは低い。移動しながらの動画撮影の場合は、カメラを一定方向に向けたままのシーンでは、映像の変化が激しいためデータレートは高く、一方、何らかの対象物を追い続けたシーンではデータレートは低い。そこで、動画のデータレートを解析し、データレートが所定値以上低下した箇所から次にデータレートが所定値以上高くなった箇所を主要部分と判断する。あるいは、データレートが所定値以上低下した箇所から最後までの主要部分と判断してもよい。

ステップＳ５０３では、主要部分からインデックス画像を抽出し、ステップＳ５０４でその画像を対応する位置に表示する。例えば、主要部分の先頭のフレーム画像をインデックス画像とすればよい。

なお、データレートの大きな変化がない動画については、「映像変化」に関するインデックス画像の抽出および表示は行わない。

図３のステップＳ１０９で「おすすめ」が選択されていると判定された場合、ＣＰＵ３３はステップＳ１１０でインデックス作成Ｅ処理を行う。インデックス作成Ｅ処理の詳細を示す図８において、ＣＰＵ３３は、現在表示対象となっている全ルート動画に対し、以下の処理を行う。

ステップＳ６０１では、ルート動画に対する推奨部分の有無を判定する。推奨部分は、動画の投稿者（多くは撮影者）が設定するもので、例えば、特に見せたい部分を推奨部分として、その先頭箇所と終了箇所とを示す情報を動画ファイルに埋め込むことができる。ＣＰＵ３３は、これらの情報の有無を判定し、存在すればステップＳ６０２でその推奨部分を主要部分とし、存在しなければそのままリターンする。

ステップＳ６０３では、主要部分からインデックス画像を抽出し、ステップＳ６０４でその画像を対応する位置に表示する。例えば、主要部分の先頭のフレーム画像をインデックス画像とすればよい。

図３のステップＳ１１１で「再生回数」が選択されていると判定された場合、ＣＰＵ３３はステップＳ１１２でインデックス作成Ｆ処理を行う。インデックス作成Ｆ処理の詳細を示す図９において、ＣＰＵ３３は、現在表示対象となっている全ルート動画に対し、以下の処理を行う。

ステップＳ７０１では、個々の動画から再生回数の最も多い領域を抽出する。これを実現するためにＣＰＵ３３は、登録された各動画を所定時間ごとに幾つかの領域に分け、各領域の再生回数をカウントする処理を常時行う。その際、所定時間（例えば、１０秒）以上連続して再生された領域のみ再生回数をカウントアップするようにする。再生時間が所定時間に満たない場合は、その領域の映像はそのユーザにとって特に興味のあるものではないと判断し、カウントアップは行わない。ステップＳ７０１で抽出される領域は、個々の動画のうち最も再生回数の多い１領域であってもよいし、再生回数が所定回数以上の全領域であってもよい。

ステップＳ７０２では、ステップＳ７０１で抽出した領域を主要領域とする。ステップＳ７０３では、主要部分からインデックス画像を抽出し、ステップＳ７０４でその画像を対応する位置に表示する。例えば、主要部分の先頭のフレーム画像をインデックス画像とすればよい。

図３のステップＳ１１３で「ユーザ指定」が選択されていると判定された場合、ＣＰＵ３３はステップＳ１１４でインデックス作成Ｇ処理を行う。インデックス作成Ｇ処理の詳細を示す図１０において、ＣＰＵ３３は、現在表示対象となっている全ルート動画に対し、以下の処理を行う。

ステップＳ８０１では、ルート動画に対してユーザ（動画投稿者としてのユーザではなく、閲覧者としてのユーザ）による範囲指定があるか否かを判定する。範囲指定の詳細は後述するが、範囲指定がない場合はリターンし、範囲指定がある場合はステップＳ８０２で指定範囲を主要部分とする。ステップＳ８０３では、主要部分からインデックス画像を抽出し、ステップＳ８０４でその画像を対応する位置に表示する。例えば、主要部分の先頭のフレーム画像をインデックス画像とすればよい。あるいは、主要部分からユーザがインデックス画像を選べるようにしてもよい。
なお、ユーザに操作により、インデックス画像の表示／非表示を個別に切換えられるようにしてもよい。

以上のインデックス処理（図２のステップＳ１１）が終了すると、ＣＰＵ３３はステップＳ３に戻って次の操作を待つ。ステップＳ５でインデックス項目選択操作が確認されると、ステップＳ１２に進む。インデックス項目選択操作は、ユーザがインデックス選択部４２のチェックボックスにチェックを入れる、あるいはチェックを外す操作である。チェックが入れられた場合は、その項目に応じたインデックス作成処理（図３のＡ〜Ｆ処理のいずれか）を行い、チェックが外された場合は、その項目に応じたインデックス画像の表示を解除する。

ここで、動画閲覧者としてのユーザは、ルート動画を観賞して気に入った部分が見つかった場合、その部分の先頭フレームと最終フレームとを指定することで、範囲指定することができる。ＣＰＵ３３は、ステップＳ６でユーザによる範囲指定操作を確認すると、その範囲指定情報を各ユーザ固有の情報として動画に対応づけて記憶する。例えば、範囲指定操作がなされたユーザＰＣ１０の記憶部にその範囲指定情報を記憶することで、各ユーザとの対応がつく。記憶された範囲指定情報は、ユーザによって範囲指定解除操作がなされない限りは保持される。ＣＰＵ３３は、上述したステップＳ８０１の判定処理において、ユーザＰＣ１０の記憶部から範囲指定情報の読取り動作を行い、その結果に基づいて各動画に対する範囲指定の有無を判断する。ステップＳ１４では、範囲指定操作を表示に反映させるために、上述したインデックス作成Ｇ処理（図１０）を行う。

以上は位置情報が埋め込まれた動画について説明したが、本システムは、位置情報を持たない動画ファイル、例えばＧＰＳ受信機を持たないカメラで撮影された動画ファイルをも扱うことができる。ただし、位置情報がないと動画ルートを作成できないため、上述したルート動画とは別にインデックス画像を取得する必要がある。以下、位置情報のない動画を非ルート動画と呼ぶ。

非ルート動画を投稿するにあたり、投稿者は予め動画の主要部を指示するとともに、キーワードを入力する。これらの主要部とキーワードは、当該動画ファイルに対応づけられて動画データベースＤＢ２に記憶される。

ＣＰＵ３３は、地図表示がなされると、その表示地図範囲に含まれる地名や、ランドマーク名、駅名、その他のキーワードと一致するキーワードが対応づけられた非ルート動画を動画データベースＤＢ２から検索し、見つかった場合はその動画の主要部から抽出したフレームをインデックス画像として表示する。例えば、主要部分の先頭のフレーム画像をインデックス画像とすればよい。あるいは、投稿者がインデックス画像とすべきフレームを指定できるようにしてもよい。図１２の例では、上記のようにして検索された非ルート動画のインデックス画像ＳＮ５，ＳＮ６が、地図表示部４１の左下に表示されている。

次に、検索について説明する。
検索は、興味のあるランドマーク等の動画を手早く探したり、また表示対象となる動画が多すぎる場合に表示を絞り込む目的でなされる。検索操作は、検索操作部４３においてユーザがいずれかの検索条件（複数可）を指定し、最下部の検索ボタンをクリックすることでなされる。ＣＰＵ３３は、図２のステップＳ７で上記検索操作を確認すると、ステップＳ１５において、当該地図表示上で表示可能な動画（ルート動画、非ルート動画）のうち、指定された検索条件に適った動画を動画データベースＤＢ２から検索し、それらの動画を表示対象とする。ステップＳ１６では、検索結果、すなわち表示対象動画の動画ルートとインデックス画像を表示する。インデックス画像の取得方法は上述した通りである。

検索操作には次のようなものがある。
（１）キーワード入力：ユーザがランドマーク等の名称を上段のテキストボックスに入力する。この場合、ＣＰＵ３３は、そのキーワードに基づいて動画データベースＤＢ２から動画を抽出し、動画ルートとインデックス画像を表示する。キーワードがランドマーク名と一致した場合、ＣＰＵ３３はインデックス選択部４２の「ランドマーク」と「ユーザ指定」のチェックを自動的にオンに、その他のチェックをオフとし、インデックス作成Ｂ処理およびインデックス作成Ｇ処理を行う。このとき、非表示に設定されていたインデックス画像も表示されるようにすることが望ましい。
（２）日時指定：ユーザが指定範囲の最初の日時と最後の日時を入力する。この場合、ＣＰＵ３３は、上記指定範囲内の日付の動画を動画データベースＤＢ２から検索する。あるいは、年、月、季節（春夏秋冬）、祝日（春分の日、海の日など）、時刻等をそれぞれ指定して検索を行えるようにしてもよい。
（３）天気指定：ユーザが撮影時の気象条件（晴れ、雨など）を指定する。この場合、ＣＰＵ３３は、指定された気象条件の下で撮影された動画を検索する。動画撮影時の気象条件は、例えば動画ファイルから得た撮影日時および撮影位置に基づいて外部の気象データ提供サービスから情報を取得することができる。
（４）乗り物指定：撮影時に移動手段として使用した乗り物を選択して指定する。自動車、自転車、徒歩などが選択肢として存在する。移動手段については、撮影者が動画ファイルにその情報を埋め込むようにすることで取得できる。ＣＰＵ３３は、取得した乗り物情報に基づき、その乗り物を利用して撮影された動画の検索を行う。
（５）範囲の選択：ユーザが表示地図範囲上の位置または範囲を指定する。クリックによる１点指定と、ドラッグによる範囲指定を選択することができる。この場合、ＣＰＵ３３は、指定された位置または範囲の場所が移っている動画を検索する。
上記（１）〜（５）のうち２以上の項目を指定した場合は、それらのＡＮＤ検索となる。

図１７，図１８は検索を行った場合の結果表示例を示し、図１７はキーワードとしてランドマークである「塔」の名称を入力し、図１８は同様に「寺院」の名称を入力したものである。いずれにおいても撮影年月日が範囲指定されている。図１７では、検索によって当該「塔」が映っている主要部分を含む複数のルート動画が抽出されており、それらの動画ルートおよびインデックス画像が表示されている。上述したように、各動画ルートの主要部分は当該「塔」が連続して映っている部分であり、インデックス画像はその主要部分から抽出されたフレームの画像である。図１８についても同様である。

上記以外の検索条件として、撮影時の移動速度を指定できるようにしてもよい。例えば、＊＊Ｋｍ／ｈ〜＠＠Ｋｍ／ｈのように指定する。この速度は、平均速度であってもよいし、最高速度であってもよい。＊＊Ｋｍ／ｈ以上（以下）のような指定方法でもよい。ユーザが指定方法を選べるようにしてもよい。いずれのケースにおいても、ＣＰＵ３３は移動速度が指定速度範囲内の動画を表示対象動画として検索する。なお、移動速度については、図６のステップＳ４０１で説明した方法で取得できる。撮影地の高度を指定できるようにしてもよい。高度はＧＰＳ情報に含まれる。また、例えば「皆既日食」などのイベント名を入力すると、自動的に位置および日時が設定され、それらに基づいて検索が行われるようにしてもよい。

検索部操作部４３にある「領域を自動的に変更する」チェックボックスは、入力されたキーワードに応じて表示地図範囲を変更するか否かをユーザが指示するためのものである。チェックがオンのときには、入力されたキーワードに対応する対象物（ランドマークなど）が地図の中心に位置するように、かつ全ての表示対象動画の動画ルートやインデックス画像が表示されるように、地図のスクロールおよび縮尺率の変更をＣＰＵ３３が自動的に行う。チェックがオフの場合は自動変更はなされない。

次に、動画の再生について説明する。
ＣＰＵ３３は、図２のステップＳ８で動画の再生関連操作を確認すると、ステップＳ１７でその操作に応じた再生処理を行う。再生関連操作とは、動画再生操作部４４（図１２）の各ボタンの操作を指す。

例えば、ユーザが再生したい動画（ルート動画、非ルート動画）のインデックス画像をクリック等で選択し、再生ボタン４４ａをクリックすると、ＣＰＵ３３は、その動画のうち当該インデックス画像に対応する主要部分を、そのインデックス画像が表示されていた矩形枠内で再生する。インデックス画像を選択せずに再生ボタン４４ａを操作すると、インデックス表示がなされている動画が１ずつ順に再生されるようにしてもよい。再生順序は問わないが、インデックス画像の表示位置が地図の中心に近い動画から順に再生されるようにしてもよい。

再生ボタン４４ａを用いず、マウスで地図上の動画ルートをダブルクリックしたり、動画ルートに沿って線を描くようにドラッグすることで、その動画ルートに対応する動画の主要部が再生されるようにしてもよい。その際、撮影時の移動方向と逆方向にドラッグすると、動画が逆方向に再生されるようにしてもよい。

動画再生時には、撮影位置と地図上の該当する位置とが常に一致するように、ＣＰＵ３３はルート動画の矩形枠を当該動画ルート上で移動させる。この動作は、動画ファイルに所定周期で埋め込まれている位置情報と時刻情報、および地図の縮尺率等に基づいて矩形枠の位置を逐次演算することで行われる。これによりユーザは、現在の映像がどの位置で撮られているかを確認しながら動画を鑑賞できる。
なお、ルートのない動画の矩形枠は移動しない。

動画再生時に再生ボタン４４ａをクリックすると、動画は中断状態となり、矩形枠も停止する。また、全再生ボタン４４ｂを操作すると、表示されている全てのルート動画の主要部分が同時に再生される。その他のボタン操作により、動画の早送り／戻し、主要部分の頭出しなどが行える。

なお、インデックス画像にマウスカーソルを重ねると、対応する動画ルートがハイライト表示されるとともに、その動画に関する情報が表示されるようにしてもよい。表示される情報は、「再生時間」、「移動距離」、「平均移動速度」などが考えられる。

以上は動画の主要部を再生する場合について説明したが、非主要部をも含めて動画を再生できるようにしてもい。

１０ ユーザＰＣ
２０ インターネット回線
３０ サーバ
３１ 通信部
３２ 記憶部
３３ ＣＰＵ
４１ 地図表示部
４２ インデックス選択部
４３ 検索部
４４ 動画再生操作部
４５ 表示条件入力部
ＤＢ１ 地図データベース
ＤＢ２ 動画データベース
Ｍ１１，Ｍ１２，Ｍ２１ 動画の主要部分
ＭＫ１，ＭＫ２ ランドマークのシンボル
Ｒ１，Ｒ２・・・ 動画ルート
ＳＮ１，ＳＮ２・・・ インデックス画像（サムネイル画像）

Claims (8)

1. 地図を表示するとともに、その地図が示す地域に関連する動画を再生可能な動画再生装置であって、
   前記動画に時系列で対応づけられている複数の撮影位置情報に基づき、当該動画を撮影したときのカメラの移動経路を前記地図に対応させて認識する経路認識手段と、
   前記動画に対してその主要部分を推定し、推定した主要部分に含まれるいずれかのフレームの画像をインデックス画像として抽出する抽出手段と、
   表示されている地図上に前記認識された移動経路を表示するとともに、当該移動経路に対応する動画から抽出された前記インデックス画像を当該移動経路に対応づけて表示する表示制御手段と、
   前記表示されたインデックス画像に対する所定操作に応答して、当該インデックス画像に対応する動画の前記主要部分を再生する再生手段とを具備することを特徴とする動画再生装置。
2. 前記抽出手段は、前記動画のうち任意のランドマークが映っている範囲を当該動画の主要部分と認識することを特徴とする請求項１に記載の動画再生装置。
3. 前記抽出手段は、前記動画に対応づけられた撮影日時情報または前記撮影位置情報の変化に基づいて当該動画の前記主要部分を推定することを特徴とする請求項１に記載の動画再生装置。
4. 前記抽出手段は、前記動画の再生頻度が所定値以上の部分を当該動画の前記主要部分と推定することを特徴とする請求項１に記載の動画再生装置。
5. 前記抽出手段は、撮影者によって前記動画に予め対応づけられている範囲を主要部分と推定することを特徴とする請求項１に記載の動画再生装置。
6. 所定の選択操作に応じて、前記動画の主要部分の推定に用いるアルゴリズムを選択する選択手段を更に備え、前記抽出手段は、前記選択されているアルゴリズムに基づいて前記主要部分の推定およびインデックス画像の抽出を行い、前記表示制御手段は、前記選択されているアルゴリズムに基づいて推定された主要部分から抽出された前記インデックス画像を、当該主要部分に応じた地図上の位置に表示することを特徴とする請求項１に記載の動画再生装置。
7. 前記表示制御手段は、前記表示された地図上に複数の動画に対する前記移動経路が表示される場合は、各移動経路と各インデックス画像との対応が視覚的に認識できるように前記インデックス画像を表示することを特徴とする請求項１〜６のいずれか１項に記載の動画再生装置。
8. 地図を表示するとともに、その地図が示す地域に関連する動画を再生可能なコンピュータに、
   前記動画に時系列で対応づけられている複数の撮影位置情報に基づき、当該動画を撮影したときのカメラの移動経路を前記地図に対応させて認識する処理と、
   任意の動画に対してその主要部分を推定し、認識した主要部分に含まれるいずれかのフレームの画像をインデックス画像として抽出する処理と、
   表示されている地図上に前記認識された移動経路を表示するとともに、当該移動経路に対応する動画から抽出された前記インデックス画像を当該移動経路に対応づけて表示する処理と、
   前記表示されたインデックス画像に対する所定操作に応答して、当該インデックス画像に対応する動画の前記主要部分を再生する再生する処理とを実行させるための動画再生プログラム。

Images