JP2016032229A - 任意の領域を撮影している撮影側端末を特定する映像管理システム及び方法 - Google Patents

Abstract

【課題】任意の領域を撮影している撮影側端末を選択することができる映像管理システム等を提供する。また、閲覧側端末のユーザが所望する映像データのみを、撮影側端末から配信することによって、システム全体の処理量を低減させることができる。【解決手段】撮影側端末は、当該撮影側端末の「カメラ位置」と、地磁気センサによって計測された「カメラ方位」とを含むカメラ姿勢を、映像管理サーバへ送信するカメラ姿勢送信手段を有する。映像管理サーバは、撮影側端末から受信したカメラ姿勢について、当該カメラ位置から当該カメラ方位に向かって撮影対象地点を特定する撮影対象地点特定手段と、撮影対象地点と、当該撮影側端末の識別子とを対応付けて記憶する撮影対象地点記憶手段とを有し、当該撮影対象地点の所定周囲を撮影している撮影側端末を特定する。【選択図】図２

Description

本発明は、複数の端末によって撮影された映像の中で、ユーザ所望の映像を配信する映像管理システムの技術に関する。

近年、スマートフォンやタブレット等の携帯端末の普及に伴って、地理的に離れた携帯端末間で、無線ネットワークを介したオンラインビデオサービスが提供されている。特に、複数の端末によって多視点から撮影されている複数の映像の中から、ユーザが所望の映像を選択し、その映像をリアルタイムに視聴することができる映像配信サービスもある。

従来、ユーザが所望の「撮影対象物」を指定することによって、自動的に映像を選択してユーザに視聴させる技術がある（例えば特許文献１参照）。この技術によれば、撮影側端末のカメラが固定設置されており、そのカメラから映る撮影対象物に対応するメタデータを、その映像に付加して配信する。ユーザは、視聴を所望する撮影対象物のメタデータを選択することによって、その映像を視聴することができる。例えば野球中継の場合、ピッチャーマウンド周辺が映る映像には、メタデータ「マウンド」が付与され、一塁周辺が映る映像には、メタデータ「一塁」が付与される。

また、ユーザが所望の「撮影地点」を指定することによって、自動的に映像を選択してユーザに視聴させる技術もある（例えば特許文献２参照）。この技術によれば、例えば演劇場や映画館で、各ユーザが自席で鑑賞中に、他のユーザの別席からの映像を鑑賞することができる。具体的には、各ユーザが、ＨＭＤ(Head Mounted Display)を頭部に装着している。ＨＭＤは、人の視線と同じ向きに固定されたカメラを搭載しており、ユーザの注視対象を映像として記録する。また、ユーザは、会場の座席配置図が表示されたタッチパネルディスプレイを搭載した端末を操作することができる。ユーザは、所望の席の位置をタッチすることによって、当該席に座る他のユーザのＨＭＤのカメラによって撮影された映像を、自身のＨＭＤのスクリーン上に表示させて視聴することができる。

更に、ユーザが、複数の端末によって撮影された複数の映像を、ＨＭＤを装着した状態で簡易に切り替えることができる技術もある（例えば特許文献３参照）。具体的には、スポーツ現場で多視点から撮影した多数の映像を選択する場合を想定している。この技術によれば、ＨＭＤのスクリーン上に、各端末から受信した映像をサムネイル状に表示する。そして、磁気センサが取り付けられた人の手の動きをスクリーン上に重畳することによって、別途の機材を必要とすることなく、配信映像を簡易に切り替えることができる。

特開２００５―１５９５９２号公報 特開２００２−２７１８１５号公報 特開２０００―１５２０７５号公報

特許文献１に記載の技術によれば、撮影側端末を観客のユーザ自身が所持する場合、そのユーザが任意方向を撮影した映像については、メタデータを予め関連付けておくことが難しい。また、特許文献２に記載の技術によれば、野球やサッカーの観戦のように撮影対象が広大なフィールドの場合、座席配置図上の撮影地点の指定だけでは、その映像に映る撮影対象物を事前に特定することができない。更に、特許文献３に記載の技術によれば、多数の撮影側端末が存在するイベントについて、膨大なサムネイル映像の中から、ユーザ所望の映像を選択することは難しい。

多数のユーザ端末が存在するイベント会場で、映像管理サーバを介して撮影側端末と閲覧側端末との間で、常に映像データを送受信することを想定した場合、映像データの特性上、ネットワークの伝送帯域や映像管理サーバの演算処理能力の課題が生じる。また、撮影側端末が、携帯端末であるほど、映像データを常に送信することは、バッテリ消耗や筐体の発熱の観点から困難である。

これに対し、本願の発明者らは、映像管理サーバが、多数の撮影側端末について少なくともその撮影対象地点を特定することができれば、閲覧側端末のユーザがその映像を所望する場合にのみ、ネットワークに伝送すれば、システム全体の処理量を低減させることができるのではないか？と考えた。また、その前段階として、映像管理サーバは、撮影対象地点毎に、そこを撮影している撮影側端末を特定することができればいいのではないか？と考えた。

そこで、本発明は、任意の領域を撮影している撮影側端末を特定することができる映像管理システム及び方法を提供することを目的とする。また、閲覧側端末のユーザが所望する映像データのみを、撮影側端末から配信することによって、システム全体の処理量を低減させることも目的とする。

本発明によれば、カメラ及び地磁気センサを有する撮影側端末と、映像管理サーバとが、ネットワークを介して接続された映像管理システムにおいて、
撮影側端末は、
当該撮影側端末の「カメラ位置」と、地磁気センサによって計測された「カメラ方位」とを含むカメラ姿勢を、映像管理サーバへ送信するカメラ姿勢送信手段を有し、
映像管理サーバは、
撮影側端末から受信したカメラ姿勢について、当該カメラ位置から当該カメラ方位に向かって撮影対象地点を特定する撮影対象地点特定手段と、
撮影対象地点と、当該撮影側端末の識別子とを対応付けて記憶する撮影対象地点記憶手段と
を有し、当該撮影対象地点の所定周囲を撮影している撮影側端末を特定することを特徴とする。

本発明の映像管理システムにおける他の実施形態によれば、
撮影側端末は、加速度センサ（又はジャイロセンサ）を有すると共に、
撮影側端末のカメラ姿勢送信手段は、カメラ姿勢に、加速度センサによって計測された「カメラ傾斜」を更に含め、
映像管理サーバは、
撮影対象地点の平面を基準として、位置に対する高度を予め記憶した高度地図記憶手段と、
高度地図記憶手段を用いて、撮影側端末から受信したカメラ姿勢の当該カメラ位置に対応する「カメラ高度」を検索するカメラ高度検索手段と
を更に有し、
撮影対象地点特定手段は、当該「カメラ位置」の当該「カメラ高度」から、当該「カメラ傾斜」の角度で当該「カメラ方位」に向かって、三角測量によって撮影対象地点を特定することも好ましい。

本発明の映像管理システムにおける他の実施形態によれば、
撮影側端末のカメラ姿勢送信手段は、カメラ姿勢に、任意に計測した撮影対象地点までの「撮影距離」を更に含め、
映像管理サーバの撮影対象地点特定手段は、「カメラ位置」から「カメラ方位」に向かって「撮影距離」だけ離れた撮影対象地点を特定することも好ましい。

本発明の映像管理システムにおける他の実施形態によれば、
当該映像管理システムは、閲覧側端末を更に有し、
閲覧側端末は、
ユーザ操作によって指定された「撮影対象地点」を含む映像配信要求を、映像管理サーバへ送信する撮影対象地点指定手段と、
撮影側端末又は映像管理サーバから映像を受信し、ディスプレイに再生する映像再生手段と
を有し、
映像管理サーバは、
撮影対象地点記憶手段を用いて、映像配信要求における当該撮影対象地点の所定周囲に対応付けられた、１つ以上の撮影側端末を選択する撮影側端末選択手段と、
特定された当該撮影側端末へ、閲覧側端末からの映像配信要求を送信する映像配信要求手段と
を有することも好ましい。

本発明の映像管理システムにおける他の実施形態によれば、
映像配信要求には、閲覧側端末のアドレスが含まれており、
撮影側端末は、映像管理サーバから映像配信要求を受信した際に、カメラによって撮影した映像を、閲覧側端末へ直接的に送信するか、又は、映像管理サーバを介して閲覧側端末へ送信することも好ましい。

本発明の映像管理システムにおける他の実施形態によれば、
撮影側端末は、加速度センサ（又はジャイロセンサ）を有すると共に、
撮影側端末のカメラ姿勢送信手段は、カメラ姿勢に、加速度センサによって計測された単位時間あたりの「揺れ幅」を更に含め、
映像管理サーバの撮影側端末選択手段は、
映像配信要求の撮影対象地点の所定周囲に対応付けられた当該撮影側端末の中で、揺れ幅の大きさに基づいて撮影側端末を選択することも好ましい。

本発明の映像管理システムにおける他の実施形態によれば、
映像管理サーバの撮影側端末選択手段は、
映像配信要求の撮影対象地点の所定周囲に含まれる複数の撮影側端末の方位をクラスタリングし、当該クラスタについて代表ベクトルに最も近い方位に対応する撮影側端末を選択することも好ましい。
映像管理サーバの撮影側端末選択手段は、
映像配信要求の撮影対象地点の所定周囲に含まれる複数の撮影側端末の選択を、時間経過と共に逐次、更新することも好ましい。

本発明の映像管理システムにおける他の実施形態によれば、
映像管理サーバは、閲覧側端末へ映像を配信し続けている撮影側端末に対して、当該撮影側端末のカメラ姿勢から特定された撮影対象地点が、映像配信要求の撮影対象地点の所定周囲を外れた際に、当該撮影側端末に対して映像配信停止要求を送信する映像配信停止要求手段を更に有することも好ましい。

本発明の映像管理システムにおける他の実施形態によれば、
当該映像管理システムは、電波による測位手段を備えた被写体装置を更に有し、
被写体装置は、測位手段によって測位した現在位置を逐次、映像管理サーバへ送信し、
映像管理サーバの撮影対象地点記憶手段は、被写体装置の識別子と、その位置とを対応付けて記憶し、
閲覧側端末は、映像配信要求に、被写体装置の識別子を含め、
映像管理サーバの撮影側端末選択手段は、映像配信要求の当該被写体装置の識別子に対応する撮影対象地点を選択し、その撮影対象地点の所定周囲に対応付けられた撮影側端末を選択することも好ましい。

本発明の映像管理システムにおける他の実施形態によれば、
映像管理サーバの撮影側端末選択手段は、閲覧側端末へ、撮影対象地点をユーザに選択させるための俯瞰図を送信することも好ましい。

本発明によれば、カメラ及び地磁気センサを有する撮影側端末と、映像管理サーバとが、ネットワークを介して接続されたシステムにおける映像管理方法において、
撮影側端末が、当該撮影側端末の「カメラ位置」と、地磁気センサによって計測された「カメラ方位」とを含むカメラ姿勢を、映像管理サーバへ送信する第１のステップと、
映像管理サーバが、撮影側端末から受信したカメラ姿勢について、当該カメラ位置から当該カメラ方位に向かって撮影対象地点を特定する第２のステップと、
撮影対象地点と、当該撮影側端末の識別子とを対応付けて記憶する第３のステップと
を有し、当該撮影対象地点の所定周囲を撮影している撮影側端末を特定することを特徴とする。

本発明の映像管理方法における他の実施形態によれば、
当該映像管理システムは、閲覧側端末を更に有し、
閲覧側端末が、ユーザ操作によって指定された「撮影対象地点」を含む映像配信要求を、映像管理サーバへ送信する第４のステップと、
映像管理サーバが、映像配信要求における当該撮影対象地点の所定周囲に対応付けられた、１つ以上の撮影側端末を選択する第５のステップと、
映像管理サーバが、特定された当該撮影側端末へ、閲覧側端末からの映像配信要求を送信する第６のステップと、
閲覧側端末が、撮影側端末又は映像管理サーバから映像を受信し、ディスプレイに再生する第７のステップと
を有することも好ましい。

本発明の映像管理システム及び方法によれば、任意の領域を撮影している撮影側端末を特定することができる。また、閲覧側端末のユーザが所望する映像データのみを、撮影側端末から配信することによって、システム全体の処理量を低減させることもできる。

本発明におけるシステム構成図である。 本発明における撮影側端末及び映像管理サーバの機能構成図である。 本発明におけるシーケンス図である。 高度及び傾斜を用いた三角測量によって撮影対象地点を特定する説明図である。 本発明における閲覧側端末及び映像管理サーバの機能構成図である。 閲覧側端末のディスプレイで、撮影対象地点を指定する画面表示図である。 閲覧側端末のディスプレイに、撮影側端末の映像のサムネイルを表す画面表示図である。 被写体装置を用いて、撮影対象地点を自動的に指定する説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、本発明におけるシステム構成図である。

図１によれば、イベント会場が野球場であるとして、その俯瞰図が表されている。勿論、ユーザの位置が座席のように固定されている必要はなく、マラソンや自動車レースのようにユーザが移動できるものであってもよい。

図１のシステムによれば、ユーザによって操作される撮影側端末１及び閲覧側端末３と、映像管理サーバ２とが、アクセスネットワーク及びインターネットを介して通信する。撮影側端末１及び閲覧側端末３は、ユーザ自ら所持されたものに限られず、各所に予め固定設置されたものであってもよい。アクセスネットワークとしては、携帯電話網やＷｉＭＡＸであってもよいし、イベント会場に設置された無線ＬＡＮであってもよい。

撮影側端末１は、例えばユーザの頭部に装着されるＨＭＤであって、人の視線と同じ向きに固定されたカメラを搭載している。そのカメラは、そのユーザの注視対象の映像を撮影することができる。また、撮影側端末１は、マイクも搭載し、音声及び映像を同時に録音及び撮影することもできる。撮影側端末１は、撮影した映像をリアルタイムに、映像管理サーバ２又は閲覧側端末３へ送信することができる。
以下では、撮影側端末１はＨＭＤであるとして説明するが、カメラモジュールを搭載したスマートフォンやタブレットのような端末であってもよい。勿論、全てのユーザがＨＭＤを装着している必要もない。

図２は、本発明における撮影側端末及び映像管理サーバの機能構成図である。
図３は、本発明におけるシーケンス図である。

＜撮影側端末１＞
図２は、任意の領域を撮影している撮影側端末を特定することを目的とした機能構成を表す。図２によれば、撮影側端末１は、通信インタフェース１０と、カメラ１１と、地磁気センサ１２と、加速度センサ（又はジャイロセンサ）１３と、測位部１４と、カメラ姿勢送信部１５と、映像配信部１６とを有する。特に、カメラ姿勢送信部１５及び映像配信部１６は、撮影側端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

［地磁気センサ１２］
地磁気センサ１２は、本発明における必須の構成要素であって、カメラ方位を計測する（図３のＳ１１参照）。そのために、地磁気センサ１２は、カメラ１１に対して固定的に設置される。地磁気センサとは、地磁気の方向及び大きさを測定するセンサである。地磁気センサとは、磁気の強さによって抵抗値又はインピーダンス値が変化する素子であって、具体的には地磁気の方向とセンサの角度によって値が変化する。抵抗値（インピーダンス値）の変化は、電流の変化として読み取られ、南北の方向との角度に換算される。
周期的に計測された「カメラ方位」は、カメラ姿勢送信部１５へ出力される。

［加速度センサ１３］
加速度センサ１３は、数ミリ秒周期でｘ、ｙ、ｚ軸の加速度を計測することによって、重力方向を検出する。加速度センサは、スマートフォンやタブレットのようなほとんどの携帯端末に搭載されている。尚、加速度センサに限られず、ジャイロセンサ（角速度センサ）であってもよい。
周期的に計測された加速度データは、カメラ姿勢送信部１５へ出力される。

［測位部１４］
測位部１４は、測位電波によって、当該撮影側端末１の現在位置（緯度経度）を測位する（図３のＳ１１参照）。測位電波としては、ＧＰＳ(Global Positioning System)衛星からの電波に基づくものであってもよいし、携帯電話網の基地局測位に基づくものであってもよい。
測位された現在位置は、カメラ姿勢送信部１５へ出力される。
尚、現在位置（カメラ位置）は、ユーザ操作によって予め設定されたものであってもよいし、イベント会場の座席によって設定されるものであってもよい。

［カメラ姿勢送信部１５］
カメラ姿勢送信部１５は、以下のパラメータを含む「カメラ姿勢」を、映像管理サーバ２へ周期的に送信する（図３のＳ１２参照）。
（パラメータ１）撮影側端末１の「カメラ位置」
（パラメータ２）地磁気センサ１２によって計測された「カメラ方位」
これによって、映像管理サーバ２は、撮影側端末１から受信したカメラ姿勢から、当該撮影側端末１のカメラが撮影しているであろう撮影対象地点を特定することができる。即ち、撮影側端末１が、実際に映像をネットワークに伝送することなく、映像管理サーバ２は、その撮影側端末１の撮影対象地点を認識することができる。

また、カメラ姿勢送信部１５は、カメラ姿勢に、以下のパラメータを更に含めることも好ましい。
（パラメータ３）加速度データに基づく重力方向と端末姿勢とから算出された「カメラ傾斜」
（パラメータ４）加速度データに基づく「単位時間あたりの揺れ幅」
（パラメータ５）任意に計測した撮影対象地点までの「撮影距離」（加速度データを用いない場合）
これによって、映像管理サーバ２は、当該撮影側端末１のカメラによる撮影対象地点を特定することができる。

［映像配信部１６］
映像配信部１６は、映像管理サーバ２からの「映像配信要求」を受信した後、宛先となる映像管理サーバ２又は閲覧側端末３へ、カメラ１１によって撮影している映像をリアルタイムに送信する（図３のＳ２５参照）。映像配信要求には、閲覧側端末３のアドレスが含まれている。閲覧側端末３へ直接的に映像を送信する場合、Ｐ２Ｐ通信方式を用いてもよい。
尚、送信フレームレートや解像度・画質については、ネットワークの混雑状況に従って自動的に決定してもよいし、閲覧側端末３から要求されるものであってもよい。

＜映像管理サーバ２＞
図２によれば、映像管理サーバ２は、通信インタフェース２０と、撮影対象地点特定部２１と、撮影対象地点記憶部２２と、カメラ高度検索部２３と、高度地図記憶部２４とを有する。これら機能構成部は、映像管理サーバに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。これによって、映像管理サーバ２は、少なくとも、任意の領域を撮影している撮影側端末を選択することができる。

図４は、高度及び傾斜を用いた三角測量によって撮影対象地点を特定する説明図である。これは、カメラ姿勢のカメラ傾斜（パラメータ３）を用いる。

［高度地図記憶部２４］
高度地図記憶部２４は、撮影対象地点の平面を基準として、位置（緯度経度）に対する高度を予め記憶したものである。図４によれば、野球場の観客席の断面が表されており、位置に応じて一意に高度を決定することができる。高度地図記憶部２４は、図４のような、イベント会場における座席の高度（その座席に座ったユーザの視点の高度）を、３次元座標データとして予め記憶している。

［カメラ高度検索部２３］
カメラ高度検索部２３は、撮影対象地点特定部２１から、撮影側端末１から受信したカメラ姿勢の「カメラ位置」を入力する。カメラ高度検索部２３は、高度地図記憶部２４を参照し、その「カメラ位置」に対応する「カメラ高度」を検索する。そして、検索されたカメラ高度は、撮影対象地点特定部２１へ出力される。

［撮影対象地点特定部２１］
撮影対象地点特定部２１は、撮影側端末１から受信したカメラ姿勢について、当該カメラ位置から当該カメラ方位に向かって撮影対象地点を特定する。撮影側端末１の識別子と、特定された撮影対象地点とは、撮影対象地点記憶部２２へ出力される。

撮影対象地点特定部２１は、カメラ高度検索部２３を用いて、撮影側端末１から受信したカメラ位置に対応する「カメラ高度」を取得する。そして、撮影対象地点特定部２１は、「カメラ位置（緯度経度の２次元座標）」の「カメラ高度（ｈ）」から（＝始点）、「カメラ傾斜（φ）」の角度で「カメラ方位（θ）」に向かって、三角測量によって撮影対象地点を特定する。カメラ高度としては、ユーザが地面上に立って撮影している場合、そのユーザの身長を用いてもよい。

図４によれば、撮影側端末１のカメラの撮影距離が予め固定的に設定されている場合、「カメラ位置」から「カメラ方位」に向かって「撮影距離」（パラメータ４）だけ離れた撮影対象地点を特定するものであってもよい。この場合、撮影側端末１と撮影対象地点との間に高低差が無い場合であって、三角測量を用いることができない場合に有効である。しかしながら、撮影側端末１が、何らかの手段によって、任意に計測した撮影対象地点までの「撮影距離」を設定する必要がある。

［撮影対象地点記憶部２２］
撮影対象地点記憶部２２は、撮影対象地点と、当該撮影側端末の識別子とを対応付けて記憶する。撮影対象地点特定部２１によって特定された撮影対象地点は、計測誤差が当然に含まれているために、当該撮影対象地点の所定周囲（所定半径の円の領域）が撮影されていると特定する。これによって、任意の領域を撮影している撮影側端末１を特定することができる。
尚、撮影対象地点記憶部２２は、撮影側端末毎に、カメラ姿勢として受信したパラメータ１〜５も対応付けて記憶する。

図５は、本発明における閲覧側端末及び映像管理サーバの機能構成図である。

図５は、図２に加えて更に、閲覧側端末のユーザが所望する映像データのみを、撮影側端末から配信することによって、ネットワーク及びサーバのシステム全体の処理量を低減させることを目的とした機能構成を表す。図３によれば、映像管理サーバ２は、図２の機能構成部に加えて更に、撮影側端末選択部２５と、映像配信要求部２６と、映像転送部２７と、映像停止要求部２８とを有する。これら機能構成部も、映像管理サーバに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

［撮影側端末選択部２５］
撮影側端末選択部２５は、イベント会場全体の俯瞰図を、閲覧側端末３へ送信する（図３のＳ２１参照）。尚、俯瞰図については、別途用意したサーバから事前に送信しておいてもよく、閲覧側端末３にプリセットされていてもよい。これに対し、撮影側端末選択部２５は、閲覧側端末３から、ユーザによって指定された撮影対象地点を含む「映像配信要求」を受信する（図３のＳ２２参照）。

撮影側端末選択部２５は、撮影対象地点記憶部２２を用いて、映像配信要求における当該撮影対象地点の所定周囲に対応付けられた、１つ以上の撮影側端末を選択する（図３のＳ２３参照）。尚、撮影対象地点記憶部２２は、撮影対象地点と撮影側端末の識別子とを対応付けて記憶している。選択された撮影側端末の識別子は、映像配信要求部２６へ出力される。

（撮影側端末選択部２５の他の第１の実施形態）
撮影側端末選択部２５は、映像配信要求の撮影対象地点に対して複数の撮影側端末を選択した場合、揺れ幅の大きさに基づいて撮影側端末を選択することも好ましい。具体的には、揺れ幅（所定単位時間における変位）が最も小さい撮影側端末が選択される。尚、撮影対象地点記憶部２２は、撮影側端末毎に、加速度センサに基づく単位時間あたりの揺れ幅を記憶している。揺れ幅が少なく撮影側端末の映像を選択することは、閲覧側端末を視認するユーザにとって好ましい。

（撮影側端末選択部２５の他の第２の実施形態）
撮影側端末選択部２５は、映像配信要求の撮影対象地点の所定周囲に含まれる複数の撮影側端末を選択する際に、各撮影側端末の方位ベクトルをクラスタリングし、当該クラスタについて代表ベクトルに最も近い方位に対応する撮影側端末を抽出してもよい。また、揺れ幅の大きさが一定値以下（視聴に耐えれる程度）の端末を選択した上で、各端末の方位ベクトルをクラスタリングし、代表的な方位に対応する端末を抽出してもよい。閲覧側ディスプレイにおいて視聴希望の撮影側端末を選択する場合に（後述のサムネイル表示モード）、同様の方位から撮影している撮像端末を間引いて表示することは、撮影対象地点を様々な方位から視聴したいユーザにとって好ましい。

（撮影側端末選択部２５の他の第３の実施形態）
撮影側端末選択部２５は、映像配信要求の撮影対象地点の所定周囲に含まれる複数の撮影側端末の選択を、時間経過と共に逐次、更新することも好ましい（撮影側端末自動選択モード）。最初に選択された撮影側端末の映像が、時間経過と共に常に、映像配信要求の撮影対象地点の所定周囲に含まれているとは限らない。閲覧側端末のユーザから要求された撮影対象地点の所定周囲に含まれる撮影側端末の映像に切り替えることは、閲覧側端末を視認するユーザにとって好ましい。

（撮影側端末選択部２５の他の第４の実施形態）
撮影側端末選択部２５は、最初に選択された撮影側端末の映像が、映像配信要求の撮影対象地点の所定周囲を外れても、改めて撮影側端末を選択しないことも好ましい（撮影側端末固定モード）。閲覧側端末を視認するユーザにとって、最初に選択した撮影側端末からの映像が切り替わることがない。

［映像配信要求部２６］
映像配信要求部２６は、撮影側端末選択部２５から、選択された撮影側端末１の識別子を入力する。そして、映像配信要求部２６は、選択された当該撮影側端末１へ、閲覧側端末３からの「映像配信要求」を送信する（図３のＳ２４参照）。その映像配信要求には、閲覧側端末３の宛先アドレスも含まれる。

［映像転送部２７］
映像転送部２７は、撮影側端末１からの映像を受信し、閲覧側端末３へ転送する。尚、撮影側端末１から受信した映像を、複数の閲覧側端末３へ配信するものであってもよい。この場合、閲覧側端末３から受信した映像配信要求に、宛先の閲覧側端末のアドレスが複数含まれていることを要する。

撮影対象地点が指定される前の段階について、映像転送部２７は、閲覧側端末３へ、ユーザ所望の撮影対象地点を指定しやすくするために、イベント会場の俯瞰図を送信することも好ましい（図３のＳ２１参照）。
撮影対象地点が指定された後の段階について、更に、映像転送部２７は、閲覧側端末３へ、複数の撮影側端末１から受信した複数の映像を、その位置にそのサムネイル画像として重畳的に表示した俯瞰図を、閲覧側端末３へ送信するものであってもよい。

［映像停止要求部２８］
映像停止要求部２８は、閲覧側端末へ映像を配信し続けている撮影側端末に対して、当該撮影側端末のカメラ姿勢から特定された撮影対象地点が、映像配信要求の撮影対象地点の所定周囲を外れた際に、当該撮影側端末に対して映像配信停止要求を送信する（図３のＳ３参照）。これによって、閲覧側端末３に対して、所望されていない映像が配信されないようにすることができる。これは、例えば客席を写したプレイベート映像の配信を避けるために有効である。尚、映像管理サーバ２は、映像を配信し続けている撮影側端末１についても、カメラ姿勢を常に受信し、その撮影対象地点を特定し続ける。

＜閲覧側端末３＞
図３によれば、閲覧側端末３は、撮影対象地点指定部３１と、映像再生部３２とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

［撮影対象地点指定部３１］
撮影対象地点指定部３１は、ユーザ操作によって選択された「撮影対象地点」を、映像管理サーバ２へ送信する。

図６は、閲覧側端末のディスプレイで、撮影対象地点を指定する画面表示図である。

図６によれば、閲覧側端末３のディスプレイに、イベント会場の俯瞰図が表示されており、ユーザが指でタップすることによって、撮影対象地点を指定することができる（図３のＳ２２参照）。即ち、タップした位置（緯度経度）が指定される。図６によれば、ユーザは、ピッチャーの映像を視聴したいと思い、ピッチャーマウンド上をタップしている。

［映像再生部３２］
映像再生部３２は、撮影側端末又は映像管理サーバから映像を受信し、ディスプレイに再生する。

図７は、閲覧側端末のディスプレイに、撮影側端末の映像のサムネイルを表す画面表示図である。

図７によれば、ピッチャーマウンド（ユーザ指定の撮影対象地点）の所定周囲を、撮影対象地点とする撮影側端末ａ〜ｄが存在している。この場合、俯瞰図の上で、撮影側端末ａ〜ｄそれぞれの位置に、各映像がサムネイルで表示されている（サムネイル表示モード）。また、各サムネイルからカメラ方位に、破線矢印が表されている。
ここで、閲覧側端末３のユーザは、更に、所望のサムネイルをタップすることによって、その映像を全画面に表示させて閲覧することもできる（全画面表示モード）。

図８は、被写体装置を用いて、撮影対象地点を自動的に指定する説明図である。

図８によれば、被写体装置４を所持した選手が、グラウンド上でプレーしているとする。被写体装置４は、測位部及び無線通信部を搭載した小型装置であって、例えば選手のポケットに入れることができる。被写体装置４の測位部は、例えばＧＰＳセンサのようなものである。そして、被写体装置４は、測位した現在位置を逐次、映像管理サーバ２へ送信している。これに対し、映像管理サーバ２の撮影対象地点記憶部２２は、被写体装置４の識別子と、その位置とを対応付けて記憶し続ける。

一方で、閲覧側端末３は、映像管理サーバ２へ送信する映像配信要求に、被写体装置４の識別子を含める。これによって、映像管理サーバ２の撮影対象地点特定部２１は、映像配信要求の当該被写体装置４の識別子に対応する撮影対象地点を選択し、撮影側端末選択部２５は、その撮影対象地点の所定周囲に対応付けられた撮影側端末を特定することができる。これによって、閲覧側端末３のユーザは、常に、その被写体装置４を所持した選手のプレーを閲覧し続けることができる。

以上、詳細に説明したように、本発明の映像管理システム及び方法によれば、任意の領域を撮影している撮影側端末を選択することができる。また、閲覧側端末のユーザが所望する映像データのみを、撮影側端末から配信することによって、システム全体の処理量を低減させることもできる。

特に、閲覧側端末から映像配信要求が送信されるまで、撮影側端末が映像を送信しないために、当該端末のバッテリ消費が抑制されると共に、ネットワークやサーバはカメラ姿勢に対してのみ処理すればよいために、システム全体の処理量が抑制される。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 撮影側端末
１０ 通信インタフェース
１１ カメラモジュール
１２ 地磁気センサ
１３ 加速度センサ
１４ 測位部
１５ カメラ姿勢送信部
１６ 映像配信部
２ 映像管理サーバ
２０ 通信インタフェース
２１ 撮影対象地点特定部
２２ 撮影対象地点記憶部
２３ カメラ高度検索部
２４ 高度地図記憶部
２５ 撮影側端末選択部
２６ 映像配信要求部
２７ 映像転送部
２８ 映像停止要求部
３ 閲覧側端末
３１ 撮影対象地点指定部
３２ 映像再生部
４ 被写体装置

Claims (13)

1. カメラ及び地磁気センサを有する撮影側端末と、映像管理サーバとが、ネットワークを介して接続された映像管理システムにおいて、
   前記撮影側端末は、
   当該撮影側端末の「カメラ位置」と、前記地磁気センサによって計測された「カメラ方位」とを含むカメラ姿勢を、前記映像管理サーバへ送信するカメラ姿勢送信手段を有し、
   前記映像管理サーバは、
   前記撮影側端末から受信した前記カメラ姿勢について、当該カメラ位置から当該カメラ方位に向かって撮影対象地点を特定する撮影対象地点特定手段と、
   前記撮影対象地点と、当該撮影側端末の識別子とを対応付けて記憶する撮影対象地点記憶手段と
   を有し、当該撮影対象地点の所定周囲を撮影している撮影側端末を特定することを特徴とする映像管理システム。
2. 前記撮影側端末は、加速度センサ（又はジャイロセンサ）を有すると共に、
   前記撮影側端末の前記カメラ姿勢送信手段は、前記カメラ姿勢に、前記加速度センサによって計測された「カメラ傾斜」を更に含め、
   前記映像管理サーバは、
   前記撮影対象地点の平面を基準として、位置に対する高度を予め記憶した高度地図記憶手段と、
   前記高度地図記憶手段を用いて、前記撮影側端末から受信した前記カメラ姿勢の当該カメラ位置に対応する「カメラ高度」を検索するカメラ高度検索手段と
   を更に有し、
   前記撮影対象地点特定手段は、当該「カメラ位置」の当該「カメラ高度」から、当該「カメラ傾斜」の角度で当該「カメラ方位」に向かって、三角測量によって撮影対象地点を特定する
   ことを特徴とする請求項１に記載の映像管理システム。
3. 前記撮影側端末の前記カメラ姿勢送信手段は、前記カメラ姿勢に、任意に計測した撮影対象地点までの「撮影距離」を更に含め、
   前記映像管理サーバの前記撮影対象地点特定手段は、前記「カメラ位置」から前記「カメラ方位」に向かって前記「撮影距離」だけ離れた撮影対象地点を特定する
   ことを特徴とする請求項１に記載の映像管理システム。
4. 当該映像管理システムは、閲覧側端末を更に有し、
   前記閲覧側端末は、
   ユーザ操作によって指定された「撮影対象地点」を含む映像配信要求を、前記映像管理サーバへ送信する撮影対象地点指定手段と、
   前記撮影側端末又は前記映像管理サーバから映像を受信し、ディスプレイに再生する映像再生手段と
   を有し、
   前記映像管理サーバは、
   前記撮影対象地点記憶手段を用いて、前記映像配信要求における当該撮影対象地点の所定周囲に対応付けられた、１つ以上の撮影側端末を選択する撮影側端末選択手段と、
   特定された当該撮影側端末へ、前記閲覧側端末からの映像配信要求を送信する映像配信要求手段と
   を有することを特徴とする請求項１から３のいずれか１項に記載の映像管理システム。
5. 前記映像配信要求には、前記閲覧側端末のアドレスが含まれており、
   前記撮影側端末は、前記映像管理サーバから前記映像配信要求を受信した際に、前記カメラによって撮影した映像を、前記閲覧側端末へ直接的に送信するか、又は、前記映像管理サーバを介して前記閲覧側端末へ送信する
   ことを特徴とする請求項４に記載の映像管理システム。
6. 前記撮影側端末は、加速度センサ（又はジャイロセンサ）を有すると共に、
   前記撮影側端末の前記カメラ姿勢送信手段は、前記カメラ姿勢に、前記加速度センサによって計測された単位時間あたりの「揺れ幅」を更に含め、
   前記映像管理サーバの前記撮影側端末選択手段は、
   前記映像配信要求の撮影対象地点の所定周囲に対応付けられた当該撮影側端末の中で、前記揺れ幅の大きさに基づいて撮影側端末を選択する
   ことを特徴とする請求項４又は５に記載の映像管理システム。
7. 前記映像管理サーバの前記撮影側端末選択手段は、
   前記映像配信要求の撮影対象地点の所定周囲に含まれる複数の撮影側端末の方位をクラスタリングし、当該クラスタについて代表ベクトルに最も近い方位に対応する撮影側端末を選択する
   ことを特徴とする請求項４から６のいずれか１項に記載の映像管理システム。
8. 前記映像管理サーバの前記撮影側端末選択手段は、
   前記映像配信要求の撮影対象地点の所定周囲に含まれる複数の撮影側端末の選択を、時間経過と共に逐次、更新する
   ことを特徴とする請求項４から７のいずれか１項に記載の映像管理システム。
9. 前記映像管理サーバは、前記閲覧側端末へ映像を配信し続けている撮影側端末に対して、当該撮影側端末の前記カメラ姿勢から特定された撮影対象地点が、前記映像配信要求の撮影対象地点の所定周囲を外れた際に、当該撮影側端末に対して映像配信停止要求を送信する映像配信停止要求手段を更に有することを特徴とする請求項４から８のいずれか１項に記載の映像管理システム。
10. 当該映像管理システムは、電波による測位手段を備えた被写体装置を更に有し、
    前記被写体装置は、前記測位手段によって測位した現在位置を逐次、前記映像管理サーバへ送信し、
    前記映像管理サーバの前記撮影対象地点記憶手段は、前記被写体装置の識別子と、その位置とを対応付けて記憶し、
    前記閲覧側端末は、前記映像配信要求に、前記被写体装置の識別子を含め、
    前記映像管理サーバの前記撮影側端末選択手段は、前記映像配信要求の当該被写体装置の識別子に対応する撮影対象地点を選択し、その撮影対象地点の所定周囲に対応付けられた撮影側端末を選択する
    ことを特徴とする請求項４から９のいずれか１項に記載の映像管理システム。
11. 前記映像管理サーバの前記撮影側端末選択手段は、前記閲覧側端末へ、撮影対象地点をユーザに選択させるための俯瞰図を送信する
    ことを特徴とする請求項４から１０のいずれか１項に記載の映像管理システム。
12. カメラ及び地磁気センサを有する撮影側端末と、映像管理サーバとが、ネットワークを介して接続されたシステムにおける映像管理方法において、
    前記撮影側端末が、当該撮影側端末の「カメラ位置」と、前記地磁気センサによって計測された「カメラ方位」とを含むカメラ姿勢を、前記映像管理サーバへ送信する第１のステップと、
    前記映像管理サーバが、前記撮影側端末から受信した前記カメラ姿勢について、当該カメラ位置から当該カメラ方位に向かって撮影対象地点を特定する第２のステップと、
    前記撮影対象地点と、当該撮影側端末の識別子とを対応付けて記憶する第３のステップと
    を有し、当該撮影対象地点の所定周囲を撮影している撮影側端末を特定することを特徴とする映像管理方法。
13. 当該映像管理システムは、閲覧側端末を更に有し、
    前記閲覧側端末が、ユーザ操作によって指定された「撮影対象地点」を含む映像配信要求を、前記映像管理サーバへ送信する第４のステップと、
    前記映像管理サーバが、前記映像配信要求における当該撮影対象地点の所定周囲に対応付けられた、１つ以上の撮影側端末を選択する第５のステップと、
    前記映像管理サーバが、特定された当該撮影側端末へ、前記閲覧側端末からの映像配信要求を送信する第６のステップと、
    前記閲覧側端末が、前記撮影側端末又は前記映像管理サーバから映像を受信し、ディスプレイに再生する第７のステップと
    を有することを特徴とする請求項１０に記載の映像管理方法。

Images