JP2016123069A - 映像配信方法、映像受信方法、サーバ及び端末装置 - Google Patents

Abstract

【課題】複数の映像に基づき適切な映像を配信する。【解決手段】映像配信方法は、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号を端末装置１０２に配信するサーバ１０３による映像配信方法であって、複数のユーザによる複数の映像の評価値に基づき、複数の期間の各々に対して、複数の映像から選択映像を選択する選択ステップ（Ｓ３０１）と、複数の期間に対して選択された複数の選択映像を連続して再生するための映像信号を端末装置１０２に送信する送信ステップ（Ｓ３０２）とを含む。【選択図】図１８

Description

本発明は、複数の視点から撮影された映像を配信する映像配信方法等に関する。

映像配信方法として、例えば、特許文献１記載の技術が知られている。また、複数の視点から撮影された映像を配信する映像配信方法が知られている（例えば、特許文献２参照）。このような映像配信方法では、特定のシーンを異なる視点から撮影した複数の映像から、ユーザが任意の映像を指定し、視聴することができる。

特開２００９−２０６６２５号公報 特開２０１２−０９４９９０号公報

このような、映像配信方法では、複数の映像に基づき適切な映像を配信できることが望まれている。

そこで、本発明は、複数の映像に基づき適切な映像を配信できる映像配信方法又は映像受信方法を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る映像配信方法は、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく第１映像信号を端末装置に配信するサーバによる映像配信方法であって、複数のユーザによる前記複数の映像の評価値に基づき、前記複数の期間の各々に対して、前記複数の映像から第１選択映像を選択する第１選択ステップと、前記複数の期間に対して選択された複数の前記第１選択映像を連続して再生するための前記第１映像信号を前記端末装置に送信する第１送信ステップとを含む。

また、本発明の一態様に係る映像受信方法は、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号をサーバから受信する端末装置による映像受信方法であって、前記複数の期間に対して、複数のユーザによる前記複数の映像の評価値に基づき前記複数の映像から選択された複数の選択映像を連続して再生するための前記映像信号を前記サーバから受信する受信ステップと、前記映像信号に基づき、前記複数の選択映像を連続して再生する再生ステップとを含む。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明は、複数の映像に基づき適切な映像を配信できる映像配信方法又は映像受信方法を提供できる。

実施の形態１に係る映像配信システムの構成を示す図である。 実施の形態１に係る端末装置のブロック図である。 実施の形態１に係る端末装置による処理を示すフローチャートである。 実施の形態１に係る端末装置による視点映像切替処理を示すフローチャートである。 実施の形態１に係る端末装置による評価付加処理を示すフローチャートである。 実施の形態１に係る端末装置による情報取得処理を示すフローチャートである。 実施の形態１に係るサーバのブロック図である。 実施の形態１に係るサーバによる処理を示すフローチャートである。 実施の形態１に係るサーバによる視点映像切替処理を示すフローチャートである。 実施の形態１に係るサーバによる評価付加処理を示すフローチャートである。 実施の形態１に係るサーバによる情報取得処理を示すフローチャートである。 実施の形態１に係るお気に入り被写体切替モードの動作例を示す図である。 実施の形態１に係るお薦め視点映像切替モードの動作例を示す図である。 実施の形態１に係るお薦め被写体切替モードの動作例を示す図である。 実施の形態１に係る表示画面例を示す図である。 実施の形態１に係る表示画面例を示す図である。 実施の形態１に係る表示画面例を示す図である。 実施の形態１に係るサーバによる映像配信方法のフローチャートである。 実施の形態１に係る端末装置による映像受信方法のフローチャートである。 映像情報処理システムの構成を示す図である。 カメラ起動時に表示される通知画面の一例を示す図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 デジタル放送用システムの全体構成図である。 スマートフォンの一例を示す図である。 スマートフォンの構成例を示すブロック図である。

本発明の一態様に係る映像配信方法は、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく第１映像信号を端末装置に配信するサーバによる映像配信方法であって、複数のユーザによる前記複数の映像の評価値に基づき、前記複数の期間の各々に対して、前記複数の映像から第１選択映像を選択する第１選択ステップと、前記複数の期間に対して選択された複数の前記第１選択映像を連続して再生するための前記第１映像信号を前記端末装置に送信する第１送信ステップとを含む。

これにより、当該映像配信方法は、複数のユーザの評価に基づく適切な映像を配信できる。

例えば、前記評価値は、前記複数の映像の各々の評価値であり、前記第１選択ステップでは、前記複数の期間の各々に対して前記複数の映像から当該期間における前記評価値が最も高い又は予め定められた値より高い映像を前記第１選択映像として選択してもよい。

これにより、当該映像配信方法は、複数のユーザの評価に基づき、評価の高い視点映像を連続して再生する映像を配信できる。

例えば、前記評価値は、前記複数の映像に含まれる複数の被写体の各々の評価値であり、前記第１選択ステップでは、前記複数の期間の各々において、前記複数の映像から、前記評価値が最も高い又は予め定められた値より高いお薦め被写体が映っている映像を前記第１選択映像として選択してもよい。

これにより、当該映像配信方法は、複数のユーザの評価に基づき、評価の高い被写体が写っている視点映像を連続して再生する映像を配信できる。

例えば、前記第１選択ステップでは、前記複数の期間の各々において、前記複数の映像から、前記お薦め被写体が映っている面積が最も大きい映像を前記第１選択映像として選択してもよい。

これにより、当該映像配信方法は、複数のユーザの評価に基づき、評価の高い被写体が大きく写っている視点映像を連続して再生する映像を配信できる。

例えば、前記映像配信方法は、前記第１映像信号のデータ量が、前記端末装置の受信帯域に基づく上限値より大きい場合、さらに、前記複数の映像の評価値に基づき、前記複数の期間の各々に対して、前記複数の映像から第２選択映像を選択する第２選択ステップと、前記複数の期間の各々に対して選択された前記第２選択映像を連続して再生するための前記第２映像信号を前記端末装置に送信する第２送信ステップとを含み、前記複数の期間に対して選択された複数の前記第２選択映像の少なくとも一つは、前記複数の期間に対して選択された前記複数の第１選択映像と異なり、前記第２映像信号のデータ量は前記上限値より小さくてもよい。

これにより、当該映像配信方法は、端末装置の受信帯域が狭い場合には、データ量の少ない映像信号を配信できる。

例えば、前記複数の映像は、複数のカメラからリアルタイムで前記サーバに送信され、前記第１選択映像に対応する映像の前記カメラからの送信が中断された場合、前記第１選択ステップでは、前記第１選択映像と異なる第２選択映像を選択し、前記第１送信ステップでは、前記第２選択映像を再生するための第２映像信号を前記端末装置に送信してもよい。

これにより、当該映像配信方法は、カメラからの映像の送信が中断された場合に、映像の配信が中断されることを抑制できる。

例えば、前記評価値は、前記複数の映像の各々の評価値であり、前記第１選択ステップでは、前記複数の期間の各々に対して前記複数の映像から当該期間における前記評価値が予め定められた値より低い映像を前記第１選択映像として選択してもよい。

これにより、当該映像配信方法は、例えば、監視用途において、死角の発生を低減できる。

例えば、前記第１送信ステップでは、前記複数の期間に対して選択された前記複数の選択映像を繋ぎ合せることで前記映像信号を生成し、当該映像信号を前記端末装置に送信してもよい。

例えば、前記送信ステップでは、前記複数の映像と、前記複数の期間に対して選択された前記複数の選択映像を特定するための情報とを、前記映像信号として前記端末装置に送信してもよい。

また、本発明の一態様に係る映像受信方法は、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号をサーバから受信する端末装置による映像受信方法であって、前記複数の期間に対して、複数のユーザによる前記複数の映像の評価値に基づき前記複数の映像から選択された複数の選択映像を連続して再生するための前記映像信号を前記サーバから受信する受信ステップと、前記映像信号に基づき、前記複数の選択映像を連続して再生する再生ステップとを含む。

これにより、当該映像受信方法は、複数のユーザの評価に基づく適切な映像を再生できる。

例えば、前記評価値は、前記複数の映像の各々の評価値であり、前記選択映像は、前記複数の期間の各々に対して前記複数の映像から選択された、当該期間における前記評価値が最も高い又は予め定められた値より高い映像であってもよい。

これにより、当該映像受信方法は、複数のユーザの評価に基づき、評価の高い視点映像を連続して再生できる。

例えば、前記評価値は、前記複数の映像に含まれる複数の被写体の各々の評価値であり、前記選択映像は、前記複数の期間の各々において前記複数の映像から選択された、前記評価値が最も高い又は予め定められた値より高い被写体が映っている映像であってもよい。

これにより、当該映像受信方法は、複数のユーザの評価に基づき、評価の高い被写体が写っている視点映像を連続して再生できる。

例えば、前記映像受信方法は、さらに、前記複数の映像のいずれかを表示する表示ステップを含み、前記表示ステップでは、表示されている映像に含まれる複数の被写体のうち、前記評価値が最も高い又は予め定められた値より高い被写体を強調表示してもよい。

これにより、当該映像受信方法は、評価の高い被写体をユーザに通知できる。

例えば、前記映像受信方法は、さらに、前記複数の映像のいずれかを表示する第１表示ステップと、表示されている映像に含まれる複数の被写体のうちのいずれかがユーザにより選択された場合に、選択された前記被写体を評価するためのメニューを表示する第２表示ステップとを含んでもよい。

これにより、当該映像受信方法は、ユーザの利便性を向上できる。

例えば、前記映像受信方法は、さらに、前記複数の映像のいずれかを表示する第１表示ステップと、表示されている映像に含まれる複数の被写体のうちのいずれかがユーザにより選択された場合に、前記複数の映像のうち、選択された前記被写体が含まれ、かつ評価値が予め定められた値より高い複数の期間の映像を一覧表示する第２表示ステップとを含んでもよい。

これにより、当該映像受信方法は、ユーザの利便性を向上できる。

例えば、前記映像受信方法は、さらに、前記複数の映像のいずれかを表示する第１表示ステップと、表示されている映像に含まれる複数の被写体のうちのいずれかがユーザにより選択された場合に、前記複数の映像を繋ぎ合せた映像であって、選択された前記被写体を追尾する追尾映像を表示する第２表示ステップとを含んでもよい。

これにより、当該映像受信方法は、ユーザの利便性を向上できる。

例えば、前記映像受信方法は、さらに、前記複数の映像のいずれかが表示される第１画面と、前記第１画面より小さく、前記再生された前記複数の選択映像が表示される第２画面とを含む出力画面を表示する第１表示ステップと、ユーザにより前記第２画面が選択された場合に、前記複数の選択映像を前記第１画面に表示する第２表示ステップとを含んでもよい。

これにより、当該映像受信方法は、ユーザの利便性を向上できる。

例えば、前記評価値は、前記複数の映像の各々の評価値であり、前記選択映像は、前記複数の期間の各々に対して前記複数の映像から選択された、当該期間における前記評価値が予め定められた値より低い映像であってもよい。

また、本発明の一態様に係るサーバは、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号を端末装置に配信するサーバであって、複数のユーザによる前記複数の映像の評価値に基づき、前記複数の期間の各々に対して、前記複数の映像から選択映像を選択する選択部と、前記複数の期間に対して選択された複数の前記第１選択映像を連続して再生するための前記映像信号を前記端末装置に送信する送信部とを備える。

これにより、当該サーバは、複数のユーザの評価に基づく適切な映像を配信できる。

また、本発明の一態様に係る端末装置は、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号をサーバから受信する端末装置であって、前記複数の期間に対して、複数のユーザによる前記複数の映像の評価値に基づき前記複数の映像から選択された複数の選択映像を連続して再生するための前記映像信号を前記サーバから受信する受信部と、前記映像信号に基づき、前記複数の選択映像を連続して再生する再生部とを備える。

これにより、当該端末装置は、複数のユーザの評価に基づく適切な映像を再生できる。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
本実施の形態に係る映像配信システムでは、複数の視点映像から、各期間における複数のユーザによる評価に基づき選択映像を選択し、選択された複数の選択映像を繋ぎ合せた映像データを端末装置に配信する。

まず、本実施の形態に係る映像配信システム１００の構成を説明する。図１は、本実施の形態に係る映像配信システム１００の全体構成を示すブロック図である。この映像配信システム１００は、各々がネットワーク１０４Ａ又は１０４Ｂを介して通信可能な、複数のカメラ１０１と、端末装置１０２と、サーバ１０３とを含む。

複数のカメラ１０１は、異なる視点から同一の場面を同一の時間帯に撮影することで複数の視点映像を生成する。各カメラ１０１は、複数のユーザの各々に携帯される。例えば、複数のカメラ１０１は、スポーツスタジアムのような場所にいる複数の観客に所有される。複数のカメラ１０１で撮影された複数の視点映像は、ネットワーク１０４Ａを経由してサーバ１０３に送信される。また、カメラ１０１は、視点映像間の関連度算出に利用される位置情報などのデータも取得し、当該データをサーバ１０３に送信する。カメラ１０１は、少なくとも撮影機能を有する機器であればよく、例えば、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン、又は携帯端末等である。また、複数のカメラ１０１には、観客が所有するカメラだけでなく、固定カメラ又は放送用のカメラが含まれてもよい。

ネットワーク１０４Ａ及び１０４Ｂは、例えば、インターネットである。なお、図１では、ネットワーク１０４Ａ及び１０４Ｂを個別に記載しているが、単一のネットワークを介して、複数のカメラ１０１と、端末装置１０２と、サーバ１０３とが接続されてもよい。また、機器間の通信の一部又は全ては、ネットワーク１０４Ａ又は１０４Ｂを介さず、直接行われてもよい。また、機器間の接続は、有線接続及び無線接続のどちらであってもよい。

端末装置１０２は、ユーザ１０６が使用する端末であり、映像を表示するモニタ１０５に接続されている。例えば、この端末装置１０２は、スマートフォン、携帯端末又はパーソナルコンピュータ等である。なお、端末装置１０２は、カメラ１０１と同様の機能を有し、当該ユーザが上記観客に含まれていてもよいし、当該ユーザは、上記スタジアム以外の場所から映像を視聴してもよい。

端末装置１０２は、ユーザ１０６の指示に従ってサーバ１０３から視点映像を受信し、ユーザ１０６の指示に従った方法にて視点映像をモニタ１０５に出力する。なお、モニタ１０５は、ＰＣモニタ、タブレット端末、スマートフォン、携帯電話、又はノートＰＣのモニタなど、どのような出力デバイスであってもよい。なお、ここでは端末装置１０２とモニタ１０５とを個別に記載しているが、モニタ１０５は端末装置１０２に含まれてもよい。

また、ユーザからの指示は、例えば、画面タッチ操作又はマウスなどにより行われるが、どのような入力デバイスが用いられてもよい。ユーザ１０６の指示とは、視聴する視点映像を選択する、視点映像にコメントを残す、視点映像を評価する、視点映像に映っている被写体にコメントを残す、被写体を評価する、被写体の情報を調べる、及び被写体に関する関連グッズを発注する等の指示を含む。ユーザの指示の一部は、サーバ１０３へ送信される。

サーバ１０３は、複数のカメラ１０１から送信された複数の視点映像を一時的に保持する。また、サーバ１０３は、端末装置１０２からの要求に従って、保持する複数の視点映像の一部又は全てを端末装置１０２に送信する。また、サーバ１０３は、端末装置１０２からの要求に従って視点映像の切替等の処理を行い、当該処理により得られた映像データを端末装置１０２へ送信する。また、サーバ１０３は、端末装置１０２から、ユーザによる視点映像又は視点映像内の被写体に対する評価を受信し、視点映像又は被写体に対するコメント及び評価として集計し、データベースに保持する。

また、サーバ１０３は、端末装置１０２からの視点映像又は被写体に対する情報提示要求に従って、端末装置１０２に情報を送信する。また、サーバ１０３は、端末装置１０２から送信されたユーザが指定した被写体の情報を用いて、カメラ１０１で撮影された複数の視点映像に含まれる被写体を特定する。具体的には、サーバ１０３は、ユーザが指定した被写体情報（名前、背番号等）、又は、ユーザがタッチ操作、マウス操作、ジェスチャ操作、視線操作、或いは音声操作で指定した視点映像内の被写体の画素情報を受信し、カメラ１０１で撮影された複数の視点映像と受信した画像情報との特徴量マッチング等の画像処理により被写体を特定する。なお、サーバ１０３は、複数のカメラ１０１で撮影された複数の視点映像を合成することで合成画像を作成してもよい。また、この合成画像が端末装置１０２に送信される複数の視点映像に含まれてもよい。

なお、複数の視点映像が複数のカメラ１０１からリアルタイムに送信され、当該視点映像を、ユーザ１０６が端末装置１０２を用いてリアルタイムに視聴してもよいし、映像の送信及び視聴の少なくとも一方がリアルタイムに行なわれなくてもよい。つまり、ユーザ１０６は過去に撮影された視点映像を任意のタイミングで視聴してもよい。また、以下で述べる、映像信号（映像）の送信及び受信とは、主に、映像信号が連続的に送信又は受信されるストリーム送信及び受信を意味する。

以下、各装置の構成を説明する。図２は、端末装置１０２の構成を示すブロック図である。この端末装置１０２は、受信部１１１と、蓄積部１１２と、画像処理部１１３と、出力部１１４と、送信部１１５と、制御部１１６とを備える。

受信部１１１は、サーバ１０３から送信された映像データを受信する。具体的には、この映像データは、ユーザが指示した視点映像を含む。さらに、この映像データは、サブデータとして、当該視点映像と関連度が高い映像を含む。例えば、この映像は、視聴中の視点映像と撮影位置が近い他の視点映像、又は視聴中の視点映像内の被写体を含む他の視点映像等である。このように、サーバ１０３は、視聴中の視点映像と関連度が高い映像を視聴映像と同時に端末装置１０２に送信してもよい。また、映像データは、ユーザが指定した視点映像だけでなく、視点映像又は被写体に対するコメント、評価及び関連情報等を含む。また、サーバ１０３は、当該サーバ１０３で集計した視聴数の最も多い視点映像の情報等を送信する。

蓄積部１１２は、受信部１１１が受信した映像データを一時的に保持する。これにより、視点が切り替わった時にシームレスな表示が可能になる。

画像処理部１１３は、視点映像が符号化されている場合は復号処理を行う。また、画像処理部１１３は、視点映像、サーバ１０３より受信した視点映像に関する情報、及び被写体に関する情報を用いて、ユーザ１０６に提示する出力映像を生成する。なお、この際、画像処理部１１３は、別途サーバ１０３より視聴数の多い視点映像、及び、コメントが多い又は評価が高い被写体の統計情報等を取得し、それらの情報を強調するような出力映像を作成してもよい。例えば、画像処理部１１３は、視聴数の多い視点映像の選択アイコンを光らせる、又は評価の高い被写体の輪郭等を光らせることで、これらを強調させてもよい。

出力部１１４は、画像処理部１１３で生成された出力映像をモニタ１０５に出力する。

制御部１１６は、ユーザ指示を受け付ける。ここで、ユーザの指示とは、（１）視点映像切替要求と、（２）評価付加要求と、（３）情報取得要求とを含む。

（１）視点映像切替要求は、視聴する視点映像を切り替える要求であり、（１−１）お気に入り視点映像切替モードと、（１−２）お気に入り被写体切替モードと、（１−３）お薦め視点映像切替モードと、（１−４）お薦め被写体切替モードとを含む。

（１−１）お気に入り視点映像切替モードは、ユーザ１０６が予め登録したお気に入りの視点映像を選択するモードである。（１−２）お気に入り被写体切替モードは、ユーザ１０６が予め登録したお気に入りの被写体を含む視点映像を選択するモードである。また、お気に入り視点映像切替モード及びお気に入り被写体切替モードでは、ユーザが予め登録したお気に入りの視点映像又は被写体を含む視点映像だけでなく、ユーザは、映像を視聴しながら視点映像又は被写体を随時選択できる。

（１−３）お薦め視点映像切替モードは、複数のユーザによる評価が高い視点映像を選択するモードである。（１−４）お薦め被写体切替モードは、複数のユーザによる評価が高い被写体を含む視点映像を選択するモードである。

（２）評価付加要求は、視点映像又は被写体を評価するための要求であり、（２−１）視点映像評価付加モードと、（２−２）被写体評価付加モードとを含む。（２−１）視点映像評価付加モードは、ユーザ１０６が視点映像を評価するためのモードである。（２−２）被写体評価付加モードは、ユーザ１０６が視点映像に含まれる被写体を評価するためのモードである。

（３）情報取得要求は、視点映像又は被写体の情報を取得するための要求であり、（３−１）視点映像情報取得モードと、（３−２）被写体情報取得モードとを含む。（３−１）視点映像情報取得モードは、視点映像の情報を取得するためのモードである。（３−２）被写体情報取得モードは、視点映像に含まれる被写体の情報を取得するためのモードである。

制御部１１６は、ユーザの指示が（１）視点映像切替要求の場合は、指定された視点映像位置の情報、又は指定された被写体位置の情報をサーバ１０３へ送信部１１５を介して送信する。

また、制御部１１６は、ユーザの指示が（２）評価付加要求の場合は、視点映像に対するコメント或いは評価情報及びその評価付加時の時間情報、又は、指定された被写体に対するコメント或いは評価情報及びその評価付加時の時間情報等を、送信部１１５を介してサーバ１０３へ送信する。

また、制御部１１６は、ユーザの指示が（３）情報取得要求の場合は、指定された視点映像の位置の情報、又は指定された被写体位置の情報、及び情報取得内容の情報等をサーバ１０３へ送信部１１５を介して送信する。ここで、情報取得内容とは、視点映像及び被写体に関する情報であり、例えば、（１）視点映像或いは被写体に対するコメント或いは評価、（２）視点映像の撮影者或いは被写体のプロフィール、又は（３）視点映像の撮影者が撮影した他コンテンツの情報、或いは被写体の関連グッズ情報などである。

また、ユーザの指示が（１−２）お気に入り被写体切替モード、（２−２）被写体評価付加モード、又は（３−２）被写体情報取得モードである場合のように被写体が指定される場合は、サーバ１０３側でユーザが指定した被写体を特定するために、ユーザが指定した被写体情報（名前或いは背番号等）、又は、ユーザがタッチ操作、マウス操作、ジェスチャ操作、視線操作、或いは音声操作等で指定した視点映像内の被写体の画素情報がサーバ１０３へ送信される。

以下、端末装置１０２の動作を説明する。図３は、端末装置１０２による処理全体のフローチャートである。

まず、端末装置１０２は、ユーザ指示が（１）視点映像切替要求であるか、（２）評価付加要求であるか、（３）情報取得要求であるかを判定する（Ｓ１０１、Ｓ１０３、Ｓ１０５）。

ユーザ指示が視点映像切替要求である場合（Ｓ１０1でＹｅｓ）、端末装置１０２は、視点映像切替処理を行う（Ｓ１０２）。ユーザの指示が評価付加要求である場合（Ｓ１０３でＹｅｓ）、端末装置１０２は評価付加処理を行う（Ｓ１０４）。ユーザの指示が情報取得要求である場合（Ｓ１０５でＹｅｓ）、端末装置１０２は情報取得処理を行う（Ｓ１０６）。

なお、端末装置１０２は、必ずしも上記全ての判定を行う必要はなく、例えば、ユーザの指示が視点映像切替要求かどうかだけを判断するようにするなど、上記判定をオプションとして扱うようにしても構わない。

以下、視点映像切替処理（Ｓ１０２）、評価付加処理（Ｓ１０４）、及び情報取得処理（Ｓ１０６）の詳細を説明する。

まず、視点映像切替処理（Ｓ１０２）について説明する。図４は、端末装置１０２による視点映像切替処理のフローチャートである。

まず、端末装置１０２は、視点映像切替モードが、（１−１）お気に入り視点映像切替モードであるか、（１−２）お気に入り被写体切替モードであるか、（１−３）お薦め視点映像切替モードであるか、（１−４）お薦め被写体切替モードであるかを判定する（Ｓ１２１、Ｓ１２３及びＳ１２６）。

視点映像切替モードがお気に入り視点映像切替モードである場合（Ｓ１２１でＹｅｓ）、端末装置１０２は、ユーザ１０６が指定した視点映像位置の視点映像の配信をサーバ１０３へ要求する（Ｓ１２２）。

視点映像切替モードがお気に入り被写体切替モードである場合（Ｓ１２３でＹｅｓ）、端末装置１０２は、ユーザが指定した被写体の情報をサーバ１０３へ送信する（Ｓ１２４）。ここで、被写体の情報とは、例えば、被写体の名前或いは背番号等の被写体情報、又は、ユーザがタッチ操作或いはマウス操作で指定した視点映像内の被写体の画素情報である。被写体情報（名前又は背番号等）の取得は、例えば、画面に出力された被写体情報をユーザがタッチ操作、マウス操作、又は音声等で指定することで行われる。また、視点映像内の被写体の画素情報には、例えば、視点映像内の被写体の画素位置又は画素情報が含まれる。

また、端末装置１０２は、ユーザが指定した被写体の追尾映像の配信をサーバへ要求する（Ｓ１２５）。

視点映像切替モードがお薦め視点映像切替モードである場合（Ｓ１２６でＹｅｓ）、端末装置１０２は、サーバ１０３が生成したお薦め視点映像の配信をサーバ１０３へ要求する（Ｓ１２７）。

視点映像切替モードがお薦め被写体切替モードである場合（Ｓ１２６でＮｏ）、端末装置１０２は、サーバ１０３が生成したお薦め被写体追尾映像の配信をサーバ１０３へ要求する（Ｓ１２８）。

ステップＳ１２２、Ｓ１２５、Ｓ１２７又はＳ１２８の後、端末装置１０２は、サーバ１０３から送信された映像データを受信し、受信した映像データを蓄積部１１２へ保存する（Ｓ１２９）。なお、サーバ１０３から受信する映像データは、視点映像に加え、サーバ１０３側で加工又は編集等して制作された映像を含んでもよい。

また、端末装置１０２は、サーバ１０３から受信した映像データの受信が全て完了するまで待つ必要はなく、一定のデータ量を受信した時点から再生を開始してもよい。また、端末装置１０２は、サーバ１０３から映像データを受信し、再生が開始できるまでは、以前に再生していた映像データを再生してもよい。

次に、端末装置１０２は、蓄積部１１２から表示対象の映像データを抽出し、当該映像データを復号する（Ｓ１３０）。次に、端末装置１０２は、復号した映像データと表示用ユーザインタフェースとを合成することで合成映像（出力映像）を生成する（Ｓ１３１）。

次に、端末装置１０２は、合成映像をディスプレイ等のモニタ１０５へ出力する（Ｓ１３２）。これにより、合成映像がモニタ１０５に表示される。

以下、評価付加処理（Ｓ１０４）について説明する。図５は、端末装置１０２による評価付加処理のフローチャートである。

まず、端末装置１０２は、評価付加モードが（２−１）視点映像評価付加モードであるか、（２−２）被写体評価付加モードであるかを判定する（Ｓ１４１）。

評価付加モードが視点映像評価付加モードである場合（Ｓ１４１でＹｅｓ）、端末装置１０２は、ユーザ１０６が視聴中の視点映像に対する評価情報及び評価付加時の時刻情報をサーバ１０３へ送信する（Ｓ１４２）。ここで評価情報とは、視点映像に対するコメント又は評価である。また、評価とは、視点映像が良い又は悪いを示す情報であってもよいし、良い度合い又は悪い度合いを示す情報であってもよい。

評価付加モードが被写体評価付加モードである場合（Ｓ１４１でＮｏ）、端末装置１０２は、ユーザが指定した被写体の情報をサーバ１０３へ送信する（Ｓ１４３）。なお、被写体の情報の内容及びその取得方法は、上述したステップＳ１２４と同様である。

被写体情報（名前又は背番号等）の取得は、例えば、画面に出力された被写体情報をユーザがタッチ操作、マウス操作、又は音声等で指定することで行われる。また、視点映像内の被写体の画素情報には、例えば、視点映像内の被写体の画素位置又は画素情報が含まれる。

次に、端末装置１０２は、ユーザが指定した被写体に対する評価情報及び評価付加時の時刻情報をサーバ１０３へ送信する（Ｓ１４４）。

以下、情報取得処理（Ｓ１０６）について説明する。図６は、端末装置１０２による情報取得処理のフローチャートである。

まず、端末装置１０２は、情報取得モードが（３−１）視点映像情報取得モードであるか、（３−２）被写体情報取得モードであるかを判定する（Ｓ１６１）。

情報取得モードが視点映像情報取得モードである場合（Ｓ１６１でＹｅｓ）、端末装置１０２は、ユーザが視聴中の視点映像に関する情報の取得要求をサーバ１０３へ送信する（Ｓ１６２）。ここで、視点映像に関する情報とは、例えば、視点映像に対するコメント或いは評価、視点映像の撮影者のプロフィール、又は、視点映像の撮影者が撮影した他コンテンツの情報等である。

情報取得モードが被写体情報取得モードである場合（Ｓ１６１でＮｏ）、端末装置１０２は、ユーザが指定した被写体の情報をサーバ１０３へ送信する（Ｓ１６３）。なお、被写体の情報の内容及びその取得方法は、上述したステップＳ１２４と同様である。

次に、端末装置１０２は、ユーザが指定した被写体に関する情報の取得要求をサーバ１０３へ送信する（Ｓ１６４）。ここで、被写体の情報とは、例えば、被写体に対するコメント或いは評価、被写体のプロフィール、又は、被写体の関連グッズ情報等である。

ステップＳ１６２又はＳ１６４の後、端末装置１０２は、サーバから送信された視点映像又は被写体に関する情報を受信する（Ｓ１６５）。次に、端末装置１０２は、表示用ユーザインタフェースに受信した視点映像又は被写体に関する情報を付加し、当該インタフェースを再生中の映像データと合成することで合成映像を生成する（Ｓ１６６）。なお、端末装置１０２は、受信した視点映像又は被写体に関する情報を再生中の映像データに重畳表示してもよい。

次に、端末装置１０２は、生成された合成映像をモニタ１０５に出力する（Ｓ１６７）。これにより、これにより、合成映像がモニタ１０５に表示される。

以下、サーバ１０３の構成を説明する。図７は、サーバ１０３の構成を示すブロック図である。図７に示すサーバ１０３は、受信部１２１と、蓄積部１２２と、画像処理部１２３と、送信部１２４と、制御部１２６とを備える。

受信部１２１は、複数のカメラ１０１から、当該複数のカメラ１０１が異なる視点から同一の場面を同一の時間帯に撮影することで得られた複数の視点映像と、撮影カメラ情報とを受信する。撮影カメラ情報は、例えば、カメラ１０１の位置情報、撮影時刻情報、及び撮影者のプロフィール情報等を含む。ここで、撮影カメラ位置情報は、例えば、撮影カメラに内蔵されているＧＰＳ等のセンサで得られた情報である。なお、撮影カメラ位置情報は、ＷｉＦｉ（登録商標）等の無線情報又は撮影映像の特徴量から推定された位置情報であってもよい。また、サーバ１０３は、ＷｉＦｉ等の無線情報又は撮影映像の特徴量からカメラ１０１の位置を推定してもよい。

蓄積部１２２は、受信部１２１が受信した複数の視点映像と撮影カメラ情報とを保管する。また、蓄積部１２２は、視点映像又は被写体にユーザが付加したコメント又は評価を、これらが付加された時刻情報と合せて保管する。また、蓄積部１２２は、コメント数が多い又は評価が高い視点映像又は被写体に関する統計等の収集データを保管する。また、蓄積部１２２は、視点映像の撮影者或いは被写体のプロフィール、又は被写体の関連グッズの情報など、視点映像及び被写体に関する情報を保管してもよい。

画像処理部１２３は、端末装置１０２からの視点映像切替要求に応じて、視点映像を加工又は編集することで映像データを生成し、生成した映像データを、送信部１２４を介して端末装置１０２へ送信する。また、画像処理部１２３は、端末装置１０２から受信した視点映像内の被写体の画素情報と、カメラ１０１で撮影された複数の視点映像との特徴量マッチング等により、画像情報で示される被写体を含む視点映像を特定し、特定した結果を制御部１２６に送る。

送信部１２４は、画像処理部１２３が生成した映像データを送信する。

制御部１２６は、端末装置１０２及びインターネット（ネットワーク１０４Ａ又は１０４Ｂ）からのデータを受信する。具体的には、制御部１２６は、端末装置１０２からの視点映像切替要求、評価付加要求及び情報取得要求を受信する。また、制御部１２６は、被写体について検索キーを作成し、被写体のプロフィール又は関連グッズの情報などをインターネット検索により取得し、蓄積部１２２に保管又は端末装置１０２へ送信する。また、制御部１２６は、関連グッズの購入のためのウェブストアへのデータの送受信を行う。

以下、サーバ１０３の動作を説明する。図８は、サーバ１０３による処理全体のフローチャートである。

まず、サーバ１０３は、複数のカメラ１０１から送信された複数の視点映像を受信し、撮影カメラ情報と合せて蓄積部１２２へ保存する（Ｓ２０１）。

次に、サーバ１０３は、端末装置１０２から視点映像切替要望を受信したかを判定する（Ｓ２０２）。視点映像切替要望を受信した場合（Ｓ２０２でＹｅｓ）、サーバ１０３は、視点映像切替処理を行う（Ｓ２０３）。

また、サーバ１０３は、端末装置１０２から評価付加要望を受信したかを判定する（Ｓ２０４）。評価付加要望を受信した場合（Ｓ２０４でＹｅｓ）、サーバ１０３は、評価付加処理を行う（Ｓ２０５）。

また、サーバ１０３は、端末装置１０２から情報取得要求を受信したかを判定する（Ｓ２０６）。情報取得要求を受信した場合（Ｓ２０６でＹｅｓ）、サーバ１０３は、情報取得処理を行う（Ｓ２０７）。

なお、図８に示す処理順は一例であり、ステップＳ２０２、Ｓ２０４及びＳ２０６の判定処理の順序は任意でよい。

なお、視点映像又は被写体に付加する評価情報は、必ずしもユーザ１０６から直接取得するものに限定する訳ではなく、別途取得されてもよい。例えば、これらの評価情報は、別途、ＳＮＳ等から取得されてもよい。

以下、視点映像切替処理（Ｓ２０３）、評価付加処理（Ｓ２０５）、及び情報取得処理（Ｓ２０７）の詳細を説明する。

まず、視点映像切替処理（Ｓ２０３）について説明する。図９は、サーバ１０３による視点映像切替処理のフローチャートである。

まず、サーバ１０３は、視点映像切替モードが、（１−１）お気に入り視点映像切替モードであるか、（１−２）お気に入り被写体切替モードであるか、（１−３）お薦め視点映像切替モードであるか、（１−４）お薦め被写体切替モードであるかを判定する（Ｓ２２１、Ｓ２２３及びＳ２２６）。

視点映像切替モードがお気に入り視点映像切替モードである場合（Ｓ２２１でＹｅｓ）、サーバ１０３は、受信した視点映像位置の視点映像を蓄積部１２２から選択し、端末装置１０２へ送信する映像データに設定する（Ｓ２２２）。

視点映像切替モードがお気に入り被写体切替モードである場合（Ｓ２２３でＹｅｓ）、サーバ１０３は、端末装置１０２から受信した被写体の情報を用いてユーザが指定した被写体を特定する（Ｓ２２４）。具体的には、サーバ１０３は、被写体情報（名前或いは背番号等）、又は視点映像内の被写体の画素情報及び撮影カメラ群の複数の視点映像を用いて、特徴量マッチング等により被写体を特定する。

次に、サーバ１０３は、特定した被写体が含まれる視点映像を蓄積部１２２から複数選択し、映像内の被写体の占める面積の割合に応じて時間毎に視点映像を切換えることにより端末装置１０２へ送信する映像データを生成する（Ｓ２２５）。なお、サーバ１０３は、映像内の被写体の占める面積の割合だけでなく、例えば、常に被写体の正面顔が写っている視点映像を優先して選択してもよいし、常に被写体が真ん中に映っている視点映像を優先して選択してもよい。つまり、サーバ１０３は、撮影状況に応じて、被写体の写りが良い映像を選択すればよい。

視点映像切替モードがお薦め視点映像切替モードである場合（Ｓ２２６でＹｅｓ）、サーバ１０３は、評価が高い視点映像の統計データに応じて時間毎に視点映像を自動的に切換えることにより、端末装置１０２へ送信する映像データを生成する（Ｓ２２７）。

ここで評価が高い視点映像とは、ユーザにより高評価が付けられた視点映像である。例えば、視点映像ごとに、高評価を付与するためのメニューが用意されており、ユーザが当該メニューを選択することで、視点映像の高評価が１増加する。そして、評価が高い視点映像とは、この高評価の数が最も多い、又は、予め定められた値より多い視点映像である。さらに、低評価を付与するためのメニューが用意されていてもよい。この場合には、高評価と低評価との差分等に基づき、視点映像の評価が判断されてもよい。

また、ユーザが付与する評価は、例えば１〜５のような段階的な数値であってもよい。例えば、５は最も良いことを示し、１は最も悪いこと示す。このような場合には、例えば、評価の平均値に応じて、視点映像の評価が判断されてもよい。

また、上記判断には、付与された評価の数（高評価及び低評価の数の両方）が加味されてもよい。また、再生回数（視聴回数）が多い視点映像の評価が高いと判断されてもよいし、再生時間（視聴時間）が長い視点映像の評価が高いと判断されてもよい。

また、ユーザが視点映像にコメントを付与するためのメニューが用意されており、ユーザによるコメント数が多いほど評価が高いと判断されてもよい。さらに、コメント内容が解析され、当該コメント内容に応じて、高評価或いは低評価、又は段階的な数値が判断されてもよい。

また、ユーザによりお気に入り登録されている数が多い視点映像ほど評価が高いと判断されてもよい。

また、上記の判断手法のうち２以上を組み合わせてもよい。

また、統計データとは、撮影シーン全体の統計データであってもよいし、撮影シーンが分割された各期間の統計データであってもよい。例えば、スポーツの試合であれば、当該統計データは、当該試合の全期間における統計データであってもよし、前半及び後半、又は所定の期間毎の統計データであってもよい。さらに、当該統計データは、撮影シーンを超えた長期間における統計データであってもよい。例えば、スポーツの試合であれば、当該統計データは、１週間又は１カ月内に行われた複数の試合の全統計データであってもよいし、１又は複数シーズン中の統計データであってもよい。

視点映像切替モードがお薦め被写体切替モードである場合（Ｓ２２６でＮｏ）、サーバ１０３は、評価が高い被写体の統計データから被写体を特定する（Ｓ２２８）。なお、評価が高い被写体は、上記の評価が高い視点映像と同様の手法により判断される。

次に、サーバ１０３は、特定した被写体が含まれる視点映像を蓄積部１２２から複数選択し、映像内の被写体の占める面積の割合に応じて時間毎に視点映像を切換えることにより、端末装置１０２へ送信する映像データを生成する（Ｓ２２９）。なお、サーバ１０３は、映像内の被写体の占める面積の割合だけでなく、例えば、常に被写体の正面顔が写っている視点映像を優先して選択してもよいし、常に被写体が真ん中に映っている視点映像を優先して選択してもよい。つまり、サーバ１０３は、撮影状況に応じて、被写体の写りが良い映像を選択すればよい。

ステップＳ２２２、Ｓ２２５、Ｓ２２７又はＳ２２９の後、サーバ１０３は、生成した映像データを端末装置１０２へ送信する（Ｓ２３０）。

なお、サーバ１０３は、お気に入り視点映像切替モード、又はお気に入り被写体切替モード時に、視点映像に動く被写体が映らなくなった場合、又は視点映像を撮影しているカメラのバッテリ不足により撮影が中断した場合等、特定のイベントが発生した場合にはそれを検知し、ユーザ１０６が視聴していた視点映像と撮影位置が近い他の視点映像に自動的に視聴する映像を切換えてもよい。また、サーバ１０３は、切替モードを、お薦め視点映像切替モード、又はお薦め被写体切替モードに切り替えてもよい。また、サーバ１０３は、逆に、お薦め視点映像切替モード、又はお薦め被写体切替モード時に、特定のイベントが発生した場合に、切替モードを、お気に入り視点映像切替モード、又はお気に入り被写体切替モードに切り替えてもよい。

また、被写体に対するコメント数及び評価値は、必ずしもユーザから付加されるものに限定する必要なく、サーバ１０３は、これらを別途取得してもよい。例えば、サーバ１０３は、被写体の名前によるＷｅｂ検索の検索結果数に基づいて、予め初期値を設定してもよい。

以下、評価付加処理（Ｓ２０５）について説明する。図１０は、サーバ１０３による評価付加処理のフローチャートである。

まず、サーバ１０３は、評価付加モードが（２−１）視点映像評価付加モードであるか、（２−２）被写体評価付加モードであるかを判定する（Ｓ２４１）。

評価付加モードが視点映像評価付加モードである場合（Ｓ２４１でＹｅｓ）、サーバ１０３は、ユーザが視聴中の視点映像に対するコメント又は評価である評価情報及び評価付加時の時刻情報を端末装置１０２から受信し、受信した視点映像の評価情報を蓄積部１２２へ保存する（Ｓ２４２）。

評価付加モードが被写体評価付加モードである場合（Ｓ２４１でＮｏ）、サーバ１０３は、端末装置１０２から受信した被写体の情報を用いて被写体を特定する（Ｓ２４３）。なお、被写体の情報の内容及び被写体の特定方法は、上述したステップＳ２２４と同様である。

次に、サーバ１０３は、ユーザが指定した被写体に対する評価情報及び評価付加時の時刻情報を端末装置１０２から受信し、受信した被写体の評価情報を蓄積部１２２へ保存する（Ｓ２４４）。

ステップＳ２４２又はＳ２４４の後、サーバ１０３は、蓄積部１２２へ保存した視点映像又は被写体に対する評価情報及び評価付加時の時刻情報を用いて、評価が高い視点映像又は被写体の統計情報を定期的に更新し、更新後の統計情報を蓄積部１２２へ保存する（Ｓ２４５）。

以下、情報取得処理（Ｓ２０７）について説明する。図１１は、サーバ１０３による情報取得処理のフローチャートである。

まず、サーバ１０３は、情報取得モードが（３−１）視点映像情報取得モードであるか、（３−２）被写体情報取得モードであるかを判定する（Ｓ２６１）。

情報取得モードが視点映像情報取得モードである場合（Ｓ２６１でＹｅｓ）、サーバ１０３は、ユーザが視聴中の視点映像に関する情報を蓄積部１２２から読み出し、読み出した情報を端末装置１０２へ送信する（Ｓ２６２）。ここで、視点映像に関する情報とは、例えば、視点映像に対するコメント或いは評価、視点映像の撮影者のプロフィール、又は、視点映像の撮影者が撮影した他コンテンツの情報等である。

情報取得モードが被写体情報取得モードである場合（Ｓ２６１でＮｏ）、サーバ１０３は、端末装置１０２から受信した被写体の情報を用いてユーザ１０６が指定した被写体を特定する（Ｓ２６３）。なお、被写体の情報の内容及びその取得方法は、上述したステップＳ２２４と同様である。また、サーバ１０３は、特徴量マッチング等により、被写体を数人に絞り込み、その中から、ユーザ１０６に対象の被写体を選択させてもよい。

次に、サーバ１０３は、ユーザ１０６が指定した被写体に関する情報を蓄積部１２２から読み出し、読み出した情報を端末装置１０２へ送信する（Ｓ２６４）。ここで、被写体の情報とは、例えば、被写体に対するコメント或いは評価、被写体のプロフィール、又は、被写体の関連グッズ情報等である。

以下、視点映像切替処理の動作例を説明する。図１２は、お気に入り被写体切替モードの動作例を示す図である。

この例では、サーバ１０３は、特定された被写体が含まれる視点映像Ａ、視点映像Ｂ及び視点映像Ｃを蓄積部１２２から選択し、映像内の被写体の占める面積の割合に応じて時間毎に視点映像を切換えることにより端末装置１０２へ送信する映像データを生成する。最初の期間では、視点映像Ａの、ユーザから指定された被写体の占める面積の割合が大きい。よって、この期間では、視点映像Ａが選択される。また、次の期間では、視点映像Ｃの、ユーザから指定された被写体の占める面積の割合が大きい。よって、この期間では、視点映像Ｃが選択される。最後の期間では、視点映像Ｂの、ユーザから指定された被写体の占める面積の割合が大きい。よって、この期間では、視点映像Ｂが選択される。このように、被写体の面積に応じて、複数の視点映像を繋ぎ合せた映像が生成される。

なお、サーバ１０３は、ある視点映像の連続再生時間が閾値を越えていなければ、閾値を越えるまで視点映像の切替を行わないように制御してもよい。これにより、視点映像の頻繁な切替を防ぐことができる。例えば、被写体の面積が視点映像Ａよりも視点映像Ｃの方が大きくなったとしても視点映像Ａの連続再生時間が例えば５秒を超えていない場合には、サーバ１０３は、視点映像Ａを連続して再生する。また、サーバ１０３は、視点映像Ｃに切り替えるタイミングにおいて、視点映像Ｃに被写体が例えば２秒以上撮影されている場合にのみ切り替えを行う。

図１３は、お薦め視点映像切替モードの動作例を示す図である。サーバ１０３は、図１３に示すように、評価が高い視点映像の統計データに応じて時間毎に視点映像を切換えることにより端末装置１０２へ送信する映像データを生成する。なお、サーバ１０３は、お気に入り被写体切替モードの場合と同様に、連続再生時間に応じた切替の制御を行ってもよい。

図１４は、お薦め被写体切替モードの動作例を示す図である。サーバ１０３は、図１４に示すように、評価が高い被写体が含まれる視点映像を蓄積部１２２から複数選択し、映像内の被写体の占める面積の割合に応じて時間毎に視点映像を切換えることにより、端末装置１０２へ送信する映像データを生成する。

なお、サーバ１０３は、お気に入り被写体切替モードの場合と同様に、連続再生時間に応じた切替の制御を行ってもよい。

また、上記説明では、上記のような切替を行う場合に、サーバ１０３において切替を行うことで単一の映像ストリームを生成し、当該映像ストリームを端末装置１０２へ送信する例を述べたが、当該処理の一部を端末装置１０２で行ってもよい。例えば、サーバ１０３は、複数の視点映像と、当該視点映像の切り替えタイミングを示す情報とを端末装置１０２へ送信し、端末装置１０２は、当該情報に基づき、複数の視点映像のうち再生（表示）する視点映像を切り替えてもよい。

以下、端末装置１０２における表示画面例について説明する。図１５は、端末装置１０２の出力画面の一例を示す図である。また、図１５は、ライブ映像が表示されている状態を示す。

図１５に示す出力画面３００Ａは、視点映像表示画面３０１と、視点選択用画面３０２と、操作ボタン３０３Ａ〜３０３Ｃ、３０４Ａ及び３０４Ｂと、情報表示画面３０５及び３０６とを含む。

視点映像表示画面３０１は、ユーザが選択した視点映像又は、ユーザが選択したモードにおいてサーバ１０３で生成された映像データが表示される。

ユーザが、視点映像表示画面３０１上の選手をタッチ又はマウスクリック等で選択した場合、サークル状の操作メニュー３０７Ｃが表示される。この操作メニュー３０７Ｃは、複数のメニューを含み、上から時計回りに「高評価」、「低評価」、「選手情報」、「お気に入り」のメニューが配置されている。ユーザが「高評価」又は「低評価」のメニューを選択した場合、選択された選手に評価（高評価又は低評価）が付加される（被写体評価付加モード）。

なお、評価は１〜６ポイントなどのポイントで付加する方法であってもよいし、「大変よい」「よい」等のコメント等で付加する方法など、どのような方法でも構わない。また、評価方法には、テキスト又は音声だけではなく、例えばコメントを絵で伝える等の方法が用いられても構わない。

また、各ユーザが付加できるポイント数に上限が設けることで、ポイントの価値を向上させるようにしても構わない。また、ユーザがお金を支払うことで、付加できるポイントの上限を増やせるようにしても構わない。

また、ユーザが「選手情報」のメニューを選択することで、選手に対するコメント、評価、関連グッズ情報、又は成績等、選手に関する情報が表示される（被写体情報取得モード）。

また、ユーザが「お気に入り」のメニューを選択することで、選択時の時刻又はその前後の視点映像が、選択した選手のお気に入りプレーとして登録されてもよい（被写体評価付加モード）。

また、サーバ１０３又は端末装置１０２は、関連グッズ情報、成績、又は選手に関する情報等に関連するＷｅｂサイト等にアクセスし、端末装置１０２はその内容を表示しても構わない。また、サーバ１０３又は端末装置１０２は、関連グッズを購入できるＷｅｂサイト等にアクセスし、端末装置１０２は、その内容を表示してもよい。これにより、視聴者は試合を見ながら、グッズを容易に購入できる。よって、本サービス提供者は、視聴者とグッズ販売会社とを本サービスを通じてつなげることができ、グッズ販売会社からそのマージンを取得できる等の効果が期待できる。

また、ユーザが「お気に入り」のメニューを選択することで、選択された選手がユーザのお気に入り選手として登録される。そして、お気に入り被写体切替モードにおいて登録された選手がお気に入り被写体として用いられる。

なお、ここでは、視点映像表示画面３０１が、一つのみ存在する例を示すが、複数の視点映像表示画面が、同時に表示されてもよい。例えば、出力画面には、３つの視点映像表示画面が含まれ、第１視点映像表示画面には、コート全体が撮影された視点映像が表示され、第２視点映像表示画面には、ユーザが指定した視点映像が表示され（お気に入り視点映像切替モード）、第３視点映像表示画面には、ユーザが指定した被写体の視点映像（お気に入り被写体切替モード）が表示される。また、視点映像表示画面３０１には、複数の視点映像を合成して作成された映像が表示されてもよい。この場合、例えば、ユーザが画面をタッチしたまま、左右上下へアングル変更することで、マルチアングルからの視聴を行うことができる。

また、視点映像表示画面３０１において、評価が高い選手が強調表示されてもよい。例えば、評価が高い選手の輪郭が光って表示されてもよい。

視点選択用画面３０２は、複数のカメラ１０１の位置（視点映像の視点位置）を示す図である。例えば、図１５に示す例では、試合会場の上面図に、複数のカメラ１０１の位置が丸印で示される。

また、ハッチングのついた丸印の位置が現在の視点映像表示画面３０１に表示されている視点映像の視点位置を示す。ユーザが各視点位置の丸印をタッチ又はマウスクリック等で選択した場合、表示される視点映像がその位置の視点映像に切替る（お気に入り視点映像切替モード）。

なお、視点選択用画面３０２において、評価が高い視点映像の視点位置が強調表示されてもよい。また、サーバ１０３は、各視点位置で計測される歓声等の音声データを解析し、視点選択用画面３０２において、その時刻において歓声が一番起きている視点位置が強調表示されてもよい。また、歓声が一番起きている視点映像が順に切替て表示されてもよい。

また、ユーザが、視点選択用画面３０２上の視点位置をタッチ又はマウスクリック等で長押し選択した場合、サークル状の操作メニュー３０７Ａが表示される。なお、この操作メニュー３０７Ａに関する動作は、対象が選手（被写体）から視点映像に変更されている点を除き、上述した操作メニュー３０７Ｃに関する動作と同様である。

具体的には、この操作メニュー３０７Ａは、複数のメニューを含み、上から時計回りに「高評価」、「低評価」、「視点映像情報」、「お気に入り」のメニューが配置されている。ユーザが「高評価」又は「低評価」のメニューを選択した場合、選択された視点映像に評価（高評価又は低評価）を付加される（視点映像評価付加モード）。なお、評価は１〜６ポイントなどのポイントで付加する方法であってもよいし、「大変よい」「よい」等のコメント等で付加する方法など、どのような方法でも構わない。

また、ユーザが「視点映像情報」のメニューを選択した場合、視点映像に対するコメント、評価、撮影者のプロフィール、又は撮影者の他コンテンツ情報等が表示される（視点映像情報取得モード）。

また、ユーザが「お気に入り」のメニューを選択した場合、選択時の時刻又はその前後の視点映像が、選択された視点映像のお気に入り時間帯として登録されてもよい。（視点映像評価付加モード）。登録されたお気に入り時間帯は、録画視聴時に利用される。例えば、録画視聴時に、お気に入り時間帯の他の視点映像が表示される。

また、ユーザが「お気に入り」のメニューを選択した場合、選択された視点映像がお気に入り映像として登録される。そして、お気に入り視点映像切替モードの視点映像として、登録されたお気に入り映像が用いられる。

操作ボタン３０３Ａ〜３０３Ｃは、それぞれお気に入り被写体切替モード、お薦め被写体切替モード、及びお薦め視点映像切替モードを選択するためのボタンである。

操作ボタン３０４Ａ及び３０４Ｂは、ライブ映像と録画映像を切替えるためのボタンである。例えば、ユーザが操作ボタン３０４Ａを選択した場合、視点映像表示画面３０１にライブ映像が表示される。ユーザが操作ボタン３０４Ｂを選択した場合、視点映像表示画面３０１に録画映像が表示される。

情報表示画面３０５は、現在の試合の情報等を表示する。例えば、図１５に示す数字が記載された丸印は、選手の背番号を示す。また、例えば、上段の背番号は現在試合に出場している選手の背番号であり、下段の背番号は控え選手の背番号である。

ユーザが、選手の背番号をタッチ又はマウスクリック等で選択した場合、サークル状の操作メニュー３０７Ｂが表示される。なお、この操作メニュー３０７Ｂに関する動作は、上述した操作メニュー３０７Ｃに関する動作と同様である。

情報表示画面３０６は、ユーザが被写体（選手）に付加した評価の集計等を表示する。情報表示画面３０５と同様に、数字が記載された丸印は、選手の背番号を示す。各背番号の右横には、当該背番号の選手に対する複数のユーザの評価が示される。具体的に、上段は高評価の数を示し、下段は低評価の数を示す。また、図１５に示す例では、高評価及び低評価の各々に対して６段階（１〜６）の評価が行われ、各段階の評価が付与された数が記載されている。また、この評価は所定の期間ごとに集計された値が表示される。

また、情報表示画面３０６の左端には、縦方向を時間軸としてお気に入りシーンとして登録されている時刻が星印で示されている。

また、ユーザが選手の背番号をクリックした場合、その選手に付加されたコメント及び評価の詳細が表示される。

また、情報表示画面３０６に表示される集計値は、一定時間毎に更新されてもよい。または、ユーザから評価が付加される毎にこの集計値が更新されてもよい。また、被写体に付加されたポイントは、被写体の年俸に反映する等、被写体にフィードバックされるようにしても構わない。

図１６は、端末装置の出力画面の一例を示す図である。また、図１６は、録画映像が表示されている状態を示す。例えば、図１５に示す出力画面３００Ａにおいて、ユーザが操作ボタン３０４Ｂを選択することにより、図１６に示す出力画面３００Ｂが表示される。

図１６に示す出力画面３００Ｂは、図１５に示す出力画面３００Ａに対して、情報表示画面３０５の代わりに情報表示画面３０８を含む。

出力画面３００Ｂの横方向は時間軸を示し、波形により盛り上がり度（例えば歓声等の音量）が表示されている。また、下段の星印によりお気に入り登録されている時刻が示され、中段の丸印によりお薦めのシーンの時刻が示される。また、下段の丸印は、一方のチームの得点を入れた選手の背番号を示し、その上の数値は得点を示す。同様に、上段の丸印は、他方のチームの得点を入れた選手の背番号を示し、その下の数値は得点を示す。

また、お薦めとして展開した視点映像がより多くの人に視聴された場合、その視点映像の撮影者へポイントの還元が行われてもよい。

また、録画映像表示時には、ユーザがお気に入りを付加した視点映像或いは被写体、又は、評価が高い視点映像或いは被写体、又は、歓声等の音声データに応じて視聴ポイントが表示されてもよい。

また、ある被写体が選択された場合に、その被写体に付加された評価に応じたプレー集がランキング形式等で表示され、このプレー集が再生されてもよい。例えば、ユーザが背番号５の選手を選択した場合、背番号５の選手に対して高ポイント（例えば６ポイント）が付加されたプレー集が表示される。そして、その中から選択された１プレーが再生される。

また、各評価のコメント表示時に、そのコメントを投稿したユーザが撮影した視点映像一覧が同時に表示されてもよい。また、撮影者がお気に入りなどに登録されてもよい。この場合に、お気に入り登録された撮影者が撮影した視点映像だけを視聴できるモードが存在してもよい。

図１７は、本実施の形態に係る出力画面の別の例を示す図である。図１７に示す出力画面３００Ｃは、メイン画面３１１と、第１サブ画面３１２Ａと、第２サブ画面３１２Ｂと、視点選択用画面３１３とを含む。

メイン画面３１１には、ユーザが指定した視点映像が表示される（お気に入り視点映像切替モード）。第１サブ画面３１２Ａには、上述したお薦め視点映像切替モードで生成されるお勧め視点映像が表示される。第２サブ画面３１２Ｂには、上述したお薦め被写体切替モードで生成されるお薦め被写体映像が表示される。

この状態において、ユーザが第１サブ画面３１２Ａをクリックすると、お薦め視点映像がメイン画面３１１に表示される。そして、第１サブ画面３１２Ａには、次にお薦めの視点映像が表示される。

同様に、ユーザが第２サブ画面３１２Ｂをクリックすると、お薦め被写体映像がメイン画面３１１に表示される。そして、第２サブ画面３１２Ｂには、次にお薦めの被写体映像が表示される。

また、ユーザが、メイン画面３１１に表示されている視点映像内の被写体をクリック等で指定した場合、お気に入り被写体切替モードに移行し、指定された被写体の追跡映像が表示される。さらに、お気に入り被写体映像の表示中にユーザがメイン画面３１１をクリックすると、前に視聴していた視点映像に表示が切り替えられる。

なお、ここでは、第１サブ画面３１２Ａ及び第２サブ画面３１２Ｂに、お薦め視点映像とお薦め被写体映像とが表示される例を示したが、第１サブ画面３１２Ａに第１のお勧め視点映像が表示され、第２サブ画面３１２Ｂに第２のお勧め視点映像が表示されてもよい。同様に、第１サブ画面３１２Ａに第１のお勧め被写体映像が表示され、第２サブ画面３１２Ｂに第２のお勧め被写体映像が表示されてもよい。

また、第１サブ画面３１２Ａ及び第２サブ画面３１２Ｂの表示オフにして、図１５又は図１６に示す情報表示画面３０５、３０６又は３０８が表示されてもよい。

また、ユーザがメイン画面３１１をダブルクリック等した場合に、メイン画面３１１のみがディスプレイに全画面表示されてもよい。

なお、視点選択用画面３１３は、図１５及び図１６に示す視点選択用画面３０２と同様である。

以下、サーバ１０３で編集した映像（追尾映像）の端末装置１０２への配信方法を説明する。まず、サーバ１０３は、被写体Ａの第１追尾映像と、被写体Ｂの第２追尾映像とを生成する。なお、ここでは、説明の簡略化のため、２つの追尾映像が生成される例を述べるが、３以上の追尾映像が生成されてもよい。また、サーバ１０３から送信される映像は追尾映像に限らず、視点映像の一つであってもよいし、お気に入り視点映像又はお薦め視点映像等であってもよい。

サーバ１０３は、マルチキャスト（ブロードキャスト）で生成した複数の映像を端末装置１０２へ送信する。具体的には、サーバ１０３は、第１追尾映像を１ｃｈで、第２追尾映像を２ｃｈで配信する。端末装置１０２は、ユーザの要望に合せてｃｈ切替を行うことで、表示する映像を切り替える。

この方法を用いることで、必要な帯域を一定にできる。これにより、ユーザ数（端末装置１０２の数）が多い場合にも容易に対応できる。

なお、必要な帯域が変動するためユーザ数が多い場合に対応しにくいという課題はあるが、サーバ１０３からある端末装置１０２へ、又は端末装置同士でユーザが要望する１つの映像の送受信を行ってもよい。ユーザ数が少ない場合には必要な帯域を少なくできるという利点もある。

以下、通信エラーが発生した場合の処理について説明する。

理想的にはサーバ１０３は、ユーザの評価結果に従って、お薦め視点映像、又はお薦め被写体映像を生成する。一方で、以下のような場合には、これらの映像を生成又は送信できない。

まず、サーバ１０３と端末装置１０２との間で以下の問題が発生する場合がある。

（１）端末装置１０２の受信可能帯域と比較して、送信映像（お薦め視点映像又はお薦め被写体映像等）のデータ量が大きい場合。このような場合には、以下のいずれかの方法を用いることができる。

（１−１）サーバ１０３は、送信映像の解像度又はフレームレートを下げて再エンコードし、得られた映像を端末装置１０２へ送信する。このように、データ量が削減された送信映像が使用される。

なお、サーバ１０３は、カメラ１０１から送信された視点映像の解像度又はフレームレートを変換することで複数のビットレートの映像信号を生成し、この複数の映像信号を格納しておいてもよい。

また、サーバ１０３は、視聴中に端末装置１０２が使用できる帯域幅が変動した場合、使用できる帯域幅にあわせて、送信映像を切り替えてもよい。

また、サーバ１０３は、端末装置１０２が使用できる通信帯域に応じて送信する映像の数を決定してもよい。具体的には、サーバ１０３は、通信帯域が広いほど、送信映像の数を増加させる。

（１−２）サーバ１０３は、対象映像に近い他の映像（例えば、撮影位置が近い、映っているものが近い等）でデータ量が小さいものを代用する。

（２）送信映像又は送信映像の生成に用いる視点映像に配信してはいけない映像又は領域が映っている場合。このような場合には、以下のいずれかの方法を用いることができる。

（２−１）サーバ１０３は、対象映像に近い他の映像（例えば、撮影位置が近い、映っているものが近い等）で問題がない映像を代用する。

（２−２）サーバ１０３は、他の評価の高い映像を代用する。例えば、サーバ１０３は、２番目に評価の高い映像に同様の問題がなければ、その映像を代用する。

また、カメラ１０１（撮影者）とサーバ１０３との間で以下の問題が発生する場合がある。

（３−１）カメラ１０１からの映像がパケットロス等により、サーバ１０３に届かない場合。（３−２）カメラ１０１の帯域が不安定で、サーバ１０３へのデータ転送が遅延した場合。（３−３）撮影者が突然撮影を中断した場合（バッテリー不足又は熱課題等）。このような場合には、以下のいずれかの方法を用いることができる。

（４−１）サーバ１０３は、評価の高い視点映像又は被写体映像に近い他の映像（例えば、撮影位置が近い、映っているものが近い等）を代用する。

（４−２）サーバ１０３は、他の評価の高い映像を代用する。例えば、サーバ１０３は、２番目に評価の高い映像を代用する。

以下、ユーザ評価が高い映像以外を送信する方法について説明する。

ここで、人気のない視点映像は、あまり人が見ていない、つまり、着目されていない映像である。なお、人気のない視点映像とは、再生回数が少ない映像、評価が低い映像、又は、評価又はコメントの数が少ない映像等である。しかしながら、このような視点映像も一部の人にとっては有益である場合があり、サーバ１０３は、あまり注目されていない視点映像をつなぎ合せて配信してもよい。例えば、上記システムを、監視用途（例えば複数の監視カメラを含む監視システム）に適用できる。このような場合において、複数の監視カメラの映像を複数人でモニタリングする場合を想定する。この場合、複数人が見ている視点映像は十分に監視が行われているが、あまり見られていない視点映像は死角となる可能性がある。よって、サーバ１０３は、あまり注目されていない視点映像（視聴している人の数が少ない視点映像）をつなぎ合せて配信する。また、この映像が、監視員が注目中の視点映像の脇に別画面で表示される。これにより、監視員が監視できていない死角を低減できる。

また、一定時間注目されていない視点映像が存在する場合、その旨が監視員に通知又は警告されてもよいし、注目されていない視点映像を示す情報が監視者に通知されてもよい。ここで、一定時間注目されていない視点映像とは、例えば、一定時間再生が行われていない視点映像である。なお、複数の視点映像が同時に表示されている場合には、一定時間注目されていない視点映像とは、一定時間メイン画面に表示する映像として選択されていない視点映像、又は、一定時間評価が行われていない視点映像であってもよい。また、一定時間注目されていない視点映像とは、再生回数、選択回数又は評価の数が予め定められた閾値以下の映像であってもよい。

例えば、図１５に示す視点選択用画面３０２等において、一定時間注目されていない視点映像の視点位置が強調表示されてもよい。例えば、当該視点位置の色が他の視点位置の色と異なる色に変更されてもよい。これにより、監視員に、注目されていない視点映像の監視を促すことができる。

以上で説明したように、本実施の形態に係るサーバ１０３は、図１８に示す処理を行う。

サーバ１０３は、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく第１映像信号を端末装置１０２に配信する。

まず、サーバ１０３は、複数のユーザによる複数の映像の評価値に基づき、複数の期間の各々に対して、複数の映像から第１選択映像を選択する（Ｓ３０１）。具体的には、サーバ１０３は、評価値が高い映像を第１選択映像として選択する。

より具体的には、上述したお薦め視点映像切替モードで説明したように、評価値は、複数の映像の各々の評価値であり、サーバ１０３は、複数の期間の各々に対して複数の映像から当該期間における評価値が最も高い又は予め定められた値より高い映像を第１選択映像として選択する。

または、上述したお薦め被写体切替モードで説明したように、評価値は、複数の映像に含まれる複数の被写体の各々の評価値であり、サーバ１０３は、複数の期間の各々において、複数の映像から、評価値が最も高い又は予め定められた値より高いお薦め被写体が映っている映像を第１選択映像として選択する。例えば、サーバ１０３は、複数の期間の各々において、複数の映像から、お薦め被写体が映っている面積が最も大きい映像を第１選択映像として選択する。

なお、上述したユーザ評価が高い映像以外を送信する方法で説明したように、評価値は、複数の映像の各々の評価値であり、サーバ１０３は、複数の期間の各々に対して複数の映像から当該期間における前記評価値が予め定められた値より低い映像を第１選択映像として選択してもよい。

次に、サーバ１０３は、複数の期間に対して選択された複数の第１選択映像を連続して再生するための第１映像信号を端末装置１０２に送信する（Ｓ３０２）。具体的には、サーバ１０３は、複数の期間に対して選択された複数の選択映像を繋ぎ合せることで映像信号を生成し、当該映像信号を端末装置１０２に送信する。または、サーバ１０３は、複数の映像と、複数の期間の各々に対して選択された選択映像を特定するための情報とを、映像信号として端末装置１０２に送信する。この場合、端末装置１０２において、上記情報を用いて、複数の期間に対して選択された複数の選択映像を繋ぎ合せることで映像信号が生成される。

また、通信エラーが発生した場合の処理において説明したように、第１映像信号のデータ量が、端末装置１０２の受信帯域に基づく上限値より大きい場合、サーバ１０３は、さらに、複数の映像の評価値に基づき、複数の期間の各々に対して、複数の映像から第２選択映像を選択し、複数の期間に対して選択された複数の第２選択映像を連続して再生するための第２映像信号を端末装置１０２に送信する。ここで、複数の期間の各々に対して選択された第２選択映像の少なくとも一つは、複数の期間の各々に対して選択された第１選択映像と異なり、第２映像信号のデータ量は上記上限値より小さい。

また、複数の映像は、複数のカメラ１０１からリアルタイムでサーバ１０３に送信され、サーバ１０３は、第１選択映像に対応する映像のカメラ１０１からの送信が中断された場合、第１選択映像と異なる第２選択映像を選択し、第２選択映像を再生するための第２映像信号を端末装置１０２に送信する。

また、本実施の形態に係る端末装置１０２は、図１９に示す処理を行う。

端末装置１０２は、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号をサーバ１０３から受信する。

まず、端末装置１０２は、複数の期間に対して、複数のユーザによる複数の映像の評価値に基づき複数の映像から選択された複数の選択映像を連続して再生するための映像信号をサーバ１０３から受信する（Ｓ３１１）。具体的には、選択映像は、評価値が高い映像である。

より具体的には、上述したお薦め視点映像切替モードで説明したように、評価値は、複数の映像の各々の評価値であり、選択映像は、複数の期間の各々に対して複数の映像から選択された、当該期間における評価値が最も高い又は予め定められた値より高い映像である。

または、上述したお薦め被写体切替モードで説明したように、評価値は、複数の映像に含まれる複数の被写体の各々の評価値であり、選択映像は、複数の期間の各々において複数の映像から選択された、評価値が最も高い又は予め定められた値より高い被写体が映っている映像である。

または、上述したユーザ評価が高い映像以外を送信する方法で説明したように、評価値は、複数の映像の各々の評価値であり、選択映像は、複数の期間の各々に対して複数の映像から選択された、当該期間における評価値が予め定められた値より低い映像である。

次に、端末装置１０２は、受信した映像信号に基づき、複数の選択映像を連続して再生する（Ｓ３１２）。具体的には、端末装置１０２は、サーバ１０３において複数の期間の各々に対して選択された複数の選択映像を繋ぎ合せることで生成された映像信号を受信し、当該映像信号を再生する。または、端末装置１０２は、サーバ１０３から、複数の映像と、複数の期間の各々に対して選択された選択映像を特定するための情報とを受信し、上記情報を用いて、複数の期間に対して選択された複数の選択映像を繋ぎ合せることで映像信号を生成し、当該映像信号を再生する。

また、端末装置１０２は、複数の映像のいずれかを表示し、表示されている映像に含まれる複数の被写体のうち、評価値が最も高い又は予め定められた値より高い被写体を強調表示してもよい。

また、図１５に示すように、端末装置１０２は、複数の映像のいずれかを表示し、表示されている映像に含まれる複数の被写体のうちのいずれかがユーザにより選択された場合に、選択された被写体を評価するための操作メニュー３０７Ｃを表示してもよい。

また、端末装置１０２は、複数の映像のいずれかを表示し、表示されている映像に含まれる複数の被写体のうちのいずれかがユーザにより選択された場合に、複数の映像のうち、選択された被写体が含まれ、かつ評価値が予め定められた値より高い複数の期間の映像を一覧表示してもよい。

また、図１７に示すように、端末装置１０２は、複数の映像のいずれかを表示し、表示されている映像に含まれる複数の被写体のうちのいずれかがユーザにより選択された場合に、複数の映像を繋ぎ合せた映像であって、選択された被写体を追尾する追尾映像を表示してもよい。

また、図１７に示すように、端末装置１０２は、複数の映像のいずれかが表示される第１画面（メイン画面３１１）と、第１画面より小さく、再生された複数の選択映像が表示される第２画面（第１サブ画面３１２Ａ又は第２サブ画面３１２Ｂ）とを含む出力画面３００Ｃを表示し、ユーザにより第２画面が選択された場合に、複数の選択映像を第１画面に表示してもよい。

なお、サーバ１０３で行われる処理の一部が端末装置１０２で行われてもよく、端末装置１０２で行われる処理の一部がサーバ１０３で行われてもよい。つまり、本実施の形態に係る映像配信システム１００は、連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号を再生（表示）する。映像配信システム１００は、複数のユーザによる複数の映像の評価値に基づき、複数の期間の各々に対して、複数の映像から選択映像を選択する。映像配信システム１００は、複数の期間に対して選択された複数の選択映像を繋ぎ合せることで映像信号を生成し、当該映像信号を再生（表示）する。

以上、実施の形態に係る映像配信方法、映像受信方法及び映像配信システムついて説明したが、本発明は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る映像配信システムに含まれる各装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

言い換えると、映像配信システムに含まれる各装置は、処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）と、当該処理回路に電気的に接続された（当該処理回路からアクセス可能な）記憶装置（ｓｔｏｒａｇｅ）とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に係る映像配信方法又波映像受信方法を実行する。

さらに、本発明は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。

また、上記の映像配信方法又は映像受信方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、本発明の一つ又は複数の態様に係る映像配信方法、映像受信方法、映像配信システム、サーバ及び端末装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。

（実施の形態２）
上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、（１）店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、（２）個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、（３）ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び（４）エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。

図２０は、本実施の形態における映像情報処理システムｅｘ１００の構成を示す図である。本実施の形態においては、死角の発生を防止する例、及び特定の領域を撮影禁止にする例について説明する。

図２０に示す映像情報処理システムｅｘ１００は、映像情報処理装置ｅｘ１０１と、複数のカメラｅｘ１０２と、映像受信装置ｅｘ１０３とを含む。なお、映像受信装置ｅｘ１０３は、必ずしも映像情報処理システムｅｘ１００に含まれる必要はない。

映像情報処理装置ｅｘ１０１は、保存部ｅｘ１１１と、解析部ｅｘ１１２とを備える。Ｎ個のカメラｅｘ１０２のそれぞれは、映像を撮影する機能と撮影した映像データを映像情報処理装置ｅｘ１０１に送信する機能とを有する。また、カメラｅｘ１０２は、撮影中の映像を表示する機能を有する場合もある。なお、カメラｅｘ１０２は、撮影された映像信号をＨＥＶＣ又はＨ．２６４のような符号化方式を用いてエンコードしたうえで映像情報処理装置ｅｘ１０１に送信してよいし、エンコードされていない映像データを映像情報処理装置ｅｘ１０１に送信してもよい。

ここで、各カメラｅｘ１０２は、監視カメラ等の固定カメラ、無人飛行型ラジコンや車等に搭載された移動カメラ、又は、ユーザが所持するユーザカメラである。

移動カメラは、映像情報処理装置ｅｘ１０１から送信された指示信号を受信し、受信された指示信号に応じて、移動カメラ自体の位置又は撮影方向を変更する。

また、撮影開示前に複数のカメラｅｘ１０２の時刻が、サーバ又は基準カメラの時刻情報などを用いてキャリブレーションされる。また、複数のカメラｅｘ１０２の空間位置が、撮影対象となる空間のオブジェクトの写り方又は基準カメラからの相対位置に基づいてキャリブレーションされる。

情報処理装置ｅｘ１０１に含まれる保存部ｅｘ１１１は、Ｎ個のカメラｅｘ１０２から送信された映像データを保存する。

解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された映像データから死角を検出し、死角の発生を防止するための移動カメラへの指示を示す指示信号を移動カメラへ送信する。移動カメラは指示信号に従って移動を行い、撮影を継続する。

解析部ｅｘ１１２は、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を用いて死角検出を行う。ＳｆＭとは、異なる位置から撮影された複数の映像から被写体の三次元形状を復元する手法であり、被写体形状及びカメラ位置を同時に推定する形状復元技術として広く知られている。例えば、解析部ｅｘ１１２は、ＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元し、復元できない領域を死角として検出する。

なお、解析部ｅｘ１１２は、カメラｅｘ１０２の位置及び撮影方向が固定であり、位置及び撮影方向の情報が既知の場合は、これらの既知の情報を用いてＳｆＭを行ってもよい。また、移動カメラの位置及び撮影方向が、移動カメラが備えるＧＰＳ及び角度センサ等により取得できる場合は、移動カメラは、当該移動カメラの位置及び撮影方向の情報を解析部ｅｘ１１２に送信し、解析部ｅｘ１１２は、送信された位置及び撮影方向の情報を用いてＳｆＭを行ってもよい。

なお、死角検出の方法は上述したＳｆＭを用いた方法に限られるものではない。例えば、解析部ｅｘ１１２は、レーザレンジファインダなどのデプスセンサの情報を用いることで、撮影対象であるオブジェクトの空間距離を把握してもよい。また、解析部ｅｘ１１２は、カメラ位置、撮影方向及びズーム倍率等の情報を、空間内の予め設定したマーカ又は特定のオブジェクトが画像に含まれるか、含まれる場合にはそのサイズ等から検出してもよい。このように、解析部ｅｘ１１２は、各カメラの撮影領域を検出できる任意の方法を用いて、死角の検出を行う。また、解析部ｅｘ１１２は、複数の撮影対象について互いの位置関係等の情報を映像データ又は近接距離センサ等から取得し、取得した位置関係に基づいて死角が発生する可能性の高い領域を特定してもよい。

ここで死角とは、撮影したい領域中で映像が存在しない部分だけでなく、他の部分と比較して画質の悪い部分、及び予め定められた画質を得られていない部分などを含む。この検出対象の部分は、当該システムの構成又は目的に応じて適宜設定されればよい。例えば、撮影される空間中の特定の被写体について、要求される画質が高く設定されてもよい。また、逆に撮影空間中の特定の領域について、要求される画質が低く設定されてもよいし、映像が撮影されていなくても死角と判定しないように設定されてもよい。

なお、上述した画質とは、映像中の撮影対象となる被写体が占める面積（例えばピクセル数）、又は撮影対象となる被写体にピントが合っているかといった映像に関する様々な情報を含むものであり、それらの情報又はその組み合わせを基準に死角であるか否かが判定されればよい。

なお、上記の説明では、実際に死角となっている領域の検出について説明したが、死角の発生を防止するために検出する必要のある領域は実際に死角となっている領域に限定されない。例えば、複数の撮影対象が存在し、少なくともその一部が移動している場合には、ある撮影対象とカメラとの間に別の撮影対象が入ることによって新たな死角が生じる可能性がある。これに対し、解析部ｅｘ１１２は、例えば撮影された映像データ等から複数の撮影対象の動きを検出し、検出された複数の撮影対象の動きとカメラｅｘ１０２の位置情報に基づいて、新たに死角となる可能性のある領域を推定してもよい。この場合、映像情報処理装置ｅｘ１０１は、死角となる可能性のある領域を撮影するように移動カメラに指示信号を送信し、死角の発生を防止してもよい。

なお、移動カメラが複数ある場合、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性がある領域を撮影させるために指示信号を送信する移動カメラを選択する必要がある。また、移動カメラ及び死角、又は死角となる可能性がある領域がそれぞれ複数存在する場合、映像情報処理装置ｅｘ１０１は、複数の移動カメラのそれぞれについて、どの死角、又は死角となる可能性がある領域を撮影させるかを決定する必要がある。例えば、映像情報処理装置ｅｘ１０１は、死角、又は死角となる可能性のある領域と各移動カメラが撮影中の領域の位置とに基づいて、死角、又は死角となる領域に最も近い移動カメラを選択する。また、映像情報処理装置ｅｘ１０１は、各移動カメラについて、当該移動カメラが現在撮影中の映像データが得られない場合に新たに死角が発生するか否かを判定し、現在撮影中の映像データが得られなくても死角が発生しないと判断された移動カメラを選択してもよい。

以上の構成により、映像情報処理装置ｅｘ１０１は、死角を検出し、死角を防止するように移動カメラに対して指示信号を送信することにより、死角の発生を防止できる。

（変形例１）
なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ｅｘ１０１側で制御可能であれば、映像情報処理装置ｅｘ１０１は、そのような撮影に関するカメラｅｘ１０２の特徴量を自動で制御してもよい。

ここで、ユーザカメラは、例えば、スタジアム内の観客又は施設内の警備員が持つスマートフォン、タブレット型端末、ウェアラブル端末、又はＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）である。

また、指示画像を表示する表示端末は、映像データを撮影するユーザカメラと同一である必要はない。例えば、ユーザカメラに予め対応付けられた表示端末に対して、ユーザカメラが指示信号又は指示画像を送信し、当該表示端末が指示画像を表示してもよい。また、ユーザカメラに対応する表示端末の情報が、予め映像情報処理装置ｅｘ１０１に登録されてもよい。この場合は、映像情報処理装置ｅｘ１０１は、ユーザカメラに対応する表示端末に対して指示信号を直接送信することで、表示端末に指示画像を表示させてもよい。

（変形例２）
解析部ｅｘ１１２は、例えばＳｆＭを用いて、保存部ｅｘ１１１に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像（三次元再構成データ）を生成してもよい。この自由視点映像は、保存部ｅｘ１１１に保存される。映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信される視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出して、映像受信装置ｅｘ１０３に送信する。なお、映像受信装置ｅｘ１０３は、複数のカメラ１１１の一つであってもよい。

（変形例３）
映像情報処理装置ｅｘ１０１は、撮影禁止領域を検出してもよい。この場合、解析部ｅｘ１１２は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。

解析部ｅｘ１１２は、例えば、ＳｆＭを用いて復元された三次元の仮想空間と、撮影映像とのマッチングを取ることで、空間内で予め設定されている移動カメラが撮影禁止領域を撮影中かを判定する。または、解析部ｅｘ１１２は、空間内に配置されたマーカ又は特徴的なオブジェクトをトリガーとして移動カメラが撮影禁止領域を撮影中かを判定する。撮影禁止領域とは、例えば施設内又はスタジアム内のトイレなどである。

また、ユーザカメラが撮影禁止領域を撮影している場合には、ユーザカメラは、無線又は有線で接続されるディスプレイ等にメッセージを表示したり、スピーカ又はイヤホンから音又は音声を出力したりすることで、現在の場所が撮影禁止場所であることをユーザに知らせてもよい。

例えば、上記メッセージとして、現在カメラを向けている方向が撮影禁止である旨が表示される。または、表示される地図上に撮影禁止領域と現在の撮影領域とが示される。また、撮影の再開は、例えば、撮影禁止信号が出力されなくなれば自動的に行われる。または、撮影禁止信号が出力されておらず、かつ、ユーザが撮影再開を行う操作をした場合に、撮影が再開されてもよい。また、撮影の停止と再開とが短期間で複数回起こった場合には、再度キャリブレーションが行われてもよい。または、ユーザに現在位置を確認したり移動を促したりするための通知が行われてもよい。

また、警察など特別な業務の場合には、記録のためこのような機能をオフにするパスコード又は指紋認証などが用いられてもよい。さらに、そのような場合であっても撮影禁止領域の映像が外部に表示されたり保存される場合には自動でモザイクなど画像処理が行われてもよい。

以上の構成により、映像情報処理装置ｅｘ１０１は、撮影禁止の判定を行い、撮影を停止するようにユーザに通知することで、ある領域を撮影禁止に設定できる。

（変形例４）
映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムｅｘ１００は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ｅｘ１０１は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ｅｘ１０１は、リクエストが多いなど価値のある視野（及び／又は、視点）の撮影映像を転送したユーザに対しては特に高いポイントを付与する。

（変形例５）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ｅｘ１０１は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラｅｘ１０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラｅｘ１０２は、このマッピングを、カメラｅｘ１０２に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。

また、監視システムにおいては、施設内の警備員が持つユーザカメラに対して、例えば注意人物の情報が重畳されることで、監視システムの高精度化を図ることができる。

（変形例５）
解析部ｅｘ１１２は，自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。

映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して過去映像を送信する。ユーザカメラは撮影映像に過去映像を重畳して、又は撮影映像を過去映像に置換して、画面に表示する。

例えば、ハーフタイム中に、過去映像として前半のハイライトシーンが表示される。これにより、ユーザはハーフタイム中に、前半のハイライトシーンを自分が見ている方向の映像として楽しむことができる。なお過去映像は、前半のハイライトシーンに限らず、そのスタジアムで行われた過去の試合のハイライトシーンなどでもよい。また、映像情報処理装置ｅｘ１０１が過去映像を配信するタイミングはハーフタイム中に限らず、例えば試合終了後でも、試合中でもよい。特に試合中の場合には、解析部ｅｘ１１２の解析結果に基づき、映像情報処理装置ｅｘ１０１はユーザが見逃した重要と考えられるシーンを配信してもよい。また、映像情報処理装置ｅｘ１０１はユーザからリクエストがあった場合のみ過去映像を配信してもよく、又は過去映像の配信前に配信許可のメッセージを配信してもよい。

（変形例６）
映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。

広告情報は例えば変形例５で示した、ハーフタイム中又は試合終了後の過去映像配信直前に配信されてもよい。これにより、配信業者は広告主からの広告料を得ることができ、ユーザに安価又は無料で映像配信サービスを提供できる。また、映像情報処理装置ｅｘ１０１は、広告情報の配信直前に広告配信許可のメッセージを配信してもよいし、ユーザが広告を視聴した場合のみ無料でサービスを提供してもよいし、広告を視聴しない場合より安価にサービスを提供してもよい。

また、広告に従ってユーザが「今すぐ注文する」などをクリックすると、当該システム又は何らかの位置情報に基づいてユーザの位置を把握しているスタッフ又は会場の自動の配送システムが注文された飲み物を席まで届けてくれる。決裁はスタッフへの手渡しでもよいし、予めモバイル端末のアプリ等に設定されているクレジットカード情報に基づいて行われてもよい。また、広告にはｅコマースサイトへのリンクが含まれ、通常の自宅配送等のオンラインショッピングが可能な状態になっていてもよい。

（変形例７）
映像受信装置ｅｘ１０３は、カメラｅｘ１０２（ユーザカメラ）の一つであってもよい。この場合、解析部ｅｘ１１２は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。

例えば、ユーザが、画面に表示されている矢印の方向にスワイプ操作をすると、ユーザカメラはその方向へ視点を移動させることを示す視点情報を生成する。映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２が判定したユーザカメラの撮影領域から視点情報の分だけ移動させた領域を撮影した映像データを保存部ｅｘ１１１から読み出し、当該映像データのユーザカメラへの送信を開始する。そしてユーザカメラは撮影映像ではなく、映像情報処理装置ｅｘ１０１から配信された映像を表示する。

以上により、施設内又はスタジアム内のユーザは、画面スワイプのような簡易な動作で、好きな視点からの映像を視聴できる。例えば野球場の３塁側で観戦している観客が、１塁側の視点からの映像を視聴できる。また、監視システムにおいては、施設内の警備員が画面スワイプのような簡易な動作で、自身が確認したい視点又はセンターからの割り込みとして注視すべき映像などを、視点を適用的に変えながら視聴することができるので、監視システムの高精度化を図ることができる。

また、施設内又はスタジアム内のユーザへの映像の配信は、例えばユーザカメラと撮影対象との間に障害物が存在し、見えない領域がある場合等にも有効である。この場合、ユーザカメラは、ユーザカメラの撮影領域のうち障害物が含まれる一部の領域の映像を、撮影映像から、映像情報処理装置ｅｘ１０１からの配信映像に切り替えて表示してもよいし、画面全体を撮影映像から配信映像に切り替えて表示してもよい。また、ユーザカメラは、撮影映像と配信映像とを合成して障害物を透過して視聴対象が見えているような映像を表示してもよい。この構成によると、障害物の影響でユーザの位置から撮影対象が見えない場合にも、映像情報処理装置ｅｘ１０１から配信された映像を視聴することができるので、障害物の影響を軽減することができる。

また、障害物により見えない領域の映像として配信映像を表示する場合は、上述した画面スワイプのようなユーザによる入力処理に応じた表示の切り替え制御とは異なる表示の切り替え制御が行われてもよい。例えば、ユーザカメラの移動及び撮影方向の情報、並びに予め得られている障害物の位置情報に基づいて撮影領域に障害物が含まれると判定される場合に、撮影映像から配信映像への表示の切り替えが自動的に行われもよい。また、撮影映像データの解析により撮影対象ではない障害物が映っていると判定された場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。また、撮影映像に含まれる障害物の面積（例えばピクセル数）が所定の閾値を超えた場合、又は撮影対象の面積に対する障害物の面積の比が所定の割合を超えた場合に、撮影映像から配信映像への表示の切り替えが自動的に行われてもよい。

なお、ユーザの入力処理に応じて撮影映像から配信映像への表示の切り替え及び配信映像から撮影映像への表示の切り替えが行われてもよい。

（変形例８）
各カメラｅｘ１０２で撮影された映像データの重要度に基づき映像データを映像情報処理装置ｅｘ１０１に転送する速度が指示されてもよい。

この場合、解析部ｅｘ１１２は保存部ｅｘ１１１に保存された映像データ、又は当該映像データを撮影したカメラｅｘ１０２の重要度を判定する。ここでの重要度の判定は、例えば映像中に含まれる人の数或いは移動物体の数、映像データの画質などの情報、又はその組み合わせに基づいて行われる。

また、映像データの重要度の判定は、映像データが撮影されたカメラｅｘ１０２の位置又は映像データが撮影している領域に基づいてもよい。例えば、対象のカメラｅｘ１０２の近くに撮影中の他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、対象のカメラｅｘ１０２の位置が他のカメラｅｘ１０２から離れていても同じ領域を撮影している他のカメラｅｘ１０２が複数存在する場合に、対象のカメラｅｘ１０２で撮影された映像データの重要度を低くする。また、映像データの重要度の判定は、映像配信サービスにおけるリクエストの多さに基づいて行われてもよい。なお、重要度の判定方法は、上述したものやその組み合わせに限られず、監視システム又は映像配信システムの構成又は目的に応じた方法であればよい。

また、重要度の判定は撮影された映像データに基づくものでなくてもよい。例えば、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が高く設定されてもよい。逆に、映像情報処理装置ｅｘ１０１以外の端末へ映像データを送信するカメラｅｘ１０２の重要度が低く設定されてもよい。これにより、例えば、映像データの伝送を必要とする複数のサービスが通信帯域を共有している場合に、各サービスの目的又は特性に応じた通信帯域の制御の自由度が高くなる。これにより、必要な映像データが得られないことによる各サービスの品質の劣化を防止できる。

また、解析部ｅｘ１１２は、自由視点映像とカメラｅｘ１０２の撮影映像とを用いて、映像データの重要度を判定してもよい。

映像情報処理装置ｅｘ１０１は、解析部ｅｘ１１２で行われた重要度の判定結果に基づき、カメラｅｘ１０２に対して通信速度指示信号を送信する。映像情報処理装置ｅｘ１０１は、例えば、重要度が高い映像を撮影しているカメラｅｘ１０２に対して高い通信速度を指示する。また、映像情報処理装置ｅｘ１０１は、速度の制御だけではなく、重要な情報については、欠落によるデメリットを低減するために複数回送るような方式を指示する信号を送信してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができる。なお、カメラｅｘ１０２と映像情報処理装置ｅｘ１０１との通信は、有線通信であっても無線通信であってもよい。また、映像情報処理装置ｅｘ１０１は、有線通信及び無線通信のいずれか一方のみを制御してもよい。

カメラｅｘ１０２は、通信速度指示信号に従った通信速度で、撮影映像データを映像情報処理装置ｅｘ１０１に送信する。なお、カメラｅｘ１０２は所定の回数再送が失敗した場合には、その撮影映像データの再送を停止し、次の撮影映像データの転送を開始してもよい。これにより、施設内又はスタジアム内全体の通信を効率的に行うことができ、解析部ｅｘ１１２における処理の高速化を実現できる。

また、カメラｅｘ１０２は、それぞれに割り当てられた通信速度が撮影した映像データを転送するために十分な帯域でない場合は、撮影した映像データを、割り当てられた通信速度で送信可能なビットレートの映像データに変換し、変換後の映像データを送信してもよし、映像データの転送を中止してもよい。

また、上述したように死角の発生を防止するために映像データが使用される場合、撮影された映像データに含まれる撮影領域のうちの一部の領域のみが死角を埋めるために必要である可能性がある。この場合、カメラｅｘ１０２は、少なくとも、映像データから、死角の発生を防止するために必要とされる領域のみを抽出することで抽出映像データを生成し、生成された抽出映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、死角の発生の抑制をより少ない通信帯域で実現できる。

また、例えば、付加情報の重畳表示又は映像配信が行われる場合には、カメラｅｘ１０２は、映像情報処理装置ｅｘ１０１にカメラｅｘ１０２の位置情報及び撮影方向の情報を送信する必要がある。この場合、映像データを転送するためには十分ではない帯域しか割り当てられなかったカメラｅｘ１０２は、カメラｅｘ１０２で検出された位置情報及び撮影方向の情報のみを送信してもよい。また、映像情報処理装置ｅｘ１０１においてカメラｅｘ１０２の位置情報及び撮影方向の情報を推定する場合は、カメラｅｘ１０２は、撮影した映像データを、位置情報及び撮影方向の情報の推定に必要な解像度に変換し、変換された映像データを映像情報処理装置ｅｘ１０１に送信してもよい。この構成によると、少ない通信帯域しか割り当てられなかったカメラｅｘ１０２に対しても、付加情報の重畳表示又は映像配信のサービスを提供できる。また、映像情報処理装置ｅｘ１０１は、より多くのカメラｅｘ１０２から撮影領域の情報を取得できるため、例えば注目されている領域を検出する等の目的で、撮影領域の情報を利用するような場合においても有効である。

なお、上述した割り当てられた通信帯域に応じた映像データの転送処理の切り替えは、通知された通信帯域に基づいてカメラｅｘ１０２が行ってもよいし、映像情報処理装置ｅｘ１０１が各カメラｅｘ１０２の動作を決定し、決定された動作を示す制御信号を各カメラｅｘ１０２に通知してもよい。これにより、動作の切り替えの判定に必要な計算量、カメラｅｘ１０２の処理能力、及び必要となる通信帯域等に応じて、適切に処理の分担を行える。

（変形例９）
解析部ｅｘ１１２は、映像受信装置ｅｘ１０３から送信された視野情報（及び／又は、視点情報）に基づき、映像データの重要度を判定してもよい。例えば、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ｅｘ１１２は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。

なお、本実施の形態で説明した通信制御方法は、必ずしも複数の映像データから三次元形状の再構築を行うシステムにおいて用いられる必要はない。例えば複数のカメラｅｘ１０２が存在する環境において、映像データを選択的又は伝送速度に差をつけて有線通信及び／又は無線通信で送信する場合であれば、本実施の形態で説明した通信制御方法は有効である。

（変形例１０）
映像配信システムにおいて、映像情報処理装置ｅｘ１０１は、撮影シーンの全体を示す概観映像を映像受信装置ｅｘ１０３に送信してもよい。

具体的には、映像情報処理装置ｅｘ１０１は、映像受信装置ｅｘ１０３から送信された配信リクエストを受信した場合、保存部ｅｘ１１１から施設内又はスタジアム内全体の概観映像を読み出し、当該外観映像を映像受信装置ｅｘ１０３に送信する。この概観映像は更新間隔が長くてもよく（低フレームレートでもよく）、また画質が低くてもよい。視聴者は、映像受信装置ｅｘ１０３の画面上に表示された概観映像中で、見たい部分をタッチする。これにより、映像受信装置ｅｘ１０３は、タッチされた部分に対応する視野情報（及び／又は、視点情報）を映像情報処理装置ｅｘ１０１に送信する。

映像情報処理装置ｅｘ１０１は、視野情報（及び／又は、視点情報）に応じた映像データを保存部ｅｘ１１１から読み出し、当該映像データを映像受信装置ｅｘ１０３に送信する。

また、解析部ｅｘ１１２は、視野情報（及び／又は、視点情報）で示される領域に対して優先的に三次元形状の復元（三次元再構成）を行うことで自由視点映像を生成する。解析部ｅｘ１１２は、施設内又はスタジアム内全体の三次元形状を、概観を示す程度の精度で復元する。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が見たい領域の自由視点映像の高フレームレート化、及び高画質を実現できる。

（変形例１１）
なお、映像情報処理装置ｅｘ１０１は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。

例えば、スタジアムでサッカーが行われている場合、解析部ｅｘ１１２は、選手及びボールのみに限定して三次元形状の復元を行い、得られた復元データと事前映像とを合成することで自由視点映像を生成してもよい。あるいは、解析部ｅｘ１１２は、選手及びボールに対して優先して三次元形状の復元を行ってもよい。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができる。その結果、視聴者が注目する選手及びボールに関する自由視点映像の高フレームレート化及び高画質化を実現できる。また、監視システムにおいては、解析部ｅｘ１１２は、人物及び移動物体のみに限定して、又はそれらを優先して三次元形状の復元を行ってもよい。

（変形例１２）
各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ｅｘ１１２は、複数のカメラｅｘ１０２で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ｅｘ１１１に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。

または、解析部ｅｘ１１２は、保存部ｅｘ１１１に保存された複数の映像データのうち、高画質データのみを用いて、又は高画質データを優先的に用いて、三次元形状の復元を行ってもよい。

（変形例１３）
解析部ｅｘ１１２は，カメラ属性情報を用いて、三次元形状の復元を行ってもよい。この場合、カメラｅｘ１０２は、撮影映像データとカメラ属性情報とを映像情報処理装置ｅｘ１０１に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。

これにより、映像情報処理装置ｅｘ１０１は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。

具体的には、カメラｅｘ１０２は、施設内又はスタジアム内に三次元座標を定義し、カメラｅｘ１０２がどのあたりの座標をどの角度から、どれ位のズームで、どの時間に撮ったかという情報を映像と共にカメラ属性情報として映像情報処理装置ｅｘ１０１に送信する。また、カメラｅｘ１０２の起動時に、施設内又はスタジアム内の通信ネットワーク上の時計とカメラ内の時計との同期がとられ、時間情報が生成される。

また、カメラｅｘ１０２の起動時又は任意のタイミングで施設内又はスタジアム内の特定のポイントにカメラｅｘ１０２を向けることにより、カメラｅｘ１０２の位置及び角度情報が取得される。図２１は、カメラｅｘ１０２に起動時に、カメラｅｘ１０２の画面上に表示される通知の一例を示す図である。ユーザがこの通知に従い、スタジアム北側の広告中のサッカーボール中心にある「＋」に、画面中央に表示された「＋」を合わせて、カメラｅｘ１０２のディスプレイをタッチすると、カメラｅｘ１０２は、カメラｅｘ１０２から広告までのベクトル情報を取得しカメラ位置及び角度の基準を特定する。その後、カメラｅｘ１０２のモーション情報からその時々のカメラ座標及び角度が特定される。もちろん、この表示に限るものではなく、矢印等を用いて撮影期間中も座標、角度、又は撮影領域の移動速度等を指示するような表示が用いられてもよい。

カメラｅｘ１０２の座標の特定は、ＧＰＳ、ＷｉＦｉ（登録商標）、３Ｇ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、及び５Ｇ（無線ＬＡＮ）の電波を用いて行われてもよいし、ビーコン（Ｂｌｕｅｔｏｏｔｈ（登録商標）、超音波）など近距離無線を利用して行われてもよい。また、施設内又はスタジアム内のどの基地局に撮影映像データが届いたかという情報が用いられてもよい。

（変形例１４）
当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。

上記システムへのログインには、各種ＳＮＳ等のアカウントが用いられてもよい。なお、アプリ専用のアカウント、又は機能が制限されたゲストアカウントが用いられてもよい。このようにアカウントが用いられることで、好みの映像又は好みのアカウント等を評価することができる。また、撮影中又は視聴中の映像データに類似した映像データ、撮影中又は視聴中の映像データの視点に類似した視点の映像データなどに優先的に帯域を割り振ることで、これらの映像データの解像度を高めることができる。これにより、これらの視点からの三次元形状の復元をより精度よく行うことができる。

また、ユーザは、当該アプリケーションで、好みの画像映像を選択し、相手方をフォローすることで、選択した画像を他のユーザよりも優先して見たり、相手方の承認などを条件にテキストチャット等でつながりをもつことができる。このように、新たなコミュニティの生成が可能である。

このようにユーザ同士がコミュニティ内でつながることにより、撮影自体、また撮影した画像の共有などが活発化し、より精度の高い三次元形状の復元を促すことができる。

また、コミュニティ内のつながりの設定に応じて、ユーザは、他人が撮影した画像又は映像を編集したり、他人の画像と自分の画像とをコラージュして新たな画像又は映像を作成したりできる。これにより、新たな画像又は映像を当該コミュニティ内の人のみでシェアするなど、新たな映像作品のシェアが可能になる。また、この編集においてＣＧのキャラクタを挿入するなどにより、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）のゲーム等にも映像作品を利用できる。

また、当該システムによると三次元モデルデータが逐次出力可能になるため、ゴールシーンなどの特徴的なシーンでの三次元モデルデータに基づき、施設が有する３Ｄプリンタなどが立体オブジェクトを出力することができる。これにより、試合後に、その試合中のシーンに基づくオブジェクトをキーホルダーのようなお土産として売ったり、参加ユーザに配布することも可能である。もちろん通常の写真として、もっとも良い視点からの画像をプリントすることも可能である。

（変形例１５）
上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。

一般のパトロールの時は、例えば数分おきで静止画の送受信が行なわれる。また、センターは、過去の犯罪データ等を用いて分析した結果に基づいた犯罪マップに基づいて犯罪発生の可能性が高い地域を特定する、もしくはこのように特定された犯罪発生確率に関連する地域データを保持している。特定された犯罪発生確率の高い地域では、画像の送受信の頻度を上げたり、画像を動画に変更したりしてもよい。また、事件発生時は、動画、又はＳｆＭ等を用いた三次元再構成データが用いられてもよい。また、センターもしくは各端末が、同時にデプスセンサ又はサーモセンサなど他のセンサの情報を用いて画像又は仮想空間を補正することで、警察官は、より正確に状況を把握できる。

また、センターは、三次元再構成データを用いることで、複数の端末にそのオブジェクトの情報をフィードバックできる。これにより、各端末を持つ個々人がオブジェクトをトラッキングできる。

また、最近では、建造物或いは環境の調査、又はスポーツなどの臨場感ある撮影等の目的で、クワッドコプター、ドローンなどの飛行可能な装置による空中からの撮影が行なわれる。このような自律移動装置による撮影は、画像がブレるということが問題になりやすいが、ＳｆＭは位置及び傾きによりそのブレを補正しながら三次元化を行なうことが可能である。これにより、画質の向上、及び空間の復元精度の向上を実現できる。

また、車外を撮影する車載カメラの設置が、国によっては義務付けられている。このような車載カメラにおいても、複数の画像からモデル化された三次元データを用いることで、行き先の方向の天気及び路面の状態、並びに渋滞度合い等をより精度よく把握できる。

（実施の形態３）
上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。当該システムは、画像処理方法を用いた装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図２２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ２００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ２０６、ｅｘ２０７、ｅｘ２０８、ｅｘ２０９、ｅｘ２１０が設置されている。

このコンテンツ供給システムｅｘ２００は、インターネットｅｘ２０１にインターネットサービスプロバイダｅｘ２０２および通信網ｅｘ２０４、および基地局ｅｘ２０６からｅｘ２１０を介して、コンピュータｅｘ２１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ２００は図２２のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ２０６からｅｘ２１０を介さずに、各機器が電話線、ケーブルテレビ、又は光通信などの通信網ｅｘ２０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ２１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ２１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、スマートフォンｅｘ２１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、又は高周波帯域を利用した通信方式などに対応するスマートフォン機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ２００では、カメラｅｘ２１３等が基地局ｅｘ２０９、通信網ｅｘ２０４を通じてストリーミングサーバｅｘ２０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ２１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して符号化処理を行い、ストリーミングサーバｅｘ２０３に送信する。一方、ストリーミングサーバｅｘ２０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ２１１、ＰＤＡｅｘ２１２、カメラｅｘ２１３、スマートフォンｅｘ２１４、ゲーム機ｅｘ２１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。

なお、撮影したデータの符号化処理はカメラｅｘ２１３で行っても、データの送信処理をするストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバｅｘ２０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ２１３に限らず、カメラｅｘ２１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ２１１を介してストリーミングサーバｅｘ２０３に送信してもよい。この場合の符号化処理はカメラｅｘ２１６、コンピュータｅｘ２１１、ストリーミングサーバｅｘ２０３のいずれで行ってもよいし、互いに分担して行ってもよい。さらに復号された画像の表示についても、システムにつながった複数の機器が連動して同じ画像を表示してもよいし、大きな表示部を有する装置で全体の画像を表示し、スマートフォンｅｘ２１４等では画像の一部の領域を拡大して表示してもよい。

また、これら符号化・復号化処理は、一般的にコンピュータｅｘ２１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータｅｘ２１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、スマートフォンｅｘ２１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ２１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ２０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ２００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ２００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ２００の例に限らず、図２３に示すように、デジタル放送用システムｅｘ３００にも、上記各実施の形態を適用してもよい。具体的には、放送局ｅｘ３０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ｅｘ３０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである。これを受けた放送衛星ｅｘ３０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ３０４が受信する。受信した多重化データを、テレビ（受信機）ｅｘ４００またはセットトップボックス（ＳＴＢ）ｅｘ３１７等の装置が復号化して再生する。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ３１５、もしくはＳＤなどのメモリｅｘ３１６に記録した多重化データを読み取り復号化する、または記録メディアｅｘ３１５もしくはメモリｅｘ３１６に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダｅｘ３１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ３１９に表示され、多重化データが記録された記録メディアｅｘ３１５、又はメモリｅｘ３１６により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ３０３または衛星／地上波放送のアンテナｅｘ３０４に接続されたセットトップボックスｅｘ３１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ３１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図２４は、スマートフォンｅｘ２１４を示す図である。また、図２５は、スマートフォンｅｘ２１４の構成例を示す図である。スマートフォンｅｘ２１４は、基地局ｅｘ２１０との間で電波を送受信するためのアンテナｅｘ４５０、映像、静止画を撮ることが可能なカメラ部ｅｘ４６５、カメラ部ｅｘ４６５で撮像した映像、アンテナｅｘ４５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ４５８を備える。スマートフォンｅｘ２１４は、さらに、タッチパネル等である操作部ｅｘ４６６、音声を出力するためのスピーカ等である音声出力部ｅｘ４５７、音声を入力するためのマイク等である音声入力部ｅｘ４５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存可能なメモリ部ｅｘ４６７、又は図２３に例示されたメモリｅｘ３１６、もしくはユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４を備える。

スマートフォンｅｘ２１４は、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０に対して、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、メモリ部ｅｘ４６７がバスｅｘ４７０を介して互いに接続されている。

電源回路部ｅｘ４６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ２１４を動作可能な状態に起動する。

スマートフォンｅｘ２１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、音声通話モード時に音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。またスマートフォンｅｘ２１４は、音声通話モード時にアンテナｅｘ４５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作部ｅｘ４６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出される。主制御部ｅｘ４６０は、テキストデータを変調／復調部ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ４５０を介して基地局ｅｘ２１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ｅｘ４５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、カメラ部ｅｘ４６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像、静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。

多重／分離部ｅｘ４５３は、映像信号処理部ｅｘ４５５から供給された符号化された映像データと音声信号処理部ｅｘ４５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ｅｘ４５２でスペクトラム拡散処理をし、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナｅｘ４５０を介して受信された多重化データを復号化するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し、ＬＣＤ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。

また、上記スマートフォンｅｘ２１４等の端末は、テレビｅｘ４００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムｅｘ３００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明は、複数のカメラで撮影された映像を配信する映像配信システムに適用でききる。

１００ 映像配信システム
１０１ カメラ
１０２ 端末装置
１０３ サーバ
１０４Ａ、１０４Ｂ ネットワーク
１０５ モニタ
１０６ ユーザ
１１１、１２１ 受信部
１１２、１２２ 蓄積部
１１３、１２３ 画像処理部
１１４ 出力部
１１５、１２４ 送信部
１１６、１２６ 制御部
３００Ａ、３００Ｂ、３００Ｃ 出力画面
３０１ 視点映像表示画面
３０２、３１３ 視点選択用画面
３０３Ａ、３０３Ｂ、３０３Ｃ、３０４Ａ、３０４Ｂ 操作ボタン
３０５、３０６、３０８ 情報表示画面
３０７Ａ、３０７Ｂ、３０７Ｃ 操作メニュー
３１１ メイン画面
３１２Ａ 第１サブ画面
３１２Ｂ 第２サブ画面

Claims (20)

1. 連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく第１映像信号を端末装置に配信するサーバによる映像配信方法であって、
   複数のユーザによる前記複数の映像の評価値に基づき、前記複数の期間の各々に対して、前記複数の映像から第１選択映像を選択する第１選択ステップと、
   前記複数の期間に対して選択された複数の前記第１選択映像を連続して再生するための前記第１映像信号を前記端末装置に送信する第１送信ステップとを含む
   映像配信方法。
2. 前記評価値は、前記複数の映像の各々の評価値であり、
   前記第１選択ステップでは、前記複数の期間の各々に対して前記複数の映像から当該期間における前記評価値が最も高い又は予め定められた値より高い映像を前記第１選択映像として選択する
   請求項１記載の映像配信方法。
3. 前記評価値は、前記複数の映像に含まれる複数の被写体の各々の評価値であり、
   前記第１選択ステップでは、前記複数の期間の各々において、前記複数の映像から、前記評価値が最も高い又は予め定められた値より高いお薦め被写体が映っている映像を前記第１選択映像として選択する
   請求項１記載の映像配信方法。
4. 前記第１選択ステップでは、前記複数の期間の各々において、前記複数の映像から、前記お薦め被写体が映っている面積が最も大きい映像を前記第１選択映像として選択する
   請求項３記載の映像配信方法。
5. 前記第１映像信号のデータ量が、前記端末装置の受信帯域に基づく上限値より大きい場合、さらに、
   前記複数の映像の評価値に基づき、前記複数の期間の各々に対して、前記複数の映像から第２選択映像を選択する第２選択ステップと、
   前記複数の期間の各々に対して選択された前記第２選択映像を連続して再生するための前記第２映像信号を前記端末装置に送信する第２送信ステップとを含み、
   前記複数の期間に対して選択された複数の前記第２選択映像の少なくとも一つは、前記複数の期間に対して選択された前記複数の第１選択映像と異なり、
   前記第２映像信号のデータ量は前記上限値より小さい
   請求項１記載の映像配信方法。
6. 前記複数の映像は、複数のカメラからリアルタイムで前記サーバに送信され、
   前記第１選択映像に対応する映像の前記カメラからの送信が中断された場合、前記第１選択ステップでは、前記第１選択映像と異なる第２選択映像を選択し、
   前記第１送信ステップでは、前記第２選択映像を再生するための第２映像信号を前記端末装置に送信する
   請求項１記載の映像配信方法。
7. 前記評価値は、前記複数の映像の各々の評価値であり、
   前記第１選択ステップでは、前記複数の期間の各々に対して前記複数の映像から当該期間における前記評価値が予め定められた値より低い映像を前記第１選択映像として選択する
   請求項１記載の映像配信方法。
8. 前記第１送信ステップでは、前記複数の期間に対して選択された前記複数の選択映像を繋ぎ合せることで前記映像信号を生成し、当該映像信号を前記端末装置に送信する
   請求項１〜７のいずれか１項に記載の映像配信方法。
9. 前記送信ステップでは、前記複数の映像と、前記複数の期間に対して選択された前記複数の選択映像を特定するための情報とを、前記映像信号として前記端末装置に送信する
   請求項１〜７のいずれか１項に記載の映像配信方法。
10. 連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号をサーバから受信する端末装置による映像受信方法であって、
    前記複数の期間に対して、複数のユーザによる前記複数の映像の評価値に基づき前記複数の映像から選択された複数の選択映像を連続して再生するための前記映像信号を前記サーバから受信する受信ステップと、
    前記映像信号に基づき、前記複数の選択映像を連続して再生する再生ステップとを含む
    映像受信方法。
11. 前記評価値は、前記複数の映像の各々の評価値であり、
    前記選択映像は、前記複数の期間の各々に対して前記複数の映像から選択された、当該期間における前記評価値が最も高い又は予め定められた値より高い映像である
    請求項１０記載の映像受信方法。
12. 前記評価値は、前記複数の映像に含まれる複数の被写体の各々の評価値であり、
    前記選択映像は、前記複数の期間の各々において前記複数の映像から選択された、前記評価値が最も高い又は予め定められた値より高い被写体が映っている映像である
    請求項１０記載の映像受信方法。
13. さらに、
    前記複数の映像のいずれかを表示する表示ステップを含み、
    前記表示ステップでは、表示されている映像に含まれる複数の被写体のうち、前記評価値が最も高い又は予め定められた値より高い被写体を強調表示する
    請求項１０記載の映像受信方法。
14. さらに、
    前記複数の映像のいずれかを表示する第１表示ステップと、
    表示されている映像に含まれる複数の被写体のうちのいずれかがユーザにより選択された場合に、選択された前記被写体を評価するためのメニューを表示する第２表示ステップとを含む
    請求項１０記載の映像受信方法。
15. さらに、
    前記複数の映像のいずれかを表示する第１表示ステップと、
    表示されている映像に含まれる複数の被写体のうちのいずれかがユーザにより選択された場合に、前記複数の映像のうち、選択された前記被写体が含まれ、かつ評価値が予め定められた値より高い複数の期間の映像を一覧表示する第２表示ステップとを含む
    請求項１０記載の映像受信方法。
16. さらに、
    前記複数の映像のいずれかを表示する第１表示ステップと、
    表示されている映像に含まれる複数の被写体のうちのいずれかがユーザにより選択された場合に、前記複数の映像を繋ぎ合せた映像であって、選択された前記被写体を追尾する追尾映像を表示する第２表示ステップとを含む
    請求項１０記載の映像受信方法。
17. さらに、
    前記複数の映像のいずれかが表示される第１画面と、前記第１画面より小さく、前記再生された前記複数の選択映像が表示される第２画面とを含む出力画面を表示する第１表示ステップと、
    ユーザにより前記第２画面が選択された場合に、前記複数の選択映像を前記第１画面に表示する第２表示ステップとを含む
    請求項１０記載の映像受信方法。
18. 前記評価値は、前記複数の映像の各々の評価値であり、
    前記選択映像は、前記複数の期間の各々に対して前記複数の映像から選択された、当該期間における前記評価値が予め定められた値より低い映像である
    請求項１０記載の映像受信方法。
19. 連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号を端末装置に配信するサーバであって、
    複数のユーザによる前記複数の映像の評価値に基づき、前記複数の期間の各々に対して、前記複数の映像から選択映像を選択する選択部と、
    前記複数の期間に対して選択された複数の前記第１選択映像を連続して再生するための前記映像信号を前記端末装置に送信する送信部とを備える
    サーバ。
20. 連続する複数の期間において同一の場面が互いに異なる複数の視点から撮影されることで得られた複数の映像に基づく映像信号をサーバから受信する端末装置であって、
    前記複数の期間に対して、複数のユーザによる前記複数の映像の評価値に基づき前記複数の映像から選択された複数の選択映像を連続して再生するための前記映像信号を前記サーバから受信する受信部と、
    前記映像信号に基づき、前記複数の選択映像を連続して再生する再生部とを備える
    端末装置。

Images