WO2020184316A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

第１の映像が撮影された視点に関する情報を取得する視点情報取得部と、前記第１の映像の関連情報を取得する関連情報取得部と、前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成する生成部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、及びプログラム

　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

　近年、ある映像（第１の映像）と、当該映像に関連する他の映像（第２の映像）とを表示するための技術が開発されている。例えば以下の非特許文献１には、テレビのディスプレイに表示されるゲームの映像（第１の映像）を補う映像（第２の映像）をテレビのディスプレイ外に投影することで没入感を高める技術が公開されている。

Ａｎｄｙ　Ｗｉｌｓｏｎ、外１名、"ＩｌｌｕｍｉＲｏｏｍ：　Ｐｅｒｉｐｈｅｒａｌ　Ｐｒｏｊｅｃｔｅｄ　Ｉｌｌｕｓｉｏｎｓ　ｆｏｒ　Ｉｎｔｅｒａｃｔｉｖｅ　Ｅｘｐｅｒｉｅｎｃｅｓ"、［ｏｎｌｉｎｅ］、２０１３年１月４日、Ｍｉｃｒｏｓｏｆｔ、［平成３１年２月１５日検索］、インターネット〈URL:https://www.microsoft.com/en-us/research/project/illumiroom-peripheral-projected-illusions-for-interactive-experiences/〉

　しかし、上記の技術等によっては、第１の映像に関連する第２の映像を適切に生成することができない場合があった。例えば、非特許文献１で公開されている技術によっては、表示される第１の映像の内容が予め決まっていることが前提であり、例えば、ある視点から撮影された映像が配信される場合等（例えば、スポーツ中継等）のように、第１の映像の内容が予め決まっていない場合に第２の映像を適切に生成することができない（なお、これは第２の映像を適切に生成することができない場合の具体例であり、本開示の課題は必ずしもこれに限定されない点に留意されたい）。

　そこで、本開示は、上記事情に鑑みてなされたものであり、第１の映像に関連する第２の映像をより適切に生成することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供する。

　本開示によれば、第１の映像が撮影された視点に関する情報を取得する視点情報取得部と、前記第１の映像の関連情報を取得する関連情報取得部と、前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成する生成部と、を備える、情報処理装置が提供される。

　また、本開示によれば、第１の映像が撮影された視点に関する情報を取得することと、前記第１の映像の関連情報を取得することと、前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成することと、を有する、コンピュータにより実行される情報処理方法が提供される。

　また、本開示によれば、第１の映像が撮影された視点に関する情報を取得することと、前記第１の映像の関連情報を取得することと、前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成することと、をコンピュータに実現させるためのプログラムが提供される。

第１の実施形態の概要を示す図である。 第１の実施形態に係る情報処理システムの構成例を示すブロック図である。 第１の実施形態に係る情報処理装置を示すブロック図である。 第１の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第１の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第２の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第２の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第３の実施形態に係る情報処理システムの構成例を示すブロック図である。 第３の実施形態に係る情報処理装置の構成例を示すブロック図である。 第３の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第３の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 合成映像における第１の映像及び第２の映像それぞれの大きさや形状の決定方法を説明する図である。 合成映像における第１の映像及び第２の映像それぞれの大きさや形状の決定方法を説明する図である。 合成映像における第１の映像及び第２の映像それぞれの大きさや形状の決定方法を説明する図である。 合成映像における第１の映像及び第２の映像それぞれの大きさや形状の決定方法を説明する図である。 第４の実施形態に係る情報処理装置の構成例を示すブロック図である。 第４の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第４の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第５の実施形態に係る情報処理装置の構成例を示すブロック図である。 第５の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第５の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第６の実施形態に係る情報処理システムの構成例を示すブロック図である。 第６の実施形態に係る情報処理装置の構成例を示すブロック図である。 第６の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第６の実施形態に係る情報処理装置の処理フロー例を示すフローチャートである。 第２の映像が第２の映像表示装置の表示可能な領域に収まらない場合の対応を説明する図である。 各実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　２．第２の実施形態
　３．第３の実施形態
　４．第４の実施形態
　５．第５の実施形態
　６．第６の実施形態
　７．備考
　８．ハードウェア構成例

　　＜１．第１の実施形態＞
　まず、本開示に係る第１の実施形態について説明する。

　図１は、本開示の第１の実施形態の概要を示す図である。図１に示すように、第１の実施形態に係る情報処理システムは、第１の映像１０を表示する第１の映像表示装置６００と、第１の映像１０に関連し、第１の映像１０と連動する第２の映像２０を表示する第２の映像表示装置７００と、を備える。

　図１の例では、第１の映像表示装置６００は、テレビであり、サッカーの試合の映像を第１の映像１０として表示している。また、第２の映像表示装置７００は、プロジェクタであり、第１の映像１０を表示するテレビのディスプレイに向けて、第１の映像１０に欠けている映像を第２の映像２０として投影している（換言すると、第１の映像１０と、第２の映像２０とは、欠けている情報を相互に補い合う）。より具体的には、第２の映像表示装置７００は、第１の映像１０に欠けている範囲に含まれる選手に対応する映像２１やグラウンドに対応する映像２２等を投影している。また、図１に示すように、第１の映像１０と、第２の映像２０とは、グラウンドの白線の情報を相互に補い合っている（換言すると、第１の映像１０又は第２の映像２０は、第１の映像１０の撮影対象に応じて決まる枠（グラウンドの白線）の少なくとも一部を含む）。

　ここで、第２の映像２０は、第１の映像１０が表示されていない範囲に表示されてもよいし、第１の映像１０に重畳されるように表示されてもよい。例えば、第１の映像１０に表示されていない、選手名等の情報を示す第２の映像２０が第１の映像１０に重畳されるように表示されてもよい。また、第２の映像２０は、第１の映像１０が撮影された視点からの映像に変換された状態で投影されている（すなわち、第１の映像１０と第２の映像２０とで視点が一致している）。

　これによって、第１の映像１０が撮影された視点（カメラアングル）が変更されなくても、視聴者は、カメラの画枠外の情報をリアルタイムで直感的に認識することができる。したがって、例えば第１の映像１０が被写体の拡大映像である場合でも、視聴者は、会場における被写体の位置（例えば、グラウンドにおける選手の位置）や、会場全体の状況等を直感的に認識することができる。また、本実施形態に係る情報処理システムは、上記の処理によって、第１の映像１０と第２の映像２０とが相互に繋がっているように見せることができるため、表示画面が大きくなったような印象を視聴者に与えることができる。

　なお、図１はあくまで本実施形態の概要を示す図であり、本実施形態の内容は必ずしも図１の例に限定されない。以降では、本実施形態を詳細に説明していく。

　（１．１．構成例）
　上記では、第１の実施形態の概要について説明した。続いて、図２及び図３を参照して、第１の実施形態に係る構成例について説明する。

　図２は、第１の実施形態に係る情報処理システムの構成例を示すブロック図である。図２に示すように、第１の実施形態に係る情報処理システムは、情報処理装置１００と、カメラ群２００と、編集装置３００と、会場装置４００と、関連情報生成装置５００と、第１の映像表示装置６００と、第２の映像表示装置７００と、を備える。

　カメラ群２００は、第１の映像１０を撮影する１又は２以上のビデオカメラ等の装置である。より具体的には、カメラ群２００は、会場（例えば、サッカースタジアム等）において１又は２以上の位置に配置されたビデオカメラ等である。カメラ群２００は、生成した第１の映像１０の各フレームを順次編集装置３００及び関連情報生成装置５００に提供する。なお、カメラ群２００を実現する装置（ビデオカメラ等）の種類及び台数は特に限定されない。

　編集装置３００は、カメラ群２００における複数のビデオカメラによって撮影された映像を随時選択する装置である。映像の選択方法は特に限定されず、例えば映像の配信者からの入力等によって映像が選択され得る。編集装置３００は、選択した映像の各フレームを情報処理装置１００及び関連情報生成装置５００に提供する。なお、編集装置３００は、各種画像処理を行ってもよい。また、編集装置３００の種類及び台数は特に限定されない。また、編集装置３００は、映像機能を有する装置と、中継機能を有する装置とで実現されてもよい。また、情報処理装置１００への第１の映像１０の提供方法は特に限定されない。例えば、第１の映像１０は、テレビ放送に用いられる放送網又はインターネットを含む任意の通信回線を介して情報処理装置１００へ提供されてもよいし、第１の映像１０が任意の記録媒体に記録され、当該記録媒体が情報処理装置１００に接続されることで第１の映像１０が情報処理装置１００へ提供されてもよい。

　会場装置４００は、第１の映像１０の関連情報の生成に用いられる情報を取得する装置である。ここで、「関連情報」とは、第１の映像１０に関連する何らかの情報であればよい。例えば、関連情報は、被写体として第１の映像１０に映り得る会場に関する情報（サッカー中継の例では、グラウンドの形状、スタジアムの形状、又はスタジアムに配置されるビデオカメラの位置等）、人に関する情報（サッカー中継の例では、選手名、位置、姿勢、体格、顔画像、背番号、ポジション、又は心拍数等の生体情報等）、物体に関する情報（サッカー中継の例では、サッカーボールの位置やスピン量、又はゴールポストの位置等）、又はこれらの解析結果に関する情報等（サッカー中継の例では、オフサイドラインの位置、選手やボールの動きの軌道、又は動きの予測結果等）を含み、必ずしもこれらに限定されない。関連情報が、第１の映像１０の内容に基づいて変わることは言うまでもない。例えば、第１の映像１０の内容がコンサートや演劇であれば、関連情報に含まれる、会場に関する情報はステージ（舞台）の形状等であり得、人に関する情報は演者名、位置、姿勢、体格、顔画像、衣装、役名、セリフ、譜面、歌詞、又は心拍数等の生体情報等であり得、物体に関する情報はセットの位置等であり得、これらの解析結果に関する情報はコンサートや演劇の進行状況等であり得る。なお、関連情報の内容は必ずしも上記に限定されない。例えば、編集装置３００によって選択されたビデオカメラの識別情報等であってもよい。会場装置４００は、会場、人、又は物体等に備えられた１又は２以上のセンサ（例えば、位置センサ、加速度センサ、ジャイロセンサ、又はイメージセンサ等）であり、上記の関連情報の生成に用いられるセンサデータを取得し、当該センサデータを関連情報生成装置５００に提供する。なお、会場装置４００の種類及び台数は特に限定されない。

　関連情報生成装置５００は、関連情報を生成する装置である。より具体的には、関連情報生成装置５００は、カメラ群２００、編集装置３００及び会場装置４００から提供された情報を解析することで関連情報を生成する。例えば、カメラ群２００から第１の映像１０が提供されたり、編集装置３００により選択された第１の映像１０が提供されたりした場合、関連情報生成装置５００は、当該第１の映像１０を解析することで、上記で説明した関連情報を生成する。また、会場装置４００からセンサデータが提供された場合、関連情報生成装置５００は、当該センサデータを解析することで関連情報を生成する。そして、関連情報生成装置５００は、生成した関連情報を情報処理装置１００へ提供する。なお、関連情報生成装置５００の種類及び台数は特に限定されない。また、一部の関連情報は、第１の映像１０やセンサデータの解析によってではなく、関連情報生成装置５００に別途提供されてもよい。例えば、スタジアムの形状等のように既知の関連情報は、映像の配信者からの入力等により関連情報生成装置５００に別途提供されてもよい。また、関連情報生成装置５００によって生成される関連情報は、第１の映像１０のフレームと同期されていることが望ましいが、必ずしも同期されていなくてもよい。また、情報処理装置１００への関連情報の提供方法は特に限定されない。例えば、関連情報は、テレビ放送に用いられる放送網又はインターネットを含む任意の通信回線を介して情報処理装置１００へ提供されてもよいし、関連情報が任意の記録媒体に記録され、当該記録媒体が情報処理装置１００に接続されることで関連情報が情報処理装置１００へ提供されてもよい。

　情報処理装置１００は、第１の映像１０及び関連情報を用いて第２の映像２０を生成する装置である。情報処理装置１００の構成例の詳細については後述する。情報処理装置１００は、第１の映像１０を第１の映像表示装置６００へ、第２の映像２０を第２の映像表示装置７００へそれぞれ提供する。なお、情報処理装置１００は、視聴者のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）又はスマートフォン等により実現され得るところ、必ずしもこれらに限定されず、その台数も特に限定されない。

　第１の映像表示装置６００は、第１の映像１０を表示する装置である。例えば図１に示したように、第１の映像表示装置６００はテレビであり得るところ、必ずしもこれに限定されない。より具体的には、第１の映像表示装置６００は、第１の映像１０を表示することができる据え置き型ディスプレイを備えた装置（例えば、ＰＣ等）、又は第１の映像１０を投影することができる装置等（例えば、プロジェクタ等）を含む。また、第１の映像表示装置６００の台数も特に限定されない。

　第２の映像表示装置７００は、第２の映像２０を表示する装置である。例えば図１に示したように、第２の映像表示装置７００はプロジェクタであり得るところ、第１の映像表示装置６００と同様に必ずしもこれに限定されない。また、第２の映像表示装置７００の台数も特に限定されない。

　以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図２を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。

　図３は、第１の実施形態に係る情報処理装置１００を示すブロック図である。図３に示すように、情報処理装置１００は、第１の映像取得部１１０と、視点情報取得部１２０と、関連情報取得部１３０と、生成部１４０と、遅延同期部１５０と、第１の映像提供部１６０と、第２の映像提供部１７０と、を備える。また、生成部１４０は、座標変換部１４１と、第２の映像生成部１４２と、位置関係計算部１４３と、表示位置補正部１４４と、を備える。

　第１の映像取得部１１０は、第１の映像１０を取得する構成である。より具体的には、第１の映像取得部１１０は、編集装置３００によって選択された第１の映像１０の各フレームを順次取得する。第１の映像取得部１１０は、第１の映像１０を編集装置３００から受信することで第１の映像１０を取得してもよいし、他の構成によって編集装置３００から受信された第１の映像１０を取得してもよい。第１の映像取得部１１０は、取得した第１の映像１０を視点情報取得部１２０及び遅延同期部１５０に提供する。

　関連情報取得部１３０は、第１の映像１０の関連情報を取得する構成である。より具体的には、関連情報取得部１３０は、関連情報生成装置５００によって生成された関連情報を順次取得する。関連情報取得部１３０は、関連情報を関連情報生成装置５００から受信することで関連情報を取得してもよいし、他の構成によって関連情報生成装置５００から受信された関連情報を取得してもよい。関連情報取得部１３０は、取得した関連情報を視点情報取得部１２０及び生成部１４０に提供する。

　視点情報取得部１２０は、第１の映像１０が撮影された視点に関する情報を取得する構成である。より具体的には、視点情報取得部１２０は、関連情報に含まれる、会場に関する情報（サッカー中継の例では、グラウンドの形状、スタジアムの形状、又はスタジアムに配置されるビデオカメラの位置等）を用いて第１の映像１０を解析することで、第１の映像１０が撮影された視点を求める。

　例えば、視点情報取得部１２０は、関連情報に含まれる「第１の映像１０の撮影対象に応じて決まる枠」（以降、単に「枠」とも呼称する）に関する情報を用いて第１の映像１０を解析することで、第１の映像１０が撮影された視点を求める。枠とは、サッカー中継の例ではグラウンドの白線（換言すると、グラウンドの形状）であるところ、第１の映像１０の撮影対象に応じてその内容が変わることは言うまでもない。例えば、第１の映像１０の撮影対象がバスケットボールの試合であれば、枠はコートの白線とゴールリングであり得、第１の映像１０の撮影対象がカーレースであれば、枠はコース左右の白線であり得、第１の映像１０の撮影対象がコンサートや演劇であれば、枠は舞台を示すものであり得る。視点情報取得部１２０は、関連情報によってグラウンドの形状を認識し、第１の映像１０に映るグラウンドの白線と比較することで、第１の映像１０が撮影された視点を特定（取得）する。視点情報取得部１２０は、グラウンドの白線（枠）を用いることで、第１の映像１０が撮影された視点をより容易に特定することができる。視点情報取得部１２０は、この方法により、第１の映像１０が撮影された視点だけでなく、第１の映像１０が撮影されたアングル（角度）や倍率等の、撮影に関する諸情報を取得することもできる。視点情報取得部１２０は、取得した視点に関する情報（又は、アングルや倍率等の情報が含まれてもよい）を生成部１４０へ提供する。

　なお、視点情報取得部１２０が視点に関する情報を取得する方法は上記方法に限定されない。例えば、第１の映像１０が撮影された視点に関する情報が関連情報に含まれていたり、第１の映像１０にメタデータとして付加されていたりすることで、視点情報取得部１２０は、視点に関する情報を関連情報や第１の映像１０から取得してもよい。また、第１の映像１０に枠が含まれていない場合等（例えば、第１の映像１０が選手や客席を拡大した映像やリプレイ映像である場合等）において、視点に関する情報の取得に失敗した場合、視点情報取得部１２０はその旨を示す情報（以降、「取得不可情報」と呼称する）を生成部１４０へ提供する。

　生成部１４０は、視点に関する情報及び関連情報を用いて、第１の映像１０に関連し、第１の映像１０と連動する第２の映像２０を生成する構成である。生成部１４０は、後段で説明する各構成によって第２の映像２０の各フレームを生成し、当該フレームを第２の映像提供部１７０へ提供する。また、生成部１４０は、第２の映像２０の生成に要した時間に関する情報を遅延同期部１５０へ提供する。これにより、遅延同期部１５０は、第２の映像２０の生成時に生じた遅延を補償し、第１の映像１０と第２の映像２０の表示タイミングを同期させることができる。

　座標変換部１４１は、第１の映像１０が撮影された視点に基づいて、関連情報の座標変換を行う構成である。例えば、座標変換部１４１は、関連情報に含まれる、会場に関する情報（サッカー中継の例では、グラウンドの形状、スタジアムの形状、又はスタジアムに配置されるビデオカメラの位置等）、人に関する情報（サッカー中継の例では、選手の位置、又は姿勢等）、物体に関する情報（サッカー中継の例では、サッカーボールの位置、又はゴールポストの位置等）、又はこれらの解析結果に関する情報等（サッカー中継の例では、オフサイドラインの位置、選手やボールの動きの軌道、又は動きの予測結果等）を、第１の映像１０が撮影された視点に基づいて座標変換することで、当該視点を基準としたときの位置や形状等を出力する。上記のとおり、関連情報と第１の映像１０の各フレームとは同期していることが望ましいところ、これらが同期していない場合、座標変換部１４１は、処理対象となる第１の映像１０のフレームと最も近い時刻の関連情報を上記処理に用いる。座標変換部１４１は、処理後の関連情報を第２の映像生成部１４２へ提供する。なお、第１の映像１０が撮影されたときの倍率等の情報が視点情報取得部１２０から提供される場合、座標変換部１４１は、これらの情報も用いて倍率変換等を行ってもよい。また、視点情報取得部１２０から取得不可情報が提供された場合（換言すると、視点に関する情報の取得に失敗した場合）、座標変換部１４１は上記の座標変換を省略する。

　第２の映像生成部１４２は、座標変換後の関連情報を用いて第２の映像２０を生成する構成である。より具体的には、第２の映像生成部１４２は、座標変換後の関連情報に対応する映像を生成することで第２の映像２０を生成する。「関連情報に対応する映像」とは、第２の映像２０として表示される対象（オブジェクト）であり、図１の例では、選手に対応する映像２１やグラウンドに対応する映像２２である。「関連情報に対応する映像」の内容が関連情報に応じて変わることは言うまでもない。例えば、関連情報に含まれる選手名、背番号、ポジション等の情報が第２の映像２０として生成され、選手の映像に重畳するように表示されてもよい。また、第２の映像生成部１４２は、視聴者が直感的に第２の映像２０を認識できるように、第２の映像２０の態様を制御してもよい。例えば、第２の映像生成部１４２は、第２の映像２０の色彩を、対象の色彩に近いものにしてもよいし（例えば、第２の映像２０である選手の映像の色彩を、実際に選手が着用しているユニフォームの色彩にする等）、対象を簡略化若しくはデフォルメしたものを第２の映像２０にしてもよいし（例えば、選手を簡略化した人型を第２の映像２０にする等）、第２の映像２０の輪郭を強調させたり、第２の映像２０を点滅させたりしてもよいし、対象の高さ（例えば、選手の身長等）や遠近に応じて第２の映像２０の大きさを変更したりしてもよい。第２の映像生成部１４２は、座標変換後の関連情報に基づいて、関連情報に対応する映像を生成する（又は、関連情報に当該映像が含まれる場合には、当該映像を取得してもよい）。そして、第２の映像生成部１４２は、生成した第２の映像２０を表示位置補正部１４４に提供する。生成部１４０は、以上で説明した座標変換部１４１及び第２の映像生成部１４２の処理から、関連情報に対応する映像を、第１の映像１０が撮影された視点からの映像に変換することで第２の映像２０を生成すると言える点に留意されたい。

　これによって、第１の映像１０が撮影された視点（カメラアングル）が変更されなくても、視聴者は、カメラの画枠外の情報をリアルタイムで直感的に認識することができる。したがって、例えば第１の映像１０が被写体の拡大映像である場合でも、視聴者は、会場における被写体の位置（例えば、グラウンドにおける選手の位置）や、会場全体の状況等を直感的に認識することができる。また、第２の映像生成部１４２は、上記の処理によって、第１の映像１０と第２の映像２０とが相互に繋がっているように見せることができるため、表示画面が大きくなったような印象を視聴者に与えることができる。また、関連情報には、上記のとおり、各種解析結果に関する情報（サッカー中継の例では、オフサイドラインの位置、選手やボールの動きの軌道、又は動きの予測結果等）が含まれるため、第２の映像生成部１４２は、これらの情報を用いて第２の映像２０を生成することで、オフサイドラインの位置、又は選手やボールの動きの軌道等のように第１の映像１０からは分かりにくい情報を視聴者へ提供することができる。

　なお、視点情報取得部１２０から取得不可情報が提供された場合（換言すると、視点に関する情報の取得に失敗した場合）、第２の映像生成部１４２は、代替用の第２の映像２０を生成する。例えば、第１の映像１０が選手や客席を拡大した映像やリプレイ映像に切り替わる等の理由により視点に関する情報の取得が失敗した場合、第２の映像生成部１４２は、会場全体が映る映像を代替用の第２の映像２０として生成してもよい。このような代替用の第２の映像２０が生成され表示されることで、例えば第１の映像１０が選手や客席を拡大した映像やリプレイ映像に切り替わっても、視聴者は会場全体の様子を容易に認識することができる。なお、代替用の第２の映像２０の内容は特に限定されない。もちろん、第２の映像生成部１４２は、代替用の第２の映像２０を生成することなく、第２の映像２０の生成を省略したり、最後に視点が特定された時点（換言すると、第１の映像１０が切り替わる直前）の視点からの第２の映像２０を生成し続けたりしてもよい。

　位置関係計算部１４３は、第１の映像１０が表示される位置と、第２の映像２０が表示される位置との位置関係を計算する構成である。本実施形態では、第１の映像１０を表示する第１の映像表示装置６００がテレビであり、第２の映像２０を表示する第２の映像表示装置７００がプロジェクタであるため、位置関係計算部１４３は、テレビのディスプレイの位置と、プロジェクタの投影位置との位置関係を計算する。位置関係計算部１４３は、当該位置関係に関する情報を表示位置補正部１４４へ提供する。これによって、後段の表示位置補正部１４４は、テレビのディスプレイの位置と、プロジェクタの投影位置との位置関係に基づいて第２の映像２０の表示位置を適切に調節することができる。なお、第１の映像１０が表示される位置と、第２の映像２０が表示される位置とが理想的な位置関係にない場合、これらの位置を調節するための指示が行われてもよい。例えば、表示位置を調節するために第１の映像表示装置６００又は第２の映像表示装置７００が駆動されてもよい（例えば、プロジェクタがカメラを内蔵し、テレビに所定のマーカが付されることで、プロジェクタのカメラによって撮影された当該マーカの位置や大きさに基づいてプロジェクタの投影位置が自動的に調節される等）。また、第１の映像表示装置６００又は第２の映像表示装置７００の理想的な表示位置が視聴者に提示され、この提示に基づいて視聴者が第１の映像表示装置６００又は第２の映像表示装置７００の表示位置を調節してもよい（例えば、プロジェクタで長方形状のマーカを投影し、視聴者が当該マーカの四隅がテレビのディスプレイの四隅と一致するようにテレビのディスプレイの位置を調節する等）。

　表示位置補正部１４４は、第１の映像１０が表示される位置と、第２の映像２０が表示される位置との位置関係に基づいて第１の映像１０が表示される位置又は第２の映像２０が表示される位置の少なくともいずれか一方を補正する構成である。なお、本実施形態では、表示位置補正部１４４が第２の映像２０の表示位置のみを補正する場合を一例として説明する。これによって、表示位置補正部１４４は、第１の映像１０及び第２の映像２０を適切な位置に表示させることができるため、視聴者は、図１に示すように、第１の映像１０と第２の映像２０とが繋がっているように見える。表示位置補正部１４４は、表示位置を補正した第２の映像２０を第２の映像提供部１７０へ提供する。

　遅延同期部１５０は、第２の映像２０の生成時に発生した遅延を補償し、第１の映像１０と第２の映像２０とを同期する構成である。より具体的には、遅延同期部１５０は、生成部１４０から提供される、第２の映像２０の生成に要した時間に関する情報に基づいて、第２の映像２０の生成に１フレーム以上の時間（必ずしも１フレームに限定されない）を要した場合、その時間だけ第１の映像１０の表示タイミングを遅らせる。これによって、第１の映像１０と第２の映像２０とが略同一のタイミングで表示される。遅延同期部１５０は、第２の映像２０と同期させた第１の映像１０を第１の映像提供部１６０へ提供する。

　第１の映像提供部１６０は、遅延同期部１５０から提供された第１の映像１０を第１の映像表示装置６００へ提供する構成である。

　第２の映像提供部１７０は、生成部１４０から提供された第２の映像２０を第２の映像表示装置７００へ提供する構成である。

　以上、情報処理装置１００の構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、情報処理装置１００の構成は係る例に限定されない。例えば、情報処理装置１００は、図３に示す構成の全てを必ずしも備えなくてもよいし、図３に示していない構成を備えていてもよい。また、情報処理装置１００の構成は、仕様や運用に応じて柔軟に変形可能である。

　（１．２．処理フロー例）
　上記では、第１の実施形態に係る構成例について説明した。続いて、図４及び図５を参照して、第１の実施形態に係る情報処理装置１００の処理フロー例について説明する。

　図４及び図５は、第１の実施形態に係る情報処理装置１００の処理フロー例を示すフローチャートである。ステップＳ１０００では、位置関係計算部１４３が、第１の映像１０が表示される位置と、第２の映像２０が表示される位置との位置関係を計算する。例えば、位置関係計算部１４３は、テレビのディスプレイの位置と、プロジェクタの投影位置との位置関係を計算する。そして、当該位置関係に基づいて第１の映像表示装置６００又は第２の映像表示装置７００の表示位置が適宜調節される。

　ステップＳ１００４では、第１の映像取得部１１０が第１の映像１０を取得する。より具体的には、第１の映像取得部１１０が、編集装置３００によって選択された第１の映像１０の各フレームを順次取得する。ステップＳ１００８では、関連情報取得部１３０が第１の映像１０の関連情報を取得する。より具体的には、関連情報取得部１３０が、関連情報生成装置５００によって生成された関連情報を順次取得する。

　ステップＳ１０１２では、視点情報取得部１２０が第１の映像１０を解析することで枠の検出を試みる。より具体的には、視点情報取得部１２０は、第１の映像１０を解析することで第１の映像１０に映るグラウンドの白線の検出を試みる。

　枠が検出された場合（ステップＳ１０１６／Ｙｅｓ）、ステップＳ１０２０にて、視点情報取得部１２０が当該枠に基づいて視点に関する情報を取得する。より具体的には、視点情報取得部１２０は、関連情報によってグラウンドの形状を認識し、第１の映像１０に映るグラウンドの白線（枠）と比較することで、第１の映像１０が撮影された視点を特定（取得）する。

　ステップＳ１０２４では、座標変換部１４１が第２の映像２０の視点を決定する。座標変換部１４１は、基本的には、第１の映像１０が撮影された視点と略同一の視点を第２の映像２０の視点とするが、当該視点では第２の映像２０が所定のサイズより大きい（すなわち、大き過ぎる）、又は所定のサイズより小さい（すなわち、小さ過ぎる）等の諸条件が満たされた場合、第２の映像２０の視点を適宜調節してもよい。

　ステップＳ１０２８では、座標変換部１４１が関連情報の座標変換を行う。より具体的には、座標変換部１４１は、関連情報に含まれる、会場に関する情報（サッカー中継の例では、グラウンドの形状、スタジアムの形状、又はスタジアムに配置されるビデオカメラの位置等）、人に関する情報（サッカー中継の例では、選手の位置、又は姿勢等）、物体に関する情報（サッカー中継の例では、サッカーボールの位置、又はゴールポストの位置等）、又はこれらの解析結果に関する情報等（サッカー中継の例では、オフサイドラインの位置、選手やボールの動きの軌道、又は動きの予測結果等）を、第１の映像１０が撮影された視点に基づいて座標変換することで、当該視点を基準としたときの位置や形状等を出力する。

　ステップＳ１０３２では、第２の映像生成部１４２が座標変換後の関連情報を用いて第２の映像２０を生成する。より具体的には、第２の映像生成部１４２は、座標変換後の関連情報に対応する映像（サッカー中継の例では、図１に示した、選手に対応する映像２１やグラウンドに対応する映像２２）を生成することで第２の映像２０を生成する。

　ステップＳ１０１６にて、枠が検出されなかった場合（ステップＳ１０１６／Ｎｏ）、ステップＳ１０３６にて、第２の映像生成部１４２は、代替用の第２の映像２０を生成する。例えば、第１の映像１０が選手や客席を拡大した映像又はリプレイ映像に切り替わる等の理由により枠の検出に失敗した場合、第２の映像生成部１４２は、会場全体が映る映像等を代替用の第２の映像２０として生成してもよい。

　ステップＳ１０４０では、表示位置補正部１４４が第２の映像２０の表示位置を補正する。より具体的には、位置関係計算部１４３によって計算された、第１の映像１０の表示位置と、第２の映像２０の表示位置との位置関係に基づいて、表示位置補正部１４４が第２の映像２０の表示位置を補正する。

　ステップＳ１０４４では、第２の映像表示装置７００が第２の映像２０を表示する。より具体的には、第２の映像提供部１７０が、表示位置補正後の第２の映像２０を第２の映像表示装置７００（図１の例では、プロジェクタ）へ提供し、第２の映像表示装置７００が当該第２の映像２０を表示（投影）する。

　ステップＳ１０４８では、遅延同期部１５０が、第１の映像１０に対する第２の映像２０の遅延を補償し、第１の映像１０と第２の映像２０とを同期させる。より具体的には、遅延同期部１５０が、生成部１４０から提供される、第２の映像２０の生成に要した時間に関する情報に基づいて、第２の映像２０の生成に１フレーム以上の時間（必ずしも１フレームに限定されない）を要した場合、その時間だけ第１の映像１０の表示タイミングを遅らせる。

　ステップＳ１０５２では、第１の映像表示装置６００が第１の映像１０を表示する。より具体的には、第１の映像提供部１６０が、遅延補償後の第１の映像１０を第１の映像表示装置６００（図１の例では、テレビ）へ提供し、第１の映像表示装置６００が当該第１の映像１０を表示する。

　視聴者に提供されるコンテンツが終了した場合（ステップＳ１０５６／Ｙｅｓ）、一連の処理が終了する。視聴者に提供されるコンテンツが終了していない場合（ステップＳ１０５６／Ｎｏ）、処理がステップＳ１００４へ移動し、ステップＳ１００４～ステップＳ１０５２の処理が繰り返される。

　なお、図４及び図５のフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい（以降で説明するフローチャートも同様）。

　　＜２．第２の実施形態＞
　上記では、本開示に係る第１の実施形態について説明した。続いて、本開示に係る第２の実施形態について説明する。

　本開示に係る第２の実施形態においては、第２の映像２０が、視聴者によって装着された透過型ヘッドマウントディスプレイによって表示される（換言すると、第２の映像表示装置７００が透過型ヘッドマウントディスプレイである）。透過型ヘッドマウントディスプレイは、第２の映像２０を表示することで、視聴者にＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を提供することができる。第１の映像１０は、第１の実施形態と同様にテレビ等に表示されるとする。

　第２の実施形態に係る構成例について説明する。透過型ヘッドマウントディスプレイの位置及び姿勢は、視聴者の位置及び姿勢に応じて刻々と変化する。すなわち、第１の映像１０が表示される位置と、第２の映像２０が表示される位置との位置関係は、視聴者の位置及び姿勢（換言すると、視点）に応じて変わる。そこで、第２の実施形態に係る位置関係計算部１４３は、第１の映像１０が表示される位置と、第２の映像２０が表示される位置との位置関係を随時計算し、当該位置関係に関する情報を表示位置補正部１４４へ提供する。より具体的には、位置関係計算部１４３は、透過型ヘッドマウントディスプレイに搭載されている各種センサ（例えば、位置センサ、ジャイロセンサ、又はイメージセンサ等）のセンサデータを解析することで透過型ヘッドマウントディスプレイの位置及び姿勢を算出する。そして、位置関係計算部１４３は、当該位置及び姿勢に基づいて、第１の映像１０が表示される位置と、第２の映像２０が表示される位置との位置関係を随時計算し、当該位置関係に関する情報を表示位置補正部１４４へ提供する。これによって、表示位置補正部１４４は、刻々と変化する透過型ヘッドマウントディスプレイの位置及び姿勢に応じて第１の映像１０又は第２の映像２０の表示位置を調節することができる。その他の構成例については、情報処理システムの構成例は図２（第１の実施形態に係る情報処理システムの構成例）と同様であり得、情報処理装置１００の構成例は図３（第１の実施形態に係る情報処理装置１００の構成例）と同様であり得るため説明を省略する。

　図６及び図７を参照して、第２の実施形態に係る情報処理装置１００の処理フロー例について説明する。図６及び図７は、第２の実施形態に係る情報処理装置１００の処理フロー例を示すフローチャートである。図６及び図７と、図４及び図５（第１の実施形態に係る情報処理装置１００の処理フロー例）とを比較すると分かるように、第２の実施形態に係る情報処理装置１００の処理フロー例においては、図６のステップＳ１１３２にて、位置関係計算部１４３が、第１の映像１０が表示される位置と、第２の映像２０が表示される位置との位置関係を計算する。換言すると、第２の映像２０の表示位置の補正（ステップＳ１１４０）の直前で、第１の映像１０の表示位置と第２の映像２０の表示位置との位置関係が計算される。これによって、視聴者の位置及び姿勢に応じて透過型ヘッドマウントディスプレイ（第２の映像表示装置７００）の位置及び姿勢が変化しても、情報処理装置１００は、その変化に適切に対応し、第２の映像２０を適切な位置に表示させることができる。その他の処理については、図４及び図５（第１の実施形態に係る情報処理装置１００の処理フロー例）と同様であり得るため説明を省略する。

　第２の実施形態においても、第１の実施形態と同様の効果が得られる。より具体的には、第２の映像２０が透過型ヘッドマウントディスプレイ（例えば、メガネ型装置のレンズ部分）に表示されることにより、第１の映像１０が撮影された視点（カメラアングル）が変更されなくても、視聴者は、カメラの画枠外の情報をリアルタイムで直感的に認識することができる。加えて、第２の実施形態では、第２の映像２０が視聴者毎に提供されるため、複数の視聴者が互いに異なる位置から第１の映像１０を見ている場合でも、各視聴者に適した第２の映像２０が提供される（換言すると、第２の映像２０が視聴者毎に最適化される）。

　　＜３．第３の実施形態＞
　上記では、本開示に係る第２の実施形態について説明した。続いて、本開示に係る第３の実施形態について説明する。

　本開示に係る第３の実施形態においては、第１の映像１０及び第２の映像２０が合成されることで合成映像が生成され、当該合成映像が非透過型ヘッドマウントディスプレイによって表示される。情報処理装置１００は、例えば仮想空間を構成する映像を合成映像として生成することで、非透過型ヘッドマウントディスプレイを装着している視聴者にＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）を提供してもよい。例えば、合成映像は、第１の映像１０を表示する仮想的な第１の映像表示装置６００（例えば、テレビ）に、仮想的な第２の映像表示装置７００（例えば、プロジェクタ）によって第２の映像２０が投影される様子を表す映像であってもよい。そして、非透過型ヘッドマウントディスプレイの位置及び姿勢に応じて視聴者が視認できる範囲が変わる。なお、合成映像は、仮想的な第１の映像表示装置６００及び第２の映像表示装置７００の他に、背景となる仮想的な物体等（例えば、壁や家具等）を含んでいてもよい。これによって、視聴者は、より仮想空間に没入し易くなる。また、視聴者に提供される映像は、必ずしもＶＲに係る映像に限定されない。

　図８及び図９を参照して、第３の実施形態に係る構成例について説明する。図８は、第３の実施形態に係る情報処理システムの構成例を示すブロック図である。図８と図２（第１の実施形態に係る情報処理システムの構成例）とを比較すると分かるように、第１の実施形態に係る第１の映像表示装置６００及び第２の映像表示装置７００の代りに、映像表示装置８００が備えられている。

　情報処理装置１００は、第１の映像１０及び第２の映像２０を合成することで合成映像を生成し、当該合成映像を映像表示装置８００へ提供する。そして、映像表示装置８００は合成映像を表示することで視聴者へ提供する。本実施形態に係る映像表示装置８００は、上記のとおり非透過型ヘッドマウントディスプレイであるとする。なお、映像表示装置８００は、必ずしも非透過型ヘッドマウントディスプレイに限定されない。

　図９は、第３の実施形態に係る情報処理装置１００の構成例を示すブロック図である。図９と図３（第１の実施形態に係る情報処理装置１００の構成例）とを比較すると分かるように、第１の実施形態に係る位置関係計算部１４３及び表示位置補正部１４４が無くなり、合成映像生成部１４５が新たに備えられている。また、第１の実施形態に係る第１の映像提供部１６０及び第２の映像提供部１７０の代りに、映像提供部１８０が備えられている。

　合成映像生成部１４５は、第１の映像取得部１１０により取得された第１の映像１０、及び第２の映像生成部１４２により生成された第２の映像２０を合成することで合成映像を生成する構成である。本実施形態においても、遅延同期部１５０は、第２の映像２０の生成時に発生した遅延を補償する。より具体的には、遅延同期部１５０は、生成部１４０から提供される、第２の映像２０の生成に要した時間に関する情報に基づいて、第２の映像２０の生成に１フレーム以上の時間（必ずしも１フレームに限定されない）を要した場合、その時間だけ第１の映像１０の提供タイミングを遅らせる。これによって、合成映像生成部１４５は、同期のとれた第１の映像１０及び第２の映像２０を用いて合成映像を生成することができる。合成映像生成部１４５は、生成した合成映像を映像提供部１８０へ提供する。映像提供部１８０は、合成映像生成部１４５から提供された合成映像を映像表示装置８００へ提供する構成である。その後、映像表示装置８００が合成映像を表示する。その他の構成例については、情報処理システムの構成例は図２（第１の実施形態に係る情報処理システムの構成例）と同様であり得、情報処理装置１００の構成例は図３（第１の実施形態に係る情報処理装置１００の構成例）と同様であり得るため説明を省略する。

　図１０及び図１１を参照して、第３の実施形態に係る情報処理装置１００の処理フロー例について説明する。図１０及び図１１は、第３の実施形態に係る情報処理装置１００の処理フロー例を示すフローチャートである。ステップＳ１２００～ステップＳ１２３２は、図６及び図７（第２の実施形態に係る処理フロー例）のステップＳ１１００～ステップＳ１１３６と同様であるため説明を省略する。ステップＳ１２３６では、合成映像生成部１４５が第１の映像１０及び第２の映像２０を合成することで合成映像を生成する。その際、遅延同期部１５０によって第２の映像２０の生成時に発生した遅延が補償されている。ステップＳ１２４０では、映像表示装置８００が合成映像を表示する。より具体的には、映像提供部１８０が合成映像を映像表示装置８００へ提供し、映像表示装置８００が当該合成映像を表示する。

　第３の実施形態においても、第１の実施形態と同様の効果が得られる。より具体的には、第１の映像１０だけでなく第２の映像２０も用いて合成映像が生成されることにより、第１の映像１０が撮影された視点（カメラアングル）が変更されなくても、視聴者は、カメラの画枠外の情報をリアルタイムで直感的に認識することができる。加えて、第３の実施形態では、第１の映像１０と第２の映像２０とが別々に表示される場合とは異なり、第１の映像１０又は第２の映像２０の表示位置を補正することが求められないため、情報処理装置１００の処理が簡略化され、かつ、第１の映像１０の表示位置と第２の映像２０の表示位置とがずれる恐れが無くなる。

　　＜４．第４の実施形態＞
　上記では、本開示に係る第３の実施形態について説明した。続いて、本開示に係る第４の実施形態について説明する。

　本開示に係る第４の実施形態においては、合成映像を表示する映像表示装置８００が、据え置き型ディスプレイを備えた装置（例えば、テレビやＰＣ等）である。なお、据え置き型ディスプレイを備えた装置の種類は特に限定されない。第４の実施形態に係る情報処理装置１００は、映像表示装置８００におけるディスプレイ全体のサイズに比べて小さい第１の映像１０と、ディスプレイにおける第１の映像１０以外の余白部分に配置した第２の映像２０とを合成することで合成映像を生成する。

　例えば、図１２に示すように、情報処理装置１００は、縦辺と横辺の長さが映像表示装置８００のディスプレイの縦辺と横辺の長さの７５[%]となる第１の映像１０と、ディスプレイにおける第１の映像１０以外の余白部分に配置した第２の映像２０とを合成することで合成映像を生成してもよい。なお、合成映像における第１の映像１０及び第２の映像２０それぞれの大きさや形状の決定方法は上記に限定されない。

　例えば、合成映像における第１の映像１０又は第２の映像２０の少なくともいずれか一方に含まれる人数又は物体の数の最小値が設定され、その最小値に基づいて第１の映像１０及び第２の映像２０それぞれの大きさや形状が決定されてもよい。例えば、図１３に示すように、第１の映像１０に含まれる選手に対応する映像１１の数、又は第２の映像２０に含まれる選手に対応する映像２１の数の少なくともいずれか一方に最小値が設定されてもよい。これにより、表示の混雑具合が調節される。

　また、合成映像における第１の映像１０又は第２の映像２０の少なくともいずれか一方に含まれるべき人又は物体が設定され、その設定に基づいて第１の映像１０及び第２の映像２０それぞれの大きさや形状が決定されてもよい。例えば、図１４に示すように、合成映像における第１の映像１０又は第２の映像２０の少なくともいずれか一方に含まれるべき選手（図１４の例では、映像２１ａに対応する選手）が設定されてもよい。これにより、注目されるべき人又は物体の情報が常に視聴者に提示される。

　また、合成映像における第１の映像１０又は第２の映像２０の少なくともいずれか一方に含まれるべき範囲（又は領域）が設定され、その設定に基づいて第１の映像１０及び第２の映像２０それぞれの大きさや形状が決定されてもよい。例えば、図１５に示すように、合成映像における第１の映像１０又は第２の映像２０の少なくともいずれか一方に含まれるべき領域（図１５の例では、映像２３に対応する領域）が設定されてもよい。これにより、注目されるべき範囲（又は領域）の情報が常に視聴者に提示される。

　なお、合成映像における第１の映像１０及び第２の映像２０それぞれの大きさや形状の決定に用いられる条件（以降、「映像条件」と呼称する）の設定は、映像の配信者によって行われてもよいし、視聴者によって行われてもよい。以降では、映像条件の設定が視聴者によって行われる場合を一例として説明する。

　図１６を参照して、第４の実施形態に係る構成例について説明する。図１６は、第４の実施形態に係る情報処理装置１００の構成例を示すブロック図である。図１６と図９（第３の実施形態に係る情報処理装置１００の構成例）とを比較すると分かるように、映像条件設定部１４６が新たに備えられている。

　映像条件設定部１４６は、視聴者からの入力に基づいて映像条件、すなわち第１の映像１０に関する条件、又は第２の映像２０に関する条件の少なくともいずれかを設定する構成である。その後、合成映像生成部１４５は、映像条件設定部１４６によって設定された映像条件を用いて合成映像を生成する。その他の構成例については、情報処理システムの構成例は図８（第３の実施形態に係る情報処理システムの構成例）と同様であり得、情報処理装置１００の構成例は図９（第３の実施形態に係る情報処理装置１００の構成例）と同様であり得るため説明を省略する。

　図１７及び図１８を参照して、第４の実施形態に係る情報処理装置１００の処理フロー例について説明する。図１７及び図１８は、第４の実施形態に係る情報処理装置１００の処理フロー例を示すフローチャートである。ステップＳ１３００では、映像条件設定部１４６が視聴者からの入力に基づいて映像条件を設定する。これによって、後段の処理（ステップＳ１３４０）では、映像条件に基づいて合成映像が生成される。ステップＳ１３０４～ステップＳ１３４８は、図１０及び図１１（第３の実施形態に係る処理フロー例）のステップＳ１２００～ステップＳ１２４４と同様であるため説明を省略する。

　第４の実施形態においても、第１の実施形態と同様の効果が得られる。より具体的には、第１の映像１０だけでなく第２の映像２０も用いて合成映像が生成されることにより、第１の映像１０が撮影された視点（カメラアングル）が変更されなくても、視聴者は、カメラの画枠外の情報をリアルタイムで直感的に認識することができる。加えて、第４の実施形態では、テレビやＰＣ等の据え置き型ディスプレイを備えた装置が用いられ、非透過型ヘッドマウントディスプレイ等の装置が不要であるため、視聴者はより容易にサービスを受けることができる。また、映像条件により合成映像における第１の映像１０及び第２の映像２０それぞれの大きさや形状が適切に制御される。また、第１の映像１０と第２の映像２０とが別々に表示される場合とは異なり、第１の映像１０又は第２の映像２０の表示位置を補正することが求められないため、情報処理装置１００の処理が簡略化され、かつ、第１の映像１０の表示位置と第２の映像２０の表示位置とがずれる恐れが無くなる。

　　＜５．第５の実施形態＞
　上記では、本開示に係る第４の実施形態について説明した。続いて、本開示に係る第５の実施形態について説明する。

　本開示に係る第５の実施形態においては、第１の映像１０及び第２の映像２０とは異なる第３の映像がさらに生成され、第１の映像１０、第２の映像２０、及び第３の映像が合成されることで合成映像が生成される。そして、合成映像が、据え置き型ディスプレイを備えた装置（例えば、テレビやＰＣ等）、又は非透過型ヘッドマウントディスプレイを含む映像表示装置８００に表示される。

　「第３の映像」とは、例えばＰＣが映像表示装置８００として用いられた場合においては、ＰＣ内のプログラムの処理によって表示される映像を含む。例えば、視聴者がＰＣを用いて何らかの作業を行っている場合、第３の映像は、作業対象を表示する映像である。第３の映像の内容が、映像表示装置８００の種類、及び映像表示装置８００によって実行されるプログラムの種類等に応じて変わり得ることは言うまでもない。

　合成映像における第１の映像１０、第２の映像２０、及び第３の映像は、様々な態様で表示され得る。例えば、合成映像における第３の映像が表示される領域は、第１の映像１０が表示される領域及び第２の映像２０が表示される領域とは異なっていてもよい。これにより、視聴者は、合成映像における第１の映像１０及び第２の映像２０に邪魔されることなく第３の映像を視認することができ、逆に第３の映像に邪魔されることなく第１の映像１０及び第２の映像２０を視認することができる。

　また、合成映像にて、第３の映像と、半透明の第１の映像１０の一部若しくは全部、又は半透明の第２の映像２０の一部若しくは全部とが重畳されるように表示されてもよい。例えば、合成映像において、第１の映像１０と第３の映像がそれぞれ異なる領域に表示され、第３の映像の上に、半透明の第２の映像２０の全部が重畳されるように表示されてもよい。これによって、合成映像における第１の映像１０及び第２の映像２０が上記の表示態様に比べてより大きく表示され、かつ、視聴者は第３の映像も視認することができる。

　図１９を参照して、第５の実施形態に係る構成例について説明する。図１９は、第５の実施形態に係る情報処理装置１００の構成例を示すブロック図である。図１９と図９（第３の実施形態に係る情報処理装置１００の構成例）とを比較すると分かるように、第３の映像生成部１４７と、表示領域設定部１４８と、が新たに備えられている。

　第３の映像生成部１４７は、第１の映像１０及び第２の映像２０とは異なる第３の映像を生成する構成である。例えば、映像表示装置８００がＰＣである場合、第３の映像生成部１４７は、視聴者からＰＣへの入力や、ＰＣ内のプログラムの処理に基づいて第３の映像を生成する。第３の映像生成部１４７は、生成した第３の映像を合成映像生成部１４５へ提供する。

　表示領域設定部１４８は、合成映像における第１の映像１０、第２の映像２０、及び第３の映像の表示領域を設定する構成である。すなわち、表示領域設定部１４８は、合成映像における第１の映像１０、第２の映像２０、及び第３の映像が、ディスプレイにおけるどの領域に表示されるか（換言すると、各映像が表示される領域の位置及び大きさ）を設定する。表示領域設定部１４８は、各映像の表示領域の設定に関する情報（以降、「領域設定情報」と呼称する）を合成映像生成部１４５へ提供する。なお、各映像の表示領域の設定は、映像の配信者によって行われてもよいし、視聴者によって行われてもよい。また、各映像の表示領域の設定は、コンテンツの視聴途中で変更されてもよい。以降では、各映像の表示領域の設定が視聴者によって行われる場合を一例として説明する。合成映像生成部１４５は、第３の映像生成部１４７から第３の映像を提供され、表示領域設定部１４８から領域設定情報を提供されることで、第１の映像１０、第２の映像２０、及び第３の映像を合成した合成映像を生成することができる。

　図２０及び図２１を参照して、第５の実施形態に係る情報処理装置１００の処理フロー例について説明する。図２０及び図２１は、第５の実施形態に係る情報処理装置１００の処理フロー例を示すフローチャートである。ステップＳ１４００では、映像条件設定部１４６が視聴者からの入力に基づいて第１の映像１０、第２の映像２０、及び第３の映像の表示領域を設定する。これによって、後段の処理（ステップＳ１４４４）では、表示領域の設定に基づいて合成映像が生成される。ステップＳ１４０４では、第３の映像生成部１４７が第３の映像を生成する。より具体的には、第３の映像生成部１４７が、視聴者からＰＣへの入力や、ＰＣ内のプログラムの処理に基づいて第３の映像を生成する。ステップＳ１４０８～ステップＳ１４５２は、図１０及び図１１（第３の実施形態に係る処理フロー例）のステップＳ１２００～ステップＳ１２４４と同様であるため説明を省略する。

　第５の実施形態においても、第１の実施形態と同様の効果が得られる。より具体的には、第１の映像１０だけでなく第２の映像２０も用いて合成映像が生成されることにより、第１の映像１０が撮影された視点（カメラアングル）が変更されなくても、視聴者は、カメラの画枠外の情報をリアルタイムで直感的に認識することができる。加えて、第５の実施形態では、合成映像が第３の映像を含むことにより、視聴者は、第３の映像を見て作業したり、（第１の映像１０及び第２の映像２０とは）別のコンテンツ（第３の映像）を視聴したりしながら、第１の映像１０及び第２の映像２０を視聴することができる。

　　＜６．第６の実施形態＞
　上記では、本開示に係る第５の実施形態について説明した。続いて、本開示に係る第６の実施形態について説明する。

　上記の各実施形態に係る関連情報は、会場装置４００（例えば、各種センサ）により取得されたセンサデータを用いて関連情報生成装置５００により生成される情報であった。一方、第６の実施形態に係る関連情報は、第１の映像１０が撮影された視点とは別の視点から撮影された第４の映像である。「第４の映像」とは、例えば会場全体を俯瞰した俯瞰映像であり得る。なお、第４の映像は、会場全体を俯瞰した俯瞰映像でなくてもよいが、できるだけ広い範囲が撮影された映像であることが望ましい。そして、情報処理装置１００は、第１の映像１０が撮影された視点の特定に第４の映像を用いたり、第２の映像２０の生成に第４の映像を用いたりする。なお、第４の映像だけでなく、上記の実施形態のように会場装置４００（例えば、各種センサ）により取得されたセンサデータを用いて生成された情報や、第４の映像が解析されることで生成された情報も関連情報として情報処理装置１００に提供されてもよい。

　図２２及び図２３を参照して、第６の実施形態に係る構成例について説明する。図２２は、第６の実施形態に係る情報処理システムの構成例を示すブロック図である。図２２と図２（第１の実施形態に係る情報処理システムの構成例）とを比較すると分かるように、第１の実施形態に係る会場装置４００及び関連情報生成装置５００の代りに、俯瞰カメラ２１０が備えられている。

　俯瞰カメラ２１０は、第１の映像１０が撮影された視点とは別の視点から撮影された第４の映像（例えば、会場全体を俯瞰した俯瞰映像等）を生成し、第４の映像を情報処理装置１００へ提供する。なお、俯瞰カメラ２１０の種類及び台数は特に限定されない。例えば、複数のカメラにより撮影された映像を用いて第４の映像が生成されてもよい。

　図２３は、第６の実施形態に係る情報処理装置１００の構成例を示すブロック図である。図２３と図３（第１の実施形態に係る情報処理装置１００の構成例）とを比較すると分かるように、関連情報取得部１３０は、第４の映像を取得する第４の映像取得部としても機能する。

　関連情報取得部１３０は、俯瞰カメラ２１０によって撮影された第４の映像の各フレームを関連情報として順次取得する。関連情報取得部１３０は、第４の映像を俯瞰カメラ２１０から受信することで第４の映像を取得してもよいし、他の構成によって俯瞰カメラ２１０から受信された第４の映像を取得してもよい。関連情報取得部１３０は、取得した第４の映像を視点情報取得部１２０及び生成部１４０に提供する。

　視点情報取得部１２０は、関連情報である第４の映像を解析することで、会場に関する情報（サッカー中継の例では、グラウンドの形状、スタジアムの形状、又はスタジアムに配置されるビデオカメラの位置等）を認識する。そして、視点情報取得部１２０は、当該会場に関する情報を用いて第１の映像１０を解析することで、第１の映像１０が撮影された視点を求める。なお、視点情報取得部１２０は、第４の映像を解析することで会場に関する情報を認識するのではなく、当該情報を別途提供されたり、一般的な会場に関する情報（例えば、一般的なグラウンドの形状等）を提供されたりしてもよい。また、第１の映像１０が撮影された視点に関する情報が第１の映像１０にメタデータとして付加されることで、視点情報取得部１２０は、視点に関する情報を第１の映像１０から取得してもよい。座標変換部１４１は、第１の映像１０が撮影された視点に基づいて、第１の映像１０と略同一のタイミングに撮影された第４の映像の座標変換を行う。そして、第２の映像生成部１４２は、座標変換後の第４の映像を用いて第２の映像２０を生成する。例えば、第２の映像生成部１４２は、座標変換後の第４の映像をそのまま第２の映像２０として用いたり、座標変換後の第４の映像から人や物体等を抽出することで第２の映像２０を生成したりする。その他の構成例については、情報処理システムの構成例は図２（第１の実施形態に係る情報処理システムの構成例）と同様であり得、情報処理装置１００の構成例は図３（第１の実施形態に係る情報処理装置１００の構成例）と同様であり得るため説明を省略する。

　図２４及び図２５を参照して、第６の実施形態に係る情報処理装置１００の処理フロー例について説明する。図２４及び図２５は、第６の実施形態に係る情報処理装置１００の処理フロー例を示すフローチャートである。ステップＳ１５０８では、関連情報取得部１３０が第４の映像を関連情報として取得する。これによって、後段の処理にて、第４の映像を用いて視点に関する情報が取得されたり、第２の映像２０が生成されたりする。ステップＳ１５００～ステップＳ１５５６は、図４及び図５（第１の実施形態に係る処理フロー例）のステップＳ１０００～ステップＳ１０５６と同様であるため説明を省略する。

　第６の実施形態においても、第１の実施形態と同様の効果が得られる。より具体的には、第２の映像２０が透過型ヘッドマウントディスプレイ等に表示されることにより、第１の映像１０が撮影された視点（カメラアングル）が変更されなくても、視聴者は、カメラの画枠外の情報をリアルタイムで直感的に認識することができる。加えて、現地（会場）では、各種センサ等の会場装置４００や、センサデータ等を解析する関連情報生成装置５００を設けることなく、俯瞰カメラ２１０のみを設けるだけで本開示の実施が可能となるため、負荷が軽減され得る。また、情報処理装置１００は、第２の映像２０の生成に第４の映像をそのまま用いることができるため、情報処理装置１００の負荷も軽減され得る。また、情報処理装置１００は、第４の映像から人や物体等を抽出することで第２の映像２０を生成することができるため、第２の映像２０の現実感を向上させることができる。

　　＜７．備考＞
　上記では、本開示に係る第６の実施形態について説明した。続いて、第２の映像２０が第２の映像表示装置７００の表示可能な領域に収まらない場合の対応について説明する。

　上記で説明してきたように、第２の映像表示装置７００は、例えば図１のように会場（グラウンド）全体を第２の映像２０で表示することにより、第１の映像１０が撮影された視点（カメラアングル）が変更されなくても、視聴者は、会場の様子を直感的に認識できる。しかし、第１の映像１０が被写体の拡大映像である場合等においては、第２の映像２０が大きくなり過ぎることで、第２の映像表示装置７００の表示可能な領域に収まらない場合がある。この場合、一部が欠落した第２の映像２０が表示されてしまう。

　そこで、第２の映像２０が第２の映像表示装置７００の表示可能な領域に収まらない場合、情報処理装置１００は、第１の映像１０と繋がっているように見える第２の映像２０をあえて生成しなくてもよい。そして、情報処理装置１００は、会場（グラウンド）全体を表示する第２の映像２０であり、当該第２の映像２０において第１の映像１０に対応する領域に関する情報を含む第２の映像２０を生成してもよい。

　例えば、図２６に示すように、情報処理装置１００は、第１の映像１０と繋がっているように見える第２の映像２０をあえて生成するのではなく、会場（グラウンド）全体を表示する第２の映像２０であり、当該第２の映像２０において第１の映像１０に対応する領域を示す映像２４を含む第２の映像２０を生成してもよい。図２６の例では、映像２４は、第２の映像２０において第１の映像１０に対応する領域を示す枠の映像２４ａと、当該枠の頂点と第１の映像表示装置６００のディスプレイの頂点とを結ぶ線の映像２４ｂと、を含む。視聴者は、映像２４により、第２の映像２０において第１の映像１０に対応する領域を直感的に認識することができる。なお、第２の映像２０において第１の映像１０に対応する領域に関する情報は、映像２４に限定されない。例えば、当該情報は、第２の映像２０において第１の映像１０に対応する領域を示す文字等であってもよい。

　　＜８．ハードウェア構成例＞
　上記では、第２の映像２０が第２の映像表示装置７００の表示可能な領域に収まらない場合の対応について説明した。続いて、図２７を参照して、各実施形態に係る情報処理装置１００のハードウェア構成例について説明する。図２７は、各実施形態に係る情報処理装置１００のハードウェア構成例を示すブロック図である。情報処理装置１００による各種処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

　図２７に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置１００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置１００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、情報処理装置１００の各構成を具現し得る。

　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバス等を含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４及び外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、視聴者によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いて視聴者により入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等を含んでいてもよい。視聴者は、この入力装置９０６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

　出力装置９０７は、取得した情報を視聴者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。

　ストレージ装置９０８は、データ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。

　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等によりデータ伝送可能な外部機器との接続口である。

　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、情報処理装置１００の第１の映像取得部１１０又は関連情報取得部１３０を具現してもよい。

　センサ９１５は、各種センサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、又は測距センサ等）を含む構成である。

　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、又は無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等を含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）等の専用回線網を含んでもよい。

　以上、情報処理装置１００の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、各実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

　なお、上記のような情報処理装置１００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１の映像が撮影された視点に関する情報を取得する視点情報取得部と、
　前記第１の映像の関連情報を取得する関連情報取得部と、
　前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成する生成部と、を備える、
　情報処理装置。
（２）
　前記生成部は、前記関連情報に対応する映像を前記視点からの映像に変換することで、前記第２の映像を生成する、
　前記（１）に記載の情報処理装置。
（３）
　前記第１の映像と、前記第２の映像とは、欠けている情報を相互に補い合う、
　前記（２）に記載の情報処理装置。
（４）
　前記第１の映像又は前記第２の映像は、前記第１の映像の撮影対象に応じて決まる枠の少なくとも一部分を含む、
　前記（３）に記載の情報処理装置。
（５）
　前記生成部は、前記第１の映像が表示される位置と、前記第２の映像が表示される位置との位置関係を計算する位置関係計算部と、
　前記位置関係に基づいて前記第１の映像が表示される位置又は前記第２の映像が表示される位置の少なくともいずれか一方を補正する表示位置補正部と、をさらに備える、
　前記（１）から（４）のいずれか１項に記載の情報処理装置。
（６）
　前記第２の映像は、前記第１の映像を表示するディスプレイに向けて投影される、
　前記（５）に記載の情報処理装置。
（７）
　前記位置関係は、視聴者の視点に応じて変わる、
　前記（５）又は（６）に記載の情報処理装置。
（８）
　前記第２の映像は、前記視聴者によって装着された透過型ヘッドマウントディスプレイによって表示される、
　前記（７）に記載の情報処理装置。
（９）
　前記第１の映像を取得する第１の映像取得部をさらに備え、
　前記生成部は、前記第１の映像及び前記第２の映像を合成することで合成映像を生成する合成映像生成部を備える、
　前記（１）から（４）のいずれか１項に記載の情報処理装置。
（１０）
　前記合成映像は、非透過型ヘッドマウントディスプレイによって表示される、
　前記（９）に記載の情報処理装置。
（１１）
　前記生成部は、前記第１の映像に関する条件、又は前記第２の映像に関する条件の少なくともいずれかを設定する映像条件設定部を備え、
　合成映像生成部は、前記第１の映像に関する条件、又は前記第２の映像に関する条件を用いて前記合成映像を生成する、
　前記（９）又は（１０）に記載の情報処理装置。
（１２）
　前記生成部は、前記第１の映像及び前記第２の映像とは異なる第３の映像をさらに生成し、
　合成映像生成部は、前記第１の映像、前記第２の映像、及び前記第３の映像を合成することで前記合成映像を生成する、
　前記（９）から（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記合成映像における前記第３の映像が表示される領域は、前記第１の映像が表示される領域及び前記第２の映像が表示される領域とは異なる、
　前記（１２）に記載の情報処理装置。
（１４）
　前記合成映像にて、前記第３の映像と、半透明の前記第１の映像の一部若しくは全部、又は半透明の前記第２の映像の一部若しくは全部とが重畳されるように表示される、
　前記（１２）に記載の情報処理装置。
（１５）
　前記関連情報は、前記第１の映像が撮影された視点とは別の視点から撮影された第４の映像である、
　前記（１）から（１４）のいずれか１項に記載の情報処理装置。
（１６）
　第１の映像が撮影された視点に関する情報を取得することと、
　前記第１の映像の関連情報を取得することと、
　前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成することと、を有する、
　コンピュータにより実行される情報処理方法。
（１７）
　第１の映像が撮影された視点に関する情報を取得することと、
　前記第１の映像の関連情報を取得することと、
　前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成することと、
　をコンピュータに実現させるためのプログラム。

　１０　　第１の映像
　２０　　第２の映像
　１００　　情報処理装置
　１１０　　第１の映像取得部
　１２０　　視点情報取得部
　１３０　　関連情報取得部（第４の映像取得部）
　１４０　　生成部
　１４１　　座標変換部
　１４２　　第２の映像生成部
　１４３　　位置関係計算部
　１４４　　表示位置補正部
　１４５　　合成映像生成部
　１４６　　映像条件設定部
　１４７　　第３の映像生成部
　１４８　　表示領域設定部
　１５０　　遅延同期部
　１６０　　第１の映像提供部
　１７０　　第２の映像提供部
　１８０　　映像提供部
　２００　　カメラ群
　２１０　　俯瞰カメラ
　３００　　編集装置
　４００　　会場装置
　５００　　関連情報生成装置
　６００　　第１の映像表示装置
　７００　　第２の映像表示装置
　８００　　映像表示装置

Claims (17)

1. 　第１の映像が撮影された視点に関する情報を取得する視点情報取得部と、
   　前記第１の映像の関連情報を取得する関連情報取得部と、
   　前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成する生成部と、を備える、
   　情報処理装置。
2. 　前記生成部は、前記関連情報に対応する映像を前記視点からの映像に変換することで、前記第２の映像を生成する、
   　請求項１に記載の情報処理装置。
3. 　前記第１の映像と、前記第２の映像とは、欠けている情報を相互に補い合う、
   　請求項２に記載の情報処理装置。
4. 　前記第１の映像又は前記第２の映像は、前記第１の映像の撮影対象に応じて決まる枠の少なくとも一部分を含む、
   　請求項３に記載の情報処理装置。
5. 　前記生成部は、前記第１の映像が表示される位置と、前記第２の映像が表示される位置との位置関係を計算する位置関係計算部と、
   　前記位置関係に基づいて前記第１の映像が表示される位置又は前記第２の映像が表示される位置の少なくともいずれか一方を補正する表示位置補正部と、をさらに備える、
   　請求項１に記載の情報処理装置。
6. 　前記第２の映像は、前記第１の映像を表示するディスプレイに向けて投影される、
   　請求項５に記載の情報処理装置。
7. 　前記位置関係は、視聴者の視点に応じて変わる、
   　請求項５に記載の情報処理装置。
8. 　前記第２の映像は、前記視聴者によって装着された透過型ヘッドマウントディスプレイによって表示される、
   　請求項７に記載の情報処理装置。
9. 　前記第１の映像を取得する第１の映像取得部をさらに備え、
   　前記生成部は、前記第１の映像及び前記第２の映像を合成することで合成映像を生成する合成映像生成部を備える、
   　請求項１に記載の情報処理装置。
10. 　前記合成映像は、非透過型ヘッドマウントディスプレイによって表示される、
    　請求項９に記載の情報処理装置。
11. 　前記生成部は、前記第１の映像に関する条件、又は前記第２の映像に関する条件の少なくともいずれかを設定する映像条件設定部を備え、
    　合成映像生成部は、前記第１の映像に関する条件、又は前記第２の映像に関する条件を用いて前記合成映像を生成する、
    　請求項９に記載の情報処理装置。
12. 　前記生成部は、前記第１の映像及び前記第２の映像とは異なる第３の映像をさらに生成し、
    　合成映像生成部は、前記第１の映像、前記第２の映像、及び前記第３の映像を合成することで前記合成映像を生成する、
    　請求項９に記載の情報処理装置。
13. 　前記合成映像における前記第３の映像が表示される領域は、前記第１の映像が表示される領域及び前記第２の映像が表示される領域とは異なる、
    　請求項１２に記載の情報処理装置。
14. 　前記合成映像にて、前記第３の映像と、半透明の前記第１の映像の一部若しくは全部、又は半透明の前記第２の映像の一部若しくは全部とが重畳されるように表示される、
    　請求項１２に記載の情報処理装置。
15. 　前記関連情報は、前記第１の映像が撮影された視点とは別の視点から撮影された第４の映像である、
    　請求項１に記載の情報処理装置。
16. 　第１の映像が撮影された視点に関する情報を取得することと、
    　前記第１の映像の関連情報を取得することと、
    　前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成することと、を有する、
    　コンピュータにより実行される情報処理方法。
17. 　第１の映像が撮影された視点に関する情報を取得することと、
    　前記第１の映像の関連情報を取得することと、
    　前記視点に関する情報及び前記関連情報を用いて、前記第１の映像に関連し、前記第１の映像と連動する第２の映像を生成することと、
    　をコンピュータに実現させるためのプログラム。

Images