JP2018182428A - 映像配信装置、映像配信システム及び映像配信方法 - Google Patents

Abstract

【課題】ユーザが自由視点映像の視点操作に必ずしも習熟していない場合であっても、視点を変更できるメリットを享受できる映像配信装置、映像配信システム及び映像配信方法を提供する。【解決手段】映像配信装置１０は、自由視点映像を観察する仮想カメラの位置及び仮想カメラの方向に関する情報を第１デバイス２１から受信する受信部と、受信部により受信した仮想カメラの位置及び仮想カメラの方向に関する情報と、自由視点映像のフレームとを対応付けて記録する記録部と、記録部により記録された仮想カメラの位置及び仮想カメラの方向に関する情報と、自由視点映像のフレームとの対応付けを、第２デバイス２２に送信する送信部と、を備える。【選択図】図１

Description

本発明は、映像配信装置、映像配信システム及び映像配信方法に関する。

近年、自由視点映像（free viewpoint video）と呼ばれる技術が研究されている。自由視点映像は、映像を観察する視点をユーザが自由に変更することができるものであり、様々な映像コンテンツへの応用が期待されている。

自由視点映像に関し、例えば下記特許文献１には、注視モードであるか遷移モードであるかを判定し、遷移モードである場合には、表示視点位置に対応する自由視点映像を表示し、注視モードである場合には、表示視点位置に至る直線上に複数の仮想視点を設定し、該仮想視点に対応する自由視点映像を順次切り替えて表示することで視点情報に対応する自由視点映像からカメラ視点情報に対応する自由視点映像に変化させながら表示する映像表示装置が記載されている。

特開２０１５−２３１１１４号公報

自由視点映像は、映像を観察する視点をユーザが自由に変更することができるため、個人の興味に応じた視点で映像を楽しむことができる。しかしながら、ユーザは、自由視点映像の視点操作に習熟しているとは限らず、視点を変更できるメリットを十分に享受できない場合がある。

そこで、本発明は、ユーザが自由視点映像の視点操作に必ずしも習熟していない場合であっても、視点を変更できるメリットを享受できる映像配信装置、映像配信システム及び映像配信方法を提供することを目的とする。

本発明の一態様に係る映像配信装置は、自由視点映像を観察する仮想カメラの位置及び仮想カメラの方向に関する情報を第１デバイスから受信する受信部と、受信部により受信した仮想カメラの位置及び仮想カメラの方向に関する情報と、自由視点映像のフレームとを対応付けて記録する記録部と、記録部により記録された仮想カメラの位置及び仮想カメラの方向に関する情報と、自由視点映像のフレームとの対応付けを、第２デバイスに送信する送信部と、を備える。

この態様によれば、例えば、自由視点映像の視点操作に比較的習熟したユーザが用いる第１デバイスから仮想カメラの位置及び方向に関する情報を受信し、自由視点映像のフレームと対応付けて記録し、仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームとの対応付けを第２デバイスに送信することで、自由視点映像の視点操作に必ずしも習熟していないユーザが用いる第２デバイスにおいても、視点操作に比較的習熟したユーザにより得られた自由視点映像を再生することができる。よって、ユーザが自由視点映像の視点操作に必ずしも習熟していない場合であっても、視点を変更できるメリットを享受できる。

上記態様において、送信部は、仮想カメラの複数の位置及び仮想カメラの複数の方向に関する情報と、自由視点映像のフレームとの複数の対応付けを含むリストを、第２デバイスに送信し、受信部は、複数の対応付けのうちから選択された対応付けを第２デバイスから受信し、送信部は、選択された対応付けを、第２デバイスに送信してもよい。

この態様によれば、複数の視点から所望の視点を選択することができるため、自由視点映像の視点操作に必ずしも習熟していないユーザであっても、複数の視点から自由視点映像を観察することができ、視点を変更できるメリットを享受できる。

上記態様において、仮想カメラの位置及び仮想カメラの方向に関する情報に基づいて、広告の表示位置及び表示方向を決定する第１決定部をさらに備え、送信部は、広告を第１決定部により決定された表示位置及び表示方向で表示させるための情報を、第２デバイスに送信してもよい。

この態様によれば、自由視点映像を観察する仮想カメラの位置及び方向に応じて広告の表示される位置及び方向が変化するため、それぞれの視点に適した広告表示を行うことができ、広告効果を向上させることができる。

上記態様において、仮想カメラの複数の位置及び仮想カメラの複数の方向に関する情報に基づいて、複数のアバターの表示位置及び表示方向を決定する第２決定部をさらに備え、送信部は、複数のアバターを第２決定部により決定された表示位置及び表示方向で表示させるための情報を、第２デバイスに送信してもよい。

この態様によれば、仮想カメラの位置及び方向に応じて、同じ自由視点映像を観察する他のユーザのアバターが表示されるため、他のユーザの存在が感じられ、複数のユーザで映像体験を共有することができる。

上記態様において、受信部は、仮想カメラの位置及び仮想カメラの方向に関する情報を第２デバイスから受信してもよい。

この態様によれば、編集済みの自由視点映像の視点を、自らの興味に応じてさらに変更することができ、自由視点映像の視点操作に必ずしも習熟していないユーザであっても、編集済みの自由視点映像を土台にして新たな視点を楽しむことができる。

上記態様において、送信部は、仮想カメラの位置及び仮想カメラの方向を制限するための情報を、第２デバイスに送信してもよい。

この態様によれば、第２デバイスにおける自由視点映像の視点の変更が制限され、自由視点映像の中に観察を制限したい箇所がある場合であっても、自由視点映像自体に変更を加えることなく配信を行うことができる。

上記態様において、受信部は、仮想カメラの移動方向、仮想カメラの移動速度、仮想カメラの移動加速度、仮想カメラの焦点距離、仮想カメラの画角、仮想カメラの視野の奥行及び第１デバイスのユーザについて測定された視線情報のうち少なくともいずれかに関する情報を、第１デバイスから受信し、記録部は、受信部により受信した仮想カメラの移動方向、仮想カメラの移動速度、仮想カメラの移動加速度、仮想カメラの焦点距離、仮想カメラの画角、仮想カメラの視野の奥行及び第１デバイスのユーザについて測定された視線情報のうち少なくともいずれかに関する情報と、自由視点映像のフレームとを対応付けて記録してもよい。

この態様によれば、仮想カメラの移動方向、移動速度、移動加速度、焦点距離、画角、視野の奥行及び視線情報を含む付加情報を自由視点映像のフレームと対応付けて記録することで、より迫力ある動的な視点を他のユーザと共有することができる。

上記態様において、仮想カメラの位置及び仮想カメラの方向に対して所定の関係を保つように、他の仮想カメラの位置及び他の仮想カメラの方向を決定する第３決定部をさらに備え、送信部は、第３決定部により決定された他の仮想カメラの位置及び他の仮想カメラの方向に関する情報と、自由視点映像のフレームとの対応付けを第２デバイスに送信してもよい。

この態様によれば、あるユーザに対応する仮想カメラの位置及び方向を基準として、他のユーザに対応する他の仮想カメラの位置及び方向を決定することで、複数のユーザの視点を連動させることができ、複数のユーザが映像体験を共有することができる。

上記態様において、記録部は、仮想カメラにより撮影される範囲と、自由視点映像のフレームとを対応付けて記録してもよい。

この態様によれば、自由視点映像のうち仮想カメラにより撮影される範囲を第１デバイスに配信し、自由視点映像のうち仮想カメラにより撮影されない範囲を第１デバイスに配信しないか又は解像度を下げて配信することとして、配信する自由視点映像の容量を削減することができる。これにより、自由視点映像を配信する際の演算負荷や通信負荷を低減することができる。

本発明の一態様に係る映像配信システムは、自由視点映像のフレームに対応付けて、自由視点映像を観察する仮想カメラの位置及び仮想カメラの方向を指定する第１デバイスと、第１デバイスにより指定された仮想カメラの位置及び仮想カメラの方向と、自由視点映像のフレームとの対応付けに基づいて、自由視点映像を再生する第２デバイスと、を含む。

この態様によれば、例えば、第２デバイスは、自由視点映像の視点操作に比較的習熟したユーザが用いる第１デバイスから、仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームとの対応付けを、映像配信装置を介して受信するか又は第１デバイスからＰ２Ｐにより直接受信することができ、自由視点映像の視点操作に必ずしも習熟していないユーザが用いる第２デバイスにおいても、視点を変更できるメリットを享受できる。

本発明の一態様に係る映像配信方法は、第１デバイスによって、自由視点映像のフレームに対応付けて、自由視点映像を観察する仮想カメラの位置及び仮想カメラの方向を指定するステップと、第２デバイスによって、第１デバイスにより指定された仮想カメラの位置及び仮想カメラの方向と、自由視点映像のフレームとの対応付けに基づいて、自由視点映像を再生するステップと、を含む。

この態様によれば、例えば、第２デバイスは、自由視点映像の視点操作に比較的習熟したユーザが用いる第１デバイスから、仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームとの対応付けを、映像配信装置を介して受信するか又は第１デバイスからＰ２Ｐにより直接受信することができ、自由視点映像の視点操作に必ずしも習熟していないユーザが用いる第２デバイスにおいても、視点を変更できるメリットを享受できる。

本発明によれば、ユーザが自由視点映像の視点操作に必ずしも習熟していない場合であっても、視点を変更できるメリットを享受できる映像配信装置、映像配信システム及び映像配信方法を提供することができる。

本発明の実施形態に係る映像配信システムの構成図である。 本発明の実施形態に係る映像配信装置の機能ブロック図である。 仮想カメラの位置と方向を示す概念図である。 視聴デバイスに表示される映像の表示例を示す図である。 本発明の実施形態に係る映像配信システムにより実行される第１処理のフローチャートである。 本発明の実施形態に係る映像配信システムにより実行される第２処理のフローチャートである。 本発明の実施形態に係る映像配信システムにより実行される第３処理のフローチャートである。 本発明の実施形態に係る映像配信システムにより実行される第４処理のフローチャートである。 本発明の実施形態に係る映像配信システムにより実行される第５処理のフローチャートである。

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

図１は、本発明の実施形態に係る映像配信システム１の構成図である。映像配信システム１は、映像配信装置１０、第１視聴デバイス２１、第２視聴デバイス２２、第３視聴デバイス２３、映像データベースＤＢ１及び視点データベースＤＢ２を含む。映像配信装置１０、第１視聴デバイス２１、第２視聴デバイス２２、第３視聴デバイス２３、映像データベースＤＢ１及び視点データベースＤＢ２は、それぞれ通信ネットワークＮを介して接続される。通信ネットワークＮは、インターネットであってよく、有線通信又は無線通信によるネットワークである。なお、通信ネットワークＮは、ＬＡＮ（Local Area Network）やその他の任意のネットワークであってよい。

映像配信システム１は、映像データベースＤＢ１に格納された自由視点映像を第１視聴デバイス２１、第２視聴デバイス２２及び第３視聴デバイス２３に対して配信する。映像配信システム１は、第１視聴デバイス２１、第２視聴デバイス２２及び第３視聴デバイス２３から自由視点映像の視点に関する情報を受け付けて、視点データベースＤＢ２に記録する。なお、本明細書において自由視点映像とは、自由に視点を変更することのできる映像である。自由視点映像は、専用又は汎用の視聴デバイスで再生することができ、リアルタイムで配信（生放送）されたり、予め録画されてオンデマンド配信されたりする。

第１視聴デバイス２１、第２視聴デバイス２２及び第３視聴デバイス２３は、それぞれ自由視点映像を再生することのできるデバイスであり、自由視点映像の編集に比較的習熟したユーザ又は必ずしも習熟していないユーザが使用する。第１視聴デバイス２１、第２視聴デバイス２２及び第３視聴デバイス２３は、パーソナルコンピュータやスマートフォン等の汎用機器に専用のアプリケーションがインストールされることで構成されてよい。本明細書では、第１視聴デバイス２１は、「第１デバイス」に相当し、第２視聴デバイス２２は、「第２デバイス」に相当するものとして説明するが、第１視聴デバイス２１、第２視聴デバイス２２及び第３視聴デバイス２３のいずれもが「第１デバイス」に相当し得るし、「第２デバイス」にも相当し得る。また、本明細書では、３台の視聴デバイスが映像配信装置１０と接続されている状況について説明するが、映像配信装置１０と接続される視聴デバイスの数は任意であるし、視聴デバイス同士がＰ２Ｐ（Peer to Peer）で接続されてもよい。

図２は、本発明の実施形態に係る映像配信装置１０の機能ブロック図である。映像配信装置１０は、受信部１１、記録部１２、送信部１３及び決定部１４を有する。

受信部１１は、自由視点映像を観察する仮想カメラの位置及び仮想カメラの方向に関する情報を第１デバイスから受信する。例えば、受信部１１は、仮想カメラの位置及び方向に関する情報を第１視聴デバイス２１から受信する。記録部１２は、受信部１１により受信した仮想カメラの位置及び仮想カメラの方向に関する情報と、自由視点映像のフレームとを対応付けて記録する。ここで、自由視点映像のフレームとは、自由視点映像を構成する静止画像をいう。自由視点映像のフレームは、例えばフレームに付されたＩＤによって識別されてもよいし、フレームに付されたタイムスタンプによって識別されてもよい。記録部１２は、映像データベースＤＢ１に格納された自由視点映像のフレームと、受信部１１により受信した仮想カメラの位置及び方向に関する情報との対応付けを、視点データベースＤＢ２に記録する。ここで、仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームとの対応付けは、仮想カメラの位置座標及び方向座標と、自由視点映像のフレームに付されたＩＤとを対応付けることにより行ってもよいし、仮想カメラの位置座標及び仮想カメラの方向座標と、自由視点映像のフレームに付されたタイムスタンプとを対応付けることにより行ってもよく、その他任意の方法で行ってよい。例えば、仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームに付されたタイムスタンプとを対応付けることによって、複数のフレームが対応付けの候補となる場合であっても、タイムスタンプに基づいて適切な対応付けを判断することができる。仮想カメラの位置座標及び方向座標については、次図を用いて詳細に説明する。

送信部１３は、記録部１２により記録された仮想カメラの位置及び仮想カメラの方向に関する情報と、自由視点映像のフレームとの対応付けを、第２デバイスに送信する。例えば、送信部１３は、仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームとの対応付けを、第２視聴デバイス２２に送信する。

仮に、第１視聴デバイス２１のユーザが、自由視点映像の視点操作に比較的習熟している者であり、第２視聴デバイス２２のユーザが、自由視点映像の視点操作に必ずしも習熟していない者である場合、自由視点映像の視点操作に比較的習熟したユーザが用いる第１視聴デバイス２１から仮想カメラの位置及び方向に関する情報を受信し、自由視点映像のフレームと対応付けて記録し、仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームとの対応付けを第２視聴デバイス２２に送信することで、自由視点映像の視点操作に必ずしも習熟していないユーザが用いる第２視聴デバイス２２においても、視点操作に比較的習熟したユーザにより得られた自由視点映像を再生することができる。よって、ユーザが自由視点映像の視点操作に必ずしも習熟していない場合であっても、当該ユーザは、視点を変更できるメリットを享受できる。

また、送信部１３は、仮想カメラの複数の位置及び仮想カメラの複数の方向に関する情報と、自由視点映像のフレームとの複数の対応付けを含むリストを、第２視聴デバイス２２に送信する。当該リストは、仮想カメラの複数の位置及び方向と自由視点映像のフレームとの複数の対応付けを容易に把握できるように、サムネイル映像を含んでもよい。受信部１１は、複数の対応付けのうちから選択された対応付けを第２視聴デバイス２２から受信し、送信部１３は、選択された対応付けを、第２視聴デバイス２２に送信する。

また、受信部１１は、仮想カメラの位置及び仮想カメラの方向に関する情報を第２視聴デバイス２２から受信する。受信部１１は、仮想カメラの位置及び方向に関する情報を、第１視聴デバイス２１から受信するだけでなく、第２視聴デバイス２２からも受信する。当然ながら、受信部１１は、任意の視聴デバイスから仮想カメラの位置及び仮想カメラの方向に関する情報を受信してよい。

また、送信部１３は、仮想カメラの位置及び仮想カメラの方向を制限するための情報を、第２視聴デバイス２２に送信する。ここで、仮想カメラの位置及び仮想カメラの方向を制限するための情報とは、視聴デバイスにおける自由視点映像の視点の変更を制限するための情報であって、仮想カメラの位置及び方向に関して侵入を禁止する領域の設定を含む情報である。仮想カメラの位置及び方向を制限するための情報が第２視聴デバイス２２に送信されることで、第２視聴デバイス２２における自由視点映像の視点の変更が制限され、自由視点映像の中に観察を制限したい箇所がある場合であっても、自由視点映像自体に変更を加えることなく配信を行うことができる。

また、受信部１１は、仮想カメラの移動方向、仮想カメラの移動速度、仮想カメラの移動加速度及び第１視聴デバイス２１のユーザについて測定された視線情報のうち少なくともいずれかに関する情報を、第１視聴デバイス２１から受信する。ここで、第１視聴デバイス２１のユーザについて測定された視線情報は、アイトラッカーにより測定された第１視聴デバイス２１のユーザの視線に関する情報や、焦点に関する情報を含む。記録部１２は、受信部１１により受信した仮想カメラの移動方向、仮想カメラの移動速度、仮想カメラの移動加速度及び第１視聴デバイス２１のユーザについて測定された視線情報のうち少なくともいずれかに関する情報と、自由視点映像のフレームとを対応付けて、視点データベースＤＢ２に記録する。仮想カメラの移動方向、移動速度、移動加速度及び視線情報を含む付加情報を自由視点映像のフレームと対応付けて記録することで、より迫力ある動的な視点を他のユーザと共有することができる。

決定部１４は、第１決定部１４ａ、第２決定部１４ｂ及び第３決定部１４ｃを含む。第１決定部１４ａは、仮想カメラの位置及び仮想カメラの方向に関する情報に基づいて、広告の表示位置及び表示方向を決定する。ここで、広告は、テキスト情報や画像情報を含むものであってよく、動画を含んでもよい。第１決定部１４ａは、広告が見えやすく、かつ、自由視点映像の視聴を妨げないように、広告の表示位置及び表示方向を決定する。送信部１３は、広告を第１決定部１４ａにより決定された表示位置及び表示方向で表示させるための情報を、第２視聴デバイス２２に送信する。

第２決定部１４ｂは、仮想カメラの複数の位置及び仮想カメラの複数の方向に関する情報に基づいて、複数のアバターの表示位置及び表示方向を決定する。ここで、アバターとは、ユーザを示すキャラクターである。アバターは、画像やテキスト、動画を含んでよく、視聴デバイスのユーザによって登録されるものであってよい。第２決定部１４ｂは、各ユーザに対応する仮想カメラの位置及び方向に応じて、アバターの表示位置及び表示方向を決定する。送信部１３は、複数のアバターを第２決定部１４ｂにより決定された表示位置及び表示方向で表示させるための情報を、第２視聴デバイス２２に送信する。

第３決定部１４ｃは、仮想カメラの位置及び仮想カメラの方向に対して所定の関係を保つように、他の仮想カメラの位置及び他の仮想カメラの方向を決定する。ここで、他の仮想カメラの位置及び方向は、例えば第３視聴デバイス２３に対応する仮想カメラの位置及び方向である。送信部１３は、第３決定部１４ｃにより決定された他の仮想カメラの位置及び他の仮想カメラの方向に関する情報と、自由視点映像のフレームとの対応付けを第２視聴デバイス２２に送信する。

図３は、仮想カメラの位置と方向を示す概念図である。同図では、自由視点映像の世界座標Ｃ１と、仮想カメラに付随したカメラ座標Ｃ２を示している。世界座標Ｃ１は、自由視点映像を観察する視点に関わらず固定された座標であり、同図の例の場合（ｘ、ｙ、ｚ）の３軸の直交座標で表される。世界座標Ｃ１の原点は、自由視点映像の基準となる位置に設定してよい。例えば、自由視点映像がサッカーの試合に関するものである場合、世界座標Ｃ１の原点は、フィールドの中央に設定してよい。

カメラ座標Ｃ２は、仮想カメラの中心に原点が設定され、仮想カメラとともに傾く座標である。カメラ座標Ｃ２の原点は、世界座標Ｃ１において（ｘ１、ｙ１、ｚ１）に位置する。（ｘ１、ｙ１、ｚ１）は、世界座標Ｃ１における仮想カメラの中心の位置を表す。また、カメラ座標Ｃ２は、仮想カメラとともに傾いており、傾きは方向座標（オイラー角）（φ、θ、ψ）で表される。方向座標（φ、θ、ψ）は、仮想カメラの方向を表す。方向座標の原点（φ＝０、θ＝０、ψ＝０の方向）は、世界座標Ｃ１の座標軸と一致する方向に設定してよい。このようにして、仮想カメラの位置は、３次元の位置座標によって特定され、仮想カメラの方向は、３次元の方向座標とよって特定される。

なお、仮想カメラの位置及び方向に関する情報は、仮想カメラの位置座標及び方向座標以外の情報を含んでもよい。例えば、仮想カメラの位置及び方向に関する情報は、映像の投影面と当該投影面に投影された像を特定する情報を含んでもよい。この場合、仮想カメラの位置座標及び方向座標に加えて、仮想カメラの焦点距離及び画角（水平画角、垂直画角及び対角画角）が特定されることとなる。また、仮想カメラの位置及び方向に関する情報は、視体積の奥行に関する情報を含んでもよい。この場合、視野の奥行が特定されることとなる。

映像配信装置１０の記録部１２は、仮想カメラにより撮影される範囲と、自由視点映像のフレームとを対応付けて記録してもよい。映像配信装置１０は、仮想カメラの位置、方向、移動方向、移動速度、移送加速度、焦点距離、画角及び視野の奥行に関する情報のうち少なくともいずれかに基づいて、仮想カメラにより撮影される範囲を算出してよい。仮想カメラにより撮影される範囲は、３次元的な範囲であってもよいし、２次元的な範囲であってもよい。映像配信装置１０は、自由視点映像のうち仮想カメラにより撮影される範囲を視聴デバイスに配信し、自由視点映像のうち仮想カメラにより撮影されない範囲を視聴デバイスに配信しないか又は解像度を下げて配信することとしてよい。これにより、配信する自由視点映像の容量を削減することができ、自由視点映像を配信する際の演算負荷や通信負荷を低減することができる。

図４は、視聴デバイスに表示される映像の表示例ＤＰを示す図である。同図に示す表示例ＤＰは、第１視聴デバイス２１、第２視聴デバイス２２及び第３視聴デバイス２３のいずれかに表示される自由視点映像の例である。

表示例ＤＰは、サッカーの試合に関する自由視点映像の例を示しており、第１広告ＣＭ１、第２広告ＣＭ２、第１アバターＡＶ１及び第２アバターＡＶ２を含む。第１広告ＣＭ１及び第２広告ＣＭ２は、第１決定部１４ａにより決定された位置及び方向で表示されており、サッカーの試合観戦を妨げないが、ユーザの目につきやすい場所に表示される。第１アバターＡＶ１及び第２アバターＡＶ２は、同じ自由視点映像を視聴している他のユーザに対応するアバターであり、ここでは２人のユーザが同じ自由視点映像を視聴していることが確認できる。自由視点映像の視点を変更すると、視点の移動に応じて、第１広告ＣＭ１、第２広告ＣＭ２、第１アバターＡＶ１及び第２アバターＡＶ２の表示位置及び表示方向が変化してよい。

このように、本実施形態に係る映像配信装置１０によれば、自由視点映像を観察する仮想カメラの位置及び方向に応じて広告の表示される位置及び方向が変化するため、それぞれの視点に適した広告表示を行うことができ、広告効果を向上させることができる。また、仮想カメラの位置及び方向に応じて、同じ自由視点映像を観察する他のユーザのアバターが表示されるため、他のユーザの存在が感じられ、複数のユーザで映像体験を共有することができる。

図５は、本発明の実施形態に係る映像配信システム１により実行される第１処理のフローチャートである。第１処理は、第１視聴デバイス２１によって自由視点映像の視点の編集を行い、映像配信装置１０によって視点を登録する処理である。

はじめに、映像配信装置１０は、第１視聴デバイス２１に対して自由視点映像を配信する（Ｓ１１）。ここで、自由視点映像の配信は、リアルタイムに行われる配信であってもよいし、過去に録画されたものの配信であってもよい。第１視聴デバイス２１は、仮想カメラの位置及び方向に関する初期値で、配信された自由視点映像を再生する（Ｓ１２）。

ユーザは、第１視聴デバイス２１によって仮想カメラを操作する（Ｓ１３）。第１視聴デバイス２１は、仮想カメラの位置、方向、移動方向、移動速度、移動加速度、焦点距離、画角及び視野の奥行の変更をユーザから受け付けてよい。また、第１視聴デバイス２１は、自由視点映像を視聴するユーザの視線情報を測定してよい。

第１視聴デバイス２１は、自由視点映像のフレーム毎に、仮想カメラの位置及び方向に関する情報と、仮想カメラの移動方向、移動速度、移動加速度、焦点距離、画角、視野の奥行及びユーザの視線情報を含む付加情報と、を取得する（Ｓ１４）。ここで、フレーム毎に行われる各情報の取得は、フレームに付されたＩＤ毎に繰り返し行ったり、フレームに付されたタイムスタンプ毎に繰り返し行ったりしてよい。第１視聴デバイス２１は、自由視点映像のフレーム毎に、仮想カメラの位置及び方向に関する情報並びに付加情報を映像配信装置１０に送信する（Ｓ１５）。なお、仮想カメラの焦点距離、画角及び視野の奥行に関する情報は、付加情報に含まれてもよいし、仮想カメラの位置及び方向に関する情報に含まれてもよい。また、第１視聴デバイス２１は、仮想カメラの操作があったか否かを判断し、操作があった場合のみ、仮想カメラの位置及び方向に関する情報並びに付加情報を映像配信装置１０に送信することとしてもよい。

なお、自由視点映像がリアルタイムに配信される場合、第１視聴デバイス２１は、ユーザにより操作された仮想カメラの位置及び方向に関する情報並びに付加情報を、逐次映像配信装置１０に送信してよい。また、過去に録画された自由視点映像が配信される場合、第１視聴デバイス２１は、ユーザにより操作された仮想カメラの位置及び方向に関する情報並びに付加情報を、一括して映像配信装置１０に送信してよい。

映像配信装置１０は、仮想カメラの位置及び方向に関する情報と、付加情報を第１視聴デバイス２１から受信する（Ｓ１６）。そして、映像配信装置１０は、受信した仮想カメラの位置及び方向に関する情報並びに付加情報と、自由視点映像のフレームとの対応付けを視点データベースＤＢ２に記録する（Ｓ１７）。以上により、第１処理が終了する。このようにして、様々なユーザが編集した自由視点映像の視点を視点データベースＤＢ２に収集することができる。収集された視点を解析して、多くのユーザに好まれる視点を抽出し、ユーザに対して推薦することができる。また、自由視点映像自体とは別に、自由視点映像を観察する視点を有料又は無料で配信することができる。

図６は、本発明の実施形態に係る映像配信システム１により実行される第２処理のフローチャートである。第２処理は、第２視聴デバイス２２によって自由視点映像の視点のリストの選択を行い、映像配信装置１０によって選択された視点で自由視点映像を配信する処理である。

はじめに、映像配信装置１０は、仮想カメラの複数の位置及び複数の方向に関する情報並びに複数の付加情報と、自由視点映像のフレームとの対応付けのリストを第２視聴デバイス２２に送信する（Ｓ２１）。第２視聴デバイス２２のユーザは、仮想カメラの位置及び方向に関する情報並びに付加情報と、自由視点映像のフレームとの対応付けを、リストの中から１つ選択する（Ｓ２２）。

映像配信装置１０は、選択された仮想カメラの位置及び方向に関する情報並びに付加情報と、自由視点映像のフレームとの対応付けを第２視聴デバイス２２に送信する（Ｓ２３）。このように、第２視聴デバイス２２のユーザは、複数の視点から所望の視点を選択することができるため、自由視点映像の視点操作に必ずしも習熟していない場合であっても、複数の視点から自由視点映像を観察することができ、視点を変更できるメリットを享受できる。なお、自由視点映像がリアルタイムに配信される場合、映像配信装置１０は、選択された仮想カメラの位置及び方向に関する情報並びに付加情報を、逐次第２視聴デバイス２２に送信してよい。また、過去に録画された自由視点映像が配信される場合、映像配信装置１０は、選択された仮想カメラの位置及び方向に関する情報並びに付加情報を、一括して第２視聴デバイス２２に送信してよい。

映像配信装置１０は、仮想カメラの位置及び方向に関する情報並びに付加情報に基づいて、広告の表示位置及び表示方向を決定し、当該決定された表示位置及び表示方向で広告を表示させるための情報を第２視聴デバイス２２に送信する（Ｓ２４）。

また、映像配信装置１０は、仮想カメラの複数の位置及び複数の方向に関する情報並びに複数の付加情報に基づいて、複数のアバターの表示位置及び表示方向を決定し、当該決定された表示位置及び表示方向で複数のアバターを表示させるための情報を第２視聴デバイス２２に送信する（Ｓ２５）。

また、映像配信装置１０は、仮想カメラの位置及び方向を制限するための情報を、第２視聴デバイス２２に送信する（Ｓ２６）。

第２視聴デバイス２２は、受信した仮想カメラの位置及び方向に関する情報並びに付加情報と、自由視点映像のフレームとの対応付けに基づいて、自由視点映像を再生する（Ｓ２７）。また、第２視聴デバイス２２は、映像配信装置１０により決定された表示位置及び表示方向で広告を表示する（Ｓ２８）。また、第２視聴デバイス２２は、映像配信装置１０により決定された表示位置及び表示方向で複数のアバターを表示する（Ｓ２９）。以上で第２処理が終了する。なお、第２処理の後に、第３処理又は第４処理が実行されてよく、それぞれ別の図面を用いて説明する。

図７は、本発明の実施形態に係る映像配信システム１により実行される第３処理のフローチャートである。第３処理は、第２処理が行われた後に、第２視聴デバイス２２によって自由視点映像の視点の編集を行い、映像配信装置１０によって視点を登録する処理である。同図で示す「Ａ」は、映像配信装置１０により行われる処理が第２処理から継続することを表し、「Ｂ」は、第２視聴デバイス２２により行われる処理が第２処理から継続することを表す。もっとも、第３処理は、第２処理と独立して行われてもよい。

ユーザは、第２視聴デバイス２２によって、再生している自由視点映像に関して、仮想カメラの位置や方向等を操作する（Ｓ３１）。第２視聴デバイス２２は、リクエストされた仮想カメラの位置及び方向が、映像配信装置１０から受信した仮想カメラの位置及び方向を制限するための情報によって指定される制限領域に含まれるか否かを判断する（Ｓ３２）。リクエストされた仮想カメラの位置及び方向が、制限領域に含まれる場合（Ｓ３２：Ｙｅｓ）、第２視聴デバイス２２は、仮想カメラの位置及び方向の操作を反映させず、再び仮想カメラの操作を受け付ける。一方、リクエストされた仮想カメラの位置及び方向が、制限領域に含まれない場合（Ｓ３２：Ｎｏ）、仮想カメラの位置及び方向の操作を反映させ、仮想カメラの位置、方向に関する情報及び付加情報を取得する（Ｓ３３）。その後、第２視聴デバイス２２は、仮想カメラの位置及び方向に関する情報並びに付加情報を映像配信装置１０に送信する（Ｓ３４）。

映像配信装置１０は、第２視聴デバイス２２により編集された仮想カメラの位置及び方向に関する情報並びに付加情報を受信し（Ｓ３５）、仮想カメラの位置及び方向に関する情報並びに付加情報と、自由視点映像のフレームとの対応付けを視点データベースＤＢ２に記録する（Ｓ３６）。以上により第３処理が終了する。

本実施形態に係る映像配信システム１によれば、編集済みの自由視点映像の視点を、自らの興味に応じてさらに変更することができ、自由視点映像の視点操作に必ずしも習熟していないユーザであっても、編集済みの自由視点映像を土台にして新たな視点を楽しむことができる。

図８は、本発明の実施形態に係る映像配信システム１により実行される第４処理のフローチャートである。第４処理は、第２視聴デバイス２２と第３視聴デバイス２３で自由視点映像を観察する視点を共有する処理である。同図で示す「Ａ」は、映像配信装置１０により行われる処理が第２処理から継続することを表し、「Ｂ」は、第２視聴デバイス２２により行われる処理が第２処理から継続することを表す。もっとも、第４処理は、第２処理と独立して行われてもよい。

第２視聴デバイス２２によって、映像配信装置１０に対して視点の共有がリクエストされると（Ｓ４１）、映像配信装置１０は、仮想カメラの位置及び方向に対して所定の関係を保つように、他の仮想カメラの位置及び方向を決定する（Ｓ４２）。ここで、所定の関係とは、仮想カメラと他の仮想カメラが、一定の距離を保ちつつ、世界座標Ｃ１上の同一点を観察するように定められる関係であってよい。そして、他の仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームとの対応付けを第３視聴デバイス２３に送信する（Ｓ４３）。

第３視聴デバイス２３は、他の仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームとの対応付けに基づいて、自由視点映像を再生する（Ｓ４４）。また、映像配信装置１０から送信された広告の表示位置及び表示方向に関する情報に基づいて広告を表示し（Ｓ４５）、映像配信装置１０から送信されたアバターの表示位置及び表示方向に関する情報に基づいてアバターを表示する（Ｓ４６）。ここで、アバターは、少なくとも第２視聴デバイス２２に対応するものを含む。第２視聴デバイス２２と第３視聴デバイス２３が、隣り合った位置で自由視点映像を同じ方向から観察するように、仮想カメラと他の仮想カメラの位置及び方向が決定される場合、第２視聴デバイス２２と第３視聴デバイス２３に対応するアバターが隣り合って表示される。これにより、第２視聴デバイス２２と第３視聴デバイス２３のユーザは、互いの存在を感じながら映像体験を共有できる。以上により第４処理が終了する。

本実施形態に係る映像配信装置１０によれば、あるユーザに対応する仮想カメラの位置及び方向を基準として、他のユーザに対応する他の仮想カメラの位置及び方向を決定することで、複数のユーザの視点を連動させることができ、複数のユーザが映像体験を共有することができる。

図９は、本発明の実施形態に係る映像配信システム１により実行される第５処理のフローチャートである。第５処理は、第１視聴デバイス２１と第２視聴デバイス２２によって、自由視点映像を観察する視点をＰ２Ｐで共有する処理である。

はじめに、第１視聴デバイス２１は、仮想カメラの位置及び方向に関する初期値で自由視点映像を再生する（Ｓ５１）。ユーザは、第１視聴デバイス２１によって、自由視点映像を観察する仮想カメラを操作する（Ｓ５２）。第１視聴デバイス２１は、仮想カメラの位置、方向、移動方向、移動速度、移動加速度、焦点距離、画角及び視野の奥行の変更を受け付けてよい。第１視聴デバイス２１は、自由視点映像のフレーム毎に、仮想カメラの位置及び方向に関する情報と、仮想カメラの移動方向、移動速度、移動加速度、焦点距離、画角、視野の奥行及びユーザの視線情報を含む付加情報と、を取得する（Ｓ５３）。第１視聴デバイス２１は、仮想カメラの位置及び方向に関する情報並びに付加情報と、自由視点映像のフレームとの対応付けを、第２視聴デバイス２２にＰ２Ｐで送信する（Ｓ５４）。

第２視聴デバイス２２は、第１視聴デバイス２１から受信した仮想カメラの位置及び方向に関する情報並びに付加情報と、自由視点映像のフレームとの対応付けに基づいて、自由視点映像を再生する（Ｓ５５）。すなわち、第２視聴デバイス２２は、第１視聴デバイス２１から共有した視点で、自由視点映像を再生する。以上により第５処理が終了する。仮に、第１視聴デバイス２１のユーザが、自由視点映像の視点操作に比較的習熟している者であり、第２視聴デバイス２２のユーザが、自由視点映像の視点操作に必ずしも習熟していない者である場合、第２視聴デバイス２２は、自由視点映像の視点操作に比較的習熟したユーザが用いる第１視聴デバイス２１から、仮想カメラの位置及び方向に関する情報と、自由視点映像のフレームとの対応付けを、映像配信装置１０を介して受信するか又は第１視聴デバイス２１からＰ２Ｐにより直接受信することができ、自由視点映像の視点操作に必ずしも習熟していないユーザが用いる第２視聴デバイス２２においても、視点を変更できるメリットを享受できる。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１…映像配信システム、１０…映像配信装置、１１…受信部、１２…記録部、１３…送信部、１４…決定部、１４ａ…第１決定部、１４ｂ…第２決定部、１４ｃ…第３決定部、２１…第１視聴デバイス、２２…第２視聴デバイス、２３…第３視聴デバイス、ＤＢ１…映像データベース、ＤＢ２…視点データベース。

Claims (11)

1. 自由視点映像を観察する仮想カメラの位置及び前記仮想カメラの方向に関する情報を第１デバイスから受信する受信部と、
   前記受信部により受信した前記仮想カメラの位置及び前記仮想カメラの方向に関する情報と、前記自由視点映像のフレームとを対応付けて記録する記録部と、
   前記記録部により記録された前記仮想カメラの位置及び前記仮想カメラの方向に関する情報と、前記自由視点映像のフレームとの対応付けを、第２デバイスに送信する送信部と、
   を備える映像配信装置。
2. 前記送信部は、前記仮想カメラの複数の位置及び前記仮想カメラの複数の方向に関する情報と、前記自由視点映像のフレームとの複数の対応付けを含むリストを、前記第２デバイスに送信し、
   前記受信部は、前記複数の対応付けのうちから選択された対応付けを前記第２デバイスから受信し、
   前記送信部は、前記選択された対応付けを、前記第２デバイスに送信する、
   請求項１に記載の映像配信装置。
3. 前記仮想カメラの位置及び前記仮想カメラの方向に関する情報に基づいて、広告の表示位置及び表示方向を決定する第１決定部をさらに備え、
   前記送信部は、前記広告を前記第１決定部により決定された表示位置及び表示方向で表示させるための情報を、前記第２デバイスに送信する、
   請求項１又は２に記載の映像配信装置。
4. 前記仮想カメラの複数の位置及び前記仮想カメラの複数の方向に関する情報に基づいて、複数のアバターの表示位置及び表示方向を決定する第２決定部をさらに備え、
   前記送信部は、前記複数のアバターを前記第２決定部により決定された表示位置及び表示方向で表示させるための情報を、前記第２デバイスに送信する、
   請求項１から３のいずれか１項に記載の映像配信装置。
5. 前記受信部は、前記仮想カメラの位置及び前記仮想カメラの方向に関する情報を前記第２デバイスから受信する、
   請求項１から４のいずれか１項に記載の映像配信装置。
6. 前記送信部は、前記仮想カメラの位置及び前記仮想カメラの方向を制限するための情報を、前記第２デバイスに送信する、
   請求項５に記載の映像配信装置。
7. 前記受信部は、前記仮想カメラの移動方向、前記仮想カメラの移動速度、前記仮想カメラの移動加速度、前記仮想カメラの焦点距離、前記仮想カメラの画角、前記仮想カメラの視野の奥行及び前記第１デバイスのユーザについて測定された視線情報のうち少なくともいずれかに関する情報を、前記第１デバイスから受信し、
   前記記録部は、前記受信部により受信した前記仮想カメラの移動方向、前記仮想カメラの移動速度、前記仮想カメラの移動加速度、前記仮想カメラの焦点距離、前記仮想カメラの画角、前記仮想カメラの視野の奥行及び前記第１デバイスのユーザについて測定された視線情報のうち少なくともいずれかに関する情報と、前記自由視点映像のフレームとを対応付けて記録する、
   請求項１から６のいずれか１項に記載の映像配信装置。
8. 前記記録部は、前記仮想カメラにより撮影される範囲と、前記自由視点映像のフレームとを対応付けて記録する、
   請求項１から７のいずれか１項に記載の映像配信装置。
9. 前記仮想カメラの位置及び前記仮想カメラの方向に対して所定の関係を保つように、他の仮想カメラの位置及び前記他の仮想カメラの方向を決定する第３決定部をさらに備え、
   前記送信部は、前記第３決定部により決定された前記他の仮想カメラの位置及び前記他の仮想カメラの方向に関する情報と、前記自由視点映像のフレームとの対応付けを前記第２デバイスに送信する、
   請求項１から８のいずれか１項に記載の映像配信装置。
10. 自由視点映像のフレームに対応付けて、前記自由視点映像を観察する仮想カメラの位置及び前記仮想カメラの方向を指定する第１デバイスと、
    前記第１デバイスにより指定された前記仮想カメラの位置及び前記仮想カメラの方向と、前記自由視点映像のフレームとの対応付けに基づいて、前記自由視点映像を再生する第２デバイスと、
    を含む映像配信システム。
11. 第１デバイスによって、自由視点映像のフレームに対応付けて、前記自由視点映像を観察する仮想カメラの位置及び前記仮想カメラの方向を指定するステップと、
    第２デバイスによって、前記第１デバイスにより指定された前記仮想カメラの位置及び前記仮想カメラの方向と、前記自由視点映像のフレームとの対応付けに基づいて、前記自由視点映像を再生するステップと、
    を含む映像配信方法。

Images