JP2023502789A - 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理 - Google Patents

Abstract

ビデオストリームを処理するための方法、非一時的なコンピュータ読み取り可能媒体及びコンピュータシステムが提供される。当該方法は、360°ビデオストリームを受信するステップであり、360°ビデオストリームは、多重オーバーレイパラメータを含む、ステップと、多重オーバーレイパラメータが第1の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されると決定し、ユーザ端末により、2つ以上のオーバーレイで360°ビデオストリームを表示するステップと、多重オーバーレイパラメータが第2の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることが許容されないと決定し、ゼロのオーバーレイ又は1つのオーバーレイで360°ビデオストリームを表示するステップとを含んでもよい。

Description

［優先権情報］
本出願は、2020年8月11日に出願された米国仮特許出願第63/064,252号及び2020年11月15日に出願された米国特許出願第17/098,388号からの優先権を主張し、これらの全内容を援用する。

［技術分野］
本開示は、概してデータ処理の分野に関し、より詳細には、遠隔端末のための没入型テレカンファレンス及びテレプレゼンス(ITT4RT, Immersive Teleconferencing and Telepresence for Remote Terminals)のインタラクティブ多重オーバーレイ処理のようなオーバーレイ処理に関する。例えば、プレゼンテーション/画面共有ストリーム又は二次元(2D)ビデオが、表示された360°ビデオストリームの上にオーバーレイとして表示されているときのような、全方向ビデオ及び画像のための多重インタラクティブオーバーレイのシグナリングである。

オーバーレイは、全方向ビデオ、画像アイテム又は表示域(viewport)上にレンダリングされるビジュアルメディアの1つである。

全方向メディアストリームが使用される場合、例えばヘッドマウントディスプレイ(HMD, head-mounted display)デバイスを使用する間に、ユーザの表示域に対応するコンテンツの部分のみがレンダリングされ、メディアストリームの現実的な表示をユーザに与える。

実施形態は、ビデオデータをストリーミングするための方法、システム及び非一時的なコンピュータ読み取り可能媒体に関する。一態様によれば、ビデオデータをストリーミングするための方法が提供されてもよい。当該方法は、ユーザ端末により、電子デバイス又はサーバから360°ビデオストリームを受信するステップであり、360°ビデオストリームは、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されるか否かを示す多重オーバーレイパラメータを含む、ステップと、ユーザ端末により、360°ビデオストリームを表示するステップと、多重オーバーレイパラメータが第1の値である場合、ユーザ端末により、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されると決定し、ユーザ端末により、2つ以上のオーバーレイで360°ビデオストリームを表示するステップと、多重オーバーレイパラメータが第2の値である場合、ユーザ端末により、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されないと決定し、ユーザ端末によって、ゼロのオーバーレイ又は1つのオーバーレイで360°ビデオストリームを表示するステップとを含んでもよい。

第1の値は第2の値と異なってもよく、オーバーレイは、他のビデオストリーム又は画像のうち1つ以上を含んでもよい。

360°ビデオストリームは、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されるか否かを示すオーバーラップオーバーレイパラメータを含んでもよい。

当該方法は、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されることをオーバーラップオーバーレイパラメータが示す場合、ユーザ端末により、第1のオーバーレイを360°ビデオストリームとオーバーラップさせるように重ね合わされた2つ以上のオーバーレイのうち1つを表示するステップを更に含んでもよい。

360°ビデオストリームは、2つ以上のオーバーレイの使用を許容するコンテンツベースの属性を含んでもよい。

360°ビデオストリームは、いつユーザが送信者のストリーム情報を他の送信者と共有することを許容されるかをシグナリングするためのフラグを含んでもよい。

当該方法は、ユーザ端末により、電子デバイス又はサーバから要求を受信するステップであり、要求は、テレカンファレンスにおける1人以上のユーザがメディアストリーム属性を共有するための要求である、ステップと、ユーザ端末により、ユーザ端末が共有する権限を有するメディアストリーム属性に関する情報を、電子デバイス又はサーバに送信するステップとを更に含んでもよい。

ユーザが共有することを望むメディアストリーム属性に関する情報は、送信者IDに対応する識別子(ID, identifier)を含む。

当該方法は、電子デバイス又はサーバにより、少なくとも1つの送信者IDを少なくとも1つのオーバーレイIDと組み合わせることによって、固有のオーバーレイIDを割り当てるステップを更に含んでもよい。

当該方法は、初期オファー・アンサー交渉の間に、或いはセッションの間に、多重オーバーレイパラメータを交渉するステップを更に含んでもよい。

多重オーバーレイパラメータは、360°ビデオストリームのセッション記述プロトコル(SDP, session description protocol)において提供されてもよい。

当該方法は、初期オファー・アンサー交渉の間に、或いはセッションの間に、オーバーラップオーバーレイパラメータを交渉するステップを更に含んでもよい。

オーバーラップオーバーレイパラメータは、360°ビデオストリームのセッション記述プロトコル(SDP, session description protocol)において提供されてもよい。

当該方法は、初期オファー・アンサー交渉の間に、或いはセッションの間に、コンテンツベースの属性を交渉するステップを更に含んでもよい。

コンテンツベースの属性は、360°ビデオストリームのセッション記述プロトコル(SDP, session description protocol)において提供されてもよい。

当該方法は、ユーザ端末により、他のユーザがユーザ端末によって共有されたストリーム情報を他の電子デバイスと共有する権限を有するか否かを、電子デバイス又はサーバに通信するステップを更に含んでもよい。

当該方法は、ユーザ端末により、他のユーザがユーザ端末によって共有されたストリーム情報を他の電子デバイスと共有する権限を有するか否かを、電子デバイス又はサーバに通信するステップを更に含んでもよい。

当該方法は、電子デバイス又はサーバにより、電子デバイス又はサーバによって生成されたいずれかのオーバーレイの他に、少なくとも1つの更なるオーバーレイを他の電子デバイスと共有するステップであり、少なくとも1つの更なるオーバーレイは、対応するオーバーレイビデオの送信者がオーバーレイを共有する権限を有するオーバーレイのみを含む、ステップを更に含む。

一実施形態によれば、ビデオ会議のためのコンピュータシステムが提供されてもよく、当該コンピュータシステムは、通信インタフェースと、ディスプレイと、コンピュータプログラムコードを記憶するように構成された1つ以上のコンピュータ読み取り可能な非一時的な記憶媒体と、当該コンピュータプログラムコードにアクセスして当該コンピュータプログラムコードによって命令される通りに動作するように構成された1つ以上のコンピュータプロセッサとを含んでもよい。

コンピュータプログラムコードは、1つ以上のコンピュータプロセッサに対して、通信インタフェースを介して360°ビデオストリームを受信させるように構成された受信コードであり、360°ビデオストリームは、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されるか否かを示す多重オーバーレイパラメータを含む、受信コードと、1つ以上のコンピュータプロセッサに対して、受信した360°ビデオストリームを表示するようにディスプレイを制御させるように構成された表示コードと、1つ以上のコンピュータプロセッサに対して、多重オーバーレイパラメータが第1の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されると決定させ、2つ以上のオーバーレイで360°ビデオストリームを表示するようにディスプレイを制御させるように構成された多重オーバーレイ権限付与コードと、1つ以上のコンピュータプロセッサに対して、多重オーバーレイパラメータが第2の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されないと決定させ、ゼロのオーバーレイ又は1つのオーバーレイで360°ビデオストリームを表示するようにディスプレイを制御させるように構成された多重オーバーレイ権限非付与コードとを含んでもよい。

第1の値は第2の値と異なってもよく、オーバーレイは、他のビデオストリーム又は画像のうち1つ以上を含んでもよい。

360°ビデオストリームは、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されるか否かを示すオーバーラップオーバーレイパラメータを含んでもよく、コンピュータプログラムコードは、1つ以上のプロセッサに対して、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されることをオーバーラップオーバーレイパラメータが示す場合、第1のオーバーレイを360°ビデオストリームとオーバーラップさせるように重ね合わされた2つ以上のオーバーレイのうち1つを表示するようにディスプレイを制御させるように構成されたオーバーラップオーバーレイ権限付与コードを更に含んでもよい。

一実施形態によれば、非一時的なコンピュータ読み取り可能媒体は、1つ以上のコンピュータプロセッサに対して、360°ビデオストリームを受信させ、360°ビデオストリームは、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることが許容されるか否かを示す多重オーバーレイパラメータを含み、受信した360°ビデオストリームを表示するようにディスプレイを制御させ、多重オーバーレイパラメータが第1の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることが許容されると決定させ、2つ以上のオーバーレイで360°ビデオストリームを表示するようにディスプレイを制御させ、多重オーバーレイパラメータが第2の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることが許容されないと決定させ、ゼロのオーバーレイ又は1つのオーバーレイで360°ビデオストリームを表示するようにディスプレイを制御させるように構成されたコンピュータプログラムを記憶し、第1の値は第2の値と異なり、オーバーレイは、他のビデオストリーム又は画像のうち1つ以上を含む。

360°ビデオストリームは、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されるか否かを示すオーバーラップオーバーレイパラメータを含んでもよく、コンピュータプログラムは、1つ以上のコンピュータプロセッサに対して、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されることをオーバーラップオーバーレイパラメータが示す場合、第1のオーバーレイを360°ビデオストリームとオーバーラップさせるように重ね合わされた2つ以上のオーバーレイのうち1つを表示するようにディスプレイを制御させるように更に構成されてもよい。

上記及び他の目的、特徴及び利点は、添付の図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになる。図面は詳細な説明に関連して当業者の理解を容易にする際に明確にするためのものであるので、図面の様々な特徴は縮尺通りではない。
没入型テレカンファレンスのためのエコシステムの概略図である。 MRF/MCUのない複数パーティの複数会議室のテレカンファレンスの概略図である。 MRF/MCUを有する複数パーティの複数会議室のテレカンファレンスの概略図である。 MRF/MCUのない単一の送信者からの多重オーバーレイでの複数パーティの複数会議室のテレカンファレンスのためのパラメータ「use_multiple_flag」の使用を示す。 MRF/MCUを有する単一の送信者からの多重オーバーレイでの複数パーティの複数会議室のテレカンファレンスのためのパラメータ「use_multiple_flag」の使用を示す。 MRF/MCUのない複数送信者からの多重オーバーレイでの複数パーティの複数会議室のテレカンファレンスのための他のオーバーレイのコンテンツベースの使用を示す図である。 MRF/MCUを有する複数送信者からの多重オーバーレイでの複数パーティの複数会議室のテレカンファレンスのための他のオーバーレイのコンテンツベースの使用を示す図である。 一実施形態によるコンピュータシステムの概略図である。 ビデオ会議を処理するための方法のステップを示す動作フローチャートを示す。

特許請求の範囲に記載の構造及び方法の詳細な実施形態が本明細書に開示されているが、開示の実施形態は、単に様々な形式で具現され得る特許請求の範囲に記載の構造及び方法の例示に過ぎないことが理解できる。しかし、これらの構造及び方法は、多くの異なる形式で具現されてもよく、本明細書に記載の例示的な実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの例示的な実施形態は、本開示が徹底的且つ完全であり、当業者に当該範囲を十分に伝えるために提供されている。説明において、周知の特徴及び技術の詳細は、提示される実施形態を不必要に不明瞭にすることを回避するために省略されることがある。

実施形態は、概してデータ処理の分野に関し、より詳細には、全方向ビデオを使用するビデオ会議/テレカンファレンスに関する。以下に説明する例示的な実施形態は、とりわけ、全方向ビデオを使用してビデオ会議/テレカンファレンスを処理するためのシステム、方法及びコンピュータプログラムを提供する。

様々な実施形態による方法、装置(システム)及びコンピュータ読み取り可能媒体のフローチャート図及び/又はブロック図を参照して、本明細書に態様が記載される。フローチャート図及び/又はブロック図の各ブロック、及びフローチャート図及び/又はブロック図のブロックの組み合わせは、コンピュータ読み取り可能プログラム命令によって実施できることが理解される。

図１は、一実施形態による、没入型テレカンファレンス通話のシナリオを示しており、通話は、部屋A(101)、ユーザB(102)及びユーザC(103)の間で構成される。一実施形態によれば、部屋Aは、全方向(360°)カメラ(104)を有する会議室を表し、ユーザB及びCは、それぞれHMDディスプレイ及びモバイルデバイスを使用する遠隔参加者である。この場合、テレカンファレンス通話参加者であるユーザB及びユーザCは、それぞれの表示域方向に関する情報を部屋Aに送信してもよく、次に、部屋Aは、表示域に依存するストリームを返信してもよい。

図２Ａは、一実施形態による、複数の会議室の参加者(部屋A(2a01)、部屋X(2a02)、部屋Y(2a03)、部屋Z(2a04))を含む没入型テレカンファレンス通話の他のシナリオを示す。一実施形態によれば、ユーザB(2a06)は、ビデオストリーム(例えば、360°ビデオストリーム)を見るためにHMDディスプレイを使用してもよく、ユーザC(2a07)は、ビデオストリームを見るためにモバイルデバイスを使用してもよい。ユーザB及びユーザCは、表示域方向をホストルーム(例えば、部屋A)に送信し、次に、ホストルームは、表示域に依存するストリームを送信する。

一実施形態によれば、図２Ｂに示すように、メディアリソース機能(MRF, Media Resource Function)/メディア制御ユニット(MCU, Media Control Unit)(2b05)を使用してビデオ通話が設定される他のシナリオにおいて、MRF/MCUは、複数パーティ会議通話において遠隔端末をブリッジ接続するためのメディア関連機能を提供するマルチメディアサーバとして示されている。しかし、MRF/MCUはサーバ以外の他の電子デバイスでもよい。一実施形態によれば、個々の会議室に対応する電子デバイスは、それぞれのビデオをMRF/MCUに送信してもよい。これらのビデオは、表示域に依存しないビデオである(すなわち、特定のビデオをストリーミングするユーザの表示域に関係なく、全体の360°ビデオがMRF/MCU(例えば、メディアサーバ)に送信される)。メディアサーバは、ユーザB(2b06)及びユーザC(2b07)の表示域方向を受信し、それに従ってそれぞれの表示域に依存するストリームをユーザA及びユーザBに送信してもよい。

さらに、拡張シナリオでは、遠隔ユーザは会議室(2a01-2a04/2b01-2b04)から利用可能な360°ビデオの1つを選択して見ることができる。この場合、ユーザは、ストリーミングすることを望むビデオ及びその表示域方向に関する情報(例えば、要求)を会議室又はMRF/MCUに送信する。一実施形態によれば、ユーザは、アクティブなスピーカに基づいて、或る部屋から他の部屋への切り替えをトリガすることができる。すなわち、一実施形態によれば、表示域方向がアクティブなスピーカに対応するように、現在の音声出力を提供しているユーザ端末が、表示域方向を決定するために使用されてもよい。さらに、メディアサーバは、アクティブなユーザを有さないいずれかの会議室からのビデオストリームの受信を一時停止してもよい。

オーバーレイは、全方向ビデオ、画像アイテム又は表示域にレンダリングされるビジュアルメディアの1つである。

図２Ａ及び図２Ｂに戻って参照すると、会議室Aのいずれかの参加者によってプレゼンテーションが共有されている場合、会議室Aに表示される以外に、プレゼンテーションはまた、ストリームとして他のユーザ(例えば、スマートフォン又はHMDデバイスのようなユーザに関連する遠隔端末)にブロードキャストされてもよい。

一実施形態によれば、ストリームは、360°ビデオの上にオーバーレイされてもよい。一実施形態によれば、オーバーレイはまた、2Dストリームにも使用されてもよい。

一実施形態によれば、ITT4RTで使用するために定義された少なくとも2つのタイプのオーバーレイレンダリングが存在してもよい。第1のタイプは表示域関連オーバーレイ(Viewport-relative overlay)でもよく、第2のタイプは球面関連2Dオーバーレイ(Sphere-relative 2D overlay)でもよい。

一実施形態によれば、「表示域関連オーバーレイ」については、ITT4RTのために、overlay_ID、overlay_rect_left_percent、overlay_rect_top_percent、overlay_rect_width_percent、overlay_rect_height_percent、relative_disparity_flag、disparity_in_percent、及びdisparity_in_pixels、nameのパラメータのうち1つ以上が定義できる。

一実施形態によれば、「球面関連二次元オーバーレイ」については、overlay_ID、overlay_azimuth、overlay_elevation、overlay_tilt、overlay_azimuth_range、overlay_elevation_range、overlay_rot_yaw、overlay_rot_pitch及びoverlay_rot_roll、region_depth_minus1、及びtimeline_change_flag、nameのような1つ以上のパラメータが定義されてもよく、これはOMAF(Open Mobile Access Abstract Framework)に整合している。

オーバーレイとのユーザ相互作用に関して、オーバーレイは、特に、change_position_flag、change_depth_flag、switch_on_off_flag、change_opacity_flag、resize_flag、rotation_flag、change_position_flag、change_depth_flag、switch_on_off_flag、change_opacity_flag、resize_flag又はrotation_flag、use_other_overlay_flagのパラメータの1つ以上を更に含んでもよい。

一実施形態によれば、オーバーレイパラメータは、ユーザが360°ビデオの上に1つよりも多くのオーバーレイを使用することを許容されるか否かを指定するために使用されてもよい。

一実施形態によれば、オーバーレイパラメータは、ユーザが2つ以上のオーバーレイをオーバーラップさせることが許容されるか否かを定義するために使用されてもよい。

一実施形態によれば、オーバーレイパラメータは、「user_other_overlay_flag」が使用され得る基礎となるコンテンツベースの属性を定義するために使用されてもよい。

一実施形態によれば、送信者は、送信者識別子(ID)とオーバーレイIDとの組み合わせを使用することによって、或いは、送信者IDとオーバーレイIDとに基づいて固有のIDを構築することによって、可能な組み合わせを認識するためのテレカンファレンスにおける他のオーバーレイの情報を取得してもよく、他の送信者のどのオーバーレイが自身のビデオと組み合わせられ得るかをシグナリングしてもよい。

没入型テレカンファレンスに関して、複数のオーバーレイビデオ又は画像が360°ビデオに重ね合わされる場合、以下の情報が含まれてもよい。
a.オーバーレイとして使用される画像又はビデオを指定するオーバーレイソース
b.オーバーレイが表示域又は球面に対してアンカーされているか否かを記述するオーバーレイレンダリングタイプ
c.不透明度のようなレンダリング特性
d.ユーザ相互作用特性
図２Ａ及び２Ｂを参照すると、全方向カメラを有する複数の会議室がテレカンファレンスにあり、ユーザは、没入型ビデオとして表示されるように、会議室のうち1つからのビデオストリームを選択する。ここで、ユーザがストリーミングしている360°ビデオでいずれかの更なるプレゼンテーション材料/共有画面が使用された場合、これは、360°ビデオの上のオーバーレイとして、別のストリームとして送信される。

一実施形態によれば、図３Ａに示すように、ユーザ(3a01)が、自分の電子デバイス(例えば、HMD)で、テレカンファレンスの部屋A(3a02)から没入型ビデオをストリーミングしている。部屋Aは、会議の部屋X(3a03)及び部屋Y(3a04)から来るビデオストリームを表示するために画面共有を使用してもよく、部屋Xは2Dビデオストリームをストリーミングし、部屋Yはプレゼンテーションストリーム(例えば、スライドショープレゼンテーション又はチャート)をストリーミングする。一実施形態によれば、部屋X及び部屋Yからのストリームはまた、全ての他の遠隔ユーザにブロードキャストされてもよい。

一実施形態によれば、ユーザが1つよりも多くのオーバーレイを表示することを許容するために、多重オーバーレイフラグ(multiple overlay flag)が定義されてもよい。一実施形態によれば、1つよりも多くのオーバーレイは、360°ビデオの送信者及び他のユーザからの更なるオーバーレイを含んでもよい。

多重オーバーレイフラグが1に設定された場合、360°ビデオをストリーミングするユーザは、360°ビデオの上に多重オーバーレイを使用することが許容されてもよい。

一実施形態によれば、多重オーバーレイフラグが0に設定された場合、受信側のユーザは、1つのオーバーレイのみを使用する。当然に、0及び1以外の他の値が使用されてもよいが、1ビットが0及び1を使用する多重オーバーレイフラグに使用されてもよい点に留意する。

一実施形態によれば、多重オーバーレイフラグ値は、360°ビデオの送信者によって設定されてもよい。

一実施形態によれば、多重オーバーレイフラグは、初期オファー・アンサー交渉の間にセッション記述プロトコル(SDP, session description protocol)において提供されてもよく、また、セッションの間に再度交渉されてもよい。

他の実施形態によれば、MRF/MCU(3b06)が通話を設定するために使用される場合、図３Ｂに示すように、多重オーバーレイフラグの同一又は同様の使用が使用されてもよい。

同じ又は他の実施形態では、オーバーレイオーバーラップフラグ(overlay overlap flag)のような更なるフラグが定義されてもよい。

一実施形態によれば、オーバーレイオーバーラップフラグは、ユーザが他の送信者からのオーバーレイを、360°ビデオの送信者によって共有されるオーバーレイにオーバーラップさせることが許容されるか否かを示してもよい。

一実施形態によれば、デフォルトでは、オーバーレイオーバーラップフラグは0に等しくてもよい。

一実施形態によれば、オーバーレイオーバーラップが1に設定された場合、ユーザは、他の送信者からのオーバーレイを、360°ビデオの送信者からのオーバーレイにオーバーラップさせてもよい。

一実施形態によれば、パラメータは、360°ビデオの送信者によって設定されてもよく、初期オファー・アンサー交渉の間に提供されてもよく、また、セッションの間に再度交渉されてもよい。

同じ又は他の実施形態によれば、４Ａを参照すると、クライアント(例えば、ユーザ4a01)が部屋Aからの360°ビデオストリームを使用することを希望するが(これは、部屋Xからのストリームを表示するために画面共有を使用する)、ストリームが部屋Aによって共有されていない部屋Z(4a05)からのオーバーレイも(部屋Aによって共有されているストリームを同時にストリーミングすることに加えて)使用することを希望するシナリオを検討する。

一実施形態によれば、ユーザが360°ビデオの送信者によって共有されていない他の送信者からのオーバーレイを使用することを許容されるか否かを指定するフラグ「use_other_overlay_flag」が使用されてもよい。

一実施形態によれば、フラグ「use_other_overlay_flag」の値は、360°ビデオがストリーミングされている送信者によって設定されてもよい。

一実施形態によれば、「use_other_overlay_flag」は、360°の送信者が共有しているオーバーレイのコンテンツタイプに基づいてもよい。

一実施形態によれば、コンテンツタイプは、送信者が共有しているオーバーレイ毎に、m=の行の下に属性「a= permissible_content」を含めることによって、SDPシグナリングにおける初期オファー・アンサー交渉の間に定義されてもよい。

一実施形態によれば、オーバーレイフラグの同様又は同一のコンテンツタイプ定義及び使用が、ビデオ通話を設定するために使用される図４Ｂの実施形態に使用されてもよい。

同じ又は他の実施形態では、テレカンファレンス通話が開始された場合、360°ビデオの送信者は、メディアストリーム属性の受信について問い合わせる要求を会議中の全ての他のユーザに送信してもよい。これは、各ユーザがテレカンファレンスにおいて受信し得る全てのオーバーレイのコンテンツタイプを認識するためである。ユーザは、送信者とその情報を共有することを望んでもよく或いは共有しないことを望んでもよい。これは、ユーザのセキュリティ側面に基づいてもよい。

一実施形態によれば、送信者は、ユーザが他の送信者/ユーザともこの情報を共有することを許容されるか否かをシグナリングしてもよい。これが許可されない場合、ユーザは送信者のストリームを他の送信者と共有しなくてもよい。

一実施形態によれば、送信者が他の送信者からのストリームの情報を含むユーザからの応答を受信した場合、送信者は、グローバルに一意のオーバーレイIDをテレカンファレンスセッションの全てのオーバーレイに割り当てるために、各オーバーレイIDと共に各送信者IDを使用してもよい。

一実施形態によれば、グローバルに一意のIDの構築は、全ての送信者及びユーザと共有されてもよく、それにより、グローバルに一意のIDは、全てのエンティティによって解析及び処理されてもよい。

同じ又は同様の実施形態によれば、ユーザがそのビデオストリームを他の送信者に通信することを送信者が許容する場合、送信者は、送信者がユーザと通信する(例えば、ユーザに送信する)ときに、「share_streams_info_allowed」フラグを設定してもよい。

同じ実施形態では、ユーザがその属性を共有するための送信者の要求を受け入れる場合、他のオーバーレイがそのメディアストリームと共に使用され得るか否かを伝達するために、フラグ「multiple_overlay_flag」、「overlay_overlap_flag」を含めてもよい。

同じ又は同様の実施形態では、ユーザがユーザ属性(又は送信者属性)を共有するための送信者の要求を受け入れる場合、メディアストリームと共に使用され得る許容可能コンテンツタイプを指定する属性が含まれてもよい。

一実施形態によれば、送信者は、メディアストリームに関するユーザからの応答を受信した後に、他のオーバーレイの属性に基づき得る、選択されたオーバーレイのみをユーザに送信してもよい。

ユーザの相互作用について上記の説明において説明したが、ユーザ相互作用はスマートフォン又はHMDデバイスのような電子デバイスによって実現される点に留意する。したがって、明細書にユーザがアクションを実行することを許容されると記載されている場合、本開示は、ユーザがアクションを実行することを許容される(又は許容されていない)、ユーザが使用している、ユーザに関連する遠隔端末(例えば、ビデオ通話にダイヤルされた遠隔端末)を対象とする。

上記の没入型テレカンファレンス及びテレプレゼンスのオーバーレイ処理のための技術は、コンピュータ読み取り可能命令を使用してコンピュータソフトウェアとして実装され、1つ以上のコンピュータ読み取り可能媒体に物理的に記憶されてもよい。例えば、図５は、開示の対象物の特定の実施形態を実装するのに適したコンピュータシステム500を示す。

コンピュータソフトウェアは、いずれかの適切な機械コード又はコンピュータ言語を使用して符号化されてもよく、当該機械コード又はコンピュータ言語は、命令を含むコードを生成するために、アセンブリ、コンパイル、リンク又は類似のメカニズムを受けてもよく、当該命令は、コンピュータ中央処理装置(CPU, central processing unit)、グラフィックス処理ユニット(GPU, Graphics Processing Unit)等によって、直接的に或いはインタープリタ、マイクロコード実行等を通じて実行されてもよい。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットのデバイス等を含む様々なタイプのコンピュータ又はその構成要素上で実行されてもよい。

コンピュータシステム500について図５に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能に関する如何なる限定も示唆することを意図するものではない。また、構成要素の構成も、コンピュータシステム500の例示的な実施形態に示される構成要素のいずれか1つ又は組み合わせに関する如何なる依存性又は要件も有するものとして解釈されるべきではない。

コンピュータシステム500は、特定のヒューマンインタフェース入力デバイスを含んでもよい。このようなヒューマンインタフェース入力デバイスは、例えば、触覚入力(キーストローク、スワイプ、データグローブの動き等)、オーディオ入力(音声、拍手等)、視覚入力(ジェスチャ等)、嗅覚入力を通じて、1人以上の人間のユーザによる入力に応答してもよい。また、ヒューマンインタフェースデバイスは、オーディオ(例えば、会話、音楽、周辺音)、画像(スキャンされた画像、静止画カメラから取得された写真画像等)、ビデオ(2次元ビデオ、立体ピクチャを含む3次元ビデオ等)のような、人間による意識的入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されてもよい。

実施形態によれば、入力ヒューマンインタフェースデバイスは、キーボード501、マウス502、トラックパッド503、タッチ画面510、データグローブ、ジョイスティック505、マイクロフォン506、スキャナ507又はカメラ508のうち1つ以上を含んでもよい。

実施形態によれば、コンピュータシステム500はまた、特定のヒューマンインタフェース出力デバイスを含んでもよい。このようなヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光及び嗅覚/味覚を通じて、1人以上の人間のユーザの感覚を刺激してもよい。このようなヒューマンインタフェース出力デバイスは、1つ以上の触覚出力デバイス(例えば、タッチ画面510、データグローブ又はジョイスティック505による触覚フィードバック、ただし、入力デバイスとして機能しない触覚フィードバックデバイスが存在してもよい)と、オーディオ出力デバイス(スピーカ509、ヘッドフォン等)と、視覚出力デバイス(例えば、それぞれがタッチ画面入力機能を有しても有さなくてもよく、それぞれが触覚フィードバック機能を有しても有さなくてもよく、いくつかが2次元視覚出力又は立体出力のような手段を通じた3次元以上の出力を出力可能でもよい陰極線管(CRT, Cathode-ray tube)画面、液晶ディスプレイ(LCD, liquid crystal display)画面、プラズマ画面、有機LED(OLED, organic LED)画面のような発光ダイオード(LED, light emitting diode)を含む画面510、仮想現実メガネ、ホログラフィックディスプレイ及びスモークタンク)と、プリンタとを含んでもよい。

実施形態によれば、コンピュータシステム500はまた、人間がアクセス可能な記憶デバイスを含んでもよく、コンパクトディスク(CD, compact disc)読み取り専用メモリ(ROM, Read-Only Memory)/読み書きメモリ(RW)若しくはデジタル多用途ディスク(DVD, Digital Versatile Disc)ROM/RW、又はCD/DVD ROM/RW 520とCD/DVD等の媒体521との組み合わせのような関連する媒体が使用されてもよい。さらに或いは代替として、記憶のために、サムドライブ522、取り外し可能ハードドライブ又はソリッドステートドライブ(SSD, solid-state drive)523、テープ及びフロッピーディスクのようなレガシー磁気媒体、セキュリティドングルのような特殊ROM/特定用途向け集積回路(ASIC, Application Specific Integrated Circuit)/プログラマブルロジックデバイス(PLD, programmable logic device)をベースとしたデバイス等のうち1つ以上が使用されてもよい。

また、当業者は、ここに開示の対象物に関連して使用される用語「コンピュータ読み取り可能媒体」が伝送媒体、搬送波又は他の非一時的な信号を含まないことを理解すべきである。すなわち、コンピュータ読み取り可能媒体は、非一時的なコンピュータ読み取り可能媒体を対象とする。

一実施形態によれば、コンピュータシステム500はまた、1つ以上の通信ネットワークへのインタフェースを含んでもよい。ネットワークは、例えば、無線、有線、光でもよい。ネットワークは、ローカル、広域、メトロポリタン、車両及び産業、リアルタイム、遅延耐性等でもよい。ネットワークの例は、イーサネット、無線ローカルエリアネットワーク(LAN, local area network)、セルラネットワーク(GSM(Global System for Mobile Communications)、第3世代(3G)、第4世代(4G)、第5世代(5G)、ロングタームエボリューション(LTE, Long-Term Evolution)等を含む)、有線又は無線広域デジタルネットワークを介したテレビ(TV)(ケーブルTV、衛星TV、及び地上放送TVを含む)、車両及び産業(CANBus(Controller Area Network bus)を含む)等を含む。特定のネットワークは、一般的に、特定の汎用データポート又は周辺バス(549)に取り付けられる外部ネットワークインタフェースアダプタ(例えば、コンピュータシステム500のユニバーサルシリアルバス(USB, universal serial bus)ポート等)を必要とし、他のネットワークインタフェースアダプタは、一般的に、以下に説明するシステムバス(例えば、パーソナルコンピュータ(PC, personal computer)コンピュータシステムへのイーサネットインタフェース又はスマートフォンコンピュータシステムへのセルラネットワーク)に取り付けられることによって、コンピュータシステム500のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム500は、他のエンティティと通信してもよい。このような通信は、一方向の受信のみ(例えば、放送TV)、一方向の送信のみ(例えば、特定のCANbusデバイスへのCANbus)でもよく、或いは、例えば、ローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの双方向でもよい。特定のプロトコル及びプロトコルスタックは、上記のようなネットワーク及びネットワークインタフェースのそれぞれにおいて使用されてもよい。

上記のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス及びネットワークインタフェースは、コンピュータシステム500のコア540に取り付けられてもよい。

コア540は、1つ以上の中央処理装置(CPU)541、グラフィックス処理ユニット(GPU)542、フィールドプログラマブルゲートアレイ(FPGA, Field Programmable Gate Area)543の形式の特殊なプログラム可能処理ユニット、特定のタスク用のハードウェアアクセラレータ544等を含んでもよい。これらのデバイスは、読み取り専用メモリ(ROM)545、ランダムアクセスメモリ546、内部大容量記憶装置(内部のユーザアクセス不可能なハードドライブ、SSD等)547と共に、システムバス548を通じて接続されてもよい。いくつかのコンピュータシステムでは、システムバス548は、更なる中央処理装置(CPU)、グラフィックス処理ユニット(GPU)等による拡張を可能にするために、1つ以上の物理プラグの形式でアクセス可能でもよい。周辺デバイスは、コアのシステムバス548に直接取り付けられてもよく、或いは、周辺バス549を通じて取り付けられてもよい。周辺バスのアーキテクチャは、ペリフェラルコンポーネントインターコネクト(PCI, peripheral component interconnect)、USB等を含む。

CPU541、GPU542、FPGA543及びアクセラレータ544は特定の命令を実行してもよく、当該特定の命令は、組み合わせによって上記のコンピュータコードを構成してもよい。当該コンピュータコードは、ROM545又はランダムアクセスメモリ(RAM)546に記憶されてもよい。また、一時的なデータは、RAM546に記憶されてもよいが、永続的なデータは、例えば、内部大容量記憶装置547に記憶されてもよい。1つ以上のCPU541、GPU542、大容量記憶装置547、ROM545、RAM546等と密接に関連してもよいキャッシュメモリを使用することによって、メモリデバイスのいずれかへの高速記憶及び検索が可能になってもよい。

コンピュータ読み取り可能媒体は、様々なコンピュータに実装された動作を実行するためのコンピュータコードを有してもよい。媒体及びコンピュータコードは、本開示の目的のために特に設計及び構築されてもよく、或いは、コンピュータソフトウェア分野における当業者に周知で入手可能なようなものでもよい。

限定ではなく一例として、アーキテクチャ500、具体的には、コア540を有するコンピュータシステムは、1つ以上の有形のコンピュータ読み取り可能媒体に具現されたソフトウェアを実行するプロセッサ(CPU、GPU、FPGA、アクセラレータ等を含む)の結果として機能を提供できる。このようなコンピュータ読み取り可能媒体は、コア内部の大容量記憶装置547又はROM545のような非一時的な性質のコア540の特定の記憶装置と同様に、上記のようなユーザがアクセス可能な大容量記憶装置に関連する媒体でもよい。本開示の様々な実施形態を実装するソフトウェアは、このようなデバイスに記憶されてコア540によって実行されてもよい。コンピュータ読み取り可能媒体は、特定のニーズに従って、1つ以上のメモリデバイス又はチップを含んでもよい。ソフトウェアは、コア540、具体的には、その中のプロセッサ(CPU、GPU、FPGA等を含む)に、RAM546に記憶されたデータ構造を定義し、ソフトウェアによって定義された処理に従ってこのようなデータ構造を修正することを含む、本明細書に記載の特定の処理又は特定の処理の特定の部分を実行させてもよい。さらに或いは代替として、コンピュータシステムは、回路(例えば、アクセラレータ544)内に配線されたロジック又は他の方法で具現されたロジックの結果として、機能を提供してもよく、当該回路は、本明細書に記載の特定の処理又は特定の処理の特定の部分を実行するために、ソフトウェアの代わりに或いはソフトウェアと共に動作してもよい。ソフトウェアへの言及は、ロジックを含み、必要に応じて、その逆も可能である。コンピュータ読み取り可能媒体への言及は、必要に応じて、実行するためのソフトウェアを記憶する回路(集積回路(IC)等)、実行するためのロジックを具現する回路又はこれらの双方を含んでもよい。本開示は、ハードウェア及びソフトウェアのいずれかの適切な組み合わせを含む。

本開示は、いくつかの例示的な実施形態を記載しているが、本開示の範囲内に入る変更、置換及び様々な代替の等価物が存在する。したがって、当業者は、本明細書に明示的に図示又は記載されていないが、本開示の原理を具現し、したがって、本開示の真意及び範囲内にある多数のシステム及び方法を考案することができることが認識される。

次に図６を参照すると、ビデオ会議のための方法600のステップを示す動作フローチャートが示されている。いくつかの実装では、1つ以上の処理ブロックは、コンピュータ及びサーバによって実行されてもよい。いくつかの実装では、1つ以上の処理ブロックは、コンピュータ及びサーバから分離されるか或いはこれらを含む他のデバイス又はデバイスのグループによって実行されてもよい。

実施形態は、ビデオ会議のための方法、システム、及び非一時的なコンピュータ読み取り可能媒体に関する。

図６に示すように、ビデオデータをストリーミングするための方法が提供されてもよい。

図６に示すように、当該方法は以下を含んでもよい。

動作601:ユーザ端末により、電子デバイス又はサーバから360°ビデオストリームを受信し、ここで、360°ビデオストリームは、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されるか否かを示す多重オーバーレイパラメータを含む。

動作602:ユーザ端末により、360°ビデオストリームを表示する。

動作603:多重オーバーレイパラメータが、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって実際に許容されることを実際に示すか否かを決定する。

動作604:多重オーバーレイパラメータが第1の値である場合、ユーザ端末により、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されると決定し、ユーザ端末により、2つ以上のオーバーレイで360°ビデオストリームを表示する。

動作605:多重オーバーレイパラメータが第2の値である場合、ユーザ端末により、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されないと決定し、ユーザ端末によって、ゼロのオーバーレイ又は1つのオーバーレイで360°ビデオストリームを表示する。

第1の値は第2の値と異なってもよく、オーバーレイは、他のビデオストリーム又は画像のうち1つ以上を含んでもよい。

360°ビデオストリームは、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されるか否かを示すオーバーラップオーバーレイパラメータを含んでもよい。

当該方法は、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されることをオーバーラップオーバーレイパラメータが示す場合、ユーザ端末により、第1のオーバーレイを360°ビデオストリームとオーバーラップさせるように重ね合わされた2つ以上のオーバーレイのうち1つを表示するステップを更に含んでもよい。

360°ビデオストリームは、2つ以上のオーバーレイの使用を許容するコンテンツベースの属性を含んでもよい。

360°ビデオストリームは、いつユーザが送信者のストリーム情報を他の送信者と共有することを許容されるかをシグナリングするためのフラグを含んでもよい。

当該方法は、ユーザ端末により、電子デバイス又はサーバから要求を受信するステップであり、要求は、テレカンファレンスにおける1人以上のユーザがメディアストリーム属性を共有するための要求である、ステップと、ユーザ端末により、ユーザ端末が共有する権限を有するメディアストリーム属性に関する情報を、電子デバイス又はサーバに送信するステップとを更に含んでもよい。

ユーザが共有することを望むメディアストリーム属性に関する情報は、送信者IDに対応する識別子(ID, identifier)を含む。

当該方法は、電子デバイス又はサーバにより、少なくとも1つの送信者IDを少なくとも1つのオーバーレイIDと組み合わせることによって、固有のオーバーレイIDを割り当てるステップを更に含んでもよい。

当該方法は、初期オファー・アンサー交渉の間に、或いはセッションの間に、多重オーバーレイパラメータを交渉するステップを更に含んでもよい。

多重オーバーレイパラメータは、360°ビデオストリームのセッション記述プロトコル(SDP, session description protocol)において提供されてもよい。

当該方法は、初期オファー・アンサー交渉の間に、或いはセッションの間に、オーバーラップオーバーレイパラメータを交渉するステップを更に含んでもよい。

オーバーラップオーバーレイパラメータは、360°ビデオストリームのセッション記述プロトコル(SDP, session description protocol)において提供されてもよい。

当該方法は、初期オファー・アンサー交渉の間に、或いはセッションの間に、コンテンツベースの属性を交渉するステップを更に含んでもよい。

コンテンツベースの属性は、360°ビデオストリームのセッション記述プロトコル(SDP, session description protocol)において提供されてもよい。

当該方法は、ユーザ端末により、他のユーザがユーザ端末によって共有されたストリーム情報を他の電子デバイスと共有する権限を有するか否かを、電子デバイス又はサーバに通信するステップを更に含んでもよい。

当該方法は、ユーザ端末により、他のユーザがユーザ端末によって共有されたストリーム情報を他の電子デバイスと共有する権限を有するか否かを、電子デバイス又はサーバに通信するステップを更に含んでもよい。

当該方法は、電子デバイス又はサーバにより、電子デバイス又はサーバによって生成されたいずれかのオーバーレイの他に、少なくとも1つの更なるオーバーレイを他の電子デバイスと共有するステップであり、少なくとも1つの更なるオーバーレイは、対応するオーバーレイビデオの送信者がオーバーレイを共有する権限を有するオーバーレイのみを含む、ステップを更に含む。

一実施形態によれば、ビデオ会議のためのコンピュータシステムが提供されてもよく、当該コンピュータシステムは、通信インタフェースと、ディスプレイと、コンピュータプログラムコードを記憶するように構成された1つ以上のコンピュータ読み取り可能な非一時的な記憶媒体と、当該コンピュータプログラムコードにアクセスして当該コンピュータプログラムコードによって命令される通りに動作するように構成された1つ以上のコンピュータプロセッサとを含んでもよい。

コンピュータプログラムコードは、1つ以上のコンピュータプロセッサに対して、通信インタフェースを介して360°ビデオストリームを受信させるように構成された受信コードであり、360°ビデオストリームは、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されるか否かを示す多重オーバーレイパラメータを含む、受信コードと、1つ以上のコンピュータプロセッサに対して、受信した360°ビデオストリームを表示するようにディスプレイを制御させるように構成された表示コードと、1つ以上のコンピュータプロセッサに対して、多重オーバーレイパラメータが第1の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されると決定させ、2つ以上のオーバーレイで360°ビデオストリームを表示するようにディスプレイを制御させるように構成された多重オーバーレイ権限付与コードと、1つ以上のコンピュータプロセッサに対して、多重オーバーレイパラメータが第2の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることがユーザ端末によって許容されないと決定させ、ゼロのオーバーレイ又は1つのオーバーレイで360°ビデオストリームを表示するようにディスプレイを制御させるように構成された多重オーバーレイ権限非付与コードとを含んでもよい。

第1の値は第2の値と異なってもよく、オーバーレイは、他のビデオストリーム又は画像のうち1つ以上を含んでもよい。

360°ビデオストリームは、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されるか否かを示すオーバーラップオーバーレイパラメータを含んでもよく、コンピュータプログラムコードは、1つ以上のプロセッサに対して、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されることをオーバーラップオーバーレイパラメータが示す場合、第1のオーバーレイを360°ビデオストリームとオーバーラップさせるように重ね合わされた2つ以上のオーバーレイのうち1つを表示するようにディスプレイを制御させるように構成されたオーバーラップオーバーレイ権限付与コードを更に含んでもよい。

一実施形態によれば、非一時的なコンピュータ読み取り可能媒体は、1つ以上のコンピュータプロセッサに対して、360°ビデオストリームを受信させ、360°ビデオストリームは、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることが許容されるか否かを示す多重オーバーレイパラメータを含み、受信した360°ビデオストリームを表示するようにディスプレイを制御させ、多重オーバーレイパラメータが第1の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることが許容されると決定させ、2つ以上のオーバーレイで360°ビデオストリームを表示するようにディスプレイを制御させ、多重オーバーレイパラメータが第2の値である場合、2つ以上のオーバーレイで360°ビデオストリームをオーバーレイすることが許容されないと決定させ、ゼロのオーバーレイ又は1つのオーバーレイで360°ビデオストリームを表示するようにディスプレイを制御させるように構成されたコンピュータプログラムを記憶し、第1の値は第2の値と異なり、オーバーレイは、他のビデオストリーム又は画像のうち1つ以上を含む。

360°ビデオストリームは、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されるか否かを示すオーバーラップオーバーレイパラメータを含んでもよく、コンピュータプログラムは、1つ以上のコンピュータプロセッサに対して、2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されることをオーバーラップオーバーレイパラメータが示す場合、第1のオーバーレイを360°ビデオストリームとオーバーラップさせるように重ね合わされた2つ以上のオーバーレイのうち1つを表示するようにディスプレイを制御させるように更に構成されてもよい。

フローチャート(例えば、図６)は、1つの実装の例示のみを提供しており、どのように異なる実施形態が実装され得るかに関して如何なる限定も意味するものではないことが認識され得る。設計及び実装要件に基づいて、図示の環境に対する多くの修正が行われてもよい。

上記の技術は、1つ以上のコンピュータ読み取り可能媒体(例えば、ハードディスクドライブ)に物理的に記憶されてもよいコンピュータ読み取り可能命令を有するコンピュータソフトウェアを実行し得る1つ以上のプロセッサによって実施できる。例えば、図５は、開示の対象物の特定の実施形態を実施するのに適したコンピュータシステムを示す。

コンピュータソフトウェアは、コンピュータ中央処理装置(CPU, central processing unit)、グラフィックス処理ユニット(GPU, Graphics Processing Unit)等によって、直接的に或いは解釈、マイクロコード実行等を通じて実行できる命令を含むコードを作成するように、アセンブリ、コンパイル、リンク又は同様のメカニズムの対象となり得るいずれか適切な機械コード又はコンピュータ言語を使用して符号化できる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネット(IoT, internet of things)デバイス等を含む様々なタイプのコンピュータ又はその構成要素上で実行できる。

本開示は、いくつかの例示的な実施形態を記載しているが、本開示の範囲内に入る変更、置換、及び様々な代替等価物が存在する。したがって、当業者は、本明細書に明示的に図示又は記載されていないが、本開示の原理を具現し、したがって、本開示の真意及び範囲内にある多くのシステム及び方法を考案することができることが認識される。

いくつかの実施形態は、いずれかの可能な技術的詳細レベルの統合において、システム、方法及び/又はコンピュータ読み取り可能媒体に関してもよい。コンピュータ読み取り可能媒体は、プロセッサに動作を実行させるためのコンピュータ読み取り可能プログラム命令を有するコンピュータ読み取り可能な非一時な記憶媒体(又は媒体)を含んでもよい。

コンピュータ読み取り可能記憶媒体は、命令実行デバイスによって使用される命令を保持及び記憶できる有形のデバイスとすることができる。コンピュータ読み取り可能記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス又は上記のいずれか適切な組み合わせでもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のより具体的な例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM, random access memory)、読み取り専用メモリ(ROM, read-only memory)、消去可能プログラム可能読み取り専用メモリ(EPROM又はフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM, static random access memory)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM, compact disc read-only memory)、デジタル多用途ディスク(DVD, digital versatile disk)、メモリスティック、フロッピーディスク、パンチカードのような機械的に符号化されたデバイス又はこれらに記録された命令を有する溝における隆起構造、及びこれらのいずれか適切な組み合わせを含む。本明細書で使用されるコンピュータ読み取り可能記憶媒体は、電波若しくは他の自由に伝搬する電磁波、導波管若しくは他の伝送媒体を通じて伝搬する電磁波(例えば、光ファイバケーブルを通過する光パルス)、又はワイヤを通じて伝送される電気信号のような、それ自体一時的な信号であるとして解釈されるべきではない。

本明細書に記載のコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体からそれぞれのコンピューティング/処理デバイスにダウンロードでき、或いは、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク及び/又は無線ネットワークを介して外部コンピュータ又は外部記憶デバイスにダウンロードできる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び/又はエッジサーバを含んでもよい。各コンピューティング/処理デバイス内のネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ読み取り可能プログラム命令を受信し、各コンピューティング/処理デバイス内のコンピュータ読み取り可能記憶媒体に記憶するためにコンピュータ読み取り可能プログラム命令を転送する。

動作を実行するためのコンピュータ読み取り可能プログラムコード/命令は、アセンブラ命令、命令セットアーキテクチャ(ISA, instruction-set-architecture)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又はSmalltalk、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語若しくは同様のプログラミング言語のような手続き型プログラミング言語を含む、1つ以上のプログラミング言語のいずれかの組み合わせで記述されたソースコード又はオブジェクトコードのいずれかでもよい。コンピュータ読み取り可能プログラム命令は、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアローンのソフトウェアパッケージとして、一部はユーザのコンピュータ上で且つ一部はリモートコンピュータ上で、或いは、リモートコンピュータ又はサーバ上で完全に、実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN, local area network)又は広域ネットワーク(WAN, wide area network)を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続されてもよく、或いは、接続は、外部コンピュータに対して(例えば、インターネットサービスプロバイダを使用してインターネットを通じて)行われてもよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ(FPGA, field-programmable gate array)又はプログラマブルロジックアレイ(PLA, programmable logic array)を含む電子回路は、態様又は動作を実行するために、電子回路をパーソナライズするようにコンピュータ読み取り可能プログラム命令の状態情報を利用することによって、コンピュータ読み取り可能プログラム命令を実行してもよい。

これらのコンピュータ読み取り可能プログラム命令は、機械を生成するように汎用コンピュータ、専用コンピュータ又は他のプログラム可能データ処理装置のプロセッサに提供されてもよく、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行する命令は、フローチャート及び/又はブロック図のブロックに指定された機能/動作を実施するための手段を生成する。これらのコンピュータ読み取り可能プログラム命令はまた、コンピュータ、プログラム可能データ処理装置及び/又は他のデバイスを特定の方式で機能させるように指示できるコンピュータ読み取り可能記憶媒体に記憶されてもよく、それにより、記憶された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャート及び/又はブロック図のブロックに指定された機能/動作の態様を実施する命令を含む製造物を含む。

コンピュータ読み取り可能プログラム命令はまた、コンピュータ、他のプログラム可能装置又は他のデバイスで一連の動作ステップを実行させて、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラム可能データ処理装置又は他のデバイスにロードされてもよく、それにより、コンピュータ、他のプログラム可能装置又は他のデバイスで実行する命令は、フローチャート及び/又はブロック図のブロックに指定された機能/動作を実施する。

図面におけるフローチャート及びブロック図は、様々な実施形態によるシステム、方法及びコンピュータ読み取り可能媒体の可能な実装のアーキテクチャ、機能及び動作を示す。これに関して、フローチャート又はブロック図内の各ブロックは、指定の論理機能を実施するための1つ以上の実行可能命令を含む、モジュール、セグメント又は命令の一部を表してもよい。当該方法、コンピュータシステム及びコンピュータ読み取り可能媒体は、図面に示すものよりも多くのブロック、少ないブロック、異なるブロック又は異なる配置のブロックを含んでもよい。いくつかの別の実装では、ブロックに記載された機能は、図面に記載された順序から外れて行われてもよい。例えば、連続して示す2つのブロックは、実際には、同時に或いは実質的に同時に実行されてもよく、或いは、関与する機能に依存して、場合によってはブロックが逆の順序で実行されてもよい。また、ブロック図及び/又はフローチャート図内の各ブロック、及びブロック図及び/又はフローチャート図内のブロックの組み合わせは、指定された機能又は動作を実行するか、或いは、専用ハードウェア及びコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実施できることに留意する。

本明細書に記載のシステム及び/又は方法は、異なる形式のハードウェア、ファームウェア又はハードウェアとソフトウェアとの組み合わせで実施されてもよいことは明らかである。これらのシステム及び/又は方法を実施するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、実装の限定ではない。したがって、システム及び/又は方法の動作及び挙動は、特定のソフトウェアコードを参照することなく本明細書に記載されており、ソフトウェア及びハードウェアは、本明細書の記載に基づいてシステム及び/又は方法を実施するように設計されてもよいことが理解される。

本明細書で使用される如何なる要素、動作又は命令も、明示的に記述されない限り、重要又は必須であると解釈されるべきではない。また、本明細書で使用される場合、単数は、1つ以上の項目を含むことを意図し、「1つ以上」と互換的に使用されてもよい。さらに、本明細書で使用される場合、「セット」という用語は、1つ以上の項目(例えば、関連する項目、関連しない項目、関連する項目と関連しない項目との組み合わせ等)を含むことを意図し、「1つ以上」と互換的に使用されてもよい。1つの項目のみが意図される場合、「1つ」という用語又は同様の言語が使用される。また、本明細書で使用される場合、「有する(has)」、「有する(have)」、「有する(having)」等の用語は、オープンエンドの用語であることを意図する。さらに、「基づいて」という語句は、明示的に別段の記載がない限り、「少なくとも部分的に基づいて」を意味することを意図する。

様々な態様及び実施形態の説明は、例示の目的で提示されており、網羅的であること又は開示の実施形態に限定されることを意図するものではない。特徴の組み合わせが特許請求の範囲及び/又は明細書に開示されているとしても、これらの組み合わせは、可能な実装の開示を限定することを意図しない。実際に、これらの特徴の多くは特許請求の範囲及び/又は明細書に具体的に開示されていない方法で組み合わされてもよい。以下に列挙される各従属請求項は、1つの請求項のみに直接従属することがあるが、可能な実装の開示は、各従属請求項を特許請求の範囲内の他の全ての請求項と組み合わせたものを含む。記載の実施形態の範囲から逸脱することなく、多くの修正及び変形が当業者に明らかになる。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実際の適用又は技術的な改良を最も良く説明するために、或いは、当業者が本明細書に開示の実施形態を理解することを可能にするために選択されている。

Claims (18)

1. ユーザ端末により、電子デバイス又はサーバから360°ビデオストリームを受信するステップであり、前記360°ビデオストリームは、2つ以上のオーバーレイで前記360°ビデオストリームをオーバーレイすることが前記ユーザ端末によって許容されるか否かを示す多重オーバーレイパラメータを含む、ステップと、
   前記ユーザ端末により、前記360°ビデオストリームを表示するステップと、
   前記多重オーバーレイパラメータが第1の値である場合、前記ユーザ端末により、2つ以上のオーバーレイで前記360°ビデオストリームをオーバーレイすることが前記ユーザ端末によって許容されると決定し、前記ユーザ端末により、前記2つ以上のオーバーレイで前記360°ビデオストリームを表示するステップと、
   前記多重オーバーレイパラメータが第2の値である場合、前記ユーザ端末により、2つ以上のオーバーレイで前記360°ビデオストリームをオーバーレイすることが前記ユーザ端末によって許容されないと決定し、前記ユーザ端末によって、ゼロのオーバーレイ又は1つのオーバーレイで前記360°ビデオストリームを表示するステップと
   を含み、
   前記第1の値は前記第2の値と異なり、
   前記オーバーレイは、他のビデオストリーム又は画像のうち1つ以上を含む、方法。
2. 前記360°ビデオストリームは、前記2つ以上のオーバーレイのうち1つを第1のオーバーレイとオーバーラップさせることが許容されるか否かを示すオーバーラップオーバーレイパラメータを含み、
   当該方法は、前記2つ以上のオーバーレイのうち1つを前記第1のオーバーレイとオーバーラップさせることが許容されることを前記オーバーラップオーバーレイパラメータが示す場合、前記ユーザ端末により、前記第1のオーバーレイを前記360°ビデオストリームとオーバーラップさせるように重ね合わされた前記2つ以上のオーバーレイのうち前記1つを表示するステップを更に含む、請求項１に記載の方法。
3. 前記360°ビデオストリームは、前記2つ以上のオーバーレイの使用を許容するコンテンツベースの属性を含む、請求項１に記載の方法。
4. 前記360°ビデオストリームは、いつユーザが送信者のストリーム情報を他の送信者と共有することを許容されるかをシグナリングするためのフラグを含む、請求項１に記載の方法。
5. 前記ユーザ端末により、前記電子デバイス又はサーバから要求を受信するステップであり、前記要求は、テレカンファレンスにおける1人以上のユーザがメディアストリーム属性を共有するための要求である、ステップと、
   前記ユーザ端末により、前記ユーザ端末が共有する権限を有するメディアストリーム属性に関する情報を、前記電子デバイス又はサーバに送信するステップと
   を更に含む、請求項１に記載の方法。
6. 前記ユーザが共有することを望む前記メディアストリーム属性に関する情報は、送信者IDに対応する識別子(ID)を含む、請求項５に記載の方法。
7. 前記電子デバイス又はサーバにより、少なくとも1つの送信者IDを少なくとも1つのオーバーレイIDと組み合わせることによって、固有のオーバーレイIDを割り当てるステップを更に含む、請求項６に記載の方法。
8. 初期オファー・アンサー交渉の間に、或いはセッションの間に、前記多重オーバーレイパラメータを交渉するステップを更に含む、請求項１に記載の方法。
9. 前記多重オーバーレイパラメータは、前記360°ビデオストリームのセッション記述プロトコル(SDP)において提供される、請求項１に記載の方法。
10. 初期オファー・アンサー交渉の間に、或いはセッションの間に、前記オーバーラップオーバーレイパラメータを交渉するステップを更に含む、請求項２に記載の方法。
11. 前記オーバーラップオーバーレイパラメータは、前記360°ビデオストリームのセッション記述プロトコル(SDP)において提供される、請求項２に記載の方法。
12. 初期オファー・アンサー交渉の間に、或いはセッションの間に、前記コンテンツベースの属性を交渉するステップを更に含む、請求項３に記載の方法。
13. 前記コンテンツベースの属性は、前記360°ビデオストリームのセッション記述プロトコル(SDP)において提供される、請求項３に記載の方法。
14. 前記ユーザ端末により、他のユーザが前記ユーザ端末によって共有されたストリーム情報を他の電子デバイスと共有する権限を有するか否かを、前記電子デバイス又はサーバに通信するステップを更に含む、請求項４に記載の方法。
15. 前記ユーザ端末により、他のユーザが前記ユーザ端末によって共有されたストリーム情報を他の電子デバイスと共有する権限を有するか否かを、前記電子デバイス又はサーバに通信するステップを更に含む、請求項５に記載の方法。
16. 前記電子デバイス又はサーバにより、前記電子デバイス又はサーバによって生成されたいずれかのオーバーレイの他に、少なくとも1つの更なるオーバーレイを前記他の電子デバイスと共有するステップであり、前記少なくとも1つの更なるオーバーレイは、対応するオーバーレイビデオの送信者が前記オーバーレイを共有する権限を有するオーバーレイのみを含む、ステップを更に含む、請求項１４に記載の方法。
17. ビデオ会議のためのコンピュータシステムであって、
    通信インタフェースと、
    ディスプレイと、
    コンピュータプログラムコードを記憶するように構成された1つ以上のコンピュータ読み取り可能な非一時的な記憶媒体と、
    前記コンピュータプログラムコードにアクセスして前記コンピュータプログラムコードによって命令される通りに動作するように構成された1つ以上のコンピュータプロセッサと
    を含み、
    前記コンピュータプログラムコードは、前記1つ以上のコンピュータプロセッサに対して、請求項１乃至１６のうちいずれか１項に記載の方法を実行させる、コンピュータシステム。
18. ビデオ通話を処理するためのコンピュータプログラムであって、
    1つ以上のコンピュータプロセッサに対して、請求項１乃至１６のうちいずれか１項に記載の方法を実行させるコンピュータプログラム。

Images