JP2020512772A5

JP2020512772A5 - Ｖｒビデオ用に画像解像度を最適化してビデオストリーミングの帯域幅を最適化する画像処理のための方法及びストリーミングサーバ

Info

Publication number: JP2020512772A5
Application number: JP2019553044A
Authority: JP
Filing date: 2018-03-27
Publication date: 2021-04-30
Anticipated expiration: 2038-03-27

Description

[0139]本明細書では、本発明の好ましい実施形態が示され、説明されたが、そのような実施形態が単に例として提供されているということは、当業者にとって明らかであろう。当業者は、本発明から逸脱することなく、多くの変形、変更、及び代替に思い当たるであろう。本明細書に記載された本発明の実施形態のさまざまな代替手段が、本発明の実践において採用されてよいということが、理解されるべきである。以下の特許請求の範囲が本発明の範囲を定義し、以て、以下の特許請求の範囲内の方法及び構造並びにそれらと同等のものが対象にされるということが意図される。
［発明の項目］
［項目１］
方法であって、
少なくとも８Ｋの解像度を有するビデオ入力を受信するステップと、
前記受信されたビデオ入力を処理し、少なくともより多くのピクセルを第１の領域に、より少ないピクセルを第２の領域に割り当てる２つ以上のビューポートセグメントにするステップであって、前記受信されたビデオ入力を２つ以上のビューポートセグメントに処理することが並行して実行される、ステップと、
第１の信号伝達情報を生成するステップであって、前記第１の信号伝達情報が外部のメタデータである、ステップと、
第２の信号伝達情報を生成するステップであって、前記第２の信号伝達情報が埋め込まれたメタデータである、ステップと、
を含む、方法。
［項目２］
前記処理されたビデオを再生するステップをさらに含む、項目１に記載の方法。
［項目３］
前記第１の信号伝達情報及び前記第２の信号伝達情報を１つ又は複数のビデオフレームに埋め込むステップをさらに含む、項目１に記載の方法。
［項目４］
前記受信されたビデオ入力をリアルタイムに処理するステップをさらに含む、項目１に記載の方法。
［項目５］
適応ビットレート表現を生成するステップをさらに含む、項目１に記載の方法。
［項目６］
適応ビットレート表現を生成する前記ステップが、立体ビデオの送信を最適化するためのフレーム処理プロセスをさらに含む、項目５に記載の方法。
［項目７］
適切なビューポートをフェッチするために凝視位置モニタと通信するステップと、再生のために、クライアント側で、埋め込まれたフレームメタデータをパースするステップと、をさらに含む、項目１に記載の方法。
［項目８］
ユーザの予測された頭部の位置を計算し、前記予測された頭部の位置に応答して再生要求を調整するステップをさらに含む、項目７に記載の方法。
［項目９］
モデルの状態をフェッチするステップと、前記モデルの状態をトレーニングするステップと、前記モデルの状態を保存するステップと、をさらに含む、項目１に記載の方法。
［項目１０］
ストリーミングサーバであって、
メモリと、
コントローラであって、前記コントローラが、
少なくとも８Ｋの解像度を有するビデオ入力を受信することと、
前記ビデオ入力を処理し、より多くのピクセルを第１の領域に割り当て、その結果、より少ないピクセルが第２の領域に割り当てられる２つ以上のビューポートセグメントにし、前記２つ以上のビューポートセグメントが、並行して作成されることと、
外部のメタデータと、前記ビデオフレームに埋め込まれたメタデータとの両方として信号伝達情報を生成することと、
前記処理されたビデオ入力を、デバイスがストリーミングするための標準的なストリーム発生源フォルダーに配信することと、
を実行するように構成されている、コントローラと、
を備える、ストリーミングサーバ。
［項目１１］
前記コントローラが、第１のプロセスとして前記入力ビデオをセグメント化することと、セグメント化されたソースから前記処理タスクを設定することと、を実行するようにさらに構成されている、項目１０に記載のストリーミングサーバ。
［項目１２］
前記コントローラが、保留中の処理タスクを検出して、それらの処理タスクのみを処理するようにさらに構成されており、そのような複数のサーバが並行して効率的に動作できるようにする、項目１０に記載のストリーミングサーバ。
［項目１３］
前記コントローラが、立体ビデオの送信をさらに最適化するために、追加の任意選択的フレーム処理を伴って適応ビットレート表現を生成するように、さらに構成されている、項目１０に記載のストリーミングサーバ。
［項目１４］
方法であって、
２つ以上のビデオフレームを含む少なくとも８Ｋの解像度を有するビデオ入力をシステムに受信するステップと、
前記受信されたビデオ入力を処理し、少なくともより多くのピクセルを第１の領域に、より少ないピクセルを第２の領域に割り当てる２つ以上のビューポートセグメントにするステップであって、前記受信されたビデオ入力を２つ以上のビューポートセグメントに処理することが並行して実行される、ステップと、
第１の信号伝達情報を外部のメタデータとして生成し、第２の信号伝達情報を前記２つ以上のビデオフレームに埋め込まれたメタデータとして生成するステップと、
処理されたビデオ入力を前記システムからクライアントデバイスに配信するステップと、
を含む、方法。
［項目１５］
埋め込まれたメタデータを前記ビデオフレームに追加するステップと、ビューポートの追加の信号伝達情報を生成するステップと、をさらに含む、項目１４に記載の方法。
［項目１６］
立体ビデオの送信をさらに最適化するために、追加の任意選択的フレーム処理を伴って適応ビットレート表現を生成するステップをさらに含む、項目１４に記載の方法。
［項目１７］
方法であって、
少なくとも８Ｋの解像度を有するビデオ入力を受信するステップと、
前記受信されたビデオ入力を処理するステップと、
第１の信号伝達情報を生成するステップであって、前記第１の信号伝達情報が外部のメタデータである、ステップと、
第２の信号伝達情報を生成するステップであって、前記第２の信号伝達情報が埋め込まれたメタデータである、ステップと、
前記第１の信号伝達情報及び前記第２の信号伝達情報を１つ又は複数のビデオフレームに埋め込むステップと、
を含む、方法。
［項目１８］
前記処理されたビデオを再生するステップをさらに含む、項目１７に記載の方法。
［項目１９］
前記受信されたビデオ入力を処理し、少なくともより多くのピクセルを第１の領域に、より少ないピクセルを第２の領域に割り当てる２つ以上のビューポートセグメントにするステップであって、前記受信されたビデオ入力を２つ以上のビューポートセグメントに処理することが並行して実行される、ステップをさらに含む、項目１７に記載の方法。
［項目２０］
前記受信されたビデオ入力をリアルタイムに処理するステップをさらに含む、項目１７に記載の方法。
［項目２１］
適応ビットレート表現を生成するステップをさらに含む、項目１７に記載の方法。
［項目２２］
適応ビットレート表現を生成する前記ステップが、立体ビデオの送信を最適化するためのフレーム処理プロセスをさらに含む、項目２１に記載の方法。
［項目２３］
適切なビューポートをフェッチするために凝視位置モニタと通信するステップと、再生のために、クライアント側で、埋め込まれたフレームメタデータをパースするステップと、をさらに含む、項目１７に記載の方法。
［項目２４］
ユーザの予測された頭部の位置を計算し、前記予測された頭部の位置に応答して再生要求を調整するステップをさらに含む、項目２３に記載の方法。
［項目２５］
モデルの状態をフェッチするステップと、前記モデルの状態をトレーニングするステップと、前記モデルの状態を保存するステップと、をさらに含む、項目１７に記載の方法。
［項目２６］
ストリーミングサーバであって、
メモリと、
コントローラであって、前記コントローラが、
少なくとも８Ｋの解像度を有するビデオ入力を受信することと、
前記ビデオ入力を処理することと、
セグメント化されたソースから第１のプロセスとして、前記入力ビデオをセグメント化することと、
外部のメタデータと、前記ビデオフレームに埋め込まれたメタデータとの両方として信号伝達情報を生成することと、
前記処理されたビデオ入力を、デバイスがストリーミングするための標準的なストリーム発生源フォルダーに配信することと、
を実行するように構成されている、コントローラと、
を備える、ストリーミングサーバ。
［項目２７］
前記コントローラが、前記ビデオ入力を処理し、より多くのピクセルを第１の領域に割り当て、その結果、より少ないピクセルが第２の領域に割り当てられる２つ以上のビューポートセグメントにし、前記２つ以上のビューポートセグメントが、並行して作成されることを実行するようにさらに構成されている、項目２６に記載のストリーミングサーバ。
［項目２８］
前記コントローラが、保留中の処理タスクを検出して、それらの処理タスクのみを処理するようにさらに構成されており、そのような複数のサーバが並行して効率的に動作できるようにする、項目２６に記載のストリーミングサーバ。
［項目２９］
前記コントローラが、立体ビデオの送信をさらに最適化するために、追加の任意選択的フレーム処理を伴って適応ビットレート表現を生成するように、さらに構成されている、項目２６に記載のストリーミングサーバ。
［項目３０］
方法であって、
２つ以上のビデオフレームを含む少なくとも８Ｋの解像度を有するビデオ入力をシステムに受信するステップと、
前記受信されたビデオ入力を処理するステップと、
第１の信号伝達情報を生成するステップであって、前記第１の信号伝達情報が外部のメタデータである、ステップと、
第２の信号伝達情報を生成するステップであって、前記第２の信号伝達情報が埋め込まれたメタデータである、ステップと、
前記第１の信号伝達情報及び前記第２の信号伝達情報を１つ又は複数のビデオフレームに埋め込むステップと、
処理されたビデオ入力を前記システムからクライアントデバイスに配信するステップと、
を含む、方法。
［項目３１］
埋め込まれたメタデータを前記ビデオフレームに追加するステップと、ビューポートの追加の信号伝達情報を生成するステップと、をさらに含む、項目３０に記載の方法。
［項目３２］
立体ビデオの送信をさらに最適化するために、追加の任意選択的フレーム処理を伴って適応ビットレート表現を生成するステップをさらに含む、項目３１に記載の方法。
［項目３３］
方法であって、
少なくとも８Ｋの解像度を有するビデオ入力を受信するステップと、
前記受信されたビデオ入力を２つ以上のビューポートセグメントに処理するステップと、
第１の信号伝達情報を生成するステップであって、前記第１の信号伝達情報が外部のメタデータである、ステップと、
第２の信号伝達情報を生成するステップであって、前記第２の信号伝達情報が埋め込まれたメタデータである、ステップと、
適切なビューポートをフェッチするために凝視位置モニタと通信するステップと、
を含む、方法。
［項目３４］
前記処理されたビデオを再生するステップをさらに含む、項目３３に記載の方法。
［項目３５］
前記第１の信号伝達情報及び前記第２の信号伝達情報を１つ又は複数のビデオフレームに埋め込むステップをさらに含む、項目３３に記載の方法。
［項目３６］
前記受信されたビデオ入力をリアルタイムに処理するステップをさらに含む、項目３３に記載の方法。
［項目３７］
適応ビットレート表現を生成するステップをさらに含む、項目３３に記載の方法。
［項目３８］
適応ビットレート表現を生成する前記ステップが、立体ビデオの送信を最適化するためのフレーム処理プロセスをさらに含む、項目３７に記載の方法。
［項目３９］
再生のために、クライアント側で、埋め込まれたフレームメタデータをパースするステップをさらに含む、項目３３に記載の方法。
［項目４０］
ユーザの予測された頭部の位置を計算し、前記予測された頭部の位置に応答して再生要求を調整するステップをさらに含む、項目３９に記載の方法。
［項目４１］
モデルの状態をフェッチするステップと、前記モデルの状態をトレーニングするステップと、前記モデルの状態を保存するステップと、をさらに含む、項目３３に記載の方法。
［項目４２］
ストリーミングサーバであって、
メモリと、
コントローラであって、前記コントローラが、
少なくとも８Ｋの解像度を有するビデオ入力を受信することと、
前記ビデオ入力を処理することと、
外部のメタデータと、前記ビデオフレームに埋め込まれたメタデータとの両方として信号伝達情報を生成することと、
前記処理されたビデオ入力を、デバイスがストリーミングするための標準的なストリーム発生源フォルダーに配信することと、
適切なビューポートをフェッチするために凝視位置モニタと通信することと、
を実行するように構成されている、コントローラと、
を備える、ストリーミングサーバ。
［項目４３］
前記コントローラが、第１のプロセスとして前記入力ビデオをセグメント化することと、セグメント化されたソースから前記処理タスクを設定することと、を実行するようにさらに構成されている、項目４２に記載のストリーミングサーバ。
［項目４４］
前記コントローラが、保留中の処理タスクを検出して、それらの処理タスクのみを処理するようにさらに構成されており、そのような複数のサーバが並行して効率的に動作できるようにする、項目４２に記載のストリーミングサーバ。
［項目４５］
前記コントローラが、立体ビデオの送信をさらに最適化するために、追加の任意選択的フレーム処理を伴って適応ビットレート表現を生成するように、さらに構成されている、項目４２に記載のストリーミングサーバ。
［項目４６］
方法であって、
２つ以上のビデオフレームを含む少なくとも８Ｋの解像度を有するビデオ入力をシステムに受信するステップと、
前記受信されたビデオを処理するステップと、
第１の信号伝達情報を外部のメタデータとして生成し、第２の信号伝達情報を前記２つ以上のビデオフレームに埋め込まれたメタデータとして生成するステップと、
適切なビューポートをフェッチするために凝視位置モニタと通信するステップと、
を含む、方法。
［項目４７］
埋め込まれたメタデータを前記ビデオフレームに追加するステップと、ビューポートの追加の信号伝達情報を生成するステップと、をさらに含む、項目４６に記載の方法。
［項目４８］
立体ビデオの送信をさらに最適化するために、追加の任意選択的フレーム処理を伴って適応ビットレート表現を生成するステップをさらに含む、項目４７に記載の方法。
［項目４９］
方法であって、
少なくとも８Ｋの解像度を有するビデオ入力を受信するステップと、
２つ以上のビデオフレームを含む前記受信されたビデオ入力を処理するステップであって、各ビデオフレームが前半及び後半を含む、ステップと、
第１のビデオフレームの前記前半においてビットレートを増やし、前記第１のビデオフレームの前記後半においてビットレートを減らすステップと、
ビデオ入力全体のエンコードされたビットレートを減らすステップと、
を含む、方法。
［項目５０］
前記処理されたビデオを再生するステップをさらに含む、項目４９に記載の方法。
［項目５１］
第１の信号伝達情報及び第２の信号伝達情報を１つ又は複数のビデオフレームに埋め込むステップをさらに含む、項目４９に記載の方法。
［項目５２］
前記受信されたビデオ入力をリアルタイムに処理するステップをさらに含む、項目４９に記載の方法。
［項目５３］
適応ビットレート表現を生成するステップをさらに含む、項目４９に記載の方法。
［項目５４］
適応ビットレート表現を生成する前記ステップが、立体ビデオの送信を最適化するためのフレーム処理プロセスをさらに含む、項目５３に記載の方法。
［項目５５］
適切なビューポートをフェッチするために凝視位置モニタと通信するステップと、再生のために、クライアント側で、埋め込まれたフレームメタデータをパースするステップと、をさらに含む、項目４９に記載の方法。
［項目５６］
ユーザの予測された頭部の位置を計算し、前記予測された頭部の位置に応答して再生要求を調整するステップをさらに含む、項目５５に記載の方法。
［項目５７］
モデルの状態をフェッチするステップと、前記モデルの状態をトレーニングするステップと、前記モデルの状態を保存するステップと、をさらに含む、項目４９に記載の方法。
［項目５８］
ストリーミングサーバであって、
メモリと、
コントローラであって、前記コントローラが、
少なくとも８Ｋの解像度を有するビデオ入力を受信することと、
第１のビデオフレームの前記前半においてビットレートを増やし、前記第１のビデオフレームの前記後半においてビットレートを減らすことと、
ビデオ入力全体のエンコードされたビットレートを減らすことと、
を実行するように構成されている、コントローラと、
を備える、ストリーミングサーバ。
［項目５９］
前記コントローラが、第１のプロセスとして前記入力ビデオをセグメント化することと、セグメント化されたソースから前記処理タスクを設定することと、を実行するようにさらに構成されている、項目５８に記載のストリーミングサーバ。
［項目６０］
前記コントローラが、保留中の処理タスクを検出して、それらの処理タスクのみを処理するようにさらに構成されており、そのような複数のサーバが並行して効率的に動作できるようにする、項目５８に記載のストリーミングサーバ。
［項目６１］
前記コントローラが、立体ビデオの送信をさらに最適化するために、追加の任意選択的フレーム処理を伴って適応ビットレート表現を生成するように、さらに構成されている、項目５８に記載のストリーミングサーバ。
［項目６２］
方法であって、
２つ以上のビデオフレームを含む少なくとも８Ｋの解像度を有するビデオ入力をシステムに受信するステップと、
前記受信されたビデオ入力を処理し、少なくともより多くのピクセルを第１の領域に、より少ないピクセルを第２の領域に割り当てる２つ以上のビューポートセグメントにするステップであって、前記受信されたビデオ入力を２つ以上のビューポートセグメントに処理することが並行して実行される、ステップと、
第１の信号伝達情報を外部のメタデータとして生成し、第２の信号伝達情報を前記２つ以上のビデオフレームに埋め込まれたメタデータとして生成するステップと、
処理されたビデオ入力を前記システムからクライアントデバイスに配信するステップと、
を含む、方法。
［項目６３］
埋め込まれたメタデータを前記ビデオフレームに追加するステップと、ビューポートの追加の信号伝達情報を生成するステップと、をさらに含む、項目６２に記載の方法。
［項目６４］
立体ビデオの送信をさらに最適化するために、追加の任意選択的フレーム処理を伴って適応ビットレート表現を生成するステップをさらに含む、項目６３に記載の方法。

Claims

コンピューティングデバイスによって実行される方法であって、
少なくとも８Ｋの解像度とソース画像を有する仮想現実ビデオ入力を受信するステップと、
入力された前記画像の幾何学的変換を有するビューポートに前記受信された仮想現実ビデオ入力を処理するステップであって、
前記幾何学的変換は、第１の適応ビットレートターゲットについて前記仮想現実ビデオ入力のパノラマ画像全体の第１の頭部位置からの第１のターゲット投影にて再マッピングされた画像を生成し、
前記再マッピングされた前記画像の一部分にはより大きな解像度が割り当てられ、再マッピングされた前記画像の残りにはより小さな解像度が割り当てられ、
再マッピングされた前記画像は、
立体ビデオの送信を最適化するために処理される、ステップと、
第２の適応ビットレートターゲットにて第２の頭部位置からの第２のビューポートに前記仮想現実ビデオ入力を処理することを繰り返すステップと、
全ての処理されたビューポートについての第１の信号伝達情報を生成するステップであって、前記第１の信号伝達情報が外部のメタデータである、ステップと、
前記ビューポートから第２の信号伝達情報を生成するステップであって、前記第２の信号伝達情報が埋め込まれたメタデータである、ステップと、
を含む、方法。
前記処理された仮想現実ビデオを再生するステップをさらに含む、請求項１に記載の方法。
前記第１の信号伝達情報及び前記第２の信号伝達情報を１つ又は複数のビデオフレームにおけるフレーム間隔に埋め込むステップをさらに含む、請求項１に記載の方法。
前記受信された仮想現実ビデオ入力をリアルタイムに処理するステップをさらに含む、請求項１に記載の方法。
適切なビューポートをフェッチするために凝視位置モニタと通信するステップと、再生のために、クライアント側で、埋め込まれたフレームメタデータをパースするステップと、をさらに含む、請求項１に記載の方法。
ユーザの予測された頭部の位置を計算し、前記予測された頭部の位置に応答して再生要求を調整するステップをさらに含む、請求項５に記載の方法。
機械学習エンジンにデータを送信するステップと、頭部位置の予測位置を特定するために機械学習モデルの状態をフェッチするステップと、複数のソースからの集約されたデータを用いて前記機械学習モデルの状態をトレーニングするステップと、クライアントデバイスによる後のアクセスのために前記モデルの状態を保存するステップと、をさらに含む、請求項１に記載の方法。
ストリーミングサーバであって、
メモリと、
コントローラであって、前記コントローラが、
２つ以上のビデオフレームを含む少なくとも８Ｋの解像度とソース画像を有する仮想現実ビデオ入力を受信することと、
入力された前記画像の幾何学的変換を有するビューポートに前記仮想現実ビデオ入力を処理することであって、
前記幾何学的変換は、第１の適応ビットレートターゲットについて前記仮想現実ビデオ入力のパノラマ画像全体の第１の頭部位置からの第１のターゲット投影にて再マッピングされた画像を生成し、
前記再マッピングされた前記画像の一部分にはより大きな解像度が割り当てられ、再マッピングされた前記画像の残りにはより小さな解像度が割り当てられ、
再マッピングされた前記画像は、
立体ビデオの送信を最適化するために処理される、処理することと、
第２の適応ビットレートターゲットにて第２の頭部位置からの第２のビューポートに前記仮想現実ビデオ入力を再処理することと、
外部のメタデータと、前記ビデオフレームに埋め込まれたメタデータとの両方として、全ての処理されたビューポートについての信号伝達情報を生成することと、
前記処理された仮想現実ビデオ入力を、デバイスがストリーミングするための標準的なストリーム発生源フォルダーに配信することと、
を実行するように構成されている、コントローラと、
を備える、ストリーミングサーバ。
前記コントローラが、第１のプロセスとして前記仮想現実ビデオ入力をセグメント化することと、セグメント化されたソースから処理タスクを設定することと、を実行するようにさらに構成されている、請求項８に記載のストリーミングサーバ。
前記コントローラが、保留中の処理タスクを検出するようにさらに構成されており、各プロセスが単一のファイルに割り当てられ、並列プロセスが、まだ処理されていない異なる名前を有する複数のファイルについて生じる、請求項８に記載のストリーミングサーバ。
コンピューティングデバイスによって実行される方法であって、
２つ以上のビデオフレームを含む少なくとも８Ｋの解像度とソース画像を有する仮想現実ビデオ入力をシステムに受信するステップと、
入力された前記画像の幾何学的変換を有するビューポートに前記受信された仮想現実ビデオ入力を処理するステップであって、前記幾何学的変換は、第１の適応ビットレートターゲットについて前記仮想現実ビデオ入力のパノラマ画像全体の第１の頭部位置からの第１のターゲット投影にて再マッピングされた画像を生成し、
前記再マッピングされた前記画像の一部分にはより大きな解像度が割り当てられ、再マッピングされた前記画像の残りにはより小さな解像度が割り当てられ、
再マッピングされた前記画像は、
立体ビデオの送信を最適化するために処理される、ステップと、
第２の適応ビットレートターゲットにて前記仮想現実ビデオ入力の各フレームについてのビューポートに前記仮想現実ビデオ入力を処理することを繰り返すステップと、
全ての処理されたビューポートについての第１の信号伝達情報を外部のメタデータとして生成し、第２の信号伝達情報を前記２つ以上のビデオフレームに埋め込まれたメタデータとして生成するステップと、
処理されたビデオ出力を前記システムからクライアントデバイスに配信するステップであって、処理された前記ビデオ出力の各フレームが低密度ピクセル領域および高密度ピクセル領域を有する、ステップと、
を含む、方法。
埋め込まれたメタデータを前記ビデオフレームに追加するステップと、ビューポートの追加の信号伝達情報を生成するステップと、をさらに含む、請求項１１に記載の方法。
コンピューティングデバイスによって実行される方法であって、
少なくとも８Ｋの解像度とソース画像を有するビデオ入力を受信するステップと、
入力された前記画像の幾何学的変換を有するビューポートに前記受信されたビデオ入力を処理するステップであって、
前記幾何学的変換は、第１の適応ビットレートターゲットについて前記ビデオ入力のパノラマ画像全体の第１の頭部位置からの第１のターゲット投影にて再マッピングされた画像を生成し、
前記再マッピングされた前記画像の一部分にはより大きな解像度が割り当てられ、再マッピングされた前記画像の残りにはより小さな解像度が割り当てられる、ステップと、
第２の適応ビットレートターゲットにて第２の頭部位置からの第２のビューポートに前記ビデオ入力を処理することを繰り返すステップと、
全ての処理されたビューポートについての第１の信号伝達情報を生成するステップであって、前記第１の信号伝達情報が外部のメタデータである、ステップと、
前記ビューポートから第２の信号伝達情報を生成するステップであって、前記第２の信号伝達情報が埋め込まれたメタデータである、ステップと、
機械学習エンジンにデータを送信するステップと、頭部位置の予測位置を特定するために機械学習モデルの状態をフェッチするステップと、複数のソースからの集約されたデータを用いて前記機械学習モデルの状態をトレーニングするステップと、クライアントデバイスによる後のアクセスのために前記モデルの状態を保存するステップと、
を含む、方法。
前記処理された仮想現実ビデオを再生するステップをさらに含む、請求項１３に記載の方法。
前記第１の信号伝達情報及び前記第２の信号伝達情報を１つ又は複数のビデオフレームにおけるフレーム間隔に埋め込むステップをさらに含む、請求項１３に記載の方法。
前記受信された仮想現実ビデオ入力をリアルタイムに処理するステップをさらに含む、請求項１３に記載の方法。
適切なビューポートをフェッチするために凝視位置モニタと通信するステップと、再生のために、クライアント側で、埋め込まれたフレームメタデータをパースするステップと、をさらに含む、請求項１３に記載の方法。
ユーザの予測された頭部の位置を計算し、前記予測された頭部の位置に応答して再生要求を調整するステップをさらに含む、請求項１７に記載の方法。
前記適応ビットレート表現は、立体ビデオの送信を最適化するためのフレーム処理プロセスを有する、請求項１３に記載の方法。
ストリーミングサーバであって、
メモリと、
コントローラであって、前記コントローラが、
２つ以上のビデオフレームを含む少なくとも８Ｋの解像度とソース画像を有するビデオ入力を受信することと、
入力された前記画像の幾何学的変換を有するビューポートに前記ビデオ入力を処理することであって、
前記幾何学的変換は、第１の適応ビットレートターゲットについて前記ビデオ入力のパノラマ画像全体の第１の頭部位置からの第１のターゲット投影にて再マッピングされた画像を生成し、
前記再マッピングされた前記画像の一部分にはより大きな解像度が割り当てられ、再マッピングされた前記画像の残りにはより小さな解像度が割り当てられる、
処理することと、
第２の適応ビットレートターゲットにて第２の頭部位置からの第２のビューポートに前記ビデオ入力を再処理することと、
外部のメタデータと、前記ビデオフレームに埋め込まれたメタデータとの両方として全ての処理されたビューポートについての信号伝達情報を生成することと、
前記処理されたビデオ入力を、デバイスがストリーミングするための標準的なストリーム発生源フォルダーに配信することと、
機械学習エンジンにデータを送信し、頭部位置の予測位置を特定するために機械学習モデルの状態をフェッチし、複数のソースからの集約されたデータを用いて前記機械学習モデルの状態をトレーニングし、クライアントデバイスによる後のアクセスのために前記モデルの状態を保存することと、
を実行するように構成されている、コントローラと、
を備える、ストリーミングサーバ。
前記コントローラが、第１のプロセスとして前記ビデオ入力をセグメント化することと、セグメント化されたソースから処理タスクを設定することと、を実行するようにさらに構成されている、請求項２０に記載のストリーミングサーバ。
前記コントローラが、保留中の処理タスクを検出するようにさらに構成されており、各プロセスが単一のファイルに割り当てられ、並列プロセスが、まだ処理されていない異なる名前を有する複数のファイルについて生じる、請求項２０に記載のストリーミングサーバ。
前記コントローラが、立体ビデオの送信をさらに最適化するためのフレーム処理プロセスを有する適応ビットレート表現を生成するように、さらに構成されている、請求項２２に記載のストリーミングサーバ。