JP2019532597A

JP2019532597A - ３６０°ビューコンテンツをエンコードおよび再生するためのシステムおよび方法

Info

Publication number: JP2019532597A
Application number: JP2019531602A
Authority: JP
Inventors: ホーンウェイマイケルハー，; ユーリブラヴァ，
Original assignee: ソニックアイピー，インコーポレイテッド
Priority date: 2016-08-30
Filing date: 2017-08-30
Publication date: 2019-11-07
Also published as: WO2018045098A1; US20180063590A1; EP3507977A4; EP3507977A1

Abstract

３６０°ビューコンテンツをエンコードおよび再生するためのシステムおよび方法が開示される。システムおよび方法は、各々が異なる視点を有する２つ以上のカメラから、ビデオコンテンツのストリームを取得し得る。受信されたビデオコンテンツは、ビデオコンテンツを代替ストリームにエンコードし、代替ストリームのためのインデックス情報を生成する１つ以上のエンコーダに提供されることができる。代替ストリームは、第１の視点のためのビデオコンテンツを含み、各々が異なる最大ビットレートにおいてエンコードされるストリームの第１の組と、第２の視点からのビデオコンテンツを含み、各々が異なる最大ビットレートにおいてエンコードされるストリームの第２の組とを含む。

Description

本発明は、概して、適応ストリーミングに関連し、より具体的には、２つ以上のカメラによって捕捉されるライブイベントからのビデオデータを各カメラのためのフィードにエンコードするシステムに関する。本発明は、概して、再生のためにエンコードされたビデオコンテンツを取得するためにストリームを使用する再生デバイスにも関連する。

用語「ストリーミングメディア」は、再生デバイス上のメディアの再生を説明し、メディアは、サーバ上に記憶され、再生中にネットワークを経由して再生デバイスに連続的に送信される。典型的には、再生デバイスは、再生中、任意の所与の時間にバッファの中に十分な量のメディアを記憶することにより、再生デバイスが再生するメディアの次の部分の受信の前に全てのバッファされたメディアの再生を完了することに起因する再生の中断を防止する。適応ビットレートストリーミングまたは適応ストリーミングは、リアルタイムで現在のストリーミング条件（例えば、ユーザのネットワーク帯域幅およびＣＰＵ容量）を検出し、適宜、ストリーミングされたメディアの品質を調節することを伴う。典型的には、ソースメディアは、複数のビットレートにおいてエンコードされ、再生デバイスまたはクライアントは、利用可能なリソースに応じて、異なるエンコーディングを有するストリームを切り替える。

適応ストリーミングソリューションは、典型的には、ＩｎｔｅｒｎｅｔＥｎｇｉｎｅｅｒｉｎｇＴａｓｋＦｏｒｃｅおよびＷｏｒｌｄＷｉｄｅＷｅｂＣｏｎｓｏｒｔｉｕｍによってＲＦＣ２６１６として公開されたハイパーテキスト転送プロトコル（ＨＴＴＰ）、またはＩｎｔｅｒｎｅｔＥｎｇｉｎｅｅｒｉｎｇＴａｓｋＦｏｒｃｅによってＲＦＣ２３２６として公開されたリアルタイムストリーミングプロトコル（ＲＴＳＰ）のいずれかを利用し、サーバと再生デバイスとの間でメディアをストリーミングする。ＨＴＴＰは、再生デバイスがファイル内のバイト範囲を要求することを可能にするステートレスプロトコルである。ＨＴＴＰは、サーバが、再生デバイスから受信される要求に応答するために、情報を要求する再生デバイスの状態または再生デバイスによって要求されるバイト範囲に関する情報を記録することを要求されないので、ステートレスとして表される。ＲＴＳＰは、ストリーミングメディアサーバを制御するために使用されるネットワーク制御プロトコルである。再生デバイスは、「再生」および「一時停止」等の制御コマンドをメディアをストリーミングするサーバに発行し、メディアファイルの再生を制御する。ＲＴＳＰが利用されるとき、メディアサーバは、各クライアントデバイスの状態を記録し、クライアントデバイスから受信される命令およびクライアントの状態に基づいて、ストリーミングすべきメディアを決定する。

適応ストリーミングシステムでは、ソースメディアは、典型的には、最上位インデックスファイルまたはマニフェストとしてメディアサーバ上に記憶され、それは、実際のビデオおよびオーディオデータを含むいくつかの代替ストリームを指し示す。各ストリームは、典型的には、１つ以上のコンテナファイルの中に記憶される。異なる適応ストリーミングソリューションは、典型的には、異なるインデックスおよびメディアコンテナを利用する。ＷｏｒｌｄＷｉｄｅＷｅｂＣｏｎｓｏｒｔｉｕｍによって開発された同期マルチメディア統合言語（ＳＭＩＬ）は、ＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎ（Ｒｅｄｍｏｎｄ，Ｗａｓｈｉｎｇｔｏｎ）によって開発されたＩＩＳスムースストリーミング、およびＡｄｏｂｅＳｙｓｔｅｍｓＩｎｃｏｒｐｏｒａｔｅｄ（ＳａｎＪｏｓｅ，Ｃａｌｉｆｏｒｎｉａ）によって開発されたフラッシュダイナミックストリーミングを含むいくつかの適応ストリーミングソリューションにおいて、インデックスを作成するために利用される。ＡｐｐｌｅＣｏｍｐｕｔｅｒＩｎｃｏｒｐｏｒａｔｅｄ（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）によって開発されたＨＴＴＰ適応ビットレートストリーミングは、典型的には、メディアコンテナファイルを識別するＵＲＬのリストを含むテキストファイルである拡張Ｍ３Ｕプレイリストファイル（．Ｍ３Ｕ８）を使用して、インデックスファイルを実装する。最も一般的に使用されているメディアコンテナフォーマットは、ＭＰＥＧ−４Ｐａｒｔ１４（すなわち、ＩＳＯ／ＩＥＣ１４４９６−１４）で規定されるＭＰ４コンテナフォーマット、およびＭＰＥＧ−２Ｐａｒｔ１（すなわち、ＩＳＯ／ＩＥＣ規格１３８１８−１）で規定されるＭＰＥＧトランスポートストリーム（ＴＳ）コンテナである。ＭＰ４コンテナフォーマットは、ＩＩＳスムースストリーミングおよびフラッシュダイナミックストリーミングで利用される。ＴＳコンテナは、ＨＴＴＰ適応ビットレートストリーミングで使用される。

Ｍａｔｒｏｓｋａコンテナは、Ｍａｔｒｏｓｋａ非営利団体（Ａｕｓｓｏｎｎｅ，Ｆｒａｎｃｅ）によってオープンスタンダートプロジェクトとして開発されたメディアコンテナである。Ｍａｔｒｏｓｋａコンテナは、拡張マークアップ言語（ＸＭＬ）のバイナリ派生語である拡張可能バイナリメタ言語（ＥＢＭＬ）に基づく。Ｍａｔｒｏｓｋａコンテナのデコードは、多くの消費者電子（ＣＥ）デバイスによってサポートされる。ＤｉｖＸ，ＬＬＣ（ＳａｎＤｉｅｇｏ，Ｃａｌｉｆｏｒｎｉａ）によって開発されたＤｉｖＸＰｌｕｓファイルフォーマットは、Ｍａｔｒｏｓｋａコンテナフォーマットの拡張を利用する（すなわち、Ｍａｔｒｏｓｋａコンテナフォーマットに基づくが、Ｍａｔｒｏｓｋａフォーマット内で規定されていない要素を含む）。

インターネットを経由したメディアコンテンツの配信のための一貫した手段を提供するために、ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎｆｏｒＳｔａｎｄａｒｄｉｚａｔｉｏｎ（ＩＳＯ）およびＩｎｔｅｒｎａｔｉｏｎａｌＥｌｅｃｔｒｏｔｅｃｈｎｉｃａｌＣｏｍｍｉｓｓｉｏｎ（ＩＥＣ）は、ＨＴＴＰ規格による動的適応ストリーミング（ＤＡＳＨ）を提示している。ＤＡＳＨ規格は、メディアコンテンツのためのフォーマット、およびＨＴＴＰを使用するＭＰＥＧコンテンツの配信のためのコンテンツの説明を規定する。ＤＡＳＨによると、提示のためのメディアコンテンツの各コンポーネントは、１つ以上のストリームの中に記憶される。ストリームの各々は、セグメントに分割される。メディア提示記述（ＭＰＤ）は、ストリームの各々の中のセグメントについての情報と、再生中にメディアコンテンツを提示するために必要とされる他の情報とを含むデータ構造である。再生デバイスは、ＭＰＤを使用し、再生のために適応ビットレートストリーミングを使用してメディアコンテンツのコンポーネントを取得する。

ネットワーク接続の速度および帯域幅が増加するにつれて、限定されないが、スポーツ大会およびコンサート等のライブイベントのオーバーザトップ（ＯＴＴ）伝送が、ユーザがイベントを見るための一般的な手段になっている。殆どのライブイベントは、常に、２つ以上のカメラおよび／またはマイクロホンによって捕捉されている。そして、後処理が、イベントの放送のために提示すべき単一のカメラからのビデオを選択するために使用される。これは、視聴者を放送のプロデューサによって選択される単一のカメラからのビューに制限する。しかしながら、時には、ユーザは、他のコンテンツを示すカメラビューを選択できることを欲する。例えば、ユーザは、プロデューサによって選択されるカメラからのビデオコンテンツによって示されないこともある試合中の特定の選手または競技場の部分を見ることに集中することを欲し得る。したがって、視聴者は、ユーザが異なるカメラまたはカメラの組み合わせからのビデオコンテンツからビューを選択する場合、イベントを見ることにより多くの満足を得るであろう。

本発明の実施形態によるシステムおよび方法は、再生デバイスの視点に基づく適合組の選択、および、ネットワークおよび／または再生デバイスの容量に基づく選択された視点からのビデオの適応ビットレートストリーミングを可能にするいくつかの異なる視点の各々のための適合組を提供する。

本発明の一実施形態は、プロセッサと、プロセッサによってアクセス可能なメモリと、メモリに記憶された命令とを含み、命令は、コンテンツプロバイダシステムからビデオコンテンツを要求することと、コンテンツプロバイダシステムから、ビデオコンテンツの複数の代替ストリームを読み出すための情報を含むマニフェストを受信することであってし、複数の代替ストリームの各々は、ビデオコンテンツの複数のビューのうちの１つのためのビデオコンテンツのセグメントを含み、特定の最大ビットレートにおいてエンコードされる、ことと、再生デバイスとコンテンツプロバイダシステムとの間の通信のためのネットワーク帯域幅を決定することと、ビデオコンテンツの所望のビューを決定することと、決定されたネットワーク帯域幅と所望のビューとマニフェストにおける複数の代替ストリームのための情報とに基づいて、ストリーミングに使用する複数の代替ストリームのうちの１つを決定することと、コンテンツプロバイダシステムからのマニフェストにおける複数の代替ストリームのうちの１つのための情報に基づいて、複数の代替ストリームのうちの決定された１つからのビデオコンテンツのセグメントを要求することと、要求に応答して、コンテンツプロバイダシステムから、複数の代替ストリームのうちの決定された１つからの要求されたセグメントを受信することと、受信されたセグメントを再生することとを行うようにプロセッサに指図する。

さらなる実施形態では、命令は、再生デバイスとコンテンツプロバイダシステムとの間の通信を監視することと、監視された通信に基づいて、新しいネットワーク帯域幅へのネットワーク帯域幅の変化を検出することと、マニフェストを使用して、新しいネットワーク帯域幅および所望のビューに基づいて、ストリーミングに使用する複数の代替ストリームのうちの第２のものを決定することと、コンテンツプロバイダシステムからのマニフェストにおける複数の代替ストリームのうちの第２のもののための情報に基づいて、コンテンツプロバイダシステムからの複数の代替ストリームのうちの第２のものから、ビデオコンテンツのセグメントを要求することと、要求に応答して、コンテンツプロバイダシステムからの複数の代替ストリームのうちの第２のものから、要求されたセグメントを受信することと、受信されたセグメントを再生することとを行うようにプロセッサにさらに指図する。

別の実施形態では、命令はさらに、プロセッサに、第２のビューへのビデオコンテンツのビューにおける変化が所望されていることを決定し、マニフェストを使用して、ネットワーク帯域幅および第２のビューに基づいて、ストリーミングに使用する複数の代替ストリームのうちの第２のものを決定し、マニフェストにおける複数の代替ストリームのうちの第２のもののための情報に基づいて、コンテンツプロバイダシステムからの複数の代替ストリームのうちの第２のものから、ビデオコンテンツのセグメントを要求し、要求に応答して、コンテンツプロバイダシステムからの複数の代替ストリームのうちの第２のものの要求されたセグメントを受信し、受信されたセグメントを再生するように指図する。

なおもさらなる実施形態では、ビューの決定は、再生デバイスの検出された移動に基づく。

なおも別の実施形態では、ビューの決定は、視点を決定するための別のデバイスから捕捉された再生デバイスの画像に基づく。

その上さらなる実施形態では、ビューの決定は、ビデオコンテンツとともに受信されるメタデータに基づく。

本発明の方法の実施形態は、再生デバイスを使用して、コンテンツプロバイダシステムからビデオコンテンツを要求することと、コンテンツプロバイダシステムから再生において、ビデオコンテンツの複数の代替ストリームを読み出すための情報を含むマニフェストを受信することであって、複数の代替ストリームの各々は、ビデオコンテンツの複数のビューのうちの１つのためのビデオコンテンツのセグメントを含み、特定の最大ビットレートにおいてエンコードされている、ことと、再生デバイスを使用して、再生デバイスとコンテンツプロバイダシステムとの間の通信のためのネットワーク帯域幅を決定することと、再生デバイスを使用して、ビデオコンテンツの所望のビューを決定することと、再生デバイスを使用して、決定されたネットワーク帯域幅、所望のビュー、およびマニフェストにおける複数の代替ストリームのための情報に基づいて、ストリーミングに使用する複数の代替ストリームのうちの１つを決定することと、再生デバイスを使用して、コンテンツプロバイダシステムからのマニフェストにおける複数の代替ストリームのうちの１つのための情報に基づいて、複数の代替ストリームのうちの決定された１つからのビデオコンテンツのセグメントを要求することと、要求に応答して、再生デバイスにおいて、コンテンツプロバイダシステムからの複数の代替ストリームのうちの１つの要求されたセグメントを受信することと、再生デバイスを使用して、受信されたセグメントを再生することとを含む。

別の実施形態は、再生デバイスを使用して、再生デバイスとコンテンツプロバイダシステムとの間の通信を監視することと、再生デバイスを使用して、新しいネットワーク帯域幅へのネットワーク帯域幅の変化を検出することと、マニフェストにおける情報を使用して、マニフェストを使用して新しいネットワーク帯域幅および所望のビューに基づいて、ストリーミングに使用する複数の代替ストリームのうちの第２のものを決定することと、再生デバイスを使用して、マニフェストにおける複数の代替ストリームのうちの第２のもののための情報に基づいて、コンテンツプロバイダシステムからの複数の代替ストリームのうちの第２のものから、ビデオコンテンツのセグメントを要求することと、要求に応答して、再生デバイスにおいて、コンテンツプロバイダシステムから複数の代替ストリームのうちの第２のものの要求されたセグメントを受信することと、再生デバイスを使用して、受信されたセグメントを再生することとを含む。

さらなる実施形態は、再生デバイスを使用して、第２のビューへのビデオコンテンツのビューにおける変化が所望されていることを決定することと、再生デバイスを使用して、マニフェストにおける情報に基づいて、ネットワーク帯域幅および第２のビューに基づいて、ストリーミングに使用する複数の代替ストリームのうちの第２のものを決定することと、再生デバイスを使用して、マニフェストにおける複数の代替ストリームのうちの第２のもののための情報に基づいて、コンテンツプロバイダシステムからの複数の代替ストリームのうちの第２のものから、ビデオコンテンツのセグメントを要求することと、要求に応答して、再生デバイスにおいて、コンテンツプロバイダシステムからの複数の代替ストリームのうちの第２のものの要求されたセグメントを受信することと、再生デバイスを使用して、受信されたセグメントを再生することとを含む。

なおも別の実施形態では、ビューの決定は、再生デバイスの検出された移動に基づく。

その上さらなる実施形態では、ビューの決定は、視点を決定するための別のデバイスから捕捉された再生デバイスの画像に基づく。

さらに別の実施形態では、ビューの決定は、ビデオコンテンツとともに受信されるメタデータに基づく。

別のさらなる実施形態は、コンテンツプロバイダシステムからビデオコンテンツを要求することと、コンテンツプロバイダシステムから、ビデオコンテンツの複数の代替ストリームを読み出すための情報を含むマニフェストを受信することであって、複数のストリームの各々は、ビデオコンテンツの複数のビューのうちの１つのためのビデオコンテンツのセグメントを含み、特定の最大ビットレートにおいてエンコードされている、ことと、再生デバイスとコンテンツプロバイダシステムとの間の通信のためのネットワーク帯域幅を決定することと、ビデオコンテンツの所望のビューを決定することと、決定されたネットワーク帯域幅、所望のビュー、およびマニフェストにおける複数の代替ストリームのための情報に基づいて、ストリーミングに使用する複数の代替ストリームのうちの１つを決定することと、コンテンツプロバイダシステムからのマニフェストにおける複数の代替ストリームのうちの１つのための情報に基づいて、複数の代替ストリームのうちの決定された１つからのビデオコンテンツのセグメントを要求することと、要求に応答して、コンテンツプロバイダシステムから複数の代替ストリームのうちの１つの要求されたセグメントを受信することと、受信されたセグメントを再生することとを含む。

なおも別のさらなる実施形態は、プロセッサと、プロセッサによってアクセス可能なメモリと、メモリに記憶された命令とを含み、命令は、複数のカメラのうちの１つによって捕捉されたビデオを含むビデオコンテンツの少なくとも１つのストリームを取得することであって、複数のカメラの各々は、異なる視点を有する、ことと、少なくとも１つのストリームからのビデオコンテンツを複数のエンコーダに提供することであって、複数のエンコーダは、ビデオコンテンツ内からの複数の別個の視点の各々を複数の代替ストリームを備えている適合組にエンコードする、ことと、複数の別個の視点の各々に対応する適合組のためのインデックス情報を生成することと、生成された適合組の各々をメモリに記憶することと、マニフェストの中に各適合組のためのマニフェスト情報を記憶することとを行うようにプロセッサに指図し、マニフェストは、適合組の中の複数のストリームの各々のための最大ビットレートと各適合組のための視点とを示す。

さらに別のさらなる実施形態では、ビデオコンテンツの複数のストリームを取得する命令は、複数のカメラによって捕捉されたビデオコンテンツのソースストリームを受信する命令と、ソースストリームを複数のストリームに分割する命令であって、複数のストリームの各々は、複数のカメラのうちの１つからのビデオコンテンツを含む、命令とを含む。加えて、複数のカメラからのビデオコンテンツの複数のストリームは、エンコーダに提供される。

再び、別のさらなる実施形態では、ビデオコンテンツの複数のストリームを取得する命令は、複数のカメラによって捕捉されたビデオコンテンツのソースストリームを受信する命令と、ソースストリームのビデオコンテンツから３６０度ビュービデオコンテンツを生成する命令と、３６０度ビュービデオコンテンツを複数のタイルに分割する命令であって、複数のタイルの各々は、特定の視点からのビデオコンテンツのストリームである、命令と含む。加えて、複数のタイルは、エンコーダに提供される。

別のさらなる追加の実施形態では、複数のストリームを取得する命令は、複数のカメラのうちの１つのための複数のストリームの各々を受信する命令を含み、受信された複数のストリームの各々は、複数のエンコーダに提供される。

再び、さらなる実施形態では、プロセッサに指図する命令は、ビデオコンテンツの入力ストリームを受信し、複数の代替ストリームのためのビデオコンテンツを出力するエンコーダを提供する命令をさらに含み、複数の代替ストリームの各々は、異なる最大ビットレートでエンコードされ、エンコーダを提供する命令は、エンコーダを提供する命令から複数のエンコーダをインスタンス化することによって、複数のエンコーダにスケーラブルである。

再び、別の実施形態では、複数のエンコーダに提供されるビデオコンテンツの複数のストリームは、ビデオコンテンツのためのタイミング情報を含み、複数のエンコーダによる複数の代替ストリームへのビデオコンテンツのエンコーディングは、ビデオコンテンツの複数のストリームの中のタイミング情報に基づいて同期させられる。

なおもさらなる実施形態は、再び、複数のカメラのうちの１つによって捕捉されたビデオを含むビデオコンテンツの少なくとも１つのストリームを取得することであって、複数のカメラの各々は、異なる視点を有する、ことと、少なくとも１つのストリームからのビデオコンテンツを複数のエンコーダに提供することであって、複数のエンコーダは、ビデオコンテンツ内からの複数の別個の視点の各々を複数の代替ストリームを備えている適合組にエンコードする、ことと、複数の別個の視点の各々に対応する適合組のためのインデックス情報を生成することと、生成された適合組の各々をメモリに記憶することと、マニフェストの中に各適合組のためのマニフェスト情報を記憶することであって、マニフェストは、適合組の中の複数のストリームの各々のための最大ビットレートと各適合組のための視点とを示す、こととを含む。

再び、なおも別の実施形態では、ビデオコンテンツの複数のストリームの取得は、エンコーディングシステムにおいて、複数のカメラによって捕捉されたビデオコンテンツのソースストリームを受信することと、エンコーディングシステムを使用して、ソースストリームを複数のストリームに分割することであって、複数のストリームの各々は、複数のカメラのうちの１つからのビデオコンテンツを含む、こととを含む。加えて、複数のカメラからのビデオコンテンツの複数のストリームは、エンコーダに提供される。

さらなる追加の実施形態では、ビデオコンテンツの複数のストリームの取得は、エンコーディングシステムにおいて、複数のカメラの各々によって捕捉されたビデオコンテンツのソースストリームを受信することと、エンコーディングシステムを使用して、ソースストリームのビデオコンテンツから３６０度ビュービデオコンテンツを生成することと、エンコーディングシステムを使用して、３６０度ビュービデオコンテンツを複数のタイルに分割することであって、複数のタイルの各々は、特定のビューからのビデオコンテンツのストリームである、こととを含む。加えて、複数のタイルは、エンコーダに提供される。

別の追加の実施形態では、複数のストリームの取得は、エンコーディングシステムにおいて、複数のカメラのうちの１つのための複数のストリームの各々を受信することを含み、受信された複数のストリームの各々は、複数のエンコーダに提供される。

なおもその上さらなる追加の実施形態では、複数のエンコーダに提供されるビデオコンテンツの複数のストリームは、ビデオコンテンツのためのタイミング情報を含み、複数のエンコーダによる複数の代替ストリームへのビデオコンテンツのエンコーディングは、ビデオコンテンツの複数のストリームの中のタイミング情報に基づいて同期させられる。

図１は、本発明の実施形態による、異なるカメラおよび／またはビューからのライブイベントのビデオコンテンツのＯＴＴ伝送を提供するための適応ビットレートストリーミングシステムのネットワーク図を図示する。図２は、本発明の実施形態による、２つ以上のカメラおよび／またはビューからのビデオコンテンツをエンコードするエンコーダシステムのコンポーネントのブロック図を図示する。図３は、本発明の実施形態による、異なる最大ビットレートを有するエンコードされたストリームを使用し、適応ビットレートストリーミングを介してビデオコンテンツを取得する再生デバイスの中の処理システムのコンポーネントのブロック図を図示する。図４は、本発明の実施形態による、ビデオコンテンツを異なる最大ビットレートを有するストリームにエンコードするエンコーダサーバシステムの中の処理システムのコンポーネントのブロック図を図示する。図５は、本発明の実施形態による、各々がビューを表す１つ以上のフィードからのビデオコンテンツを適応ビットレートストリーミングシステムで使用される代替ストリームにエンコードするために、エンコーダサーバシステムによって実施されるプロセスのフロー図を図示する。図６は、本発明の実施形態による、１つ以上の特定のフィードのビデオコンテンツの各セグメントを代替ストリームにエンコードするために、エンコーダサーバシステムの中の各エンコーダによって実施されるプロセスのフロー図を図示する。図７は、本発明の実施形態による代替ストリームのためのマニフェスト情報を取得し、代替ストリームを使用し、適応ビットレートシステムを使用してビデオコンテンツを取得するために、再生デバイスによって実施されるプロセスのフロー図を図示する。

ここで図面に目を向けると、本発明のいくつかの実施形態による２つ以上のカメラおよび／またはビューからのビデオコンテンツを適応ビットレートストリーミングのための代替ストリームにエンコードし、再生デバイスを使用してコンテンツを取得するためのシステムおよび方法が、図示される。本発明のいくつかの実施形態によると、エンコーディングシステムは、１つ以上のエンコーダを含む。これらの実施形態のうちのいくつかによると、エンコーダは、エンコーディングシステムにおける処理システムによって実行されるソフトウェアによって提供され得る。多くの実施形態によると、エンコーダは、エンコーディングシステムにおけるファームウェアによって提供され得る。いくつかの実施形態によると、エンコーダは、エンコーディングシステムにおけるハードウェアによって提供される。

エンコーディングシステムは、２つ以上のカメラからビデオコンテンツの少なくとも１つのソースストリームを受信する。各カメラからのビデオコンテンツは、タイムスタンプを使用して、他のカメラからのコンテンツと同期させられることができる。いくつかの実施形態によると、ビデオコンテンツは、リアルタイムで録画されているライブフィードであり得る。多くの実施形態によると、各カメラからのビデオコンテンツのソースストリームは、万国標準時によるタイムスタンプを含むことができる。

いくつかの実施形態によると、２つ以上のカメラからのビデオコンテンツは、１つ以上の異なる視点からビューを生成するために処理される。多くの実施形態によると、２つ以上のカメラからのビデオコンテンツは、単一の３Ｄビデオコンテンツを生成するために使用されることができ、そして、それは、タイルに分割され得る。

いくつかの実施形態によると、２つ以上のカメラの各々からのビデオコンテンツおよび／または異なる視点から生成されたビデオコンテンツのセグメントは、ソースエンコーディングシステムに提供される。多くの実施形態によると、セグメントは、ビデオコンテンツが異なるカメラによって捕捉されるにつれて、リアルタイムでソースエンコーディングシステムに提供され得る。ソースエンコーディングシステムは、２つ以上のカメラの各々からのビデオコンテンツおよび／または異なるビューを用いて生成されたビデオコンテンツのセグメントを受信することができ、各特定のカメラおよび／またはビューからのセグメントを各カメラおよび／またはビューのための代替ストリームを生成する特定のエンコーダもしくはエンコーダの群に提供し得る。これらの代替ストリームは、時として、適応ビットレートストリーミングの文脈において適合組と称される。各特定のエンコーダおよび／またはエンコーダの特定の群は、ビデオコンテンツの各セグメントを適応ビットレートストリーミングをサポートするために使用される種々の代替ストリームにエンコードすることができる。いくつかの実施形態によると、特定のカメラからのビデオコンテンツのため、および／または特定のビューのために生成される各ストリームは、特定のカメラおよび／またはビューのビデオコンテンツのために生成される他の代替ストリームのうちの１つ以上のものと異なる最大ビットレート（もしくは異なる標的平均ビットレート）を有する。多くの実施形態によると、限定されないが、アスペクト比、分解能、およびフレームレートを含む他のパラメータは、各特定のカメラおよび／またはビューからビデオコンテンツのために生成されているストリームの中で変動され得る。

各エンコーダおよび／またはエンコーダの群は、本発明のいくつかの実施形態によると、各特定のストリームのために生成されるセグメントを特定のストリームのための１つ以上のコンテナファイルの中に記憶する。エンコーダは、各カメラおよび／またはビューからのビデオコンテンツのためのストリームの生成された部分の各々のためのインデックスもしくはマニフェスト情報を生成することができる。生成されたインデックスマニフェスト情報は、本発明のいくつかの実施形態によると、インデックスファイルまたはマニフェストに追加され得る。プロセスは、カメラおよび／またはビューからのソースストリームの終了が受信されるまで繰り返され得る。

多くの実施形態によると、各カメラおよび／またはビューのためのメディアコンテンツは、Ｈ．２６５／ＨＥＶＣまたはＨ．２６４／ＡＶＣエンコーディング規格によるコンテンツのエンコーディングを伴うＭＰＥＧ−ＤＡＳＨ規格に従ってストリームの中に記憶され、ＩＳＯコンテナファイルフォーマットで記憶されることができる。多くの実施形態では、コンテナファイルの中に記憶されたコンテンツは、ＭＰＥＧによって規定される共通暗号化フォーマットに従って暗号化される。しかしながら、限定されないが、Ｍａｔｒｏｓｋａ（ＭＫＶ）コンテナファイルフォーマット等の他のフォーマットも、本発明の種々の実施形態によると、メディアコンテンツのストリームを記憶するために使用され得る。

本発明のいくつかの実施形態による適応ビットレートストリーミングシステムの性能は、ビデオのセグメントが内部フレームである瞬間デコーダリフレッシュ（ＩＤＲ）フレームから始まる単一の（または少なくとも１つの）ピクチャの閉鎖グループ（ＧＯＰ）として各ストリームの中でエンコードされるように、代替ストリームの各々の中のソースビデオの各部分をエンコードすることによって、有意に強化されることができる。再生中、再生デバイスは、ビデオセグメントが取得されるストリームにかかわらず、ビデオセグメントの再生の完了時に使用される代替ストリームを切り替えることができる。何故なら、次のビデオセグメントの第１のフレームが、ＩＤＲフレームであるからであり、ＩＤＲフレームは、ビデオセグメント内に含まれるエンコードされたメディア以外のどんなエンコードされたメディアも参照することなくデコードされ得る。

いくつかの実施形態では、再生デバイスは、ＭＰＤからカメラおよび／またはビューの各々のためのビデオコンテンツの利用可能なストリームの各々に関する情報を取得する。そして、再生デバイスは、ビデオコンテンツの再生で利用する１つ以上のストリームを選択し得る。再生デバイスは、関連コンテナファイル内に記憶されるエンコードされたビデオコンテンツのセグメントにインデックスを付けるインデックス情報も要求し得る。インデックス情報は、コンテナファイル内に、コンテナファイルとは別個にＭＰＤの中、または別個のインデックスファイルの中に記憶されることができる。インデックス情報は、再生デバイスがコンテンツプロバイダのサーバからＨＴＴＰ（または別の適切なステートフルもしくはステートレスプロトコル）を介してエンコードされたビデオコンテンツの特定の部分を含むコンテナファイル（またはコンテナファイル全体）内のエンコードされたビデオコンテンツのセグメントに対応するビデオコンテンツのバイト範囲を要求することを可能にすることができる。再生は、再生デバイスがネットワーク条件および／または再生デバイスの性質によってサポートされ得る最大ビットレートにおいてエンコードされる特定のカメラ／ビューのためのビデオコンテンツを有するストリームからのエンコードされたビデオコンテンツのセグメントを要求することにより継続される。

本発明のいくつかの実施形態によると、再生デバイスは、以下の様式で動作し、エンコーディングシステムにおける複数のエンコーダによって生成される異なるカメラおよび／または異なるビューからのビデオコンテンツのストリームを使用し得る。再生デバイスは、ビデオコンテンツを含むメディアコンテンツを要求することができる。要求に応答して、再生デバイスは、メディアコンテンツのために維持されるＭＰＤまたはインデックスファイルを受信することができる。再生デバイスは、ＭＰＤからのインデックス情報を使用し、適応ビットレートストリーミングを実施して、選択されたカメラおよび／またはビューからビデオコンテンツを取得することができる。コンテンツの視聴中、再生デバイスは、視聴方向の変化に基づいて、適応ストリームの代替的組に切り替えることができる。このように、いわゆる「３６０度」ビデオは、一連のタイルとしてエンコードされることができ、タイルの各々は、適応ビットレートストリーミングを介して配信され得、再生デバイスは、視聴方向、利用可能な帯域幅、および／または処理能力に基づいて選択するストリームを決定するストリーム切り替え決定エンジンに基づいて、ストリームの間で選定することができる。

本発明のいくつかの実施形態による適応ビットレートストリーミングで使用するために２つ以上のカメラおよび／または異なるビューからのビデオコンテンツをエンコードし、適応ビットレートストリーミングを介して生成されたストリームからビデオコンテンツを取得するためのシステムおよび方法が、以下でさらに議論される。

（適応ストリーミングアーキテクチャ）
本発明の実施形態による２つ以上のカメラおよび／または異なるビューによって捕捉されるビデオコンテンツのための代替ストリームを生成するエンコーディングシステムを含む適応ビットレートストリーミングシステムが、図１に図示される。適応ストリーミングシステム１０は、ソースメディアコンテンツをエンコードするように構成されるソースエンコーディングシステム１２を含み、ソースエンコーディングシステム１２は、２つ以上のカメラ捕捉されたビデオコンテンツ、および／または、いくつかの代替ストリームとして捕捉されたコンテンツから生成される異なるビューを含む。図示される実施形態では、ソースエンコーダは、単一のサーバである。多くの実施形態によると、ソースエンコーダは、プロセッサと、代替ストリームへのソースメディア（限定されないが、ビデオ、オーディオ、および／または字幕を含む）のトランスコーディングを実施するために十分なリソースとを含む任意の処理デバイスもしくは処理デバイスの群であり得る。典型的には、ソースエンコーディングサーバ１２は、ＭＰＤを生成し、ＭＰＤは、ストリームを含むコンテナファイルを示すインデックス、および／またはメタデータ情報を含む。多くの実施形態では、インデックス（例えば、ＭＰＤファイル）の中で識別されるストリームのうちの少なくとも２つは、単一のカメラによって、および／または単一の視点から捕捉されるビデオコンテンツの代替ストリームである。代替ストリームは、異なる方法で同じメディアコンテンツをエンコードするストリームである。多くの事例では、代替ストリームは、異なる最大ビットレートにおいてビデオコンテンツをエンコードする。いくつかの実施形態によると、ビデオコンテンツの代替ストリームは、異なる分解能、異なるフレームレート、および他の種々のビデオパラメータを用いてエンコードされることもできる。しかしながら、ソースエンコーダシステム１２は、複数のエンコーダを使用して、代替ストリームを生成し得、各特定のエンコーダは、特定のエンコーダによって生成される１つまたは複数のストリームのセグメントのためのインデックスもしくはマニフェストデータ（例えば、ＭＰＤデータ）を生成することができる。種々のエンコーダによって生成されるＭＰＤまたはマニフェスト情報、およびコンテナファイルは、ＨＴＴＰサーバ１４にアップロードされることができる。そして、種々の再生デバイスは、ＨＴＴＰまたは別の適切なステートレスプロトコルを使用して、インターネット等のネットワーク１６を介して、ＭＰＤ、インデックスファイル、およびコンテナファイルの部分を要求することができる。

本発明のいくつかの実施形態によると、ソースエンコーディングシステム１２は、接続されたカメラシステム１５０からビデオおよび／またはオーディオコンテンツを取得する。カメラシステム１５０は、異なる視点からビデオコンテンツを捕捉する複数のカメラ１５５−１５９を含み得る。多くの実施形態によると、カメラシステム１５０は、個々のカメラ１５５−１５９の種々の視野角度に基づいて、環境の３６０°ビューを捕捉するために十分な数のカメラを含み得る。いくつかの実施形態によると、個々のカメラシステム１５５−１５９は、単一のシステムに統合されないこともあり、種々の異なる視点から場面を捕捉するような様式で配置され、および／または間隔を置かれ得る。いくつかの実施形態によると、カメラ１５５−１５８および／またはカメラシステム１５０は、ソースエンコーディングシステム１２に直接接続されないこともある。代わりに、カメラ１５５−１５９および／またはカメラシステム１５０は、ネットワーク接続を介してソースエンコーディングシステム１２に接続されることができる。種々の実施形態によると、ネットワークは、広域ネットワーク（ＷＡＮ）、ローカルローカルエリアネットワーク（ＬＡＮ）、またはインターネットを使用する仮想プライベートネットワーク（ＶＰＮ）であり得る。いくつかの実施形態によると、カメラシステム１５０および／またはカメラ１５５−１５９は、無線通信システムによってソースエンコーディングネットワーク１２に接続され得る。いくつかの実施形態によると、カメラシステム１５０は、ＮｏｋｉａＴｅｃｈｎｏｌｏｇｉｅｓ（Ｆｉｎｌａｎｄ）製のＮｏｋｉａＯＺＯカメラシステムである。

図示される実施形態では、ソースシステム１２の種々のエンコーダによって生成されるマニフェストデータ（例えば、ＭＰＤデータ）を使用して、適応ビットレートストリーミングを実施し得る再生デバイスは、パーソナルコンピュータ１８、ＣＥプレーヤ、および携帯電話２０を含むことができる。多くの実施形態によると、再生デバイスはまた、ＤＶＤプレーヤ、Ｂｌｕ−ｒａｙ（登録商標）プレーヤ、テレビ、セットトップボックス、ビデオゲーム機、タブレット、仮想現実ヘッドセット、拡張現実ヘッドセット、および（限定されないが）ＨＴＴＰを含む通信プロトコルを介してサーバに接続し、エンコードされたメディアを再生することが可能である他のデバイス等の消費者電子デバイスを含むこともできる。

具体的アーキテクチャが図１に示されているが、適応ビットレートストリーミングではなく、従来のストリーミングを実施する（例えば、切り替えが視点の変化のみに基づく）システムを含む種々のアーキテクチャのうちのいずれかが、本発明の種々の実施形態によると、再生デバイスがビデオコンテンツのセグメントを要求および再生することを可能にするために、利用されることができる。

（エンコーダシステム）
本発明の実施形態による複数のエンコーダを使用し、２つ以上のカメラおよび／またはビューからのビデオコンテンツを適応ビットレートストリーミングでの使用のための代替ストリームにエンコードするソースエンコーダシステムが、図２に示される。ソースエンコーディングシステム２００は、ルータ２０５と、エンコーディングサーバ２１０とを含む。エンコーディングサーバ２１０は、ルータ２０５に通信可能に接続される。ルータ２０５は、本発明の種々の実施形態によると、類似機能を果たすサーバ、任意の他のシステム、またはシステムの群でもあり得る。図２では、１つのみのルータが、明確および簡潔にするために示されている。ルータ２０５は、カメラ２０１−２０４の各々からビデオコンテンツのストリームを受信する。いくつかの実施形態によると、各カメラ２０１−２０４は、イベントの画像を捕捉し、タイミング情報を含むコンテンツのストリームを生成する。多くの実施形態によると、各カメラ２０１−２０４は、埋め込まれたタイミング情報を伴うビデオコンテンツのストリームを生成するカメラシステムにカメラによって捕捉されるビデオコンテンツを提供する。ルータ２０５は、カメラ２０１−２０４から受信されるビデオコンテンツのストリームをエンコーダサーバ２１０に提供する。

エンコーダサーバ２１０は、複数のエンコーダ２１５−２１８を含む。いくつかの実施形態によると、エンコーダ２１５−２１８の各々は、ソフトウェアのインスタンス化であり得、ソフトウェアは、ソースコンテンツのデコーディングおよび／またはエンコーディングを実施するためにメモリに記憶された命令からプロセッサによって実行される。多くの実施形態によると、エンコーダ２１５−２１８のうちの１つ以上のものの各々は、受信されたコンテンツをエンコードするサーバの中の特定のハードウェアコンポーネントであり得る。いくつかの実施形態では、エンコーダのうちの１つ以上のものは、ハードウェアおよびソフトウェアがエンコーダを提供するために使用されるファームウェアコンポーネントであり得る。いくつかの実施形態によると、ルータ２０５は、カメラ２０１−２０４からのビデオコンテンツの各着信ソースストリームをサーバ２１０のエンコーダ２１５−２１８のうちの１つに提供することができる。多くの実施形態によると、ルータ２０５は、カメラ２０１−２０４のうちの１つからの各ストリームの部分をエンコーダ２１５−２１８のうちの２つ以上のものに伝送し得る。いくつかの実施形態によると、サーバ２１０は、ルータ２０５からソースストリームを受信し得、ソースストリームが受信されること、各着信ソースストリームのコピーを関連付けられたエンコーダの群に提供することができる。そして、エンコーダ２１５−２１８は、以下でより詳細に説明されるように、コンテンツのストリームを代替ストリームにエンコードし、ストリームのためのマニフェスト情報を生成し得る。

サーバシステムの具体的アーキテクチャが図２に示されているが、２つ以上のカメラからのビデオコンテンツのストリームからビデオコンテンツをエンコードするシステムを含む種々のアーキテクチャのうちのいずれかが、本発明の種々の実施形態によると、利用されることができる。

（再生デバイス）
本発明のいくつかの実施形態による異なるカメラおよび／またはビューからのビデオコンテンツのための代替ストリームを使用するためのプロセスは、再生デバイスによって実行される。本発明実施形態によるプロセスを実施し得る再生デバイスの中の関連コンポーネントが、図３に示される。再生デバイスは、本発明の種々の実施形態から逸脱することなく簡略にするために省略される他のコンポーネントを含み得る。図３では、再生デバイス３００は、プロセッサ３０５と、不揮発性メモリ３１０と、揮発性メモリ３１５とを含む。プロセッサ３０５は、揮発性メモリ３１５および／または不揮発性メモリ３１０の中に記憶された命令を実施し、メモリに記憶されたデータを操作するプロセッサ、マイクロプロセッサ、コントローラ、またはプロセッサ、マイクロプロセッサ、および／またはコントローラの組み合わせであり得る。不揮発性メモリ３１０は、本発明のいくつかの実施形態によると、複数のエンコーダによってエンコードされる代替ストリームを使用し、適応ビットレートストリーミングを使用してビデオコンテンツを取得するためのプロセスを含むプロセスを実施するように再生デバイス３００を構成するために利用されるプロセッサ命令を記憶することができる。種々の他の実施形態によると、再生デバイスは、命令を含む、および／またはこれらのプロセスを実施し得るハードウェアおよび／またはファームウェアを有し得る。なおも他の実施形態によると、プロセスのための命令は、特定の用途に適切な種々の非一過性コンピュータ読み取り可能なメディアのうちのいずれかの中に記憶されることができる。

（サーバシステム）
本発明の実施形態による複数のエンコーダを使用して、２つ以上のカメラおよび／またはビューの各々からのビデオコンテンツを適応ビットレートストリーミングのための代替ストリームにエンコードする方法およびシステムを提供するプロセスは、エンコーディングサーバ等のエンコーダシステムによって実施される。本発明の実施形態によるこれらのプロセスを実施するエンコーディングサーバの中の関連コンポーネントが、図４に示される。種々の他の実施形態によるサーバは、本発明の種々の実施形態から逸脱することなく簡略にするために省略される他のコンポーネントを含み得る。サーバ４００は、プロセッサ４０５と、不揮発性メモリ４１０と、揮発性メモリ４１５とを含む。プロセッサ４０５は、揮発性４１５および／または不揮発性メモリ４１０の中に記憶された命令を実施し、メモリに記憶されたデータを操作するプロセッサ、マイクロプロセッサ、コントローラ、またはプロセッサ、マイクロプロセッサ、および／またはコントローラの組み合わせであり得る。不揮発性メモリ４１０は、本発明のいくつかの実施形態によると、メディアコンテンツをエンコードするため、および／またはマーカ情報を生成するためのプロセスを含むプロセスを実施するようにサーバ４００を構成するために利用されるプロセッサ命令、および／または利用されているプロセスのためのデータを記憶することができる。多くの実施形態によると、これらの命令は、サーバソフトウェアおよび／またはファームウェアの中にあり得、特定の用途に適切な種々の非一過性コンピュータ読み取り可能なメディアのうちのいずれかの中に記憶されることができる。具体的サーバが図４に図示されているが、任意の数のプロセスを実施するように構成される種々のサーバのうちのいずれかが、本発明の種々の実施形態によると、利用されることができる。

（エンコーディングシステムを使用する適応ビットレートストリーミングのための代替ストリームへの２つ以上のカメラからのビデオコンテンツのエンコーディング）
本発明のいくつかの実施形態によると、エンコーディングシステムは、複数のエンコーダを使用して、２つ以上のカメラおよび／またはビューの各々からのビデオコンテンツを適応ビットレートストリーミングのための代替ストリームにエンコードする。多くの実施形態によると、エンコーダは、プロセッサによって実施または実行され得るメモリから読み取られるソフトウェア命令のインスタンス化であるソフトウェアエンコーダであり得る。ソフトウェアエンコーダは、処理およびメモリリソースのみが追加のエンコーダをシステムに追加するために必要とされるので、エンコーダの費用を削減すること、および／またはシステムのスケーラビリティを改良することが望ましいときに使用され得る。いくつかの実施形態によると、複数のエンコーダのうちの１つ以上のものは、ハードウェアエンコーダであり得る。ハードウェアエンコーダは、受信されたコンテンツを１つ以上のストリームにエンコードするためのプロセスを実施するように構成される回路である。いくつかの実施形態によると、エンコーダのうちの１つ以上のものは、ファームウェアエンコーダであり得る。ファームウェアエンコーダは、いくつかのハードウェアコンポーネントおよびいくつかのソフトウェアプロセスを組みわせ、エンコーダを提供する。

２つ以上のカメラの各々からのビデオコンテンツは、コンテンツプロバイダからの単一のソースストリームまたは複数のストリームとして受信され得る。いくつかの実施形態によると、２つ以上のカメラの各々からのビデオコンテンツは、ビデオコンテンツがリアルタイムで捕捉およびストリーミングされていることを意味する生放送であり得る。ビデオコンテンツは、時間情報を含み得る。時間情報は、限定されないが、放送時間、提示時間、および／または記録時間を含み得る。多くの実施形態によると、エンコーダシステムは、２つ以上のカメラの各々からソースストリームを受信し、各ストリームを特定のエンコーダまたはエンコーダの群に提供する。エンコーダまたはエンコーダの群の各々は、各カメラおよび／またはビューのためのビデオコンテンツのソースストリームを受信することができ、代替ストリームの部分を生成することができる。いくつかの実施形態によると、エンコーディングシステムは、１つのソースストリームの中で２つ以上のカメラからストリームを受信し得、ソースストリームにおける各カメラによって捕捉されるビデオコンテンツを各カメラからのビデオコンテンツの別個のストリームに分割する。多くの実施形態によると、複数のエンコーダまたはエンコーダの群の各々は、特定のカメラおよび／またはビューからのビデオコンテンツのストリームのための代替ストリームの単一の組を生成することができる。いくつかの実施形態によると、エンコーディングシステムは、処理を実施し、１つ以上のカメラからのビデオコンテンツのストリームから、１つ以上のビューのためのストリームを生成し得る。いくつかの実施形態では、エンコーディングシステムは、２つ以上のカメラの各々からのビデオコンテンツのストリームから１つの３６０°ビデオストリームを生成し、その３６０°ビデオストリームを特定のビューを生成することにおける使用のためのタイルに分割し得る。本発明のいくつかの異なる実施形態による２つ以上のカメラおよび異なるビューからのビデオコンテンツの各ソースストリームから、ビデオコンテンツの代替ストリームをエンコードするためのプロセスが、図５および６に示される。

本発明の実施形態による２つ以上のカメラおよび／またはビューの各々からのビデオコンテンツを適応ビットレートストリーミングでの使用のための代替ストリームにエンコードするために、エンコーディングシステムによって実施されるプロセスのフローチャートが、図５に示される。プロセス５００では、エンコーダは、２つ以上のカメラの各々からのビデオコンテンツを含むビデオコンテンツのソースストリームの一部を受信する（５０５）。エンコーダは、２つ以上のカメラからのビデオコンテンツのソースストリームを２つ以上のカメラの各々のためのビデオコンテンツの個々のソースストリームに分離する（５１０）。いくつかの実施形態によると、個々のカメラからのビデオコンテンツは、個々のストリームの中で受信され得、分離は、必要とされない。

ソースエンコーダシステムは、２つ以上のカメラのビデオストリームからのビデオコンテンツを処理し、２つ以上のカメラの視点と異なる１つ以上の視点のためのビデオコンテンツを生成し得る（５１５）。いくつかのこれらの実施形態では、処理は、２つ以上のストリームによって捕捉されるビデオコンテンツから３６０°ビデオコンテンツのストリームを生成することと、３６０°ビデオコンテンツを各タイルが別個のソースストリームである別個のタイルに分割することとを含み得る。各タイルは、別個のソースストリームを構成し得るが、タイルは、オリジナル３６０°ビデオコンテンツの重複した領域をエンコードすることにより、コンテンツの３６０°ビュー内の隣接した視点のための適合組の間の円滑な遷移を可能にし得る。容易に理解され得るように、３６０°ビデオコンテンツをエンコードするために使用されるタイルの数および（該当する場合）タイル間の重複の程度は、具体的用途の要件に大きく依存する。

各ビデオコンテンツストリームは、適応ビットレートストリーミングでの使用のために、各ソースストリームを複数の代替ストリームにエンコードする特定のエンコーダまたはエンコーダの群に提供されることができる（５２０）。いくつかの実施形態によると、各特定のカメラおよび／またはビューからのビデオコンテンツの生成されたストリームのうちの２つ以上のものは、異なる最大ビットレートでエンコードされる。いくつかの他の実施形態によると、２つ以上のカメラおよび／またはビューのうちの特定のものからのビデオコンテンツのための代替ストリームのうちの２つ以上のものは、同じ最大ビットレートと、限定されないが、異なるアスペクト比、分解能、および／またはフレームレートを含む異なるビデオパラメータとを有する。エンコーダは、生成されたセグメントのためのインデックスまたはマニフェスト情報も生成する。各ストリームのための生成されたセグメントは、特定のストリームのセグメントを記憶する単一のコンテナファイルまたは別個のコンテナファイルの中に記憶されることができ（５２５）、インデックスまたはマニフェスト情報は、メモリに記憶されたビデオコンテンツのためのマニフェストまたはインデックスファイルに追加され、および／または、マニフェストファイルによって参照される別個のファイルの中に設置されることができる。ストリームが生放送からであるいくつかの実施形態では、マニフェストまたはインデックス情報は、更新としてクライアント再生デバイスに配信され得る。プロセス５００は、エンコーダがソースストリームの終了を受信する、および／または、ソースストリームの受信がある他の様式で停止されるまで、繰り返す（５３０）。

２つ以上のカメラおよび／またはビューの各々からのビデオコンテンツのためのビデオコンテンツの代替ストリームをエンコードするためにエンコーダによって実施されるプロセスの種々の実施形態が、上で説明されるが、システム要件に従って、エンコーディングプロセスのステップを追加、除去、および／または組み合わせる種々の他の実施形態によるプロセスも、可能である。

本発明のいくつかの実施形態によると、各エンコーダまたはエンコーダの群は、カメラまたはビューのうちの１つからのビデオコンテンツのソースストリームをセグメントに分割し、ビデオコンテンツのための代替ストリームのセグメントを生成する。本発明の実施形態による２つ以上のカメラおよび／またはビューのうちの１つからのビデオコンテンツの複数の代替ストリームを生成するために、各エンコーダまたはエンコーダの群によって実施されるプロセスのフロー図が、図６に示される。

プロセス６００では、エンコーダまたはエンコーダの群は、少なくとも２つのカメラまたはビューのうちの１つからビデオコンテンツのソースストリームの一部を受信する（６０５）。いくつかの実施形態によると、一部は、タイミング情報を含む。多くの実施形態によると、エンコーダまたはエンコーダの群は、一部とともに受信される時間情報を使用し、エンコーダがストリームをエンコードし始めるべきストリームにおける点を決定し得る。いくつかの実施形態によると、ソースストリームの全てのためのエンコーダが同じタイミング情報を使用しているので、エンコーダによって実施されるエンコーディングは、同期させられることができ、それによって、各エンコードによって生成されるセグメントは、提示時間の観点から、提示するビデオコンテンツの同じ持続時間を含み得、セグメントは、整列させられる。

エンコーダは、代替ストリームの各々の性質に従って、ストリームの受信された部分からのビデオコンテンツを修正し、代替ストリームのためのセグメントを生成することができる（６１０）。いくつかの実施形態によると、各特定のカメラおよび／またはビューからのビデオコンテンツの代替ストリームのうちの２つ以上のものは、異なる最大ビットレートでエンコードされ得る。いくつかの他の実施形態によると、各特定のカメラおよび／またはビューからのビデオコンテンツの代替ストリームのうちの２つ以上のものは、異なるビデオパラメータを用いるが、同じ最大ビットレートにおいてエンコードされ得る。いくつかの実施形態によると、ビデオパラメータは、限定されないが、アスペクト比、分解能、および／またはフレームレートを含む。多くの実施形態では、異なる最大ビットレートは、異なるビデオパラメータを伴うビデオをエンコードすることによって達成される。各特定の代替ストリームのための各生成されたセグメントが、エンコードされることができ（６２０）、生成されたセグメント毎のマニフェスト情報が、生成されることができる（６２５）。各代替ストリームのためのエンコードされたセグメントは、セグメントの代替ストリームに関連付けられるコンテナファイルの中に記憶されることができ（６３０）、マニフェスト情報は、セグメントの特定の代替ストリームに関連付けられたマニフェストまたはインデックスファイルに追加されることができる（６３５）。多くの実施形態によると、特定のエンコーダによって生成されるマニフェストまたはインデックス情報は、特定のエンコーダによってエンコードされるセグメントのためのＭＰＤに追加され得る。いくつかの実施形態では、マニフェストまたはインデックス情報は、更新としてクライアント再生デバイスに配信されることができる。プロセス６００は、エンコーダがストリームの終了を受信するまで、および／または、ストリームの受信がある他の様式で停止されるまで、繰り返す（６４０）。

本発明の種々の実施形態による２つ以上のカメラまたはビューの各々からのビデオコンテンツのためのビデオコンテンツの代替ストリームをエンコードするためにエンコーダによって実施されるプロセスの種々の例が、上で説明されるが、システム要件に従って、ステップを追加、組み合わせ、および／または除去する種々の他の実施形態によるストリームのための部分をエンコードするための他のプロセスが、実施され得る。

（複数のエンコーダによって生成される代替ストリームを使用してビデオコンテンツを取得するために、再生デバイスによって実施されるプロセス）
本発明のいくつかの実施形態によると、再生デバイスは、再生のために２つ以上のカメラおよび／またはビューの各々からのビデオコンテンツのための代替ストリームを使用する。多くの実施形態では、再生デバイスは、適応ビットレートストリーミングを使用し、複数のエンコーダを使用して生成される代替ストリームからメディアコンテンツを取得する。そうするために、再生デバイスは、適応ビットレートストリーミング中、セグメントを取得することにおける使用のためのエンコーダによって生成されるマニフェスト情報（例えば、ＭＰＤ）を受信し得る。本発明の実施形態による適応ビットレートストリーミングを実施するために再生デバイスによって実施されるプロセスが、図７に示される。

プロセス７００では、再生デバイスは、ビデオコンテンツのための情報を提供するＭＰＤ、インデックス、またはマニフェストを要求する（７０５）。再生デバイスは、２つ以上のカメラおよび／またはビューの各々からのビデオコンテンツの代替ストリームのための情報を含むＭＰＤ、インデックス、またはマニフェストを受信する（７１０）。再生デバイスは、ネットワーク帯域幅を決定する（７１５）。ネットワーク帯域幅の決定は、本発明の種々の実施形態によると、任意の数の既知の様式のうちの１つで実施され得る。

ビデオコンテンツを受信および視聴すべき所望のビューまたはカメラが、決定される（７２０）。種々の実施形態によると、再生デバイスは、限定されないが、再生デバイスの検出された移動；視点を決定するために別のデバイスから捕捉されるデバイスおよび／またはユーザの画像の使用；および／または、ビデオコンテンツとともに受信される運動データまたは他のメタデータを含む任意の数の様式で所望のビューまたはカメラを決定し得る。再生デバイスは、ネットワーク帯域幅および所望のビューまたはカメラを使用し、適応ストリーミングで使用すべき代替ストリームのうちの１つを選択し、所望のビューまたはカメラのためのビデオコンテンツを取得することができる。再生デバイスは、決定されたストリームを使用して、所望のカメラおよび／またはビューのためのビデオコンテンツのセグメントを取得することができる（７２５）。本発明のいくつかの実施形態によると、再生デバイスは、再生デバイスとコンテンツプロバイダシステムとの間のネットワークを経由した通信に基づいて、ネットワーク帯域幅を監視し得る。再生デバイスは、再生が完了するまで適応ビットレートストリーミング技法を使用して、現在のネットワーク帯域幅を考慮して再生デバイスによってハンドリングされることができる最高の最大ビットレートにおいてエンコードされる所望のビューのオーディオおよび／またはビデオコンテンツの他のストリームを選択し得る（７３０）。いくつかの実施形態によると、再生デバイスによって実施される適応ビットレートストリーミングは、その開示が参照することによってその全体として本明細書に組み込まれる、「ＳｙｓｔｅｍｓａｎｄＭｅｔｈｏｄｓｆｏｒＤｅｔｅｒｍｉｎｉｎｇＡｖａｉｌａｂｌｅＢａｎｄｗｉｄｔｈａｎｄＰｅｒｆｏｒｍｉｎｇＩｎｉｔｉａｌＳｔｒｅａｍＳｅｌｅｃｔｉｏｎＷｈｅｎＣｏｍｍｅｎｃｉｎｇＳｔｒｅａｍｉｎｇＵｓｉｎｇＨｙｐｅｒｔｅｘｔＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ」と題された米国特許出願公開第２０１３／０００７２００号、および「ＳｙｓｔｅｍｓａｎｄＭｅｔｈｏｄｓｆｏｒＰｅｒｆｏｒｍｉｎｇＭｕｌｔｉｐｈａｓｅＡｄａｐｔｉｖｅＢｉｔｒａｔｅＳｔｒｅａｍｉｎｇ」と題された米国特許第８，８３２，２９７号に説明されるプロセスに従い得る。より具体的には、これらの参考文献に説明される適応ビットレートストリーミングを使用してビデオコンテンツを取得するために再生デバイスによって実施されるプロセスは、参照することによって本明細書に組み込まれる。そして、プロセス７００は、ビデオコンテンツの終了に達するまで、または提示がある他の様式で中断されるまで、周期的に繰り返される（７３０）。

本発明は、本発明の範囲および精神から逸脱することなく、それらが準拠する特定の規格内で規定されるもの以外の特徴をサポートするエンコーダおよびデコーダを利用すること等の実装の種々の変更を含む上で具体的に説明されるもの以外の様式で実践され得ることを理解されたい。したがって、上で議論される本発明の実施形態は、あらゆる点で制限的ではなくて例証的と見なされるべきである。

Claims

再生デバイスであって、前記再生デバイスは、
プロセッサと、
前記プロセッサによってアクセス可能なメモリと、
前記メモリに記憶された命令と
を備え、
前記命令は、
コンテンツプロバイダシステムからビデオコンテンツを要求することと、
コンテンツプロバイダシステムから、ビデオコンテンツの複数の代替ストリームを読み出すための情報を含むマニフェストを受信することであって、複数の代替ストリームの各々は、前記ビデオコンテンツの複数のビューのうちの１つのためのビデオコンテンツのセグメントを含み、特定の最大ビットレートにおいてエンコードされている、ことと、
前記再生デバイスとコンテンツプロバイダシステムとの間の通信のためのネットワーク帯域幅を決定することと、
前記ビデオコンテンツの所望のビューを決定することと、
前記決定されたネットワーク帯域幅と前記所望のビューと前記マニフェストにおける前記複数の代替ストリームのための情報とに基づいて、ストリーミングのために使用すべき前記複数の代替ストリームのうちの１つを決定することと、
前記コンテンツプロバイダシステムからの前記マニフェストにおける前記複数の代替ストリームのうちの前記決定された１つのための情報に基づいて、前記複数の代替ストリームのうちの前記決定された１つからのビデオコンテンツのセグメントを要求することと、
前記要求に応答して、前記コンテンツプロバイダシステムから、前記複数の代替ストリームのうちの前記決定された１つからの前記要求されたセグメントを受信することと、
前記受信されたセグメントを再生することと
を行うように前記プロセッサに指図する、再生デバイス。
前記命令は、
前記再生デバイスと前記コンテンツプロバイダシステムとの間の通信を監視することと、
前記監視された通信に基づいて、新しいネットワーク帯域幅への前記ネットワーク帯域幅の変化を検出することと、
前記マニフェストを使用して、前記新しいネットワーク帯域幅および前記所望のビューに基づいて、ストリーミングのために使用すべき前記複数の代替ストリームのうちの第２のものを決定することと、
前記コンテンツプロバイダシステムからの前記マニフェストにおける前記複数の代替ストリームのうちの前記第２のもののための情報に基づいて、前記コンテンツプロバイダシステムから、前記複数の代替ストリームのうちの前記第２のものからの前記ビデオコンテンツのセグメントを要求することと、
前記要求に応答して、前記コンテンツプロバイダシステムから、前記複数の代替ストリームのうちの前記第２のものからの前記要求されたセグメントを受信することと、
前記受信されたセグメントを再生することと
を行うように前記プロセッサにさらに指図する、請求項１に記載の再生デバイス。
前記命令は、
第２のビューへの前記ビデオコンテンツのビューにおける変化が所望されていることを決定することと、
前記マニフェストを使用して、前記ネットワーク帯域幅および前記第２のビューに基づいて、ストリーミングのために使用すべき前記複数の代替ストリームのうちの第２のものを決定することと、
前記マニフェストにおける前記複数の代替ストリームのうちの前記第２のもののための情報に基づいて、前記コンテンツプロバイダシステムから、前記複数の代替ストリームのうちの前記第２のものからの前記ビデオコンテンツのセグメントを要求することと、
前記要求に応答して、前記コンテンツプロバイダシステムから、前記複数の代替ストリームのうちの前記第２のものの前記要求されたセグメントを受信することと、
前記受信されたセグメントを再生することと
を行うように前記プロセッサにさらに指図する、請求項１に記載の再生デバイス。
前記ビューの決定は、前記再生デバイスの検出された移動に基づく、請求項１に記載の再生デバイス。
前記ビューの決定は、視点を決定するための別のデバイスから捕捉された前記再生デバイスの画像に基づく、請求項１に記載の再生デバイス。
前記ビューの決定は、前記ビデオコンテンツとともに受信されるメタデータに基づく、請求項１に記載の再生デバイス。
再生デバイスを使用して複数のビューのうちの１つからのビデオコンテンツの再生を提供する方法であって、前記方法は、
前記再生デバイスを使用して、コンテンツプロバイダシステムからビデオコンテンツを要求することと、
コンテンツプロバイダシステムから、前記再生において、ビデオコンテンツの複数の代替ストリームを読み出すための情報を含むマニフェストを受信することであって、複数の代替ストリームの各々は、前記ビデオコンテンツの複数のビューのうちの１つのためのビデオコンテンツのセグメントを含み、特定の最大ビットレートにおいてエンコードされている、ことと、
前記再生デバイスを使用して、前記再生デバイスとコンテンツプロバイダシステムとの間の通信のためのネットワーク帯域幅を決定することと、
前記再生デバイスを使用して、前記ビデオコンテンツの所望のビューを決定することと、
前記再生デバイスを使用して、前記決定されたネットワーク帯域幅、前記所望のビュー、および前記マニフェストにおける前記複数の代替ストリームのための情報に基づいて、ストリーミングのために使用すべき前記複数の代替ストリームのうちの１つを決定することと、
前記再生デバイスを使用して、前記コンテンツプロバイダシステムからの前記マニフェストにおける前記複数の代替ストリームのうちの前記決定された１つのための情報に基づいて、前記複数の代替ストリームのうちの前記決定された１つからのビデオコンテンツのセグメントを要求することと、
前記要求に応答して、前記再生デバイスにおいて、前記コンテンツプロバイダシステムからの前記複数の代替ストリームのうちの前記１つからの前記要求されたセグメントを受信することと、
前記再生デバイスを使用して、前記受信されたセグメントを再生することと
を含む、方法。
前記再生デバイスを使用して、前記再生デバイスと前記コンテンツプロバイダシステムとの間の通信を監視することと、
前記再生デバイスを使用して、新しいネットワーク帯域幅への前記ネットワーク帯域幅の変化を検出することと、
前記マニフェストにおける情報を使用して、前記マニフェストを使用して前記新しいネットワーク帯域幅および前記所望のビューに基づいて、ストリーミングのために使用すべき前記複数の代替ストリームのうちの第２のものを決定することと、
前記再生デバイスを使用して、前記マニフェストにおける前記複数の代替ストリームのうちの前記第２のもののための情報に基づいて、前記コンテンツプロバイダシステムから、前記複数の代替ストリームのうちの前記第２のものからの前記ビデオコンテンツのセグメントを要求することと、
前記要求に応答して、前記再生デバイスにおいて、前記コンテンツプロバイダシステムから前記複数の代替ストリームのうちの前記第２のものの前記要求されたセグメントを受信することと、
前記再生デバイスを使用して、前記受信されたセグメントを再生することと
をさらに含む、請求項７に記載の方法。
前記再生デバイスを使用して、第２のビューへの前記ビデオコンテンツのビューにおける変化が所望されていることを決定することと、
前記再生デバイスを使用して、前記マニフェストにおける情報に基づいて、前記ネットワーク帯域幅および前記第２のビューに基づいて、ストリーミングのために使用すべき前記複数の代替ストリームのうちの第２のものを決定することと、
前記再生デバイスを使用して、前記マニフェストにおける前記複数の代替ストリームのうちの前記第２のもののための情報に基づいて、前記コンテンツプロバイダシステムから、前記複数の代替ストリームのうちの前記第２のものからの前記ビデオコンテンツのセグメントを要求することと、
前記要求に応答して、前記再生デバイスにおいて、前記コンテンツプロバイダシステムから、前記複数の代替ストリームのうちの前記第２のものの前記要求されたセグメントを受信することと、
前記再生デバイスを使用して、前記受信されたセグメントを再生することと
をさらに含む、請求項７に記載の方法。
前記ビューの決定は、前記再生デバイスの検出された移動に基づく、請求項７に記載の方法。
前記ビューの決定は、視点を決定するための別のデバイスから捕捉された前記再生デバイスの画像に基づく、請求項７に記載の方法。
前記ビューの決定は、前記ビデオコンテンツとともに受信されるメタデータに基づく、請求項７に記載の方法。
命令を記憶している非一過性機械読み取り可能な媒体であって、前記命令は、ビデオコンテンツを再生する方法を実施するように処理ユニットに指図し、前記方法は、
コンテンツプロバイダシステムからビデオコンテンツを要求することと、
コンテンツプロバイダシステムから、ビデオコンテンツの複数の代替ストリームを読み出すための情報を含むマニフェストを受信することであって、複数のストリームの各々は、前記ビデオコンテンツの複数のビューのうちの１つのためのビデオコンテンツのセグメントを含み、特定の最大ビットレートにおいてエンコードされている、ことと、
前記再生デバイスとコンテンツプロバイダシステムとの間の通信のためのネットワーク帯域幅を決定することと、
前記ビデオコンテンツの所望のビューを決定することと、
前記決定されたネットワーク帯域幅、前記所望のビュー、および前記マニフェストにおける前記複数の代替ストリームのための情報に基づいて、ストリーミングのために使用すべき前記複数の代替ストリームのうちの１つを決定することと、
前記コンテンツプロバイダシステムからの前記マニフェストにおける前記複数の代替ストリームのうちの前記１つのための情報に基づいて、前記複数の代替ストリームのうちの前記決定された１つからのビデオコンテンツのセグメントを要求することと、
前記要求に応答して、前記コンテンツプロバイダシステムから前記複数の代替ストリームのうちの１つの前記要求されたセグメントを受信することと、
前記受信されたセグメントを再生することと
を含む、非一過性機械読み取り可能な媒体。
複数のカメラから捕捉されたビデオコンテンツから、ビデオコンテンツの複数の代替ストリームを生成するためのエンコーディングシステムであって、前記エンコーディングシステムは、
プロセッサと、
前記プロセッサによってアクセス可能なメモリと、
前記メモリに記憶された命令と
を備え、
前記命令は、
複数のカメラのうちの１つによって捕捉されたビデオを含むビデオコンテンツの少なくとも１つのストリームを取得することであって、前記複数のカメラの各々は、異なる視点を有する、ことと、
前記少なくとも１つのストリームからのビデオコンテンツを複数のエンコーダに提供することであって、前記複数のエンコーダは、前記ビデオコンテンツ内からの複数の別個の視点の各々を複数の代替ストリームを備えている適合組にエンコードする、ことと、
前記複数の別個の視点の各々に対応する前記適合組のためのインデックス情報を生成することと、
前記生成された適合組の各々をメモリに記憶することと、
マニフェストの中に各適合組のためのマニフェスト情報を記憶することと
を行うように前記プロセッサに指図し、
前記マニフェストは、適合組における前記複数のストリームの各々のための最大ビットレートと各適合組のための視点とを示す、エンコーディングシステム。
前記ビデオコンテンツの複数のストリームを取得するための前記命令は、
前記複数のカメラによって捕捉されたビデオコンテンツのソースストリームを受信する命令と、
前記ソースストリームを複数のストリームに分割する命令であって、前記複数のストリームの各々は、前記複数のカメラのうちの１つからのビデオコンテンツを含む、命令と
を含み、
前記複数のカメラからの前記ビデオコンテンツの複数のストリームは、前記エンコーダに提供される、請求項１４に記載のエンコーディングシステム。
前記ビデオコンテンツの複数のストリームを取得するための前記命令は、
前記複数のカメラによって捕捉されたビデオコンテンツのソースストリームを受信する命令と、
前記ソースストリームの前記ビデオコンテンツから３６０度ビュービデオコンテンツを生成する命令と、
前記３６０度ビュービデオコンテンツを複数のタイルに分割する命令と
含み、
前記複数のタイルの各々は、特定の視点からのビデオコンテンツのストリームであり、
前記複数のタイルは、前記エンコーダに提供される、請求項１４に記載のエンコーディングシステム。
前記複数のストリームを取得するための前記命令は、前記複数のカメラのうちの１つのための前記複数のストリームの各々を受信する命令を含み、前記受信された複数のストリームの各々は、前記複数のエンコーダに提供される、請求項１４に記載のエンコーディングシステム。
前記プロセッサに指図する前記命令は、ビデオコンテンツの入力ストリームを受信し、複数の代替ストリームのためのビデオコンテンツを出力するエンコーダを提供する命令をさらに含み、前記複数の代替ストリームの各々は、異なる最大ビットレートでエンコードされ、前記エンコーダを提供する前記命令は、前記エンコーダを提供する前記命令から複数のエンコーダをインスタンス化することによって、前記複数のエンコーダにスケーラブルである、請求項１４に記載のエンコーディングシステム。
前記複数のエンコーダに提供される前記ビデオコンテンツの複数のストリームは、前記ビデオコンテンツのためのタイミング情報を含み、前記複数のエンコーダによる複数の代替ストリームへの前記ビデオコンテンツのエンコーディングは、前記ビデオコンテンツの複数のストリームの中の前記タイミング情報に基づいて同期させられる、請求項１４に記載のエンコーディングシステム。
複数のカメラから捕捉されたビデオコンテンツから、ビデオコンテンツの複数の代替ストリームを生成するためのエンコーディングシステムであって、前記システムは、
複数のカメラのうちの１つによって捕捉されたビデオを含むビデオコンテンツの少なくとも１つのストリームを取得することであって、前記複数のカメラの各々は、異なる視点を有する、ことと、
前記少なくとも１つのストリームからのビデオコンテンツを複数のエンコーダに提供することであって、前記複数のエンコーダは、前記ビデオコンテンツ内からの複数の別個の視点の各々を複数の代替ストリームを備えている適合組にエンコードする、ことと、
前記複数の別個の視点の各々に対応する前記適合組のためのインデックス情報を生成することと、
前記生成された適合組の各々をメモリに記憶することと、
マニフェストの中に各適合組のためのマニフェスト情報を記憶することと
を含み、
前記マニフェストは、適合組における前記複数のストリームの各々のための最大ビットレートと各適合組のための視点とを示す、システム。
前記ビデオコンテンツの複数のストリームの前記取得は、
前記エンコーディングシステムにおいて、前記複数のカメラによって捕捉されたビデオコンテンツのソースストリームを受信することと、
前記エンコーディングシステムを使用して、前記ソースストリームを複数のストリームに分割することと
を含み、
前記複数のストリームの各々は、前記複数のカメラのうちの１つからのビデオコンテンツを含み、
前記複数のカメラからの前記ビデオコンテンツの前記複数のストリームは、前記エンコーダに提供される、請求項２０に記載の方法。
前記ビデオコンテンツの複数のストリームの前記取得は、
前記エンコーディングシステムにおいて、前記複数のカメラの各々によって捕捉されたビデオコンテンツのソースストリームを受信することと、
前記エンコーディングシステムを使用して、前記ソースストリームの前記ビデオコンテンツから３６０度ビュービデオコンテンツを生成することと、
前記エンコーディングシステムを使用して、前記３６０度ビュービデオコンテンツを複数のタイルに分割することと
含み、
前記複数のタイルの各々は、特定のビューからのビデオコンテンツのストリームであり、
前記複数のタイルは、前記エンコーダに提供される、請求項２０に記載の方法。
前記複数のストリームの前記取得は、前記エンコーディングシステムにおいて、前記複数のカメラのうちの１つのための前記複数のストリームの各々を受信することを含み、前記受信された複数のストリームの各々は、前記複数のエンコーダに提供される、請求項２０に記載の方法。
前記複数のエンコーダに提供される前記ビデオコンテンツの複数のストリームは、前記ビデオコンテンツのためのタイミング情報を含み、前記複数のエンコーダによる複数の代替ストリームへの前記ビデオコンテンツの前記エンコーディングは、前記ビデオコンテンツの複数のストリームの中の前記タイミング情報に基づいて同期させられる、請求項２０に記載の方法。