JP2016531485A - Ｍｂｍｓサービスによって伝送されるマルチメディアコンテンツのアイテムを処理している間のマルチメディアプレーヤによる同期方法 - Google Patents

Abstract

本発明は、サーバ（ＰＸＹ、ＣＮＴＰ）によってマルチメディアコンテンツのアイテムのセグメントを受信する工程と、受信したセグメントをバッファメモリ（ＢＦＦ）に保存する工程と、ユーザ装置（ＵＥ）のマルチメディアプレーヤからのセグメント要求をサーバに伝送する工程と、前記セグメントがバッファメモリに存在すれば、それに応答して、要求されたセグメントをサーバからマルチメディアプレーヤに伝送する工程と、同期データ要求（ＴＭＲＦ）をマルチメディアプレーヤからサーバに伝送する工程と、その要求に応答して、受信した最後のセグメントの識別子とユーザ装置による最後のセグメントの受信時刻を定めるデータとを含む同期データを、サーバからマルチメディアプレーヤに伝送する工程とを含む、ユーザ装置によるマルチメディアコンテンツのアイテムの再生方法に関する。【選択図】図２Ａ

Description

本発明は、携帯電話ネットワークを含むいくつかの異なるネットワークを通した、サーバと１つ以上のユーザ装置との間のデータストリームの伝送に関する。特に、本発明は、ビデオストリームおよびオーディオストリームなどのマルチメディアストリームの伝送に適用する。

パケットまたはフレームデータ伝送ネットワークは一般に、ポイントツーポイントモードでの通信（「ユニキャスト」ともいう）、またはポイントツーマルチポイントでの通信（「マルチキャスト」ともいう）のいずれか一方を行う。一般に、ポイントツーポイント通信は、単一の送信者と単一の受信機との間で確立され、ポイントツーマルチポイント通信は、単一の送信者と複数の受信機との間で確立される。ポイントツーマルチポイント通信では、ネットワークインフラによって伝送される同じデータストリームを受信するために、受信機はグループセッションで接続する。データストリームの送信者は、１つのデータストリームのみを送信し、グループの異なる受信機に到達させるために必要な場合にのみそれを複製するため、受信機の身元を知る必要はない。従って、ポイントツーマルチポイントでは、同じストリームが複数のユーザによって要求された場合、ポイントツーポイントモードよりもネットワークへの負荷が少ないという利点が得られる。

ＭＢＭＳ（Multimedia Broadcast Multicast Service：マルチメディアブロードキャストマルチキャストサービス）よるマルチメディアコンテンツブロードキャストすなわちポイントツーマルチポイントサービスは、携帯電話ネットワーク内で同じマルチメディアコンテンツを多数のユーザに配信するために開発された。このサービスにより、複数のユーザによって要求されたマルチメディアコンテンツを、ブロードキャストすなわちポイントツーマルチポイントで、例えばＭＰＥＧ−ＤＡＳＨ規格（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP（Hypertext Transfer Protocol：ハイパテキスト転送プロトコル））によって定められたフォーマットで伝送することができる。このサービスは、複数のユーザが同じマルチメディアコンテンツを要求した携帯電話ネットワークの端末においてのみ有効である。

ＭＰＥＧ−ＤＡＳＨ規格は、マルチメディアデータをどんな飛越しもなく再生することができるように、それをセグメントに編成することができる構造を定めている。

しかし、ＭＰＥＧ−ＤＡＳＨセッションのスムーズな動作には、特にブロードキャストしなければならない場合（例えば、ライブブロードキャストの場合）にマルチメディアコンテンツが生成される際に、マルチメディアコンテンツを提供するサーバとユーザ装置との間で同期が必要である。実際には、所定の時間に再生されるデータセグメントを決定するために、ユーザ装置は、マルチメディアコンテンツを記述しているファイルに含めてサーバによって提供される絶対時間で入手可能な「ピリオド」（ｐｅｒｉｏｄ）の開始時刻とユーザ装置側の現在の時刻との間で経過した時間を推定しなければならない。推定誤差が大き過ぎると、ユーザ装置によって要求されるデータセグメントは、もはや入手不可能であるか未だに入手できずに誤差が生じる。

現在、ＭＢＭＳサービスでは、マルチメディアストリームに処理操作を行う必要があり、この操作により、比較的長くなり得る可変待ち時間が生じる。また、ユーザ装置の内部時計が世界時（ＵＴＣ）と同期されない状況が頻繁に生じる。また、以前に保存されたマルチメディアコンテンツのアイテムの再生遅延が生じた場合、ライブ再生のための各セグメントに関連する再生時間は、そのマルチメディアコンテンツが再生される現在の時刻に対応しない。同期問題は、ユーザ装置が携帯電話ネットワークによってカバーされている地域を離れた場合にも生じる。待ち時間が考慮されていない場合には、サーバの絶対時間の単純な伝送ではユーザ装置を再同期させることはできない。

従って、特にＭＢＭＳサービスによって、ユーザ装置を、マルチメディアコンテンツを提供するサーバと同期または再同期させることが望ましい。また、特にマルチメディアコンテンツのセグメントが比較的長い場合には、同じ場所に位置するユーザ装置がマルチメディアコンテンツの同じアイテムを同期して再生することが望ましい場合もある。

いくつかの実施形態は、サーバによってマルチメディアコンテンツのアイテムのセグメントを受信する工程と、受信したセグメントをバッファメモリに保存する工程と、ユーザ装置のマルチメディアプレーヤからのセグメント要求をサーバに伝送する工程と、前記セグメントがバッファメモリに存在すれば、それに応答して、要求されたセグメントをサーバからマルチメディアプレーヤに伝送する工程と、同期データ要求をマルチメディアプレーヤからサーバに伝送する工程と、その要求に応答して、最後に受信したセグメントの識別子とユーザ装置によって最後のセグメントを受信した時刻を定めるデータとを含む同期データをサーバからマルチメディアプレーヤに伝送する工程とを含む、ユーザ装置によるマルチメディアコンテンツのアイテムの再生方法に関する。

一実施形態によれば、同期データを、ＨＴＴＰ応答ヘッダまたはファイルに含めて伝送する。

一実施形態によれば、マルチメディアコンテンツ記述データを、サーバまたはマルチメディアプレーヤによって受信する。

一実施形態によれば、同期データは、バッファメモリに保存することができるセグメントの数に関するデータを含む。

一実施形態によれば、最後のセグメントの受信時刻を定めるデータは、ユーザ装置の時計によって提供される、サーバによる最後のセグメントの現在の受信時刻である。

一実施形態によれば、最後のセグメントの受信時刻を定めるデータは、最後のセグメントをサーバによって受信した時刻と同期データが伝送された時刻との間で経過した時間であり、マルチメディアプレーヤは、同期データを受信した時刻を保存し、かつ同期データの受信時刻および同期データ内に含まれる経過時間に基づいて、同期データ内で識別されたセグメントを受信する開始時刻を決定する。

一実施形態によれば、マルチメディアコンテンツサーバとマルチメディアプレーヤとの同期誤差後に、同期データ要求を送信する。

一実施形態によれば、バッファメモリにおいて利用不可能なセグメントを要求すると、同期誤差が生じる。

一実施形態によれば、マルチメディアコンテンツの最初のセグメントを要求する前または最初のセグメントを受信した後に、同期データ要求を送信する。

一実施形態によれば、本方法は、サーバから要求され、かつ現在の時刻と最後のセグメントの受信時刻との差および各セグメントの持続期間に従って再生されるセグメント識別子をマルチメディアプレーヤによって決定する工程を含む。

一実施形態によれば、マルチメディアコンテンツは、ＭＢＭＳサービスを介してＤＡＳＨ−ＭＰＥＧ規格に従ってブロードキャストされる。

いくつかの実施形態は、マルチメディアコンテンツをセグメントで送信するように構成されたマルチメディアコンテンツサーバと、上に定めた方法を実行するように構成されたユーザ装置とを備えた、マルチメディアコンテンツブロードキャストシステムにも関する。

いくつかの実施形態は、上に定めた方法を実行するように構成されたサーバを備えたユーザ装置にも関する。

以下、本発明の実施形態のいくつかの例について添付の図に関連して説明するが、それらに限定されるものではない。

コンテンツサーバとユーザ装置との間でマルチメディアコンテンツを伝送するための、すなわちＭＢＭＰサービスを実行するためのシステムを概略的に示す。 図２Ａおよび図２Ｂは、ユーザ装置を概略的に示す。 一実施形態に係る、マルチメディアコンテンツサーバとユーザ装置との同期工程を概略的に示す。 一実施形態に係る、マルチメディアコンテンツのアイテムを記述するデータ構造を概略的に示す。

図１は、ＭＢＭＳ（マルチメディアブロードキャストマルチキャストサービス）によるマルチメディアコンテンツブロードキャストすなわちポイントツーマルチポイント伝送サービスを実行するシステムを示す。このサービスについては、3GPP TS 26.346 V11.5.0 (2013)規格文書に記載されている。本システムは、１つ以上のコンテンツサーバＣＮＴＰと、インターネットなどのネットワークＩＰＮと、ネットワークＩＰＮを介してサーバＣＮＴＰにリンクされている、ＭＢＭＳサービスを実行するサーバＢＭＳＣと、サーバＢＭＳＣと携帯電話ネットワークＵＴＲＮとの間にゲートウェイＭＧＷと、それぞれが携帯電話ネットワークＵＴＲＮのうちの１つに接続されたユーザ装置ＵＥとを備える。サーバＣＮＴＰは、マルチメディアコンテンツの構造を指定する記述子ＭＰＤに関連付けられたセグメントを含む、例えばＭＰＥＧ−ＤＡＳＨ規格に準拠したマルチメディアコンテンツを伝送する。

図２Ａは、ユーザ装置ＵＥを示す。装置ＵＥは、マルチメディアプレーヤＭＰＬと、バッファメモリＢＦＦに接続されたプロクシーサーバＰＸＹとを備える。ユーザ装置は、例えばサーバＣＮＴＰから、セグメントＳＧＭおよび記述子ＭＰＤの形態でマルチメディアコンテンツを受信する。セグメントＳＧＭは、サーバＰＸＹに伝送されてメモリＢＦＦに保存され、要求に応じてプレーヤＭＰＬに提供される。各セグメントの受信開始時刻もセグメントのコンテンツに関連するメモリＢＦＦに記述される。記述子ＭＰＤは、プレーヤＭＰＬに直接伝送される。

装置ＵＥは、サーバＰＸＹおよびプレーヤＭＰＬを実行する１つ以上のアプリケーションを実行する、スマートフォンなどの携帯電話またはデジタルタブレットであってもよい。

図２Ｂは、サーバＰＸＹおよびメモリＢＦＦを実行するインターネットセットトップボックスＤＣＤＢと、イーサネット（登録商標）またはＷｉＦｉなどのリンクを介してボックスＤＣＤＢに接続され、かつマルチメディアプレーヤＭＰＬを実行するアプリケーションを実行する１つ以上の固定もしくは携帯端末ＵＴ１、ＵＴ２とを備えた、別の種類のユーザ装置ＵＥを示す。このように、記述子ＭＰＤをボックスＤＣＤＢに送信して、端末ＵＴ１、ＵＴ２に配信してもよい。

図３は、一実施形態に係る、サーバＣＮＴＰと同期するために特に装置ＵＥによって実行される工程Ｓ１〜Ｓ４を示す。工程Ｓ１では、装置ＵＥのプレーヤＭＰＬは、サーバＣＮＴＰから記述子ＭＰＤを受信する。工程Ｓ２では、プレーヤＭＰＬは、サーバＰＸＹに同期要求を送信する。工程Ｓ３では、サーバＰＸＹは、プレーヤＭＰＬをサーバＣＮＴＰと同期させることができる同期データを含む要素ＴＭＲＦを送信することで、同期要求に応答する。要素ＴＭＲＦを受信すると、工程Ｓ４では、プレーヤＭＰＬは、要素ＴＭＲＦに含めて伝送されたデータに基づいてサーバＣＮＴＰの時間基準と装置ＵＥの時間基準との差を計算することからなる同期を進める。サーバＰＸＹおよびプレーヤＭＰＬが同じ装置で実行されない場合、どんな手段でそれらの間の通信を行ってもよい。

セグメントがもはやメモリＢＦＦにないという理由あるいはセグメントが未だに受信されておらず、サーバＰＸＹによってメモリに保存されていないという理由のいずれかにより、サーバＰＸＹがプレーヤＭＰＬによって送信されたセグメント要求を満たすことができない場合に、工程Ｓ２を開始してもよい。工程Ｓ２〜Ｓ４により、プレーヤＭＰＬは、どのセグメントをメモリＢＦＦに保存するか、および、いつ最後のセグメントの開始時刻の受信が行われたかを決定することができる。

図４は、記述子ＭＰＤの構造を示す。ＤＡＳＨ−ＭＰＥＧ規格に従って、記述子ＭＰＤは、マルチメディアコンテンツのアイテムのエンコードバージョンのセットが利用可能なマルチメディアコンテンツのアイテムの「ピリオド」の構造をそれぞれが表わす、１つ以上のフィールドＰＲＤを含む。「ピリオド」ＰＲＤは、１つ以上の「アダプテーションセット」（adaptation set）ＡＤＰＳを含む。「セット」ＡＤＰＳは、マルチメディアコンテンツのアイテムの１つ以上のコンポーネントのエンコードバージョンを１つのグループにまとめる。例えば、主なビデオコンポーネントのための「セット」ＡＤＰＳと、主なオーディオコンポーネントのための「セット」ＡＤＰＳが存在してもよい。「セット」ＡＤＰＳは、「「リプレゼンテーション」」（representation）ＲＥＰのいくつかの記述子を含む。「リプレゼンテーション」は、１つ以上のマルチメディアコンポーネントのエンコードバージョンを記述している。「リプレゼンテーション」は、いくつかのマルチメディアストリームを含んでいてもよい。「リプレゼンテーション」を、それぞれがＵＲＬ（Uniform Resource Locator：統一資源位置指定子）アドレスに関連付けられたセグメントに分割してもよい。従って、セグメントは、単一のＨＴＴＰ要求を用いて得ることができる最も大きいマルチメディアデータ単位である。セグメントは、通常の速度でのセグメントの読み込み時間に対応する持続期間に関連付けられている。典型的には、同じ「リプレゼンテーション」の全てのセグメントは、１つの「ピリオド」ＰＲＤから次の「ピリオド」または１つの記述子ＭＰＤから次の記述子に変更することができる同じ持続期間を有する。セグメントは、全てのセグメントによって共有される同じ時間線と比較される時間線を定めるデータを含む。別の時間線により、マルチメディアプレーヤでのセグメントの利用可能性を決定することができる。ライブブロードキャストのセグメントを要求する前に、マルチメディアプレーヤは、現在の時刻をセグメントの利用可能な時刻と比較する。ＭＰＤ構造に関するさらなる詳細は、ＩＳＯ／ＩＥＣ２３００９−１：２０１２（Ｅ）規格文書において得ることができる

一実施形態によれば、記述子ＭＰＤの「リプレゼンテーション」ＲＥＰまたは「ピリオド」ＰＲＤのそれぞれが、同期データを含む要素ＴＭＲＦへのリンクを受信するために提供されたフィールド（ＸＭＬ言語（Extended Mark-Up Language：拡張可能なマーク付け言語）で＠ｘｌｉｎｋ：ｈｒｅｆ）を含む。サーバＰＸＹによって伝送される要素ＴＭＲＦは、以下の表１に含まれる情報を含んでいてもよい。

従って、要素ＴＭＲＦにより、プレーヤＭＰＬは、ロードの終わりに、メモリＢＦＦ内のセグメントの名前（＠ａｖａｉｌａｂｌｅＳｅｇｍｅｎｔＮａｍｅ）を有することができる。記述子ＭＰＤ内に指定されているセグメントの属性＠ｅｌａｐｓｅｄＴｉｍｅおよび持続期間から、プレーヤＭＰＬは、セグメント＠ａｖａｉｌａｂｌｅＳｅｇｍｅｎｔＮａｍｅおよび次のセグメントがメモリＢＦＦ内でいつ利用可能であるかを決定してもよい。従って、セグメント＠ａｖａｉｌａｂｌｅＳｅｇｍｅｎｔＮａｍｅは、以下の式：
Ｔ（ＴＭＲＦ）−ＴＭＲＦ＠ｅｌａｐｓｅｄＴｉｍｅ （１）
（式中、Ｔ（ＴＭＲＦ）は、要素ＴＭＲＦの受信時刻である）
の時間に利用可能である。

Ｎ番目の次のセグメントは、以下の式：
Ｔ（ＴＭＲＦ）−ＴＭＲＦ＠ｅｌａｐｓｅｄＴｉｍｅ＋ＳＧＭＤ×Ｎ （２）
（式中、ＳＧＭＤは、記述子ＭＰＤ内に指定されているセグメントの持続期間である）
の時間で利用可能である。

プレーヤＭＰＬは、要素ＴＭＲＦの受信から時間Ｔで受信されると思われるセグメントの数Ｎを、以下の式：
Ｎ＝Ｆｌｏｏｒ［（Ｔ−Ｔ（ＴＭＲＦ）＋ＴＭＲＦ＠ｅｌａｐｓｅｄＴｉｍｅ）／ＳＧＭＤ］ （３）
（式中、Ｆｌｏｏｒ（ｘ）は、数ｘの整数部分を与える関数である）
によって決定してもよい。

セグメントの名前には一般的に番号が付されているため、プレーヤＭＰＬは、メモリＢＦＦ内で利用可能なセグメントの番号から（＠ａｖａｉｌａｂｌｅＳｅｇｍｅｎｔＮａｍｅまたは＠ｔｉｍｅＳｈｉｆｔＢｕｆｆｅｒおよび記述子ＭＰＤ内で指定されているセグメントの持続期間から）、メモリＢＦＦ内で利用可能なセグメントの名前を決定してもよい。

サーバＰＸＹは、記述子ＭＰＤの構造を知っている場合、リンク＠ｘｌｉｎｋ：ｈｒｅｆの代わりにその構造を記述子ＭＰＤに挿入することで、要素ＴＭＲＦを伝送してもよい。この場合、サーバＰＸＹは、記述子ＭＰＤを受信し、かつそれをプレーヤＭＰＬに送信する。

本発明は、各種他の実施形態および各種アプリケーションも可能であることが当業者によって理解されるであろう。特に、本発明は、表１に定められている要素ＴＭＲＦのコンテンツに限定されない。実際には、属性＠ｅｌａｐｓｅｄＴｉｍｅを、ユーザ装置の時計で読み込まれる絶対時間で置き換えてもよい。また、これらの属性が、ユーザ装置を同期させるのではなくマルチメディアコンテンツのアイテムを再生する場合、いくつのセグメントだけマルチメディアプレーヤを戻すことができるかを決定する手助けになれば、属性＠ｔｉｍｅＳｈｉｆｔＳｅｇｍｅｎｔｓおよび＠ｔｉｍｅＳｈｉｆｔＢｕｆｆｅｒを省略してもよい。

本発明が適用されるのは、ＭＢＭＳサービスのみではない。本発明は、マルチメディアコンテンツサーバとインターネットセットトップボックスを備えたユーザ装置との間のポイントツーポイント型伝送（ユニキャスト）に適用してもよい。マルチメディアデータを、ＨＴＴＰライブストリーミング規格に従って伝送してもよい。

また、プロクシーサーバＰＸＹによって実行される動作を、マルチメディアコンテンツのセグメントの時間線すなわち各セグメントの再生時間を修正することなく、ブロードキャストの遅延のためにマルチメディアコンテンツのアイテムを保存しているリモートサーバ、例えばサーバＣＮＴＰによって実行してもよい。

マルチメディアコンテンツの最初のセグメントの要求前、最初のセグメントまたは各セグメントの受信後に、マルチメディアプレーヤによって同期要求を常に送信してもよい。

Claims (13)

1. ユーザ装置（ＵＥ）からサーバ（ＰＸＹ、ＣＮＴＰ）によってマルチメディアコンテンツのアイテムのセグメントを受信し、かつ前記受信したセグメントをバッファメモリに保存する工程（ＢＦＦ）と、
   ユーザ装置（ＵＥ）のマルチメディアプレーヤ（ＭＰＬ）からのセグメント要求を前記サーバに伝送し、それに応答して、前記セグメントが前記バッファメモリに存在すれば、前記要求されたセグメントを前記サーバから前記マルチメディアプレーヤに伝送する工程と、
   を含み、
   前記マルチメディアプレーヤからの同期データ要求（ＴＭＲＦ）を前記サーバに伝送する工程と、
   前記要求に応答して、最後に受信したセグメントの識別子と前記ユーザ装置によって前記最後のセグメントを受信した時刻を定めるデータとを含む同期データを、前記サーバから前記マルチメディアプレーヤに伝送する工程と、
   を含むことを特徴とする、ユーザ装置によるマルチメディアコンテンツのアイテムの再生方法。
2. 前記同期データを、ＨＴＴＰ応答ヘッダまたはファイルに含めて伝送する、請求項１に記載の方法。
3. 前記サーバ（ＰＸＹ、ＣＮＴＰ）または前記マルチメディアプレーヤ（ＭＰＬ）によって、マルチメディアコンテンツ記述データ（ＭＰＤ）を受信する、請求項１または２に記載の方法。
4. 前記同期データは、前記バッファメモリ（ＢＦＦ）に保存することができるセグメントの数に関するデータを含む、請求項１〜３のいずれか１項に記載の方法。
5. 前記最後のセグメントの受信時刻を定める前記データは、前記ユーザ装置（ＵＥ）の時計によって提供される、前記サーバ（ＰＸＹ、ＣＮＴＰ）による前記最後のセグメントの現在の受信時刻である、請求項１〜４のいずれか１項に記載の方法。
6. 前記最後のセグメントの受信時刻を定める前記データは、前記最後のセグメントを前記サーバ（ＰＸＹ、ＣＮＴＰ）によって受信した時刻と前記同期データ（ＴＭＲＦ）が伝送された時刻との間で経過した時間であり、前記マルチメディアプレーヤ（ＭＰＬ）は、前記同期データを受信した時刻を保存し、かつ前記同期データの受信時刻および前記同期データ内に含まれる経過時間に基づいて、前記同期データ内で識別されたセグメントを受信する開始時刻を決定する、請求項１〜４のいずれか１項に記載の方法。
7. マルチメディアコンテンツサーバ（ＣＮＴＰ）と前記マルチメディアプレーヤ（ＭＰＬ）との間の同期誤差後に、前記同期データ要求を送信する、請求項１〜６のいずれか１項に記載の方法。
8. 前記バッファメモリ（ＢＦＦ）において利用不可能なセグメントを要求すると前記同期誤差が生じる、請求項７に記載の方法。
9. 前記マルチメディアコンテンツの最初のセグメントを要求する前または前記最初のセグメントを受信した後に、前記同期データ要求を送信する、請求項１〜８のいずれか１項に記載の方法。
10. 前記サーバから要求され、かつ現在の時刻と前記最後のセグメントの受信時刻との差および各セグメントの持続期間に従って再生されるセグメント識別子を、前記マルチメディアプレーヤによって決定する、請求項１〜９のいずれか１項に記載の方法。
11. 前記マルチメディアコンテンツは、ＭＢＭＳサービスを介してＤＡＳＨ−ＭＰＥＧ規格に従ってブロードキャストされる、請求項１〜１０のいずれか１項に記載の方法。
12. マルチメディアコンテンツをセグメントで送信するように構成されたマルチメディアコンテンツサーバ（ＣＮＴＰ）と、請求項１〜１１のいずれか１項に記載の方法を実行するように構成されたユーザ装置（ＵＥ）とを備えた、マルチメディアコンテンツブロードキャストシステム。
13. 請求項１〜１１のいずれか１項に記載の方法を実行するように構成されたサーバ（ＰＸＹ、ＣＮＴＰ）を備えた装置。

Images