JP2015520546A

JP2015520546A - マルチメディアビデオデータの送信、受信方法及び対応装置

Info

Publication number: JP2015520546A
Application number: JP2015506069A
Authority: JP
Inventors: 国強尚
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2012-04-19
Filing date: 2012-06-07
Publication date: 2015-07-16
Also published as: US20150095454A1; WO2013155766A1; KR101614862B1; EP2827596A1; EP2827596A4; KR20140138954A; CN102665109A

Abstract

マルチメディアビデオデータの送信、受信方法及び対応装置であって、マルチメディアビデオデータの再生品質を向上させる。前記送信方法は、キーフレームデータと非キーフレームデータのために異なるデータチャネルを設定し、キーフレームデータチャネルの帯域幅が非キーフレームデータチャネルの帯域幅よりも大きくするように設定されること、受信端へデータを送信する際、設定によりキーフレームデータと非キーフレームデータを異なるデータチャネルに載せて伝送すること、を含む。前記受信方法は、ソース端へリソース要求を送信し、ソース端でフィードバックされた設定内容により、ソース端と複数のデータチャネルを確立すること、異なるデータチャネルでキーフレームデータと非キーフレームデータを受信すること、受信されたキーフレームデータと非キーフレームデータを併合処理し且つ出力することを含む。【選択図】図１

Description

本発明は、マルチメディア通信分野に関し、特にマルチメディアビデオデータの送信、受信方法及び対応装置に関する。

モバイルインターネットの発展、及び端末のハードウェアとソフトウェアのアップグレードに従って、マルチメディアデータの伝送が既に不可欠な一部になり、どのように効率的にデータを伝送させるかということは、多くの業界研究の課題の１つになる。現在における、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ，リアルタイムトランスポートプロトコル）、ＲＴＳＰ（ＲｅａｌＴｉｍｅＳｔｒｅａｍｉｎｇＰｒｏｔｏｃｏｌ，リアルタイムストリーミングプロトコル）、ＲＴＣＰ（ＲＴＰＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ，ＲＴＰ制御プロトコル）などの標準トランスポートプロトコルはストリーミングメディアデータを伝送するためのものである。且つ現在、一般的なストリーミングメディアデータの伝送は、オーディオビデオデータをインタリービング伝送する場合と、オーディオビデオデータを区分して伝送する場合と、いう２つの場合に区分する。しかしながら、どのような場合でも、ビデオデータが大きい帯域幅を占有し、端末に対する処理能力要求が高くなり、ある程度ユーザの視聴に影響する。分析により、ビデオの滑らかでないこととモザイクなどはユーザの視聴に影響する比較的に重要な要素であり、どのようにこれらの影響を防止するかということは現在解決しようとする問題である。

本発明の実施形態が解決しようとする技術的な問題は、マルチメディアビデオデータの再生品質を向上させるマルチメディアビデオデータの送信、受信方法及び対応装置を提供する。

上記技術的な問題を解決するために、本発明の実施形態は、
ソース端は、キーフレームデータと非キーフレームデータのために異なるデータチャネルを設定し、キーフレームデータチャネルの帯域幅は非キーフレームデータチャネルの帯域幅よりも大きくするように設定されること、
ソース端は受信端へデータを送信する際、設定によりキーフレームデータと非キーフレームデータを異なるデータチャネルに載せて伝送すること、を含むマルチメディアビデオデータの送信方法を提供する。

選択的に、キーフレームデータのために設定されたチャネルは、１つ又は複数であり、非キーフレームデータのために設定されたチャネルは、１つ又は複数である。

選択的に、前記方法は、キーフレームデータチャネルを設定する優先度は非キーフレームデータチャネルの優先度よりも高くし、データを送信する際、優先度が高いものから低いものまでの順序に従ってキーフレームデータと非キーフレームデータを送信すること、をさらに含む。

選択的に、前記方法は、異なるタイプの非キーフレームのために異なるデータチャネルと異なる帯域幅を設定し、非キーフレームデータを送信する際、設定により異なるタイプの非キーフレームデータを異なるデータチャネルに載せて伝送すること、をさらに含む。

選択的に、前記方法は、異なるタイプの非キーフレームのために異なる優先度を設定し、非キーフレームデータを送信する際、優先度が高いものから低いものまでの順序に従って送信すること、をさらに含む。

上記技術的な問題を解決するために、本発明の実施形態は、
受信端は、ソース端へリソース要求を送信し、ソース端でフィードバックされた設定内容により、ソース端と複数のデータチャネルを確立すること、
受信端は、異なるデータチャネルでキーフレームデータと非キーフレームデータを受信すること、及び
受信端は、受信されたキーフレームデータと非キーフレームデータを併合処理し且つ出力すること、を含むマルチメディアビデオデータの受信方法をさらに提供する。

選択的に、ソース端でフィードバックされた設定内容は、キーフレームデータと非キーフレームデータを載せるデータチャネルを含む。

上記技術問題を解決するために、本発明の実施形態は、
キーフレームデータと非キーフレームデータのために異なるデータチャネルを設定し、キーフレームデータチャネルの帯域幅が非キーフレームデータチャネルの帯域幅よりも大きくするように設定されるように設置された設定モジュールと、
受信端へデータを送信する際、設定によりキーフレームデータと非キーフレームデータを異なるデータチャネルに載せて伝送するように設置された送信モジュールと、を備えるマルチメディアビデオデータの送信装置をさらに提供する。

選択的に、前記設定モジュールがキーフレームデータのために設定されたチャネルは１つ又は複数であり、非キーフレームデータのために設定されたチャネルは１つ又は複数である。

選択的に、前記設定モジュールは、さらにキーフレームデータチャネルを設定する優先度は非キーフレームデータチャネルの優先度よりも高くするように設置され、
前記送信モジュールは、優先度が高いものから低いものまでの順序に従ってキーフレームデータと非キーフレームデータを送信する方式でデータを送信するように設置される。

選択的に、前記設定モジュールは、さらに異なるタイプの非キーフレームのために異なるデータチャネルと異なる帯域幅を設定するように設置され、前記送信モジュールは、設定により異なるタイプの非キーフレームデータを異なるデータチャネルに載せて伝送する方式で非キーフレームデータを送信するように設置される。

選択的に、前記設定モジュールは、さらに異なるタイプの非キーフレームのために異なる優先度を設定するように設置され、前記送信モジュールは、優先度が高いものから低いものまでの順序に従って送信する方式で非キーフレームデータを送信するように設置される。

上記技術的な問題を解決するために、本発明の実施形態は、
ソース端へリソース要求を送信し、ソース端でフィードバックされた設定内容により、ソース端と複数のデータチャネルを確立するように設置された請求モジュールと、
異なるデータチャネルでキーフレームデータと非キーフレームデータを受信するように設置された受信モジュールと、
受信されたキーフレームデータと非キーフレームデータを併合処理し且つ出力するように設置された処理モジュールと、を備えるマルチメディアビデオデータの受信装置をさらに提供する。

選択的に、前記設定内容は、キーフレームデータと非キーフレームデータを載せるデータチャネルを含む。

本発明の実施形態の方法と装置は、ソース端でビデオデータのフレームデータを処理することにより、異なるチャネルで異なる帯域幅、異なる優先度で送信し、データ量が大きく、優先度が高いデータを素早く受信端に到達し、受信端がデータを表示する際に滑らかでないこと、モザイクなどの現象を減少し、効果的にユーザの視聴環境を向上させることができる。

図１は本発明の実施形態１の送信方法のフローチャートである。図２は異なるチャネルにより異なるフレームデータを送信する模式図である。図３は本発明の実施形態１の送信装置の構造模式図である。図４は本発明の実施形態２の受信方法のフローチャートである。図５は本発明の実施形態２の受信装置の模式図である。

分析により、発明者は、マルチメディアビデオの再生が滑らかでないことを引き起こす重要な要素がビデオデータのキーフレームの送信又は受信にあり、キーフレームがタイムリーに端末に到達して復号化することができないときに、マルチメディアビデオの再生が滑らかでないことを引き起こすことを見出した。そのため、キーフレームの送信と受信を改良することにより、該問題を解決することができ、ユーザの視聴環境を向上させる。現在、ストリーミングメディアとテレビジョン放送システムにおいて、常にビデオのキーフレームと他の非キーフレーム、例えばＰフレーム、Ｂフレームを１つのチャネルにパッケージングして伝送しており、このような伝送方法は帯域幅が十分である場合には問題がないが、帯域幅が不足している場合には、ユーザの視聴環境の差異が非常に大きくする。

以下、図面を参照しながら本発明の実施形態を詳しく説明する。なお、衝突しない場合には、本発明における実施形態及び実施形態における特徴を互いに任意に組み合わせることができる。

（実施形態１）
本実施形態は、マルチメディアビデオデータの送信、即ちソース端で実行する処理を説明し、図１に示すように、以下のステップを含む。

ステップ１１０、キーフレームデータと非キーフレームデータのために異なるデータチャネルを設定し、キーフレームデータチャネルの帯域幅が非キーフレームデータチャネルの帯域幅よりも大きくするように設定される。

キーフレームデータのために設定されたチャネルは１つ又は複数であってもよい。同様に、非キーフレームデータのために設定されたチャネルは１つ又は複数であってもよい。キーフレームデータと非キーフレームデータは異なるデータチャネルに設定されるべきである。

他の実施形態において、さらにデータチャネルの優先度を設定することができ、例えばキーフレームデータチャネルを設定する優先度は非キーフレームデータチャネルの優先度よりも高くする。

設定の結果により記述ファイル及び／又は設定ファイルを生成する。該記述ファイル及び／又は設定ファイルは受信端でリソース要求を開始する際、ソース端で受信端に送信し、受信端は該記述ファイル及び／又は設定ファイルによりソース端に相応のデータチャネルを確立することを請求する。

異なるタイプの非キーフレームにも重要性の差異が存在するとき、異なるタイプの非キーフレームのために異なるデータチャネルと異なる帯域幅を設定することもできる。また、異なるタイプの非キーフレームに異なる優先度を設定することもできる。

ステップ１２０、受信端へデータを送信する際、設定によりキーフレームデータと非キーフレームデータを異なるデータチャネルに載せて伝送する。

データを送信する前に、ソース端は、設定により、キーフレームデータと非キーフレームデータを分解すべきである。分解の過程は従来の技術方法に従って実行することができる。

設定情報に優先度情報が含まれると、優先度の順序に従ってデータを送信する。キーフレームデータチャネルを設定する優先度は非キーフレームデータチャネルの優先度よりも高くすれば、先にキーフレームデータチャネルを送信することができる。

図２に示すように、非キーフレームデータのために異なるデータチャネルと異なる帯域幅をも設置すれば、設定により応答の非キーフレームデータを送信する。

キーフレームデータと非キーフレームデータを分けて送信し、且つキーフレームデータを大きい帯域幅に与え、非キーフレームデータを小さい帯域幅に与えるように設置することにより、キーフレームがタイムリーに端末に到達することを保証することができ、非キーフレームが到達しなかったときでも、マルチメディアビデオの再生が滑らかでなくなるという問題は特に重大になることがなく、ユーザの視聴環境を大幅に向上させることができる。

上記送信方法を達成する送信装置は、図３に示すように、設定モジュールと送信モジュールを含み、
該設定モジュールは、キーフレームデータと非キーフレームデータのために異なるデータチャネルを設定し、キーフレームデータチャネルの帯域幅が非キーフレームデータチャネルの帯域幅よりも大きくなるように設定されるように設置され、
該送信モジュールは、受信端へデータを送信する際、設定によりキーフレームデータと非キーフレームデータを異なるデータチャネルに載せて伝送するように設置される。

上記設定モジュールキーフレームデータのために設定されたチャネルは１つ又は複数であってよく、非キーフレームデータのために設定されたチャネルは１つ又は複数であってもよい。

好ましくは、該設定モジュールは、さらに、キーフレームデータチャネルを設定する優先度は非キーフレームデータチャネルの優先度よりも高くするように設置され、この際、送信モジュールは、優先度が高いものから低いものまでの順序に従ってキーフレームデータと非キーフレームデータを送信する。

好ましくは、該設定モジュールは、さらに、異なるタイプの非キーフレームのために異なるデータチャネルと異なる帯域幅を設定することができ、このとき、送信モジュールは、設定により異なるタイプの非キーフレームデータを異なるデータチャネルに載せて伝送する。

好ましくは、該設定モジュールはさらに、異なるタイプの非キーフレームのために異なる優先度を設定することができ、このとき、送信モジュールは、優先度が高いものから低いものまでの順序に従って非キーフレームデータを送信する。

（実施形態２）
本実施形態は、マルチメディアビデオデータの受信、即ち受信端で実行する処理を説明し、図４に示すように、以下のステップを含む：
ステップ２１０、ソース端へリソース要求を送信し、ソース端でフィードバックされた設定内容により、ソース端と複数のデータチャネルを確立する。

ソース端でフィードバックされた設定内容は、キーフレームデータと非キーフレームデータを載せるデータチャネルを少なくとも含む。

ステップ２２０、異なるデータチャネルでキーフレームデータと非キーフレームデータを受信する。

ステップ２３０、受信されたキーフレームデータと非キーフレームデータを併合処理し且つ出力する。

併合処理は従来の技術的な方法に従って実行することができる。

上記受信方法を達成する受信装置は、図５に示すように、請求モジュール、受信モジュール及び処理モジュールを含み、
該請求モジュールは、ソース端へリソース要求を送信し、ソース端でフィードバックされた設定内容により、ソース端と複数のデータチャネルを確立するように設置され、
該受信モジュールは、異なるデータチャネルでキーフレームデータと非キーフレームデータを受信するように設置され、
該処理モジュールは、受信されたキーフレームデータと非キーフレームデータを併合処理し且つ出力するように設置される。

（応用例１）
本例示ではＨ．２６４データの伝送を説明する。ストリーミングメディアサーバによりＨ．２６４データを送信し、キーフレームＩフレームは単独に１つのチャネルで送信し、非キーフレームＰフレームとＢフレームは１つのチャネルで送信し、オーディオが１つのチャネルで送信するように設定する。（本例示では主にビデオの異なる類型のフレームが複数のチャネルで送信することを説明するので、オーディオについて特に説明しない）
ステップ１、ソース端に異なるビットレートのビデオデータ源を設定し、例えばビデオデータは２つのチャネルで送信し、そのうちの１つのチャネルはキーフレームを送信することに用いられ、他の１つのチャネルはＰフレームとＢフレームを送信することに用いられ、１つのチャネルがオーディオを送信して、記述ファイル及び／又は設定ファイルを形成し、ソース端と受信端に提供して使用する。

ステップ２、受信端はソース端へリソース要求を送信する。

ステップ３、ソース端はリソース要求を受信した後記述ファイル及び／又は設定ファイルを受信端に送信する。

ステップ４、受信端は記述ファイル及び／又は設定ファイルを解析し、確立すべきチャネルなどの設定情報を読み取り、且つソース端とデータチャネルを確立することを請求し、データバッファ領域を設置し、ソース端データを受信する。

ステップ５、ソース端は、受信端の請求を受信した後、リソース設定ファイル及び／又は記述ファイルを読み取り、リソースの設定情報を取得し、受信端のチャネル確立請求を受信して関連のチャネルを確立し、リソースデータを処理し、設定情報により異なるデータチャネルで異なるデータを送信し、例えばチャネル１でＩフレームデータを送信し、チャネル２でＰフレームとＢフレームデータを送信し、チャネル３でビデオと関連するオーディオデータを送信する。

ステップ６、受信端は各チャネルからのデータを受信してバッファし、データを併合処理した後復号化して表示する。

以上の例示は、ビデオが２つのチャネルでビデオデータを伝送することに関し、即ち、キーフレームデータが１つのチャネルで伝送し、非キーフレームデータが他の１つのチャネルで伝送する。

（応用例２）
本例示では、３Ｄデータの伝送を説明する。ストリーミングメディアサーバにより３Ｄデータを送信し、３つのチャネルを設定してビデオを送信し、１つのチャネルがキーフレームを伝送し、１つのチャネルが非キーフレームを伝送し、１つのチャネルが深度データを伝送し、オーディオデータは、もう１つのチャネルで伝送することができる。

ステップ１、ソース端で異なるビットレートのビデオデータ源を設定し、例えばビデオデータは３つのチャネルで送信し、そのうちの１つのチャネルはキーフレームを送信することに用いられ、１つのチャネルは非キーフレームを送信することに用いられ、１つのチャネルは深度データを送信し、オーディオデータはもう１つの単独なチャネルで送信し、記述ファイル及び／又は設定ファイルを形成し、ソース端と受信端に提供して使用する。

ステップ５、ソース端は受信端の請求を受信し、リソース設定ファイル及び／又は記述ファイルを読み取り、リソースの設定情報を取得し、受信端のチャネル確立請求を受信して且つ関連のチャネルを確立し、リソースデータを処理し、設定情報により異なるデータチャネルで異なるデータを送信し、例えばチャネル１でキーフレームデータを送信し、チャネル２で非キーフレームデータを送信し、チャネル３で深度データを送信し、オーディオはもう１つのチャネルにより送信する。

本例示において、深度データは単独に１つのチャネルを占有し、他の実施形態において、該深度データを非キーフレームデータとともに送信してもよい。

ステップ６、受信端が各チャネルからのデータを受信して且つバッファし、データを処理した後復号化して表示する。

以上の実施形態は３Ｄデータを伝送する場合を説明しており、ビデオデータに対してタイプにより異なるチャネルで送信することにより、最終的にユーザの視聴環境が向上することを説明している。

当業者は、上記方法における全部又は一部のステップは、プログラムが関連のハードウェアに指令することにより完成することができ、前記プログラムはコンピュータ可読記憶媒体、例えば読み出し専用メモリ、ディスク又はＣＤなどに記憶することができることを理解することができる。選択的に、上記実施形態の全部又は一部のステップは、１つ又は複数の集積回路を採用して達成することもできる。対応的には、上記実施形態における各モジュール／ユニットはハードウェアの形式で達成してよく、ソフトウェア機能モジュールの形式で達成してもよい。本発明はいずれかの特定形式のハードウェアとソフトウェアの組み合わせに限定されたものではない。

勿論、本発明はさらに他の多くの種類の実施形態を有することができ、本発明の主旨及びその実質から逸脱しない場合には、当業者は、本発明により各種の相応の改変と変形を加えることができるが、これらの相応の改変と変形はいずれも本発明に付属する請求の範囲の保護範囲に属するべきである。

本発明の実施形態の方法と装置は、ソース端でビデオデータのフレームデータを処理することにより、異なるチャネルで異なる帯域幅、異なる優先度で送信し、データ量が大きく、優先度が高いデータを素早く受信端に到達することができ、受信端がデータを表示する際滑らかでないこと、モザイクなどの現象を減少することができ、効果的にユーザの視聴環境を向上させることができる。

Claims

マルチメディアビデオデータの送信方法であって、
ソース端は、キーフレームデータと非キーフレームデータのために異なるデータチャネルを設定し、キーフレームデータチャネルの帯域幅が非キーフレームデータチャネルの帯域幅よりも大きくするように設定されることと、
前記ソース端は、受信端へデータを送信する際、設定によりキーフレームデータと非キーフレームデータを異なるデータチャネルに載せて伝送することと、を含むマルチメディアビデオデータの送信方法。
キーフレームデータのために設定されたチャネルは、１つ又は複数であり、非キーフレームデータのために設定されたチャネルは、１つ又は複数である請求項１に記載の方法。
キーフレームデータチャネルを設定する優先度は非キーフレームデータチャネルの優先度よりも高くすることと、
データを送信する際、優先度の高いものから低いものの順序に従ってキーフレームデータと非キーフレームデータを送信することと、をさらに含む請求項１に記載の方法。
異なるタイプの非キーフレームのために異なるデータチャネルと異なる帯域幅を設定することと、
非キーフレームデータを送信する際、設定により異なるタイプの非キーフレームデータを異なるデータチャネルに載せて伝送することと、をさらに含む請求項１から３のいずれかに記載の方法。
異なるタイプの非キーフレームのために異なる優先度を設定することと、
非キーフレームデータを送信する際、優先度の高いものから低いものの順序に従って送信することと、をさらに含む請求項４に記載の方法。
マルチメディアビデオデータの受信方法であって、
受信端は、ソース端へリソース要求を送信し、前記ソース端でフィードバックされた設定内容により、ソース端と複数のデータチャネルを確立することと、
前記受信端は、異なるデータチャネルでキーフレームデータと非キーフレームデータを受信することと、
前記受信端は、受信されたキーフレームデータと非キーフレームデータを併合処理し且つ出力することと、を含むマルチメディアビデオデータの受信方法。
ソース端でフィードバックされた設定内容は、キーフレームデータと非キーフレームデータを載せるデータチャネルを含む請求項６に記載の方法。
マルチメディアビデオデータの送信装置であって、
キーフレームデータと非キーフレームデータのために異なるデータチャネルを設定し、キーフレームデータチャネルの帯域幅が非キーフレームデータチャネルの帯域幅よりも大きくするように設定されるように設置される設定モジュールと、
受信端へデータを送信する際、設定によりキーフレームデータと非キーフレームデータを異なるデータチャネルに載せて伝送するように設置される送信モジュールと、を含むマルチメディアビデオデータの送信装置。
前記設定モジュールがキーフレームデータのために設定されたチャネルは１つ又は複数であり、非キーフレームデータのために設定されたチャネルは１つ又は複数である請求項８に記載の送信装置。
前記設定モジュールは、さらに、キーフレームデータチャネルの優先度が非キーフレームデータチャネルの優先度よりも高く設定するように設置され、
前記送信モジュールは、優先度の高いものから低いものの順序に従ってキーフレームデータと非キーフレームデータを送信する方式でデータを送信するように設置される請求項８に記載の送信装置。
前記設定モジュールはさらに、異なるタイプの非キーフレームのために異なるデータチャネルと異なる帯域幅を設定するように設置され、
前記送信モジュールは、設定により異なるタイプの非キーフレームデータを異なるデータチャネルに載せて伝送する方式で非キーフレームデータを送信するように設置される請求項８から１０のいずれかに記載の送信装置。
前記設定モジュールはさらに、異なるタイプの非キーフレームのために異なる優先度を設定するように設置され、
前記送信モジュールは、優先度の高いものから低いものの順序に従って送信する方式で非キーフレームデータを送信するように設置される請求項１１に記載の送信装置。
マルチメディアビデオデータの受信装置であって、
ソース端へリソース要求を送信し、ソース端でフィードバックされた設定内容により、ソース端と複数のデータチャネルを確立するように設置された請求モジュールと、
異なるデータチャネルでキーフレームデータと非キーフレームデータを受信するように設置された受信モジュールと、
受信されたキーフレームデータと非キーフレームデータを併合処理し且つ出力するように設置された処理モジュールと、を含むマルチメディアビデオデータの受信装置。
前記設定内容は、キーフレームデータと非キーフレームデータを載せるデータチャネルを含む請求項１３に記載の受信装置。