JP2004214755A - 動的符号化レート変更方法及びその装置 - Google Patents

Abstract

【課題】ネットワークを介して接続している端末間において、メディアストリームデータの送受信を行う際に、携帯端末などのように搭載メモリサイズや処理能力に制限がある場合、連続して転送されてくるパケット化されたメディアストリームデータの処理が間に合わなかった時には、バッファに空きがないためにパケットを破棄してしまい、滑らかなメディアストリームデータの再生が困難となる問題を有していた。
【解決手段】本発明では、ネットワーク帯域に合わせてメディアストリームデータの符号化ビット量、サンプリング周波数、フレームレート等を動的に変更し、メディアストリームデータを送信することで、受信端末側でメディアストリームデータに含まれる音声や動画像、または音声と動画像の再生までの遅延時間を一定にし、さらに音声や動画像が途切れることなく連続して再生ができるようにした。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、音声データまたは動画像データまたは音声と動画像データからなるメディアストリームデータをパケット化し、端末間で送受信を行う際の送受信方法に関する。
【０００２】
【従来の技術】
音声や動画像データを圧縮し、ネットワークを介して送受信するシステムでは、MPEG(Moving Pictture Experts Group )やG.729などの符号化方式を用いて符号化し、H.323プロトコルにしたがって送受信する方法がある。しかし、確保できるネットワーク帯域以上のデータ転送を行い続けると、符号化データの復号化単位であるフレーム到着間隔が遅くなり、結果として動画像の表示間隔の乱れや、音声遅延の発生による音声の途切れといった問題が発生する。
【０００３】
そこで、使用可能なネットワーク帯域に合わせてデータレートを変更し、符号化された動画像データや音声データ、または1つ以上の動画像と音声からなるデータ(以下、メディアストリームデータ)の送受信を行うことで、音声の連続性を保持する方法が考案されている。
【０００４】
動画像や音声データの符号化レート変更方式に関する従来技術として、例えば、特許文献１は、ビットレート可変の音声符号化を行い、重要度の低い音声信号のビットレートを抑える方式である。また、特許文献２では、動画像ストリームを符号化する際に、破棄可能なデータ単位を基準にパケット化し、各パケットに優先度を設け、指定されたビットストリームに応じてパケット単位でヘッダに含まれる優先度を基に送信、または破棄するかを決定することで、ビットレートを制御する方式である。また、特許文献３では、音声ストリームデータを送受信する際のATM多重伝送装置において、パケットの到着時間と通話相手の符号化レートを検出し、符号化音声データ送信側の符号化レートを制御する方式である。
【０００５】
【特許文献１】
特開平11-2341139号公報
【特許文献２】
特開平10-200494号公報
【特許文献３】
特開平5-5606号公報
【０００６】
【発明が解決しようとする課題】
しかし、特許文献１では、音声の符号化方式の変更方法は明記してあるが、動的に変化するネットワーク帯域状態を監視し、音声符号化器にフィードバックすることでネットワーク帯域状態に適応した音声符号化方法を決定していない。
【０００７】
また、特許文献２では、動画像をパケット化した後に、ネットワーク帯域状態と、優先度を基にパケットを破棄しており、データの連続性が重要な音声データに適用すると、音声が途切れたりフレーム間の連続性が損なわれ、雑音が発生してしまう。
【０００８】
また、特許文献３では、端末間で符号化音声を送受信する際の符号化レートの制御をATM多重伝送装置で行っているため、 ATM多重伝送装置を中継した通信を端末間で行わなければならない。また、動画像や音声の符号化方式を変更した場合、符号化方式変更に伴うATM多重伝送装置の管理方法変更を、反映させるのが容易ではない。
【０００９】
さらに、前述した従来技術は、メディアストリームデータの送受信を行う各端末が用意している、メディアストリームデータ格納バッファサイズを考慮して通信を行っていない。よって、携帯端末などのように搭載メモリサイズや処理能力に制限がある場合、連続して転送されてくるパケット化されたメディアストリームデータの処理が間に合わなかった時には、バッファに空きがないためにパケットを破棄してしまう。よって、滑らかなメディアストリームデータの再生が困難となる問題を有している。
【００１０】
本発明の目的は、前述した従来技術の問題点を解決し、端末間でネットワークを介してメディアストリームデータを送受信する際、復号されたメディアストリームデータがスピーカや表示画面に出力開始されるまでの出力遅延時間を一定にし、出力が開始されてから途切れることのない連続したメディアストリームデータ出力を維持することで、滑らかな音声や動画像の視聴ができる、動的符号化レート変更方式を提供することにある。
【００１１】
【課題を解決するための手段】
本発明によれば、ネットワークに接続する通信手段を備える複数の端末相互間で、ネットワーク帯域に合わせてメディアストリームデータの符号化データレートを動的に変更する方式において、前記端末は、通信開始時に符号化データレートが明記してある、デフォルト符号化制御データを送受信し、前記デフォルト符号化制御データに従って音声データや動画像データを符号化し、メディアストリームデータを生成する。また、メディアストリームデータを受信してから一定期間経過するとメディアストリームデータの復号を開始し、通信開始後に一定期間毎に復号可能なフレームデータの受信数を計測する。また、受信したメディアストリームデータからネットワーク帯域情報を生成し、前記算出したネットワーク帯域情報と、受信したメディアストリームデータを格納するバッファ領域情報を基に、符号化制御データを生成し、前記符号化制御データを送受信することにより前記目的は、達成される。
【００１２】
前述において、デフォルト符号化制御データ及び、符号化制御データは音声符号化制御データ、または動画像符号化制御データ、または音声符号化制御データと動画像符号化制御データで構成されており、音声符号化制御データは符号化制御データヘッダ、送信時刻、サンプリング周波数、ビットレートに関する情報で構成され、動画像符号化制御データは符号化制御データヘッダ、送信時刻、フレームレート、ビットレートに関する情報で構成されている。
【００１３】
また、バッファ領域情報は、受信した復号可能なフレームデータのバッファ占有量に関する情報と、前記復号可能なフレームデータの再生時間情報と、バッファ領域情報の空き容量に関する情報を含む。
【００１４】
また、符号化制御データは音声符号化制御データだけを送受信したり、動画像符号化制御データだけを送受信したり、または、音声符号化制御データと動画像符号化制御データ両方の送受信を行うことで、動画像符号化制御、音声符号化制御、動画像と音声符号化制御を行うことができる。
【００１５】
また、前述において、符号化制御データを生成する手段は、前記ネットワーク帯域情報から動画像符号化制御データだけを生成する場合には、動画像符号化方式に適応できるフレームレートとビットレートの組み合わせを検索し、音声符号化制御データだけを生成する場合には、音声符号化方式に適応できるサンプリング周波数とビットレートの組み合わせを検索し、動画像と音声符号化制御データ両方を生成する場合には、両方の組み合わせを検索し、さらに前記バッファ情報から、バッファ領域内に保持したデータの再生時間が、一定時間以上である組み合わせを検索し、符号化制御データを生成する。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
(第1の実施形態) 本実施形態における動的符号化レート変更方式を採用した携帯端末間における、メディアストリームデータの送受信方法について説明する。
本発明はネットワークを介して接続している端末間において、メディアストリームデータの送受信を行う際に、ネットワーク帯域に合わせてメディアストリームデータの符号化ビット量、サンプリング周波数、フレームレート等を動的に変更し、符号化制御データを生成し送信することで受信端末側で音声か動画像、または音声と動画像の再生が始まるまでの遅延時間を一定にし、符号化制御データに音声符号化制御データが明記されていれば音声を、動画像符号制御データが明記されていれば動画像を、音声符号化制御データと動画像符号化制御データが明記されていれば音声と動画像の符号化制御を行うことで、連続して途切れのない再生ができるようにした方式である。
【００１７】
図1は本発明による動的符号化レート変更方式の概要を説明する図であり、図1を参照し、本発明の概要について説明する。図9は本発明を携帯端末に搭載した場合の実用図であり、携帯端末間でインターネットを介してメディアストリームデータを送受信している。図9において、110、111はメディアストリームデータの送受信を行う携帯端末、112、113はネットワークへのアクセスポイント、114はネットワーク、115はネットワークに接続しているサーバであり、携帯端末間の通信を監視し、通信時間、通信データ量などを監視している。
【００１８】
図1に示す動的符号化レート変更方式を携帯端末110、111に搭載することで、メディアストリームデータの遅延を一定にし、途切れのない滑らかな動画像、音声通話、または動画像と音声通信を実現できる。また、本実施形態ではAAC音声符号化方式を用いて、音声の符号化・復号化を行うものとする。
図1において、10はネットワークを介して受信するパケット化されたメディアストリームデータであり、11は動的に符号化レートを変化させるための情報である符号化制御データである。符号化制御データはある一定周期毎に形態端末110、111から出力する。パケット受信部12は受信したパケットデータから送信用ヘッダを除去し、元のデータに戻し、受信データバッファ13、受信データ解析/制御部16に送信する。受信データバッファ13は符号化音声データが格納され、受信データ解析/制御部16は一定周期毎に送信されてくる符号化制御データ11を受信し、ネットワーク帯域の分析後に破棄する。また、ネットワーク帯域の分析結果から、最適なサンプリング周波数とビットレートを算出し、符号化制御データ22を生成し、パケット送信部20から送信する。
【００１９】
受信データバッファ13に格納されたメディアストリームデータはメディアストリーム復号部15で復号される。
【００２０】
メディアストリーム生成部19はマイク17から入力された音声データを受信データ解析/制御部16から受信した符号化制御データに明記されたサンプリング周波数、ビットレートで、カメラ14から入力された動画像を受信データ解析/制御部16から受信した符号化制御データに明記されたフレームレート、ビットレートで符号化を行い、メディアストリームデータを生成する。メディアストリームデータは送信データバッファ18に格納され、パケット送信部20から送信する。
【００２１】
次に本実施形態1において、動的符号化レート変更方式を搭載した携帯端末110が符号化音声データで構成されるメディアストリームデータを送受信する動作過程について説明する。
【００２２】
携帯端末110は携帯端末111と通信開始時に、携帯端末が持っている音声符号制御データをデフォルト符号化制御データとして送受信する。図10は携帯端末110、111が保持している音声符号化制御データで構成されるデフォルト符号化制御データであり、本データが符号化制御データであることを示す符号化制御データヘッダ121、送信時間が明記してある開始時刻122、符号化サンプリング周波数データ123、符号化ビットレート124で構成されている。また、メディアストリームデータが動画像で構成されるデータであれば、動画像符号化制御データで構成されるデフォルト符号制御データを、メディアストリームデータが音声データと動画像データで構成される場合には、音声符号化制御データ、動画像符号化制御データ、または音声符号化制御データと動画像符号化制御データで構成される符号化制御データを携帯端末110、111で送受信する。
通信開始時、携帯端末110、111はデフォルト符号化制御データを送受信し、前記デフォルト制御データの値に従って、音声符号化を行う。また、デフォルト符号化制御データは各携帯端末の処理性能に合った値を設けることが可能であり、携帯端末での自動生成や、ユーザが設定することが可能である。
【００２３】
図4に示す符号化制御データを構成する音声符号化制御データ50は、本データが符号制御データであることを示す符号化制御データヘッダ51、本データを送信した時刻が示されている送信時刻52、音声符号化サンプリング周波数を示す要求サンプリング周波数53、音声符号時のデータ量を示す要求ビットレート54で構成されている。また、動画像符号化制御データ130は本データが符号制御データであることを示す符号化制御データヘッダ131、本データを送信した時刻が示されている送信時刻132、フレームレートを示す要求フレームレート133、動画像符号時のデータ量を示す要求ビットレート134で構成される。
メディアストリームデータを構成する符号化音声データ60は、図5に示す符号化音声ヘッダ部とデータ部で構成されており、本データが音声符号化データであることを示す符号化データシンクヘッダ61、受信時のパケットロストを示すエラーチェック62、サンプリング周波数63、何チャンネル分のデータであるかを示すチャンネル情報64、符号化音声ヘッダ部とデータ部を合計したデータ量を示すデータ長65、拡張情報66で符号化ヘッダ部を構成している。データ部は符号化音声データで構成されている。
【００２４】
符号化動画像データ140は、図5に示す符号化動画像ヘッダ部とデータ部で構成されており、本データが動画像符号化データであることを示す符号化データシンクヘッダ141、受信時のパケットロストを示すエラーチェック142、フレームレート143、ビットレートを示すビットレート情報144、符号化動画像ヘッダ部とデータ部を合計したデータ量を示すデータ長145、拡張情報146で符号化ヘッダ部を構成している。データ部は符号化動画像データで構成されている。
【００２５】
メディアストリームデータが符号化音声データで構成されている場合には、携帯端末110はマイク17から入力されたデータを、図10に示す携帯端末111から受信した、デフォルト符号化制御データで設定されている44.1kHz、32kbpsで音声符号化を行う。また、符号化音声データを送信バッファ18に格納し、パケット送信部20からネットワークを介して携帯端末111に符号化音声データで構成されるメディアストリームデータを送信する。
【００２６】
携帯端末111が送信した符号化音声データで構成されるメディアストリームデータを携帯端末110は、パケット受信部11でネットワークを介して受信する。受信したデータはメディアストリーム復号部15内の受信データバッファ13に格納される。また、受信データ解析/制御部16にもパケット受信部12で受信したデータが送られ、解析される。
【００２７】
次に受信データ解析/制御部16において、受信した符号化制御データ解析方法の詳細について述べる。受信データ解析/制御部の詳細を図2に示す。
受信データ内符号化ヘッダ解析部21ではパケット受信部12から送信されてきたデータ内部のヘッダを解析し、符号化制御データを検索する。受信したデータの先頭に符号化データシンクヘッダ61があった場合には、データ長65で示されているデータ分だけ破棄し、次のデータのヘッダ検索を行う。データの先頭に符号化制御データヘッダ51があった場合には送信時刻52を検索し、符号化制御データが送信された時刻と1つ前に受信した符号化制御データから取得した送信時刻を比較する。ここで、2つの送信時刻の差分が符号化制御データ配信間隔よりも大きい場合には次の符号化制御データがすぐに到着するので、本符号化制御データは破棄される。さらに、閾値を設け、送信時刻を処理した結果が閾値を超える場合にも符号化制御データを破棄してもよい。
【００２８】
上記処理結果として受信した符号化制御データが有効である場合には、 符号化制御データを符号化情報解析部26に送信し、要求サンプリング周波数53、要求ビットレート54がメディアストリーム生成部19で使用できる値であるか判定を行う。また、符号化制御データに動画像符号化制御データ130が含まれている場合には、要求フレームレート133、要求ビットレート134がメディアストリーム生成部19で使用できる値であるか判定を行う。
【００２９】
使用できる場合には、要求サンプリング周波数53と要求ビットレート54で指定された値を基にパラメータを生成し、メディアストリーム生成部19に送信する。また、受信した符号化か制御データに動画像符号化制御データが含まれている場合には、要求サンプリング周波数53と要求ビットレート54で指定された値を基にパラメータを生成し、メディアストリーム生成部19に送信する。
【００３０】
メディアストリーム生成部19はマイク17から入力された音声データ、またはカメラ14から入力された動画像データを、またはマイク17とカメラ14から入力された音声データと動画像データを符号化し、送信データバッファ18に符号化データを格納し、データが一定量貯まるとパケット送信部20に符号化データを送信する。パケット送信部20は受信したデータをパケット化し、ネットワークを介して携帯端末111にデータを送信する。
【００３１】
次に受信データ解析/制御部15における符号化制御データ生成方法の詳細について述べる。
【００３２】
携帯端末110は通信開始時にはデフォルト符号化制御データ(図10)でメディアストリームデータを生成するよう携帯端末111に通知し、メディアストリームデータの送受信を開始する。符号化音声の送受信開始後には、一定期間毎にネットワーク帯域を測定し、送信可能なデータ量を算出し、算出データ量に収まるように符号化を行う。さらに、復号再生中のメディアストリームデータの再生終了時間を見積もり、その時刻までに次の復号可能データが到着するようにすることで、一定の遅延時間で再生開始ができ、さらにネットワーク帯域情報とメディアストリームデータ再生時間から、適切なサンプリング周波数とビットレートで構成される音声符号化制御データを、またはフレームレートとビットレートで構成される動画像符号化制御データを、または音声符号化制御データと動画像符号化制御データを互いに通知し合うことで、滑らかなメディアストリームデータの再生を実現する。
【００３３】
受信データバッファモニター部27では、受信データバッファ13に格納されているデータ量とバッファ空きサイズを監視している。
【００３４】
デコード可能フレーム受信カウント部23では、受信データバッファ13にフレームがどれだけ格納されているかをカウントする。
【００３５】
符号化情報生成部24では、現在のネットワーク帯域情報と、復号部のバッファ情報を基に適切なサンプリング周波数、ビットレート情報を含む音声符号化制御データで構成される符号化制御データを、または適切なフレームレート、ビットレート情報を含む動画像符号化制御データで構成される符号化制御データを、または音声符号化制御データと動画像符号化制御データで構成される符号化制御データを生成する。
【００３６】
図3は符号化制御データを生成までの処理動作を説明するフロー図であり、符号化音声データで構成されるメディアストリームデータを送受信した場合について説明する。また、符号制御データを生成するための、データ計測期間をN(msec)とする。
【００３７】
(ステップ30)受信データ内符号化ヘッダ解析部21は受信データバッファ13
にN(msec)間で受信したメディアストリームデータのフレーム数をカウントする。図6はN(msec)間に受信データバッファ13に格納された、フレーム数のカウント処理フロー図である。N(msec)を経過していない場合(ステップ70)には受信データのヘッダ解析を行い(ステップ71)、符号化データシンクヘッダ61を見つけた場合には符号化音声ヘッダ部内に格納されているデータ長65だけ、データをカウントし、データフレームカウンタをインクリメントする。(ステップ72、73、74) N(msec)を経過した場合は、受信データのフレーム数と受信データ量を算出し、符号化情報生成部24に送信する。
【００３８】
(ステップ31)受信データバッファモニター部27は受信データバッファ13内に格納されているデータ量と空きバッファ量を計測し、受信可能なデータ量から最大ビットレートを算出する。図7はN(msec)間に受信したデータ量から、最大ビットレートを算出するフロー図である。N(msec)を経過すると(ステップ90)受信データサイズを計測し、受信データバッファ13内の空き容量を見積もる。(ステップ91、92)見積もった空き容量と現在バッファ内に格納しているデータの消費時間を計算し、メディアストリームデータが消費されるデータ量と空き容量から受信可能データ量を見積もり、最大ビットレートを算出する。(ステップ93)これにより、受信フレーム数と受信可能データサイズからビットレートを算出する。
【００３９】
(ステップ32)デコード可能フレーム受信カウント部23ではヘッダデータの解析を行い、受信データバッファ13内のメディアストリームデータが何(msec)再生可能なデータであるか見積もる。図8はN(msec)間に受信した符号化音声データで構成されるメディアストリームデータの再生時間算出フロー図である。
【００４０】
N(msec)を経過すると(ステップ80)受信データバッファ13に格納したメディアストリームに含まれる音声符号化データの符号化音声ヘッダ部60と動画像符号化データの符号化動画像ヘッダ部140の検索を行う。符号化データシンクヘッダ61を見つけた場合にはデータ長65を検索し、格納のされているデータ長分だけ受信データバッファ13にデータがあるかどうか分析する。もし、データ長分のデータがあれば、復号化できるデータがあると判断し、メディアストリームデータが符号化音声データで構成されている場合には、サンプリング周波数63から1フレームあたりの再生時間を算出する。
【００４１】
また、メディアストリームデータが符号化動画像データで構成されている場合には、フレームレート143とビットレート情報144から再生時間を算出する。
また、メディアストリームデータが符号化音声データと符号化動画像データで構成されている場合には、サンプリング周波数63、フレームレート143、ビットレート情報144から再生時間を算出する。
【００４２】
例えば、メディアストリームデータがAAC音声符号化方式を用いた符号化音声データで構成されている場合には、音声サンプリング数1024点で1フレームを構成し、44.1kHzでサンプリングされたデータは1フレームあたり、モノラル音声データであれば約23msecの音声再生ができる。これにより、デコード可能なフレーム数とサンプリング周波数から受信データの再生時間を取得する。
【００４３】
(ステップ33)符号化情報生成部24は、受信データ内符号化ヘッダ解析部21、デコード可受信データバッファモニター部27、 能フレーム受信カウント部23の計測結果である、デコード可能フレーム数、データの再生時間、現在の最大ビットレート情報を受信する。さらに、前記受信した情報を基に、ネットワーク帯域とメディアストリームデータの構成に合った音声符号化制御データ、または動画像符号化制御データ、または音声符号化制御データと動画像符号化制御データを算出し、符号化制御データの生成を行い送信する。
【００４４】
符号化情報生成部24では受信データバッファ13に格納するデータの目標再生時間が設けてあり、受信データバッファ13に目標となる再生時間以上再生できるような、符号化情報データを生成する。
【００４５】
次に図9においてAAC音声符号化方式により符号化されている符号化音声データで構成されているメディアストリームデータの送受信を行った場合について説明する。
【００４６】
携帯端末110、携帯端末111はAAC音声符号化方式で音声符号化を行う場合、受信データ解析/制御データ部16に、図11に示すAAC音声符号化時に使用される1フレーム当たりの音声サンプリング数と、AAC音声符号化で使用できるパラメータ表を登録する。前記パラメータ表には、サンプリング周波数ごとに適応できるビットレートが明記されている。また、図12に示す目標再生時間、デフォルト符号化制御データ(図10)、データ計測間隔もパラメータとして保持している。
【００４７】
別の音声符号化方式で音声データを符号化・復号化する場合には、符号化方式に特化したパラメータ表、目標差製時間データ量を登録する。
【００４８】
携帯端末110は、受信データバッファ13を100(kbytes)持っており、デフォルト符号化制御データとしてサンプリング周波数44.1kHz、ビットレート64(kbps)、チャンネルはモノラル、計測間隔2000(msec)、目標再生時間データ量5000(msec)を、パラメータとして格納している場合、通信開始時に携帯端末110は携帯端末111に対しデフォルト制御データを送信し、デフォルト制御データに従って音声符号化を行うように要求する。
【００４９】
携帯端末111は受信したデフォルト制御データに従って、マイク17から受信した音声データを符号化する。携帯端末110は携帯端末111から最初に送信されてきた符号化音声データ受信時に計測を開始し、計測開始から2000(msec)で受信したデータ数を算出する。
【００５０】
例えば、100フレームの音声符号化データを受信した場合には、受信データバッファ13に格納されたデータ量は128(kbits)であり、再生時間は2300(msec)、受信データバッファ13の空き領域は696(kbits)となる。
【００５１】
現在のビットレートから2300(msec)で受信できるデータ量は147.2(kbits)であり、前記受信できるデータ量で、目標再生時間である5000(msec)を達成できるサンプリング周波数とビットレートの組み合わせを検索する。
【００５２】
図14に示す符号化情報生成部は、図13に示す各サンプリング周波数で5000(msec)の再生を実現するフレーム量を次のように算出する。
48kHz：5000 / 21 = 238(フレーム)
44.1kHz：5000 / 23 = 217(フレーム)
32kHz：5000 / 32 = 156(フレーム)
16kHz：5000 / 64 = 78(フレーム)
さらに、図14に示す周波数とビットレート毎の、1フレーム当たりのデータ量と各周波数ごとのフレーム数が次の関係式を満たす組み合わせを検索する。
【００５３】
(目標生時間実現フレーム量)×(1フレームビット量(kbtis)) <= 147.2(kbits)これより、上記関係式を満たす組み合わせは16kHzで24kbps、16kbspの場合である。
【００５４】
前記検索した組み合わせにおいて条件を満たし、ビットレートが最もよいのは、16(kHz)、24(kbps)の組み合わせであり、携帯端末110は前記組み合わせで符号化するように明記した音声符号化制御データで構成される符号化制御データを生成する。
【００５５】
また、前記デフォルトパラメータで音声通信を開始した場合に、300フレームの音声データを受信した場合には、受信データバッファ13に格納されたデータ量は384(kbits)であり、再生時間は6900(msec)、受信データバッファ13の空き領域は416(kbits)となる。よって、6900(msec)以内で受信できるデータ量は441.6kbitsで再生時間が5000msec以上となるサンプリング周波数とビットレートの組み合わせを検索する。これにより、音質がよく、上記条件を満たす組み合わせは48kHz、72kbpsであることがわかり、前記組み合わせで符号化するように明記した音声符号化制御データで構成される符号化制御データを生成する。
【００５６】
また、符号化動画像データ、または符号化音声データと符号化動画像データで構成されるメディアストリームを用いた場合にも同様の方法で動画像符号化制御データ、または音声符号化制御データと動画像符号化制御データで構成される符号化制御データを生成することができる。
【００５７】
【発明の効果】
以上説明したように本発明によれば、端末間でネットワークを介して符号化音声データと符号化動画像データの送受信を行う際の、出力遅延時間を一定にし、音声出力、または動画像出力、または音声と動画像の出力が開始されてから途切れることのない滑らかな出力を維持することができる、動的符号化レート変更方式を提供することができる。
【図面の簡単な説明】
【図１】本発明による動的符号化レート変更方式の説明図
【図２】本発明の動的符号化レート変更方式を実現する受信データ解析/制御部の詳細図
【図３】本発明の動的符号化レート変更方式における符号化制御データ生成フロー
【図４】符号化制御データ構成図
【図５】符号化音声データ構成図
【図６】N秒間に受信し、バッファに保持したデータフレーム数のカウントフロー
【図７】受信フレーム数と受信可能データサイズからビットレートを算出フロー
【図８】ヘッダデータの解析を行い何msec再生可能なデータであるか分析するフロー
【図９】本発明における第1の実施形態による動的符号化レート変更方式を携帯端末に搭載した場合の実用例
【図１０】携帯端末に搭載されているデフォルト符号化制御データ例
【図１１】AAC符号化時のパラメータ
【図１２】目標再生時間パラメータ
【図１３】AACフレームの再生時間
【図１４】パラメータ表から生成された1フレーム当たりのビット量(kbit)
【符号の説明】
10…メディアストリームデータ
11…符号化制御データ
12…パケット受信部
13…受信データバッファ
14…カメラ
15…メディアストリーム復号部
16…受信データ解析/制御部
17…マイク
18…送信データバッファ
19…メディアストリーム生成部
20…パケット送信部
21…受信データ内符号化ヘッダ解析部
22…符号化制御データ
23…デコード可能フレーム受信カウント部
24…符号化情報生成部
27…受信データバッファモニター部
50…音声符号化制御データ
51…符号化制御データヘッダ
52…送信時刻
53…要求サンプリング周波数
54…要求ビットレート
60…符号化音声データ
61…符号化データシンクヘッダ
62…エラーチェック
63…サンプリング周波数
64…チャンネル情報
65…データ長
66…拡張情報
110、111…メディアストリームデータの送受信を行う携帯端末
112、113…アクセスポイント
114…ネットワーク
115…サーバ
121…符号化制御データヘッダ
122…開始時刻
123…符号化サンプリング周波数データ
124…符号化ビットレート
130…動画像符号化制御データ
131符号化制御データヘッダ
132…送信時刻
133…要求フレームレート
134…要求ビットレート
140…符号化動画像データ
141…符号化データシンクヘッダ
142…エラーチェック
143…フレームレート
144…ビットレート情報
145…符号化動画像ヘッダ部とデータ部を合計したデータ量を示すデータ長
146…拡張情報

Claims (5)

1. メディアストリームデータをネットワークを介して送受信する端末間で、ネットワーク帯域に合わせてメディアストリームデータ符号化時の符号化レートを動的に変更する方法であって、
   通信開始後に一定期間毎に受信するデータ量の計測を行い、前記計測結果からネットワーク帯域情報を生成し、
   前記ネットワーク帯域情報と受信データを格納するバッファ情報から、メディアストリームデータ符号化方法に関する符号化制御データを生成し、
   前記生成した符号化制御データを受信した端末は、前記符号化制御データに明記された情報を基にメディアストリームデータの符号化を行い、前記メディアストリームデータを送信することを特徴とする動的符号化レート変更方法。
2. 請求項１記載の動的符号化レート変更方法であって、
   前記メディアストリームデータは符号化された動画像または音声データを復号するために必要な情報と符号化データからなるデータを1つ以上含むデータで構成されており、前記符号化制御データを基にメディアストリームデータを生成し、送受信を行うことを特徴とする動的符号化レート変更方法。
3. 請求項１記載の動的符号化レート変更方法であって、
   前記ネットワーク帯域情報は、前記端末が一定期間に受信したデータ量の内、復号化可能なフレームデータ数をカウントすることで、ビットレートを算出することを特徴とする請求項1の動的符号化レート変更方法。
4. 請求項１または請求項２のいずれか記載の動的符号化レート変更方法であって、
   前記符号化制御データを生成する手段は、メディアストリームデータを受信してから一定期間経過するとメディアストリームデータの復号を開始し、通信開始後に一定期間毎に復号可能なメディアストリームデータの受信数を計測し、受信したメディアストリームデータからネットワーク帯域情報を生成し、前記算出したネットワーク帯域情報と、受信データを格納するバッファ領域情報を基に、符号化制御データを生成することを特徴とする動的符号化レート変更方法。
5. 請求項1または2または3のいずれか記載の動的符号化レート変更方法であって、
   前記符号化制御データは、音声符号化制御データと動画像符号化制御データがあり、音声符号化制御データには送信した時刻、要求サンプリング周波数、要求ビットレートに関する情報を含み、動画像符号化制御データには送信した時刻、要求フレームレート、要求ビットレートに関する情報を含み、
   前記バッファ領域情報は、受信した復号可能なメディアストリームデータのバッファ占有量に関する情報と、前記復号可能なメディアストリームデータの再生時間情報と、バッファ領域情報の空き容量に関する情報を含むことを特徴とする動的符号化レート変更方法。

Images