JP2005110013A - 受信装置、受信方法および受信プログラム - Google Patents

Abstract

【課題】欠落したパケットに起因する再生不良等の不都合を解消することのできる受信装置を提供する。
【解決手段】デジタルデータを受信する受信手段１１０と、デジタルデータを順次蓄積する記憶手段１３０と、記憶手段１３０に予め設定された再生時間に相当するサイズのデジタルデータを記憶手段１３０に蓄積したことを条件として、デジタルデータを順次出力する出力手段１８０と、デジタルデータの送信元に対して、当該デジタルデータの再送を要求するか否かを決定する再送判定手段１４０と、再送判定手段１４０がデジタルデータの再送を要求すると決定した場合に、設定された再生時間を変更する変更手段１２０とを備え、出力手段１８０は、変更手段１２０が記憶手段１３０において予め設定された再生時間を変更した場合に、記憶手段１３０が変更後の再生時間に相当するサイズのデジタルデータを蓄積したことを条件として当該デジタルデータを順次出力する。
【選択図】 図１

Description

本発明は、動画データおよび音声データのうち少なくとも一方を含むデジタルデータを受信する受信装置、受信方法および受信プログラムに関するものである。

近年、画像などの各種情報のデジタル符号化技術および高帯域ネットワーク技術の親展により、これらを利用したアプリケーションの開発が盛んになってきている。これに伴って、画像等のデジタルデータを圧縮符号化し、通信網を介して伝送するシステムが開発されている。

画像通信を確立するための送信端末と受信端末との間のセッション管理プロトコルとしてＲＴＳＰが規定されている（非特許文献１参照）。これにより、送信端末と受信端末との間ではＲＴＳＰによりセッションの開始、マルチメディアコンテンツの送信開始、一時停止、およびセッションの終了等の制御が可能となる。

また、画像をインターネットやイントラネットで伝送する場合、ネットワークの帯域では生の画像伝送分の帯域を確保できないため、画像信号を例えばＭＰＥＧなどの符号化方式で圧縮する技術が知られている。これによりデータ量を削減することができる。しかし、不安定なインターネットにデータを流すことでパケット損失や誤りの混入という問題が生じる。動画像符号化方式が前のフレームとの差分のみを送信することから、データの一部が欠落することが特に問題となる。

この問題を解決すべく、ＩＥＴＦ(Ｔｈｅ Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ)では、ＲＴＰの再送に関する規格を制定している（非特許文献２および非特許文献３参照）。

ＩＥＴＦでは、ＡＶＰＦというプロトコルを使い、受信できなかったパケット番号を送信側にＮＡＣＫというコマンドで通知する。送信側ではこのＮＡＣＫから消失したパケットを特定し、ＲＴＰ再送の規格に準じてヘッダを構成し、受信側へ送信する。

さらに、ＲＴＰは主にリアルタイム通信に利用されることから、再送しても表示に間に合わないパケットは再送しないような制御を行う技術も提案されている（非特許文献４参照）。

また、再送パケットが到着するまでに遅延があり、リアルタイム再生に間に合わない可能性があるため、再送を記録用途に利用することも提案されている。その際は、再送パケットをリアルタイムと同じ信頼性の低いＵＤＰで伝送するのではなく、信頼性のあるＴＣＰで伝送するようにする等の工夫がなされている（非特許文献５参照）。

H. Schulzrinne, et al, "Real Time Streaming Protocol (RTSP)", IETF RFC2326, April 1998. Schulzrinne, H., Casner, S., Frederick, R. and V. Jacobson "RTP: A Transport Protocol for Real Time Applications", RFC 1889, January 1996. Joerg Ott, et al, "Extended RTP Profile for RTCP-based Feedback (RTP/AVPF)", IETF Internet Draft, draft-ietf-avt-rtcp-feedback-04.txt, work in progress, October 2002. 井戸 大治, 他, "データ送信装置、データ受信装置、およびデータ通信システム", P2002-84338, Mar. 2002. 小林 誠, "通信制御装置、通信制御方法、及び通信制御プログラムが記録された記録媒体", P2002-199019, July 2002.

従来の技術では、ネットワークのプロトコルとして、ＲＴＰのフィードバック情報(ＲＴＣＰ)や、再送制御（ＲＴＰ Ｒｅｔｒａｎｓｍｉｓｓｉｏｎ)等が提案され規格化されてきたが、パケットのフォーマットだけが規定されており、ＲＴＣＰや再送をどのように使用すべきかが提示されていない。

再送要求の発行の方法としては、従来例で示したようにリアルタイム再生に間に合わない再送パケットは伝送しない方法がある。しかし、この方法ではネットワークの誤り率が高い場合や、伝送遅延が大きい場合に、再送による誤り復帰の確率があまり高くならないという問題がある。

例えば、再送要求自身や再送要求に対する応答が誤りにより消失してしまうことや、伝送遅延が大きいために再送されてきたパケットが再生時刻に間に合わないという問題が発生する。

本発明は、上記に鑑みてなされたものであって、複数回の再送や大きな伝送遅延のある環境においても、パケットの欠落により精度良く再生できない等の不都合を解消することのできる装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、動画データおよび音声データのうち少なくとも一方を含むデジタルデータを受信する受信装置であって、前記デジタルデータを受信する受信手段と、前記受信手段が受信した前記デジタルデータを順次蓄積する記憶手段と、前記記憶手段に予め設定された再生時間に相当するサイズの前記デジタルデータを前記記憶手段に蓄積したことを条件として、前記記憶手段に蓄積されている前記デジタルデータを順次出力する出力手段と、前記受信手段が受信した前記デジタルデータの送信元に対して、当該デジタルデータの再送を要求するか否かを決定する再送判定手段と、前記再送判定手段が前記デジタルデータの再送を要求すると決定した場合に、前記設定された再生時間を変更する変更手段とを備え、前記出力手段は、前記変更手段が前記記憶手段において予め設定された再生時間を変更した場合に、前記記憶手段が変更後の前記再生時間に相当するサイズの前記デジタルデータを蓄積したことを条件として当該デジタルデータを順次出力することを特徴とする。

本発明にかかる受信装置は、再送判定手段が再送要求を送信すると決定した場合には、出力手段による出力が開始されるまでに記憶手段に蓄積すべきデジタルデータのサイズを変更することができるので、再送要求に対して再送されたデジタルデータにより、既に蓄積しているデジタルデータ中の欠落データを補填し、出力手段は、補填後のデジタルデータを再生出力することができるという効果を奏する。すなわちパケットの欠落により精度良く再生できない等の不都合を解消することができるという効果を奏する。

以下に、本発明にかかる受信装置、受信方法および受信プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、実施例１にかかるマルチメディアコンテンツ受信装置１０の機能構成を示すブロック図である。マルチメディアコンテンツ受信装置１０は、受信部１１０と、解析部１２０と、バッファ部１３０と、再送判定部１４０と、送信部１５０と、復号部１７０と、表示部１８０とを備えている。

受信部１１０は、外部からマルチメディアコンテンツデータ２００を受信する。ここで、マルチメディアコンテンツデータとは、動画データおよび音声データのうち少なくともいずれか一方を含むデータである。すなわち、時間的に連続した再生可能なデータである。受信部１１０は、受信したマルチメディアコンテンツデータ（以下、「受信データ」と称する）２０２を解析部１２０に送る。

解析部１２０は、受信部１１０から受信データ２０２を受け取り、受信データ２０２からデータの種類、パケットヘッダなどを解析し、正しく受信できていているか等を検証する。解析部１２０は、受信データ２０２からパケットヘッダ等の伝送上必要だった情報を取り除く処理を行い、処理後の受信データ２０４をバッファ部１３０に送る。

解析部１２０はまた、バッファ部１３０に蓄積すべき受信データの容量を決定する。具体的には、蓄積すべき受信データを再生した場合に要する再生時間を決定する。すなわち、再生時間に対応するデータサイズを決定する。より具体的には、バッファ部１３０に蓄積すべき受信データのフレーム数を決定する。そして、バッファ１３０に蓄積するデータのフレーム数に対応する再生時間であるバッファリング時間を示すバッファリング時間情報２１０をバッファ部１３０に送る。

解析部１２０はまた、解析結果からネットワークの状態を判断し、ネットワークの状態を示すネットワーク状態情報２２０を再送判定部１４０に送る。ここでネットワーク状態情報２２０には、パケットの欠落頻度等を示す情報等が含まれている。

なお、実施例にかかる解析部１２０は、本発明にかかる受信状況検出手段を構成する。また実施例にかかるバッファ部１３０は、本発明にかかる記憶手段を構成する。

バッファ部１３０は、解析部１２０から受信データ２０４を受け取り順次蓄積していく。なお、バッファ部１３０に蓄積された受信データのフレーム数、すなわち再生時間が予め定められたバッファリング時間に達すると、バッファ部１３０に蓄積された受信データは順次復号部１７０に送られる。そして、復号部１７０は、受信データ２０６に適した復号処理を施す。復号部１７０は、復号化した後の受信データ２０７を表示部１８０に送る。表示部１８０は、受け取った受信データ２０７を表示する。なお、実施例にかかる表示部１８０は、本発明の出力手段を構成する。

再送判定部１４０は、解析部１２０からネットワーク状態情報２２０を受け取り、ネットワーク状態情報２２０に基づいて、欠落したパケットを再度送信する旨を要求するか否かを判断する。そして、再度送信する旨を要求すると判断した場合には、送信部１５０に対して再送要求２４０を送る。ここで、再送要求２４０とは、欠落したパケットを特定する情報と、当該パケットを再送する旨を指示する情報とを含んでいる。再送判定部１４０はまた、再送に関する再送情報２３０を解析部１２０に送る。

送信部１５０は、再送判定部１４０から再送要求２４０を受け取ると、マルチメディアコンテンツデータ２００の送信元に対して再送要求２５０を送信する。また、再送判定部１４０は、再送要求の送信を指示するか否かを示す再送情報２３０を解析部１２０に送る。これにより、解析部１２０は、再送情報２３０に基づいてネットワークの状態等を解析することができる。

図２は、解析部１２０の詳細な機能構成を示すブロック図である。解析部１２０は、パケット解析部１２１と、ネットワーク状態判定部１２２と、バッファリング時間決定部１２３と、バッファリング時間変更部１２４を有している。

パケット解析部１２１は、受信部１１０から受け取った受信データ２０２からデータの種類、パケットヘッダなどを解析する。パケット解析部１２１は解析結果を示す解析結果情報２６０をネットワーク状態判定部１２２に送る。また、パケット解析部１２１は、受信データ２０４をバッファ部１３０に送る。

ネットワーク状態判定部１２２は、パケット解析部１２１から受け取った解析結果情報２６０および再送判定部１４０から受け取った再送情報２３０に基づいてパケット欠落の発生頻度、パケット誤り率、および伝送にかかった遅延などを検出する。

なお、伝送プロトコルとしてＲＴＰを利用した場合には、ネットワーク状態判定部１２２は、ＲＴＰパケットの受信状況に加えて、ＲＴＣＰの制御プロトコルで伝達されてきている情報も受け取り、受け取った情報に基づいて、ネットワークの状態を判定する。ネットワーク状態判定部１２２は、判定結果を示すネットワーク判定情報２３２をバッファリング時間決定部１２３および再送判定部１４０に送る。

バッファリング時間決定部１２３は、ネットワーク状態判定部１２２で判定されたネットワーク状態を示すネットワーク状態情報２２０をネットワーク状態判定部１２２から受け取る。そして、バッファリング時間決定部１２３は、ネットワーク判定情報２３２に含まれる再送回数および再送判定結果情報から式１に示すように、再送回数と再送要求を発行する時間間隔の積をバッファリング時間として算出する。
バッファリング時間 ＝ 再送要求間隔 × 必要再送回数・・・式１

また、他の例としては、式２に示すようにパケット往復時間を考慮してバッファリング時間を算出してもよい。
バッファリング時間 ＝ 再送要求間隔 × 必要再送回数 ＋ パケット往復時間・・・式２

そして、算出したバッファリング時間を示すバッファリング時間情報２１０をバッファリング時間変更部１２４に送る。

また他の例としては、欠落パケットの出現頻度に基づいてバッファリング時間を決定してもよい。また他の例としては、誤り率に基づいてもよい。また他の例としては、伝送遅延量に基づいてもよい。また他の例としては、欠落パケットの出現頻度、誤り率、および伝送遅延量の組み合わせに基づいてもよい。

また、必要であればネットワーク状態判定部１２２に対してもバッファリング時間情報２１０を送る。これにより、ネットワーク状態判定部１２２は、バッファリング時間決定部１２３が算出したバッファリング時間を考慮してネットワーク状態の判定を行うことができる。

バッファリング時間変更部１２４は、バッファリング時間情報２１０を受け取り、バッファリング時間情報２１０に示される時間に変更するか否かを判断し、変更すると判断した場合には、バッファ部１３０に対してバッファリング時間情報２１０を送る。すなわち、バッファ部１３０におけるバッファリング時間を変更する。なお、バッファリング時間変更部１２４は、例えば欠落パケットの出現頻度に基づいてバッファリング時間を変更するか否かを判断する。

また他の例としては、バッファリング時間変更部１２４は、誤り率に基づいてバッファリング時間を変更するか否かを判断してもよい。また他の例としては、伝送遅延量に基づいてもよい。また、欠落パケットの出現頻度、誤り率、および伝送遅延量のうち少なくとも１つに基づいてバッファリング時間を変更するか否かを判断してもよい。

図３は、バッファ部１３０の詳細な機能構成を示すブロック図である。バッファ部１３０は、サイズ制御部１３１と、バッファメモリ部１３２を有している。

バッファリング時間情報２１０は、解析部１２０からサイズ制御部１３１に送られる。サイズ制御部１３１は、バッファリング時間情報２１０に基づいてバッファメモリ部１３２を制御する。より具体的には、サイズ制御部１３１は、バッファリング時間情報２１０から適正バッファリング時間に必要なメモリ量などの必要なパラメータを取得し、バッファメモリ部用パラメータ２７０としてバッファメモリ部１３２に設定する。

バッファメモリ部１３２は、通知されたバッファメモリ部用パラメータ２７０に従ってバッファメモリを構成する。バッファメモリ部１３２は、解析部１２０から送られた受信データ２０４を、設定されたバッファリング時間に従って蓄積した後、受信データ２０６として出力する。出力されたデータは、復号器などを経て、画面等に表示・出力されることになる。

図４は、再送判定部１４０の詳細な機能構成を示すブロック図である。再送判定部１４０は、再送判定部１４１と、再送回数決定部１４２と、再送要求生成部１４３とを有している。

ネットワーク状態情報２２０は、ネットワーク状態判定部１２２から再送判定部１４１に送られる。再送判定部１４１は、ネットワーク状態情報２２０に基づいてパケットロス率、バッファリング時間、パケットの時刻情報等の情報２２２を再送回数決定部１４２に送る。

再送回数決定部１４２は、情報２２２から必要な最大再送回数を算出する。例えば、最大n回再送要求の送信を行った場合、誤り率e_totalは式３のような式で求めることができる。ここで、誤り率ｅは、片道の誤り率であって、対称な誤り率と仮定している。

そして、目標とする誤り率e_targetよりもe_totalが小さくなるようなnを算出する。

なお、この例は必要再送回数の算出方法の例であり、他の方法で導出することも可能である。

算出された再送回数ｎを示す再送回数情報２２４は再送判定部１４１に戻され、再送要求を行うかどうかの判定に利用される。再送判定部１４１は、再送要求を行うと判定した場合には、再送要求を指示する再送指示２４２を再送要求生成部１４３に送る。ここで、再送指示２４２は、再送要求を行うと判定されたパケットを特定する情報と、再送要求の送信先、すなわちパケットの送信元を示す情報とを含んでいる。

再送判定部１４１はまた、再送要求を行うか否かおよび再送回数を示す再送情報２３０をネットワーク状態判定部１２２に送る。これにより、ネットワーク状態判定部１２２は、再送情報２３０に基づいてネットワークの状態を判定することができる。

再送要求生成部１４３は、再送指示２４２に基づいて再送要求２４０を生成する。同時に、必要再送回数や再送判定部１４１で判定した結果のうち必要な情報を含む再送情報２３０はネットワーク状態判定部１２２に戻され、ネットワークの状態判定に利用される。

図５は、実施例１にかかるマルチメディアコンテンツ受信装置１０におけるバッファリング時間変更処理を示すフローチャートである。受信部１１０が外部からマルチメディアコンテンツデータ２００を受信すると（ステップＳ１００）、解析部１２０は、受信部１１０から受信データ２０２を受け取り、パケットの内容等を解析する（ステップＳ１０２）。次に、解析部１２０のネットワーク状態判定部１２２は、受信部１１０から受け取った受信データ２０２に基づいてネットワーク状態を判定する（ステップＳ１０４）。

再送判定部１４０は、解析部１２０から受け取ったネットワーク状態情報２２０に基づいて、欠落したパケットの再送を要求するか否かを決定する。

再送判定部１４０が再送を要求すると決定した場合には（ステップＳ１１０，Ｙｅｓ）、再送判定部１４０は、マルチメディアコンテンツデータ２００の送信元に向けて再送要求２５０を送信する（ステップＳ１１２）。

一方、解析部１２０のバッファリング時間決定部１２３は、ネットワーク状態判定部１２２から受け取ったネットワーク状態情報２２０に基づいて、バッファリング時間を算出する（ステップＳ１１４）。

次に、バッファリング時間変更部１２４は、バッファリング時間を変更するか否かを判断する（ステップＳ１２０）。バッファリング時間を変更すると判断した場合には、（ステップＳ１２０，Ｙｅｓ）、バッファリング時間変更部１２４は、バッファリング時間決定部１２３が決定したバッファリング時間をバッファ部１３０に設定する（ステップＳ１２２）。以上で、マルチメディアコンテンツ受信装置１０におけるバッファリング時間変更処理が完了する。

このように、実施例１によれば、再度欠落パケットを受信するのを待ち受ける場合には、バッファ部１３０におけるバッファリング時間を変更することができるので、欠落パケットを補填し、バッファ部１３０から補填後の受信データ２０６を送出することができる。

なお、再送を行う当該システムにおいては、マルチメディアコンテンツデータ２００の送信側はバッファリング時間を考慮して、コンテンツ送信終了後も再送要求の受付を待つ必要がある。最後のパケットデータを送信終了後にも、再送要求が受信側から送られてくることがあるからである。

バッファリング時間を変更する場合には、送信側もこれに対応して最後のオリジナルパケットデータを送信終了後、変更されたバッファリング時間に対応した時間分だけ再送要求の受信を待つように設定しておく。この場合、バッファリング時間の変更を送信部１５０を介して通知してもよい。

また、このバッファリング時間を通知する方式が受信側で利用できない場合には、送信側で受信側がＲＴＣＰなどの受信状況情報を用いて、受信側で計算している適性バッファリング時間を推定し、この値を使ってオリジナルデータ送信終了後の再送要求待ち時間を決定する方式を利用することができる。

図６は、実施例１に係るマルチメディアコンテンツ受信装置１０のハードウェア構成を示す図である。マルチメディアコンテンツ受信装置１０は、ハードウェア構成として、マルチメディアコンテンツ受信装置１０におけるバッファリング時間変更処理を実行するプログラムなどが格納されているＲＯＭ５２、ＲＯＭ５２内のプログラムに従ってマルチメディアコンテンツ受信装置１０の各部を制御し、バッファリング時間変更処理等を実行するＣＰＵ５１、ワークエリアが形成され、マルチメディアコンテンツ受信装置１０の制御に必要な種々のデータが記憶されているＲＡＭ５３、ネットワークに接続して、通信を行う通信I／Ｆ５７、および各部を接続するバス６２を備えている。

先に述べたマルチメディアコンテンツ受信装置１０におけるバッファリング時間変更処理を実行するバッファリング時間変更プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。ここで、バッファリング時間変更プログラムは、本発明にかかる受信プログラムに相当する。

また、本実施例のバッファリング時間変更処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

この場合には、バッファリング時間変更プログラムは、マルチメディアコンテンツ受信装置１０において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。

次に、実施例２にかかるマルチメディアコンテンツ受信装置１０について説明する。図７は、実施例２にかかるマルチメディアコンテンツ受信装置１０の解析部１２０の詳細な機能構成を示すブロック図である。

実施例２にかかる解析部１２０は、実施例１にかかる解析部１２０の機能構成に加えて、さらに適正時間保持部１２５を有している。

適正時間保持部１２５は、バッファ部１３０に設定すべき適正なバッファリング時間の最大値および最小値を保持している。すなわち、適正時間保持部１２５は、バッファリング時間の適正範囲を保持している。そして、バッファリング時間変更部１２４は、適正時間保持部１２５に保持されているバッファリング時間の最大値および最小値と、バッファリング時間決定部１２３において決定されたバッファリング時間とを比較して、変更すべきバッファリング時間を決定する。

図８は、実施例１において説明したバッファリング時間変更処理（ステップＳ１２２）における詳細な処理を示すフローチャートである。ステップＳ１２２において、バッファリング時間変更部１２４はバッファリング時間決定部１２３において決定されたバッファリング時間と、適正時間保持部１２５に保持されているバッファリング時間とを比較する（ステップＳ２００）。

バッファリング時間決定部１２３において決定されたバッファリング時間が、適正時間保持部１２５に保持されているバッファリング時間の最大値以下であって、かつ適正時間保持部１２５に保持されているバッファリング時間の最小値以上である場合には（ステップＳ２０２，Ｙｅｓ、ステップＳ２１０，Ｙｅｓ）、バッファ部１３０のバッファリング時間をバッファリング時間決定部１２３が算出したバッファリング時間に変更する（ステップＳ２１２）。

また、バッファリング時間決定部１２３において決定されたバッファリング時間が適正時間保持部１２５に保持されている最大値よりも大きい場合には（ステップＳ２０２，Ｎｏ）、バッファ部１３０のバッファリング時間を適正時間保持部１２５に保持されている最大値に変更する（ステップＳ２０４）。

また、バッファリング時間決定部１２３において決定されたバッファリング時間が適正時間保持部１２５に保持されている最大値以下であって、かつ適正時間保持部１２５に保持されている最小値よりも小さい場合には（ステップＳ２０２，Ｙｅｓ、ステップＳ２１０，Ｎｏ）、バッファ部１３０のバッファリング時間を適正時間保持部１２５に保持されている最小値に変更する（ステップＳ２１４）。

以上のように、実施例２にかかるマルチメディアコンテンツ受信装置１０においては、バッファリング時間決定部１２３が算出したバッファリング時間が適正時間保持部１２５に予め設定されている適性バッファリング時間の範囲内にない場合には、適切な時間に修正することができる。これにより、極端に長い時間および極端に短い時間を設定することにより、受信データの適切なバッファリングができなくなるのを避けることができる。

なお、実施例２にかかるマルチメディアコンテンツ受信装置１０の上記以外の構成および処理は、実施例１において説明したマルチメディアコンテンツ受信装置１０の構成および処理と同様である。

次に、実施例３にかかるマルチメディアコンテンツ受信装置１０について説明する。実施例１にかかるマルチメディアコンテンツ受信装置１０は、パケットを受信する毎に、バッファリング時間を計算し、必要であればバッファリング時間を変更したが、これにかえて、実施例３に係るマルチメディアコンテンツ受信装置１０は、現在バッファ部１３０に設定されているバッファリング時間と、受信したパケットの情報に基づいてバッファリング時間変更部１２４において決定されたバッファリング時間との差分が、予め定められた閾値よりも大きい場合にのみバッファリング時間を変更する。この点で、実施例３にかかるマルチメディアコンテンツ受信装置１０は、他の実施例にかかるマルチメディアコンテンツ受信装置１０と異なっている。なお、本実施例にかかる解析部１２０は、本発明にかかる比較手段を構成する。

図９は、実施例１において図５を参照しつつ説明したバッファリング時間変更有無決定処理（ステップＳ１２０）における実施例３にかかるマルチメディアコンテンツ受信装置１０の詳細な処理を示すフローチャートである。

バッファリング時間変更部１２４は、バッファリング時間決定部１２３が決定したバッファリング時間と、現在バッファ部１３０において設定されているバッファリング時間の差分である、バッファリング時間の差分を算出する（ステップＳ２２０）。

そして、バッファリング時間の差分が、予め定められた閾値以上である場合には（ステップＳ２２２，Ｙｅｓ）、バッファリング時間変更部１２４は、バッファリング時間を変更することを決定する（ステップＳ２２４）。一方、変化量が、閾値よりも小さい場合には（ステップＳ２２２，Ｎｏ）、バッファリング時間変更部１２４は、バッファリング時間を変更しないと決定する（ステップＳ２２６）。

複数のパケットを受信している状況で、パケット毎に適正バッファリング時間を計算し、その度にバッファリング時間を変更すると、バッファリング時間が頻繁に変わり、処理が不安定になる可能性がある。これに対して、実施例３にかかるマルチメディアコンテンツ受信装置１０は、バッファリング時間の差分が閾値を超えた場合にのみバッファリング時間を変更するので、頻繁にバッファリング時間が変更されるのを避けることができる。

なお、実施例３にかかるマルチメディアコンテンツ受信装置１０の上記以外の構成および処理は、実施例１において説明したマルチメディアコンテンツ受信装置１０の構成および処理と同様である。

また、実施例３においては、バッファリング時間変更部１２４は、バッファリング時間決定部１２３が算出したバッファリング時間と現在バッファ部１３０に設定されているバッファリング時間の間の差分に基づいて、バッファリング時間を変更するか否かを判断したが、他の例としては、バッファリング時間変更部１２４は、ネットワーク状態判定部１２２が判定したネットワーク状態の変化量に基づいてバッファリング時間を変更するか否かを判断してもよい。なお、変更例にかかる解析部１２０は、本発明にかかる状況変動検出手段を構成する。

図１０は、この変更例にかかるバッファリング時間変更有無決定処理（ステップＳ１２０）におけるマルチメディアコンテンツ受信装置１０の詳細な処理を示すフローチャートである。

図１０に示すように、本例においては、まずバッファリング時間変更部１２４は、ネットワーク状態判定部１２２が判定した現在のネットワーク状態と、前回判定したネットワーク状態との間の変化量を算出する（ステップＳ２３０）。ここで、ネットワーク状態の変化量とは、例えば、欠落パケットの出現頻度の差分値である。また例えば、伝送遅延量の差分値や、誤り率の差分値などであってもよい。

そして、ネットワーク状態の変化量が、予め定められた閾値以上であえる場合には（ステップＳ２３２，Ｙｅｓ）、バッファリング時間変更部１２４は、バッファリング時間を変更することを決定する（ステップＳ２３４）。一方、変化量が、閾値よりも小さい場合には（ステップＳ２３２，Ｎｏ）、バッファリング時間変更部１２４は、バッファリング時間を変更しないと決定する（ステップＳ２３６）。

このように、ネットワーク状態の変化量に基づいてバッファリング時間を変更するか否かを決定してもよい。この場合も、実施例３にかかるマルチメディアコンテンツ受信装置１０と同様に、バッファリング時間の変更が頻繁に起きるのを避けることができる。

なお、マルチメディアコンテンツ受信装置１０を実装するシステムによって、ネットワーク状態とバッファリング時間のいずれの値が利用し易いかが異なっている場合には、各システムに応じていずれを利用するかを選択してもよい。

次に、実施例４に係るマルチメディアコンテンツ受信装置１０について説明する。実施例４にかかるマルチメディアコンテンツ受信装置１０は、バッファ部１３０から受信データ２０６の送出が開始した後は、バッファリング時間の変更を行わない。この点で、実施例４に係るマルチメディアコンテンツ受信装置１０は、他の実施例にかかるマルチメディアコンテンツ受信装置１０と異なっている。

図１１は、実施例４にかかるマルチメディアコンテンツ受信装置１０の機能構成を示すブロック図である。実施例４に係るマルチメディアコンテンツ受信装置１０は、実施例１にかかるマルチメディアコンテンツ受信装置１０の機能構成に加えて、制御部１６０をさらに備えている。制御部１６０は、解析部１２０からバッファリング時間情報２１０を受け取ると、バッファリング時間情報２１０を受け取ったタイミングで、バッファ部１３０、復号部１７０、および表示部１８０の処理を監視する。

図１２は、実施例１において図５を参照しつつ説明したバッファリング時間変更有無決定処理（ステップＳ１２０）における実施例４にかかるマルチメディアコンテンツ受信装置１０の詳細な処理を示すフローチャートである。

バッファリング時間変更部１２４がバッファリング時間を変更すると判断した場合に、制御部１６０はバッファ部１３０からの受信データ２０６の出力が開始しているか否かを監視する。受信データ２０６の出力が開始していない場合には（ステップＳ２４０，Ｎｏ）バッファ部１３０のバッファリング時間の変更を許可する（ステップＳ２４２）。一方、受信データ２０６の出力が開始している場合には（ステップＳ２４０，Ｙｅｓ）、バッファ部１３０のバッファリング時間の変更を禁止する（ステップＳ２４４）。

初期値のバッファリング時間からバッファリング時間を変更すると、バッファ部１３０からのデータの出力が途中で停止してしまい、映像や音声の連続性が損なわれてしまう。これに対して、実施例４に係るマルチメディアコンテンツ受信装置１０においては、バッファ部１３０からデータが既に出力されているか、それとも受信開始時の初期バッファリング中でまだバッファ部１３０からデータが出力されていない状態なのかで、動作を切り替えることができる。すなわち、１つ以上のデータがバッファ部１３０から出力されていなければ算出された適正バッファリング時間に変更し、バッファ部１３０からデータが出力されている最中であればバッファリング時間の変更を行わない。これにより、映像や音声の連続性を保ちつつ、バッファリング時間を変更することができる。

なお、実施例４にかかるマルチメディアコンテンツ受信装置１０の上記以外の構成および処理は、実施例１において説明したマルチメディアコンテンツ受信装置１０の構成および処理と同様である。

次に、実施例５に係るマルチメディアコンテンツ受信装置１０について説明する。実施例５にかかるマルチメディアコンテンツ受信装置１０は、バッファ部１３０から受信データ２０６の送出が開始した後にバッファリング時間を変更する場合には、受信データ２０６の再生を一時的に停止する。この点で、実施例５に係るマルチメディアコンテンツ受信装置１０は、他の実施例に係るマルチメディアコンテンツ受信装置１０と異なっている。

図１３は、実施例５に係るマルチメディアコンテンツ受信装置１０の機能構成を示すブロック図である。実施例４に係るマルチメディアコンテンツ受信装置１０の機能構成は、実施例４に係るマルチメディアコンテンツ受信装置１０の機能構成と同様である。

実施例５に係るマルチメディアコンテンツ受信装置１０においては、制御部１６０が、バッファ部１３０、復号部１７０、および表示部１８０における処理を一時停止する。より具体的には、制御部１６０は、バッファ部１３０におけるバッファリング時間の変更の有無を監視し、適宜バッファ部１３０、復号部１７０、および表示部１８０に対してそれぞれバッファリング時間変更通知信号３００，３０２，３０４を送る。

なお、バッファリング時間変更通知信号３００にバッファリング時間情報２１０を含めてもよい。この場合には、解析部１２０は、バッファリング時間情報２１０を別途バッファ部１３０に送らなくともよい。

そして、復号部１７０および表示部１８０は、バッファリング時間変更通知信号３０２，３０４に基づいて処理を一旦停止する。

図１４は、実施例５に係るマルチメディアコンテンツ受信装置１０のバッファリング時間変更処理を示すフローチャートである。実施例５に係るバッファリング時間変更処理においては、バッファリング時間変更部１２４がバッファリング時間を変更すると判断した場合（ステップＳ１２０，Ｙｅｓ）、制御部１６０は、バッファ部１３０から受信データ２０６が送出されている最中か否かを監視する。

受信データ２０６が送出されている最中である場合には（ステップＳ２５０，Ｙｅｓ）、送出されている受信データ２０６の再生を一時停止させる（ステップＳ２５２）。一方、送出されている最中でない場合には（ステップＳ２５０，Ｎｏ）、ステップＳ１２２へ進む。

なお、ステップＳ２５２において一時停止する時間は、これから設定すべきバッファリング時間に基づいて決定される。具体的には、これから設定すべきバッファリング時間だけバッファ部１３０にデータが蓄積されるまで一時停止させてもよい。なお、一時停止する時間は制御部１６０が決定する。すなわち、本実施例に係る制御部１６０は、本発明にかかる停止時間決定手段を構成する。

なお、他の例としては、一時停止後の処理の再開は、バッファ部１３０、復号部１７０、および表示部１８０がそれぞれ独自に判断して行ってもよい。

以上のように、実施例５に係るマルチメディアコンテンツ受信装置１０は受信データ２０６の出力が開始された後は、出力を一旦停止させた状態で、バッファリング時間を変更する。これによれば、バッファ部１３０から受信データ２０６を出力開始後に、ネットワークの状態が著しく変動したような場合であっても、バッファ部１３０のバッファリング時間を変動後のネットワークの状態に合った時間に変更することができる。

なお、実施例５にかかるマルチメディアコンテンツ受信装置１０の上記以外の構成および処理は、実施例１において説明したマルチメディアコンテンツ受信装置１０の構成および処理と同様である。

次に、実施例６に係るマルチメディアコンテンツ受信装置１０について説明する。実施例６にかかるマルチメディアコンテンツ受信装置１０は、バッファリング時間を変更した場合に、バッファリング時間を変更した旨をマルチメディアコンテンツデータ２００の送信元に対して通知する。この点で、実施例６に係るマルチメディアコンテンツ受信装置１０は、他の実施例に係るマルチメディアコンテンツ受信装置１０と異なっている。

図１５は、実施例６に係るマルチメディアコンテンツ受信装置１０の機能構成を示すブロック図である。実施例６に係るマルチメディアコンテンツ受信装置１０は、実施例１に係るマルチメディアコンテンツ受信装置１０の機能構成に加えてさらにバッファリング時間変更通知部１９０を備えている。バッファリング時間変更通知部１９０は、解析部１２０からバッファリング時間情報２１０を受信すると、バッファリング時間を変更する旨を示すバッファリング時間変更情報を生成し、生成したバッファリング時間変更情報４００を送信部１５０を介してマルチメディアコンテンツデータ２００の送信元に通知する。

マルチメディアコンテンツデータ２００の送信元が、パケットを送信する際に、送信すべきパケットがマルチメディアコンテンツ受信装置１０において復号処理や表示処理するべき時間よりも前に到着できるか否かを判定している場合がある。この判定により、復号処理等を開始する時間までに送信できないと判定されたパケットは破棄される場合がある。

実施例６に係るマルチメディアコンテンツ受信装置１０は、バッファリング時間を変更した場合には、バッファリング時間変更情報４００をマルチメディアコンテンツデータ２００の送信元に送信するので、送信元においては、変更後のバッファリング時間に基づいて、パケットの破棄等について判定することができる。

なお、送信元は、受信側のバッファリング時間を考慮して、例えば式４のような判定式に基づいて判定を行う。
（送信予定時刻＋片道伝送遅延）≦（バッファリング時間＋再生時刻）・・・式４

また、本実施例においては、バッファリング時間変更情報４００がマルチメディアコンテンツデータ２００の送信元に送信されたが、これにかえて、表示部１８０が、バッファリング時間が変更された旨を示す文字情報等、利用者のその旨を表示する画面を表示してもよい。また他の例としては、バッファリング時間変更情報４００がマルチメディアコンテンツデータ２００の送信元に送信するとともに、表示部１８０にバッファリング時間が変更された旨を示す文字情報等を表示してもよい。

以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。

そうした変更例としては、上記実施例においては、再送判定部１４０は、ネットワーク状態情報２２０に基づいて再送要求を送信するか否かを判定したが、他の例としては、利用者からの指示により再送要求を送信するか否かを判定してもよい。

また、第２の変更例としては、上記実施例においては、変更するバッファリング時間を決定したが、これに替えて、再送要求を送信する際のバッファリング時間を予め定めておいてもよい。この場合、欠落データの出現頻度等から十分に長いバッファリング時間を設定してもよい。このように、予め適切なバッファリング時間を定めておくことにより、再送要求を送信する毎にバッファリング時間を算出する処理を減らすことができるので、効率的に処理を行うことができる。

また、第３の変更例としては、上記実施例においては、欠落データを検出した場合に、デジタルデータの再送要求を送信することとしたが、これに替えて、例えば利用者からの指示により再送要求を送信することとしてもよい。この場合には、マルチメディアコンテンツ受信装置１０は、利用者からの指示を受け付けるユーザインターフェースをさらに備える。例えば、管理者等が、何らかの方法で、欠落データの有無を知ることができる場合には、このように、利用者からの指示により再送要求を送信するか否かを判断することができる。このように、欠落データの有無を間接的に判断できる条件に基づいて、再送要求を送信するか否かを判断できればよく、その条件は欠落データの検出結果に限定されるものではない。

以上のように、本発明にかかる受信装置、受信方法および受信プログラムは、動画データおよび音声データ等のデジタルデータの受信に有用であり、特に、パケット通信におけるパケットの受信に適している。

実施例１にかかるマルチメディアコンテンツ受信装置１０の機能構成を示すブロック図である。 解析部１２０の詳細な機能構成を示すブロック図である。 バッファ部１３０の詳細な機能構成を示すブロック図である。 再送判定部１４０の詳細な機能構成を示すブロック図である。 実施例１にかかるマルチメディアコンテンツ受信装置１０におけるバッファリング時間変更処理を示すフローチャートである。 実施例１に係るマルチメディアコンテンツ受信装置１０のハードウェア構成を示す図である。 実施例２にかかるマルチメディアコンテンツ受信装置１０の解析部１２０の詳細な機能構成を示すブロック図である。 実施例１において説明したバッファリング時間変更処理（ステップＳ１２２）における詳細な処理を示すフローチャートである。 実施例１において図５を参照しつつ説明したバッファリング時間変更有無決定処理（ステップＳ１２０）における実施例３にかかるマルチメディアコンテンツ受信装置１０の詳細な処理を示すフローチャートである。 他の例にかかるバッファリング時間変更有無決定処理（ステップＳ１２０）におけるマルチメディアコンテンツ受信装置１０の詳細な処理を示すフローチャートである。 実施例４にかかるマルチメディアコンテンツ受信装置１０の機能構成を示すブロック図である。 実施例１において図５を参照しつつ説明したバッファリング時間変更有無決定処理（ステップＳ１２０）における実施例４にかかるマルチメディアコンテンツ受信装置１０の詳細な処理を示すフローチャートである。 実施例５に係るマルチメディアコンテンツ受信装置１０の機能構成を示すブロック図である。 実施例５に係るマルチメディアコンテンツ受信装置１０のバッファリング時間変更処理を示すフローチャートである。 実施例６に係るマルチメディアコンテンツ受信装置１０の機能構成を示すブロック図である。

符号の説明

１０ マルチメディアコンテンツ受信装置
６２ バス
１１０ 受信部
１２０ 解析部
１２１ パケット解析部
１２２ ネットワーク状態判定部
１２３ バッファリング時間決定部
１２４ バッファリング時間変更部
１２５ 適正時間保持部
１３１ サイズ制御部
１３２ バッファメモリ部
１４０ 再送判定部
１４１ 再送判定部
１４２ 再送回数決定部
１４３ 再送要求生成部
１５０ 送信部
１６０ 制御部
１７０ 復号部
１８０ 表示部
１９０ バッファリング時間変更通知部
２３０ 再送情報

Claims (18)

1. 動画データおよび音声データのうち少なくとも一方を含むデジタルデータを受信する受信装置であって、
   前記デジタルデータを受信する受信手段と、
   前記受信手段が受信した前記デジタルデータを順次蓄積する記憶手段と、
   前記記憶手段に予め設定された再生時間に相当するサイズの前記デジタルデータを前記記憶手段に蓄積したことを条件として、前記記憶手段に蓄積されている前記デジタルデータを順次出力する出力手段と、
   前記受信手段が受信した前記デジタルデータの送信元に対して、当該デジタルデータの再送を要求するか否かを決定する再送判定手段と、
   前記再送判定手段が前記デジタルデータの再送を要求すると決定した場合に、前記設定された再生時間を変更する変更手段と
   を備え、
   前記出力手段は、前記変更手段が前記記憶手段において予め設定された再生時間を変更した場合に、前記記憶手段が変更後の前記再生時間に相当するサイズの前記デジタルデータを蓄積したことを条件として当該デジタルデータを順次出力することを特徴とする受信装置。
2. 前記受信手段における前記デジタルデータの受信状況を検出する受信状況検出手段をさらに備え、
   前記再送判定手段は、前記受信状況検出手段が検出した前記受信状況に基づいて、前記デジタルデータの再送を要求するか否かを決定することを特徴とする請求項１に記載の受信装置。
3. 前記受信状況検出手段は、前記受信手段が受信した前記デジタルデータにおける欠落データの有無を判断し、
   前記再送判定手段は、前記受信状況検出手段が前記欠落データがあると判断した場合に、前記デジタルデータの再送を要求すると決定することを特徴とする請求項２に記載の受信装置。
4. 前記受信手段における前記デジタルデータの受信状況を検出する受信状況検出手段と、
   前記受信状況検出手段が検出した前記受信状況に基づいて、前記記憶手段に設定されるべき再生時間を決定する決定手段と
   をさらに備え、
   前記変更手段は、前記設定された変更時間を前記決定手段が決定した再生時間に変更することを特徴とする請求項１から３のいずれか一項に記載の受信装置。
5. 前記受信状況検出手段は、前記受信手段が受信した前記デジタルデータにおける欠落データの出現頻度を検出し、
   前記決定手段は、前記欠落データの出現頻度に基づいて、前記記憶手段に設定されるべき再生時間を決定することを特徴とする請求項４に記載の受信装置。
6. 前記受信状況検出手段は、前記受信手段が受信した前記デジタルデータの誤り率を検出し、
   前記決定手段は、前記誤り率に基づいて、前記記憶手段に設定されるべき再生時間を決定することを特徴とする請求項４または５に記載の受信装置。
7. 前記受信状況検出手段は、前記受信手段が受信した前記デジタルデータの伝送遅延量を検出し、
   前記決定手段は、前記伝送遅延量に基づいて、前記記憶手段に設定されるべき再生時間を決定することを特徴とする請求項４から６のいずれか一項に記載の受信装置。
8. 前記受信状況検出手段が検出した前記受信状況に基づいて、前記送信元が再送する再送回数を決定する再送回数決定手段をさらに備え、
   前記決定手段は、前記再送回数決定手段が決定した前記再送回数に基づいて、前記記憶手段に設定されるべき再生時間を決定することを特徴とする請求項４から７のいずれか一項に記載の受信装置。
9. 前記記憶手段に設定可能な再生時間の範囲である適正範囲を保持する適正時間保持手段をさらに備え、
   前記変更手段は、前記決定手段が決定した前記再生時間が前記適正時間保持手段が保持する前記適正範囲外の時間である場合に、前記適正範囲内の再生時間に変更することを特徴とする請求項４から８のいずれか一項に記載の受信装置。
10. 前記変更手段は、前記出力手段が前記記憶手段に蓄積されている前記デジタルデータの出力を開始していない場合に前記再生時間を変更することを特徴とする請求項１から９のいずれか一項に記載の受信装置。
11. 前記受信状況検出手段は、前記出力手段が前記記憶バッファ手段に蓄積されている前記デジタルデータの出力を開始していない場合に前記受信状況を検出することを特徴とする請求項４から１０のいずれか一項に記載の受信装置。
12. 前記出力手段が前記記憶手段に蓄積されている前記デジタルデータを出力しているときに前記変更手段が前記再生時間を変更した場合、前記出力手段は、前記デジタルデータの出力を一時停止することを特徴とする請求項１から９のいずれか一項に記載の受信装置。
13. 前記変更手段による変更後の再生時間に基づいて、前記デジタルデータの出力を停止する時間を決定する停止時間決定手段をさらに備え、
    前記出力手段は、前記停止時間決定手段が決定した時間だけ、前記デジタルデータの出力を一時停止することを特徴とする請求項１２に記載の受信装置。
14. 前記決定手段が決定した前記再生時間と、現在設定されている再生時間とを比較する比較手段をさらに備え、
    前記変更手段は、前記比較手段が比較した前記記憶時間の差分が予め定められた値以上である場合に前記再生時間を変更することを特徴とする請求項４から１３のいずれか一項に記載の受信装置。
15. 前記受信手段における前記デジタルデータの受信状況を検出する受信状況検出手段と、
    前記受信状況検出手段が検出した前記受信状況を保持する受信状況保持手段と、
    前記受信状況検出手段が前記受信状況を検出した場合に、前記受信状況検出手段が検出した前記受信状況と、前記受信状況保持手段に保持されている過去の前記受信状況とを比較し、受信状況の変動を検出する状況変動検出手段と
    をさらに備え、
    前記変更手段は、前記状況変動検出手段が予め定められた程度以上の変動を検出した場合に、前記記憶手段に予め設定された再生時間を変更することを特徴とする請求項１から１４のいずれか一項に記載の受信装置。
16. 前記変更手段が前記再生時間を変更した場合に、前記再生時間を変更した旨を通知する通知手段をさらに備えたことを特徴とする請求項１から１５のいずれか一項に記載の受信装置。
17. 動画データおよび音声データのうち少なくとも一方を含むデジタルデータを受信する受信方法であって、
    前記デジタルデータを受信する受信ステップと、
    前記受信ステップにおいて受信した前記デジタルデータを記憶手段に順次蓄積する記憶ステップと、
    前記記憶手段に予め設定された再生時間に相当するサイズの前記デジタルデータを前記記憶手段に蓄積したことを条件として、前記記憶手段に蓄積されている前記デジタルデータを順次出力する出力ステップと、
    前記受信ステップにおいて受信した前記デジタルデータの送信元に対して、当該デジタルデータの再送を要求するか否かを決定する再送判定ステップと、
    前記再送判定ステップが前記デジタルデータの再送を要求すると決定した場合に、前記設定された再生時間を変更する変更ステップと
    を有し、
    前記出力ステップでは、前記変更ステップにおいて前記記憶手段において予め設定された再生時間を変更した場合に、前記記憶手段が変更後の前記再生時間に相当するサイズの前記デジタルデータを蓄積したことを条件として当該デジタルデータを順次出力することを特徴とする受信方法。
18. 動画データおよび音声データのうち少なくとも一方を含むデジタルデータを受信する受信処理をコンピュータに実行させる受信プログラムであって、
    前記デジタルデータを受信する受信ステップと、
    前記受信ステップにおいて受信した前記デジタルデータを記憶手段に順次蓄積する記憶ステップと、
    前記記憶手段に予め設定された再生時間に相当するサイズの前記デジタルデータを前記記憶手段に蓄積したことを条件として、前記記憶手段に蓄積されている前記デジタルデータを順次出力する出力ステップと、
    前記受信ステップにおいて受信した前記デジタルデータの送信元に対して、当該デジタルデータの再送を要求するか否かを決定する再送判定ステップと、
    前記再送判定ステップが前記デジタルデータの再送を要求すると決定した場合に、前記設定された再生時間を変更する変更ステップと
    を有し、
    前記出力ステップでは、前記変更ステップにおいて前記記憶手段において予め設定された再生時間を変更した場合に、前記記憶手段が変更後の前記再生時間に相当するサイズの前記デジタルデータを蓄積したことを条件として当該デジタルデータを順次出力することを特徴とする受信プログラム。

Images