JP2010136159A - データ受信装置 - Google Patents

Abstract

【課題】通信路の通信状況に応じて最適な遅延オフセット時間が設定可能なデータ受信装置を得る。
【解決手段】遅延オフセット時間算出部３５は、予め定めた一定期間内に集計した差分値における最大値に基づき、算出遅延オフセット時間ＰＲＥΔＴＤＯを算出する。出力タイミング決定用基準時刻生成部３８及びＴＳパケット出力タイミング調整部３９は、ＴＳパケットＴＰ２内のタイムスタンプ値、遅延オフセット時間ΔＴＤＯ及び受信機基準時刻ＲＢＴに基づくタイミングで、受信バッファ３２内のＴＳパケットＴＰ２から実情報を含む出力パケットデータＲＴＰを出力する。切替可能タイミング検出部３６は、映像データ，音声データ等の実情報の連続性・不連続性に関する判断基準に基づき、遅延オフセット時間指定部３７による遅延オフセット時間ΔＴＤＯの切換可能タイミングを決定する。
【選択図】図３

Description

この発明は、例えば、ＭＰＥＧ(Motion Picture Experts Group)２システムにおけるトランスポートストリーム(ＴＳ)のような映像・音声データを受信するデータ受信装置に関するものである。

映像・音声ストリームを、転送ジッタのあるネットワーク、たとえば無線ネットワークを介して伝送するシステムがある。これらのシステムでは、受信機側にデータバッファをもち、パケットデータに付加されている（ローカル）タイムスタンプで示す時刻と、受信機内の基準時刻とを基準に、受信機側のデータ出力するタイミングを決定する。受信機内の基準時刻は、送信機側と同期化する必要があるが、送信機側と受信機側のクロックを同期化させて、通信データの出力タイミングを調整する手法は、例えば、特許文献１で提案されている。

一方、受信機内のバッファでデータが蓄積される最大時間は、通信路で発生するジッタの最大時間よりも大きくなくてはならない。なぜなら、ジッタの最大時間よりも小さいと、アンダーフローが発生し、再生される映像や音声の品質が劣化されるからである。通信路で発生するジッタは、通信速度の変化や、通信エラーによる再送頻度など、通信路の通信状態によって変化する。

受信機内のバッファ内でデータが蓄積される最大時間として設定される時間(遅延オフセット時間)を大きくすると、アンダーフローの危険性は小さくなるが、送信側からデータを送信してから受信側でデータを出力・再生するまでの時間が長くなる。一方、遅延オフセット時間を小さくすると、送信側からデータを送信してから受信側でデータを出力・再生するまでの時間は短くなるが、アンダーフローの危険性は高くなる。一般的な映像・音声データの伝送システムでは、アンダーフローによる再生品質の劣化を避けるために、遅延オフセット時間は、過去に観測されたジッタの最大値とする場合が多く、固定値(固定時間)となっていた。

国際公開第２００５／０８８８８８号パンフレット

前述のように、特許文献１で開示される受信装置およびデータ受信方法では、予め決められた固定の遅延オフセット時間を設定することを前提としていた。したがって、通信路の通信状況が想定よりも良かった場合においては、遅延オフセット時間を短くすることができず、逆に通信路の通信状況が想定よりも悪かった場合においては、アンダーフローを起こしてしまう危険性があるという問題点があった。このため、受信装置およびデータ受信システムが許容可能なアンダーフロー発生率以下で、最小の遅延時間を遅延オフセット時間とする対応がせいぜいであり、最適な遅延オフセット時間を設定することができないという問題があった。

この発明は上記問題点を解決するためになされたもので、通信路の通信状況に応じて最適な遅延オフセット時間が設定可能なデータ受信装置を得ることを目的とする。

この発明に係る請求項１記載のデータ受信装置は、所定の送信装置から所定の通信手段を介して、パケットデータを受信するデータ受信装置であって、前記パケットデータは、前記所定の送信装置の送信時の時刻を示す送信時刻情報と映像データを少なくとも含む実情報とを有し、前記パケットデータを順次受信する通信部と、前記パケットデータをＦＩＦＯ(First In First Out)方式で記憶する受信バッファと、受信機基準時刻を生成する受信機基準時刻生成部と、前記パケットデータ内の前記送信時刻情報と、前記パケットデータ受信時における前記受信機基準時刻との差分値とに基づき、算出遅延オフセット時間を随時算出する遅延オフセット時間算出部と、前記パケットデータに含まれている前記実情報の連続性・不連続性に関する判断基準に基づき、遅延オフセット時間の切換可能タイミングを決定する切替可能タイミング検出部と、前記切替可能タイミング検出部が指示する前記切換可能タイミングで、前記算出遅延オフセット時間を新たな遅延オフセット時間として指定する遅延オフセット時間指定部と、前記受信バッファに記憶されているパケットデータ内の前記送信時刻情報、前記受信機基準時刻及び前記遅延オフセット時間に基づくタイミングで、前記受信バッファに記憶された前記パケットデータ内の少なくとも前記実情報を含む出力パケットデータを出力するパケットデータ出力制御部とを備える。

請求項１記載のデータ受信装置における遅延オフセット時間算出部は、パケットデータ内の送信時刻情報と、受信機基準時刻との差分値とに基づき、算出遅延オフセット時間を随時算出するため、所定の送信装置との間の通信状況に適した算出遅延オフセット時間を常に得ることができる。

その結果、パケットデータ出力制御部は、送信時刻情報、受信機基準時刻及び遅延オフセット時間に基づくタイミングで、受信バッファに記憶されたパケットデータを常時適切に出力することができる効果を奏する。

また、遅延オフセット時間指定部は、切替可能タイミング検出部が指示する切換可能タイミングで、算出遅延オフセット時間を新たな遅延オフセット時間として指定している。上記切換可能タイミングはパケットデータに含まれている実情報の連続性・不連続性に関する判断基準に基づいて得られるタイミングであるため、パケットデータ内の実情報を再生した場合等に利用者に大きな違和感を感じさせることもない。

図１はこの発明の実施の形態であるデータ受信装置である受信機３を含む通信システムのシステム構成の概略を示す説明図である。

同図に示すように、本データ通信システムは、送信機２（所定の送信装置）と受信機３とが、通信ネットワーク１（所定の通信手段）を通じて通信可能なように接続されており、送信機２が送信するローカルタイムスタンプ付きＴＳパケットを受信機３が受信することにより、データ通信が行われる。

図２は、図１で示した通信システムにおける送信機２の内部構成を示すブロック図である。

同図に示すように、ＴＳパケット入力部２１は、送信機２の外部の信号源から映像データ及び音声データ等の実情報を含むＴＳパケットＴＰ１を入力し、このＴＳパケットＴＰ１をローカルタイムスタンプ付加部２３に付与する。

送信機基準時刻生成部２２は、送信機２の基準時刻である送信機基準時刻ＴＢＴを生成してローカルタイムスタンプ付加部２３に出力する。

ローカルタイムスタンプ付加部２３は、ＴＳパケットＴＰ１に、送信機基準時刻ＴＢＴを付加してローカルタイムスタンプ付きＴＳパケットＴＰ２３を送信バッファ２４に出力する。

送信バッファ２４は、ローカルタイムスタンプ付きＴＳパケットＴＰ２３を、通信ネットワーク１に送信するまで、順次バッファリングする（一時的に記憶する）。

送信機基準時刻リクエスト応答部２５は、受信機３からの通信部２６を介して得られる送信機基準時刻リクエストパケットＱＰ１に応答して所定の応答処理を行う。なお、送信機基準時刻リクエスト応答部２５の応答内容については後に詳述する。

通信部２６は、送信バッファ２４に一時記憶されたローカルタイムスタンプ付きＴＳパケットＴＰ２３を、ＴＳパケットＴＰ２として通信ネットワーク１に出力する。また、通信部２６は、通信ネットワーク１を介して送信機基準時刻リクエストパケットＱＰ１を受信したり、送信機基準時刻リクエスト応答部２５から得られる送信機基準時刻レスポンスパケットＱＰ２を送信することも行う。

図３は、図１で示した通信システムにおける受信機３の内部構成を示すブロック図である。

同図に示すように、通信部３１は、通信ネットワーク１（図３では図示せず）経由で、送信機２から出力されたＴＳパケットＴＰ２（ローカルタイムスタンプ付きＴＳパケットＴＰ２３）を受信し、受信バッファ３２、遅延オフセット時間算出部３５及び切替可能タイミング検出部３６に出力する。

また、通信部３１は通信ネットワーク１経由で送信機基準時刻レスポンスパケットＱＰ２を受信し、端末間同期制御部３４に出力する。さらに、通信部３１は端末間同期制御部３４より得られる送信機基準時刻リクエストパケットＱＰ１を通信ネットワーク１経由で送信機２に出力する。

受信バッファ３２は、ＴＳパケットＴＰ２を順次バッファリングする。受信機基準時刻生成部３３は、受信機３の基準時刻である受信機基準時刻ＲＢＴを生成して、遅延オフセット時間算出部３５及び出力タイミング決定用基準時刻生成部３８に出力する。

端末間同期制御部３４は、受信機基準時刻生成部３３により生成される受信機基準時刻ＲＢＴが、送信機２の送信機基準時刻ＴＢＴに同期するように、受信機基準時刻生成部３３を制御する。

遅延オフセット時間算出部３５は、通信部３１から得られるＴＳパケットＴＰ２と受信機基準時刻生成部３３からの受信機基準時刻ＲＢＴとに基づき、最適な遅延オフセット時間を算出遅延オフセット時間ＰＲＥΔＴＤＯとして随時算出して遅延オフセット時間指定部３７に出力する。

切替可能タイミング検出部３６は、ＴＳパケットＴＰ２に含まれる映像、音声データの連続点や不連続点を検出し、遅延オフセット時間の切替可能タイミングを指示するタイミング制御信号ＴＣＳを遅延オフセット時間指定部３７に通知する。

遅延オフセット時間指定部３７は、遅延オフセット時間算出部３５で算出された算出遅延オフセット時間ＰＲＥΔＴＤＯを取得し、切替可能タイミング検出部３６からのタイミング制御信号ＴＣＳの指示する切替可能タイミングにしたがって、取得した算出遅延オフセット時間ＰＲＥΔＴＤＯを遅延オフセット時間ΔＴＤＯとして決定し、出力タイミング決定用基準時刻生成部３８に出力する。

出力タイミング決定用基準時刻生成部３８は、受信機基準時刻生成部３３から出力された受信機基準時刻ＲＢＴに、オフセット時間指定部３７から出力された遅延オフセット時間ΔＴＤＯを差し引いた時刻である、出力タイミング決定用基準時刻ＯＢＴを生成してＴＳパケット出力タイミング調整部３９に出力する。

ＴＳパケット出力タイミング調整部３９は、受信バッファ３２にＦＩＦＯ形式で順次バッファリングされている先頭のＴＳパケットＴＰ２内のローカルタイムスタンプ値（送信時刻情報）と、出力タイミング決定用基準時刻ＯＢＴとを比較し、該先頭のＴＳパケットＴＰ２の出力タイミングを決定する。そして、ＴＳパケット出力タイミング調整部３９は、出力タイミングを満足するＴＳパケットＴＰ２を受信バッファ３２から読み出し、ＴＳパケットＴＰ２内の映像データ、音声データ等の実情報を含むパケット部分を実ＴＳパケットＲＴＰとしてＴＳパケット出力部４０に出力する。

これら出力タイミング決定用基準時刻生成部３８及びＴＳパケット出力タイミング調整部３９は、ＴＳパケットＴＰ２内のタイムスタンプ値、遅延オフセット時間ΔＴＤＯ及び受信機基準時刻ＲＢＴに基づくタイミングで、ＴＳパケットＴＰ２から少なくとも実情報を含む出力パケットデータＲＴＰを出力するパケットデータ出力制御部として機能する。

ＴＳパケット出力部４０は、受信機３の外部の再生装置に、ＴＳパケット出力タイミング調整部３９より得た実ＴＳパケットＲＴＰを出力する。

次に、図２で示した送信機２の動作について説明する。まず、ＴＳパケット入力部２１に、送信機２の外部の信号源から映像・音声データとして、１８８バイト/パケットのＴＳパケットが入力される。一方、送信機基準時刻生成部２２は、生成する送信機基準時刻ＴＢＴをローカルタイムスタンプ付加部２３に出力している。

ローカルタイムスタンプ付加部２３には、ＴＳパケット入力部２１にＴＳパケットＴＰ１が入力された直後に、ＴＳパケット入力部２１よりＴＳパケットＴＰ１が付与される。

図４はローカルタイムスタンプ付きＴＳパケットの構成を示す説明図である。ローカルタイムスタンプ付加部２３は、図４に示すように、ＴＳパケットＴＰ１に送信機基準時刻ＴＢＴを規定したローカルタイムスタンプＬＴ１を付加したローカルタイムスタンプ付きＴＳパケットＴＰ２３を生成し、送信バッファ２４に出力する。その結果、ローカルタイムスタンプ付加部２３から出力されるローカルタイムスタンプ付きＴＳパケットＴＰ２３は送信バッファ２４内にＦＩＦＯ（First In First Out)形式で順次蓄積される。

ローカルタイムスタンプＬＴ１の値は、対応するＴＳパケットＴＰ１の送信時の送信機基準時刻ＴＢＴを示す送信時刻情報となる。このローカルタイムスタンプＬＴ１のビット長およびカウント周波数は、特に指定する物ではない。ＴＳパケットを伝送する場合には、一般的には４バイト（３２ビット）のビット長で、２７ＭＨｚのカウント周波数でカウントする送信機基準時刻ＴＢＴを規定するローカルタイムスタンプＬＴ１が使用される場合が多い。本実施の形態でも、４バイト（３２ビット）のビット長で、２７MHzのカウント周波数でカウントする送信機基準時刻ＴＢＴを規定するローカルタイムスタンプ値を使用するものとして説明を行う。

送信バッファ２４は、ＦＩＦＯバッファである。この送信バッファ２４に順次蓄積されたローカルタイムスタンプ付きＴＳパケットＴＰ２３の出力先は通信部２６である。通信部２６は、通信ネットワーク１経由で、受信機３と通信を行う。通信部２６は、送信バッファ２４にローカルタイムスタンプ付きＴＳパケットＴＰ２３が蓄積されているかぎり、ローカルタイムスタンプ付きＴＳパケットＴＰ２３をＴＳパケットＴＰ２として通信ネットワーク１を介して受信機３に送信する。

図５は送信機基準時刻リクエストパケットの内部構成を示す説明図である。同図に示すように、送信機基準時刻リクエストパケットＱＰ１は通信パケットヘッダＴＨ１及びリクエスト時受信機基準時刻ＱＲＴからなるパケットである。

送信機基準時刻リクエスト応答部２５は、図５に示すような、受信機３から送信されてきた送信機基準時刻リクエストパケットＱＰ１を通信部２６を介して受信する。

図６は送信機基準時刻レスポンスパケットの内部構成を示す説明図である。同図に示すように、送信機基準時刻レスポンスパケットＱＰ２は、通信パケットヘッダＴＨ２、リクエスト時受信機基準時刻ＱＲＴ及びレスポンス時送信機基準時刻ＲＴＴからなるパケットである。

送信機基準時刻リクエスト応答部２５は、送信機基準時刻リクエストパケットＱＰ１を受信すると、送信機基準時刻生成部２２で生成する送信機基準時刻ＴＢＴをレスポンス時送信機基準時刻ＲＴＴとして付加した送信機基準時刻レスポンスパケットＱＰ２を生成する。

そして、送信機基準時刻リクエスト応答部２５は、送信機基準時刻レスポンスパケットＱＰ２を通信部２６から通信ネットワーク１を介して受信機３に送信する。

続いて、図３で示した受信機３の動作について説明する。通信部３１は、通信ネットワーク１（図３では図示せず）経由で、送信機２から送信されたＴＳパケットＴＰ２（ローカルタイムスタンプ付きＴＳパケットＴＰ２３）を受信する。

さらに、通信部３１は、端末間同期制御部３４から通知される送信機基準時刻リクエストパケットＱＰ１を通信ネットワーク１を介して送信機２に送信するとともに、送信機２から通信ネットワーク１を介して送信機基準時刻レスポンスパケットＱＰ２受信する。

通信部３１は、ＴＳパケットＴＰ２を受信すると、速やかに受信バッファ３２、切換可能タイミング検出部３６、および遅延オフセット時間算出部３５にＴＳパケットＴＰ２を出力する。

一方、通信部３１は、送信機基準時刻レスポンスパケットＱＰ２を受信すると、この送信機基準時刻レスポンスパケットＱＰ２を端末間同期制御部３４に出力する。

受信バッファ３２はＦＩＦＯバッファであり、通信部３１から入力されたＴＳパケットＴＰ２を順次蓄積する。蓄積したＴＳパケットＴＰ２の出力先は、ＴＳパケット出力タイミング調整部３９である。

一方、受信機基準時刻生成部３３は、受信機３にてＴＳパケットＴＰ２を受信バッファ３２から出力するタイミングを決定するための出力タイミング決定用基準時刻ＯＢＴの元となる、受信機基準時刻ＲＢＴを生成する。

この受信機基準時刻ＲＢＴは、送信機２の送信機基準時刻生成部２２において生成される送信機基準時刻ＴＢＴと同期していることが望ましい。もし、送信機基準時刻ＴＢＴと受信機基準時刻ＲＢＴが同期していなく、ずれている場合、送信機２と受信機３の間で、長時間ＴＳパケットの伝送をしていると、受信バッファ３２において、通信ネットワーク１の通信状況にかかわらずアンダーフローやオーバーフローが発生する可能性が高くなるからである。

送信機基準時刻ＴＢＴと受信機基準時刻ＲＢＴを同期させる手法としては、例えば、上述した特許文献１で提案されている手法等が考えられる。

また、送信機２と受信機３との間で、時刻情報を通信することにより、同期を図る手法もある。以下、送信機２と受信機３の間で、定期的に時刻情報を通信することにより、同期を図る手法について、説明する。

図７は、受信機基準時刻ＲＢＴを送信機基準時刻ＴＢＴに同期させるために、受信機３側の端末間同期制御部３４と送信機２側の送信機基準時刻リクエスト応答部２５との間で行われる通信内容を模式的に示した説明図である。

同図に示すように、端末間同期制御部３４は、時刻Ｔ１０１において、当該時刻Ｔ１０１をリクエスト時受信機基準時刻ＱＲＴとして含む送信機基準時刻リクエストパケットＱＰ１１を生成し、通信部３１経由で、送信機２に送信する。

送信機基準時刻リクエストパケットＱＰ１１は、図５に示す送信機基準時刻リクエストパケットＱＰ１と同様な内部構成を呈しており、通信パケットヘッダＴＨ１後のデータペイロード部分に、時刻Ｔ１０１を示すリクエスト時受信機基準時刻ＱＲＴとして格納される。すなわち、送信機基準時刻リクエストパケットＱＰ１１におけるリクエスト時受信機基準時刻ＱＲＴは、端末間同期制御部３４が送信機基準時刻リクエストパケットＱＰ１１を生成した瞬間の受信機基準時刻ＲＢＴ（＝Ｔ１０１）である。

送信機２は、時刻Ｔ１０２において、送信機基準時刻リクエストパケットＱＰ１１を通信部２６を介して受信して送信機基準時刻リクエスト応答部２５に出力する。

送信機基準時刻リクエスト応答部２５は、受信した送信機基準時刻リクエストパケットＱＰ１１に格納されているリクエスト時受信機基準時刻ＱＲＴに加え、送信機基準時刻生成部２２から入手した送信機基準時刻ＴＢＴをレスポンス時送信機基準時刻ＲＴＴを追加して送信機基準時刻レスポンスパケットＱＰ２１を生成する。

送信機基準時刻レスポンスパケットＱＰ２１は、図６で示した送信機基準時刻レスポンスパケットＱＰ２と同様な内部構成を呈している。すなわち、図６に示すように、送信機基準時刻レスポンスパケットＱＰ２１は、送信機基準時刻リクエスト応答部２５によって生成される瞬間の送信機基準時刻ＴＢＴであるレスポンス時送信機基準時刻ＲＴＴが、リクエスト時受信機基準時刻ＱＲＴに加えて、通信パケットヘッダＴＨ２の後のデータペイロード部分に格納されているデータパケットである。

そして、送信機基準時刻リクエスト応答部２５は、この送信機基準時刻レスポンスパケットＱＰ２１を通信部２６経由で、時刻Ｔ１０３に受信機３に送信する。通常、時刻Ｔ１０３は時刻Ｔ１０２とほぼ同時刻となる。

受信機３は、時刻Ｔ１０４において、送信機基準時刻レスポンスパケットＱＰ２１を受信し、この送信機基準時刻レスポンスパケットＱＰ２１を端末間同期制御部３４に出力する。

端末間同期制御部３４は、受信した送信機基準時刻レスポンスパケットＱＰ２１から、レスポンス時送信機基準時刻ＲＴＴを抽出し、現在(時刻Ｔ１０４)における受信機基準時刻ＲＢＴと比較し、レスポンス時間を算出する。このレスポンス時間は、送信機基準時刻リクエストパケットＱＰ１１の送信から、送信機基準時刻レスポンスパケットＱＰ２１の受信までのレスポンス時間であり、時刻Ｔ１０１から時刻Ｔ１０４までの時間（Ｔ１０４−Ｔ１０１）に相当する。

次に、通信ネットワーク１上の通信状況が、輻輳などにより悪化しており、レスポンス時間が長くなってしまった場合について、説明する。

図７に示すように、端末間同期制御部３４は、時刻Ｔ１１１において、送信機基準時刻リクエストパケットＱＰ１２（送信機基準時刻リクエストパケットＱＰ１と同様な内部構造）を生成し、通信部３１経由で、送信機２に送信する。

送信機２は、時刻Ｔ１１２において、送信機基準時刻リクエストパケットＱＰ１２を受信する。この後、送信機基準時刻リクエスト応答部２５にて、前述したように、送信機基準時刻レスポンスパケットＱＰ２２（送信機基準時刻レスポンスパケットＱＰ２と同様な内部構成）を生成し、理想的には時刻Ｔ１１２において、通信部２６経由で、受信機３への送信を要求する。

しかしながら、通信ネットワーク１の通信状況が良好ではなく、輻輳などにより、実際に通信部２５から送信機基準時刻レスポンスパケットＱＰ２２を送信できたのは、時刻Ｔ１１２から比較的長い時間が経過後の時刻Ｔ１１３であった場合を考える。そして、受信機３で送信機基準時刻レスポンスパケットＱＰ２２の受信を完了し、端末間同期制御部３４で、端末間同期制御部３４でレスポンス時間を算出する時の時刻は時刻Ｔ１１４であったとする。

上述した時刻Ｔ１１１〜Ｔ１１４間の送信機基準時刻リクエストパケットＱＰ１２，送信機基準時刻レスポンスパケットＱＰ２２の送受信の場合、送信機基準時刻レスポンスパケットＱＰ２２に格納されているレスポンス時送信機基準時刻ＲＴＴは、時刻Ｔ１１２に対応する送信機基準時刻ＴＢＴであり、現在(時刻Ｔ１１４)からは、離れた時刻データとなってしまっている。すなわち、時刻Ｔ１１４（Ｔ１１３）と時刻Ｔ１１１の間に大きな時間差（Ｔ１１４−Ｔ１１１）が生じいる。

このように大きな時間差が生じた原因としては、以下の２つの場合が想定されるが、いずれかであるかの判断することは難しい。

(1)端末間同期制御部３４では、受信機３からの送信機基準時刻リクエストパケットＱＰ１２の送信時にパケット送信が遅れた（時刻Ｔ１１２と時刻Ｔ１１１との間で比較的大きな時間差が生じた）。

(2) 送信機２からの送信機基準時刻レスポンスパケットＱＰ２２の送信時にパケット送信が遅れた（上述の例のように、時刻Ｔ１１３と時刻Ｔ１１２との間で比較的大きな時間差が生じた）。

上述のような場合、送信機基準時刻レスポンスパケットＱＰ２２に格納されているレスポンス時送信機基準時刻ＲＴＴを、受信時点(時刻Ｔ１１４)における送信機２における送信機基準時刻ＴＢＴと推定するのは精度良い判断とは言えない。なぜならば、上記時間差（Ｔ１１４−Ｔ１１１）に大きな時間差が生じた原因が上記(1)，(2)のいずれであるかを判断できず、上記(2)のような原因がある場合、レスポンス時送信機基準時刻ＲＴＴに関する誤差が無視できないからである。

上述のような通信状況の悪化に対応するために、レスポンス時間が、あらかじめ設定したレスポンス限界時間ＲＬＴ以内であるか否かで、受信した送信機基準時刻レスポンスパケットＱＰ２（ＱＰ２１，ＱＰ２２）内のレスポンス時送信機基準時刻ＲＴＴの有効性を決定する。

すなわち、レスポンス時間｛（Ｔ１０４−Ｔ１０１），（Ｔ１１４−Ｔ１１１）｝が、あらかじめ設定したレスポンス限界時間ＲＬＴであるならば、受信した送信機基準時刻レスポンスパケットＱＰ２内のレスポンス時送信機基準時刻ＲＴＴを、受信機基準時刻ＲＢＴの目標値とする。

なお、目標値とするというのは、端末間同期制御部３４の制御下で受信機基準時刻生成部３３が生成する受信機基準時刻ＲＢＴを、送信機基準時刻生成部２２が生成する送信機基準時刻ＴＢＴに近づけるようにすることである。例えば、レスポンス時送信機基準時刻ＲＴＴに比べ、受信機基準時刻ＲＢＴの方が遅れている場合、受信機基準時刻ＲＢＴの生成クロックを高め、逆に受信機基準時刻ＲＢＴの方が進んでいる場合は、受信機基準時刻ＲＢＴの生成クロックを低くすることにより、受信機基準時刻ＲＢＴを送信機基準時刻ＴＢＴに同期させることができる。

一方、レスポンス時間が、レスポンス限界時間ＲＬＴ以上であるならば、その送信機基準時刻レスポンスパケットＱＰ２内のレスポンス時送信機基準時刻ＲＴＴは採用することなく破棄する。

したがって、図７で示した例では、時刻Ｔ１０１〜Ｔ１０４間の送信機基準時刻リクエストパケットＱＰ１１，送信機基準時刻レスポンスパケットＱＰ２１の授受においては、（Ｔ１０４−Ｔ１０１）＜ＲＬＴであるため、送信機基準時刻レスポンスパケットＱＰ２１内のレスポンス時送信機基準時刻ＲＴＴが受信機基準時刻ＲＢＴの目標値として採用される。

一方、時刻Ｔ１１１〜Ｔ１１４間の送信機基準時刻リクエストパケットＱＰ１２，送信機基準時刻レスポンスパケットＱＰ２２の授受においては、（Ｔ１１４−Ｔ１１１）＞ＲＬＴであるため、送信機基準時刻レスポンスパケットＱＰ２２内のレスポンス時送信機基準時刻ＲＴＴは破棄される。

あらかじめ設定するレスポンス限界時間ＲＬＴは、通信ネットワーク１のスループットや通信エラーの変化の仕方、伝送データのビットレート、伝送データの特性(許容する基準時刻ジッタ値)、送信機２の送信バッファ２４の送信バッファ量と受信機３の受信バッファ３２の受信バッファ量との関係、ターゲットとする再生品質などにより、決定される値であり、製品仕様に属するため、ここでは具体的な算出方法については述べない。

遅延オフセット時間算出部３５は、通信部３１から、受信したＴＳパケットＴＰ２内のローカルタイムスタンプＬＴ１部分を取得し、そのローカルタイムスタンプの指示する時刻（ローカルタイム）と受信機基準時刻生成部３３で生成している受信機基準時刻ＲＢＴを比較して、差分値をとる。

次々に受信するＴＳパケットＴＰ２において、この差分値データを蓄積していく。一定期間、差分値データを蓄積し、分析を行うと、差分値の最大値、平均値、および平均偏差などの統計量が算出できる。これら統計量から、実際に通信ネットワーク１を経由した送信機２から受信機３へのＴＳパケットＴＰ２の伝送において発生する伝送遅延時間の最大値と推測される遅延オフセット時間を算出遅延オフセット時間ＰＲＥΔＴＤＯとして算出する。

遅延オフセット時間算出部３５は、前述した一定期間の差分データの蓄積、分析、および遅延オフセット時間の算出を繰り返し行い、算出する毎に算出遅延オフセット時間ＰＲＥΔＴＤＯを遅延オフセット時間管理部３７に通知する。

図８は、受信したＴＳパケットＴＰ２のローカルタイムスタンプデータが指示するローカルタイムと、遅延オフセット時間算出部３５の該ＴＳパケットＴＰ２受信時における受信機基準時刻ＲＢＴとの差分値の経時変化を示すグラフである。

図８において、縦軸が差分値ΔＤであり、横軸がＴＳパケットＴＰ２を受信した時間である。また各々の差分値は図８上では×印で示している。以下、図８を参照して、ＴＳパケットＴＰ２の経時変化について説明する。

時刻Ｔ２０１〜Ｔ２０２までは、差分値ΔＤは、差分値Ｄ２０２近傍で比較的が低くなっており、この期間は、通信ネットワーク１上の通信状況が比較的良かったことを示している。

一方、時刻Ｔ２０３では、差分値ΔＤが急に大きくなっており、差分値Ｄ２０１（＞＞Ｄ２０２）に達しており、前回、ＴＳパケットＴＰ２を受信した時刻Ｔ２０２から、時刻Ｔ２０３までの時間も比較的長くなっている。その結果、時刻Ｔ２０３で受信したＴＳパケットＴＰ２の伝送が、通信ネットワーク１上の通信状況の悪化により、正常に完了できなかったことを示している。

そして、時刻Ｔ２０３後、時刻Ｔ２０４にかけて、通信状況が良化し、差分値ΔＤが差分値Ｄ２０２に向けて小さくなっていき、時刻Ｔ２０４から時刻Ｔ２０５にかけては、差分値ΔＤは差分値Ｄ２０２近傍で安定していることを示している。

図９は、時刻Ｔ２０１から時刻Ｔ２０５にかけて、受信バッファ３２のデータ残量の経時変化を示したグラフである。なお、図９で示す時刻Ｔ２０１〜Ｔ２０５は、図８で示す時刻Ｔ２０１〜Ｔ２０５に対応している。以下、図９を参照して、受信バッファ３２のデータ残量ΔＭの経時変化について説明する。

図９で示す例では、送信機２，受信機３間で通信されるＴＳパケットはＣＢＲ(Constant BitRate：固定ビットレート)ストリームであることを前提としている。時刻Ｔ２０１から時刻Ｔ２０２までは、通信ネットワーク１上の通信状況が良好であるため、一定レートで受信バッファ３２にデータ入力があるため、データ残量ΔＭはデータ残量Ｍ２０１付近で安定して推移する。

時刻Ｔ２０２を過ぎると、時刻Ｔ２０３までは、データ入力が無くなるため、データ残量ΔＭが一気に減少していく。時刻Ｔ２０３にデータ残量ΔＭがデータ残量Ｍ２０２（＜＜Ｍ２０１）まで減少した後、通信状況が回復し、データ入力が再開されるため、データ残量ΔＭがデータ残量Ｍ２０１に向けて増加していく。時刻Ｔ２０４後は、通信状況が良好であるため、データ残量ΔＭはデータ残量Ｍ２０１付近で安定して推移する。

図９で示す例では、時刻Ｔ２０３で、データ残量ΔＭがデータ残量Ｍ２０１まで減少したが、もしデータ残量ΔＭが“０”になってしまった場合は、受信バッファ３２はアンダーフロー状態となってしまう。仮に、受信バッファ３２がアンダーフローになると、その後に受信するＴＳパケットＴＰ２のローカルタイムスタンプが示す時刻（ローカルタイムスタンプ値）に遅延オフセット時間ΔＴＤＯを加えて時刻は、既に受信機基準時刻ＲＢＴを過ぎていることになり、意図したタイミングで該ＴＳパケットを出力できなくなってしまい、ＴＳパケット出力部４０から出力されるＴＳパケットの品質が劣化してしまうことになる。

次に、遅延オフセット時間算出部３５による算出遅延オフセット時間ＰＲＥΔＴＤＯの算出方法について述べる。図８において、時刻Ｔ２０１から時刻Ｔ２０５に受信したＴＳパケットＴＰ２の中では、時刻Ｔ２０３の時に受信したＴＳパケットＴＰ２におけるローカルタイムスタンプ値と受信機基準時刻ＲＢＴとの差分値ΔＤが、差分値Ｄ２０１と最も大きくなる。この差分値Ｄ２０１を算出遅延オフセット時間ＰＲＥΔＴＤＯとして、使用することもできる。

しかし、この時刻Ｔ２０２から時刻Ｔ２０３で発生した通信状況の悪化が、通信ネットワーク１上で頻繁に発生しやすい事象かどうか判定することは一概には難しい。このため、一定期間内に集計した差分値ΔＤのうち最大値を示す最大差分値（ΔＤmax）を基準として算出遅延オフセット時間ＰＲＥΔＴＤＯを算出する方法が考えられる。すなわち、最大差分値ΔＤmaxを基準として、受信バッファ３２にて、アンダーフローを起こさないように安全性を考慮して固定時間Ｔａを追加したり(ＰＲＥΔＴＤＯ＝ΔＤmax＋Ｔａ…式(1))、一定掛率Ｋａ（≧１）で遅延オフセット時間を増加させたり(ＰＲＥΔＴＤＯ＝ΔＤmax・Ｋａ…式(2))して、算出遅延オフセット時間ＰＲＥΔＴＤＯを求める方法が考えられる。

このように、遅延オフセット時間算出部３５は、上述した式(1)，式(2)を利用し、予め定めた一定期間内に集計した差分値ΔＤにおける最大差分値ΔＤmaxに基づき、算出遅延オフセット時間ＰＲＥΔＴＤＯを算出することにより、送信機２，受信機３間の通信状況を的確に反映した算出遅延オフセット時間ＰＲＥΔＴＤＯを得ることができる。

また、算出遅延オフセット時間ＰＲＥΔＴＤＯは、一定期間内に集計した差分値ΔＤから得られる、差分値ΔＤの平均及び標準偏差などの統計量を算出遅延オフセット時間ＰＲＥΔＴＤＯの算出基準としてもよい。すなわち、一定期間内に集計した差分値ΔＤから、差分値ΔＤの平均及び標準偏差の少なくとも一つを判断統計量として求め、該判断統計量に基づき算出遅延オフセット時間ＰＲＥΔＴＤＯを算出することもできる。

統計学的には、設定した算出遅延オフセット時間ＰＲＥΔＴＤＯを超える場合の確率も求められるため、受信バッファ３２でアンダーフローが発生する確率(発生する平均周期)が求められ、結果的には、ＴＳパケット出力部４０から出力されるＴＳストリームの品質が算出できる。もし、ＴＳパケット出力部４０から出力されるＴＳストリームの品質が外部で規定されているなら、逆算して、規定品質を満たすように算出遅延オフセット時間ＰＲＥΔＴＤＯを算出することも可能である。

このように、遅延オフセット時間算出部３５は、差分値ΔＤの平均及び標準偏差などの統計量（判断統計量）に基づき、算出遅延オフセット時間ＰＲＥΔＴＤＯを算出することにより、送信機２，受信機３間の通信状況を的確に反映した算出遅延オフセット時間ＰＲＥΔＴＤＯを得ることができる。

切換可能タイミング検出部３６は、通信部３１で受信したＴＳパケットＴＰ２に含まれる再生映像および再生音声の連続点や不連続点を検出し、遅延オフセット時間の切替可能タイミングを求め、当該タイミングを指示するタイミング制御信号ＴＣＳを遅延オフセット時間指定部３７に通知する。

遅延オフセット時間ΔＴＤＯを切り換えると、短時間ではあるがシーンが飛んだり、同じシーンが続くようになり、送信機２に入力されたオリジナルのＴＳストリームとは、同一ではないＴＳストリームになる。しかしながら、動きがない映像の時や、音声が低いもしくは音声がない時であれば、ＴＳストリームを再生した映像や音声を視聴者に大きな違和感を感じさせないことができる。

遅延オフセット時間ΔＴＤＯが切換可能な条件について説明する。映像に関しては、再生映像において、一定期間映像に変化がない場合（第１の判断基準）と、シーンが変化した場合（第２の判断基準）が、切換可能ポイントとなる。音声については、一定期間音声のレベルが視聴者が聞き取れないレベル以下か無音が続いた場合（第３の判断基準）が、切換可能ポイントとなる。これら、映像に関する２つの条件と、音声に関する１つの条件の組み合わせによって、切替可能タイミング検出部３６は切換可能タイミングを決定する。例えば、一定期間映像に変化がない場合だけで切換可能ポイントとして、切換可能タイミングを決定してもよいし、映像シーンが変化した場合でかつ、一定期間音声のレベルが一定レベル以下か無音が続いた場合に、切換可能タイミングを決定してもよい。

このように、切替可能タイミング検出部３６は、映像データ，音声データ等の実情報の連続性・不連続性に関する上記第１〜第３の判断基準のうち、少なくとも一つの判断基準を満足した場合に、切換可能タイミングとして決定することにより、遅延オフセット時間ΔＴＤＯの切換時におけるＴＳストリームを再生した映像や音声を視聴者に大きな違和感を感じさせないようにすることができる。

なお、ＴＳパケットから、一定期間映像の無変化点を検出する方法、およびシーン変化点を検出する方法については、従来より広く提案されているため、ここでは詳しく述べない。

遅延オフセット時間指定部３７は、遅延オフセット時間算出部３５から通知された最新の算出遅延オフセット時間ＰＲＥΔＴＤＯを、切換可能タイミング検出部３６からのタイミング制御信号ＴＣＳが指示する切換可能タイミングで、出力タイミング決定用基準時刻生成部３８に通知する。

遅延オフセット時間ΔＴＤＯの切換頻度を抑えるために、切換可能タイミング検出部３６から切換可能タイミングを指示するタイミング制御信号ＴＣＳが通知された場合でも、前回、出力タイミング決定用基準時刻生成部３８に通知した遅延オフセット時間ΔＴＤＯと、遅延オフセット時間算出部３５から通知された最新の算出遅延オフセット時間ＰＲＥΔＴＤＯとの差が一定値以下の場合は、以下のように対応しても良い。すなわち、上記場合、遅延オフセット時間指定部３７は、最新の算出遅延オフセット時間ＰＲＥΔＴＤＯを遅延オフセット時間ΔＴＤＯとして出力タイミング決定用基準時刻生成部３８に通知せず、前回、通知した遅延オフセット時間ΔＴＤＯをそのまま継続するようにしても良い。

また、遅延オフセット時間ΔＴＤＯが切り替えられた場合には、出力タイミング決定用基準時刻生成部３８は、新たな遅延オフセット時間ΔＴＤＯを反映した出力タイミング決定用基準時刻ＯＢＴをＴＳパケット出力タイミング調整部３９に出力するとともに、遅延オフセット時間ΔＴＤＯが切り換えられたことを示す切換事実情報をＴＳパケット出力タイミング調整部３９に通知する。

すなわち、出力タイミング決定用基準時刻生成部３８は、受信機基準時刻生成部３３から通知される受信機基準時刻ＲＢＴに、遅延オフセット時間指定部３７から通知される遅延オフセット時間ΔＴＤＯを減算して、出力タイミング決定用基準時刻ＯＢＴを生成し、ＴＳパケット出力タイミング調整部３９に通知する。そして、出力タイミング決定用基準時刻生成部３８は、上記切換事実情報を併せてＴＳパケット出力タイミング調整部３９に出力する。

ＴＳパケット出力タイミング調整部３９は、ＦＩＦＯである受信バッファ３２の出力部の先頭に存在するＴＳパケットＴＰ２（ローカルタイムスタンプ付きＴＳパケット）のローカルタイムスタンプが示す時刻（ローカルタイムスタンプ値）と、出力タイミング決定用基準時刻生成部３８から通知される出力タイミング決定用基準時刻ＯＢＴとを比較する。そして、ＴＳパケット出力タイミング調整部３９は、当該ローカルタイムスタンプ値が出力タイミング決定用基準時刻ＯＢＴを経過していたら、そのＴＳパケットＴＰ２からローカルタイムスタンプ部分を削除し、ＴＳパケット部分（実情報を含む部分）だけを実ＴＳパケットＲＴＰとしてＴＳパケット出力部４０に出力する。

また、ＴＳパケット出力タイミング調整部３９は、遅延オフセット時間ΔＴＤＯが短くなった場合の対応として、受信バッファ３２の出力部の先頭に存在するＴＳパケットＴＰ２内のローカルタイムスタンプ値が、出力タイミング決定用基準時刻ＯＢＴとが同時刻になった時だけ、上述したように実ＴＳパケットＲＴＰを出力するようにしても良い。この場合、ＴＳパケット出力タイミング調整部３９は、ローカルタイムスタンプ値が出力タイミング決定用基準時刻ＯＢＴを既に経過している場合、ＴＳパケットＴＰ２全体を破棄することになる。

例えば、遅延オフセット時間指定部３７からの遅延オフセット時間ΔＴＤＯが短くなる方向で更新された場合、受信バッファ３２内のＴＳパケットＴＰ２を一部間引いて実ＴＳパケットＲＴＰとして出力することができる。したがって、デコーダ等の実ＴＳパケットＲＴＰの利用装置側の処理負担を軽減することが期待できる。

また、ＴＳパケット出力タイミング調整部３９は、遅延オフセット時間指定部３７が遅延オフセット時間ΔＴＤＯを改めたことを、出力タイミング決定用基準時刻生成部３８からの切換事実情報から認識した場合は、その直後に出力する実ＴＳパケットＲＴＰにおけるアダプテーションフィールド内に存在する不連続指標（discontinuity indicator）フラグをセットするようにしても良い。不連続指示フラグをセットすることによって、このＴＳパケット（実ＴＳパケットＲＴＰ）で、遅延オフセット時間ΔＴＤＯの変更に伴いローカルタイムスタンプ値の連続性が途切れている事をデコーダ等の実ＴＳパケットＲＴＰを利用する装置に明確に通知する事ができ、意図通りの再生が可能になる。

なお、ローカルタイムスタンプ値の連続性が途切れているとは、上述したように、ＴＳパケットＴＰ２の一部が間引かれて実ＴＳパケットＲＴＰとして出力された場合、実ＴＳパケットＲＴＰの出力タイミングが一時的に早く（遅く）なる場合を意味する。

このように、本実施の形態におけるＴＳパケット出力タイミング調整部３９は、遅延オフセット時間ΔＴＤＯの変更直後に、出力パケットデータである実ＴＳパケットＲＴＰ内に不連続であることを示す不連続指示情報（不連続指示フラグをセットする）を含める不連続指示設定処理を行っている。その結果、実ＴＳパケットＲＴＰ内の不連続指示情報を参照することにより、デコーダ等の実ＴＳパケットＲＴＰの利用装置が実ＴＳパケットＲＴＰの不連続性を明確に認識することができる。

そして、ＴＳパケット出力部４０は、ＴＳパケット出力タイミング調整部３９から入力されたＴＳパケットを受信機３の外部に出力する。

このように、本実施の形態のデータ受信装置における遅延オフセット時間算出部３５は、ＴＳパケットＴＰ２内のローカルタイムスタンプＬＴ１で指示される時刻（送信時刻情報）と、受信機基準時刻ＲＢＴとの差分値とに基づき、算出遅延オフセット時間ＰＲＥΔＴＤＯを随時算出するため、送信機２との間の通信状況に適した算出遅延オフセット時間ＰＲＥΔＴＤＯを常に得ることができる。

その結果、出力タイミング決定用基準時刻生成部３９は、上記送信時刻情報で指示された時刻と出力タイミング決定用基準時刻ＯＢＴ（受信機基準時刻ＲＢＴ−遅延オフセット時間ΔＴＤＯ）との比較結果に基づくタイミングで、受信バッファ３２に記憶されたＴＳパケットＴＰ２から実ＴＳパケットＲＴＰを適切に出力することができる効果を奏する。

また、遅延オフセット時間指定部３５は、切替可能タイミング検出部３６からのタイミング制御信号ＴＣＳで指示される切換可能タイミングで、算出遅延オフセット時間ＰＲＥΔＴＤＯを新たな遅延オフセット時間ΔＴＤＯとして指定している。上記切換可能タイミングはＴＳパケットＴＰ２に含まれている映像データ、音声データ等の実情報の連続性・不連続性に関する判断基準に基づいて得られるタイミングであるため、ＴＳパケットＴＰ２内の映像データ，音声データを再生した場合に視聴者に大きな違和感を感じさせることはない。

この発明の実施の形態であるデータ受信装置である受信機を含む通信システムのシステム構成の概略を示す説明図である。 図１で示した通信システムにおける送信機の内部構成を示すブロック図である。 図１で示した通信システムにおける受信機の内部構成を示すブロック図である。 ローカルタイムスタンプ付きＴＳパケットの構成を示す説明図である。 送信機基準時刻リクエストパケットの内部構成を示す説明図である。 送信機基準時刻レスポンスパケットの内部構成を示す説明図である。 受信機基準時刻を送信機基準時刻に同期させるために、受信機側と送信機側との間で行われる通信内容を模式的に示した説明図である。 ローカルタイムと受信機基準時刻との差分値の経時変化を示すグラフである。 図１で示した受信機内の受信バッファのデータ残量の経時変化を示したグラフである。

符号の説明

１ 通信ネットワーク、２ 送信機、３ 受信機、２１ ＴＳパケット入力部、２２ 送信機基準時刻ＴＢＴ生成部、２３ ローカルタイムスタンプ付加部、２４ 送信バッファ２４、２５ 送信機基準時刻リクエスト応答部、２６，３１ 通信部、３２ 受信バッファ、３３ 受信機基準時刻生成部、３４ 端末間同期制御部、３５ 遅延オフセット時間算出部、３６ 切替可能タイミング検出部、３７ 遅延オフセット時間指定部、３８ 出力タイミング決定用基準時刻生成部、３９ ＴＳパケット出力タイミング調整部、４０ ＴＳパケット出力部。

Claims (6)

1. 所定の送信装置から所定の通信手段を介して、パケットデータを受信するデータ受信装置であって、前記パケットデータは、前記所定の送信装置の送信時の時刻を示す送信時刻情報と映像データを少なくとも含む実情報とを有し、
   前記パケットデータを順次受信する通信部と、
   前記パケットデータをＦＩＦＯ(First In First Out)方式で記憶する受信バッファと、
   受信機基準時刻を生成する受信機基準時刻生成部と、
   前記パケットデータ内の前記送信時刻情報と、前記パケットデータ受信時における前記受信機基準時刻との差分値とに基づき、算出遅延オフセット時間を随時算出する遅延オフセット時間算出部と、
   前記パケットデータに含まれている前記実情報の連続性・不連続性に関する判断基準に基づき、遅延オフセット時間の切換可能タイミングを決定する切替可能タイミング検出部と、
   前記切替可能タイミング検出部が指示する前記切換可能タイミングで、前記算出遅延オフセット時間を新たな遅延オフセット時間として指定する遅延オフセット時間指定部と、
   前記受信バッファに記憶されているパケットデータ内の前記送信時刻情報、前記受信機基準時刻及び前記遅延オフセット時間に基づくタイミングで、前記受信バッファに記憶された前記パケットデータ内の少なくとも前記実情報を含む出力パケットデータを出力するパケットデータ出力制御部とを備える、
   データ受信装置。
2. 請求項１記載のデータ受信装置であって、
   前記遅延オフセット時間算出部は、予め定めた一定期間毎に、前記パケットデータ内の前記送信時刻情報と受信機基準時刻との差分値を集計し、集計した差分値の最大値を最大差分値として求め、当該最大差分値を基準として、前記算出遅延オフセット時間を算出する、
   データ受信装置。
3. 請求項１記載のデータ受信装置であって、
   前記遅延オフセット時間算出部は、予め定めた一定期間毎に、前記パケットデータ内の前記送信時刻情報と受信機基準時刻との差分値を集計し、集積した差分値の平均及び標準偏差の少なくとも一つを判断統計量として求め、該判断統計量に基づき前記算出遅延オフセット時間を算出する、
   データ受信装置。
4. 請求項１ないし請求項３のうち、いずれか１項に記載のデータ受信装置であって、
   前記実情報は音声データをさらに含み、
   前記切替可能タイミング検出部は、
   前記映像データの再生映像において、予め定めた一定期間、同じ映像が続いたと判定した第１の判断基準、前記映像データの再生映像において、シーンが変化したと判定した第２の判断基準、及び、前記音声データの再生音声において、予め定めた一定期間、聴感上感知できない音量以下であると判定した第３の判断基準のうち、少なくとも一つの判断基準を満足した場合、前記切換可能タイミングとして決定する、
   データ受信装置。
5. 請求項１ないし請求項４のうち、いずれか１項に記載のデータ受信装置であって、
   前記パケットデータ出力制御部は、前記遅延オフセット時間の変更直後に、前記出力パケットデータ内に不連続であることを示す不連続指示情報を含める不連続指示設定処理を行う、
   データ受信装置。
6. 請求項１ないし請求項５のうち、いずれか１項に記載のデータ受信装置であって、
   前記第１のデータパケットは、ＭＰＥＧ２システムにおけるトランスポートストリーム（ＴＳ）パケットを含み、
   前記不連続指示設定処理は、前記遅延オフセット時間の変更直後に、ＴＳパケットのアダプテーションフィールド部に存在する不連続指標フラグを有効にする処理を含む、
   データ受信装置。

Images