JP2008118543A - 受信装置およびデータ再生方法 - Google Patents

Abstract

【課題】ネットワーク伝送におけるジッタの影響を軽減し、良好な品質で映像や音声を再生すること。
【解決手段】受信装置２０２は、映像／音声データを一時的に蓄積するバッファ２３１と、送信装置から映像／音声データと多重して送信された２つの時間情報の時間差を演算する差分演算部２４２と、前述の２つの時間情報が当該の受信装置へ到着した時間差を演算する差分演算部２４４と、差分演算部２４２と差分演算部２４４の演算結果の差分に相当する時間に伝送される映像／音声データのデータ量から、ＶＣＸＯ２２３の生成するクロックの変動により起こりうるデータ変動量を差し引くことにより、ネットワークにおけるジッタ量を取得するジッタ量取得部２４５と、ジッタ量取得部２４５により取得されたジッタ量をバッファ２３１に蓄積されたデータ量から差し引いた値が一定になるように、ＶＣＸＯ２２３に加える制御量を補正する制御量補正部２４７とを備える。
【選択図】 図３

Description

この発明は、ネットワークを介して送信装置から送信された映像／音声データをリアルタイムで再生する受信装置およびデータ再生方法に関し、特に、ネットワーク伝送におけるジッタの影響を軽減し、良好な品質で映像や音声を再生することができる受信装置およびデータ再生方法に関する。

映像や音声をインターネット等のネットワークを介してリアルタイムで伝送して再生する場合、再生される映像や音声の品質を良好に保つために、送信側の通信装置（以下、「送信装置」という）と受信側の通信装置（以下、「受信装置」という）が、正確にクロックの同期をとって動作することが重要である。

送信装置と受信装置のクロックの同期を実現するため、映像データや音声データに多重して送信装置から受信装置へ時間情報を伝送する方法（例えば、特許文献１を参照）や、受信装置側が映像データや音声データをバッファに一時的に格納し、バッファの使用状況を監視してクロックを調整する方法（例えば、特許文献２を参照）が知られている。

特開平１１−３０８２０３号公報 特開２００６−１４８２２７号公報

しかしながら、映像データや音声データに多重して送信装置から受信装置へ時間情報を伝送する方法は、時間情報が正しい時間間隔で伝送されることを必要とするため、インターネットのようにデータの伝送時間の揺らぎ（以下、この揺らぎを「ジッタ」と呼ぶ）が大きいネットワークでこの方法を使用した場合、映像のコマ落ちや色ずれ、音声の間延びや早送りといった問題が生じることがあった。

また、バッファの使用状況を監視してクロックを調整する方法では、バッファがある程度のジッタを吸収するため、クロックを補正できる幅が上記の方法よりも広くなるものの、通信の輻輳等により大きなジッタが発生すると、クロックを補正しきれないことがあった。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、ネットワーク伝送におけるジッタの影響を軽減し、良好な品質で映像や音声を再生することができる受信装置およびデータ再生方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明の一つの態様では、ネットワークを介して送信装置から送信された映像／音声データをリアルタイムで再生する受信装置であって、前記映像／音声データを再生するためのクロックを生成するクロック生成手段と、前記映像／音声データを一時的に蓄積するバッファと、前記送信装置から前記映像／音声データと多重して送信された２つの時間情報の時間差を演算することにより、前記２つの時間情報が送信装置において送信された時間差を求める第１の差分演算手段と、前記２つの時間情報の一方が当該の受信装置へ到着した時間と、他方が当該の受信装置へ到着した時間の時間差を演算する第２の差分演算手段と、前記第１の差分演算手段と前記第２の差分演算手段の演算結果の差分に相当する時間に伝送される前記映像／音声データのデータ量から、前記クロック生成手段の生成するクロックの変動により起こりうるデータ変動量を差し引くことにより、前記ネットワークにおけるジッタ量を取得するジッタ量取得手段と、前記ジッタ量取得手段により取得されたジッタ量を前記バッファに蓄積されたデータ量から差し引いた値が一定になるように、前記クロック生成手段に加える制御量を補正する制御量補正手段とを備えたことを特徴とする。

また、本発明の他の態様では、ネットワークを介して送信装置から送信された映像／音声データをリアルタイムで再生する受信装置におけるデータ再生方法であって、前記映像／音声データを一時的にバッファに蓄積する蓄積工程と、前記送信装置から前記映像／音声データと多重して送信された２つの時間情報の時間差を演算することにより、前記２つの時間情報が送信装置において送信された時間差を求める第１の差分演算工程と、前記２つの時間情報の一方が当該の受信装置へ到着した時間と、他方が当該の受信装置へ到着した時間の時間差を演算する第２の差分演算工程と、前記第１の差分演算工程と前記第２の差分演算工程の演算結果の差分に相当する時間に伝送される前記映像／音声データのデータ量から、前記映像／音声データを再生するために生成されるクロックの変動により起こりうるデータ変動量を差し引くことにより、前記ネットワークにおけるジッタ量を取得するジッタ量取得工程と、前記ジッタ量取得工程により取得されたジッタ量を前記バッファに蓄積されたデータ量から差し引いた値が一定になるように、前記クロックを変動させるための制御量を補正する制御量補正工程とを含んだことを特徴とする。

この発明の態様によれば、映像／音声データを記憶するバッファのメモリ使用量から、ジッタ量取得手段が時間情報に基づいて取得したジッタ量を、制御量補正手段が差し引いてクロック生成手段の制御量を決定するように構成されているので、単純にメモリ使用量に基づいてクロック生成手段の制御量を決定する場合と比較して、ネットワークにおけるジッタの影響を軽減し、良好な品質で映像や音声を再生することができる。

また、本発明の他の態様では、上記の発明の態様において、前記第１の差分演算手段の演算結果に相当する時間に伝送されるべき前記映像／音声データのデータ量を演算するデータ量演算手段と、前記２つの時間情報が受信される間に実際に伝送された前記映像／音声データのデータ量を計数するデータ量計数手段と、前記データ量計数手段にて計数されたデータ量が、前記データ量演算手段により演算されたデータ量よりも少ない場合に、データ量の差分に相当する量の無効データを前記バッファに追加する無効データ追加手段と、前記無効データ追加手段によって追加された無効データが映像／音声データとして再生される前に該無効データを削除する無効データ削除手段とをさらに備えたことを特徴とする。

この発明の態様によれば、受信した時間情報から算出されるデータ量と、実際に受信したデータ量とを比較し、実際に受信したデータ量が少ない場合は、少ない分の無効データをバッファに挿入するように構成されているので、伝送過程におけるパケットロス等により一部のデータが消失した場合でも、正しいクロックを生成し、良好な品質で映像や音声を再生することができる。

また、本発明の他の態様では、上記の発明の態様において、前記ジッタ量取得手段によって取得されたジッタ量を、前記送信装置において前記映像／音声データを圧縮した固定ビットレートと同じ比率で換算するデータ量換算手段をさらに備えたことを特徴とする。

この発明の態様によれば、ジッタ量取得手段が時間情報に基づいて取得したジッタ量を、データ量換算手段が、固定ビットレートを反映した値に変換し、この変換後の値をもちいてバッファのメモリ使用量を補正してクロック生成手段の制御量を決定するように構成されているので、映像／音声データが固定ビットレートで圧縮されている場合であっても、適正なクロックを生成し、良好な品質で映像や音声を再生することができる。

また、本発明の他の態様では、上記の発明の態様において、前記第１の差分演算手段の演算結果に相当する時間に、所定のビットレートで圧縮された前記映像／音声データが伝送されるべきデータ量を演算するデータ量演算手段と、前記２つの時間情報が受信される間に実際に伝送された前記映像／音声データのデータ量を計数するデータ量計数手段と、前記データ量計数手段にて計数されたデータ量が、前記データ量演算手段により演算されたデータ量よりも少ない場合に、データ量の差分に相当する量の無効データを前記バッファに追加する無効データ追加手段と、前記無効データ追加手段によって追加された無効データが映像／音声データとして再生される前に該無効データを削除する無効データ削除手段とをさらに備えたことを特徴とする。

この発明の態様によれば、受信した時間情報に基づいて、所定のビットレートで圧縮されたものとして算出した映像／音声データのデータ量と、実際に受信したデータ量とを比較し、実際に受信したデータ量が少ない場合は、少ない分の無効データをバッファに挿入するように構成されているので、送信装置において映像／音声データが可変ビットレートで圧縮されている場合においても、正しいクロックを生成し、良好な品質で映像や音声を再生することができる。

本発明の一つの態様によれば、映像／音声データを記憶するバッファのメモリ使用量から、ジッタ量取得手段が時間情報に基づいて取得したジッタ量を、制御量補正手段が差し引いてクロック生成手段の制御量を決定するように構成されているので、単純にメモリ使用量に基づいてクロック生成手段の制御量を決定する場合と比較して、ネットワークにおけるジッタの影響を軽減し、良好な品質で映像や音声を再生することができるという効果を奏する。

また、本発明の一つの態様によれば、受信した時間情報から算出されるデータ量と、実際に受信したデータ量とを比較し、実際に受信したデータ量が少ない場合は、少ない分の無効データをバッファに挿入するように構成されているので、伝送過程におけるパケットロス等により一部のデータが消失した場合でも、正しいクロックを生成し、良好な品質で映像や音声を再生することができるという効果を奏する。

また、本発明の一つの態様によれば、ジッタ量取得手段が時間情報に基づいて取得したジッタ量を、データ量換算手段が、固定ビットレートを反映した値に変換し、この変換後の値をもちいてバッファのメモリ使用量を補正してクロック生成手段の制御量を決定するように構成されているので、映像／音声データが固定ビットレートで圧縮されている場合であっても、適正なクロックを生成し、良好な品質で映像や音声を再生することができるという効果を奏する。

また、本発明の一つの態様によれば、受信した時間情報に基づいて、所定のビットレートで圧縮されたものとして算出した映像／音声データのデータ量と、実際に受信したデータ量とを比較し、実際に受信したデータ量が少ない場合は、少ない分の無効データをバッファに挿入するように構成されているので、送信装置において映像／音声データが可変ビットレートで圧縮されている場合においても、正しいクロックを生成し、良好な品質で映像や音声を再生することができるという効果を奏する。

以下に添付図面を参照して、本発明に係る受信装置およびデータ再生方法の好適な実施の形態を詳細に説明する。なお、以下の実施例では、ネットワークを介して映像をリアルタイムで伝送する送信装置と受信装置の例を示すが、本発明は、ネットワークを介して音声をリアルタイムで伝送する送信装置と受信装置にも有効に適用することができる。

まず、従来の送信装置と受信装置の構成について説明する。図１１は、従来のデータ伝送システムの構成を示すブロック図である。同図に示すデータ伝送システムは、ネットワーク１０を介して映像をリアルタイムで伝送するためのシステムであり、送信装置１００と受信装置２００からなる。

送信装置１００は、映像信号を映像データへ変換し、ネットワーク１０を介して、受信装置２００へ送信する装置であり、Ａ／Ｄ変換部１１１と、バッファ１１２と、多重部１１３と、クロック再生部１１４と、カウンタ１１５と、タイミング生成部１１６とを有する。

Ａ／Ｄ変換部１１１は、送信装置１００に入力された映像信号を映像データへ変更する処理部であり、バッファ１１２は、Ａ／Ｄ変換部１１１において変換された映像データを一時的に記憶するメモリである。多重部１１３は、バッファ１１２に記憶されている映像データに多重して、カウンタ１１５に記憶されているカウンタ値を時間情報としてネットワーク１０へ送出する処理部である。

クロック再生部１１４は、送信装置１００に入力された映像信号から、送信装置１００が動作するためのクロックを生成する処理部である。クロック再生部１１４において生成されたクロックは、映像信号をサンプリングするタイミングを制御するサンプリングクロックとしてＡ／Ｄ変換部１１１へ供給される。同クロックは、経過時間を計数するためにカウンタ１１５へも供給され、カウンタ１１５に記憶されているカウンタ値を受信装置２００へ送信するタイミングを決定するためにタイミング生成部１１６へも供給される。

カウンタ１１５は、クロック再生部１１４からクロックが供給されるたびに、自身が記憶するカウンタ値をインクリメントするカウンタであり、ある時点からの経過時間をクロック数の累計値として記憶する。タイミング生成部１１６は、カウンタ１１５に記憶されているカウンタ値を、映像データに多重するタイミングを多重部１１３へ通知する処理部である。

受信装置２００は、送信装置１００から送信された映像データを映像信号へ変換して出力する装置であり、分離部２１１と、Ｄ／Ａ変換部２１２と、カウンタ２２１と、差分演算部２２２と、ＶＣＸＯ（Voltage Controlled Crystal Oscillator、電圧制御発振器）２２３とを有する。

分離部２１１は、送信装置１００から送信された映像データと時間情報とを分離する処理部であり、Ｄ／Ａ変換部２１２は、分離部２１１において分離された映像データを映像信号へ変換する処理部である。

カウンタ２２１は、ＶＣＸＯ２２３からクロックが供給されるたびに、自身が記憶するカウンタ値をインクリメントするカウンタであり、分離部２１１から時間情報を分離した旨の通知を受けると、自身が記憶するカウンタ値を差分演算部２２２へ通知する。

差分演算部２２２は、分離部２１１において分離された時間情報と、カウンタ２２１から通知されたカウンタ値とを比較することにより、送信装置１００のクロックと自装置のクロックの差分を求め、差分が解消されるようにＶＣＸＯ２２３を制御する制御部である。

ＶＣＸＯ２２３は、一定の範囲で周波数を変動させることができるクロック生成手段であり、映像信号を再生するためのクロックをＤ／Ａ変換部２１２へ供給するとともに、クロックの同期制御のために、クロックをカウンタ２２１へも供給する。

図１２は、図１１に示した従来のデータ伝送システムにおけるクロック補正方法の概要を示す図である。同図に示すように、受信装置２００が受信する受信データには、映像信号が変換された映像データや無信号部分の他に「０」、「５」、「９」といった値をもつ時間情報が含まれる。これらの値は、ある時点から、何クロック経過した後にこの時間情報が送信されたかを示している。

差分演算部２２２は、送信装置１００から送信された時間情報と、その時点でカウンタ２２１に記憶されているカウンタ値とを比較し、その差が一定になるようにＶＣＸＯ２２３を制御することにより、送信装置１００と受信装置２００のクロックを一致させ、受信した映像をリアルタイムに良好な品質で再生することを可能にする。

しかしながら、この方式は、送信装置１００が送信した時間情報が、送信時と同じ間隔を保って受信装置２００に受信されることを前提にしており、伝送速度が安定している同期網においては有効であるが、インターネットのようにジッタ量の多い非同期網に適用することはできなかった。

次に、インターネットのような非同期網において従来もちいられてきた送信装置と受信装置の構成について説明する。図１３は、従来のもう１つのデータ伝送システムの構成を示すブロック図である。同図に示すデータ伝送システムは、ネットワーク１０を介して映像をリアルタイムで伝送するためのシステムであり、送信装置１０１と受信装置２０１からなる。

送信装置１０１は、映像信号を映像データへ変換し、ネットワーク１０を介して、受信装置２０１へ送信する装置であり、Ａ／Ｄ変換部１１１と、バッファ１１２と、クロック再生部１１４とを有する。

Ａ／Ｄ変換部１１１は、送信装置１０１に入力された映像信号を映像データへ変更する処理部であり、バッファ１１２は、Ａ／Ｄ変換部１１１において変換された映像データを一時的に記憶するメモリである。クロック再生部１１４は、送信装置１０１に入力された映像信号から、送信装置１０１が動作するためのクロックを生成する処理部である。

受信装置２０１は、Ｄ／Ａ変換部２１２と、ＶＣＸＯ２２３と、バッファ２３１と、使用状況監視部２３２と、ＰＬＬ（Phase Locked Loop）２３３とを有する。バッファ２３１は、送信装置１０１から送信された映像データを一時的に記憶するメモリであり、ＶＣＸＯ２２３から供給されるクロックに基づいたレートで、自身が記憶する映像データを先入先出方式でＤ／Ａ変換部２１２へ送出する。

使用状況監視部２３２は、バッファ２３１へ書き込まれる映像データの量と、バッファ２３１から読み出される映像データの量とを監視し、バッファ２３１が記憶する映像データの量が一定になるようにＶＣＸＯ２２３を制御するための制御部であり、ＰＬＬ２３３は、使用状況監視部２３２の制御のバラつきを抑えるための回路である。

このように、図１３に示したデータ伝送システムでは、バッファ２３１のメモリ使用量が一定になるように、クロックが制御される。非同期網においても、ある程度の長さの期間において伝送されるデータ量はほぼ一定になると期待されるため、メモリ使用量に基づいてクロックを制御するこの方式は、インターネットのようにジッタの多い回線においても、映像をリアルタイムに良好な品質で再生することを可能にする。

ここで、受信装置２０１の動作例を示す。図１４のように、データが均等な間隔で伝送されている場合、バッファ２３１のメモリ使用量は、図１５に示すように、データを受信したタイミングで一時的に増加し、その後、一定のレートで減少するという変動を繰り返すことになる。

バッファ２３１にはバースト的にデータが書き込まれることもあるため、使用状況監視部２３２は、データが受信されたタイミングでメモリ使用量の読み出しをおこなう。すなわち、使用状況監視部２３２は、図１５において黒い丸で示した各点でメモリ使用量の読み出しをおこない、ＶＣＸＯ２２３の制御値を決定する。図１５の例では、黒い丸で示した各点は、一直線上に並んでおり、ＶＣＸＯ２２３の制御が安定した状態であることを示している。

図１５では、データが均等な間隔で伝送されている場合の例を示したが、データの受信間隔に多少の揺らぎがある場合も、メモリ使用量が一定になるようにＶＣＸＯ２２３を制御することにより、受信装置２０１のクロックは適正に補正される。

ところが、インターネット等の非同期網においては、通信の輻輳などによるデータの受信間隔の大きな揺らぎが発生することがあり、上記の方式では、そのような場合に、再生される映像の品質の劣化を防ぐことができなかった。

例えば、図１６のように、データ伝送に揺らぎがあり、データの受信間隔が短い場合、図１７に示すように、その間の読み出しの時間が短くなり、メモリ使用量が下がりきらない内に次のデータを受信することとなり、メモリ使用量が増加する。一方、受信間隔が長くなると、読み出し時間が長くなり、次のデータが到着してもメモリ使用量は上がりきらなくなってしまう。

このため、データの受信間隔の大きな揺らぎが発生している場合は、図１７に示すように、使用状況監視部２３２が読み出すタイミングである黒い丸を結ぶ線が波状になり、この制御がＶＣＸＯ２２３に入るため、ＶＣＸＯ２２３は、安定したクロック再生ができなくなり、再生される映像の品質の劣化を生じさせていた。

次に、本実施例に係る送信装置と受信装置の構成について説明する。図１は、本実施例に係るデータ伝送システムの構成を示すブロック図である。同図に示すデータ伝送システムは、ネットワーク１０を介して映像をリアルタイムで伝送するためのシステムであり、送信装置１０２と受信装置２０２からなる。

図２は、送信装置１０２の構成を示すブロック図である。送信装置１０２は、映像信号を映像データへ変換し、ネットワーク１０を介して、受信装置２０２へ送信する装置であり、送信装置１００と同様の構成を有する。すなわち、送信装置１０２は、映像信号を変換した映像データに多重して時間情報を受信装置２０２へ送信する。

図３は、受信装置２０２の構成を示すブロック図である。同図に示すように、受信装置２０２は、分離部２１１と、Ｄ／Ａ変換部２１２と、カウンタ２２１と、ＶＣＸＯ２２３と、バッファ２３１と、使用状況監視部２３２と、時間情報記憶部２４１と、差分演算部２４２と、時間情報記憶部２４３と、差分演算部２４４と、ジッタ量取得部２４５と、積分器２４６と、制御量補正部２４７とを有する。

分離部２１１は、送信装置１０２から送信された映像データと時間情報とを分離する処理部である。バッファ２３１は、分離部２１１において分離された映像データを一時的に記憶するメモリであり、ＶＣＸＯ２２３から供給されるクロックに基づいたレートで、自身が記憶する映像データを先入先出方式でＤ／Ａ変換部２１２へ送出する。

Ｄ／Ａ変換部２１２は、分離部２１１において分離された映像データを映像信号へ変換する処理部である。使用状況監視部２３２は、バッファ２３１へ書き込まれる映像データの量と、バッファ２３１から読み出される映像データの量とを監視し、バッファ２３１が記憶する映像データの量が一定になるようにＶＣＸＯ２２３を制御するための制御部である。

ＶＣＸＯ２２３は、一定の範囲で周波数を変動させることができるクロック生成手段であり、映像信号を再生するためのクロックをＤ／Ａ変換部２１２へ供給するとともに、クロックの同期制御のために、クロックをカウンタ２２１へも供給する。

カウンタ２２１は、ＶＣＸＯ２２３からクロックが供給されるたびに、自身が記憶するカウンタ値をインクリメントするカウンタであり、分離部２１１から時間情報を分離した旨の通知を受けると、自身が記憶するカウンタ値を時間情報記憶部２４３へ通知する。

時間情報記憶部２４１は、分離部２１１において分離された直近の時間情報を記憶するレジスタ２４１ａと、その１つ前の時間情報とを記憶するレジスタ２４１ｂとをもつ記憶部であり、差分演算部２４２は、レジスタ２４１ａに記憶された値とレジスタ２４１ｂに記憶された値の差分を求める処理部である。差分演算部２４２の演算結果は、送信装置１０２において２つの時間情報が送信された時間差（単位はクロック数）を表す。

時間情報記憶部２４３は、カウンタ２２１から通知された直近のカウンタ値を記憶するレジスタ２４３ａと、その１つ前のカウンタ値とを記憶するレジスタ２４３ｂとをもつ記憶部であり、差分演算部２４４は、レジスタ２４３ａに記憶された値とレジスタ２４３ｂに記憶された値の差分を求める処理部である。差分演算部２４４の演算結果は、受信装置２０２において２つの時間情報が受信された時間差（単位はクロック数）を表す。

ジッタ量取得部２４５は、差分演算部２４２と差分演算部２４４の演算結果に基づいて、データ伝送におけるジッタ量を求める処理部である。積分器２４６は、ジッタ量取得部２４５において求められたジッタ量を累積する回路であり、制御量補正部２４７は、使用状況監視部２３２にて取得されたバッファ２３１のメモリ使用量から、積分器２４６において累積されたジッタ量分を差し引いた値が一定になるように、ＶＣＸＯ２２３の補正量を制御する制御部である。

ここで、ジッタ量取得部２４５におけるジッタ量の取得の詳細について説明する。データ伝送におけるジッタ量が０であり、送信装置１０２と受信装置２０２のクロックが正確に同期している場合、差分演算部２４２と差分演算部２４４の演算結果は一致するはずである。換言すると、差分演算部２４２と差分演算部２４４の演算結果が一致しない場合、データ伝送におけるジッタ量と、送信装置１０２と受信装置２０２のクロックの差異のいずれかもしくは双方が不一致の要因となっている。

この２つの要因のうち、送信装置１０２と受信装置２０２のクロックの差異は、受信装置２０２側のクロックを生成するＶＣＸＯ２２３の変動可能範囲内のため、一定の値以上、差分演算部２４２と差分演算部２４４の演算結果に影響を与えることはない。したがって、図４や図５のように、差分演算部２４２と差分演算部２４４の演算結果の差が、ＶＣＸＯ２２３の変動可能範囲を超える部分については、データ伝送におけるジッタ量が不一致の要因であるとみなすことができる。

具体例を示して説明する。ここでは、
送信装置１０２のサンプリングクロック： ２７ＭＨｚ ±０ｐｐｍ
ＶＣＸＯ２２３の変動可能周波数 ： ２７ＭＨｚ ±１００ｐｐｍ
であり、送信装置１０２から受信装置２０２へ、１０ｍＳごとに２７００００ビットの映像データが送信されるものと仮定する。また、送信装置１０２から受信装置２０２へ送信される時間情報には、２７ＭＨｚでカウントされたクロック数が設定されているものとする。

この場合、ＶＣＸＯ２２３が生成する各クロックの長さは、約３７ｎＳであり、１ｍＳ当り約±２．７クロックの変動が考えられる。すなわち、差分演算部２４２と差分演算部２４４の演算結果の差が、１ｍＳ当り±２．７クロック以上ある場合、少なくともその部分は、回線のジッタによるものであるとみなすことができる。

そこで、差分演算部２４２と差分演算部２４４の演算結果の差を（Ａ）とした場合に、１ｍＳ当りのクロック数におけるジッタ成分は、下記のように求められる。
（Ａ）≧３の場合 ： （Ａ）−３
（Ａ）≦３の場合 ： （Ａ）＋３
（Ａ）の絶対値＜３の場合： ０
なお、上記の「３」は、２．７を整数で条件を満足する大きい値に置き換えたものである。

そして、このようして求めた所定の時間当たりのクロック数におけるジッタ成分をデータ量に換算することにより、ジッタ量取得部２４５は、ジッタ量を取得する。通常は、１クロック当り１ビットの映像データが送信されるため、差分演算部２４２と差分演算部２４４の演算結果の差からＶＣＸＯ２２３の変動可能値分を除外した値がそのままジッタ量となる。

上述してきたように、本実施例に係る受信装置２０２は、使用状況監視部２３２が取得したバッファ２３１のメモリ使用量から、ジッタ量取得部２４５が時間情報に基づいて取得したジッタ量を、制御量補正部２４７が差し引いてＶＣＸＯ２２３の制御量を決定するように構成されているので、単純にメモリ使用量に基づいてＶＣＸＯ２２３の制御量を決定する場合と比較して、ネットワークにおけるジッタの影響を軽減することができ、良好な品質で映像を再生することができる。

メモリ使用量に基づいて受信側でクロックを補正する方式では、回線のジッタ以外にも、障害等によるパケットロスによってもクロックが乱れることがある。パケットロスにより、メモリ使用量が本来あるべき量よりも減少してしまうためである。本実施例では、パケットロスによるクロックの乱れを防止するための構成を示す。

図６は、本実施例に係る受信装置２０３の構成を示すブロック図である。受信装置２０３は、受信装置２０２と同様に、送信装置１０２から送信された映像データを受信し、これを映像信号へ変換して出力する装置である。同図に示すように、受信装置２０３は、図３に示した受信装置２０２の構成に加えて、データ量演算部２５１と、データ量計数部２５２と、無効データ挿入部２５３と、無効データ削除部２５４とを備える。

データ量演算部２５１は、差分演算部２４２の演算結果に基づいて、時間情報記憶部２４１が記憶する２つの時間情報が受信される間に受信されるはずの映像データの量を演算する処理部であり、データ量計数部２５２は、その間に実際に受信された映像データの量を計数する処理部である。

無効データ挿入部２５３は、データ量演算部２５１において演算されたデータ量と、データ量計数部２５２において計数されたデータ量とを比較し、データ量計数部２５２において計数されたデータ量の方が少ない場合に、両者の差分に相当する量の無効データを、通常の映像データに追加してバッファ２３１に挿入する処理部である。

こうして、無効データ挿入部２５３が無効データをバッファ２３１に挿入することにより、パケットロスにより消失したデータ量が補完され、ＶＣＸＯ２２３を適正に制御することが可能になる。無効データ削除部２５４は、無効データ挿入部２５３によって挿入された無効データを、Ｄ／Ａ変換部２１２による変換の前の段階で削除する処理部である。

なお、無効データ挿入部２５３がバッファ２３１に挿入する無効データは、特殊なフラグを設けたり、特定のビットパターンをもたせたりする等して、通常の映像データと区別できるようにしておくものとする。

上述してきたように、本実施例に係る受信装置２０３は、受信した時間情報から算出されるデータ量と、実際に受信したデータ量とを比較し、実際に受信したデータ量が少ない場合は、少ない分の無効データをバッファ２３１に挿入するように構成されているので、伝送過程におけるパケットロスにより一部のデータが消失した場合でも、正しいクロックを生成することができる。

なお、上記の例では、最も単純な制御の例を示したが、誤って無効データをバッファ２３１に挿入することがないように、データ量演算部２５１において演算されたデータ量と、データ量計数部２５２において計数されたデータ量の差分がパケットサイズより小さい場合は、無効データの挿入を抑制する等の制御を加えることとしてもよい。

本実施例では、映像データが圧縮されて伝送される場合について説明する。映像データが圧縮されて伝送される場合、パケットロスが生じた場合と同様に、メモリ使用量が本来あるべき量よりも減少してしまうため、そのままでは、受信側で正確にクロックを生成することができない。本実施例では、この問題を解決するための構成を示す。

図７は、本実施例に係るデータ伝送システムの構成を示すブロック図である。同図に示すデータ伝送システムは、ネットワーク１０を介して映像をリアルタイムで伝送するためのシステムであり、送信装置１０４と受信装置２０４からなる。送信装置１０４は、入力された映像信号を映像データへ変換した後、それを圧縮して、受信装置２０４へ送信する。そして、受信装置２０４は、圧縮された映像データを伸張した後、それを映像信号へ変換して出力する。

図８は、本実施例に係る送信装置１０４の構成を示すブロック図である。同図に示すように、送信装置１０４は、図２に示した送信装置１０２の構成に加えて、符号化部１１７を備える。符号化部１１７は、Ａ／Ｄ変換部１１１において変換された映像データを符号化することにより圧縮し、バッファ１１２へ出力する処理部である。ここでは、符号化部１１７は、固定ビットレートで映像データを圧縮するものとする。

図９は、本実施例に係る受信装置２０４の構成を示すブロック図である。同図に示すように、受信装置２０４は、図３に示した受信装置２０２の構成に加えて、データ量演算部２５１と、データ量計数部２５２と、無効データ挿入部２５３と、無効データ削除部２５４と、データ量換算部２６１と、持越し量記憶部２６２と、分周回路２６３と、復号化部２６４とを有する。

データ量演算部２５１は、差分演算部２４２の演算結果に基づいて、時間情報記憶部２４１が記憶する２つの時間情報が受信される間に受信されるはずの映像データの量を演算する処理部であり、データ量計数部２５２は、その間に実際に受信された映像データの量を計数する処理部である。

なお、データ量演算部２５１は、映像データが圧縮されている固定ビットレートを考慮してデータ量の演算をおこなう。例えば、映像データが１／１０に圧縮されている場合、データ量演算部２５１は、差分演算部２４２の演算結果から算出したデータ量を１／１０にした値を無効データ挿入部２５３へ送出する。

無効データ挿入部２５３は、データ量演算部２５１において演算されたデータ量と、データ量計数部２５２において計数されたデータ量とを比較し、データ量計数部２５２において計数されたデータ量の方が少ない場合に、両者の差分に相当する量の無効データを、通常の映像データに追加してバッファ２３１に挿入する処理部である。

ここで、データ量計数部２５２において計数されるデータ量は、実際に送信された圧縮されたデータ量であり、データ量演算部２５１において演算されるデータ量は、固定ビットレートを反映して演算されたものであるので、バッファ２３１に挿入される無効データ量は、固定ビットレートが反映されたものとなる。

無効データ削除部２５４は、無効データ挿入部２５３によって挿入された無効データを、復号化部２６４による復号化の前の段階で削除する処理部である。なお、本実施例におけるデータ量演算部２５１、データ量計数部２５２、無効データ挿入部２５３および無効データ削除部２５４は、パケットロス等により消失したデータ量を補完するための処理に必要な部位であり、映像データが圧縮されて伝送される場合に必須の部位という訳ではない。

データ量換算部２６１は、ジッタ量取得部２４５において取得されたジッタ量を、固定ビットレートが反映された値へ換算する処理部であり、持越し量記憶部２６２は、データ量換算部２６１での換算において発生した端数を記憶し、次回の換算に反映させる記憶部である。

分周回路２６３は、ＶＣＸＯ２２３において生成されたクロックを分周することにより、固定ビットレートで圧縮された映像データを読み出すためのクロックへ変換する回路である。例えば、映像データが１／１０に圧縮されている場合、分周回路２６３は、ＶＣＸＯ２２３において生成されたクロックを１／１０分周する。

このようにクロックを分周するのは、バッファ２３１に格納されているデータが圧縮により少なくなっているためである。復号化部２６４は、無効データ削除部２５４において無効データが削除された後の映像データを復号化することによって伸張し、Ｄ／Ａ変換部２１２へ出力する処理部である。

ここで、受信装置２０４にけるクロックの補正処理について、具体例を示して説明する。ここでは、
送信装置１０４のサンプリングクロック： ２７ＭＨｚ ±０ｐｐｍ
ＶＣＸＯ２２３の変動可能周波数 ： ２７ＭＨｚ ±１００ｐｐｍ
符号化の固定ビットレート ： １／１０
であり、送信装置１０４から受信装置２０４へ、１０ｍＳごとに２７００００ビットの映像データを圧縮した２７０００ビットのデータが送信されるものと仮定する。また、送信装置１０４から受信装置２０４へ送信される時間情報には、２７ＭＨｚでカウントされたクロック数が設定されているものとする。

上記の条件において、送信装置１０４が１０ｍＳ間隔で時間情報を送信したとすると、差分演算部２４２の演算結果は、２７００００となる。このとき、差分演算部２４４の演算結果が２７５４００であったとすると、差分演算部２４２と差分演算部２４４の演算結果の差は５４００であり、ＶＣＸＯ２２３の１０ｍＳ当りの変動量は、±２７クロックであるため、ジッタ量取得部２４５の出力は、５３７３となる。

そして、符号化の固定ビットレートは、１／１０であるので、データ量換算部２６１の出力は、５３７となり、小数点以下の０．３は、持越し量記憶部２６２に記憶され、次回のデータ量換算部２６１の演算結果に反映される。

上述してきたように、本実施例に係る受信装置２０４は、ジッタ量取得部２４５が時間情報に基づいて取得したジッタ量を、データ量換算部２６１が、固定ビットレートを反映した値に変換し、この変換後の値をもちいてバッファ２３１のメモリ使用量を補正してＶＣＸＯ２２３の制御量を決定するように構成されているので、映像データが固定ビットレートで圧縮されている場合であっても、適正なクロックを生成し、良好な品質の映像を再生することができる。

実施例３では、固定ビットレートで映像データが圧縮されている場合について説明したが、本実施例では、可変ビットレートで映像データが圧縮されている場合について説明する。

図１０は、本実施例に係る受信装置２０５の構成を示すブロック図である。同図に示すように、受信装置２０５は、図３に示した受信装置２０２の構成に加えて、データ量演算部２５１と、データ量計数部２５２と、無効データ挿入部２５３と、無効データ削除部２５４と、復号化部２６４とを有する。

データ量演算部２５１は、差分演算部２４２の演算結果に基づいて、時間情報記憶部２４１が記憶する２つの時間情報が受信される間に受信されるはずの映像データの量を演算する処理部であり、データ量計数部２５２は、その間に実際に受信された映像データの量を計数する処理部である。なお、データ量演算部２５１は、映像データが圧縮されているビットレートを考慮することなくデータ量の演算をおこなう。

無効データ挿入部２５３は、データ量演算部２５１において演算されたデータ量と、データ量計数部２５２において計数されたデータ量とを比較し、データ量計数部２５２において計数されたデータ量の方が少ない場合に、両者の差分に相当する量の無効データを、通常の映像データに追加してバッファ２３１に挿入する処理部である。

ここで、データ量演算部２５１において演算されるデータ量は、ビットレートを反映せずに演算されたものであるので、無効データが挿入された後のバッファ２３１のメモリ使用量は、映像データが圧縮されていない場合のメモリ使用量と同じ量となる。このため、バッファ２３１には、映像データが圧縮されていない場合に本来蓄積されているべきデータ量が常に蓄積されることとなり、受信装置２０５は、送信側において映像データを圧縮するビットレートに関わりなく、常に適正なクロックを生成し、良好な品質の映像を再生することができる。

なお、上記の例では、映像データが圧縮されていない場合と同じデータ量がバッファ２３１に常に蓄積されるように構成した例を示したが、常に、想定される受信データレート以上の任意の量がバッファ２３１に蓄積されるように構成することとしてもよい。また、本実施例に係る受信装置２０５の構成は、映像データが可変ビットレートで圧縮されている場合だけでなく、映像データが圧縮されているビットレートが不明な場合にも有効である。

また、上記の各実施例では、送信装置と受信装置とを別の構成を有する装置として示したが、送信装置と受信装置の構成を併せもち、送信装置としても受信装置としても機能することができる装置を実現することもできる。

（付記１）ネットワークを介して送信装置から送信された映像／音声データをリアルタイムで再生する受信装置であって、
前記映像／音声データを再生するためのクロックを生成するクロック生成手段と、
前記映像／音声データを一時的に蓄積するバッファと、
前記送信装置から前記映像／音声データと多重して送信された２つの時間情報の時間差を演算することにより、前記２つの時間情報が送信装置において送信された時間差を求める第１の差分演算手段と、
前記２つの時間情報の一方が当該の受信装置へ到着した時間と、他方が当該の受信装置へ到着した時間の時間差を演算する第２の差分演算手段と、
前記第１の差分演算手段と前記第２の差分演算手段の演算結果の差分に相当する時間に伝送される前記映像／音声データのデータ量から、前記クロック生成手段の生成するクロックの変動により起こりうるデータ変動量を差し引くことにより、前記ネットワークにおけるジッタ量を取得するジッタ量取得手段と、
前記ジッタ量取得手段により取得されたジッタ量を前記バッファに蓄積されたデータ量から差し引いた値が一定になるように、前記クロック生成手段に加える制御量を補正する制御量補正手段と
を備えたことを特徴とする受信装置。

（付記２）前記第１の差分演算手段の演算結果に相当する時間に伝送されるべき前記映像／音声データのデータ量を演算するデータ量演算手段と、
前記２つの時間情報が受信される間に実際に伝送された前記映像／音声データのデータ量を計数するデータ量計数手段と、
前記データ量計数手段にて計数されたデータ量が、前記データ量演算手段により演算されたデータ量よりも少ない場合に、データ量の差分に相当する量の無効データを前記バッファに追加する無効データ追加手段と、
前記無効データ追加手段によって追加された無効データが映像／音声データとして再生される前に該無効データを削除する無効データ削除手段と
をさらに備えたことを特徴とする付記１に記載の受信装置。

（付記３）前記ジッタ量取得手段によって取得されたジッタ量を、前記送信装置において前記映像／音声データを圧縮した固定ビットレートと同じ比率で換算するデータ量換算手段をさらに備えたことを特徴とする付記１または２に記載の受信装置。

（付記４）前記第１の差分演算手段の演算結果に相当する時間に、所定のビットレートで圧縮された前記映像／音声データが伝送されるべきデータ量を演算するデータ量演算手段と、
前記２つの時間情報が受信される間に実際に伝送された前記映像／音声データのデータ量を計数するデータ量計数手段と、
前記データ量計数手段にて計数されたデータ量が、前記データ量演算手段により演算されたデータ量よりも少ない場合に、データ量の差分に相当する量の無効データを前記バッファに追加する無効データ追加手段と、
前記無効データ追加手段によって追加された無効データが映像／音声データとして再生される前に該無効データを削除する無効データ削除手段と
をさらに備えたことを特徴とする付記１に記載の受信装置。

（付記５）ネットワークを介して送信装置から送信された映像／音声データをリアルタイムで再生する受信装置におけるデータ再生方法であって、
前記映像／音声データを一時的にバッファに蓄積する蓄積工程と、
前記送信装置から前記映像／音声データと多重して送信された２つの時間情報の時間差を演算することにより、前記２つの時間情報が送信装置において送信された時間差を求める第１の差分演算工程と、
前記２つの時間情報の一方が当該の受信装置へ到着した時間と、他方が当該の受信装置へ到着した時間の時間差を演算する第２の差分演算工程と、
前記第１の差分演算工程と前記第２の差分演算工程の演算結果の差分に相当する時間に伝送される前記映像／音声データのデータ量から、前記映像／音声データを再生するために生成されるクロックの変動により起こりうるデータ変動量を差し引くことにより、前記ネットワークにおけるジッタ量を取得するジッタ量取得工程と、
前記ジッタ量取得工程により取得されたジッタ量を前記バッファに蓄積されたデータ量から差し引いた値が一定になるように、前記クロックを変動させるための制御量を補正する制御量補正工程と
を含んだことを特徴とするデータ再生方法。

（付記６）前記第１の差分演算工程の演算結果に相当する時間に伝送されるべき前記映像／音声データのデータ量を演算するデータ量演算工程と、
前記２つの時間情報が受信される間に実際に伝送された前記映像／音声データのデータ量を計数するデータ量計数工程と、
前記データ量計数工程にて計数されたデータ量が、前記データ量演算工程により演算されたデータ量よりも少ない場合に、データ量の差分に相当する量の無効データを前記バッファに追加する無効データ追加工程と、
前記無効データ追加工程によって追加された無効データが映像／音声データとして再生される前に該無効データを削除する無効データ削除工程と
をさらに備えたことを特徴とする付記５に記載のデータ再生方法。

（付記７）前記ジッタ量取得工程によって取得されたジッタ量を、前記送信装置において前記映像／音声データを圧縮した固定ビットレートと同じ比率で換算するデータ量換算工程をさらに含んだことを特徴とする付記５または６に記載のデータ再生方法。

（付記８）前記第１の差分演算工程の演算結果に相当する時間に、所定のビットレートで圧縮された前記映像／音声データが伝送されるべきデータ量を演算するデータ量演算工程と、
前記２つの時間情報が受信される間に実際に伝送された前記映像／音声データのデータ量を計数するデータ量計数工程と、
前記データ量計数工程にて計数されたデータ量が、前記データ量演算工程により演算されたデータ量よりも少ない場合に、データ量の差分に相当する量の無効データを前記バッファに追加する無効データ追加工程と、
前記無効データ追加工程によって追加された無効データが映像／音声データとして再生される前に該無効データを削除する無効データ削除工程と
をさらに含んだことを特徴とする付記５に記載のデータ再生方法。

以上のように、本発明に係る受信装置およびデータ再生方法は、ネットワークを介して送信装置から送信された映像／音声データをリアルタイムで再生する場合に有用であり、特に、ネットワーク伝送におけるジッタの影響を軽減し、良好な品質で映像や音声を再生することが必要な場合に適している。

データ伝送システムの構成を示すブロック図である。 送信装置の構成を示すブロック図である。 受信装置の構成を示すブロック図である。 クロック補正方法の概要を示す図である。 クロック補正方法の概要を示す図である。 受信装置の構成を示すブロック図である。 データ伝送システムの構成を示すブロック図である。 送信装置の構成を示すブロック図である。 受信装置の構成を示すブロック図である。 受信装置の構成を示すブロック図である。 従来のデータ伝送システムの構成を示すブロック図である。 クロック補正方法の概要を示す図である。 従来のもう１つのデータ伝送システムの構成を示すブロック図である。 データが均等に伝送されている場合を示す図である。 データが均等に伝送されている場合のバッファの状態を示す図である。 データ伝送に揺らぎがある場合を示す図である。 データ伝送に揺らぎがある場合のバッファの状態を示す図である。

符号の説明

１０ ネットワーク
１００〜１０２、１０４ 送信装置
１１１ Ａ／Ｄ変換部
１１２ バッファ
１１３ 多重部
１１４ クロック再生部
１１５ カウンタ
１１６ タイミング生成部
１１７ 符号化部
２００〜２０５ 受信装置
２１１ 分離部
２１２ Ｄ／Ａ変換部
２２１ カウンタ
２２２ 差分演算部
２２３ ＶＣＸＯ
２３１ バッファ
２３２ 使用状況監視部
２３３ ＰＬＬ
２４１、２４３ 時間情報記憶部
２４１ａ、２４１ｂ、２４３ａ、２４３ｂ レジスタ
２４２、２４４ 差分演算部
２４５ ジッタ量取得部
２４６ 積分器
２４７ 制御量補正部
２５１ データ量演算部
２５２ データ量計数部
２５３ 無効データ挿入部
２５４ 無効データ削除部
２６１ データ量換算部
２６２ 持越し量記憶部
２６３ 分周回路
２６４ 復号化部

Claims (5)

1. ネットワークを介して送信装置から送信された映像／音声データをリアルタイムで再生する受信装置であって、
   前記映像／音声データを再生するためのクロックを生成するクロック生成手段と、
   前記映像／音声データを一時的に蓄積するバッファと、
   前記送信装置から前記映像／音声データと多重して送信された２つの時間情報の時間差を演算することにより、前記２つの時間情報が送信装置において送信された時間差を求める第１の差分演算手段と、
   前記２つの時間情報の一方が当該の受信装置へ到着した時間と、他方が当該の受信装置へ到着した時間の時間差を演算する第２の差分演算手段と、
   前記第１の差分演算手段と前記第２の差分演算手段の演算結果の差分に相当する時間に伝送される前記映像／音声データのデータ量から、前記クロック生成手段の生成するクロックの変動により起こりうるデータ変動量を差し引くことにより、前記ネットワークにおけるジッタ量を取得するジッタ量取得手段と、
   前記ジッタ量取得手段により取得されたジッタ量を前記バッファに蓄積されたデータ量から差し引いた値が一定になるように、前記クロック生成手段に加える制御量を補正する制御量補正手段と
   を備えたことを特徴とする受信装置。
2. 前記第１の差分演算手段の演算結果に相当する時間に伝送されるべき前記映像／音声データのデータ量を演算するデータ量演算手段と、
   前記２つの時間情報が受信される間に実際に伝送された前記映像／音声データのデータ量を計数するデータ量計数手段と、
   前記データ量計数手段にて計数されたデータ量が、前記データ量演算手段により演算されたデータ量よりも少ない場合に、データ量の差分に相当する量の無効データを前記バッファに追加する無効データ追加手段と、
   前記無効データ追加手段によって追加された無効データが映像／音声データとして再生される前に該無効データを削除する無効データ削除手段と
   をさらに備えたことを特徴とする請求項１に記載の受信装置。
3. 前記ジッタ量取得手段によって取得されたジッタ量を、前記送信装置において前記映像／音声データを圧縮した固定ビットレートと同じ比率で換算するデータ量換算手段をさらに備えたことを特徴とする請求項１または２に記載の受信装置。
4. 前記第１の差分演算手段の演算結果に相当する時間に、所定のビットレートで圧縮された前記映像／音声データが伝送されるべきデータ量を演算するデータ量演算手段と、
   前記２つの時間情報が受信される間に実際に伝送された前記映像／音声データのデータ量を計数するデータ量計数手段と、
   前記データ量計数手段にて計数されたデータ量が、前記データ量演算手段により演算されたデータ量よりも少ない場合に、データ量の差分に相当する量の無効データを前記バッファに追加する無効データ追加手段と、
   前記無効データ追加手段によって追加された無効データが映像／音声データとして再生される前に該無効データを削除する無効データ削除手段と
   をさらに備えたことを特徴とする請求項１に記載の受信装置。
5. ネットワークを介して送信装置から送信された映像／音声データをリアルタイムで再生する受信装置におけるデータ再生方法であって、
   前記映像／音声データを一時的にバッファに蓄積する蓄積工程と、
   前記送信装置から前記映像／音声データと多重して送信された２つの時間情報の時間差を演算することにより、前記２つの時間情報が送信装置において送信された時間差を求める第１の差分演算工程と、
   前記２つの時間情報の一方が当該の受信装置へ到着した時間と、他方が当該の受信装置へ到着した時間の時間差を演算する第２の差分演算工程と、
   前記第１の差分演算工程と前記第２の差分演算工程の演算結果の差分に相当する時間に伝送される前記映像／音声データのデータ量から、前記映像／音声データを再生するために生成されるクロックの変動により起こりうるデータ変動量を差し引くことにより、前記ネットワークにおけるジッタ量を取得するジッタ量取得工程と、
   前記ジッタ量取得工程により取得されたジッタ量を前記バッファに蓄積されたデータ量から差し引いた値が一定になるように、前記クロックを変動させるための制御量を補正する制御量補正工程と
   を含んだことを特徴とするデータ再生方法。

Images