JP2007081623A - 音声動画通信システム及びデータ通信端末装置 - Google Patents

Abstract

【課題】パケット化された音声データ、映像データの双方向リアルタイム通信において、音声パケットのリアルタイム性を損なわず、かつ音声データと映像データの同期タイミングの乱れの抑制を図る。
【解決手段】ＴＶアダプタ１０２はＩＰ電話１０３で受信した相手側の映像データの送信時刻情報と、映像パケットに付加された映像データの送信時刻情報を得て、これらの２つの送信時刻情報を比較し、映像パケットに付加された映像データの送信時刻が遅い場合は、受信した映像パケットと音声パケットの同期がとれていないと判定し、映像を再生しないよう制御する。
【選択図】図１

Description

本発明はＬＡＮやインターネット、ＩＰ通信網等のネットワークを介して、音声データや映像データの送受信を行うためのデータ通信装置、このデータ通信装置を用いたデータ通信システムに関するものである。

近年、ブロードバンドの普及に伴い、インターネット、ＩＰ通信網などのネットワークを介しパケット化した音声データや映像データを相手側の装置に送信するとともに、相手側の装置からパケット化した音声データや映像データを受信することにより、双方向にリアルタイム通信を行うデータ通信装置が実用化されている。

この種のデータ通信装置では、音声データや映像データがそれぞれ複数のパケットに分割され、ネットワークを介して順次送信されるが、帯域保証がなされていない経路で伝送される場合には、データの消失やデータ伝送時間のずれなどの発生により、音声データ、映像データがリアルタイムに送受信できず、また音声と映像の再生の同期タイミングが乱れることがある。

異なるパケットの送受信におけるリアルタイム性と同期タイミングのずれは本質的に相反するトレードオフの関係にあり、両者の完全な両立は不可能である。

特に、音声データは、パケットのサイズが小さいため、帯域保証がなされていない経路での伝送の影響が大きく、パケットの消失、遅延によってリアルタイム性が悪化し、音声のとぎれが発生することがある。

また、利用者は、音声、映像の双方向のリアルタイム通信では、映像の品質よりも音声の品質とリアルタイム性を利便性として重視している。

これらの問題を解決するために、受信端末がパケット損失又はパケットのゆらぎが一定値を超えたことを認識すると、送信端末にデータ量変更要求パケットを送出し、データ量の変更を行うことにより、リアルタイム通信時に受信端末が送信端末からの受信データを制御して、音切れや画像の乱れを発生させることなく、かつ、リアルタイム通信を可能とする技術が知られている（特許文献１参照）。
特開２０００−３３２８２９号公報

しかしながら、上記従来の技術では以下のような問題が生じる。上記特許文献１に記載の技術では、受信端末側から送信端末に対して、送信データ量の変更を要求し、送信端末側は送信する音声パケットのパケットサイズの変更、符号化方式の変更、映像のフレームレート、画質パラメータのなどの変更により送信データ量を減らす制御を行う場合がある。

前記制御は、符号化方式の変更による音質の劣化、フレームレート、画質パラメータの変更による映像品質の低下などをもたらし、利用者に音声、映像のリアルタイム通信のパフォーマンスに不満足感を与えてしまい、十分な課題解決にはなっていなかった。

本発明は、このような従来の課題を解決するものであり、音声データと映像データの双方向のリアルタイム通信において、音声データのリアルタイム性を損なわず、かつ音声データと映像データの同期タイミングの乱れを抑制し、パケットのデータ量の減少に起因する音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えないことを目的とする。

本発明は、上記目的を達成するために、請求項１に示すとおり、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えたことを特徴とした。

本発明は、音声と映像の双方向リアルタイム通信を行うに際し、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に順次送信され、受信側では２つのパケットの映像送信時刻情報を比較し、映像パケットの前記映像パケット送信時刻情報が遅い場合は、受信した音声パケットと映像パケットの同期がとれていないと判断して映像データを再生しない制御部を備えたことにより、音声データのリアルタイム性を損なわず、また、音声データと映像データの同期タイミングの乱れを抑制し、かつ、パケットのデータ量の減少に起因する音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えないという効果を奏する。

本発明の実施の形態は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えた構成のものである。

これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間より遅いか、簡易かつ高速に判定して、映像データを再生しないよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れを抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。

また、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御し、実質的に同一の場合は、前記受信した映像データを再生する制御部を備えた構成にしてもよい。

これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間より遅いか、あるいは、同じか、簡易かつ高速に判定して、映像データを再生する、あるいは、しないよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れをさらに抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。

さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報と実質的に同一の時刻情報の場合は、受信した音声データと映像データとの同期がとれていると判断して受信した映像を再生し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より遅れた時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データを再生しないよう制御し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データをバッファリングするいずれかの処理を行う制御部を備えた構成にしてもよい。

これによっても、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間と同じか、あるいは早いか遅いか、簡易かつ高速に判定して、映像データを最適なタイミングで再生するよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れをさらに抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。

さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えた構成にしてもよい。

これにより、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。

さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御し、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の場合は、前記受信した映像データを再生するよう制御する制御部を備えた構成にしてもよい。

これによっても、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。

さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを再生しないよう制御し、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする、いずれかの処理を行う制御部を備えた構成にしてもよい。

これによっても、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。

さらに、本発明は、通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、映像データを再生しない制御、または映像データの再生、または映像データのバッファリング、いずれかの最適な処理を行う制御部、を備え、かつ、所定の回数の音声パケット受信毎に、前記電話装置から前記ＴＶアダプタへ前記映像データの送信時刻情報を通知する構成にしてもよい。

これにより、さらに、本機能の処理負荷を軽減する、処理速度の低いＣＰＵを使用できる。

さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えた構成としてもよい。

これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間より遅いか、簡易かつ高速に判定して、映像データを再生しないよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れを抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。

さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制制御し、実質的に同一の場合は、前記受信した映像データを再生する制御部を備えた構成にしてもよい。

これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間より遅いか、あるいは、同じか、簡易かつ高速に判定して、映像データを再生させる、あるいは、させないよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れをさらに抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。

さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報と実質的に同一の時刻情報の場合は、受信した音声データと映像データとの同期がとれていると判断して受信した映像を再生し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より遅れた時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データを再生しないよう制御し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データをバッファリングするいずれかの処理を行う制御部を備えた構成にしてもよい。

これにより、映像送信時刻情報が音声パケットと映像パケットの２つのパケットで独立に送信され、受信側では２つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間と同じか、あるいは早いか遅いか、簡易かつ高速に判定して、映像データを最適なタイミングで再生するよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れをさらに抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。

さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えた構成にしてもよい。

これにより、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。

さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御し、実質的に同一の場合は、前記受信した映像データを再生する制御部を備えた構成にしてもよい。

これにより、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。

さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを再生しないよう制御し、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする、いずれかの処理を行う制御部を備えた構成にしてもよい。

これにより、ローカルネットワーク上のＴＶアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は２つの端末を異なる設置場所で使用できる。

さらに、本発明は、パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、前記比較部によって比較した結果、映像データを再生しない制御、または映像データの再生、または映像データのバッファリング、いずれかの最適な処理を行う制御部を備え、かつ、所定の回数の音声パケット受信毎に、前記電話装置から前記ＴＶアダプタへ前記映像データの送信時刻情報を通知する構成にしてもよい。

これにより、さらに、本機能の処理負荷を軽減する、処理速度の低いＣＰＵを使用できる。

以下、本発明の実施例における音声動画システムについて、図面を参照しながら説明する。

図１は、本発明の実施例における音声動画通信システム１００の構成図である。音声動画通信システム１００は、自分側音声動画通信装置１１２と相手側音声動画通信装置１１３がインターネット１０６によって接続され構成されている。

なお、本実施例では音声動画通信装置１１２，１１３は、ＩＰテレビ電話として実施されている。実施例の構成に限らず３台以上の音声動画通信装置を接続してシステムを構成してもかまわない。

自分側音声動画通信装置１１２は、ルータ１０４の配下のＬＡＮ（または無線ＬＡＮ）などのローカルネットワークに自分側ＴＶアダプタ１０２と自分側ＩＰ電話１０３を接続し、自分側ＴＶアダプタ１０２は映像の送受信を行い、自分側ＩＰ電話１０３は音声の送受信を行う。ＴＶ１０１は、自分側ＴＶアダプタ１０２に接続され動画表示をするテレビである。ルータ１０４の上位にはモデム１０５があり、インターネット１０６を介して相手側の音声動画通信装置１１３へと接続される。

相手側音声動画通信装置１１３は、ルータ１０８の配下のＬＡＮ（または無線ＬＡＮ）などのローカルネットワークに相手側ＴＶアダプタ１１０と相手側ＩＰ電話１０９が接続し、相手側ＴＶアダプタ１１０は映像の送受信を行い、相手側ＩＰ電話１０９は音声の送受信を行う。ＴＶ１１１は、相手側ＴＶアダプタ１１０に接続され動画表示をするテレビである。ルータ１０８の上位にはモデム１０７があり、インターネット１０６を介して自分側の音声動画通信装置１１２へと接続される。

図２は、自分側ＴＶアダプタ１０２の構成を示すブロック図である。なお相手側ＴＶアダプタ１１０も同様の構成を備える。

図２において、自分側ＴＶアダプタ１０２は、ネットワークインターフェース２０１、カメラ２０２、映像通信制御部２０３、映像コーデック２０４、表示制御部２０５、表示出力部２０６、システム制御部２０７、リモコン制御部２０８により主に構成されている。

ネットワークインターフェース２０１は、ルータ１０４及び自分側ＩＰ電話１０３にＬＡＮ（または無線ＬＡＮ）などのローカルネットワークで接続するインターフェースである。映像データ送信の際は、カメラ２０２で撮影された映像データは、映像コーデック２０４で圧縮符号化される。

圧縮符号化された映像データは、映像通信制御部２０３で映像パケット化処理され、映像パケット１０００（詳細は図１０で後述）はネットワークインターフェース２０１からインターネット１０６を介して相手側音声動画通信装置１１３へ送信される。

また、映像データ受信の際は、映像パケット１０００は、相手側音声動画通信装置１１３の相手側ＴＶアダプタ１１０からインターネット１０６を介してネットワークインターフェース２０１で受信される。

受信した映像パケット１０００は、映像通信制御部２０３においてパケット解析・分解・バッファリング処理され、映像コーデック２０４で伸張復号化され、表示制御部２０５でフレーム表示するため合成処理され、表示出力部２０６を介してＴＶ１０１で相手側の映像が再生表示される。

また、リモコン制御部２０８は、リモコンを用いて自分側ＴＶアダプタ１０２を操作し、システム制御部２０７は自分側ＴＶアダプタ１０２全体の制御を行う。カメラ２０２で自分側の映像を表示出力部２０６から表示させることも可能である。

図１０は、自分側ＴＶアダプタ１０２と相手側ＴＶアダプタ１１０の間で送受信される映像パケット１０００の構成図である。

映像パケット１０００は、リアルタイム通信で用いられる、ＩＥＴＦのＲＦＣ１８８９標準準拠のＲＴＰ（リアルタイムプロトコル）パケット構成を備えている。具体的にはＲＴＰヘッダ１００１、タイムスタンプ１００２、ＳＳＲＣ識別子１００３、ＣＳＲＣ識別子１００４、ペイロードヘッダ（映像）１００５、ペイロードデータ（映像）１００６から構成されている。

映像パケット１０００は、自分側ＴＶアダプタ１０２及び相手側ＴＶアダプタ１０３の映像通信制御部２０３で送信時に生成され、受信時に解析・分解される。

なお、説明の便宜上、タイムスタンプ１００２は、自分側ＴＶアダプタ１０２から相手側ＴＶアダプタ１１０へ送信されるものを映像タイムスタンプ１００２Ａとし、相手側ＴＶアダプタ１１０から自分側ＴＶアダプタ１０１へ送信されるものを映像タイムスタンプ１００２Ｂと定め、以降の説明で用いる。

図３は、自分側ＩＰ電話１０３の構成を示すブロック図である。なお相手側ＩＰ電話１０９も同様の構成を備える。

図３において、自分側ＩＰ電話１０３は、ネットワークインターフェース３０１、音声通信制御部３０２、音声制御部３０３、表示制御部３０４、ＬＣＤ３０５、システム制御部３０６、受話器３０７により主に構成されている。

ネットワークインターフェース３０１は、ルータ１０４及び自分側ＴＶアダプタ１０２にＬＡＮ（または無線ＬＡＮ）などのローカルネットワークで接続するインターフェースである。電話音声発信の際、受話器３０７から入力された音声データは音声制御部３０３で圧縮符号化される。

圧縮符号化された音声データは、音声通信制御部３０２で音声パケット化処理され、音声パケット４００（詳細は図４で後述）はネットワークインターフェース３０１からインターネット１０６を介して相手側音声動画通信装置１１３へ送出される。

また、電話音声受信の際、音声パケット４００は相手側音声動画通信装置１１３の相手側ＩＰ電話１０９からインターネット１０６を介してネットワークインターフェース３０１で受信される。

受信した音声パケット４００は、音声通信制御部３０２でパケット解析・分解・バッファリング処理され、音声制御部３０３で伸張復号化され、受話器３０７から音声が出力される。システム制御部３０６では自分側ＩＰ電話１０３全体の制御を行う。

表示制御部２０４は、ＩＰ電話の設定、状態などの表示処理を行い、ＬＣＤ３０５で表示を行う。

図４は、自分側ＩＰ電話１０３と相手側ＩＰ電話１０９の間で送受信される音声パケット４００の構成図である。

音声パケット４００は、リアルタイム通信で用いられる、ＩＥＴＦのＲＦＣ１８８９標準準拠のＲＴＰ（リアルタイムプロトコル）パケットをヘッダ拡張した構成を備えている。具体的にはＲＴＰヘッダ４０１、タイムスタンプ４０２、ＳＳＲＣ識別子４０３、ＣＳＲＣ識別子４０４、ペイロードヘッダ（音声）４０５、ペイロードデータ（音声）４０６に映像送信時刻情報用ヘッダ拡張４０７（詳細は図５で後述）が追加され、構成されている。

映像送信時刻情報用ヘッダ拡張４０７は、ＲＴＰパケットの標準準拠ではない拡張情報であり、映像パケット１０００の送信時刻情報が搭載されている。

図５は、映像送信時刻情報用ヘッダ拡張４０７の構成図である。

映像送信時刻情報用ヘッダ拡張４０７は、映像送信時刻情報用ヘッダ拡張の識別子であるデータタイプ及び映像送信時刻情報用ヘッダ拡張４０７のバイト数を示すデータ長５０１と映像パケット１０００の送信時刻情報である映像タイムスタンプ６０２から構成されている。映像タイムスタンプ６０２は設定内容が図６（後述）と同一のため、同じ符号を用いて説明している。

音声パケット４００は、図３に示した自分側ＩＰ電話１０３及び相手側ＩＰ電話１０９の音声通信制御部３０２で送信時に生成され、受信時に解析・分解される。

図６は、ＩＰ電話とＴＶアダプタとの間で送受信されるタイムスタンプ用パケット６００の構成図である。

タイムスタンプ用パケット６００は、タイムスタンプ用パケット６００の識別子であるデータタイプ及びタイムスタンプ用パケットのバイト数を示すデータ長６０１、音声パケットに付加される映像タイムスタンプ６０２から構成され、自分側ＴＶアダプタ１０２と自分側ＩＰ電話１０３との間、及び、相手側ＴＶアダプタ１１０と相手側ＩＰ電話１０９との間で、映像タイムスタンプ６０２の通知に用いられる。

なお、説明の便宜上、自分側ＴＶアダプタ１０２→自分側ＩＰ電話１０３→相手側ＩＰ電話１０９→相手側ＴＶアダプタ１１０の一方向の映像タイムスタンプ６０２を６０２Ａとし、逆方向の相手側ＴＶアダプタ１１０→相手側ＩＰ電話１０９→自分側ＩＰ電話１０３→自分側ＴＶアダプタ１０２の映像タイムスタンプ６０２を６０２Ｂとし、以降の説明で用いる。

次に、自分側ＩＰ電話１０３及び相手側ＩＰ電話１０９と、自分側ＴＶアダプタ１０２及び相手側ＴＶアダプタ１１０との間で、音声データのリアルタイム性を損なわず、また、音声データと映像データの同期タイミングの乱れを抑制し、かつ、パケットのデータ量の減少に起因する音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えない動作を図７に示すシーケンス図を参照して説明する。

図７は、音声動画通信システムの動作を説明するシーケンス図である。本シーケンスは、自分側データ通信装置１１２が備える映像通信制御部２０３及び音声通信制御部３０２と相手側データ通信装置１１３が備える図２、３と同様の映像制御通信部及び音声通信制御部との間で実施される。

自分側ＩＰ電話１０３は、ネットワーク接続が完了し、電源がオンされると、自分側ＴＶアダプタ１０２に向けてペアリング要求のメッセージを継続的に発信する。自分側ＴＶアダプタ１０２は、ネットワーク接続が完了し、電源がオンされると自分側ＩＰ電話１０３からのペアリング要求のメッセージに応答し、自分側ＩＰ電話１０３と自分側ＴＶアダプタ１０２とのペアリングが確立する（ステップＳ７０１）。

相手側ＩＰ電話１０９と相手側ＴＶアダプタ１１０でも、同様の動作によりペアリングが確立する（ステップＳ７０２）。

自分側ＩＰ電話１０３から受話器をオフフックして、相手側ＩＰ電話１０９にダイヤルすると、標準呼制御プロトコルＳＩＰ呼制御通信により、ＩＮＶＩＴＥメッセージを送出し、相手側ＩＰ電話１０９が鳴動し、相手側ＩＰ電話１０９が２００ＯＫメッセージを自分側ＩＰ電話１０３へ応答することによって、双方向に会話のできる音声通信が確立する（ステップＳ７０３）。

前記、ＳＩＰ呼制御通信のＳＩＰメッセージに含まれるＳＤＰ（セッション記述プロトコル）の映像パケット送受信の設定により、自分側ＴＶアダプタ１０２と相手側ＴＶアダプタ１１０の間の映像通信も確立する（ステップＳ７０４）。

映像通信が確立すると、自分側ＴＶアダプタ１０２と相手側ＴＶアダプタ１１０との間で映像パケットの双方向通信が開始する。自分側ＴＶアダプタ１０２は、相手側ＴＶアダプタ１１０へ映像タイムスタンプ１００２Ａ（符号Ａについては前記図１０の説明を参照）を含む映像パケット１０００を送信する（ステップＳ７０５）。

同様に、相手側ＴＶアダプタ１１０は、自分側ＴＶアダプタ１０２へ映像タイムスタンプ１００２Ｂ（符号Ｂについては前記図１０の説明を参照）を含む映像パケット１０００を送信する（ステップＳ７０６）。

次に、自分側ＴＶアダプタ１０２は、相手側ＴＶアダプタ１１０に送信した映像タイムスタンプ６０２Ａ（設定値は１００２Ａに等しい）をタイムスタンプ用パケット６００により、自分側ＩＰ電話１０３へ通知する（ステップＳ７０７）。

同様に、相手側ＴＶアダプタ１１０は、自分側ＴＶアダプタ１０２に送信した映像タイムスタンプ６０２Ｂ（設定値は１００２Ｂに等しい）を含むタイムスタンプ用パケット６００により、自分側ＩＰ電話１０９へ通知する（ステップＳ７０８）。

音声通信が確立すると、自分側ＩＰ電話１０３と相手側ＩＰ電話１０９との間で音声パケットの双方向通信が開始する。自分側ＩＰ電話１０３は、相手側ＩＰ電話１０９へ映像タイムスタンプ６０２Ａを付加した音声パケット４００を送信する（ステップＳ７０９）。

同様に、相手側ＩＰ電話１０９は、自分側ＩＰ電話１０３へ映像タイムスタンプ６０２Ｂを付加した音声パケット４００を送信する（ステップＳ７１０）。

次に、自分側ＩＰ電話１０３は、相手側ＩＰ電話１０９から受信した映像タイムスタンプ６０２Ｂを、タイムスタンプ用パケット６００により、自分側ＴＶアダプタ１０２に通知する（ステップＳ７１１）。

同様に、相手側ＩＰ電話１０９は、自分側ＩＰ電話１０３から受信した映像タイムスタンプ６０２Ａを、タイムスタンプ用パケット６００により、相手側ＴＶアダプタ１１０に通知する（ステップＳ７１２）。

以上の動作によって自分側ＴＶアダプタ１０２は、映像送信時刻情報を映像パケット１０００が含む映像タイムスタンプ１００２Ｂ及びタイムスタンプ用パケット６００が含む映像タイムスタンプ６０２Ｂの２つの映像タイムスタンプを取得する。

前記２つの映像タイムスタンプにより、音声パケットと映像パケットの２つのパケットの到達時間の相対的な早さの判定の識別ができる。

自分側ＴＶアダプタ１０２では、前記２つの映像タイムスタンプの値を基準に、次の比較判定によりリップシンク再生（音声と声をだす唇の動きが同期した映像の再生）を行う。
（１）映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂに等しいときは映像パケットと音声パケットの同期ずれがないと判断し、映像再生の処理を開始する。
（２）映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより大きいときは、映像パケットが音声パケットよりも遅れていると判断し、映像パケットは破棄して映像再生しない。
（３）映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより小さいときは、音声パケットが映像パケットよりも遅れていると判断し、映像パケットはバッファリングし、次の音声パケット到達時以降に、映像は音声とタイミングを同期させて再生する（ステップＳ７１３）。

なお、音声のリアルタイム性を損なうことなく、かつ音声データと映像データの再生タイミングの乱れの抑制が本発明の目的であるため、前記（１）、（２）、（３）の判断処理における音声タイムスタンプの比較は厳密である必要はなく、例えば、比較において“ほぼ等しい”場合は“等しい”とするように、判定比較は所定の範囲のずれの許容値をもって行ってもかまわない。

相手側ＴＶアダプタ１１０でも、映像タイムスタンプ１００２Ａと映像タイムスタンプ６０２Ａを基準に、自分側ＴＶアダプタ１０２と同様のリップシンク再生を行う（ステップＳ７１４）。

次に、自分側ＩＰ電話１０３の動作について、図８に示すフロー図を参照して説明する。図８は、自分側ＩＰ電話１０３の動作を説明するフロー図である。フロー図は、主に図３の音声通信制御部３０２で実施される。なお、相手側ＩＰ電話１０９も同様のフローによって動作する。

自分側ＩＰ電話１０３のネットワーク接続が完了し、電源がオンされると自分側ＴＶアダプタ１０２に向けてペアリング要求のメッセージを継続的に発信する。

自分側ＴＶアダプタ１０２がペアリング要求に応答することで、自分側ＩＰ電話１０３と自分側ＴＶアダプタ１０２とのペアリングが確立する（ステップＳ８０１）。

自分側ＩＰ電話１０３から受話器３０７をオフフックして相手側ＩＰ電話１０９にダイヤルすると、ＳＩＰ呼制御メッセージの通信により、ＩＮＶＩＴＥメッセージを送出し、２００ＯＫメッセージの応答を受信することによって双方向に会話のできる音声通信が確立する（ステップＳ８０２）。

音声通信が確立すると、自分側ＩＰ電話１０３は相手側ＩＰ電話１０９との間で音声パケットの双方向通信を開始する（ステップＳ８０３）。

自分側ＩＰ電話１０３は、自分側ＴＶアダプタ１０２が相手側ＴＶアダプタ１１０に送信した映像タイムスタンプ６０２Ａ（符号Ａについては前記図６の説明を参照）を、タイムスタンプ用パケット６００により受信する（ステップＳ８０４）。

さらに、自分側ＩＰ電話１０３は、相手側ＩＰ電話１０９へ映像タイムスタンプ６０２Ａを付加した音声パケット４００を送信する（ステップＳ８０５）。

また、自分側ＩＰ電話１０３は、相手側ＩＰ電話１０９から映像タイムスタンプ６０２Ｂ（符号Ｂについては前記図６の説明を参照）が付加された音声パケット４００を受信する（ステップＳ８０６）。

次に、受信した音声パケット４００が含む映像タイムスタンプ６０２Ｂをタイムスタンプ用パケット６００により、自分側ＴＶアダプタ１０２へ通知する（ステップＳ８０７）。

自分側ＩＰ電話１０３は、受信した音声を順次リアルタイムに再生する（ステップＳ８０８）。

順次、音声パケットの送受信を行い、通話を継続するか終了するか判定を行い、継続する場合はステップＳ８０４へ戻る（ステップＳ８０９）。

判定の結果、終了するときは音声通信終了する。

次に、自分側ＴＶアダプタ１０２の動作について、図９に示すフロー図を参照して説明する。図９は、自分側ＴＶアダプタ１０２の動作を説明するフロー図である。フロー図は、主に映像通信制御部２０３で実施される。なお、相手側ＴＶアダプタ１１０も同様のフローによって動作する。

自分側ＴＶアダプタ１０２は、ネットワーク接続が完了し、電源がオンされると自分側ＩＰ電話１０３からのペアリング要求のメッセージに応答し、自分側ＩＰ電話１０３と自分側ＴＶアダプタ１０２とのペアリングが確立する（ステップＳ９０１）。

図７で説明したように、自分側ＩＰ電話１０３が相手側ＩＰ電話１０９と呼制御により音声通信を確立すると、自分側ＴＶアダプタ１０２は相手側ＴＶアダプタ１１０との間で映像通信が確立する（ステップＳ９０２）。

映像通信が確立すると、自分側ＴＶアダプタ１０２と相手側ＴＶアダプタ１１０との間で映像パケットの双方向通信が開始する（ステップＳ９０３）。

自分側ＴＶアダプタ１０２は、相手側ＴＶアダプタ１１０へタイムスタンプ１００２Ａ（符号Ａについては前記図１０の説明を参照）を含む映像パケット１０００を送信する（ステップＳ９０４）。

同様に、相手側ＴＶアダプタ１１０から、タイムスタンプ１００２Ｂ（符号Ｂについては前記図１０の説明を参照）を含む映像パケット１０００を受信する（ステップＳ９０５）。

次に、自分側ＴＶアダプタ１０２は、相手側ＴＶアダプタ１１０に送信した映像タイムスタンプ６０２Ａ（設定値は１００２Ａに等しい）を、タイムスタンプ用パケット６００により自分側ＩＰ電話１０３へ通知する（ステップＳ９０６）。

また、自分側ＴＶアダプタ１０２は、自分側ＩＰ電話１０３が相手側ＩＰ電話１０９から受信した映像タイムスタンプ６０２Ｂを、タイムスタンプ用パケット６００により受信する（ステップＳ９０７）。

以上の動作によって、自分側ＴＶアダプタ１０２は、映像パケット１０００が含む映像タイムスタンプ１００２Ｂ及びタイムスタンプ用パケット６００が含む映像タイムスタンプ６０２Ｂの２つの映像タイムスタンプを得る。

前記、２つの映像タイムスタンプにより、音声パケットと映像パケットの２つのパケットの到達時間の相対的な早さを判定できる。

自分側ＴＶアダプタ１０２は、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂに等しいか比較を行う（ステップＳ９０８）。

自分側ＴＶアダプタ１０２は、ステップＳ９０８の判定結果で、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂに等しいときは、映像パケットと音声パケットの同期ずれがないと判断し、映像再生の処理を開始する（ステップＳ９０９）。

ステップＳ９０９でそれが等しくない場合、自分側ＴＶアダプタ１０２は、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより大きいか比較を行う（ステップＳ９１０）。

自分側ＴＶアダプタ１０２は、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより大きいときは、映像パケットが音声パケットよりも遅れていると判断し、映像パケットは破棄して映像再生しない（ステップＳ９１１）。

自分側ＴＶアダプタ１０２は、ステップＳ９１１の判定結果で、映像タイムスタンプ１００２Ｂが映像タイムスタンプ６０２Ｂより小さいときは、音声パケットが映像パケットよりも遅れていると判断し、映像パケットはバッファリングし、次の音声パケット到達以降に音声に同期させ映像再生する（ステップＳ９１２）。

順次、映像パケットの送受信を行い、映像通信を継続するか終了するか判定を行い、継続する場合はステップＳ９０４へ戻る（ステップＳ９１３）。

判定の結果、終了するときは映像通信終了する。

なお、シーケンス図でも説明したように、上記ステップＳ９０８，Ｓ９１０の比較は所定の許容幅をもって行ってもかまわない。

以上の実施例で説明したように、帯域保証のないインターネットにおいてリアルタイムに双方向の通話を行うＩＰテレビ電話の実現において、映像を送受信するＴＶアダプタは、音声パケットと映像パケットの２つのパケットで独立に受信された、映像送信時刻情報の比較により、映像パケットの到達時間が音声パケットの到達時間と同じか、あるいは早いか遅いかを判定し、映像データを再生制御するので、簡易かつ高速に音声との同期ずれを抑制することが可能となる。

また、送受信するパケットのデータ量を減少させることはないので、音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えることなく音声、映像が再生できる。

本発明を実施例に基づいて詳細に説明したが、これらの実施例はあくまでも例示であって、本発明は実施例によって限定されるものではない。本実施例ではＩＰ電話とＴＶアダプタを分離したが、ＩＰ電話とＴＶアダプタを一体化しても同様の効果が得られる。

さらに、本実施例では、パケットの受信毎に映像パケット発信時刻情報を基準にした映像再生の比較判定をしたが、ＩＰ電話及びＴＶアダプタの具備するメモリ、ＣＰＵ処理能力に応じ、パケットの受信毎でなく、所定の間隔で映像パケット発信時刻情報を基準にした映像再生の比較判定をしても同様の効果が得られる。

さらに、本実施例ではＩＰ電話を電話機と一体化したが、ＩＰ電話をＩＰ電話アダプタと電話機に分離して構成しても同様の効果が得られる。

さらに、本実施例では、ＴＶアダプタはＴＶと分離したが、ＴＶアダプタとＴＶを一体化しても同様の効果が得られる。

また、本実施例ではインターネット１０６、モデム１０５及び１０７、ルータ１０４及び１０８を備えていたが、インターネット１０６、モデム１０５及び１０７、ルータ１０４及び１０８、のいずれかを必要に応じ省き、自分側ＩＰ電話１０３及び相手側ＩＰ電話１０９、自分側ＴＶアダプタ１０２及び相手側ＴＶアダプタ１１０、テレビＴＶ１０１及びＴＶ１１１を同一ＩＰアドレス空間のＬＡＮ等のネットワーク上に備えても同様の効果が得られる。

本発明の音声動画通信装置は、ＬＡＮやインターネット、ＩＰ通信網等のネットワークを介して音声と映像の双方向リアルタイム通信を行うに際し、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れを抑制することが可能となり、送受信するパケットのデータ量を減少させることはないので、音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えることなく音声、映像が再生できるので、音声動画の双方向リアルタイムデータ通信端末装置及びそれを用いたシステムとして利用することが可能である。

本発明の実施例における音声動画通信システムの構成図 本実施例の自分側ＴＶアダプタの構成を示すブロック図 本実施例の自分側ＩＰ電話の構成を示すブロック図 本実施例の自分側ＩＰ電話と相手側ＩＰ電話の間で送受信される音声パケットの構成図 本実施例の映像送信時刻情報用ヘッダ拡張の構成図 本実施例のＩＰ電話とＴＶアダプタとの間で送受信されるタイムスタンプ用パケットの構成図 本実施例の音声動画通信システムの動作を説明するシーケンス図 本実施例の自分側ＩＰ電話の動作を説明するフロー図 本実施例の自分側ＴＶアダプタの動作を説明するフロー図 本実施例の自分側ＴＶアダプタと相手側ＴＶアダプタの間で送受信される映像パケットの構成図

符号の説明

１００ 音声動画通信システム
１０２ 自分側ＴＶアダプタ
１０３ 自分側ＩＰ電話
１０９ 相手側ＩＰ電話
１１０ 相手側ＴＶアダプタ
１１２ 自分側音声動画通信装置
１１３ 相手側音声動画通信装置
２０３ 映像通信制御部
３０２ 音声通信制御部
４００ 音声パケット
４０７ 映像送信時刻情報用ヘッダ拡張
６００ タイムスタンプ用パケット
１０００ 映像パケット

Claims (14)

1. 通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、
   前記データ通信端末装置は、映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と
   映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と
   前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、
   前記比較部によって比較した結果、
   映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えたことを特徴とする音声動画通信システム。
2. 前記制御部は、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報と実質的に同一の場合は、前記受信した映像データを再生するよう制御することを特徴とする請求項１記載の音声動画通信システム。
3. 前記制御部は、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、前記受信した映像データをバッファリングするよう制御することを特徴とする請求項１または２記載の音声動画通信システム。
4. 通信ネットワークを介して接続されたデータ通信端末装置間で音声データ及び映像データを双方向に送受信する音声動画通信システムにおいて、
   前記データ通信端末装置は、少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、
   前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、
   相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、
   前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、
   前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、
   前記比較部によって比較した結果、
   前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備え、
   これらの機能を備えたデータ通信端末装置の間で、通信ネットワークを介して音声データと映像データを対話的に送受信することを特徴とする音声動画通信システム。
5. 前記制御部は、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の場合は、前記受信した映像データを再生するよう制御することを特徴とする請求項４記載の音声動画通信システム。
6. 前記制御部は、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より早い時刻情報の場合は、前記受信した映像データをバッファリングするよう制御することを特徴とする請求項４または５記載の音声動画通信システム。
7. 所定の回数の音声パケット受信毎に、前記電話装置から前記ＴＶアダプタへ前記映像データの送信時刻情報を通知することを特徴とする請求項４から６のいずれか１項に記載の音声動画通信システム。
8. パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、
   映像データの送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と
   映像データの送信時刻情報が付加された音声パケット及び映像パケットを他のデータ通信端末装置から受信するパケット受信部と
   前記パケット受信部が受信した音声パケット及び映像パケットに含まれる映像データの送信時刻情報それぞれを比較する比較部と、
   前記比較部によって比較した結果、
   映像パケットに付加された送信時刻情報が音声パケットに付加された送信時刻情報より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えたことを特徴とするデータ通信端末装置。
9. 前記制御部は、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報と実質的に同一の場合は、前記受信した映像データを再生するよう制御することを特徴とする請求項８記載のデータ通信端末装置。
10. 前記制御部は、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、前記受信した映像データをバッファリングするよう制御することを特徴とする請求項８または９記載のデータ通信端末装置。
11. パケット化された音声データ及び映像データを相手側装置と通信ネットワークを介して双方向に送受信するデータ通信端末装置であって、
    少なくとも、映像データとこの映像データの送信時刻情報を含む映像パケットを順次送受信するＴＶアダプタと、音声データと前記映像データの送信時刻情報を含む音声パケットを順次送受信する電話装置を備え、
    前記電話装置には、自分側ＴＶアダプタから相手側ＴＶアダプタに送信した映像パケットに含まれる映像データの送信時刻情報Ａの通知を受け、前記送信時刻情報Ａを音声パケットに付加して相手側電話装置に送信する送信部と、
    相手側電話装置で前記と同様にして作られた映像データの送信時刻情報Ｂ１を含む音声パケットを受信し、前記送信時刻情報Ｂ１を自分側ＴＶアダプタに通知する受信部を備え、
    前記ＴＶアダプタには、相手側ＴＶアダプタから映像データの送信時刻情報Ｂ２を含む映像パケットを受信し、前記自分側電話装置から通知された前記送信時刻情報Ｂ１を受信する受信部と、
    前記送信時刻情報Ｂ１と前記送信時刻情報Ｂ２とを比較する比較部と、
    前記比較部によって比較した結果、
    前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より遅い時刻情報の場合は、前記受信した映像データを再生しないよう制御する制御部を備えたことを特徴とするデータ通信端末装置。
12. 前記制御部は、前記送信時刻情報Ｂ１が前記送信時刻情報Ｂ２と実質的に同一の場合は、前記受信した映像データを再生するよう制御することを特徴とする請求項１１記載のデータ通信端末装置。
13. 前記制御部は、前記送信時刻情報Ｂ２が前記送信時刻情報Ｂ１より早い時刻情報の場合は、前記受信した映像データをバッファリングするよう制御することを特徴とする請求項１１または１２記載のデータ通信端末装置。
14. 所定の回数の音声パケット受信毎に、前記電話装置から前記ＴＶアダプタへ前記映像データの送信時刻情報を通知することを特徴とする請求項１１から１３いずれか１項に記載のデータ通信端末装置。

Images