JP2008131591A - リップシンク制御装置及びリップシンク制御方法 - Google Patents

Abstract

【課題】映像信号と音声信号とを個別のストリームとして送る場合でも、映像再生と音声再生との同期を取ることが可能なリップシンク制御装置を提供すること。
【解決手段】制御部２３Ａは、マーカー発生部９Ａに音声基準信号及び映像基準信号を送出するように指示を送り、マーカー発生部９Ａは音声基準信号と映像基準信号とを同時に送出する。制御部２３Ａは、マーカー発生部９Ａに上記指示を送ると同時に、比較部１９Ａに対し、基準信号間の時間ずれ量を検出するように指示を送る。比較部１９Ａは、制御部２３Ａからの指示を受け、音声基準信号と映像基準信号との間の時間ずれ量を検出する。制御部２３Ａは、音声基準信号と映像基準信号とのうち相互の時間関係が早い方の信号をエンコードするエンコーダに対し、時間ずれ量分の遅延を行うように指示を出し、当該エンコーダは時間ずれ量分の遅延を行う。
【選択図】図１

Description

本発明は、音声信号と映像信号とを個別のストリームとして送信する際のリップシンクに好適な、リップシンク制御装置及びリップシンク制御方法に関する。

従来のリップシンク装置として、入力画像信号のフレーム単位に画像および音声データを分割するデータ分割手段と、ストリーム出力のクロックに同期した基準時刻情報を生成する基準時刻情報生成手段と、基準時刻情報を分割されたデータに付加するデータ付加手段と、基準時刻情報に基づいて符号化の時刻情報を補正する時刻情報補正手段とを有するものが知られている（例えば、特許文献１参照）。
特開２００４−３２０１９８号公報

ところで、テレビ電話システム等のように映像信号と音声信号とを同時に送信する際に、例えばＭＰＥＧ−４（Moving Picture Experts Group phase 4）に準拠させて、映像信号と音声信号とをそれぞれエンコードして個別のストリームとして送ることが行われる。この場合、送信側の機器において映像信号と音声信号とをそれぞれエンコードする際に、映像信号と音声信号とのエンコード時間が異なってしまうことがある。映像信号と音声信号とのエンコード時間が異なると、受信側の機器において映像と音声がずれて再生される懼れがある。なお、上述した特許文献１では、映像信号と音声信号とをそれぞれ個別のストリームで送ることについては、何ら考慮されていない。

そこで、本発明は上記事情を考慮してなされたもので、映像信号と音声信号とをそれぞれ個別のストリームとして送る場合でも、映像再生と音声再生との同期(リップシンク)を取ることが可能なリップシンク制御装置及びリップシンク制御方法を提供することを目的とする。

本発明に係るリップシンク制御装置は、所定のタイミングで入力された音声基準信号を含み且つエンコードされた音声信号を入力する第１の入力手段と、音声基準信号と同じタイミングで入力された映像基準信号を含む且つエンコードされた映像信号を入力する第２の入力手段と、第１の入力手段により入力された音声信号をデコードする第１のデコード手段と、第２の入力手段により入力された映像信号をデコードする第２のデコード手段と、第１のデコード手段でデコードされた音声信号に含まれる音声基準信号と、第２のデコード手段でデコードされた映像信号に含まれる映像基準信号との間の時間ずれ量を検出する時間ずれ検出手段と、時間ずれ検出手段での検出結果に基づいて、音声信号と映像信号とのうち相互の時間関係が早い方の信号を時間ずれ量分遅らせてそれぞれ出力するように制御する制御手段と、を備えることを特徴とする。

また、本発明に係るリップシンク制御方法は、所定のタイミングで入力された音声基準信号を含み且つエンコードされた音声信号を入力する第１のステップと、音声基準信号と同じタイミングで入力された映像基準信号を含む且つエンコードされた映像信号を入力する第２のステップと、第１のステップで入力された音声信号をデコードする第３のステップと、第２のステップで入力された映像信号をデコードする第４のステップと、第３のステップでデコードされた音声信号に含まれる音声基準信号と、第４のステップでデコードされた映像信号に含まれる映像基準信号との間の時間ずれ量を検出する第５のステップと、第５のステップでの検出結果に基づいて、音声信号と映像信号とのうち相互の時間関係が早い方の信号を時間ずれ量分遅らせてそれぞれ出力するように制御する第６のステップと、を備えることを特徴とする。

本発明によれば、音声信号と映像信号とのうち相互の時間関係が早い方の信号を時間ずれ量分遅らせてそれぞれ出力されるので、映像信号と音声信号とをそれぞれ個別のストリームとして送る場合でも、映像再生と音声再生との同期を取ることできる。

以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。

（第１実施形態）
図１を参照して、第１実施形態に係るテレビ電話システムＶＰ１の構成を説明する。テレビ電話システムＶＰ１では、端末機器ＴＡと端末機器ＴＢとがネットワークＮを介して接続されている。

端末機器ＴＡは、マイク１Ａ、カメラ３Ａ、スピーカ５Ａ、ディスプレイ７Ａ、マーカー発生部９Ａ、音声エンコーダ１１Ａ、映像エンコーダ１３Ａ、音声デコーダ１５Ａ、映像デコーダ１７Ａ、比較部１９Ａ、ネットワークインターフェイス２１Ａ、及び制御部２３Ａを備える。マーカー発生部９Ａ、音声エンコーダ１１Ａ、映像エンコーダ１３Ａ、音声デコーダ１５Ａ、映像デコーダ１７Ａ、比較部１９Ａ、ネットワークインターフェイス２１Ａ、及び制御部２３Ａは、バス２５Ａを介して接続されている。

端末機器ＴＢは、マイク１Ｂ、カメラ３Ｂ、スピーカ５Ｂ、ディスプレイ７Ｂ、マーカー発生部９Ｂ、音声エンコーダ１１Ｂ、映像エンコーダ１３Ｂ、音声デコーダ１５Ｂ、映像デコーダ１７Ｂ、ネットワークインターフェイス２１Ｂ、及び制御部２３Ｂを備える。マーカー発生部９Ｂ、音声エンコーダ１１Ｂ、映像エンコーダ１３Ｂ、音声デコーダ１５Ｂ、映像デコーダ１７Ｂ、ネットワークインターフェイス２１Ｂ、及び制御部２３Ｂは、バス２５Ｂを介して接続されている。

端末機器ＴＡ，ＴＢは、受信側の端末機器に対して音声信号と映像信号とを送る場合、マイク１Ａ，１Ｂから入力された音声信号とカメラ３Ａ，３Ｂから入力された映像信号とをそれぞれをエンコードし、ネットワークインターフェイス２１Ａ，２１ＢにてＩＰパケット化を行い、送出する。したがって、音声と映像とは、それぞれ個別のストリームとして送信される。なお、通信相手となる端末機器を見出す手段、コネクション、送出パケット等に関する伝送プロトコルは、インターネットにおけるデータ伝送にて一般的に使用されるＳＩＰ（Session Initiation Protocol）やＲＴＰ（Real-time Transport Protocol）等が使用されるものとし、詳細な説明は省略する。

マイク１Ａ，１Ｂの出力は音声デコーダ１５Ａ，１５Ｂに接続されており、マイク１Ａ，１Ｂから出力された音声信号が音声デコーダ１５Ａ，１５Ｂに入力される。カメラ３Ａ，３Ｂの出力は映像デコーダ１７Ａ，１７Ｂに接続されており、カメラ３Ａ，３Ｂから出力された映像信号が映像デコーダ１７Ａ，１７Ｂに入力される。

マーカー発生部９Ａ，９Ｂは、マイク１Ａ，１Ｂから出力された音声信号に音声基準信号を送出する。これにより、音声エンコーダ１１Ａ，１１Ｂには、音声基準信号を含む音声信号が入力される。また、マーカー発生部９Ａ，９Ｂは、カメラ３Ａ，３Ｂから出力された映像信号に映像基準信号を音声基準信号と同じタイミングで送出する。これにより、映像エンコーダ１３Ａ，１３Ｂには、音声基準信号と同じタイミングで入力された映像基準信号を含む映像信号が入力される。

音声基準信号及び映像基準信号は、それらが受信側の端末機器で再生された場合でも、受信側の端末機器の利用者に不快感を与えないものが好ましい。例えば、音声基準信号としては音量が小さい音声信号等を用いることができ、映像基準信号としてはディスプレイ７Ａ，７Ｂの表示領域外の領域に映像を含む映像信号等を用いることができる。

音声エンコーダ１１Ａ，１１Ｂは、入力された音声信号をエンコードし、エンコードされた音声信号を出力する。映像エンコーダ１３Ａ，１３Ｂは、入力された映像信号をエンコードし、エンコードされた映像信号を出力する。

音声デコーダ１５Ａ，１５Ｂは、入力された、エンコードされている音声信号をデコードし、デコードされた音声信号を出力する。音声デコーダ１５Ａ，１５Ｂの出力はスピーカ５Ａ，５Ｂに接続されており、スピーカ５Ａ，５Ｂは音声デコーダ１５Ａ，１５Ｂから入力された音声信号を再生し、音声を出力する。映像デコーダ１７Ａ，１７Ｂは、入力された、エンコードされている映像信号をデコードし、デコードされた映像信号を出力する。映像デコーダ１７Ａ，１７Ｂの出力はディスプレイ７Ａ，７Ｂに接続されており、ディスプレイ７Ａ，１７Ｂは映像デコーダ１７Ａ，１７Ｂから入力された映像信号を再生し、映像を出力する。

比較部１９Ａ，１９Ｂは、音声デコーダ１５Ａ，１５Ｂから出力された音声信号及び映像デコーダ１７Ａ，１７Ｂから出力された映像信号を読み込む。比較部１９Ａ，１９Ｂは、読み込んだ各信号に基づいて、音声デコーダ１５Ａ，１５Ｂでデコードされた音声信号に含まれる音声基準信号の時間的位置と、映像デコーダ１７Ａ，１７Ｂでデコードされた映像信号に含まれる映像基準信号の時間的位置とを求める。比較部１９Ａ，１９Ｂは、求めた各基準信号の時間的位置を比較し、基準信号間の時間ずれ量を検出する。

ネットワークインターフェイス２１Ａ，２１Ｂは、上述したように、音声エンコーダ１１Ａ，１１Ｂから出力された音声信号及び映像エンコーダ１３Ａ，１３Ｂから出力された映像信号のＩＰパケット化を行い、ＩＰパケット化された信号をネットワークＮに送出する。また、ネットワークインターフェイス２１Ａ，２１Ｂは、ネットワークＮを介して送られたＩＰパケットを音声信号のストリームと映像信号のストリームとに分け、対応するデコーダ１５Ａ，１５Ｂ，１７Ａ，１７Ｂに送る。

制御部２３Ａは、マーカー発生部９Ａ、音声エンコーダ１１Ａ、映像エンコーダ１３Ａ、音声デコーダ１５Ａ、映像デコーダ１７Ａ、比較部１９Ａ、及びネットワークインターフェイス２１Ａを制御する。制御部２３Ｂは、マーカー発生部９Ｂ、音声エンコーダ１１Ｂ、映像エンコーダ１３Ｂ、音声デコーダ１５Ｂ、映像デコーダ１７Ｂ、及びネットワークインターフェイス２１Ｂを制御する。制御部２３Ａ，２３Ｂは、ＣＰＵ（Central Processing Unit）、ＣＰＵが実行する制御プログラムが格納されたＲＯＭ（Read Only Member）、ＣＰＵに作業エリアを提供するＲＡＭ（Random Access Memory）、各種の設定情報及び制御情報が格納された不揮発性メモリ（Nonvolatile Memory）等を含んで構成される。

図２を参照し、制御部２３Ａ，２３Ｂの動作を中心に、端末機器ＴＡから端末機器ＴＢに対して音声と映像とを個別のストリームで送る場合における、テレビ電話システムＶＰ１の動作を説明する。

端末機器ＴＡから端末機器ＴＢに対して音声と映像との送信を開始すると（Ｓ１０１）、制御部２３Ａは、マーカー発生部９Ａに、音声基準信号及び映像基準信号を送出するように、指示を送る。マーカー発生部９Ａは、制御部２３Ａからの指示を受け、上述したように、音声基準信号と映像基準信号とを同時に送出する（Ｓ１０２）。制御部２３Ａからマーカー発生部９Ａへの指示は、受信側の端末機器（端末機器ＴＢ）への送信時の初期に行われる。ここで、音声エンコーダ１１Ａは、音声基準信号を含む音声信号をエンコードして出力し、映像エンコーダ１３Ａは、映像基準信号を含む映像信号をエンコードして出力している。

また、制御部２３Ａは、マーカー発生部９Ａに上記指示を送ると同時に、比較部１９Ａに対し、基準信号間の時間ずれ量を検出するように指示を送る。比較部１９Ａは、制御部２３Ａからの指示を受け、音声デコーダ１５Ａから出力された音声信号及び映像デコーダ１７Ａから出力された映像信号を読み込み、音声基準信号及び映像基準信号の有無を監視し、音声基準信号及び映像基準信号を認識すると、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求める（Ｓ１０３）。ここで、音声デコーダ１５Ａは、音声基準信号を含み且つエンコードされた音声信号をデコードして出力し、映像デコーダ１７Ａは、映像基準信号を含み且つエンコードされた映像信号をデコードして出力している。

音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求めると、比較部１９Ａは、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを比較し、上述したように、音声基準信号と映像基準信号との間の時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出する（Ｓ１０４）。

制御部２３Ａは、比較部１９Ａが上記時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出すると、当該時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を読み込み、音声エンコーダ１１Ａと映像エンコーダ１３Ａとのうち、音声基準信号と映像基準信号とのうち相互の時間関係が早い方の信号をエンコードするエンコーダ（音声エンコーダ１１Ａ又は映像エンコーダ１３Ａ）に対し、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定するように指示を出す。上記相互の時間関係が早い方の信号をエンコードするエンコーダ（音声エンコーダ１１Ａ又は映像エンコーダ１３Ａ）は、制御部２３Ａからの指示を受け、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定する（Ｓ１０５あるいはＳ１０６）。これにより、音声エンコーダ１１Ａと映像エンコーダ１３Ａとの動作の同期が図られ、音声エンコーダ１１Ａからはエンコードされた音声信号が、また、映像エンコーダ１３Ａからはエンコードされた映像信号が互いに同期された状態で出力される。

各エンコーダ１１Ａ，１３Ａから出力された音声信号及び映像信号は、ネットワークインターフェイス２１Ａにて個別のストリームとしてＩＰパケット化され、ネットワークインターフェイス２１Ａから送られる。端末機器ＴＡから端末機器ＴＢにＩＰパケットが送られると、端末機器ＴＢにおいて、ネットワークインターフェイス２１Ｂは、ＩＰパケットを音声信号のストリームと映像信号のストリームとに分け、対応するデコーダ１５Ｂ，１７Ｂに送る。

音声デコーダ１５Ｂ及び映像デコーダ１７Ｂは、制御部２３Ｂの制御の下でデコード処理を行い、信号を出力する。音声デコーダ１５Ｂにてデコードされた音声信号はスピーカ５Ｂから音声として出力され、映像デコーダ１７Ｂにてデコードされた映像信号はディスプレイ７Ｂから映像として出力される。このとき、端末機器ＴＡ内にてエンコードされた音声信号とエンコードされた映像信号との同期が取られているので、端末機器ＴＢにおいてスピーカ５Ｂから出力される音声とディスプレイ７Ｂから出力される映像との間に時間的ずれは生じ難く、リップシンクがずれるのを防ぐことができる。

この場合、端末機器ＴＡにて音声信号と映像信号との同期が取られるため、端末機器ＴＢは、一般的な従前の端末機器であってもよい。

制御部２３Ａからのマーカー発生部９Ａへの指示を、受信側の端末機器（端末機器ＴＢ）への送信時の初期に行っているが、使用者がリモコン２７等で所定の操作を行ってもよい。また、制御部２３Ａからのマーカー発生部９Ａへの指示は、通信中に定期的に行うようにしてもよく、あるいは実際に通信を開始する前にセルフチェックとして行ってもよい。

時間ずれ量は、通信の都度検出する必要はない。例えば、一度検出したら記憶しておき、記憶した時間ずれ量を用いるようにしてもよい。

次に、図３を参照して、制御部２３Ａ，２３Ｂの動作を中心に、端末機器ＴＢから端末機器ＴＡに対して音声と映像とを個別のストリームで送る場合における、テレビ電話システムＶＰ１の動作を説明する。

端末機器ＴＢから端末機器ＴＡに対して音声と映像との送信を開始すると（Ｓ２０１）制御部２３Ｂは、マーカー発生部９Ｂに、音声基準信号及び映像基準信号を送出するように、指示を送る。マーカー発生部９Ｂは、制御部２３Ｂからの指示を受け、上述したように、音声基準信号と映像基準信号とを同時に送出する（Ｓ２０２）。制御部２３Ｂからマーカー発生部９Ｂへの指示は、受信側の端末機器（端末機器ＴＡ）への送信時の初期に行われる。ここで、音声エンコーダ１１Ｂは、音声基準信号を含む音声信号をエンコードして出力し、映像エンコーダ１３Ｂは、映像基準信号を含む映像信号をエンコードして出力している。

各エンコーダ１１Ｂ，１３Ｂから出力された音声信号及び映像信号は、ネットワークインターフェイス２１Ｂにて個別のストリームとしてＩＰパケット化され、ネットワークインターフェイス２１Ｂから送られる。端末機器ＴＢから端末機器ＴＡにＩＰパケットが届くと（Ｓ２０３）、端末機器ＴＡにおいて、ネットワークインターフェイス２１Ａは、ＩＰパケットを音声信号のストリームと映像信号のストリームとに分け、対応するデコーダ１５Ａ，１７Ａに出力する。音声デコーダ１５Ａは、入力された音声信号をデコードして出力し、映像エンコーダ１３Ａは入力された映像信号をデコードして出力する。ここで、デコードされた音声信号には音声基準信号が含まれており、デコードされた映像信号には映像基準信号が含まれている。

制御部２３Ａは、比較部１９Ａに対し、基準信号間の時間ずれ量を検出するように指示を送る。このとき、比較部１９Ａは、上述したＳ１０３と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求める（Ｓ２０４）。そして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求めると、比較部１９Ａは、上述したＳ１０４と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを比較し、音声基準信号と映像基準信号との間の時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出する（Ｓ２０５）。

ところで、比較部１９Ａでの各基準信号の監視は、接続中常に行うは無く、送信側の端末機器（端末機器ＴＢ）との接続後、所定期間（例えば、数十秒間）行えばよい。また、通信中に同期を行いたい場合には、送信側の端末機器でネットワーク上のプロトコル（例えば、ＲＴＰ）のヘッダにビットを立て、当該ビットを検出してから所定期間（例えば、数十秒間）だけ監視を行うようにしてもよい。このように、比較部１９Ａが監視する期間を限定することにより、端末機器ＴＡにおける制御上の負荷を軽減することができる。

制御部２３Ａは、比較部１９Ａが上記時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出すると、当該時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を読み込み、音声デコーダ１５Ａと映像デコーダ１７Ａとのうち、音声基準信号と映像基準信号とのうち相互の時間関係が早い方の信号をデコードするデコーダ（音声デコーダ１５Ａ又は映像デコーダ１７Ａ）に対し、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定するように指示を出す。上記相互の時間関係が早い方の信号をデコードするデコーダ（音声デコーダ１５Ａ又は映像デコーダ１７Ａ）は、制御部２３Ａからの指示を受け、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定する（Ｓ２０６あるいはＳ２０７）。これにより、音声デコーダ１５Ａと映像デコーダ１７Ａとの動作の同期が図られ、音声デコーダ１５Ａからはデコードされた音声信号が、また、映像デコーダ１７Ａからはエンコードされた映像信号が互いに同期された状態で出力される。

音声デコーダ１５Ａにてデコードされた音声信号はスピーカ５Ａから音声として出力され、映像デコーダ１７Ａにてデコードされた映像信号はディスプレイ７Ａから映像として出力される。このとき、端末機器ＴＡ内にてデコードされた音声信号とデコードされた映像信号との同期が取られているので、端末機器ＴＡにおいてスピーカ５Ａから出力される音声とディスプレイ７Ａから出力される映像との間に時間的ずれは生じ難く、リップシンクがずれるのを防ぐことができる。

なお、マイク１Ａ，１Ｂとカメラ３Ａ，３Ｂとは、各端末機器ＴＡ，ＴＢが内蔵している必要はなく、端末機器ＴＡ，ＴＢが備える音声入力端子やビデオ入力端子といった汎用の入力端子に接続されてもよい。また、スピーカ５Ａ，５Ｂやディスプレイ７Ａ，７Ｂも各端末機器ＴＡ，ＴＢが内蔵している必要はなく、端末機器ＴＡ，ＴＢが備える音声出力端子やビデオ出力端子といった汎用の出力端子に接続されてもよい。

第１実施形態では、端末機器ＴＢが、比較部１９Ａと同じ構成の比較部を備えない端末機器として構成されているが、端末機器ＴＢは比較部１９Ａと同じ構成の比較部を備えていてもよい。通信相手となる端末機器が比較部を備えているか否かの認識は、通信相手となる端末機器との接続時にＳＩＰ等のプロトコルで確認することができる。通信相手となる端末機器が比較部を備える場合には、自端末機器内にて相手側の端末機器から送られるストリームの同期確認は行わなくてもよい。通信相手となる端末機器が比較部を備えているか否かをＳＩＰ等のプロトコルで確認する手法については、一般的な手法であり、ここでは説明は省略する。

（第２実施形態）
図４を参照して、第２実施形態に係るテレビ電話システムＶＰ２の構成を説明する。第２実施形態は、リモコン２７からの出力に基づいて各基準信号を入力する点及び比較部１９Ａへの指示を送る点で、第１実施形態と相違する。

テレビ電話システムＶＰ２では、端末機器ＴＡと端末機器ＴＢとがネットワークＮを介して接続されている。端末機器ＴＡは、マイク１Ａ、カメラ３Ａ、スピーカ５Ａ、ディスプレイ７Ａ、リモコン受信部２９Ａ、音声エンコーダ１１Ａ、映像エンコーダ１３Ａ、音声デコーダ１５Ａ、映像デコーダ１７Ａ、比較部１９Ａ、ネットワークインターフェイス２１Ａ、及び制御部２３Ａを備える。リモコン受信部２９Ａ、音声エンコーダ１１Ａ、映像エンコーダ１３Ａ、音声デコーダ１５Ａ、映像デコーダ１７Ａ、比較部１９Ａ、ネットワークインターフェイス２１Ａ、及び制御部２３Ａは、バス２５Ａを介して接続されている。端末機器ＴＢの構成は、本実施形態における端末機器ＴＡの構成と同じとし、その説明を省略する。

リモコン受信部２９Ａは、リモコン２７から送信された操作信号を受信し、受信した操作信号を制御部２３Ａに送る。制御部２３Ａは、リモコン受信部２９Ａから送られた操作信号に基づいて、端末機器ＴＡの各種動作を制御する。リモコン２７は、使用者により通話開始（または、接続開始）のための操作がなされると、通話開始を指示するための操作信号を送信すると共に、音声基準信号となる音声と映像基準信号となる赤外線を出力する。

通常、リモコン２７は赤外線を出力して機器操作を行う。リモコン受信部２９Ａに用いられるカメラ３Ａ（例えば、ＣＣＤカメラ等）は、一般的に赤外線を感知することが可能であるので、市販されている汎用的なカメラを用いることができる。

本実施形態では、リモコン２７とマイク１Ａとが別体として構成されているが、テレビ電話システム等では、マイク１Ａを使用者の近くに置くことが一般的であり、リモコン２７とマイク１Ａとを一体に構成してもよい。この場合、リモコン２７とマイク１Ａとを接続し、音声基準信号となる音声を実際に出力する代わりに、信号を出力するようにしてもよい。

図５を参照し、制御部２３Ａ，２３Ｂの動作を中心に、端末機器ＴＡから端末機器ＴＢに対して音声と映像とを個別のストリームで送る場合における、テレビ電話システムＶＰ２の動作を説明する。

使用者が相手側との通信を開始するためにリモコン２７を操作すると、リモコン２７は、送信開始を指示するための操作信号を端末機器ＴＡに送出する（Ｓ３０１）と共に、音声基準信号となる音声及び映像基準信号となる赤外線を出力する（Ｓ３０２）。リモコン２７から送信された通話開始を指示するための操作信号は、リモコン受信部を通して制御部２３Ａに送られる。音声基準信号となる音声は、マイク１Ａで集音され、音声基準信号を含む音声信号として音声エンコーダ１１Ａに出力される。映像基準信号となる赤外線は、カメラ３Ａで撮像され、映像基準信号を含む映像信号として映像エンコーダ１３Ａに出力される。

制御部２３Ａは、通話開始を指示するための操作信号が入力されると、比較部１９Ａに対し、基準信号間の時間ずれ量を検出するように指示を送る。比較部１９Ａは、制御部２３Ａからの指示を受け、上述した第１実施形態と同じく、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求め（Ｓ３０３）、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを比較し、音声基準信号と映像基準信号との間の時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出する（Ｓ３０４）。

制御部２３Ａは、比較部１９Ａが時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出すると、当該時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を読み込み、音声エンコーダ１１Ａと映像エンコーダ１３Ａとのうち、音声基準信号と映像基準信号とのうち相互の時間関係が早い方の信号をエンコードするエンコーダ（音声エンコーダ１１Ａ又は映像エンコーダ１３Ａ）に対し、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定するように指示を出す。上記相互の時間関係が早い方の信号をエンコードするエンコーダ（音声エンコーダ１１Ａ又は映像エンコーダ１３Ａ）は、制御部２３Ａからの指示を受け、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定する（Ｓ３０５あるいはＳ３０６）。これにより、音声エンコーダ１１Ａと映像エンコーダ１３Ａとの動作の同期が図られ、音声エンコーダ１１Ａからはエンコードされた音声信号が、また、映像エンコーダ１３Ａからはエンコードされた映像信号が互いに同期された状態で出力される。

以上のように、端末機器ＴＡ内にてエンコードされた音声信号とエンコードされた映像信号との同期が取られているので、端末機器ＴＢにおいてスピーカ５Ｂから出力される音声とディスプレイ７Ｂから出力される映像との間に時間的ずれは生じ難く、リップシンクがずれるのを防ぐことができる。

次に、図６を参照して、制御部２３Ａ，２３Ｂの動作を中心に、端末機器ＴＢから端末機器ＴＡに対して音声と映像とを個別のストリームで送る場合における、テレビ電話システムＶＰ２の動作を説明する。

使用者が相手側との通信を開始するためにリモコン２７を操作すると、リモコン２７は、送信開始を指示するための操作信号を端末機器ＴＢに送出する（Ｓ４０１）と共に、音声基準信号となる音声及び映像基準信号となる赤外線を出力する（Ｓ４０２）。リモコン２７から送信された通話開始を指示するための操作信号は、リモコン受信部を通して端末機器ＴＢの制御部に送られる。音声基準信号となる音声は、端末機器ＴＢにおいて、マイクで集音され、音声基準信号を含む音声信号として音声エンコーダに出力される。映像基準信号となる赤外線は、端末機器ＴＢにおいて、カメラで撮像され、映像基準信号を含む映像信号として映像エンコーダに出力される。

端末機器ＴＢにおいて、各エンコーダから出力された音声信号及び映像信号は、ネットワークインターフェイスにて個別のストリームとしてＩＰパケット化され、ネットワークインターフェイスから送られる。端末機器ＴＢから端末機器ＴＡにＩＰパケットが届くと（Ｓ４０３）、端末機器ＴＡにおいて、ネットワークインターフェイス２１Ａは、ＩＰパケットを音声信号のストリームと映像信号のストリームとに分け、対応するデコーダ１５Ａ，１７Ａに出力する。音声デコーダ１５Ａは、入力された音声信号をデコードして出力し、映像エンコーダ１３Ａは入力された映像信号をデコードして出力する。ここで、デコードされた音声信号には音声基準信号が含まれており、デコードされた映像信号には映像基準信号が含まれている。

制御部２３Ａは、比較部１９Ａに対し、基準信号間の時間ずれ量を検出するように指示を送る。このとき、比較部１９Ａは、上述したＳ１０３と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求める（Ｓ４０４）。そして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求めると、比較部１９Ａは、上述したＳ１０４と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを比較し、音声基準信号と映像基準信号との間の時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出する（Ｓ４０５）。

制御部２３Ａは、比較部１９Ａが上記時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出すると、当該時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を読み込み、音声デコーダ１５Ａと映像デコーダ１７Ａとのうち、音声基準信号と映像基準信号とのうち相互の時間関係が早い方の信号をデコードするデコーダ（音声デコーダ１５Ａ又は映像デコーダ１７Ａ）に対し、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定するように指示を出す。上記相互の時間関係が早い方の信号をデコードするデコーダ（音声デコーダ１５Ａ又は映像デコーダ１７Ａ）は、制御部２３Ａからの指示を受け、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定する（Ｓ４０６あるいはＳ４０７）。これにより、音声デコーダ１５Ａと映像デコーダ１７Ａとの動作の同期が図られ、音声デコーダ１５Ａからはデコードされた音声信号が、また、映像デコーダ１７Ａからはエンコードされた映像信号が互いに同期された状態で出力される。

以上のように、端末機器ＴＡ内にてデコードされた音声信号とデコードされた映像信号との同期が取られているので、端末機器ＴＡにおいてスピーカ５Ａから出力される音声とディスプレイ７Ａから出力される映像との間に時間的ずれは生じ難く、リップシンクがずれるのを防ぐことができる。

第２実施形態では、リモコン２７からの出力に基づいて音声基準信号と映像基準信号とが入力されるので、端末機器ＴＡがマーカー発生部９Ａを備える必要は無く、端末機器ＴＡの構成を簡略化できると共に、コストが嵩むのを抑えることができる。

（第３実施形態）
図７を参照して、第３実施形態に係るテレビ電話システムＶＰ３の構成を説明する。第３実施形態は、スピーカ５Ａ及びディスプレイ７Ａからの出力に基づいて各基準信号を入力する点で、第２実施形態と相違する。

テレビ電話システムＶＰ３では、端末機器ＴＡと端末機器ＴＢとがネットワークＮを介して接続されている。

端末機器ＴＡは、マイク１Ａ、カメラ３Ａ、スピーカ５Ａ、ディスプレイ７Ａ、リモコン受信部２９Ａ、音声エンコーダ１１Ａ、映像エンコーダ１３Ａ、音声デコーダ１５Ａ、映像デコーダ１７Ａ、比較部１９Ａ、ネットワークインターフェイス２１Ａ、及び制御部２３Ａを備える。端末機器ＴＢの構成は、本実施形態における端末機器ＴＡの構成と同じとし、その説明を省略する。

リモコン（不図示）は、使用者により通話開始（または、接続開始）のための操作がなされると、通話開始を指示するための操作信号を送信する。使用者が相手側との通信を開始するためにリモコンを操作すると、リモコンから通話開始を指示するための操作信号が出力される。リモコンから送信された通話開始を指示するための操作信号は、リモコン受信部２９Ａを通して制御部２３Ａに送られる。

制御部２３Ａは、通話開始を指示するための操作信号が入力されると、スピーカ５Ａが音声基準信号となる音声を出力するように制御する。このとき、制御部２３Ａは、音声デコーダ１５Ａに音声基準信号となるエンコードされた音声信号を出力し、当該音声信号を音声デコーダ１５Ａがデコードして、デコードされた音声信号をスピーカ５Ａが再生してもよい。また、スピーカ５Ａから音声を出力させるための信号発生部（不図示）を設け、制御部２３Ａは、信号発生部に対して、スピーカ５Ａが音声基準信号となる音声を出力するように指示を送るようにしてもよい。

また、制御部２３Ａは、通話開始を指示するための操作信号が入力されると、ディスプレイ７Ａが映像基準信号となる映像を出力するように制御する。このとき、制御部２３Ａは、映像デコーダ１７Ａに映像基準信号となるエンコードされた映像信号を出力し、当該映像信号を映像デコーダ１７Ａがデコードして、デコードされた映像信号をディスプレイ７Ａが表示してもよい。また、ディスプレイ７Ａから映像を出力させるための信号発生部（不図示）を設け、制御部２３Ａは、信号発生部に対して、ディスプレイ７Ａが映像基準信号となる映像を出力するように指示を送るようにしてもよい。映像基準信号となる映像としては、ディスプレイ７Ａの表示画面をフラッシュさせる等の映像を用いることができる。

音声基準信号となる音声は、マイク１Ａで集音され、音声基準信号を含む音声信号として音声エンコーダ１１Ａに出力される。映像基準信号となる赤外線は、カメラ３Ａで撮像され、映像基準信号を含む映像信号として映像エンコーダ１３Ａに出力される。

制御部２３Ａは、通話開始を指示するための操作信号が入力されると、比較部１９Ａに対し、基準信号間の時間ずれ量を検出するように指示を送る。比較部１９Ａは、制御部２３Ａからの指示を受け、上述した第１及び２実施形態と同じく、音声基準信号と映像基準信号との間の時間ずれ量を検出する。

制御部２３Ａは、比較部１９Ａが時間ずれ量を検出すると、当該時間ずれ量を読み込み、音声エンコーダ１１Ａと映像エンコーダ１３Ａとのうち、音声基準信号と映像基準信号とのうち相互の時間関係が早い方の信号をエンコードするエンコーダ（音声エンコーダ１１Ａ又は映像エンコーダ１３Ａ）に対し、時間ずれ量分の遅延を行うように指示を出す。これにより、音声エンコーダ１１Ａと映像エンコーダ１３Ａとの動作の同期が図られ、音声エンコーダ１１Ａからはエンコードされた音声信号が、また、映像エンコーダ１３Ａからはエンコードされた映像信号が互いに同期された状態で出力される。

以上のように、第３実施形態においても、端末機器ＴＡ内にてエンコードされた音声信号とエンコードされた映像信号との同期が取られているので、端末機器ＴＢにおいてスピーカから出力される音声とディスプレイから出力される映像との間に時間的ずれは生じ難く、リップシンクがずれるのを防ぐことができる。

（第４実施形態）
図８を参照して、第４実施形態に係るテレビ電話システムＶＰ４の構成を説明する。第４実施形態は、マイク及び音声デコーダ、並びにカメラ及び映像デコーダが端末機器ＴＡ，ＴＢとは別体の機器、いわゆる外付けの機器として構成されている点及び受信側の端末機器ＴＡ，ＴＢにて同期を取る点で、第２実施形態と相違する。

テレビ電話システムＶＰ４では、端末機器ＴＡと端末機器ＴＢとがネットワークＮを介して接続されている。端末機器ＴＡ，ＴＢは、音声受信インターフェイス４１Ａ，４１Ｂ、映像受信インターフェイス４３Ａ，４３Ｂ、スピーカ５Ａ，５Ｂ、ディスプレイ７Ａ，７Ｂ、リモコン受信部２９Ａ，２９Ｂ、音声デコーダ１５Ａ，１５Ｂ、映像デコーダ１７Ａ，１７Ｂ、比較部１９Ａ，１９Ｂ、ネットワークインターフェイス２１Ａ，２１Ｂ、及び制御部２３Ａ，２３Ｂを備える。音声受信インターフェイス４１Ａ，４１Ｂ、映像受信インターフェイス４３Ａ，４３Ｂ、リモコン受信部２９Ａ，２９Ｂ、音声デコーダ１５Ａ，１５Ｂ、映像デコーダ１７Ａ，１７Ｂ、比較部１９Ａ，１９Ｂ、ネットワークインターフェイス２１Ａ，２１Ｂ、及び制御部２３Ａ，２３Ｂは、バス２５Ａ，２５Ｂを介して接続されている。

端末機器ＴＡ，ＴＢには、外付けの、マイクユニットＭＵ及びカメラユニットＣＵが接続されている。端末機器ＴＡ，ＴＢとマイクユニットＭＵとの接続、及び、端末機器ＴＡ，ＴＢとカメラユニットＣＵが接続との接続は、有線接続でもよく、また無線接続でもよい。

マイクユニットＭＵは、マイク３１と、音声エンコーダ３５とを備えている。音声エンコーダ３５は、音声エンコーダ３５と同じく、入力された音声信号をエンコードし、エンコードされた音声信号を出力する。音声エンコーダ３５にてエンコードされた音声信号は、端末機器ＴＡ，ＴＢに送られ、音声受信インターフェイス４１Ａ，４１Ｂを介して、ネットワークインターフェイス２１Ａ，２１Ｂに入力される。

カメラユニットＣＵは、カメラ３３と、映像エンコーダ３７とを備えている。映像エンコーダ３７は、映像エンコーダ３７と同じく、入力された映像信号をエンコードし、エンコードされた映像信号を出力する。映像エンコーダ３７にてエンコードされた映像信号は、端末機器ＴＡ，ＴＢに送られ、映像受信インターフェイス４３Ａ，４３Ｂを介して、ネットワークインターフェイス２１Ａ，２１Ｂに入力される。

図９を参照し、制御部２３Ａ，２３Ｂの動作を中心に、端末機器ＴＡから端末機器ＴＢに対して音声と映像とを個別のストリームで送る場合における、テレビ電話システムＶＰ４の動作を説明する。

使用者が相手側との通信を開始するためにリモコン２７を操作すると、リモコン２７は、送信開始を指示するための操作信号を端末機器ＴＡに送出する（Ｓ５０１）と共に、音声基準信号となる音声及び映像基準信号となる赤外線を出力する（Ｓ５０２）。リモコン２７から送信された通話開始を指示するための操作信号は、リモコン受信部２９Ａを通して制御部２３Ａに送られる。

音声基準信号となる音声は、マイク３１で集音され、音声基準信号を含む音声信号として音声エンコーダ３５に出力される。音声エンコーダ３５は、音声基準信号を含む音声信号をエンコードし、音声基準信号を含み且つエンコードされた音声信号を出力する。映像基準信号となる赤外線は、カメラ３３で撮像され、映像基準信号を含む映像信号として映像エンーダに出力される。映像エンコーダ３７は、映像基準信号を含む映像信号をエンコードし、映像基準信号を含み且つエンコードされた映像信号を出力する。

ネットワークインターフェイス２１Ａは、上述したように、音声基準信号を含み且つエンコードされた音声信号及び映像基準信号を含み且つエンコードされた映像信号をそれぞれ個別のストリームとしてＩＰパケット化し、ネットワークＮに送出する。

端末機器ＴＡから端末機器ＴＢにＩＰパケットが届くと（Ｓ５０３）、端末機器ＴＢにおいて、ネットワークインターフェイス２１Ｂは、ＩＰパケットを音声信号のストリームと映像信号のストリームとに分け、対応するデコーダ１５Ｂ，１７Ｂに出力する。音声デコーダ１５Ｂは、入力された音声信号をデコードして出力し、映像デコーダ１７Ｂは入力された映像信号をデコードして出力する。ここで、デコードされた音声信号には音声基準信号が含まれており、デコードされた映像信号には映像基準信号が含まれている。

制御部２３Ｂは、比較部１９Ｂに対し、基準信号間の時間ずれ量を検出するように指示を送る。このとき、比較部１９Ｂは、上述したＳ１０３と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求める（Ｓ５０４）。そして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求めると、比較部１９Ｂは、上述したＳ１０４と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを比較し、音声基準信号と映像基準信号との間の時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出する（Ｓ５０５）。

制御部２３Ｂは、比較部１９Ｂが上記時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出すると、当該時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を読み込み、音声デコーダ１５Ｂと映像デコーダ１７Ｂとのうち、音声基準信号と映像基準信号とのうち相互の時間関係が早い方の信号をデコードするデコーダ（音声デコーダ１５Ｂ又は映像デコーダ１７Ｂ）に対し、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定するように指示を出す。上記相互の時間関係が早い方の信号をデコードするデコーダ（音声デコーダ１５Ｂ又は映像デコーダ１７Ｂ）は、制御部２３Ｂからの指示を受け、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定する（Ｓ５０６あるいはＳ５０７）。これにより、音声デコーダ１５Ｂと映像デコーダ１７Ｂとの動作の同期が図られ、音声デコーダ１５Ｂからはデコードされた音声信号が、また、映像デコーダ１７Ｂからはエンコードされた映像信号が互いに同期された状態で出力される。

以上のように、端末機器ＴＢ内にてデコードされた音声信号とデコードされた映像信号との同期が取られているので、端末機器ＴＢにおいてスピーカ５Ｂから出力される音声とディスプレイ７Ｂから出力される映像との間に時間的ずれは生じ難く、リップシンクがずれるのを防ぐことができる。

次に、図１０を参照し、制御部２３Ａ，２３Ｂの動作を中心に、端末機器ＴＢから端末機器ＴＡに対して音声と映像とを個別のストリームで送る場合における、テレビ電話システムＶＰ４の動作を説明する。

使用者が相手側との通信を開始するためにリモコン２７を操作すると、リモコン２７は、送信開始を指示するための操作信号を端末機器ＴＢに送出する（Ｓ６０１）と共に、音声基準信号となる音声及び映像基準信号となる赤外線を出力する（Ｓ６０２）。リモコン２７から送信された通話開始を指示するための操作信号は、リモコン受信部２９Ｂを通して制御部２３Ｂに送られる。

音声基準信号となる音声は、マイク３１で集音され、音声基準信号を含む音声信号として音声エンコーダ３５に出力される。音声エンコーダ３５は、音声基準信号を含む音声信号をエンコードし、音声基準信号を含み且つエンコードされた音声信号を出力する。映像基準信号となる赤外線は、カメラ３３で撮像され、映像基準信号を含む映像信号として映像エンーダに出力される。映像エンコーダ３７は、映像基準信号を含む映像信号をエンコードし、映像基準信号を含み且つエンコードされた映像信号を出力する。

ネットワークインターフェイス２１Ｂは、上述したように、音声基準信号を含み且つエンコードされた音声信号及び映像基準信号を含み且つエンコードされた映像信号をそれぞれ個別のストリームとしてＩＰパケット化し、ネットワークＮに送出する。

端末機器ＴＢから端末機器ＴＡにＩＰパケットが届くと（Ｓ６０３）、端末機器ＴＡにおいて、ネットワークインターフェイス２１Ａは、ＩＰパケットを音声信号のストリームと映像信号のストリームとに分け、対応するデコーダ１５Ａ，１７Ａに出力する。音声デコーダ１５Ａは、入力された音声信号をデコードして出力し、映像デコーダ１７Ａは入力された映像信号をデコードして出力する。ここで、デコードされた音声信号には音声基準信号が含まれており、デコードされた映像信号には映像基準信号が含まれている。

制御部２３Ａは、比較部１９Ａに対し、基準信号間の時間ずれ量を検出するように指示を送る。このとき、比較部１９Ａは、上述したＳ１０３と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求める（Ｓ６０４）。そして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求めると、比較部１９Ａは、上述したＳ１０４と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを比較し、音声基準信号と映像基準信号との間の時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出する（Ｓ６０５）。

制御部２３Ａは、比較部１９Ａが上記時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出すると、当該時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を読み込み、音声デコーダ１５Ａと映像デコーダ１７Ａとのうち、音声基準信号と映像基準信号とのうち相互の時間関係が早い方の信号をデコードするデコーダ（音声デコーダ１５Ａ又は映像デコーダ１７Ａ）に対し、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定するように指示を出す。上記相互の時間関係が早い方の信号をデコードするデコーダ（音声デコーダ１５Ａ又は映像デコーダ１７Ａ）は、制御部２３Ａからの指示を受け、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の遅延を設定する（Ｓ６０６あるいはＳ６０７）。これにより、音声デコーダ１５Ａと映像デコーダ１７Ａとの動作の同期が図られ、音声デコーダ１５Ａからはデコードされた音声信号が、また、映像デコーダ１７Ａからはエンコードされた映像信号が互いに同期された状態で出力される。

比較部１９Ａ，１９Ｂでの各基準信号の監視は、接続中常に行うは無く、送信側の端末機器（端末機器ＴＡあるいは端末機器ＴＢ）との接続後、所定期間（例えば、数十秒間）行えばよい。また、通信中に同期を行いたい場合には、送信側の端末機器でネットワーク上のプロトコル（例えば、ＲＴＰ）のヘッダにビットを立て、当該ビットを検出してから所定期間（例えば、数十秒間）だけ監視を行うようにしてもよい。

以上のように、端末機器ＴＢから端末機器ＴＡへ送信する場合も、端末機器ＴＡ側にてデコードされた音声信号とデコードされた映像信号との同期が取られているので、端末機器ＴＡにおいてスピーカ５Ａから出力される音声とディスプレイ７Ａから出力される映像との間に時間的ずれは生じ難く、リップシンクがずれるのを防ぐことができる。

次に、図１１を参照して、第４実施形態の変形例について説明する。本変形例では、送信側の端末機器にて同期を取る点で、上述した第４実施形態と相違する。

使用者が相手側との通信を開始するためにリモコン２７を操作すると、リモコン２７は、送信開始を指示するための操作信号を端末機器ＴＡに送出する（Ｓ７０１）と共に、音声基準信号となる音声及び映像基準信号となる赤外線を出力する（Ｓ７０２）。リモコン２７から送信された通話開始を指示するための操作信号は、リモコン受信部２９Ａを通して制御部２３Ａに送られる。

制御部２３Ａは、通話開始を指示するための操作信号が入力されると、比較部１９Ａに対し、基準信号間の時間ずれ量を検出するように指示を送る。このとき、比較部１９Ａは、上述したＳ１０３と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求める（Ｓ７０３）。そして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを求めると、比較部１９Ａは、上述したＳ１０４と同様にして、音声基準信号の時刻ｔａと映像基準信号の時刻ｔｖとを比較し、音声基準信号と映像基準信号との間の時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出する（Ｓ７０４）。

制御部２３Ａは、比較部１９Ａが時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を検出すると、当該時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）を読み込み、ネットワークインターフェイス２１Ａに対し、音声基準信号と映像基準信号とのうち相互の時間関係が早い方の基準信号を含む信号をＩＰパケット化するときのタイムスタンプ情報に時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分の加算を行うように指示を出す。ネットワークインターフェイス２１Ａは、制御部２３Ａからの指示を受け、上記相互の時間関係が早い方の基準信号を含む信号をＩＰパケット化するときのタイムスタンプ情報を、時間ずれ量（ｔａ−ｔｖあるいはｔｖ−ｔａ）分だけ加算するように設定する（Ｓ７０５あるいはＳ７０６）。これにより、音声に関するＩＰパケットのタイムスタンプ情報と映像に関するＩＰパケットのタイムスタンプ情報との同期が図られ、端末機器ＴＡからは、音声に関するＩＰパケットと映像に関するＩＰパケットとは互いに同期された状態で出力される。

端末機器ＴＡから端末機器ＴＢにＩＰパケットが送られると、端末機器ＴＢにおいて、ネットワークインターフェイス２１Ｂは、ＩＰパケットを音声信号のストリームと映像信号のストリームとに分け、対応するデコーダ１５Ｂ，１７Ｂに送る。このとき、音声デコーダ１５Ｂ及び映像デコーダ１７Ｂには、タイムスタンプ情報も送られる。

音声デコーダ１５Ｂ及び映像デコーダ１７Ｂは、制御部２３Ｂの制御の下でデコード処理を行い、信号を出力する。音声デコーダ１５Ｂにてデコードされた音声信号はスピーカ５Ｂから音声として出力され、映像デコーダ１７Ｂにてデコードされた映像信号はディスプレイ７Ｂから映像として出力される。このとき、音声デコーダ１５Ｂ及び映像デコーダ１７Ｂに送られたタイムスタンプ情報は同期が取られているので、端末機器ＴＢにおいてスピーカ５Ｂから出力される音声とディスプレイ７Ｂから出力される映像との間に時間的ずれは生じ難く、リップシンクがずれるのを防ぐことができる。

端末機器ＴＢから端末機器ＴＡへ送信する場合も、同様に、端末機器ＴＢ側にて音声に関するＩＰパケットのタイムスタンプ情報と映像に関するＩＰパケットのタイムスタンプ情報との同期が取られているので、端末機器ＴＡにおいてスピーカ５Ａから出力される音声とディスプレイ７Ａから出力される映像との間に時間的ずれは生じ難く、リップシンクがずれるのを防ぐことができる。

以上、本発明の好適な実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

例えば、本実施形態においては、本発明を双方向での通信を行うテレビ電話システムＶＰ１〜ＶＰ４に適用した例を示したが、これに限られることなく、一方向に通信を行うストリーム配信システムにも本発明を適用することができる。映像信号と音声信号とのストリームが一方向にしか流れない場合には、受信側となる端末機器には、マイク、カメラ、マーカー発生部、各エンコーダは不要となる。

第１実施形態に係るテレビ電話システムの構成を示すブロック図である。 第１実施形態に係るテレビ電話システムにおける処理動作を説明するためのフローチャートである。 第１実施形態に係るテレビ電話システムにおける処理動作を説明するためのフローチャートである。 第２実施形態に係るテレビ電話システムの構成を示すブロック図である。 第２実施形態に係るテレビ電話システムにおける処理動作を説明するためのフローチャートである。 第２実施形態に係るテレビ電話システムにおける処理動作を説明するためのフローチャートである。 第３実施形態に係るテレビ電話システムの構成を示すブロック図である。 第４実施形態に係るテレビ電話システムの構成を示すブロック図である。 第４実施形態に係るテレビ電話システムにおける処理動作を説明するためのフローチャートである。 第４実施形態に係るテレビ電話システムにおける処理動作を説明するためのフローチャートである。 第１実施形態の変形例に係るテレビ電話システムにおける処理動作を説明するためのフローチャートである。

符号の説明

１Ａ，１Ｂ，３１…マイク、３Ａ，３Ｂ，３３…カメラ、５Ａ，５Ｂ…スピーカ、７Ａ，７Ｂ…ディスプレイ、９Ａ，９Ｂ…マーカー発生部、１１Ａ，１１Ｂ，３５…音声エンコーダ、１３Ａ，１３Ｂ，３７…映像エンコーダ、１５Ａ，１５Ｂ…音声デコーダ、１７Ａ，１７Ｂ…映像デコーダ、１９Ａ，１９Ｂ…比較部、２１Ａ，２１Ｂ…ネットワークインターフェイス、２３Ａ，２３Ｂ…制御部、２７…リモコン、２９Ａ，２９Ｂ…リモコン受信部、ＣＵ…カメラユニット、ＭＵ…マイクユニット、Ｎ…ネットワーク、ＴＡ，ＴＢ…端末機器、ＶＰ１〜ＶＰ４…テレビ電話システム。

Claims (5)

1. 所定のタイミングで入力された音声基準信号を含み且つエンコードされた音声信号を入力する第１の入力手段と、
   前記音声基準信号と同じタイミングで入力された映像基準信号を含む且つエンコードされた映像信号を入力する第２の入力手段と、
   前記第１の入力手段により入力された前記音声信号をデコードする第１のデコード手段と、
   前記第２の入力手段により入力された前記映像信号をデコードする第２のデコード手段と、
   前記第１のデコード手段でデコードされた前記音声信号に含まれる前記音声基準信号と、前記第２のデコード手段でデコードされた前記映像信号に含まれる前記映像基準信号との間の時間ずれ量を検出する時間ずれ検出手段と、
   前記時間ずれ検出手段での検出結果に基づいて、音声信号と映像信号とのうち相互の時間関係が早い方の信号を前記時間ずれ量分遅らせてそれぞれ出力するように制御する制御手段と、を備えることを特徴とするリップシンク制御装置。
2. 前記第１の入力手段は、前記音声基準信号を含む音声信号をエンコードする第１のエンコード手段を含み、
   前記第２の入力手段は、前記映像基準信号を含む映像信号をエンコードする第２のエンコード手段を含み、
   前記制御手段は、前記第１のエンコード手段と前記第２のエンコード手段とのうち前記相互の時間関係が早い方の信号をエンコードするエンコード手段に対し、上記時間ずれ量分の遅延を行うように指示を出すことを特徴とする請求項１に記載のリップシンク制御装置。
3. 前記制御手段は、前記第１のデコード手段と前記第２のデコード手段とのうち前記相互の時間関係が早い方の信号をデコードするデコード手段に対し、上記時間ずれ量分の遅延を行うように指示を出すことを特徴とする請求項１に記載のリップシンク制御装置。
4. 前記制御手段は、エンコードされた音声信号とエンコードされた映像信号とのうち前記相互の時間関係が早い方の信号を遅延して出力することを特徴とする請求項１に記載のリップシンク制御装置。
5. 所定のタイミングで入力された音声基準信号を含み且つエンコードされた音声信号を入力する第１のステップと、
   前記音声基準信号と同じタイミングで入力された映像基準信号を含む且つエンコードされた映像信号を入力する第２のステップと、
   前記第１のステップで入力された前記音声信号をデコードする第３のステップと、
   前記第２のステップで入力された前記映像信号をデコードする第４のステップと、
   前記第３のステップでデコードされた音声信号に含まれる音声基準信号と、前記第４のステップでデコードされた映像信号に含まれる映像基準信号との間の時間ずれ量を検出する第５のステップと、
   前記第５のステップでの検出結果に基づいて、音声信号と映像信号とのうち相互の時間関係が早い方の信号を前記時間ずれ量分遅らせてそれぞれ出力するように制御する第６のステップと、を備えることを特徴とするリップシンク制御方法。
   

Images