JP2002185936A

JP2002185936A - 遅延時間補正機能付き伝送装置

Info

Publication number: JP2002185936A
Application number: JP2000376490A
Authority: JP
Inventors: Kazuyuki Ogawa; 一行小川; Hideki Watanabe; 秀樹渡辺
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-12-11
Filing date: 2000-12-11
Publication date: 2002-06-28

Abstract

(57)【要約】【課題】あらゆる通信網および通信手段を用いた伝送
装置にて、通信網における遅延量も考慮した正確なリッ
プシンクを実現する遅延時間補正機能付き伝送装置を提
供すること。【解決手段】本発明の遅延時間補正機能付き伝送装置
は、入力される映像・音声信号１０１にマーカーを付加
して外部の通信網１２５へ送信する送信部１００ａと、
外部の通信網１２５から返送される映像・音声信号１０
１を受信する受信部１００ｂと、返送される映像音声信
号１０１からマーカーを検出して、送信時と受信時のマ
ーカーの遅延量にもとづいて、映像・音声信号の送信タ
イミングを制御する映像・音声遅延量補正制御部１２１
とを備えるものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像・音声データ
の伝送装置に関し、特に通信網におけるリップシンクに
関する。

【０００２】

【従来の技術】従来、この種の伝送装置では、映像・音
声データの発生量や処理内容が異なり、さらには、それ
ぞれが非同期であるため、映像データと音声データの間
で内部における処理遅延が発生しているという問題があ
った。

【０００３】一般的には、映像データのほうが音声デー
タよりもデータ量が多く処理内容も大きいことから遅延
量が多くなるが、バッファなどの遅延回路およびそれを
制御する回路を追加することで、その遅延差分に相当す
る時間だけ音声データを遅延させリップシンクを行って
いた。

【０００４】また、符号化／復号化装置では、符号化装
置にてフレーム先頭識別フラグを挿入し、復号化装置に
てそれを検出し、復号化される音声データの有無から遅
延時間を算出し、補正を行い、リップシンクを行っても
いた。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の伝送装置においては、映像データと音声データが非
同期で伝送されるような通信網や、別々の伝送路にて伝
送されるような通信手段においても、映像・音声データ
の内部処理遅延量の差分しか考慮しておらず、これらの
通信網における遅延量の差分を考えていなかったため、
正確なリップシンクは行えなかった。

【０００６】さらには、映像データと音声データを符号
化／復号化して伝送する装置に限られてもいた。

【０００７】本発明は、上記従来の問題を解決するもの
で、あらゆる通信網および通信手段を用いた伝送装置に
て、通信網における遅延量も考慮した正確なリップシン
クを実現する遅延時間補正機能付き伝送装置を提供する
ものである。

【０００８】

【課題を解決するための手段】本発明の遅延時間補正機
能付き伝送装置は、入力される映像信号と音声信号にマ
ーカーを付加して外部の通信網へ送信する送信部と、前
記外部の通信網から返送される前記映像信号と音声信号
を受信する受信部と、前記返送される前記映像信号と音
声信号からマーカーを検出して、前記マーカーの送信時
に対する前記マーカーの受信時の遅延量にもとづいて、
前記映像信号と音声信号の送信タイミングを制御する映
像・音声遅延量補正制御部とを備えるものである。

【０００９】従って、本発明の遅延時間補正機能付き伝
送装置は、通信確立後、前記送信部にて一定期間、映像
・音声データにマーカーを付加し、そのデータが前記受
信部に送り返されることで前記送信部にてそのマーカー
を検出し、映像データと音声データの遅延量を同一にす
るよう前記送信部にて補正することで、あらゆる通信網
および通信手段を用いた伝送装置にて、通信網における
遅延量も考慮した正確なリップシンクを実現することが
できる。

【００１０】また、前記送信部は、前記入力される映像
信号と音声信号を選択する切替部と、前記映像信号と音
声信号をデジタル信号に変換するＡＤ変換器と、前記デ
ジタル信号にマーカーを付加するか否かを選択するマー
カー付加切替部と、前記デジタル信号を映像データおよ
び音声データに分割して書き込み、読み出しを行う送信
側映像・音声記憶部と、前記送信側映像・音声記憶部か
ら読み出される前記映像データおよび音声データを前記
外部の通信網に送信する回線送信部とを備え、前記入力
切替部が前記映像信号と音声信号を選択し、前記マーカ
ー付加切替部がマーカー付加を選択するとき、前記映像
データおよび音声データは前記マーカーが付加され、前
記回線送信部より前記外部の通信網に送信されるもので
ある。

【００１１】従って、本発明の遅延時間補正機能付き伝
送装置は、前記入力される映像信号と音声信号に的確に
前記マーカーを付加して前記外部の通信網へ送信でき、
あらゆる通信網および通信手段を用いた伝送装置にて、
通信網における遅延量も考慮した正確なリップシンクを
実現することができる。

【００１２】また、前記受信部は、前記外部の通信網か
ら送られてくる映像データおよび音声データを受信する
回線受信部と、前記映像データおよび音声データの書き
込み、読み出しを行う受信側映像・音声記憶部と、前記
受信側映像・音声記憶部から出力されるデジタル信号か
らマーカーを検出するか否かを選択するマーカー検出切
替部と、前記デジタル信号をアナログ信号に変換するＤ
Ａ変換器と、前記ＤＡ変換器から出力される映像データ
および音声信号データを切り替える出力切替部とを備
え、前記マーカー検出切替部が前記マーカーの検出を選
択するとき前記映像・音声遅延量補正制御部により前記
マーカーを検出し、前記マーカー検出切替部が前記マー
カーの検出を選択しないとき前記出力切替部より前記送
信部を介し前記映像データおよび音声データを返送する
ものである。

【００１３】従って、本発明の遅延時間補正機能付き伝
送装置は、前記返送される前記映像信号と音声信号から
的確にマーカーを検出するようにでき、あらゆる通信網
および通信手段を用いた伝送装置にて、通信網における
遅延量も考慮した正確なリップシンクを実現することが
できる。

【００１４】また、前記映像・音声遅延量補正制御部
は、前記入力される映像信号と音声信号にマーカーを付
加するマーカー付加部と、前記受信部に設けられる送信
側映像・音声記憶部から出力されるデジタル信号から前
記マーカーを検出するマーカー検出部と、前記マーカー
付加部および前記マーカー検出部から前記映像データお
よび音声データに付加されたマーカーをそれぞれ検出
し、前記映像データおよび音声データの遅延量をそれぞ
れ算出する映像・音声遅延量演算部と、前記送信部に設
けられる受信側映像・音声記憶部から前記映像データお
よび音声データを読出し送信を行うとき、前記遅延量に
より前記映像データおよび音声データの遅れているどち
らか一方の読み出しタイミングを制御する映像・音声遅
延量制御部と、前記マーカー付加部および前記マーカー
検出部から出力されるマーカー信号の有無により、受信
した前記映像データおよび音声データを前記受信部の出
力とするか、受信した前記映像データおよび音声データ
を前記送信部から返送するか制御する入出力切替制御部
とを備えるものである。

【００１５】従って、本発明の遅延時間補正機能付き伝
送装置は、前記映像信号と音声信号の送信タイミングを
的確に制御でき、あらゆる通信網および通信手段を用い
た伝送装置にて、通信網における遅延量も考慮した正確
なリップシンクを実現することができる。

【００１６】また、前記送信部の前記映像データに付加
する前記マーカーを、前記入力される映像信号の有効走
査期間内の所定位置に所定の信号レベルで重畳するもの
である。

【００１７】従って、本発明の遅延時間補正機能付き伝
送装置は、前記送信部の前記映像データに前記マーカー
を的確に付加でき、あらゆる通信網および通信手段を用
いた伝送装置にて、通信網における遅延量も考慮した正
確なリップシンクを実現することができる。

【００１８】さらに、前記送信部の前記音声データに付
加する前記マーカーは、前記入力される音声信号に前記
入力される映像信号の水平同期信号に同期して、所定の
周波数および所定の振幅で付加するものである。

【００１９】従って、本発明の遅延時間補正機能付き伝
送装置は、前記送信部の前記音声データに前記マーカー
を的確に付加でき、あらゆる通信網および通信手段を用
いた伝送装置にて、通信網における遅延量も考慮した正
確なリップシンクを実現することができる。

【００２０】

【発明の実施形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。

【００２１】図１は、本発明の実施の形態の遅延時間補
正機能付き伝送装置１００の構成図を示す。

【００２２】図１に示すように、遅延時間補正機能付き
伝送装置１００は、送信部１００ａと、受信部１００ｂ
と、映像・音声データにマーカーを付加し、送信時と受
信時のマーカーの遅延量にもとづいて、映像信号と音声
信号の送信タイミングを制御する映像・音声遅延量補正
制御部１２１とを備えている。

【００２３】また、送信部１００ａは、映像・音声入力
信号１０１の送信映像・音声データか、送り返す映像・
音声データかを選択する入力の切替部１０２と、映像・
音声データをディジタルデータに変換するＡＤ変換器１
０３と、遅延量を算出するためのマーカーを付加するか
否かを選択するマーカー付加の切替部１０４と、マーカ
ーが付加されている送信映像・音声データまたはマーカ
ーが付加されていない送信映像・音声データをそれぞれ
一時的に記憶する送信側の映像・音声記憶部１０６と、
映像・音声記憶部１０６の送信映像・音声データを符号
化する符号化処理部１０７と、符号化処理部１０７で符
号化される送信映像・音声データとその他のデータを多
重化する映像・音声多重化部１０８と、通信網とのイン
タフェースをとるための回線送受信部１０９とで構成さ
れている。

【００２４】また、受信部１００ｂは、受信した映像・
音声データとその他のデータを分離する映像・音声分離
部１１０と、受信映像・音声データを復号化する復号化
処理部１１１と、前記復号化した受信映像・音声データ
を一時的に記憶する受信側の映像・音声記憶部１１２
と、遅延量を算出するために付加された受信映像・音声
データのマーカーを検出するマーカー検出部１１３と、
マーカーの検出処理を行った受信映像・音声データか、
マーカーの検出処理を行っていない受信映像・音声デー
タかを選択するマーカー検出の切替部１１４と、受信映
像・音声データをアナログに変換するＤＡ変換器１１５
と、受信した映像・音声データを映像・音声出力信号１
２２として出力するか、送信部１００ａから送り返す送
信映像・音声データとするかを選択する切替部１１６と
で構成されている。

【００２５】さらに、映像・音声遅延量補正制御部１２
１は、遅延量を算出するために送信映像・音声データを
一部マスクしマーカーを付加するマーカー付加部１０５
と、映像・音声の遅延量を測定するためのマーカー付加
・検出処理を行うかの選択と、映像・音声データを送り
返すための選択をする切替制御部１１７と、マーカー付
加から検出までの時間を測定し、通信網における遅延も
考慮した映像・音声データ遅延量を演算する映像・音声
遅延量演算部１１８と、映像・音声データの遅延量から
どちらの信号がどのくらい遅延しているかの判定とその
遅延量の差分を演算する映像・音声遅延量比較器１１９
と、映像・音声記憶部１０６からの読出しを行うとき、
映像・音声遅延量の差分から映像あるいは音声どちらか
遅れているほうのデータのタイミングを制御する遅延制
御手段１２０とで構成されている。

【００２６】以上のように構成された遅延時間補正機能
付き伝送装置１００について、図１から図６を用いてそ
の動作を説明する。

【００２７】図１において、送信端末では、入力映像・
音声データに遅延量算出のためのマーカーを付加すると
き、通信開始時に切替制御部１１７によって、切替部１
０２、１０４、１１４、１１６を接点Ａに設定する。受
信端末では、入力する映像・音声データに遅延量算出の
ためのマーカーは付加しないため、通信開始時に切替制
御手段１１７によって、切替部１０２、１１４、１１６
を接点Ａに、切替部１０４を接点Ｂに設定する。

【００２８】切替部１０２の入力データの切り替えによ
って送信端末側の送信部１００ａでは、入力される映像
・音声データはＡＤ変換器１０３にてアナログからデジ
タルに変換される。

【００２９】図２は、入力される映像データ１０１ａの
一部をマスクし、マーカーＭを付加するイメージ図を示
す。

【００３０】図２に示すように、映像データ１０１ａ
は、送信映像・音声データを一部マスクしマーカーを付
加するマーカー付加部１０５（図１参照）にて、入力す
るデータの一部をマスキングし、符号化処理にて欠落し
ないよう映像データ１０１ａの有効画素領域Ｅに１００
ＩＲＥの輝度信号が付加され、映像マスキング領域ＭＳ
にマーカーＭが付加される。

【００３１】図３は、映像データのマスキングおよびマ
ーカー付加と検出のタイミングを示す。

【００３２】図３に示すように、マーカーＭは、映像マ
スキング期間内の１秒間３０フレームに付加される。

【００３３】図４は、音声データのマスキングおよびマ
ーカー付加と検出のタイミングを示す。

【００３４】図４に示すように、音声データも同様に音
声マスキング期間内の１秒間に１ｋＨｚの正弦波が映像
データの水平同期信号に同期して付加される。

【００３５】図５は、映像データと音声データのマスキ
ングおよびマーカー付加と検出のタイミングを示す。

【００３６】図５に示すように、映像データと音声デー
タのマーカーの付加タイミングは映像データのマーカー
付加終了後に音声データのマーカーが付加される。

【００３７】図１に示すように、マーカーが付加された
送信映像・音声データは送信映像・音声データを一時的
に記憶する映像・音声記憶部１０６にそれぞれ書き込ま
れ、映像・音声記憶部１０６内の送信映像・音声データ
を符号化する手段１０７にてマーカーを含んだ映像・音
声データが符号化処理される。続いて、前記符号化され
る送信映像・音声データとその他のデータが映像・音声
多重部１０８にて多重化され、回線送受信部１０９を通
り通信網１２５へ送信される。

【００３８】また、受信部１００ｂでは、回線送受信部
１０９にて、通信網１２５から映像・音声データおよび
その他のデータを受信し、受信した映像・音声データと
その他のデータを映像・音声分離部１１０にて分離す
る。その後、受信映像・音声データを復号化する復号化
処理部１１１にてマーカーが付加された送信映像・音声
データが復号化される。続いて、前記復号化した受信映
像・音声データを一時的に記憶する映像・音声記憶部１
１２にそれぞれ書き込まれる。

【００３９】次に、マーカーを検出するマーカー検出部
１１３にて図３、４に示すマーカー検出期間にマーカー
が出現した場合は、受信部１００ｂにてマーカーを付加
しているかどうかを切替制御手段１１７によって判断す
る。受信端末側の受信部１００ｂではマーカーを付加し
ていないので、切替部１０２、１１６を接点Ｂに切り替
える。これによって、受信部１００ｂでは、ＤＡ変換器
１１５で映像・音声データをデジタルからアナログに変
換した後、送信端末へ折り返し送信することとなる。

【００４０】マーカー検出部１１３にてマーカーが検出
されマーカー付加部１０５にてマーカーを付加している
場合は、映像・音声データ遅延量を演算する映像・音声
遅延量演算部１１８にてマーカー付加から検出までの時
間を測定し、処理装置１００の内部処理遅延と通信網１
２５の遅延量を含めた映像・音声遅延量が演算される。

【００４１】ここで得た映像データと音声データの遅延
量からどちらの信号がどのくらい遅れているかの遅延量
の差分および、映像・音声データの遅延時間関係を映像
・音声遅延量比較部１１９にて演算する。映像・音声遅
延量制御部１２０では、映像・音声データが映像・音声
記憶部１０６から読出されるとき、映像データと音声デ
ータの差分から映像データまたは音声データの進んでい
るデータの読出しタイミングを遅らすように設定し、映
像・音声記憶部１０６から読み出されるデータのタイミ
ングが一致するように遅延量を補正する。

【００４２】読み出しタイミング設定後は、切替制御手
段１１７によって、切替部１０４、１１４を接点Ｂに切
り替え、切替部１０２、１１６を接点Ａに切り替えるこ
とでマーカーの付加と検出をしない通常の映像・音声通
信を行う。

【００４３】図６は、切替部１０２、１０４、１１４、
１１６の接点Ｂに切り替えるときの切り替えタイミング
を示す。

【００４４】なお、映像・音声のマーカーやマーカーの
付加／検出期間は特に規定しないものとする。

【００４５】従って、本発明の遅延時間補正機能付き伝
送装置は、通信確立後、送信部１００ａにて一定期間、
映像・音声データにマーカーを付加し、そのデータが通
信網を通り、相手端末を経由して受信部１００ｂに送り
返されることで、映像・音声遅延量補正制御部にてその
マーカーを検出し、映像データと音声データの遅延量を
同一にするように補正することで、あらゆる通信網およ
び通信手段を用いた伝送装置にて、通信網における遅延
量も考慮した正確なリップシンクを実現することができ
る。

【００４６】

【発明の効果】以上、本発明によれば、映像・音声遅延
量補正制御部にてマーカーを検出し、映像データと音声
データの遅延量を同一にするように補正することで、通
信網における遅延量も考慮した正確なリップシンクを実
現する遅延時間補正機能付き伝送装置を提供できるもの
である。

【図面の簡単な説明】

【図１】本発明の実施の形態の遅延時間補正機能付き伝
送装置の構成図

【図２】入力される映像データの一部をマスクし、マー
カーを付加するイメージ図

【図３】映像データのマスキングおよびマーカー付加と
検出のタイミング図

【図４】音声データのマスキングおよびマーカー付加と
検出のタイミング図

【図５】映像データと音声データのマスキングおよびマ
ーカー付加と検出のタイミング図

【図６】入力の切替部を接点Ｂに切り替えるときの切り
替えタイミング図

【符号の説明】

１００遅延時間補正機能付き伝送装置１００ａ送信部１００ｂ受信部１０２入力の切替器１０３ＡＤ変換器１０４マーカー付加の切替部１０５マーカー付加部１０６送信側の映像・音声記憶部１０７符号化処理部１０８映像・音声多重部１０９回線送受信部１１０映像・音声分離部１１１復号化処理部１１２受信側の映像・音声記憶部１１３マーカー検出部１１４マーカー検出の切替部１１５ＤＡ変換器１１６出力の切替部１１７切替制御部１１８映像・音声遅延量演算部１１９映像・音声遅延量比較器１２０映像・音声遅延量制御部１２１映像・音声遅延量補正制御部１２２映像・音声出力信号

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C025 AA08 AA09 AA10 5C063 AA01 AB03 AB07 AC01 AC05 AC10 CA11 CA23 CA31 CA36 CA38 DA02 DA07 DA13 DB09 5K047 AA08 DD01 DD02 GG44 GG45 HH01 HH12 HH43 HH55 MM24 MM44 MM45

Claims

【特許請求の範囲】

【請求項１】入力される映像信号と音声信号にマーカ
ーを付加して外部の通信網へ送信する送信部と、前記外
部の通信網から返送される前記映像信号と音声信号を受
信する受信部と、前記返送される映像信号と音声信号か
らマーカーを検出して、前記マーカーの送信時に対する
前記マーカーの受信時の遅延量にもとづいて、前記映像
信号と音声信号の送信タイミングを制御する映像・音声
遅延量補正制御部とを備えることを特徴とする遅延時間
補正機能付き伝送装置。
【請求項２】前記送信部は、前記入力される映像信号
と音声信号を選択する切替部と、前記映像信号と音声信
号をデジタル信号に変換するＡＤ変換器と、前記デジタ
ル信号にマーカーを付加するか否かを選択するマーカー
付加切替部と、前記デジタル信号を映像データおよび音
声データに分割して書き込み、読み出しを行う送信側映
像・音声記憶部と、前記送信側映像・音声記憶部から読
み出される前記映像データおよび音声データを前記外部
の通信網に送信する回線送信部とを備え、前記入力切替
部が前記映像信号と音声信号を選択し、前記マーカー付
加切替部がマーカー付加を選択するとき、前記映像デー
タおよび音声データは前記マーカーが付加され、前記回
線送信部より前記外部の通信網に送信されることを特徴
とする請求項１記載の遅延時間補正機能付き伝送装置。
【請求項３】前記受信部は、前記外部の通信網から送
られてくる映像データおよび音声データを受信する回線
受信部と、前記映像データおよび音声データの書き込
み、読み出しを行う受信側映像・音声記憶部と、前記受
信側映像・音声記憶部から出力されるデジタル信号から
マーカーを検出するか否かを選択するマーカー検出切替
部と、前記デジタル信号をアナログ信号に変換するＤＡ
変換器と、前記ＤＡ変換器から出力される映像データお
よび音声信号データを切り替える出力切替部とを備え、
前記マーカー検出切替部が前記マーカーの検出を選択す
るとき前記映像・音声遅延量補正制御部により前記マー
カーを検出し、前記マーカー検出切替部が前記マーカー
の検出を選択しないとき前記出力切替部より前記送信部
を介し前記映像データおよび音声データを返送すること
を特徴とする請求項１記載の遅延時間補正機能付き伝送
装置。
【請求項４】前記映像・音声遅延量補正制御部は、前
記入力される映像信号と音声信号にマーカーを付加する
マーカー付加部と、前記受信部に設けられる送信側映像
・音声記憶部から出力されるデジタル信号から前記マー
カーを検出するマーカー検出部と、前記マーカー付加部
および前記マーカー検出部から前記映像データおよび音
声データに付加されたマーカーをそれぞれ検出し、前記
映像データおよび音声データの遅延量をそれぞれ算出す
る映像・音声遅延量演算部と、前記送信部に設けられる
受信側映像・音声記憶部から前記映像データおよび音声
データを読出し送信を行うとき、前記遅延量により前記
映像データおよび音声データの遅れているどちらか一方
の読み出しタイミングを制御する映像・音声遅延量制御
部と、前記マーカー付加部および前記マーカー検出部か
ら出力されるマーカー信号の有無により、受信した前記
映像データおよび音声データを前記受信部の出力とする
か、受信した前記映像データおよび音声データを前記送
信部から返送するか制御する入出力切替制御部とを備え
ることを特徴とする請求項１記載の遅延時間補正機能付
き伝送装置。
【請求項５】前記送信部の前記映像データに付加する
前記マーカーを、前記入力される映像信号の有効走査期
間内の所定位置に所定の信号レベルで重畳することを特
徴とする請求項１または２記載の遅延時間補正機能付き
伝送装置。
【請求項６】前記送信部の前記音声データに付加する
前記マーカーは、前記入力される音声信号に前記入力さ
れる映像信号の水平同期信号に同期して、所定の周波数
および所定の振幅で付加することを特徴とする請求項１
または２記載の遅延時間補正機能付き伝送装置。