JP2002290767A - 映像及び音声の時間合わせ装置及び時間合わせ方法 - Google Patents

Abstract

(57)【要約】 【課題】 映像信号処理系及び音声信号処理系で発生す
る処理時間の差に基くリップシンク乱れを自動的に修正
する。 【解決手段】 互いに所定の時間関係にある映像データ
および音声データが蓄積された基準ＭＰＥＧデータ１１
からの信号を映像デコーダ１５音声デコーダ１６でデコ
ードし、映像、音声別々の処理系で処理してアナログ信
号に変換し、変換されたアナログ映像信号及び音声信号
から、両信号の時間ズレを検出するとともに、処理系に
遅延処理手段２４，２５を配置し、外部放送信号を処理
する際に検出した時間ズレに基いて時間を修正するよう
にした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン信号
の映像信号と音声信号を互いに異なる経路で処理し伝送
することによって生じる、両信号間の時間的ズレを自動
的に修正して同期をとらせるいわゆるリップシンクシス
テムに関する。

【０００２】

【従来の技術】従来、デジタルテレビジョン放送では、
映像信号及び音声信号はＭＰＥＧ規格に基いて符号化さ
れて放送局から伝送され、受信側では、受信したテレビ
ジョン信号の映像信号と音声信号をそれぞれ別々にデコ
ードし、それぞれ異なる処理を行ってからアナログ信号
に変換してベースバンド信号として出力するように構成
されている。

【０００３】例えば、デコードされたデジタル映像信号
は、ＯＳＤ（On Screen Display）情報を付加するがグ
ラフィック処理、４８０ｉ（Interlace），４８０ｐ（P
rogressive）７２０ｐ，１０８０ｉ等のフォーマット変
換処理等が施されてから、アナログ信号に変換される。

【０００４】また、デジタル音声信号では、音声サラウ
ンド処理が施されてからアナログ信号に変換される。

【０００５】このように、デジタル映像信号とデジタル
音声信号は異なる処理過程を経て出力されるが、元々情
報量が大きいことも相俟ってデジタル映像信号の処理時
間が多く掛かり、デジタル音声信号に対して遅れてしま
うという現象が発生していた。

【０００６】このような時間ズレが発生すると、画面に
表示される人物の口の動きと出力される音声がずれてし
まって見苦しくなるため、従来、リップシンクシステム
によって映像と音声の同期を取るようにしていた。

【０００７】ＭＰＥＧ信号のリップシンクを行わせるた
めの提案として、例えば特開平７−１７７４７９号に示
すものが存在した。

【０００８】この公開公報に記載された発明は、タイム
スタンプを利用してデコード処理段階での映像、音声の
時間ズレを補正するものであり、デコード処理での時間
ズレを防止するという点ではそれなりに効果がある。

【０００９】しかしながら、デコードした後の映像信
号、音声信号個々の処理に起因する時間ズレに関して
は、何ら触れられていない。

【００１０】

【発明が解決しようとする課題】以上のように、従来の
リップシンク装置では、ＭＰＥＧ信号のデコード段階で
のズレを補正する記述がされているだけであり、デコー
ド後の処理に起因する時間ズレに関しては、その対策が
まったく取られていなかった。

【００１１】この発明は、映像信号及び音声信号を処理
する信号処理手段において、処理の段階で生成される時
間ズレ量を、当該処理手段に特別な信号を処理させるこ
とで予め検出しておき、放送信号を処理する際に、検出
したズレ量に基いて時間軸調整を施すことにより、リッ
プシンクの取れた出力信号を得られるようにした映像及
び音声の時間合わせ装置及び時間合わせ方法を提供する
ことを目的とする。

【００１２】

【課題を解決するための手段】本発明の映像及び音声の
時間合わせ装置は、互いに所定の時間関係を有する基準
映像信号及び音声信号を含む信号を出力可能な基準信号
源と、伝送された映像信号と音声信号を出力する伝送信
号源と、入力端に供給される映像信号と音声信号をそれ
ぞれ異なる信号経路で処理して出力する信号処理手段
と、前記基準信号源からの信号と、前記伝送信号源から
の信号を前記入力端に選択的に供給する切換え手段と、
前記基準信号源からの信号が前記入力端に供給される際
に、前記信号処理手段から出力される映像信号及び音声
信号の相互時間関係の、前記基準信号源での時間関係に
対するズレ量を検出する検出手段と、前記信号処理手段
に設けられ前記出力される映像信号と音声信号の相互時
間関係を調整する時間調整手段と、前記伝送信号得源か
らの映像信号及び音声信号を前記信号処理手段で処理し
て出力する際に、前記時間調整手段により前記検出手段
で検出された前記ズレ量に対応する時間軸補正を施して
出力するように制御する制御手段とを具備したことを特
徴とする。

【００１３】この発明によれば、相互時間関係が予め判
明している映像信号と音声信号を処理出力から、処理に
よる映像信号と音声信号の前記基準時間関係に対する時
間ズレを検出し、検出したズレ量分の時間を時間軸補正
手段で補正するものであるから、処理による信号の時間
ズレを自動的に補正することができるものである。

【００１４】また、本発明の映像及び音声の時間合わせ
装置は、互いに所定の時間関係を有する基準映像信号及
び音声信号を含む信号を出力可能な基準信号源と、伝送
された映像信号と音声信号を出力する伝送信号源と、入
力端に供給される映像信号と音声信号をそれぞれ異なる
信号経路で処理して出力する信号処理手段と、前記信号
処理手段から出力される映像信号及び音声信号をモニタ
ーするモニター手段と、 前記基準信号源からの信号が
前記入力端に供給される際に、前記モニター手段による
モニター出力から前記映像信号及び音声信号の相互時間
関係の、前記信号源での時間関係に対するズレ量を検出
する検出手段と、前記信号処理手段に設けられ前記出力
される映像信号と音声信号の相互時間関係を調整する時
間調整手段と、 前記伝送信号得源からの映像信号及び
音声信号を前記信号処理手段で処理して出力し、前記モ
ニター手段でモニターする際に、前記時間調整手段によ
り前記映像信号と音声信号に対して前記検出手段で検出
された前記ズレ量に対応する時間軸補正を施して出力す
るように制御する制御手段とを具備したことを特徴とす
る。

【００１５】本発明によれば、映像信号及び音声信号を
実際にモニターする装置のモニター出力から、映像信号
と音声信号のズレ量を検出して、時間軸を補正するよう
にしているので、実際に則した補正が可能である。

【００１６】また、本発明の映像及び音声の時間合わせ
装置は、所定のフォーマットで符号化されて伝送される
デジタル映像信号とデジタル音声信号を出力可能な伝送
信号源と、互いに所定の時間関係を有し、前記フォーマ
ットで符号化された基準デジタル映像信号及び音声信号
を含む信号を出力可能な基準信号源と、前記伝送信号源
からの信号と、前記基準信号源からの信号を選択的に切
換えて入力端に出力する切換え手段と、前記入力端に供
給された前記符号化されたデジタル映像信をデコードす
る映像デコード手段と、前記入力端に供給された前記符
号化されたデジタル音声信号をデコードする音声デコー
ド手段と、前記デコードされたデジタル映像信号を処理
するデジタル映像処理手段と、前記デコードされたデジ
タル音声信号を処理するデジタル音声処理手段と、前記
デジタル映像処理手段の出力をアナログ信号に変換して
映像出力端に出力する映像出力手段と、前記デジタル音
声処理手段の出力をアナログ信号に変換して音声出力端
に出力する音声出力手段と、 前記映像出力手段及び音
声出力手段から出力される映像信号及び音声信号をモニ
ターするモニター手段と、前記基準信号源からの信号が
前記入力端に供給される際に、前記モニター手段による
モニター出力から前記映像信号及び音声信号の相互時間
関係の、前記信号源での時間関係に対するズレ量を検出
する検出手段と、 前記音声信号の処理経路に設けられ
入力信号を遅延して出力する遅延手段と、前記伝送信号
源からの信号を前記入力端に供給する際に、前記信号遅
延手段により前記検出手段によって検出された前記ズレ
量に相当する時間、信号を遅延させる制御手段とを具備
したことを特徴とする。

【００１７】本発明によれば、デジタル基準信号を処理
させることで、デジタル映像処理手段及びデジタル音声
信号処理手段での処理時間の差に基く時間ズレを検出し
て、ズレがなくなるように音声信号系を遅延させるよう
にしたものであり、デコード後の時間ズレを自動的に修
正できるものである。

【００１８】また、本発明の映像及び音声の時間合わせ
装置は、所定のフォーマットで符号化されて伝送される
デジタル映像信号とデジタル音声信号を出力可能な伝送
信号源と、互いに所定の時間関係を有し、前記フォーマ
ットで符号化された基準デジタル映像信号及び音声信号
を含む信号を出力可能な基準信号源と、前記伝送信号源
からの信号と、前記基準信号源からの信号を選択的に切
換えて入力端に出力する切換え手段と、前記入力端に供
給された前記符号化されたデジタル映像信をデコードす
る映像デコード手段と、前記入力端に供給された前記符
号化されたデジタル音声信号をデコードする音声デコー
ド手段と、前記デコードされたデジタル映像信号を処理
するデジタル映像処理手段と、前記デコードされたデジ
タル音声信号を処理するデジタル音声処理手段と、前記
デジタル映像処理手段の出力をアナログ信号に変換して
映像出力端に出力する映像出力手段と、前記デジタル音
声処理手段の出力をアナログ信号に変換して音声出力端
に出力する音声出力手段と、 前記映像出力手段及び音
声出力手段から出力される映像信号及び音声信号をモニ
ターするモニター手段と、前記基準信号源からの信号が
前記入力端に供給される際に、前記モニター手段による
モニター出力から前記映像信号及び音声信号の相互時間
関係の、前記信号源での時間関係に対するズレ量を検出
する検出手段と、 前記音声信号の処理経路に設けられ
入力信号を遅延して出力する遅延手段と、前記伝送信号
源からの信号を前記入力端に供給する際に、前記信号遅
延手段により前記検出手段によって検出された前記ズレ
量に相当する時間、信号を遅延させる制御手段とを具備
したことを特徴とする。

【００１９】本発明によれば、映像信号及び音声信号を
実際にモニターする装置のモニター出力から、映像信号
と音声信号のズレ量を検出して、時間軸を補正するよう
にしているので、実際に則した補正が可能である。

【００２０】また、本発明の映像及び音声の時間合わせ
方法は、映像信号と音声信号をそれぞれ異なる信号経路
で処理して出力する信号処理手段に、信号源から互いに
所定の時間関係を有する基準映像信号及び基準音声信号
を含む信号を供給し、前記信号処理手段による前記映像
信号及び音声信号の相互時間関係の、前記信号源での時
間関係に対するズレ量を検出する検出ステップと、前記
基準信号源に代えて、伝送される映像信号及び音声信号
を前記信号処理手段で処理して出力する際に、前記信号
処理手段に前記ズレ量に対応する時間軸補正を実施させ
て前記時間ズレを修正する修正ステップとを具備したこ
とを特徴とする。

【００２１】本発明によれば、検出ステップで、相互時
間関係が予め判明している映像信号と音声信号の処理出
力から、処理によって発生する映像信号と音声信号の前
記基準時間関係に対する時間ズレを検出し、修正ステッ
プで検出したズレ量分の時間を時間軸補正手段で補正す
るものであるから、処理による信号の時間ズレを自動的
に補正することができるものである。

【００２２】さらに本発明の映像及び音声の時間合わせ
方法は、入力されるデジタル映像信号及びデジタル音声
信号をそれぞれデコードし処理してアナログ信号に変換
して出力する処理手段に、信号源から互いに所定の時間
関係を有し符号化された基準デジタル映像信号及び基準
デジタル音声信号を供給し、処理されて出力された映像
信号と前記音声の相互時間関係の、前記処理手段の入力
側での時間関係に対するズレ量を検出する検出ステップ
と、伝送されたデジタル映像信号及びデジタル音声信号
を前記処理手段で処理する際に、前記検出ステップで検
出されたズレ量に基いて前記音声信号を遅延させ、出力
される映像信号及び音声信号の相互時間関係を前記検出
ステップにおいて前記処理手段に入力される前記基準デ
ジタル映像信号及び音声信号の相互時間関係と実質的に
等しい時間関係となるように修正する修正ステップとを
具備したことを特徴とする。

【００２３】本発明によれば、検出ステップで、相互時
間関係が予め判明している映像信号と音声信号の処理出
力から、処理によって発生する映像信号と音声信号の前
記基準時間関係に対する時間ズレを検出し、修正ステッ
プで検出したズレ量分の時間を時間軸補正手段で補正す
るものであるから、処理による信号の時間ズレを自動的
に補正することができるものである。

【００２４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。

【００２５】図１は、この発明の一実施の形態を示すブ
ロック図である。

【００２６】１１は、基準ＭＰＥＧ（Moving Picture E
xperts Group）データが蓄積された信号源であり、その
出力は、スイッチ手段１２の端子１２ａに導出される。
放送信号等の外部信号源としてのトランスポートストリ
ーム１３からの信号がスイッチ手段１２の端子１２ｂに
導出されている。スイッチ手段１２は、システム制御手
段１４からの制御信号によって切換えられる。

【００２７】スイッチ手段１２の端子１２ｃは、信号入
力端として機能し、映像ＭＰＥＧデコーダ１５と音声Ｍ
ＰＥＧデコーダ１６に接続されている。

【００２８】映像ＭＰＥＧデコーダ１５は、映像ＭＰＥ
Ｇデータをデコードし、Ｄ／Ａ（Digital/Analog）変換
手段１７に導出するとともに、グラフィック処理手段１
８に導出する。Ｄ／Ａ変換手段１７は、デコードされた
デジタル映像信号をアナログ信号に変換して記録映像出
力端子１９に導出する。記録映像出力端子１９はＶＴＲ
（Video Tape Recorder）等の記録機器用の映像出力端
子であり、具体的には通常のピンジャック構成のビデオ
出力端子とＳ端子を含む。

【００２９】グラフィック処理手段１８は、システム制
御手段１４の制御のもとにデコードされたデジタル映像
信号に対してＯＳＤ信号を付加する処理を行い、出力を
フォーマット変換手段２０に導出する。フォーマット変
換手段２０は、システム制御手段１４の制御のもとにデ
ジタル映像信号の解像度を変換する。すなわち、インタ
ーレースでライン数が４８０本の信号（４８０ｉ）、プ
ログレッシブ（ノンインターレース）でライン数が４８
０本の信号（４８０ｐ）、ライン数が７２０のプログレ
ッシブ信号（７２０ｐ）、ライン数が１０８０のインタ
ーレース信号（１０８０ｉ）等を選択的に出力する。フ
ォーマット変換手段２０の出力はＤ／Ａ変換手段２１で
アナログ信号に変換されて映像出力端子２２から出力さ
れる。映像出力端子２２は、テレビジョン受信機用に映
像信号を出力するもので、Ｄ端子、Ｓ端子と一般的なピ
ンジャック構成のビデオ出力端子を含む。

【００３０】音声ＭＰＥＧデコーダ１６でデコードされ
たデジタル音声信号は、音声サラウンド処理手段２３に
供給され、このサラウンド処理処理手段２３において制
御手段１４の制御のもとにサラウンド処理が施される。
サラウンド処理手段２３の出力は２つの音声遅延処理手
段２４，２５に供給される。音声遅延処理手段２４，２
５は本発明の重要な構成要素であり、ここで音声信号
が、映像信号処理系で発生する映像信号の遅れに対応し
た時間調整を受ける。

【００３１】音声遅延処理手段２４は、テレビジョン受
信機用の音声信号を遅延させるもので、その出力はＤ／
Ａ変換手段２６に供給され、ここでデジタル音声信号が
アナログ信号に変換されて、音声出力端子２７を介して
出力される。音声出力端子２７は、テレビジョン受信機
用に音声信号を出力するもので、一般的なピンジャック
構成の音声出力端子を含む。また、音声遅延処理手段２
５は、記録機器用の音声信号を遅延させるもので、その
出力はＤ／Ａ変換手段２８に供給され、ここでデジタル
音声信号がアナログ信号に変換されて、記録音声出力端
子２９を介して出力される。記録音声出力端子２９は、
ＶＴＲ等の記録機器用に音声信号を出力する端子であ
り、一般的なピンジャック構成の音声出力端子を含む。

【００３２】出力端子１９から出力される記録機器用映
像信号１９ｓ、出力端子２２から出力されるテレビジョ
ン受信機用映像信号２２ｓ、出力端子２７から出力され
るテレビジョン受信機用音声信号２７ｓ、出力端子２９
から出力される記録機器用音声信号２９ｓは、基準映像
音声ズレ量検出手段３０に出力され、時間ズレ量が検出
される。

【００３３】このとき、音声信号はテレビジョン受信機
用信号及び記録機器用信号の両方が、音声遅延処理手段
２４，２５を除けば実質的に同じ処理経路で処理されて
出力されるために両信号に時間ズレは発生しない。しか
しながら、映像データは、グラフィック処理手段１８、
フォーマット変換手段２０、Ｄ／Ａ変換手段２１の各処
理段を介して映像出力端子２２からテレビジョン受信機
用に出力される経路と、そのままＤ／Ａ変換手段１７を
介して記録用に記録映像出力端子１９から出力される経
路に分けられるため、テレビジョン受信機用の出力は、
記録用の出力に比べて、グラフィック処理、フォーマッ
ト変換処理が実行される分遅れる。

【００３４】したがって、映像出力端子２２からの映像
信号２２ｓと音声出力端子２７からの音声信号２７ｓと
を対にし、また、記録映像端子１９から出力される映像
信号１９ｓと記録音声出力端子２９から出力される音声
信号２９ｓとを対にしてそれぞれ時間ズレが検出され
る。

【００３５】基準ＥＰＥＧデータ１１は、映像データ及
び音声データを、基準映像音声ズレ量検出手段３０で映
像及び音声両信号のズレ量を検出可能な形態で蓄積して
いる。すなわち、例えば、映像信号としては、所定周期
で、画面上で黒となる信号と白となる信号が、交互に発
生するように構成され、音声信号は映像信号の黒白の切
換えに同期して無信号と有信号（最小レベルと最大レベ
ル）で変化する信号となるように構成することが可能で
ある。

【００３６】それにより、映像信号１９ｓと音声信号２
９ｓ及び映像信号２２ｓと音声信号２７ｓ、のそれぞれ
の振幅変化を検出して、両変化点間の時間を測定すれ
ば、それがデコード及び信号処理によって受ける時間ズ
レ量となる。

【００３７】すなわち、基準ＭＰＥＧデータ１１に蓄積
された映像信号と音声信号との間に時間ズレが全く存在
しないため、基準映像音声ズレ量検出手段３０で検出さ
れた時間ズレ量が、デコード段及び信号処理段で発生す
る時間ズレとなる。

【００３８】この時間ズレ量を、トランスポートストリ
ーム１３からの信号を受けて処理し、出力する際に、音
声遅延処理手段２４，２５に供給して音声信号をズレ量
分遅延させれば、映像信号と音声信号の時間ズレが解消
し、いわゆるリップシンクが達成されることになる。基
準映像音声ズレ量検出手段３０の一連の動作は、システ
ム制御手段１４によって制御される。

【００３９】図２は、基準映像音声ズレ量検出手段３０
の一例を示すブロック図である。

【００４０】入力端子３１ａ，３１ｂ，３１ｃ，３１ｄ
には、それぞれ、図１に示す信号１９ｓ，２２ｓ，２９
ｓ，２７ｓが供給される。入力端子３１ａはスイッチ手
段３２の端子３２ａに接続され、入力端子３１ｂはスイ
ッチ手段３２の端子３２ｂに接続されている。また、入
力端子３１ｃはスイッチ手段３３の端子３３ａに接続さ
れ、入力端子３１ｄはスイッチ手段３３の端子３３ｂに
接続されている。スイッチ手段３２，３３は連動して、
時間ズレ量を測定する信号の対を切換え選択し、スイッ
チ手段３２が選択した映像信号を映像振幅検波回路３４
に導出し、スイッチ手段３３が選択した音声信号を音声
振幅検波回路３５に導出する。

【００４１】映像振幅検波回路３４は、映像信号の振幅
を検波し、波形整形回路３６に導出し、波形整形回路３
６は、映像信号の黒レベルから白レベルへの変化点、及
び白レベルから黒レベルへの変化点にそれぞれ対応して
立上がるパルス信号を生成して出力する。

【００４２】同様に音声振幅検波回路３５は、音声信号
の振幅を検波して波形整形回路３７に導出し、波形整形
回路３６は、音声信号の無信号から有信号へのレベル変
化点及び有信号から無信号へのレベルの変化点に対応し
て立上がるパルス信号を生成して出力する。

【００４３】波形整形回路３６，３７の出力は、それぞ
れラッチ手段３８，３９にラッチパルスとして供給さ
れ、ラッチ手段３８，３９は、ラッチパルスの入力タイ
ミングでカウンタ４０のカウント値をラッチする。カウ
ンタ４０は、所定周波数のクロックＣＫをカウントす
る。ラッチ手段３８でラッチされた値は、映像信号のタ
イミング情報であり、ラッチ手段３９でラッチされた値
は、音声信号のタイミング情報である。両ラッチ値は、
演算処理手段４１に供給され、ここで制御手段４２の制
御のもとに映像信号１９ｓ（あるいは２２ｓ）と音声信
号２８ｓ（あるいは２７ｓ）の時間差、すなわち、時間
ズレ量が求められ、それがメモリ４３に記憶される。メ
モリ４３に記憶された時間ズレ量は、制御手段４２の制
御のもとに読み出され、出力端子４４から出力される。
制御手段４２は、入力端子４５を介して供給されるシス
テム制御手段１４からの制御信号に基いて、演算処理手
段４１を制御する他、メモリ４３の制御を行い、さらに
スイッチ手段３２，３３の制御を行う。

【００４４】以上のように構成されたこの発明の実施の
形態について、その動作を説明する。

【００４５】この発明の装置は、２つのステップで動作
する。すなわち所定の基準信号をデコードし処理するこ
とで入力から出力までの過程で発生する時間ズレ量を検
出するステップと、放送信号を受信して処理する通常動
作時に、検出された時間ズレ量に基いて信号の伝送時間
を修正してリップシンクを達成する修正ステップの２つ
である。

【００４６】検出ステップにおいては、システム制御手
段１４によつて、スイッチ手段１２は、端子１２ａ側に
切換えられ、基準ＭＰＥＧデータ１１からの信号が供給
される。また、音声遅延処理手段２４，２５は、それぞ
れシステム制御手段１４によってリセットされ、遅延量
が例えばゼロに設定される。すなわち、入力信号をその
ままスルーして出力するように設定される。

【００４７】基準ＭＰＥＧデータ１１から、スイッチ手
段１２を介して供給されたＭＰＥＧデータのうち、映像
データが映像ＭＰＥＧデコーダ１５によってデコードさ
れる。

【００４８】デコードされた映像データは、グラフィッ
ク処理手段１８、フォーマット変換手段２０、Ｄ／Ａ変
換手段２１の各処理段を介して映像出力端子２２からテ
レビジョン受信機用に出力される経路と、そのままＤ／
Ａ変換手段１７を介して記録用に記録映像出力端子１９
から出力される経路に分けられ。

【００４９】また、デコードされた音声データは、音声
サラウンド処理手段２３、音声遅延処理手段２４、Ｄ／
Ａ変換手段２６の各処理段を介して音声出力端子２７か
らテレビジョン受信機用に出力される経路と、音声サラ
ウンド処理手段２３、音声遅延処理手段２５、Ｄ／Ａ変
換手段２８の各処理段を介して記録用音声出力端子２９
から記録機器用に出力される経路とに分けられる。

【００５０】出力端子１９から出力される記録機器用映
像信号１９ｓ、出力端子２２から出力されるテレビジョ
ン受信機用映像信号２２ｓ、出力端子２７から出力され
るテレビジョン受信機用音声信号２７ｓ、出力端子２８
から出力される記録機器用音声信号２８ｓは、基準映像
音声ズレ量検出手段３０に出力され、時間ズレ量が検出
される。

【００５１】基準映像音声ズレ量検出手段３０では、シ
ステム制御手段１４からの制御信号によって、制御手段
４２が、まず、スイッチ手段３２，３３をテレビジョン
受信機用映像信号２２ｓ，及び音声信号２７ｓを選択す
るように切換える。それによって、両信号２２ｓ，２７
ｓの振幅変化が振幅検波回路３４，３５で検出され、波
形整形回路３６，３７でパルス信号に変換されてラッチ
パルスとしてラッチ手段３８，２９に供給され、ラッチ
された値に基いて、テレビジョン受信機用の両信号２２
ｓ，２７ｓの時間差が演算処理手段４１で算出されるこ
とで時間ズレ量が求められ、その時間ズレ量が遅延量デ
ータとしてメモリ４３に記憶される。

【００５２】次に、制御手段４２は、スイッチ手段３
２，３３を、記録機器用の映像信号１９ｓ，音声信号２
９ｓを選択するように切換えられる。それによって両信
号１９ｓ，２９ｓの振幅変化が振幅検波回路３４，３５
で検出され、波形整形回路３６，３７でパルス信号に変
換されてラッチパルスとしてラッチ手段３８，２９に供
給され、ラッチされた値に基いて、記録機器用の両信号
１９ｓ，２９ｓの時間差が演算処理手段４１で算出され
ることで時間ズレ量が求められ、その時間ズレ量が遅延
量データとしてメモリ４３に記憶される。

【００５３】以上によって、検出ステップ動作が完了
し、次に修正ステップ動作に移る。

【００５４】修正ステップでは、システム制御手段１４
は、スイッチ手段１２を制御して、トランスポートスト
リーム１３からの信号を受けるように切換える。さら
に、システム制御手段１４は、基準映像音声ズレ量検出
手段３０の制御手段４２を介して、テレビジョン受信機
用出力信号の時間ズレ量に対応する遅延量データをメモ
リ４３から読み出して、端子４４を介して音声遅延処理
手段２４に供給し、その遅延量を設定する。

【００５５】次に、システム制御手段１４は、同様に制
御手段４２を介して、記録機器用の出力信号の時間ズレ
量に対応する遅延量データをメモリ４３から読み出し
て、端子４４を介して音声遅延処理手段２５に供給し、
その遅延量を設定する。

【００５６】それによって、映像信号処理系での遅れ時
間が、音声信号に付与されることになり、リップシンク
が達成される。

【００５７】以上説明した本発明の実施の形態の動作を
図３及び図４のフローチャートを用いてさらに説明す
る。

【００５８】図３は、検出ステップのフローチャートで
ある。

【００５９】ステップ３Ａで開始されると、まず、ステ
ップ３Ｂで２つの音声遅延手段が初期状態にリセットさ
れ、設定されている遅延量がゼロに変更される。次に、
ステップ３Ｃで入力信号が基準信号源（基準ＭＰＥＧデ
ータ）からの信号に切換えられ、次のステップ３Ｄで、
テレビジョン受信機用の出力信号の時間ズレ量が測定さ
れ、次のステップ３Ｅで測定された時間ズレ量に基く遅
延データがメモリに記憶される。さらに、次のステップ
３Ｆで記録機器用の出力信号の時間ズレ量が測定され、
次のステップ３Ｇで、測定された時間ズレ量に基く遅延
データがメモリに記憶され、終了（ステップ３Ｈ）とな
る。

【００６０】図４は、修正ステップのフローチャートで
ある。

【００６１】ステップ４Ａで開始されると、まず、ステ
ップ４Ｂで入力信号が外部入力に切換えられ、次のステ
ップ４Ｃでテレビジョン受信機用の音声信号の遅延デー
タをメモリ４３から読み出し、次のステップ４Ｄで音声
遅延処理手段２４に供給しその遅延量を設定する。次の
ステップ４Ｅで記録機器用の音声信号の遅延データをメ
モリ４３から読み出し、次のステップ４Ｆで音声遅延処
理手段２５に供給しその遅延量を設定し、終了（ステッ
プ４Ｇ）となる。

【００６２】以上説明した実施の形態では、映像信号及
び音声信号の出力端で、両信号の時間ズレを検出してい
るが、それら出力信号をテレビジョン受信機、記録機器
に供給して実際に利用する場合、ＡＶ（Audio Video）
アンプを介してテレビジョン受信機、記録機器に接続す
ることもあり、より末端で映像及び音声の時間ズレを検
出するのが好ましいこともある。

【００６３】図５は、そのような構成のＡＶシステムに
本発明を適用した実施の形態を示すブロック図である。

【００６４】図５において、図１と同じ部分には同じ符
号を付して詳細説明を省略する。

【００６５】各出力端子１９，２２，２７，２９から出
力信号は、ＡＶアンプ５１に供給され、ここで映像信号
に対して例えば画質調整が施され、音声信号に対しては
音量及び音質調整等の処理が施される。ＡＶアンプ５１
から記録機器用映像信号５１ｒｖと音声信号５１ｒａが
ＶＴＲ５２に供給され、テレビジョン受信機用の映像信
号５１ｔｖと音声信号５１ｔａがテレビモニター５３に
供給される。

【００６６】ＶＴＲ５２は一般的に、記録動作を実行す
る際に、記録信号をモニターするための出力端子を備え
ており、該出力端子から出力された映像モニター信号５
２ｖと音声モニター信号５２ａは、基準映像音声ズレ量
検出手段３０に供給される。

【００６７】テレビモニター５３は、映像信号を映出す
るための図示しない表示手段と音声信号を再生するため
の図示しないスピーカを備えており、表示手段に対向し
て画面の光度（明暗度）を検出するためのフォトセンサ
ー５４が設けられているとともに、スピーカに対向して
音声を電気信号に変換するためのマイクロホン５５が設
けられている。フォトセンサー５４で検出されたモニタ
ー画面の明暗度は、信号５４ｖとして基準映像音声ズレ
量検出手段３０に供給され、マイクロホン５５で検出さ
れたモニター音声は信号５５ａとして基準映像音声ズレ
量検出手段３０に供給される。

【００６８】そして、図１の実施の形態と同様に、基準
ＭＰＥＧデータ１１からデータを処理し、ＡＶアンプ５
１を介してＶＴＲ５２とテレビモニター５３に供給すれ
ば、ＶＴＲ５２及びテレビモニター５３のモニター出力
の時間ズレ量を検出し、対応する遅延量をメモリするこ
とができる。

【００６９】すなわち、ＶＴＲからはモニター出力とし
て、所定周期で、画面上で黒となる信号と白となる映像
信号５２ｖと、無信号と有信号（最小レベルと最大レベ
ル）で変化する音声信号信号５２ａが出力される。

【００７０】これら、信号５２ｖ，５２ａは、基準映像
音声ズレ量検出手段３０で、図１の実施の形態と同様に
その時間ズレ量が検出され、対応する遅延データがメモ
リ４３に記憶される。

【００７１】また、テレビモニター５３においても、そ
の画面が、基準映像データに応じて黒画面と白画面を繰
り返し、それがフォトセンサー５４で検出されること
で、ＶＴＲ５２のモニター出力５２ｖと同様の形態の映
像モニター信号５４ｖとして基準映像音声ズレ量検出手
段３０に供給され、またスピーカから無信号と有信号に
対応した音声が出力され、それがマイクロホン５５でピ
ックアップされ、こちらもＶＴＲのモニター出力５２ａ
と同様の形態の音声モニター信号５５ａとして基準映像
音声ズレ量検出手段３０に供給される。

【００７２】これら、信号５４ｖと５５ａは、基準映像
音声ズレ量検出手段３０で、図１の実施の形態と同様に
その時間ズレ量が検出され、対応する遅延データがメモ
リ４３に記憶される。

【００７３】そして、放送信号を視聴あるいは記録する
際には、入力をトランスポートストリーム１３に切換え
るとともに、遅延データをメモリ４３から読み出して、
音声遅延処理手段２４，２５に供給して、その遅延量を
設定することで、リップシンクの達成された信号の視聴
と記録が可能となるものである。

【００７４】以上述べた、本発明の映像及び音声の時間
合わせ装置によれば、所定の基準ＥＭＰＥＧデータを処
理させ、その出力信号から、処理過程における映像信号
と音声信号の時間ズレを検出し、検出した時間ズレに基
づいて時間が進んでいる信号をズレ時間分だけ、遅延さ
せて時間合わせを行うものであり、デコードした後の信
号処理に基く時間のズレを容易に修正して、リップシン
クを達成することができるものである。

【００７５】なお、以上説明した実施の形態では、基準
ＭＰＥＧデータ１１に蓄積されている映像及び音声信号
が時間ズレのない状態で蓄積されているものとしたが、
両信号が相互に一定の時間ズレを有した状態で蓄積され
ていても構わないものである。

【００７６】さらに、以上説明した実施の形態では、映
像信号の処理が音声信号の処理に比べて処理時間が長く
掛かるため、音声信号を遅延するようにしているが、逆
に音声信号が遅れるような処理系では、当然映像信号の
経路に遅延処理手段を配置する必要がある。

【００７７】また、以上説明した実施の形態では、ＭＰ
ＥＧ信号を処理するいわゆるデジタル衛星放送受信装置
（チューナあるいはセットトップボックス）及び、ＶＴ
Ｒとテレビモニターを組み込んだシステムに、本発明を
適用したものとして説明したが、本発明は、アナログ映
像信号と音声信号を別経路で伝送する伝送系を備えた装
置にも適用できるものである。

【００７８】

【発明の効果】以上説明したように、本発明によれば、
基準信号を処理系に処理させて、その出力から映像と音
声の時間ズレを検出し、処理系にその時間ずれを修正す
る修正手段を設けることで、映像と音声の時間合わせを
行うものであり、映像と音声の時間合わせを簡単に確実
に行うことができるものである。

【図面の簡単な説明】

【図１】本発明に係る映像及び音声の時間合わせ装置の
一実施の形態を示すブロック図。

【図２】図１に示す装置の要部の具体例を示すブロック
図。

【図３】図１に示す装置の動作を説明するためのフロー
チャート。

【図４】図１に示す装置の他の動作を説明するメタのフ
ローチャート。

【図５】本発明に係る装置の他の実施の形態を示すブロ
ック図。

【符号の説明】

１１…基準ＭＰＥＧデータ １３…トランスポートストリーム １４…システム制御装置 １５…映像ＭＰＥＧデコーダ １６…音声ＭＰＥＧデコーダ １７，２１，２６，２８…Ｄ／Ａ変換手段 １９…記録映像出力端子 ２０…フォーマット変換手段 ２２…映像出力端子 ２４，２５…音声遅延処理手段 ２７…音声出力端子 ２９…記録音声出力端子 ３０…基準映像音声ズレ量検出手段 ３４…Ｄ−ＶＴＲ ５１…ＡＶアンプ ５２…ＶＴＲ ５３…テレビモニター

Claims (9)

【特許請求の範囲】
1. 【請求項１】 互いに所定の時間関係を有する基準映像
   信号及び音声信号を含む信号を出力可能な基準信号源
   と、 伝送された映像信号と音声信号を出力する伝送信号源
   と、 入力端に供給される映像信号と音声信号をそれぞれ異な
   る信号経路で処理して出力する信号処理手段と、 前記基準信号源からの信号と、前記伝送信号源からの信
   号を前記入力端に選択的に供給する切換え手段と、 前記基準信号源からの信号が前記入力端に供給される際
   に、前記信号処理手段から出力される映像信号及び音声
   信号の相互時間関係の、前記基準信号源での時間関係に
   対するズレ量を検出する検出手段と、 前記信号処理手段に設けられ前記出力される映像信号と
   音声信号の相互時間関係を調整する時間調整手段と、 前記伝送信号得源からの映像信号及び音声信号を前記信
   号処理手段で処理して出力する際に、前記時間調整手段
   により前記検出手段で検出された前記ズレ量に対応する
   時間軸補正を施して出力するように制御する制御手段と
   を具備したことを特徴とする映像及び音声の時間合わせ
   装置。
2. 【請求項２】 互いに所定の時間関係を有する基準映像
   信号及び音声信号を含む信号を出力可能な基準信号源
   と、 伝送された映像信号と音声信号を出力する伝送信号源
   と、 入力端に供給される映像信号と音声信号をそれぞれ異な
   る信号経路で処理して出力する信号処理手段と、 前記信号処理手段から出力される映像信号及び音声信号
   をモニターするモニター手段と、 前記基準信号源からの信号が前記入力端に供給される際
   に、前記モニター手段によるモニター出力から前記映像
   信号及び音声信号の相互時間関係の、前記信号源での時
   間関係に対するズレ量を検出する検出手段と、 前記信号処理手段に設けられ前記出力される映像信号と
   音声信号の相互時間関係を調整する時間調整手段と、 前記伝送信号得源からの映像信号及び音声信号を前記信
   号処理手段で処理して出力し、前記モニター手段でモニ
   ターする際に、前記時間調整手段により前記映像信号と
   音声信号に対して前記検出手段で検出された前記ズレ量
   に対応する時間軸補正を施して出力するように制御する
   制御手段とを具備したことを特徴とする映像及び音声の
   時間合わせ装置。
3. 【請求項３】 所定のフォーマットで符号化されて伝送
   されるデジタル映像信号とデジタル音声信号を出力可能
   な伝送信号源と、 互いに所定の時間関係を有し、前記フォーマットで符号
   化された基準デジタル映像信号及び音声信号を含む信号
   を出力可能な基準信号源と、 前記伝送信号源からの信号と、前記基準信号源からの信
   号を選択的に切換えて入力端に出力する切換え手段と、 前記入力端に供給された前記符号化されたデジタル映像
   信をデコードする映像デコード手段と、 前記入力端に供給された前記符号化されたデジタル音声
   信号をデコードする音声デコード手段と、 前記デコードされたデジタル映像信号を処理するデジタ
   ル映像処理手段と、 前記デコードされたデジタル音声信号を処理するデジタ
   ル音声処理手段と、 前記デジタル映像処理手段の出力をアナログ信号に変換
   して映像出力端に出力する映像出力手段と、 前記デジタル音声処理手段の出力をアナログ信号に変換
   して音声出力端に出力する音声出力手段と、 前記基準信号源からの信号を前記入力端に供給した際
   に、前記映像出力端子に出力された映像信号と前記音声
   出力端子に出力された音声信号の時間関係の、前記基準
   信号源での時間関係に対するズレ量を検出するズレ検出
   手段と、 前記音声信号の処理経路に設けられ入力信号を遅延して
   出力する遅延手段と、 前記伝送信号源から信号を前記を前記入力端に供給する
   際に、前記信号遅延手段によって前記検出手段によって
   検出された前記ズレ量に相当する時間、信号を遅延させ
   る制御手段とを具備したことを特徴とする映像及び音声
   の時間合わせ装置。
4. 【請求項４】 所定のフォーマットで符号化されて伝送
   されるデジタル映像信号とデジタル音声信号を出力可能
   な伝送信号源と、 互いに所定の時間関係を有し、前記フォーマットで符号
   化された基準デジタル映像信号及び音声信号を含む信号
   を出力可能な基準信号源と、 前記伝送信号源からの信号と、前記基準信号源からの信
   号を選択的に切換えて入力端に出力する切換え手段と、 前記入力端に供給された前記符号化されたデジタル映像
   信をデコードする映像デコード手段と、 前記入力端に供給された前記符号化されたデジタル音声
   信号をデコードする音声デコード手段と、 前記デコードされたデジタル映像信号を処理するデジタ
   ル映像処理手段と、 前記デコードされたデジタル音声信号を処理するデジタ
   ル音声処理手段と、 前記デジタル映像処理手段の出力をアナログ信号に変換
   して映像出力端に出力する映像出力手段と、 前記デジタル音声処理手段の出力をアナログ信号に変換
   して音声出力端に出力する音声出力手段と、 前記映像出力手段及び音声出力手段から出力される映像
   信号及び音声信号をモニターするモニター手段と、 前記基準信号源からの信号が前記入力端に供給される際
   に、前記モニター手段によるモニター出力から前記映像
   信号及び音声信号の相互時間関係の、前記信号源での時
   間関係に対するズレ量を検出する検出手段と、 前記音声信号の処理経路に設けられ入力信号を遅延して
   出力する遅延手段と、 前記伝送信号源からの信号を前記入力端に供給する際
   に、前記信号遅延手段により前記検出手段によって検出
   された前記ズレ量に相当する時間、信号を遅延させる制
   御手段とを具備したことを特徴とする映像及び音声の時
   間合わせ装置。
5. 【請求項５】 前記モニター手段は、前記映像信号を表
   示する表示手段と前記音声信号を出力する音声出力手段
   でなり、前記ズレ検出手段は、前記表示手段の画面光を
   検出して電気信号に変換するフォトセンサーと、前記音
   声出力手段から出力される音声を電気信号に変換するマ
   イクロホンを含むことを特徴とする請求項２または４の
   いずれかに記載の映像及び音声の時間合わせ装置。
6. 【請求項６】 前記モニター手段は、前記映像信号及び
   音声信号を記録する記録機器であり、当該記録機器が記
   録映像信号及び音声信号をモニターするモニター出力端
   子を有し、前記ズレ検出手段は、当該モニター出力端子
   に出力される信号に基いて前記ズレを検出するものであ
   ることを特徴とする請求項２または４のいずれかに記載
   の映像及び音声の時間合わせ装置。
7. 【請求項７】 前記基準信号源のデジタル基準信号と前
   記伝送信号源のデジタルデジタル信号はＭＰＥＧ信号で
   あることを特徴とする請求項３または４のいずれかに記
   載の映像及び音声の時間合わせ装置。
8. 【請求項８】 映像信号と音声信号をそれぞれ異なる信
   号経路で処理して出力する信号処理手段に、信号源から
   互いに所定の時間関係を有する基準映像信号及び基準音
   声信号を含む信号を供給し、前記信号処理手段による前
   記映像信号及び音声信号の相互時間関係の、前記信号源
   での時間関係に対するズレ量を検出する検出ステップ
   と、 前記基準信号源に代えて、伝送される映像信号及び音声
   信号を前記信号処理手段で処理して出力する際に、前記
   信号処理手段に前記ズレ量に対応する時間軸補正を実施
   させて前記時間ズレを修正する修正ステップとを具備し
   たことを特徴とする映像及び音声の時間合わせ方法。
9. 【請求項９】 入力されるデジタル映像信号及びデジタ
   ル音声信号をそれぞれデコードし処理してアナログ信号
   に変換して出力する処理手段に、信号源から互いに所定
   の時間関係を有し符号化された基準デジタル映像信号及
   び基準デジタル音声信号を供給し、処理されて出力され
   た映像信号と前記音声の相互時間関係の、前記処理手段
   の入力側での時間関係に対するズレ量を検出する検出ス
   テップと、 伝送されたデジタル映像信号及びデジタル音声信号を前
   記処理手段で処理する際に、前記検出ステップで検出さ
   れたズレ量に基いて前記音声信号を遅延させ、出力され
   る映像信号及び音声信号の相互時間関係を前記検出ステ
   ップにおいて前記処理手段に入力される前記基準デジタ
   ル映像信号及び音声信号の相互時間関係と実質的に等し
   い時間関係となるように修正する修正ステップとを具備
   したことを特徴とする映像及び音声の時間合わせ方法。