JP2005184563A - デジタル信号処理装置および方法 - Google Patents

Abstract

【課題】 環境の相違によって生じる映像と音声とのズレの問題を解決することができるデジタル放送受信装置および方法を提供する。
【解決手段】 デジタルＡＶデコーダ１１は、ＴＳ信号をデコードし、映像信号と音声信号とを同期させて分離する。映像信号は、デジタル映像処理部１２を介してディスプレイ１４に出力される。ＡＡＣ音声信号は、デジタル音声出力する場合、遅延部１５を介して出力される。スピーカ２５から出力する場合、遅延部１７を介して出力される。ＣＰＵ１８の制御に基づき遅延部１７が音声信号を遅延することで、ディスプレイ１４に表示される映像とスピーカ２５から出力される音声とのズレを解消する。ＣＰＵ１８の制御に基づいて遅延部１５が音声信号を遅延することで、ディスプレイ１４に表示される映像とデジタル音声出力端子２０と接続された機器から出力される音声とのズレを解消する。
【選択図】 図１

Description

この発明は、デジタル信号処理装置および方法に関し、特に、映像信号と音声信号とを異なる経路で処理することにより生じる映像と音声とのズレを解消することのできるデジタル信号処理装置および方法に関する。

日本では、２０００年から衛星デジタル放送が開始されており、２００３年１２月からは、地上波においてもデジタル放送が開始された。高画質なデジタル放送が始まって以来、大画面に対する顧客要求が触発され、プラズマディスプレイ等の大型フラットディスプレイが一般消費者にも普及し始めつつある状況となっている。

このプラズマディスプレイ等のフラットディスプレイは、固定画素構造とされているため、従来のＣＲＴ（Cathode Ray Tube）ディスプレイと比較して、多数のデジタル映像処理デバイスが必要とされる。したがって、フラットディスプレイでは、これらデジタル映像処理により映像信号の遅延をもたらす。

一方、音声信号に関しては、サラウンド機能等の搭載により音声処理を幾つか行うものの映像信号ほどの大きな遅延は生じないため、映像信号と音声信号とのズレ、所謂リップシンクが発生してしまう。そこで、映像信号と音声信号とを同期させて分離するＡＶ（Audio Visual）デコーダの後段の音声信号処理系統に音声信号の遅延部を設けることでリップシンクを解決していた。

このようにディスプレイに表示される映像とスピーカから出力される音声とを音声信号を遅延することで同期させ、リップシンクによる不自然さを解消することができる。下記の特許文献１には、番組のジャンルについて設定された設定情報に基づいて、スピーカに供給する音声信号の遅延量や音量を調節するデジタル放送受信装置が記載されている。

特開２００１−２５７９６４号公報

ところで、近年、デジタル放送の普及に伴い高画質、高音質のコンテンツが手軽に楽しめる環境が整ってきている。ほとんどのデジタルテレビジョン受像機は、内蔵スピーカの他に音声出力用の光デジタル音声出力端子を有している。この光デジタル音声出力端子は、例えば、ＢＳデジタル放送、１１０度ＣＳデジタル放送、デジタル地上波放送等で採用されているＡＡＣ（Advanced Audio Coding）音声信号やアナログ地上波放送、ビデオ機器などからのアナログ音声をデジタル化したＰＣＭ（Pulse Code Modulation）音声信号などのデジタル符号化された音声信号の出力に用いられる。光デジタル音声出力端子をオーディオアンプに接続することで容易にホームシアターを構築することができる。

図８は、光デジタル音声出力機能を有するデジタルテレビジョン受像機におけるトランスポートストリーム（ＴＳ）信号の処理を行う主要ブロックの構成の一例である。このデジタルテレビジョン受像機では、デジタル音声信号としてＡＡＣ音声信号とＰＣＭ音声信号とを処理する。

デジタルＡＶデコーダ１０１は、図示しないフロントエンド部により受信され、復調・復号によって生成されたＴＳ信号から映像信号と音声信号とを同期させて分離する。

デジタルＡＶデコーダ１０１で分離された映像信号は、デジタル映像処理部１０２に送られる。デジタル映像処理部１０２は、符号化されている映像信号の復号処理、二画面表示用処理等の各種デジタル映像処理を行い、表示デバイスに適した映像信号を出力する。

デジタル映像処理部１０２から出力された映像信号は、Ｄ／Ａ変換器（ＤＡＣ）１０３に送られる。Ｄ／Ａ変換器１０３は、デジタル映像信号をアナログ映像信号に変換する。Ｄ／Ａ変換器１０３でアナログ信号に変換された映像信号は、ディスプレイ１０４に送られる。これにより、ディスプレイ１０４に映像が表示される。

デジタルＡＶデコーダ１０１で分離された音声信号は、遅延部１０５に送られる。遅延部１０５は、ディスプレイ１０４に表示される映像とスピーカ１０８から出力される音声とのリップシンクを無くす為に、音声信号に遅延を生じさせる。

遅延部１０５で遅延された音声信号は、デジタル音声処理部１０６に送られる。デジタル音声処理部１０６は、符号化されている音声信号の復号処理、サラウンド処理等の各種デジタル音声処理を行い、音声出力デバイスに適した音声信号を出力する。

デジタル音声処理部１０５から出力された音声信号は、Ｄ／Ａ変換器（ＤＡＣ）１０７に送られる。Ｄ／Ａ変換器１０７は、デジタル音声信号をアナログ音声信号に変換する。Ｄ／Ａ変換器１０７でアナログ信号に変換された音声信号は、スピーカ１０８に送られる。これにより、スピーカ１０８から音声が出力される。

光デジタル音声出力端子１１０は、ＡＡＣ音声信号またはＰＣＭ音声信号を外部に出力するための端子であり、セレクタ１０９によってどちらの音声信号を出力するかが選択される。セレクタ１０９は、ＴＳ信号中の音声信号がＡＡＣによる音声であるかＰＣＭによる音声であるかを判別して、ＡＡＣによる音声である場合には、遅延部１０５から出力される音声信号を復号せずにそのまま光デジタル音声出力端子１１０に出力する。ＰＣＭによる音声である場合には、音声信号をデジタル音声処理部１０６でＰＣＭ音声信号に変換して光デジタル音声出力端子１１０に出力する。

ここで、このデジタルテレビジョン受像機における映像および音声の遅延時間について考察してみる。光デジタル音声出力端子１１０に接続される主な機器としては、ＡＶアンプが想定される。光デジタル音声出力端子１１０に接続されるＡＶアンプで、ＡＡＣ音声信号、ＰＣＭ音声信号がアナログ音声信号に処理される時間は、以下の通りである。

ＡＡＣ音声信号（ＩＥＣ６１９３７）のデコード処理時間：最大２オーディオフレーム
（４２．６ｍｓ以内）
ＰＣＭ音声信号（ＩＥＣ６０９５８）の処理時間 ：数十μｓ

したがって、このデジタルテレビジョン受像機におけるデジタル映像処理にかかる遅延時間をＡとし、音声遅延時間をＢとし、光デジタル音声出力端子１１０に接続される図示しないＡＶアンプにおけるＡＡＣ音声信号のデコード処理時間をＣとした場合、外部ＡＶアンプを含むテレビジョンシステムのトータルでの遅延時間は、ほぼ以下の式で示される。但し、外部ＡＶアンプにおけるＰＣＭ音声信号の遅延時間は、上述したように数十μｓ程度なので無視する。また、音声遅延時間Ｂは、デジタル音声処理部１０６における処理を含むものであり、デジタル音声処理部１０６を介さない場合でもタイムスタンプによって固定されるように補正される。

ＡＡＣ音声時のリップシンク：Ａ−Ｂ−Ｃ
ＰＣＭ音声時のリップシンク：Ａ−Ｂ

よって仮にＡを８０ｍｓ、Ｂを４０ｍｓ、Ｃを４０ｍｓとすると、次のようになる。

ＡＡＣ音声時のリップシンク：８０−４０−４０＝ ０（ｍｓ）
ＰＣＭ音声時のリップシンク：８０−４０ ＝４０（ｍｓ）

この場合、ＡＡＣ音声信号ではリップシンクは存在しないが、ＰＣＭ音声信号は映像信号に対し４０ｍｓ進むことになる。

このように従来のデジタルテレビジョン受像機では、ディスプレイに表示される映像と内蔵スピーカから出力される音声とのリップシンクを解決してはいるが、ディスプレイに表示される映像と光デジタル音声出力端子から出力される音声とのリップシンクを解決しようとして、ＡＡＣ音声とＰＣＭ音声とで遅延部１０５における遅延時間をそれぞれ設定すると、内蔵するスピーカ１０８からの音声出力も遅延時間が変わってしまうため、実質遅延時間を変更することができないという問題点があった。

また、光デジタル音声出力の為の遅延時間を一つしか持っておらず、ＡＡＣ音声やＰＣＭ音声といった音声モードのいずれか一つに遅延時間を合わせると、他方の音声モードでのリップシンクが合わないという問題点を有していた。

また、外部接続されるＡＶアンプにおけるＡＡＣ音声信号の処理時間は、各社／各ＡＶアンプによって異なっている。この為、従来のデジタルテレビジョン受像機などにおけるデジタル信号処理では、光デジタル音声出力後までを考慮した最適なリップシンクの補正が困難であるという問題点を有していた。

ところで、デジタルテレビジョン受像機に接続した録画機器によって予約録画を実行するときは、デジタル映像処理デバイスを経由せずにアナログ映像信号がアナログ映像出力端子から出力されているため、音声信号に遅延を施してしまうと逆にリップシンクが生じてしまうという問題点があった。

したがって、この発明の目的は、環境の相違によって生じる映像と音声とのズレの問題を解決することができるデジタル放送受信装置および方法を提供することにある。

上記目的を達成するために、請求項１に係る発明は、デジタル符号化された映像信号とデジタル符号化された音声信号とを同期させて処理するデジタル信号処理装置において、映像信号に映像処理を施す映像処理手段と、映像処理が施された映像信号を表示装置に出力する映像出力手段と、音声信号に音声処理を施す音声処理手段と、音声処理が施された音声信号を遅延する第１の遅延手段と、第１の遅延手段で遅延された音声信号を音声出力装置に出力する音声出力手段と、音声信号を遅延する第２の遅延手段と、第２の遅延手段で遅延された音声信号が出力されるデジタル音声出力端子とを有し、第１の遅延手段による音声信号の遅延によって、表示装置から出力される映像と音声出力装置から出力される音声とのズレを解消し、第２の遅延手段による音声信号の遅延によって、表示装置から出力される映像とデジタル音声出力端子と接続された機器から出力される音声とのズレを解消することを特徴とするデジタル信号処理装置である。

請求項８に係る発明は、デジタル符号化された映像信号とデジタル符号化された音声信号とを同期させて処理するデジタル信号処理方法において、映像信号に映像処理を施す映像処理ステップと、映像処理が施された映像信号を表示装置に出力する映像出力ステップと、音声信号に音声処理を施す音声処理ステップと、音声処理が施された音声信号を遅延する第１の遅延ステップと、第１の遅延ステップで遅延された音声信号を音声出力装置に出力する音声出力ステップと、音声信号を遅延する第２の遅延ステップと、第２の遅延ステップで遅延された音声信号が出力されるデジタル音声出力端子とを用い、第１の遅延ステップによる音声信号の遅延によって、表示装置から出力される映像と音声出力装置から出力される音声とのズレを解消し、第２の遅延ステップによる音声信号の遅延によって、表示装置から出力される映像とデジタル音声出力端子と接続された機器から出力される音声とのズレを解消することを特徴とするデジタル信号処理方法である。

この発明では、映像信号に映像処理を施して表示装置に出力し、音声信号に音声処理を施して音声出力装置に出力しても、音声処理が施された音声信号を第１の遅延手段で遅延させることで表示装置から出力される映像と音声出力装置から出力される音声とのズレを解消できる。また、音声信号を第２の遅延手段で遅延してデジタル音声出力端子に出力することで、表示装置から出力される映像とデジタル音声出力端子に接続された機器から出力される音声とのズレを解消できる。

したがって、この発明のデジタル信号処理装置および方法によれば、環境の相違によって生じる映像と音声とのズレの問題を解決することができる。これにより、リップシンクがなくなり、ユーザが違和感なく映像・音声を楽しむことができるという効果を奏する。デジタル音声出力端子に接続される機器の最適な遅延量を外部接続される機器側で設定しなくてもリップシンクを解消できる為、様々な外部接続機器、例えばＡＶアンプを適応できるという効果を奏する。

以下、この発明の実施の形態について図面を参照して説明する。図１は、この発明の一実施形態におけるデジタル音声出力機能を有するデジタルテレビジョン受像機におけるＴＳ信号の処理を行う主要ブロックの構成の一例である。なお、このデジタルテレビジョン受像機で処理されるＴＳ信号は、ＭＰＥＧ−２（Moving Picture Experts Group−２）Systems（ＩＳＯ／ＩＥＣ１３８１８−１）で規定されるものである。このデジタルテレビジョン受像機では、デジタル音声信号としてＡＡＣ音声信号とＰＣＭ音声信号とを処理する。

デジタルＡＶデコーダ１１は、図示しないフロントエンド部により受信され、復調・復号によって生成されたデジタル放送のＴＳ信号をデコードする。このデコードによって、ＴＳ信号から映像信号と音声信号とが分離される。分離された映像信号と音声信号は、バッファとタイムスタンプを利用して同期されて出力される。すなわち、このテレビジョン受像機は、デジタル符号化された映像信号とデジタル符号化された音声信号とを同期させてから以下の処理を行っている。

デジタルＡＶデコーダ１１で音声信号と同期された映像信号は、デジタル映像処理部１２に送られる。デジタル映像処理部１２は、符号化されている映像信号の復号処理（映像デコード処理）、ＤＲＣ（Digital Reality Creation）機能などを利用した高画質コントロール処理、マルチ画面表示用処理等の各種デジタル映像処理を行い、表示デバイスに適した映像信号に変換して出力する。なお、デジタル映像信号以外のフォーマットの映像信号は、ＣＣＰ（Composite Component Processor）によってデジタルコンポーネント信号に変換された後、これら処理が行われる。

映像信号の復号処理は、ＭＰＥＧ−２ビデオストリームの復号を行う。ＤＲＣは、デジタルマッピング処理により、ＨＤ（High Definition）信号に比べてなだらかな波形をしている映像信号を、ＨＤ信号波形に近い高精細信号に作り換えるものである。例えば、ＤＲＣ機能による高画質コントロール処理では、ＤＲＣ高画質映像をＤＲＣ?ＭＦパレットと呼ばれる二軸マップ上できめ細かく画質をコントロールする。縦軸で映像細部の解像感や立体感を高めリアリティのある画つくり（くっきり）の調整を行うことができ、横軸で画像の質感を保ちながらノイズ類を抑制し、ザラツキの少ない画つくり（すっきり）の調整を行うことができる。

マルチ画面表示用処理は、１１２５ｉ、７５０ｐ、５２５ｐ、５２５ｉなどの異なった周波数の映像を２画面またはマルチ画面で再現するために施される。デジタル映像処理部１２におけるデジタル映像処理は、デジタル化された映像信号に対して行われる処理であり、これら処理に限ったものではない。

デジタル映像処理部１２から出力された映像信号は、Ｄ／Ａ変換器（ＤＡＣ）１３に送られる。Ｄ／Ａ変換器１３は、デジタル映像信号をディスプレイ１４用のアナログ映像信号に変換する。Ｄ／Ａ変換器１３でアナログ信号に変換された映像信号は、ディスプレイ１４に出力される。これにより、ＰＤＰ（Plasma Display Panel）、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）などの表示装置であるディスプレイ１４に映像が表示される。ディスプレイ１４がデジタルデバイスである場合には、Ｄ／Ａ変換器（ＤＡＣ）１３での処理は省略される。

ＣＰＵ１８は、デジタル符号化された音声信号の符号化の種類（音声モード）を判別する。このデジタルテレビジョン受像機では、ＣＰＵ１８によって、デジタルＡＶデコーダ１１でデコードされた音声信号がＡＡＣによる音声信号であるかＰＣＭによる音声信号であるかが判別される。ＣＰＵ１８は、デジタルＡＶデコーダ１１でＴＳ信号から得られた情報から音声モードを特定する。

ＭＰＥＧ−２Systemsで規定されるＴＳには、視聴者が番組選択するためのユーザインタフェースとしての情報を構築するためのデータを伝送するＳＩ（Service Information）という番組配列情報がある。ＳＩには、番組に関する情報を伝送するＥＩＴ（Event Information Table）が設けられている。ＣＰＵ１８は、例えば、デジタルＡＶデコーダ１１によってＴＳ信号から得られたこのＥＩＴの音声コンポーネント記述子の内容を参照することで、音声モードを判別することができる。音声コンポーネント記述子は、音声モードやサンプリング周波数、言語情報などの番組内の音声ストリームに関するパラメータである。

デジタルＡＶデコーダ１１で映像信号と同期された音声信号は、遅延部１５とデジタル音声処理部１６に送られる。遅延部１５は、入力された音声信号を遅延させて出力する。この遅延部１５による遅延量、すなわち遅延時間は、ＣＰＵ１８によって設定される。遅延部１５で遅延された音声信号は、セレクタ１９に送られる。

デジタル音声処理部１６は、入力された音声信号に対して、符号化されている音声信号の復号処理、サラウンド処理等の各種デジタル音声処理を行い、音声出力デバイスに適した音声信号に変換して出力する。

音声信号の復号処理は、入力された音声信号がＡＡＣによるものである場合には、ＡＡＣ音声の復号処理（音声デコード処理）を行い、ＰＣＭ音声によるものである場合には、ＰＣＭ信号の生成処理を行う。サラウンド処理は、例えば、ＤＳＰ（Digital Signal Processor）によるホール、ライブ、ジャズ、ロック、シアター等の音響効果処理を行う。デジタル音声処理部１６におけるデジタル音声処理は、デジタル化された音声信号に対して行われる処理であり、これら処理に限ったものではない。

デジタル音声処理部１６でデジタル音声処理が施された音声信号は、遅延部１７に送られる。遅延部１７は、入力された音声信号を遅延させて出力する。この遅延部１７による遅延量、すなわち遅延時間は、ＣＰＵ１８によって設定される。遅延部１７で遅延された音声信号は、セレクタ１９とＤ／Ａ変換器（ＤＡＣ）２１に送られる。

セレクタ１９は、デジタルＡＶデコーダ１１でデコードされた音声信号の音声モードに応じて出力するデジタル信号を例えば自動で選択する。音声信号がＡＡＣによるものである場合には、遅延部１５から入力される音声信号を出力する。音声信号がＰＣＭによるものである場合には、遅延部１７から入力される音声信号を出力する。セレクタ１９は、例えばＣＰＵ１８によって制御される。

セレクタ１９から出力された音声信号は、デジタル音声信号出力端子２０に出力される。デジタル音声信号出力端子２０は、デジタル音声信号をデジタルテレビジョン受像機の外部に供給する光デジタル音声出力端子などの外部端子である。

Ｄ／Ａ変換器２１は、デジタル音声信号をアナログ音声信号に変換する。Ｄ／Ａ変換器２１でアナログ信号に変換された音声信号は、アナログ音声信号出力端子２２とセレクタ２３に出力される。アナログ音声信号出力端子２２は、アナログ音声信号をテレビジョン受像機の外部に供給するビデオ音声出力端子などの外部端子である。

セレクタ２３には、Ｄ／Ａ変換器２１からの音声信号の他に、図示しないアナログ放送用チューナからのアナログ音声信号（アナログＲＦ信号）、アナログ音声入力端子からのアナログ音声信号（ビデオ入力信号）が供給される。セレクタ２３は、これら入力されるアナログ音声信号の中から選択して出力する。セレクタ２３は、例えばＣＰＵ１８によって制御される。例えば、ユーザがリモートコマンダなどにより、デジタル放送の音声をスピーカ２５から出力すると指示した場合には、ＣＰＵ１８は、Ｄ／Ａ変換器２１から供給されるアナログ音声信号を選択するようにセレクタ２３を制御する。ＣＰＵ１８は、ユーザのリモートコマンダからの指示などによって、デジタル音声信号の入出力先を制御する。

セレクタ２３から出力された音声信号は、遅延部２４に供給される。遅延部２４は、入力された音声信号を遅延させて出力する。この遅延部２４による遅延量、すなわち遅延時間は、ＣＰＵ１８によって設定される。遅延部２４で遅延された音声信号は、音声出力装置であるスピーカ２５に送られる。これにより、スピーカ２５から音声が出力される。

このデジタルテレビジョン受像機には、映像および音声を記録媒体に記録するＶＴＲ（Video Tape Recorder）等の録画装置を接続することができる。例えば、図示しないアナログ映像出力端子やデジタル映像出力端子などの映像出力端子に録画装置の対応する映像入力端子を接続し、アナログ音声出力端子やデジタル音声出力端子などの音声出力端子に録画装置の対応する音声入力端子を接続することで、デジタルテレビジョン受像機が処理する映像および音声を録画装置で録画可能である。また、デジタルテレビジョン受像機が有する図示しないＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４等のインタフェースにこれらインタフェースに対応した録画装置を接続することで映像および音声を録画することが可能である。

また、このデジタルテレビジョン受像機は、録画装置への予約録画の実行の検出が可能とされている。具体的には、このデジタルテレビジョン受像機が録画装置の予約録画を制御する機能を有することによって、録画装置への予約録画の実行の検出を可能とする。例えば、ＵＳＢやＩＥＥＥ１３９４等のインタフェースで録画装置と接続されている場合や録画装置一体型のテレビジョン受像機ならば、録画装置への予約録画中であることを検出することができる。また、ＡＶマウスなどを利用してテレビジョン受像機から録画装置の予約録画を行うことが可能とすることで、テレビジョン受像機が録画装置への予約録画中であることを検出することができる。ＡＶマウスは、外部機器のリモコン信号をそのままスルーで送信し、ＡＶマウスから外部機器へ再発信することで、リモコンをディスプレイに向けて、離れた機器の各種機能の操作を行うものである。

ＣＰＵ１８は、外部機器の接続環境や音声モード、予約録画状態か否かなどの環境の違いに応じて、デジタル音声処理部１６で音声処理が施された音声信号を遅延する第１の遅延手段である遅延部１７、デジタルＡＶデコーダ１１で同期された音声信号を遅延する第２の遅延手段である遅延部１７、およびスピーカ２５に出力される音声信号を遅延する第３の遅延手段である遅延部２４の遅延量、すなわち遅延時間をそれぞれ適切に設定する。

このデジタルテレビジョン受像機では、ＣＰＵ１８の制御に基づいて遅延部１７が音声信号を遅延することによって、ディスプレイ１４に表示される映像とスピーカ２５から出力される音声とのズレを解消している。また、ＣＰＵ１８の制御に基づいて遅延部１５が音声信号を遅延することによって、ディスプレイ１４に表示される映像とデジタル音声出力端子２０と接続された機器から出力される音声とのズレを解消している。

ここで、このデジタルテレビジョン受像機における映像・音声の遅延時間について説明する。このテレビジョン受像機におけるデジタル映像処理にかかる遅延時間、すなわちデジタル映像処理部１２での処理時間をＡとし、ＡＡＣによるデジタル音声出力用の遅延時間、すなわち遅延部１５での遅延時間をＢとし、ＰＣＭによるデジタル音声出力用およびアナログ音声出力用の遅延時間をＣとし、アナログＲＦ／ビデオ入力／ＰＣＭをアナログ変換した、セレクタ２３から入力される音声信号に対する遅延時間、すなわち遅延部２４での遅延時間をＤとする。

また、デジタル音声出力端子２０に接続されるＡＶアンプでＡＡＣ音声、ＰＣＭ音声がアナログ音声に処理される時間（遅延）は、それぞれ以下の通りであり、この図示しないＡＶアンプでのＡＡＣ音声デコード処理にかかる遅延時間をＥとする。なお、ＡＶアンプにおけるＰＣＭ音声の遅延時間は、数十μｓなので無視する。

ＡＡＣ音声信号（ＩＥＣ６１９３７）のデコード処理時間：最大２オーディオフレーム
（４２．６ｍｓ）
ＰＣＭ音声信号（ＩＥＣ６０９５８）の処理時間：数十μｓ

この場合、予約録画の実行のとき以外におけるディスプレイ１４に映し出される映像と、デジタル音声出力端子２０を介したＡＶアンプから出力される音声のリップシンク（遅延時間）および内蔵のスピーカ２５から出力される音声のリップシンク（遅延時間）は、ほぼ以下の式で示される。

ＡＡＣによるデジタル音声出力時のリップシンク：Ａ−Ｂ−Ｅ
ＰＣＭによるデジタル音声出力時のリップシンク：Ａ−Ｃ
内蔵スピーカのリップシンク ：Ａ−Ｃ−Ｄ
（ラインアウトやヘッドフォン等も含む）

上述した式における遅延時間ＡおよびＥは、デジタルテレビジョン受像機およびＡＶアンプ機器によってそれぞれ決まっているため、ＣＰＵ１８は、上述した式がそれぞれ「０」となるように遅延時間Ｂ、ＣおよびＤを設定することで、ディスプレイ１４の映像とスピーカ２５およびデジタル音声出力端子２０の接続先の音声とのリップシンクの問題を解決する。なお、遅延部２４による音声信号の遅延は、予約録画の実行のときにディスプレイ１４に表示される映像とスピーカ２５から出力される音声とのズレを解消するためのものである。

このデジタルテレビジョン受像機では、ＣＰＵ１８によって判定された音声モードに応じて遅延部１５および遅延部１７の音声信号の遅延量が自動的に設定される。下記の表１は、予約録画の実行のとき以外において、遅延時間Ａが８０ｍｓで遅延時間Ｅが４０ｍｓと固定されていた場合に、リップシンクＲ１をゼロとするための遅延時間Ｂ、ＣおよびＤの設定を示す。

ＣＰＵ１８によって音声モードがＡＡＣであると判定され、デジタル音声出力端子２０へＡＡＣによるデジタル音声信号を出力する場合には、遅延部１５の遅延時間を４０ｍｓに自動的に設定する。すなわち、遅延部１５の遅延時間がデジタル映像処理の処理時間（８０ｍｓ）からデジタル音声出力端子２０に接続される機器における音声処理（デコード）時間（４０ｍｓ）をマイナスした値（４０ｍｓ）に自動的に設定される。これにより、ディスプレイ１４から出力される映像とデジタル音声出力端子２０と接続された機器から出力される音声とのリップシンクが解消される。

ＣＰＵ１８によって音声モードがＰＣＭであると判定され、デジタル音声出力端子２０へＰＣＭによるデジタル音声信号を出力する場合には、遅延部１７の遅延時間を８０ｍｓに自動的に設定する。すなわち、遅延部１７の遅延時間がデジタル映像処理の処理時間（８０ｍｓ）からデジタル音声出力端子２０に接続される機器における音声処理時間（数十μｍ程度なので考慮しない）をマイナスした値（８０ｍｓ）に自動的に設定される。これにより、ディスプレイ１４から出力される映像とデジタル音声出力端子２０と接続された機器から出力される音声とのリップシンクが解消される。

内蔵のスピーカ２５へアナログ音声信号を出力する場合には、遅延部１７の遅延時間を８０ｍｓに自動的に設定する。すなわち、遅延部１７の遅延時間がデジタル映像処理の処理時間（８０ｍｓ）に自動的に設定される。これにより、ディスプレイ１４から出力される映像とスピーカ２５から出力される音声とのリップシンクが解消される。このとき、遅延部２４の遅延時間は、０ｍｓに設定される。なお、遅延部１７における遅延時間は、デジタル音声処理部１６による音声処理時間を含むものである。ＡＡＣによる音声信号とＰＣＭによる音声信号とでは、デジタル音声処理部１６における処理時間が異なるが、遅延部１７における遅延は、タイムスタンプを利用して固定した遅延時間Ｃに補正されて出力される。

図２は、音声モードに応じて遅延時間を設定するときのＣＰＵ１８の制御動作の一例である。ＣＰＵ１８は、まず、音声モードがＡＡＣによるものかＰＣＭによるものかを判定する（ステップＳ１）。ステップＳ１で音声モードがＡＡＣであると判定された場合には、ステップＳ２に進み、ＡＡＣ用の遅延時間を遅延部１５と遅延部１７に設定して遅延時間の設定処理を終了する。ステップＳ１で音声モードがＰＣＭであると判定された場合には、ステップＳ３に進み、ＰＣＭ用の遅延時間を遅延部１５と遅延部１７に設定して遅延時間の設定処理を終了する。

このデジタルテレビジョン受像機は、遅延部１５における音声信号の遅延量および遅延部１７における音声信号の遅延量をユーザが手動でそれぞれ調整できる調整機能を有している。デジタル音声出力端子２０に接続されるＡＶアンプでデジタル音声、特にＡＡＣ音声がアナログ音声に処理される時間（遅延）は、各社／各ＡＶアンプによって異なっている。そこで、この調整機能によって遅延部１５および遅延部１７の遅延量をユーザが調整することで、このデジタル音声出力端子２０に接続される外部機器の違いによるリップシンクを解決することができる。この調整機能は、例えばＯＳＤ（On-Screen Display）を利用することによって実現される。

図３は、ＯＳＤによるデジタル音声の遅延時間を設定するメニューの一例である。参照符号３１は、ＯＳＤの表示画面を示す。ユーザは、リモートコマンダなどの入力装置により、遅延時間を調整する項目をポインタ３２で選択し、レベルバー３３を増減することによって、遅延量、すなわち遅延時間を調整することができる。これらＯＳＤによる設定情報は、ＣＰＵ１８に送られて、遅延量が調整値に設定される。例えば、ＡＶアンプをデジタル音声出力端子２０に接続している場合にＡＡＣ音声を選択して調整したときには、遅延部１５の遅延量が調整値に設定され、ＰＣＭ音声を選択して調整したときには、遅延部１７の遅延量が調整値に設定される。なお、標準（出荷状態）を選択した場合には、遅延部１５および遅延部１７の遅延量は、初期値に設定される。

予約録画の実行のとき、図示しない映像出力端子から出力される映像信号は、遅延を生じさせるデジタル映像処理部１２を介さない、すなわちデジタル映像処理が施されないため、予約録画の実行のときにおける録画される映像と録画される音声とのリップシンク（遅延時間）は、ほぼ以下の式で示される。

ＡＡＣによるデジタル音声出力時のリップシンク：−Ｂ−Ｅ
ＰＣＭによるデジタル音声出力時のリップシンク：−Ｃ

したがって、上述した予約録画の実行のとき以外では、遅延部１７による音声信号の遅延によって、ディスプレイ１４から出力される映像とスピーカ２５から出力される音声とのズレを解消し、遅延部１５による音声信号の遅延によって、ディスプレイ１４から出力される映像とデジタル音声出力端子２０と接続された機器から出力される音声とのズレを解消したが、予約録画の実行のときは、これら音声信号の遅延を行わない、すなわち遅延量をゼロとすることで、予約録画の実行のときにおける録画される映像と録画される音声とのリップシンクの問題を解決する。なお、予約録画の実行のときに、ディスプレイ１４に表示される映像とスピーカ２５から出力される音声とのズレを防止するため、遅延部２４による音声信号の遅延量、すなわち遅延時間Ｄは、遅延時間Ａと同じに設定される。

したがって、映像信号を出力する図示しない映像出力端子とアナログ音声出力端子２２とに録画装置が接続されている場合において、予約録画の実行の検出機能により予約録画の実行を検出した場合には、遅延部１５および遅延部１７での音声信号の遅延を行わない。また、映像信号を出力する図示しない映像出力端子とデジタル音声出力端子２０とに録画装置が接続されている場合において、予約録画の実行の検出機能により予約録画の実行を検出した場合には、遅延部１５および遅延部１７での音声信号の遅延を行わない。これにより、デジタル音声出力端子２０およびアナログ音声出力端子２２から出力される音声信号には遅延が生じないように処理される。

下記の表２は、予約録画の実行のときにおいて、遅延時間Ａが８０ｍｓで遅延時間Ｅが４０ｍｓと固定されていた場合に、リップシンクＲ２をゼロとするための遅延時間Ｂ、ＣおよびＤの設定を示す。なお、遅延時間ＡおよびＤの（８０ｍｓ）は、予約録画の実行のときに、ディスプレイ１４に映像を表示し、スピーカ２５で音声を出力した場合の値である。録画装置に録画される映像に対しては、遅延時間Ａの（８０ｍｓ）は、加算されない。

表２からも判るように、予約録画の実行の場合、ＡＡＣ音声におけるデジタル音声出力に関しては、外部機器（例えばＡＶアンプ）でのＡＡＣデコード処理がある為、遅延部１５での遅延量をゼロとするとリップシンク（表２の例では、４０ｍｓ）が生じてしまう。これを解決する為に、以下の２つの方法が考えられる。
（１）ユーザにデジタル音声出力の設定について促す。
（２）デジタルテレビジョン受像機内で映像を遅延させる。

（２）の方法は、コストアップに繋がるため、ここでは（１）について説明する。図４〜図６は、ユーザにデジタル音声出力の設定について促す際のメニューを示す。

図４は、予約録画の実行の場合、出力する音声信号の種類を切り換えさせるときの画面の一例である。参照符号４１は、ＯＳＤの表示画面を示す。ユーザは、リモートコマンダなどの入力装置により、オン・オフを切り換える音声モードをポインタ４２で選択し、「ＯＮ」、「ＯＦＦ」項目４３を切り換えることによって、出力されるＡＡＣ音声をＰＣＭ音声／アナログ音声に切り換えることができる。これらＯＳＤによる設定情報は、ＣＰＵ１８に送られて、セレクタ１９およびセレクタ２３が設定情報に応じて切り換えられる。例えば、デジタル音声出力端子２０からＡＡＣ音声を出力していた場合に、ＯＳＤでＡＡＣ音声をオフとし、ＰＣＭ音声をオンとした場合には、デジタル音声出力端子２０からＡＡＣ音声が出力されるように、セレクタ１９が制御される。

図５は、予約録画の実行の場合に、出力する音声信号の遅延量を設定するときの画面の一例である。参照符号５１は、ＯＳＤの表示画面を示す。ユーザは、リモートコマンダなどの入力装置により、遅延時間を調整する項目をポインタ５２で選択し、レベルバー５３を増減することによって、遅延量、すなわち遅延時間を調整することができる。これらＯＳＤによる設定情報は、ＣＰＵ１８に送られて、遅延量が調整値に設定される。

これら音声信号の種類の設定および音声信号の遅延量の設定をユーザが行う機能をデジタルテレビジョン受像機に備えさせることで、予約録画の実行のときにおけるリップシンクを解消することができる。なお、図６に示すＯＳＤ表示画面６１のように、予約録画の実行のときに、デジタル音声出力端子２０からＡＡＣ音声信号を出力することで、外付けのＡＶアンプ等の機器によるＡＡＣデコード処理時間によって録画装置に録画される映像と音声とにズレが生じる場合には、映像と音声とがズレて録画される可能性があることを予めユーザに告知しても良い。

ここで、予約録画の実行であるか否かに応じた遅延時間の設定について説明する。図７は、予約録画の実行であるか否かに応じて遅延時間を設定するときのＣＰＵ１８の制御動作の一例である。ＣＰＵ１８は、まず、予約録画の実行であるか否かを判定する（ステップＳ４）。ステップＳ４で、予約録画の実行であると判定された場合、すなわち予約録画の実行の検出機能によって、予約録画の実行が検出された場合には、ステップＳ５に進み、遅延時間ＢおよびＣに「０」を設定し、遅延時間Ｄにリップシンクを解消する最適値を設定して遅延時間の設定処理を終了する。ステップＳ４で、予約録画の実行でないと判定された場合、すなわち予約録画の実行の検出機能によって、予約録画の実行が検出されていない場合には、ステップＳ６に進み、遅延時間Ｄに「０」を設定し、遅延時間ＢおよびＣにリップシンクを解消する最適値を設定して遅延時間の設定処理を終了する。

以上説明したように、この発明の一実施形態によるデジタルテレビジョン受像機によれば、ＣＰＵ１８の制御に基づいて遅延部１７が音声信号を遅延することによって、ディスプレイ１４に表示される映像とスピーカ２５から出力される音声とのズレを解消することができる。また、ＣＰＵ１８の制御に基づいて遅延部１５が音声信号を遅延することによって、ディスプレイ１４に表示される映像とデジタル音声出力端子２０と接続された機器から出力される音声とのズレを解消することができる。したがって、ＡＡＣ音声信号など、デジタル音声出力端子２０と接続されるＡＶアンプ等の外部機器においてデコード処理するときに遅延が生じる音声信号であっても、ディスプレイ１４に表示される映像とデジタル音声出力端子２０に接続される機器から出力される音声およびディスプレイ１４に表示される映像とスピーカ２５から出力される音声との両方でリップシンクを解決することができる。

ＣＰＵ１８がデジタルＡＶデコーダ１１においてＴＳ信号から得られた情報から音声モードを判定し、判定された音声モードに応じて遅延部１５および遅延部１７の音声信号の遅延量を最適な値に自動的に設定することで、音声モードが異なる場合においてもそれぞれについてリップシンクを解決することができる。また、ＣＰＵ１８が予約録画の実行を検出し、予約録画の実行の際には、遅延部１５および遅延部１７での音声信号の遅延を行わないように制御することで、録画される映像と音声とにとのリップシンクを解決することができる。

このように、リップシンクを解決することにより、ユーザは違和感なく映像・音声を楽しむことができる。

デジタル音声出力端子２０に接続される外部機器での音声信号の遅延を考慮して、遅延部１５および遅延部１７の遅延量の設定をすることができるため、様々な外部機器、例えばＡＶアンプを適応することができる。

この発明は、上述したこの発明の実施形態に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述した一実施形態では、テレビジョン受像機をデジタル信号処理装置としたが、これに限らず、デジタル信号処理装置は、デジタル放送用のチューナを備えたセットトップボックス、ＶＴＲ等の記録／再生装置や、ＤＶＤプレーヤ等のＭＰＥＧ−ＴＳを再生する再生装置、コンピュータ機器などであっても良い。なお、その場合、ディスプレイ１４およびスピーカ２５は、別体であっても良い。

また、デジタルテレビジョン受信機において、デジタル音声信号としてＡＡＣ音声信号とＰＣＭ音声信号とを例として説明したが、デジタル音声信号は、これらに限らず、ＡＣ−３や、ＷＡＶ、ＡＩＦＦ、ＭＰ３、ＷＭＡ、ＡＴＲＡＣ３、ＡＡＣ、ＴｗｉｎＶＱ、ＲｅａｌＡｕｄｉｏなど、他の形式のデジタル音声信号を適用しても良い。また、ＴＳ信号は、ＭＰＥＧ−２Systemsに準拠したものに限定されるものではない。

この発明の一実施形態によるデジタルテレビジョン受像機におけるＴＳ信号の処理を行う主要ブロックの構成の一例を示す略線図である。 音声モードに応じた遅延時間の設定動作の一例を示すフローチャートである。 ＯＳＤによる表示画面の一例を示す略線図である。 ＯＳＤによる表示画面の一例を示す略線図である。 ＯＳＤによる表示画面の一例を示す略線図である。 ＯＳＤによる表示画面の一例を示す略線図である。 予約録画実行の有無に応じた遅延時間の設定動作の一例を示すフローチャートである。 従来のデジタルテレビジョン受像機におけるＴＳ信号の処理を行う主要ブロックの構成の一例を示す略線図である。

符号の説明

１１・・・デジタルＡＶデコーダ、１２・・・デジタル映像処理部、１４・・・ディスプレイ、１５，１７，２４・・・遅延部、１６・・・デジタル音声処理部、２０・・・デジタル音声出力端子、１８・・・ＣＰＵ、２５・・・スピーカ

Claims (8)

1. デジタル符号化された映像信号とデジタル符号化された音声信号とを同期させて処理するデジタル信号処理装置において、
   映像信号に映像処理を施す映像処理手段と、
   上記映像処理が施された映像信号を表示装置に出力する映像出力手段と、
   音声信号に音声処理を施す音声処理手段と、
   上記音声処理が施された音声信号を遅延する第１の遅延手段と、
   上記第１の遅延手段で遅延された音声信号を音声出力装置に出力する音声出力手段と、
   上記音声信号を遅延する第２の遅延手段と、
   上記第２の遅延手段で遅延された音声信号が出力されるデジタル音声出力端子とを有し、
   上記第１の遅延手段による音声信号の遅延によって、上記表示装置から出力される映像と上記音声出力装置から出力される音声とのズレを解消し、
   上記第２の遅延手段による音声信号の遅延によって、上記表示装置から出力される映像と上記デジタル音声出力端子と接続された機器から出力される音声とのズレを解消することを特徴とするデジタル信号処理装置。
2. 請求項１において、
   さらに、上記音声信号の符号化の種類を判別する判別手段を有し、上記判別手段で判別された音声信号の符号化の種類に応じて上記第１の遅延手段による音声信号の遅延量および上記第２の遅延手段による音声信号の遅延量が自動的に設定されることを特徴とするデジタル信号処理装置。
3. 請求項１において、
   さらに、上記第１の遅延手段および上記第２の遅延手段による音声信号の遅延量を手動で調整可能な調整手段を有することを特徴とするデジタル信号処理装置。
4. 請求項３において、
   上記遅延量の調整は、ＯＳＤを利用することを特徴とするデジタル信号処理装置。
5. 請求項１において、
   さらに、接続されている録画機器の予約録画の実行の検出機能とを有しており、予約録画の実行のときには、上記映像信号に上記映像処理を施さず、上記第１の遅延手段および上記第２の遅延手段による音声信号の遅延を行わないことを特徴とするデジタル信号処理装置。
6. 請求項５において、
   さらに、上記録画機器に録画される映像と音声とにズレが生じるときには、映像と音声とがズレて録画される旨を予め告知する告知手段を有することを特徴とするデジタル信号処理装置。
7. 請求項１において、
   さらに、デジタル放送を受信する受信手段と、上記受信手段により得られた信号から上記デジタル符号化された映像信号と上記デジタル符号化された音声信号とを分離する分離手段とを有することを特徴とするデジタル信号処理装置。
8. デジタル符号化された映像信号とデジタル符号化された音声信号とを同期させて処理するデジタル信号処理方法において、
   映像信号に映像処理を施す映像処理ステップと、
   上記映像処理が施された映像信号を表示装置に出力する映像出力ステップと、
   音声信号に音声処理を施す音声処理ステップと、
   上記音声処理が施された音声信号を遅延する第１の遅延ステップと、
   上記第１の遅延ステップで遅延された音声信号を音声出力装置に出力する音声出力ステップと、
   上記音声信号を遅延する第２の遅延ステップと、
   上記第２の遅延ステップで遅延された音声信号が出力されるデジタル音声出力端子とを用い、
   上記第１の遅延ステップによる音声信号の遅延によって、上記表示装置から出力される映像と上記音声出力装置から出力される音声とのズレを解消し、
   上記第２の遅延ステップによる音声信号の遅延によって、上記表示装置から出力される映像と上記デジタル音声出力端子と接続された機器から出力される音声とのズレを解消することを特徴とするデジタル信号処理方法。
   
   
   

Images