JP2009182912A

JP2009182912A - 映像音声再生装置

Info

Publication number: JP2009182912A
Application number: JP2008022265A
Authority: JP
Inventors: Takashi Kanamaru; 隆金丸; Sadao Tsuruga; 貞雄鶴賀
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-02-01
Filing date: 2008-02-01
Publication date: 2009-08-13

Abstract

【課題】様々な要因により生じる映像と音声の同期ずれに対して、簡単に同期をとることが可能となり、使い勝手の向上を図ったシステムを提供する。
【解決手段】表示出力装置は、表示出力装置から出力される映像データと音声データの再生同期を確立するための第２の再生同期情報を受信装置に対して送信し、受信装置は、第１の再生同期情報と表示出力装置から受信した第２の再生同期情報に従ってデジタルコンテンツの表示出力装置から出力される映像データと音声データとの再生同期を確立する。
【選択図】図２７

Description

技術分野は、映像や音声を再生する装置に関する。

上記技術分野に関し、特許文献１には「再生タイミングが合わされているべき音声信号と映像信号とのそれぞれが異なる伝送方式で伝送されることに起因して発生する再生音声と再生映像とのずれを適正に低減させることができる音声映像伝送システムを提供する。」ことを課題とし、その解決手段として「音声映像伝送装置からは、映像信号は映像無線送信部から無線送信され、音声信号は音声出力部から有線伝送されるが、この場合、伝送された音声信号と映像信号との位相差が、これらの信号により再生される音声と映像とを視聴する視聴者により検知されることがない程度まで小さくなるように、音声映像伝送装置に設けられた音声遅延部により音声信号を遅延させることにより調整する。」ことが記載されている。

特開２００４−８８４４２号公報

例えば、MPEG２トランスポートストリームを採用しているデジタル放送などでは、映像と音声を別々に符号化しパケット多重して伝送、受信機側で映像と音声との同期をとる（リップシンク）ためのタイムスタンプ情報が埋め込まれている。受信機ではこの情報を見て復号化処理部が映像と音声との同期をとる。近年、画素表示の薄型テレビの普及に伴い、様々な映像高画質化処理が行われており、その結果、映像が表示されるまでにかかる時間が伸びている。そこで、映像の再生までにかかる遅延時間に合わせて音声信号を遅延させるために、メモリ部などを利用し音声の出力タイミングを調整している。

特許文献1では、映像と音声の伝送方式の違いにより生じた映像の遅延を、メモリ部を利用することで音声も遅延させることにより同期ずれを解決しようとしている。この遅延の量は、使用者（ユーザ）による設定又は映像を伝送する際の伝送レートにより設定値を一意に決定するようになっている。

しかし、大きくずれている映像と音声に対して同期をとるように音声映像伝送システムの使用者が一から調整することは困難なことがある。また、必ずしも映像の伝送レートにより遅延量が一意に決まるものではない。これは、映像の遅延は何らかの映像処理を行った結果発生するものであるが、映像の伝送レートは映像処理方法に一対一で対応するものではないことからである。

そこで、様々な要因により生じる映像と音声の同期ずれに対して、簡単に同期をとることが可能となり、使い勝手の向上を図ったシステムを提供する。

具体的に例えば、少なくとも映像データと音声データおよび映像データと音声データの再生同期を確立するための第１の再生同期情報を含むデジタルコンテンツを受信し、デジタルコンテンツの映像データと音声データの再生同期を確立して出力をする受信装置の出力に映像データと音声データを表示出力する表示出力装置が接続される映像音声再生システムにおいて、表示出力装置は、前期表示出力装置から出力される映像データと音声データの再生同期を確立するための第２の再生同期情報を受信装置に対して送信し、受信装置は、第１の再生同期情報と表示出力装置から受信した第２の再生同期情報に従ってデジタルコンテンツの表示出力装置から出力される映像データと音声データとの再生同期を確立する。

上記手段によれば、簡単に映像と音声の出力を同期させることが可能となる。

本発明に好適な実施形態の例（実施例）を説明する。ただし、本発明は本実施例に限定されない。

＜構成の説明＞
まず、受信装置および周辺機器の構成例を、図１から図１１を用いて説明する。

図１は、受信装置のデータ入出力の例を示す模式図である。１は放送局を示す。２は放送衛星を示す。放送衛星から送られてくる信号を受信する受信装置３があり、圧縮されているデータを伸張するなどの処理を行い表示装置４に出力する。放送波以外にも入力には様々な形態が考えられ、放送局が地上波で送信する信号を受信することも可能である。あるいはインターネット等のネットワーク経由でデータを送信する配信サーバ５からの受信や、ローカルネットワーク（ホームネットワーク）や、例えばＨＤＭＩ（High-Definition Multimedia Interface）などの高速データ伝送可能な伝送方式で接続した録画機器からの受信などが考えられる。受信装置３からの出力先は、表示装置４以外にも様々な種類が考えられる。例えば音声データのみ外部オーディオアンプ７に出力することや、ローカルネットワーク又は例えばＨＤＭＩなどの高速データ伝送可能なケーブルで接続した再生機器８へのデータ出力が挙げられる。出力する伝送方式は、例えば上述のＨＤＭＩ接続や、接続機器間で制御を行うプロトコル（以降ＣＥＣ（Consumer. Electronics Control）と記載）が使える。

図２は、受信装置３と表示装置４の間でのデータ伝送の例を示す。大きく分類すると無線でのデータ伝送と有線での伝送とがある。

無線を用いた場合、受信装置３と表示装置４をそれぞれ無線データ伝送ユニット９と無線データ伝送ユニット１０とに接続する。各装置と各ユニット間はケーブル１１、１２で結線されており、このケーブルは、例えばＨＤＭＩケーブルのように映像・音声データの送受信が可能なことと、簡単な命令コードが送受信可能なものである。データ伝送ユニット９とデータ伝送ユニット１０間では、例えば無線データ伝送ユニットの実装に依存する独自形式に圧縮されたデータの伝送が行われる。受信したデータ伝送ユニット１０は、圧縮されている信号を伸張して表示装置へ送信する。この伝送の処理による遅延が生じ、その遅延の時間はデータ伝送ユニットの種別（圧縮形式など）に依存する。なお、無線データ伝送ユニットは、受信装置３や表示装置４に内蔵されていたりケーブルを介さずに接続されてもよい。

一方、有線を用いた場合、伝送ケーブル１３を用いて受信装置３と表示装置４とを直接接続する。このケーブルは、例えばＨＤＭＩケーブルのように映像・音声データの送受信が可能なことと、簡単な命令コードが送受信可能なものである。

この構成において受信装置３と表示装置４は、無線伝送ユニット９と１０の無線による接続を認識することが可能である。認識すると、受信装置３の制御部が、揮発性メモリ上に無線による接続であることを記録する。また、起動後に使用者が例えばメニュー画面などからどちらの伝送方式を使用するか（無線伝送を使用するか、有線伝送を使用するか）を決定してもよい。

なお、以下の説明では受信装置３、表示装置４、無線伝送ユニット９及び１０の接続をＨＤＭＩである場合で主に説明するが、接続機器間で制御を行うことが可能な通信方式であればよい。

図３は、受信装置３の内部の構成例を示す。３０１および３０２は入力端子である。それぞれデジタル受信部３０３とアナログ受信部３０４へデータを送出する。デジタル受信部３０３は例えば放送波であればデジタルチューナへ入力されたデータから使用者が選択したデータのみを抽出し、映像データは映像信号処理部３０５へ、音声データは音声信号処理部３０６へと転送する。アナログ受信部３０４は受信したアナログデータをデジタル変換処理し、映像データは映像信号処理部３０５へ、音声データは音声信号処理部３０６へと転送する。映像信号処理部３０５は転送されたデジタルデータをデコードする。音声信号処理部３０６は転送された音声デジタルデータをデコードし、処理結果を遅延部３０７および遅延部３０８へ転送する。

遅延部３０７は映像データと音声データとの処理時間のずれを補正するバッファを含む。データの改変は行わず、送信部３１１または３１２へデータを転送する。

遅延部３０８は、遅延部３０７と同じく、映像データと音声データとの処理時間のずれを補正するバッファを含む。ただし遅延部３０７とは異なり、遅延部３０８は光出力用に別途設けた遅延回路であり、たとえば光出力のデータ形式をデコード後のデータ（ＰＣＭ（Pulse Code Modulation）形式）で出力する場合に有効である。

スイッチ３０９とスイッチ３１０を用いて異なる送信部のいずれかにデータを転送するかを選択する。送信部（受信部でもある、以降同様）３１１と送信部３１２では表示装置にデータを伝送するため映像データと音声データを合わせて伝送する。光出力部３１３は例えばオーディオアンプなどに音声データの光出力を行う。３１４、３１５、３１６は出力端子である。３１７は使用者がリモコンで操作を行うためのリモコンＩ／Ｆである。入力端子３１８から入力されたデータを制御部３２０へ送信する。３１９は使用者がリモコンを使用しなくても受信装置３および表示装置４の操作を行うための操作部（ボタンなど）である。制御部３２０はシステムバス３２２を介して受信装置３の各部の制御を行う。不揮発性メモリ３２１にはプログラムデータや使用者の設定した設定値を保存しておく。

各部は、ハードウェアで構成してもよいし、プログラムをＣＰＵ等で実行して実現してもよい（以降、同じ）。

本実施例では、出力方法をスイッチ３０９およびスイッチ３１０によって有線信号処理部３１１と無線信号送信部３１２とに振り分けているが、例えば出力Ｉ／Ｆが同一で送信部は一つとして、その先に無線送信ユニット９が接続されているか、あるいは表示装置４が接続されているかを通信によって自動判別する構成も可能である。その場合でも以降の実施例の適用が可能である。

図４は、表示装置４の構成例を示す。（ａ）は表示装置内部の映像処理遅延を表示装置内部で補正する場合の構成の一例を示し、（ｂ）は表示装置内部では補正を行わない場合の一例を示す。

４０１および４０２は入力端子である。それぞれ有線接続で伝送された信号を有線信号受信部４０３で受信、および無線伝送された信号を無線信号受信部４０４で受信する。受信部から映像データは画質調整部４０５へ転送、音声データは図４（ａ）の場合には音声出力部４０７へ、図４（ｂ）の場合には遅延部４１０へ転送する。画質調整部４０５では例えば入力された画像サイズを表示形式に合わせて調整する処理を行い、映像表示部４０６で例えばＰＤＰやＬＣＤといったパネルに映像を表示する。音声出力部４０７は例えばスピーカによって音声を出力する。制御部４０８はシステムバス４０９を介して表示装置４の各部の制御を行う。遅延部４１０は画質調整部４０５で発生する表示制御遅延に応じて出力時間を補正する。一方で図４（ａ）が受信装置３に接続している場合には画質調整部４０５での処理時間分を受信装置３で音声データの出力を遅延させて補正する。

図５は、図３の有線信号送信部３１１の構成例を、図６は、図４の有線受信部４０３の構成例を示す。これらが有線接続した場合のデータの送受信の処理と共に説明する。

５０１は映像信号の入力端子であり、５０２は音声信号の入力端子である。入力された映像信号は伝送時のデータ量を少なくするため映像信号圧縮部５０３でエンコードする。このエンコードの処理時間分、音声データは遅延部５０６により遅延する。信号多重処理部５０４で映像データと音声データを多重化し送信部５０５から出力端子５０７へ出力する。

このデータを有線受信部４０３の入力端子６０１を経て受信部６０２で受信する。圧縮処理された映像データと音声データとを信号分離処理部６０３で分離し、映像データについては映像信号伸張部６０４でデコードを行い出力端子６０６へ出力する。音声データについては映像信号伸張部６０４による処理時間分を遅延部６０５で遅延させ、出力端子６０７へ出力する。

図７は、図３の無線信号送信部３１２の構成例を、図８は、図２の無線伝送ユニット９の構成例を、図９は、図２の無線伝送ユニット１０の構成例を、図１０は、図４の無線信号受信部４０４の構成例を示す。無線伝送ユニット９と１０とが無線接続した場合のデータ送受信の処理と共に説明する。

７０１は映像信号の入力端子、７０２は音声信号の入力端子である。これらの信号を信号多重処理部７０３で多重化し、送信部７０４は出力端子７０５を経て無線伝送ユニット９へ出力する。無線伝送ユニット９では入力端子８０１を経て受信部８０２で映像・音声信号を受信する。無線伝送時のデータ量を削減するため、信号分離処理部８０３で映像信号と音声信号を分離し、映像信号を映像信号圧縮部８０４でエンコードする。音声信号については映像信号圧縮部８０４の処理時間分、遅延部８０５にて遅延させる。圧縮した映像信号と遅延部を経た音声信号とを信号多重処理部８０６で多重化し、無線送信部８０７から出力端子８０８を経て送信する。

受信する側の無線伝送ユニット１０では入力端子９０１を経て無線受信部９０２が信号を受信し、信号分離処理部９０３で映像信号と音声信号を分離する。映像信号伸張部９０４で映像信号をデコードし、このデコードの処理時間分、音声信号を遅延部９０５で遅延させる。信号多重処理部９０６にて映像・音声信号を多重し送信部９０７は出力端子９０８を経て表示装置４へ映像・音声信号を伝送する。表示装置４では無線受信部４０４で入力端子１００１を経て受信部１００２で受信し、信号分離処理部１００３で映像信号と音声信号を分離し、それぞれ出力端子１００４、出力端子１００５へ出力する。

無線伝送ユニットに遅延部を備えず、受信装置３又は表示装置４にて同等の遅延を行うようにしてもよい。

図１１は、図３の音声信号処理部３０６の構成例を示す。

入力端子１１０１から音声データが入力されると、オフセット付与部１１０２では制御部３２０が指定したオフセットをＰＴＳ（Presentation Time Stamp）に加算する。デコードタイミングを調整するためのバッファ１１０３を経て、デコード処理部１１０４でデコードを行う。ポスト処理部１１０５では例えば５．１ｃｈの音声を２ｃｈにダウンミックスしたり、音声出力をミュートしたりなどの処理を行う。出力端子１１０６から表示装置のスピーカ向けにデータを出力し、出力端子１１０７からオーディオアンプ向けに出力する。

デコード処理部１１０４では、音声信号から読み出すＰＴＳの値と制御部３２０が制御するＳＴＣ（System Time Clock）の値とを比較することでデコード処理の実行タイミングを計る。

なお、オフセット付与部１１０２によらず、デコード処理部１１０４で、例えば制御部３２０が読み出したＰＴＳ値又はＳＴＣ値にオフセットを付加しデコード処理の実行タイミングをずらすようにしてもよい。

＜遅延の説明＞
次に、遅延について説明する。

以上の構成例では、映像出力と音声出力との同期をとるための方法として、受信装置３内部では図３の遅延部３０７および遅延部３０８で遅延させる方法と、図５のオフセット付与部５０２の制御により音声データのデコードタイミングを遅延する方法とがある。前者の方法では表示装置４に出力するデータと光出力部３１３から出力するデータとのそれぞれに影響する遅延を設定できるが、遅延させるためには遅延量に応じたメモリ（図には未記載）を用意するコストが生じ、後者の方法ではいずれの出力に対しても等しく遅延が影響する。

映像出力と光音声出力との同期をとるための方法については、デコードを行いＰＣＭへ変換する場合には、図３の遅延部３０８を利用可能である。一方、入力となる例えばＭＰＥＧ−ＡＡＣ（Advanced Audio Coding）データ形式のビットストリームを変換せずそのままで出力する（例えばこれをＡＡＣ出力形式、ＥＳ（Elementary Stream）出力形式とも呼ぶ）場合には、遅延部３０８は使用不可能である。

ここで、使用する無線伝送ユニットによって遅延量の変動があることなどを考えると遅延部３０７のバッファサイズを一意に確定することは困難である。よって、遅延部３０７および３０８のバッファ量の設定とオフセット付与部５０２で遅延させる方法とを使い分ける制御が有効である。

映像出力までの総遅延時間は、（１）受信装置３内部でのビデオデータ処理時間（デコード処理遅延）、（２）有線信号送信部３１１と有線信号受信部４０３又は無線伝送ユニット９と１０での映像信号の圧縮・伸張処理にかかる処理時間（伝送遅延）、（３）表示装置４内部での画質調整部４０５での処理時間（表示制御遅延）などが要因である。これらの処理遅延量について述べる。

（１）映像信号処理時間の遅延は、受信装置が出力しようとしている入力データがデジタル放送か、例えば外部の録画機器からのアナログキャプチャ画像入力かによって量・割合・値等（以降、量として総称する）が決定する。アナログキャプチャ画像入力の場合は、多くの場合キャプチャ処理の前段にてさらに映像処理を行うため遅延量が大きくなる傾向にある。

（２）無線伝送ユニット間での伝送遅延は、例えば使用するユニットの種類、伝送方式、圧縮・伸長方式が異なればその量は異なる。個別の無線伝送ユニットに適した遅延量を得るため、例えばＤＤＣ（Display Data Channel）を経由してユニットのＥＤＩＤ（Extended Display Identification Data）情報が得られ、ＥＤＩＤ情報の一部として、設定すべき遅延量そのものを取得する。あるいは受信装置３内部の不揮発性メモリ３２１に複数のユニットの名称（あるいはメーカ名、メーカＩＤなどの機器固有な値）とそれに適した遅延量の情報を対にして予め記録しておき、ＥＤＩＤでユニットの名称（あるいはメーカ名、メーカＩＤなどの機器固有な値）を取得すると制御部３２０が不揮発性メモリ３２１に記録された情報を参照して適した遅延量を割り出す。情報を記録する箇所が例えば内蔵された記録媒体や可搬のメモリ等であっても同様の効果が得られる。

また、ある無線伝送ユニット９、１０が伝送方式や圧縮・伸張方式を複数使い分ける場合には適宜ＣＥＣ通信によって受信装置３に伝送遅延量を通知することも考えられる。以上により無線伝送ユニットに適した遅延量を受信装置３での音声遅延に反映する。

（３）表示制御遅延は、例えば図４（ａ）の場合、例えば伝送ユニット１０が表示装置４のＥＤＩＤ情報を取得し、伝送ユニット９は伝送ユニット１０が取得した表示装置４のＥＤＩＤ情報と伝送ユニット９のＥＤＩＤ情報から受信装置３へ渡すＥＤＩＤ情報を生成する。受信装置3は伝送ユニット９から表示装置４の情報を含んだＥＤＩＤ情報を取得し、適した遅延量を制御部３２０へ伝送し、受信装置３で遅延量の設定を自動で行う。

ここではＤＤＣを経由してＥＤＩＤ情報を利用した場合の例を説明したが、ＣＥＣ通信を用いて上記ＥＤＩＤ情報、あるいはＥＤＩＤ情報に類した情報を取得してもよい。

また、表示する画像サイズによっても表示制御遅延の量が変動する場合は、ＥＤＩＤ情報を用いるのではなくＣＥＣを利用することにより変化の都度、制御部４０８から制御部３２０へ情報を伝送し遅延量を常に最適化することが可能である。無論、ＤＤＣを経由してＥＤＩＤ情報を利用しても可能である。この場合、例えば表示する画像サイズの変更により表示制御遅延の量が変動した場合には、表示装置４のＥＤＩＤ情報が更新され、このことを表示装置4からＤＤＣ経由で伝送ユニット１０に知らされる。伝送ユニット１０が表示装置４のＥＤＩＤ情報を取得し、伝送ユニット９は伝送ユニット１０が取得した表示装置４のＥＤＩＤ情報と伝送ユニット９のＥＤＩＤ情報から受信装置３へ渡すＥＤＩＤ情報を生成する。受信装置3は伝送ユニット９から表示装置４の情報を含んだＥＤＩＤ情報を取得する。制御部３２０では定型で送られる表示制御遅延の情報と伝送処理遅延の情報を認識する。

以上の要素、すなわち例えばデコード処理遅延、伝送処理遅延、表示制御遅延、の各遅延量の組み合わせによって制御部３２０は受信装置３で設定すべき音声遅延量を決定する。

例えば遅延部３０７および３０８では遅延させるために用意するメモリ量にコスト等の理由で限界がある場合が考えられるため、制御部３２０は例えば決定した音声遅延量がある閾値以上である場合にはオフセット付与部５０２で遅延させ、閾値より少なければ遅延部３０７および３０８で設定を行うなどの音声遅延の制御を行うことも可能である。

有線送信部３１１および有線受信部４０３内部で遅延部５０６、遅延部６０５を持たない場合は、上記無線伝送処理遅延に映像信号圧縮部５０３、映像信号伸張部６０４での処理時間を上記伝送処理遅延の時間に加算する。

無線伝送ユニット９および無線伝送ユニット１０が内部で遅延部８０５、遅延部９０５を持たない場合は、上記無線伝送処理遅延に映像信号圧縮部８０４、映像信号伸張部９０４での処理時間を上記伝送処理遅延の時間に加算する。

また、光出力形式がＥＳ出力の場合には上記遅延量をオフセット付与部５０２で設定する。この場合、映像出力と光音声出力との同期を考慮して遅延量を設定する結果，映像出力と音声出力部４０７からの出力との同期をとることができない場合がある。その場合、例えば制御部３２０はポスト処理部５０５で音声ミュート設定を行い、自動的に音声出力部４０７の出力を停止するなどが考えられる。

一方、出力形式がＰＣＭの場合はオフセット付与部５０２と遅延部３０８で設定が可能であり、遅延部３０７と遅延部３０８のバッファ量の設定が同じであれば音声出力部２０７とオーディオアンプでの出力タイミングは同期をとることが可能である。

以上により、伝送遅延量に応じて、音声遅延させる方法を遅延部とオフセット付与の方法を使い分け、映像と音声の同期を自動調整することが可能となり、使用者が一から調整することは不要となる。また、映像の伝送レート以外の要因で発生した映像と音声の同期ずれに対しても同期確立可能となる。

＜処理の説明＞
上述した構成例において、上述した遅延の自動設定を行う処理例を説明する。なお、以下の処理例では実施形態の一例として受信装置３から表示装置４へのデータ伝送方式は無線伝送を優先することを前提に話を進める。

図１２は、初期化処理での遅延量の設定処理例を示す。

ステップ（以降、Ｓと省略）１２０１では無線伝送ユニットが接続されているかを検出する。正常に検出できたらＳ１２０２へ進み、接続が正常に検出されなかった場合はＳ１２０4へ進む。Ｓ１２０２では検出した無線伝送ユニットの機器ＩＤを取得する。この機器ＩＤにより無線伝送遅延量を判断する。Ｓ１２０３では正常に認識が出来た場合Ｓ１２０６へ進み、認識に失敗した場合はＳ１２０４へ進む。Ｓ１２０４では有線接続を検出し、正常に検出できたらＳ１２０６へ進み、接続が正常に検出されなかった場合はＳ１２０５へ進む。Ｓ１２０５では受信装置３と表示装置４との接続が確立できないため、表示装置４上で例えばタイムアウト時間を設けるなどして、例えば使用者に接続状態を確認してもらうといったメッセージを表示し処理を終了する。

Ｓ１２０６では接続が確立できたので、映像・音声データを入力する。この段階で表示画像のサイズや、光出力設定など、音声遅延量を決定するパラメータが全て取得可能である。以上Ｓ１２０６までの処理で上記の遅延量を確定する要素はすべて出揃い、Ｓ１２０７ではそれらの値を用いて遅延量の設定を行いＳ１２０８へ進む。Ｓ１２０８で音声デコードを開始、また音声出力ミュートを解除して音声出力を行い、処理を終了する。

以上の実施例は有線接続と無線接続両方が有効だった場合に無線接続を優先する例であったが、その逆に有線接続を優先させてもよい。また、受信装置３から表示装置４へのデータ伝送方式を、例えば設定メニューなどから使用者が選択し、選択された接続方法を優先したり、選択された接続方法のみ使用したりしてもよい。

図１３は、使用者が例えば操作メニューから遅延時間を微調整するなどして遅延設定を変更する処理例を示す。

Ｓ１３０１では音声出力ミュート設定及びデコード処理停止を行い、音声出力を停止する。このとき、Ｓ１３０２ではＳ１２０７と同様に遅延設定を行う。Ｓ１３０３ではデコード処理開始と音声出力ミュート解除を行い、音声出力を再開して処理を終了する。

図１４は、Ｓ１２０７、Ｓ１３０２での遅延設定の詳細な処理例を示す。

Ｓ１４０１では必要に応じて遅延部３０７および遅延部３０８の設定を行いＳ１４０２へ進む。Ｓ１４０２では必要に応じてオフセット付与部１１０２の設定を行いＳ１４０３へ進む。Ｓ１４０３ではスピーカ出力の設定を行い、処理を終了する。

図１５は、Ｓ１４０１の詳細な処理例、すなわち遅延部３０７および遅延部３０８の遅延バッファ量を決定する処理例を示す。

Ｓ１５０１では受信装置３と表示装置４との間のデータ伝送方式が無線であればＳ１５０２へ進み、有線であればＳ１５０３へ進む。Ｓ１５０２では無線伝送方式での処理時間を遅延量に加算する。Ｓ１５０３では音声信号の光出力が有効であればＳ１５０５へ進み、無効であればＳ１５０４へ進む。光出力有効／無効の設定は例えば使用者がメニューで設定しても良い。Ｓ１５０４では表示装置４に接続されている遅延部３０７の遅延時間（バッファ量）を設定して処理を終了する。設定する値は映像出力までの各処理部での遅延時間から計算される総和である。Ｓ１５０５は受信装置３から出力するデータ形式が例えば放送受信などのデジタル信号の場合Ｓ１５０６へ進み、例えば外部機器からのキャプチャデータなどのアナログ信号をデジタル変換したものであればＳ１５０７へ進む。Ｓ１５０６では音声信号の光出力のデータ形式がＡＡＣ出力形式であれば遅延部３０８の設定が無効のため処理を終了し、ＰＣＭ出力形式の場合はＳ１５０７へ進む。Ｓ１５０７ではＰＣＭ出力形式の場合に有効となる遅延部３０８の遅延時間（バッファ量）を設定して処理を終了する。

図１６は、Ｓ１４０２の詳細な処理例、すなわちオフセット付与部１１０２でのオフセット量を決定する処理例を示す。

Ｓ１６０１では受信装置３と表示装置４との間のデータ伝送方式が無線であればＳ１６０２へ進み、有線であればＳ１６０３へ進む。Ｓ１６０２では無線伝送方式での処理時間を遅延量に加算する。Ｓ１６０３では音声信号の光出力が有効であればＳ１６０４へ進み、無効であれば処理を終了する。Ｓ１６０４では音声信号光出力のデータ形式がＡＡＣであればＳ１６０５へ進み、ＰＣＭであれば処理を終了する。Ｓ１６０５では受信装置３から出力するデータ形式がデジタル信号の場合Ｓ１６０６へ進み、アナログ信号をデジタル変換したものであれば処理を終了する。Ｓ１６０６では制御部３２０がＰＴＳに加えるオフセット値を各処理部での映像信号処理時間から算出、オフセット付与部１１０２に設定して処理を終了する。

図１７は、Ｓ１４０３の詳細な処理例、すなわち音声出力部４０７からの出力を設定する処理例を示す。

Ｓ１７０１では光出力が有効であればＳ１７０２へ進み、無効であればＳ１７０４へ進む。Ｓ１７０２では受信装置３から出力しようとするデータの形式がデジタル信号の場合Ｓ１７０３へ進み、アナログ信号をデジタル変換したものであればＳ１７０４へ進む。Ｓ１７０３では音声信号光出力のデータ形式がＡＡＣの場合Ｓ１７０５へ進み、ＰＣＭの場合Ｓ１７０４へ進む。Ｓ１７０４では音声出力部４０７の出力設定を有効にして処理を終了する。Ｓ１７０５では音声出力部４０７の出力設定を無効にして処理を終了する。

なお、音声出力部４０７での出力を自動的に切り替える処理例を説明したが、例えば音声出力部４０７の出力は常に有効にしておき、使用者が適宜消音機能を使用することでＳ１４０３の音声出力設定処理を無くしてもよい。

図１８は、受信装置３及び表示装置４を無線接続して使用中に、無線接続が何らかの原因で接続が断絶してしまった場合に映像・音声出力の同期を維持する処理例を示す。

Ｓ１８０１では有線接続が有効かどうかを検出し、有効であればＳ１８０３へ進み、無効であればＳ１８０２へ進む。Ｓ１８０２では表示装置４の制御部４０８が有線接続も無線接続も行われていないことを検出し、映像表示部４０６に使用者に接続の確認を促す旨のメッセージを表示し処理を終了する。

Ｓ１８０３では制御部３２０が音声出力ミュート設定や音声デコード停止処理を行い、音声出力を停止し、Ｓ１８０４へ進む。Ｓ１８０４では制御部３２０は上述した音声遅延の設定を行う。Ｓ１８０５では制御部３２０はスイッチ３０９、３１０によって接続経路を有線信号送信部３１１に切り替え、映像信号の出力を再開し、Ｓ１８０６へ進む。Ｓ１８０６では制御部３２０は音声出力を開始して処理を終了する。

図１８の処理例によって、無線伝送が途切れた場合に適切な音声遅延を設定し、映像・音声出力の同期を維持して表示を再開することが可能である。なお、Ｓ１８０２で示した音声出力停止は制御部４０８が自律的に無線接続が途切れたことを検出して、音声出力部４０７の出力を無効にすることで実現してもよい。また、この処理手順は使用者が例えば設定メニューから伝送方式を有線に切り替えた場合でも同様である。

図１９は、使用者が受信装置３および表示装置４を有線接続して使用中に、無線接続した場合に映像・音声出力の同期を維持する処理例を示す。

Ｓ１９０１は制御部３２０が音声出力ミュート設定や音声デコード停止処理を行い、音声出力を停止し、Ｓ１９０２へ進む。Ｓ１９０２では制御部３２０は検出された無線伝送ユニットの機器ＩＤを検出し、無線伝送にかかる処理時間を取得する。Ｓ１９０３では制御部３２０は上述した音声遅延の設定を行いＳ１９０４へ進む。Ｓ１９０４では制御部３２０はスイッチ３０９、３１０によって接続経路を無線信号送信部３１２に切り替え、映像信号の出力を再開し、Ｓ１９０５へ進む。Ｓ１９０５ではＳ１８０６と同様に音声出力を開始して処理を終了する。

図１９の処理例によって、無線伝送に切り替えた場合に適切な音声遅延を設定し、映像・音声出力の同期を維持して表示を再開することが可能である。なお、Ｓ１９０１で示した音声出力停止は制御部４０８が自律的に無線接続が確立された事を検出して、音声出力部４０７の出力を無効にすることで実現しても良い。この処理手順は使用者が例えば設定メニューから伝送方式を無線に切り替えた場合でも同様である。

＜画面表示の説明＞
以上で説明した処理例により表示される画面の表示例を説明する。

図２０は、使用者が受信装置３と表示装置４の接続方法を選択するメニューの表示例を示す。２００１は表示装置４の映像表示部を示す。使用者はリモコン又は操作部３１９を使用することで「パネル接続方式」の項目から所望の接続形式を選択可能である。「有線接続」を選択した場合、制御部３２０は音声遅延量に有線接続時の設定を行う。「無線接続」を選択した場合、制御部３２０は音声遅延量に有線接続時の設定を行う。

図２１は、使用者が光出力のデータ形式を選択するメニューの表示例を示す。使用者はリモコン又は操作部３１９を使用することで音声信号の光出力について所望の形式を選択可能である。「ＡＡＣ」を選択すると、光音声出力は入力音声信号を処理せず出力し、「ＰＣＭ」を選択すると、入力音声信号をパルス符号変調して出力する。なお入力信号によってはＡＡＣ出力は行えないため、「光デジタル音声出力設定」の項目自体を例えばグレーアウト（網掛け表示）するなどして選択不能化してもよい。

図２２は、使用者が遅延部３０７及び遅延部３０８の遅延量を微調整するメニューの表示例を示す。使用者はリモコン又は操作部３１９を使用することで音声遅延量の増減を例えばミリ秒間隔で微調整し、映像・音声出力の同期を所望の設定とすることが可能である。使用者が受信装置３が自動的に設定した遅延量で使用するため「オート」を指定した場合を図２２（ａ）に示す。使用者が受信装置３が自動的に設定した遅延量に加え３５ミリ秒の遅延を加えるよう指定した場合を図２２（ｂ）に示す。この３５ミリ秒から例えばリモコンの上下操作キーを押すことで、例えば１ミリ秒ずつ設定遅延量を操作可能である。

また、使用者が「オート」以外を選択した場合に、制御部３２０では映像処理時間と音声遅延量とから、使用者が微調整する遅延量を大小どちらに調製すれば良いかをガイドすることが可能である。例えば図２３に示すように矢印を使用して案内する方法や、図２４に示すように文字列で案内する方法などがある。

また、例えば接続方法の状況に応じて使用者が好適と判断した音声遅延量を不揮発性メモリ３２１に記録できるようにし、上記遅延量の微調整の設定項目として「ユーザ設定１」「ユーザ設定２」などの選択肢によって次回以降容易に選択できるようにしても良い。

図２５は、受信装置３と表示装置４の間の接続が正常に確立されなかった場合、Ｓ１２０５又はＳ１８０３で表示装置４にメッセージを表示する表示例を示す。２５０１は使用者に接続の確認を促すためのメッセージである。２５０２は使用者が選択するボタンである。選択されると制御部３２０は表示メッセージを消去する。ボタンを設けずに所定の時間表示して自動的に消去しても良い。

遅延部５０６と６０５、又は、遅延部８０５と９０５が存在せず、受信装置３と表示装置４との間でのデータ伝送において映像と音声の伝送時間が異なる場合を考える。この場合も伝送ユニットによって予め一意に時間差が決まっていれば制御部３２０は遅延部３０７又はオフセット付与部１１０２で補正する。例えば自動的にその伝送時間差を取得する方法を示す。

無線信号送信部３１２において、一定のタイミングで伝送する映像と音声のデータにタイムスタンプを付加する。無線信号受信部４０４では付加されたタイムスタンプ値を取得し、その差分を制御部４０８で計算する。図４（ｂ）の場合に算出した時間差を遅延部４１０に設定して補正することも可能であるし、算出した時間差を制御部３２０へ送信して遅延部３０７又はオフセット付与部１１０２で補正することも可能である。

実施例１では、音声出力を遅延させる方法について説明をしたが、例えば映像データのデコード前に、ＤＴＳ（Decoding Time Stamp）、ＰＴＳにオフセットを与えることで映像データのデコード処理のタイミングを前後に調整することも可能である。例えば光出力した音声が出力先のオーディオアンプ７において出力遅延する場合、映像データのＤＴＳ、ＰＴＳに適切なオフセットを設定することで同期を合わせることが可能である。

実施例１では、出力装置４において映像データと音声データを出力する構成であったが、例えば映像出力装置と音声出力装置が個別に存在する場合を考える。再生装置３は映像出力装置から表示制御遅延時間を取得するのと同様に、音声出力装置から音声データの表示制御遅延時間を取得する。制御部３２０は映像出力にかかる処理遅延量から音声出力にかかる処理遅延量を減算して遅延時間を算出する。これにより実施例１と同様に同期を合わせることが可能である。これらへの接続は有線と無線の組合せ、共に有線、共に無線のいずれであってもよい。

実施例１では、表示装置４において映像データと音声データを出力する構成であったが、例えば映像出力装置と音声出力装置が直列に再生装置３に接続された場合を考える。

図２６では再生装置３と映像表示装置１４、映像表示装置１４と音声出力装置１５ａ及び１５ｂとを接続した場合の概略を示す。接続は例えばＨＤＭＩケーブルのように映像・音声データの送受信が可能なことと、簡単な命令コードが送受信可能な方法を用いる。再生装置３は映像表示装置１４から映像表示制御遅延時間を取得するのと同様に、音声出力装置１５ａと１５ｂから音声データの表示制御遅延時間を取得する。音声出力装置１５ａと１５ｂは例えばステレオ音声出力を行うため、同一の構成であると考える。よって上記出力遅延時間は等しいとする。制御部３２０は映像表示制御遅延時間から音声出力にかかる処理遅延時間を減算して遅延時間を算出する。音声出力装置１５ａおよび１５ｂにて音声データの表示制御遅延が無い場合には上記出力遅延時間は取得せず，実施例１と同一の処理にしてもよい。各装置間が無線接続されている場合、さらに伝送処理遅延時間を加味して遅延時間を算出すればよい。

また図２７にオーディオアンプ７を介して再生装置３と表示装置４とを接続した場合を示す。接続は例えばＨＤＭＩケーブルのように映像・音声データの送受信が可能なことと、簡単な命令コードが送受信可能な方法を用いる。この場合も再生装置３は表示装置４から映像表示制御遅延時間を取得し、オーディオアンプ７から音声データの出力遅延時間を取得する。制御部３２０は映像表示制御遅延時間から音声データの出力遅延時間を減算して遅延時間を算出する。オーディオアンプ７にて音声データの表示制御遅延が無い場合には上記出力遅延時間は取得せず，実施例１と同一の処理にしてもよい。

音声データの表示制御遅延時間や映像表示制御遅延時間の情報を取得する処理には、例えば以下の例が挙げられる。図２７において、始めに再生装置３がオーディオアンプ７に対して例えばＣＥＣ通信によって処理遅延時間を問い合わせる。オーディオアンプ７は表示装置４に対してＣＥＣ通信によって処理遅延時間を問い合わせ、表示装置４はオーディオアンプ７に映像表示制御遅延時間を通知する。オーディオアンプ７は自身の音声データの表示制御遅延時間の情報と、表示装置４から得られた映像表示制御遅延時間の情報を所定の形式で組み合わせて再生装置３に送信する。再生装置３は二つの機器の処理遅延時間から音声遅延量の設定値を決定する。このとき、表示装置４は映像表示制御遅延時間のみならず音声データの出力遅延時間も送信することができる。その場合再生装置３はオーディオアンプ７から表示装置４の音声データの出力遅延時間を取得し、オーディオアンプ７と表示装置４のどちらから音声出力を行うかによって，設定する音声遅延量を変更することが可能である。

また別の例では、始めにオーディオアンプ７が表示装置４に対して処理遅延量を問い合わせる。表示装置４は映像表示制御遅延時間の情報（と音声データの出力遅延時間の情報を所定の形式で組み合わせた情報）をオーディオアンプ７に通知する。オーディオアンプ７は得られた情報を内部のメモリに記録しておく。次に再生装置３がオーディオアンプ７に遅延量を問い合わせた際にオーディオアンプ７は自身の音声データの表示制御遅延時間の情報と、表示装置４から得られた映像表示制御遅延時間（と音声データの表示制御遅延時間）の情報を所定の形式で組み合わせて再生装置３に送信する。得られた情報から再生装置３は音声遅延量の設定値を決定する。

また別の例では、表示装置４からアンプに対して映像表示制御遅延時間の情報（と音声データの表示制御遅延時間の情報を所定の形式に組み合わせた情報）をオーディオアンプ７に通知し、オーディオアンプ７が再生装置３に対して自身の音声データの表示制御遅延時間の情報と、表示装置４から得られた映像表示制御遅延時間（と音声データの表示制御遅延時間）の情報を所定の形式で組み合わせて再生装置３に送信する。得られた情報から再生装置３は音声遅延量の設定値を決定する。

以上のように図２７において様々なパターンで再生装置３がオーディオアンプ７と表示装置４の情報を取得し音声遅延量を設定することが可能である。例示した以外でも類似の方法が考えられる。また、図２６でもこれらと同様に様々なパターンで再生装置３が映像表示装置１４の映像表示制御遅延時間と音声出力装置１５ａならびに１５ｂの音声データの表示制御遅延時間を得て、音声遅延量を設定することが可能である。以上によりこれらの実施例においても実施例１と同様に映像出力と音声出力の同期を合わせることが可能である。これらへの接続は有線と無線の組合せ、共に有線、共に無線のいずれであってもよい。

以上の実施例に合わせて、例えば受信装置３が録画機器や宅内の配信サーバから無線伝送ユニットによる接続で映像・音声データを受信し、映像データと音声データの入力タイミングにずれが生じる場合にも、無線伝送ユニットによる伝送処理遅延時間を取得して制御部３２０で音声遅延量を設定することによって実施例１と同様に映像出力と音声出力の同期を合わせる事が可能である。

受信装置３の入力と出力の例を示す模式図受信装置３と表示装置４との接続例を示す模式図受信装置３の構成例を示すブロック図表示装置４の構成例を示すブロック図有線信号送信部３１１の構成例を示すブロック図有線信号受信部４０３の構成例を示すブロック図無線信号送信部３１２の構成例を示すブロック図無線伝送ユニット９の構成例を示すブロック図無線伝送ユニット１０の構成例を示すブロック図無線信号受信部４０４の構成例を示すブロック図音声信号処理部２０６の構成例を示すブロック図初期化処理時に遅延時間設定処理例を示すフローチャート遅延時間変更時の処理例を示すフローチャート遅延設定Ｓ１２０７、Ｓ１３０２の詳細処理例を示すフローチャート遅延バッファ設定Ｓ１４０１の詳細処理例を示すフローチャートＰＴＳオフセット設定Ｓ１４０２の詳細処理例を示すフローチャート音声出力設定Ｓ１４０３の詳細処理例を示すフローチャート受信装置３と表示装置４の接続方法を無線伝送から変更する処理例を示すフローチャート受信装置３と表示装置４の接続方法を無線伝送に変更する処理例を示すフローチャート設定メニュー表示の一例を示す模式図設定メニュー表示の一例を示す模式図設定メニュー表示の一例を示す模式図設定メニュー表示の一例を示す模式図設定メニュー表示の一例を示す模式図受信装置装置３と表示装置４の接続がなされていないときのメッセージ表示の一例を示す模式図受信装置３と映像表示装置１４との接続例を示す模式図受信装置３と表示装置４との接続例を示す模式図

符号の説明

３：受信装置、４：表示装置、９：無線伝送ユニット、１０：無線伝送ユニット

Claims

第１装置を介して第２装置に接続する映像音声再生装置であって、
映像データと、音声データと、映像データ及び音声データの再生同期のための第１の再生同期情報とを受信する第１受信部と、
前記第１装置から、映像データ及び音声データの再生同期のための第２の再生同期情報を受信する第２受信部と、
前記第１受信部及び前記第２受信部で受信した第１及び第２の再生同期情報に基づいて、前記第１受信部で受信した映像データと音声データとを再生する制御部とを有する映像音声再生装置。
請求項１の映像音声再生装置であって、
前記第１の再生同期情報は受信データに含まれる時間情報、
前記第２の再生同期情報は前記第１装置内でのデータ処理時間情報と前記第２装置内でのデータ処理時間情報とを含む映像音声再生装置。
請求項１の映像音声再生装置であって、
前記第１の再生同期情報は受信データに含まれる時間情報、
前記第２の再生同期情報は前記第１装置内でのデータ処理時間情報と前記第２装置内でのデータ処理時間情報とに基づく時間情報である映像音声再生装置。