JP2010011274A

JP2010011274A - 映像音声出力装置及び映像音声出力方法

Info

Publication number: JP2010011274A
Application number: JP2008170164A
Authority: JP
Inventors: Kenji Nakamura; 賢治中邨
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-06-30
Filing date: 2008-06-30
Publication date: 2010-01-14

Abstract

【課題】複数のワイヤレスヘッドフォン等の無線音声出力機器で出力される音声に同期した映像を再生することが可能な映像音声出力装置を提供すること。
【解決手段】映像音声出力装置は、複数の無線音声出力機器に対して無線通信により基準音声信号を送信し、各無線音声出力機器から出力される音声を入力し、各無線音声出力機器の音声出力遅延時間を検出する遅延時間検出手段と、各無線音声出力機器の音声出力遅延時間のうちの最大遅延時間と各無線音声出力機器の音声出力遅延時間との差分時間相当だけ各無線音声出力機器へ送信する各音声信号を遅延する音声信号遅延手段と、前記音声信号遅延手段により遅延された各音声信号を、無線通信により各無線音声出力機器に送信する音声信号送信手段と、前記音声信号に同期した映像信号を前記最大遅延時間相当だけ遅延して出力する映像信号出力手段とを備えている。
【選択図】図２

Description

本発明は、映像を表示するとともに音声を無線送信する映像音声出力装置及び映像音声出力方法に関する。

近年、ワイヤレスヘッドフォンの普及が目覚しく、このようなワイヤレスヘッドフォンの使用によりユーザは配線に悩まされることなく、音楽等を楽しむことができるようになっている。簡単に説明すると、ワイヤレスヘッドフォンは、ミュージックプレイヤー（携帯電話含む）から無線送信される音声信号を受信し、受信した音声信号に基づき音声を出力する。例えばBluetooth（登録商標）と呼ばれる規格に沿った無線通信技術により、ワイヤレスヘッドフォンとミュージックプレイヤーの両者間の無線通信が確立される。

上記したように、音声送信に無線通信を利用すると、実際の音声出力タイミング（例えばミュージックプレイヤーに接続されたスピーカからの音声出力タイミング）に比べて、ワイヤレスヘッドフォンの音声出力タイミングが遅延することが知られている。その遅延要因の一例として、ミュージックプレイヤー側での符号化処理時間と変調処理時間、さらにワイヤレスヘッドフォン側での復調処理時間と復号化処理時間が挙げられる。

上記遅延は、音声信号に同期した映像信号が存在する場合には、無視できない問題となる。例えば、ミュージックプレイヤーが、音声信号に同期した映像信号を再生し表示する機能を備えている場合、ワイヤレスヘッドフォンから聞こえる音声と、ミュージックプレイヤーで表示される映像（例えばボーカルの口の動き）がずれてしまう。

このような不具合を解消するために、予め音声と映像の同期ずれを検出し、音声または映像の伝送を遅延させる技術が提案されている（特許文献１参照）。
特開２００４−２８２６６７

しかしながら、一つのミュージックプレイヤーに対して、複数のワイヤレスヘッドフォンを同時使用する場合には、上記提案された技術を適用しても、ミュージックプレイヤーで表示される映像と、各ワイヤレスヘッドフォンの音声とを同期させることはできない。これは、各ワイヤレスヘッドフォンの特性により、各ワイヤレスヘッドフォンで生じる遅延時間が異なるためである。このような遅延時間のばらつきは、各ワイヤレスヘッドフォンの製造メーカが異なればより顕著であるが、仮に製造メーカが同じであっても機種の違いや製造誤差により生じることもあり得る。

また、二つの独立した映像コンテンツを２画面表示し、各映像コンテンツに対応した音声を二つのワイヤレスヘッドフォンへ送信する場合にも、上記提案された技術を適用しても、ミュージックプレイヤーで表示される２画面の映像コンテンツと、各ワイヤレスヘッドフォンの音声とを同期させることはできない。これも上記と同様、各ワイヤレスヘッドフォンで生じる遅延時間が異なるためである。

本発明の目的は、複数のワイヤレスヘッドフォン等の無線音声出力機器で出力される音声に同期した映像を再生することが可能な映像音声出力装置及び映像音声出力方法を提供することにある。

この発明の一実施形態に係る映像音声出力装置は、無線通信により受信した音声信号に基づき音声を出力する複数の無線音声出力機器に対して無線通信により基準音声信号を送信し、各無線音声出力機器から出力される音声を入力し、各無線音声出力機器に対する前記基準音声信号の送信タイミングと各無線音声出力機器からの音声入力タイミングに基づき、各無線音声出力機器の音声出力遅延時間を検出する遅延時間検出手段と、各無線音声出力機器の音声出力遅延時間のうちの最大遅延時間と各無線音声出力機器の音声出力遅延時間との差分時間相当だけ各無線音声出力機器へ送信する各音声信号を遅延する音声信号遅延手段と、前記音声信号遅延手段により遅延された各音声信号を、無線通信により各無線音声出力機器に送信する音声信号送信手段と、前記音声信号に同期した映像信号を前記最大遅延時間相当だけ遅延して出力する映像信号出力手段とを備えている。

この発明の一実施形態に係る映像音声出力装置は、無線通信により受信した音声信号に基づき音声を出力する第１の無線音声出力機器に対して無線通信により第１の基準音声信号を送信し、前記第１の無線音声出力機器から出力される音声を入力し、前記第１の無線音声出力機器に対する前記第１の基準音声信号の送信タイミングと前記第１の無線音声出力機器からの音声入力タイミングに基づき、前記第１の無線音声出力機器の第１の音声出力遅延時間を検出し、無線通信により受信した音声信号に基づき音声を出力する第２の無線音声出力機器に対して無線通信により第２の基準音声信号を送信し、前記第２の無線音声出力機器から出力される音声を入力し、前記第２の無線音声出力機器に対する前記第２の基準音声信号の送信タイミングと前記第２の無線音声出力機器からの音声入力タイミングに基づき、前記第２の無線音声出力機器の第２の音声出力遅延時間を検出する遅延時間検出手段と、無線通信により前記第１の無線音声出力機器に対して第１の音声信号を送信し、無線通信により前記第２の無線音声出力機器に対して第２の音声信号を送信する音声信号送信手段と、前記第１の音声出力遅延時間より前記第２の音声出力遅延時間が大きい第１の条件の場合、前記第２の音声信号に同期した第２の映像信号を前記第２の音声出力遅延時間と前記第１の音声出力遅延時間との第１の差分時間相当だけ遅延し、前記第２の音声出力遅延時間より前記第１の音声出力遅延時間が大きい第２の条件の場合、前記第１の音声信号に同期した第１の映像信号を前記第１の音声出力遅延時間と前記第２の音声出力遅延時間との第２の差分時間相当だけ遅延する映像信号遅延手段と、前記第１の条件の場合、前記第１の音声信号に同期し且つ遅延の無い第１の映像信号と前記映像信号遅延手段により遅延された前記第２の映像信号とを合成し、前記第２の条件の場合、前記第２の音声信号に同期し且つ遅延の無い第２の映像信号と前記映像信号遅延手段により遅延された前記第１の映像信号とを合成する映像合成手段と、前記第１の条件の場合、前記映像合成手段により合成された合成映像信号を前記第１の音声出力遅延時間相当だけ遅延して出力し、前記第２の条件の場合、前記映像合成手段により合成された合成映像信号を前記第２の音声出力遅延時間相当だけ遅延して出力する映像信号出力手段と、を備えている。

この発明の一実施形態に係る映像音声出力方法は、無線通信により受信した音声信号に基づき音声を出力する複数の無線音声出力機器に対して無線通信により基準音声信号を送信し、各無線音声出力機器から出力される音声を入力し、各無線音声出力機器に対する前記基準音声信号の送信タイミングと各無線音声出力機器からの音声入力タイミングに基づき、各無線音声出力機器の音声出力遅延時間を検出し、各無線音声出力機器の音声出力遅延時間のうちの最大遅延時間と各無線音声出力機器の音声出力遅延時間との差分時間相当だけ各無線音声出力機器へ送信する各音声信号を遅延し、前記遅延された各音声信号を、無線通信により各無線音声出力機器に送信するとともに、前記音声信号に同期した映像信号を前記最大遅延時間相当だけ遅延して出力する。

この発明の一実施形態に係る映像音声出力方法は、無線通信により受信した音声信号に基づき音声を出力する第１の無線音声出力機器に対して無線通信により第１の基準音声信号を送信し、前記第１の無線音声出力機器から出力される音声を入力し、前記第１の無線音声出力機器に対する前記第１の基準音声信号の送信タイミングと前記第１の無線音声出力機器からの音声入力タイミングに基づき、前記第１の無線音声出力機器の第１の音声出力遅延時間を検出し、無線通信により受信した音声信号に基づき音声を出力する第２の無線音声出力機器に対して無線通信により第２の基準音声信号を送信し、前記第２の無線音声出力機器から出力される音声を入力し、前記第２の無線音声出力機器に対する前記第２の基準音声信号の送信タイミングと前記第２の無線音声出力機器からの音声入力タイミングに基づき、前記第２の無線音声出力機器の第２の音声出力遅延時間を検出し、前記第１の音声出力遅延時間より前記第２の音声出力遅延時間が大きい第１の条件の場合、前記第２の音声信号に同期した第２の映像信号を前記第２の音声出力遅延時間と前記第１の音声出力遅延時間との第１の差分時間相当だけ遅延し、前記第２の音声出力遅延時間より前記第１の音声出力遅延時間が大きい第２の条件の場合、前記第１の音声信号に同期した第１の映像信号を前記第１の音声出力遅延時間と前記第２の音声出力遅延時間との第２の差分時間相当だけ遅延し、前記第１の条件の場合、前記第１の音声信号に同期し且つ遅延の無い第１の映像信号と前記遅延された前記第２の映像信号とを合成し、前記第２の条件の場合、前記第２の音声信号に同期し且つ遅延の無い第２の映像信号と前記遅延された前記第１の映像信号とを合成し、前記第１の条件の場合、前記合成された合成映像信号を前記第１の音声出力遅延時間相当だけ遅延して出力するとともに、無線通信により前記第１の無線音声出力機器に対して第１の音声信号を送信し、無線通信により前記第２の無線音声出力機器に対して第２の音声信号を送信し、前記第２の条件の場合、前記合成された合成映像信号を前記第２の音声出力遅延時間相当だけ遅延して出力するとともに、無線通信により前記第１の無線音声出力機器に対して第１の音声信号を送信し、無線通信により前記第２の無線音声出力機器に対して第２の音声信号を送信する。

本発明によれば、複数のワイヤレスヘッドフォン等の無線音声出力機器で出力される音声に同期した映像を再生することが可能な映像音声出力装置及び映像音声出力方法を提供できる。

以下、図面を参照し、本発明の実施形態について説明する。

図１は、映像音声出力システムの第１例を示す図である。図１に示すように、映像音声出力システムは、ミュージックプレイヤー（携帯電話含む）又はセットトップボックス（ＳＴＢ）等に相当する映像音声出力機器１と、無線ヘッドフォン２を備えおり、映像音声出力機器１及び無線ヘッドフォン２は、例えばBluetoothと呼ばれる規格に沿った無線通信を実行することが可能に構成されている。

図１に示すように、映像音声出力機器１は、音声信号処理回路１０１、基準信号発生回路１０２、メモリ１０３、音声遅延符号化回路１０４、音声変調回路１０５、増幅器１０６、アンテナ１０７、メモリ１０８、音声遅延回路１０９、スピーカ１１０、マイク１１１、位相比較及び遅延量計算回路１１２、映像信号処理回路１２１、メモリ１２２、映像遅延回路１２３、ディスプレイ１３０、ＣＰＵ１４０、メモリ１４１を備える。

一方の無線ヘッドフォン２は、アンテナ２０１、増幅器２０２、音声復号復調回路２０３、イヤースピーカ２０４を備えている。

映像音声出力機器１は、例えば、次のようにして無線ヘッドフォン２に対して、音声信号を無線送信する。映像音声出力機器１の音声信号処理回路１０１は、入力された音声信号を音声遅延符号化回路１０４へ出力する。音声遅延符号化回路１０４は、音声信号処理回路１０１からの音声信号を符号化し、音声変調回路１０５へ出力する。音声変調回路１０５は、音声遅延符号化回路１０４からの入力音声信号を変調し、増幅器１０６へ出力する。増幅器１０６は、音声変調回路１０５からの音声信号を増幅し、アンテナ１０７へ出力する。アンテナ１０７は、増幅器１０６により増幅された音声信号を送信する。

無線ヘッドフォン２は、例えば、次のようにして映像音声出力機器１から送信された音声信号を受信し出力する。即ち、無線ヘッドフォン２のアンテナ２０１が、映像音声出力機器１のアンテナ１０７から送信された音声信号を受信し、増幅器２０２へ出力する。増幅器２０２は、アンテナ１０７からの音声信号を増幅し、音声復号復調回路２０３へ出力する。音声復号復調回路２０３は、増幅器２０２からの音声信号を復調し、さらに復号化し、イヤースピーカ２０４へ出力する。イヤースピーカ２０４は、音声復号復調回路２０３からの音声信号を出力する。

また、映像音声出力機器１は、例えば、次のようにして映像信号を出力する。即ち、映像音声出力機器１の映像信号処理回路１２１は、入力された映像信号をディスプレイ１３０へ出力する。ディスプレイ１３０は、映像信号処理回路１２１からの映像信号を出力する。

上記したように、映像音声出力機器１からの音声信号を無線ヘッドフォン２で出力する処理工程中には、音声信号の符号化処理時間、変調処理時間、復調処理時間、復号化処理時間が含まれる。これに対して、映像音声出力機器１による映像信号の出力工程中には、上記したような処理時間は含まれない。このことが要因となり、映像信号の出力タイミングに対して、音声信号の出力タイミングに遅延が生じる。

そこで、映像音声出力機器１は、映像信号の出力タイミングに対する、無線ヘッドフォン２からの音声信号の出力タイミングの遅延時間を検出し、検出された遅延時間相当だけ映像信号の出力タイミングを遅らせる。なお、遅延時間相当とは遅延時間＋αであり、例えばαは遅延時間検出誤差である。これにより、映像音声出力機器１は、互いに同期した音声信号と映像信号とを出力することができる。以下、図５を参照し、この映像信号遅延処理の動作の一例について説明する。

例えば、ユーザが、映像音声出力機器１に対して無線ヘッドフォン２を使用する際、映像音声出力機器１に対して無線ヘッドフォン２の使用を指定する。これに対応して、映像音声出力機器１のＣＰＵ１４０は、映像信号遅延処理を開始し、例えば、ディスプレイ１３０は、「これから使用する無線ヘッドフォンをチェックします。無線ヘッドフォン（イヤースピーカ）をマイクに近づけて下さい。」と案内する。

ユーザは、無線ヘッドフォン２をマイク１１１に近づけて処理を待つ。上記ディスプレイ１３０からの案内の後、映像音声出力機器１と無線ヘッドフォン２との間で、Bluetoothの通信プロトコルに従った無線通信が開始される（ＳＴ１０１、ＳＴ２０１）。これにより、互いの機器が認証される。基準信号発生回路１０２は、正弦波などの基準音声信号を発生し、音声遅延符号化回路１０４及び位相比較及び遅延量計算回路１１２へ出力する。音声遅延符号化回路１０４は、基準信号発生回路１０２からの基準音声信号を符号化し（ＳＴ１０２）、音声変調回路１０５へ出力する。音声変調回路１０５は、音声遅延符号化回路１０４からの基準音声信号を変調し（ＳＴ１０３）、増幅器１０６へ出力する。増幅器１０６は、音声変調回路１０５からの基準音声信号を増幅し、アンテナ１０７へ出力する。アンテナ１０７は、増幅器１０６により増幅された基準音声信号を送信する。

これに対応して、無線ヘッドフォン２のアンテナ２０１が、映像音声出力機器１のアンテナ１０７から送信された基準音声信号を受信し（ＳＴ２０２）、増幅器２０２へ出力する。増幅器２０２は、アンテナ１０７からの基準音声信号を増幅し、音声復号復調回路２０３へ出力する。音声復号復調回路２０３は、増幅器２０２からの基準音声信号を復調し（ＳＴ２０３）、さらに復号化し（ＳＴ２０３）、イヤースピーカ２０４へ出力する。イヤースピーカ２０４は、音声復号復調回路２０３からの基準音声信号を出力する（ＳＴ２０４）。

さらに、マイク１１１は、イヤースピーカ２０４から出力される音声を入力し（ＳＴ１０４）、位相比較及び遅延量計算回路１１２へ出力する。位相比較及び遅延量計算回路１１２は、基準信号発生回路１０２からの基準音声信号と、マイク１１１からの入力音声信号とを比較し（ＳＴ１０５）、無線ヘッドフォン２の音声出力遅延時間を検出する（ＳＴ１０６）。つまり、基準信号発生回路１０２による基準音声信号の発生タイミングと、マイク１１１による音声信号の入力タイミングの差分（音声出力遅延時間）が検出される（ＳＴ１０６）。検出された音声出力遅延時間は、メモリ１４１に記憶される（ＳＴ１０７）。

なお、映像音声出力機器１は、無線ヘッドフォン２との無線通信において、無線ヘッドフォン２を識別している。つまり、映像音声出力機器１は無線ヘッドフォン２との無線通信において無線ヘッドフォン２の機器情報を取得している。取得された機器情報は、メモリ１０３に記憶される。さらに、メモリ１４１において、検出された音声出力遅延時間と機器情報とが対応付けられて記憶される。これにより、このあと、通信相手機器から登録済みの機器情報が取得された場合には、通信相手機器の音声出力遅延時間検出を省略することができ、登録済みの機器情報に対応付けられた音声出力遅延時間を利用することができる。以上で、音声出力遅延時間検出が完了し、例えば、ディスプレイ１３０は、「無線ヘッドフォンのチェックが正常終了しました。無線ヘッドフォンを使用できます。」と案内する。

この後、ユーザが、映像音声出力機器１に対してコンテンツの再生を指示すると、ＣＰＵ１４０は外部音声出力先をチェックする。例えば、無線通信により、無線ヘッドフォン２が確認され、この無線ヘッドフォン２から取得された機器情報と、メモリ１４１に記憶された登録済みの機器情報とが一致すれば、この機器情報に対応付けられた音声出力遅延時間が、メモリ１０８とメモリ１２２に設定される。

再生が指示されたコンテンツに含まれる音声信号は、音声信号処理回路１０１、音声遅延符号化回路１０４、音声変調回路１０５、増幅器１０６、アンテナ１０７を介して送信され、アンテナ２０１、増幅器２０２、音声復号復調回路２０３を介して、イヤースピーカー２０４から出力される。

また、再生が指示されたコンテンツに含まれる音声信号は、音声信号処理回路１０１、音声遅延回路１０９を介して、スピーカ１１０から出力される。このとき、音声遅延回路１０９は、メモリ１０８に記憶された音声出力遅延時間に基づき音声信号を遅らせる。つまり、音声信号処理回路１０１からの音声信号の出力タイミングに対して、音声遅延回路１０９からの音声信号の出力タイミングを、メモリ１０８に記憶された音声出力遅延時間相当だけ遅らせる。言い換えると、音声信号処理回路１０１からの音声信号は、符号化されずに変調もされずに、音声出力遅延時間相当だけ遅延され、音声遅延回路１０９と有線接続されたスピーカ１１０へ入力される。なお、音声出力遅延時間相当とは音声出力遅延時間＋αであり、例えばαは音声出力遅延時間の検出誤差である。

また、再生が指示されたコンテンツに含まれる映像信号、つまり上記した音声信号に同期した映像信号は、映像信号処理回路１２１、映像遅延回路１２３を介して、ディスプレイ１３０に表示される。このとき、映像遅延回路１２３は、メモリ１２２に記憶された音声出力遅延時間に基づき映像信号を遅らせる。つまり、音声信号処理回路１０１からの音声信号の出力タイミングに対して、映像遅延回路１２３からの映像信号の出力タイミングを、メモリ１２２に記憶された音声出力遅延時間相当だけ遅らせる。

以上により、上記コンテンツに含まれる音声信号は、無線ヘッドフォン２のイヤースピーカ２０４から所定時間遅延（＝検出された音声出力遅延時間）して出力され、また、映像音声出力機器１のスピーカ１１０からも所定時間遅延して出力され、さらに、上記コンテンツに含まれる映像信号（上記した音声信号に同期した映像信号）も、映像音声出力機器１のディスプレイ１３０から所定時間遅延して出力される。即ち、上記コンテンツに含まれる音声信号と映像信号のすべてが、所定時間遅延して出力されることになり、言い換えれば、上記コンテンツに含まれる音声信号と映像信号が同期出力されることになる。

次に、一台の映像音声出力機器からの音声信号を複数の無線ヘッドフォンで受信し出力するケースについて説明する。図２は、映像音声出力システムの第２例を示す図である。図２に示すように、映像音声出力システムは、映像音声出力機器１と、複数の無線ヘッドフォン（例えば無線ヘッドフォン２、無線ヘッドフォン３）を備えおり、映像音声出力機器１及び無線ヘッドフォン２、３は、例えばBluetoothと呼ばれる規格に沿った無線通信を実行することが可能に構成されている。

無線ヘッドフォン２の構成は上記説明した通りであり、無線ヘッドフォン３の構成も無線ヘッドフォン２の構成と基本的に同じである。図２に示す映像音声出力機器１の基本構成は、図１に示す映像音声出力装置１と同じであるが、多少、追加構成がある。つまり、図２に示す映像音声出力機器１は、音声信号処理回路１０１ａ,ｂ、基準信号発生回路１０２、メモリ１０３、音声遅延符号化回路１０４、音声変調回路１０５、増幅器１０６、アンテナ１０７、メモリ１０８、音声遅延回路１０９、スピーカ１１０、マイク１１１、位相比較及び遅延量計算回路１１２、映像信号処理回路１２１、メモリ１２２、映像遅延回路１２３、ディスプレイ１３０、ＣＰＵ１４０、メモリ１４１を備え、さらに、映像処理回路１２４、メモリ１２５、映像遅延回路１２６、フレーム合成回路１２７、メモリ１２８、映像遅延回路１２９を備える。

図２に示すように、映像音声出力装置１の通信相手機器が複数存在する場合、つまり、無線ヘッドフォン２と無線ヘッドフォン３が存在する場合、無線ヘッドフォン２の遅延時間と無線ヘッドフォン３の遅延時間の夫々に対応する必要がある。つまり、無線ヘッドフォン２の遅延時間と無線ヘッドフォン３の遅延時間が同じとは限らず、例えば、無線ヘッドフォン２と無線ヘッドフォン３の製造メーカが異なれば、両者の遅延時間が違うことは十分に予測できる。また、無線ヘッドフォン２と無線ヘッドフォン３の製造メーカが同じであったとしても、両者の機種の違いや製造誤差により両者の遅延時間が異なることもあり得る。

そこで、既に説明したように、映像音声出力装置１が、無線ヘッドフォン２の遅延時間と無線ヘッドフォン３の遅延時間とを検出する。検出手順は、例えば、ディスプレイ１３０に案内され、ユーザは案内に従って、順に、無線ヘッドフォン２をマイク１１１に近づけ、次に、無線ヘッドフォン３をマイク１１１に近づける。その結果、メモリ１４１には、無線ヘッドフォン２の機器情報と同じ無線ヘッドフォン２の音声出力遅延時間とが対応付けて記憶され、また、無線ヘッドフォン３の機器情報と同じ無線ヘッドフォン３の音声出力遅延時間とが対応付けて記憶される。

例えば、無線ヘッドフォン２の音声出力遅延時間が10msであり、無線ヘッドフォン３の音声出力遅延時間が50msであると仮定する。ＣＰＵ１４０は、各無線ヘッドフォンの音声出力遅延時間のうちの最大遅延時間と各無線ヘッドフォンの音声出力遅延時間との差分時間を算出し、音声遅延回路１０９は、差分時間相当だけ各無線ヘッドフォンへ送信する各音声信号を遅延する。なお、差分時間相当とは差分時間＋αであり、例えばαは差分時間の検出誤差である。

つまり、ＣＰＵ１４０は、無線ヘッドフォン２の音声出力遅延時間（10ms）と無線ヘッドフォン３の音声出力遅延時間（50ms）とを比較し、最大遅延時間（50ms）を検出し、無線ヘッドフォン２の音声出力遅延時間（10ms）と最大遅延時間（50ms）との差分時間（40ms）と、無線ヘッドフォン３の音声出力遅延時間（50ms）と最大遅延時間（50ms）との差分時間（0ms）を算出する。つまり、無線ヘッドフォン２に適用すべき差分時間（40ms）と、無線ヘッドフォン３に適用すべき差分時間（0ms）が算出される。

メモリ１０３は、無線ヘッドフォン２の機器情報と差分時間（40ms）とを対応付けて記憶し、無線ヘッドフォン３の機器情報と差分時間（0ms）とを対応付けて記憶する。メモリ１０８は、最大遅延時間（50ms）を記憶する。メモリ１２８も、最大遅延時間（50ms）を記憶する。

音声遅延符号化回路１０４は、メモリ１０３に記憶された無線ヘッドフォン２に適用すべき差分時間（40ms）に基づき、無線ヘッドフォン２に対する音声信号を差分時間（40ms）相当だけ遅らせて出力し、また、メモリ１０３に記憶された無線ヘッドフォン３に適用すべき差分時間（0ms）に基づき、無線ヘッドフォン３に対する音声信号を遅延させずに出力する。その結果、無線ヘッドフォン２のイヤースピーカ２０４からは、音声出力遅延時間（10ms）に差分時間（40ms）を加えた合計遅延時間（50ms）だけ遅れて音声が出力される。無線ヘッドフォン３のイヤースピーカ３０４からは、音声出力遅延時間（50ms）に差分時間（0ms）を加えた合計遅延時間（50ms）だけ遅れて音声が出力される。

また、音声遅延回路１０９は、メモリ１０３に記憶された最大遅延時間（50ms）に基づき、スピーカ１１０に対する音声信号を最大遅延時間（50ms）相当だけ遅らせて出力する。その結果、スピーカ１１０からは、最大遅延時間（50ms）だけ遅れて音声が出力される。なお、最大遅延時間相当とは最大遅延時間＋αであり、例えばαは最大遅延時間の検出誤差である。

また、映像信号処理回路１２１からの映像信号は、各回路を経由し、映像遅延回路１２９に出力され、映像遅延回路１２９は、メモリ１２８に記憶された最大遅延時間（50ms）に基づき、ディスプレイ１３０に対する映像信号を最大遅延時間（50ms）相当だけ遅らせて出力する。その結果、ディスプレイ１３０からは、最大遅延時間（50ms）だけ遅れて映像が出力される。

以上により、図３Ａ及び図３Ｂに示すような効果が得られる。つまり、図３Ａに示すように、遅延補正前は、無線ヘッドフォン２から出力される音声信号の遅延時間が10msであり、無線ヘッドフォン３から出力される音声信号の遅延時間が50msであり、スピーカから出力される音声信号の遅延時間が0msであり、ディスプレイ１３０から出力される映像信号の遅延時間が0msであり、無線ヘッドフォン２から出力される音声信号、無線ヘッドフォン３から出力される音声信号、スピーカから出力される音声信号、ディスプレイ１３０から出力される映像信号の間で同期が外れている。

これに対して、図３Ｂに示すように、遅延補正後は、無線ヘッドフォン２から出力される音声信号の遅延時間が50msであり、無線ヘッドフォン３から出力される音声信号の遅延時間が50msであり、スピーカから出力される音声信号の遅延時間が50msであり、ディスプレイ１３０から出力される映像信号の遅延時間が50msであり、無線ヘッドフォン２から出力される音声信号、無線ヘッドフォン３から出力される音声信号、スピーカから出力される音声信号、ディスプレイ１３０から出力される映像信号の間で同期が取れている。

なお、上記説明では、１画面の映像と音声の同期について説明したが、複数画面（ダブルウインドウ、マルチウインドウ）の映像と音声を同期させることもできる。例えば、画面Ａの映像信号を映像信号処理回路１２１で処理し、画面Ｂの映像信号を映像信号処理回路１２４で処理するとする。フレーム合成回路１２７は、映像信号処理回路１２１から出力される映像信号と、映像信号処理回路１２４から出力される映像信号とを合成し、合成映像信号を映像遅延回路１２９へ出力する。映像遅延回路１２９は、メモリ１２８に記憶された最大遅延時間に基づき、ディスプレイ１３０に対して映像信号を最大遅延時間相当だけ遅らせて出力する。その結果、ディスプレイ１３０からは、最大遅延時間だけ遅れて合成映像が出力される。

次に、図２に示す映像音声出力装置１が、複数のコンテンツを同時出力するケースについて説明する。例えば、コンテンツＡに含まれる映像とコンテンツＢに含まれる映像を１画面（ディスプレイ１３０）で出力し、コンテンツＡに含まれる音声を無線ヘッドフォン２で出力し、コンテンツＢに含まれる音声を無線ヘッドフォン３で出力するケースを想定する。

例えば、無線ヘッドフォン３の遅延時間が無線ヘッドフォン２の遅延時間より長い場合、無線ヘッドフォン３の遅延時間に合わせて、コンテンツＡ、コンテンツＢを再生することが考えられる。ところが、コンテンツＡがゲームソフトに対応している場合、コンテンツＡの遅延時間は短いほうが望ましい。つまり、コンテンツＡをコンテンツＢにあわせて遅延させてしまうのは好ましくない。

そこで、映像音声出力装置１は、図４Ａに示すようにコンテンツＡとコンテンツＢを再生することができ、また図４Ｂに示すようにコンテンツＡとコンテンツＢを再生することができる。

図４Ａに示すように、無線ヘッドフォン２の遅延時間が10msであり、無線ヘッドフォン３の遅延時間が50msである場合、音声遅延符号化回路１０４は、コンテンツＡに含まれる音声信号を符号化して出力し、コンテンツＢに含まれる音声信号も符号化して出力する。音声変調回路１０５は、コンテンツＡに含まれる音声信号を変調して出力し、コンテンツＢに含まれる音声信号も変調して出力する。増幅器１０６は、コンテンツＡに含まれる音声信号を増幅し、コンテンツＢに含まれる音声信号も増幅する。アンテナ１０７は、コンテンツＡに含まれる音声信号を送信し、コンテンツＢに含まれる音声信号も送信する。

これに対応して、無線ヘッドフォン２のアンテナ２０１を介して受信されるコンテンツＡの音声信号は、増幅器２０２で増幅され、音声復号復調回路２０３で復調され復号化され、イヤースピーカ２０４から出力される。即ち、イヤースピーカ２０４から出力される音声信号の遅延時間は10msとなる。同様に、無線ヘッドフォン３のアンテナ３０１を介して受信されるコンテンツＢの音声信号は、増幅器３０２で増幅され、音声復号復調回路３０３で復調され復号化され、イヤースピーカ３０４から出力される。即ち、イヤースピーカ３０４から出力される音声信号の遅延時間は50msとなる。

映像遅延回路１２１は、コンテンツＡに含まれる映像信号を無線ヘッドフォン２の遅延時間（10ms）だけ遅らせ、映像遅延回路１２４は、コンテンツＢに含まれる映像信号を無線ヘッドフォン３の遅延時間（50ms）だけ遅らせる。フレーム合成回路１２７は、無線ヘッドフォン２の遅延時間（10ms）だけ遅延されたコンテンツＡの映像信号と、無線ヘッドフォン３の遅延時間（50ms）だけ遅延されたコンテンツＢの映像信号とを合成する。これにより、ディスプレイ１３０は、無線ヘッドフォン２の遅延時間（10ms）だけ遅延されたコンテンツＡの映像信号と、無線ヘッドフォン３の遅延時間（50ms）だけ遅延されたコンテンツＢの映像信号との合成映像信号を出力する。

以上により、コンテンツＡの遅延時間を最小限に保ちつつ、コンテンツＡの音声と映像を同期させることができ、また、コンテンツＢの音声と映像を同期させることもできる。

さらに、図４Ｂに示すコンテンツＡ、コンテンツＢの再生により、映像遅延処理に費やされるメモリ容量を節約することもできる。

図４Ｂに示すように、無線ヘッドフォン２の遅延時間が10msであり、無線ヘッドフォン３の遅延時間が50msである場合、音声遅延符号化回路１０４は、コンテンツＡに含まれる音声信号を符号化して出力し、コンテンツＢに含まれる音声信号も符号化して出力する。音声変調回路１０５は、コンテンツＡに含まれる音声信号を変調して出力し、コンテンツＢに含まれる音声信号も変調して出力する。増幅器１０６は、コンテンツＡに含まれる音声信号を増幅し、コンテンツＢに含まれる音声信号も増幅する。アンテナ１０７は、コンテンツＡに含まれる音声信号を送信し、コンテンツＢに含まれる音声信号も送信する。

無線ヘッドフォン２の遅延時間（10ms）より無線ヘッドフォン３の遅延時間（50ms）が大きいことから、映像遅延回路１２１は、コンテンツＡに含まれる映像信号を遅延させることなく出力し、映像遅延回路１２４は、コンテンツＢに含まれる映像信号を無線ヘッドフォン３の遅延時間（50ms）と無線ヘッドフォン２の遅延時間（10ms）との差分時間（40ms）だけ遅らせて出力する。なお、無線ヘッドフォン３の遅延時間より無線ヘッドフォン２の遅延時間が大きい場合には、映像遅延回路１２４は、コンテンツＢに含まれる映像信号を遅延させることなく出力し、映像遅延回路１２１は、コンテンツＡに含まれる映像信号を無線ヘッドフォン２の遅延時間と無線ヘッドフォン３の遅延時間との差分時間だけ遅らせて出力する。

フレーム合成回路１２７は、コンテンツＡの映像信号と、差分時間（40ms）だけ遅延されたコンテンツＢの映像信号とを合成する。或いは、コンテンツＢの映像信号と、差分時間だけ遅延されたコンテンツＡの映像信号とを合成する。無線ヘッドフォン２の遅延時間（10ms）より無線ヘッドフォン３の遅延時間（50ms）が大きいことから、映像遅延回路１２９は、無線ヘッドフォン２の遅延時間（10ms）だけ、合成映像信号を遅延させる。これにより、ディスプレイ１３０は、無線ヘッドフォン２の遅延時間（10ms）だけ遅延されたコンテンツＡの映像信号と、無線ヘッドフォン３の遅延時間（50ms）だけ遅延されたコンテンツＢの映像信号との合成映像信号を出力する。なお、無線ヘッドフォン３の遅延時間より無線ヘッドフォン２の遅延時間が大きい場合には、映像遅延回路１２９は、無線ヘッドフォン３の遅延時間だけ、合成映像信号を遅延させる。これにより、ディスプレイ１３０は、無線ヘッドフォン２の遅延時間だけ遅延されたコンテンツＡの映像信号と、無線ヘッドフォン３の遅延時間だけ遅延されたコンテンツＢの映像信号との合成映像信号を出力する。

以上により、コンテンツＡの遅延時間を最小限に保ちつつ、コンテンツＡの音声と映像を同期させることができ、また、コンテンツＢの音声と映像を同期させることもできる。しかも、映像遅延処理に費やされるメモリ容量を節約することもできる。図４Ａのケースでは、10msの遅延と50msの遅延で合計60msの遅延のためのメモリ容量が必要であるのに対して、図４Ｂのケースでは、40msの遅延と10msの遅延で合計50msの遅延のためのメモリ容量で足りる。音声信号に比べて映像信号を遅延させるにはより多くのメモリが必要である。従って、図４Ｂに示すように、映像信号遅延のために必要なメモリ容量を節約する技術は極めて有効である。

上記した映像音声出力機器１は、無線ヘッドフォン側に特別な機能を要求することなく、映像と音声とを同期させることができるため、汎用性に優れる。例えば、映像音声出力機器１と無線ヘッドフォン２、３側とが同じ通信規格（例えばBluetooth）に対応しているだけで、映像と音声とを同期させることができる。

なお、本実施形態では、無線ヘッドフォンを例に説明したが、たとえば無線5.1chスピーカにも適用できる。

なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

映像音声出力システムの第１例を示す図である。映像音声出力システムの第２例を示す図である。遅延補正前における、各無線ヘッドフォンからの音声出力、スピーカからの音声出力、及びディスプレイからの映像出力の同期外れ状態を示す図である。遅延補正後における、各無線ヘッドフォンからの音声出力、スピーカからの音声出力、及びディスプレイからの映像出力の同期状態を示す図である。異なるコンテンツの同時再生の第１例を示す図である。異なるコンテンツの同時再生の第２例を示す図である。遅延時間の検出から登録までの処理の一例を示すフローチャートである。

符号の説明

１…映像音声出力機器、２、３…無線ヘッドフォン、１０１…音声信号処理回路、１０２…基準信号発生回路、１０３…メモリ、１０４…音声遅延符号化回路、１０５…音声変調回路、１０６…増幅器、１０７…アンテナ、１０８…メモリ、１０９…音声遅延回路、１１０…スピーカ、１１１…マイク、１１２…位相比較及び遅延量計算回路、１２１…映像信号処理回路、１２２…メモリ、１２３…映像遅延回路、１２４…映像処理回路、１２５…メモリ、１２６…映像遅延回路、１２７…フレーム合成回路、１２８…メモリ、１２９…映像遅延回路、１３０…ディスプレイ、１４０…ＣＰＵ、１４１…メモリ

Claims

無線通信により受信した音声信号に基づき音声を出力する複数の無線音声出力機器に対して無線通信により基準音声信号を送信し、各無線音声出力機器から出力される音声を入力し、各無線音声出力機器に対する前記基準音声信号の送信タイミングと各無線音声出力機器からの音声入力タイミングに基づき、各無線音声出力機器の音声出力遅延時間を検出する遅延時間検出手段と、
各無線音声出力機器の音声出力遅延時間のうちの最大遅延時間と各無線音声出力機器の音声出力遅延時間との差分時間相当だけ各無線音声出力機器へ送信する各音声信号を遅延する音声信号遅延手段と、
前記音声信号遅延手段により遅延された各音声信号を、無線通信により各無線音声出力機器に送信する音声信号送信手段と、
前記音声信号に同期した映像信号を前記最大遅延時間相当だけ遅延して出力する映像信号出力手段と、
を備えたことを特徴とする映像音声出力装置。
各無線音声出力機器へ送信する各音声信号を符号化し、符号化された各音声信号を変調する音声信号符号化変調手段を備え、
前記音声信号送信手段は、符号化され変調された各音声信号を各無線音声出力機器へ送信する、
ことを特徴とする請求項１に記載の映像音声出力装置。
前記最大遅延時間相当だけ遅延させた符号化せずに変調していない音声信号を有線接続された音声出力機器へ出力する音声信号出力手段を備えたことを特徴とする請求項２に記載の映像音声出力装置。
前記映像信号出力手段は、遅延前の各音声信号に同期した複数の映像信号の夫々を前記最大遅延時間相当だけ遅延して出力することを特徴とする請求項１に記載の映像音声出力装置。
無線通信により受信した音声信号に基づき音声を出力する第１の無線音声出力機器に対して無線通信により第１の基準音声信号を送信し、前記第１の無線音声出力機器から出力される音声を入力し、前記第１の無線音声出力機器に対する前記第１の基準音声信号の送信タイミングと前記第１の無線音声出力機器からの音声入力タイミングに基づき、前記第１の無線音声出力機器の第１の音声出力遅延時間を検出し、無線通信により受信した音声信号に基づき音声を出力する第２の無線音声出力機器に対して無線通信により第２の基準音声信号を送信し、前記第２の無線音声出力機器から出力される音声を入力し、前記第２の無線音声出力機器に対する前記第２の基準音声信号の送信タイミングと前記第２の無線音声出力機器からの音声入力タイミングに基づき、前記第２の無線音声出力機器の第２の音声出力遅延時間を検出する遅延時間検出手段と、
無線通信により前記第１の無線音声出力機器に対して第１の音声信号を送信し、無線通信により前記第２の無線音声出力機器に対して第２の音声信号を送信する音声信号送信手段と、
前記第１の音声出力遅延時間より前記第２の音声出力遅延時間が大きい第１の条件の場合、前記第２の音声信号に同期した第２の映像信号を前記第２の音声出力遅延時間と前記第１の音声出力遅延時間との第１の差分時間相当だけ遅延し、前記第２の音声出力遅延時間より前記第１の音声出力遅延時間が大きい第２の条件の場合、前記第１の音声信号に同期した第１の映像信号を前記第１の音声出力遅延時間と前記第２の音声出力遅延時間との第２の差分時間相当だけ遅延する映像信号遅延手段と、
前記第１の条件の場合、前記第１の音声信号に同期し且つ遅延の無い第１の映像信号と前記映像信号遅延手段により遅延された前記第２の映像信号とを合成し、前記第２の条件の場合、前記第２の音声信号に同期し且つ遅延の無い第２の映像信号と前記映像信号遅延手段により遅延された前記第１の映像信号とを合成する映像合成手段と、
前記第１の条件の場合、前記映像合成手段により合成された合成映像信号を前記第１の音声出力遅延時間相当だけ遅延して出力し、前記第２の条件の場合、前記映像合成手段により合成された合成映像信号を前記第２の音声出力遅延時間相当だけ遅延して出力する映像信号出力手段と、
を備えたことを特徴とする映像音声出力装置。
無線通信により受信した音声信号に基づき音声を出力する複数の無線音声出力機器に対して無線通信により基準音声信号を送信し、各無線音声出力機器から出力される音声を入力し、各無線音声出力機器に対する前記基準音声信号の送信タイミングと各無線音声出力機器からの音声入力タイミングに基づき、各無線音声出力機器の音声出力遅延時間を検出し、
各無線音声出力機器の音声出力遅延時間のうちの最大遅延時間と各無線音声出力機器の音声出力遅延時間との差分時間相当だけ各無線音声出力機器へ送信する各音声信号を遅延し、
前記遅延された各音声信号を、無線通信により各無線音声出力機器に送信するとともに、前記音声信号に同期した映像信号を前記最大遅延時間相当だけ遅延して出力する、
ことを特徴とする映像音声出力方法。
無線通信により受信した音声信号に基づき音声を出力する第１の無線音声出力機器に対して無線通信により第１の基準音声信号を送信し、前記第１の無線音声出力機器から出力される音声を入力し、前記第１の無線音声出力機器に対する前記第１の基準音声信号の送信タイミングと前記第１の無線音声出力機器からの音声入力タイミングに基づき、前記第１の無線音声出力機器の第１の音声出力遅延時間を検出し、無線通信により受信した音声信号に基づき音声を出力する第２の無線音声出力機器に対して無線通信により第２の基準音声信号を送信し、前記第２の無線音声出力機器から出力される音声を入力し、前記第２の無線音声出力機器に対する前記第２の基準音声信号の送信タイミングと前記第２の無線音声出力機器からの音声入力タイミングに基づき、前記第２の無線音声出力機器の第２の音声出力遅延時間を検出し、
前記第１の音声出力遅延時間より前記第２の音声出力遅延時間が大きい第１の条件の場合、前記第２の音声信号に同期した第２の映像信号を前記第２の音声出力遅延時間と前記第１の音声出力遅延時間との第１の差分時間相当だけ遅延し、前記第２の音声出力遅延時間より前記第１の音声出力遅延時間が大きい第２の条件の場合、前記第１の音声信号に同期した第１の映像信号を前記第１の音声出力遅延時間と前記第２の音声出力遅延時間との第２の差分時間相当だけ遅延し、
前記第１の条件の場合、前記第１の音声信号に同期し且つ遅延の無い第１の映像信号と前記遅延された前記第２の映像信号とを合成し、前記第２の条件の場合、前記第２の音声信号に同期し且つ遅延の無い第２の映像信号と前記遅延された前記第１の映像信号とを合成し、
前記第１の条件の場合、前記合成された合成映像信号を前記第１の音声出力遅延時間相当だけ遅延して出力するとともに、無線通信により前記第１の無線音声出力機器に対して第１の音声信号を送信し、無線通信により前記第２の無線音声出力機器に対して第２の音声信号を送信し、前記第２の条件の場合、前記合成された合成映像信号を前記第２の音声出力遅延時間相当だけ遅延して出力するとともに、無線通信により前記第１の無線音声出力機器に対して第１の音声信号を送信し、無線通信により前記第２の無線音声出力機器に対して第２の音声信号を送信する、
ことを特徴とする映像音声出力方法。