JP2016171418A

JP2016171418A - 遅延制御装置

Info

Publication number: JP2016171418A
Application number: JP2015049130A
Authority: JP
Inventors: 守荒谷; Mamoru Araya
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2015-03-12
Filing date: 2015-03-12
Publication date: 2016-09-23

Abstract

【課題】ユーザに違和感を与えることなく送信側及び受信側で映像及び音声を再生するための遅延制御装置を提供する。【解決手段】ＡＶプレイヤ２１のＡＶ出力部がディスプレイ２２及びスピーカ２３に映像信号及び映像信号に関連づいた音声信号を出力する。通信スタック２５が、ＡＶ出力部から出力された映像信号と音声信号とを端末装置３に送信する。集音マイク２６が、スピーカ２３により再生された音声信号及び端末装置３により再生された音声信号を取得する。ＡＶプレイヤ２１の遅延制御部が、集音マイク２６により取得されたスピーカ２３により再生された音声信号である第１音声と端末装置３により再生された音声信号である第１音声との差分時間を算出する。ＡＶプレイヤ２１のＣＰＵが、差分時間に基づき、ディスプレイ２２に出力される映像信号とスピーカ２３に出力される音声信号とを遅延させる遅延制御を行う。【選択図】図１

Description

本発明は、遅延制御装置、遅延制御方法、遅延制御プログラム、及び、遅延制御プログラムを格納した記録媒体に関するものである。

例えば、１つのＤＶＤ再生機器が再生している映像及び音声を他のモニタに同時に再生できるようにした車両ＬＡＮシステムが提案されている（特許文献１）。このシステムにおいては、１つのＤＶＤ再生機器（送信側）が他のモニタ（受信側）に対して映像及び音声を送信している。このため、他のモニタで再生される映像及び音声がＤＶＤ再生機器で再生されている映像及び音声よりも遅延することがある。特に、映像及び音声を無線送信する際に、エンコード及びデコードを行うと遅延がさらに大きくなる。

車両などの狭い空間で、ＤＶＤ再生機器と他のモニタとの間で映像及び音声の遅延が生じるとユーザは違和感が生じる恐れがある、という問題が一例として挙げられる。特に、音声の再生をＤＶＤ再生機器と他のモニタの何れか一方で共有した場合、再生されている映像と音声との間にずれが生じて、違和感が大きくなる。

特開２００４−５６１６７号公報

そこで、本発明は、例えば、ユーザに違和感を与えることなく送信側及び受信側で映像及び音声を再生するための遅延制御装置、遅延制御方法、遅延制御プログラム、及び、遅延制御プログラムを格納した記録媒体を提供することを課題の一例とする。

上記課題を解決するために、請求項１に記載された発明は、表示部に映像信号を出力する映像出力部と、音声再生部に、前記映像信号に関連づいた音声信号を出力する音声出力部と、前記映像信号と前記音声信号とを端末装置に送信する送信部と、前記音声再生部により再生された前記音声信号である第１音声と、前記端末装置により再生された前記音声信号である第２音声とを取得する取得部と、前記第１音声と、前記第２音声との差分時間を算出する算出部と、前記差分時間に基づき、前記表示部に出力される映像信号と前記音声再生部に出力される音声信号とを遅延させる遅延制御を行う制御部と、を備えることを特徴とする遅延制御装置である。

請求項４に記載された発明は、表示部に映像信号を出力する工程と、音声再生部に、前記映像信号に関連づいた音声信号を出力する工程と、前記映像信号と前記音声信号とを端末装置に送信する工程と、前記音声再生部により再生された前記音声信号である第１音声と、前記端末装置により再生された前記音声信号である第２音声とを取得する工程と、前記第１音声と、前記第２音声との差分時間を算出する工程と、前記差分時間に基づき、前記表示部に出力される映像信号と前記音声再生部に出力される音声信号とを遅延させる遅延制御を行う工程と、を備えることを特徴とする遅延制御方法である。

請求項５に記載された発明は、請求項４に記載の遅延制御方法を、コンピュータにより実行させることを特徴とする遅延制御プログラムである。

請求項６に記載された発明は、請求項５に記載の遅延制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体である。

本発明の遅延制御装置としての送信側再生装置を組み込んだ再生システムの一実施例を示すブロック図である。図１に示すディスプレイ及びスピーカ、端末装置の車内での配置を説明するための説明図である。第１実施例における図１に示すＡＶプレイヤの機能ブロック図である。第１実施例における図１に示すＡＶプレイヤの処理手順を説明するためのフローチャートである。第２実施例における図１に示すＡＶプレイヤの機能ブロック図である。第３実施例におけるＡＶプレイヤのＣＰＵの処理手順を説明するためのフローチャート。

以下、本発明の一実施形態にかかる遅延制御装置を説明する。映像出力部が、表示部に映像信号を出力する。音声出力部が、音声再生部に、映像信号に関連づいた音声信号を出力する。送信部が、映像信号と音声信号とを端末装置に送信する。取得部が、音声再生部により再生された音声信号である第１音声と端末装置により再生された音声信号である第２音声を取得する。算出部が、第１音声と、第２音声との差分時間を算出する。制御部が、差分時間に基づき、表示部に出力される映像信号と音声再生部に出力される音声信号とを遅延させる遅延制御を行う。これにより、端末装置への映像信号及び音声信号の送信が遅延した分だけ表示部及び音声再生部に出力される映像信号及び音声信号を遅延させることができるため、送信側の表示部及び音声再生部と受信側の端末装置との間で映像信号、音声信号のずれがなくなり、ユーザに違和感を与えることない。

また、停止制御部が、差分時間を算出した後、端末装置又は音声再生部の何れか一方による音声信号の再生を停止させるようにしてもよい。これにより、音声信号の再生を端末装置又は音声再生部の何れか他方のみで行うことができる。

また、受信部が、端末装置の識別情報を受信し、記憶部には、算出部が算出した差分時間と識別情報とが関連づけられて記憶され、制御部が、記憶部に記憶された識別情報の端末装置との通信が開始されると、当該識別情報に対応する差分時間に基づき、遅延制御を行うようにしてもよい。これにより、一度、差分時間が算出された端末装置が再び接続された場合に、音声信号の取得と差分時間の算出を省略することができ、迅速に表示部及び音声再生部と端末装置とで映像信号の再生を行うことができる。

また、本発明の一実施形態にかかる遅延制御方法は、表示部に映像信号を出力する工程と、音声再生部に、前記映像信号に関連づいた音声信号を出力する工程と、前記映像信号と前記音声信号とを端末装置に送信する工程と、前記音声再生部により再生された前記音声信号である第１音声と、前記端末装置により再生された前記音声信号である第２音声とを取得する工程と、前記第１音声と、前記第２音声との差分時間を算出する工程と、前記差分時間に基づき、前記表示部に出力される映像信号と前記音声再生部に出力される音声信号とを遅延させる遅延制御を行う工程と、を備える。これにより、端末装置への映像信号及び音声信号の送信が遅延した分だけ表示部及び音声再生部に出力される映像信号及び音声信号を遅延させることができるため、送信側の表示部及び音声再生部と受信側の端末装置との間で映像信号、音声信号のずれがなくなり、ユーザに違和感を与えることない。

また、上述した遅延制御方法をコンピュータにより実行させる通信制御プログラムとしてもよい。このようにコンピュータにより実行されるプログラムであるので、専用のハードウエア等が不要となり、汎用の情報処理装置にインストールして機能させることができる。

また、上述した遅延制御プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

（第１実施例）
次に、上述した遅延制御装置及び遅延制御方法について、図１〜図３を参照して以下説明する。図１は、本発明の遅延制御装置としての送信側再生装置を組み込んだ再生システムの一実施例を示すブロック図である。図２は、図１に示すディスプレイ及びスピーカ、端末装置の車内での配置を説明するための説明図である。図３は、第１実施例における図１に示すＡＶプレイヤの機能ブロック図である。

同図に示す再生システム１は、送信側再生装置２（以下単に再生装置２と略記）と、再生装置２から送信された映像信号及び音声信号を再生する受信側端末装置３（以下単に端末装置と略記）と、を備えている。再生装置２は、図２に示すように車両内に配置されている。

図１に示すように、再生装置２は、ＡＶプレイヤ２１と、表示部としてのディスプレイ２２と、音声再生部としてのスピーカ２３と、オーディオ／ビデオエンコーダ（以下ＡＶエンコーダと略記）２４と、送信部、受信部としての通信スタック２５と、取得部としての集音マイク２６と、を備えている。

ＡＶプレイヤ２１は、例えば、図示しないＲＯＭなどの記録媒体に記録された遅延制御プラグラムに従って動作を行うＣＰＵから構成されている。ＡＶプレイヤ２１は、図３に示すように、映像出力部、音声出力部としてのＡＶ出力部２１Ａと、ビデオ出力部２１Ｂ１、２１Ｂ２と、オーディオ出力部２１Ｃ１、２１Ｃ２と、遅延発生部２１Ｄと、遅延制御部２１Ｅと、を備えている。

ＡＶ出力部２１Ａは、例えばＤＶＤなどの記録媒体に記録された映像信号及び映像信号に関連づいた音声信号を読み取って出力する。ビデオ出力部２１Ｂ１、２１Ｂ２は、ＡＶ出力部２１Ａから出力された映像信号にフィルタリング処理など各種処理を施してディスプレイ２２、ＡＶエンコーダ２４に出力する。オーディオ出力部２１Ｃ１、２１Ｃ２は、ＡＶ出力部２１Ａから出力された音声信号にフィルタリング処理など各種処理を施してスピーカ２３、ＡＶエンコーダ２４に出力する。

遅延発生部２１Ｄは、ＡＶ出力部２１Ａとビデオ出力部２１Ｂ１及びオーディオ出力部２１Ｃ１との間に設けられ、ＡＶ出力部２１Ａから出力された映像信号及び音声信号を遅延してビデオ出力部２１Ｂ１及びオーディオ出力部２１Ｃ１に出力する。なお、遅延発生部２１Ｄは、ＡＶ出力部２１Ａとビデオ出力部２１Ｂ２及びオーディオ出力部２１Ｃ２との間には設けられていない。遅延制御部２１Ｅは、遅延発生部２１Ｄの制御を行う。

ディスプレイ２２は、上記ＡＶプレイヤ２１から出力された映像信号を再生する。ディスプレイ２２は、図２に示すように、例えば車両のインストルメントパネルに設けられており、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）素子等から構成される。

スピーカ２３は、上記ＡＶプレイヤ２１から出力された音声信号を再生する。スピーカ２３は、図２に示すように、本実施例では車両前方の左右、車両後方の左右にそれぞれ設けられている。

ＡＶエンコーダ２４は、ＡＶプレイヤ２１から出力された映像信号及び音声信号をエンコードして通信スタック２５に対して出力する。通信スタック２５は、例えばＷｉｆｉモジュールから構成され、スマートホンやタブレットなどの端末装置３に無線接続できるようになっている。通信スタック２５は、エンコードされた映像信号及び音声信号を無線送信する。集音マイク２６は、スピーカ２３や後述する端末装置３のスピーカ３４によって再生された音声を集音する周知のマイクである。

端末装置３は、図１に示すように、通信スタック３１と、オーディオ／ビデオデコーダ（以下ＡＶデコーダと略記）３２と、ディスプレイ３３と、スピーカ３４と、を備えている。通信スタック３１は、例えばＷｉｆｉモジュールから構成され、再生装置２に無線接続できるようになっている。通信スタック３１は、再生装置２からの映像信号及び音声信号を無線で受信し、ＡＶデコーダ３２に対して出力する。ＡＶデコーダ３２は、映像信号及び音声信号をデコードして、ディスプレイ３３及びスピーカ３４に出力する。ディスプレイ３３及びスピーカ３４は、映像信号及び音声信号を再生する。

上述した構成の再生システム１の動作について図４のフローチャートを参照して説明する。まず、ＡＶプレイヤ２１は、通信スタック２５を制御して、通信エリア内にあるＷｉｆｉ通信可能な端末装置３と無線接続を行う（ステップＳ１）。次に、ＡＶプレイヤ２１のＡＶ出力部２１Ａは、テスト用の音声信号を出力する（ステップＳ２）。ＡＶ出力部２１Ａから音声信号が出力されると、出力された音声信号がオーディオ出力部２１Ｃ１からスピーカ２３に出力され、スピーカ２３が音声信号を再生する。このとき、ＡＶ出力部２１Ａから出力された音声信号は遅延発生部２１Ｄによって遅延させられることなく、オーディオ出力部２１Ｃ１からスピーカ２３に対して出力される。

また、ＡＶ出力部２１Ａから音声信号が出力されると、出力された音声信号がオーディオ出力部２１Ｃ２からＡＶエンコーダ２４に出力される。ＡＶエンコーダ２４は音声信号をエンコードし、通信スタック２５はエンコードされた音声信号を無線送信する。この無線送信された音声信号を端末装置３の通信スタック３１が受信し、ＡＶデコーダ３２がデコードした後、スピーカ３４に出力され、スピーカ３４がデコードされた音声信号を再生する。即ち、ＡＶ出力部２１Ａから音声信号が出力されると、再生装置２及び端末装置３の双方のスピーカ２３、３４から音声信号が再生される。

次に、ＡＶプレイヤ２１の遅延制御部２１Ｅは、算出部として働き、集音マイク２６で集音した音声を取り込み、スピーカ２３により再生された音声信号である第１音声と、スピーカ３４により再生された音声信号である第２音声との差分時間を算出する（ステップＳ３）。その後、遅延制御部２１Ｅは、制御部として働き、算出した差分時間だけ遅延させるように遅延発生部２１Ｄを設定する（ステップＳ４）。次に、ＡＶプレイヤ２１は、停止制御部として働き、端末装置３のスピーカ３４による音声信号の再生を停止させる（ステップＳ５）。具体的には、ＡＶプレイヤ２１は、端末装置３に対して音声信号が送信されないようにするか、または、端末装置３に対して音声停止命令を送信して、端末装置３が音声信号を受信してもスピーカ３４が再生しないようにする。

その後、ＡＶプレイヤ２１のＡＶ出力部２１Ａは、ＤＶＤなどの記録媒体に記録された映像信号及び音声信号の出力を開始させる（ステップＳ６）。

遅延発生部２１Ｄによる遅延が０の場合、図２に示すように、映像１→映像２→映像３の順に映像信号が再生されると、ディスプレイ２２及びスピーカ２３では映像３が再生されているのに、端末装置３ではエンコーダ２４、デコーダ３２の影響により差分時間だけ遅れた映像２が再生され、ズレが生じる。上述した実施例によれば、遅延制御部２１Ｅが、算出した差分時間に基づき、ディスプレイ２２に出力される映像信号とスピーカ２３に出力される音声信号とを遅延させる制御を行う。これにより、ＡＶエンコーダ２４、ＡＶデコーダ３２により端末装置３への映像信号及び音声信号の送信が遅延した分だけ再生装置２のディスプレイ２２及びスピーカ２３に出力される映像信号及び音声信号を遅延させることができるため、図２に示すように、再生装置２のディスプレイ２２及びスピーカ２３と端末装置３との間で映像信号、音声信号のずれがなくなり、ユーザに違和感を与えることない。

また、上述した実施例によれば、ＡＶプレイヤ２１が、差分時間を算出した後、端末装置３による音声信号の再生を停止させている。これにより、音声信号の再生を再生装置２のスピーカ２３のみで行うことができる。

（第２実施例）
次に、第２実施例における遅延制御装置について、図５を参照して以下説明する。第１実施例と第２実施例とで異なる点は、ＡＶプレイヤ２１の構成である。第１実施例では、ビデオ出力部２１Ｂ１、２１Ｂ２及びオーディオ出力部２１Ｃ１、２１Ｃ２を再生装置２用と端末装置３用の２つそれぞれ設け、再生装置２のディスプレイ２２及びスピーカ２３に映像信号及び音声信号を出力するビデオ出力部２１Ｂ１及びオーディオ出力部２１Ｃ１とＡＶ出力部２１Ａとの間に遅延発生部２１Ｄを設けていた。

これに対して、第２実施例では、再生装置２と端末装置３とで共通のビデオ出力部２１Ｂ及びオーディオ出力部２１Ｃを用いる。このビデオ出力部２１Ｂ及びオーディオ出力部２１Ｃとディスプレイ２２、スピーカ２３及びＡＶエンコーダ２４との間には、第１実施例では、省略したがキャプチャモジュール２１Ｆが設けられている。キャプチャモジュール２１Ｆは、ビデオ出力部２１Ｂ及びオーディオ出力部２１Ｃから出力された映像信号及び音声信号をメモリに書き込んで、ディスプレイ２２、スピーカ２３、ＡＶエンコーダ２４に出力する。

第２実施例では、キャプチャモジュール２１Ｆとディスプレイ２２及びスピーカ２３の間に遅延発生部２１Ｄを設け、キャプチャモジュール２１ＦとＡＶエンコーダ２４との間には遅延発生部２１Ｄを設けない。この場合も第１実施例と同様に差分時間に基づき、ディスプレイ２２に出力される映像信号とスピーカ２３に出力される音声信号とを遅延できる。

（第３実施例）
次に、第３実施例における遅延制御装置について、以下説明する。第１及び第２実施例と第３実施例との構成は同一であるため、ここでは詳細な説明を省略する。第３実施例におけるＡＶプレイヤ２１の動作について図６を参照して説明する。なお、図６において、上述した第１実施例で既に説明した図４のフローチャートと同一のステップについては同一符号を付してその詳細な説明を省略する。

まず、ＡＶプレイヤ２１は、通信スタック２５を制御して、通信エリア内にあるＷｉｆｉ通信可能な端末装置３と無線接続を行う（ステップＳ１）。ステップＳ１において、ＡＶプレイヤ２１は、端末装置３からＩＤ（識別情報）を受信し、そのＩＤが図示しない記憶部に記憶されているか否かを判断する（ステップＳ７）。ＩＤが記憶部に記憶されていなければ（ステップＳ７でＮ）、ＡＶプレイヤ２１は、ステップＳ２及びＳ３に進む。ステップＳ２及びＳ３は第１実施例で既に説明したので、詳細は省略する。

ステップＳ３の後、ＡＶプレイヤ２１は、ステップＳ１で受信したＩＤと関連付けて算出した差分時間を記憶部に記憶させた後（ステップＳ８）、ステップＳ４〜Ｓ６に進む。ステップＳ４〜Ｓ６は第１実施例で既に説明したので、詳細は省略する。

一方、ＩＤが記憶部に記憶されていれば（ステップＳ７でＹ）、ＡＶプレイヤ２１の遅延制御部２１Ｅは、ステップＳ２、３には進まず、記憶部に記憶されたＩＤに対応する差分時間をだけ遅延させるように遅延発生部２１Ｄを設定した後（ステップＳ９）、ステップＳ５、Ｓ６に進む。

上述した第３実施例によれば、再生装置２が、端末装置３のＩＤを受信し、図示しない記憶部に記憶されたＩＤの端末装置３との通信が開始されると、テスト用の音声信号の出力、集音マイク２６での集音、差分時間の算出を停止させ、図示しない記憶部に記憶されたＩＤに対応する差分時間に基づき、制御を行う。これにより、一度、差分時間が算出された端末装置３が再び接続された場合に、音声信号の取得と差分時間の算出を省略することができ、迅速にディスプレイ２２及びスピーカ２３と端末装置３とで映像信号の再生を行うことができる。

上述した第３実施例によれば、再生装置２が、端末装置３のＩＤを受信し、記憶部には、算出した差分時間とＩＤとが関連づけられて記憶され、記憶部に記憶されたＩＤの端末装置との通信が開始されると、当該ＩＤに対応する差分時間に基づき、遅延制御を行うようにしてもよい。これにより、一度、差分時間が算出された端末装置が再び接続された場合に、音声信号の取得と差分時間の算出を省略することができ、迅速に表示部及び音声再生部と端末装置とで映像信号の再生を行うことができる。

また、上述した第１〜第３実施例によれば、端末装置３のスピーカ３４を停止させていたが、これに限ったものではない。端末装置３及び再生装置２の両スピーカ２３、３４に音声信号を再生させるようにしてもよいし、再生装置２のスピーカ２３を停止させるようにしてもよい。

また、上述した第１〜第３実施例によれば、ＡＶエンコーダ２４はＡＶプレイヤ２１とは別に設けていたが、これに限ったものではない。ＡＶプレイヤ２１を構成するＣＰＵが、ＡＶエンコーダ２４として働き、エンコード処理を行うようにしてもよい。

また、前述した実施例は本発明の代表的な形態を示したに過ぎず、本発明は、実施形態に限定されるものではない。即ち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。

２送信側再生装置（遅延制御装置）
３端末装置
２１ＡＶプレイヤ（停止制御部）
２１ＡＡＶ出力部（映像出力部、音声出力部）
２１Ｅ遅延制御部（算出部、制御部）
２２ディスプレイ（表示部）
２３スピーカ（音声再生部）
２５通信スタック（送信部、受信部）
２６集音マイク（取得部）

Claims

表示部に映像信号を出力する映像出力部と、
音声再生部に、前記映像信号に関連づいた音声信号を出力する音声出力部と、
前記映像信号と前記音声信号とを端末装置に送信する送信部と、
前記音声再生部により再生された前記音声信号である第１音声と、前記端末装置により再生された前記音声信号である第２音声とを取得する取得部と、
前記第１音声と、前記第２音声との差分時間を算出する算出部と、
前記差分時間に基づき、前記表示部に出力される映像信号と前記音声再生部に出力される音声信号とを遅延させる遅延制御を行う制御部と、
を備えることを特徴とする遅延制御装置。
前記差分時間を算出した後、前記端末装置又は前記音声再生部の何れか一方による音声信号の再生を停止させる停止制御を行う停止制御部
を備えることを特徴とする請求項１に記載の遅延制御装置。
前記端末装置の識別情報を受信する受信部と、
前記算出部が算出した差分時間と前記識別情報とを関連づけて記憶する記憶部と、
前記制御部が、前記記憶部に記憶された識別情報を持つ端末装置との通信が開始されると、当該識別情報に対応する差分時間に基づき、前記遅延制御を行う
ことを特徴とする請求項１又は２に記載の遅延制御装置。
表示部に映像信号を出力する工程と、
音声再生部に、前記映像信号に関連づいた音声信号を出力する工程と、
前記映像信号と前記音声信号とを端末装置に送信する工程と、
前記音声再生部により再生された前記音声信号である第１音声と、前記端末装置により再生された前記音声信号である第２音声とを取得する工程と、
前記第１音声と、前記第２音声との差分時間を算出する工程と、
前記差分時間に基づき、前記表示部に出力される映像信号と前記音声再生部に出力される音声信号とを遅延させる遅延制御を行う工程と、
を備えることを特徴とする遅延制御方法。
請求項４に記載の遅延制御方法を、コンピュータにより実行させる
ことを特徴とする遅延制御プログラム。
請求項５に記載の遅延制御プログラムを格納した
ことを特徴とするコンピュータ読み取り可能な記録媒体。