JP2014003432A - 信号処理装置、コンテンツ出力装置、コンテンツ視聴システム - Google Patents

Abstract

【課題】映像を視聴する場合に、補聴器などの信号処理を経た信号処理装置の使用の有無にかかわらず、音声と映像とを同期させることで、違和感がないようにする。
【解決手段】映像音声信号を入力する入力部と、前記入力部から入力された映像信号と音声信号とを記憶する映像音声記憶部と、前記映像音声記憶部からの信号に基づいて内部出力を行う内部出力部と、前記映像音声記憶部からの信号に基づいて外部出力を行う外部出力部と、前記映像音声記憶部に記憶された前記映像信号と前記音声信号とを遅延させる遅延処理を行う映像音声遅延処理部を有するコンテンツ出力装置。
【選択図】図１

Description

本発明は、信号処理技術に関する。

下記非特許文献１「補聴器相談医の役割」に記載されている通り、補聴器の性能は、デジタル技術の導入で歪みのない音の増幅が可能となり、また、新しい機能を備えるものに進歩している。デジタル補聴器の補聴器処理の主な内容を以下に示す。

１．ボリューム操作をあまり行わなくてもよいようにするノンリニア増幅処理
２．定常的な雑音下でその周波数の増幅度を下げる雑音抑制処理
３．前方の音が良く聞え後方の音は聞えにくくする指向性処理
４．耳の密閉を不要とするハウリング抑制処理

例えば、下記特許文献１では、帯域分割された各帯域のノイズレベルに基づいて各帯域の増幅特性を算出し、ノイズ信号を抑制すると共に各帯域のデジタル音声信号を非線形に増幅するデジタル補聴装置が提案されている。

下記特許文献２では、実際的な音声再生環境が騒音環境であっても、聴取対象の音声を明瞭に聴取することができるようにするためのノイズキャンセル処理系を備えるノイズ低減音声再生装置およびノイズ低減音声再生方法が提案されている。

下記特許文献３では、指向性の向きを異ならせて配置された２つのマイクロホンよりなるマイクロホンアレイからの２チャネルの信号に対して、適応ビームフォーマ１１により雑音を抑圧し、２つのマイクロホンを結ぶ直線に垂直な入力方向より入力される目的音源からの信号を出力するためのフィルタ演算処理を施す信号処理装置が提案されている。

下記特許文献４では、ハウリングが発生し難く、快適な装用感を得ることができる補聴器を提供するために、外耳道用マイクロホンを用意し、外耳道の音を本来の音に近づくよう自動調整する適応フィルタを設けた補聴器が提案されている。

一方、ＴＶのスピーカー音を補聴器のマイクで取得し補聴器で補正した場合、音がよくないので、劣化していない音声出力端子の音を補聴器に送信機で送信する方式が従来から利用されている。例えば、下記特許文献５では、テレビの音声出力端子から補聴器に音声信号を送信するシステムにおいて、音声出力端子の音がテレビ画面より先行する場合、音声信号を遅延させ、映像と同期させる補聴器システムが提案されている。

例えば、特許文献５は、テレビに接続し音声を送信する送信装置と、前記送信装置から送信された音声信号を受信する受信部と、音を収集するマイクと、前記マイクと前記受信部それぞれの音声信号を合成または切替を行う音声信号選択部と、その音声選択部からの出力に補聴処理を行う補聴処理部と、その補聴処理部から出力された音声信号を出力するレシーバーとを備えた補聴器において、前記マイクと前記受信部から入力された音声信号を入力し、それぞれの音声信号から遅延時間を算出する遅延量算出部と、前記遅延量算出部で算出された遅延量に応じて前記受信部で受信した音声信号を遅らせる遅延処理部を有することで、それぞれの音声信号の遅延を解消する技術を開示する。

特開２００３−０７００９７号公報 特開２０１０−０１１１１７号公報 特開２００６−２１７６４９号公報 特開２００７−２３５３６４号公報 特開２０１２−５００５号公報

社団法人耳鼻咽喉科学会 補聴器相談医の役割(http://www.jibika.or.jp/hochouki/yakuwari.html)

従来技術の範囲でも、補聴器をつけた人が、テレビやビデオの映像を視聴する場合、音声出力端子の信号を利用することによりノイズが少ない、高品質の音質で視聴が可能である。しかしながら、補聴器には上記デジタル処理が行われ、音声データの通信による負荷もあるため、補聴器の音はテレビの映像より遅れ、ＴＶ視聴において違和感がある場合が多い。

図１０は、テレビジョン受信装置の音声出力を補聴器に送信する送信機を用いた補聴器システムの一構成例を示す機能ブロック図であり、従来方式の「テレビの音を聞きやすくする補聴器システム」の構成例を示す図である。

図１０に示す補聴器システムＸは、テレビジョン受信装置（ＴＶ）１０１と、補聴器２０１と、ＴＶ信号を無線で補聴器２０１に送信する送信機１５１と、を有している。テレビジョン受信装置１０１は、放送波、デジタル／アナログ入力、ネットワーク入力等の映像・音声信号情報を入力し、内部の映像・音声情報に変換する音声・映像入力部１０３を有し、音声・映像入力部１０３からの入力信号に基づいて動画像を表示する表示部（ディスプレイ）１０５と、音声を出力するスピーカー部１０７と、音声を電気信号として出力する音声出力端子部１１０と、全体を制御する制御部（ＣＰＵ）１０２と、を有する。制御部（ＣＰＵ）は、実際には、送信機１５１、補聴器２１０にも設けられている。以下の図面でも同様である。

補聴器２０１を使用しない健聴者は、通常、表示部１０５で表示した動画とスピーカー部１０７からの音とで映像等のコンテンツを楽しむが、ヘッドフォンやイヤホン等で音声出力端子部１１０から出力する音を利用することもある。

補聴器２０１は、通常の会話や周辺の音をマイク２０３から取り込み、音声信号選択部２０７へ送る。音声信号選択部２０７は、後述する受信部２０５からの音声信号とマイク２０３からの音声信号とのうちマイク２０３からの音声信号とのいずれかを選択して、ノンリニア増幅、雑音抑制、ハウリング抑制等のデジタル処理を行う補聴器処理部２１１に送る。

補聴器処理部２１１では、ノンリニア増幅、雑音抑制、ハウリング抑制等のデジタル処理を行い、イヤホン・スピーカー部などからなるレシーバー２１５で難聴者の耳にも聞こえ得る音として出力する。

一方、テレビジョン受信装置１０１の音声出力端子１１０からの信号は、送信機１５１を経由して、例えば無線により補聴器２０１に送られる。送信機１５１の入力部１５３に送られたテレビジョン受信装置１０１からの信号は、送信部１５５から無線信号として送出され、補聴器２０１の受信部２０５で受信され、マイク２０３と受信部２０５の入力を切り替える音声信号選択部２０７へ送られる。音声信号選択部２０７では、受信部２０５からの信号が選択されると補聴器処理部２１１に送り、このデジタル処理を行い、レシーバー２１５で補聴器の使用者の耳にも聞こえうる音として出力する。

このように、テレビジョン受信装置１０１からの音声出力を、送信機１５１を介して無線等により補聴器２０１に送信することにより、ノイズの少ないテレビ音声の再現が可能となる。ここで、テレビジョン受信装置１０１の音を視聴中は、音声がスピーカー部１０７から出力されているため、補聴器２０１のマイク２０３からの入力は聞こえないようになっている。

図１１は、図１０の補聴器２０１の処理の概要を示すフローチャート図である。図１１に示すように、ステップＳ１０１で処理を開始し、ステップＳ１０２で、音声信号選択部２０７において、音声出力を選択する。ステップＳ１０３において、音声出力としてテレビジョン受信装置（ＴＶ）側を選択する場合には（ＹＥＳ）、ステップＳ１０４に進み、送信機１５１を介した音声出力の受信信号を補聴器処理する。一方、ステップＳ１０３において、音声出力として会話などを選択する場合には（ＮＯ）、ステップＳ１０５に進み、マイク２０３を介した音声入力を直接、補聴器処理する。ＴＶ１の音を視聴中は、健聴者用にＴＶのスピーカーから出力されているため補聴器のマイクからの入力は聞こえないようになっている。

ところで、上記のように特許文献５では、デジタル放送化によって映像が音声より遅延するケースの発明を開示するが、テレビのスピーカーからの音声は通常の視聴に耐えられるよう、映像と違和感が生じないように映像信号と同期されている。音声出力端子もステレオシステムと接続して利用することが多いため、映像信号と同期がとられている。従って、特許文献５のように、補聴器側で遅延を算出し遅延を補正することで映像と音声の同期をとるようにすることは、実際には原理的に難しい。

また、この状態で視聴しているとき、補聴器のマイク入力を生かすと、テレビのスピーカー音がずれて入ってしまうので、大きなノイズとなる。従って、従来の方式では、音声信号選択部で会話かＴＶか切り替える必要があった。

本発明は、テレビやビデオなどの映像を視聴する場合に、補聴器などの信号処理を経た信号処理装置の使用の有無にかかわらず、音声と映像とを同期させることで、違和感がないようにすることを目的とする。

本発明の一観点によれば、映像音声信号を入力する入力部と、前記入力部から入力された映像信号と音声信号とを記憶する映像音声記憶部と、前記映像音声記憶部からの信号に基づいて内部出力を行う内部出力部と、前記映像音声記憶部からの信号に基づいて外部出力を行う外部出力部と、前記映像音声記憶部に記憶された前記映像信号と前記音声信号とを遅延させる遅延処理を行う映像音声遅延処理部と、前記映像音声遅延処理部での遅延処理済みの映像信号と音声信号とを前記外部出力部から出力させるとともに、前記映像音声記憶部からの遅延処理を行っていない音声信号を前記内部出力部から出力させる制御を行う制御部と、を有するコンテンツ出力装置が提供される。

外部出力部からの映像・音声を、内部出力の音声の信号処理による遅延時間分だけ遅延させることで、外部出力部からの映像・音声と、内部出力の音声とを同期させることができる。

前記映像・音声遅延処理部に対して遅延時間を設定する遅延設定部を有するようにしても良い。

前記遅延設定部に設定される遅延時間は、前記外部出力部からの外部音声信号と、前記内部出力端子部からの内部音声を信号処理する信号処理部からの出力音声信号と、の差分に基づいて前記遅延時間を算出する遅延算出部により算出されることが好ましい。

前記遅延設定部に設定される遅延時間は、前記外部出力部からの外部音声信号と前記内部出力端子部からの内部音声を信号処理する信号処理部からの出力音声信号とをそれぞれ入力として信号処理を行う音声信号処理装置に送られ、前記音声信号処理装置から返信された音声信号と、の差分に基づいて前記遅延時間を算出する遅延算出部により算出されるようにしても良い。

前記遅延算出部は、前記外部出力部からの外部音声信号と前記内部出力端子部からの内部音声を信号処理する信号処理部からの出力音声信号とをそれぞれ入力して信号処理を行う音声信号処理装置に設けられることが好ましい。

前記遅延時間は、予め設定された値又はユーザ入力により設定された値であっても良い。

さらに、前記遅延算出部で算出した値をもとに、前記音声信号処理装置のマイクから入力した前記コンテンツ出力装置の前記外部出力部からの音声をキャンセルするように前記外部出力部からの音声と逆相の音声を合成する音声キャンセル部を有するようにしても良い。

本発明は、コンテンツ出力装置から内部出力された第１の音声信号を受信する第１の受信部と、コンテンツ出力装置から外部出力された第２の音声信号を受信する第２の受信部と、前記第１の音声信号と前記第２の音声信号とを信号処理する信号処理部と、前記第２の受信部からの信号処理前の音声信号と、前記第１の受信部からの信号処理後の音声信号との差分に基づいての遅延時間を求める遅延算出部と、を有し、前記遅延算出部において算出した遅延時間を前記コンテンツ出力装置に送ることを特徴とする信号処理装置である。

また、本発明は、映像音声信号を入力する入力部と、前記入力部から入力された映像信号と音声信号とを記憶する映像音声記憶部と、前記映像音声記憶部からの信号に基づいて内部出力を行う内部出力部と、前記映像音声記憶部からの信号に基づいて外部出力を行う外部出力部と、前記映像音声記憶部に記憶された前記映像信号と前記音声信号とを遅延させる遅延処理を行う映像音声遅延処理部と、前記映像音声遅延処理部での遅延処理済みの映像信号と音声信号とを前記外部出力部から出力させるとともに、前記映像音声記憶部からの遅延処理を行っていない音声信号を前記内部出力部から出力させる制御を行う制御部と、を有するコンテンツ出力装置と、前記コンテンツ出力装置から内部出力された第１の音声信号を受信する第１の受信部と、前記コンテンツ出力装置から外部出力された第２の音声信号を受信する第２の受信部と、前記第１の音声信号と前記第２の音声信号とを信号処理する信号処理部と、前記第２の受信部からの信号処理前の音声信号と、前記第１の受信部からの信号処理後の音声信号との差分に基づいての遅延時間を求める遅延算出部と、を有し、前記遅延算出部において算出した遅延時間を前記コンテンツ出力装置に送ることを特徴とする信号処理装置と、を有することを特徴とするコンテンツ視聴システムである。

前記内部出力部からの送信信号を前記第１の受信部に伝送する送信機を有するようにしても良い。

本発明によれば、信号処理を経た信号処理装置の使用の有無にかかわらず、音声と映像とを同期させることで、違和感がないようにすることができる。

本発明の第１の実施の形態による信号処理技術を用いたコンテンツ視聴システムの一構成例を示す機能ブロック図である。 本発明の第２の実施の形態による信号処理技術を用いたコンテンツ視聴システムの一構成例を示す機能ブロック図である。 本発明の第３の実施の形態による信号処理技術を用いたコンテンツ視聴システムの一構成例を示す機能ブロック図である。 本発明の第４の実施の形態による信号処理技術を用いたコンテンツ視聴システムの一構成例を示す機能ブロック図である。 図本実施の形態による処理の流れを示すフローチャート図である。 遅延算出部における遅延算出処理の流れの一例を示すフローチャート図である。 図４に示す機能ブロックにおける遅延検出に関連する機能のみを抽出して示し、遅延検出の原理を示す原理図である。 図７に示す構成における処理の流れを示すフローチャート図である。 遅延検出処理に対応した遅延付加と会話の合成処理を示す概念図であり、上記図４に示す機能ブロックにおいて、図７に示す遅延検出に対応した遅延付加と会話との合成処理に関連する機能のみを抽出して示し、その原理を示す原理図である。 テレビジョン受信装置の音声出力を補聴器に送信する送信機を用いた補聴器システムの一構成例を示す機能ブロック図である。 図１０の補聴器２０１の処理の概要を示すフローチャート図である。

以下に、本発明の実施の形態による信号処理技術について、補聴器を用いた場合を例にして説明する。本明細書において、音声出力端子部等から送信機を介して出力される音声信号を内部出力信号と称し、スピーカー部から出力される音声信号を外部出力信号と称する。また、表示部、スピーカー部等を総称して外部出力部と、音声出力端子部を内部出力部と称することがある。補聴器は、上位概念として音声信号処理装置と称することがある。

（第１の実施の形態）
図１は、本発明の第１の実施の形態による信号処理技術を用いたコンテンツ（映像）視聴システムの一構成例を示す機能ブロック図である。図５は、本実施の形態による処理の流れを示すフローチャート図である。

図１に示す補聴器を用いたコンテンツ視聴システムＡは、図１０の構成と同様に、テレビジョン受信装置１と、補聴器（音声信号処理装置）６１と、ＴＶ信号を無線で補聴器６１に送信する送信機５１と、を有している。送信機５１は、入力部５３と、送信部５５と、を有する。補聴器６１は、マイク６３、受信部６５、音声信号選択部６７、補聴器処理選択部７１、レシーバー７３と、を有する。いずれも、図１０に示す構成と同様である。テレビジョン受信装置１は、ＰＣやレコーダなどのコンテンツ出力装置であれば良い。

テレビジョン受信装置１は、放送波、デジタル／アナログ入力、ネットワーク入力等の映像・音声信号情報を入力し、内部の映像・音声情報に変換する音声・映像入力部３と、音声・映像入力部３から信号のうち動画像を表示する表示部（ディスプレイ）５と、音声を出力するスピーカー部７と、同じ音を電気信号として出力する音声出力端子部１０と、を有するとともに、音声・映像入力部３から入力した音声・映像を格納する映像・音声記憶部１５と、例えば、遅延設定部２１に設定された遅延をもとに、映像・音声記憶部１５から映像・音声を取得する映像・音声遅延処理部１７と、全体を制御するＣＰＵ（制御部）２と、を有する。制御部（ＣＰＵ）２は、実際には、送信機５１、補聴器６１にも設けられている。以下、制御部２等による制御の内容について説明する。

テレビジョン受信装置１の音声・映像入力部３で入力した音声・映像信号は（図５： ステップＳ１：Ｓｔａｒｔ）、映像・音声記憶部１５に記憶される（図５：ステップＳ２）。この映像・音声記憶部１５は、例えば、サーキュラバッファ等により一定期間の音声・映像情報を蓄えるようになっていても良い。

音声出力端子部１０は、遅延なく、映像・音声記憶部１５から音声を取得して、送信機５１へ内部出力信号として出力する（図５：ステップＳ３の２））。補聴器６１では、映像・音声記憶部１５に記憶された音声・映像信号を、送信機５１を介して受信部６５で受信する。

映像・音声遅延処理部１７は、遅延設定部２１で設定した遅延分だけ遅らせて、映像・音声記憶部１５から映像・音声を取得し、それぞれ、表示部５、スピーカー部７に送り、スペーカー部７から外部出力信号として出力させる（図５：ステップＳ３の１）。

ここで、送信処理や補聴器の処理で発生する遅延分だけ遅延時間を設定すれば、映像・音声遅延処理部１７で遅延処理を行い、表示部５に表示される映像と、レシーバー７３からの音声との時間差を小さくすることができるため、音声と映像とを同期させて、違和感を少なくすることができる。従って、ステップＳ４において、音声信号選択部６７が送信機経由の信号を選択するか選択しないかを判定し、送信機経由が選択されると（図５：ステップＳ５でＹＥＳ）、補聴器処理部７１は、受信した送信機５１を介した音声信号に基づき補聴器処理を行う（図５：ステップＳ７）。

補聴器６１を使用する人は、表示部５に表示された遅延した映像信号と同期した補聴器での処理済みの音声信号をレシーバー７３で聞くことにより、補聴器を使用していても、テレビジョン受信装置１の映像と音声とを同期させて違和感なく視聴することができる。

一方、ステップＳ５でＮＯの場合には、スピーカー部７経由となるため、マイク６３を介したスピーカー部７からの遅延した音声信号が直接処理される（図５：ステップＳ６）。従って、補聴器６１を使用していない人は、ＴＶ１の遅延させた映像と音声とをスピーカー部７からマイク６３経由で遅延した同期させて聞くことができるため違和感がない。すなわち、送信機経由でない場合には、映像信号も音声信号も遅延させることが１つのポイントである。

尚、遅延設定部２１において設定する遅延時間の設定値は、後述する実施の形態のように自動的に計算するようにすることもできるが、デフォルト又はユーザによる設定及び設定値に関する違和感を低減するようにする調整を行うことが可能である。

補聴器を使用した人にとっては、音声分離し、デジタル補聴器でデジタル処理した音声と、そのデジタル処理の時間分遅延装置で遅延させた映像とが同期するため、違和感のなく視聴できる。一方、補聴器を使用していない人にとっては、遅延装置で同じように遅延させた映像と音声とを視聴することになるので、映像と音声のずれは生じない。

以上に説明したように、本実施の形態によれば、ＴＶなどの視聴装置に入力した音声・映像を、音声出力端子経由でレシーバーに入力する音声信号と同期するように遅延設定部で設定した遅延分だけ遅らせて表示部・スピーカー部で映像・音声を出力するようにしたため、補聴器６１の使用の有無に関係なく、音声と映像とを同期させて違和感なく視聴することができる。

（第２の実施の形態）
図２は、本発明の第２の実施の形態による信号処理技術を用いたコンテンツ視聴システムの一構成例を示す機能ブロック図である。既存ＴＶの中には、ＤＬＮＡ（Digital Living Network Alliance）を利用して、放送をリアルタイムに視聴することが可能なものがある。本実施の形態は、このＤＬＮＡ技術を利用した構成例である。

図２に示す補聴器を用いたコンテンツ視聴システムＢは、ＤＬＮＡでリアルタイム視聴機能に対応している従来式のＴＶ装置と、同期処理装置８１と、送信機５１と、補聴器６１と、を有する。

ＤＬＮＡでリアルタイム視聴機能に対応している従来式のＴＶ装置１ａには、音声・映像入力部３、スピーカー部７、表示部５、ＡＶ入力部２３及びインターネットで接続されたＤＬＮＡ出力部２１が設けられ、テレビ放送をＤＬＮＡでリアルタイムに再生できる機能を有している一般的な構成をもつ。

同期処理装置８１は、ＤＬＮＡ入力部８３から入力された映像を、映像・音声記憶部８７に蓄え、音声出力端子部９３へ遅延なく送出する。一方、映像・音声遅延処理装置８９は、遅延設定部９１に設定された遅延量で映像・音声を遅延させ、ＡＶ出力部８５に出力する。ＡＶ出力部８５からの信号がＴＶ装置１のＡＶ入力部２３から表示部５とスピーカー部７とに出力される。尚、送信機５１、補聴器６１の構成は図１と同様である。

以上のように、ＴＶ装置１ａのスピーカー部７、表示部５から出力される音声・映像は、ＡＶ入力部８５を経由して、同期処理装置８１の映像・音声記憶部８７より映像・音声遅延処理装置８９で遅延させて、再生させた音声・映像データである。

このとき設定する遅延量は、音声出力端子部９３経由で音声がレシーバー７３に到達する時間と、ＡＶ出力部８５経由で再生される音声・映像のとの差分である。

尚、同期処理装置８１に放送用のチューナーや、レコーダからの入力部を用意し、ＴＶへのＡＶ出力を用意して、ＴＶをモニタと利用してもよい。また、上記では、ＴＶに映像・音声遅延処理装置を搭載する構成となっているが、既存ＴＶと同期処理装置と同期処理装置との構成でも同様のシステムを実現することができる。

以上に説明したように、本実施の形態によれば、ＴＶなどの視聴装置に入力した音声・映像を、音声出力端子経由でレシーバーに入力する音声信号と同期するように遅延設定部で設定した遅延分だけ遅らせて表示部・スピーカー部で映像・音声を出力するようにしたため、補聴器の使用の有無に関係なく、音声と映像とを同期させて違和感なく視聴することができるという第１の実施の形態と同様に効果を、既存のＴＶを用いて得ることが出来る。

（第３の実施の形態）
図３は、本発明の第３の実施の形態による信号処理技術を用いたコンテンツ視聴システムの一構成例を示す機能ブロック図である。

本実施の形態によるコンテンツ視聴システムＣでは、ＴＶ視聴開始時点で、映像・音声遅延処理部１７の遅延設定値を０として、補聴器６１ａ側で、スピーカー部７と音声出力端子部１０経由で補聴器処理を行った音声データとの遅延を算出し、この遅延を、遅延設定部２１ａ経由でＴＶの映像・音声遅延処理部１７に設定する構成を有している。

基本的には、図１と同様の構成であるが、補聴器６１ａに遅延算出部７５が、ＴＶ１ｂに遅延設定部２１ａが設けられている点で異なる。

補聴器６１ａの遅延算出部７５が、受信部６５経由で補聴器処理部７１による補聴器処理を行った音声とマイク入力とから遅延を算出する。すなわち、遅延算出部７５は、遅延検出に、遅延がない状態でＴＶのスピーカー部７を補聴器６１のマイク６３で入力したデータと、ＴＶの音声出力端子部１０経由で出力された音を補聴器処理部７１で補聴器処理を行ったデータと、から遅延を算出する。

遅延設定部２１ａは、遅延検出スタート時に初期値として例えば０を設定しておき、遅延算出部７５が算出した値を再設定するようになっている。

映像・音声遅延処理部１７は、遅延設定部２１ａで設定した遅延分だけ遅らせて、映像・音声記憶部２５から映像・音声を取得し、それぞれ表示部５、スピーカー部７に送り出力することは第１の実施の形態と同様である。ＴＶ視聴開始時に遅延検出を行う。

遅延を設定せず、ＴＶのスピーカー部７と音声出力端子部１０とから音声を出力する。スピーカー部７経由の音は、補聴器６１ａのマイク６３から入力され、処理の遅延なく遅延算出部７５へ到達する。一方、音声出力端子部１０経由の音は、送信機５１、補聴器受信部６５を経由して補聴器処理部７１でデジタル処理を行い、遅延を伴い遅延算出部７５へ到達する。従って、遅延時間を算出することができる。

図６は、遅延算出部７５における遅延算出処理の流れの一例を示すフローチャート図である。まず、遅延検出処理をスタートすると（ステップＳ１１）、映像・音声遅延処理部１７の遅延量を０に設定する（ステップＳ１２）。次いで、ステップＳ１３において、出力端子部１０、スピーカー部７からの音声出力を開始する。

ステップＳ１４において、マイク入力を記憶する。ステップＳ１５で、音声出力端子部１０経由で補聴器処理を行った音声データを記憶する。ステップＳ１６で、遅延算出部７５が、レシーバー７３とマイク６３との波形の時間変化等に基づいて遅延を算出する。

ステップＳ１７において、ステップＳ１６で求めた遅延時間を、映像・音声遅延処理部に設定し、遅延算出処理を終了する（ステップＳ１８）。

尚、遅延算出部７５における遅延算出は以下の方法等により行うことが可能である。
１）ピーク検出法：
ピーク部分を検出して、その時間差を算出する方法である。
２）相互相関関数φが最大値を与える時間に基づく方法：
相互相関関数φが最大値を与える時間（τ１）とし、相互相関関数は以下の式で定義されている。

これにより、フーリエ変換を行うことで高速に演算可能である。

以上に説明したように、本実施の形態では、ＴＶ視聴開始の時点で、映像・音声遅延処理部の遅延を０とし、補聴器側で、スピーカー部と、音声出力端子部経由で補聴器処理を行った音声データとの遅延を算出する。そして、算出量を、遅延設定部経由でＴＶの映像・音声遅延処理部に設定するように構成することで、システムや環境に則した設定が可能であり、より快適な視聴が可能になる。

（第４の実施の形態）
図４は、本発明の第４の実施の形態による信号処理技術を用いた映像視聴システムの一構成例を示す機能ブロック図である。

図４は、ＴＶ視聴中にも補聴器６１ｂのマイク６３で取得した家族との会話などができるような構成を示す機能ブロック図である。図４に示すように、ＴＶ１ｃに設けられている遅延算出部２９は、遅延の算出を行い、遅延の算出時に映像・音声遅延処理部２７ａ、スピーカー音声キャンセル部２８の遅延量を０に設定し、音声出力端子部１０、スピーカー部７から音声出力を開始する。

遅延算出部２９は、補聴器６１ｂの遅延算出用データ制御部７９に制御信号を送り、送信部７７経由で、送信機５１ａの受信部５７、出力部５８からＴＶ１ｃの音声入力端子部３０を経て音声を取り込む。遅延算出部２９は、音声入力端子部３０から取り込んだこの音声と上記送信した音声とから、各径路での遅延時間を測定する。

補聴器６１ｂに設けられている遅延算出用データ制御部７９は、遅延算出部２９から受け取った信号に応じて、送信部７７、補聴器処理部７１を制御して、どの経路の音声を音声入力端子部３０へ送るかの制御を行う。

映像・音声遅延処理部２７ａは、送信や補聴器の処理で発生した遅延分だけ設定された遅延時間により、音声出力端子部１０経由で得たレシーバー７３からの音声と表示部５に表示される映像とを同期させ、違和感がなくなるように遅延処理を行う。

スピーカー音声キャンセル部２８は、遅延算出部２９で算出した値をもとに、補聴器６１ｂのマイク６３から入力したＴＶ１ｃのスピーカー部７からの音声をキャンセルするようにスピーカー部７からの音声と逆相の音声を合成する。

これにより、補聴器処理部７１で合成されたマイク６３から入力した音からＴＶ１ｃのスピーカー部７の音声がキャンセルされ、マイク６３から入力した音は会話の音声が残るようになっている。

本実施の形態による映像視聴システムＤは、映像・音声記憶部２５の記憶データと、以下の経路を経て帰った情報とから遅延量を算出する。
１）映像・音声記憶装置２５→映像・音声遅延処理部(遅延０)２７ａ→スピーカー部７→マイク６３→送信部７７→受信部５７→出力部５８→音声入力端子部３０→遅延算出部２９
２）映像・音声記憶装置２５→映像・音声遅延処理部(遅延０)２７ａ→スピーカー部７→マイク６３→補聴器処理部７１→送信部７７→受信部５７→出力部５８→音声入力端子部３０→遅延算出部２９
３）映像・音声記憶装置２５→スピーカー音声キャンセル部２８→音声出力端子部１０→入力部５３→送信部５５→受信部６５→補聴器処理部７１→送信部７７→受信部５７→出力部５８→音声入力端子部３０→遅延算出部２９
ここで、
２）−１）で、補聴器処理部７１の処理時間を計算することができる。
３）−２）で、スピーカー部７経由の音声と、音声出力端子部１０経由の音声との処理時間の差を求めることができる。

また、マイク６３への到達時間を０と仮定すれば、補聴器の受信部６５への到達時間は、３)−２）である。

図７は、上記図４に示す機能ブロックにおける遅延検出に関連する機能のみを抽出して示し、遅延検出の原理を示す原理図である。

補聴器の送信部７７以降は、どの経路でも同じ時間がかかるので相殺され、スピーカー部７からマイク６３への伝達時間は、無視することとする。

図８は、この場合の処理の流れを示すフローチャート図である。遅延算出用データ制御部７９で経路を制御して、遅延を測定する。

上記の１）の経路、２）の経路、３）の経路に関して、送信元データと比較して遅延量の算出が可能である。以下の通り遅延を計算できる。

２）の遅延量−１）の遅延量＝補聴器処理部７１の遅延量
３）の遅延量−２）の遅延量＝送信機５１で発生する遅延量

１）と元のデータとから、補聴器６１ｂのマイク６３に入力したときの音の大きさや、部屋の反射成分を表す伝達関数を求めることが可能である。ここで、伝達関数を求め方は以下の通りである。

元の音データをフーリエ変換 f(t) → F(T)
１）の音データをフーリエ変換 g(t) → G(T)
各周波数領域ごとに割り算 S(T) = G(T)/F(T)
逆フーリエ変換 s(t) ← S(T)
s(t)が求める伝達関数である。

ここで、伝達関数には、補聴器送信部以降の時間成分が初期の遅延時間となるので、遅延時間は０として利用する。

図８に示すタイミングチャート図を参照して、ＴＶ側の遅延算出部２９と、補聴器側の遅延算出用データ制御部７９の動作について説明する。

まず、ステップＳ２１で、ＴＶ側の遅延算出部２９において、遅延検出処理を開始する。一方、ステップＳ４１で、補聴器側・遅延算出用データ制御部７９でも、遅延検出処理を開始する。ステップＳ２２で、ＴＶ側の遅延算出部２９と、スピーカー音声キャンセル部２８とのそれぞれの遅延量を０に設定し、次いで、出力端子部１０・スピーカー部７から音声出力を開始する（ステップＳ２３）。

次いで、ステップＳ２４で、ＴＶ側の遅延算出部２９から補聴器側の遅延算出用データ制御部７９に対して、制御信号１を送信する（Ｌ１）。遅延算出用データ制御部７９は、制御信号１を受けると、ステップＳ４２において、マイク６３からの信号を出力するように送信部７７を設定する。そして、ＴＶ側の遅延算出部２９に経路１）信号を送信する（Ｌ２）。すると、ステップＳ２５で、図７に示すように、ＴＶ側の遅延算出部２９が、元音源のデータと経路１）の音のデータとから、経路１）の遅延を算出する。

次いで、ステップＳ２６において、ＴＶ側の遅延算出部２９が、制御信号２を聴器側の遅延算出用データ制御部７９に対して送信する（Ｌ３）。ステップＳ４３において、制御信号２受けた遅延算出用データ制御部７９は、補聴器処理部７１がマイク６３からの信号を処理するように設定し、ステップＳ４４において、送信部７７が補聴器処理部７１からの信号を出力するように設定する。そして、補聴器側の遅延算出用データ制御部７９からＴＶ側の遅延算出部２９に、経路２）信号を送る（Ｌ４）。経路２）信号を受け取ったＴＶ側の遅延算出部２９は、ステップＳ２７において、元音源のデータと経路２）の音のデータから、経路２）の遅延量を算出する。

次いで、ステップＳ２８において、ＴＶ側の遅延算出部２９は、制御信号３を補聴器側の遅延算出用データ制御部７９に対して送信する（Ｌ５）。制御信号３を受信した補聴器側の遅延算出用データ制御部７９は、ステップＳ４５において、補聴器処理部７１が受信部６３からの信号を処理するように設定する。ここで、送信部７７は、補聴器処理部７１からの信号を出力する設定を維持する。そして、経路３）信号をＴＶ側の遅延算出部２９に送る（Ｌ６）。ステップＳ２９において、ＴＶ側の遅延算出部２９は、元音源のデータと経路３）の音のデータから、経路３）の遅延を算出する。

次いで、ステップＳ３０において、映像・音声遅延処理部２７ａに、遅延３）−１）を設定する。次いで、ステップＳ３１において、スピーカー音声キャンセル部２８に、遅延２）−１）を設定する。また、ステップＳ３２において、制御信号４を補聴器側の遅延算出用データ制御部７９に送り（Ｌ７）、遅延検出処理を終える（ステップＳ３３）。

遅延算出用データ制御部７９は、制御信号４を受け取ると、ステップＳ４６において、補聴器処理部７１とマイク６３の信号を合成して処理するように設定し、ステップＳ４７で遅延検出処理を終了する。

図９は、上記の遅延検出処理に対応した遅延付加と会話の合成処理を示す概念図であり、上記図４に示す機能ブロックにおいて、図７に示す遅延検出に対応した遅延付加と会話との合成処理に関連する機能のみを抽出して示し、その原理を示す原理図である。

ここで、レシーバー７３への到達時間は｛３)−２）｝+｛２)−１）｝＝３）−１）であるから、映像・音声遅延処理部２７ａで、３）−１）だけ遅延させると、補聴器６１ｂにおけるマイク６３を介した音声と受信部６５を介した音声とのタイミング（位相）が一致する。

一般的に、家族のだんらんなどで、ＴＶを見ながら会話をすることはよくある。この際、音声信号選択部６７（図１・図２等）で、音声が、会話かＴＶかを切り替える必要があった。

一方、ＴＶ１ｃを見ながら会話をするため補聴器６１ｂのマイク６３を生かすとすれば、補聴器処理部７１に対するマイク６３からの入力は、受信部６５からの入力に比べて補聴器処理部７１の遅延｛２）−１）｝分だけ遅れた音が合成される。

そこで、あらかじめ、スピーカー音声キャンセル部２８で、遅延｛２）−１）｝分だけ遅延させて、マイク６３から入力する音声を差し引いておけば、補聴器処理部７１で合成したときに、ＴＶ１ｃのスピーカー部７の音がキャンセルされ、会話等それ以外の音との合成となる。

ここで、遅延算出部２９は、受信部６５経由で補聴器処理部７１が行った遅延処理後の音声とマイク入力とから遅延を算出する。遅延算出用データ制御部７９は、遅延算出を行うために送出するデータを変更する。スピーカー音声キャンセル部２８は、マイク６３が取得するスピーカー部７の音声を予め減算しておく。

以下に、ＴＶ１ｃ視聴中にも補聴器６１ｂのマイク６３で取得した家族との会話等が可能となる仕組みについて具体的に説明する。

遅延算出部２９は、遅延の算出を行う装置であり、遅延の算出時に、映像・音声遅延処理部２７ａ、スピーカー音声キャンセル部２８の遅延量を０に設定し、音声出力端子部１０・スピーカー部７から音声出力開始する。

遅延算出部２９は、遅延算出用データ制御部７９に制御信号を送り、送信部７７経由で送信機５１ａの受信部５７、出力部５８からＴＶ１ｃの音声入力端子部３０から音声を取り込む。遅延算出部２９は、この音声と送信した音声とから、上記の各径路での遅延時間を測定する。

遅延算出用データ制御部７９は、遅延算出部２９より受け取った信号に応じて、送信部７７・補聴器処理部７１を制御して、どの経路の音声を音声入力端子部３０へ送るかどうかの制御を行う。

映像・音声遅延処理部２７ａは、送信や補聴器の処理で発生した遅延分だけ設定された遅延を、映像・音声記憶部２５からの出力に付加し、音声出力端子部１０経由でレシーバー７３からの音声が表示部５に表示される映像との違和感がなくなる方向に遅延処理を行う。

スピーカー音声キャンセル部２８は、遅延算出部２９で算出した値をもとに、補聴器６１ｂのマイク６３から入力したＴＶ１ｃのスピーカー部７の音声をキャンセルするように逆相の音声を合成する。これにより、補聴器処理部７１で合成されたマイク６３から入力した音からＴＶ１ｃのスピーカー部７の音声がキャンセルされ、マイク６３の入力した音は会話の音声が残る。

以下、図７・図８を参照し、図９に戻って、遅延付加と会話の合成処理であって、映像・音声遅延処理部２７ａで３）−１）だけ遅延させた後に信号を合成する処理について、より詳細に説明する。

ＴＶ１ｃ本体の音の関数をx(t)とし、補聴器処理部７１の遅延２）−１）をτ１とし、音声出力端子部１０経由の送信の遅延３）−２）をτ２とする。ここで、音声出力端子部１０よりＴＶ１ｃ本体の音(b)： x(t)を出力すれば、音声出力端子部１０経由の送信の遅延τ２が加わり、信号（c)： x(t-τ２)となる。さらに、補聴器処理部７１で処理をすることで、遅延τ１が加わり信号、信号（d)： ｙ(t-τ１−τ２)となる。ここで、補聴器処理部７１で、x(t)→ｙ(ｔ）に変換されるものとする。

表示部５の映像とスピーカー部７の音声の遅延が、レシーバー７３に入力する音声と同じようにすれば、補聴器６１ｂの利用者も違和感なく視聴できる。そこで、表示部５の映像とスピーカー部７の音声の遅延をτ１＋τ２だけ遅らせればよい。

この状態で、スピーカー部７からの出力がマイク６３から入力した信号(e)は、音声出力端子部１０経由の送信の遅延が加わった信号（c)と比べてτ１だけ遅れる。

そこで、予めτ１だけ遅らせ、音の大きさや、部屋の反射成分を表す伝達関数Ｔ（ｔ）等の補正を行いマイク６３の入力音の予測信号＝u(t-τ１)を例えば、以下のように求めることが可能である。

u(t-τ１)＝Ｔ(t)*x(t): *は畳み込みである。

ここで、畳み込みについて説明すると、まず、x＝xjとy＝yｊ(j＝０,…)の畳み込みx*y＝ck(k＝０，…)は、以下のように定義されている。

フーリエ変換を行うことで高速に演算可能である

音声出力端子部１０よりＴＶ本体１ｃの音(b)からマイク６３入力の音の予測信号(f)を差し引き、音声出力端子部１０より出力すれば、音は、τ２の遅延を持って補聴器処理部７１に入力される。その入力信号と(e)の信号とを合成すれば、(e)と(f)の分の信号が相殺され、本来の(b)の信号のみとなる。

マイク６３より入力される信号のうち家族の会話等の音声は、スピーカー部７からの出力が予測信号(f)で相殺された後も残るので、補聴器処理部７１で補聴器処理され聞こえるようになる。

次に、スピーカー部７からマイク６３への伝達時間（以下「伝達時間」と称する。）を考えた場合、遅延の意味は以下のとおりとなる。

２）−１）： 補聴器処理部７１の遅延
３）−２）： 送信の遅延−伝達時間

上記の和３)−１）だけスピーカー部７の出力を遅らせると、マイク６３への到達時には、伝達時間分経過することになるので、レシーバー７３に入力する音声と同じ遅延となる。

以上、本実施の形態によれば、ＴＶ視聴中にも補聴器のマイクで取得した家族との会話などが快適にできる。

上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

テレビジョン受信装置（ＴＶ）は、ＰＣやレコーダなどのコンテンツ再生機出た痛い可能である。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

本発明は、コンテンツ視聴システムに利用可能である。

Ａ〜Ｄ…映像視聴システム、１…テレビジョン受信装置（ＴＶ）、２…ＣＰＵ（制御部）、３…音声・映像入力部、５…表示部（外部出力部： ディスプレイ）、７…スピーカー部（外部出力部）、１０…音声出力端子部（内部出力部）、２１…遅延設定部、１５…映像・音声記憶部、１７…映像・音声遅延処理部、２１…ＤＬＮＡ出力部、２８…スピーカー音声キャンセル部、３０…音声入力端子部、５１…送信機、５３…入力部、５５…送信部、５７…受信部、５８…出力部、６１…補聴器、６３…マイク（第１の受信部）、６５…受信部（第２の受信部）、６７…音声信号選択部、７１…補聴器処理部（信号処理部）、７３…レシーバー、７７…送信部、７９…遅延算出用データ制御部、８１…同期処理装置。

Claims (10)

1. 映像音声信号を入力する入力部と、
   前記入力部から入力された映像信号と音声信号とを記憶する映像音声記憶部と、
   前記映像音声記憶部からの信号に基づいて内部出力を行う内部出力部と、
   前記映像音声記憶部からの信号に基づいて外部出力を行う外部出力部と、
   前記映像音声記憶部に記憶された前記映像信号と前記音声信号とを遅延させる遅延処理を行う映像音声遅延処理部と、
   前記映像音声遅延処理部での遅延処理済みの映像信号と音声信号とを前記外部出力部から出力させるとともに、前記映像音声記憶部からの遅延処理を行っていない音声信号を前記内部出力部から出力させる制御を行う制御部と
   を有するコンテンツ出力装置。
2. 前記映像・音声遅延処理部に対して遅延時間を設定する遅延設定部を有することを特徴とする請求項１に記載のコンテンツ出力装置。
3. 前記遅延設定部に設定される遅延時間は、
   前記外部出力部からの外部音声信号と、前記内部出力端子部からの内部音声を信号処理する信号処理部からの出力音声信号と、の差分に基づいて前記遅延時間を算出する遅延算出部により算出されることを特徴とする請求項２に記載のコンテンツ出力装置。
4. 前記遅延設定部に設定される遅延時間は、
   前記外部出力部からの外部音声信号と前記内部出力端子部からの内部音声を信号処理する信号処理部からの出力音声信号とをそれぞれ入力として信号処理を行う音声信号処理装置に送られ、前記音声信号処理装置から返信された音声信号と、の差分に基づいて前記遅延時間を算出する遅延算出部により算出されることを特徴とする請求項２に記載のコンテンツ出力装置。
5. 前記遅延算出部は、前記外部出力部からの外部音声信号と前記内部出力端子部からの内部音声を信号処理する信号処理部からの出力音声信号とをそれぞれ入力して信号処理を行う音声信号処理装置に設けられることを特徴とする請求項３に記載のコンテンツ出力装置。
6. 前記遅延時間は、予め設定された値又はユーザ入力により設定された値であることを特徴とする請求項２に記載のコンテンツ出力装置。
7. さらに、前記遅延算出部で算出した値をもとに、前記音声信号処理装置のマイクから入力した前記コンテンツ出力装置の前記外部出力部からの音声をキャンセルするように前記外部出力部からの音声と逆相の音声を合成する音声キャンセル部を有することを特徴とする請求項３から５までのいずれか１項に記載のコンテンツ出力装置。
8. コンテンツ出力装置から内部出力された第１の音声信号を受信する第１の受信部と、
   コンテンツ出力装置から外部出力された第２の音声信号を受信する第２の受信部と、
   前記第１の音声信号と前記第２の音声信号とを信号処理する信号処理部と、
   前記第２の受信部からの信号処理前の音声信号と、前記第１の受信部からの信号処理後の音声信号との差分に基づいての遅延時間を求める遅延算出部と、を有し、
   前記遅延算出部において算出した遅延時間を前記コンテンツ出力装置に送ることを特徴とする信号処理装置。
9. 映像音声信号を入力する入力部と、前記入力部から入力された映像信号と音声信号とを記憶する映像音声記憶部と、前記映像音声記憶部からの信号に基づいて内部出力を行う内部出力部と、前記映像音声記憶部からの信号に基づいて外部出力を行う外部出力部と、前記映像音声記憶部に記憶された前記映像信号と前記音声信号とを遅延させる遅延処理を行う映像音声遅延処理部と、前記映像音声遅延処理部での遅延処理済みの映像信号と音声信号とを前記外部出力部から出力させるとともに、前記映像音声記憶部からの遅延処理を行っていない音声信号を前記内部出力部から出力させる制御を行う制御部と、を有するコンテンツ出力装置と、
   前記コンテンツ出力装置から内部出力された第１の音声信号を受信する第１の受信部と、前記コンテンツ出力装置から外部出力された第２の音声信号を受信する第２の受信部と、前記第１の音声信号と前記第２の音声信号とを信号処理する信号処理部と、前記第２の受信部からの信号処理前の音声信号と、前記第１の受信部からの信号処理後の音声信号との差分に基づいての遅延時間を求める遅延算出部と、を有し、前記遅延算出部において算出した遅延時間を前記コンテンツ出力装置に送ることを特徴とする信号処理装置と、
   を有することを特徴とするコンテンツ視聴システム。
10. 前記内部出力部からの送信信号を前記第１の受信部に伝送する送信機を有することを特徴とする請求項９に記載のコンテンツ視聴システム。

Images