JP2010091974A - 再生装置 - Google Patents

Abstract

【課題】騒音や不要な音の検出精度を上げて利用者が聞き取り難かった音声を正確に再度再生することができるようにした。
【解決手段】音を再生する再生部と、周囲の音を集音する集音部と、前記再生部のオーディオ信号と前記集音部のオーディオ信号との類似度を測定する類似度測定部と、前記測定した類似度が、設定類似度より低い区間があった場合、前記区間の前記再生部のオーディオ信号を再度再生させる制御部とを有する。
【選択図】 図１

Description

この発明は、テレビジョン受信装置、オーディオ再生装置、ＤＶＤやハードディスクを用いた録画装置、携帯用オーディオ再生装置、携帯電話機、ラジオなどのようにオーディオ信号を再生する再生装置とその制御方法に関する。

現在の生活は非常に多忙になっている反面、たとえば録画機器の機能・性能の向上により、見たい番組を簡単に沢山録画できるようになっている。このため、録画番組を常に、ゆっくり、じっくり、余裕を持った状態で視聴することが難しくなっている。

たとえば、朝の出社前などのあわただしい隙間の時間に、他のことを行いながら、録画した番組の視聴を行うことは特殊な視聴形態ではなく、普通に行われる視聴形態になっている。このようなあわただしい時間帯においては、例えば、調理や掃除なども行われており、調理機器や掃除機などから突発的な大きな騒音が発生することも決して珍しいことではなく、良好な静かな視聴環境を常時、維持はできない。

このように突発的に大きな騒音が発生する視聴環境においても、ゆったり、余裕を持った時間帯で視聴する場合には、リモコンを持つか、手元に置くかして、大きな騒音が発生して音声が聞き取れなかった場合には、所定の場面まで戻って再生するリプレイの再生の操作を行なうことにより、聞き直し、見直しを行うことができる。しかしながら、上記したようなあわただしい時間帯においては、視聴者は、朝の身支度などの他のことをあわただしく行ないながら視聴することが多く、近くにリモコンがなかったり、近くにリモコンがあったとしても、リモコンを操作する余裕はなく、突発的な大きな騒音により、聞き取れない場面が発生しても、聞き直し、見直しを行うことは困難であった。このため、聞き取れない場面があっても、そのまま流して見て、番組の内容の理解が損なわれることが往々に存在した。

上記した問題点を克服するために、自動的に周囲に騒音が発生したときに、音声又は音声と映像の両方をメモリに記録しておき、騒音が停止したときに、前記メモリに記録されている音声又は音声と映像を再生する装置が開発されている（特許文献１）。

上記の装置は周囲で騒音が発生したか否かを判断する方法として、周囲で発生した音のレベルを検出している。周囲の音のレベルが基準値を超え、所定時間続いた場合、騒音が発生したと判断し、基準値を超えない状態が所定時間続いた場合に騒音が停止したと判断している。

しかし上記の方法であると、音声出力レベルが可変されたときに、前記基準値の値をそのつど調整する必要がある。
特開２００７−３１２０４０号公報

この発明の目的は、騒音や不要な音の検出精度を上げて利用者が聞き取り難かった音声を正確に再度再生することができるようにした再生装置を提供することにある。

上記課題を解決するために、この発明の一面では、少なくとも音を再生する再生部と、周囲の音を集音する集音部と、前記再生部のオーディオ信号と前記集音部のオーディオ信号との類似度を測定する類似度測定部と、前記測定した類似度が、設定類似度より低い区間があった場合、前記区間の前記再生部のオーディオ信号をリプレイさせる制御部と、を有したことを特徴とする。

上記の手段によると、再生しているオーディオ信号と周囲から集音したオーディオ信号との類似度を判断しており、たとえば周囲のノイズが大きくなると非類似の程度が大きくなる。よって、周囲の騒音状態の判断が精度よく行われる。

以下図面を参照して、この発明の実施の形態を説明する。図１はこの発明の一実施の形態を示すブロック図である。１００は再生部であり、少なくとも音を再生し、スピーカより出力する。２００はマイクロホンを用いた集音部である。再生部１００のオーディオ信号と集音部２００のオーディオ信号は、類似度測定部３００に入力されて、類似度が測定される。そして測定した類似度は制御部４００に入力される。制御部４００は、測定した類似度が、設定した類似度より低い区間（非類似の区間）があった場合、前記区間に対応した再生部１００のオーディオ信号を再度再生させる。

集音部２００は、たとえばマイクロホン２０１、増幅部２０２、Ａ／Ｄ変換部２０３により構成されている。

再生部１００は上記した再度の再生が可能なように、ある程度の区間のオーディオ信号を絶えずバッファ回路に蓄えており、そして再度の再生指令が制御部４００から与えられたときバッファ回路のオーディオデータを再度読み出すことができる。

図２には、上記した再生部１００の具体的構成例を示している。再生部１００は、オーディオでコーダ１０１、オーディオデコード出力を一定時間分格納（遅延）することができるバッファ回路１０２、バッファ回路１０２の出力をアナログ変換するＤ／Ａ変換部１０３、Ｄ／Ａ変換部１０３の出力が供給され、音を出力するスピーカ１０４により構成されている。

オーディオデコーダ１０１に入力する信号ソース５００としては各種の信号ソースが可能である。たとえばＣＤ、ＤＶＤ、ハードディスクなどの回転媒体５０１、半導体メモリ５０２、さらにはチューナ５０３からの各出力が可能である。

バッファ回路１０２のオーディオデータは、Ｄ／Ａ変換部１０３に入力されるとともに類似度判定部３００にも入力され、類似度測定対象とされている。また制御部４００からの再度出力指令コマンドがバッファ回路１０２に入力される。再出力指令コマンドは、先の類似度判断度にバッファ回路１０２の読出し領域を指定している。

上記した再生部１００はオーディオ信号再生系統のみを示したが、たとえば図３に示すように映像信号再生系統を含むものであってもよい。即ち、映像デコーダ１５１、映像出力部１５２、ディスプレイ１５３を有するものであってもよい。さらに信号ソースとしては、ネットワークに接続されるネットワークインターフェース５５０であってもよい。なお図２と同一箇所には図２と同じ符号を付し重複説明は省略する。

図４には上記の装置の動作例を説明するためにフローチャートを示した。本発明の再生装置は、音声付き映像、または、音声を視聴している最中に、周囲にて突発的に大きな騒音が発生し、音声の聞き取りが困難になった場合に、再生音に対して周囲の音が大きかった再生位置を求めて、騒音が収まった後、自動的に必要な場面まで戻って、リプレイの再生を行うことが可能である。

集音部２００で拾われる音には、周りの騒音が含まれており、スピーカ１０４から出力される再生音に対して、周りの騒音が相対的に小さい場合には、前記２つのオーディオ信号の間の類似度が高くなる。反対に、スピーカ１０４から出力される再生音に対し、周りの騒音が相対的に大きい場合には、前記２つのオーディオ信号の類似度が低くなる。

一般的に、二つのデジタル信号の間の類似度については、相関関数を用いて、相関係数を指標とすることが可能である（たとえば相関関数の参考文献：オーム社 電子情報通信学会編 ディジタル信号処理ハンドブック 8.1.2 相関関数と共分散関数 P.152）。

ステップＳ２０１：処理の先頭にて、制御部４００により、信号間類似度低フラグがクリアされる。ステップＳ２０２：処理の先頭にて、制御部４００により、再生開始位置レジスタが初期化される。ステップＳ２０３:再生ソースの音を所定長再生しながら、再生した音を集音する。再生音は、具体的には、ハードディスクドライブ（ＨＤＤ）やフラッシュメモリやＤＶＤなどの記録媒体から、再生部１００の再生開始位置レジスタ（図示せず）にセットされている再生開始位置から所定の長さ分だけ取り出されたデジタルオーディオデータがオーディオデコーダ１０１によって伸張された後、バッファ回路１０２に一時的に蓄えられ、Ｄ／Ａ変換部１０３によりアナログ信号に変換されて、スピーカ１０４より音声として出力される。

スピーカ１０５から出力される再生音は、集音部２００にて集音されて、アナログオーディオ信号に変換され、増幅器により増幅され、Ａ／Ｄ変換部によりデジタル信号に変換される。集音部２００にて集音する音には、再生音に加えて、周囲で発生する音も含まれる。

ステップＳ２０４：再生開始位置レジスタの内容を更新する。具体的には、再生開始位置レジスタに格納されている再生開始位置について、再生した所定の長さ分だけ先に進めた位置に更新する。ステップＳ２０５:再生ソースのオーディオ信号を取得する。具体的には、ステップＳ２０３で再生ソースを所定長再生した際に、バッファ回路１０２に蓄えられるデジタルの音声信号を取得する。

ステップＳ２０６：集音した音のオーディオ信号と再生ソースのオーディオ信号の信号間類似度を測定する。具体的には、ステップＳ２０３で再生した音を集音して、Ａ／Ｄ変換部２０３から出力されるデジタルオーディオ信号と、ステップＳ２０５で再生ソースのオーディオ信号を取得して、バッファ回路１０２から出力されるデジタルオーディオ信号を信号間類似度測定手段３００に入力して、２つの信号間の類似度の指数を出力する。

先に説明したようにステップＳ２０３で集音した音において、周りの騒音が再生音に対して相対的に大きい場合には、２つの信号間の類似度が低くなり、周りの騒音が再生音に対して相対的に小さい場合には、２つの信号間の類似度が高くなるという関係がある。２つの信号間の類似度を数値化する方法はいろいろあるが、一般的な方法による実現例としては、図１の説明で述べたように、２つのデジタル信号の相対関数を作成し、相関係数を算出することにより実現できる。

また、目的音に騒音が加わったオーディオ信号のＳ／Ｎ比の指標として、信号間の類似度を表わす相関関数の相関係数を用いることが可能であることを示す適用例は、たとえば文献「陶山 健仁, 高橋 弘太: “信号間の類似度を指標として線形フィルタを学習する目的音抽出”, 電学論Ｃ, Vol.124, No.5, pp.1134-1140 (2004)」に記載されている。

ステップＳ２０７：類似度が所定値以上であるか否かを判定する。具体的には、信号間類似度測定部３００が出力した信号間類似度の数値を制御部４００にて、予め設定されている閾値と比較して、所定の閾値以上であるか否かを判定する。

判定の結果、所定の閾値以上であった場合には、ステップＳ２１１に進む。所定の閾値未満であった場合には、ステップＳ２０８に進む。

ステップＳ２０８：信号間類似度低フラグがセットされているか否かを判定する。信号間類似度低フラグがセットされていた場合には、ステップＳ２０３に戻る。信号間類似度低フラグがセットされていなかった場合には、ステップＳ２０９に進む。ステップＳ２０９：信号間類似度低フラグをセットする。ステップＳ２１０：リプレイ開始位置レジスタをセットする。リプレイ開始位置は、周囲の騒音が大きかった際に、周囲の騒音が小さかった時点での再生位置に戻って、リプレイの再生を開始する位置であり、例えば、ステップＳ２１０に入ってきた時点での再生開始位置レジスタにセットされている位置を元に、所定の長さだけ前の方向に戻した位置を算出してセットする。ステップＳ２１０を実行した後は、ステップＳ２０３に戻る。

ステップＳ２１１：信号間類似度低フラグがセットされているか否かを判定する。信号間類似度低フラグがセットされている場合には、ステップＳ２１２に進む。信号間類似度低フラグがセットされていない場合には、ステップＳ２１４に進む。

ステップＳ２１２：信号間類似度低フラグをクリアする。ステップＳ２１３：再生開始位置レジスタにリプレイ開始位置をセットする。具体的には、ステップＳ２１０でセットされたリプレイ開始位置レジスタに格納されているリプレイ開始位置を再生開始位置レジスタにセットする。

ステップＳ２１４：再生ソースの残りがあるか否かを判定する。再生ソースに再生する残りがある場合には、ステップＳ２０３に戻る。再生ソースに再生する残りがない場合には、本処理の終了となる。

なお、閾値は、利用者により調整可能である。これによりたとえば頻繁にリプレイが行われたりすると聞き苦しい場合もあるので閾値を上げることで緩和できる。

また、類似度が閾値より低い区間を認識するのであるが、この区間の長さは、利用者により任意に調整可能な測定区間内である。連続測定区間が長すぎると、リプレイ時間能力を超える（バッファ容量を超える）ことがあるからである。また調整可能にすることで、利用者の居住地域環境に応じて適切なリプレイ時間を設定可能となる。つまり最大リプレイ時間を短くしたり、長くしたりすることが可能となる。

上記したようにこの発明の装置によると、再生したオーディオ信号と、集音したオーディオ信号との信号間の類似度から、騒音状態を判断している。このために、騒音状態の判断が正確となる。

リプレイを行う場合、リプレイ速度を通常再生速度の場合よりも早くしてもよい。たとえばデジタルオーディオ信号の出力クロックを１．５倍から２倍程度に可変してもよい。これによりリプレイの遅れを取り戻すことができる。リプレイがあっても映像などとの同期を早く得ることができる。

この発明は上記の実施形態に限定されるものではない。視聴者が視聴している環境にできるだけ近い状態で集音が行われるように工夫してもよい。

図５は本発明の他の実施例を示す。本発明の集音部２００の位置づけとしては、遠隔地の信号を受信する受信部２１１と、集音した信号を前記受信部２１１に送信する送信部７０２を含む視聴者携帯ユニット７００とを有するものであってもよい。即ち、集音携帯ユニット７００は、視聴者６００が携帯し、視聴者が視聴している環境にできるだけ近い状態で集音を行う。集音携帯ユニット７００は、たとえばマイクロホン７０１を有し、マイクロホン７０１でピックアップされたオーディオ信号を送信部７０２で変調して送出する。送出された電波は、受信部２１１で受信されて復調され集音オーディオ信号となる。

後の動作は先に説明した通りである。このように集音携帯ユニット７００を利用すると、視聴者６００の近くの周囲音を、再生部１００のオーディオ信号に対する比較信号として用いることになる。よって視聴者６００が音声を聞き取り難い状況を正確に捉えることができる。

上記の図５の実施例において、類似度測定部３００にて類似度を判定するのに替えて、受信部２１１で受信した受信信号の大きさを測定して、視聴状態の良否を判定してもよい。受信信号が小さくなる場合は、視聴者が再生装置から遠くに離れたり、障害物の陰になったりする場面が想定されるが、このような場面は、視聴者の視聴条件が悪くなっているものと考えられるので、オーディオ信号を通常再生するかリプレイの再生を行うかの制御条件とすることができる。

図４の処理手順のステップＳ２０７において信号間類似度と比較する閾値については、再生装置に予め設定されている値を使用する他に、視聴者が設定または変更することも可能である。

図１、図３、図５の構成図において、信号間の類似度測定部３００にて信号間類似度を判断し、再生方法を制御している。この類似度判定は以下のような概念も含むものである。即ち再生部１００からの音声信号と集音部からの音声信号の２つの音声信号のそれぞれで、音声認識処理を行う方法を採用してもよい。つまり、２つの音声信号のそれぞれの音声認識が安定してできる認識率を測定し、再生ソースの音声信号からの認識率を基準にした、集音部２００からの音声信号からの認識率の比率を所定の閾値と比較し、その比較結果に応じて再生方法を制御してもよい。騒音が混入する比率が多くなるにつれて、音声認識できる認識率が低下していくことから、上記比率を受信信号の大きさを通常再生するかリプレイの再生を行うかの制御条件とすることができる。

従来、このような音声認識には大きな処理パワーが必要であり、ＴＶ等に組み込まれているＭＰＵ等の演算処理能力の制約により、このような利用は難しい面があったが、今後、ＴＶ等が備える演算処理能力が増強されていくのに伴い、このような処理も容易に行えるようになる。

またこの発明はさらに次のような機能を有してもよい。即ち、視聴者がイヤホーンあるいはヘッドホーンを使用しているときは、外部の騒音に影響されることが少ない。このような場合は、図６に示すようにイヤホーン使用検出部４０１がイヤホーン使用状態を検出したときは、上記したリプレイ動作を禁止するようにしてもよい。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の一実施の形態による再生装置の基本構成例を示す図である。 図１の再生部１００の具体的構成例を示す図である。 図１の再生部１００の他の具体的構成例を示す図である。 この発明の一実施例による再生装置の動作例を説明するために示したフローチャートである。 この発明の他の実施の形態による再生装置を示す図である。 この発明の更に他の実施の形態による再生装置を示す図である。

符号の説明

１００・・・再生部、１０１・・・オーディオデコーダ、１０２・・・バッファ、１０３・・・Ｄ／Ａ変換部、１０４・・・スピーカ、１５１・・・映像デコーダ、１５２・・・映像出力部１５３・・・ディスプレイ、２００・・・集音部、２０１・・・マイクロホン、２０２・・・増幅器、２０３・・・Ａ／Ｄ変換部、２１１・・・受信部、３００・・・類似度測定部、４００・・・制御部、５００・・・信号ソース、７００・・・音声形態ユニット。

Claims (7)

1. 少なくとも音を再生する再生部と、
   周囲の音を集音する集音部と、
   前記再生部のオーディオ信号と前記集音部のオーディオ信号との類似度を測定する類似度測定部と、
   前記測定した類似度が、閾値より低い区間があった場合、前記区間の前記再生部のオーディオ信号をリプレイさせる制御部と、
   を有したことを特徴とする再生装置。
2. 前記閾値は、利用者により任意に調整可能であることを特徴とする請求項１記載の再生装置。
3. 前記区間の長さは、利用者により任意に調整可能な測定区間内に含まれていることを特徴とする請求項１記載の再生装置。
4. 前記集音部は、遠隔地の信号を受信する受信部と、集音した信号を前記受信部に送信する送信部を含む視聴者携帯ユニットとを含むことを特徴とする請求項１記載の再生装置。
5. 前記制御部は、イヤホーン若しくはヘッドホーン使用状態を検出する検出部を有し、イヤホーン若しくはヘッドホーンが使用されているときは、前記リプレイを禁止することを特徴とする請求項１記載の再生装置。
6. リプレイ時のリプレイ速度は、前記再生部が再生したときのオーディオ信号の再生速度より速いことを特徴とする請求項１記載の再生装置。
7. 前記類似度の判定は、前記再生部のオーディオ信号からの音声認識率を基準にした、集音部のオーディオ信号からの認識率の比率を所定の閾値と比較して判定することも含むことを特徴とする請求項１記載の再生装置。

Images