JP2010021627A - 音量調整装置、音量調整方法および音量調整プログラム - Google Patents

音量調整装置、音量調整方法および音量調整プログラム Download PDF

Info

Publication number
JP2010021627A
JP2010021627A JP2008177933A JP2008177933A JP2010021627A JP 2010021627 A JP2010021627 A JP 2010021627A JP 2008177933 A JP2008177933 A JP 2008177933A JP 2008177933 A JP2008177933 A JP 2008177933A JP 2010021627 A JP2010021627 A JP 2010021627A
Authority
JP
Japan
Prior art keywords
music
noise
data
information
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008177933A
Other languages
English (en)
Inventor
Kazutomo Kenmochi
千智 劔持
Shiro Suzuki
志朗 鈴木
Hidesuke Takahashi
秀介 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008177933A priority Critical patent/JP2010021627A/ja
Publication of JP2010021627A publication Critical patent/JP2010021627A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Headphones And Earphones (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】再生音量を周囲の環境騒音に適した音量となるように調整し、音漏れを防止する。
【解決手段】ユーザが再生装置１に対して再生音量の自動調整を指示すると、再生装置１は、マイク３によって収音された環境騒音の騒音データに対して周波数解析を行い、特徴量としてエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐを算出する。そして、算出された特徴量に基づき環境騒音を分類する。また、再生装置１は、再生中の楽曲の楽曲データに対して周波数解析を行い、特徴量としてエンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’を算出する。そして、算出された特徴量に基づき楽曲を分類する。再生装置１は、環境騒音および楽曲の分類結果に基づき、音漏れ認知情報データベース４３を参照して音漏れ認知情報を生成し、音漏れ認知情報に基づき楽曲の再生音量を音漏れが認識されない程度の音量に設定する。
【選択図】図６

Description

この発明は、音漏れを防止する音量調整装置、音量調整方法および音量調整プログラムに関する。
近年、外出先や屋外等において楽曲の再生が可能な携帯型再生装置が広く普及している。図１９に示すように、従来の再生装置１０１は、ヘッドフォン１０２が接続され、ユーザがヘッドフォン１０２を介して再生装置１０１に記録された楽曲を聴取するようにされている。再生装置１０１には、楽曲の再生／停止や、音量の調整といった操作を行うための操作部が設けられている。ユーザが操作部を操作することにより、再生される楽曲の音量を調整することができる。
例えば、このような再生装置を用いて、電車の車内で楽曲を再生している場合において、電車が「走行中」の場合には、周囲の環境騒音が大きいため、ユーザによって操作部が操作され、楽曲を適切に聴取することができるように音量が大きく設定される。また、電車が「停車中」の場合には、周囲の環境騒音が「走行中」と比較して小さくなるため、ユーザにより音量が小さく設定される。
従来の再生装置１０１における再生方法について、図２０に示すフローチャートを参照して説明する。ステップＳ１０１において、再生装置１０１の電源がＯＮとされ、ステップＳ１０２において再生装置１０１に記録された楽曲が再生される。
ステップＳ１０３では、音量を調整するか否かが判断される。例えば、周囲の環境騒音によって楽曲の聴取が困難であり、音量を調整する必要があると判断された場合には、処理がステップＳ１０４に移行し、ユーザによる操作部に対する操作によって音量が設定される。一方、音量を調整する必要がないと判断された場合には、処理がステップＳ１０５に移行する。
ステップＳ１０５では、楽曲を聴き続けるか否かが判断される。楽曲を聴き続けると判断された場合には、処理がステップＳ１０２に戻り、楽曲が再生される。一方、楽曲を聴き続けないと判断された場合には、処理がステップＳ１０６に移行し、再生装置１０１の電源がＯＦＦとされて一連の処理が終了する。
このように、従来の再生装置では、ユーザが周囲の環境騒音を認識し、その認識に基づいて楽曲を適切に聴取することができるように、音量を手動で調整するようにしていた。
しかしながら、このように音量を手動で設定するような場合、設定された音量によっては、ヘッドフォンからの音漏れによって周囲に迷惑をかけてしまう場合がある。これは、ユーザが、周囲の騒音が気にならなくなる程度の音量に設定するためであったり、ユーザ自身が周囲への音漏れを認識することができないためであるからと考えられる。
特に、電車やバスの車内等、周囲の環境騒音が大きく変化する場所では、音漏れの問題が顕著である。例えば、電車やバスが「走行中」である場合は、周囲の環境騒音が大きいため、この騒音に合わせて音量を大きく設定する。この時点では、音漏れが周囲の人に認識されることはほとんどないが、音量を大きく設定した状態で電車やバスが「停車中」となった場合には、走行中と比較して環境騒音が小さくなるため、音漏れが認識されやすくなってしまう。
一方、電車やバスが「停車中」である場合は、周囲の環境騒音が「走行中」と比較して小さいため、周囲の環境騒音に合わせて音量を小さく設定するので、周囲への音漏れはほとんど認識されない。しかしながら、電車やバスが「走行中」となった場合には、環境騒音が大きくなるため、楽曲の聴取が困難となってしまう。
また、雑踏のような騒々しく、音漏れが発生しても周囲でほとんど認識することができない場所から、喫茶店のような静かな場所に移動した場合にも同様に、音漏れが周囲の人に認識されやすくなってしまう。
さらに、環境騒音が変化しない場合であっても、聴取している楽曲が変わって録音レベルや曲調が変化した場合に、音漏れの問題が発生することがある。例えば、電車やバスが「走行中」に、聴取している楽曲が「クラシック」に分類されるような静かな曲調の楽曲から「ロック」に分類されるような楽曲に変わる場合について考える。このような場合には、「クラシック」を聴取している際に、環境騒音に合わせて大きい音量で聴取していたが、楽曲が「ロック」に変わった際に録音レベルや曲調が大きく変化したため、耳が痛くなったり、周囲の人に音漏れが認識されやすくなると考えられる。
このように、環境騒音が変化する場合や、再生中の楽曲の音量や曲調が変化する場合には、ユーザが環境騒音や楽曲の変化に応じて音量をその都度調整し、音漏れを防止する必要がある。
そこで、最近では、周囲への音漏れを防止するため、ＡＶＬＳ（Automatic Volume Limiter System）など、再生中のオーディオ信号の状態を常に監視し、予め設定された信号レベルの上限を超えないように音量を調整する技術が実用化されている。例えば、下記の特許文献１には、オーディオ信号の中高音の信号レベルを検出し、検出結果に基づいて信号レベルを抑圧して音漏れが発生しないように音量を調整する技術が記載されている。
特開平５−４９０９１号公報
しかしながら、特許文献１に記載された方法では、周囲の環境騒音が略一定であるような環境においては音漏れを防止することができるが、環境騒音が略一定でなく変化する場合や、移動などによって環境そのものが変化した場合には、その変化に追従することが困難であるという問題点があった。
例えば、環境騒音が変化した場合、環境騒音の状態によっては、信号レベルが上限値を超えてしまうような音量に設定しても音漏れが検知されないこともあれば、信号レベルが上限値以下となるような音量に設定しても音漏れが検知されてしまうこともある。
また、ノイズキャンセリングヘッドフォンを用いた再生装置のように、環境騒音などの外部の音を収音し、再生音に外部の音を打ち消す成分を付加することにより、環境騒音を低減させる方法も実用化されている。環境騒音を低減させることにより、楽曲を聴取する際の音量が小さくても適切に聴取することができる。
しかしながら、この場合には、ユーザの耳に聞こえる環境騒音を低減させることによって、再生音を聴き取るのが困難となるのをある程度防ぐことができるが、環境騒音の種類によっては、環境騒音の低減効果を十分に発揮できない場合がある。
また、再生音量を手動で調整する場合には、例えば再生装置に設けられた操作部を操作する必要がある。そのため、環境騒音が変化するたびに、操作部をいちいち操作しなければならない。さらに、再生装置の小型化に伴い、再生装置に設けられた操作部も小型化している。そのため、再生音量を調整する操作が非常に煩わしいという問題点があった。
したがって、この発明の目的は、再生音量を周囲の環境騒音に適した音量となるように自動的に調整し、音漏れを防止することができる音量調整装置、音量調整方法および音量調整プログラムを提供することにある。
上述した課題を解決するために、第１の発明は、周囲の環境の騒音データを収音する収音部と、
収音部により収音された騒音データの特徴を示す特徴量を抽出する騒音解析部と、
騒音データの特徴量に基づき騒音データを分類し、騒音データの分類結果を示す騒音分類情報を生成する騒音分類部と、
入力された楽曲データの特徴を示す特徴量を抽出する楽曲解析部と、
楽曲データの特徴量に基づき楽曲データを分類し、楽曲データの分類結果を示す楽曲分類情報を生成する楽曲分類部と、
騒音分類情報および楽曲分類情報と、楽曲データの再生音量の調整幅を決定する音漏れ認知情報とが関連付けられて記録された音漏れ認知情報データベースと、
騒音分類情報および楽曲分類情報に基づき、音漏れ認知情報データベースを参照することにより音漏れ認知情報を生成する音漏れ認知情報生成部と、
音漏れ認知情報に基づき、楽曲データの再生音量を調整するための音量調整情報を生成し、音量調整情報に基づき楽曲データの再生音量を調整するように制御する制御部とを備える音量調整装置である。
また、第２の発明は、周囲の環境の騒音データを収音する収音ステップと、
収音ステップにより収音された騒音データの特徴を示す特徴量を抽出する騒音解析ステップと、
騒音データの特徴量に基づき騒音データを分類し、騒音データの分類結果を示す騒音分類情報を生成する騒音分類ステップと、
入力された楽曲データの特徴を示す特徴量を抽出する楽曲解析ステップと、
楽曲データの特徴量に基づき楽曲データを分類し、楽曲データの分類結果を示す楽曲分類情報を生成する楽曲分類ステップと、
騒音分類情報および楽曲分類情報に基づき、騒音分類情報および楽曲分類情報と、楽曲データの再生音量の調整幅を決定する音漏れ認知情報とが関連付けられて記録された音漏れ認知情報データベースを参照することにより音漏れ認知情報を生成する音漏れ認知情報生成ステップと、
音漏れ認知情報に基づき、楽曲データの再生音量を調整するための音量調整情報を生成し、音量調整情報に基づき楽曲データの再生音量を調整するように制御する制御ステップとを備える音量調整方法である。
また、第３の発明は、周囲の環境の騒音データを収音する収音ステップと、
収音ステップにより収音された騒音データの特徴を示す特徴量を抽出する騒音解析ステップと、
騒音データの特徴量に基づき騒音データを分類し、騒音データの分類結果を示す騒音分類情報を生成する騒音分類ステップと、
入力された楽曲データの特徴を示す特徴量を抽出する楽曲解析ステップと、
楽曲データの特徴量に基づき楽曲データを分類し、楽曲データの分類結果を示す楽曲分類情報を生成する楽曲分類ステップと、
騒音分類情報および楽曲分類情報に基づき、騒音分類情報および楽曲分類情報と、楽曲データの再生音量の調整幅を決定する音漏れ認知情報とが関連付けられて記録された音漏れ認知情報データベースを参照することにより音漏れ認知情報を生成する音漏れ認知情報生成ステップと、
音漏れ認知情報に基づき、楽曲データの再生音量を調整するための音量調整情報を生成し、音量調整情報に基づき楽曲データの再生音量を調整するように制御する制御ステップとを備える音量調整方法をコンピュータ装置に実行させる音量調整プログラムである。
上述したように、第１、第２および第３の発明では、周囲の環境の騒音データを収音し、収音ステップにより収音された騒音データの特徴を示す特徴量を抽出し、騒音データの特徴量に基づき騒音データを分類し、騒音データの分類結果を示す騒音分類情報を生成し、入力された楽曲データの特徴を示す特徴量を抽出し、楽曲データの特徴量に基づき楽曲データを分類し、楽曲データの分類結果を示す楽曲分類情報を生成し、騒音分類情報および楽曲分類情報に基づき、騒音分類情報および楽曲分類情報と、楽曲データの再生音量の調整幅を決定する音漏れ認知情報とが関連付けられて記録された音漏れ認知情報データベースを参照することにより音漏れ認知情報を生成し、音漏れ認知情報に基づき、楽曲データの再生音量を調整するための音量調整情報を生成し、音量調整情報に基づき楽曲データの再生音量を調整するようにしているため、楽曲の再生音量が周囲の騒音に対して適切な音量に調整される。
この発明は、収音部によって収音された周囲の環境の騒音データから特徴量を抽出し、抽出された騒音データの特徴量に基づき騒音データを分類する。また、記録媒体に記録された楽曲データから特徴量を抽出し、抽出された楽曲データの特徴量に基づき楽曲データを分類する。そして、騒音データおよび楽曲データの分類結果に基づき、楽曲データの再生音量を調整するようにしている。そのため、ユーザが音量を調整することなく適切に楽曲を聴取することができるとともに、周囲に対する音漏れを防ぐことができるという効果がある。
以下、この発明の実施の第１の形態について、図面を参照しながら説明する。図１は、この発明の実施の第１の形態に適用可能な再生装置１の一例の使用形態を示す。図１に示す例では、携帯型音楽再生装置などの再生装置１に対してヘッドフォン２およびマイクロフォン３（以下、マイク３と適宜称する）が接続され、ユーザがヘッドフォン２を介して、再生装置１に記録された楽曲を聴取している状態を示す。マイク３は、ヘッドフォン２の外部に設けられ、ユーザがヘッドフォン２を装着した状態での耳の位置で聞こえる環境騒音を収音する。なお、マイク３は、ヘッドフォン２の内部や再生装置１に設けるようにしてもよい。
ユーザが再生装置１に対して再生音量の自動調整を指示すると、再生装置１は、マイク３によって収音された環境騒音の騒音データを解析し、特徴量を抽出する。そして、抽出された特徴量に基づき、例えば環境騒音を「電車走行中」や「電車停車中」など、現在の環境に分類する。また、再生装置１は、再生中の楽曲の楽曲データを解析し、特徴量を抽出する。そして、抽出された特徴量に基づき、例えば楽曲を「ロック」や「クラシック」などのカテゴリに分類する。再生装置１は、このようにして分類された環境騒音および楽曲の分類結果に基づき、楽曲の再生音量を音漏れが認識されない程度の音量に設定する。
先ず、この発明の実施の第１の形態に対する理解を容易とするため、音漏れの発生について概略的に説明する。音漏れは、ヘッドフォン２から出力された楽曲の音声信号がヘッドフォン２自身を通過して外部に漏れ出すことによって発生する。このとき、ヘッドフォン２から出力された楽曲の音声信号は、ヘッドフォン２によって減衰された状態で外部に漏れ出す。
図２は、環境騒音およびヘッドフォン２を介して外部に漏れた楽曲の一例の周波数特性を示す。図２において、横軸が周波数を示し、縦軸が各周波数におけるパワーを示す。環境騒音のエンベロープで囲まれた領域はマスク領域Ｘであり、このマスク領域Ｘ内の楽曲のデータは、環境騒音によってマスクされてしまうため、周囲に音漏れとして認識されることはない。
一般に、楽曲の所定周波数成分におけるパワーが環境騒音のパワーよりも大きい場合に、音漏れが認識される。例えば、図２Ａに示す例では、楽曲のエンベロープで囲まれた領域のうち、マスク領域Ｘから外れた領域Ｙ（以下、音漏れ領域Ｙと適宜称する）が存在する。この場合、この音漏れ領域Ｙの成分は、環境騒音によってマスクされていない。すなわち、楽曲のデータのうち、この音漏れ領域Ｙの成分が周囲に音漏れとして認識されることになる。
したがって、図２Ｂに示すように、ヘッドフォン２の外部に漏れ出す楽曲の各周波数成分が環境騒音のマスク領域Ｘ内となるように楽曲の音量を調整することにより、音漏れを防止することができる。
また、例えば、環境騒音が図２Ｃに示す状態から図２Ｄに示す状態に変化した場合、図２Ｃに示す例では、楽曲の各周波数成分が環境騒音のマスク領域Ｘ内にあるが、図２Ｄに示す例では、楽曲の各周波数成分の一部がマスク領域Ｘから外れてしまう。このような場合には、環境騒音の変化に追従して楽曲の再生音量を下げることにより、音漏れを防止することができる。なお、環境騒音が低下するような状況は、環境騒音が静かになった場合に生じることが多いため、再生音量を下げてもユーザが楽曲を聴取しづらくなることはない。
次に、環境騒音および楽曲から抽出される特徴量について説明する。周囲の環境騒音は、電車・バスの車内や喫茶店など、その環境によってそれぞれ異なる。これらの環境騒音は、例えば、可聴周波数帯における低域の音量が大きい場合や、高域の音量が大きい場合など、環境によって異なる特徴を有している。
図３Ａ、図３Ｂおよび図３Ｃは、それぞれ「喫茶店」、「電車」および「バス」において収音された環境騒音の周波数特性の一例を示す。この例は、収音された環境騒音の０．５秒程度の時間データに対してＦＦＴ（Fast Fourier Transform）により周波数解析を行った際の周波数特性である。これらの図において、横軸が周波数［Ｈｚ］を示し、縦軸がパワー［ｄＢ］を示す。図３Ａ〜図３Ｃによれば、様々な環境において、各周波数におけるパワーの値が大きく異なることが判断できる。したがって、このような特徴を抽出することにより、ユーザがどのような環境にいるのかを判断することができる。
ところで、ＦＦＴによる周波数解析では、解析される時間データのサンプル数をｘ個とすると、パワーとして得られる周波数データは、ｘ／２本となる。このとき、環境騒音の解析の精度を高めるためには、周波数分解能を高くする必要がある。そのためには、サンプル数をある程度の大きさに設定する必要がある。例えば、時間データのサンプル数を３２７６８個とした場合、得られる周波数データは、１６３８４本となる。
このようにして得られる環境騒音の周波数特性に基づき、例えば、各周波数におけるデータを特徴量として用いることができると考えられるが、この１６３８４本の周波数データを環境騒音の特徴量として用いた場合、データが膨大となってしまうため、処理に時間を要してしまう。また、周波数データの時間的な変動も大きくなってしまうため、実用的ではない。
そこで、例えば、図４Ａ、図４Ｂおよび図４Ｃに示すように、それぞれの環境における周波数データのエンベロープの傾き（図４において、点線で示す部分）およびパワーの最大値（図４において、黒丸の部分）に注目する。例えば、電車やバスの車内では、喫茶店と比較して、低域のパワーが大きい。そのため、電車やバスの車内における騒音の周波数特性は、喫茶店における騒音の周波数特性と比較して、エンベロープの傾きが大きく、パワーの最大値が高くなることが判断できる。
したがって、この発明の実施の第１の形態では、この環境騒音の周波数領域におけるエンベロープの傾きおよびパワーの最大値を特徴量として抽出する。
なお、環境騒音および楽曲から抽出される特徴量としては、上述の例に限られず、種々の解析によって得られる情報を特徴量として用いることもできる。例えば、平均音量や周波数スペクトラム、自己相関係数、零軸公差率、パワー、過渡特性、シャープネス、ラウドネス、スペクトルの重心、ＭＦＣＣ（Mel Frequency Cepstrum Coefficient）、音の大きさ（Sone）、ケプストラムなどを特徴量として用いることも可能である。
さらに、時間軸データをある一定のサンプル毎、例えばフレームと呼ばれるようなＮサンプル毎に区切り、各フレーム単位で特徴量を抽出し、前後フレーム間における特徴量の比率や差分をとった値を特徴量として用いることも考えられる。また、数フレーム分の特徴量を用いて得られる平均や分散を特徴量として用いることも考えられる。
再生音量の調整方法について説明する。この発明の実施の第１の形態において楽曲の再生音量を調整する場合、ヘッドフォン２の外部における環境騒音と、楽曲がヘッドフォン２の外部に漏れ出す成分とに注目し、これらの特徴量に基づいて環境騒音および楽曲を分類するようにしている。
図５に示すように、ヘッドフォン２から出力された楽曲の信号成分ＭＳは、ヘッドフォン２を通過することによって減衰し、音漏れの信号成分ＭＳ’として外部に漏れ出す。また、外部の環境騒音の信号成分ＮＳは、ヘッドフォン２を通過することによって減衰し、信号成分ＮＳ’としてユーザの耳の内部に伝わることになる。
このときの各信号成分ＭＳおよびＮＳが減衰された信号成分ＭＳ’およびＮＳ’は、ヘッドフォン２の通過特性に基づく伝達関数Ｈを用いることによって推定することができる。すなわち、外部における楽曲の音漏れの信号成分ＭＳ’は、楽曲の信号成分ＭＳに対して伝達関数Ｈを畳み込むことによって算出することができる。また、ユーザの耳の内部における信号成分ＮＳ’は、環境騒音の信号成分ＮＳに対して伝達関数Ｈを畳み込むことによって算出することができる。言い換えると、環境騒音の信号成分ＮＳは、ユーザの耳の内部における信号成分ＮＳ’に対して逆伝達関数Ｈ−１を畳み込むことによって算出することができる。
ところで、マイク３によって環境騒音を収音する場合、マイク３の設置位置によって収音される環境騒音が異なる。例えば、マイク３がヘッドフォン２の外部に設けられている場合、収音される環境騒音の信号成分は、外部の環境騒音の信号成分ＮＳそのものである。一方、マイク３がヘッドフォン２の内部に設けられている場合、収音される環境騒音の信号成分は、外部の環境騒音がヘッドフォン２を通過することによって減衰した信号成分ＮＳ’である。
そのため、マイク３がヘッドフォン２の外部に設けられている場合には、収音された環境騒音の信号成分ＮＳをそのまま扱うことにより、ヘッドフォン２の外部における環境騒音の特徴量を正確に抽出することができる。しかしながら、マイク３がヘッドフォン２の内部に設けられている場合に、収音された環境騒音の信号成分ＮＳ’をそのまま扱うと、ヘッドフォン２の外部における環境騒音の特徴量を正確に抽出することができない。
そこで、この発明の実施の第１の形態では、マイク３がヘッドフォン２の内部に設けられている場合には、収音した環境騒音の信号成分ＮＳ’から環境騒音の信号成分ＮＳを推定し、推定された環境騒音の信号成分ＮＳに基づき特徴量を抽出するようにしている。
先ず、図６を参照して、マイク３がヘッドフォン２の外部に設けられた場合の再生音量調整方法について説明する。この例では、この発明の実施の第１の形態についての理解を容易とするため、環境騒音が「電車走行中」および「電車停車中」のいずれかに分類され、楽曲が「ロック」および「クラシック」のいずれかに分類される場合を例にとって説明する。
マイク３によって収音された環境騒音の騒音データＮＴが周波数分析部２１に供給される。周波数分析部２１は、供給された騒音データＮＴの所定時間、例えば０．５秒間程度の短い時間長を有する騒音データを用いて、騒音データＮＴに対してＦＦＴ分析やＯｃｔａｖｅ分析などの周波数分析を施し、周波数情報ＮＳを取得する。周波数情報ＮＳは、エンベロープ解析部２２およびパワー解析部２３に供給される。
エンベロープ解析部２２は、入力された周波数情報ＮＳに基づき騒音データＮＴのエンベロープの解析を行い、エンベロープを所定に数値化したエンベロープ情報ＮＰｅを算出する。この例では、エンベロープ情報ＮＰｅとして、例えばエンベロープの傾きの値が用いられる。算出されたエンベロープ情報ＮＰｅは、騒音分類部２４に供給される。
パワー解析部２３は、入力された周波数情報ＮＳに基づき騒音データＮＴのパワーの解析を行い、パワーを所定に数値化したパワー情報ＮＰｐを算出する。この例では、パワー情報ＮＰｐとして、例えばパワーの最大値が用いられる。算出されたパワー情報ＮＰｐは、騒音分類部２４に供給される。
騒音分類部２４は、エンベロープ解析部２２から供給されたエンベロープ情報ＮＰｅと、パワー解析部２３から供給されたパワー情報ＮＰｐとに基づき、後述する騒音分類データベース４１を参照することによって環境騒音を「電車走行中」や「電車停車中」などに分類する。そして、環境騒音の分類結果を示す騒音分類情報を生成し、音漏れ認知情報取得部３０に供給する。
一方、再生装置１に記録され再生が指示された楽曲の楽曲データＭＴが周波数分析部２５に供給される。周波数分析部２５は、供給された楽曲データＭＴの所定時間、例えば０．５秒間程度の短い時間長を有する楽曲データを用いて、楽曲データＭＴに対してＦＦＴ分析やＯｃｔａｖｅ分析などの周波数分析を施し、周波数情報ＭＳを取得する。周波数情報ＭＳは、伝達関数演算部２６に供給される。
伝達関数演算部２６は、周波数分析部２５から供給された周波数情報ＭＳに対して所定の伝達関数Ｈを畳み込み演算し、ヘッドフォン２の外部に漏れ出す楽曲データＭＴ’に対応する周波数情報ＭＳ’を出力する。周波数情報ＭＳ’は、エンベロープ解析部２７およびパワー解析部２８に供給される。
エンベロープ解析部２７は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のエンベロープの解析を行い、エンベロープを所定に数値化したエンベロープ情報ＭＰｅ’を算出する。この例では、エンベロープ情報ＭＰｅ’として、例えばエンベロープの傾きの値が用いられる。算出されたエンベロープ情報ＭＰｅ’は、楽曲分類部２９に供給される。
パワー解析部２８は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のパワーの解析を行い、パワーを所定に数値化したパワー情報ＭＰｐ’を算出する。この例では、パワー情報ＭＰｐ’として、例えばパワーの最大値が用いられる。算出されたパワー情報ＭＰｐ’は、楽曲分類部２９に供給される。
楽曲分類部２９は、エンベロープ解析部２７から供給されたエンベロープ情報ＭＰｅ’と、パワー解析部２８から供給されたパワー情報ＭＰｐ’とに基づき、後述する楽曲分類データベース４２を参照することによって楽曲を「ロック」や「クラシック」などのカテゴリ毎に分類する。そして、楽曲の分類結果を示す楽曲分類情報を生成し、音漏れ認知情報取得部３０に供給する。
音漏れ認知情報取得部３０は、騒音分類部２４から供給された騒音分類情報と、楽曲分類部２９から供給された楽曲分類情報とに基づき、後述する音漏れ認知情報データベース４３を参照することにより音漏れ認知情報を生成する。音漏れ認知情報は、例えば、楽曲の再生音量を調整する際に重点を置く周波数帯域の情報や、音量の調整幅、周囲における音漏れの認識度合い等の情報である。生成された音漏れ認知情報は、音量調整部３１に供給される。
音量調整部３１は、音漏れ認知情報取得部３０から供給された音漏れ認知情報に基づき再生音量の判定を行い、楽曲データの再生音量を調整するための音量調整情報を生成する。生成された音量調整情報は、音量選択部３２に供給される。
音量選択部３２は、音量調整部３１から供給された音量調整情報に基づき、楽曲データの音量を調整する。例えば、音量調整情報が楽曲の再生音量を調整することを示す情報である場合には、楽曲の音量を調整する。また、再生音量を調整しないことを示す情報である場合には、楽曲の音量を調整しない。
騒音分類データベース４１について説明する。騒音分類データベース４１は、様々な環境において実際に収音された騒音データから抽出された特徴量と環境騒音の分類結果とが関連付けられて記録されており、収音された騒音データを環境毎に分類する際に参照されるデータベースである。この例では、環境騒音の特徴量として、エンベロープ情報ＮＰｅおよびパワー情報ＮＰｐが用いられ、これらの特徴量に基づき、比較対象となる環境騒音が分類される。例えば、環境騒音の特徴量に基づいて騒音分類データベース４１を参照することにより、環境騒音が「電車走行中」および「電車停車中」のうちいずれかに分類される。
ここで、騒音分類データベース４１の作成方法について説明する。騒音分類データベース４１を作成する場合には、図７Ａに示すように、先ず、様々な環境において、実際に収音された環境騒音の騒音データを用意する。この例では、例えば、収音された騒音データＮＴとして、「電車走行中」に収音された騒音データと、「電車停車中」に収音された騒音データとを用意する。そして、これらの騒音データＮＴを周波数分析部３３に供給する。
周波数分析部３３は、供給されたそれぞれの騒音データＮＴに対して周波数分析を施し、周波数情報ＮＳを取得する。取得した周波数情報ＮＳは、エンベロープ解析部３４およびパワー解析部３５に供給される。エンベロープ解析部３４は、周波数情報ＮＳに基づき、それぞれの騒音データＮＴにおけるエンベロープ情報ＮＰｅを算出する。また、パワー解析部３５は、周波数情報ＮＳに基づき、それぞれの騒音データＮＴにおけるパワー情報ＮＰｐを算出する。
次に、図７Ｂに示すように、算出されたエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐに基づき、それぞれの騒音データＮＴをエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐを軸とした２次元平面上にマッピングする。「電車走行中」や「電車停車中」などの環境毎に分類された騒音データＮＴをマッピングすることにより、２次元平面上には、騒音データＮＴの分類毎に境界が形成されるので、この分類毎の境界を示す境界線を設定する。
このようにして設定された境界線の情報と、特徴量に基づく２次元平面のデータとを騒音分類データベース４１として設定する。したがって、楽曲を再生する際に収音された騒音データＮＴの特徴量に基づき、この騒音分類データベース４１を参照することにより、収音された環境騒音を分類することができる。例えば、収音された騒音データＮＴのエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐに基づき騒音分類データベース４１とを参照する。そして、収音された騒音データＮＴが境界線の上側にあれば、環境騒音が「電車走行中」に分類され、境界線の下側にあれば、環境騒音が「電車停車中」に分類される。
なお、分類毎の境界が明確である場合には、人の判断によって境界線を設定してもよい。しかしながら、分類毎の境界が明確でない場合や、特徴量が３次元以上である場合には、人の判断による境界の設定が困難となるため、例えば数学的な手法を用いて、分類毎の境界線を設定すると好ましい。
楽曲分類データベース４２について説明する。楽曲分類データベース４２は、様々な楽曲データから抽出された特徴量と楽曲の分類結果とが関連付けられて記録されており、再生された楽曲を、例えばカテゴリ毎などに分類する際に参照されるデータベースである。この例では、楽曲の特徴量として、エンベロープ情報ＭＰｅおよびパワー情報ＭＰｐが用いられ、これらの特徴量に基づき、比較対象となる楽曲が分類される。例えば、楽曲の特徴量に基づいて楽曲分類データベース４２を参照することにより、楽曲が「ロック」および「クラシック」のうちいずれかに分類される。
楽曲分類データベース４２は、騒音分類データベース４１の作成方法と同様の方法により作成することができる。ここでは、楽曲を「ロック」や「クラシック」などのカテゴリ毎に分類する場合を例にとって説明する。例えば、予め「ロック」に分類された楽曲データと、「クラシック」に分類された楽曲データとを用意し、これらの楽曲データＭＴに対して周波数分析を行い、周波数情報ＭＳを取得する。取得した周波数情報ＭＳに基づき、特徴量であるエンベロープ情報ＭＰｅおよびパワー情報ＭＰｐを算出する。
次に、算出されたエンベロープ情報ＭＰｅおよびパワー情報ＭＰｐに基づき、それぞれの楽曲データＭＴをエンベロープ情報ＭＰｅおよびパワー情報ＭＰｐを軸とした２次元平面上にマッピングする。「ロック」や「クラシック」などに分類された楽曲データＭＴをマッピングすることにより、２次元平面上には、楽曲データＭＴの分類毎に境界が形成されるので、この分類毎の境界線を設定する。
このようにして設定された境界線の情報と、特徴量に基づく２次元平面のデータとを楽曲分類データベース４２として設定する。したがって、再生された楽曲データＭＴの特徴量に基づき、この楽曲分類データベース４２を参照することにより、再生された楽曲を分類することができる。例えば、楽曲データＭＴのエンベロープ情報ＭＰｅおよびパワー情報ＭＰｐに基づき楽曲分類データベース４２とを参照する。そして、楽曲データＭＴが境界線の上側にあれば、再生された楽曲が「ロック」に分類され、境界線の下側にあれば、楽曲が「クラシック」に分類される。
音漏れ認知情報データベース４３について説明する。音漏れ認知情報データベース４３は、収音された環境騒音の分類結果と再生中の楽曲の分類結果とに基づき、楽曲の再生音量の調整幅等を決定する際に参照されるデータベースである。音漏れ認知情報データベース４３には、図８に示すように、騒音分類情報および楽曲分類情報が関連付けられ、これらの騒音分類情報および楽曲分類情報に対応する音漏れ認知情報が記録されている。
例えば、収音された環境騒音の分類結果を示す騒音分類情報が「電車走行中」であり、再生中の楽曲の分類結果を示す楽曲分類情報が「ロック」である場合には、音漏れ認知情報としての再生音量の調整幅が「大幅」とされる。また、例えば、騒音分類情報が「電車停車中」であり、楽曲分類情報が「クラシック」である場合には、音漏れ認知情報が「小幅」とされる。
ここで、環境および楽曲が変化した場合における騒音分類情報および楽曲分類情報に基づく音漏れ認知情報の決定方法について説明する。ここでは、一例として、ユーザが電車に乗車している間に再生する楽曲が切り替わった場合について考える。
例えば、図９に示すように、期間Ｔ０において、電車走行中にクラシックを聴取している場合には、収音された環境騒音の特徴量に基づく騒音分類情報が「電車走行中」となるとともに、再生中の楽曲の特徴量に基づく楽曲分類情報が「クラシック」となる。この場合、「クラシック」に分類される楽曲は、周囲への音漏れが比較的認識されにくいが、「電車走行中」という環境は、周囲の環境騒音が大きく変化することが考えられるので、再生音量を調整する必要がある。したがって、騒音分類情報および楽曲分類情報に基づき図８に示す音漏れ認知情報データベース４３を参照することにより、音漏れ認知情報が「中幅」に決定される。
次に、期間Ｔ１において周囲の状況が変化し、電車が停車中である場合には、収音された環境騒音の特徴量に基づく騒音分類情報が「電車停車中」となる。この場合、「電車停車中」という環境は、電車走行時の騒音が収まり比較的静かになり、周囲の環境騒音が大きく変化する環境ではないと考えられる。したがって、音漏れ認知情報が「小幅」に決定される。
期間Ｔ２において再生中の楽曲が変化し、クラシックからロックに変化した場合には、再生中の楽曲の特徴量に基づく楽曲分類情報が「ロック」となる。この場合、「ロック」に分類される楽曲は、周囲への音漏れが認識されやすいと考えられる。また、周囲の環境の分類が「電車停車中」であり環境騒音が小さい。したがって、音漏れ認知情報が「中幅」に決定される。
期間Ｔ３において周囲の状況が変化し、電車が走行中である場合には、収音された環境騒音の特徴量に基づく騒音分類情報が「電車走行中」となる。この場合、「電車走行中」という環境は、周囲の環境騒音が大きく変化することが考えられる。また、楽曲の分類が「ロック」であり、周囲への音漏れが認識されやすい。したがって、音漏れ認知情報が「大幅」に決定される。
このように、騒音分類情報および楽曲分類情報に基づき音漏れ認知情報データベース４３を参照することにより、再生中の楽曲に対する音量の調整幅を決定することができる。
次に、図１０を参照して、マイク３がヘッドフォン２の内部に設けられた場合の再生音量調整方法について説明する。なお、図６に示すマイク３がヘッドフォン２の外部に設けられた場合と共通する部分については、同一の符号を付し、詳細な説明を省略する。
マイク３によって収音された環境騒音の騒音データＮＴ’が周波数分析部２１に供給される。周波数分析部２１は、供給された騒音データＮＴに対して周波数分析を施し、周波数情報ＮＳ’を取得する。周波数情報ＮＳ’は、逆伝達関数演算部４０に供給される。
逆伝達関数演算部４０は、周波数分析部２１から供給された周波数情報ＮＳ’に対して所定の逆伝達関数Ｈ−１を畳み込み演算し、ヘッドフォン２の外部における騒音データＮＴに対応する周波数情報ＮＳを出力する。周波数情報ＮＳは、エンベロープ解析部２２およびパワー解析部２３に供給される。
エンベロープ解析部２２は、逆伝達関数演算部４０から供給された周波数情報ＮＳに基づき騒音データＮＴのエンベロープの解析を行い、エンベロープ情報ＮＰｅを算出する。算出されたエンベロープ情報ＮＰｅは、騒音分類部２４に供給される。パワー解析部２３は、逆伝達関数演算部４０から供給された周波数情報ＮＳに基づき騒音データＮＴのパワーの解析を行い、パワー情報ＮＰｐを算出する。算出されたパワー情報ＮＰｐは、騒音分類部２４に供給される。
騒音分類部２４は、エンベロープ情報ＮＰｅおよびパワー情報ＮＰｐとに基づき、騒音分類データベース４１を参照して環境騒音を分類し、騒音分類情報を生成する。生成された騒音分類情報は、音漏れ認知情報取得部３０に供給する。
一方、再生装置１に記録され再生が指示された楽曲の楽曲データＭＴが周波数分析部２５に供給される。周波数分析部２５は、供給された楽曲データＭＴに対して周波数分析を施し、周波数情報ＭＳを取得する。周波数情報ＭＳは、伝達関数演算部２６に供給される。
伝達関数演算部２６は、周波数分析部２５から供給された周波数情報ＭＳに対して所定の伝達関数Ｈを畳み込み演算し、ヘッドフォン２の外部に漏れ出す楽曲データＭＴ’に対応する周波数情報ＭＳ’を出力する。周波数情報ＭＳ’は、エンベロープ解析部２７およびパワー解析部２８に供給される。
エンベロープ解析部２７は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のエンベロープの解析を行い、エンベロープ情報ＭＰｅ’を算出する。算出されたエンベロープ情報ＭＰｅ’は、楽曲分類部２９に供給される。パワー解析部２８は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のパワーの解析を行い、パワー情報ＭＰｐ’を算出する。算出されたパワー情報ＭＰｐ’は、楽曲分類部２９に供給される。
楽曲分類部２９は、エンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’とに基づき、楽曲分類データベース４２を参照して楽曲を分類し、楽曲分類情報を生成する。生成された楽曲分類情報は、音漏れ認知情報取得部３０に供給される。
音漏れ認知情報取得部３０は、騒音分類部２４から供給された騒音分類情報と、楽曲分類部２９から供給された楽曲分類情報とに基づき、後述する音漏れ認知情報データベース４３を参照して音漏れ認知情報を生成する。生成された音漏れ認知情報は、音量調整部３１に供給される。
音量調整部３１は、音漏れ認知情報取得部３０から供給された音漏れ認知情報に基づき再生音量の判定を行い、音量調整情報を生成する。生成された音量調整情報は、音量選択部３２に供給される。音量選択部３２は、音量調整部３１から供給された音量調整情報に基づき、楽曲データの音量を調整する。
この発明の実施の第１の形態に適用可能な再生装置１の一例の構成について、図１１を参照して説明する。なお、図１１では、この発明の実施の第１の形態と関係の深い部分についてのみを図示し、それ以外の部分については説明を省略する。音楽再生装置１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、音声信号処理部１４、記録再生制御部１５、入力処理部１６および操作部１７がバス１０を介して接続されている。
ＣＰＵ１１は、ＲＡＭ１３をワークメモリとして用い、ＲＯＭ１２に予め記憶されたプログラムに従いこの音楽再生装置１の全体の動作を制御する。例えば、ＣＰＵ１１は、バス１０を介して各部とコマンドやデータのやりとりを行い、各部を制御する。また、ＣＰＵ１１は、後述する操作部１７に対する操作に応じて、記録媒体１８に記録された楽曲データの再生を制御する。
ＣＰＵ１１は、図６および図１０を用いて説明した再生音量調整処理を行う。ＣＰＵ１１は、マイク３で収音された環境騒音の騒音データを入力処理部１６を介して受け取り、騒音データの解析を行って環境騒音を分類する。また、後述する音声信号処理部１４からディジタル音声信号の楽曲データを受け取り、楽曲データの解析を行って楽曲を分類する。そして、環境騒音および楽曲の分類結果に応じて楽曲の再生音量を制御する。
音声信号処理部１４には、音声出力部１９が接続される。音声信号処理部１４は、再生対象である楽曲データを、後述する記録媒体１８から記録再生制御部１５を介して受け取り、楽曲データに対してＤ／Ａ（Digital/Analog）変換等の各種処理を施し、アナログ音声信号に変換する。また、楽曲データが圧縮されている場合には、所定の圧縮方式を用いて伸長処理を施す。そして、音声信号処理部１４は、ディジタル音声信号の楽曲データをＣＰＵ１１に供給する。また、音声信号処理部１４は、アナログ音声信号に変換された楽曲データを、音声出力部１９を介して出力する。音声出力部１９としては、例えばヘッドフォン２やスピーカを用いることができる。
記録再生制御部１５には、記録媒体１８が接続される。記録再生制御部１５は、記録媒体１８に対するデータの記録制御や、記録媒体１８に記録されたデータの再生制御を行う。記録媒体１８には、楽曲データが記録されている。記録媒体１８としては、例えば着脱可能な不揮発性メモリや、着脱可能または音楽再生装置１に内蔵されるハードディスクを用いることができる。
入力処理部１６には、マイク３が接続される。マイク３は、環境騒音を収音し、環境騒音の騒音データをアナログ音声信号に変換して入力処理部１６に供給する。入力処理部１６は、マイク３から供給されたアナログ音声信号に対してＡ／Ｄ（Analog/Digital）変換等の各種処理を施し、ディジタルの騒音データに変換する。変換された騒音データは、ＣＰＵ１１に供給される。
操作部１７は、この音楽再生装置１を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた制御信号を出力する。例えば、楽曲データを再生／停止するための再生／停止キーや、再生音量を調整するための音量調整キー、再生音量の自動調整を指示するための操作子などが設けられている。
この発明の実施の第１の形態における再生音量調整処理の流れについて、図１２に示すフローチャートを参照して説明する。なお、特別な記載がない限り、以下の処理は、ＣＰＵ１１の制御の下で行われるものとする。また、以下の処理は、所定時間毎に巡回的に繰り返されるものとする。ここでは、マイク３がヘッドフォン２の外部に設けられた場合を例にとって説明する。
ステップＳ１において、再生装置１の電源がＯＮとされ、ステップＳ２において、ユーザにより、操作部１７に設けられた再生音量の自動調整を指示するための操作子が操作される。ステップＳ３では、ユーザによって所定の楽曲が選択され、選択された楽曲の楽曲データが記録媒体１８から読み出されて再生される。
ステップＳ４では、マイク３を介して環境騒音が収音され、ステップＳ５において、収音された環境騒音の騒音データＮＴに対して周波数分析が施され、環境騒音の特徴量であるエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐが算出される。ステップＳ６では、ステップＳ５において算出されたエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐに基づき、騒音分類データベース４１を参照することにより環境騒音が分類され、騒音分類情報が生成される。
ステップＳ７では、再生された楽曲データのヘッドフォン２の外部に漏れ出す成分に対して周波数分析が施され、ヘッドフォン２の外部における楽曲の特徴量であるエンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’が算出される。ステップＳ８では、ステップＳ７において算出されたエンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’に基づき、楽曲分類データベース４２を参照することにより楽曲が分類され、楽曲分類情報が生成される。
ステップＳ９では、騒音分類情報および楽曲分類情報に基づき、音漏れ認知情報データベース４３を参照することにより音漏れ認知情報が生成される。ステップＳ１０では、音漏れ認知情報に基づき音量調整情報が生成され、音量調整情報に応じて楽曲の再生音量が調整される。
ステップＳ１１では、音楽を聴取し続けるか否かが判断される。音楽を聴取し続けると判断された場合には、処理がステップＳ３に戻り、楽曲の再生が継続される。
一方、音楽を聴取し続けないと判断された場合には、処理がステップＳ１２に移行し、ユーザによって音楽再生装置１の電源がＯＦＦとされて一連の処理が終了する。
このように、この発明の実施の第１の形態では、所定時間毎に収音された環境騒音から特徴量を抽出し、抽出された特徴量に基づいて環境騒音の分類を行う。また、再生された楽曲から特徴量を抽出し、抽出された特徴量に基づいて楽曲の分類を行う。そして、環境騒音および楽曲の分類結果に基づいて楽曲の再生音量を調整するようにしているため、環境騒音の変化に追従して楽曲の再生音量を適した音量に調整することができ、外部への音漏れを防ぐことができる。
次に、この発明の実施の第１の形態の第１の変形例について説明する。上述した実施の第１の形態に適用可能な再生音量の調整方法では、環境騒音の特徴量であるエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐを算出する際に、例えば０．５秒程度の短い時間長を有する騒音データを用いて、楽曲の再生音量の調整を行っている。そのため、再生音量の調整量は、この騒音データを取得した短い時間に支配されてしまう。
例えば、ユーザが電車の車内にいる場合であっても、周囲で人が会話をしている場合と会話をしていない場合とでは、環境騒音の特徴量が大きく変化する。このような場合に、環境騒音が変化に応じて音量調整が細かく行われると、ユーザが不快となってしまうおそれがある。
そこで、この発明の実施の第１の形態の第１の変形例では、所定時間毎に収音した環境騒音および楽曲の特徴量に基づき音量調整の判定を行い、判定結果を所定回数分だけメモリに記憶させておく。そして、この所定回数分の判定結果に基づき、過去のデータになるほど重みが減少する重み係数を用いて再生音量を調整するようにしている。
図１３は、この発明の実施の第１の形態の第１の変形例による再生音量の調整方法の一例について説明するためのブロック図である。第１の判定部５１は、環境騒音の騒音データＮＴに対して周波数分析を行うことによって得られるエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐと、楽曲の楽曲データＭＴの外部に漏れ出す成分に対して周波数分析を行うことによって得られるエンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’とが供給される。そして、供給された環境騒音のエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐと、楽曲のエンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’とに基づき再生音量の判定を行い、楽曲データの再生音量の判定結果を示す音量判定情報を生成する。生成された音量判定情報は、変換部５２に供給される。
変換部５２は、供給された音量判定情報に基づき、判定結果を所定の数値に変換する。例えば、再生音量を下げる場合には、「−１」に変換し、再生音量を変更しない場合には、「０」に変換する。また、再生音量を上げる場合には、「１」に変換する。判定結果に応じて数値に変換されたデータは、メモリ５３に供給される。
メモリ５３は、所定回数分、例えばｎ個分のデータを格納することができる領域を有している。メモリ５３は、新しいデータが供給されると、格納されたデータを１つずつシフトし、時間的に最も古いデータを捨てるとともに、供給された新しいデータを格納する。
具体的には、例えば、メモリ５３に新たなデータが供給された場合、メモリ５３に格納されたデータの中で最も古いデータｄｎが捨てられるとともに、データｄｎ−１が１つだけシフトされ、データｄｎとしてメモリ５３に格納される。同様にして、データｄ３，ｄ２およびｄ１がそれぞれ１つだけシフトされ、データｄ４，ｄ３およびｄ２としてメモリ５３に格納される。そして、新たに供給されたデータがｄ１としてメモリ５３に格納される。
メモリ５３に格納されたデータｄ１，ｄ２，・・・，ｄｎは、乗算器５４，５４，・・・にそれぞれ供給される。
乗算器５４，５４，・・・は、メモリ５３から供給されたデータｄ１，ｄ２，・・・，ｄｎに対して、重み係数ｗ１，ｗ２，・・・，ｗｎを畳み込み演算する。重み係数ｗ１，ｗ２，・・・，ｗｎは、メモリ５３に格納されたデータの重みを決定する係数であり、数式（１）で示されるように、過去のデータになるほど重みが減少するように設定されている。
１≧ｗ１≧ｗ２≧・・・≧ｗｎ−１≧ｗｎ≧０ ・・・（１）
それぞれのデータｄ１，ｄ２，・・・，ｄｎに対して重み係数ｗ１，ｗ２，・・・，ｗｎを畳み込み演算した結果のデータは、加算器５５に供給される。加算器５５は、乗算器５４，５４，・・・から供給された畳み込み演算の結果のデータをそれぞれ加算し、第２の判定部５６に供給する。
第２の判定部５６は、加算器５５から供給されたデータの平均値を算出し、算出結果に応じて環境騒音の判定を行う。この例では、再生音量を下げる場合に「−１」、再生音量を変更しない場合に「０」、再生音量を上げる場合に「１」としているので、「０」を基準として、データの平均値が「０」より大きい場合には、再生音量を上げると判定する。また、データの平均値が「０」より小さい場合には、再生音量を下げると判定する。データの平均値が「０」である場合には、再生音量の調整を行わないと判定する。判定結果を示すデータは、音量調整幅調整部５７に供給される。
音量調整幅調整部５７は、供給された判定結果を示すデータと、音漏れ認知情報取得部３０から供給された音漏れ認知情報とに基づき楽曲データの再生音量を調整するための音量調整情報を生成し、音量選択部３２に供給する。
このように、この発明の実施の第１の形態の第１の変形例では、所定時間毎に収音した環境騒音および楽曲の特徴量に基づき音量調整の判定を行い、判定結果および音漏れ認知情報に基づき再生音量を調整するようにしている。また、過去の判定結果であるほど重みが減少するように演算するようにしている。そのため、上述の実施の第１の形態による再生音量の調整方法と比較して、音量調整のための判定結果を平均化して安定させることができる。
この発明の実施の第１の形態の第２の変形例について説明する。この発明の実施の第１の形態の第２の変形例では、ノイズキャンセリング機能を有する再生装置に対して音量調整処理を適用する。ノイズキャンセリング機能は、背景技術の項で説明したように、収音した環境騒音に基づき、環境騒音を打ち消す成分を再生音に付加することによりユーザに聞こえる環境騒音を低減させるものである。
しかしながら、この場合において収音される実際の環境騒音は、その音量が低減されているわけではない。そのため、収音された実際の環境騒音の特徴量に基づいて楽曲の再生音量を調整すると、再生された楽曲の音量は、ユーザに聞こえる低減された環境騒音の音量に対して大きい音量となってしまう。
そこで、この実施の第１の形態の第２の変形例では、ノイズキャンセリング機能による環境騒音の低減効果と同等の効果を有する等価フィルタを、収音された環境騒音の入力側に設ける。そして、等価フィルタを介して低減された環境騒音の特徴量に基づいて、楽曲の再生音量を調整するようにしている。
図１４は、この発明の実施の第１の形態の第２の変形例による再生音量の調整方法の一例について説明するためのブロック図である。ここでは、マイク３がヘッドフォン２の外部に設けられている場合を例にとって説明する。なお、図６に示す実施の第１の形態と共通する部分については、同一の符号を付し、詳細な説明を省略する。
マイク３によって収音された環境騒音の騒音データＮＴが周波数分析部２１に供給される。周波数分析部２１は、供給された騒音データＮＴに対して周波数分析を施し、周波数情報ＮＳを取得する。周波数情報ＮＳは、スイッチ６１に供給される。
スイッチ６１は、入力端子６１ａ、出力端子６１ｂおよび６１ｃを備える。スイッチ６１は、ユーザによる操作部１７に対する操作に基づくノイズキャンセリング機能のＯＮ／ＯＦＦに応じて、入力端子６１ａに入力された周波数情報ＮＳを出力端子６１ｂおよび６１ｃのいずれか一方の出力端子から選択的に出力する。
ノイズキャンセリング機能がＯＮとされている場合には、出力端子６１ｂが選択され、入力端子６１ａに供給された周波数情報ＮＳを出力端子６１ｂから出力し、等価フィルタ６２に供給する。一方、ノイズキャンセリング機能がＯＦＦとされている場合には、出力端子６１ｃが選択され、周波数情報ＮＳを出力端子６１ｃから出力し、エンベロープ解析部２２およびパワー解析部２３に供給する。
等価フィルタ６２は、収音された環境騒音の騒音データＮＴにおける周波数情報ＮＳに対して、ノイズキャンセル機能を用いた際に得られる低減効果と同等の効果が得られる処理を施し、騒音が低減された低減騒音データの周波数情報ＴＮＳを生成する。生成された周波数情報ＴＮＳは、エンベロープ解析部２２およびパワー解析部２３に供給される。
エンベロープ解析部２２は、スイッチ６１を介して周波数分析部２１から供給された周波数情報ＮＳまたは、等価フィルタ６２から供給された周波数情報ＴＮＳに基づきエンベロープの解析を行い、エンベロープ情報ＮＰｅまたはＴＮＰｅを算出する。算出されたエンベロープ情報ＮＰｅまたはＴＮＰｅは、騒音分類部２４に供給される。
パワー解析部２３は、スイッチ６１を介して周波数分析部２１から供給された周波数情報ＮＳまたは、等価フィルタ６２から供給された周波数情報ＴＮＳに基づきパワーの解析を行い、パワー情報ＮＰｐまたはＴＮＰｐを算出する。算出されたパワー情報ＮＰｐまたはＴＮＰｐは、騒音分類部２４に供給される。
騒音分類部２４は、エンベロープ情報ＮＰｅ／ＴＮＰｅおよびパワー情報ＮＰｐ／ＴＮＰｐに基づき、騒音分類データベース４１を参照して環境騒音を分類し、騒音分類情報を生成する。生成された騒音分類情報は、音漏れ認知情報取得部３０に供給する。
一方、再生装置１に記録され再生が指示された楽曲の楽曲データＭＴが周波数分析部２５に供給される。周波数分析部２５は、供給された楽曲データＭＴに対して周波数分析を施し、周波数情報ＭＳを取得する。周波数情報ＭＳは、伝達関数演算部２６に供給される。
伝達関数演算部２６は、周波数分析部２５から供給された周波数情報ＭＳに対して所定の伝達関数Ｈを畳み込み演算し、ヘッドフォン２の外部に漏れ出す楽曲データＭＴ’に対応する周波数情報ＭＳ’を出力する。周波数情報ＭＳ’は、エンベロープ解析部２７およびパワー解析部２８に供給される。
エンベロープ解析部２７は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のエンベロープの解析を行い、エンベロープ情報ＭＰｅ’を算出する。算出されたエンベロープ情報ＭＰｅ’は、楽曲分類部２９に供給される。パワー解析部２８は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のパワーの解析を行い、パワー情報ＭＰｐ’を算出する。算出されたパワー情報ＭＰｐ’は、楽曲分類部２９に供給される。
楽曲分類部２９は、エンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’とに基づき、楽曲分類データベース４２を参照して楽曲を分類し、楽曲分類情報を生成する。生成された楽曲分類情報は、音漏れ認知情報取得部３０に供給される。
音漏れ認知情報取得部３０は、騒音分類部２４から供給された騒音分類情報と、楽曲分類部２９から供給された楽曲分類情報とに基づき、音漏れ認知情報データベース４３を参照して音漏れ認知情報を生成する。生成された音漏れ認知情報は、音量調整部３１に供給される。
音量調整部３１は、音漏れ認知情報取得部３０から供給された音漏れ認知情報に基づき再生音量の判定を行い、音量調整情報を生成する。生成された音量調整情報は、音量選択部３２に供給される。音量選択部３２は、音量調整部３１から供給された音量調整情報に基づき、楽曲データの音量を調整する。
このように、この発明の実施の第１の形態の第２の変形例では、ノイズキャンセリング機能による低減効果と同等の低減効果を有する等価フィルタを用いて、ユーザに聞こえる低減された環境騒音に応じて楽曲の再生音量を調整するようにしているため、ユーザの聴覚に優しい音量で楽曲を再生することができる。
また、ユーザに聞こえる環境騒音は、ノイズキャンセリング機能によって実際の環境騒音よりも小さい音量である。そのため、低減された環境騒音の特徴量に基づいて設定された楽曲の再生音量は、実際の環境騒音にマスクされてしまうような音量であるが、ユーザに聞こえる低減された環境騒音にマスクされてしまうことがないので、楽曲を適切に聴取することができる。
なお、この例では、マイク３がヘッドフォン２の外部に設けられている場合について説明したが、これはこの例に限られず、例えばマイク３がヘッドフォン２の内部に設けられている場合についても同様に適用可能である。
この発明の実施の第２の形態について説明する。上述の実施の第１の形態では、マイク３により外部の環境騒音を収音するようにしているが、楽曲を再生中に収音される環境騒音には、ヘッドフォン２を通過して外部に漏れ出す楽曲の信号成分が含まれてしまっている。そのため、周囲の環境騒音の特徴量を正確に抽出して環境騒音を分類することができない。
そこで、この発明の実施の第２の形態では、楽曲の音量が小さい場合など、ヘッドフォン２からの音漏れが少ない場合やヘッドフォン２からの音漏れがない状態で収音された環境騒音および楽曲の特徴量に基づき環境騒音および楽曲を分類し、楽曲の再生音量を調整するようにした。
図１５は、この発明の実施の第２の形態による再生音量の調整方法の一例について説明するためのブロック図である。この例では、マイク３がヘッドフォン２の外部に設けられている場合について説明する。なお、図６に示す実施の第１の形態と共通する部分については、同一の符号を付し、詳細な説明を省略する。
測定制御部７３は、再生装置１に記録された楽曲の楽曲データＭＴが供給され、楽曲データＭＴの音量を測定する。そして、測定結果に基づきスイッチ７１のＯＮ／ＯＦＦを制御する。測定制御部７３には、楽曲データＭＴの音量に対する閾値が予め設定されている。測定制御部７３は、楽曲データＭＴの音量が閾値以下である場合には、スイッチ７１をＯＮとするように制御する。また、楽曲データＭＴの音量が閾値を超える場合には、スイッチ７１をＯＦＦとするように制御する。なお、スイッチ７２は、後述する測定制御部７３のタイマによる制御が行われる場合を除き、常時ＯＮとなっている。
マイク３によって収音された環境騒音の騒音データＮＴは、スイッチ７１に供給され、測定制御部７３の制御に基づきＯＮとされた場合に周波数分析部２１に供給される。周波数分析部２１は、供給された騒音データＮＴに対して周波数分析を施し、周波数情報ＮＳを取得する。周波数分析によって得られた周波数情報ＮＳは、エンベロープ解析部２２およびパワー解析部２３に供給される。
エンベロープ解析部２２は、周波数分析部２１から供給された周波数情報ＮＳに基づきエンベロープの解析を行い、エンベロープ情報ＮＰｅを算出する。算出されたエンベロープ情報ＮＰｅは、騒音分類部２４に供給される。パワー解析部２３は、周波数分析部２１から供給された周波数情報ＮＳに基づきパワーの解析を行い、パワー情報ＮＰｐを算出する。算出されたパワー情報ＮＰｐは、騒音分類部２４に供給される。
騒音分類部２４は、エンベロープ情報ＮＰｅおよびパワー情報ＮＰｐに基づき、騒音分類データベース４１を参照して環境騒音を分類し、騒音分類情報を生成する。生成された騒音分類情報は、音漏れ認知情報取得部３０に供給する。
一方、再生装置１に記録された楽曲の楽曲データＭＴは、スイッチ７２を介して周波数分析部２５に供給される。周波数分析部２５は、供給された楽曲データＭＴに対して周波数分析を施し、周波数情報ＭＳを取得する。周波数情報ＭＳは、伝達関数演算部２６に供給される。
伝達関数演算部２６は、周波数分析部２５から供給された周波数情報ＭＳに対して所定の伝達関数Ｈを畳み込み演算し、ヘッドフォン２の外部に漏れ出す楽曲データＭＴ’に対応する周波数情報ＭＳ’を出力する。周波数情報ＭＳ’は、エンベロープ解析部２７およびパワー解析部２８に供給される。
エンベロープ解析部２７は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のエンベロープの解析を行い、エンベロープ情報ＭＰｅ’を算出する。算出されたエンベロープ情報ＭＰｅ’は、楽曲分類部２９に供給される。パワー解析部２８は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のパワーの解析を行い、パワー情報ＭＰｐ’を算出する。算出されたパワー情報ＭＰｐ’は、楽曲分類部２９に供給される。
楽曲分類部２９は、エンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’とに基づき、楽曲分類データベース４２を参照して楽曲を分類し、楽曲分類情報を生成する。生成された楽曲分類情報は、音漏れ認知情報取得部３０に供給される。
音漏れ認知情報取得部３０は、騒音分類部２４から供給された騒音分類情報と、楽曲分類部２９から供給された楽曲分類情報とに基づき、音漏れ認知情報データベース４３を参照して音漏れ認知情報を生成する。生成された音漏れ認知情報は、音量調整部３１に供給される。
音量調整部３１は、音漏れ認知情報取得部３０から供給された音漏れ認知情報に基づき再生音量の判定を行い、音量調整情報を生成する。生成された音量調整情報は、音量選択部３２に供給される。音量選択部３２は、音量調整部３１から供給された音量調整情報に基づき、楽曲データの音量を調整する。
なお、測定制御部７３によって楽曲データＭＴの音量を測定した際に、楽曲によっては、その音量が閾値以下とならない場合が考えられる。このような場合には、例えば、測定制御部７３にタイマを設け、タイマに設定された所定期間中に楽曲データＭＴの音量が閾値以下とならない場合に、スイッチ７１を強制的にＯＮとして、環境騒音を収音するようにしてもよい。このとき、測定制御部７３は、スイッチ７２を強制的にＯＦＦとしてもよい。例えば、所定期間、楽曲データＭＴの音量が閾値以下とならない場合には、環境騒音が収音されていないことをユーザに提示する。そして、ユーザにより環境騒音の収音が指示された場合に、再生中の楽曲の音漏れ成分が影響しないようにスイッチ７２を強制的にＯＦＦとするようにしてもよい。
この発明の実施の第２の形態における再生音量調整処理の流れについて、図１６に示すフローチャートを参照して説明する。なお、特別な記載がない限り、以下の処理は、ＣＰＵ１１の制御の下で行われるものとする。また、以下の処理は、所定時間毎に巡回的に繰り返されるものとする。
ステップＳ２１において、再生装置１の電源がＯＮとされ、ステップＳ２２において、ユーザにより、操作部１７に設けられた再生音量の自動調整を指示するための操作子が操作される。ステップＳ２３では、ユーザによって所定の楽曲が選択され、選択された楽曲の楽曲データが記録媒体１８から読み出されて再生される。
ステップＳ２４では、再生された楽曲データＭＴの音量と、測定制御部７３に予め設定された楽曲データＭＴの音量に対する閾値とが比較され、楽曲データＭＴの音量が十分小さいかどうかが判断される。楽曲データＭＴの音量が閾値以下である場合には、楽曲データＭＴの音量が十分小さいと判断され、処理がステップＳ２５に移行する。一方、楽曲データＭＴの音量が閾値を超えている場合には、楽曲データＭＴの音量が大きいと判断され、処理がステップＳ２７に移行する。
ステップＳ２５では、マイク３を介して環境騒音が収音される。ステップＳ２６では、収音された環境騒音の騒音データＮＴに対する周波数分析により、エンベロープ情報ＮＰｅおよびパワー情報ＮＰｐが算出される。そして、算出されたエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐに基づき、騒音分類データベース４１を参照することにより環境騒音が分類され、騒音分類情報が生成される。
ステップＳ２７では、再生された楽曲データのヘッドフォン２の外部に漏れ出す成分に対する周波数分析により、エンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’が算出される。そして、算出されたエンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’に基づき、楽曲分類データベース４２を参照することにより楽曲が分類され、楽曲分類情報が生成される。
ステップＳ２８では、騒音分類情報および楽曲分類情報に基づき、音漏れ認知情報データベース４３を参照することにより音漏れ認知情報が生成される。ステップＳ２９では、音漏れ認知情報に基づき生成された音量調整情報に応じて楽曲の再生音量が調整される。
ステップＳ３０では、音楽を聴取し続けるか否かが判断される。音楽を聴取し続けると判断された場合には、処理がステップＳ２３に戻り、楽曲の再生が継続される。一方、音楽を聴取し続けないと判断された場合には、処理がステップＳ３１に移行し、ユーザによって音楽再生装置１の電源がＯＦＦとされて一連の処理が終了する。
このように、この発明の実施の第２の形態では、楽曲データＭＴの音量が十分小さい場合に環境騒音を収音し、収音された環境騒音と楽曲の分類に応じて楽曲の再生音量を調整するようにしている。そのため、再生された楽曲の音漏れ成分による影響を受けることなく周囲の環境騒音を収音することができ、環境騒音の特徴量を正確に抽出して環境騒音を分類することができる。
なお、この例では、マイク３がヘッドフォン２の外部に設けられている場合について説明したが、これはこの例に限られず、例えばマイク３がヘッドフォン２の内部に設けられている場合についても同様に適用可能である。
この発明の実施の第３の形態について説明する。この発明の実施の第３の形態では、収音された環境騒音から楽曲の音漏れ成分を除去し、音漏れ成分が除去された環境騒音および楽曲を分類し、楽曲の再生音量を調整するようにした。
図１７は、この発明の実施の第３の形態による再生音量の調整方法の一例について説明するためのブロック図である。この例では、マイク３がヘッドフォン２の外部に設けられている場合について説明する。なお、図６に示す実施の第１の形態と共通する部分については、同一の符号を付し、詳細な説明を省略する。
マイク３によって収音された環境騒音の騒音データＮＴは、周波数分析部２１に供給され、所定の周波数分析が行われる。周波数分析によって得られた周波数情報ＮＳは、加算器８１の一方の入力端に供給される。
一方、再生装置１に記録された楽曲の楽曲データＭＴは、周波数分析部２５に供給され、所定の周波数分析が行われる。周波数分析によって得られた周波数情報ＭＳは、伝達関数演算部２６に供給される。
伝達関数演算部２６は、供給された周波数情報ＭＳに対して所定の伝達関数Ｈを畳み込み演算し、ヘッドフォン２の外部に漏れ出す楽曲データＭＴ’に対応する周波数情報ＭＳ’を出力する。伝達関数演算部２６から出力された周波数情報ＭＳ’は、加算器８１の他方の入力端に供給される。
加算器８１は、一方の入力端に入力された騒音データＮＴに対する周波数情報ＮＳから、他方の入力端に入力された楽曲データＭＴに対する周波数情報ＭＳ’を減算し、エンベロープ解析部２２およびパワー解析部２３に供給する。
エンベロープ解析部２２は、周波数分析部２１から供給された周波数情報ＮＳに基づきエンベロープの解析を行い、エンベロープ情報ＮＰｅを算出する。算出されたエンベロープ情報ＮＰｅは、騒音分類部２４に供給される。パワー解析部２３は、周波数分析部２１から供給された周波数情報ＮＳに基づきパワーの解析を行い、パワー情報ＮＰｐを算出する。算出されたパワー情報ＮＰｐは、騒音分類部２４に供給される。
騒音分類部２４は、エンベロープ情報ＮＰｅおよびパワー情報ＮＰｐに基づき、騒音分類データベース４１を参照して環境騒音を分類し、騒音分類情報を生成する。生成された騒音分類情報は、音漏れ認知情報取得部３０に供給する。
また、伝達関数演算部２６から出力された周波数情報ＭＳ’は、エンベロープ解析部２７およびパワー解析部２８にも供給される。エンベロープ解析部２７は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のエンベロープの解析を行い、エンベロープ情報ＭＰｅ’を算出する。算出されたエンベロープ情報ＭＰｅ’は、楽曲分類部２９に供給される。パワー解析部２８は、入力された周波数情報ＭＳ’に基づき楽曲データＭＴ’のパワーの解析を行い、パワー情報ＭＰｐ’を算出する。算出されたパワー情報ＭＰｐ’は、楽曲分類部２９に供給される。
楽曲分類部２９は、エンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’とに基づき、楽曲分類データベース４２を参照して楽曲を分類し、楽曲分類情報を生成する。生成された楽曲分類情報は、音漏れ認知情報取得部３０に供給される。
音漏れ認知情報取得部３０は、騒音分類部２４から供給された騒音分類情報と、楽曲分類部２９から供給された楽曲分類情報とに基づき、音漏れ認知情報データベース４３を参照して音漏れ認知情報を生成する。生成された音漏れ認知情報は、音量調整部３１に供給される。
音量調整部３１は、音漏れ認知情報取得部３０から供給された音漏れ認知情報に基づき再生音量の判定を行い、音量調整情報を生成する。生成された音量調整情報は、音量選択部３２に供給される。音量選択部３２は、音量調整部３１から供給された音量調整情報に基づき、楽曲データの音量を調整する。
この発明の実施の第３の形態における再生音量調整処理の流れについて、図１８に示すフローチャートを参照して説明する。なお、特別な記載がない限り、以下の処理は、ＣＰＵ１１の制御の下で行われるものとする。また、以下の処理は、所定時間毎に巡回的に繰り返されるものとする。
ステップＳ４１において、再生装置１の電源がＯＮとされ、ステップＳ４２において、ユーザにより、操作部１７に設けられた再生音量の自動調整を指示するための操作子が操作される。ステップＳ４３では、ユーザによって所定の楽曲が選択され、選択された楽曲の楽曲データが記録媒体１８から読み出されて再生される。
ステップＳ４４では、マイク３を介して環境騒音が収音される。ステップＳ４５では、収音された環境騒音の騒音データＮＴに対して周波数分析が施されるとともに、収音された環境騒音の周波数情報ＮＳから楽曲の音漏れ成分の周波数情報ＭＳ’が減算され、環境騒音から楽曲の音漏れ成分が除去される。
ステップＳ４６では、楽曲の音漏れ成分が除去された環境騒音に基づき、エンベロープ情報ＮＰｅおよびパワー情報ＮＰｐが算出される。そして、算出されたエンベロープ情報ＮＰｅおよびパワー情報ＮＰｐに基づき、騒音分類データベース４１を参照することにより環境騒音が分類され、騒音分類情報が生成される。
ステップＳ４７では、再生された楽曲データのヘッドフォン２の外部に漏れ出す成分に対する周波数分析により、エンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’が算出される。そして、算出されたエンベロープ情報ＭＰｅ’およびパワー情報ＭＰｐ’に基づき、楽曲分類データベース４２を参照することにより楽曲が分類され、楽曲分類情報が生成される。
ステップＳ４８では、騒音分類情報および楽曲分類情報に基づき、音漏れ認知情報データベース４３を参照することにより音漏れ認知情報が生成される。ステップＳ４９では、音漏れ認知情報に基づき生成された音量調整情報に応じて楽曲の再生音量が調整される。
ステップＳ５０では、音楽を聴取し続けるか否かが判断される。音楽を聴取し続けると判断された場合には、処理がステップＳ４３に戻り、楽曲の再生が継続される。一方、音楽を聴取し続けないと判断された場合には、処理がステップＳ５１に移行し、ユーザによって音楽再生装置１の電源がＯＦＦとされて一連の処理が終了する。
このように、この発明の実施の第３の形態では、収音された環境騒音の周波数情報ＮＳから楽曲の音漏れ成分の周波数情報ＭＳ’を減算するようにしている。そのため、再生された楽曲の音漏れ成分による影響を受けることなく周囲の環境騒音を収音することができ、環境騒音の特徴量を正確に抽出して環境騒音を分類することができる。
なお、この例では、マイク３がヘッドフォン２の外部に設けられている場合について説明したが、これはこの例に限られず、例えばマイク３がヘッドフォン２の内部に設けられている場合についても同様に適用可能である。
以上、この発明の実施の第１の形態、第１の形態の第１および第２の変形例、第２の形態および第３の形態について説明したが、この発明は、上述したこの発明の実施の第１の形態、第１の形態の第１および第２の変形例、第２の形態および第３の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、この発明の実施の形態による音量調整方法は、再生装置に限られず、再生音量の調整が可能なヘッドフォン等にも適用可能である。
また、上述した例では、環境騒音および楽曲に対して周波数解析を用いて特徴量を抽出するようにしたが、これに限られず、例えば、時間波形の解析を行い、過渡特性（トランジェント）を解析して特徴量を抽出するようにしてもよい。例えば、トランジェント（過渡応答）に関する特徴量を算出する例としては、時間軸データをある一定のサンプル毎、例えばフレームと呼ばれるようなＮサンプル毎に区切り、各フレーム単位でパワーを算出する。そして、前後のフレーム間におけるパワーの比率や差分をとり、これをトランジェントに関する特徴量として用いる方法が考えられる。パワーの算出方法としては、例えば、各サンプルの二乗和を積算する方法が考えられるが、これに限られず、適宜適当と考えられる方法を用いても構わない。
また、例えば、周波数解析および時間波形の解析を共に行うことによって特徴量を抽出するようにしてもよい。
さらに、この例では、音漏れ認知情報が再生音量の調整幅を決定する情報である場合について説明したが、これはこの例に限られない。例えば、音漏れ認知情報が、楽曲に対して所定の周波数帯域を調整するための情報であってもよいし、周囲における音漏れの認識度合いを示す情報であってもよい。
さらにまた、環境騒音および楽曲の分類方法は、この例に限られず、従来の分類方法を用いてもよい。
この発明の実施の第１の形態に適用可能な再生装置の一例の使用形態を示す略線図である。 環境騒音およびヘッドフォンを介して外部に漏れた楽曲の一例の周波数特性を示す略線図である。 環境騒音の周波数特性の一例を示す略線図である。 環境騒音の特徴量について説明するための略線図である。 環境騒音および楽曲の信号について説明するための略線図である。 マイクがヘッドフォンの外部に設けられた場合における楽曲の再生音量の調整方法の一例について説明するためのブロック図である。 騒音分類データベースの作成方法について説明するための略線図である。 音漏れ認知情報データベースの一例を示す略線図である。 環境および楽曲が変化した場合の音漏れ認知情報について説明するための略線図である。 マイクがヘッドフォンの内部に設けられた場合における楽曲の再生音量の調整方法の一例について説明するためのブロック図である。 この発明の実施の第１の形態に適用可能な再生装置の一例の構成を示すブロック図である。 この発明の実施の第１の形態における再生音量調整処理の流れについて説明するためのフローチャートである。 この発明の実施の第１の形態の第１の変形例による再生音量の調整方法の一例について説明するためのブロック図である。 この発明の実施の第１の形態の第２の変形例による再生音量の調整方法の一例について説明するためのブロック図である。 この発明の実施の第２の形態による再生音量の調整方法の一例について説明するためのブロック図である。 この発明の実施の第２の形態における再生音量調整処理の流れについて説明するためのフローチャートである。 この発明の実施の第３の形態による再生音量の調整方法の一例について説明するためのブロック図である。 この発明の実施の第３の形態における再生音量調整処理の流れについて説明するためのフローチャートである。 従来の再生装置の一例の使用形態を示す略線図である。 従来の再生装置における再生方法について説明するためのフローチャートである。
符号の説明
１ 再生装置
２ ヘッドフォン
３ マイクロフォン
１１ ＣＰＵ
１７ 操作部
１８ 記録媒体
２１，２５ 周波数分析部
２２，２７ エンベロープ解析部
２３，２８ パワー解析部
２４ 騒音分類部
２６ 伝達関数演算部
２９ 楽曲分類部
３０ 音漏れ認知情報取得部
３１ 音量調整部
３２ 音量選択部
４０ 逆伝達特性演算部
４１ 騒音分類データベース
４２ 楽曲分類データベース
４３ 音漏れ認知情報データベース
５１ 第１の判定部
５２ 変換部
５３ メモリ
５４ 乗算器
５５ 加算器
５６ 第２の判定部
５７ 音量調整幅調整部
６１ スイッチ
６２ 等価フィルタ
７１，７２ スイッチ
７３ 測定制御部
８１ 加算器

Claims (17)

  1. 周囲の環境の騒音データを収音する収音部と、
    上記収音部により収音された騒音データの特徴を示す特徴量を抽出する騒音解析部と、
    上記騒音データの特徴量に基づき上記騒音データを分類し、上記騒音データの分類結果を示す騒音分類情報を生成する騒音分類部と、
    入力された楽曲データの特徴を示す特徴量を抽出する楽曲解析部と、
    上記楽曲データの特徴量に基づき上記楽曲データを分類し、上記楽曲データの分類結果を示す楽曲分類情報を生成する楽曲分類部と、
    騒音分類情報および楽曲分類情報と、楽曲データの再生音量の調整幅を決定する音漏れ認知情報とが関連付けられて記録された音漏れ認知情報データベースと、
    上記騒音分類情報および上記楽曲分類情報に基づき、上記音漏れ認知情報データベースを参照することにより音漏れ認知情報を生成する音漏れ認知情報生成部と、
    上記音漏れ認知情報に基づき、上記楽曲データの再生音量を調整するための音量調整情報を生成し、該音量調整情報に基づき上記楽曲データの再生音量を調整するように制御する制御部とを備える音量調整装置。
  2. 上記騒音解析部は、
    上記騒音データに対して周波数解析を行い、上記周波数解析の結果に基づき該騒音データの特徴量を抽出し、
    上記楽曲解析部は、
    上記楽曲データに対して周波数解析を行い、上記周波数解析の結果に基づき該楽曲データの特徴量を抽出する請求項１に記載の音量調整装置。
  3. 上記騒音解析部は、上記騒音データのエンベロープの傾きを上記特徴量として抽出し、
    上記楽曲解析部は、上記楽曲データのエンベロープの傾きを上記特徴量として抽出する請求項２に記載の音量調整装置。
  4. 上記騒音解析部は、上記騒音データのパワーの最大値を上記特徴量として抽出し、
    上記楽曲解析部は、上記楽曲データのパワーの最大値を上記特徴量として抽出する請求項２に記載の音量調整装置。
  5. 上記騒音解析部は、
    上記騒音データに対して時間波形解析を行い、上記時間波形解析の結果に基づき該騒音データの特徴量を抽出し、
    上記楽曲解析部は、
    上記楽曲データに対して時間波形解析を行い、上記時間波形解析の結果に基づき該楽曲データの特徴量を抽出する請求項１に記載の音量調整装置。
  6. 上記騒音解析部は、
    上記騒音データに対して周波数解析および時間波形解析を行い、上記周波数解析および該時間波形解析の結果に基づき該騒音データの特徴量を抽出し、
    上記楽曲解析部は、
    上記楽曲データに対して周波数解析および時間波形解析を行い、上記周波数解析および該時間波形解析の結果に基づき該楽曲データの特徴量を抽出する請求項１に記載の音量調整装置。
  7. 上記再生部により再生された楽曲データを出力する音声出力部をさらに備え、
    上記収音部は、上記音声出力部の外部に設けられ、
    上記楽曲解析部は、
    上記音声出力部から出力され該音声出力部の周囲に漏れ出す上記楽曲データの音漏れ成分を上記音声出力部の伝達特性に基づき推定し、上記推定された上記楽曲データの音漏れ成分の特徴量を抽出し、
    上記楽曲分類部は、
    上記推定された上記楽曲データの音漏れ成分の特徴量に基づき上記楽曲データを分類する請求項１に記載の音量調整装置。
  8. 上記再生部により再生された楽曲データを出力する音声出力部をさらに備え、
    上記収音部は、上記音声出力部の内部に設けられ、
    上記騒音解析部は、
    上記収音部で収音された騒音データから上記周囲の環境の騒音データを上記音声出力部の伝達特性に基づき推定し、上記推定された上記周囲の環境の騒音データの特徴量を抽出し、
    上記騒音分類部は、
    上記推定された上記周囲の環境の騒音データの特徴量に基づき上記騒音データを分類し、
    上記楽曲解析部は、
    上記音声出力部から出力され該音声出力部の周囲に漏れ出す上記楽曲データの音漏れ成分を上記音声出力部の伝達特性に基づき推定し、上記推定された上記楽曲データの音漏れ成分の特徴量を抽出し、
    上記楽曲分類部は、
    上記推定された上記楽曲データの音漏れ成分の特徴量に基づき上記楽曲データを分類する請求項１に記載の音量調整装置。
  9. 騒音データの特徴量および環境が関連付けられて記録された騒音分類データベースをさらに備え、
    上記騒音分類部は、
    上記騒音データの特徴量に基づき、上記騒音分類データベースを参照することにより上記騒音データを分類する請求項１に記載の音量調整装置。
  10. 楽曲データの特徴量およびカテゴリが関連付けられて記録された楽曲分類データベースをさらに備え、
    上記楽曲分類部は、
    上記楽曲データの特徴量に基づき、上記楽曲分類データベースを参照することにより上記楽曲データを分類する請求項１に記載の音量調整装置。
  11. 上記制御部は、
    上記楽曲データに対する再生音量調整の判定結果を示す音量判定情報を所定回数分記憶するメモリを有し、
    上記騒音データおよび上記楽曲データの特徴量に基づき上記楽曲データの再生音量調整の判定を所定時間毎に行い上記音量判定情報を生成し、
    上記メモリに記憶された上記所定回数分の音量判定情報の平均と上記音漏れ認知情報とに基づき上記楽曲データの再生音量を調整するように制御する請求項１に記載の音量調整装置。
  12. 上記制御部は、
    上記メモリに記憶された上記所定回数分の音量判定情報に対して、過去の音量判定情報ほど重みが減少する重み係数をそれぞれ畳み込み演算し、上記重み係数が畳み込み演算された上記所定回数分の音量判定情報の平均と上記音漏れ認知情報とに基づき上記楽曲データの再生音量を調整するように制御する請求項１１に記載の音量調整装置。
  13. 上記収音部により収音された騒音データに対して騒音レベルを低減させる騒音低減部と、
    上記騒音低減部による低減効果と同等の効果を有する等価フィルタと
    をさらに備え、
    上記騒音解析部は、
    上記収音部により収音された騒音データに対して上記等価フィルタを用いて騒音レベルが低減された騒音データの特徴量を抽出し、
    上記騒音分類部は、
    上記騒音レベルが低減された騒音データの特徴量に基づき上記騒音データを分類する請求項１に記載の音量調整装置。
  14. 上記入力された楽曲データの音量を測定し、該楽曲データの音量と予め設定された該楽曲データの音量に対する閾値とに基づき、該楽曲データの音量を判断する測定制御部をさらに備え、
    上記測定制御部は、
    上記楽曲データの音量が上記閾値以下である場合に、上記騒音解析部による上記騒音データの特徴量の抽出および上記楽曲解析部による上記楽曲データの特徴量の抽出を行うように制御する
    請求項１に記載の音量調整装置。
  15. 上記収音部により収音された騒音データから上記入力された楽曲データを減算する合成部をさらに備え、
    上記騒音解析部は、
    上記合成部からの出力に基づき上記騒音データの特徴量を抽出する請求項１に記載に音量調整装置。
  16. 周囲の環境の騒音データを収音する収音ステップと、
    上記収音ステップにより収音された騒音データの特徴を示す特徴量を抽出する騒音解析ステップと、
    上記騒音データの特徴量に基づき上記騒音データを分類し、上記騒音データの分類結果を示す騒音分類情報を生成する騒音分類ステップと、
    入力された楽曲データの特徴を示す特徴量を抽出する楽曲解析ステップと、
    上記楽曲データの特徴量に基づき上記楽曲データを分類し、上記楽曲データの分類結果を示す楽曲分類情報を生成する楽曲分類ステップと、
    上記騒音分類情報および上記楽曲分類情報に基づき、騒音分類情報および楽曲分類情報と、楽曲データの再生音量の調整幅を決定する音漏れ認知情報とが関連付けられて記録された音漏れ認知情報データベースを参照することにより音漏れ認知情報を生成する音漏れ認知情報生成ステップと、
    上記音漏れ認知情報に基づき、上記楽曲データの再生音量を調整するための音量調整情報を生成し、該音量調整情報に基づき上記楽曲データの再生音量を調整するように制御する制御ステップとを備える音量調整方法。
  17. 周囲の環境の騒音データを収音する収音ステップと、
    上記収音ステップにより収音された騒音データの特徴を示す特徴量を抽出する騒音解析ステップと、
    上記騒音データの特徴量に基づき上記騒音データを分類し、上記騒音データの分類結果を示す騒音分類情報を生成する騒音分類ステップと、
    入力された楽曲データの特徴を示す特徴量を抽出する楽曲解析ステップと、
    上記楽曲データの特徴量に基づき上記楽曲データを分類し、上記楽曲データの分類結果を示す楽曲分類情報を生成する楽曲分類ステップと、
    上記騒音分類情報および上記楽曲分類情報に基づき、騒音分類情報および楽曲分類情報と、楽曲データの再生音量の調整幅を決定する音漏れ認知情報とが関連付けられて記録された音漏れ認知情報データベースを参照することにより音漏れ認知情報を生成する音漏れ認知情報生成ステップと、
    上記音漏れ認知情報に基づき、上記楽曲データの再生音量を調整するための音量調整情報を生成し、該音量調整情報に基づき上記楽曲データの再生音量を調整するように制御する制御ステップとを備える音量調整方法をコンピュータ装置に実行させる音量調整プログラム。
JP2008177933A 2008-07-08 2008-07-08 音量調整装置、音量調整方法および音量調整プログラム Pending JP2010021627A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008177933A JP2010021627A (ja) 2008-07-08 2008-07-08 音量調整装置、音量調整方法および音量調整プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008177933A JP2010021627A (ja) 2008-07-08 2008-07-08 音量調整装置、音量調整方法および音量調整プログラム

Publications (1)

Publication Number Publication Date
JP2010021627A true JP2010021627A (ja) 2010-01-28

Family

ID=41706127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008177933A Pending JP2010021627A (ja) 2008-07-08 2008-07-08 音量調整装置、音量調整方法および音量調整プログラム

Country Status (1)

Country Link
JP (1) JP2010021627A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012244522A (ja) * 2011-05-23 2012-12-10 Yamaha Corp 音響再生制御装置
JP2013519285A (ja) * 2010-02-02 2013-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ヘッドホン装置用コントローラ
JP2013532308A (ja) * 2010-06-01 2013-08-15 クゥアルコム・インコーポレイテッド オーディオ等化のためのシステム、方法、デバイス、装置、およびコンピュータプログラム製品
JP2015063156A (ja) * 2013-09-24 2015-04-09 株式会社デンソー 車両用騒音抑制装置
JP2015121990A (ja) * 2013-12-24 2015-07-02 株式会社日本コンラックス 電子マネー決済端末装置
US9202456B2 (en) 2009-04-23 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
CN105185383A (zh) * 2014-06-09 2015-12-23 哈曼国际工业有限公司 用于存在可理解语音时部分保留音乐的方法
CN106644162A (zh) * 2016-10-12 2017-05-10 云南大学 基于邻域保持嵌入回归算法的环网柜线芯温度软测量方法
WO2018092420A1 (ja) * 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202456B2 (en) 2009-04-23 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
US9014382B2 (en) 2010-02-02 2015-04-21 Koninklijke Philips N.V. Controller for a headphone arrangement
JP2013519285A (ja) * 2010-02-02 2013-05-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ヘッドホン装置用コントローラ
US9053697B2 (en) 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
KR101463324B1 (ko) 2010-06-01 2014-11-18 퀄컴 인코포레이티드 오디오 등화를 위한 시스템들, 방법들, 디바이스들, 장치, 및 컴퓨터 프로그램 제품들
JP2013532308A (ja) * 2010-06-01 2013-08-15 クゥアルコム・インコーポレイテッド オーディオ等化のためのシステム、方法、デバイス、装置、およびコンピュータプログラム製品
JP2012244522A (ja) * 2011-05-23 2012-12-10 Yamaha Corp 音響再生制御装置
JP2015063156A (ja) * 2013-09-24 2015-04-09 株式会社デンソー 車両用騒音抑制装置
JP2015121990A (ja) * 2013-12-24 2015-07-02 株式会社日本コンラックス 電子マネー決済端末装置
CN105185383A (zh) * 2014-06-09 2015-12-23 哈曼国际工业有限公司 用于存在可理解语音时部分保留音乐的方法
CN106644162A (zh) * 2016-10-12 2017-05-10 云南大学 基于邻域保持嵌入回归算法的环网柜线芯温度软测量方法
CN106644162B (zh) * 2016-10-12 2020-04-21 云南大学 基于邻域保持嵌入回归算法的环网柜线芯温度软测量方法
WO2018092420A1 (ja) * 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP3543889A4 (en) * 2016-11-16 2019-11-27 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US11114116B2 (en) 2016-11-16 2021-09-07 Sony Corporation Information processing apparatus and information processing method

Similar Documents

Publication Publication Date Title
JP4640461B2 (ja) 音量調整装置およびプログラム
US10523168B2 (en) Method and apparatus for processing an audio signal based on an estimated loudness
JP2010021627A (ja) 音量調整装置、音量調整方法および音量調整プログラム
JP6104629B2 (ja) ダイナミックサウンド提供システム及び方法
TWI463817B (zh) 可適性智慧雜訊抑制系統及方法
KR101356206B1 (ko) 자동 오디오 볼륨 기능을 갖는 오디오 재생 방법 및 장치
TWI397058B (zh) 音頻訊號之處理裝置及其方法，及電腦可讀取之紀錄媒體
JP4649546B2 (ja) 補聴器
US20150162021A1 (en) Spectral Comb Voice Activity Detection
JP4623124B2 (ja) 楽曲再生装置、楽曲再生方法および楽曲再生プログラム
US10128809B2 (en) Intelligent method and apparatus for spectral expansion of an input signal
RU2411595C2 (ru) Улучшение разборчивости речи в мобильном коммуникационном устройстве путем управления работой вибратора в зависимости от фонового шума
JP2010112995A (ja) 通話音声処理装置、通話音声処理方法およびプログラム
JP5903921B2 (ja) ノイズ低減装置、音声入力装置、無線通信装置、ノイズ低減方法、およびノイズ低減プログラム
KR20150103252A (ko) 스테레오 신호를 결정하는 방법
WO2012098856A1 (ja) 補聴器、及び、補聴器の制御方法
JP2009296297A (ja) 音声信号処理装置および方法
US20230320903A1 (en) Ear-worn device and reproduction method
JP2000276200A (ja) 声質変換システム
KR100883896B1 (ko) 음성명료도 향상장치 및 방법
JP2002366178A (ja) オーディオ信号の帯域拡張方法及び帯域拡張装置
JP3420831B2 (ja) 骨伝導音声のノイズ除去装置
JP2905112B2 (ja) 環境音分析装置
JP5126281B2 (ja) 楽曲再生装置
JPH0956000A (ja) 補聴器