JP2017050847A - エリア再生システム及びエリア再生方法 - Google Patents

エリア再生システム及びエリア再生方法 Download PDF

Info

Publication number
JP2017050847A
JP2017050847A JP2016110608A JP2016110608A JP2017050847A JP 2017050847 A JP2017050847 A JP 2017050847A JP 2016110608 A JP2016110608 A JP 2016110608A JP 2016110608 A JP2016110608 A JP 2016110608A JP 2017050847 A JP2017050847 A JP 2017050847A
Authority
JP
Japan
Prior art keywords
sound
reproduction
line
reproduced
reaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016110608A
Other languages
English (en)
Other versions
JP6718748B2 (ja
JP2017050847A5 (ja
Inventor
敦 坂口
Atsushi Sakaguchi
敦 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to US15/245,264 priority Critical patent/US9754575B2/en
Priority to EP16186466.5A priority patent/EP3136746B1/en
Publication of JP2017050847A publication Critical patent/JP2017050847A/ja
Priority to US15/661,370 priority patent/US9966058B2/en
Publication of JP2017050847A5 publication Critical patent/JP2017050847A5/ja
Application granted granted Critical
Publication of JP6718748B2 publication Critical patent/JP6718748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】環境音に合わせて再生音を適切に調整可能なエリア再生を実現する。
【解決手段】複数のスピーカを直線状に並べて配置したスピーカアレイを含む再生部と、再生部が設置された環境の環境音を収音する収音部と、スピーカアレイと実質的に平行であってスピーカアレイから所定距離離間した位置に設定された、スピーカアレイから放射された音波が強め合う再生ラインと弱め合う非再生ラインとを含む制御ラインに基づいて、複数のスピーカに出力させる再生音を調整し、再生部から出力させる処理部とを備え、処理部は、収音した環境音から騒音レベルを測定し、各周波数において、制御ラインにおける再生ラインに到達する再生音の音圧が騒音レベルを上回り、且つ、制御ラインにおける非再生ラインに到達する再生音の音圧が騒音レベルを上回らないように再生音を調整する、エリア再生システム。
【選択図】図1

Description

本開示は、エリア再生システム及びエリア再生方法に関する。
従来から、複数のスピーカを使用して特定の位置だけに音を呈示したり、同一空間において別々の位置に異なった音を干渉することなく呈示するエリア再生技術が知られている。この技術を用いることで、各ユーザに対して異なるコンテンツや音量の再生音を呈示することができるようになる。特許文献1にはユーザ位置やユーザ数に基づくユーザの分布に応じて、再生音を調整する技術が開示されている。
特開2010−11269号公報 特開2015−231087号公報
しかしながら、上記の従来技術では、環境音に合わせて再生音を適切に調整可能なエリア再生を実現するためにはさらなる改善が必要とされていた。
上記課題を解決するために、本開示の一態様のエリア再生システムは、複数のスピーカを直線状に並べて配置したスピーカアレイを含む再生部と、前記再生部が設置された環境の環境音を収音する収音部と、前記スピーカアレイと実質的に平行であって前記スピーカアレイから所定距離離間した位置に設定された、前記スピーカアレイから放射された音波が強め合う再生ラインと弱め合う非再生ラインとを含む制御ラインに基づいて、前記複数のスピーカに出力させる再生音を調整し、前記再生部から出力させる処理部とを備え、前記処理部は、前記収音した前記環境音から騒音レベルを測定し、各周波数において、前記制御ラインにおける前記再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回り、且つ、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回らないように前記再生音を調整するものである。
上記態様によれば、環境音に合わせて再生音を適切に調整可能なエリア再生を実現することができる。
本開示の実施の形態におけるエリア再生システムの構成を示す図である。 本開示の実施の形態における処理部の内部の構成を示す図である。 実施の形態1における再生ラインと非再生ラインの一例を示す図である。 実施の形態1における再生音の調整動作の一例を示すフローチャートである。 実施の形態1における制御ライン上での音圧分布の一例を示す図である。 実施の形態2における再生音の調整動作の一例を示すフローチャートである。 実施の形態2における制御ライン上での音圧分布の一例を示す図である。 実施の形態3における再生音の調整動作の一例を示すフローチャートである。 実施の形態3における制御ライン上での音圧分布の一例を示す図である。
(本開示の基礎となった知見)
本開示の原理について説明する。一般的なスピーカから出力される再生音は、球面状に伝搬するため、特定のユーザだけに再生音を届けることが出来ない。しかし、複数のスピーカから出力される再生音の振幅と位相を制御することで、スピーカからの再生音を拡散させることなく、特定のユーザだけに再生音を届けることができる。このため、従来から、エリア再生を実現する手法として、スピーカに入力する信号の振幅と位相を制御し、ビームフォーミングを行う指向性制御などが提案されてきた(特許文献1)。しかし、指向性制御は、再生音を届けたくない非再生エリアにおいて、音の拡散を抑制することが出来ないため、エリア再生の性能が低いという問題があった。
そこで、近年では、指向性制御を発展させた、空間フィルタリングに基づくエリア再生制御が新たに提案されている。この制御では、再生音を届けたい再生エリアだけでなく、再生音を届けたくない非再生エリアについても再生音を制御することができるため、従来の指向性制御と比較して高いエリア再生性能を実現することができる。
空間フィルタリングに基づくエリア再生制御では、まず、再生条件として、スピーカアレイに平行な任意の制御ラインを設定し、当該制御ラインに、再生音を強め合う再生ラインと弱め合う非再生ラインとを設定する。次に、設定した再生条件でエリア再生を実現するための制御フィルタを導出する。最終的には、再生音の信号に当該導出した制御フィルタを畳み込んだ信号をスピーカに出力させることで、設定した再生条件でエリア再生を実現する。尚、制御フィルタと再生条件とは、空間的なフーリエ変換によって関係付けられる。このため、再生条件から一意に制御フィルタを導出することができる。
このように、空間フィルタリングに基づくエリア再生制御では、再生条件として、制御ライン上に自由に非再生ラインを設定できるため、指向性制御では困難な、非再生エリアにおける再生音の制御が可能となる。また、複数の異なる再生音を制御ライン上で個別に再生する場合は、再生音毎に、再生音の再生場所を再生ラインとする再生条件を設定し、各再生条件でエリア再生を実現する制御フィルタを導出する。そして、各再生音の信号に、当該各再生音に対応する制御フィルタをそれぞれ畳み込んだ後、これらを足し合わせて各スピーカに出力させる。これにより、複数の異なる再生音を制御ライン上で個別に再生することができる(特許文献2)。
上述のようなエリア再生技術を実際に使用する場合、再生ライン上において、スピーカアレイから放射された再生音をユーザに確実に聴取させる事が重要となる。しかし、周囲の環境において大きな騒音が発生している場合、再生音が騒音に打ち消され、ユーザが再生音を聴取できないという課題があった。この課題を解決するため、再生音が騒音に打ち消されないよう、より大きな音量で再生音を再生することが考えられる。しかし、再生音の音量を上げると、再生ライン以外に再生音が漏洩するという課題が生じる。これらの課題を満たすための技術的な解決策に関して、これまで検討はされていなかった。
このような課題を解決するために、本開示の一態様によるエリア再生システムは、複数のスピーカを直線状に並べて配置したスピーカアレイを含む再生部と、前記再生部が設置された環境の環境音を収音する収音部と、前記スピーカアレイと実質的に平行であって前記スピーカアレイから所定距離離間した位置に設定された、前記スピーカアレイから放射された音波が強め合う再生ラインと弱め合う非再生ラインとを含む制御ラインに基づいて、前記複数のスピーカに出力させる再生音を調整し、前記再生部から出力させる処理部とを備え、前記処理部は、前記収音した前記環境音から騒音レベルを測定し、各周波数において、前記制御ラインにおける前記再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回り、且つ、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回らないように前記再生音を調整する。
本構成によれば、環境音から騒音レベルを測定し、各周波数において、制御ラインにおける再生ラインに到達する再生音の音圧が騒音レベルを上回り、且つ、制御ラインにおける非再生ラインに到達する再生音の音圧が騒音レベルを上回らないように、再生音を調整する。これにより、再生ラインに到達する再生音が環境音で打ち消されることを防止することができ、且つ、非再生ラインに到達する再生音を環境音で打ち消して、再生ライン以外に再生音が漏洩することを防止することができる。このように、本構成によれば、環境音に合わせて再生音を適切に調整可能なエリア再生を実現することができる。
また、前記再生音の調整は、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回る周波数成分を削除する調整であってもよい。
本構成によれば、各周波数において非再生ラインに到達する再生音の音圧を騒音レベル以下にすることができる。これにより、非再生ラインに到達する再生音を環境音で打ち消して、非再生ラインに再生音が漏洩することを防止することができる。
また、前記処理部はさらに、前記再生ラインに到達する前記再生音の音量の変更を受け付け、前記再生音の音量の変更によって、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回る周波数成分を削除してもよい。
本構成によれば、再生ラインに到達する再生音の音量が変更された場合でも、各周波数において、非再生ラインに到達する再生音の音圧を騒音レベル以下にすることができる。これにより、非再生ラインに到達する再生音を環境音で打ち消して、非再生ラインに再生音が漏洩することを防止することができる。
また、前記処理部は、各周波数において、前記制御ラインにおける前記再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回り、且つ、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回る場合は、前記非再生ラインに到達する前記再生音の音圧が、前記騒音レベルを上回らないように前記再生ラインの幅を調整してもよい。
本構成によれば、非再生ラインに到達する再生音の音圧が騒音レベルを上回らないように、再生ラインの幅を調整するので、非再生ラインに再生音が漏洩することを防止することができる。
また、前記処理部は、各周波数において、前記制御ラインにおける前記再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回り、且つ、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回る場合は、前記非再生ラインに到達するマスキング音の音圧が、前記非再生ラインに到達する前記再生音の音圧を上回るように、前記再生音に前記マスキング音を合成する調整を行ってもよい。
本構成によれば、非再生ラインに到達する再生音をマスキング音によってマスクすることができる。これにより、非再生ラインに再生音が漏洩することを防止することができる。
また、前記マスキング音は、前記収音部によって収音された前記環境音であってもよい。
本構成によれば、前記マスキング音として環境音が採用されるので、非再生ラインにおいて、環境音とは別の音が聴こえることによる違和感を感じ難くすることができる。
また、前記マスキング音は、前記再生部が設置された環境で使用されている背景音楽であってもよい。
本構成によれば、前記マスキング音として背景音楽が採用されるので、非再生ラインにおいて、背景音楽とは別の音が聴こえることによる違和感を感じ難くすることができる。
また、前記収音部は、前記エリア再生システムのユーザが使用する端末に搭載されたマイクを含んでもよい。
本構成によれば、前記エリア再生システムにマイクを設けなくても、ユーザの位置における環境音を的確に収音することができる。
また、前記処理部はさらに、前記エリア再生システムに含まれるまたは外部に備えられたセンサから人物位置に関する情報を取得し、前記制御ラインを前記人物位置に関する情報に基づいて設定してもよい。
本構成によれば、ユーザに制御ラインの設定の手間をかけさせることなく、センサから取得した人物の位置に関する情報に基づいて、制御ラインを自動的に設定することができる。
また、本開示は、以上のような特徴的な処理を実行するための処理実行部を備えるエリア再生システムだけでなく、当該エリア再生システムにおける上記特徴的な処理を実行するエリア再生方法も開示する。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。
(システムの全体像)
まず、本開示の実施の形態におけるエリア再生システムの全体像について説明する。
図1は、本開示の実施の形態におけるエリア再生システム1の構成を示す図である。エリア再生システム1は、入力部100、データ部200、処理部300、収音部400、及び再生部500を備える。
入力部100は、後述するスピーカ501に再生させる再生音の音源データ201、後述する再生条件、及び再生音量等の各種指定操作を行うためのタッチパネル101を備えた端末装置である。なお、入力部100は、タッチパネル101に限らず、物理的なキーボード及びマウスや、ジェスチャーで上記指定操作が可能なユーザインファーフェイス(UI)を備えた端末装置であっても良い。
また、入力部100は、エリア再生システム1のユーザが使用するスマートフォンやタブレット等の端末装置であってもよいし、エリア再生システム1によるエリア再生の対象とする室内に設けられた、複数のユーザで共用するパーソナルコンピュータ等の端末装置であってもよい。
データ部200は、RAM(Random Access Memory)やHDD(Hard Disk Drive)等の記憶装置である。データ部200には、音源データ201が記憶されている。音源データ201は、インターネット等のネットワーク経由でDSP302へ出力される。なお、データ部200を、後述する処理部300(DSP302)と同一の装置内に設けても良いし、処理部300(DSP302)とは異なる装置に設けても良い。
処理部300は、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、キーボード、マウス、ディスプレイユニット等を備えた情報処理装置である。処理部300は、音声データを入出力するオーディオIF301及びDSP(Digital Signal Processor)302を備える。なお、DSP302を、オーディオIF301とは異なる情報処理装置に設けるようにし、インターネット等のネットワーク経由でオーディオIF301と接続しても良い。また、DSP302は、それ自身ではインターネットと接続不可能であっても、ホームゲートウェイを介してインターネットと接続可能であってもよい。
収音部400は、周囲の環境音を収音するマイク401、マイク401が収音した環境音を示すアナログ信号(以下、環境音信号)を増幅するアンプ402、及びアンプ402により増幅された環境音信号をデジタル信号に変換するADコンバータ403等を備えた音声入力装置である。なお、マイク401は、後述のスピーカ501が設置されている室内と同じ室内の天井等、スピーカ501が設置されている環境と同じ環境内に設けられている。また、マイク401は、一つであっても複数であってもよい。また、収音部400を入力部100と同一の装置内に設けても良い。
再生部500は、オーディオIF301から入力された音源データ201等の音声データをアナログ信号に変換するDAコンバータ503、DAコンバータ503により変換されたアナログ信号(以下、再生音信号)を増幅するアンプ502、及びアンプ502により増幅された再生音信号が示す再生音を出力するスピーカ501等を備えた音声出力装置である。
なお、再生部500は、複数のスピーカ501を備え、これら複数のスピーカ501を所定の間隔で直線状に並べて配置したスピーカアレイSAを構成している。後述するように、各スピーカ501の配置間隔Δxや、スピーカアレイSAの全長L等によって、エリア再生の性能は変化する。なお、スピーカ501の種類や規模は、限定されない。
次に、DSP302について詳述する。図2は、本開示の実施の形態におけるDSP302の内部の構成を示す図である。図2に示すように、DSP302は、フィルタ生成部303、音場解析部304、騒音解析部305、音量比較部306及びフィルタ加工部307を備える。
フィルタ生成部303は、ユーザが入力部100を用いて指定した再生条件でエリア再生を実現するための制御フィルタを生成する。
音場解析部304は、ユーザが入力部100を用いて指定した音源データ201をアナログ信号に変換した再生音信号(以下、音源データ201に対応する再生音信号)に、フィルタ生成部303が生成した制御フィルタを畳み込んだ信号を各スピーカ501に出力させた場合に、制御ラインCL上に到達すると考えられる再生音の周波数解析を行う。
騒音解析部305は、収音部400によって収音された環境音の周波数解析を行うことによって、環境音の音圧(騒音レベル)を周波数毎に測定する。
音量比較部306は、音場解析部304による再生音の周波数解析結果と、騒音解析部305による環境音の音圧の測定結果と、を周波数毎に比較する。
フィルタ加工部307は、音量比較部306による比較結果に応じて、フィルタ生成部303が生成した制御フィルタを加工する。
次に、フィルタ生成部303による制御フィルタの生成方法について説明する。以下では、スピーカアレイSAを構成するスピーカ501は、x軸上に並べて配置されているものとする。x軸及びx軸に直交するy軸により表される平面において、スピーカアレイSAの位置A(x0,0)におけるスピーカ501から出力された角周波数ωの再生音のうち、制御点B(x,yref)に到達する角周波数ωの再生音の音圧P(x,yref,ω)は、以下の式(1)によって与えられる。
Figure 2017050847
式(1)において、D(x0,0,ω)は、各スピーカの駆動信号を示し、G(x−x0,yref,ω)は、各スピーカ501から制御点B(x,yref)までの伝達関数を示す。尚、伝達関数G(x−x0,yref,ω)は、3次元自由空間におけるグリーン関数である。また、再生音の周波数をfとすると、再生音の角周波数ωは、2πfで表される(ω=2πf)。
式(1)をx軸方向にフーリエ変換すると畳み込み定理より、以下の式(2)が得られる。
Figure 2017050847
ここで、「〜」は、波数領域における値であることを示す。kxは、x軸方向の空間周波数である。さらに、スピーカ501に出力させる再生音信号をS(ω)、制御フィルタをF(x0,0,ω)とすると、点Aにおけるスピーカの駆動信号D(x0,0,ω)は、以下の式(3)によって表される。
Figure 2017050847
制御フィルタF(x0,0,ω)は、再生音に依存しないため、以降、S(ω)=1とする。したがって、式(3)をx軸方向にフーリエ変換した結果と式(2)とから、以下の式(4)が得られる。
Figure 2017050847
図3は、実施の形態1における再生ラインBLと非再生ラインDLの一例を示す図である。エリア再生を実現するためには、図3に示すように、スピーカアレイSAと実質的に平行であって、スピーカアレイSAから距離yref離間した位置に設定された制御ラインCL上に、スピーカアレイSAから放射された音波が強め合う再生ラインBLと弱め合う非再生ラインDLとを定めれば良い。本開示の実施の形態では、再生ラインBLのx軸方向の長さ(以下、再生ラインBLの幅)をlbとする。そして、再生ラインBLのx軸方向の中心をx=0とし、制御ラインCL上の制御点B(x,yref)に到達する再生音の音圧P(x,yref,ω)を、以下の式(5)に示す矩形波としてモデル化する。
Figure 2017050847
エリア再生を実現する制御フィルタF(x,0,ω)は、式(5)をx軸方向にフーリエ変換して得られる波数領域における再生音の音圧を式(4)に代入し、その結果得られる波数領域における制御フィルタを逆フーリエ変換することで、式(6)のように解析的に導出することができる。
Figure 2017050847
ここで、右辺のF−1[ ]は逆フーリエ変換を示し、[ ]内に記載の式は波数領域における制御フィルタを示している。
ただし、式(6)は、スピーカアレイSAが備えるスピーカ501がx軸上に無限に並べて配置されているものとして得られる式である。実際には、スピーカアレイSAが備えるスピーカ501は有限個であるので、制御フィルタF(x,0,ω)は離散化して導出する必要がある。
具体的には、図3に示すように、スピーカアレイSAが備えるスピーカ501の個数をNとし、各スピーカ501の配置間隔をΔxとし、スピーカアレイSAのx軸方向の長さをLとする。この場合、離散化した制御フィルタF(x,0,ω)は、式(6)の右辺の[ ]内の式によって表される波数領域における制御フィルタを離散逆フーリエ変換することによって、以下の式(7)のように解析的に導出することができる。
Figure 2017050847
そこで、フィルタ生成部303は、1)各スピーカ501の配置間隔Δxと、2)スピーカアレイSAが備えるスピーカ501の個数Nと、3)スピーカアレイSAから制御ラインCLまでのy軸方向の距離yrefと、4)再生ラインBLの幅lbと、を式(7)に代入することによって、制御フィルタF(x,0,ω)を生成する。
(実施の形態1)
以下、実施の形態1における、スピーカ501に出力させる再生音の調整動作について説明する。図4は、実施の形態1における再生音の調整動作の一例を示すフローチャートである。まず、ユーザがタッチパネル101を用いて、再生音の音源データ201の名称(以下、音源名)及び再生条件を指定すると(S01)、入力部100は当該指定された音源名をデータ部200へ送信し(S02)、当該指定された再生条件を処理部300へ送信する(S03)。
ステップS01で指定される再生条件には、制御フィルタF(x,0,ω)の生成に必要な上記の1)各スピーカ501の配置間隔Δx、2)スピーカアレイSAが備えるスピーカ501の個数N、3)スピーカアレイSAから制御ラインCLまでのy軸方向の距離yref、及び4)再生ラインBLの幅lbや、5)再生ラインBL上での再生音の音量等の条件が含まれる。なお、再生条件に、上記の1)〜5)の一部又は全ての条件が含まれていなくてもよい。
次に、データ部200は、音源名を受信すると(S04)、当該音源名に対応する音源データ201を処理部300へ送信する(S05)。
処理部300が再生条件を受信すると(S06)、フィルタ生成部303は、当該再生条件に含まれる上記の1)〜4)の条件を式(7)に代入する計算を行うことによって、当該再生条件でエリア再生を実現するための制御フィルタF(x,0,ω)を生成する(S07)。
なお、ステップS06で受信された再生条件に上記の5)の条件(再生ラインBL上での再生音の音量)が含まれているとする。この場合、フィルタ生成部303は、上記1)〜4)の条件を用いて算出した制御フィルタF(x,0,ω)に対し、所定の最大音量に対する当該5)の条件が示す再生音の音量の比率r(=再生音の音量/最大音量)を乗算した結果r・F(x,0,ω)を、制御フィルタF(x,0,ω)として生成する。
一方、上述のように、ステップS01で指定された再生条件に上記1)〜4)の一部又は全ての条件が含まれていない場合がある。上記1)、2)の条件が含まれていない場合、フィルタ生成部303は、ROM等に予め記憶されている、各スピーカ501の配置間隔Δxと、スピーカアレイSAが備えるスピーカ501の個数Nと、を取得し、これらを上記1)、2)の条件とする。
また、フィルタ生成部303は、上記3)の条件が含まれていない場合、エリア再生システム1に含まれるまたは外部に備えられた不図示の所定のセンサから、人物の位置に関する情報を取得する。そして、フィルタ生成部303は、当該取得した人物の位置に関する情報に基づいて、制御ラインCLを設定するための上記3)の条件を設定する。
具体的には、上記所定のセンサには、例えばカメラや熱画像を取得するセンサ等が含まれる。上記所定のセンサは、収音部400や再生部500と同一の装置内に組み込まれてもよいし、エリア再生システム1の外部に備えられてもよい。上記所定のセンサは、出力信号を処理部300へ送信できればよい。
例えば、上記所定のセンサとして、スピーカアレイSAと同じx軸上にy軸方向を撮像する不図示のカメラが設けられているとする。この場合、フィルタ生成部303は、当該カメラが出力した撮像画像を取得し、公知の画像認識技術等を用いて、当該撮像画像内に人物が含まれているか否かを認識する。そして、フィルタ生成部303は、当該撮像画像内に人物が含まれていることを認識した場合、当該認識した人物を示す画像の大きさと撮像画像の大きさとの比率等に基づき、x軸から当該人物の位置までのy軸方向の距離を算出する。
或いは、上記所定のセンサとして、x軸から当該人物の位置までのy軸方向の距離を測定し、当該測定した距離を示す信号を処理部300へ出力可能なセンサ(例えば、深度センサ)が設けられているとする。この場合、フィルタ生成部303は、当該センサの出力信号が示す、x軸から当該人物の位置までのy軸方向の距離を取得する。
そして、フィルタ生成部303は、x軸から上記人物の位置までのy軸方向の距離を、上記の3)の条件(スピーカアレイSAから制御ラインCLまでのy軸方向の距離yref)として設定する。
また、フィルタ生成部303は、上記4)の条件が含まれていなかった場合、予めROM等に記憶されている、例えば人物の横幅程度に予め定められた固定値(例えば、1m)を取得し、これを上記の4)の条件(再生ラインBLの幅lb)とする。
このように、フィルタ生成部303は、ユーザに制御ラインCLの設定に必要な1)〜4)の再生条件の指定の手間をかけさせることなく、所定のセンサから取得した人物の位置に関する情報に基づいて、1)〜4)の再生条件を自動的に設定することができる。これにより、フィルタ生成部303は、制御ラインCLを自動的に設定することができる。
次に、処理部300が音源データ201を受信したとする(S08)。この場合、音場解析部304は、当該音源データ201に対応する再生音信号にステップS07で生成された制御フィルタF(x,0,ω)を畳み込んだ信号を各スピーカ501に出力させた場合に、制御ラインCL上に到達すると考えられる再生音の周波数解析を行う(S09)。
具体的には、ステップS09において、音場解析部304は、ステップS07で生成された制御フィルタF(x,0,ω)をフーリエ変換した結果を式(4)に代入して変形する。これにより、音場解析部304は、制御ラインCL上の制御点B(x,yref)に到達する再生音の波数領域における音圧を示す式を導出する。そして、音場解析部304は、当該導出した式を逆フーリエ変換することにより、制御ラインCL上の制御点B(x,yref)に到達すると考えられる再生音の音圧P(x、yref、ω)を示す式を導出する。そして、音場解析部304は、後述の図5等に示すように、再生音に含まれる周波数f毎に、制御ラインCL上の制御点B(x,yref)と再生音の音圧P(x、yref、2πf)との関係を示すグラフを生成する。
収音部400は、マイク401に環境音を収音させ(S14)、収音した環境音信号をアンプ402及びADコンバータ403によってデジタル信号(以下、環境音データ)に変換後、処理部300へ送信する(S15)。
処理部300が環境データを受信すると(S10)、騒音解析部305は、当該環境データが示す環境音の周波数解析を行うことによって、環境音の音圧を周波数f毎に測定する(S11)。具体的には、ステップS11において、騒音解析部305は、フーリエ変換等の公知の周波数解析技術を用いて、環境音データが示す環境音の周波数f毎に、直近の所定時間内における、各周波数fに対応する環境音の音圧の平均値(以下、環境音圧平均値)を算出する。
次に、音量比較部306は、ステップS09における音場解析部304による再生音の周波数解析結果と、ステップS11における騒音解析部305による環境音の音圧の測定結果と、を周波数f毎に比較する(S12)。具体的には、ステップS12において、音量比較部306は、周波数f毎に、ステップS09で生成された各周波数fに対応するグラフ(P(x、yref、2πf)を示すグラフ)と、ステップS11で算出された各周波数fに対応する環境音圧平均値と、を比較する。
音量比較部306による比較の結果、全ての周波数fにおいて、再生ラインBLに到達する再生音の音圧P(x、yref、2πf)が環境音圧平均値を上回り、且つ、非再生ラインDLに到達する再生音の音圧P(x、yref、2πf)が環境音圧平均値を上回っていなかったとする(S12;OK)。この場合、処理部300は、ステップS08で受信した音源データ201に対応する再生音信号S(2πf)に、ステップS07で生成された制御フィルタF(x,0,2πf)を畳み込んだ駆動信号D(x,0,2πf)(D(x,0,2πf)=S(2πf)F(x,0,2πf))を生成し、当該生成した駆動信号D(x,0,2πf)を再生部500へ送信する。
再生部500は、受信した駆動信号D(x,0,2πf)で各スピーカ501を駆動することにより、各スピーカ501に再生音を出力させる(S16)。
一方、音量比較部306による比較結果、ある特定の周波数fにおいて、再生ラインBLに到達する再生音の音圧P(x、yref、2πf)及び非再生ラインDLに到達する再生音の音圧P(x、yref、2πf)が共に環境音圧平均値を上回っていたとする(S12;NG1)。
この場合、フィルタ加工部307は、ステップS07で生成された上記特定の周波数fに対応する制御フィルタF(x,0,2πf)を加工することにより、各スピーカ501に出力させる、当該特定の周波数fに対応する再生音を調整する(S13)。以降、ステップS13における加工後の制御フィルタF(x,0,2πf)を用いてステップS09以降の処理が繰り返される。
具体的には、ステップS13において、フィルタ加工部307は、ステップS07で生成された上記特定の周波数fに対応する制御フィルタF(x,0,2πf)と、0以上1未満の所定の減衰係数c(0≦c<1)と、の積c・F(x,0,2πf)を、上記特定の周波数fに対応する加工後の制御フィルタF(x,0,2πf)とする。つまり、フィルタ加工部307は、特定の周波数fに対応する再生音の駆動信号D(x,0,2πf)(=S(2πf)・F(x,0,2πf))を、S(2πf)・c・F(x,0,2πf)に減衰させる調整を行う。
特に、上記所定の減衰係数cが0の場合、フィルタ加工部307は、特定の周波数fに対応する再生音の駆動信号(D(x,0,2πf)=S(2πf)F(x,0,2πf))を、0(=S(2πf)・0・F(x,0,2πf))にする。これにより、フィルタ加工部307は、非再生ラインDLに到達する再生音の音圧が環境音の音圧を上回る周波数成分を削除する調整を行う。
また、音量比較部306による比較結果、ある特定の周波数fにおいて、再生ラインBLに到達する再生音の音圧P(x、yref、2πf)及び非再生ラインDLに到達する再生音の音圧P(x、yref、2πf)が共に環境音圧平均値を下回っているとする(S12;NG2)。
この場合、フィルタ加工部307は、ステップS07で生成された上記特定の周波数fに対応する制御フィルタF(x,0,2πf)を加工することにより、各スピーカ501に出力させる、当該特定の周波数fに対応する再生音を調整する(S17)。以降、ステップS17における加工後の制御フィルタF(x,0,2πf)を用いてステップS09以降の処理が繰り返される。
具体的には、ステップS17において、フィルタ加工部307は、ステップS07で生成された上記特定の周波数fに対応する制御フィルタF(x,0,2πf)と、1よりも大きい所定の増幅係数a(1<a)と、の積a・F(x,0,2πf)を、上記特定の周波数fに対応する加工後の制御フィルタF(x,0,2πf)とする。つまり、フィルタ加工部307は、特定の周波数fに対応する再生音の駆動信号D(x,0,2πf)(=S(2πf)・F(x,0,2πf))を、S(2πf)・a・F(x,0,2πf)に増幅させる調整を行う。
このように、フィルタ加工部307は、全ての周波数fにおいて、再生ラインBLに到達する再生音の音圧P(x、yref、2πf)が環境音圧平均値を上回り、且つ、非再生ラインDLに到達する再生音の音圧P(x、yref、2πf)が環境音圧平均値を上回らなくなるまで(S12;OK)、各周波数fの再生音を減衰若しくは削除(S13)又は増幅(S17)させる。
なお、再生ラインBL上に存在するユーザが、タッチパネル101を用いて再生ラインBLに到達する再生音の音量を変更したとする。この場合、ステップS03が実行され、上記の5)の条件を含む再生条件が処理部300へ送信される。以降、ステップS06以降の処理が実行される。つまり、当該ステップS06において、処理部300は、入力部100によって送信された上記の5)の条件を再生条件を受信することで、再生ラインBLに到達する再生音の音量の変更を受け付ける。
この場合、再生音の音量が増大され、ステップS07において再生条件に含まれている5)の条件を用いて制御フィルタF(x、0、ω)が増大された結果、ステップS12において、非再生ラインDLに到達すると考えられる再生音の音圧P(x、yref、2πf)が環境音圧平均値を上回る場合(S12;NG1)がある。しかし、この場合、ステップS13が行われ、非再生ラインDLに到達すると考えられる再生音のうち、環境音の音圧を上回る周波数成分の音圧を減衰又は削除する調整が行われた後、ステップS09以降の処理が繰り返される。
これにより、再生ラインBLに到達する再生音の音量が変更された場合でも、各周波数fにおいて、非再生ラインDLに到達する再生音の音圧を環境音の音圧以下にすることができる。これにより、非再生ラインDLに到達する再生音を環境音で打ち消して、非再生ラインDLに再生音が漏洩することを防止することができる。
図4に示した各ステップの実行順は、図4に示した実行順に限らない。処理部300が入力部100、データ部200及び収音部400から、再生条件、音源データ201及び環境音データを取得するステップS06、S08、S10の実行順序は、入れ替わっても良い。
(具体例1)
以下では、図4に示す再生音の調整動作の具体例について説明する。本具体例1では、図3に示すように、幅35mmのスピーカ501をx軸上に128個(N=128)並べて配置することでスピーカアレイSAが構成されているとする。各スピーカ501の配置間隔Δxは、35mmであるとする。また、スピーカアレイSAのx軸方向の中心に直交するラインをy軸とし、スピーカアレイSAと制御ラインCLまでの距離yrefは2mであるとする。また、制御ラインCLにおける再生ラインBLの幅lbは2mであり、再生ラインBLのx軸方向の中心は、y軸上(x=0)であるとする。
つまり、ステップS07において、フィルタ生成部303は、上記1)の条件(各スピーカ501の配置間隔Δx)を35mmとし、2)の条件(スピーカアレイSAが備えるスピーカ501の個数N)を128とし、3)の条件(スピーカアレイSAから制御ラインCLまでのy軸方向の距離yref)を2mとし、4)の条件(制御ラインCLにおける再生ラインBLの幅lb)を2mとして、制御フィルタを生成するものとする。
そして、周波数fが500Hzと2000Hzの正弦波の信号が示す再生音を各スピーカ501に再生させるとする。この場合、音場解析部304は、ステップS09において、図5に示すように、ステップS07で生成された当該二つの周波数fに対応する制御フィルタF(x,0,2πf)をそれぞれ用いて導出した、制御ラインCL上の制御点(x,yref)に到達する各周波数fに対応する再生音の音圧P(x、yref、2πf)を示すグラフW1、W2を生成する。なお、グラフW1は、周波数fが500Hzに対応する再生音の音圧P(x、yref、1000π)を示し、グラフW2は、周波数fが2000Hzに対応する再生音の音圧P(x、yref、4000π)を示す。
グラフW1、W2に示すように、各周波数fの再生音の音圧のメインローブは、再生ラインBLに形成され、サイドローブの大半は、非再生ラインDL上に形成されている。しかし、当該サイドローブが示す音圧の分布は、周波数fによって異なっている。
ここで、ステップS11で算出された、各周波数fに対応する環境音圧平均値が、同一の音圧ES1であったとする。この場合、図5に示すように、再生ラインBLに到達する各周波数fに対応する再生音の音圧P(x、yref、2πf)は音圧ES1を上回り、且つ、非再生ラインDLに到達する各周波数fに対応する再生音の音圧P(x、yref、2πf)は音圧ES1を上回っていない(S12;OK)。この場合、再生ラインBLでは、各周波数fに対応する再生音が聴取しやすく、非再生ラインDLでは、各周波数fに対応する環境音の方が聴取しやすい状態であり、適切なエリア再生が実現されていると考えられる。この場合、ステップS16が実行される。
一方、ステップS11で算出された、各周波数fに対応する環境音圧平均値が、同一の音圧ES2であったとする。この場合、図5に示すように、再生ラインBLに到達する各周波数fに対応する再生音の音圧P(x、yref、2πf)は音圧ES2を上回っている。しかし、図5の楕円部に示すように、グラフW1における再生ラインBLに隣接する非再生ラインDLの一部に到達する再生音の音圧P(x、yref、1000π)も、音圧ES2を上回っている(S12;NG1)。この場合、図5の楕円部に対応する非再生ラインDL上では、周波数500Hzに対応する再生音が環境音よりも聴取しやすい状態であり、適切なエリア再生が実現されていないと考えられる。この場合、ステップS13が実行された後、ステップS09以降の処理が繰り返される。尚、当該ステップS13では、フィルタ加工部307は、周波数500Hzに対応する制御フィルタF(x,0,1000π)と所定の減衰係数c(0≦c<1)との積c・F(x,0,1000π)を、加工後の制御フィルタF(x,0,1000π)とする。
また、ステップS11で算出された、各周波数fに対応する環境音圧平均値が、同一の音圧ES3であったとする。この場合、図5に示すように、再生ラインBL及び非再生ラインDLに到達する各周波数fに対応する再生音の音圧P(x、yref、2πf)は、いずれも音圧ES3を上回っていない(S12;NG2)。この場合、再生ラインBL上で各周波数fに対応する環境音が再生音よりも聴取しやすい状態であり、適切なエリア再生が実現されていないと考えられる。この場合、ステップS17が実行された後、ステップS09以降の処理が繰り返される。尚、当該ステップS17では、フィルタ加工部307は、各周波数fに対応する制御フィルタF(x,0,2πf)と所定の増幅係数a(1<a)との積a・F(x,0,2πf)を、加工後の制御フィルタF(x,0,2πf)とする。
本態様によれば、処理部300は、各周波数fにおいて、制御ラインCLにおける再生ラインBLに到達する再生音の音圧が環境音の音圧を上回り、且つ、制御ラインCLにおける非再生ラインDLに到達する再生音の音圧が環境音の音圧を上回らないように、再生音を調整する。これにより、再生ラインBLに到達する再生音が環境音で打ち消されることを防止することができ、且つ、非再生ラインDLに到達する再生音を環境音で打ち消して、再生ラインBL以外に再生音が漏洩することを防止することができる。このように、本態様によれば、環境音に合わせて再生音を適切に調整可能なエリア再生を実現することができる。
また、上記所定の減衰係数cを0にして、フィルタ加工部307が、ステップS13において、非再生ラインDLに到達する再生音の音圧が環境音の音圧を上回る周波数成分を削除する調整を行うとする。この場合、各周波数fにおいて非再生ラインDLに到達する再生音の音圧を環境音の音圧以下にすることができる。これにより、非再生ラインDLに到達する再生音を環境音で打ち消して、非再生ラインDLに再生音が漏洩することを防止することができる。
また、収音部400を入力部100と同一の装置内に設けた場合は、エリア再生システム1にマイクを設けなくても、ユーザの位置における環境音を的確に収音することができる。
(実施の形態2)
実施の形態2におけるエリア再生システム1は、図1と同様のシステム構成である。よって、実施の形態2におけるエリア再生システム1の全体像についての詳細な説明を省略する。図6は、実施の形態2における再生音の調整動作の一例を示すフローチャートである。図6に示すように、実施の形態2における再生音の調整動作は、図4に示す実施の形態1における再生音の調整動作と比べて、ステップS13に代えてステップS63が行われる点が異なっている。よって、ステップS63に関わるステップについてのみ説明し、他のステップについての詳細な説明を省略する。
ステップS12において、ある特定の周波数fにおいて、再生ラインBLに到達する再生音の音圧P(x、yref、2πf)及び非再生ラインDLに到達する再生音の音圧P(x、yref、2πf)が共に環境音圧平均値を上回っていたとする(S12;NG1)。この場合、フィルタ加工部307は、ステップS07で用いられた上記の4)の条件である再生ラインBLの幅lbを調整して、制御フィルタF(x,0,2πf)を再生成する(S63)。その後は、ステップS63における再生成後の制御フィルタF(x,0,2πf)を用いてステップS09以降の処理が繰り返される。
具体的には、フィルタ加工部307は、ステップS63において、ステップS07で用いられた上記の4)の条件である再生ラインBLの幅lbを所定量縮小する。そして、フィルタ加工部307は、ステップS07と同様、ステップS07で用いられた上記の1)〜3)の条件と、当該縮小した後の再生ラインBLの幅lbと、を式(7)に代入する計算を行うことによって、制御フィルタF(x,0,ω)を再生成する。
(具体例2)
以下、図6に示す再生音の調整動作の具体例について説明する。本具体例2では、上記具体例1と同様、ステップS07において、フィルタ生成部303は、図3に示すように、上記1)の条件(各スピーカ501の配置間隔Δx)を35mmとし、2)の条件(スピーカアレイSAが備えるスピーカ501の個数N)を128とし、3)の条件(スピーカアレイSAから制御ラインCLまでのy軸方向の距離yref)を2mとするが、4)の条件(再生ラインBLの幅lb)は、3mに設定するものとする。また、周波数fが2000Hzの正弦波の信号が示す再生音を各スピーカ501に再生させるとする。
この場合、音場解析部304は、ステップS09において、図7に示すように、ステップS07で生成された周波数2000Hzに対応する制御フィルタF(x,0,4000π)を用いて導出した、制御ラインCL上の制御点(x,yref)に到達する周波数2000Hzに対応する再生音の音圧P(x、yref、4000π)を示すグラフW3を生成する。
ここで、ステップS11で算出された、周波数2000Hzに対応する環境音圧平均値が音圧ES4であったとする。この場合、グラフW3において、再生ラインBLに到達する周波数2000Hzに対応する再生音の音圧P(x、yref、4000π)は音圧ES4を上回っている。しかし、図7の楕円部に示すように、グラフW3において、再生ラインBLに隣接する非再生ラインDLの一部に到達する周波数2000Hzに対応する再生音の音圧P(x、yref、4000π)も音圧ES4を上回っている(S12;NG1)。この場合、図7の楕円部に対応する非再生ラインDL上では、再生音が環境音よりも聴取しやすい状態であり、適切なエリア再生が実現されていないと考えられる。この場合、ステップS63が実行された後、ステップS09以降の処理が繰り返される。
当該ステップS63では、フィルタ加工部307は、ステップS07で用いた4)の条件である再生ラインBLの幅lbを所定量縮小する。ここで、所定量は1mであるとする。つまり、本具体例2では、フィルタ加工部307は、当該ステップS63において、再生ラインBLの幅lbを3mから2mに変更する。そして、フィルタ加工部307は、ステップS07と同様、ステップS07で用いられた上記の1)〜3)の条件と、当該縮小した後の再生ラインBLの幅lb(=2m)と、を式(7)に代入する計算を行うことによって、制御フィルタF(x,0,4000π)を再生成する。
なお、ステップS63で再生ラインBLの幅lbを縮小する量は1mに限らない。また、ステップS63において、フィルタ加工部307が、再生ラインBLの幅lbに1未満の正の定数を乗算することで、再生ラインBLの幅lbを縮小するようにしてもよい。
当該ステップS63の後に行われるステップS09において、音場解析部304は、図7に示すように、ステップS63で再生成された制御フィルタF(x,0,4000π)を用いて導出した、周波数2000Hzに対応する再生音の音圧P(x、yref、4000π)を示すグラフW4を生成する。
当該グラフW4において、再生ラインBLに到達する周波数2000Hzに対応する再生音の音圧P(x、yref、4000π)は音圧ES4を上回っており、非再生ラインDLに到達する周波数2000Hzの再生音の音圧P(x、yref、4000π)は音圧ES4を上回っていない(S12;OK)。このため、ステップS16が実行される。
本態様によれば、非再生ラインDLに到達する再生音の音圧が環境音の音圧を上回らないように、再生ラインBLの幅を調整するので、非再生ラインDLに再生音が漏洩することを防止することができる。
(実施の形態3)
実施の形態3におけるエリア再生システム1は、図1と同様のシステム構成である。よって、実施の形態3におけるエリア再生システム1の全体像についての詳細な説明を省略する。図8は、実施の形態3における再生音の調整動作の一例を示すフローチャートである。図8に示すように、実施の形態3における再生音の調整動作は、図4に示す実施の形態1における再生音の調整動作と比べて、ステップS13に代えてステップS83が行われ、ステップS83が行われた後、ステップS16が行われる点が異なっている。よって、ステップS83に関わるステップについてのみ説明し、他のステップについての詳細な説明を省略する。
ステップS12において、ある特定の周波数fにおいて、再生ラインBLに到達する再生音の音圧P(x、yref、2πf)及び非再生ラインDLに到達する再生音の音圧P(x、yref、2πf)が共に環境音圧平均値を上回っていたとする(S12;NG1)。
この場合、処理部300は、非再生ラインDLに到達するマスキング音の音圧が、非再生ラインDLに到達する再生音の音圧P(x、yref、2πf)を上回るように、再生音にマスキング音を合成する調整を行い、各スピーカ501に当該再生音を出力させるための駆動信号を、再生部500へ送信する(S83)。その結果、再生部500は、受信した駆動信号で各スピーカ501を駆動することにより、各スピーカ501にマスキング音と再生音とを出力させる(S16)。
具体的には、処理部300は、ステップS83において、ステップS10で受信した環境音データを、マスキング音を示すデジタル信号とする。つまり、処理部300は、収音部400によって収音された環境音をマスキング音とする。以下、マスキング音を示すデジタル信号をマスキングデータと記載する。
そして、処理部300は、上記二つの非再生ラインDLのうちの一の非再生ラインDLを再生ラインBLとして各スピーカ501にマスキング音を出力させるエリア再生を実現するための制御フィルタを、ステップS07と同様の方法で、フィルタ生成部303に生成させる。以下、当該生成させた制御フィルタを制御フィルタF1(x,0,2πf)と記載する。
そして、処理部300は、ステップS09で生成されたグラフから、当該一の非再生ラインDLに到達する上記特定の周波数fに対応する再生音の音圧P(x、yref、2πf)の最大値(以下、再生音最大値)を取得する。そして、処理部300は、ステップS11で算出された上記特定の周波数fの環境音圧平均値に対する、当該取得した再生音最大値の比率R(=再生音最大値/環境音圧平均値)を算出する。そして、処理部300は、制御フィルタF1(x,0,2πf)を加工する。具体的には、処理部300は、上記の算出した比率Rと、制御フィルタF1(x,0,2πf)と、1よりも大きい所定の増幅係数g(1<g)との積R・F1(x,0,2πf)・gを、加工後の制御フィルタF1(x,0,2πf)とする。これにより、処理部300は、当該加工後の制御フィルタF1(x,0,2πf)を用いて各スピーカ501にマスキング音を出力させた場合に、当該一の非再生ラインDLに到達する上記特定の周波数fに対応するマスキング音の音圧が上記再生音最大値を上回るようにする。
そして、処理部300は、上記マスキングデータに対応するアナログ信号S(2πf)に、上記加工後の制御フィルタF1(x,0,2πf)を畳み込んだ駆動信号D1(x,0,2πf)(=S(2πf)・F1(x,0,2πf))を生成する。
同様にして、処理部300は、上記二つの非再生ラインDLのうちの他の非再生ラインDLを再生ラインBLとして各スピーカ501にマスキング音を出力させるエリア再生を実現するための制御フィルタをフィルタ生成部303に生成させる。以下、当該生成させた制御フィルタを制御フィルタF2(x,0,2πf)と記載する。また、処理部300は、上記の制御フィルタF1(x,0,2πf)の加工と同様の加工方法で、制御フィルタF2(x,0,2πf)を加工し、上記マスキングデータに対応するアナログ信号S(2πf)に上記加工後の制御フィルタF2(x,0,2πf)を畳み込んだ駆動信号D2(x,0,2πf)(=S(2πf)・F2(x,0,2πf))を生成する。
また、処理部300は、ステップS08で受信した音源データ201に対応する再生音信号S(2πf)に、ステップS07で生成された制御フィルタF(x,0,2πf)を畳み込んだ駆動信号D(x,0,2πf)(=S(2πf)・F(x,0,2πf))を生成する。
そして、処理部300は、これら生成した三つの駆動信号D1(x,0,2πf)、D2(x,0,2πf)、D(x,0,2πf)を足し合わせた駆動信号を再生部500へ送信する。
(具体例3)
以下、図8に示す再生音の調整動作の具体例について説明する。本具体例3では、上記具体例2と同様、ステップS07において、フィルタ生成部303は、図3に示すように、上記1)の条件(各スピーカ501の配置間隔Δx)を35mmとし、2)の条件(スピーカアレイSAが備えるスピーカ501の個数N)を128とし、3)の条件(スピーカアレイSAから制御ラインCLまでのy軸方向の距離yref)を2mとし、4)の条件(再生ラインBLの幅lb)を3mに設定するものとする。また、周波数fが2000Hzの正弦波の信号が示す再生音を各スピーカ501に再生させるとする。
この場合、音場解析部304は、ステップS09において、図9に示すように、ステップS07で生成された周波数2000Hzに対応する制御フィルタF(x,0,4000π)を用いて導出した、制御ラインCL上の制御点(x,yref)に到達する周波数fが2000Hzの再生音の音圧P(x、yref、4000π)を示すグラフW5を生成する。ここで、再生ラインBLに隣接する二つの非再生ラインDL1、DL2に到達する周波数2000Hzに対応する再生音の再生音最大値は、共に音圧MX1であるとする。以下、当該再生音最大値を再生音最大値MX1と記載する。
ここで、ステップS11で算出された、周波数2000Hzに対応する環境音圧平均値が音圧ES5であったとする。この場合、グラフW5において、再生ラインBLに到達する周波数2000Hzに対応する再生音の音圧P(x、yref、4000π)は音圧ES5を上回っている。しかし、図9の楕円部に示すように、グラフW5において、再生ラインBLに隣接する非再生ラインDL1、DL2の一部に到達する周波数2000Hzの再生音の音圧P(x、yref、4000π)も、音圧ES5を上回っている(S12;NG1)。この場合、図9の楕円部に対応する非再生ラインDL1、DL2上では、再生音が環境音よりも聴取しやすい状態であり、適切なエリア再生が実現されていないと考えられる。この場合、ステップS83が実行された後、ステップS16が実行される。
当該ステップS83では、処理部300は、ステップS10で受信した環境音データをマスキングデータとして取得する。そして、処理部300は、図9に示す非再生ラインDL1を再生ラインBLとして各スピーカ501にマスキングデータが示すマスキング音を出力させるエリア再生を実現するための制御フィルタF1(x,0,4000π)を生成させる。
そして、処理部300は、周波数2000Hzに対応する環境音圧平均値ES5に対する再生音最大値MX1の比率R(=MX1/ES5)と、制御フィルタF1(x,0,4000π)と、1よりも大きい所定の増幅係数g(1<g)との積R・F1(x,0,4000π)・gを、加工後の制御フィルタF1(x,0,4000π)とする。そして、処理部300は、上記マスキングデータに対応するアナログ信号S(4000π)に、上記加工後の制御フィルタF1(x,0,4000π)を畳み込んだ駆動信号D1(x,0,4000π)(=S(4000π)・F1(x,0,4000π))を生成する。
これと同様にして、処理部300は、図9に示す非再生ラインDL2を再生ラインBLとして各スピーカ501にマスキングデータが示すマスキング音を出力させるエリア再生を実現するための制御フィルタF2(x,0,4000π)を生成及び加工する。そして、処理部300は、上記マスキングデータに対応するアナログ信号S(4000π)に加工後の制御フィルタF2(x,0,4000π)を畳み込んだ駆動信号D2(x,0,4000π)(=S(4000π)・F2(x,0,4000π))を生成する。
また、処理部300は、再生音信号S(4000π)に、ステップS07で生成された制御フィルタF(x,0,4000π)を畳み込んだ駆動信号D(x,0,4000π)(=S(4000π)・F(x,0,4000π))を生成する。
そして、処理部300は、これら生成した三つの駆動信号D1(x,0,4000π)、D2(x,0,4000π)、D(x,0,4000π)を足し合わせた駆動信号を再生部500へ送信する。これにより、再生部500は、ステップS16において、受信した駆動信号で各スピーカ501を駆動することにより、各スピーカ501にマスキング音と再生音とを出力させる。
当該ステップS16が実行された場合、図9に示すように、各スピーカ501は、ステップS16で受信された駆動信号に含まれる駆動信号D1(x,0,4000π)によってグラフMS1に示す音圧分布のマスキング音を出力し、駆動信号D2(x,0,4000π)によってグラフMS2に示す音圧分布のマスキング音を出力し、駆動信号D(x,0,4000π)によってグラフW5に示す音圧分布のマスキング音を出力する。
本態様によれば、非再生ラインDLに到達する再生音をマスキング音によってマスクすることができる。これにより、非再生ラインDLに再生音が漏洩することを防止することができる。また、前記マスキング音として収音部400によって収音された環境音が採用されるので、非再生ラインDLにおいて、環境音とは別の音が聴こえることによる違和感を感じ難くすることができる。
なお、再生部500が設置された環境で使用される背景音楽(BGM(BackGroundMusic))を示す音源データ201をデータ部200に予め記憶しておいてもよい。これに合わせて、ステップS83において、処理部300が、ステップS02、S04、S05と同様にして、当該背景音楽を示す音源データ201の名称をデータ部200へ送信することにより、データ部200から当該音源データ201を取得するようにしてもよい。そして、処理部300が、当該取得した音源データ201をマスキングデータとするようにしてもよい。つまり、再生部500が設置された環境で使用される背景音楽をマスキング音としてもよい。
この場合、再生部500が設置された環境で使用される背景音楽が前記マスキング音として採用されるので、非再生ラインDLにおいて、背景音楽とは別の音が聴こえることによる違和感を感じ難くすることができる。
以上、本開示の実施の形態について説明したが、各処理が実施される主体や装置は、上記の実施の形態に記載したものに限定されない。各処理は、エリア再生システム1が備える特定の装置(以下、ローカルの装置)内に組み込まれたプロセッサー等によって処理されてもよい。また、ローカルの装置と異なる場所に備えられたクラウドサーバなどによって処理されてもよい。また、ローカルの装置とクラウドサーバ間で情報の連携を行うことで、本開示にて説明した各処理を分担して実施するようにしてもよい。以下、本開示の実施態様を説明する。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されていてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIである。具体的には、システムLSIは、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールで構成されていてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。
(4)本開示は、上記に示したエリア再生システム1における処理方法であるとしてもよい。また、当該処理方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
(5)また、本開示は、前記コンピュータプログラムまたは前記コンピュータプログラムからなるデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本開示は、前記コンピュータプログラムまたは前記コンピュータプログラムからなるデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(6)上記実施の形態及びその変形例をそれぞれ組み合わせてもよい。
本開示は、スピーカアレイから再生する音波の制御に利用可能である。
また、本開示を適用したスピーカアレイシステムは、音声アナウンスシステム、遠隔会議システム、AVシステムなどの産業上の利用可能性がある。
1 エリア再生システム
100 入力部
101 タッチパネル
200 データ部
201 音源データ
300 処理部
301 オーディオIF
302 DSP
303 フィルタ生成部
304 音場解析部
305 騒音解析部
306 音量比較部
307 フィルタ加工部
400 収音部
401 マイク
402 アンプ
403 ADコンバータ
500 再生部
501 スピーカ
502 アンプ
503 DAコンバータ
BL 再生ライン
CL 制御ライン
DL、DL1、DL2 非再生ライン
SA スピーカアレイ
f 周波数

Claims (10)

  1. 複数のスピーカを直線状に並べて配置したスピーカアレイを含む再生部と、
    前記再生部が設置された環境の環境音を収音する収音部と、
    前記スピーカアレイと実質的に平行であって前記スピーカアレイから所定距離離間した位置に設定された、前記スピーカアレイから放射された音波が強め合う再生ラインと弱め合う非再生ラインとを含む制御ラインに基づいて、前記複数のスピーカに出力させる再生音を調整し、前記再生部から出力させる処理部とを備え、
    前記処理部は、前記収音した前記環境音から騒音レベルを測定し、各周波数において、前記制御ラインにおける前記再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回り、且つ、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回らないように前記再生音を調整する、
    エリア再生システム。
  2. 前記再生音の調整は、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回る周波数成分を削除する調整である、
    請求項1に記載のエリア再生システム。
  3. 前記処理部はさらに、
    前記再生ラインに到達する前記再生音の音量の変更を受け付け、
    前記再生音の音量の変更によって、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回る周波数成分を削除する、
    請求項1に記載のエリア再生システム。
  4. 前記処理部は、
    各周波数において、前記制御ラインにおける前記再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回り、且つ、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回る場合は、
    前記非再生ラインに到達する前記再生音の音圧が、前記騒音レベルを上回らないように前記再生ラインの幅を調整する、
    請求項1に記載のエリア再生システム。
  5. 前記処理部は、
    各周波数において、前記制御ラインにおける前記再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回り、且つ、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回る場合は、
    前記非再生ラインに到達するマスキング音の音圧が、前記非再生ラインに到達する前記再生音の音圧を上回るように、前記再生音に前記マスキング音を合成する調整を行う、
    請求項1に記載のエリア再生システム。
  6. 前記マスキング音は、前記収音部によって収音された前記環境音である、
    請求項5に記載のエリア再生システム。
  7. 前記マスキング音は、前記再生部が設置された環境で使用されている背景音楽である、
    請求項5に記載のエリア再生システム。
  8. 前記収音部は、前記エリア再生システムのユーザが使用する端末に搭載されたマイクを含む、
    請求項1に記載のエリア再生システム。
  9. 前記処理部はさらに、
    前記エリア再生システムに含まれるまたは外部に備えられたセンサから人物の位置に関する情報を取得し、
    前記制御ラインを前記人物の位置に関する情報に基づいて設定する、
    請求項1に記載のエリア再生システム。
  10. 複数のスピーカを直線状に並べて配置したスピーカアレイを含む再生部を備えたエリア再生システムのエリア再生方法であって、
    前記再生部が設置された環境の環境音を収音し、
    前記スピーカアレイと実質的に平行であって前記スピーカアレイから所定距離離間した位置に設定された、前記スピーカアレイから放射された音波が強め合う再生ラインと弱め合う非再生ラインとを含む制御ラインに基づいて、前記複数のスピーカに出力させる再生音を調整し、前記再生部から出力させ、
    前記調整では、
    前記収音した前記環境音から騒音レベルを測定し、
    各周波数において、前記制御ラインにおける前記再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回り、且つ、前記制御ラインにおける前記非再生ラインに到達する前記再生音の音圧が前記騒音レベルを上回らないように前記再生音を調整する、
    エリア再生方法。
JP2016110608A 2015-08-31 2016-06-02 エリア再生システム及びエリア再生方法 Active JP6718748B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/245,264 US9754575B2 (en) 2015-08-31 2016-08-24 Area-sound reproduction system and area-sound reproduction method
EP16186466.5A EP3136746B1 (en) 2015-08-31 2016-08-31 Area-sound reproduction system and area-sound reproduction method
US15/661,370 US9966058B2 (en) 2015-08-31 2017-07-27 Area-sound reproduction system and area-sound reproduction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015170332 2015-08-31
JP2015170332 2015-08-31

Publications (3)

Publication Number Publication Date
JP2017050847A true JP2017050847A (ja) 2017-03-09
JP2017050847A5 JP2017050847A5 (ja) 2017-09-14
JP6718748B2 JP6718748B2 (ja) 2020-07-08

Family

ID=58280419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016110608A Active JP6718748B2 (ja) 2015-08-31 2016-06-02 エリア再生システム及びエリア再生方法

Country Status (1)

Country Link
JP (1) JP6718748B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020010105A (ja) * 2018-07-04 2020-01-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America エリア再生システム及びエリア再生方法
WO2021010397A1 (ja) 2019-07-17 2021-01-21 パナソニックIpマネジメント株式会社 音声制御装置及び音声制御システム
WO2021014935A1 (ja) * 2019-07-19 2021-01-28 ソニー株式会社 放音システム
CN114467063A (zh) * 2019-10-04 2022-05-10 松下知识产权经营株式会社 环境控制系统
EP4234405A1 (en) 2022-02-28 2023-08-30 Panasonic Intellectual Property Management Co., Ltd. Audio device
EP4235643A1 (en) 2022-02-28 2023-08-30 Panasonic Intellectual Property Management Co., Ltd. Acoustic control system
WO2024070165A1 (ja) * 2022-09-26 2024-04-04 パナソニックIpマネジメント株式会社 音響装置、再生方法及びプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020010105A (ja) * 2018-07-04 2020-01-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America エリア再生システム及びエリア再生方法
JP7154049B2 (ja) 2018-07-04 2022-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ エリア再生システム及びエリア再生方法
WO2021010397A1 (ja) 2019-07-17 2021-01-21 パナソニックIpマネジメント株式会社 音声制御装置及び音声制御システム
US12039992B2 (en) 2019-07-17 2024-07-16 Panasonic Intellectual Property Management Co., Ltd. Voice control device and voice control system
WO2021014935A1 (ja) * 2019-07-19 2021-01-28 ソニー株式会社 放音システム
CN114467063A (zh) * 2019-10-04 2022-05-10 松下知识产权经营株式会社 环境控制系统
CN114467063B (zh) * 2019-10-04 2024-02-27 松下知识产权经营株式会社 环境控制系统
EP4234405A1 (en) 2022-02-28 2023-08-30 Panasonic Intellectual Property Management Co., Ltd. Audio device
EP4235643A1 (en) 2022-02-28 2023-08-30 Panasonic Intellectual Property Management Co., Ltd. Acoustic control system
US11843927B2 (en) 2022-02-28 2023-12-12 Panasonic Intellectual Property Management Co., Ltd. Acoustic control system
US11856363B2 (en) 2022-02-28 2023-12-26 Panasonic Intellectual Property Management Co., Ltd. Acoustic apparatus
WO2024070165A1 (ja) * 2022-09-26 2024-04-04 パナソニックIpマネジメント株式会社 音響装置、再生方法及びプログラム

Also Published As

Publication number Publication date
JP6718748B2 (ja) 2020-07-08

Similar Documents

Publication Publication Date Title
JP6718748B2 (ja) エリア再生システム及びエリア再生方法
US9402145B2 (en) Wireless speaker system with distributed low (bass) frequency
JP5457874B2 (ja) 局所再生装置とその方法と、プログラム
US9966058B2 (en) Area-sound reproduction system and area-sound reproduction method
JP5290949B2 (ja) 音響処理装置及び方法
RU2018119087A (ru) Устройство и способ для формирования отфильтрованного звукового сигнала, реализующего рендеризацию угла места
US9538288B2 (en) Sound field correction apparatus, control method thereof, and computer-readable storage medium
US9369801B2 (en) Wireless speaker system with noise cancelation
JP2007124129A (ja) 音響再生装置および音響再生方法
JP2017050847A5 (ja)
WO2017096174A1 (en) Multi-microphone feedforward active noise cancellation
CN106303783A (zh) 降噪方法和装置
WO2016080204A1 (ja) 信号処理装置、信号処理方法、およびプログラム
GB2557411A (en) Tactile Bass Response
WO2017208822A1 (ja) 局所消音音場形成装置および方法、並びにプログラム
JP5970125B2 (ja) 制御装置、制御方法及びプログラム
WO2017045512A1 (zh) 一种语音识别的方法、装置、终端及语音识别设备
JP7332945B2 (ja) 音場生成装置、音場生成方法、及び音場生成プログラム
JP6959134B2 (ja) エリア再生方法、エリア再生プログラム及びエリア再生システム
JP7485982B2 (ja) 処理装置、再生システム、処理方法および処理プログラム
TWI757763B (zh) 電子裝置及其雙聲道音場平衡方法
WO2023286413A1 (ja) エリア再生システム及びエリア再生方法
JP7379988B2 (ja) 基音周波数決定装置、疑似低音処理装置、基音周波数決定方法および音響処理方法
JP7173156B2 (ja) 音響装置及び音響再生方法
JP6027873B2 (ja) インパルス応答生成装置、インパルス応答生成システム及びインパルス応答生成プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6718748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150