JP2015198297A - 音響制御装置、電子機器及び音響制御方法 - Google Patents

音響制御装置、電子機器及び音響制御方法 Download PDF

Info

Publication number
JP2015198297A
JP2015198297A JP2014074492A JP2014074492A JP2015198297A JP 2015198297 A JP2015198297 A JP 2015198297A JP 2014074492 A JP2014074492 A JP 2014074492A JP 2014074492 A JP2014074492 A JP 2014074492A JP 2015198297 A JP2015198297 A JP 2015198297A
Authority
JP
Japan
Prior art keywords
sound
acoustic
acoustic signal
listening
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014074492A
Other languages
English (en)
Other versions
JP6377935B2 (ja
Inventor
江波戸 明彦
Akihiko Ebato
明彦 江波戸
恵一郎 染田
Keiichiro Someda
恵一郎 染田
貴博 蛭間
Takahiro Hiruma
貴博 蛭間
西村 修
Osamu Nishimura
修 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2014074492A priority Critical patent/JP6377935B2/ja
Priority to EP15156925.8A priority patent/EP2928217A1/en
Priority to US14/658,510 priority patent/US9628931B2/en
Publication of JP2015198297A publication Critical patent/JP2015198297A/ja
Application granted granted Critical
Publication of JP6377935B2 publication Critical patent/JP6377935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Headphones And Earphones (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】イヤホンを装着して聴取音を聴取する場合に、聴取音を聴取しつつ情報音を聴取
することが容易な音響制御装置及び音響制御方法を提供する。
【解決手段】
実施形態の音響制御装置は、第1の音響信号を取得する取得部と、情報音を検出する検
出部と、検出部が情報音を検出した場合に、聴取位置に対して第1の方向に位置する仮想
位置から聴取位置までの音響伝達特性を示す第1の関数に基づいて第1の音響信号に対し
て畳み込み演算を行うことにより、第1の音響信号を第2の音響信号に補正する補正部と
、第2の信号を出力する出力部とを備える。
【選択図】図1

Description

本発明の実施形態は、音響制御装置、電子機器及び音響制御方法に関する。
イヤホンやヘッドホン等の器具(以下、単にイヤホン)を装着して音楽を聴取すること
がある。イヤホンを装着して音楽を聴取する場合、外部からの音を遮断することができる
が、外部からの情報として必要な音(以下、情報音)も同様に遮断してしまう。ここで、
情報音とは、例えば、周囲の人からの呼び掛けや、案内のためのガイド音、警告音(例え
ば、自動車からのクラクション)等である。したがって、イヤホンを装着して音楽を聴取
する際、イヤホンにより外部からの音が遮断される場合であっても、危険防止や聴覚支援
の観点から情報音については聴き逃さないことが望まれる。
これに対して、イヤホンに内蔵されたマイクで取得した情報音を増幅することで、聴取
者に対して提示する音響制御装置が存在する。しかしながら、街中の音には特に高いレベ
ルの暗騒音が混在するため、増幅された暗騒音が重畳してしまうことで、聴取の目的とな
る音楽(聴取音)が聴取し難くなる場合がある。
特開2004−201195号公報
そこで、本発明が解決しようとする課題は、イヤホンを装着して聴取音を聴取する場合
に、聴取音を聴取しつつ情報音を聴取することが容易な音響制御装置、電子機器及び音響
制御方法を提供することである。
実施形態の音響制御装置は、第1の音響信号を取得する取得部と、情報音を検出する検
出部と、検出部が情報音を検出した場合に、聴取位置に対して第1の方向に位置する仮想
位置から聴取位置までの音響伝達特性を示す第1の関数に基づいて第1の音響信号に対し
て畳み込み演算を行うことにより、第1の音響信号を第2の音響信号に補正する補正部と
、第2の信号を出力する出力部とを備える。
実施形態の音響制御方法は、聴取音の第1の音響信号を取得し、情報音を検出し、検出
部が情報音を検出した場合に、聴取位置に対して第1の方向に位置する仮想位置から聴取
位置までの音響伝達特性を示す第1の関数に基づいて第1の音響信号に対して畳み込み演
算を行うことにより、第1の音響信号を第2の音響信号に補正し、第2音響信号を出力す
る。
第1の実施形態に係る音響制御装置を示すブロック図。 第1の実施形態に係る音響制御方法を示すフローチャート。 第1の実施形態に係る音響伝達特性について説明する図。 第1の実施形態に係る主観評価の結果を示す図。 第1の実施形態に係るIACF分析の結果を示す図。 第2の実施形態に係る音響制御装置を示すブロック図。 第2の実施形態に係る音響制御方法を示すフローチャート。 各実施形態に係る音響制御装置を備えた電子機器を示すブロック図。
以下、図面を参照しながら、発明を実施するための実施形態について説明する。
(第1の実施形態)
図1は第1の実施形態に係る音響制御装置100のブロック図である。音響制御装置1
00は、例えばPC、携帯電話、タブレット端末、音楽プレイヤー、TV、ラジオ等のイ
ヤホンを用いて音楽や音声(以下、聴取音)を聴取することができる電子機器1000に
用いられる。この音響制御装置100には、図示しないイヤホンジャックを介して有線に
より、あるいは無線によりイヤホンを接続することができる。
図1の音響制御装置100は、聴取音の音響信号(第1の音響信号)を取得する取得部
10と、情報音を検出する検出部20と、検出部20が情報音を検出すると、聴取音の音
像を一定の方向に定位させるように音響信号を補正する補正部30を備える。また、補正
部30が補正した音響信号をイヤホンに出力する出力部40を備える。なお、補正部30
は、予め記憶部50に格納されている複数の音響伝達特性を用いて音響信号を補正する。
なお、記憶部50はメモリやHDD等の記録媒体である。また、取得部10、検出部20
、補正部30の各処理は、CPU等の演算処理装置が記録媒体(例えば記憶部50)に記憶
されたプログラムに基づいて実行する。
取得部10は、音響信号(例えばモノラル信号)を取得する。取得部10が音響信号を
取得する方法としては様々なバリエーションが考えられる。例えば、TV、オーディオ機
器或いはAV機器などのような、地上放送又は衛星放送等により、音響信号を含むコンテ
ンツ(例えば、音響信号のみを含むコンテンツ、動画像や静止画像を伴う音響信号を含む
コンテンツ、それらに更に他の関連情報を含むコンテンツなど)を取得することができる
。インターネット又はイントラネット若しくはホームネット等のネットワークを介してコ
ンテンツを取得してもよいし、CD、DVD、または内臓のディスク装置等の記録媒体に
格納されたコンテンツを読み込むことで取得してもよい。また、マイクロフォンにより入
力した音声を取得してもよい。
検出部20は、外部からの情報音を検出する。情報音とは、一次的あるいは突発的に聴
取が必要となる音であって、例えば一定方向から聴こえてくる定位音である。情報音とし
ては、例えば周囲にいる人からの呼び掛け、館内放送や案内のためのガイド音、自動車か
らのクラクション等が考えられる。また、情報音としては、聴取音の中に立体音響として
含まれる効果音等、音響制御装置100により立体音響として再生されるガイド音等も含
み得る。検出部20が情報音を検出する方法としては、音響制御装置100が図示しない
マイクロフォンを備え、このマイクロフォンが検出する音に基づいて検出することができ
る。また、イヤホンに備えられたマイクロフォンが検出する音に基づいて検出することが
できる。このとき、例えばマイクロフォンが検出した音から暗騒音の成分を除去し、残り
の成分のうち一定の音圧レベルを超える成分を情報音として検出することができる。
補正部30は、取得部10が取得した音響信号(モノラル信号)に対してフィルタリン
グ処理することにより、ステレオ信号(左のイヤホン用の音響信号及び右のイヤホン用の
音響信号)を生成し、各音響信号を出力部40に対して供給する。このとき、取得部10
が取得した音響信号がステレオ信号の場合には、取得した音響信号を出力部40に供給す
る。
本実施形態における補正部30は、検出部20が情報音を検出すると、記憶部50に格
納されている音響伝達特性を用いて、聴取音の音像を一定の方向(定位方向)に定位させ
るように音響信号を補正する。ここで、音像を一定の方向に定位させるとは、音響信号を
適切にフィルタリング処理することにより、あたかも聴取者(聴取位置)に対して一定の
方向にある仮想位置(仮想音源)から音(仮想音)が聴こえてくるように錯覚させる効果
を与えることをいう。
また、定位方向としては、情報音の到来方向と重ならない方向、すなわち情報音の方向
を除いた任意の方向であることが好ましい。このとき、定位方向は例えば後述の情報音の
到来方向が変化するに従って逐次変化するものであってもよい。なお、音像の定位につい
ては立体音響における公知の技術を用いることができる。ここで、音響伝達特性とは聴取
者に対して一定の方向にある仮想位置から聴取者まで音が伝わる際の伝達特性を示す関数
であり、例えば頭部伝達関数である。
図3は、記憶部50に格納されている音響伝達特性について説明する図である。図3に
示すように、聴取者を中心OとするXY座標系を考える。このとき、X軸正の方向を聴取者の
右手方向(θ=0°)とし、Y軸正の方向を聴取者の前方(θ=90°)とする。図3に
示す例では、記憶部50は、45°毎、すなわちθ=0°、45°、90°、135°、
180°、225°、270°、315°に対応する音響伝達特性(例えば左耳までの音
響伝達特性、右耳までの音響伝達特性のセット)を格納している。各音響伝達特性は、そ
れぞれ対応する方向から聴取者へ音が伝わる際の伝達特性を示しており、この音響伝達特
性を音響信号に畳み込むことにより得られる音響信号を聴取者に提示することで、対応す
る方向に音像を定位させることができる。
補正部30は、記憶部50に格納されている複数の音響伝達特性の中から1つを選択し
、選択した音響伝達特性(第1の音響伝達特性)を音響信号に対して畳み込み演算するこ
とで左のイヤホン用の音響信号P及び右のイヤホン用の音響信号PRを生成する。生成
した各音響信号(第2の音響信号)を出力部40に対して供給する。
例えば、補正部30は、θ=90°に音像を定位させるときは、左のイヤホン用の音響
信号P及び右のイヤホン用の音響信号Pを次式により生成する。ここで、HL,90
左耳までの音響伝達特性、HR,90は右耳までの音響伝達特性、Sは音響信号を表している
=HL,90×S (1)
=HR,90×S (2)
同様に、補正部30は、θ=135°のときは135°用の音響伝達特性HL,135、H
R,135を使うなど、それぞれの角度に合った音響特性を使うことで所望の方向に音像を定
位することができる。
出力部40は、図示しないイヤホンジャックを介して有線により、あるいは無線により
、音響制御装置100に接続されているイヤホンに対して補正部30から取得した各音響
信号を出力する。これにより、イヤホンを装着した聴取者は、情報音が検出されない通常
時には音楽等の聴取音を聴取し、情報音が検出された検出時には一定の方向からの定位音
として聴取音を聴取しつつ、同時に情報音を聴取することができる。
図2は第1の実施形態に係る音響制御方法を示すフローチャートである。
S101では、取得部10が聴取音の音響信号(第1の音響信号)を取得する。
S102では、検出部20が情報音を検出し、検出していない場合にはS103に進む。
S103では、出力部40が第1の音響信号をイヤホン(聴取者)に対して出力する。
S102において、検出部20が情報音を検出した場合にはS104に進む。
S104では、補正部30が記憶部50から音響伝達特性(第1関数)を取得する。
S105では、補正部30が第1関数を第1の音響信号に対して畳み込み演算すること
により、第1の音響信号を第2の音響信号に補正する。
S106では、出力部40が第2の音響信号をイヤホン(聴取者)に対して出力する。
以上のステップを例えば第1の音響信号の取得が終了するまでの間、または検出部20
が情報音を検出している間繰り返す。
補正部30による音像の定位方向について説明する。図3に示すXY座標系により定義
される平面を4つの象限に分割する。すなわち、第一象限(0°≦θ<90°)、第二象
限(90°≦θ<180°)、第三象限(180°≦θ<270°)、第四象限(270
°≦θ<360°)とする。
図3に示すXY座標系において、聴取音(P)と情報音(S)をそれぞれ45度間隔で全周
配したときの組み合わせ(相対位置関係)から、情報音が聴き取り易い相対位置関係につ
いての主観評価を行った。
図4(a)〜(d)は、主観評価の結果を示す図である。ここでは、各象限に存在する聴
取音(P)を固定とした場合に、情報音(S)が聴き取り易い範囲を示している。なお、聴
取者を中心として、聴取音(P)の角度をθP、情報音(S)の角度(定位角)をθSとする
図4(a)に示すように、第一象限に聴取音(P)を固定した場合(θ=45°)には
、情報音(S)の位置が45°<θS<315°の場合に聴き取り易いとの結果が得られた
。特に90°≦θS≦270°の場合には、さらに聴き取り易いとの結果が得られた。一
方、情報音(S)の位置が0°≦θS≦45°、315°≦θS≦360°の場合に聴き取
り難いとの結果が得られた。
図4(b)に示すように、第二象限に聴取音(P)を固定した場合(θ=135°)に
は、情報音(S)の位置が0°≦θS<135°、225°<θS≦360°の場合に聴き
取り易いとの結果が得られた。特に0°≦θS≦90°、270°≦θS≦360°の場合
には、さらに聴き取り易いとの結果が得られた。一方、情報音(S)の位置が135°≦
θS≦225°の場合に聴き取り難いとの結果が得られた。
図4(c)に示すように、第三象限に聴取音(P)を固定した場合(θ=225°)に
は、情報音(S)の位置が0°≦θS<135°、225°<θS≦360°の場合に聴き
取り易いとの結果が得られた。特に0°≦θS≦90°、270°≦θS≦360°の場合
には、さらに聴き取り易いとの結果が得られた。一方、情報音(S)の位置が135°≦
θS≦225°の場合に聴き取り難いとの結果が得られた。
図4(d)に示すように、第一象限に聴取音(P)を固定した場合(θ=315°)に
は、情報音(S)の位置が45°<θS<315°の場合に聴き取り易いとの結果が得られ
た。特に90°≦θS≦270°の場合には、さらに聴き取り易いとの結果が得られた。
一方、情報音(S)の位置が0°≦θS≦45°、315°≦θS≦360°の場合に聴き
取り難いとの結果が得られた。
以上により、聴取音(P)と情報音(S)の相対位置関係において、聴取音(P)の位置
からX軸に下ろした垂線とX軸との交点(Q)を基準として、X軸に下ろした垂線とX軸との
交点が交点(Q)よりも聴取者側の範囲に含まれる位置に存在する情報音(S)が聴き取り
易いことがわかる。一方、X軸に下ろした垂線とX軸との交点が交点(Q)よりも聴取者と
は反対側の範囲に含まれる位置に存在する情報音(S)が聴き取り難いことがわかる。な
お、聴取音(P)と情報音(S)の位置関係を逆にした場合にも同様のことが言える。
したがって、好ましくは、情報音(S)の位置からX軸に下ろした垂線とX軸との交点(Q
´)を基準として、X軸に下ろした垂線とX軸との交点が交点(Q´)よりも聴取者側の範
囲に含まれる位置となる方向のいずれかの方向を定位方向とする。さらに好ましくは、情
報音(S)の位置が第一象限または第四象限に存在する場合(聴取者に対して右手方向)
には、90°≦θS≦270°に含まれるいずれかの方向(聴取者に対して左手方向)を
定位方向とする。また、情報音(S)の位置が第二象限または第三象限に存在する場合(
聴取者に対して左手方向)には、0°≦θS≦90°、270°≦θS≦360°に含まれ
るいずれかの方向(聴取者に対して右手方向)を定位方向とする。補正部30は、この定
位方向に対応する音響伝達特性を選択することが好ましい。
本実施形態に係る音響制御装置100によれば、情報音が入ってきたタイミングで、情
報音に重ならない方向に聴取音の音像をずらすことで、聴取者がイヤホンを装着して聴取
音を聴取する場合であっても、聴取音を聴取しつつ情報音を聴取することが容易になる。
(第1の変形例)
第1の変形例の音響制御装置200では、検出部20の動作が音響制御装置100とは
異なる。なお、音響制御装置100と同一の構成については説明を省略する。
本変形例に係る検出部20は情報音の方向を検出する。ここでの方向とは、聴取者に対
してどの方向から情報音が聴こえてきたかを表している。検出部20は、例えば、音響制
御装置100またはイヤホンが図示しないマイクロフォンを備え、このマイクロフォンが
検出する音に基づいて情報音の方向を検出することができる。
例えば、検出部20は、騒音分野、音源探索分野で知られている音響インテンシティ法
を用いて情報音の方向を検出する。音響インテンシティとは、「単位面積を単位時間あた
り通過する音のエネルギーの流れ」で単位は W/m2 となる。例えばイヤホンに複数のマイ
クロフォンを組み込むことで音のエネルギーの流れを測定し、音の強さとともに流れの方
向をベクトル量として計測することができる。検出部20は、2本のマイクロフォンの間
を通過する時間差を利用して、情報音の方向を検出する。具体的には、音響
このとき、2本のマイクロフォンの音圧波形をP1(t)、P2(t)とすると、音響インテンシ
ティIは、平均音圧P(t)と粒子速度V(t)の積の時間平均として、次式により算出される。

ここで、ρは空気密度、Δrはマイク間距離を表している。測定周波数範囲はこのマイ
ク間隔Δrに依存し、音の波長λとの関係から、一般にはΔrが小さいほど、高域まで推
定できる。例えば、Δrが50mmのときは、上限周波数が1.25kHzであるが、Δ12mmにすると
、6.3kHzまで範囲が拡大する。Δrは好ましくはλ/2以上、さらに好ましくはλ/3程
度とする。すなわち、音声帯域ならば340Hzから含まれることからΔrは33cmから50cm程
度あることが好ましい。
補正部30は、検出部20が検出した情報音の方向に応じて音響伝達特性を選択する。
補正部30は、情報音(S)の位置からX軸に下ろした垂線とX軸との交点(Q´)を基準と
して、X軸に下ろした垂線とX軸との交点が交点(Q´)よりも聴取者側の範囲に含まれる
位置となる方向のいずれかの方向に対応する音響伝達特性を選択する。さらに好ましくは
、情報音(S)の位置が第一象限または第四象限に存在する場合(聴取者に対して右手方
向)には、90°≦θS≦270°に含まれるいずれかの方向(聴取者に対して左手方向
)に対応する音響伝達特性を選択する。また、情報音(S)の位置が第二象限または第三
象限に存在する場合(聴取者に対して左手方向)には、0°≦θS≦90°、270°≦
θS≦360°に含まれるいずれかの方向(聴取者に対して右手方向)に対応する音響伝
達特性を選択する。
本変形例に係る音響制御装置200によれば、情報音が入ってきたタイミングで、情報
音の方向から離れるように聴取音の音像をずらすことで、聴取者がイヤホンを装着して聴
取音を聴取する場合であっても、聴取音を聴取しつつ情報音を聴取することが容易になる
(第2の変形例)
第2の変形例の音響制御装置300では、検出部20の動作が音響制御装置100とは
異なる。なお、音響制御装置100と同一の構成については説明を省略する。
例えばバイノーラル録音用のイヤホンが備えるマイクロフォンが検出した音に情報音(
定位音)が含まれるかどうかを検出するためにIACFを用いることができる。本変形例に係
る検出部20は、例えばマイクロフォンが検出した音に基づいてIACF分析を行うことで、
情報音を検出するとともに情報音の到来方向を検出する。
IACFは両耳に伝わる音圧波形がどの程度一致しているかを示すもので、次式で与えられ
る。ここで、P(t)は時刻tにおける左耳に入る音圧を表し、P(t)は時刻tに
おける左耳に入る音圧を表す。t1及びt2は、測定時間を表し、t1=0、t2=∞で
ある。実際の計算では、t2は、残響時間程度の測定時間に設定すればよく、例えば10
0ミリ秒(msec)に設定される。τは相関時間を表し、相関時間τの範囲は例えばマ
イナス1ミリ秒から1ミリ秒とされる。従って、両耳間相互相関関数を算出する信号上の
時間間隔ΔTは、測定時間以上に設定する必要がある。本実施形態では、時間間隔ΔTは
0.1秒である。

本実施形態においては、例えば45°単位で情報音の到来方向を特定することを考える
。この場合、前後方向の区別は困難とされるため、ユーザに提示する音像方向としては、
正面(真後ろを含む)、左斜め(左斜め前及び左斜め後ろを含む)、左横、右斜め(右斜
め前及び右斜め後ろを含む)、右横の5つの方向が候補となる。本実施形態では、これら
5つの方向に対応して、下記数式(2)〜(6)に示す5つの時間範囲を設定する。数式
(2)に示される時間範囲は、正面(0°又は180°)に対応し、数式(3)に示され
る時間範囲は、左斜め(45°又は135度)に対応し、数式(4)に示される時間範囲
は、左横(90°)に対応し、数式(5)に示される時間範囲は、右斜め(225°又は
315°)に対応し、数式(6)に示される時間範囲は、右横(270°)に対応する。
ピーク時間τは、両耳間の時間差に相当し、入射角の違いで変化する。このため、方向別
の時間範囲は不均一となる。さらに、人は真正面又は真後ろから到来したかどうかの判断
に関しては敏感であり、それ以外の方向からの音に関しては音像方向が斜めと判断する傾
向があるため、斜め方向については、数式(3)及び数式(5)に示すように、広い範囲
が設定される。
−0.08msec<τ(i)<0.08msec (7)
0.08msec≦τ(i)<0.6msec (8)
0.6msec≦τ(i)<1msec (9)
−0.6msec<τ(i) ≦−0.08msec (10)
−1msec<τ(i) ≦−0.6msec (11)
イヤホンが備えるマイクロフォンが検出した音に基づいてΔT毎に計算されたIACFの最
大ピークの発生時刻(ピーク時間)をτ(i)、強度をγ(i)とする(i=1〜N)。
このとき、例えば1秒の間に計算されたN個の最大ピークのうち所定数以上の最大ピーク
が全て予め定められる複数の(本実施形態では5つの)時間範囲のうちの1つの特定の時
間範囲に含まれる場合に、この時間範囲に対応する方向から情報音が到来してきたものと
考えられる。
図5は聴取者に対して左斜め後ろ(135°)方向にあるTVから到来する音声に基づい
てIACF分析した結果を示している。なお、サンプリングは44.1kHzとし、10秒間の間に0.1
秒間隔で100点の最大ピークを計算した。この結果、最大ピークは点線で示した0.4sec(
135°に対応)を含む時間範囲に含まれることがわかる。すなわち、この結果からおお
よそ135°の方向から音声(情報音)が到来していることがわかる。
本変形例に係る検出部20は、イヤホンが備えるマイクロフォンが検出した音に基づい
て、数式(1)に従ってΔT毎にIACFを計算する。所定の計算時間の間に計算したN個の
最大ピークのうち所定数以上の最大ピークが全て予め定められる複数の(本実施形態では
5つの)時間範囲のうちの1つの特定の時間範囲に含まれる場合、イヤホンが備えるマイ
クロフォンが検出した音に情報音が含まれていることを特定する。このとき、検出部20
は、例えば時間範囲の代表時刻を事前に設定しておくことで、この代表時刻に対応する方
向を到来方向として特定する。
本変形例に係る音響制御装置300によれば、例えば音圧レベルを用いて情報音を検出
する場合等と比較して、到来方向まで含めて評価ができるIACFを用いることでより精度よ
く情報音を検出することが可能となる。
(第2の実施形態)
図6は第2の実施形態の音響制御装置400を示すブロック図である。なお、音響制御
装置100と同一の構成については説明を省略する。
音響制御装置500は、畳み込み演算により情報音の到来方向に情報音を定位し、聴取
音と情報音を重ね合わせる重畳部60をさらに備える点で音響制御装置100とは異なる
重畳部60は、記憶部50に格納されている複数の音響伝達特性の中から情報音の方向
に対応する1つの音響伝達特性(第2の音響伝達特性)を選択し、選択した音響伝達特性
を情報音に対して畳み込み演算することで左のイヤホン用の音響信号P´L及び右のイヤ
ホン用の音響信号P´Rを生成する。ここで、重畳部60が用いる音響伝達特性(第2の
音響伝達特性)は、補正部30が用いる音響伝達特性(第1の音響伝達特性)とは異なる
。重畳部60は、生成した各音響信号(第3の音響信号)と補正部30により生成された
各音響信号(第2の音響信号)を重ね合せた音響信号(第4の音響信号)を出力部40に
対して供給する。
例えば、重畳部60は、到来方向θ=90°の情報音を定位させるときは、左のイヤホ
ン用の音響信号P´及び右のイヤホン用の音響信号P´を次式により生成する。ここ
で、HL,90は左耳までの音響伝達特性、HR,90は右耳までの音響伝達特性、S´は情報
音の音響信号を表している。
P´=HL,90×S´ (12)
P´=HR,90×S´ (13)
重畳部60は、各音響信号(第3の音響信号)と各音響信号(第2の音響信号)を重ね
合せることで、次式に従って左イヤホン用の音響信号PLout及び右イヤホン用の音響信号
Rout(第4の音響信号)生成する。
Lout=P+P´ (14)
Rout=PR+P´R (15)
なお、補正部30が生成する各音響信号(第2の音響信号)の音像方向と、重畳部60
が生成する各音響信号(第3の音響信号)の音像方向とは異なる。
図7は第2の実施形態に係る音響制御方法を示すフローチャートである。なお、S20
1乃至S205は、図2におけるS101乃至S105と同様のため説明を省略する。
S206では、重畳部60が記憶部50から音響伝達特性(第2関数)を取得する。
S207では、重畳部60が第2関数を情報音の音響信号(第3の音響信号)に対して
畳み込み演算することにより、第3の音響信号を第4の音響信号に補正する。
S208では、出力部40が第2の音響信号と第4の音響信号を重ね合せた音響信号(
第5の音響信号)をイヤホン(聴取者)に対して出力する。
以上のステップを例えば第1の音響信号の取得が終了するまでの間、または検出部20
が情報音を検出している間繰り返す。
(第3の変形例)
本変形例に係る音響制御装置500は、例えば無線等により音響信号(データ)として
の情報音を検出し、取得部10が取得するこの音響信号を用いて聴取音に対して情報音を
重ね合わせる。音響制御装置500は、情報音を含む聴取音を聴取者に提示する。これに
より、例えば聴取者が音響制御装置500により音楽を聴きながらデパート等でショッピ
ングをしている際など、音響制御装置500により再生された各店舗からのガイド音を聴
取者に提示することができる。
本変形例に係る重畳部60は、補正部30が補正した音響信号に対して、検出部20が
検出した音響信号としての情報音を重ね合わせることで、情報音を含む聴取音を得る。こ
のとき、情報音の定位方向としては、例えば聴取者と情報音の発信元である各店舗との相
対的な位置関係に基づいて決定することができる。
重畳部60は、例えば音響制御装置500が有するGPS機能等により音響制御装置50
0の位置と、情報音を発信する店舗の位置を特定する。重畳部60は、音響制御装置50
0と店舗の相対的な位置関係を保つように、すなわち音響制御装置500の位置を基準と
して店舗が位置する方向に情報音が定位するように情報音に対して音響伝達特性を畳み込
む。なお、重畳部60が用いる音響伝達特性(第2の音響伝達特性)は、補正部30が用
いる音響伝達特性(第1の音響伝達特性)とは異なる。
本変形例に係る音響制御装置500によれば、イヤホンを装着して音楽を聴取している
ような聴取者に対して、音楽の聴取を妨げない範囲で例えば店舗等からの有用な情報を効
果的に提示することができる。
図8に各実施形態に係る音響制御装置を備えた電子機器1000を示す概略図を示す。
図8に示す電子機器1000はタブレット端末である。
電子機器1000は、第1の実施形態に係る音響制御装置100と、タッチパネル等の
ディスプレイ70、イヤホンジャック80、マイクロフォン90を備えている。音響制御
装置100の検出部20は図示しない通信ケーブルによりマイクロフォン90と接続して
いる。検出部20はマイクロフォン90が集音する音に基づいて情報音を検出する。また
、音響制御装置100の出力部40は図示しない通信ケーブルによりイヤホンジャック8
0と接続している。図示しないイヤホンがイヤホンジャック80に接続された状態で、出
力部40はイヤホンジャック70を介して第2の音響信号をイヤホンに出力する。
なお、電子機器1000は音響制御装置100の代わりに他の実施形態または変形例に
係る音響制御装置200、300、400、500のいずれか1つを備えるものであって
もよい。また、電子機器1000がマイクロフォン90を備える代わりに、電子機器10
00のイヤホンジャック80に接続されるイヤホンがマイクロフォン90を備えるもので
あってもよい。このとき、音響制御装置100はイヤホンジャック80を介してマイクロ
フォン90が集音した音の音響信号を受け取ることで、この音響信号に基づいて情報音を
検出する。
以上説明した少なくとも1つの実施形態の音響制御装置または方法によれば、イヤホン
を装着して聴取音を聴取する場合に、聴取音を聴取しつつ情報音を聴取することが容易に
なる。
これら実施形態は、例として提示したものであり、発明の範囲を限定することは意図し
ていない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明
の要旨を逸脱しない範囲で、様々の省略、置き換え、変更を行うことができる。これら実
施形態やその変形は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載され
た発明とその均等の範囲に含まれるものである。
100、200、300、400、500・・・音響制御装置
1000・・・電子機器
10・・・取得部
20・・・検出部
30・・・補正部
40・・・出力部
50・・・記憶部
60・・・重畳部
70・・・ディスプレイ
80・・・イヤホンジャック
90・・・マイクロフォン

Claims (6)

  1. 第1の音響信号を取得する取得部と、
    情報音を検出する検出部と、
    前記検出部が前記情報音を検出した場合に、聴取位置に対して第1の方向に位置する仮
    想位置から前記聴取位置までの音響伝達特性を示す第1の関数に基づいて前記第1の音響
    信号に対して畳み込み演算を行うことにより、前記第1の音響信号を第2の音響信号に補
    正する補正部と、
    前記第2の信号を出力する出力部と、
    を備える音響制御装置。
  2. 前記検出部は前記情報音の到来方向を検出し、
    前記第1の方向は前記到来方向を除いた方向である、請求項1に記載の音響制御装置。
  3. 前記検出部は両耳間相互相関関数に基づいて前記到来方向を検出する、請求項2に記載
    の音響制御装置。
  4. 前記取得部は前記情報音の第3の音響信号を取得し、
    前記第1の関数とは異なる第2の関数に基づいて前記第3の音響信号に対して畳み込み
    演算を行うことにより、前記第3の音響信号を第4の音響信号に補正し、
    前記出力部は前記第2の音響信号と前記第4の音響信号を重ね合わせた第5の音響信号
    を出力する、請求項1に記載の音響制御装置。
  5. 請求項1乃至4いずれか1項に記載の音響制御装置を備えた電子機器。
  6. 聴取音の第1の音響信号を取得し、
    情報音を検出し、
    前記検出部が前記情報音を検出した場合に、聴取者に対して第1の方向に位置する仮想
    位置から前記聴取者までの音響伝達特性を示す第1の関数に基づいて前記第1の音響信号
    に対して畳み込み演算を行うことにより、前記第1の音響信号を第2の音響信号に補正し

    前記第2音響信号を出力する、音響制御方法。
JP2014074492A 2014-03-31 2014-03-31 音響制御装置、電子機器及び音響制御方法 Active JP6377935B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014074492A JP6377935B2 (ja) 2014-03-31 2014-03-31 音響制御装置、電子機器及び音響制御方法
EP15156925.8A EP2928217A1 (en) 2014-03-31 2015-02-27 An acoustic control apparatus, and electronic device, and an acoustic control method
US14/658,510 US9628931B2 (en) 2014-03-31 2015-03-16 Apparatus and method for locating an acoustic signal along a direction not overlapped with an arriving direction of an information sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014074492A JP6377935B2 (ja) 2014-03-31 2014-03-31 音響制御装置、電子機器及び音響制御方法

Publications (2)

Publication Number Publication Date
JP2015198297A true JP2015198297A (ja) 2015-11-09
JP6377935B2 JP6377935B2 (ja) 2018-08-22

Family

ID=52598611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014074492A Active JP6377935B2 (ja) 2014-03-31 2014-03-31 音響制御装置、電子機器及び音響制御方法

Country Status (3)

Country Link
US (1) US9628931B2 (ja)
EP (1) EP2928217A1 (ja)
JP (1) JP6377935B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163572A1 (ja) * 2016-03-24 2017-09-28 株式会社Jvcケンウッド 再生装置、及び再生方法
WO2018079850A1 (ja) * 2016-10-31 2018-05-03 ヤマハ株式会社 信号処理装置、信号処理方法およびプログラム
WO2019230567A1 (ja) * 2018-05-30 2019-12-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および音発生方法
US10638249B2 (en) 2018-09-10 2020-04-28 Kabushiki Kaisha Toshiba Reproducing apparatus
WO2021140929A1 (ja) * 2020-01-07 2021-07-15 ソニーグループ株式会社 信号処理装置および方法、音響再生装置、並びにプログラム
WO2021261385A1 (ja) * 2020-06-22 2021-12-30 公立大学法人秋田県立大学 音響再生装置、ノイズキャンセリングヘッドフォン装置、音響再生方法、音響処理プログラム
WO2022038932A1 (ja) * 2020-08-20 2022-02-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音響再生方法、コンピュータプログラム及び音響再生装置
WO2023058162A1 (ja) * 2021-10-06 2023-04-13 マクセル株式会社 音声拡張現実オブジェクト再生装置及び音声拡張現実オブジェクト再生方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017207581A1 (de) * 2017-05-05 2018-11-08 Sivantos Pte. Ltd. Hörsystem sowie Hörvorrichtung
GB201800920D0 (en) * 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05268693A (ja) * 1992-03-17 1993-10-15 Matsushita Electric Ind Co Ltd 音場再生方法
JPH09247800A (ja) * 1996-03-12 1997-09-19 Matsushita Electric Ind Co Ltd 左右音像方向抽出方法
JP2000324590A (ja) * 1999-05-13 2000-11-24 Mitsubishi Electric Corp 音響再生装置
JP2004201194A (ja) * 2002-12-20 2004-07-15 Pioneer Electronic Corp ヘッドホン装置
JP2004201195A (ja) * 2002-12-20 2004-07-15 Pioneer Electronic Corp ヘッドホン装置
JP2005269231A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd 携帯端末
JP2006074572A (ja) * 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd 情報端末
JP2006177814A (ja) * 2004-12-22 2006-07-06 Pioneer Electronic Corp 情報提供装置
JP2008160397A (ja) * 2006-12-22 2008-07-10 Yamaha Corp 音声通話装置および音声通話システム
US20110096939A1 (en) * 2009-10-28 2011-04-28 Sony Corporation Reproducing device, headphone and reproducing method
US20120328108A1 (en) * 2011-06-24 2012-12-27 Kabushiki Kaisha Toshiba Acoustic control apparatus
WO2013156818A1 (en) * 2012-04-19 2013-10-24 Nokia Corporation An audio scene apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012630B2 (en) * 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
JP2981179B2 (ja) 1996-11-07 1999-11-22 茨城県 携帯形の情報伝達装置
JP4375879B2 (ja) 2000-05-11 2009-12-02 財団法人くまもとテクノ産業財団 視覚障害者用歩行支援システムおよび情報記録媒体
JP2003264899A (ja) 2002-03-11 2003-09-19 Matsushita Electric Ind Co Ltd 情報提示装置および情報提示方法
JP2005037181A (ja) 2003-07-17 2005-02-10 Pioneer Electronic Corp ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
WO2007046435A1 (ja) * 2005-10-21 2007-04-26 Matsushita Electric Industrial Co., Ltd. 騒音制御装置
JP2008193382A (ja) 2007-02-05 2008-08-21 Mitsubishi Electric Corp 携帯電話機、及び音声調整方法
JP2009188450A (ja) 2008-02-01 2009-08-20 Yamaha Corp ヘッドホンモニタ装置
JP6065370B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9426589B2 (en) * 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05268693A (ja) * 1992-03-17 1993-10-15 Matsushita Electric Ind Co Ltd 音場再生方法
JPH09247800A (ja) * 1996-03-12 1997-09-19 Matsushita Electric Ind Co Ltd 左右音像方向抽出方法
JP2000324590A (ja) * 1999-05-13 2000-11-24 Mitsubishi Electric Corp 音響再生装置
JP2004201194A (ja) * 2002-12-20 2004-07-15 Pioneer Electronic Corp ヘッドホン装置
JP2004201195A (ja) * 2002-12-20 2004-07-15 Pioneer Electronic Corp ヘッドホン装置
JP2005269231A (ja) * 2004-03-18 2005-09-29 Hitachi Ltd 携帯端末
JP2006074572A (ja) * 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd 情報端末
JP2006177814A (ja) * 2004-12-22 2006-07-06 Pioneer Electronic Corp 情報提供装置
JP2008160397A (ja) * 2006-12-22 2008-07-10 Yamaha Corp 音声通話装置および音声通話システム
US20110096939A1 (en) * 2009-10-28 2011-04-28 Sony Corporation Reproducing device, headphone and reproducing method
JP2011097268A (ja) * 2009-10-28 2011-05-12 Sony Corp 再生装置、ヘッドホン及び再生方法
US20120328108A1 (en) * 2011-06-24 2012-12-27 Kabushiki Kaisha Toshiba Acoustic control apparatus
JP2013031145A (ja) * 2011-06-24 2013-02-07 Toshiba Corp 音響制御装置
WO2013156818A1 (en) * 2012-04-19 2013-10-24 Nokia Corporation An audio scene apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163572A1 (ja) * 2016-03-24 2017-09-28 株式会社Jvcケンウッド 再生装置、及び再生方法
WO2018079850A1 (ja) * 2016-10-31 2018-05-03 ヤマハ株式会社 信号処理装置、信号処理方法およびプログラム
JPWO2018079850A1 (ja) * 2016-10-31 2019-09-19 ヤマハ株式会社 信号処理装置、信号処理方法およびプログラム
WO2019230567A1 (ja) * 2018-05-30 2019-12-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および音発生方法
JP2019208185A (ja) * 2018-05-30 2019-12-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および音発生方法
US11337025B2 (en) 2018-05-30 2022-05-17 Sony Ineractive Entertainment Inc. Information processing apparatus and sound generation method
US10638249B2 (en) 2018-09-10 2020-04-28 Kabushiki Kaisha Toshiba Reproducing apparatus
WO2021140929A1 (ja) * 2020-01-07 2021-07-15 ソニーグループ株式会社 信号処理装置および方法、音響再生装置、並びにプログラム
WO2021261385A1 (ja) * 2020-06-22 2021-12-30 公立大学法人秋田県立大学 音響再生装置、ノイズキャンセリングヘッドフォン装置、音響再生方法、音響処理プログラム
WO2022038932A1 (ja) * 2020-08-20 2022-02-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音響再生方法、コンピュータプログラム及び音響再生装置
WO2023058162A1 (ja) * 2021-10-06 2023-04-13 マクセル株式会社 音声拡張現実オブジェクト再生装置及び音声拡張現実オブジェクト再生方法

Also Published As

Publication number Publication date
US9628931B2 (en) 2017-04-18
JP6377935B2 (ja) 2018-08-22
US20150281867A1 (en) 2015-10-01
EP2928217A1 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
JP6377935B2 (ja) 音響制御装置、電子機器及び音響制御方法
EP3103269B1 (en) Audio signal processing device and method for reproducing a binaural signal
JP6824155B2 (ja) 音声再生システム及び方法
US11140502B2 (en) Filter selection for delivering spatial audio
US9392367B2 (en) Sound reproduction apparatus and sound reproduction method
JP2017521902A (ja) 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード
JP6143571B2 (ja) 音像定位装置
EP2508010A1 (en) An apparatus
JP2009543479A (ja) バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム
US10412530B2 (en) Out-of-head localization processing apparatus and filter selection method
US11395086B2 (en) Listening optimization for cross-talk cancelled audio
EP3410746B1 (en) Audio image localization processing device and audio image localization processing method
JP2005057545A (ja) 音場制御装置及び音響システム
JP5151941B2 (ja) 音響装置
JP2015162837A (ja) 音補正出力システム及び音補正出力装置
KR20120071462A (ko) 3차원 사운드 재생 장치, 3차원 사운드 재생 방법, 음원 제공 장치 및 음원 제공 방법
JP2008070372A (ja) 物体追跡装置
JP6988321B2 (ja) 信号処理装置、信号処理方法、及びプログラム
JP2013066224A (ja) 音響装置
US20230199425A1 (en) Audio signal output method, audio signal output device, and audio system
KR20100034162A (ko) 음상 정위 방법 및 전달 함수 생성 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160907

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20170220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180726

R151 Written notification of patent or utility model registration

Ref document number: 6377935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350