JP2019061108A - 信号処理装置、信号処理方法、及びプログラム - Google Patents

信号処理装置、信号処理方法、及びプログラム Download PDF

Info

Publication number
JP2019061108A
JP2019061108A JP2017186163A JP2017186163A JP2019061108A JP 2019061108 A JP2019061108 A JP 2019061108A JP 2017186163 A JP2017186163 A JP 2017186163A JP 2017186163 A JP2017186163 A JP 2017186163A JP 2019061108 A JP2019061108 A JP 2019061108A
Authority
JP
Japan
Prior art keywords
signal
sound
sound source
phase difference
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017186163A
Other languages
English (en)
Other versions
JP6988321B2 (ja
JP2019061108A5 (ja
Inventor
敬洋 下条
Takahiro Shimojo
敬洋 下条
村田 寿子
Toshiko Murata
寿子 村田
優美 藤井
Yumi Fujii
優美 藤井
正也 小西
Masaya Konishi
正也 小西
邦明 高地
Kuniaki Kochi
邦明 高地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017186163A priority Critical patent/JP6988321B2/ja
Priority to PCT/JP2018/034550 priority patent/WO2019065384A1/ja
Publication of JP2019061108A publication Critical patent/JP2019061108A/ja
Priority to US16/816,852 priority patent/US11039251B2/en
Publication of JP2019061108A5 publication Critical patent/JP2019061108A5/ja
Application granted granted Critical
Publication of JP6988321B2 publication Critical patent/JP6988321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

【課題】収音信号を適切に取得したか否かを判定することができる信号処理装置、信号処理方法、及びプログラムを提供することを目的とする。【解決手段】本実施の形態にかかる信号処理装置201は、音源から出力される測定信号を生成する測定信号生成部211と、複数のマイク2L、2Rで収音された収音信号を取得する収音信号取得部212と、音源の水平方向角度に関する音源情報を取得する音源情報取得部230と、音源情報に基づいて設定された通過帯域を有し、収音信号を入力としてフィルタ通過信号を出力するフィルタ221、222と、フィルタ通過信号に基づいて、2つの収音信号間の位相差を検出する位相差検出部223と、位相差を音源情報に基づいて設定された有効範囲と比較することで、収音信号の測定結果を判定する判定部225と、を備えている。【選択図】図3

Description

本発明は、信号処理装置、信号処理方法、及びプログラムに関する。
特許文献1には、頭部伝達関数(HRTF:Head Related Transfer Function)を測定する制御装置、及び測定システムが開示されている。特許文献1の測定システムでは、ユーザの両耳にマイクロホン(以下、単にマイクとする)を装着して、スピーカからの測定信号を収音している。さらに、特許文献1では、2台のカメラが、ユーザに対するスピーカの位置を検出している。そして、カメラの撮像結果から、ユーザの頭部のブレ量が検出されている。ブレ量が大きい場合、エラーを伝えるブザー信号が出力される。
さらに、カメラのステレオ画像から、ユーザの頭部とスピーカとの距離が算出されている。そして、算出された距離に応じて、HRTFの音量が補正されている。また、特許文献1には、スピーカ、カメラ、メモリを備えるスマートホンを用いて測定を行う点について記載されている。
特表2008−512015号公報
Kuhn, G. F., "Physical Acoustics and Measurements Pertaining to Directional Hearing", in Yost, W. A. and Gourevitch, G. (eds), Directional Hearing, Springer-Verlag, pp. 3-25, 1987.
頭部や耳介の形状は人によって異なるため、HRTF(空間音響伝達特性ともいう)も人によって特性が異なる。受聴者本人のHRTFを用いることでより精度が高い音像定位が可能である。近年のスマートホン等による記憶装置の大容量化・小型化や、高速演算が可能な演算装置の普及により、受聴者本人のHRTFを受聴者本人の自宅等で測定することも可能となっている。
しかしながら、いくつかの原因により測定が適切に行われないことがある。例えば、マイクの装着位置が適切でない場合、外乱が多く、S/N比が低い場合、あるいは受聴環境が測定に不向きな場合など、がある。
測定が適切に行われたか否かを判断するには、専門的な知識が必要とされるため、一般のユーザが判断することは困難である。また、専門的な知識を有する専門家であっても、取得された収音信号を精査するには、信号波形を解析したりするなど手間がかかる場合がある。
本発明は上記の点に鑑みなされたもので、収音信号が適切に取得されたか否かを判定することができる信号処理装置、信号処理方法、及びプログラムを提供することを目的とする。
本実施形態にかかる信号処理装置は、音源から出力される音をユーザに装着された複数のマイクにより収音することで得られた収音信号を処理する信号処理装置であって、前記音源から出力される測定信号を生成する測定信号生成部と、前記複数のマイクで収音された収音信号を取得する収音信号取得部と、前記音源の水平方向角度に関する音源情報を取得する音源情報取得部と、前記音源情報に基づいて設定された通過帯域を有し、前記収音信号を入力としてフィルタ通過信号を出力するフィルタと、前記フィルタ通過信号に基づいて、2つの収音信号間の位相差を検出する位相差検出部と、前記位相差を前記音源情報に基づいて設定された有効範囲と比較することで、前記収音信号の測定結果を判定する判定部と、を備えたものである。
本実施形態にかかる信号処理方法は、音源から出力される音をユーザに装着された複数のマイクにより収音することで得られた収音信号を処理する信号処理方法であって、前記音源から出力される測定信号を生成するステップと、前記複数のマイクで収音された収音信号を取得するステップと、前記音源の水平方向角度に関する音源情報を取得するステップと、前記音源情報に基づいて設定された通過帯域を有するフィルタに対して、前記収音信号を入力するステップと、前記フィルタを通過したフィルタ通過信号に基づいて、2つの収音信号間の位相差を検出するステップと、前記位相差を前記音源情報に基づいて設定された有効範囲と比較することで、前記収音信号の測定結果を判定するステップと、を備えたものである。
本実施形態にかかるプログラムは、音源から出力される音をユーザに装着された複数のマイクにより収音することで得られた収音信号を処理する信号処理方法を、コンピュータに実行させるプログラムであって、前記信号処理方法は、前記音源から出力される測定信号を生成するステップと、前記複数のマイクで収音された収音信号を取得するステップと、前記音源の水平方向角度に関する音源情報を取得するステップと、前記音源情報に基づいて設定された通過帯域を有するフィルタに対して、前記収音信号を入力するステップと、前記フィルタを通過したフィルタ通過信号に基づいて、2つの収音信号間の位相差を検出するステップと、前記位相差を前記音源情報に基づいて設定された有効範囲と比較することで、前記収音信号の測定結果を判定するステップと、を備えたものである。
本発明によれば、収音信号が適切に取得されたか否かを判定することができる信号処理装置、信号処理方法、及びプログラムを提供することができる。
本実施の形態に係る頭外定位処理装置を示すブロック図である。 フィルタ生成装置を示す図である。 実施の形態1にかかる信号処理装置の構成を示す制御ブロック図である。 水平方向角度に応じたフィルタの通過帯域を示す図である。 信号処理方法における位相差を算出する処理を示すフローチャートである。 信号処理方法におけるゲイン差を算出する処理を示すフローチャートである。 水平方向角度とゲイン差パラメータの判定エリアを示す図である。 角度範囲に応じた有効範囲を示す図である。 位相差に基づく判定フローを示す図である。 ゲイン差に基づく判定フローを示す図である。 実施の形態2にかかる信号処理装置の構成を示す制御ブロック図である。
本実施の形態にかかる信号処理装置で生成したフィルタを用いた音像定位処理の概要について説明する。本実施形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、外耳道入口から鼓膜までの伝達特性である。本実施形態では、ヘッドホン又はイヤホンを装着していない状態での空間音響伝達特性を測定し、かつ、ヘッドホン又はイヤホンを装着した状態での外耳道伝達特性を測定し、それらの測定データを用いて頭外定位処理を実現している。
本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ、スマートホン、タブレットPCなどのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段(出力ユニット)が接続される。
実施の形態1.
(頭外定位処理装置)
本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を図1に示す。図1は、頭外定位処理装置100のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がパソコンなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
頭外定位処理装置100は、頭外定位処理部10、フィルタ部41、フィルタ部42、及びヘッドホン43を備えている。頭外定位処理部10、フィルタ部41、及びフィルタ部42は、具体的にはプロセッサ等により実現可能である。
頭外定位処理部10は、畳み込み演算部11〜12、21〜22、及び加算器24、25を備えている。畳み込み演算部11〜12、21〜22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。
4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出すことで、空間音響フィルタが生成される。
空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、ユーザUが左右の耳にマイクをそれぞれ装着する。ユーザUの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Hls、Hlo、Hro、Hrsが取得される。左スピーカと左マイクとの間の空間音響伝達特性Hls、左スピーカと右マイクとの間の空間音響伝達特性Hlo、右スピーカと左マイクとの間の空間音響伝達特性Hro、右スピーカと右マイクとの間の空間音響伝達特性Hrsが測定される。
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、フィルタ部41に出力する。
畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、フィルタ部42に出力する。
フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタが設定されている。そして、頭外定位処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタを畳み込む。フィルタ部41で加算器24からのLch信号に対して、逆フィルタを畳み込む。同様に、フィルタ部42は加算器25からのRch信号に対して逆フィルタを畳み込む。逆フィルタは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。逆フィルタは、後述するように、ユーザU本人の特性の測定結果から算出されている。
フィルタ部41は、処理されたLch信号をヘッドホン43の左ユニット43Lに出力する。フィルタ部42は、処理されたRch信号をヘッドホン43の右ユニット43Rに出力する。ユーザUは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号とRch信号をユーザUに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。
(フィルタ生成装置)
図2を用いて、空間音響伝達特性(以下、伝達特性とする)を測定して、フィルタを生成するフィルタ生成装置について説明する。図2は、フィルタ生成装置200の構成を模式的に示す図である。なお、フィルタ生成装置200は、図1に示す頭外定位処理装置100と共通の装置であってもよい。あるいは、フィルタ生成装置200の一部又は全部が頭外定位処理装置100と異なる装置となっていてもよい。
図2に示すように、フィルタ生成装置200は、ステレオスピーカ5とステレオマイク2と信号処理装置201を有している。ステレオスピーカ5が測定環境に設置されている。測定環境は、ユーザUの自宅の部屋やオーディオシステムの販売店舗やショールーム等でもよい。測定環境では、床面や壁面によって音の反射が生じる。
本実施の形態では、フィルタ生成装置200の信号処理装置201が、伝達特性に応じたフィルタを適切に生成するための演算処理を行っている。信号処理装置201は、パーソナルコンピュータ(PC)、タブレット端末、スマートホン等であってもよい。
信号処理装置201は、測定信号を生成して、ステレオスピーカ5に出力する。なお、信号処理装置201は、伝達特性を測定するための測定信号として、インパルス信号やTSP(Time Stretched Pulse)信号等を発生する。測定信号はインパルス音等の測定音を含んでいる。また、信号処理装置201は、ステレオマイク2で収音された収音信号を取得する。信号処理装置201は、伝達特性の測定データをそれぞれ記憶するメモリなどを有している。
ステレオスピーカ5は、左スピーカ5Lと右スピーカ5Rを備えている。例えば、ユーザUの前方に左スピーカ5Lと右スピーカ5Rが設置されている。左スピーカ5Lと右スピーカ5Rは、インパルス応答測定を行うためのインパルス音等を出力する。以下、本実施の形態では、音源となるスピーカの数を2(ステレオスピーカ)として説明するが、測定に用いる音源の数は2に限らず、1以上であればよい。すなわち、1chのモノラル、または、5.1ch、7.1ch等の、いわゆるマルチチャンネル環境においても同様に、本実施の形態を適用することができる。1chの場合、1つのスピーカを左スピーカ5Lに配置して測定を行い、かつ、右スピーカ5Rの位置に移動して測定を行えばよい。
ステレオマイク2は、左のマイク2Lと右のマイク2Rを有している。左のマイク2Lは、ユーザUの左耳9Lに設置され、右のマイク2Rは、ユーザUの右耳9Rに設置されている。具体的には、左耳9L、右耳9Rの外耳道入口から鼓膜までの位置にマイク2L、2Rを設置することが好ましい。マイク2L、2Rは、ステレオスピーカ5から出力された測定信号を収音して、信号処理装置201に収音信号を出力する。ユーザUは、人でもよく、ダミーヘッドでもよい。すなわち、本実施形態において、ユーザUは人だけでなく、ダミーヘッドを含む概念である。
上記のように、左右のスピーカ5L、5Rから出力された測定信号をマイク2L、2Rで収音し、収音された収音信号に基づいてインパルス応答が得られる。フィルタ生成装置200は、インパルス応答測定に基づいて取得した収音信号をメモリなどに記憶する。これにより、左スピーカ5Lと左マイク2Lとの間の伝達特性Hls、左スピーカ5Lと右マイク2Rとの間の伝達特性Hlo、右スピーカ5Rと左マイク2Lとの間の伝達特性Hro、右スピーカ5Rと右マイク2Rとの間の伝達特性Hrsが測定される。すなわち、左スピーカ5Lから出力された測定信号を左マイク2Lが収音することで、伝達特性Hlsが取得される。左スピーカ5Lから出力された測定信号を右マイク2Rが収音することで、伝達特性Hloが取得される。右スピーカ5Rから出力された測定信号を左マイク2Lが収音することで、伝達特性Hroが取得される。右スピーカ5Rから出力された測定信号を右マイク2Rが収音することで、伝達特性Hrsが取得される。
そして、フィルタ生成装置200は、収音信号に基づいて、左右のスピーカ5L、5Rから左右のマイク2L、2Rまでの伝達特性Hls、Hlo、Hro、Hrsに応じたフィルタを生成する。すなわち、伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出すことで、空間音響フィルタを生成する。このようにすることで、フィルタ生成装置200は、頭外定位処理装置100の畳み込み演算に用いられるフィルタを生成する。図1で示したように、頭外定位処理装置100が、左右のスピーカ5L、5Rと左右のマイク2L、2Rとの間の伝達特性Hls、Hlo、Hro、Hrsに応じたフィルタを用いて頭外定位処理を行う。すなわち、伝達特性に応じたフィルタをオーディオ再生信号に畳み込むことにより、頭外定位処理を行う。
さらに、本実施の形態では、信号処理装置201において、収音信号が適切に取得されているか否かの判定を行っている。すなわち、信号処理装置201は、左右のマイク2L、2Rが取得した収音信号を適切であるか否かの判定を行っている。より具体的には、左マイク2Lが取得した収音信号(以下、Lchの収音信号とする)と右マイク2Rが取得した収音信号(以下、Rchの収音信号とする)の位相差に基づいて、信号処理装置201が判定を行っている。以下、信号処理装置201における判定処理の詳細について、図3を用いて説明する。
なお、フィルタ生成装置200は、左スピーカ5L、及び右スピーカ5Rのそれぞれに対して同様の測定を実施するため、ここでは、左スピーカ5Lを音源として用いた場合について説明する。すなわち、右スピーカ5Rを音源として用いた測定は、左スピーカ5Lを音源として用いた測定と同様に実施することができるため、図3では右スピーカ5Rを省略している。
信号処理装置201は、測定信号生成部211、収音信号取得部212、バンドパスフィルタ221、バンドパスフィルタ222、位相差検出部223、ゲイン差検出部224、判定部225、音源情報取得部230、及び、出力器250を備えている。
信号処理装置201は、パソコンやスマートホンなどの情報処理装置であり、メモリ、及びCPUを備えている。メモリは、処理プログラムや各種パラメータや測定データなどを記憶している。CPUは、メモリに格納された処理プログラムを実行する。CPUが処理プログラムを実行することで、測定信号生成部211、収音信号取得部212、バンドパスフィルタ221、バンドパスフィルタ222、位相差検出部223、ゲイン差検出部224、判定部225、音源情報取得部230、及び、出力器250における各処理が実施される。
測定信号生成部211は、音源から出力される測定信号を生成する。測定信号生成部211で生成された測定信号は、D/A変換器215でD/A変換されて、左スピーカ5Lに出力される。なお、D/A変換器215は、信号処理装置201又は左スピーカ5Lに内蔵されていてもよい。左スピーカ5Lが伝達特性を測定するための測定信号を出力する。測定信号は、インパルス信号やTSP(Time Stretched Pulse)信号等であってもよい。測定信号はインパルス音等の測定音を含んでいる。
ステレオマイク2の左マイク2L、右マイク2Rがそれぞれ測定信号を収音し、収音信号を信号処理装置201に出力する。収音信号取得部212は、左マイク2L、右マイク2Rで収音された収音信号を取得する。なお、マイク2L、2Rからの収音信号は、A/D変換器213L、213RでA/D変換されて、収音信号取得部212に入力される。収音信号取得部212は、複数回の測定により得られた信号を同期加算してもよい。ここでは、左スピーカ5Lから出力されたインパルス音が収音されているため、収音信号取得部212は、伝達特性Hlsに対応する収音信号と、伝達特性Hloに対応する収音信号を取得する。
収音信号取得部212はLchの収音信号をバンドパスフィルタ221に出力し、Rchの収音信号をバンドパスフィルタ222に出力する。バンドパスフィルタ221、222は、所定の通過帯域を有している。よって、通過帯域の信号成分がバンドパスフィルタ221、バンドパスフィルタ222を通過し、通過帯域以外の遮断帯域の信号成分は、バンドパスフィルタ221、バンドパスフィルタ222で遮断される。バンドパスフィルタ221とバンドパスフィルタ222は同じ特性を有するフィルタである。すなわち、Lchのバンドパスフィルタ221とRchのバンドパスフィルタ222の通過帯域は同様の周波数帯域となっている。
バンドパスフィルタ221、222を通過した信号をフィルタ通過信号とする。バンドパスフィルタ221は、Lchのフィルタ通過信号を位相差検出部223に出力する。バンドパスフィルタ222は、Rchのフィルタ通過信号を位相差検出部223に出力する。
音源情報取得部230は、音源の水平方向角度に関する音源情報を取得して、バンドパスフィルタ221、222に出力している。水平方向角度は、水平面内におけるユーザUに対するスピーカ5L、5Rの角度である。ユーザ又はその他の者がスマートホンのタッチパネルなどで方向を入力し、音源情報取得部230がその入力結果から水平方向角度を取得する。あるいは、ユーザ等が、キーボードやマウスなどにより、水平方向角度の数値を音源情報として直接入力してもよい。さらに、音源情報取得部230は、各種センサが検出した音源の水平方向角度を音源情報として取得してもよい。音源情報は、音源(スピーカ)の水平方向角度のみに限らず、鉛直方向角度(仰角)を含んでいてもよい。さらに、音源情報は、ユーザUから音源までの距離情報や、測定環境となる部屋の形状情報などを含んでいてもよい。
バンドパスフィルタ221、222の通過帯域は、音源情報に基づいて、設定されている。すなわち、バンドパスフィルタ221、222の通過帯域は、水平方向角度に応じて変化する。バンドパスフィルタ221、222は、音源情報に基づいて設定された通過帯域を有し、収音信号を入力としてフィルタ通過信号を出力する。バンドパスフィルタ221、バンドパスフィルタ222の通過帯域については後述する。
位相差検出部223には、バンドパスフィルタ221、バンドパスフィルタ222からのフィルタ通過信号が入力される。位相差検出部223は、フィルタ通過信号に基づいて、2つの収音信号間の位相差を検出する。また、収音信号取得部212は位相差検出部223に収音信号を出力している。位相差検出部223は、Lchの収音信号、Rchの収音信号、Lchのフィルタ通過信号、Rchのフィルタ通過信号に基づいて、左右の収音信号の位相差を検出している。位相差検出部223による位相差検出については、後述する。位相差検出部223は、検出した位相差を判定部225に出力する。
また、収音信号取得部212は、収音信号をゲイン差検出部224に出力する。ゲイン差検出部224は、LchとRchの収音信号に基づいて、左右の収音信号のゲイン差を検出する。ゲイン差検出部224によるゲイン差検出については後述する。ゲイン差検出部224は、検出したゲイン差を判定部225に出力する。
判定部225は、位相差、及びゲイン差に基づいて、収音信号が適切か否かを判定する。すなわち、判定部225、図2に示したフィルタ生成装置200による収音信号の測定が適切であるか否かを判定する。判定部225は、適切な測定の場合を良好判定とし、不適切な測定の場合を不良判定とする。測定結果が良好である場合、フィルタ生成装置200は、収音信号に基づいて、フィルタを生成する。測定結果が不良である場合、信号処理装置201は、再測定を行う。
また、判定部225には、音源情報取得部230からの音源情報が入力されている。音源情報は、上記の通り、音源であるスピーカ5Lの水平方向角度に関する情報である。判定部225は、音源情報に基づいて、ゲイン差の有効範囲、及び位相差の有効範囲を算出する。判定部225は、位相差、及びゲイン差をそれぞれ有効範囲と比較することで、判定を行う。判定部225は、音源情報に基づいて設定された有効範囲を位相差と比較することで、収音信号の測定結果を判定する。さらに、判定部225は、音源情報に基づいて設定された有効範囲をゲイン差と比較することで、収音信号の測定結果を判定する。例えば、これらの有効範囲は、2つのしきい値、すなわち、上限値と下限値とによって設定されている。
具体的には、位相差検出部223が算出した位相差が、位相差の有効範囲内にある場合、判定部225は、良好と判定する。位相差の有効範囲内にない場合、判定部225は、不良と判定する。ゲイン差検出部224が算出したゲイン差が、ゲイン差の有効範囲内にある場合、判定部225は、良好と判定する。ゲイン差検出部224が算出したゲイン差が、ゲイン差の有効範囲内にない場合、判定部225は、不良と判定する。
なお、判定部225は、位相差とゲイン差の両方に基づいて判定を行っている。例えば、位相差とゲイン差の両方がそれぞれの有効範囲内にある場合、判定部225が、良好と判定し、位相差とゲイン差の少なくとも一方が有効範囲内にない場合、不良と判定してもよい。これにより、正確に判定を行うことができる。もちろん、判定部225は、位相差、及びゲイン差の一方のみによって、良否判定を行ってもよい。
判定部225は、判定結果を出力器250に出力する。出力器250は、判定部225の判定結果を出力する。測定結果が良好である場合、出力器250は良好であることをユーザUに提示する。測定結果が不良である場合、出力器250は不良であることをユーザUに提示する。例えば、出力器250は、モニタなどを有しており、判定結果を表示する。また、出力器250は、判定結果が不良である場合には、再測定を促す表示を行ってもよい。さらに、出力器250は、判定結果が不良である場合には、アラーム信号を生成して、スピーカがアラーム音を出力してもよい。
さらに、判定部225は、位相差及びゲイン差と有効範囲との比較結果に応じて、調整が必要な項目を判定してもよい。そして、出力器250は、調整が必要な項目をユーザUに提示するようにしてもよい。例えば、マイク感度、マイクの装着状態の再調整を促すように出力器250が表示を行う。そして、ユーザU又はその他の者が提示された内容にしたがって、調整を行った上で、再測定を行う。
(バンドパスフィルタ221、222の通過帯域)
以下、バンドパスフィルタ221、222の通過帯域について、図4を用いて説明する。図4は、水平方向角度と通過帯域を示すためのテーブルの一例を示している。図4の横軸が周波数を示し、縦軸が水平方向角度を示している。図4では、水平方向角度を10°ずつ変えていった場合の通過帯域が示されている。水平方向角度毎に、通過帯域が太線で示されている。
ここでは、図2に示すように、ユーザUの正面方向における水平方向角度を0°(=360°)、右方向を90°、背面方向を180°、左方向を270°としている。すなわち、ユーザUの真正面を基準とする方位角を水平方向角度としている。左右対称であるため、図4では、0°〜180°の範囲の通過帯域についてのみ示し、180°〜360°の範囲の通過帯域については省略する。すなわち、図4の縦軸の0°が360°、90°が270°、180°はそのまま180°等となれば、180°〜360°の範囲の通過帯域が得られる。
水平方向角度が90°の場合、すなわち、音源(スピーカ)が真横方向にある場合、通過帯域が最も低くなる。水平方向角度が0°、又は180°の場合、すなわち、音源(スピーカ)が真正面又は真後ろにある場合、通過帯域が最も高くなる。水平方向角度が90°から0°に向かうにつれて、通過帯域が徐々に高くなっていく。水平方向角度が90°から180°に向かうにつれて、通過帯域が徐々に高くなっていく。このような通過帯域を設定することで、位相差を適切に求めることができる。
ここで、バンドパスフィルタ221,222に対して同じ通過帯域を設定する必要があり、かつ、LchとRchとで十分なS/N比が取れる帯域とする必要がある。また、高周波数域は、位相がどの程度回転しているのを比較するのが困難であるため、位相差解析に適していない。したがって、図4のような通過帯域が設定されている。図4に示す通過帯域は、個人差があまり反映されない低周波数域〜高周波数域となっている。高周波数域は、耳の形状や頭の幅などの個人差が大きく影響するが、低周波数域〜高周波数域については個人差があまり影響しない。すなわち、身体の上に頭があり、頭の左右に耳があるという形状であれば、言い換えると人間の形状をした物体であれば、低周波数域の特性はほとんど変化しない。
図4に示すようなテーブルを用いて、信号処理装置201は、水平方向角度からバンドパスフィルタ221、222の通過帯域を設定する。例えば、角度範囲毎に通過帯域を予め設定しておき、水平方向角度が含まれる角度範囲に応じて、信号処理装置201は通過帯域を決定する。例えば、水平方向角度が0以上、5°未満の場合は、図4に示す0°における通過帯域を用いる。水平方向角度が5°以上、15°未満の場合、図4に示す10°における通過帯域を用いる。このようにすることで、水平方向角度の角度範囲に基づいて、通過帯域を決定することができる。
また、テーブルでなく、数式を用いて、通過帯域を設定してもよい。さらに、左右対称に通過帯域を設定することが好ましい。例えば、水平方向角度が355°以上、360°未満の場合は、水平方向角度が0以上、5°未満の場合と同様に、図4に示す0°における通過帯域を用いる。さらに、水平方向角度以外の情報、例えば、測定環境に関する情報に基づいて、通過帯域を設定してもよい。具体的には、測定環境において、壁面や天井等の位置に応じて、通過帯域を設定することもできる。
(位相差検出)
以下、図5を用いて、左右の収音信号の位相差を検出するための処理について説明する。図5は、位相差を検出するための処理を示すフローチャートである。以下の説明では、音源を左スピーカ5Lとした場合の処理について説明するが、右スピーカ5Rについても同様に処理することが可能である。
まず、収音信号取得部212が、収音信号S1、S2を取得する(S101)。音源を左スピーカ5Lとしているため、音源に近い側の収音信号S1は、左マイク2Lで取得されたLchの収音信号となり、音源に遠い側の収音信号S2は、右マイク2Rで取得されたRchの収音信号となる。音源を右スピーカ5Rとした場合、音源に近い側の収音信号S1は、右マイク2Rで取得されたRchの収音信号となり、音源に遠い側の収音信号S2は、左マイク2Lで取得されたLchの収音信号となる。なお、収音信号S1、S2は同じ時間、つまり同じサンプル数の信号である。収音信号S1、S2のサンプル数は、特に限定されるものではないが、ここでは説明のため、収音信号のサンプル数を1024とする。よって、以下のサンプル番号は、0〜1023のうちの一つの整数となる。
次に、信号処理装置201は、音源情報に基づいて、バンドパスフィルタ221、バンドパスフィルタ222の通過帯域を決定する(S102)。例えば、信号処理装置201は、図4に示したテーブルを用いて、水平方向角度に応じた通過帯域を決定する。
信号処理装置201は、収音信号S1,S2にバンドパスフィルタ221、バンドパスフィルタ222を適用して、フィルタ通過信号SB1、SB2を算出する(S103)。なお、フィルタ通過信号SB1は、バンドパスフィルタ221から出力されるLchのフィルタ通過信号であり、フィルタ通過信号SB2は、バンドパスフィルタ222から出力されるRchのフィルタ通過信号である。
位相差検出部223は、音源(スピーカ5L)に近い側のフィルタ通過信号SB1において、絶対値が最大となる位置PB1を探索する(S104)。位置PB1は、例えば、フィルタ通過信号SB1を構成するサンプルのサンプル番号となる。
位相差検出部223は、位置PB1におけるフィルタ通過信号SB1の正負符号SignBを取得する(S105)。正負符号SignBは、正又は負を示す値である。
位相差検出部223は、フィルタ通過信号SB2において、正負符号の正負符号SignBと同じ符号で、かつ、絶対値が最大となる位置PB2を探索する(S106)。位置PB2は、フィルタ通過信号SB2を構成するサンプルのサンプル番号となる。
そして、位相差検出部223は、第1の位相差サンプル数N1をN1=PB2−PB1として算出する(S107)。すなわち、位相差検出部223は、音源に遠い側のフィルタ通過信号SB2における位置PB2から音源に近い側のフィルタ通過信号SB1における位置PB1を引くことで、第1の位相差サンプル数N1を求める。
また、位相差検出部223は、S102〜S107の処理と並行して、S108〜S113の処理を行う。具体的には、位相差検出部223は、収音信号S1、S2において最大となる絶対値M1、M2を求める(S108)。絶対値M1は、収音信号S1の絶対値の最大値であり、絶対値M2は収音信号S2の絶対値の最大値である。
位相差検出部223は、収音信号S1に対して、絶対値M1に基づいて、閾値T1を算出する(S109)。例えば、閾値T1は、絶対値M1に所定の係数を乗じた値とすることができる。
位相差検出部223は、収音信号S1の絶対値において、最初に閾値T1を越える極値の位置P1を探索する(S110)。すなわち、位相差検出部223は、収音信号S1の極値のうち、絶対値が閾値T1を越え、かつ、最も早いタイミングの極値のサンプル番号を位置P1とする。
位相差検出部223は、収音信号S2に対して、絶対値M2に基づいて、閾値T2を算出する(S111)。例えば、閾値T2は、絶対値M2に所定の係数を乗じた値とすることができる。
位相差検出部223は、収音信号S2の絶対値において、最初に閾値T2を越える極値の位置P2を探索する(S112)。すなわち、位相差検出部223は、収音信号S2の極値のうち、絶対値が閾値T2を越え、かつ、最も早いタイミングの極値のサンプル番号を位置P2とする。
位相差検出部223は、第2の位相差サンプル数N2をN2=P2−P1として算出する(S113)。すなわち、位相差検出部223は、音源に遠い側の収音信号S2における位置P2から音源に近い側の収音信号S1における位置P1を引くことで、第2の位相差サンプル数N2を求める。
位相差検出部223は、第1の位相差サンプル数N1と第2の位相差サンプル数N2に基づいて、位相差PDを算出する(S114)。ここでは、位相差検出部223は、第1の第1の位相差サンプル数N1と第2の位相差サンプル数N2の平均値を位相差PDと算出する。もちろん、位相差PDは、第1の位相差サンプル数N1と第2の位相差サンプル数N2の単純平均に限らず、重み付け平均であってもよい。
このようにして、位相差検出部223は、左右の位相差PDを検出する。また、S102〜S107の処理と、S108〜S113の処理は同時に行われてもよく、順番に行われてもよい。すなわち、位相差検出部223は、第1の位相差サンプル数N1を求めた後、第2の位相差サンプル数N2を求めてもよい。あるいは、位相差検出部223は、位相差検出部223は、第2の位相差サンプル数N2を求めた後、第1の位相差サンプル数N1を求めてもよい。
なお、位相差検出部223における位相差PDの算出は、図5に示した処理に限定されるものではない.例えば、位相差サンプル数N2を用いずに、位相差サンプルN1=位相差PDとして算出することも可能である。あるいは、位相差サンプル数N1を用いずに、位相差サンプル数N2=位相差PDとすることも可能である。
あるいは、フィルタ通過信号SB1、SB2の相互相関関数を用いて、最も相関が高くなるときの時間差から位相差を検出してもよい。さらに、位相差検出部223は、相互相関関数を用いた手法による位相差と、図5に示した手法による位相差との平均値を位相差として算出してもよい。
(ゲイン差検出)
以下、ゲイン差検出部224における処理について、図6を用いて説明する。図6は、ゲイン差を求める処理を示すフローチャートである。以下の説明では、音源を左スピーカ5Lとした場合の処理について説明するが、右スピーカ5Rについても同様に処理することが可能である。なお、ゲイン差の検出は、位相差の検出と同時に行われてもよく、位相差の検出の前、又は後に行われてもよい。
まず、収音信号取得部212が収音信号S1、S2を取得する(S201)。音源を左スピーカ5Lとしているため、音源に近い側の収音信号S1は、左マイク2Lで取得されたLchの収音信号となり、音源に遠い側の収音信号S2は、右マイク2Rで取得されたRchの収音信号となる。音源を右スピーカ5Rとした場合、音源に近い側の収音信号S1は、右マイク2Rで取得されたRchの収音信号となり、音源に遠い側の収音信号S2は、左マイク2Lで取得されたLchの収音信号となる。
次に、ゲイン差検出部224は、収音信号S1、S2において、絶対値の最大値G1、G2を算出する(S202)。音源を左スピーカ5Lとしているため、最大値G1は、Lchの収音信号S1の絶対値の最大値であり、最大値G2は、Rchの収音信号S2の絶対値の最大値である。
ゲイン差検出部224は、最大値G1と最大値G2との差を最大値差GDとして算出する(S203)。なお、音源が左スピーカ5Lであるため、音源に近いLchの最大値G1から遠い側のRchの最大値G2を減算することで、最大値差GDを求めることができる。最大値差GD=G1−G2となる。
次に、ゲイン差検出部224は、収音信号S1、S2において、二乗和平方根R1、R2を算出する(S204)。二乗和平方根R1は、Lchの収音信号S1の二乗和平方根であり、二乗和平方根R2は、Rchの収音信号S2の二乗和平方根である。
ゲイン差検出部224は、二乗和平方根R1と二乗和平方根R2との差を二乗和平方根差RDとして算出する(S205)。なお、音源が左スピーカ5Lであるため、音源に近いLchの二乗和平方根R1からRchの二乗和平方根R2を減算することで、二乗和平方根差RDを求めることができる。すなわち、二乗和平方根差RD=R1−R2となる。
そして、ゲイン差検出部224は、最大値差GDと二乗和平方根差RDをゲイン差とて判定部225に出力する(S206)。なお、ゲイン差検出部224は、ゲイン差として、最大値差GDと二乗和平方根差RDの2つを算出しているが、一方のみをゲイン差として算出してもよい。
また、S202〜S203の処理と、S204〜S205の処理は同時に行われてもよく、順番に行われてもよい。すなわち、ゲイン差検出部224は、最大値差GDを求めた後、二乗和平方根差RDを求めてもよい。あるいは、ゲイン差検出部224は、二乗和平方根差RDを求めた後、最大値差GDを求めてもよい。
(判定処理)
判定部225は、位相差とゲイン差に基づいて、測定結果の良否判定を行う。さらに、判定部225には、音源情報取得部230からの音源情報が入力されている。判定部225は、音源情報に基づいて、判定を行うための基準が設定される。ここでは、判定を行うための基準として、上限値と下限値とで示される有効範囲が設定されるが、上限値及び下限値の一方のみで有効範囲が設定されていてもよい。
まず、位相差に基づく判定処理について説明する。以下、位相差が適切であるか否かを判定するための基準(位相差の有効範囲)に求めるための評価関数について説明する。非特許文献1に示す両耳間時間差モデルを用いると、両耳間の位相差ITD(interaural time difference)は、以下の式(1)で示すことができる。
ITD=(2a/c)sinθ[sec] ・・・(1)
cは音速、aは人頭の水平な断面を円形としたときの半径、θは音源方向の角度である。収音信号のサンプリング周波数をfとすると、式(1)を評価関数として用いると、離散信号である収音信号の位相差に相当するサンプル数ITDSは、以下の式(2)で示される。
ITDS=(2af/c)sinθ[sample] ・・・(2)
ここで、人頭の大きさの個人差を考慮して、aの範囲を0.065〜0.095[m]とする。音源の水平方向角度が45°の場合に、誤差を考慮して、θの範囲を40π/180〜50π/180[rad]とする。音速を340[m/sec]、サンプリング周波数を48000[Hz]とすると、ITDSの有効範囲ITDSRは、11.8[sample]〜20.5[sample]となる。もちろん、音源の水平方向角度に応じて、θの範囲を設定すればよい。
位相差検出部223が算出した位相差PDが有効範囲ITDSR内にあれば、判定部225は、良好と判定する。位相差検出部223が算出した位相差PDが有効範囲ITDSR外にあれば、判定部225は、不良と判定する。
上記の評価関数では、気温や湿度による音速の変動を考慮していないが、有効範囲の計算において、音速の挙動を考慮してもよい。また、本手法では、音源の水平方向角度のみを用いて評価関数を定めているが、実際に収音信号の測定を行う環境によっては、直接音だけでなく反射音の影響が無視できないことがある。このとき、例えば、音源の水平方向角度だけでなく部屋の天井高や部屋の壁面までの寸法等を入力し、反射音に関するシミュレーションを行うようにしてもよい。このようにすることで、位相差の評価関数、あるいはバンドパスフィルタの通過帯域テーブルを変更して用いてもよい。
次に、ゲイン差に基づく判定処理について、説明する。本実施の形態では、水平方向角度に応じて、測定環境を複数のエリアに分割している。そして、エリア毎に、有効範囲を設定している。図7は、水平方向角度に応じて分割されたエリアの一例を示す図である。図7に示すように、測定環境を放射状に5つのエリアGA1〜GA5に分割している。図7に示す角度は、図2と同様に、ユーザUを中心とした方位角である。なお、0〜180°までの範囲と、180〜360°までの範囲は、対称になっている。
エリアGA1は、0°〜20°、又は340°〜360°となる。エリアGA2は、20°〜70°、又は290°〜340°となっている。エリアGA3は、70°〜110°、又は250°〜290°となっている。エリアGA4は、110°〜160°、又は200°〜250°となっている。エリアGA5は160°〜200°となっている。もちろん、各エリアの角度範囲は図7に示す例に限られるものはない。さらには、エリアの分割数も2〜4であってもよく、6以上であってもよい。
判定部225には、エリア毎に、最大値差GDと二乗和平方根差RDの有効範囲が設定されている。図8に、最大値差GDの有効範囲と二乗和平方根差RDの有効範囲のテーブルを示す。判定部225は、図8に示すテーブルを格納している。なお、図8において、測定された収音信号S1,S2は、二乗和が1.0以下になるように正規化されている。
判定部225は、音源(スピーカ5L)の水平方向角度から、音源が設けられているエリアを決定する。すなわち、判定部225は、エリアGA1〜GA5のうち、どのエリアにスピーカ5Lがあるかを決定する。そして、判定部225は、最大値差GDと二乗和平方根差RDとが有効範囲内にあれば、良好と判定する。一方、判定部225は、最大値差GD、又は二乗和平方根差RDが有効範囲外にあれば、不良と判定する。
本手法では、図7のようなエリア分けと図8に示す有効範囲のテーブルを用いているが、エリア分けと有効範囲のテーブルは図7、図8に示す例に限られるものでない。さらに、テーブルに限らず、数式により、最大値差GDと二乗和平方根差RDの有効範囲を設定してもよい。
図9を用いて、位相差判定の処理について説明する。図9は、位相差判定の処理を示す一例を示すフローチャートである。
まず、判定部225は、位相差検出部223から位相差PDを取得する(S301)。次に、判定部225は、音源情報を用いて、有効範囲ITDSRを算出する(S302)。判定部225は、上記のように、両耳間時間差モデルを用いて、位相差の有効範囲ITDSRを算出することができる。すなわち、判定部225は、音源の水平方向角度θに誤差の影響を考慮することで、式(2)から位相差の有効範囲ITDSRを算出する。また、有効範囲ITDSRは、水平方向角度に対応付けられたテーブルとして格納されていてもよい。
判定部225は、水平方向角度が正中面に対して成す角度が20°以内か否かを判定する(S303)。すなわち、判定部225は、音源がエリアGA1にあるか否かを判定する。上記の成す角度が20°以内でない場合(S303:NO)、判定部225は、位相差PDが有効範囲ITDSR内にあるか否かを判定する(S305)。
上記の成す角度が20°以内にある場合(S303:YES)、有効範囲ITDSRの下限値を−∞に設定する(S304)。そして、下限値を設定した後に、判定部225は、位相差PDが有効範囲ITDSR内にあるか否かを判定する(S305)。すなわち、音源がエリアGA1にある場合、式(2)に基づく有効範囲ITDSRの上限値以下であれば、判定部225は、良好と判定する。
位相差PDが有効範囲ITDSR内にある場合(S305:YES)、判定部225が、良好と判定するため、出力器250は、測定が正しく行われた旨を提示する(S306)。位相差PDが有効範囲ITDSR内にない場合(S305:NO)、判定部225が、不良と判定するため、出力器250は、入力角度とマイクの装着状態を確認する旨を提示する(S307)。例えば、出力器250が、測定マイクの左右を反対にして装着していないかどうかを確認することを促す表示を行う。さらに、出力器250は、ユーザUが入力した水平方向角度を確認する旨を表示する。さらに、出力器250は、装着状態や入力した水平方向角度を調整した後に、必ず再測定を促すように表示する。
表示を確認したユーザUは、マイク2L、2Rを左右反対に装着してないかを確認する。さらに、ユーザUは、測定開始時に入力した水平方向角度が妥当であるか否かを確認する。ユーザUは、水平方向角度の入力、マイクの装着状態を修正して、再測定を行う。
次に、図10を用いて、ゲイン差による判定処理について説明する。図10は、ゲイン差判定の処理を示す一例を示すフローチャートである。
判定部225は、最大値差GDと、二乗和平方根差RD、及び音源情報を取得する(S401)。判定部225は、音源情報に基づいて、最大値差GDの有効範囲と、二乗和平方根差RDの有効範囲を設定する(S402)。例えば、図8に示すテーブルを参照して、音源情報から有効範囲を設定する。
ここで、最大値差GDの有効範囲は、上限値GDTHと下限値GDTLとによって設定されている。よって、最大値差GDの有効範囲は、GDTL〜GDTHとなる。二乗和平方根差RDの有効範囲は、上限値RDTHと下限値RDTLとによって設定されている。よって、二乗和平方根差RDの有効範囲は、RDTL〜RDTHとなる。もちろん、有効範囲は、上限値及び下限値の一方のみであってもよい。
判定部225は、二乗和平方根差RDが下限値RDTL以上、上限値RDTH以下であるか否かを判定する(S403)。すなわち、判定部225は、二乗和平方根差RDが有効範囲(RDTL〜RDTH)内にあるか否かを判定する。
二乗和平方根差RDが下限値RDTL以上、上限値RDTH以下である場合(S403:YES)、判定部225は、最大値差GDが下限値GDTL以上、上限値GDTH以下であるか否かを判定する(S404)。すなわち、判定部225は、最大値差GDが有効範囲(GDTL〜GDTH)内にあるか否かを判定する。
最大値差GDが下限値GDTL以上、上限値GDTH以下である場合(S404:YES)、判定部225が「良好」と判定するため、出力器250は、測定が正しく行われた旨を提示する(S405)。すなわち、最大値差GD、及び二乗和平方根差RDがそれぞれ有効範囲内にあるため、判定部225は、測定結果が良好であると判定する。
最大値差GDが下限値GDTL以上、上限値GDTH以下でない場合(S404:NO)、判定部225が「可」と判定するため、出力器250は、測定環境の調整を促すように提示する(S406)。すなわち、音源と逆方向の壁面や反射物等による反射が多いため、測定環境の調整が必要な旨を提示する。具体的には、音源と逆方向にある壁面、あるいは何らかの反射物等の影響により反射成分が大きく、適切な効果が得られない可能性があるため、出力器250が周囲の環境を調整するように表示を行う。
二乗和平方根差RDが下限値RDTL以上、上限値RDTH以下でない場合(S403:NO)、判定部225は、エリアがGA2、GA3,GA4であり、かつ、二乗和平方根差RDがマイナス値であるか否かを判定する(S407)。すなわち、判定部225は、音源の水平方向角度がGA2、GA3、又はGA3に属するか否かを判定するとともに、二乗和平方根差RDが0より小さいか否かを判定する。
判定部225は、エリアがGA2、GA3,GA4であり、かつ、二乗和平方根差RDがマイナス値である場合(S407:YES)、判定部225は、「不良」と判定するため、出力器250は、入力角度と装着状態を確認する旨を提示する(S408)。この場合、ユーザUは、入力角度と、及びマイクの装着状態の確認を行う。例えば、ユーザUは、マイク2L、2Rを左右反対に装着してないかを確認する。さらに、ユーザUは、測定開始時に入力した水平方向角度が妥当であるか否かを確認する。また、この場合、出力器250が必ず再測定を促す旨を表示する。表示を確認したユーザUは、水平方向角度の入力、又はマイクの装着状態を修正して、再測定を行う。
判定部225は、エリアがGA2、GA3,GA4でない場合、又は、二乗和平方根差RDがマイナス値でない場合(S407:NO)、判定部225は、「不良」と判定するため、出力器250は、入力角度とマイク感度の確認を促す(S409)。この場合、ユーザUは、水平方向角度の確認、及びマイク感度の確認を行う。例えば、ユーザUは、マイク2L、2Rの感度が同等であるか否かを確認する。なお、信号処理装置201は、マイク感度の判定、及び調整機能を備えており、左右の感度チェックを行う。ユーザUは、測定開始時に入力した水平方向角度が妥当であるか否かを確認する。また、この場合、出力器250が必ず再測定を促す旨を表示する。表示を確認したユーザUは、水平方向角度の入力、又はマイク感度を修正して、再測定を行う。
このように、判定部225は、ゲイン差と有効範囲とを比較することで、良好、可、不良の3段階で判定を行っている。そして、出力器250は、判定部225での判定結果に応じて、調整が必要な内容を提示している。例えば、左右のマイクの装着状態、入力角度、あるいは、マイク感度の確認を促すよう、出力器250が表示を行っている。これにより、表示内容にしたがってユーザUは、マイクの装着状態、入力角度、マイクの感度、壁面などの反射面などを調整した上で、再測定を行うことができる。よって、適切に収音信号を測定することができる。これにより、適切な頭外定位用フィルタを取得することができる。
実施の形態2.
実施の形態2にかかる信号処理装置201について、図11を用いて説明する。図11は、信号処理装置201の構成を示すブロック図である。図11に示すように、本実施の形態にかかる信号処理装置201では、実施の形態1の構成に対して、測定環境情報蓄積器260が追加されている。なお、測定環境情報蓄積器260以外の構成、及び制御については、実施の形態1と同様であるため説明を省略する。
実施の形態1では、音源の角度情報のみを用いて有効範囲や通過帯域が設定されているが、測定環境情報蓄積部260に蓄積された測定環境に応じて、有効範囲、及び通過帯域が設定されている。例えば、実際に、収音信号の測定を行う環境によっては、直接音だけでなく、壁面や天井などで反射する反射音の影響が無視できないことがある。このとき、例えば、音源の角度情報だけでなく部屋の天井高や部屋の壁面までの寸法等を入力して、測定環境情報として測定環境情報蓄積器260が蓄積しておく。反射音に関するシミュレーションを行うことで、位相差の有効範囲を決めるための評価関数、あるいは、バンドパスフィルタの通過帯域テーブルを変更して用いてもよい。
ゲイン差判定においても、測定環境情報蓄積器260に蓄積された測定環境情報を用いてもよい。例えば、ゲイン差判定においても、位相差判定と同様に、測定環境情報を用いて、適宜テーブルを変更してもよい。そして、測定環境情報に応じて変更したテーブルを測定環境情報蓄積部260が蓄積してもよい。また、測定環境情報蓄積器260が蓄積している各種情報を測定環境に合わせて学習させることも可能である。
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
U ユーザ
2L 左マイク
2R 右マイク
5L 左スピーカ
5R 右スピーカ
9L 左耳
9R 右耳
10 頭外定位処理部
11 畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24 加算器
25 加算器
41 フィルタ部
42 フィルタ部
200 フィルタ生成装置
201 信号処理装置
211 測定信号生成部
212 収音信号取得部
221 バンドパスフィルタ
222 バンドパスフィルタ
223 位相差検出部
224 ゲイン差検出部
225 判定部
230 音源情報取得部
250 出力器
260 測定環境情報蓄積器

Claims (6)

  1. 音源から出力される音をユーザに装着された複数のマイクにより収音することで得られた収音信号を処理する信号処理装置であって、
    前記音源から出力される測定信号を生成する測定信号生成部と、
    前記複数のマイクで収音された収音信号を取得する収音信号取得部と、
    前記音源の水平方向角度に関する音源情報を取得する音源情報取得部と、
    前記音源情報に基づいて設定された通過帯域を有し、前記収音信号を入力としてフィルタ通過信号を出力するフィルタと、
    前記フィルタ通過信号に基づいて、2つの収音信号間の位相差を検出する位相差検出部と、
    前記位相差を前記音源情報に基づいて設定された有効範囲と比較することで、前記収音信号の測定結果を判定する判定部と、を備えた信号処理装置。
  2. 2つの前記収音信号のゲイン差を検出するゲイン差検出部をさらに備え、
    前記判定部が、前記音源情報に基づいて設定された有効範囲を前記ゲイン差と比較することで、前記収音信号の測定結果を判定する請求項1に記載の信号処理装置。
  3. 前記ユーザの正面方向における前記水平方向角度を0°とし、右方向における前記水平方向角度を90°とし、背面方向における前記水平方向角度を180°とし、左方向における前記水平方向角度を270°とした場合、
    前記90°又は270°における前記フィルタの通過帯域が、他の水平方向角度における前記フィルタの通過帯域よりも低くなっている請求項1に記載の信号処理装置。
  4. 前記収音信号に基づいて、頭外低位処理を行うためのフィルタを生成する請求項1〜3のいずれか1項に記載の信号処理装置。
  5. 音源から出力される音をユーザに装着された複数のマイクにより収音することで得られた収音信号を処理する信号処理方法であって、
    前記音源から出力される測定信号を生成するステップと、
    前記複数のマイクで収音された収音信号を取得するステップと、
    前記音源の水平方向角度に関する音源情報を取得するステップと、
    前記音源情報に基づいて設定された通過帯域を有するフィルタに対して、前記収音信号を入力するステップと、
    前記フィルタを通過したフィルタ通過信号に基づいて、2つの収音信号間の位相差を検出するステップと、
    前記位相差を前記音源情報に基づいて設定された有効範囲と前記位相差と比較することで、前記収音信号の測定結果を判定するステップと、を備えた信号処理方法。
  6. 音源から出力される音をユーザに装着された複数のマイクにより収音することで得られた収音信号を処理する信号処理方法を、コンピュータに実行させるプログラムであって、
    前記信号処理方法は、
    前記音源から出力される測定信号を生成するステップと、
    前記複数のマイクで収音された収音信号を取得するステップと、
    前記音源の水平方向角度に関する音源情報を取得するステップと、
    前記音源情報に基づいて設定された通過帯域を有するフィルタに対して、前記収音信号を入力するステップと、
    前記フィルタを通過したフィルタ通過信号に基づいて、2つの収音信号間の位相差を検出するステップと、
    前記位相差を前記音源情報に基づいて設定された有効範囲と比較することで、前記収音信号の測定結果を判定するステップと、を備えたプログラム。
JP2017186163A 2017-09-27 2017-09-27 信号処理装置、信号処理方法、及びプログラム Active JP6988321B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017186163A JP6988321B2 (ja) 2017-09-27 2017-09-27 信号処理装置、信号処理方法、及びプログラム
PCT/JP2018/034550 WO2019065384A1 (ja) 2017-09-27 2018-09-19 信号処理装置、信号処理方法、及びプログラム
US16/816,852 US11039251B2 (en) 2017-09-27 2020-03-12 Signal processing device, signal processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017186163A JP6988321B2 (ja) 2017-09-27 2017-09-27 信号処理装置、信号処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2019061108A true JP2019061108A (ja) 2019-04-18
JP2019061108A5 JP2019061108A5 (ja) 2020-10-01
JP6988321B2 JP6988321B2 (ja) 2022-01-05

Family

ID=65902964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017186163A Active JP6988321B2 (ja) 2017-09-27 2017-09-27 信号処理装置、信号処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11039251B2 (ja)
JP (1) JP6988321B2 (ja)
WO (1) WO2019065384A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013135433A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
JP2016031243A (ja) * 2014-07-25 2016-03-07 シャープ株式会社 位相差算出装置、音源方向検知装置、および位相差算出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3433513B2 (ja) * 1994-06-17 2003-08-04 ソニー株式会社 回転角度検出機能を備えたヘッドホン装置
JP2005333621A (ja) * 2004-04-21 2005-12-02 Matsushita Electric Ind Co Ltd 音情報出力装置及び音情報出力方法
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
US9332372B2 (en) * 2010-06-07 2016-05-03 International Business Machines Corporation Virtual spatial sound scape
JP6596896B2 (ja) * 2015-04-13 2019-10-30 株式会社Jvcケンウッド 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
JP6561718B2 (ja) * 2015-09-17 2019-08-21 株式会社Jvcケンウッド 頭外定位処理装置、及び頭外定位処理方法
US9918177B2 (en) * 2015-12-29 2018-03-13 Harman International Industries, Incorporated Binaural headphone rendering with head tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013135433A (ja) * 2011-12-27 2013-07-08 Fujitsu Ltd 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
JP2016031243A (ja) * 2014-07-25 2016-03-07 シャープ株式会社 位相差算出装置、音源方向検知装置、および位相差算出方法

Also Published As

Publication number Publication date
US11039251B2 (en) 2021-06-15
JP6988321B2 (ja) 2022-01-05
WO2019065384A1 (ja) 2019-04-04
US20200213738A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
US11115743B2 (en) Signal processing device, signal processing method, and program
CN110612727B (zh) 头外定位滤波器决定系统、头外定位滤波器决定装置、头外定位决定方法以及记录介质
US10142733B2 (en) Head-related transfer function selection device, head-related transfer function selection method, head-related transfer function selection program, and sound reproduction device
US10264387B2 (en) Out-of-head localization processing apparatus and out-of-head localization processing method
US10412530B2 (en) Out-of-head localization processing apparatus and filter selection method
JP6515720B2 (ja) 頭外定位処理装置、頭外定位処理方法、及びプログラム
EP3048817A1 (en) Method of determining acoustical characteristics of a room or venue having n sound sources
JP2015198297A (ja) 音響制御装置、電子機器及び音響制御方法
GB2545222A (en) An apparatus, method and computer program for rendering a spatial audio output signal
EP3410746B1 (en) Audio image localization processing device and audio image localization processing method
WO2017154378A1 (ja) 測定装置、フィルタ生成装置、測定方法、及びフィルタ生成方法
US11456006B2 (en) System and method for determining audio output device type
JP6981330B2 (ja) 頭外定位処理装置、頭外定位処理方法、及びプログラム
JP6500664B2 (ja) 音場再生装置、音場再生方法、及びプログラム
JP6988321B2 (ja) 信号処理装置、信号処理方法、及びプログラム
WO2017134711A1 (ja) フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法
JP6805879B2 (ja) フィルタ生成装置、フィルタ生成方法、及びプログラム
JP7439502B2 (ja) 処理装置、処理方法、フィルタ生成方法、再生方法、及びプログラム
JP7395906B2 (ja) ヘッドホン、頭外定位フィルタ決定装置、及び頭外定位フィルタ決定方法
JP7404736B2 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
Lezzoum et al. Assessment of sound source localization of an intra-aural audio wearable device for audio augmented reality applications
Rotter et al. Audibility of tweeter performance beyond spectrum and phase

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R150 Certificate of patent or registration of utility model

Ref document number: 6988321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150