JP2022020258A - 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム - Google Patents

頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム Download PDF

Info

Publication number
JP2022020258A
JP2022020258A JP2020123654A JP2020123654A JP2022020258A JP 2022020258 A JP2022020258 A JP 2022020258A JP 2020123654 A JP2020123654 A JP 2020123654A JP 2020123654 A JP2020123654 A JP 2020123654A JP 2022020258 A JP2022020258 A JP 2022020258A
Authority
JP
Japan
Prior art keywords
data
unit
user
preset data
envelope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020123654A
Other languages
English (en)
Other versions
JP7435334B2 (ja
Inventor
優美 藤井
Yumi Fujii
寿子 村田
Toshiko Murata
邦明 高地
Kuniaki Kochi
敬洋 下条
Takahiro Shimojo
万葉 飯山
Kazuha Iiyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020123654A priority Critical patent/JP7435334B2/ja
Priority to CN202110700722.8A priority patent/CN113965859B/zh
Priority to US17/372,365 priority patent/US11470422B2/en
Priority to EP21185877.4A priority patent/EP3944640B1/en
Publication of JP2022020258A publication Critical patent/JP2022020258A/ja
Application granted granted Critical
Publication of JP7435334B2 publication Critical patent/JP7435334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】適切な処理を行うことができる頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラムを提供する。【解決手段】本実施の形態にかかる頭外定位フィルタ決定装置は、ユーザの耳に装着され、出力ユニットから出力された音を収音するマイクユニット2と、マイクユニット2から出力された収音信号を測定する測定部と、空間音響伝達特性に関する第1のプリセットデータと、外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部と、収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得部112と、周波数特性の極大値及び極小値を抽出する極値抽出部113と、極大値及び前記極小値をそれぞれ補間することで、極大値に基づく第1包絡線データと、極小値に基づく第2包絡線データを算出する包絡線算出部114と、を備えている。【選択図】図4

Description

本開示は、頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラムに関する。
音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像を定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンから耳までの特性をキャンセルし、ステレオスピーカから耳までの4本の特性を与えることにより、音像を頭外に定位させている。
頭外定位再生においては、2チャンネル(以下、chと記載)のスピーカから発した測定信号(インパルス音等)を聴取者本人(ユーザ)の耳に設置したマイクロフォン(以下、マイクとする)で録音する。そして、インパルス応答で得られた収音信号に基づいて、処理装置がフィルタを作成する。これにより、スピーカから外耳道のマイク位置までの空間音響伝達特性に応じたフィルタが作成される。作成したフィルタを2chのオーディオ信号に畳み込むことにより、頭外定位再生を実現することができる。
さらに、ヘッドホンから耳までの特性をキャンセルするためのフィルタを生成するために、ヘッドホンから耳元乃至鼓膜までの特性(外耳道伝達関数ECTF、外耳道伝達特性とも言う)を聴取者本人の耳に設置したマイクで測定する。
特許文献1には、ヘッドホンとマイクユニットとを備えた頭外定位フィルタ決定装置が開示されている。特許文献1では、サーバ装置が、音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、被測定者の耳の外耳道伝達特性に関する第2のプリセットデータとを対応付けて記憶している。ユーザ端末が、ユーザの外耳道伝達特性に関する測定データを測定している。ユーザ端末が測定データに基づくユーザデータをサーバ装置に送信している。サーバ装置は、ユーザデータを複数の第2のプリセットデータと比較している。サーバ装置は、比較結果に基づいて、第1のプリセットデータを抽出している。
特許文献2には、ヘッドホンからの測定信号を適切な収音位置で収音することができる収音装置が開示されている。例えば、特許文献2には、聴診器のような構成の収音装置が開示されている。
特開2018-191208号公報 特開2018-133708号公報
頭外定位処理を行う場合、聴取者本人の耳に設置したマイクで特性を測定することが好ましい。受聴者の耳にマイクを装着した状態で、インパルス応答測定(以下、ユーザ測定ともいう)などが実施される。聴取者本人の特性を用いることで、聴取者に適したフィルタを生成することができる。
つまり、ユーザ測定を行うことで、スピーカから外耳道までの空間音響伝達特性を適切に測定することができる。しかしながら、ユーザ測定を行うためには、ユーザがリスニングルームに行くか、ユーザの自宅などにリスニングルームを準備する必要がある。
特許文献1の方法では、データベースに空間音響伝達特性に関する第1のプリセットデータと、外耳道伝達特性に関する第2のプリセットデータとが対応付けられている。そして、ユーザ個人の外耳道伝達特性に基づいて、第1のプリセットデータの中からユーザに適した空間音響伝達特性を抽出している。特許文献1の方法では、空間音響伝達特性のユーザ測定を行わなくても、フィルタを決定することができる。
頭外定位処理を行うためのフィルタをより適切に決定することが望まれる。
本開示は上記の点に鑑みなされたものであり、より適切にフィルタを決定することができる頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラムを提供することを目的とする。
本実施の形態にかかる頭外定位フィルタ決定システムは、ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、前記ユーザの耳に装着され、前記出力ユニットから出力された音を収音するマイクユニットと、前記出力ユニットに対して測定信号を出力するとともに、前記マイクユニットから出力された収音信号を測定する測定部と、音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、前記被測定者の耳の外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部であって、複数の前記被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、前記収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得部と、前記周波数特性の極大値及び極小値を抽出する極値抽出部と、前記極大値及び前記極小値をそれぞれ補間することで、前記極大値に基づく第1包絡線データと、前記極小値に基づく第2包絡線データを算出する包絡線算出部と、前記第1及び前記第2包絡線データに基づくユーザ特徴量を複数の前記第2のプリセットデータに基づく複数の特徴量とそれぞれ比較する比較部と、前記比較部の比較結果に基づいて、前記第1のプリセットデータを抽出する抽出部と、抽出された前記第1のプリセットデータに応じたフィルタを決定する決定部と、を備えている。
本実施の形態にかかる頭外定位フィルタ決定方法は、ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、前記ユーザの耳に装着され、前記出力ユニットから出力された音を収音するマイクユニットと、音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、前記被測定者の耳の外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部であって、複数の前記被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、を備えたシステムにおける頭外定位フィルタ決定方法であって、ユーザに装着された出力ユニットにそれぞれ測定信号を出力する出力ステップと、前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、前記収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得ステップと、前記周波数特性の極大値及び極小値を抽出する抽出ステップと、前記極大値及び前記極小値をそれぞれ補間することで、前記極大値に基づく第1包絡線データと、前記極小値に基づく第2包絡線データを算出する算出ステップと、前記第1及び前記第2包絡線データに基づくユーザ特徴量を複数の前記第2のプリセットデータに基づく複数の特徴量とそれぞれ比較する比較ステップと、前記比較ステップの比較結果に基づいて、前記第1のプリセットデータを抽出する抽出ステップと、抽出した前記第1のプリセットデータに応じたフィルタを決定する決定ステップと、を備えている。
本実施の形態にかかるプログラムは、コンピュータに対して頭外定位フィルタ決定方法を実行させるためのプログラムであって、前記コンピュータは、音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、前記被測定者の耳の外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部であって、複数の前記被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部にアクセス可能であり、前記頭外定位フィルタ決定方法は、ユーザに装着された出力ユニットにそれぞれ測定信号を出力するステップと、前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、前記収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得ステップと、前記周波数特性の極大値及び極小値を抽出する抽出ステップと、前記極大値及び前記極小値をそれぞれ補間することで、前記極大値に基づく第1包絡線データと、前記極小値に基づく第2包絡線データを算出する算出ステップと、前記第1及び前記第2包絡線データに基づくユーザ特徴量を複数の前記第2のプリセットデータに基づく複数の特徴量とそれぞれ比較する比較ステップと、前記比較ステップの比較結果に基づいて、前記第1のプリセットデータを抽出する抽出ステップと、抽出した前記第1のプリセットデータに応じたフィルタを決定する決定ステップと、を備えている。
本開示によれば、適切にフィルタを決定することができる頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラムを提供することができる。
本実施の形態に係る頭外定位処理装置を示すブロック図である。 空間音響伝達特性を測定する測定装置の構成を示す図である。 外耳道伝達特性を測定する測定装置の構成を示す図である。 本実施の形態にかかる頭外定位フィルタ決定システムの全体構成を示す図である。 極値抽出部での極大値の抽出処理を説明するための図である。 極大値から算出される第1包絡線データを示す図である。 極小値から算出される第2包絡線データを示す図である。 サーバ装置の構成を示すブロック図である。 データ格納部に格納されている第1及び第2プリセットデータを説明するための表である。 クラスタリングされたデータを説明するための表である。 第1及び第2包絡線データを別々にクラスタリングした場合のデータを説明するための表である。 第1及び第2包絡線データを別々にクラスタリングした場合のデータを説明するための表である。 頭外定位フィルタ決定方法を示すフローチャートである。 頭外定位フィルタ決定方法を示すフローチャートである。
(概要)
まず、音像定位処理の概要について説明する。ここでは、音像定位処理装置の一例である頭外定位処理について説明する。本実施形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、外耳道入口から鼓膜までの伝達特性である。本実施形態では、ヘッドホンを装着した状態での外耳道伝達特性を測定し、その測定データを用いて頭外定位処理を実現している。
本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ(PC)、スマートホン、タブレット端末などのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有している。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段(出力ユニット)が接続される。
高い定位効果を得るには、ユーザ本人の特性を測定して頭外定位フィルタを生成することが好ましい。ユーザ個人の空間音響伝達特性は、スピーカ等の音響機材や室内の音響特性が整えられたリスニングルームで行われることが一般的である。すなわち、ユーザがリスニングルームに行くか、ユーザの自宅などにリスニングルームを準備する必要がある。このため、ユーザ個人の空間音響伝達特性を適切に測定することができない場合がある。
また、ユーザの自宅などにスピーカを設置してリスニングルームを準備した場合でも、左右非対称にスピーカが設置されている場合や、部屋の音響環境が音楽聴取に最適でない場合がある。このような場合、自宅で適切な空間音響伝達特性を測定することは大変困難である。
一方、ユーザ個人の外耳道伝達特性の測定は、マイクユニット、及びヘッドホンを装着した状態で行われる。すなわち、ユーザがマイクユニット、及びヘッドホンを装着していれば、外耳道伝達特性を測定することができる。ユーザがリスニングルームに行く必要や、ユーザの家に大がかりなリスニングルームを準備する必要がない。また、外耳道伝達特性を測定するための測定信号の発生や、収音信号の記録などはスマートホンやPCなどのユーザ端末を用いて、行うことができる。
このように、ユーザ個人に対して、空間音響伝達特性の測定を実施することが困難である場合がある。そこで、本実施の形態にかかる頭外定位処理システムは、外耳道伝達特性の測定結果に基づいて、空間音響伝達特性に応じたフィルタを決定している。すなわち、ユーザ個人の外耳道伝達特性の測定結果に基づいて、ユーザに適した頭外定位処理フィルタを決定している。
具体的には、頭外定位処理システムは、ユーザ端末と、サーバ装置とを備えている。ユーザ以外の複数の被測定者に対して事前に測定された空間音響伝達特性及び外耳道伝達特性をサーバ装置が格納しておく。すなわち、ユーザ端末とは異なる測定装置を用いて、音源としてスピーカを用いた空間音響伝達特性の測定(以下、第1の事前測定とも称する)と、音源としてヘッドホンを用いた外耳道伝達特性の測定(第2の事前測定とも称する)を、行う。第1の事前測定及び第2の事前測定は、ユーザ以外の被測定者に対して実施される。
サーバ装置は、第1の事前測定の結果に応じた第1のプリセットデータと、第2の事前測定の結果に応じた第2のプリセットデータとを格納している。複数の被測定者に対して第1及び第2の事前測定を行うことで、複数の第1のプリセットデータと、複数の第2のプリセットデータとが取得される。空間音響伝達特性に関する第1のプリセットデータと、外耳道伝達特性に関する第2のプリセットデータとを、サーバ装置が、被測定者毎に対応付けて記憶する。サーバ装置は、データベースに、複数の第1のプリセットデータと、複数の第2のプリセットデータとを格納している。
さらに、頭外定位処理を実行するユーザ個人に対しては、ユーザ端末を用いて、外耳道伝達特性のみを測定する(以下、ユーザ測定とする)。ユーザ測定は、第2の事前測定と同様に、音源としてヘッドホンを用いた測定である。ユーザ端末は、外耳道伝達特性に関する測定データを取得する。そして、ユーザ端末は、測定データに基づくユーザデータをサーバ装置に送信する。サーバ装置は、ユーザデータを複数の第2のプリセットデータとそれぞれ比較する。サーバ装置は、比較結果に基づいて、複数の第2のプリセットデータの中からユーザデータとの相関が高い第2のプリセットデータを決定する。
そして、サーバ装置は、相関の高い第2のプリセットデータに対応付けられた第1のプリセットデータを読み出す。すなわち、サーバ装置は、比較結果に基づいて、複数の第1のプリセットデータの中から、ユーザ個人に適した第1のプリセットデータを抽出する。サーバ装置は、抽出した第1のプリセットデータをユーザ端末に送信する。そして、ユーザ端末は、第1のプリセットデータに基づくフィルタと、ユーザ測定に基づく逆フィルタとを用いて、頭外定位処理を行う。
(頭外定位処理装置)
まず、本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を図1に示す。図1は、頭外定位処理装置100のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がPCなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
頭外定位処理装置100は、頭外定位処理部10、フィルタ部41、フィルタ部42、及びヘッドホン43を備えている。頭外定位処理部10、フィルタ部41、及びフィルタ部42は後述する演算処理部120を構成し、具体的にはプロセッサにより実現可能である。
頭外定位処理部10は、畳み込み演算部11~12、21~22、及び加算器24、25を備えている。畳み込み演算部11~12、21~22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。
4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、後述する測定装置を用いて測定されている。
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、フィルタ部41に出力する。
畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、フィルタ部42に出力する。
フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタが設定されている。そして、頭外定位処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタを畳み込む。フィルタ部41で加算器24からのLch信号に対して、逆フィルタを畳み込む。同様に、フィルタ部42は加算器25からのRch信号に対して逆フィルタを畳み込む。逆フィルタは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。逆フィルタは、ユーザU本人の特性の測定結果から算出されている。
フィルタ部41は、補正されたLch信号をヘッドホン43の左ユニット43Lに出力する。フィルタ部42は、補正されたRch信号をヘッドホン43の右ユニット43Rに出力する。ユーザUは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号とRch信号をユーザUに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。
(空間音響伝達特性の測定装置)
図2を用いて、空間音響伝達特性Hls、Hlo、Hro、Hrsを測定する測定装置200について説明する。図2は、被測定者1に対して第1の事前測定を行うための測定構成を模式的に示す図である。
図2に示すように、測定装置200は、ステレオスピーカ5とマイクユニット2を有している。ステレオスピーカ5が測定環境に設置されている。測定環境は、ユーザUの自宅の部屋やオーディオシステムの販売店舗やショールーム等でもよい。測定環境は、スピーカや音響の整ったリスニングルームであることが好ましい。
本実施の形態では、測定装置200の測定処理装置201が、空間音響フィルタを適切に生成するための演算処理を行っている。測定処理装置201は、例えば、CDプレイヤー等の音楽プレイヤーなどを有している。測定処理装置201は、パーソナルコンピュータ(PC)、タブレット端末、スマートホン等であってもよい。また、測定処理装置201は、サーバ装置自体であってもよい。
ステレオスピーカ5は、左スピーカ5Lと右スピーカ5Rを備えている。例えば、被測定者1の前方に左スピーカ5Lと右スピーカ5Rが設置されている。左スピーカ5Lと右スピーカ5Rは、インパルス応答測定を行うためのインパルス音等を出力する。以下、本実施の形態では、音源となるスピーカの数を2(ステレオスピーカ)として説明するが、測定に用いる音源の数は2に限らず、1以上であればよい。すなわち、1chのモノラル、または、5.1ch、7.1ch等の、いわゆるマルチチャンネル環境においても同様に、本実施の形態を適用することができる。
マイクユニット2は、左のマイク2Lと右のマイク2Rを有するステレオマイクである。左のマイク2Lは、被測定者1の左耳9Lに設置され、右のマイク2Rは、被測定者1の右耳9Rに設置されている。具体的には、左耳9L、右耳9Rの外耳道入口から鼓膜までの位置にマイク2L、2Rを設置することが好ましい。マイク2L、2Rは、ステレオスピーカ5から出力された測定信号を収音して、収音信号を取得する。マイク2L、2Rは収音信号を測定処理装置201に出力する。被測定者1は、人でもよく、ダミーヘッドでもよい。すなわち、本実施形態において、被測定者1は人だけでなく、ダミーヘッドを含む概念である。
上記のように、左スピーカ5L、右スピーカ5Rで出力されたインパルス音をマイク2L、2Rで測定することでインパルス応答が測定される。測定処理装置201は、インパルス応答測定により取得した収音信号をメモリなどに記憶する。これにより、左スピーカ5Lと左マイク2Lとの間の空間音響伝達特性Hls、左スピーカ5Lと右マイク2Rとの間の空間音響伝達特性Hlo、右スピーカ5Rと左マイク2Lとの間の空間音響伝達特性Hro、右スピーカ5Rと右マイク2Rとの間の空間音響伝達特性Hrsが測定される。すなわち、左スピーカ5Lから出力された測定信号を左マイク2Lが収音することで、空間音響伝達特性Hlsが取得される。左スピーカ5Lから出力された測定信号を右マイク2Rが収音することで、空間音響伝達特性Hloが取得される。右スピーカ5Rから出力された測定信号を左マイク2Lが収音することで、空間音響伝達特性Hroが取得される。右スピーカ5Rから出力された測定信号を右マイク2Rが収音することで、空間音響伝達特性Hrsが取得される。
また、測定装置200は、収音信号に基づいて、左右のスピーカ5L、5Rから左右のマイク2L、2Rまでの空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタを生成してもよい。例えば、測定処理装置201は、空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出す。測定処理装置201は、測定した空間音響伝達特性Hls、Hlo、Hro、Hrsを補正してもよい。
このようにすることで、測定処理装置201は、頭外定位処理装置100の畳み込み演算に用いられる空間音響フィルタを生成する。図1で示したように、頭外定位処理装置100が、左右のスピーカ5L、5Rと左右のマイク2L、2Rとの間の空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタを用いて頭外定位処理を行う。すなわち、空間音響フィルタをオーディオ再生信号に畳み込むことにより、頭外定位処理を行う。
測定処理装置201は、空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれに対応する収音信号に対して同様の処理を実施している。すなわち、空間音響伝達特性Hls、Hlo、Hro、Hrsに対応する4つの収音信号に対して、それぞれ同様の処理が実施される。これにより、空間音響伝達特性Hls、Hlo、Hro、Hrsに対応する空間音響フィルタをそれぞれ生成することができる。
(外耳道伝達特性の測定)
次に、外耳道伝達特性を測定するための測定装置200について、図3を用いて説明する。図3は、被測定者1に対して第2の事前測定を行うための構成を示している。
測定処理装置201には、マイクユニット2と、ヘッドホン43と、が接続されている。マイクユニット2は、左マイク2Lと、右マイク2Rとを備えている。左マイク2Lは、被測定者1の左耳9Lに装着される。右マイク2Rは、被測定者1の右耳9Rに装着される。測定処理装置201、及びマイクユニット2は、図2の測定処理装置201、及びマイクユニット2と同じものでもよく、異なるものでもよい。
ヘッドホン43は、ヘッドホンバンド43Bと、左ユニット43Lと、右ユニット43Rとを、有している。ヘッドホンバンド43Bは、左ユニット43Lと右ユニット43Rとを連結する。左ユニット43Lは被測定者1の左耳9Lに向かって音を出力する。右ユニット43Rは被測定者1の右耳9Rに向かって音を出力する。ヘッドホン43は密閉型、開放型、半開放型、または半密閉型等、ヘッドホンの種類を問わない。ヘッドホン43は、ヘッドホン43が装着された状態で、マイクユニット2が被測定者1に装着される。すなわち、左マイク2L、右マイク2Rが装着された左耳9L、右耳9Rにヘッドホン43の左ユニット43L、右ユニット43Rがそれぞれ装着される。ヘッドホンバンド43Bは、左ユニット43Lと右ユニット43Rとをそれぞれ左耳9L、右耳9Rに押し付ける付勢力を発生する。
左マイク2Lは、ヘッドホン43の左ユニット43Lから出力された音を収音する。右マイク2Rは、ヘッドホン43の右ユニット43Rから出力された音を収音する。左マイク2L、及び右マイク2Rのマイク部は、外耳孔近傍の収音位置に配置される。左マイク2L、及び右マイク2Rは、ヘッドホン43に干渉しないように構成されている。すなわち、左マイク2L、及び右マイク2Rは左耳9L、右耳9Rの適切な位置に配置された状態で、被測定者1がヘッドホン43を装着することができる。なお、左マイク2L、及び右マイク2Rは、それぞれヘッドホン43の左ユニット43L、及び右ユニット43Rに内蔵されている。例えば、左マイク2Lは左ユニット43Lの筐体内に固定されており、右マイク2Rは右ユニット43Rの筐体内に固定されている。もちろん、左マイク2L、及び右マイク2Rはヘッドホン43と別個に設けられていても良い。
測定処理装置201は、左マイク2L、及び右マイク2Rに対して測定信号を出力する。これにより、左マイク2L、及び右マイク2Rはインパルス音などを発生する。具体的には、左ユニット43Lから出力されたインパルス音を左マイク2Lで測定する。右ユニット43Rから出力されたインパルス音を右マイク2Rで測定する。このようにすることで、インパルス応答測定が実施される。
測定処理装置201は、インパルス応答測定に基づく収音信号をメモリなどに記憶する。これにより、左ユニット43Lと左マイク2Lとの間の伝達特性(すなわち、左耳の外耳道伝達特性)と、右ユニット43Rと右マイク2Rとの間の伝達特性(すなわち、右耳の外耳道伝達特性)が取得される。ここで、左マイク2Lが取得した左耳の外耳道伝達特性の測定データを測定データECTFLとし、右マイク2Rが取得した右耳の外耳道伝達特性の測定データを測定データECTFRとする。
測定処理装置201は、測定データECTFL、ECTFRをそれぞれ記憶するメモリなどを有している。なお、測定処理装置201は、外耳道伝達特性又は空間音響伝達特性を測定するための測定信号として、インパルス信号やTSP(Time Stretched Pulse)信号等を発生する。測定信号はインパルス音等の測定音を含んでいる。
図2、図3で示した測定装置200によって、複数の被測定者1の外耳道伝達特性、及び空間音響伝達特性を測定する。本実施の形態では、図2の測定構成による第1の事前測定を複数の被測定者1に対して実施する。同様に、図3の測定構成による第2の事前測定を複数の被測定者1に対して実施する。これにより、被測定者1毎に、外耳道伝達特性、及び空間音響伝達特性が測定される。
(頭外定位フィルタ決定システム)
次に、本実施の形態にかかる頭外定位フィルタ決定システム500について、図4を用いて説明する。図4は、頭外定位フィルタ決定システム500の全体構成を示す図である。頭外定位フィルタ決定システム500は、マイクユニット2と、ヘッドホン43と、頭外定位処理装置100と、サーバ装置300と、を備えている。
頭外定位処理装置100とサーバ装置300とは、ネットワーク400を介して接続されている。ネットワーク400は、例えば、インターネットや携帯電話通信網などの公衆ネットワークなどである。頭外定位処理装置100とサーバ装置300とは無線又は有線により通信可能になっている。なお、頭外定位処理装置100とサーバ装置300とは一体の装置であってもよい。
頭外定位処理装置100は、図1で示したように、頭外定位処理された再生信号をユーザUに出力するユーザ端末となる。さらに、頭外定位処理装置100は、ユーザUの外耳道伝達特性の測定を行う。そのため、頭外定位処理装置100には、マイクユニット2とヘッドホン43とが接続されている。頭外定位処理装置100は、図3の測定装置200と同様に、マイクユニット2と、ヘッドホン43とを用いたインパルス応答測定を行う。なお、マイクユニット2、及びヘッドホン43とBlueTooth(登録商標)などにより無線接続されていてもよい。
頭外定位処理装置100は、インパルス応答測定部111と、周波数特性取得部112と、極値抽出部113と、包絡線算出部114と、送信部131と、受信部132と、演算処理部120と、逆フィルタ算出部121と、フィルタ記憶部122と、スイッチ124と、を備えている。なお、頭外定位処理装置100とサーバ装置300とが一体の装置である場合、該装置は受信部132に代えてユーザデータを取得する取得部を備えていてもよい。
スイッチ124はユーザ測定と、頭外定位再生とを切り替える。すなわち、ユーザ測定の場合、スイッチ124は、ヘッドホン43とインパルス応答測定部111とを接続する。頭外定位再生の場合、スイッチ124は、ヘッドホン43を演算処理部120に接続する。
まず、外耳道伝達特性の逆フィルタを求める処理について説明する。インパルス応答測定部111は、ユーザ測定を行うため、インパルス音となる測定信号をヘッドホン43に出力する。ヘッドホン43が出力したインパルス音をマイクユニット2が収音する。ここでは、マイクユニット2がヘッドホン43に内蔵されている。また、マイクユニット2は、ヘッドホン43に脱着可能に取り付けられていても良い。
マイクユニット2は収音信号をインパルス応答測定部111に出力する。なお、インパルス応答測定については、図3の説明と同様であるため、適宜説明を省略する。すなわち、頭外定位処理装置100が、図3の測定処理装置201と同様の機能を有している。頭外定位処理装置100と、マイクユニット2と、ヘッドホン43とがユーザ測定を行う測定装置を構成するインパルス応答測定部111は、収音信号に対して、A/D変換や同期加算処理などを行ってもよい。
インパルス応答測定により、インパルス応答測定部111は、外耳道伝達特性に関する測定データECTFを取得する。測定データECTFは、ユーザUの左耳9Lの外耳道伝達特性に関する測定データECTFLと、右耳9Rの外耳道伝達特性に関する測定データECTFRとを含んでいる。
周波数特性取得部112は、測定データECTFL、ECTFRに対して所定の処理を行うことで、測定データECTFL、ECTFRの周波数特性を取得する。例えば、周波数特性取得部112は、離散フーリエ変換を行うことで、周波数振幅特性及び周波数位相特性を算出する。また、周波数特性取得部112は、離散フーリエ変換に限らず、離散コサイン変換などの離散信号を周波数領域に変換する手段により、周波数振幅特性及び周波数位相特性を算出してもよい。周波数振幅特性の代わりに、周波数パワー特性が用いられていてもよい。
逆フィルタ算出部121は、外耳道伝達特性の周波数特性に基づいて、逆フィルタを算出する。例えば、逆フィルタ算出部121は、測定データECTFL、ECTFRの周波数振幅特性や周波数位相特性を補正する。逆フィルタ算出部121は、外耳道伝達特性ECTFL、ECTFRの振幅スペクトルをキャンセルするような逆特性を求める。逆特性は、対数振幅スペクトルをキャンセルするようなフィルタ係数を有する振幅スペクトルである。
逆フィルタ算出部121は、逆離散フーリエ変換又は逆離散コサイン変換により、逆特性と位相特性から時間領域の信号を算出する。逆フィルタ算出部121は、逆特性と位相特性をIFFT(高速逆フーリエ変換)することで、時間信号を生成する。逆フィルタ算出部121は、生成した時間信号を所定のフィルタ長で切り出すことで、逆フィルタを算出する。逆フィルタ算出部121は、マイク2L、2Rからの収音信号に対して、同様の処理を行うことで、逆フィルタLinv、Rinvを生成する。なお、逆フィルタを求めるための処理は、公知の手法を用いることができるため、詳細な説明を省略する。
上記のように、逆フィルタはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルするフィルタである。フィルタ記憶部122は、逆フィルタ算出部121が算出した左右の逆フィルタを記憶する。これにより、図1に示したフィルタ部41、42に逆フィルタLinv、Rinvが設定される。
次に、空間音響伝達特性Hls、Hlo、Hro、Hrsに関する空間音響フィルタを決定するための処理について説明する。
周波数特性取得部112で取得された周波数特性は、極値抽出部113に入力される。具体的には、周波数特性取得部112は、周波数振幅特性を平滑化した後で、極値抽出部113に出力する。あるいは、極値抽出部113が周波数振幅特性を平滑化しても良い。
極値抽出部113は、周波数特性の極値を抽出する。極値抽出部113は、複数の極大値と、複数の極小値を抽出する。図5は、極値抽出部113による極大値の抽出処理を説明するための図である。図5において、横軸は周波数、縦軸は振幅となっている。
図5では、平滑化された周波数振幅特性を周波数特性user-bimとして示している。周波数振幅特性user-bimは、5個の極大値p0~p4を有している。極値抽出部113は全ての極大値p0~p4を抽出してもよく、一部を間引いてもよい。極値の2点間の周波数位置が任意の閾値に満たない場合、振幅の値が大きい極値を残し、小さい極値を間引く。例えば、1番目の極大値p0と2番目の極大値p1は、周波数位置間の距離が小さい。よって、極大値p0よりも低い極大値p1を間引く。この場合、極値抽出部113は、4つの極大値p0、p2~p4を抽出する。極値抽出部113は同様に複数の極小値を抽出する。極値抽出部113は、抽出した極値の周波数及び振幅の値を格納する。
包絡線算出部114は、極大値、及び極小値のそれぞれに基づいて包絡線を算出する。ここで、極大値に基づいて算出された包絡線のデータを第1包絡線データuser-bim_maxとし、極小値に基づいて算出された包絡線のデータを第2包絡線データuser-bim_minとする。
例えば、包絡線算出部114は複数の極大値をスプライン補間などの多項式補間したデータが第1包絡線データuser-bim_maxとなる。包絡線算出部114は複数の極小値をスプライン補間などの多項式補間したデータが第2包絡線データuser-bim_minとなる。もちろん、包絡線の算出は、スプライン補間などの多項式補間に限られるものではない。ここで、包絡線算出部114は、第1包絡線データuser-bim_maxと第2包絡線データuser-bim_minとは同じ多項式を用いて補間してもよいが、異なる式であってもよい。
図6は、周波数特性user-bimの極大値p0~p3に基づいて算出された第1包絡線データuser-bim_maxを示す図である。図7は、周波数特性user-bimの極小値n0~n2に基づいて算出された第2包絡線データuser-bim_minを示す模式図である。
このように包絡線算出部114は、極大値及び極小値の包絡線データをそれぞれ算出する。これにより、極大値に基づく第1包絡線データuser-bim_maxと、極小値に基づく第2包絡線データuser-bim_minとが算出される。第1包絡線データuser-bim_maxと、第2包絡線データuser-bim_minとユーザの外耳道伝達特性の特徴を示すユーザ特徴量となる。
例えば、第1包絡線データuser-bim_maxと、第2包絡線データuser-bim_minは、周波数毎の振幅値の集合となる。つまり、第1包絡線データuser-bim_maxと、第2包絡線データuser-bim_minは、複数の振幅値を含む多次元ベクトルとして示される。第1包絡線データuser-bim_maxと、第2包絡線データuser-bim_minは、同じ次元数のベクトルとなっているが、異なる次元数のベクトルであってもよい。
送信部131は、第1包絡線データuser-bim_maxと、第2包絡線データuser-bim_minとをユーザデータ(ユーザ特徴量)としてサーバ装置300に送信する。送信部131は、ユーザデータに対して、通信規格に応じた処理(例えば、変調処理)を行って、送信する。送信部131は、第1包絡線データuser-bim_maxと、第2包絡線データuser-bim_minを構成する振幅値をユーザデータとして送信してもよい。あるいは、送信部131は、極値や多項式補間により得られた近似式の係数をユーザデータとして、送信してもよい。
次に、サーバ装置300の構成について、図8を用いて説明する。図8は、サーバ装置300の制御構成を示すブロック図である。サーバ装置300は、受信部301と、比較部302と、データ格納部303と、抽出部304と、決定部305と、送信部306と、を備えている。サーバ装置300は、ユーザデータに基づいて、空間音響フィルタを決定するフィルタ決定装置となる。なお、頭外定位処理装置100とサーバ装置300とが一体の装置である場合、該装置は、送信部306等を備えていなくてもよい。
さらに、サーバ装置300は、周波数特性取得部312と、極値抽出部313と、包絡線算出部314と、クラスタリング部315と、代表特徴量算出部316と、を備えている。
なお、サーバ装置300は、プロセッサやメモリなどを備えたコンピュータであり、プログラムにしたがって以下の処理を行う。また、サーバ装置300は単一な装置に限らず、2つ以上の装置の組み合わせにより実現してもよく、クラウドサーバ等の仮想サーバでもよい。データを格納するデータ格納部303と、データ処理を行う比較部302,決定部305等は物理的に異なる装置であってもよい。
データ格納部303は、事前測定で測定された複数の被測定者に関するデータをプリセットデータとして格納するデータベースである。図9を参照して、データ格納部303に格納されているデータについて、説明する。図9は、データ格納部303に格納されているデータを示す表である。
データ格納部303は、被測定者の左右の耳毎にプリセットデータを格納している。具体的には、データ格納部303は、被測定者ID、耳の左右、第1包絡線データ、第2包絡線データ、外耳道伝達特性、空間音響伝達特性1、及び空間音響伝達特性2が1行に並んだテーブル形式となっている。なお、図9に示すデータ形式は一例であり、テーブル形式ではなく、各パラメータのオブジェクトをタグ等で関連付けて保持するデータ形式等を採用してもよい。
データ格納部303には、1人の被測定者Aに対して、2つのデータセットが格納されている。すなわち、データ格納部303は、被測定者Aの左耳に関するデータセットと、被測定者Aの右耳に関するデータセットが格納されている。
1つのデータセットには、被測定者ID、耳の左右、第1包絡線データ、第2包絡線データ、外耳道伝達特性、空間音響伝達特性1、及び空間音響伝達特性2が含まれている。外耳道伝達特性は、図3に示す測定装置200による第2の事前測定に基づくデータである。外耳孔よりも前にある第1の位置からマイク2L、2Rまでの第1の外耳道伝達特性の周波数振幅特性となっている。
被測定者Aの左耳の外耳道伝達特性は、外耳道伝達特性ECTFL_Aと示し、被測定者Aの右耳の外耳道伝達特性は、外耳道伝達特性ECTFR_Aと示している。被測定者Bの左耳の外耳道伝達特性は、外耳道伝達特性ECTFL_Bと示し、被測定者Bの右耳の外耳道伝達特性は、外耳道伝達特性ECTFR_Bと示している。ユーザ測定と第2の事前測定に用いられるヘッドホン43は同じタイプのものであることが好ましいが、異なるタイプのものであってもよい。
空間音響伝達特性1、及び空間音響伝達特性2は、図2に示す測定装置200による第1の事前測定に基づくデータである。被測定者Aの左耳の場合、空間音響伝達特性1はHls_Aとなり、空間音響伝達特性2は、Hro_Aとなる。被測定者Aの右耳の場合、空間音響伝達特性1はHrs_Aとなり、空間音響伝達特性2は、Hlo_Aとなる。このように、1つの耳に関する2つの空間音響伝達特性がペアとなっている。被測定者Bの左耳については、Hls_BとHro_Bがペアとなり、被測定者Bの右耳については、Hrs_BとHlo_Bがペアとなっている。空間音響伝達特性1、及び空間音響伝達特性2は、フィルタ長で切り出された後のデータでもよく、フィルタ長で切り出される前のデータでもよい。
第1包絡線データ及び第2包絡線データは、包絡線算出部114で求められた第1包絡線データuser-bim_maxと、第2包絡線データuser-bim_minと同様のものである。
具体的には、周波数特性取得部312は、外耳道伝達特性ECTFL_Aの周波数特性を取得する。ここでは、周波数特性取得部312は平滑化した周波数振幅特性を周波数特性として算出する。極値抽出部313は、周波数特性の極大値及び極小値を抽出する。包絡線算出部314は、極大値に基づく第1包絡線データAL_bim_maxと、極小値に基づく第2包絡線データAL_bim_minとを算出する。第1包絡線データAL_bim_maxと第2包絡線データAL_bim_minは被測定者Aの左耳の外耳道伝達特性ECTFL_Aの特徴を示す特徴量となる。
周波数特性取得部312、極値抽出部313、包絡線算出部314の処理は、周波数特性取得部112、極値抽出部113、包絡線算出部114の処理と同様であるため適宜説明を省略する。なお、周波数特性取得部312における平滑化の処理、包絡線算出部314における補間処理は、周波数特性取得部112における平滑化の処理、包絡線算出部114における補間処理と同様の数式を用いた処理であることが好ましい。
周波数特性取得部312、極値抽出部313、包絡線算出部314は、外耳道伝達特性ECTFR_A等について同様の処理を施す。このようにすることで、各外耳道伝達特性について、第1及び第2包絡線データが算出される。データ格納部303は、第1及び第2包絡線データが外耳道伝達特性に対応づけて格納する。
周波数特性取得部312、極値抽出部313、包絡線算出部314における処理の少なくとも一部は、図3に示す測定処理装置201で行われてもよい。つまり測定処理装置201において、第1及び第2包絡線データを算出するための処理を行ってもよい。例えば、測定処理装置201が平滑化された周波振幅特性から極大値及び極小値を抽出して、極大値及び極小値を外耳道伝達特性とともにサーバ装置300に送信しても良い。
あるいは、測定処理装置201が第1及び第2包絡線データを算出して、サーバ装置300に第1及び第2包絡線データを送信しても良い。この場合、サーバ装置300において周波数特性取得部312、極値抽出部313、包絡線算出部314は不要となる。さらには、サーバ装置300、及び測定処理装置201以外の装置で、第1及び第2包絡線データを算出するための処理を行ってもよい。
被測定者Aの左耳については、第1包絡線データAL_bim_maxと、第2包絡線データAL_bim_minと、外耳道伝達特性ECTFLと、空間音響伝達特性Hls_Aと、空間音響伝達特性Hro_Aとが対応付けられて、1つのデータセットとなっている。同様に、被測定者Aの右耳については、第1包絡線データAR_bim_maxと、第2包絡線データAR_bim_minと、外耳道伝達特性ECTFR_Aと、空間音響伝達特性Hrs_Aと、空間音響伝達特性Hlo_Aとが対応付けられて、1つのデータセットとなっている。同様に、被測定者Bの左耳については、第1包絡線データBL_bim_maxと、第2包絡線データBL_bim_minと、外耳道伝達特性ECTFL_Bと、空間音響伝達特性Hls_Bと、空間音響伝達特性Hro_Bとが対応付けられて、1つのデータセットとなっている。同様に、被測定者Bの右耳については、第1包絡線データBR_bim_maxと、第2包絡線データBR_bim_minと、外耳道伝達特性ECTFL_Bと、空間音響伝達特性Hrs_Bと、空間音響伝達特性Hlo_Bとが対応付けられて、1つのデータセットとなっている。
なお、空間音響伝達特性1、2のペアを第1のプリセットデータとする。すなわち、1つのデータセットを構成する空間音響伝達特性1、及び空間音響伝達特性2を第1のプリセットデータとする。1つのデータセットを構成する第1包絡線データ、第2包絡線データ、及び外耳道伝達特性を第2のプリセットデータとする。1つのデータセットは、第1のプリセットデータ、及び第2のプリセットデータを含んでいる。そして、データ格納部303は、空間音響伝達特性に関する第1のプリセットデータと外耳道伝達特性に関する第2のプリセットデータとを被測定者の左右の耳毎に対応付けて記憶している。データ格納部303は、複数のデータセットの第1及び第2のプリセットデータを記憶している。
クラスタリング部315は、第1及び第2包絡線データに基づいて、第2のプリセットデータをクラスタリングしている。ここでは、第1及び第2包絡線データのペアをとして、クラスタリング部315が第2のプロセットデータを複数のクラスタ(グループ)に分割する。クラスタリング部315は、第1及び第2包絡線データをまとめて1つの特徴量ベクトルとして、特徴量ベクトル間の距離に応じて、クラスタリングを行うことができる。あるいは、クラスタリング部315は、第1包絡線データ、第2の包絡線データで別々にクラスタリングして、第1包絡線のクラスタリングした結果と第2の包絡線のクラスタリングした結果を組み合わせて分割してもよい。クラスタリングは、非階層型クラスタリングでもよく、階層型クラスタリングでもよい。
例えば、予め設定されたk個のクラスタに分類するk平均法(k-means)でクラスタリング部315が第2のプリセットデータをk個に分類する。1つのクラスタには複数セットの第2のプリセットデータが含まれている。1つのクラスタには、複数の被測定者に対する第2の事前測定で取得された第2のプリセットデータが含まれている。1つのクラスタには複数の耳に関する第2のプリセットデータが属する。1つのクラスタには、図9に示したデータセットが複数含まれている。なお、クラスタリング手法はk平均法に限られるものではない。
代表特徴量算出部316は、クラスタ毎に代表特徴量を算出する。代表特徴量算出部316は、1つのクラスタに含まれる第1及び第2包絡線データに基づいて代表特徴量を算出する。代表特徴量は、クラスタに属する複数の被測定者の耳の外耳道伝達特性の特徴を代表する特徴量ベクトルとなる。
図10は、各クラスタのデータ構成を説明するための表である。図10は、k(kは2以上の整数)個のクラスタのデータを示す表である。それぞれのクラスタには、第1特徴量、第2代表特徴量が対応付けられている。さらに、各クラスタに属する被測定者ID、及びその耳の左右が格納されている。データ格納部303は、図10に示すように、クラスタに関するデータを格納している。図10に示すデータ形式は一例であり、テーブル形式ではなく、各パラメータのオブジェクトをタグ等で関連付けて保持するデータ形式等を採用してもよい。
1番目のクラスタ(クラスタ1)には、被測定者Aの左耳、右耳、及び被測定者Bの左耳等の第2プリセットデータが含まれている。また、2番目のクラスタ(クラスタ2)には、被測定者Cの左耳、及び被測定者Cの右耳等の第2プリセットデータが含まれている。k番目のクラスタ(クラスタk)には、被測定者Zの左耳、右耳等の第2プリセットデータが含まれている、1つのクラスタには複数の被測定者が含まれている。
1番目のクラスタは第1代表特徴量1_bim_max及び第2代表特徴量1_bim_minを含んでいる。同様に2番目のクラスタは第1代表特徴量2_bim_max及び第2代表特徴量2_bim_minを含んでいる。k番目のクラスタは第1代表特徴量k_bim_max及び第2代表特徴量k_bim_minを含んでいる。
第1代表特徴量は極大値から得られる第1包絡線データに対応するデータであり、第2代表特徴量は極小値から得られる第2包絡線データに対応するデータである。第1代表特徴量1_bim_maxは、クラスタ1に属する複数の第1包絡線データから得られるデータである。第2代表特徴量1_bim_minは、クラスタ1に属する複数の第2包絡線データから得られるデータである。2番目~k番目のクラスタについても、それぞれのクラスタに属する第1包絡線データから第1代表特徴量が求められている。同様に、2番目~k番目のクラスタについても、それぞれのクラスタに属する第2包絡線データから第2代表特徴量が求められている。
例えば、各クラスタに属する1個以上から成る第1包絡線データの平均値を第1代表特徴量とすることができる。各クラスタに属する1個以上から成る第2包絡線データの平均値を第2代表特徴量とすることができる。周波数ごとに振幅値の平均値を求めて、代表値とする。全帯域での代表値の集合が、第1及び第2代表特徴量となる。もちろん、第1及び第2包絡線データの平均値ではなく、中央値を代表値としてもよい。第1代表特徴量は、第1包絡線データと同じ次元数のベクトルとなる。第2代表特徴量は、第2包絡線データと同じ次元数のベクトルとなる。データ格納部303は、第1代表特徴量と第2代表特徴量とを格納する。
上記の通り、第1包絡線データと第2包絡線データを別々にクラスタリングすることができる。図11、図12は、第1包絡線データと第2包絡線データを別々にクラスタリングした場合のクラスタのデータを示すテーブルである。図11は、第1包絡線データをクラスタリングしたデータを示すテーブルである。図12は、第2包絡線データをクラスタリングしたデータを示すテーブルである。
第1包絡線データでクラスタリングされたクラスタには、第1代表特徴量が求められており、第2包絡線データでクラスタリングされたクラスタには、第2代表特徴量が求められている。比較部302は、第1包絡線データに基づくユーザ特徴量を第1代表特徴量と比較する。比較部302は第2包絡線データに基づくユーザ特徴量を第2代表特徴量と比較する。そして、比較部302は2つの比較結果に基づいて類似クラスタを決定する。
第1包絡線データと第2包絡線データを別々にクラスタリングする場合、クラスタ分割数は、第1包絡線データ、及び第2包絡線データで異なっていてもよい。この場合、クラスタ分割数kは、第1包絡線データ、第2包絡線データのクラスタ分割数の総当たりで表現される。例えば、図11では、第1包絡線データがq個(qは2以上の整数)のクラスタに分割され、図12では、第2包絡線データがr個(rは2以上の整数)に分割されている。この場合、クラスタ分割数k=q*rとなる。さらに、帯域を分割して、第1包絡線データを2つ以上、第2包絡線データを2つ以上組み合わせてもよい。
このように、第1包絡線データ及び第2包絡線データで別々にクラスタリングすることで、複数のクラスタを生成することが可能である。第1包絡線データで分割されたクラスタが2つ、第2包絡線データで分割されたクラスタが3つの場合、(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)の6クラスタの組み合わせができる。この場合、クラスタに属するデータが0になるおそれがある。第1包絡線データと第2包絡線データに一定の相関関係がある場合、2つのクラスタに属する人数が0となることがある。
例えば、(2,3)のクラスタが類似クラスタである場合、第1包絡線データのクラスタ2に属し、かつ第2包絡線データのクラスタ3に属する被測定者が0人となることがある。この場合、抽出部304が、近隣クラスタから類似データセットを抽出することができる。第2包絡線データのクラスタ1,2の代表特徴量のうち、第2包絡線データのクラスタ3の第2代表特徴量との距離が最も近い代表特徴量を持つクラスタを近隣クラスタとする。例えば、第2包絡線データのクラスタ3の近隣クラスタがクラスタ2であるとする。この場合、近隣クラスタである(2,2)のクラスタから類似データセットを抽出する。
なお、図10、図11,及び図12では、Lch(左耳)とRch(右耳)のデータを混合してクラスタリングを行っているが、LchとRchのデータを別々にクラスタリングしてもよい。LchとRchのデータを別々にクラスタリングする場合、Lchのクラスタに対して第1代表特徴量及び第2代表特徴量が設定される。同様に、Rchのクラスタに対しても第1代表特徴量及び第2代表特徴量が設定される。
次に、ユーザデータに基づいて、フィルタを決定するための処理について説明する。受信部301は、頭外定位処理装置100から送信されたユーザデータを受信する。ここで、ユーザデータは、第1包絡線データuser-bim_max、及び第2包絡線データuser-bim_minを含むユーザ特徴量となっている。
比較部302は、ユーザ特徴量を代表特徴量と比較する。比較部302はユーザ特徴量を各クラスタの代表特徴量と比較することで、クラスタ毎に類似度スコアを求める。最も類似度スコアが高いクラスタが類似クラスタとなる。比較部302は、全クラスタに対してマッチングを行う。
さらに、比較部302は、ユーザ特徴量を類似クラスタに含まれる第2のプリセットデータと比較する。つまり、比較部302はユーザ特徴量を各データセットの第1及び第2包絡線データと比較することで、データセット毎に類似度スコアを求める。最も類似度が高いデータセットが類似データセットとなる。
以下、比較部302における処理の一例について説明する。上記のように、ユーザ特徴量は、第1包絡線データuser-bim_maxと、第2包絡線データuser-bim_minとを含んでいる。また、各クラスタには、第1包絡線データに対応する第1代表特徴量(例えば、1_bim_max)と、第2包絡線データに対応する第2代表特徴量(例えば、1_bim_min)とを含んでいる。
比較部302は、第1包絡線データuser-bim_maxと、第1代表特徴量(例えば、1_bim_max)との相関係数r_maxを算出する。比較部302は、第1包絡線データuser-bim_maxと、第1代表特徴量(例えば、1_bim_max)とのユークリッド距離q_maxを算出する。比較部302は、第2包絡線データuser-bim_minと、第2代表特徴量(例えば、1_bim_min)との相関係数r_minを算出する。比較部302は、第2包絡線データuser-bim_minと、第2代表特徴量(例えば、1_bim_min)とのユークリッド距離q_minを算出する。
比較部302は、相関係数r_max、ユークリッド距離q_max、相関係数r_min、ユークリッド距離q_minに基づいて類似度スコアを算出する。ユークリッド距離qは値が小さいほど距離が近いこと、つまり特性が似ていることを示す。相関係数rは-1~+1の間で値を取り、+1に近いほど似ていることを示す。よって、(1-r)の値が小さいほど、特性が類似していることとなる。
比較部302は、(1-r_max)、q_max、q_min、(1-r_min)の4つの値を重み付け加算することで、類似度スコアを算出する。重み付け加算の重みは適宜設定可能である。比較部302は、クラスタ毎に類似度スコアを算出する。比較部302は、最も類似度スコアが高いクラスタを類似クラスタとする。このようにして、ユーザ特徴量(ユーザデータ)に最も類似する類似クラスタが選択される。なお、比較部302は、ベクトル間距離又は相関係数の一方のみを用いて類似度スコアを算出してもよい。なお、類似度スコアは、相関値及び距離ベクトルの大きさ(ユークリッド距離)に限らず、コサイン類似度(コサイン距離)、マハラノビス距離、ピアソン相関係数等を用いて算出されていてもよい。また、比較部302は、2以上の類似クラスタを決定してもよい。
そして、比較部302は、ユーザ特徴量を類似クラスタに属する第2のプリセットデータの各データセットと比較する。例えば、類似クラスタが図10に示す表の1番目のクラスタ(クラスタ1)であったとする。この場合、類似クラスタには、被測定者Aの左耳のデータセット、被測定者Aの左耳のデータセット、被測定者Bの左耳のデータセット等が含まれている。比較部302は、類似クラスタに含まれる全データセットに対してマッチングを行う。
図9に示したように、各データセットには、第1包絡線データ(例えば、AL_bim_max)、及び第2包絡線データ(例えば、AL_bim_min)が含まれている。第1包絡線データ(例えば、AL_bim_max)、及び第2包絡線データ(例えば、AL_bim_min)をデータセットの特徴量とする。比較部302は、ユーザ特徴量に含まれる第1包絡線データuser-bim_maxと、第2のプリセットデータの第1包絡線データ(例えば、AL_bim_max)とを比較する。これにより、相関係数及びユークリッド距離が求められる。同様に、比較部302は、ユーザ特徴量に含まれる第2包絡線データuser-bim_minと、第2のプリセットデータの第2包絡線データ(例えば、AL_bim_min)とを比較する。これにより、相関係数及びユークリッド距離が求められる。
ユーザ特徴量とデータセットの特徴量との比較は、ユーザ特徴量とクラスタの代表特徴量との比較と同様になっている。したがって、ユーザ特徴量とデータセットの特徴量との比較においても、相関係数r_max、ユークリッド距離q_max、相関係数r_min、ユークリッド距離q_minが求められる。比較部302は、(1-r_max)、q_max、q_min、(1-r_min)の4つの値を重み付け加算することで、類似度スコアを算出する。類似度スコアはデータセット毎に算出される。比較部302は、最も類似度スコアが高いデータセットを類似データセットとする。このようにして、ユーザ特徴量(ユーザデータ)に最も類似する類似データセットが選択される。なお、クラスタでの比較と、データセットの比較とで、適宜重みを変更してもよい。あるいは、クラスタでの比較と、データセットの比較とで、異なる指標(コサイン距離等)を用いても良い。
抽出部304は、類似データセットに対応する第1のプリセットデータを抽出する。つまり、抽出部304は、データ格納部303から類似データセットに含まれる空間音響伝達特性1(例えば、Hls_A)、及び空間音響伝達特性2(例えば、Hro_A)を読み出す。
決定部305は、抽出された第1のプリセットデータに基づいて、空間音響フィルタを決定する。なお、決定部305は、空間音響伝達特性1、及び空間音響伝達特性2を補正して空間音響フィルタを決定してもよい。あるいは、決定部305は、空間音響伝達特性1、及び空間音響伝達特性2をそのまま空間音響フィルタとしてもよい。送信部306は、空間音響フィルタを頭外定位処理装置100に送信する。
図4に示した頭外定位処理装置100の受信部132が空間音響フィルタを受信する。受信部132が受信した空間音響フィルタをフィルタ記憶部122に記憶する。左右の外耳道伝達特性のそれぞれに対して、上記の処理を行う。このようにすることで、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた4つの空間音響フィルタが設定される。
例えば、サーバ装置300が左耳の測定データECTFLに対して上記の処理を行うことで、空間音響伝達特性Hls、Hroに応じた空間音響フィルタが生成される。サーバ装置300が右耳の測定データECTFRに対して上記の処理を行うことで、空間音響伝達特性Hlo、Hrsに応じた空間音響フィルタが生成される。
なお、比較部302において、ユーザの左耳に対して、被測定者の右耳がマッチングすることもあり得る。つまり、ユーザの左耳の形状が被測定者の右耳の形状が類似していることもあり得る。この場合、ユーザの空間音響伝達特性Hlsのフィルタが空間音響伝達特性1(例えば、Hrs_A)に基づいて決定され、ユーザの空間音響伝達特性Hroのフィルタが空間音響伝達特性2(例えば、Hlo_A)に基づいて決定される。同様にユーザの右耳に対して、被測定者の左耳がマッチングすることもあり得る。
本実施の形態では、極大値及び極大値に応じた包絡線データを特徴量としている。サーバ装置300は、特徴量に基づいてマッチングを行っている。比較部302は周波数振幅特性の概形を示す包絡線データ同士を比較しているため、ユーザの個人特性を表す特徴量が表れやすくなる。よって、適切にユーザに適した空間音響フィルタを用いて、頭外定位処理を行うことが可能になる。
さらに、クラスタ毎に代表特徴量が求められている。比較部302はユーザ特徴量と代表特徴量と比較することで類似クラスタを決定している。このようにすることで、事前測定で得られた全てのデータセットに対して、類似度スコアを算出する必要がなくなる。類似度スコアを算出するデータセットを選別することができる。よって、データベースに多数の被測定者のデータセットが格納されている場合、処理時間を短縮することが可能となる。
本実施の形態にかかる頭外定位フィルタ決定方法の一例について、図13、図14を用いて説明する。図13、図14は、空間音響フィルタを決定する決定方法を示すフローチャートである。
まず、図4に示したように、インパルス応答測定部111がヘッドホン43の出力ユニットから測定信号を出力する(S10)。インパルス応答測定部111がマイクユニット2を用いて測定信号を収音する(S11)。インパルス応答測定部111がユーザUの外耳道伝達特性に関する測定データECTFL、ECTFRを取得する。インパルス応答測定部111は、同期加算処理を行っていてもよい。
次に、周波数特性取得部112が、測定データECTFL、ECTFRから周波数特性を取得する(S12)。周波数特性取得部112が、時間領域の測定データECTFL、ECTFRをフーリエ変換することで、周波数振幅特性及び周波数位相特性が求められる。周波数特性取得部112は、周波数振幅特性を平滑化してもよい。また、逆フィルタ算出部121は、周波数特性に基づいて、逆フィルタを算出してもよい。
極値抽出部113は、平滑化された周波数振幅特性の極大値及び極小値を抽出する(S13)。包絡線算出部は、極大値及び極小値から第1及び第2包絡線データを算出する(S14)。つまり、包絡線算出部114は複数の極大値に基づいて第1包絡線データuser-bim_maxを算出する。包絡線算出部114は複数の極小値に基づいて第2包絡線データuser-bim_minを算出する。例えば、包絡線算出部114は極大値を補間することで第1包絡線データuser-bim_maxを算出する。包絡線算出部114は極小値を補間することで第2包絡線データuser-bim_minを算出する。
送信部131は、第1及び第2包絡線データをユーザ特徴量としてサーバ装置300に送信する(S15)。つまり、第1包絡線データuser-bim_max、及び第2包絡線データuser-bim_minの振幅値の集合がユーザ特徴量として送信される。
なお、ここでは、送信部131が第1及び第2包絡線データをユーザ特徴量としてサーバ装置300に送信しているが、送信部131は、測定信号(測定データECTFL、ECTFR)自体をサーバ装置300に送信してもよい。この場合、S12~S14の処理がサーバ装置300で実施される。つまり、送信部131がサーバ装置300に送信するデータに合わせて、サーバ装置300又は測定装置200がS12~S14の処理を行うことができる。
比較部302は、ユーザ特徴量と代表特徴量とを比較する(S16)。比較部302は、第1包絡線データuser-bim_maxとクラスタの第1代表特徴量(例えば、1-bim_max)とを比較する。また、比較部302は、第2包絡線データuser-bim_minとクラスタの第2代表特徴量(例えば、1-bim_min)とを比較する。これにより、1つのクラスタに対する類似度スコアが求められる。
比較部302は、全てのクラスタが終了したか否かを判定する(S17)。全てのクラスタが終了していない場合(S17のNO)、ステップS16に戻って、比較部302はユーザ特徴量を次のクラスタの代表特徴量と比較する。全てのクラスタが終了した場合(S17のYES)、比較部302は、類似クラスタを決定する(S18)。つまり、最も類似度スコアが高いクラスタが類似クラスタとなる。
次に、ユーザ特徴量と類似クラスタに含まれるデータセットの特徴量とを比較する(S19)。つまり、比較部302は、第1包絡線データuser-bim_maxとクラスタの第1包絡線データ(たとえば、AL-bim_max)とを比較する。また、比較部302は、第2包絡線データuser-bim_minとクラスタの第2包絡線データ(たとえば、AL-user-bim_min)とを比較する。これにより、1つのデータセットに対する類似度スコアが求められる。
比較部302は、クラスタに属する全てのデータセットが終了したか否かを判定する(S20)。全てのデータセットが終了していない場合(S20のNO)、ステップS19に戻って、比較部302は、ユーザ特徴量を次のデータセットの代表特徴量と比較する。全てのデータセットが終了した場合(S20のYES)、比較部302は、類似データセットを決定する(S21)。つまり、最も類似度スコアが高いデータセットが類似データセットとなる。
抽出部304は、類似データセットの第1のプリセットデータを抽出する(S22)。すなわち、抽出部304は、類似クラスタに含まれる複数の第1のプリセットデータの中から、1つの第1のプリセットデータを抽出する。決定部305は、抽出された第1のプリセットデータに応じた空間音響フィルタを決定する(S23)。そして、送信部306は、空間音響フィルタを頭外定位処理装置100に送信する(S24)。
このようにすることで、適切に空間音響フィルタを決定することができる。なお、上記の説明では、サーバ装置300が空間音響フィルタを決定したが、空間音響フィルタを決定するための処理の一部は、頭外定位処理装置100で実施されていてもよい。例えば、送信部306が第1のプリセットデータを頭外定位処理装置100に送信して、頭外定位処理装置100において第1のプリセットデータを補正して空間音響フィルタを決定してもよい。
なお、クラスタリング部315は、クラスタリングは帯域毎に分割して行ってもよい。例えば、高域と低域の2つの帯域に分割する場合、高域と帯域とでそれぞれクラスタリングを行う。そして、高域での類似クラスタと、低域での類似クラスタをそれぞれ求めてもよい。この場合、高域と低域とで類似データセットが異なることになるため、高域の第1のプリセットデータ(空間音響伝達特性)と低域の(空間音響伝達特性)を合成することで、空間音響フィルタを生成してよい。あるいは、高域と低域とで相関係数及びユークリッド距離を求めてもよい。そして、高域の相関係数及びユークリッド距離、低域の相関係数及びユークリッド距離を重み付け加算することで、類似クラスタを求めてもよい。
なお、上記の処理では、極値抽出部が、平滑化した周波数特性の極大値及び極小値を抽出しているが、平滑化のパラメータを帯域毎に調整しても良い。
極値の抽出処理において、極大値及び極小値の周波数振幅特性の振幅値に閾値を設定して、閾値を超える場合は極値の値を閾値に丸めるようにしてもよい。このようにすることで、急峻な極大値又は極小値によってクラスタリングに偏りが生じるのを防ぐことができる。
また、クラスタリングを行わずに、全データセットに対して類似度スコアを求めても良い。周波数特性取得部312、極値抽出部313、包絡線算出部314、クラスタリング部315、代表特徴量算出部316は不要となる。また、図13のステップS16~S18は必須ではない。
なお、比較部302でのマッチングした空間音響伝達特性を補正して、空間音響フィルタを決定しても良い。例えば、マッチングした空間音響伝達特性を、左右の耳で特性に差の無い代表特性と混合して、空間音響フィルタを生成してもよい。具体的には、任意の周波数以上の帯域では、マッチングした空間音響伝達特性をそのまま用いて、任意の周波数未満の帯域では、代表特性を用いてもよい。
なお、頭外定位処理装置100の処理の少なくも一部は、サーバ装置300で行ってもよい。たとえば、周波数特性取得部112、極値抽出部113、及び包絡線算出部114の処理は、サーバ装置300で行われてもよい。サーバ装置300の処理の一部は、頭外定位処理装置100で行ってもよい。あるいは、頭外定位処理装置100、測定処理装置201、サーバ装置300とは物理的に異なる装置が一部の処理を行ってもよい。
変形例1
変形例1では、類似クラスタの中から類似データセットを決定する処理が異なっている。変形例1では、比較部302が、特徴量(包絡線データ)ではなく外耳道伝達特性の周波数特性の相関に基づいて、類似データセットを決定している。例えば、比較部302が、任意の帯域における外耳道伝達特性の周波数特性の相関を求め、最も相関が高いデータセットを類似データセットとすることができる。
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
U ユーザ
1 被測定者
2L 左マイク
2R 右マイク
5L 左スピーカ
5R 右スピーカ
9L 左耳
9R 右耳
10 頭外定位処理部
11 畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24 加算器
25 加算器
41 フィルタ部
42 フィルタ部
43 ヘッドホン
100 頭外定位処理装置
111 インパルス応答測定部
112 周波数特性取得部
113 極値抽出部
114 包絡線算出部
131 送信部
132 受信部
120 演算処理部
121 逆フィルタ算出部
122 フィルタ記憶部
131 送信部
132 受信部
200 測定装置
201 測定処理装置
300 サーバ装置
301 受信部
302 比較部
303 データ格納部
304 抽出部
305 決定部
306 送信部
312 周波数特性取得部
313 極値抽出部
314 包絡線算出部
315 クラスタリング部
316 代表特徴量算出部

Claims (6)

  1. ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、
    前記ユーザの耳に装着され、前記出力ユニットから出力された音を収音するマイクユニットと、
    前記出力ユニットに対して測定信号を出力するとともに、前記マイクユニットから出力された収音信号を測定する測定部と、
    音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、前記被測定者の耳の外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部であって、複数の前記被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部と、
    前記収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得部と、
    前記周波数特性の極大値及び極小値を抽出する極値抽出部と、
    前記極大値及び前記極小値をそれぞれ補間することで、前記極大値に基づく第1包絡線データと、前記極小値に基づく第2包絡線データを算出する包絡線算出部と、
    前記第1及び前記第2包絡線データに基づくユーザ特徴量を複数の前記第2のプリセットデータに基づく複数の特徴量とそれぞれ比較する比較部と、
    前記比較部の比較結果に基づいて、前記第1のプリセットデータを抽出する抽出部と、
    抽出された前記第1のプリセットデータに応じたフィルタを決定する決定部と、を備えた頭外定位フィルタ決定システム。
  2. 前記データ格納部は、前記第1のプリセットデータと前記第2のプリセットデータとを1つのデータセットとして、複数のデータセットを格納しており、
    複数の前記第2のプリセットデータが複数のクラスタに分類されており、
    前記比較部は、前記クラスタ毎の代表特徴量を前記ユーザ特徴量と比較することで、前記複数のクラスタから類似クラスタを決定し、
    前記比較部は、前記類似クラスタに属する前記第2のプリセットデータの特徴量を前記ユーザ特徴量と比較することで、前記類似クラスタの中から類似データセットを決定し、
    前記決定部は、前記類似データセットに対応する第1のプリセットデータを抽出して、抽出した前記第1のプリセットデータに応じたフィルタを決定する請求項1に記載の頭外定位フィルタ決定システム。
  3. 前記第2のプリセットデータの前記第1包絡線データ及び前記第2包絡線データで別々にクラスタリングすることで、前記複数の第2のプリセットデータが複数のクラスタに分類されており、
    前記第1包絡線データで分割されたクラスタには、第1代表特徴量が対応付けられており、
    前記第2包絡線データで分割されたクラスタには、第2代表特徴量が対応付けられており、
    前記比較部は、前記第1包絡線データに基づくユーザ特徴量を前記第1代表特徴量と比較し、かつ第2包絡線データに基づくユーザ特徴量を前記第2代表特徴量と比較する請求項2に記載の頭外定位フィルタ決定システム。
  4. 前記第2のプリセットデータが複数の帯域に分割されており、
    前記帯域毎に前記第2のプリセットデータがクラスタリングされている請求項2、又は3に記載の頭外定位フィルタ決定システム。
  5. ユーザに装着され、前記ユーザの耳に向けて音を出力する出力ユニットと、
    前記ユーザの耳に装着され、前記出力ユニットから出力された音を収音するマイクユニットと、
    音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、前記被測定者の耳の外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部であって、複数の前記被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部とを備えたシステムにおける頭外定位フィルタ決定方法であって、
    ユーザに装着された出力ユニットにそれぞれ測定信号を出力する出力ステップと、
    前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、
    前記収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得ステップと
    前記周波数特性の極大値及び極小値を抽出する抽出ステップと、
    前記極大値及び前記極小値をそれぞれ補間することで、前記極大値に基づく第1包絡線データと、前記極小値に基づく第2包絡線データを算出する算出ステップと、
    前記第1及び前記第2包絡線データに基づくユーザ特徴量を複数の前記第2のプリセットデータに基づく複数の特徴量とそれぞれ比較する比較ステップと、
    前記比較ステップの比較結果に基づいて、前記第1のプリセットデータを抽出する抽出ステップと、
    抽出した前記第1のプリセットデータに応じたフィルタを決定する決定ステップと、を備えた頭外定位フィルタ決定方法。
  6. コンピュータに対して頭外定位フィルタ決定方法を実行させるためのプログラムであって、
    前記コンピュータは、音源から被測定者の耳までの空間音響伝達特性に関する第1のプリセットデータと、前記被測定者の耳の外耳道伝達特性に関する第2のプリセットデータを対応付けて記憶するデータ格納部であって、複数の前記被測定者に対して取得された複数の前記第1及び第2のプリセットデータを記憶するデータ格納部にアクセス可能であり、
    前記頭外定位フィルタ決定方法は、
    ユーザに装着された出力ユニットにそれぞれ測定信号を出力するステップと、
    前記出力ユニットから前記ユーザの耳に向けて出力された前記測定信号をユーザの耳に装着されたマイクユニットで収音したときの収音信号を取得する信号取得ステップと、
    前記収音信号を周波数領域に変換して、周波数特性を取得する周波数特性取得ステップと、
    前記周波数特性の極大値及び極小値を抽出する抽出ステップと、
    前記極大値及び前記極小値をそれぞれ補間することで、前記極大値に基づく第1包絡線データと、前記極小値に基づく第2包絡線データを算出する算出ステップと、
    前記第1及び前記第2包絡線データに基づくユーザ特徴量を複数の前記第2のプリセットデータに基づく複数の特徴量とそれぞれ比較する比較ステップと、
    前記比較ステップの比較結果に基づいて、前記第1のプリセットデータを抽出する抽出ステップと、
    抽出した前記第1のプリセットデータに応じたフィルタを決定する決定ステップと、を備えたプログラム。
JP2020123654A 2020-07-20 2020-07-20 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム Active JP7435334B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020123654A JP7435334B2 (ja) 2020-07-20 2020-07-20 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
CN202110700722.8A CN113965859B (zh) 2020-07-20 2021-06-23 头外定位滤波器确定系统、方法以及程序
US17/372,365 US11470422B2 (en) 2020-07-20 2021-07-09 Out-of-head localization filter determination system, out-of-head localization filter determination method, and computer readable medium
EP21185877.4A EP3944640B1 (en) 2020-07-20 2021-07-15 Out-of-head localization filter determination system, out-of-head localization filter determination method, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020123654A JP7435334B2 (ja) 2020-07-20 2020-07-20 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022020258A true JP2022020258A (ja) 2022-02-01
JP7435334B2 JP7435334B2 (ja) 2024-02-21

Family

ID=76942914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020123654A Active JP7435334B2 (ja) 2020-07-20 2020-07-20 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム

Country Status (4)

Country Link
US (1) US11470422B2 (ja)
EP (1) EP3944640B1 (ja)
JP (1) JP7435334B2 (ja)
CN (1) CN113965859B (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596644A (en) * 1994-10-27 1997-01-21 Aureal Semiconductor Inc. Method and apparatus for efficient presentation of high-quality three-dimensional audio
JP2006251697A (ja) 2005-03-14 2006-09-21 Yamaha Corp カラオケ装置
JP6138015B2 (ja) * 2013-10-01 2017-05-31 クラリオン株式会社 音場測定装置、音場測定方法および音場測定プログラム
JP6515720B2 (ja) 2015-07-23 2019-05-22 株式会社Jvcケンウッド 頭外定位処理装置、頭外定位処理方法、及びプログラム
WO2017106898A1 (en) * 2015-12-22 2017-06-29 Acoustic 3D Holdings Ltd Improved sound projection
JP6565709B2 (ja) * 2016-01-26 2019-08-28 株式会社Jvcケンウッド 音像定位処理装置、及び音像定位処理方法
JP6658026B2 (ja) * 2016-02-04 2020-03-04 株式会社Jvcケンウッド フィルタ生成装置、フィルタ生成方法、及び音像定位処理方法
JP6701824B2 (ja) * 2016-03-10 2020-05-27 株式会社Jvcケンウッド 測定装置、フィルタ生成装置、測定方法、及びフィルタ生成方法
JP6790654B2 (ja) * 2016-09-23 2020-11-25 株式会社Jvcケンウッド フィルタ生成装置、フィルタ生成方法、及びプログラム
JP6903933B2 (ja) 2017-02-15 2021-07-14 株式会社Jvcケンウッド 収音装置、及び収音方法
CN110301142B (zh) * 2017-02-24 2021-05-14 Jvc建伍株式会社 滤波器生成装置、滤波器生成方法以及存储介质
JP6791001B2 (ja) 2017-05-10 2020-11-25 株式会社Jvcケンウッド 頭外定位フィルタ決定システム、頭外定位フィルタ決定装置、頭外定位決定方法、及びプログラム
JP6950405B2 (ja) * 2017-09-27 2021-10-13 株式会社Jvcケンウッド 処理装置、処理方法、及びプログラム
US10390171B2 (en) * 2018-01-07 2019-08-20 Creative Technology Ltd Method for generating customized spatial audio with head tracking

Also Published As

Publication number Publication date
JP7435334B2 (ja) 2024-02-21
US20220021976A1 (en) 2022-01-20
EP3944640B1 (en) 2024-05-15
CN113965859B (zh) 2024-06-14
US11470422B2 (en) 2022-10-11
EP3944640A1 (en) 2022-01-26
CN113965859A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
US10798517B2 (en) Out-of-head localization filter determination system, out-of-head localization filter determination device, out-of-head localization filter determination method, and program
US11503406B2 (en) Processor, out-of-head localization filter generation method, and program
WO2021059984A1 (ja) 頭外定位フィルタ決定システム、頭外定位処理装置、頭外定位フィルタ決定装置、頭外定位フィルタ決定方法、及びプログラム
JP7435334B2 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
JP6753329B2 (ja) フィルタ生成装置、及びフィルタ生成方法
CN110301142A (zh) 滤波器生成装置、滤波器生成方法以及程序
JP2022185840A (ja) 頭外定位処理装置、及び頭外定位処理方法
US11044571B2 (en) Processing device, processing method, and program
WO2021059983A1 (ja) ヘッドホン、頭外定位フィルタ決定装置、頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
JP7404736B2 (ja) 頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム
JP7395906B2 (ja) ヘッドホン、頭外定位フィルタ決定装置、及び頭外定位フィルタ決定方法
JP2024125727A (ja) クラスタリング装置、及びクラスタリング方法
US11228837B2 (en) Processing device, processing method, reproduction method, and program
JP7115353B2 (ja) 処理装置、処理方法、再生方法、及びプログラム
JP2018139345A (ja) フィルタ生成装置、フィルタ生成方法、及びプログラム
JP2023024038A (ja) 処理装置、及び処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240122

R150 Certificate of patent or registration of utility model

Ref document number: 7435334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150