JP2020136752A - 処理装置、処理方法、再生方法、及びプログラム - Google Patents

Abstract

【課題】適切な処理を行うことができる処理装置、処理方法、再生方法、及びプログラムを提供することを目的とする。【解決手段】本実施の形態にかかる処理装置２０１は、収音信号の周波数特性に対する包絡線を算出する包絡線算出部２１４と、包絡線の周波数データを尺度変換及びデータ補間することで、尺度変換データを生成する尺度変換部２１５と、尺度変換データを複数の周波数帯域に分けて、周波数帯域毎の特徴値を求め、特徴値に基づいて、正規化係数を算出する正規化係数算出部２１６と、正規化係数を用いて、時間領域の収音信号を正規化する正規化部２１７と、を備えている。【選択図】図３

Description

本発明は、処理装置、処理方法、再生方法、及びプログラムに関する。

特許文献１に開示された録音及び再生システムは、ラウドスピーカに供給される信号を処理するためのフィルタ手段を用いている。フィルタ手段は、２つのフィルタ設計ステップを含んでいる。１つ目のステップでは、仮想音源の位置と再生音場の特定位置の間の伝達関数をフィルタ（Ａ）の形式で記述している。なお、再生音場の特定位置は、受聴者の耳元、又は頭部領域である。さらに、２つ目のステップでは、伝達関数フィルタ（Ａ）を、ラウドスピーカの入力と特定位置との間の電気音響伝達経路又は経路群（Ｃ）をインバートするために使用されるクロストークキャンセル用フィルタ（Ｈｘ）の行列とともに畳み込んでいる。また、クロストークキャンセル用フィルタ（Ｈｘ）の行列は、インパルス応答を測定することで作成される。

ところで、音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像を定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンから耳までの特性（ヘッドホン特性）をキャンセルし、１つのスピーカ（モノラルスピーカ）から耳までの２本の特性（空間音響伝達特性）を与えることにより、音像を頭外に定位させている。

ステレオスピーカの頭外定位再生においては、２チャンネル（以下、ｃｈと記載）のスピーカから発した測定信号（インパルス音等）を聴取者（リスナー）本人の耳に設置したマイクロフォン（以下、マイクとする）で録音する。そして、測定信号を集音して得られた収音信号に基づいて、処理装置がフィルタを生成する。生成したフィルタを２ｃｈのオーディオ信号に畳み込むことにより、頭外定位再生を実現することができる。

さらに、ヘッドホンから耳までの特性をキャンセルするフィルタを生成するために、ヘッドホンから耳元乃至鼓膜までの特性（外耳道伝達関数ＥＣＴＦ、外耳道伝達特性とも称する）を聴取者本人の耳に設置したマイクで測定する。

特許文献２には、外耳道伝達関数の逆フィルタを生成する方法が開示されている。特許文献２の方法では、ノッチに起因する高音ノイズを防止するために、外耳道伝達関数の振幅成分を補正している。具体的には、振幅成分のゲインがゲイン閾値を下回る場合，ゲイン値を補正することで、ノッチを調整している。そして、補正後の外耳道伝達関数に基づいて、逆フィルタを生成している。

特表平１０−５０９５６５号公報 特開２０１５−１２６２６８号公報

頭外定位処理を行う場合、聴取者本人の耳に設置したマイクで特性を測定することが好ましい。外耳道伝達特性を測定する場合、受聴者の耳にマイク、ヘッドホンを装着した状態で、インパルス応答測定などが実施される。聴取者本人の特性を用いることで、聴取者に適したフィルタを生成することができる。このような、フィルタ生成等のために、測定で得られた収音信号を適切に処理することが望まれる。

本発明は上記の点に鑑みなされたものであり、適切に収音信号を処理することができる処理装置、処理方法、再生方法、及びプログラムを提供することを目的とする。

本実施の形態にかかる処理装置は、収音信号の周波数特性に対する包絡線を算出する包絡線算出部と、前記包絡線の周波数データを尺度変換及びデータ補間することで、尺度変換データを生成する尺度変換部と、前記尺度変換データを複数の周波数帯域に分けて、前記周波数帯域毎の特徴値を求め、前記特徴値に基づいて、正規化係数を算出する正規化係数算出部と、前記正規化係数を用いて、時間領域の収音信号を正規化する正規化部と、を備えている。

本実施の形態にかかる処理方法は、収音信号の周波数特性に対する包絡線を算出するステップと、前記包絡線の周波数データを尺度変換及びデータ補間することで、尺度変換データを生成するステップと、前記尺度変換データを複数の周波数帯域に分けて、前記周波数帯域毎の特徴値を求め、前記特徴値に基づいて、正規化係数を算出するステップと、前記正規化係数を用いて、時間領域の収音信号を正規化するステップと、を含んでいる。

本実施の形態にかかるプログラムは、コンピュータに対して処理方法を実行させるためのプログラムであって、前記処理方法は、収音信号の周波数特性に対する包絡線を算出するステップと、前記包絡線の周波数データを尺度変換及びデータ補間することで、尺度変換データを生成するステップと、前記尺度変換データを複数の周波数帯域に分けて、前記周波数帯域毎の特徴値を求め、前記特徴値に基づいて、正規化係数を算出するステップと、前記正規化係数を用いて、時間領域の収音信号を正規化するステップと、を含んでいる。

本発明によれば、適切に収音信号を処理することができる処理装置、処理方法、再生方法、及びプログラムを提供することができる。

本実施の形態に係る頭外定位処理装置を示すブロック図である。 測定装置の構成を模式的に示す図である。 処理装置の構成を示すブロック図である。 収音信号のパワースペクトルとその包絡線を示すグラフである。 正規化前後のパワースペクトルを示すグラフである。 ディップ補正前の正規化パワースペクトルを示すグラフである、 ディップ補正後の正規化パワースペクトルを示すグラフである、 フィルタ生成処理を示すフローチャートである。

本実施の形態にかかる音像定位処理の概要について説明する。本実施の形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、ヘッドホン又はイヤホンのスピーカユニットから鼓膜までの伝達特性である。本実施の形態では、ヘッドホン又はイヤホンを装着していない状態での空間音響伝達特性を測定し、かつ、ヘッドホン又はイヤホンを装着した状態での外耳道伝達特性を測定し、それらの測定データを用いて頭外定位処理を実現している。本実施の形態は、空間音響伝達特性、又は外耳道伝達特性を測定するためのマイクシステムに特徴を有している。

本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ、スマートホン、タブレットＰＣなどのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段（出力ユニット）が接続される。ユーザ端末と出力手段との接続は、有線接続でも無線接続でもよい。

実施の形態１．
（頭外定位処理装置）
本実施の形態にかかる音場再生装置の一例である、頭外定位処理装置１００のブロック図を図１に示す。頭外定位処理装置１００は、ヘッドホン４３を装着するユーザＵに対して音場を再生する。そのため、頭外定位処理装置１００は、ＬｃｈとＲｃｈのステレオ入力信号ＸＬ、ＸＲについて、音像定位処理を行う。ＬｃｈとＲｃｈのステレオ入力信号ＸＬ、ＸＲは、ＣＤ（Compact Disc）プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、オーディオ再生信号、又はデジタルオーディオデータをまとめて再生信号と称する。すなわち、ＬｃｈとＲｃｈのステレオ入力信号ＸＬ、ＸＲが再生信号となっている。

なお、頭外定位処理装置１００は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がスマートホンなどにより行われ、残りの処理がヘッドホン４３に内蔵されたＤＳＰ(Digital Signal Processor)などにより行われてもよい。

頭外定位処理装置１００は、頭外定位処理部１０、逆フィルタＬｉｎｖを格納するフィルタ部４１、逆フィルタＲｉｎｖを格納するフィルタ部４２、及びヘッドホン４３を備えている。頭外定位処理部１０、フィルタ部４１、及びフィルタ部４２は、具体的にはプロセッサ等により実現可能である。

頭外定位処理部１０は、空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを格納する畳み込み演算部１１〜１２、２１〜２２、及び加算器２４、２５を備えている。畳み込み演算部１１〜１２、２１〜２２は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部１０には、ＣＤプレイヤーなどからのステレオ入力信号ＸＬ、ＸＲが入力される。頭外定位処理部１０には、空間音響伝達特性が設定されている。頭外定位処理部１０は、各ｃｈのステレオ入力信号ＸＬ、ＸＲに対し、空間音響伝達特性のフィルタ（以下、空間音響フィルタとも称する）を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数ＨＲＴＦでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。

４つの空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを１セットとしたものを空間音響伝達関数とする。畳み込み演算部１１、１２、２１、２２で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓを所定のフィルタ長で切り出すことで、空間音響フィルタが生成される。

空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、ユーザＵが左右の耳にマイクをそれぞれ装着する。ユーザＵの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓが取得される。左スピーカと左マイクとの間の空間音響伝達特性Ｈｌｓ、左スピーカと右マイクとの間の空間音響伝達特性Ｈｌｏ、右スピーカと左マイクとの間の空間音響伝達特性Ｈｒｏ、右スピーカと右マイクとの間の空間音響伝達特性Ｈｒｓが測定される。

そして、畳み込み演算部１１は、Ｌｃｈのステレオ入力信号ＸＬに対して空間音響伝達特性Ｈｌｓに応じた空間音響フィルタを畳み込む。畳み込み演算部１１は、畳み込み演算データを加算器２４に出力する。畳み込み演算部２１は、Ｒｃｈのステレオ入力信号ＸＲに対して空間音響伝達特性Ｈｒｏに応じた空間音響フィルタを畳み込む。畳み込み演算部２１は、畳み込み演算データを加算器２４に出力する。加算器２４は２つの畳み込み演算データを加算して、フィルタ部４１に出力する。

畳み込み演算部１２は、Ｌｃｈのステレオ入力信号ＸＬに対して空間音響伝達特性Ｈｌｏに応じた空間音響フィルタを畳み込む。畳み込み演算部１２は、畳み込み演算データを、加算器２５に出力する。畳み込み演算部２２は、Ｒｃｈのステレオ入力信号ＸＲに対して空間音響伝達特性Ｈｒｓに応じた空間音響フィルタを畳み込む。畳み込み演算部２２は、畳み込み演算データを、加算器２５に出力する。加算器２５は２つの畳み込み演算データを加算して、フィルタ部４２に出力する。

フィルタ部４１、４２にはヘッドホン特性（ヘッドホンの再生ユニットとマイク間の特性）をキャンセルする逆フィルタＬｉｎｖ、Ｒｉｎｖが設定されている。そして、頭外定位処理部１０での処理が施された再生信号（畳み込み演算信号）に逆フィルタＬｉｎｖ、Ｒｉｎｖを畳み込む。フィルタ部４１で加算器２４からのＬｃｈ信号に対して、Ｌｃｈ側のヘッドホン特性の逆フィルタＬｉｎｖを畳み込む。同様に、フィルタ部４２は加算器２５からのＲｃｈ信号に対して、Ｒｃｈ側のヘッドホン特性の逆フィルタＲｉｎｖを畳み込む。逆フィルタＬｉｎｖ、Ｒｉｎｖは、ヘッドホン４３を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。

フィルタ部４１は、処理されたＬｃｈ信号ＹＬをヘッドホン４３の左ユニット４３Ｌに出力する。フィルタ部４２は、処理されたＲｃｈ信号ＹＲをヘッドホン４３の右ユニット４３Ｒに出力する。ユーザＵは、ヘッドホン４３を装着している。ヘッドホン４３は、Ｌｃｈ信号ＹＬとＲｃｈ信号ＹＲ（以下、Ｌｃｈ信号ＹＬとＲｃｈ信号ＹＲをまとめてステレオ信号とも称する）をユーザＵに向けて出力する。これにより、ユーザＵの頭外に定位された音像を再生することができる。

このように、頭外定位処理装置１００は、空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタＬｉｎｖ，Ｒｉｎｖを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Ｈｌｓ、Ｈｌｏ、Ｈｒｏ、Ｈｒｓに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタＬｉｎｖ，Ｒｉｎｖとをまとめて頭外定位処理フィルタとする。２ｃｈのステレオ再生信号の場合、頭外定位フィルタは、４つの空間音響フィルタと、２つの逆フィルタとから構成されている。そして、頭外定位処理装置１００は、ステレオ再生信号に対して合計６個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。頭外定位フィルタは、ユーザＵ個人の測定に基づくものであることが好ましい。例えば，ユーザＵの耳に装着されたマイクが収音した収音信号に基づいて、頭外定位フィルタが設定されている。

このように空間音響フィルタと、ヘッドホン特性の逆フィルタＬｉｎｖ，Ｒｉｎｖはオーディオ信号用のフィルタである。これらのフィルタが再生信号（ステレオ入力信号ＸＬ、ＸＲ）に畳み込まれることで、頭外定位処理装置１００が、頭外定位処理を実行する。本実施の形態では、逆フィルタＬｉｎｖ，Ｒｉｎｖを生成するための処理が技術的特徴の一つとなっている。以下、逆フィルタを生成するための処理について説明する。

（外耳道伝達特性の測定装置）
逆フィルタを生成するために、外耳道伝達特性を測定する測定装置２００について、図２を用いて説明する。図２は、ユーザＵに対して伝達特性を測定するための構成を示している。測定装置２００は、マイクユニット２と、ヘッドホン４３と、処理装置２０１と、を備えている。なお、ここでは、被測定者１は、図１のユーザＵと同一人物となっている。

本実施の形態では、測定装置２００の処理装置２０１が、測定結果に応じて、フィルタを適切に生成するための演算処理を行っている。処理装置２０１は、パーソナルコンピュータ（ＰＣ）、タブレット端末、スマートホン等であり、メモリ、及びプロセッサを備えている。メモリは、処理プログラムや各種パラメータや測定データなどを記憶している。プロセッサは、メモリに格納された処理プログラムを実行する。プロセッサが処理プログラムを実行することで、各処理が実行される。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit）、又は、GPU(Graphics Processing Unit)等であってもよい。

処理装置２０１には、マイクユニット２と、ヘッドホン４３と、が接続されている。なお、マイクユニット２は、ヘッドホン４３に内蔵されていてもよい。マイクユニット２は、左マイク２Ｌと、右マイク２Ｒとを備えている。左マイク２Ｌは、ユーザＵの左耳９Ｌに装着される。右マイク２Ｒは、ユーザＵの右耳９Ｒに装着される。処理装置２０１は、頭外定位処理装置１００と同じ処理装置であってもよく、異なる処理装置であってよい。また、ヘッドホン４３の代わりにイヤホンを用いることも可能である。

ヘッドホン４３は、ヘッドホンバンド４３Ｂと、左ユニット４３Ｌと、右ユニット４３Ｒとを、有している。ヘッドホンバンド４３Ｂは、左ユニット４３Ｌと右ユニット４３Ｒとを連結する。左ユニット４３ＬはユーザＵの左耳９Ｌに向かって音を出力する。右ユニット４３ＲはユーザＵの右耳９Ｒに向かって音を出力する。ヘッドホン４３は密閉型、開放型、半開放型、または半密閉型等である、ヘッドホンの種類を問わない。マイクユニット２がユーザＵに装着された状態で、ユーザＵがヘッドホン４３を装着する。すなわち、左マイク２Ｌ、右マイク２Ｒが装着された左耳９Ｌ、右耳９Ｒにヘッドホン４３の左ユニット４３Ｌ、右ユニット４３Ｒがそれぞれ装着される。ヘッドホンバンド４３Ｂは、左ユニット４３Ｌと右ユニット４３Ｒとをそれぞれ左耳９Ｌ、右耳９Ｒに押し付ける付勢力を発生する。

左マイク２Ｌは、ヘッドホン４３の左ユニット４３Ｌから出力された音を収音する。右マイク２Ｒは、ヘッドホン４３の右ユニット４３Ｒから出力された音を収音する。左マイク２Ｌ、及び右マイク２Ｒのマイク部は、外耳孔近傍の収音位置に配置される。左マイク２Ｌ、及び右マイク２Ｒは、ヘッドホン４３に干渉しないように構成されている。すなわち、左マイク２Ｌ、及び右マイク２Ｒは左耳９Ｌ、右耳９Ｒの適切な位置に配置された状態で、ユーザＵがヘッドホン４３を装着することができる。

処理装置２０１は、ヘッドホン４３に対して測定信号を出力する。これにより、ヘッドホン４３はインパルス音などを発生する。具体的には、左ユニット４３Ｌから出力されたインパルス音を左マイク２Ｌで測定する。右ユニット４３Ｒから出力されたインパルス音を右マイク２Ｒで測定する。測定信号の出力時に、マイク２Ｌ、２Ｒが収音信号を取得することで、インパルス応答測定が実施される。

処理装置２０１は、マイク２Ｌ、２Ｒからの収音信号に対して、同様の処理を行うことで、逆フィルタＬｉｎｖ、Ｒｉｎｖを生成する。以下、測定装置２００の処理装置２０１と、その処理について詳細に説明する。図３は、処理装置２０１を示す制御ブロック図である。処理装置２０１は、測定信号生成部２１１と、収音信号取得部２１２と、包絡線算出部２１４と、尺度変換部２１５を備えている。さらに、処理装置２０１は、正規化係数算出部２１６と、正規化部２１７と、変換部２１８と、ディップ補正部２１９と、フィルタ生成部２２０と、を備えている。

測定信号生成部２１１は、Ｄ／Ａ変換器やアンプなどを備えており、外耳道伝達特性を測定するための測定信号を生成する。測定信号は、例えば、インパルス信号やＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｃｈｅｄ Ｐｕｌｓｅ）信号等である。ここでは、測定信号としてインパルス音を用いて、測定装置２００がインパルス応答測定を実施している。

マイクユニット２の左マイク２Ｌ、右マイク２Ｒがそれぞれ測定信号を収音し、収音信号を処理装置２０１に出力する。収音信号取得部２１２は、左マイク２Ｌ、右マイク２Ｒで収音された収音信号を取得する。なお、収音信号取得部２１２は、マイク２Ｌ、２Ｒからの収音信号をＡ／Ｄ変換するＡ／Ｄ変換器を備えていてもよい。収音信号取得部２１２は、複数回の測定により得られた信号を同期加算してもよい。時間領域の収音信号をＥＣＴＦと称する。

包絡線算出部２１４は、収音信号の周波数特性の包絡線を算出する。包絡線算出部２１４は、ケプストラム分析を用いて、包絡線を求めることができる。まず、包絡線算出部２１４は、離散フーリエ変換や離散コサイン変換により、収音信号（ＥＣＴＦ）の周波数特性を算出する。包絡線算出部２１４は、例えば、時間領域のＥＣＴＦをＦＦＴ（高速フーリエ変換）することで、周波数特性を算出する。周波数特性は、パワースペクトルと、位相スペクトルとを含んでいる。なお、包絡線算出部２１４はパワースペクトルの代わりに振幅スペクトルを生成してもよい。

パワースペクトルの各パワー値（振幅値）を対数変換する。包絡線算出部２１４は、対数変換のスペクトルに対して逆フーリエ変換を行うことで、ケプストラムを求める。包絡線算出部２１４は、ケプストラムにリフタを適用する。リフタは、低周波数帯域成分のみを通過させるローパスリフタである。包絡線算出部２１４、リフタを通過したケプストラムをＦＦＴ変換することで、ＥＣＴＦのパワースペクトルの包絡線を求めることができる。図４は、パワースペクトルとその包絡線の一例を示すグラフである。

このように、包絡線のデータを算出するためにケプストラム分析を用いることで、簡易な計算で、パワースペクトルを平滑化することができる。よって、演算量を少なくすることができる。包絡線算出部２１４は、ケプストラム分析以外の手法を用いてもよい。例えば、振幅値を対数変換したものに対し、一般的な平滑化（スムージング）手法を適用することで、包絡線を算出してもよい。平滑化手法としては、単純移動平均、Savitzky-Golayフィルタ、平滑化スプライン、などを用いることができる。

尺度変換部２１５は、対数軸において、離散的なスペクトルデータが等間隔になるように包絡線データの尺度を変化する。包絡線算出部２１４で求められた包絡線データは、周波数的に等間隔となっている。つまり、包絡線データは、周波数線形軸において等間隔となっているため、周波数対数軸では非等間隔になっている。このため、尺度変換部２１５は、周波数対数軸において包絡線データが等間隔になるように、包絡線データに対して補間処理を行う

包絡線データにおいて、対数軸上では、低周波数域になればなるほど隣接するデータ間隔は粗く、高周波数域になればなるほど隣接するデータ間隔は密になっている。そのため、尺度変換部２１５は、データ間隔が粗い低周波数帯域のデータを補間する。具体的には、尺度変換部２１５は、３次元スプライン補間等の補間処理を行うことで、対数軸において等間隔に配置された離散的な包絡線データを求める。尺度変換が行われた包絡線データを、尺度変換データとする。尺度変換データは、周波数とパワー値とが対応付けられているスペクトルとなる。

対数尺度に変換する理由について説明する。一般的に人間の感覚量は対数に変換されていると言われている。そのため、聴こえる音の周波数も対数軸で考えることが重要になる。尺度変換することで、上記の感覚量においてデータが等間隔となるため、全ての周波数帯域でデータを等価に扱えるようになる。この結果、数学的な演算、周波数帯域の分割や重み付けが容易になり、安定した結果を得ることが可能になる。なお、尺度変換部２１５は、対数尺度に限らず、人間の聴覚に近い尺度（聴覚尺度と称する）へ包絡線データを変換すればよい。聴覚尺度としては、対数尺度（Ｌｏｇスケール）、メル（ｍｅｌ）尺度、バーク（Ｂａｒｋ）尺度、ＥＲＢ（Equivalent Rectangular Bandwidth）尺度等で尺度変換をしてもよい。尺度変換部２１５は、データ補間により、包絡線データを聴覚尺度で尺度変換する。例えば、尺度変換部２１５は、聴覚尺度においてデータ間隔が粗い低周波数帯域のデータを補間することで、低周波数帯域のデータを密にする。聴覚尺度で等間隔なデータは、線形尺度（リニアスケール）では低周波数帯域が密、高周波数帯域が粗なデータとなる。このようにすることで、尺度変換部２１５は、聴覚尺度で等間隔な尺度変換データを生成することができる。もちろん、尺度変換データは、聴覚尺度において、完全に等間隔なデータでなくてもよい。

正規化係数算出部２１６は、尺度変換データに基づいて、正規化係数を算出する。そのため、正規化係数算出部２１６は、尺度変換データを複数の周波数帯域に分けて、周波数帯域毎に特徴値を算出する。そして、正規化係数算出部２１６は、周波数帯域毎の特徴値に基づいて、正規化係数を算出する。正規化係数算出部２１６は、周波数帯域毎の特徴値を重み付け加算することで、正規化係数を算出する。

正規化係数算出部２１６は、尺度変換データを４つの周波数帯域（以下、第１〜第４の帯域とする）に分割する。第１の帯域は、最小周波数（例えば、１０Ｈｚ）以上１０００Ｈｚ未満である。第１の帯域は、ヘッドホン４３がフィットするかどうかで変化する範囲である。第２の帯域は、１０００Ｈｚ以上、４ｋＨｚ未満である。第２の帯域は、ヘッドホンそのものの特性が個人によらず表れる範囲である。第３の帯域は、４ｋＨｚ以上、１２ｋＨｚ未満である。第３の特性は、個人の特性が最もよく表れる範囲である。第４の帯域は、１２ｋＨｚ以上、最大周波数（例えば、２２．４ｋＨｚ）以下である。第４の帯域は、ヘッドホンを装着する毎に変化する範囲である。なお、各帯域の範囲は例示であり、上記の値に限られるものではない。

特徴値は、例えば、各帯域における尺度変換データの最大値、最小値、平均値、中央値の４値となっている。第１の帯域の４値をAmax（最大値）、Amin（最小値）、Aave（平均値）、Amed（中央値）とする。第２の帯域の４値、Bmax、Bmin、Bave、Bmedとする。同様に、第３の帯域の４値をCmax、Cmin、Cave、Cmedとし、第４の帯域の４値をDmax、Dmin、Dave、Dmedとする。

正規化係数算出部２１６は、帯域毎に、４つの特徴値に基づいて、基準値を算出する。
第１の帯域の基準値をAstdとすると基準値Astdは以下の式（１）で示される。
Astd=Amax×0.15＋Amin×0.15＋Aave×0.3＋Amed×0.4 ・・・（１）

第２の帯域の基準値をBstdとすると基準値Bstdは以下の式（２）で示される。
Bstd=Bmax×0.25＋Bmin×0.25＋Bave×0.4＋Bmed×0.1 ・・・（２）

第３の帯域の基準値をCstdとすると基準値Cstdは以下の式（３）で示される。
Cstd=Cmax×0.4＋Cmin×0.1＋Cave×0.3＋Cmed×0.2 ・・・（３）

第４の帯域の基準値をDstdとすると基準値Dstdは以下の式（４）で示される。
Dstd=Dmax×0.1＋Dmin×0.1＋Dave×0.5＋Dmed×0.3 ・・・（４）

正規化係数をStdとすると、正規化係数Stdは、以下の式（５）で示される。
Std=Astd×0.25＋Bstd×0.4＋Cstd×0.25＋Dstd×0.1 ・・・（５）

このように、正規化係数算出部２１６は、帯域毎の特徴値を重み付け加算することで、正規化係数Stdを算出している。正規化係数算出部２１６は、４つの周波数帯域に分けて、それぞれの帯域から４個の特徴値を抽出する。正規化係数算出部２１６は、１６個の特徴値を重み付け加算している。各帯域の分散値を算出して、分散値に応じて、重み付けを変えてもよい。特徴値として、積分値などを用いてもよい。また、１つの帯域の特徴値の数は４つに限らず、５つ以上でも３つ以下でもよい。最大値、最小値、平均値、中央値、積分値、及び分散値の少なくとも１つ以上が特徴値となっていればよい。換言すると、最大値、最小値、平均値、中央値、積分値、分散値の一つ以上に対する重み付け加算の係数が０となっていてもよい。

正規化部２１７は、正規化係数を用いて、収音信号を正規化する。具体的には、正規化部２１７は、Std×ＥＣＴＦを正規化後の収音信号として算出する。正規化後の収音信号を正規化ＥＣＴＦとする。正規化部２１７は、正規化係数を用いることで、ＥＣＴＦを適切なレベルに正規化することができる。

変換部２１８は、離散フーリエ変換や離散コサイン変換により、正規化ＥＣＴＦの周波数特性を算出する。例えば、変換部２１８は、時間領域の正規化ＥＣＴＦをＦＦＴ（高速フーリエ変換）することで、周波数特性を算出する。正規化ＥＣＴＦの周波数特性は、パワースペクトルと、位相スペクトルとを含んでいる。なお、変換部２１８はパワースペクトルの代わりに振幅スペクトルを生成してもよい。正規化ＥＣＴＦの周波数特性を正規化周波数特性とする。また、正規化ＥＣＴＦのパワースペクトルと位相スペクトルを正規化パワースペクトルと正規化位相スペクトルとする。図５に正規化前後のパワースペクトルを示す。正規化を行うことで、パワースペクトルのパワー値が適切なレベルに変化する。

ディップ補正部２１９は、正規化パワースペクトルのディップを補正する。ディップ補正部２１９は、正規化パワースペクトルのパワー値が閾値以下となっている箇所をディップと判定して、ディップとなっている箇所のパワー値を補正する。例えば、ディップ補正部２１９は、閾値を下回った箇所を補間することで、ディップを補正している。ディップ補正後の正規化パワースペクトルを補正パワースペクトルとする。

ディップ補正部２１９は、正規化パワースペクトルを２つの帯域に分けて、帯域毎に異なる閾値を設定している。例えば、１２ｋＨｚを境界周波数として、１２ｋＨｚ以下を低周波数帯域、１２ｋＨｚ以上を高周波数帯域とする。低周波数帯域の閾値を第１の閾値ＴＨ１とし、高周波数帯域の閾値を第２の閾値ＴＨ２とする。第１の閾値ＴＨ１は、第２の閾値ＴＨ２よりも低くすることが好ましい、例えば、第１の閾値ＴＨ１を、−１３ｄＢとし、第２の閾値ＴＨ２を−９ｄＢとすることができる。もちろん、ディップ補正部２１９は、３つ以上の帯域に分けて、それぞれの帯域に異なる閾値を設定してもよい。

図６、図７にディップ補正前後のパワースペクトルを示す。図６はディップ補正前のパワースペクトル、すなわち、正規化パワースペクトルを示すグラフである。図７はディップ補正後の補正後パワースペクトルを示すグラフである。

図６に示すように、低周波数帯域では、箇所Ｐ１において、パワー値が第１の閾値ＴＨ１を下回っている。ディップ補正部２１９は、低周波数帯域において、パワー値が第１の閾値ＴＨ１を下回る箇所Ｐ１をディップと判定する。高周波数帯域において、箇所Ｐ２において、パワー値が第２の閾値ＴＨ２を下回っている。ディップ補正部２１９は、高周波数帯域において、パワー値が第２の閾値ＴＨ２を下回る箇所Ｐ２をディップと判定する。

ディップ補正部２１９は、箇所Ｐ１、Ｐ２におけるパワー値を大きくする。例えば、ディップ補正部２１９は、箇所Ｐ１のパワー値を第１の閾値ＴＨ１に置き換える。ディップ補正部２１９は、箇所Ｐ２のパワー値を第２の閾値ＴＨ２に置き換える。また、ディップ補正部２１９は、図７に示すように、閾値を下回る箇所と下回らない箇所との境界部分を丸め込んでもよい。あるいは、ディップ補正部２１９は、スプライン補間などの手法を用いて箇所Ｐ１、Ｐ２を補間することで、ディップを補正してもよい。

フィルタ生成部２２０は、補正後パワースペクトルを用いて、フィルタを生成する。フィルタ生成部２２０は、補正後パワースペクトルの逆特性を求める。具体的には、フィルタ生成部２２０は、補正後パワースペクトル（ディップが補正された周波数特性）をキャンセルするような逆特性を求める。逆特性は、補正後の対数パワースペクトルをキャンセルするようなフィルタ係数を有するパワースペクトルである。

フィルタ生成部２２０は、逆離散フーリエ変換又は逆離散コサイン変換により、逆特性と位相特性（正規化位相スペクトル）から時間領域の信号を算出する。フィルタ生成部２２０は、逆特性と位相特性をＩＦＦＴ（逆高速フーリエ変換）することで、時間信号を生成する。フィルタ生成部２２０は、生成した時間信号を所定のフィルタ長で切り出すことで、逆フィルタを算出する。

処理装置２０１は、左マイク２Ｌで収音された収音信号に上記の処理を実施することで、逆フィルタＬｉｎｖを生成する。処理装置２０１は、右マイク２Ｒで収音された収音信号に上記の処理を実施することで、逆フィルタＲｉｎｖを生成する。逆フィルタＬｉｎｖ、Ｒｉｎｖがそれぞれ、図１のフィルタ部４１，４２に設定される。

このように、本実施の形態では、処理装置２０１は、正規化係数算出部２１６が、尺度変換データに基づいて、正規化係数を算出している。これにより、正規化部２１７が、適切な正規化係数を用いて、正規化を行うことができる。聴感上重要な帯域に着目して、正規化係数を算出することができる。一般的には、時間領域の信号を正規化する場合に、二乗和やＲＭＳ（二乗平均平方根）が、既定値になるように係数を求めている。このような一般的な方法を用いた場合に比べて、本実施の形態の処理により、適切な正規化係数を求めることができる。

被測定者１の外耳道伝達特性の測定は、マイクユニット２とヘッドホン４３と用いて行われる。さらに、処理装置２０１はスマートホン等とすることができる。このため、測定の設定が測定毎に異なるおそれがある。また、ヘッドホン４３やマイクユニット２の装着に、ばらつきが生じるおそれもある。処理装置２０１が上記のように算出した正規化係数StdをＥＣＴＦに乗じることで、正規化を行っている。このようにすることで、測定時の設定等によるばらつきを抑制して、外耳道伝達特性を測定することができる。

ディップ補正部２１９において、ディップが補正された補正パワースペクトルを用いて、フィルタ生成部２２０が逆特性を算出している。これにより、ディップに対応する周波数帯域において、逆特性のパワー値が急峻な立ち上がり波形となることを防ぐことができる。これにより、適切な逆フィルタを生成することができる。さらに、ディップ補正部２１９は、周波数特性を２つ以上の周波数帯域に分けて、異なる閾値を設定している。このようにすることで、周波数帯域毎に適切にディップを補正することができる。よって、より適切な逆フィルタＬｉｎｖ、Ｒｉｎｖを生成することができる。

さらに、このようなディップ補正を適切に行うために、正規化部２１７がＥＣＴＦを正規化している。正規化ＥＣＴＦのパワースペクトル（又は振幅スペクトル）のディップをディップ補正部２１９が補正している。よって、ディップ補正部２１９は適切にディップを補正することができる。

本実施の形態における処理装置２０１における処理方法について、図８を用いて説明する。図８は、本実施の形態にかかる処理方法を示すフローチャートである。

まず、包絡線算出部２１４が、ケプストラム分析を用いて、ＥＣＴＦのパワースペクトルの包絡線を算出する（Ｓ１）。上記のように、包絡線算出部２１４は、ケプストラム分析以外の手法を用いてもよい。

尺度変換部２１５が、包絡線データを対数的に等間隔なデータへの尺度変換を行う（Ｓ２）。尺度変換部２１５は、データ間隔が粗い低周波数帯域のデータを、３次元スプライン補間などで補間する。これにより、周波数対数軸において等間隔な尺度変換データが得られる。尺度変換部２１５は、対数尺度に限らず、先に述べた各種の聴覚尺度を用いて尺度変換を行ってもよい。

正規化係数算出部２１６が、周波数帯域毎の重み付けを用いて、正規化係数の算出を行う（Ｓ３）。正規化係数算出部２１６には、予め複数の周波数帯域毎に重みが設定されている。正規化係数算出部２１６は、周波数帯域毎に尺度変換データの特徴値を抽出する。そして、正規化係数算出部２１６は、複数の特徴値を重み付け加算することで、正規化係数を算出する。

正規化部２１７は、正規化係数を用いて、正規化ＥＣＴＦを算出する（Ｓ４）。正規化部２１７は、時間領域のＥＣＴＦに正規化係数を乗じることで、正規化ＥＣＴＦを算出する。

変換部２１８は、正規化ＥＣＴＦの周波数特性を算出する（Ｓ５）。変換部２１８は、正規化ＥＣＴＦを離散フーリエ変換等することで、正規化パワースペクトルと正規化位相スペクトルを算出する。

ディップ補正部２１９は、周波数帯域毎に異なる閾値を用いて、正規化パワースペクトルのディップを補間する（Ｓ６）。例えば、ディップ補正部２１９は、低周波数帯域では正規化パワースペクトルのパワー値が第１の閾値ＴＨ１を下回る箇所を補間する。ディップ補正部２１９は、高周波数帯域では正規化パワースペクトルのパワー値が第２の閾値ＴＨ２を下回る箇所を補間する。これにより、正規化パワースペクトルのディップが、帯域毎にそれぞれの閾値となるように、補正することができる。これにより、補正後パワースペクトルを求めることができる。

フィルタ生成部２２０は、補正後パワースペクトルを用いて、時間領域データを算出する（Ｓ７）。フィルタ生成部２２０は、補正後パワースペクトルの逆特性を算出する。逆特性は、補正後パワースペクトルに基づくヘッドホン特性を打ち消すようなデータである。そして、フィルタ生成部２２０は、逆特性とＳ５で求めた正規化位相スペクトルとに対して、逆ＦＦＴを施すことにより、時間領域データを算出する。

フィルタ生成部２２０は、時間領域データを所定のフィルタ長で切り出すことで、逆フィルタを算出する（Ｓ８）。フィルタ生成部２２０は、逆フィルタＬｉｎｖ，Ｒｉｎｖを頭外定位処理装置１００に出力する。頭外定位処理装置１００は、逆フィルタＬｉｎｖ，Ｒｉｎｖを用いて、頭外定位処理した再生信号を再生する。これにより、ユーザＵは、適切に頭外定位処理された再生信号を受聴することができる。

なお、上記の実施の形態では、処理装置２０１が逆フィルタＬｉｎｖ、Ｒｉｎｖを生成していたが、処理装置２０１は、逆フィルタＬｉｎｖ、Ｒｉｎｖを生成するものに限定されるものではない。例えば、処理装置２０１は、収音信号を適切に正規化する処理を行う必要がある場合に好適である。

上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ)、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ)、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

Ｕ ユーザ
１ 被測定者
１０ 頭外定位処理部
１１ 畳み込み演算部
１２ 畳み込み演算部
２１ 畳み込み演算部
２２ 畳み込み演算部
２４ 加算器
２５ 加算器
４１ フィルタ部
４２ フィルタ部
４３ ヘッドホン
２００ 測定装置
２０１ 処理装置
２１１ 測定信号生成部
２１２ 収音信号取得部
２１４ 包絡線算出部
２１５ 尺度変換部
２１６ 正規化係数算出部
２１７ 正規化部
２１８ 変換部
２１９ ディップ補正部
２２０ フィルタ生成部

Claims (8)

1. 収音信号の周波数特性に対する包絡線を算出する包絡線算出部と、
   前記包絡線の周波数データを尺度変換及びデータ補間することで、尺度変換データを生成する尺度変換部と、
   前記尺度変換データを複数の周波数帯域に分けて、前記周波数帯域毎の特徴値を求め、前記特徴値に基づいて、正規化係数を算出する正規化係数算出部と、
   前記正規化係数を用いて、時間領域の収音信号を正規化する正規化部と、を備えた処理装置。
2. 前記正規化された収音信号を周波数領域に変換して、正規化周波数特性を算出する変換部と、
   前記正規化周波数特性のパワー値又は振幅値に対して、ディップ補正を行うディップ補正部と、
   前記ディップ補正された正規化周波数特性を用いて、フィルタを生成するフィルタ生成部と、を備えた請求項１に記載の処理装置。
3. 前記ディップ補正部は、周波数帯域毎に異なる閾値を用いて、ディップを補正している請求項２に記載の処理装置。
4. 前記正規化係数算出部は、前記周波数帯域毎に、複数の特徴値を求め、
   前記複数の特徴値を重み付け加算することで、前記正規化係数を算出する請求項１〜３のいずれか１項に記載の処理装置。
5. 収音信号の周波数特性に対する包絡線を算出するステップと、
   前記包絡線の周波数データを尺度変換及びデータ補間することで、尺度変換データを生成するステップと、
   前記尺度変換データを複数の周波数帯域に分けて、前記周波数帯域毎の特徴値を求め、前記特徴値に基づいて、正規化係数を算出するステップと、
   前記正規化係数を用いて、時間領域の収音信号を正規化するステップと、を含む処理方法。
6. 前記正規化された収音信号を周波数領域に変換して、正規化周波数特性を算出する変換部と、
   前記正規化周波数特性に対して、ディップ補間を行うディップ補間部と、
   前記ディップ補間された正規化周波数特性を用いて、フィルタを生成するフィルタ生成部と、を備えた請求項５に記載の処理方法。
7. 請求項６に記載の処理方法で生成された前記フィルタを用いて、再生信号に頭外定位処理を行うステップを備えた再生方法。
8. コンピュータに対して処理方法を実行させるためのプログラムであって、
   前記処理方法は、
   収音信号の周波数特性に対する包絡線を算出するステップと、
   前記包絡線の周波数データを尺度変換及びデータ補間することで、尺度変換データを生成するステップと、
   前記尺度変換データを複数の周波数帯域に分けて、前記周波数帯域毎の特徴値を求め、前記特徴値に基づいて、正規化係数を算出するステップと、
   前記正規化係数を用いて、時間領域の収音信号を正規化するステップと、を含む、プログラム。

Images