JP2014010279A - 雑音抑圧装置 - Google Patents

雑音抑圧装置 Download PDF

Info

Publication number
JP2014010279A
JP2014010279A JP2012146594A JP2012146594A JP2014010279A JP 2014010279 A JP2014010279 A JP 2014010279A JP 2012146594 A JP2012146594 A JP 2012146594A JP 2012146594 A JP2012146594 A JP 2012146594A JP 2014010279 A JP2014010279 A JP 2014010279A
Authority
JP
Japan
Prior art keywords
unit
noise
frequency
channels
noise suppression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012146594A
Other languages
English (en)
Inventor
Ryoichi Miyazaki
亮一 宮崎
Hiroshi Saruwatari
洋 猿渡
Kazunobu Kondo
多伸 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nara Institute of Science and Technology NUC
Yamaha Corp
Original Assignee
Nara Institute of Science and Technology NUC
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nara Institute of Science and Technology NUC, Yamaha Corp filed Critical Nara Institute of Science and Technology NUC
Priority to JP2012146594A priority Critical patent/JP2014010279A/ja
Publication of JP2014010279A publication Critical patent/JP2014010279A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】複数のチャネルの音響信号を利用した構成のもとで雑音成分を高精度に抑圧する。
【解決手段】雑音抑圧部32Aは、相異なる位置に配置された複数の収音機器Mが生成するD個のチャネルの音響信号xd(t)に対して雑音成分を抑圧する雑音抑圧処理を実行する。制御部34Aは、複数の周波数の各々について、当該周波数での平均強度が高いチャネルの音響信号xd(t)が雑音抑圧処理に優先的に反映されるように雑音抑圧部32Aを制御する。
【選択図】図1

Description

本発明は、音響信号の雑音成分を抑圧する技術に関する。
相互に離間して配置された複数の収音機器が生成する複数のチャネルの音響信号を利用して雑音成分を抑圧(目的音成分を強調)する技術が従来から提案されている。例えば非特許文献1には、各収音機器が生成した複数のチャネルの音響信号に対する独立成分分析(ICA:Independent Component Analysis)で雑音成分を推定し、周波数領域にて音響信号から雑音成分を減算する技術(BSSA:Blind Spatial Subtraction Array)が開示されている。
Y. Takahashi, et al., "Blind spatial subtraction array for speech enhancement in noisy environment", IEEE Trans. Audio, Speech, and Lang. Process., vol.17, no.4, p.650-664, 2009
ところで、独立成分分析による雑音成分の推定では、目的音成分の音源を点音源と見做せる場合(各収音機器に対する目的音の波面が安定的に維持される場合)には雑音成分を高精度に推定することが可能であるが、音響の反射や散乱を経た多様な経路で収音機器に目的音成分が到来したチャネルの音響信号を雑音成分の推定に適用した場合には雑音成分の推定精度が低下するという問題がある。なお、以上の説明では便宜的に独立成分分析による雑音成分の推定に言及したが、複数のチャネルの音響信号を利用して雑音成分を抑圧する他の技術においても同様の問題が発生し得る。以上の事情を考慮して、本発明は、複数のチャネルの音響信号を利用した構成のもとで雑音成分を高精度に抑圧することを目的とする。
本発明の雑音抑圧装置は、相異なる位置に配置された複数の収音機器が生成する複数のチャネルの音響信号に対して雑音成分を抑圧する雑音抑圧処理を実行する雑音抑圧手段(例えば雑音抑圧部32A,32B,32C,32D)と、複数の周波数の各々について当該周波数での平均強度(平均パワーや平均振幅)が高いチャネルの音響信号が雑音抑圧処理に優先的に反映されるように雑音抑圧手段を制御する制御手段(例えば制御部34A,34B,34C,34D)とを具備する。以上の構成では、平均強度が高いチャネル(点音源性が高いチャネル)の音響信号が雑音抑圧処理に優先的に反映されるように周波数毎に雑音抑圧手段が制御されるから、雑音成分を高精度に抑圧することが可能である。
本発明の第1態様において、雑音抑圧手段は、各チャネルの音響信号に対して順次に雑音抑圧処理を実行する複数段の単位処理手段(例えば単位処理部U[1]〜U[Q])と、複数段のうち最終段の単位処理手段による処理後の各チャネルの音響信号を合成する合成処理手段(例えば合成処理部46)とを含み、制御手段は、複数の周波数の各々について、複数段のうち先頭段の単位処理手段による処理前の音響信号の当該周波数での平均強度が高い2以上のチャネルを選択し、複数段の単位処理手段の各々は、複数の周波数の各々について、制御手段が当該周波数について選択した2以上のチャネルの音響信号に対する独立成分分析で雑音成分を推定する雑音推定手段(例えば雑音推定部441)と、雑音推定手段が推定した各周波数の雑音成分を複数のチャネルの各々の音響信号から抑圧する抑圧処理手段(例えば抑圧処理部443)とを含む。第1態様の具体例は、例えば第1実施形態として後述される。なお、第1態様は、雑音抑圧処理の反復を省略した態様に変形され得る。第1態様の変形例において、制御手段は、複数の周波数の各々について、音響信号の当該周波数での平均強度が高い2以上のチャネルを選択し、雑音抑圧手段は、複数の周波数の各々について、制御手段が当該周波数について選択した2以上のチャネルの音響信号に対する独立成分分析で雑音成分を推定する雑音推定手段と、雑音推定手段が推定した各周波数の雑音成分を複数のチャネルの各々の音響信号から抑圧する抑圧処理手段とを含む。
第1態様に係る雑音抑圧装置の好適例において、制御手段は、複数の周波数の各々について、各チャネルの音響信号における当該周波数の平均強度の最大値に応じて閾値を設定し、平均強度が閾値を上回る2以上のチャネルを選択する。
本発明の第2態様において、制御手段は、複数の周波数の各々について、音響信号の当該周波数での平均強度が高い2以上のチャネルを選択し、雑音抑圧手段は、複数の周波数の各々について、制御手段が当該周波数について選択した2以上のチャネルの音響信号を適用して目的音方向に死角を形成する死角制御型のビームフォーマで雑音成分を推定する雑音推定手段(例えば雑音推定部54)と、雑音推定手段が推定した各周波数の雑音成分を複数のチャネルの各々の音響信号から抑圧する抑圧処理手段(例えば抑圧処理部55)とを含む。第2態様の具体例は、例えば第2実施形態として後述される。
本発明の第3態様において、雑音抑圧手段は、複数のチャネルのうち相隣接する2個のチャネルの各組に対応する複数の単位処理手段(例えば単位処理部H[2]〜H[D])と、複数のチャネルのうち一のチャネルの音響信号から各単位処理手段による処理後の音響信号を減算する抑圧処理手段(例えば抑圧処理部62)とを含み、複数の単位処理手段の各々は、当該単位処理手段に対応する2個のチャネル間の音響信号の差分信号を生成する差分算定手段(例えば差分算定部652)と、抑圧処理手段が生成する音響信号の強度が最小化するように差分信号に適応フィルタ処理を実行する適応フィルタ手段(例えば適応フィルタ部653)と、適応フィルタ手段による処理後の音響信号の強度を周波数毎に調整する強度調整手段(例えば強度調整部655)とを含み、制御手段は、複数の周波数の各々について、当該周波数での平均強度が高いチャネルの組合せに対応する差分信号ほど相対的に高い強度に調整されるように各単位処理手段の強度調整手段を制御する。第3態様の具体例は、例えば第3実施形態として後述される。
本発明の第4態様において、雑音抑圧手段(例えば第2抑圧処理部73)は、複数のチャネルの各々の音響信号を適用した反復的な更新で目的音成分の強調用の空間相関行列を算定するとともに各チャネルの音響信号に空間相関行列を作用させることで雑音成分を抑圧するMVDR型の適応ビームフォーマによる雑音抑圧処理を実行し、制御手段は、複数の周波数の各々について、当該周波数での平均強度が高いチャネルの音響信号ほど空間相関行列の更新に対して優勢に反映されるように雑音抑圧手段を制御する。第4態様の具体例は、例えば第4実施形態として後述される。
以上の各態様に係る雑音抑圧装置は、雑音成分の抑圧に専用されるDSP(Digital Signal Processor)などのハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラム(ソフトウェア)との協働によっても実現される。本発明のプログラムは、相異なる位置に配置された複数の収音機器が生成する複数のチャネルの音響信号に対して雑音成分を抑圧する雑音抑圧処理を実行する雑音抑圧手段、および、複数の周波数の各々について当該周波数での平均強度が高いチャネルの音響信号が雑音抑圧処理に優先的に反映されるように雑音抑圧手段を制御する制御手段としてコンピュータを機能させる。以上のプログラムによれば、本発明の雑音抑圧装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされるほか、通信網を介した配信の形態で提供されてコンピュータにインストールされる。
第1実施形態に係る雑音抑圧装置のブロック図である。 第1実施形態における雑音抑圧部のブロック図である。 単位処理部のブロック図である。 第2実施形態における雑音抑圧装置のブロック図である。 第3実施形態における雑音抑圧装置のブロック図である。 第4実施形態における雑音抑圧装置のブロック図である。
<第1実施形態>
図1は、本発明の第1実施形態に係る雑音抑圧装置100Aのブロック図である。第1実施形態の雑音抑圧装置100Aには収音機器群12と放音装置14とが接続される。収音機器群12は、相異なる位置に相互に離間して配置されたD個(Dは3以上の自然数)の収音機器Mを具備するマイクロホンアレイである。周囲の音響を収音することで各収音機器Mが生成したD個のチャネルの音響信号x1(t)〜xD(t)が収音機器群12から雑音抑圧装置100Aに並列に供給される。各音響信号xd(t)(d=1〜D)は、特定の方向から各収音機器Mに到来する目的音成分(例えば音声や楽音等の音響)と目的音成分以外の雑音成分(空調設備の動作音や雑踏音等の環境音)との混合音の波形を示す時間領域信号である(t:時間)。
雑音抑圧装置100Aは、D個のチャネルの音響信号x1(t)〜xD(t)から音響信号y(t)を生成する音響処理装置である。音響信号y(t)は、各音響信号xd(t)から雑音成分を抑圧した音響(目的音成分を強調した音響)の波形を示す時間領域信号である。放音装置14(例えばスピーカやヘッドホン)は、雑音抑圧装置100Aが生成した音響信号y(t)に応じた音響を放射する。なお、各音響信号xd(t)をアナログからデジタルに変換するA/D変換器や音響信号y(t)をデジタルからアナログに変換するD/A変換器の図示は便宜的に省略した。
図1に示すように、雑音抑圧装置100は、演算処理装置22と記憶装置24とを具備するコンピュータシステムで実現される。記憶装置24は、演算処理装置22が実行するプログラムや演算処理装置22が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体や複数種の記録媒体の組合せが記憶装置24として任意に採用され得る。音響信号x1(t)〜xD(t)を記憶装置24に事前に記憶した構成(したがって収音機器群12は省略される)も好適である。
演算処理装置22は、記憶装置24に格納されたプログラムを実行することで、D個のチャネルの音響信号x1(t)〜xD(t)から音響信号y(t)を生成するための複数の機能(雑音抑圧部32A,制御部34A)を実現する。なお、演算処理装置22の各機能を複数の装置に分散した構成や、専用の電子回路(DSP)が各機能を実現する構成も採用され得る。
雑音抑圧部32Aは、D個のチャネルの音響信号x1(t)〜xD(t)に対する雑音抑圧処理で音響信号y(t)を生成する。図2は、第1実施形態の雑音抑圧部32Aのブロック図である。図2に示すように、雑音抑圧部32Aは、周波数分析部42と信号処理部44と合成処理部46と波形生成部48とを含んで構成される。
周波数分析部42は、周波数軸上の各周波数に対応する各音響信号xd(t)の周波数成分(周波数スペクトル)Xd[0](f,τ)を、D個のチャネルの各々について時間軸上の単位区間(フレーム)毎に順次に生成する。記号fは周波数軸上の任意の周波数(周波数ビン)を意味し、記号τは時間軸上の任意の時点(単位区間)を意味する。周波数成分Xd[0](f,τ)の算定には、短時間フーリエ変換等の公知の周波数解析が任意に採用され得る。なお、通過帯域が相違する複数の帯域通過フィルタで構成されるフィルタバンクを周波数分析部42として利用することも可能である。
図2の信号処理部44は、周波数分析部42が生成した周波数成分X1[0](f,τ)〜XD[0](f,τ)に対する雑音抑圧処理でD個のチャネルの周波数成分X1[Q](f,τ)〜XD[Q](f,τ)を複数の周波数の各々について単位区間毎に生成する。各周波数成分Xd[Q](f,τ)は、周波数成分Xd[0](f,τ)から雑音成分を抑圧した音響成分である。第1実施形態の信号処理部44は、周波数領域での独立成分分析(FD-ICA:Frequency Domain - Independent Component Analysis)で雑音成分を推定する。合成処理部46は、信号処理部44が生成したD個のチャネルの周波数成分X1[Q](f,τ)〜XD[Q](f,τ)を合成することで音響信号y(t)の各周波数成分(周波数スペクトル)Y(f,τ)を単位区間毎に順次に生成する。なお、信号処理部44および合成処理部46の具体的な構成や動作については後述する。
波形生成部48は、合成処理部46が単位区間毎に生成する各周波数成分Y(f,τ)から時間領域の音響信号y(t)を生成する。具体的には、波形生成部48は、各周波数成分Y(f,τ)を単位区間毎に短時間逆フーリエ変換で時間波形に変換し、変換後の時間波形を前後の単位区間について相互に連結することで音響信号y(t)を生成する。波形生成部48が生成した音響信号y(t)が放音装置14に供給されて音響として放射される。
図1の制御部34Aは、D個のチャネルのうち雑音成分の推定に好適なチャネルの音響信号xd(t)ほど雑音抑圧処理に優先的に反映されるように雑音抑圧部32Aを制御する。第1実施形態の制御部34Aは、独立成分分析による雑音成分の推定に好適なDs個(2≦Ds≦D)のチャネルをD個のチャネルから周波数毎に選択する。制御部34AがDs個のチャネルを選択する時期は任意である。例えば、雑音抑圧処理の開始前に制御部34AがDs個のチャネルを選択する構成や、制御部34Aが所定の周期毎(例えば単位区間の所定個毎)にDs個のチャネルを選択する構成が採用される。
周波数領域の独立成分分析を利用した雑音成分の推定では、目的音成分の音源を点音源と見做せる場合(各収音機器Mに到来する目的音成分の波面が安定的に維持される場合)に雑音成分を高精度に推定できるという傾向がある(非特許文献1)。以上の傾向を考慮して、目的音成分の点音源性(目的音成分の音源を点音源と評価する妥当性)を検討する。
D個のチャネルから任意に選択された2個のチャネル(第d1番目および第d2番目)に着目し、目的音成分の音源から第d1番目のチャネルの収音機器Mまでの伝達関数hd1(f)と、目的音成分の音源から第d2番目のチャネルの収音機器Mまでの伝達関数hd2(f)との相対比に応じた指標(以下「伝達関数比」という)R(f)を導入する(hd1(f)<hd2(f))。各周波数の伝達関数比R(f)は例えば以下の数式(1)で表現される。
Figure 2014010279
目的音成分が相異なる経路での反射や散乱を経て第d1番目および第d2番目の各チャネルの収音機器Mに到来した場合(各チャネルの収音機器Mに到来する目的音成分の点音源性が低い場合)、伝達関数hd1(f)と伝達関数hd2(f)との相違は増大する。他方、目的音成分が波面を安定的に維持したまま第d1番目および第d2番目のチャネルの収音機器Mに到来した場合(各チャネルの収音機器Mに到来する目的音成分の点音源性が高い場合)、伝達関数hd1(f)と伝達関数hd2(f)とは略同等となる。すなわち、各チャネルに到来する目的音成分の点音源性が高いほど伝達関数比R(f)は増加するという概略的な傾向がある。前述の通り、目的音成分の点音源性が高いほど独立成分分析で雑音成分が高精度に推定されるから、伝達関数比R(f)が大きい各チャネルが独立成分分析による雑音成分の推定に好適であると評価できる。
以上の知見を背景としてD個のチャネルの伝達関数h1(f)〜hD(f)に着目すると、各伝達関数hd(f)の強度|hd(f)|2を降順(大−>小)に配列して上位から順次に各チャネルを選択すれば、伝達関数比R(f)は大きい数値に維持される。すなわち、伝達関数hd(f)の強度|hd(f)|2の降順で上位に位置する各チャネルの音響信号xd(t)が、独立成分分析による雑音成分の推定に好適であるという傾向がある。そこで、伝達関数hd(f)の強度|hd(f)|2の大小を検討する。
第d番目のチャネルの音響信号xd(t)における各周波数成分Xd(f,τ)の強度(パワー)|Xd(f,τ)|2の時間平均(以下「平均強度」という)E[|Xd(f,τ)|2]は、以下の数式(2)で近似的に表現される。
Figure 2014010279

数式(2)の記号E[ ]は、括弧内の数値の時間平均(期待値)を意味する。数式(2)の記号E[|S(f,τ)|2]は、目的音成分S(f,τ)の平均強度(平均パワー)を意味し、記号E[|Nd(f,τ)|2]は、第d番目のチャネルの収音機器Mに到来する雑音成分Nd(f,τ)の平均強度を意味する。数式(2)の伝達関数hd(f)は、目的音成分S(f,τ)の音源から第d番目のチャネルの収音機器Mまでの伝達関数である。なお、時間平均E[ ]の算定対象となる時間長(単位区間の個数)は任意であり、例えば所定の個数の単位区間にわたる平均や可変の個数の単位区間にわたる平均を算定することが可能である。また、後述の分離行列W[q](f)の推定対象となる時間長と同等の時間長にわたる平均を算定する構成も好適である。
目的音成分S(f,τ)は点音源から放射された伝播前の音響成分であり、点音源から各収音機器Mまでの伝播特性(伝達関数hd(f))とは無関係である。したがって、目的音成分S(f,τ)の発生を一定の確率分布に従う確率過程とすれば、数式(2)のうち目的音成分S(f,τ)の平均強度E[|S(f,τ)|2]は所定の定数と近似される。また、拡散性(空間的に拡散する性質)の雑音成分Nd(f,τ)を前提とすると、雑音成分Nd(f,τ)の平均強度E[|Nd(f,τ)|2]も定数と仮定できる。したがって、数式(2)の平均強度E[|Xd(f,τ)|2]に応じて伝達関数hd(f)の強度|hd(f)|2の順序(大小)を評価することが可能である。すなわち、音響信号xd(t)の各周波数の平均強度E[|Xd(f,τ)|2]が大きいほど伝達関数hd(f)の強度|hd(f)|2が増加するという関係がある。以上に説明した平均強度E[|Xd(f,τ)|2]および強度|hd(f)|2の関係と、伝達関数hd(f)の強度|hd(f)|2が大きいチャネルほど独立成分分析による雑音成分の推定に好適であるという前述の傾向とを考慮すると、D個のチャネルのうち平均強度E[|Xd(f,τ)|2]が大きいチャネルが独立成分分析による雑音成分の推定に好適であると評価できる。
以上の傾向を考慮して、第1実施形態の制御部34Aは、周波数分析部42が生成した各周波数成分(信号処理部44による処理前の各周波数成分)Xd[0](f,τ)の平均強度E[|Xd[0](f,τ)|2]をチャネル毎に算定し、平均強度E[|Xd[0](f,τ)|2]の降順で上位に位置するDs個のチャネル(すなわち、目的音成分の点音源性が収音時に維持されているチャネル)を周波数毎に個別に選択する。具体的には、第1実施形態の制御部34Aは、平均強度E[|Xd[0](f,τ)|2]が閾値T(f)以上であるDs個のチャネル(E[|Xd[0](f,τ)|2]≧T(f))を選択する。閾値T(f)は、例えば以下の数式(3)の演算で周波数毎に算定される。
Figure 2014010279
数式(3)の係数ξは、1未満の正数(0<ξ<1)である。数式(3)の記号max{E[|Xd[0](f,τ)|2]}は、D個のチャネルにわたる平均強度E[|Xd[0](f,τ)|2](E[|X1[0](f,τ)|2]〜E[|XD[0](f,τ)|2])の最大値を意味する。すなわち、閾値T(f)は、平均強度E[|Xd[0](f,τ)|2]の最大値を下回る範囲内で平均強度E[|Xd[0](f,τ)|2]に応じた数値に設定される。したがって、制御部34Aが選択するチャネルの総数Ds(2≦Ds≦D)は周波数毎に相違し得る。以上が制御部34Aの動作である。
雑音抑圧部32Aの信号処理部44および合成処理部46について構成および動作の具体例を説明する。図2に示すように、信号処理部44は、相互に縦続に接続されて各チャネルの音響信号xd(t)(X1[0](f,τ)〜XD[0](f,τ))を順次に処理するQ段の単位処理部U[1]〜U[Q]を含んで構成される。
図3は、信号処理部44のうち第q段目(q=1〜Q)の単位処理部U[q]のブロック図である。単位処理部U[q]は、前段(第(q-1)段)から供給されるD個のチャネルの周波数成分X1[q-1](f,τ)〜XD[q-1](f,τ)に対する雑音抑圧処理で各周波数の周波数成分X1[q](f,τ)〜XD[q](f,τ)を単位区間毎に生成する。先頭段(第1段)の単位処理部U[1]には周波数分析部42が生成した周波数成分X1[0](f,τ)〜XD[0](f,τ)が供給され、最終段(第Q段)の単位処理部U[Q]が生成した周波数成分X1[Q](f,τ)〜XD[Q](f,τ)が合成処理部46に供給される。
図3に示すように、各単位処理部U[q]は、雑音推定部441と抑圧処理部443とを含んで構成される。雑音推定部441は、制御部34Aによる処理結果(Ds個のチャネルの選択結果)に応じて雑音成分を推定する。第1実施形態の雑音推定部441は、単位処理部U[q]に供給されるD個のチャネルの周波数成分X1[q-1](f,τ)〜XD[q-1](f,τ)のうち制御部34Aがその周波数について選択したDs個のチャネルの周波数成分Xd[q-1](f,τ)を適用した独立成分分析で、各チャネルの雑音成分Zd[q](f,τ)(Z1[q](f,τ)〜ZD[q](f,τ))を単位区間毎に順次に算定する。他方、D個のチャネルのうち制御部34Aが選択していない各チャネルの周波数成分Xd[q-1](f,τ)は雑音成分の推定に適用されない。また、1個の周波数について雑音推定部441が選択するDs個のチャネルの組合せはQ個の単位処理部U[q]の各雑音推定部441について共通する。
具体的には、雑音推定部441は、第1に、制御部34Aが選択したDs個のチャネルの周波数成分Xd[q-1](f,τ)を学習情報(教師情報)として適用した独立成分分析で目的音成分を抑圧するための分離行列W[q](f)を周波数毎に算定する。例えば、Ds個のチャネルの周波数成分Xd[q-1](f,τ)を適用した公知の更新式の演算を累積的に反復することで分離行列W[q](f)が算定される。第2に、雑音推定部441は、各周波数成分Xd[q-1](f,τ)に分離行列W[q](f)を適用した分離成分(雑音成分を強調した音響成分)について、独立成分分析のスケーリング問題(不定性)を解消するための逆射影(projection back)を実行することで、周波数毎の雑音成分Zd[q](f,τ)(Z1[q](f,τ)〜ZD[q](f,τ))をD個のチャネルの各々について算定する。
図3の抑圧処理部443は、雑音推定部441がチャネル毎に推定した雑音成分Zd[q](f,τ)をそのチャネルの周波数成分Xd[q-1](f,τ)から抑圧する雑音抑圧処理を実行することで、各チャネルの周波数成分Xd[q](f,τ)を単位区間毎に順次に生成する。具体的には、抑圧処理部443は、以下の数式(4A)および数式(4B)で表現される雑音抑圧処理をD個のチャネルの各々について周波数毎に実行する。
Figure 2014010279
数式(4A)の記号jは虚数単位を意味し、記号θ(f,τ)は周波数成分Xd[q-1](f,τ)の位相角(位相スペクトル)を意味する。また、数式(4A)の記号βは抑圧係数であり、数式(4B)の記号ηはフロアリング係数である。以上の説明から理解される通り、第1実施形態では、数式(4A)および数式(4B)で表現される減算型の雑音抑圧処理(スペクトル減算)が、音響信号xd(t)の各周波数成分Xd[0](f,τ)に対してQ回にわたりチャネル毎に累積的に反復される。
図2の合成処理部46は、信号処理部44(最終段の単位処理部U[Q])が生成したD個のチャネルの周波数成分X1[Q](f,τ)〜XD[Q](f,τ)を合成することで音響信号y(t)の周波数成分Y(f,τ)を周波数毎および単位区間毎に算定する。第1実施形態の合成処理部46は、目的音成分の音源方向(到来方向)φに収音のビーム(収音感度が高い領域)を形成する遅延加算(DS:Delay-Sum)型のビームフォーマであり、遅延部462と加算部464とを含んで構成される。
遅延部462は、D個のチャネルの周波数成分X1[Q](f,τ)〜XD[Q](f,τ)の各々を目的音成分の音源方向φに応じた遅延量だけ遅延させる。音源方向φは、信号処理部44のQ個の単位処理部U[1]〜U[Q]から選択された1個の単位処理部U[q](例えば最終段の単位処理部U[Q])の雑音推定部441が生成した分離行列W[q](f)から特定される。加算部464は、遅延部462による遅延後のD個のチャネルの周波数成分X1[Q](f,τ)〜XD[Q](f,τ)を加算することで音響信号y(t)の周波数成分Y(f,τ)を生成する。したがって、各周波数成分Y(f,τ)から波形生成部48が生成する音響信号y(t)では、音源方向φの目的音成分が強調される。
以上に説明した形態では、D個のチャネルのうち平均強度E[|Xd[0](f,τ)|2]の降順で上位に位置するDs個のチャネルの各音響信号xd(t)が選択的に独立成分分析に適用されるから、雑音成分Zd[q](f,τ)を高精度に推定することが可能である。したがって、雑音成分を高精度に抑圧した音響信号y(t)を生成できるという利点がある。
ところで、第1実施形態のように雑音抑圧処理をQ回にわたり累積的に反復する構成では、第2段目以降の各単位処理部U[q]の雑音推定部441が、前段(第(q-1)段)の雑音抑圧処理で生成された各チャネルの周波数成分Xd[q-1](f,τ)の平均強度E[|Xd[q-1](f,τ)|2]に応じて、雑音成分Zd[q](f,τ)の推定に適用するチャネルを選択する構成(以下「対比例」という)も想定され得る。しかし、前段の各単位処理部U[q-1]による雑音抑圧処理(非線形処理)では音響に波形歪が発生し得るから、対比例の構成では第2段目以降の各単位処理部U[q]にて目的音成分の点音源性を正確に評価することが困難である。第1実施形態では、先頭段の単位処理部U[1]による処理前の各周波数成分Xd[0](f,τ)の平均強度E[|Xd[0](f,τ)|2]に応じたチャネルの選択結果がQ個の単位処理部U[1]〜U[Q]に共通に適用されるから、対比例と比較して各単位処理部U[q]にて雑音成分Zd[q](f,τ)を高精度に推定できるという利点がある。ただし、対比例の構成も本発明の範囲に包含され得る。
<第2実施形態>
本発明の第2実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第1実施形態と同等である要素については、第1実施形態で参照した符号を流用して各々の詳細な説明を適宜に省略する。
図4は、第2実施形態における雑音抑圧装置100Bのブロック図である。第2実施形態の雑音抑圧装置100Bは、第1実施形態の雑音抑圧装置100Aの雑音抑圧部32Aおよび制御部34Aを図4の雑音抑圧部32Bおよび制御部34Bに置換した構成である。雑音抑圧部32Bは、収音機器群12から供給されるD個のチャネルの音響信号x1(t)〜xD(t)に対する雑音抑圧処理で音響信号y(t)を生成する。制御部34Bは、D個のチャネルのうち雑音成分の推定に好適なチャネルの音響信号xd(t)ほど雑音抑圧処理に優先的に反映されるように雑音抑圧部32Bを制御する。
図4に示すように、雑音抑圧部32Bは、収音制御部51と周波数分析部52と周波数分析部53と雑音推定部54と抑圧処理部55と波形生成部56とを含んで構成される。収音制御部51は、目的音成分が到来する既知の音源方向(事前情報として設定された音源方向)に収音のビームを形成するビームフォーマであり、例えばD個のチャネルの音響信号x1(t)〜xD(t)を遅延および加算することで時間領域の音響信号v(t)を生成する。周波数分析部52は、収音制御部51が生成した音響信号v(t)の各周波数成分(周波数スペクトル)V(f,τ)を単位区間毎に生成する。
周波数分析部53は、第1実施形態の周波数分析部42と同様に、D個のチャネルの各々について音響信号xd(t)の各周波数成分Xd(f,τ)を単位区間毎に算定する。制御部34Bは、第1実施形態の制御部34Aと同様に、周波数分析部53が算定した各周波数成分Xd(f,τ)の平均強度E[|Xd(f,τ)|2]の降順で上位に位置するDs個のチャネルを選択する。
雑音推定部54は、D個のチャネルのうち制御部34Bが選択したDs個のチャネルの音響信号xd(t)(各周波数成分Xd(f,τ))を適用して周波数毎の雑音成分Z(f,τ)を推定する。第2実施形態の雑音推定部54は、制御部34Bが選択したDs個のチャネルの各周波数成分Xd(f,τ)を適宜に遅延してから相互に加減算することで目的音成分の既知の音源方向に収音の死角(収音感度が低い領域)を形成する死角制御型のビームフォーマであり、Ds個のチャネルの各周波数成分Xd(f,τ)から目的音成分を抑圧した雑音成分Z(f,τ)を推定する。なお、各チャネルの周波数成分Xd(f,τ)の加減算の係数は例えば伝播行列(混合行列)の逆行列から特定することが可能である。
抑圧処理部55は、周波数分析部52が生成した周波数成分V(f,τ)から雑音推定部54が推定した雑音成分Z(f,τ)を抑圧する(例えば数式(4A)および数式(4B)と同様に周波数領域で各周波数成分V(f,τ)から雑音成分Z(f,τ)を減算する)ことで音響信号y(t)の各周波数成分Y(f,τ)を単位区間毎に生成する。波形生成部56は、第1実施形態の波形生成部48と同様に、抑圧処理部55が生成する各周波数成分Y(f,τ)から時間領域の音響信号y(t)を生成する。
以上に説明した通り、第2実施形態においても、D個のチャネルのうち点音源性が高いチャネル(すなわち雑音成分の推定に好適なチャネル)の音響信号xd(t)ほど雑音抑圧処理に優先的に反映されるから、第1実施形態と同様に、雑音成分を高精度に抑圧した音響信号y(t)を生成できるという利点がある。
<第3実施形態>
図5は、第3実施形態における雑音抑圧装置100Cのブロック図である。第3実施形態の雑音抑圧装置100Cは、第1実施形態の雑音抑圧装置100Aの雑音抑圧部32Aおよび制御部34Aを図5の雑音抑圧部32Cおよび制御部34Cに置換した構成である。雑音抑圧部32Cは、収音機器群12から供給されるD個のチャネルの音響信号x1(t)〜xD(t)に対する雑音抑圧処理で音響信号y(t)を生成する。
第3実施形態の雑音抑圧部32Cは、Griffith-Jim型の適応ビームフォーマを利用した雑音抑圧処理で音響信号y(t)を生成する。具体的には、雑音抑圧部32Cは、D個のチャネルのうち相隣接する2個のチャネルの各組に対応するK個(K=D−1)の単位処理部H[2]〜H[D]と、D個から選択された1個のチャネルの音響信号xd(t)(図5の例示では第1番目のチャネルの音響信号x1(t))を処理する基礎処理部61と、抑圧処理部62および波形生成部63とを含んで構成される。
第k番目(k=2〜D)の単位処理部H[k]は、第(k-1)番目のチャネルの音響信号xk-1(t)と第k番目のチャネルの音響信号xk(t)との差分に対応する各周波数成分Gk(f,τ)を単位区間毎に生成し、基礎処理部61は、第1番目のチャネルの音響信号x1(t)の各周波数成分G1(f,τ)を生成する。抑圧処理部62は、基礎処理部61が生成した各周波数成分G1(f,τ)から各単位処理部H[k]が生成したK個の周波数成分Gk(f,τ)を減算することで音響信号y(t)の各周波数成分Y(f,τ)を単位区間毎に生成する。波形生成部63は、第1実施形態の波形生成部48と同様に、抑圧処理部62が生成する各周波数成分Y(f,τ)から時間領域の音響信号y(t)を生成する。
基礎処理部61は、遅延部611と遅延部612と周波数分析部613とを含んで構成される。遅延部611および遅延部612は、音響信号x1(t)を遅延させる。周波数分析部613は、遅延部612による処理後の音響信号x1(t)の各周波数成分G1(f,τ)を単位区間毎に生成する。
第k番目の単位処理部H[k]は、遅延部651と差分算定部652と適応フィルタ部653と周波数分析部654と強度調整部655とを含んで構成される。遅延部651は、音響信号xk(t)を遅延させる。差分算定部652は、第(k-1)番目のチャネルの音響信号xk-1(t)と第k番目のチャネルの音響信号xk(t)との差分を差分信号gk(t)(gk(t)=xk-1(t)−xk(t))として生成する。基礎処理部61の遅延部611および各単位処理部H[k]の遅延部651の各々の遅延量は、目的音成分の音源方向からの到来音が抑圧されるように設定される。
適応フィルタ部653は、差分信号gk(t)に対して適応フィルタ処理を実行する。波形生成部63が生成する音響信号y(t)の強度が最小化されるように適用フィルタ処理は適応的に制御される。したがって、適応フィルタ部653による処理後の差分信号gk(t)は雑音成分の推定結果に相当する。周波数分析部654は、適応フィルタ部653による処理後の差分信号gk(t)の各周波数成分Gk(f,τ)を生成する。強度調整部655は、各周波数成分Gk(f,τ)の強度を周波数毎に調整する。具体的には、強度調整部655は、周波数毎に設定された調整値(ゲイン)α(f)を周波数成分Gk(f,τ)に乗算する。強度調整部655による調整後の各周波数成分Gk(f,τ)が抑圧処理部62にて音響信号x1(t)の各周波数成分G1(f,τ)から減算される。
図5の制御部34Cは、D個のチャネルのうち雑音成分の推定に好適なチャネルの音響信号xd(t)ほど雑音抑圧処理に優先的に反映されるように周波数毎に雑音抑圧部32Cを制御する。具体的には、制御部34Cは、音響信号xd(t)の各周波数成分Xd(f,τ)の平均強度E[|Xd(f,τ)|2]が高いチャネルの組合せ(例えば各組を構成する2個のチャネルの平均強度E[|Xd(f,τ)|2]の平均値が高い組合せ)に対応する周波数成分Gk(f,τ)ほど相対的に高い強度に調整されるように各単位処理部H[k]の強度調整部655を制御する。例えば、周波数成分Xd(f,τ)の平均強度E[|Xd(f,τ)|2]が高いチャネルの組合せに対応する単位処理部H[k]の強度調整部655ほど調整値α(f)が相対的に大きい数値に設定される。
以上に説明した通り、第3実施形態においても、D個のチャネルのうち点音源性が高いチャネルの音響信号xd(t)ほど雑音抑圧処理に優先的に反映されるから、第1実施形態と同様に、雑音成分を高精度に抑圧した音響信号y(t)を生成できるという利点がある。
<第4実施形態>
図6は、第4実施形態における雑音抑圧装置100Dのブロック図である。第4実施形態の雑音抑圧装置100Dは、第1実施形態の雑音抑圧装置100Aの雑音抑圧部32Aおよび制御部34Aを図6の雑音抑圧部32Dおよび制御部34Dに置換した構成である。雑音抑圧部32Dは、収音機器群12から供給されるD個のチャネルの音響信号x1(t)〜xD(t)に対する雑音抑圧処理で音響信号y(t)を生成する。
第4実施形態の雑音抑圧部32Dは、MVDR(minimum variance distortionless response)型(最小分散型)の適応ビームフォーマを利用した雑音抑圧処理で音響信号y(t)を生成する。具体的には、雑音抑圧部32Dは、周波数分析部71と第1抑圧処理部72と第2抑圧処理部73と波形生成部74とを含んで構成される。
周波数分析部71は、第1実施形態の周波数分析部42と同様に、D個のチャネルの各々について音響信号xd(t)の各周波数成分Xd(f,τ)を単位区間毎に算定する。第1抑圧処理部72は、各音響信号xd(t)の雑音成分を周波数領域にてチャネル毎に抑圧する雑音抑圧処理で各チャネルの周波数成分Vd(f,τ)(V1(f,τ)〜VD(f,τ))を生成する。例えば、第1抑圧処理部72は、各周波数成分Xd(f,τ)から雑音成分を周波数領域で抑圧するスペクトル減算をチャネル毎に実行する。
第2抑圧処理部73は、MVDR型の適応ビームフォーマを利用した雑音抑圧処理をD個のチャネルの周波数成分Vd(f,τ)に対して実行することで音響信号y(t)の周波数成分Y(f,τ)を生成する。具体的には、第2抑圧処理部73は、第1抑圧処理部72による処理後の各チャネルの周波数成分Vd(f,τ)を利用した逐次的な更新で、目的音成分の音源方向からの到来音の強度を維持したまま雑音成分を抑圧可能な空間相関行列(線形フィルタ)を算定し、空間相関行列を各チャネルの周波数成分Xd(f,τ)に作用させることで音響信号y(t)の周波数成分Y(f,τ)を算定する。波形生成部74は、第1実施形態の波形生成部48と同様に、第2抑圧処理部73が生成する各周波数成分Y(f,τ)から時間領域の音響信号y(t)を生成する。
制御部34Dは、D個のチャネルのうち雑音成分の推定に好適なチャネルの音響信号xd(t)ほど第2抑圧処理部73による雑音抑圧処理(MVDR型の適応ビームフォーマ)に優先的に反映されるように周波数毎に雑音抑圧部32Dを制御する。具体的には、制御部34Dは、音響信号xd(t)の各周波数成分Xd(f,τ)の平均強度E[|Xd(f,τ)|2]が高いほど空間相関行列の更新に対して優勢に反映されるように第2抑圧処理部73を制御する。例えば、平均強度E[|Xd(f,τ)|2]の減少に対して指数関数的に減少する加重値がチャネル毎に設定されて空間相関行列の算定に適用される。
以上に説明した通り、第4実施形態においても、D個のチャネルのうち点音源性が高いチャネルの音響信号xd(t)ほど雑音抑圧処理に優先的に反映されるから、第1実施形態と同様に、雑音成分を高精度に抑圧した音響信号y(t)を生成できるという利点がある。
<変形例>
以上の各形態は多様に変形される。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
(1)雑音抑圧部32(32A,32B,32C,32D)による雑音抑圧処理の内容は以上の例示に限定されない。例えば、第1実施形態および第2実施形態では周波数領域での減算型の雑音抑圧処理(数式(4A))を例示したが、第1実施形態の抑圧処理部443が雑音成分Zd[q](f,τ)の抑圧用のウィーナフィルタを周波数成分Xd[q-1](f,τ)に作用させる構成や、第2実施形態の抑圧処理部55が雑音成分Z(f,τ)の抑圧用のウィーナフィルタを周波数成分V(f,τ)に作用させる構成も採用され得る。
(2)第1実施形態や第2実施形態では、制御部34(34A,34B)が選択したDs個のチャネルを雑音抑圧処理に反映させるとともに残余のチャネルは雑音抑圧処理に反映させない構成を例示したが、第1実施形態や第2実施形態において、第3実施形態や第4実施形態と同様に、Ds個のチャネルの各々を雑音抑圧処理に反映させる度合(重み)を制御部34が制御することも可能である。また、第3実施形態や第4実施形態において、平均強度に応じて制御部34(34C,34D)が選択したDs個のチャネルの音響信号xd(t)のみを雑音抑圧処理に反映させて残余のチャネルは加味しない構成も採用され得る。
以上の説明から理解されるように、平均強度E[|Xd(f,τ)|2]が高いチャネルの音響信号を雑音抑圧処理に優先的に反映させる構成とは、D個のチャネルのうち平均強度E[|Xd(f,τ)|2]に応じて選択されたチャネルの音響信号のみを雑音抑圧処理に反映させるとともに残余のチャネルを雑音抑圧処理に反映させない構成と、D個のチャネルの各々の音響信号を平均強度E[|Xd(f,τ)|2]に応じた度合(重み)で雑音抑圧処理に反映させる構成との双方を包含する。
(3)第1実施形態では、雑音抑圧処理をQ回にわたり累積的に反復したが、雑音抑圧処理の反復は省略され得る。例えば、第1実施形態の雑音抑圧部32Aを、雑音推定部441と抑圧処理部443とを含む1個の単位処理部U[q]で構成することも可能である。ただし、雑音抑圧量を低減した雑音抑圧処理を複数回にわたり反復する第1実施形態の構成によれば、同等の効果を1回の雑音抑圧処理で実現する場合と比較してミュージカルノイズの発生が抑制されるという利点がある。
100A,100B,100C、100D……雑音抑圧装置、12……収音機器群、14……放音装置、22……演算処理装置、24……記憶装置、32A,32B,32C,32D……雑音抑圧部、34A,34B,34C,34D……制御部、42……周波数分析部、44……信号処理部、46……合成処理部、462……遅延部、464……加算部、48……波形生成部、U[q](U[1]〜U[Q])……単位処理部、441……雑音推定部、443……抑圧処理部、51……収音制御部、52……周波数分析部、53……周波数分析部、54……雑音推定部、55……抑圧処理部、56……波形生成部、H[k](H[2]〜H[D])……単位処理部、61……基礎処理部、611,612……遅延部、613……周波数分析部、62……抑圧処理部、63……波形生成部、651……遅延部、652……差分算定部、653……適応フィルタ部、654……周波数分析部、655……強度調整部、71……周波数分析部、72……第1抑圧処理部、73……第2抑圧処理部、74……波形生成部。

Claims (5)

  1. 相異なる位置に配置された複数の収音機器が生成する複数のチャネルの音響信号に対して雑音成分を抑圧する雑音抑圧処理を実行する雑音抑圧手段と、
    複数の周波数の各々について当該周波数での平均強度が高いチャネルの音響信号が前記雑音抑圧処理に優先的に反映されるように前記雑音抑圧手段を制御する制御手段と
    を具備する雑音抑圧装置。
  2. 前記制御手段は、前記複数の周波数の各々について、前記音響信号の当該周波数での平均強度が高い2以上のチャネルを選択し、
    前記雑音抑圧手段は、
    前記複数の周波数の各々について、前記制御手段が当該周波数について選択した2以上のチャネルの音響信号に対する独立成分分析で雑音成分を推定する雑音推定手段と、
    前記雑音推定手段が推定した各周波数の雑音成分を前記複数のチャネルの各々の音響信号から抑圧する抑圧処理手段とを含む
    請求項1の雑音抑圧装置。
  3. 前記雑音抑圧手段は、前記各チャネルの音響信号に対して順次に雑音抑圧処理を実行する複数段の単位処理手段と、
    前記複数段のうち最終段の単位処理手段による処理後の各チャネルの音響信号を合成する合成処理手段とを含み、
    前記制御手段は、前記複数の周波数の各々について、複数段のうち先頭段の単位処理手段による処理前の音響信号の当該周波数での平均強度が高い2以上のチャネルを選択し、
    前記複数段の単位処理手段の各々は、
    前記複数の周波数の各々について、前記制御手段が当該周波数について選択した2以上のチャネルの音響信号に対する独立成分分析で雑音成分を推定する雑音推定手段と、
    前記雑音推定手段が推定した各周波数の雑音成分を前記複数のチャネルの各々の音響信号から抑圧する抑圧処理手段とを含む
    請求項1の雑音抑圧装置。
  4. 前記制御手段は、前記複数の周波数の各々について、前記各チャネルの音響信号における当該周波数の平均強度の最大値に応じて閾値を設定し、平均強度が前記閾値を上回る前記2以上のチャネルを選択する
    請求項2または請求項3の雑音抑圧装置。
  5. 前記制御手段は、前記複数の周波数の各々について、前記音響信号の当該周波数での平均強度が高い2以上のチャネルを選択し、
    前記雑音抑圧手段は、
    前記複数の周波数の各々について、前記制御手段が当該周波数について選択した2以上のチャネルの音響信号を適用して目的音方向に死角を形成する死角制御型のビームフォーマで雑音成分を推定する雑音推定手段と、
    前記雑音推定手段が推定した各周波数の雑音成分を前記複数のチャネルの各々の音響信号から抑圧する抑圧処理手段とを含む
    請求項1の雑音抑圧装置。
JP2012146594A 2012-06-29 2012-06-29 雑音抑圧装置 Pending JP2014010279A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012146594A JP2014010279A (ja) 2012-06-29 2012-06-29 雑音抑圧装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012146594A JP2014010279A (ja) 2012-06-29 2012-06-29 雑音抑圧装置

Publications (1)

Publication Number Publication Date
JP2014010279A true JP2014010279A (ja) 2014-01-20

Family

ID=50107049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012146594A Pending JP2014010279A (ja) 2012-06-29 2012-06-29 雑音抑圧装置

Country Status (1)

Country Link
JP (1) JP2014010279A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015233200A (ja) * 2014-06-09 2015-12-24 ローム株式会社 オーディオ信号処理回路、それを用いた電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015233200A (ja) * 2014-06-09 2015-12-24 ローム株式会社 オーディオ信号処理回路、それを用いた電子機器

Similar Documents

Publication Publication Date Title
JP5207479B2 (ja) 雑音抑圧装置およびプログラム
JP5666023B2 (ja) 残響知覚レベルの大きさを決定する装置及び方法、オーディオプロセッサ並びに信号処理方法
RU2760097C2 (ru) Способ и устройство для захвата аудиоинформации с использованием формирования диаграммы направленности
JP6134078B1 (ja) ノイズ抑制
EP2320675B1 (en) Audio processing device
JP5018193B2 (ja) 雑音抑圧装置およびプログラム
JP6019969B2 (ja) 音響処理装置
JP2003534570A (ja) 適応ビームフォーマーにおいてノイズを抑制する方法
JP6250147B2 (ja) 補聴器システムの信号処理方法および補聴器システム
JP2004507141A (ja) 音声強調システム
JP6987075B2 (ja) オーディオ源分離
GB2571371A (en) Signal processing for speech dereverberation
JP6225245B2 (ja) 信号処理装置、方法及びプログラム
JP5187666B2 (ja) 雑音抑圧装置およびプログラム
US9418677B2 (en) Noise suppressing device, noise suppressing method, and a non-transitory computer-readable recording medium storing noise suppressing program
JP2010220087A (ja) 音響処理装置およびプログラム
JP5942388B2 (ja) 雑音抑圧用係数設定装置、雑音抑圧装置および雑音抑圧用係数設定方法
JP2020028016A (ja) 残響抑制装置及び補聴器
JP2009020472A (ja) 音処理装置およびプログラム
JP2004078021A (ja) 収音方法、収音装置、および収音プログラム
JP2014010279A (ja) 雑音抑圧装置
JP2015169901A (ja) 音響処理装置
RU2751760C2 (ru) Захват аудио с использованием формирования диаграммы направленности
JP5316127B2 (ja) 音処理装置およびプログラム
Zheng et al. Statistical analysis and improvement of coherent-to-diffuse power ratio estimators for dereverberation

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140120

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150410