JP2018092117A - 音響信号処理のパラメータ予測装置及びパラメータ予測方法 - Google Patents

音響信号処理のパラメータ予測装置及びパラメータ予測方法 Download PDF

Info

Publication number
JP2018092117A
JP2018092117A JP2017095786A JP2017095786A JP2018092117A JP 2018092117 A JP2018092117 A JP 2018092117A JP 2017095786 A JP2017095786 A JP 2017095786A JP 2017095786 A JP2017095786 A JP 2017095786A JP 2018092117 A JP2018092117 A JP 2018092117A
Authority
JP
Japan
Prior art keywords
prediction
evaluation value
control parameter
acoustic signal
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017095786A
Other languages
English (en)
Other versions
JP6843701B2 (ja
Inventor
大治郎 市村
Daijiro Ichimura
大治郎 市村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to EP17191774.3A priority Critical patent/EP3301675B1/en
Priority to US15/713,141 priority patent/US10453472B2/en
Publication of JP2018092117A publication Critical patent/JP2018092117A/ja
Application granted granted Critical
Publication of JP6843701B2 publication Critical patent/JP6843701B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】音響信号処理の制御パラメータセットの最適化において、制御パラメータセットの予測精度を向上させ、最適化に関する負荷あるいは時間を低減することができるパラメータ予測装置を提供する。【解決手段】音響信号処理を制御するための制御パラメータセットを予測するパラメータ予測装置100は、音響信号の収音環境の1以上の特徴を数値化した環境特徴量セットを取得する環境特徴取得部101と、音響信号処理の1以上の性能を数値化したものあるいは処理済音響信号の1以上の評価値である目標評価値セットを設定する目標設定部102と、環境特徴量セット及び目標評価値セットを独立変数として第1予測モデルに入力して制御パラメータセットを予測する第1予測部103と、を備える。【選択図】図2

Description

本開示は、環境及び用途に適した、音響信号処理の制御パラメータセットを予測するパラメータ予測技術に関する。
近年、家庭電化製品や車載製品など広い分野にマイクロフォンデバイス(マイク)が普及し、屋内や屋外など利用する環境や、通話や音声認識による操作など用途も多様化している。マイクからの音響信号には雑音が含まれている場合がある。そこで、ウィナーフィルタやエコーキャンセラなどの音響信号処理により雑音が除去もしくは抑圧される。
音響信号処理では、係数や閾値などの性能を制御する複数の制御パラメータが用いられる。環境や用途に応じて各制御パラメータを最適化することによって音響信号処理の性能を向上することができる。
本開示では、音響信号処理に用いられる1以上の制御パラメータを制御パラメータセットと呼ぶ。また、音響信号処理の1以上の性能を数値化したものあるいは処理済音響信号の1以上の評価値を評価値セットと呼ぶ。また、音響信号の収音環境の1以上の特徴を数値化したものを環境特徴量セットと呼ぶ。制御パラメータセット、評価値セット及び環境特徴量セットはそれぞれ1つ以上の値を持つ。
非特許文献1では、環境特徴量セットから環境が幾つかのグループに分類される。さらに、分類されたグループ毎に、良い評価値セットが得られるようにあらかじめ最適化された制御パラメータセットが準備される。このような準備が行われた後で音響信号処理が行われるときに、処理対象の音響信号に対応する環境特徴量セットからグループが特定される。そして、特定されたグループに対応する制御パラメータセットが選択される。このように、非特許文献1は、環境のグループ毎に準備された制御パラメータセットに基づいて音響信号処理の性能を向上する技術を開示している。
非特許文献2は、非特許文献1における環境のグループ毎に最適な制御パラメータセットを遺伝アルゴリズムで効率的に決定する技術を開示している。
Kawase et al., "Selection of Optimal Array Noise Reduction Parameter Set for Accurate Speech Recognition in Various Noisy Environments", WESPAC, 449-455、 2015 川瀬智子、他、"雑音処理パラメータの自動調整に関する一検討"、2016 年電子情報通信学会総合大会、D-14-9
しかしながら、上記従来の技術では、グループ毎に最適な制御パラメータセットを準備する必要があり、制御パラメータセットの準備に多くの時間を要する。さらに、グループの境界近傍に相当する収音環境では、最適な制御パラメータセットを予測することが難しい。
そこで、本開示では、音響信号処理の制御パラメータセットの最適化において、制御パラメータセットの予測精度を向上させ、最適化に関する負荷あるいは時間を低減することができるパラメータ予測装置を提供する。
そこで、本開示に係るパラメータ予測装置は、音響信号処理を制御するための制御パラメータセットを予測するパラメータ予測装置であって、音響信号の収音環境の1以上の特徴を数値化した環境特徴量セットを取得する環境特徴取得部と、前記音響信号処理の1以上の性能を数値化したものあるいは処理済音響信号の1以上の評価値である目標評価値セットを設定する目標設定部と、前記環境特徴量セット及び前記目標評価値セットを独立変数として第1予測モデルに入力して前記制御パラメータセットを予測する第1予測部と、を備える。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示に係るパラメータ予測装置は、音響信号処理の制御パラメータセットの最適化において、制御パラメータセットの予測精度を向上させ、最適化に関する負荷あるいは時間を低減することができる。
実施の形態1〜4に係る音響信号処理システムの構成を示す図 実施の形態1に係るパラメータ予測装置の機能構成を示すブロック図 実施の形態1に係る信号処理装置の機能構成を示すブロック図 実施の形態1に係る学習装置の機能構成を示すブロック図 実施の形態1に係るパラメータ予測装置の動作を示すフローチャート 実施の形態1における目標評価値セットの一例を示す図 実施の形態1に係る学習装置の動作を示すフローチャート 実施の形態1における学習で用いられる複数の目標評価値セットの一例を示す図 実施の形態1における学習で用いられる複数の目標評価値セットの一例を示す図 実施の形態2に係るパラメータ予測装置の機能構成を示すブロック図 実施の形態2に係るパラメータ予測装置の動作を示すフローチャート 実施の形態2において目標評価値セットの設定が繰り返されたときの目標評価値セット及び予測信頼度の一例を示す図 実施の形態3に係るパラメータ予測装置の機能構成を示すブロック図 実施の形態3に係る学習装置の機能構成を示すブロック図 実施の形態3に係るパラメータ予測装置の動作を示すフローチャート 実施の形態3に係る学習装置の動作を示すフローチャート 実施の形態4に係るパラメータ予測装置の機能構成を示すブロック図 実施の形態4に係る音声認識率、抑圧量及び歪み率の目標評価値の補正の一例を示す図 実施の形態4に係る学習装置の機能構成を示すブロック図 実施の形態4に係るパラメータ予測装置の動作を示すフローチャート
(本開示の基礎となった知見)
自動車内に設置した4つのマイク及び2つのスピーカを備える音響信号処理装置を例にして本開示の基礎となった知見を説明する。この音響信号処理装置は、音声認識ソフトウェアを用いた音声操作のための音響信号処理と、遠隔地との通話のための音響信号処理と、広い自動車内の前列と後列との座席間での通話のための音響信号処理とを選択的に行う。いずれの音響信号処理の場合も、話者の口の近くに位置するマイクではなく、話者の口から離れた位置にあるマイクに対してハンズフリーの状態で入力された音響信号が用いられる。
音響信号処理装置は、スピーカ再生音がマイクに回り込むエコーを抑圧するためのエコーキャンセラ及びエコーサプレッサと、周囲雑音を抑圧し、話者の方向への指向性の制御を行うためのビームフォーマと、を備え、処理済音響信号を後段の音声認識ソフトウェアや通話先の端末に出力する。
エコーキャンセラは、スピーカから出力する再生音響信号とマイクに入力する入力音響信号とから、エコーを抑圧する。一般的にエコーキャンセラだけでエコーを完全に抑圧することは難しい。なお、エコーキャンセラから出力される音響信号には歪みが小さい。
エコーサプレッサは、エコーキャンセラが抑圧できないエコーを抑圧する。ただし、エコーサプレッサでの抑圧量を高めると、音響信号の歪みが大きくなる。また、エコーを過度に抑圧すると、エコーと同時に入力される話者の音声も抑圧されやすい。
ビームフォーマは、エコーが抑圧された4つの音響信号を用いて、指向性を制御し、周囲の雑音を抑圧する。周囲雑音に対する抑圧量を高めると、音響信号の歪みが大きくなる。
このような音響信号処理装置では、エコーキャンセラ、エコーサプレッサ及びビームフォーマを制御するための制御パラメータセットを環境や用途に応じて最適化する必要がある。
用途によって音響信号処理に要求される性能は異なる。例えば、発話者は、音声操作を行うときに「音声認識スタート、地図検索」と発話する。「音声認識スタート」は、音声操作の開始を指示する起動ワードである。「地図検索」は、操作内容を指示する操作ワードである。
音声操作のための音響信号処理には、正しく音声認識される割合である音声認識率が高いことと、スピーカ再生中でも音声入力を受け付ける同時通話性が要求される。音声操作のための音響信号処理には、起動ワードのための音響信号処理と操作ワードのための音響信号処理とが含まれる。この2つの音響信号処理では、さらに要求される性能が異なる。
起動ワードのための音響信号処理では、周囲雑音が起動ワードと誤って認識されないように、誤検出率の低さが重要となる。一方、操作ワードのための音響信号処理では、話者の音声を破棄してしまわないように、誤棄却率の低さが重要となる。また、起動ワードが入力される際にはスピーカで音声を再生している場合があるので、起動ワードのための音響信号処理では、エコーの抑圧量の高さが重要である。起動ワードの認識後にスピーカの再生音量を下げるあるいは再生を停止することができるので、操作ワードのための音響信号処理では、エコーの抑圧量は必ずしも重要ではない。
また、通話のための音響信号処理では、エコーの抑圧が要求される。特に、遠隔通話のための音響信号処理では、音響信号処理済みの音響信号は人間の耳で主観的に聞かれるので、周囲雑音の抑圧量の高さ、抑圧による歪み率の低さ、及び同時通話性が重要となる。また、自動車内通話のための音響信号処理では、通話の相手が同一の車内空間にいるため、ハウリングを発生させないためにエコーの抑圧が重要となるが、同時通話性は重要ではない。自動車内通話では、話者から相手に直接伝わる音声と、音響信号処理を介して相手に伝わる音声との間で、遅延があると違和感が発生する。したがって、自動車内通話のための音響信号処理では、遅延の短さが重要である。
これら4つの用途(起動ワード、操作ワード、遠隔通話及び自動車内通話)に、走行速度、エアコンのオン/オフ、天候、話者の老若男女、及び自動車の広さなどの環境の要素も鑑みて、制御パラメータセットの最適化が行われる。ここで、音響信号処理後の音響信号に要求する評価値セットを目標評価値セットと呼ぶ。
非特許文献1及び非特許文献2の方法では、例えば環境を64グループに分類する場合は、64のグループに対して最適な制御パラメータセットを準備する必要がある。また、複数の用途に対して別々に制御パラメータセットを準備する場合は、さらに多くの制御パラメータセットを事前に準備しなければならず、多大な時間を要する。また、離散的なグループへの分類により、隣接するグループの中間に位置する環境に対しては、制御パラメータセットの予測の精度が落ちる。また、グループの数を変更する場合や、目標評価値セットの値を変更する場合には、最適な制御パラメータセットの準備をやり直す必要がある。
そこで、本開示の一態様に係るパラメータ予測装置は、音響信号処理を制御するための制御パラメータセットを予測するパラメータ予測装置であって、音響信号の収音環境の1以上の特徴を数値化した環境特徴量セットを取得する環境特徴取得部と、前記音響信号処理の1以上の性能を数値化したものあるいは処理済音響信号の1以上の評価値である目標評価値セットを設定する目標設定部と、前記環境特徴量セット及び前記目標評価値セットを独立変数として第1予測モデルに入力して前記制御パラメータセットを予測する第1予測部と、を備える。
この構成によれば、環境特徴量セット及び目標評価値セットを独立変数として第1予測モデルに入力することにより、制御パラメータセットを予測することができる。したがって、収音環境及び用途の両方に適した制御パラメータセットを予測することができ、制御パラメータセットの予測精度を向上させることができる。さらに、環境のグループ毎に最適な制御パラメータセットを予め準備する必要もないので、パラメータの最適化のための準備に関する負荷あるいは時間を低減することができる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本発明を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
(実施の形態1)
以下、図1〜図9を用いて、実施の形態1を説明する。
[1−1.音響信号処理システムの構成]
[1−1−1.音響信号処理システムの全体構成]
図1は、実施の形態1に係る音響信号処理システム10の構成を示す図である。音響信号処理システム10は、パラメータ予測装置100と、信号処理装置200と、学習装置300と、データベース20と、マイクロフォン30と、を備える。
パラメータ予測装置100は、環境情報及び要求性能情報に基づく環境特徴量セット及び目標評価値セットを、学習装置300から受信した第1予測係数が適用された第1予測モデルに入力することにより、信号処理装置200における信号処理を制御するための制御パラメータセットを予測する。パラメータ予測装置100は、予測した制御パラメータセットを信号処理装置200に出力する。
第1予測モデルは、第1予測係数を用いて、独立変数(説明変数)である環境特徴量セット及び目標評価値セットと、従属変数(目的変数)である制御パラメータセットとの間の関係を表すモデルである。例えば、第1予測モデルは、環境特徴量セット及び評価値セットを独立変数として有し、制御パラメータセットを従属変数として有する第1の回帰モデルである。
信号処理装置200は、パラメータ予測装置100から受信した制御パラメータセットを用いて、マイクロフォン30から出力された音響信号を処理することにより、処理済音響信号を生成する。処理済音響信号は、例えば音声認識ソフトウエアあるいは通話相手の端末に送信される。また、学習時には、処理済音響信号は、学習装置300に送信される。
学習装置300は、データベース20に記憶されている訓練データを用いて、パラメータ予測装置100の第1予測モデルで用いられる第1予測係数を学習する。訓練データは、音響信号及び環境特徴量セットの組み合わせを複数含む。
[1−1−2.パラメータ予測装置の構成]
ここで、パラメータ予測装置100の機能構成について、図2を参照しながら具体的に説明する。図2は、実施の形態1に係るパラメータ予測装置100の機能構成を示すブロック図である。
パラメータ予測装置100は、環境特徴取得部101と、目標設定部102と、第1予測部103と、を備える。
環境特徴取得部101は、環境情報に基づいて、環境特徴量セットを取得する。環境情報は、環境特徴量セットそのものであってもよい。また、環境情報は、音響信号あるいは映像信号であってもよい。また、環境情報は、自動車の車種あるいは話者の識別子であってもよい。環境情報が音響信号あるいは映像信号である場合には、環境特徴取得部101は、音響信号又は映像信号から環境特徴量セットを抽出すればよい。
環境特徴量セットは、環境情報を数値化したものである。環境特徴量セットは、少なくとも1つの環境特徴量を含む。環境特徴量は、音響信号の収音環境を表す。言い換えると、環境特徴量は、マイクロフォン30の設置場所の環境を表す。
具体的な例としては、環境特徴量として、例えば3種類の周波数帯域の騒音レベルを用いることができる。また例えば、環境特徴量として、騒音レベルと人間の音声の信号レベルとの比(S/N比)、話者の性別や年齢、及びマイクと話者との距離や方向などが用いられてもよい。また例えば、環境特徴量として、マイクロフォンから入力した音響信号を任意に加工して数値化した値が用いられてもよい。
目標設定部102は、要求性能情報に基づいて、目標評価値セットを設定する。要求性能情報は、音声認識率抑圧量あるいは歪み率などの性能を示す情報であり、目標評価値セットそのものであってもよい。また、要求性能情報は、音声操作や通話などの用途そのものを示す情報であってもよい。
目標評価値セットは、音響信号処理された音響信号の評価値の目標を表す。本実施の形態では、目標評価値セットは、音声認識率、抑圧量及び歪み率の数値の組み合わせで表される。また例えば、目標評価値セットとして、音響信号処理された音響信号を任意に加工して数値化した値が用いられてもよい。
第1予測部103は、環境特徴量セットと目標評価値セットを独立変数として第1予測モデルに入力して制御パラメータセットを予測する。
制御パラメータセットは、音響信号処理を制御するための少なくとも1つの制御パラメータを含む。具体的には、制御パラメータセットは、例えばパワースペクトル密度のゲイン、忘却係数及びフロアリング係数などを含む。
第1予測モデルは、独立変数である環境特徴量セット及び目標評価値セットと、従属変数である制御パラメータセットとの間の関係を表す。第1予測モデルの予測係数(パラメータ)は、訓練データを用いた機械学習によって事前に準備される。具体的には、第1予測モデルとしては、例えば線形回帰モデル、サポートベクターマシン、ガウス過程回帰モデル、ニューラルネットワークなどを用いることができる。
例えば、第1予測モデルとして回帰モデルを用いる場合、第1予測モデルは以下の(式1)により表すことができる。
Figure 2018092117
(式1)において、xは独立変数を表し、yは従属変数を表し、εは誤差を表す。本実施の形態では、複数の独立変数と複数の従属変数とが用いられるが、簡便化のために、複数の独立変数をD次元の行列で表し、複数の従属変数を1次元の行列で表している。n組の独立変数及び従属変数を学習用の訓練データとして用いて、回帰モデルの予測係数が学習される。
回帰モデルの最も単純な例は、f(xi)=WTxiで定義される線形回帰モデルである。i番目の訓練データの独立変数の入力xiから予測値f(xi)を予測し、予測値f(xi)とi番目の訓練データの従属変数yiとの間の予測誤差εが小さくなるように予測係数Wが計算される。ただし、本実施の形態では、独立変数(環境特徴量セット及び目標評価値セット)と従属変数(制御パラメータセット)との間の関係性が複雑なので線形回帰モデルでは予測誤差εが大きくなる可能性が高い。
そこで、第1予測モデルとして、例えばニューラルネットワークが用いられてもよい。ニューラルネットワークでは、重み(パラメータ)が予測係数に相当する。ニューラルネットワークにおいても、訓練データを用いて、予測値f(xi)と訓練データの従属変数yiとの間の誤差が小さくなるような重みを全ての学習データについて探索することにより予測係数を学習することができる。
なお、ニューラルネットワークは、Rumelhart DE、 Hinton GE and Williams RJ: Learning internal representations by error propagation. Parallel Distributed Processing, 1, MIT Press, MA, 318-362, (1986)に詳しく説明されているので、ここでは詳細な説明を省略する。
また、第1予測モデルとして、例えばガウス過程回帰モデルが用いられてもよい。ガウス過程回帰モデルでは、以下の(式2)及び(式3)に示す、平均関数m(x)及び分散関数k(x,x’)を用いて学習データから分散行列K(X,X)(式4)が計算される。この分散行列K(X,X)から予測係数(K(X,X)+σ2I)−1が算出される。この予測係数を用いて、独立変数X*から予測値f*が算出される(式5)。
Figure 2018092117
ガウス過程回帰モデルは、C. E. Rasmussen & C. K. I. Williams, “Gaussian Processes for Machine Learning”, MIT Press, 2006に詳しく説明されているので、ここでは詳細な説明を省略する。
[1−1−3.信号処理装置の構成]
次に、信号処理装置200の機能構成について、図3を参照しながら具体的に説明する。ここでは、通話のための音響信号処理を例として信号処理装置について説明する。相手先の端末から送信された音響信号がスピーカ40から出力され、マイクロフォン30から入力された音響信号が信号処理されて相手先の端末に送信される。
図3は、実施の形態1に係る信号処理装置200の機能構成を示すブロック図である。信号処理装置200は、エコーキャンセラ201と、エコーサプレッサ202と、ビームフォーマ203と、を備える。
エコーキャンセラ201は、2つのスピーカ40から出力される2つの音響信号と4つのマイクロフォン30に入力する4つの音響信号とに基づいて、マイクロフォン30に入力する4つの音響信号からエコーを除去する。このとき、エコーキャンセラ201は、パラメータ予測装置100から受信した制御パラメータセットに基づいてエコー除去処理を行う。
エコーサプレッサ202は、エコーキャンセラ201で除去できないエコーを抑圧する。つまり、エコーサプレッサ202は、エコーキャンセラ201でエコー除去処理が行われた音響信号に対してエコー抑圧処理を行う。このとき、エコーサプレッサ202は、パラメータ予測装置100から受信した制御パラメータセットに基づいてエコー抑圧処理を行う。
ビームフォーマ203は、エコー抑圧処理が行われた4つの音響信号を用いて、指向性を制御し、音響信号から周囲の雑音を除去する。このとき、ビームフォーマ203は、パラメータ予測装置100から受信した制御パラメータセットに基づいて指向性制御及び雑音除去を行う。
[1−1−4.学習装置の構成]
パラメータ予測装置100において最適な制御パラメータセットの予測を実現するためには、第1予測モデルに適用する第1予測係数をあらかじめ学習によって準備する必要がある。このような第1予測係数の準備のための学習装置300の機能構成について、図4を参照しながら具体的に説明する。
図4は、実施の形態1に係る学習装置300の機能構成を示すブロック図である。
データベース20は、音響信号データと当該音響信号データに対応する環境特徴量セットとの複数の組み合わせを訓練データとして記憶している。音響信号データは、マイクロフォン30を用いてあらかじめ録音された音響信号を表す。環境特徴量セットは、音響信号の録音時に取得される、もしくは、データベース20への音響信号の格納時に生成される。データベース20は、学習装置300に内蔵された半導体メモリあるいはハードディスクドライブで実現されてもよいし、学習装置300等と通信ネットワークを介して接続された記憶装置で実現されてもよい。
信号処理装置200は、データベース20から音響信号データを取得し、学習装置300から制御パラメータセットを取得する。そして、信号処理装置200は、制御パラメータセットを用いて音響信号データを処理することで、処理済音響信号データを学習装置300に出力する。
図4に示すように、学習装置300は、探索部301と、評価値セット算出部302と、第1学習部303と、を備える。
評価値セット算出部302は、処理済音響信号から評価値セットを算出する。算出された評価値セットは探索部301に出力される。
第1学習部303は、環境特徴量セット及び評価値セットと制御パラメータセットとの関係を回帰分析することにより、第1予測モデルに用いる第1予測係数を導出する。
探索部301は、予め定められた複数の目標評価値セットの各々について、第1学習部303で導出された第1予測係数が適用された第1予測モデルに、当該目標評価値セット及び環境特徴量セットを入力することにより、制御パラメータセットを予測する。そして、探索部301は、予測された制御パラメータセットを信号処理装置200に出力する。その結果、信号処理装置200は、新たな処理済音響信号を評価値セット算出部302に出力する。
[1−2.音響信号処理システムの動作]
次に、以上のように構成された音響信号処理システム10の動作について説明する。
[1−2−1.パラメータ予測装置の動作]
図5は、実施の形態1に係るパラメータ予測装置100の動作を示すフローチャートである。
まず、環境特徴取得部101は、環境特徴量セットを取得する(S101)。例えば、環境特徴取得部101は、走行速度及び話者の性別などの環境情報から、ノイズの大きさ及び話者の声の基本周波数などの環境特徴量セットを生成する。
目標設定部102は、目標評価値セットを設定する(S102)。例えば、目標設定部102は、要求性能情報から目標評価値セットを生成する。
図6は、実施の形態1における目標評価値セットの一例を示す図である。図6では、要求性能情報として用途が用いられている。例えば、要求性能情報が音声操作及び起動ワードを示す場合、エコー抑圧量、同時通話性、音声認識率が高く、誤検出率が低くなるように目標評価値セットが設定される。
第1予測部103は、学習装置300の学習結果である第1予測係数が適用された第1予測モデルに、環境特徴量セット及び目標評価値セットを独立変数として入力することにより、制御パラメータセットを予測する(S103)。
[1−2−2.学習装置の動作]
次に、制御パラメータの予測に用いられる第1予測モデルの第1予測係数を得るための学習装置300の動作について説明する。図7は、実施の形態1における学習装置300の動作を示すフローチャートである。
まず、探索部301は、目標評価値セットを設定する(S301)。例えば、探索部301は、用途に応じて予め定められた複数の目標評価値セットの中から1つの目標評価値セットを選択する。
図8及び図9は、実施の形態1における学習で用いられる複数の目標評価値セットの一例を示す。図8は、音声操作に対応する複数の目標評価値セットを示し、図9は、通話に対応する複数の目標評価値セットを示す。ここでは、複数の目標評価値セットは、6つ音声認識率と、6つの抑圧量と、6つの歪み率との任意の組み合わせである。つまり、図8及び図9の各々は、216(=6×6×6)通りの目標評価値セットを表している。音声操作では、抑圧量及び歪み率を広い範囲で設定することにより、高い音声認識率を得るための制御パラメータセットの予測に適した第1予測係数を学習する。逆に通話の際は、音声認識率を広い範囲で設定することにより、高い抑圧量及び低い歪み率を得るための制御パラメータセットの予測に適した第1予測係数を学習する。
次に、探索部301は、第1学習部303が学習した第1予測係数を第1予測モデルに適用し、データベース20から読み出した訓練データに含まれる環境特徴量セットと、ステップS301で設定された目標評価値セットとを独立変数として第1予測モデルに入力することにより、制御パラメータセットを予測する(S302)。なお、第1学習部303から第1予測係数が得られない場合、探索部301は、予め定められた制御パラメータセットの初期値を出力すればよい。
信号処理装置200は、探索部301が予測した制御パラメータセットを用いて、データベース20から読み出した訓練データに含まれる音響信号を処理する(S303)。
評価値セット算出部302は、信号処理装置200で処理された音響信号の評価値セットを算出する(S304)。評価値セットは、例えば、音声認識率、抑圧量及び歪み率を含む。
第1学習部303は、データベース20から読み出された環境特徴量セット及び評価値セット算出部302が算出した評価値セットと、探索部301が予測した制御パラメータセットとの関係を回帰分析することにより、第1予測係数を導出する(S305)。つまり、第1学習部303は、独立変数(環境特徴量セット及び評価値セット)と従属変数(制御パラメータセット)との関係を学習することにより、第1予測モデルにおける第1予測係数を導出する。導出された第1予測係数は、探索部301に出力され、次の制御パラメータセットの予測(S302)に用いられる。
第1学習部303は、設定された目標評価値セットの学習終了条件が満たされたか否かを判定する(S306)。学習終了条件は、例えば、学習処理のループ回数を用いて定義される。この場合、ループ回数が予め定められた回数と一致すれば、第1学習部303は、学習終了条件が満たされたと判定すればよい。また例えば、学習終了条件は、設定された目標評価値セットと算出された評価値セットとの差分を用いて定義されてもよい。この場合、差分が予め定められた閾値よりも小さければ、第1学習部303は、学習終了条件が満たされたと判定すればよい。また例えば、学習終了条件は、前回導出された第1予測係数と今回導出された第1予測係数との差分を用いて定義されてもよい。この場合、差分が予め定められた閾値よりも小さければ、第1学習部303は、学習終了条件が満たされたと判定すればよい。
学習終了条件が満たされていない場合は(S306のNo)、ステップS302に戻る。学習終了条件が満たされた場合は(S306のYes)、探索部301は、全ての目標評価値セットが設定されたか否かを判定する(S307)。いずれかの目標評価値セットが設定されていない場合は(S307のNo)、ステップS301に戻る。全ての目標評価値セットが設定された場合は(S307のYes)、第1学習部303は、学習結果である第1予測係数をパラメータ予測装置100に出力する(S308)。
[1−3.効果等]
以上、本実施の形態に係るパラメータ予測装置100によれば、環境特徴量セット及び目標評価値セットを独立変数として第1予測モデルに入力することにより、制御パラメータセットを予測することができる。したがって、収音環境及び用途の両方に適した制御パラメータセットを予測することができ、制御パラメータセットの予測精度を向上させることができる。さらに、環境のグループ毎に最適な制御パラメータセットを予め準備する必要もないので、パラメータの最適化のための準備に関する負荷あるいは時間を低減することができる。
(実施の形態2)
実施の形態2では、制御パラメータセットの予測信頼度に応じて目標評価値セットを修正することにより制御パラメータセットの予測精度を向上させる点が、上記実施の形態1と異なる。以下に、本実施の形態について、実施の形態1と異なる点を中心に図1及び図10〜図12を参照しながら具体的に説明する。
[2−1.音響信号処理システムの構成]
実施の形態2に係る音響信号処理システムの構成について説明する。図1に示すように、音響信号処理システム10Aは、パラメータ予測装置100Aと、信号処理装置200と、学習装置300と、データベース20と、マイクロフォン30と、を備える。
[2−1−1.パラメータ予測装置の構成]
図10は、実施の形態2に係るパラメータ予測装置100Aの機能構成を示すブロック図である。図10において、図2と同一又は類似の構成要素については、同一の符号を付し、適宜説明を省略する。
パラメータ予測装置100Aは、環境特徴取得部101と、目標設定部102Aと、第1予測部103Aと、目標修正部104Aと、を備える。
第1予測部103Aは、制御パラメータセットを予測するとともに、当該制御パラメータセットの予測信頼度を算出する。予測信頼度は、回帰分析の予測値の精度を示す指標である。例えば、予測信頼度は、回帰分析の予測の際に予測値とともに得られる予測誤差でもよく、尤度でもよい。または、予測信頼度は、予測誤差又は尤度の逆数であってもよい。予測信頼度に何が採用されるかによって、予測信頼度の値の大きさと予測精度の高さとの関係は変わる。つまり、予測信頼度の値が大きいほど予測精度が高い場合もあれば、予測信頼度の値が小さいほど予測精度が高い場合もある。
目標修正部104Aは、制御パラメータセットの予測信頼度に応じて目標修正指示を目標設定部102Aに出力する。例えば、目標修正部104Aは、予測信頼度が予め定められた閾値信頼度よりも低い場合に、目標修正指示を目標設定部102Aに出力し、予測信頼度が予め定められた閾値信頼度よりも高い場合に、目標修正指示を目標設定部102Aに出力しない。
目標設定部102Aは、目標修正指示を目標修正部104Aから受けたときに、要求性能情報と現在設定されている目標評価値セットとに基づいて、新たな目標評価値セットを設定する。つまり、目標設定部102Aは、予測信頼度に応じて、目標評価値セットを修正する。
[2−2.音響信号処理システムの動作]
[2−2−1.パラメータ予測装置の動作]
次に、パラメータ予測装置100Aの動作について説明する。図11は、実施の形態2に係るパラメータ予測装置100Aの動作を示すフローチャートである。図11において、図5と同一又は類似のステップについては同一の符号を付し、適宜説明を省略する。
まず、環境特徴取得部101は、環境特徴量セットを取得する(S101)。目標設定部102Aは、目標評価値セットを設定する(S401)。第1予測部103Aは、学習装置300の学習結果である第1予測係数が適用された第1予測モデルに、環境特徴量セット及び目標評価値セットを独立変数として入力することにより、制御パラメータセットを予測する。このとき、第1予測部103Aは、制御パラメータセットの予測信頼度も算出する(S402)。目標修正部104Aは、制御パラメータセットの予測信頼度が予め定められた条件を満たすか否かを判定する(S403)。予め定められた条件は、予測信頼度が十分に高いことを示す条件である。例えば、目標修正部104Aは、予測信頼度が閾値信頼度よりも高いか否かを判定する。
ここで、予測信頼度が条件を満たす場合(S403のYes)、制御パラメータセットが信号処理装置200に出力、処理が終了する。一方、予測信頼度が条件を満たさない場合は(S403のNo)、目標修正部104Aから目標設定部102Aに目標修正指示が送信され、目標設定部102Aは、新たな目標評価値セットを設定する(S401)。なお、ステップS402では、予測信頼度だけではなく、目標評価値セットの設定回数(S401〜S403の繰り返し回数)あるいは処理時間に基づいて判定が行われてもよい。なお、繰り返し回数に応じて、予測信頼度に対する条件が緩和されてもよい。
図12は、実施の形態2において目標評価値セットの設定が繰り返されたときの目標評価値セット及び予測信頼度の一例を示す図である。ここでは、説明が不必要に冗長となることを避け、当業者の理解を容易にするために、音声認識率、抑圧量、歪み率、及び予測信頼度は正規化された値(0〜1)が記載されている。用途に応じて目標評価値セットが修正されており、図12では、音声操作という用途に応じて、音声認識率の値は小幅に修正され、抑圧量と歪み率の値は大幅に修正されている。
回帰分析(学習)の際に、音声認識率、抑圧量、歪み率、及び予測信頼度の上限及び下限並びに統計情報を取得できるので、目標設定部102Aは、それらの情報に基づいて、目標評価値セットの初期値、あるいは各目標評価値の修正の刻み幅を決定してもよい。
回帰分析の処理負荷は大きいが、回帰分析の結果(ここでは第1予測係数)を用いた予測の処理負荷は小さいので、本実施の形態のように繰り返し予測することは実現可能である。
[2−3.効果等]
以上、本実施の形態に係るパラメータ予測装置100Aによれば、制御パラメータセットの予測信頼度に応じて目標評価値セットを修正することができる。したがって、目標評価値セットに適した制御パラメータセットの予測が難しい場合に、目標評価値セットを修正することができ、修正後の目標評価値セットに適した制御パラメータセットを予測することが可能となる。つまり、目標評価値セットから大きく乖離した評価値セットを有する処理済音響信号が出力される可能性を低減することができ、制御パラメータセットの予測精度を向上させることができる。
(実施の形態3)
実施の形態3では、複数の制御パラメータセット候補に対する複数の評価値セットを第2予測モデルを用いて予測する。そして、予測された複数の評価値セットに基づいて、複数の制御パラメータセット候補の中から制御パラメータセットを選択する。これにより、本実施の形態に係るパラメータ予測装置は、要求性能(目標評価値セット)を満たすことができる制御パラメータセットを選別することができる。
以下に、本実施の形態について、実施の形態1と異なる点を中心に図1及び図13〜図16を参照しながら具体的に説明する。
[3−1.音響信号処理システムの構成]
実施の形態3に係る音響信号処理システムの構成について説明する。図1に示すように、音響信号処理システム10Bは、パラメータ予測装置100Bと、信号処理装置200と、学習装置300Bと、データベース20と、マイクロフォン30と、を備える。
パラメータ予測装置100Bは、環境特徴量セット及び目標評価値セットを第1予測モデルに独立変数として入力することにより制御パラメータセットを予測する。さらに、パラメータ予測装置100Bは、予測された制御パラメータセットから複数の制御パラメータセット候補を生成する。生成された複数の制御パラメータセット候補の各々は、環境特徴量セットとともに第2予測モデルに入力され、各候補に対応する評価値セットが予測される。
学習装置300Bは、データベース20に記憶されている訓練データを用いて、環境特徴量セット及び目標評価値セットと、制御パラメータセットとの関係を回帰分析することにより、第1予測モデルの第1予測係数を導出する。
[3−1−1.パラメータ予測装置の構成]
図13は、実施の形態3に係るパラメータ予測装置100Bの機能構成を示すブロック図である。図13において、図2と同一又は類似の構成要素については、同一の符号を付し、適宜説明を省略する。
パラメータ予測装置100Aは、環境特徴取得部101と、目標設定部102と、第1予測部103と、候補生成部105Bと、第2予測部106Bと、選択部107Bと、を備える。
候補生成部105Bは、第1予測部103によって予測された制御パラメータセットに基づいて、複数の制御パラメータセット候補を生成する。具体的には、候補生成部105Bは、例えば、制御パラメータセットの予測値と予測信頼度とに基づいて、各制御パラメータの予測下限値、予測平均値及び予測上限値を計算する。そして、候補生成部105Bは、予測下限値、予測平均値及び予測上限値を満たす制御パラメータを組み合わせることにより、複数の制御パラメータセット候補を生成する。なお、候補生成部105Bは、予測信頼度を使用せずに、制御パラメータセットの予測値に一定の比率(例えば、±5%)の値を付与して予測下限値、予測平均値及び予測上限値を計算してもよい。
第2予測部106Bは、第2予測係数が適用された第2予測モデルに環境特徴量セット及び複数の制御パラメータセット候補の各々を独立変数として入力することで、複数の予測評価値セットを予測する。
第2予測モデルは、第2予測係数を用いて、独立変数(説明変数)である環境特徴量セット及び制御パラメータセットと、従属変数(目的変数)である評価値セットとの間の関係を表すモデルである。例えば、第2予測モデルは、環境特徴量セット及び制御パラメータセットを独立変数として有し、評価値セットを従属変数として有する第2の回帰モデルである。第1予測モデル及び第2予測モデルでは、環境特徴量セットが独立変数であることが同じであるが、制御パラメータセット及び評価値セットが独立変数及び従属変数のどちらであるかが異なる。
選択部107Bは、複数の評価値セットに基づいて、複数の制御パラメータセット候補の中から1つの制御パラメータセットを選択する。具体的には、選択部107Bは、例えば、複数の制御パラメータセット候補の中から、目標評価値セットに最も類似する評価値セットに対応する制御パラメータセットを選択する。また例えば、選択部107Bは、複数の制御パラメータセット候補の中から、目標評価値セットより高い評価値セットに対応する制御パラメータセットを選択する。
[3−1−2.学習装置の構成]
図14は、実施の形態3に係る学習装置300Bの機能構成を示すブロック図である。図14において、図4と同一又は類似の構成要素については、同一の符号を付し、適宜説明を省略する。
学習装置300Bは、探索部301と、評価値セット算出部302と、第1学習部303と、第2学習部304Bと、を備える。
第2学習部304Bは、環境特徴量セット及び制御パラメータセットと評価値セットとの関係を回帰分析することにより、第2予測モデルに用いる第2予測係数を導出する。導出された第2予測係数は、パラメータ予測装置100Bに出力される。
[3−2.音響信号処理システムの動作]
[3−2−1.パラメータ予測装置の動作]
次に、パラメータ予測装置100Bの動作について図15を参照しながら具体的に説明する。図15は、実施の形態3に係るパラメータ予測装置100Bの動作を示すフローチャートである。図15において、図5と同一又は類似のステップについては同一の符号を付し、適宜説明を省略する。
ステップS101〜ステップS103が実行された後、候補生成部105Bは、第1予測部103によって予測された制御パラメータセットに基づいて、複数の制御パラメータセット候補を生成する(S501)。そして、第2予測部106Bは、複数の制御パラメータセット候補の各々について、学習装置300Bの学習結果である第2予測係数が適用された第2予測モデルに、当該候補及び環境特徴量セットを独立変数として入力することにより評価値セットを予測する(S502)。
選択部107Bは、予測された複数の評価値セットに基づいて、複数の制御パラメータセット候補から制御パラメータセットを選択する(S503)。選択された制御パラメータセットは、信号処理装置200に出力される。
[3−2−2.学習装置の動作]
次に、学習装置300Bの動作について図16を参照しながら具体的に説明する。図16は、実施の形態3に係る学習装置300Bの動作を示すフローチャートである。図16において、図7と同一又は類似のステップについては同一の符号を付し、適宜説明を省略する。
ステップS301〜ステップS305が実行された後、第2学習部304Bは、データベース20から読み出された環境特徴量セット及び探索部301が予測した制御パラメータセットと、評価値セット算出部302が算出した評価値セットとの関係を回帰分析することにより、第2予測係数を導出する(S601)。つまり、第2学習部304Bは、独立変数(環境特徴量セット及び制御パラメータセット)と従属変数(評価値セット)との関係を学習することにより、第2予測モデルにおける第2予測係数を導出する。
その後、ステップS306〜ステップS308が実行された後、第2学習部304Bは、学習結果である第2予測係数をパラメータ予測装置100Bに出力する(S602)。
[3−3.効果等]
以上のように、本実施の形態に係るパラメータ予測装置100Bによれば、複数の制御パラメータセット候補に対する複数の評価値セットを第2予測モデルを用いて予測することができる。そして、予測された複数の評価値セットに基づいて、複数の制御パラメータセット候補の中から制御パラメータセットを選択することができる。したがって、要求性能(目標評価値セット)を満たすことができる制御パラメータセットを信号処理装置200に与えることができる。
(実施の形態4)
実施の形態4では、環境特徴量セットを用いて目標評価値セットを補正する。高騒音下では低騒音下に比べて認識率が低くなる。また、低騒音下では低い認識率を示す制御パラメータセットを設定することが難しい。本実施の形態により、高騒音下での高認識率の要求や、低騒音下での低認識率の要求など、実際にそぐわない要求性能情報を補正することができ、制御パラメータセットの予測精度を向上することができる。
以下に、本実施の形態について、実施の形態1と異なる点を中心に図1及び図17〜図19を参照しながら具体的に説明する。
[4−1.音響信号処理システムの構成]
実施の形態4に係る音響信号処理システムの構成について説明する。図1に示すように、音響信号処理システム10Cは、パラメータ予測装置100Cと、信号処理装置200と、学習装置300Cと、データベース20と、マイクロフォン30と、を備える。
[4−1−1.パラメータ予測装置の構成]
図17は、実施の形態4に係るパラメータ予測装置100Cの機能構成を示すブロック図である。図17において、図2と同一又は類似の構成要素については、同一の符号を付し、適宜説明を省略する。
パラメータ予測装置100Cは、環境特徴取得部101と、目標設定部102と、第1予測部103と、目標補正部108Cと、を備える。
目標補正部108Cは、目標設定部102によって設定された目標評価値セットを補正する。例えば、目標補正部108Cは、環境特徴量セットを独立変数として第3予測モデルに入力して評価値セットの予測を行う。そして、目標補正部108Cは、当該予測における予測分散に基づいて目標評価値セットを補正する。
第3予測モデルは、第3予測係数を用いて、独立変数(説明変数)である環境特徴量セットと、従属変数(目的変数)である評価値セットとの間の関係を表すモデルである。例えば、第3予測モデルは、環境特徴量セットを独立変数として有し、評価値セットを従属変数として有する第3の回帰モデルである。第3予測係数は、学習装置300Cによって予め導出されればよい。
例えば、目標補正部108Cは、評価値セットの予測の際に得られる予測分散を用いて、目標評価値セットに含まれる各目標評価値の許容最大値と許容最小値とを決定する。そして、目標補正部108Cは、目標設定部102から得られた目標評価値セットに含まれる各目標評価値が、許容最大値及び許容最小値によって定められる範囲から逸脱している場合に、各目標評価値が当該範囲内に収まるように補正する。例えば、目標評価値セットに含まれる目標評価値が許容最大値より大きい場合に、目標補正部108Cは、当該目標評価値を許容最大値に補正する。また例えば、目標評価値セットに含まれる目標評価値が許容最小値より小さい場合に、目標補正部108Cは、当該目標評価値を許容最小値に補正する。
図18は、音声認識率、抑圧量及び歪み率の目標評価値の補正の一例を示す図である。図18に示すように、音声認識率の目標評価値は、許容最大値よりも大きいので許容最大値に補正されている。また、歪み率の目標評価値は、許容最小値よりも小さいので許容最小値に補正されている。
なお、目標補正部108Cは、必ずしも第3予測モデルを用いて評価値セットの予測を行わなくてもよい。例えば、目標補正部108Cは、学習装置300Cから第3予測係数の代わりに、各目標評価値の許容最大値及び許容最小値を取得してもよい。
[4−1−2.学習装置の構成]
図19は、実施の形態4に係る学習装置300Cの機能構成を示すブロック図である。図19において、図4と同一又は類似の構成要素については、同一の符号を付し、適宜説明を省略する。
学習装置300Cは、探索部301と、評価値セット算出部302と、第1学習部303と、第3学習部305Cと、を備える。
第3学習部305Cは、データベース20から環境特徴量セットを取得し、評価値セット算出部302から評価値セットを取得する。第3学習部305Cは、環境特徴量セットを独立変数、評価値セットを従属変数として回帰分析することにより、第3予測モデルに用いる第3予測係数を導出する。導出された第3予測係数は、パラメータ予測装置100Cに出力される。
[4−2.音響信号処理システムの動作]
[4−2−1.パラメータ予測装置の動作]
次に、パラメータ予測装置100Cの動作について図20を参照しながら具体的に説明する。図20は、実施の形態4に係るパラメータ予測装置100Cの動作を示すフローチャートである。図20において、図5と同一又は類似のステップについては同一の符号を付し、適宜説明を省略する。
ステップS101〜ステップS102が実行された後、目標補正部108Cは、目標設定部102によって設定された目標評価値セットを補正する(S701)。そして、第1予測部103は、補正された目標評価値セットを用いて、制御パラメータセットを予測する(S103)。
[4−3.効果等]
以上、本実施の形態にかかるパラメータ予測装置100Cによれば、環境特徴量セットを独立変数として第3予測モデルに入力して評価値セットを予測し、目標評価値セットを補正することができる。したがって、収音環境に適した目標評価値セットに補正することができ、制御パラメータセットの予測精度を向上することができる。
(他の実施の形態)
以上、本開示の1つまたは複数の態様に係る音響信号処理システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の1つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記実施の形態2と上記実施の形態3とは組み合わせて実現されてもよい。
なお、上記各実施の形態における音響信号処理システムは、1つの装置として実現されてもよいし、パラメータ予測装置、学習装置及び信号処理装置を任意に組み合わせた2つの装置として実現されてもよい。例えば、信号処理装置はスマートフォンなどの情報端末で実現され、パラメータ予測装置及び学習装置は、クラウドサーバで実現されてもよい。また、パラメータ予測装置、学習装置及び信号処理装置は、互いに通信ネットワークを介して接続されてもよい。
なお、上記各実施の形態では、第1予測モデル及び第2予測モデルの例として、線形回帰モデル、ニューラルネットワーク及びガウス過程回帰モデルを説明したが、これに限られない。例えば、第1予測モデル及び第2予測モデルの一方又は両方は、サポートベクターマシンであってもよい。
また、上記各実施の形態におけるパラメータ予測装置が備える構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。例えば、パラメータ予測装置100は、環境特徴取得部101と、目標設定部102と、第1予測部103と、を有するシステムLSIから構成されてもよい。
システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。前記ROMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。 また、本開示の一態様は、このようなパラメータ予測装置だけではなく、パラメータ予測装置に含まれる特徴的な構成要素をステップとするパラメータ予測方法であってもよい。また、本開示の一態様は、パラメータ予測方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態のパラメータ予測装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、音響信号処理を制御するための制御パラメータセットを予測するパラメータ予測方法であって、音響信号の収音環境の1以上の特徴を数値化した環境特徴量セットを取得するステップと、前記音響信号処理の1以上の性能を数値化したものあるいは処理済音響信号の1以上の評価値である目標評価値セットを設定するステップと、前記環境特徴量セット及び前記目標評価値セットを独立変数として第1予測モデルに入力して前記制御パラメータセットを予測するステップと、を含む、パラメータ予測方法を実行させる。
本開示は、家庭電化製品、自動車、スマートフォン、及びウェアラブル端末に搭載されたマイクから出力される音響信号の信号処理に対して、環境及び用途に最適な制御パラメータセットを提供することができる制御パラメータ予測装置として利用することができる。
10、10A、10B、10C 音響信号処理システム
20 データベース
30 マイクロフォン
40 スピーカ
100、100A、100B、100C パラメータ予測装置
101 環境特徴取得部
102、102A 目標設定部
103、103A 第1予測部
104A 目標修正部
105B 候補生成部
106B 第2予測部
107B 選択部
108C 目標補正部
200 信号処理装置
201 エコーキャンセラ
202 エコーサプレッサ
203 ビームフォーマ
300、300B、300C 学習装置
301 探索部
302 評価値セット算出部
303 第1学習部
304B 第2学習部
305C 第3学習部

Claims (9)

  1. 音響信号処理を制御するための制御パラメータセットを予測するパラメータ予測装置であって、
    音響信号の収音環境の1以上の特徴を数値化した環境特徴量セットを取得する環境特徴取得部と、
    前記音響信号処理の1以上の性能を数値化したものあるいは処理済音響信号の1以上の評価値である目標評価値セットを設定する目標設定部と、
    前記環境特徴量セット及び前記目標評価値セットを独立変数として第1予測モデルに入力して前記制御パラメータセットを予測する第1予測部と、を備える、
    パラメータ予測装置。
  2. 前記第1予測部は、さらに、前記制御パラメータセットの予測信頼度を算出し、
    前記目標設定部は、前記予測信頼度に応じて前記目標評価値セットを修正し、
    前記第1予測部は、前記目標評価値セットが修正された場合に、修正された前記目標評価値セットを用いて前記制御パラメータセットを予測する、
    請求項1に記載のパラメータ予測装置。
  3. 前記第1予測部によって予測された前記制御パラメータセットに基づいて、複数の制御パラメータセット候補を生成する候補生成部と、
    前記複数の制御パラメータセットの各々について、前記環境特徴量セット及び当該候補を独立変数として第2予測モデルに入力して評価値セットを予測する評価値セット予測部と、
    前記評価値セット予測部によって予測された複数の評価値セットに基づいて、前記複数の制御パラメータセット候補の中から制御パラメータセットを選択する選択部と、を備える、
    請求項1又は2に記載のパラメータ予測装置。
  4. 前記第1予測モデルは、環境特徴量セット及び評価値セットを独立変数として有し、制御パラメータセットを従属変数として有する第1の回帰モデルである、
    請求項1〜3のいずれか1項に記載のパラメータ予測装置。
  5. 前記第2予測モデルは、環境特徴量セット及び制御パラメータセットを独立変数として有し、評価値セットを従属変数として有する第2の回帰モデルである、
    請求項3に記載のパラメータ予測装置。
  6. 前記パラメータ予測装置は、さらに、
    前記環境特徴量セットに基づいて、前記目標設定部によって設定された前記目標評価値セットを補正する目標補正部を備え、
    前記第1予測部は、前記目標補正部によって補正された前記目標評価値セットを用いて前記制御パラメータセットを予測する、
    請求項1に記載のパラメータ予測装置。
  7. 前記目標補正部は、前記環境特徴量セットを独立変数として第3予測モデルに入力して評価値セットの予測を行い、当該予測における予測分散に基づいて前記目標評価値セットを補正する、
    請求項6に記載のパラメータ予測装置。
  8. 音響信号処理を制御するための制御パラメータセットを予測するパラメータ予測方法であって、
    音響信号の収音環境の1以上の特徴を数値化した環境特徴量セットを取得するステップと、
    前記音響信号処理の1以上の性能を数値化したものあるいは処理済音響信号の1以上の評価値である目標評価値セットを設定するステップと、
    前記環境特徴量セット及び前記目標評価値セットを独立変数として第1予測モデルに入力して前記制御パラメータセットを予測するステップと、を含む、
    パラメータ予測方法。
  9. 請求項8に記載のパラメータ予測方法をコンピュータに実行させるためのプログラム。
JP2017095786A 2016-09-28 2017-05-12 音響信号処理のパラメータ予測装置及びパラメータ予測方法 Active JP6843701B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17191774.3A EP3301675B1 (en) 2016-09-28 2017-09-19 Parameter prediction device and parameter prediction method for acoustic signal processing
US15/713,141 US10453472B2 (en) 2016-09-28 2017-09-22 Parameter prediction device and parameter prediction method for acoustic signal processing

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016190327 2016-09-28
JP2016190327 2016-09-28
JP2016231867 2016-11-29
JP2016231867 2016-11-29

Publications (2)

Publication Number Publication Date
JP2018092117A true JP2018092117A (ja) 2018-06-14
JP6843701B2 JP6843701B2 (ja) 2021-03-17

Family

ID=62565504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017095786A Active JP6843701B2 (ja) 2016-09-28 2017-05-12 音響信号処理のパラメータ予測装置及びパラメータ予測方法

Country Status (1)

Country Link
JP (1) JP6843701B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257271A (zh) * 2021-05-17 2021-08-13 浙江大学 多发声者发声运动特征波形的获取方法及装置、电子设备
KR20220056833A (ko) * 2021-05-28 2022-05-06 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. 소리 데이터 노이즈 캔슬링 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램
CN115455805A (zh) * 2022-08-04 2022-12-09 中国铁路设计集团有限公司 轨道交通站厅声级计权修正的预测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013007764A (ja) * 2011-06-22 2013-01-10 Clarion Co Ltd 音声データ中継装置、端末装置、音声データ中継方法、および音声認識システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013007764A (ja) * 2011-06-22 2013-01-10 Clarion Co Ltd 音声データ中継装置、端末装置、音声データ中継方法、および音声認識システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257271A (zh) * 2021-05-17 2021-08-13 浙江大学 多发声者发声运动特征波形的获取方法及装置、电子设备
KR20220056833A (ko) * 2021-05-28 2022-05-06 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. 소리 데이터 노이즈 캔슬링 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램
JP2022095689A (ja) * 2021-05-28 2022-06-28 阿波▲羅▼智▲聯▼(北京)科技有限公司 音声データノイズ低減方法、装置、機器、記憶媒体及びプログラム
US11798573B2 (en) 2021-05-28 2023-10-24 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for denoising voice data, device, and storage medium
KR102607120B1 (ko) * 2021-05-28 2023-11-29 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. 소리 데이터 노이즈 캔슬링 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램
CN115455805A (zh) * 2022-08-04 2022-12-09 中国铁路设计集团有限公司 轨道交通站厅声级计权修正的预测方法

Also Published As

Publication number Publication date
JP6843701B2 (ja) 2021-03-17

Similar Documents

Publication Publication Date Title
US10453472B2 (en) Parameter prediction device and parameter prediction method for acoustic signal processing
US10721571B2 (en) Separating and recombining audio for intelligibility and comfort
US11823679B2 (en) Method and system of audio false keyphrase rejection using speaker recognition
US20240038218A1 (en) Speech model personalization via ambient context harvesting
US20210035563A1 (en) Per-epoch data augmentation for training acoustic models
US9008329B1 (en) Noise reduction using multi-feature cluster tracker
CN110970057B (zh) 一种声音处理方法、装置与设备
US20170004826A1 (en) Adaptive beam forming devices, methods, and systems
US20130329908A1 (en) Adjusting audio beamforming settings based on system state
US11404073B1 (en) Methods for detecting double-talk
CN110473568B (zh) 场景识别方法、装置、存储介质及电子设备
CN111785288B (zh) 语音增强方法、装置、设备及存储介质
JP6843701B2 (ja) 音響信号処理のパラメータ予測装置及びパラメータ予測方法
JP7218601B2 (ja) 学習データ取得装置、モデル学習装置、それらの方法、およびプログラム
US20190156846A1 (en) Creating device, creating method, and non-transitory computer readable storage medium
CN110610718B (zh) 一种提取期望声源语音信号的方法及装置
CN111415653B (zh) 用于识别语音的方法和装置
CN111868823A (zh) 一种声源分离方法、装置及设备
EP3939035A1 (en) Speech enhancement using clustering of cues
CN113823301A (zh) 语音增强模型的训练方法和装置及语音增强方法和装置
US11640819B2 (en) Information processing apparatus and update method
WO2023000444A1 (zh) 扬声器的杂音检测方法、装置、电子设备和存储介质
CN113223552B (zh) 语音增强方法、装置、设备、存储介质及程序
CN103390404A (zh) 信息处理装置、信息处理方法和信息处理程序
US20230343312A1 (en) Music Enhancement Systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210224

R150 Certificate of patent or registration of utility model

Ref document number: 6843701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150