JP2022119369A

JP2022119369A - 音声信号処理装置

Info

Publication number: JP2022119369A
Application number: JP2021016441A
Authority: JP
Inventors: 和広並木; Kazuhiro Namiki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-02-04
Filing date: 2021-02-04
Publication date: 2022-08-17

Abstract

【課題】回路規模の増大を抑えつつ、音声の入力レベルに応じてノイズキャンセルまたはダイナミックレンジ拡張処理を行えるようにする。【解決手段】音声信号処理装置は、音声を取得する第１のマイクロホン部の入力音声信号をデジタル信号に変換する第１のＡＤＣ部と、ノイズ音を取得する第２のマイクロホン部の入力音声信号をデジタル信号に変換する第２のＡＤＣ部と、前記第１のＡＤＣ部の出力信号のレベルを検出するレベル検出部と、前記レベル検出部で検出したレベルに応じて前記第１のＡＤＣ部または前記第２のＡＤＣ部に切り替えてダイナミックレンジ拡張処理を行うダイナミックレンジ拡張部と、前記第２のマイクロホン部の入力音声信号からノイズ音を低減するノイズキャンセル処理を行うノイズキャンセル処理部とを有し、前記レベル検出部で検出したレベルに応じて前記ダイナミックレンジ拡張処理または前記ノイズキャンセル処理を行う。【選択図】図１

Description

本発明は、音声信号処理装置に関する。

特許文献１に記載されている撮像装置は、主マイクロホンと、ノイズ音を取得するための参照マイクロホンとを有し、主マイクロホンから入力される音声信号と参照マイクロホンから入力される音声信号とからノイズ音を抑えた音声信号を生成することができる。

特開２０００－４４９４号公報

特許文献１には、ノイズキャンセル用に設けた撮像装置内の参照マイクロホンの出力レベルが主マイクロホンの出力レベルより大きい場合に、ノイズキャンセルの信号処理結果が最小になるように適応フィルタの係数を更新することが記載されている。主マイクロホンの出力からの音声信号から参照マイクロホンからの出力の音声信号を差し引くことでノイズ音を低減することができる。しかしながら、ノイズ音を取得するための参照マイクロホンを設けることで回路規模が増大してしまう課題がある。

一方、アナログ・デジタル変換器（以下、ＡＤＣ）の分解能上限を上回るレベルの音声が入力されると、音が歪んで記録されてしまうことがあるため、低ゲインと高ゲインのアナログ増幅器を設けることがある。これにより、１つのマイクロホン入力に対して、２つの異なるゲインを掛けた音声信号を作成することができ、入力音声のレベルに応じて音声信号を切り替えることで音声のダイナミックレンジを拡張することができる。このようなダイナミックレンジ拡張処理（広ダイナミックレンジ処理）を行うための回路を特許文献１に記載の撮像装置に付加すると、マイクロホンとＡＤＣの数が多くなってしまうため、回路規模が増大することになる。

そこで、本発明は、回路規模の増大を抑えつつ、音声の入力レベルに応じてノイズキャンセルまたはダイナミックレンジ拡張処理を行えるようにすることを目的とする。

本発明に係る音声信号処理装置は、音声を取得する第１のマイクロホン部の入力音声信号をデジタル信号に変換する第１のアナログ・デジタル変換部と、ノイズ音を取得する第２のマイクロホン部の入力音声信号をデジタル信号に変換する第２のアナログ・デジタル変換部と、前記第１のアナログ・デジタル変換部の出力信号のレベルを検出するレベル検出部と、前記レベル検出部で検出したレベルに応じて前記第１のアナログ・デジタル変換部または前記第２のアナログ・デジタル変換部に切り替えてダイナミックレンジ拡張処理を行うダイナミックレンジ拡張部と、前記第２のマイクロホン部の入力音声信号からノイズ音を低減するノイズキャンセル処理を行うノイズキャンセル処理部とを有し、前記レベル検出部で検出したレベルに応じて前記ダイナミックレンジ拡張処理または前記ノイズキャンセル処理を行う。

本発明によれば、回路規模の増大を抑えつつ、音声の入力レベルに応じてノイズキャンセルまたはダイナミックレンジ拡張処理を行うことができる。

実施形態１における音声信号処理装置の構成を説明するためのブロック図である。実施形態１における音声信号処理装置の制御の一例を説明するための図である。ダイナミックレンジ拡張機能を説明するための図である。ノイズキャンセル処理の一例を説明するための図である。実施形態１における音声信号処理装置の制御における各処理の状態を説明するための図である。複数の主マイクロホン部を有する音声信号処理装置の構成を説明するためのブロック図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。

［実施形態１］
図１は、実施形態１における音声信号処理装置の構成を説明するためのブロック図である。実施形態１では、ステレオマイクロホン部の片方の主マイクロホン部１０１（例えば、Ｌチャンネル）と、撮像装置内のノイズ音を取得するための参照マイクロホン部１０２とを有する音声信号処理装置の構成を説明する。なお、図１の音声信号処理装置は、その全部または一部が撮像装置内に存在する。

主マイクロホン部１０１は、撮像装置外の音声を取得するためのマイクロホン部である。

参照マイクロホン部１０２は、撮像装置内で発生するノイズ音を取得するためのマイクロホン部である。

スイッチ１０３は、主マイクロホン部１０１から入力された音声信号のレベルに応じて、主マイクロホン部１０１と参照マイクロホン部１０２との音声信号を切り替えることができる。

アナログ増幅器１０４は、主マイクロホン部１０１から入力された音声信号に対して、所定のゲインを掛ける。

可変アナログ増幅器１０５は、予め主マイクロホン部１０１の入力レベルに応じて、主マイクロホン部１０１の入力音声信号または参照マイクロホン部１０２の入力音声信号に対してゲイン調整を行い、各処理に対するゲイン値まで変化させる。例えば、ダイナミックレンジ拡張処理を行う際は、アナログ増幅器１０４のゲイン値よりも２０ｄＢ小さいゲイン値を設定する。また、ノイズキャンセルする際は、アナログ増幅器１０４と同じゲイン値を設定しておく。

ＡＤＣ部１０６および１０７は、デルタシグマ変調器によるアナログ・デジタル変換部である。このデルタシグマ変調器はオーバーサンプリングを行うため、記録するサンプリング周波数ｆｓに対してオーバーサンプリング率Ｋを掛けた周波数で動作させる。Ｋはサンプリング周波数ｆｓの値に対して、例えば２桁から３桁ほど大きな周波数になるように設計することが望ましい。オーバーサンプリングしてデジタル信号に変換した後、ＡＤＣ部１０６および１０７は、オーバーサンプリングおよび多ビット化された状態の信号に対して、サブサンプルフィルタを掛け、所望の記録するサンプリング周波数で出力する。

レベル検出部１０８は、ＡＤＣ部１０６の出力の音声信号の絶対値を算出し、ＲＭＳ値で音声信号のレベルを設定した閾値と比較し、回路制御信号を出力する。例えば、設定する閾値はデジタル信号処理の分解能限界の－６ｄＢＦＳに設定しておく。また、回路制御信号は、スイッチ１０３、可変アナログ増幅器１０５、ダイナミックレンジ拡張部１０９およびスイッチ１１０に送信される。

図３を参照して、ダイナミックレンジ拡張部１０９の動作を説明する。ダイナミックレンジ拡張部１０９でダイナミックレンジ拡張を行う際は、図１のスイッチ１０３は主マイクロホン部１０１側に切り替わっていることとする。

ダイナミックレンジ拡張部１０９は、予め音声入力を高ゲインのアナログ増幅器と低ゲインのアナログ増幅器とを掛けて、２つの信号を作成しておき、入力された音声信号のレベルに応じて、スイッチ１０９１で信号を切り替える。図３は、ダイナミックレンジ拡張部１０９において、入力された音声信号のレベルに応じて、スイッチ１０９１で信号を切り替える動作を説明するための図である。図３（ａ）は、アナログ増幅器１０４において、増幅率Ｇｍ（高ゲイン）で増幅したアナログ音声信号をＡＤＣ部１０６で、デジタル信号に変換し、記録するサンプリング周波数までサブサンプル処理したデジタル音声信号を表す。図３（ｂ）は、ＡＤＣ部１０６の最大レンジを超えた振幅レベルの音声信号をデジタル変換することができずに、ＡＤＣ部１０６のレンジの最大値で、歪んだデジタル音声信号になることを表す。図３（ｃ）は、可変アナログ増幅器１０５において、増幅率Ｇｓ（低ゲイン）に設定し、増幅したアナログ音声信号をＡＤＣ部１０７で、デジタル信号に変換し、記録するサンプリング周波数までサブサンプル処理したデジタル音声信号を表す。図３（ｄ）は、ダイナミックレンジ拡張部１０９で音声信号の切り替えを行い、ダイナミックレンジを拡張したデジタル音声信号を表す。

図３（ｃ）に示すように、ＡＤＣ部１０７の出力においては、最大レンジを超えることがほとんどないため、正常なデジタル変換が行える音声を生成する。そして、ＡＤＣ部１０６の出力の振幅レベルが所定の閾値レベルに達したとレベル検出部１０８で判定された場合、可変増幅器１０９０は、ＡＤＣ部１０７の出力の音声信号をＧｖ倍（Ｇｖ＞０）に増幅する。この場合、スイッチ１０９１は、加算器１０９２でＤＣ成分が加算された音声信号に切り替える。ここで、所定の閾値レベルとは、ＡＤＣ部１０６の最大レンジを超えない範囲の任意レベル値、例えばＡＤＤ部１０６の分解能の－６ｄＢＦＳである。そして、図３（ｄ）で点線部分がＡＤＣ部１０７出力の音声信号をダイナミックレンジ拡張部１０９の可変増幅器１０９０と加算器１０９２で調整された音声を表す。可変増幅器１０９０は、アナログ増幅器１０４、可変アナログ増幅器１０５の増幅率の差で、増幅率を決める。このように、入力に対して異なるゲインを掛けた音声信号を切り替えることで、ＡＤＣ部の最大レンジを超える音声信号に対してダイナミックレンジを拡張し、デジタル音声信号が歪む可能性を低減し、音声信号処理部１１１に出力することができる。

信号処理部１１１は、音声記録に係る様々な処理（実施形態１におけるノイズキャンセル処理を含む）を行う。例えば、信号処理部１１１は、実施形態１におけるノイズキャンセル処理を行うノイズキャンセル処理部として動作する。実施形態１におけるノイズキャンセル処理の方法として、図４のような適応アルゴリズムが考えられる。主マイクロホン部４０１では、人の声や装置の周囲の環境音という録音すべき音と、撮像装置内で発生するモータや機械的動作における、摩擦音や振動音などの録音すべきでないノイズが集音されてしまう。ノイズ成分を取り除くためには、例えばノイズ信号と同一の信号を推定し、主マイクロホン部４０１から入力された音声信号から推定したノイズ信号を差し引く方法がある。主マイクロホン部４０１に入力される音声は、主音声（環境音や人の声）にノイズが重畳する信号ｄ（ｎ）とする。参照マイクロホン部４０２に入力される音声はノイズのみが入力されるｕ（ｎ）とする。また参照マイクロホン部４０２から主マイクロホン部４０１までの伝達関数をＨ０（ω）とする。ここで、適応フィルタ４０４のフィルタ係数をｈ（ｎ）とする。適応フィルタ４０４は、ノイズキャンセル後の出力信号ｅ（ｎ）と参照マイクロホン部４０２からの出力信号ｕ（ｎ）とを用いて、伝達特性Ｈ（ω）を伝達関数Ｈ０（ω）と等しくなるようにサンプル毎にｈ（ｎ）を逐次更新する。ここで、伝達特性Ｈ（ω）は、参照マイクロホン部４０２から主マイクロホン部４０１への伝達特性である。

入力音声のレベルに応じた音声信号処理の制御について図２および図５を参照して説明する。

図２は、主マイクロホン部１０１の入力音声に対して、レベル検出部１０８で検出した音声のレベルに応じて、図１の音声信号処理装置の制御変化の様子の一例を図示したものである。図５は、音声レベルにおける各処理の状態を表した図である。

レベル検出部１０８には、ダイナミックレンジ拡張を行うかどうかを判定するためのダイナミックレンジ閾値と、ノイズキャンセルを行うかどうかを判定するためのノイズキャンセル閾値が設けられている。閾値の値は、音声信号のレベル値そのものでもよいし、信号処理の精度に対しての比率（デシベル設定）でもよい。

期間２００、２０１で大きなレベルの音声が、音声信号処理装置に入力された場合を考える。レベル検出部１０８では、一定期間のレベルのＲＭＳ値を算出し、ダイナミックレンジ閾値を超えたと判定する。このとき、図５の状態５０１のような状態に各処理を制御する。可変アナログ増幅器１０５はレベル検出部１０８で検出したレベルに応じてゲインをダイナミックレンジ拡張部１０９で制御するための低ゲインの値まで下げる。可変アナログ増幅器１０５が所定のゲイン値まで下がると、スイッチ１０３が主マイクロホン部１０１側に切り替わる。また、期間２０１の間は、入力音声のレベルがダイナミックレンジ閾値を超えている為、例えば入力音声が－６ｄＢＦＳを閾値として、スイッチ１０９１をその都度切り替える。ノイズキャンセル処理は、レベル検出部１０８で周囲の音声レベルがノイズキャンセル閾値より大きいと判定された場合は、ノイズキャンセル処理を停止する。このとき、ノイズキャンセル機能は停止させるが、ノイズ音の低減量は徐々に下げていくようにする。スイッチ１１０はＧＮＤ側に制御する。

期間２０２では、ダイナミックレンジ閾値とノイズキャンセル閾値間の音声レベルの場合を考える。このとき、図５の状態５０２のような状態に各処理を制御する。レベル検出部１０８で入力音声のレベルがダイナミックレンジ閾値を下回るレベルで検出すると、可変アナログ増幅器１０５のゲイン値を上げる。ダイナミックレンジ拡張スイッチ１０９１はＡＤＣ部１０６側（高ゲイン側）に切り替え、ダイナミックレンジ拡張処理は行わない。ノイズキャンセル処理は行わないままに制する。スイッチ１１０はＧＮＤ側に制御する。

期間２０３では、ノイズキャンセル閾値よりも入力音声レベルが下回った場合を考える。このとき、図５の状態５０３のような状態に各処理を制御する。レベル検出部１０８では、一定期間のレベルＲＭＳ値を算出し、ノイズキャンセル閾値を下回ったことを検出すると、可変アナログ増幅器１０５のゲイン値を上げ、アナログ増幅器１０４のゲイン値と同様のゲイン値にする。可変アナログ増幅器１０５のゲイン値が参照マイクロホン部１０２用のゲイン値を設定できたら、図１のスイッチ１０３を参照マイクロホン部１０２側に切り替える。その際、信号処理部１１１内にあるノイズキャンセル処理を起動して、徐々にノイズ低減量を上げていくようにする。また、ダイナミックレンジ拡張部１０９でスイッチ１０９１はＡＤＣ部１０６側に切り替え、スイッチ１１０はＡＤＣ１０７側に切り替える。そのあと、信号処理部１１１でノイズキャンセル処理を行うようにする。

このように、実施形態１によれば、ノイズ音のレベルに応じて主マイクロホン部１０１と参照マイクロホン部１０２とを切り替え、可変アナログ増幅器のゲイン値を各処理毎に変更することができる。これにより、回路規模を抑えつつ、信号処理部１１１でダイナミックレンジ拡張処理とノイズキャンセル処理とを切り替えることができる。

図６の音声信号処理装置は、主マイクロホン部６０１（Ｒチャンネル）と主マイクロホン部６０２（Ｌチャンネル）とを有し、撮像装置外の音声をステレオ音声とすることができる。図６の音声信号処理装置はさらに、撮像装置内のノイズ音を取得する参照マイクロホン部６０３を有する。例えば、図６の音声信号処理装置は、レベル検出部６１３で検出したレベルに応じて参照マイクロホン部６０３または主マイクロホン部６０２を切り替え、ノイズキャンセル機能とダイナミックレンジ拡張部６１５の制御を行う。主マイクロホン部６０１側については、レベル検出部６１３で検出したレベルに応じてダイナミックレンジ拡張部６１４の制御を行うようにしてもよい。

１０１主マイクロホン部
１０２参照マイクロホン部
１０３スイッチ
１０４アナログ増幅器
１０５可変アナログ増幅器
１０６、１０７ＡＤＣ部
１０８レベル検出部
１０９ダイナミックレンジ拡張部
１１０スイッチ
１１１信号処理部

Claims

音声を取得する第１のマイクロホン部の入力音声信号をデジタル信号に変換する第１のアナログ・デジタル変換部と、
ノイズ音を取得する第２のマイクロホン部の入力音声信号をデジタル信号に変換する第２のアナログ・デジタル変換部と、
前記第１のアナログ・デジタル変換部の出力信号のレベルを検出するレベル検出部と、
前記レベル検出部で検出したレベルに応じて前記第１のアナログ・デジタル変換部または前記第２のアナログ・デジタル変換部に切り替えてダイナミックレンジ拡張処理を行うダイナミックレンジ拡張部と、
前記第２のマイクロホン部の入力音声信号からノイズ音を低減するノイズキャンセル処理を行うノイズキャンセル処理部と
を有し、
前記レベル検出部で検出したレベルに応じて前記ダイナミックレンジ拡張処理または前記ノイズキャンセル処理を行うことを特徴とする音声信号処理装置。
前記第１のマイクロホン部の入力音声信号を増幅するアナログ増幅器と、
前記第１のマイクロホン部の入力音声信号と前記第２のマイクロホン部の入力音声信号のいずれかの音声信号を増幅する可変アナログ増幅器と
をさらに有し、
前記レベル検出部は、前記ダイナミックレンジ拡張を行うか否かを判定するための閾値を設定でき、設定した閾値と検出したレベルとを比較し、前記ダイナミックレンジ拡張部および前記可変アナログ増幅器の制御を行うことを特徴とする請求項１に記載の音声信号処理装置。
前記レベル検出部は、前記ノイズキャンセル処理を行うか否かを判定するための閾値を設定でき、設定した閾値と検出したレベルとを比較し、前記ノイズキャンセル処理部および前記可変アナログ増幅器の制御を行うことを特徴とする請求項２に記載の音声信号処理装置。
前記ダイナミックレンジ拡張部は、前記レベル検出部のレベルに応じて前記第２のアナログ・デジタル変換部でデジタル変換した音声に対し、ゲイン調整とＤＣ成分の加算とを行うことを特徴とする請求項１から３のいずれか１項に記載の音声信号処理装置。
前記レベル検出部は、ダイナミックレンジ拡張を行うか否かの閾値よりも大きいレベルの音声信号が入力された場合は、前記第１のマイクロホン部に切り替え、前記可変アナログ増幅器のゲイン値をそのゲイン値よりも小さいゲイン値に変更し、前記ダイナミックレンジ拡張部の出力の切り替えを行うように制御することを特徴とする請求項２から４のいずれか１項に記載の音声信号処理装置。
前記レベル検出部は、前記ノイズキャンセル処理を行うか否かを判定するための閾値よりも小さいレベルの音声信号が入力された場合は、前記第２のマイクロホン部に切り替え、前記可変アナログ増幅器のゲイン値を前記アナログ増幅器のゲイン値と同様のゲイン値に変更し、前記ノイズキャンセル処理部を行うように制御することを特徴とする請求項２から４のいずれか１項に記載の音声信号処理装置。
前記レベル検出部は、ダイナミックレンジ拡張を行うか否かの閾値よりも小さく、前記ノイズキャンセル処理を行うか否かを判定するための閾値よりも大きなレベルの音声信号が入力された場合は、前記第１のマイクロホン部に切り替え、前記可変アナログ増幅器のゲイン値を前記アナログ増幅器のゲイン値と同様のゲイン値に変更し、前記ダイナミックレンジ拡張部の出力が前記第１のアナログ・デジタル変換部の出力となるように制御することを特徴とする請求項２から４のいずれか１項に記載の音声信号処理装置。