JP2019161334A - 音声処理装置 - Google Patents

Abstract

【課題】音声信号処理部のダイナミックレンジを拡張する音声処理装置を提供する。【解決手段】音声信号を増幅する第一の増幅手段２０１と、その出力信号を第一の音声信号に変換する第一のＡＤＣ２０３と、第一の増幅手段の増幅度よりも低い増幅度で増幅する第二の増幅手段２０２と、その出力信号を第二の音声信号に変換する第二のＡＤＣ２０４と、第一の増幅手段と第二の増幅手段の差だけ減衰させる減衰手段２０５と、レベル検出手段２０６と、エンベロープ検波する検波手段２１０と、音声信号を選択する選択手段２０９と、選択手段からの音声信号の周波数を検出する周波数検出手段２１１と、周波数検出手段からの音声信号に対して帯域制限を行う帯域制限手段２１３を備える。選択手段は、レベル検出手段のレベル検出結果が閾値を超えた場合、第二の音声信号を出力し、レベル検出手段のレベル検出結果が閾値を下回る場合には、第一の音声信号を出力する。【選択図】図２

Description

本発明は、音声処理装置に関する。

従来、音声信号を処理する装置として、画像信号を記録すると共に音声信号を記録する撮像装置が知られている。これら撮像装置では、音声信号のダイナミックレンジを拡張する機能を持つものがある（特許文献１）。

特開2011-44908号公報

しかしながら、ダイナミックレンジを拡張するためにアナログゲインを下げると、視聴レベルを合わせるため、どこかで下げた分のゲインを上げる必要があるが、後段でゲインを上げるとノイズレベルが低下してしまう。入力信号とノイズの周波数帯域が重複している場合、ノイズは入力信号にマスクされるが、入力信号とノイズの周波数帯域が重複していない場合、ノイズが耳につくため、ノイズ感が損なわれるという課題があった。

そこで、本発明は入力信号とノイズの周波数帯域が重複していない場合でも、ノイズ感を損なわずにダイナミックレンジを拡張する音声処理装置を提供することを目的とする。

本発明の音声信号処理装置は、かかる目的を達成するために、音声入力手段と、音声入力手段からの音声信号を増幅する第一の増幅手段と、前記第一の増幅手段の出力信号をAD変換する第一のADCと、音声入力手段からの音声信号を前記第一の増幅手段の増幅度よりも低い増幅度で増幅する第二の増幅手段と、前記第二の増幅手段の出力信号をAD変換する第二のADCと、前記第一のADCでAD変換された第一の音声信号を、前記第一増幅手段と前記第二の増幅手段の差だけ減衰させる減衰手段と、前記減衰手段の出力である第三の音声信号のレベルを検出するレベル検出手段と、前記第三の音声信号のレベルをエンベロープ検波するレベル検波手段と、前記第三の音声信号と前記第二のADCでAD変換された第二の音声信号のどちらかを選択する選択手段と、前記選択手段からの音声信号の周波数を検出する周波数検出手段と、前記周波数検出手段からの音声信号に対して帯域制限を行う帯域制限手段を備え、
前記選択手段は、前記レベル検出手段のレベル検出結果が閾値を超えた場合、前記第二の音声信号を出力し、前記レベル検出手段のレベル検出結果が閾値を下回る場合には、前記第一の音声信号を出力する。
前記帯域制限手段は、前記レベル検波手段のレベル検波結果が閾値を超え、かつ前記周波数検出手段の周波数検出結果が、所定の帯域外の場合に、所定の帯域に対して帯域制限を行うことを特徴とする。

本発明によれば、入力信号とノイズの周波数帯域が重複していない場合でも、ノイズ感を損なうことなく、ダイナミックレンジを拡張することができる。

実施例１の撮像装置のブロック図である。 実施例１の音声処理部のブロック図である。 実施例１の帯域制限の制御を示した表である。

音声信号を処理、録音することができる撮像装置について説明する。図１は、実施例１の撮像装置１００の構成を示すブロック図である。

図１において、撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。音声入力部１０２は、内蔵または音声端子を介して接続された複数のマイクにより、撮像装置１００の周辺の音声を集音し、アナログデジタル変換、音声処理などを行い音声データを生成する。音声処理部１０３は、音声入力部１０２により得られた音声データに対し、音声信号処理を行う。メモリ１０４は、撮像部１０１により得られた画像データや、音声処理部１０４で処理された音声データを一時的に記憶する。

表示制御部１０５は、撮像部１０１により得られた画像データに係る映像や、撮像装置１００の操作画面、メニュー画面等を表示部１０６や、不図示の映像端子を介して外部のディスプレイに表示させる。符号化処理部１０７は、メモリ１０４に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。記録再生部１０８は、記録媒体１０９に対して、符号化処理部１０７で生成された圧縮画像データ、圧縮音声データ等を記録したり、記録媒体１０９に記録された圧縮画像データ、圧縮音声データ、各種データ、プログラムを読み出す。

ここで、記録媒体１０９は、圧縮画像データ、圧縮音声データ、等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体を含む。

制御部１１０は、撮像装置１００の各ブロックに制御信号を送信することで撮像装置１００の各ブロックを制御することができ、各種制御を実行するためのＣＰＵやメモリなどからなる。操作部１１１は、ボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部１１０に送信する。音声出力部１１２は、記録再生部１０８により再生された圧縮音声データや、制御部１１０により出力される音声データをスピーカ１１３や音声端子などに出力する。外部出力部１１４は、記録再生部１０８により再生された圧縮映像データや圧縮音声データなどを外部機器に出力する。データバス１１５は、音声データや画像データ等の各種データ、各種制御信号を撮像装置１００の各ブロックに供給する。

ここで、本実施例の撮像装置１００の通常の動作について説明する。本実施例の撮像装置１００は、ユーザが操作部１１１を操作して電源を投入する指示が出されたことに応じて、付図示の電源供給部から、撮像装置の各ブロックに電源を供給する。

電源が供給されると、制御部１１０は、例えば、操作部１１１のモード切り換えスイッチが、例えば、撮影モード、再生モード等のどのモードであるかを操作部１１１からの指示信号により確認する。動画記録モードでは、撮像部１０１により得られた画像データと音声入力部１０２により得られた音声データとを１つのファイルとして保存することができる。再生モードでは、記録媒体１０９に記録された圧縮画像データを記録再生部１０８により再生して表示部１０６に表示させることができる。

動画記録モードでは、まず、制御部１１０は、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部１０５に送信し、表示部１０６に表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、複数のデジタル音声信号を生成する。音声処理部１０３は得られたデジタル音声信号に対して、任意の信号処理を施し、マルチチャンネルの音声データを生成する。そして、得られた音声データを音声出力部１１２に送信し、接続されたスピーカ１１３や不図示のイヤホンから音声として出力させる。ユーザは、この様にして出力された音声を聞きながら記録音量を決定するためのマニュアルボリュームの調整をすることもできる。

次に、ユーザが操作部１１１の記録ボタンを操作することにより撮影開始の指示信号が制御部１１０に送信されると、制御部１１０は、撮像装置１００の各ブロックに撮影開始の指示信号を送信し、以下のような動作をさせる。撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部１０５に送信し、表示部１０６に表示させる。また、得られた画像データをメモリ１０４送信する。

音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、複数のデジタル音声信号を得る。音声処理部１０３は得られたデジタル音声信号に対して、任意の信号処理を施し、マルチチャンネルの音声データを生成する。そして、得られた音声データをメモリ１０４に送信する。符号化処理部１０７は、メモリ１０４に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。

そして、制御部１１０は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０８に出力する。記録再生部１０８は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０９に書き込んでいく。

以上の動作を撮影中は継続する。そして、ユーザが操作部１１１の記録ボタンを操作することにより撮影終了の指示信号が制御部１１０に送信されると、制御部１１０は、撮像装置１００の各ブロックに撮影終了の指示信号を送信し、以下のような動作をさせる。

撮像部１０１、音声入力部１０２は、それぞれ画像データ、音声データの生成を停止する。符号化処理部１０７は、メモリに記憶されている残りの画像データと音声データとを読出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し終えたら動作を停止する。そして、制御部１１０は、これらの最後の圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０８に出力する。

記録再生部１０８は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。制御部１１０は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、再生モードでは、制御部１１０は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。記録媒体１０９に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部１０８が読出して、読出された圧縮画像データ、圧縮音声データは、符号化処理部１０７に送る。符号化処理部１０７は、圧縮画像データ、圧縮音声データを復号してそれぞれ、表示制御部１０５、音声処理部１０３に送信する。音声処理部１０３は得られたデジタル音声信号に対して、任意の信号処理を施し、得られた音声データを音声出力部１１２に送信する。

表示制御部１０５は、復号された画像データを表示部１０６に表示させる。音声出力部１１２は、復号された音声データを内蔵または、取付けられた外部スピーカから出力させる。

本実施例の撮像装置は以上のように、画像、音声の記録再生を行うことができる。
ところで、本実施例の音声処理部１０３で行われる信号処理について、図２を用いて説明する。図２は、本実施形態における音声処理部１０３の構成例を示す図である。増幅部２０１は入力された音声信号を増幅する。増幅部２０２は増幅部２０１よりも低い増幅率で入力された音声信号を増幅する。ADC部２０３は増幅部２０１で増幅された音声信号をAD変換する。ADC部２０４は増幅部２０２で増幅された音声信号をAD変換する。減衰部２０５は、ADC部２０３でAD変換された音声信号に対して、増幅部２０１における増幅度と増幅部２０２における増幅度の差分だけ入力信号を減衰させる。

レベル検出部２０６は、増幅部２０５で減衰させられた音声信号のレベルを検出する。ゲイン差補正部２０７は、減衰部２０５で減衰させられた音声信号の微分値と、ADC部２０４でAD変換された音声信号の微分値の差分を積分し、積分結果がゼロに近づくように、ADC部２０４でAD変換された音声信号を補正することで、増幅部２０１/２０２や、ADC部２０３/２０４でハードウェア的に発生するゲイン差を補正する。DCオフセット補正部２０８は、増幅部２０５で減衰させられた音声信号と、ゲイン差補正部２０７で補正された音声信号の差分を積分し、積分結果がゼロに近づくように、ゲイン差補正部２０７で補正された音声信号を補正することで、ADC部２０３、２０４でハードウェア的に発生するDCオフセットを補正する。

信号選択部２０９は、レベル検出部２０６の検出結果によって、増幅部２０５で減衰された信号と、DCオフセット補正部２０８で補正された信号のどちらかを選択して出力する。エンベロープ検波部２１０は、増幅部２０５で減衰させられた音声信号のレベルをエンベロープ検波する。周波数検出部２１１は、信号選択部２０９で選択された音声信号の周波数成分を検出する。遅延部２１２は、周波数検出部２１１を経由した音声信号を遅延させる。帯域制限部２１３は、遅延部２１２で遅延させられた音声信号を帯域制限する。

このような音声処理部において、ダイナミックレンジを拡張する動作を説明する。本音声処理部では、ひとつの音声信号に対して、大きなゲインを印加した高SNの信号（以下、ハイゲインの信号）と、小さなゲインを印加した最大入力レベルが高い信号（以下、ローゲインの信号）をそれぞれADし、音声信号の振幅が小さいときにはハイゲインの信号を使用し、振幅が大きくなったときにはローゲインの信号を使用することで、ダイナミックレンジを拡張するというのが、基本的な考え方である。各信号を切り替えるスレッシュは、ハイゲインの信号が0dBFSに近づき、歪みが発生するレベルより低いレベルに設定する。

前記切り替えスレッシュよりも低いレベルの音声信号が入力された場合、入力信号は増幅部２０１で増幅後、ADC部２０３でADされる。また入力信号は増幅部２０１よりも低い増幅度で、増幅部２０２で増幅後、ADC部２０４でADされる。ADC２０３でADされたハイゲインの信号は、減衰部２０５で、増幅部２０１/２０２の増幅度の差分だけ減衰されることで、ADC２０４でADされたローゲインの信号とデジタル領域で同じレベルになる。減衰部２０５で減衰されたハイゲインの信号は、レベル検出部２０６でレベルを検出される。

ここでは、前記各信号を切り替えるスレッシュを超えたかどうかが判定される。前記各信号を切り替えるスレッシュは、ハイゲインの信号が歪みはじめるよりも低いレベルであり、かといって低すぎると、ローゲインの信号にとって、SNが良くない領域で使用されることになるため、ハイゲインの信号とローゲインの信号に印加するゲイン差を+12dB〜+20dB程度とし、スレッシュは高SNの信号の-6dBFS程度が好適である。

ADC部２０４でADされたローゲインの信号は、減衰部２０５で減衰されたハイゲインの信号と、デジタル領域で同じレベルになることが想定されるが、実際は増幅部２０１/２０２での増幅度のバラツキやADC部２０３、２０４での感度バラツキ等が必ず発生するため、厳密には同じレベルにはならない。

ゲイン差補正部２０７は前記のレベル差を補正する。具体的には減衰部２０５で減衰させられたハイゲインの音声信号の微分値と、ADC部２０４でAD変換されたローゲインの音声信号の微分値の差分を積分し、積分結果がゼロに近づくように、ADC部２０４でAD変換された音声信号を補正することでゲイン差を補正可能である。またADC部２０３、２０４では、AD結果に固有のDCオフセットを持つ可能性があるため、DCオフセット補正部２０８では各ADCでのDCオフセットの差分を補正する。

具体的には、減衰部２０５で減衰させられたハイゲインの音声信号と、ゲイン差補正部２０７で補正されたローゲインの音声信号の差分を積分し、積分結果がゼロに近づくように、ゲイン差補正部２０７で補正された音声信号を補正することで、DCオフセットの差分を補正可能である。このようにADC部２０４でAD変換されたローゲインの音声信号はゲイン差とDCオフセット差を補正されるが、信号選択部２０９では、信号のレベルが信号を切り替えるスレッシュ以下のため、高SNな減衰部２０５で減衰させられたハイゲインの音声信号を選択、出力する。

また、前記切り替えスレッシュよりも高いレベルの音声信号が入力された場合、減衰部２０５で減衰させられたハイゲインの音声信号には、増幅部２０１やADC部２０３で発生した歪みが発生するため、ゲイン差補正部２０７でのレベル差補正や、DCオフセット補正部２０８での各ADCでのDCオフセットの差分補正は行わず、信号選択部２０９では、信号のレベルが信号を切り替えるスレッシュ以上のため、ゲイン差とDCオフセット差が補正された、ADC部２０４でAD変換されたローゲインの音声信号を選択、出力する。

これらが、音声処理部におけるダイナミックレンジを拡張する基本的な動作であるが、前記基本的な動作状態では、帯域の狭い前記切り替えスレッシュよりも高いレベルの音声信号が入力された場合、ローゲインの信号のノイズ成分が耳に付き、ノイズ感が損なわれてしまうことがある。ここでいうローゲインのノイズ成分とは、ADC部２０４が持つノイズであり、ホワイトノイズとは異なり、偏った周波数成分を持つことが多く、特に２００Hz以下の低い周波数成分を持つことがある。

同様のノイズはハイゲインの信号にも存在するが、増幅部２０１は増幅部２０２よりも増幅度が高く、デジタル領域で減衰部２０５で減衰させられるため、ローゲインの信号よりもノイズが低い。そのため、ローゲインの信号選択時のみ、ノイズが大きくなってしまう。ローゲインの信号が選択されるのは、前記切り替えスレッシュよりも高いレベルの音声信号が入力された場合であるため、入力信号の帯域がノイズの帯域と重複していれば、ノイズは入力信号によってマスクされるが、入力信号の帯域がノイズの帯域と重複していない場合、ノイズがマスクされないため、ノイズ感が損なわれてしまう。

そこで本発明では、周波数検出部２１１において、信号選択部２０９の出力信号の周波数成分が、ノイズの周波数成分と重複するか否かを検出し、ノイズの周波数成分と重複しない場合に、帯域制限部２１３でノイズの帯域を減衰させることで、ノイズ感が損なわれることを防ぐ。遅延部２１２は帯域制限部２１３の前段に配置され、時間的に遡った時点の信号に対して帯域制限のON/OFFを行うことで、ON/OFFによるノイズをマスクする。

周波数検出部２１１は、ノイズの周波数成分のみを通過させるフィルタを有し、信号選択部２０９の出力信号に対して前記フィルタをかけた出力が、ノイズ成分よりも大きい場合には、ノイズの周波数成分と重複すると検出し、ノイズ成分よりも小さい場合には、ノイズの周波数成分と重複しないと検出する。ノイズ成分が２００Hz以下の周波数成分を持つ場合、周波数検出部２１１は２００Hzのカットオフ周波数のローパスフィルタを備える。

信号選択部２０９がローゲインを多く出力していることを、エンベロープ検波部２１０の検波レベルが、前記切り替えスレッシュよりも高いレベルであることで検出し、かつ周波数検出部２１１で信号選択部２０９の出力信号の周波数成分が、ノイズの周波数成分と重複しないと検出された場合、帯域制限部２１３において、２００Hzのカットオフ周波数のハイパスフィルタをONにする。ここで、フィルタのON/OFFの制御方法について図３を用いて説明する。

図３は、エンベロープ検波部２１０の検波レベルの変化と、周波数検出部２１１における信号選択部２０９の出力信号の周波数成分のノイズの周波数成分との重複有無の変化と、そのときのフィルタの制御を表にしたものである。検波レベルが切り替えスレッシュが超過した際に、ノイズの周波数成分との重複がない場合には（パターン３/７）、ハイパスフィルタをOFF状態から一気にON状態に遷移させる。検波レベルが切り替えスレッシュを超過した際には、入力信号のレベルが大きくなるため、直前にフィルタのカットオフを変更しても、カットオフ変更のノイズがマスクされることを利用する。

遅延部２１２の遅延時間は、時間方向のマスキングが有効な１０ms以下に設定し、エンベロープ検波部２１０における検波レベルが切り替えスレッシュを超過したことを検出した際に、遅延部２１２の出力に対してハイパスフィルタをかける。また検波レベルが切り替えスレッシュを超過し、ノイズの周波数成分の重複がない状態から、重複がある状態になった際には（パターン１０/１２）、ハイパスフィルタをON状態から一気にOFF状態に遷移させる。

ノイズの周波数成分の重複がない状態から、重複がある状態になった際には、ノイズの周波数帯域の信号がない状態から信号がある状態に変化するため、直前にフィルタのカットオフを変更しても、カットオフ変更のノイズがマスクされることを利用する。またノイズの周波数成分の重複がない状態で、検波レベルが切り替えスレッシュを下回った際には（パターン９）、ハイパスフィルタをON状態から徐々にOFF状態に遷移させる。このパターンでは入力信号が小さくなるため、カットオフ変更のノイズがマスクされないことから、カットオフを徐々に変化させる必要がある。

また検波レベルが切り替えスレッシュを超過し、ノイズの周波数成分の重複がある状態から、重複がない状態になった際には（パターン１５）、ハイパスフィルタをOFF状態から徐々にON状態に遷移させる。ノイズの周波数帯域の信号がある状態から信号がない状態に変化するため、カットオフ変更のノイズがマスクされないことから、カットオフを徐々に変化させる必要がある。カットオフを徐々に変化させる場合は、カットオフ周波数を変化させてもノイズが発生しないように、信号１サンプルあたり０．１Hzずつカットオフを変化させる。

４８kHzでサンプリングされたデータに対して、２００Hzのハイパスフィルタをかける場合には、０Hzから２００Hzまで４０ms程度の時間をかけてカットオフを変化させる。

以上のような処理を行うことで、入力信号とノイズの周波数帯域が重複していない場合でも、ノイズ感を損なうことなく、ダイナミックレンジを拡張することができる。

１００ 撮像装置
１０１ 撮像部
１０２ 音声入力部
１０３ 音声処理部
１０４ メモリ

Claims (3)

1. 音声入力手段と、音声入力手段からの音声信号を増幅する第一の増幅手段と、前記第一の増幅手段の出力信号をAD変換する第一のADCと、音声入力手段からの音声信号を前記第一の増幅手段の増幅度よりも低い増幅度で増幅する第二の増幅手段と、前記第二の増幅手段の出力信号をAD変換する第二のADCと、前記第一のADCでAD変換された第一の音声信号を、前期第一増幅手段と前期第二の増幅手段の差だけ減衰させる減衰手段と、前期減衰手段の出力である第三の音声信号のレベルを検出するレベル検出手段と、前記第三の音声信号のレベルをエンベロープ検波するレベル検波手段と、前記第三の音声信号と前記第二のADCでAD変換された第二の音声信号のどちらかを選択する選択手段と、前期選択手段からの音声信号の周波数を検出する周波数検出手段と、前記周波数検出手段からの音声信号に対して帯域制限を行う帯域制限手段を備え、前記選択手段は、前記レベル検出手段のレベル検出結果が閾値を超えた場合、前記第二の音声信号を出力し、前記レベル検出手段のレベル検出結果が閾値を下回る場合には、前記第一の音声信号を出力する。前記帯域制限手段は、前記レベル検波手段のレベル検波結果が閾値を超え、かつ前記周波数検出手段の周波数検出結果が、所定の帯域外の場合に、所定の帯域に対して帯域制限を行うことを特徴とする音声信号処理装置。
2. 前記周波数検出手段で検出する周波数帯域は、前記第二のADCが持つノイズの支配的な周波数成分であることを特徴とする、請求項１に記載の音声信号処理装置。
3. 前記帯域制限手段で帯域制限する周波数帯域は、前記第二のADCが持つノイズの支配的な周波数成分であることを特徴とする、請求項１に記載の音声信号処理装置。