JP2016051091A - 音声処理装置及び方法 - Google Patents

Abstract

【課題】ズーム騒音に他の騒音が重なる場合にも適切に騒音を低減する。【解決手段】音声処理装置は、入力音声信号をフーリエ変換するフーリエ変換手段と、騒音の無いフレームか騒音中のフレームかを検出するタイミング検出手段と、騒音の無いフレームの音量が所定値を超えているか否かを判定する音量判定手段と、所定値以上の音量の場合に、騒音の無いフレームのスペクトルをフロアレベルに補正するスペクトル補正手段と、騒音中のフレームのスペクトルに対してリミットをかけるスペクトルリミット手段と、スペクトル補正手段及びスペクトルリミット手段の出力から騒音スペクトルを推定する騒音スペクトル推定手段と、騒音スペクトルをフーリエ変換手段から出力されるスペクトルから減算する騒音低減手段と、騒音低減手段から出力される音声スペクトルを逆フーリエ変換する逆フーリエ変換手段とを有する。【選択図】 図１

Description

本発明は、入力音声信号に含まれる騒音を低減する音声処理装置及び方法に関する。

従来、音声の騒音低減方法として、特定の周波数領域において騒音の周波数成分（騒音スペクトル）を入力音声信号から差し引くことにより、入力音声信号に含まれる騒音を低減するスペクトルサブトラクト法（ＳＳ法）が知られている。ここで、特定の周波数領域にて差し引く騒音スペクトルは、正しく騒音を測定できる環境で予め測定しておいた値を用いる方法が一般的である。

特許文献１には、騒音スペクトルをリアルタイムに推定し、騒音を低減する方法が記載されている。

特開２０１２−２４９１０８号公報

上記従来例による騒音低減方法では、周囲音により騒音を正しく推定出来なかった場合、予め決められた騒音スペクトルを用いて騒音低減を行う。しかし、予め決められた騒音スペクトルでは、実際の騒音スペクトルと大きく異なる場合が多い。そのため、予め決められた騒音スペクトルを用いて騒音を低減させたとしても、騒音成分の残りによるミュージカルノイズの発生や、特定の周波数領域における過剰な減算による周囲音の劣化等の問題がある。

そこで、本発明は、騒音低減の精度を向上させるようにすることを目的とする。

本発明に係る音声処理装置は、入力音声信号をフーリエ変換するフーリエ変換手段と、騒音の無いフレームか騒音中のフレームかを検出するタイミング検出手段と、前記騒音の無いフレームの音量が所定値以上か否かを判定する音量判定手段と、前記音量判定手段によって前記所定値以上の音量が判定された場合に、前記フーリエ変換手段から出力される、前記騒音の無いフレームのスペクトルをフロアレベルに補正するスペクトル補正手段と、前記フーリエ変換手段から出力される、前記騒音中のフレームのスペクトルに対してリミットをかけるスペクトルリミット手段と、前記スペクトル補正手段から得られる前記騒音の無いフレームのスペクトルと、前記スペクトルリミット手段より得られる前記騒音中のフレームのスペクトルから騒音スペクトルを推定する騒音スペクトル推定手段と、前記騒音スペクトル推定手段により推定された前記騒音スペクトルをフーリエ変換手段から出力されるスペクトルから減算することにより騒音の低減を行う騒音低減手段と、前記騒音低減手段から出力される音声スペクトルを逆フーリエ変換する逆フーリエ変換手段とを有することを特徴とする。

本発明によれば、騒音低減の精度が向上する。

本発明の実施例１の概略構成ブロック図である。 実施例１における騒音低減処理部の概略構成ブロック図である。 実施例１におけるスペクトル補正部の動作説明図である。 実施例１におけるスペクトルリミット部の動作説明図である。 本発明の実施例２の概略構成ブロック図である。 実施例２における騒音低減処理部の概略構成ブロック図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の実施例１の騒音低減機能付き音声処理装置１００の概略構成ブロック図を示す。音声処理装置１００は、操作部１０１、制御部１０２、撮像部１０３、音声入力部１０４、騒音低減処理部１０５、音声出力部１０６、映像出力部１０７、メモリ１０８及びメモリバス１０９から構成される。以下、各構成要素について説明する。以下に説明する多くの構成要素はメモリバス１０９に接続され、メモリ１０８に対してデータのやり取りを行なってデータ処理を行なっている。

メモリ１０８は高速でランダムアクセス可能なダイナミックＲＡＭである。メモリ１０８内は音声データ領域、画像データ領域及び制御信号領域がある。また、音声データ領域に記憶された音声データ、及び、画像データ領域に記憶された画像データ、タイミング信号領域のタイミング信号はそれぞれ、フレームごとにどの時刻のデータであるかを識別できるように管理されている。

メモリバス１０９は各構成要素からのメモリアクセス要求を調停し、時分割でメモリ１０８へのデータ読み書きが行なえるよう制御している。

操作部１０１は、ユーザが操作するボタン、タッチパネル及びズームレバー等を備えており、これらのデバイスをユーザが操作した結果は、制御部１０２へ供給される。

制御部１０２は音声処理装置１００を制御する、いわゆるＣＰＵである。制御部１０２は、操作部１０１に対するユーザの操作により、撮像に関する動作、例えば、レンズのズーム動作等を制御する。制御部１０２は、操作部１０１で行われた操作のタイミング信号をメモリ１０８及びメモリバス１０９を通じて各ブロックに供給することができる。タイミング信号は、例えば、操作部１０１においてユーザがズーム動作を選択した場合、ズーム動作の開始時間、ズーム動作中の時間情報（ズーム開始からの経過時間等）及びズーム動作の終了時間等の情報を示す信号である。制御部１０２は、ユーザが選択した動作に関わる様々な情報を各ブロックに供給出来る。例えば、操作部１０１においてユーザがズーム操作を選択した場合、制御部１０２は、そのズーム動作の方向及びズーム動作に関わるモータの回転速度等も各ブロックに供給する。

撮像部１０３は、ズーム機能を備えたレンズ、絞り及び撮像センサにより構成される。撮像部１０３は、撮像センサによりレンズを通して受光した光を画像信号に変換し、Ａ／Ｄ変換し、メモリ１０８の画像データ領域に画像データとして記憶する。

音声入力部１０４は、例えば、マイクのような集音装置とアナログデジタル変換器（Ａ／Ｄ変換器）のようなデバイスから構成される。音声入力部１０４は、入力音声信号をある周波数、例えば４８ＫＨｚでサンプリングしたデジタル音声信号を、メモリ１０８の音声データ領域へ音声データとして記憶する。

騒音低減処理部１０５は、いわゆる演算装置であり、演算に必要となる値を記憶するための記憶部も有している。騒音低減処理部１０５は、メモリ１０８の音声データ領域に記憶された音声データと、メモリ１０８のタイミング信号領域に記憶されたタイミング信号を読み出す。騒音低減処理部１０５は、読み出したタイミング信号により、ズーム動作による騒音が存在しない（例えば、ズーム動作中ではない）と判断した場合、読み出した音声データに騒音低減処理を行わず、メモリ１０８の音声データ領域に書き戻す。以下、ズーム動作による騒音を「ズーム騒音」と呼ぶ。読み出したタイミング信号により、ズーム騒音が存在する（例えば、ズーム動作中である）と判断した場合、騒音低減処理部１０５は、一定区間のフレーム毎に分割して騒音低減処理を行う。そして、騒音低減処理部１０５は、騒音低減処理を行った音声データをメモリ１０８の音声データ領域に音声データとして書き戻す。騒音低減処理部１０５の構成と動作は後述する。

音声出力部１０６は、いわゆるスピーカ、又は音声出力用の端子であり、メモリ１０８の音声データ領域に記憶された音声データを読み出して、Ｄ／Ａ変換し、アナログ音声信号として出力する。

映像出力部１０７は、いわゆる表示パネルであり、メモリ１０８の画像データ領域に記憶された画像データを読み出して表示する。

図２を参照して、騒音低減処理部１０５の構成と動作概要を説明する。

信号入力制御部２０１は、騒音低減処理部１０５への音声信号入力を制御するインターフェースである。信号入力制御部２０１は、メモリ１０８の音声データ領域に記憶されている音声データを読み出し、読み出した音声データを、ある一定区間毎にフレーム分割し、フーリエ変換部２０３又は信号出力制御部２１１に供給する。信号入力制御部２０１は、タイミング検出部２０２からの騒音判定信号に従い、フレーム分割した音声データの供給先を変更する。騒音判定信号は、音声処理装置１００のズームが動作中か否かを示す信号であり、タイミング検出部２０２の動作は後述する。騒音判定信号がズーム動作中（又はズーム騒音中）でないことを示す場合、信号入力制御部２０１は、騒音判定信号と読み出した音声データを信号出力制御部２１１に供給し、読み出した音声データをフーリエ変換部２０３に供給する。また、騒音判定信号がズーム動作中（又はズーム騒音中）を示す場合、信号入力制御部２０１は、騒音判定信号を信号出力制御部２１１に供給し、読み出した音声データをフーリエ変換部２０３に供給する。

タイミング検出部２０２は、メモリ１０８に記憶されたタイミング信号を読み出し、騒音の有無を判定する。そして、タイミング検出部２０２は、騒音の有無及び、騒音の続いているフレーム数等を示す騒音判定信号を信号入力制御部２０１、切替え部２０４、騒音スペクトル推定部２０８及び信号出力制御部２１１に供給する。

フーリエ変換部２０３は、信号入力制御部２０１からのフレーム分割された音声データに対してハニング窓を掛け、離散フーリエ変換（ＤＦＴ）を行い、周波数順に並び替え、周波数毎の位相情報と振幅絶対値（入力信号スペクトル）を算出する。フーリエ変換部２０３は、算出した入力信号スペクトルを切替え部２０４と騒音低減部２０９に供給する。フーリエ変換部２０３は、算出した周波数毎の位相情報を逆フーリエ変換部２１０に供給する。

切替え部２０４は、タイミング検出部２０２から供給される騒音判定信号により、フーリエ変換部２０３から供給される入力信号スペクトルの供給先を切り替える。騒音判定信号がズーム動作中ではないことを示す場合、切替え部２０４は、入力信号スペクトルの供給先を音量判定部２０５とスペクトル補正部２０６とするように切り替わる。騒音判定信号がズーム動作中を示す場合、切替え部２０４は、入力信号スペクトルの供給先をスペクトルリミット部２０７とするように切り替わる。

音量判定部２０５は、切替え部２０４から供給される入力信号スペクトルに対して音量が所定値よりも大きいか否かを判定し、その判定結果をスペクトル補正部２０６に供給する。

スペクトル補正部２０６は、切替え部２０４から供給される入力信号スペクトルに対し、音量判定部２０５から供給される音量判定結果に基づき補正をかけるか否かを判断する。音量判定部２０５の判定結果が、入力信号スペクトルの音量が所定値以上であると示す場合、すなわち、音量が大きいと判定された場合、スペクトル補正部２０６は、入力信号スペクトルを予め決められたフロアレベルの値に置き替えるような補正を行う。音量判定部２０５による判定結果が、入力信号スペクトルの音量が所定値未満であると示す場合、すなわち、音量が小さいと判定された場合、スペクトル補正部２０６は、入力信号スペクトルに対し補正を行わない。スペクトル補正部２０６は、入力信号スペクトルへの処理結果（補正しなかった場合も含む）のスペクトルを、騒音スペクトル推定部２０８に供給する。

スペクトルリミット部２０７は、切替え部２０４からの入力信号スペクトルに対して、周波数毎にリミットをかける。リミットとは、ある上限値を超えた場合は、強制的にその上限値に戻すような動作をいう。スペクトルリミット部２０７は、リミットをかけた入力信号スペクトルを、騒音スペクトル推定部２０８に供給する。

騒音スペクトル推定部２０８は、スペクトル補正部２０６から供給されるスペクトルと、スペクトルリミット部２０７から供給されるスペクトルとの差分から騒音スペクトルを推定する。騒音スペクトル推定部２０８は、推定した騒音スペクトルを騒音低減部２０９に供給する。騒音スペクトル推定部２０８は、スペクトル補正部２０６から供給されるスペクトルを、スペクトルリミット部２０７からスペクトルが供給されるまで保持しておくこともできる。騒音スペクトル推定部２０８は、推定した騒音スペクトルを騒音が続いている間、保持でき、タイミング検出部２０２からの騒音判定信号を受けて、保持する騒音スペクトルを騒音低減部２０９に供給できる。

騒音低減部２０９は、フーリエ変換部２０３から供給された入力信号スペクトルから、騒音スペクトル推定部２０８から供給された騒音スペクトルを特定の周波数領域で減算することにより、騒音低減処理を行う。騒音低減部２０９は、騒音低減処理後のスペクトルを逆フーリエ変換部２１０に供給する。

逆フーリエ変換部２１０は、騒音低減部２０９から供給される騒音低減スペクトルに対して、フーリエ変換部２０３から供給される位相情報を用いて、逆離散フーリエ変換とオーバーラップ処理を行い、騒音低減したデジタル音声信号を得る。逆フーリエ変換部２１０は、騒音低減したデジタル音声信号を信号出力制御部２１１に供給する。逆フーリエ変換部２１０は、逆フーリエ変換した演算結果を、オーバーラップ処理のため次フレームの演算時まで保持する。

信号出力制御部２１１は、騒音低減処理部１０５が信号を出力する際の制御を行うインターフェースである。信号出力制御部２１１は、逆フーリエ変換部２１０又は信号入力制御部２０１から供給されるフレーム分割された音声データをメモリバス１０９に出力する。信号出力制御部２１１は、逆フーリエ変換部２１０と信号入力制御部２０１のどちらから供給された音声信号を出力するかを、タイミング検出部２０２から供給された騒音判定信号を参照して決定する。騒音判定信号がズーム動作中ではないことを示す場合、信号出力制御部２１１は、信号入力制御部２０１から供給された音声データをメモリバス１０９に出力する。騒音判定信号がズーム動作中を示す場合、信号出力制御部２１１は、逆フーリエ変換部２１０から供給される音声データをメモリバス１０９に出力する。

音声処理装置１００の騒音低減動作を説明する。説明例として、音声処理装置１００の騒音低減機能は、主に動画撮影中に得られる音声データに混在してしまうズーム動作による駆動音を、騒音として低減する。

まず、操作部１０１によってユーザが動画撮影を開始する。制御部１０２は操作部１０１からの信号を受けて、各ブロックへ動画撮影のための信号を供給し、各ブロックはそれを受けて動画撮影を開始する。例えば、撮像部１０３は画像データをメモリ１０８の画像データ領域に記憶し、音声入力部１０４は音声データをメモリ１０８の音声データ領域に記憶する。

動画撮影中に、ユーザが操作部１０１を操作し、ズーム動作を選択したとする。制御部１０２は、操作部１０１からのズーム動作選択の操作信号を受けて、メモリ１０８を通して撮像部１０３にズーム動作の制御信号を供給する。また、制御部１０２は、ズーム動作が選択されたタイミング信号をメモリ１０８のタイミング信号領域に記憶する。

撮像部１０３は、ズーム動作の制御信号を受けてズーム動作を行う。ズーム動作では、モータ及びレンズ鏡筒等が回転するので、その動作音が0騒音となり、本来ユーザが集音したい音声と重なって音声入力部１０４により取り込まれる。この騒音をズーム騒音と呼ぶ。音声入力部１０４は、このように取り込んだズーム騒音と所望音声を含む音声信号を、メモリ１０８の音声データ領域にズーム動作前の音声データにつづく音声データとして記憶する。

騒音低減処理部１０５は、メモリ１０８の音声データ領域に記憶された音声データを読み出す。ズームが動作していない時に集音された音声データに関しては、騒音低減処理部１０５は、騒音低減処理を行わず、読み出した音声データと同一の音声データをメモリ１０８の音声データ領域に書き戻す。ズームが動作している時に集音された音声データに関しては、騒音低減処理部１０５は、騒音低減処理を行い、騒音低減後の音声データをメモリ１０８の音声データ領域に記憶する。騒音低減処理部１０５は、ズームが動作している時に集音された音声データか、動作していない時に集音された音声データかを、制御部１０２がメモリ１０８に記憶するズーム動作のタイミング信号を参照して識別する。騒音低減処理部１０５の動作については後述する。

動画再生時には、音声出力部１０６が、メモリ１０８の音声データ領域に記憶されている騒音低減されている音声データを読み出して、音声を出力する。また、映像出力部１０７が、メモリ１０８の画像データ領域に記憶されている画像データを読み出して、動画として出力する。

図１及び図２を参照して、騒音低減処理部１０５の騒音低減処理を説明する。説明例として、音声入力部１０４のＡ／Ｄ変換におけるサンプリング周波数は４８ＫＨｚとする。信号入力制御部２０１のフレーム分割単位は、１０２４点とする。フーリエ変換部２０３と逆フーリエ変換部２１０の離散フーリエ変換点数（周波数分解能）は、１０２４点とする。つまり、フーリエ変換部２０３の離散フーリエ変換結果は、５１２点のスペクトルで、２４ＫＨｚまでの周波数成分を表すことになる。

信号入力制御部２０１は、メモリ１０８の音声データ領域に記憶されている音声データをメモリバス１０９を通して読み出し、ある一定区間、例えば１０２４サンプル毎の音声データｘ_ｔ［ｎ］（ただし、ｎ＝０，１，…，１０２３）にフレーム分割する。このときの添え字ｔは、音声データのフレーム番号を示す。ズーム騒音が存在しないと判定されるフレームの信号は、常にｔ＝０（ｘ_０［ｎ］）とする。ズーム騒音が存在すると判定された最初のフレームの信号をｔ＝１（ｘ_１［ｎ］）とし、その後、ズーム騒音の存在するフレームが続いていく場合はｔ＝２，３，４，…（ｘ_２［ｎ］，ｘ_３［ｎ］，ｘ_４［ｎ］...）のように１ずつ添え字ｔが増加していく。ズーム騒音の存在しないフレームになると、ｔ＝０（ｘ_０［ｎ］）にリセットされる。

タイミング検出部２０２は、メモリ１０８のタイミング信号領域に記憶されているズーム動作のタイミング信号を読み出し、騒音判定信号を信号入力制御部２０１、切替え部２０４、騒音スペクトル推定部２０８及び信号出力制御部２１１に供給する。

入力音声にズーム騒音は存在しないと判定されたフレームｘ_０［ｎ］に対する一連の動作を説明する。

信号入力制御部２０１は、タイミング検出部２０２から供給された騒音判定信号がズーム動作中ではないことを示す場合、分割した音声データｘ_０［ｎ］をフーリエ変換部２０３と信号出力制御部２１１に供給する。

フーリエ変換部２０３は、信号入力制御部２０１から供給された１０２４点の音声データｘ_０［ｎ］に対してハニング窓ｗ［ｎ］をかけ、離散フーリエ変換を行う。このとき、離散フーリエ変換点数をＮ（＝１０２４）、離散フーリエ変換結果をＸ_０［ｎ］とすると、ハニング窓を掛け、離散フーリエ変換を行う式は、式（１）となる。すなわち、

ただし、ｎ＝０，１，２，...，Ｎ−１である。離散フーリエ変換し、周波数順に並べ替えた演算結果をＸ_０［ｎ］とすると、フーリエ変換部２０３は、前半の５１２点までの演算結果Ｘ_０［ｍ］（ｍ＝０，１，２，...，５１１）を切替え部２０４と騒音低減部２０９に供給する。

切替え部２０４は、タイミング検出部２０２からの、ズーム動作中ではないことを示す騒音判定信号に従い、フーリエ変換部２０３により生成される５１２点の入力信号スペクトルＸ_０［ｍ］を音量判定部２０５とスペクトル補正部２０６に供給する。

音量判定部２０５は、切替え部２０４から供給された入力信号スペクトルＸ_０［ｍ］に対して音量を判定する。音量判定方法として例えば、入力信号スペクトルＸ_０［ｍ］のＲＭＳ（Ｒｏｏｔ Ｍｅａｎｓ Ｓｑｕａｒｅ）値と所定値Ｔｒｅｓｈとを比較する方法を採用する。ただし、本発明はこの音量判定方法に限定されず、入力信号スペクトルＸ_０［ｍ］の音量に係る数値を判定する方法であれば、なんでもよい。

音量判定部２０５は、入力信号スペクトルＸ_０［ｍ］に対しＲＭＳ値を算出する。入力信号スペクトルのＲＭＳ値は、以下の式（２）で与えられる。すなわち、

音量判定部２０５は、算出したＲＭＳ値を所定値Ｔｈｒｅｓｈと比較する。所定値Ｔｈｒｅｓｈは実験的に定められる値である。

式（２）の結果が所定値Ｔｈｒｅｓｈ以下である場合、音量判定部２０５は、スペクトル補正部２０６に対して音量判定結果として０を供給する。逆に、式（２）の結果が所定値Ｔｈｒｅｓｈを越える場合、音量判定部２０５は、スペクトル補正部２０６に対して音量判定結果として１を供給する。

スペクトル補正部２０６は、音量判定部２０５から供給される音量判定結果が０の場合、入力信号スペクトルＸ_０［ｍ］に対する補正を行わない。音量判定結果が１の場合、スペクトル補正部２０６は、入力信号スペクトルＸ_０［ｍ］に対して、音声入力部１０４から得られる音声データにズーム騒音が発生していないときの特性に近くなるような補正を行う。本実施例では、ズーム騒音が発生していないときに、音声入力部１０４から得られる音声データの振幅スペクトルＦ［ｍ］を予め測定しておく。スペクトル補正部２０６の補正は、入力信号スペクトルを予め測定しておいた音声入力部１０４の振幅スペクトルＦ［ｍ］に置き替える処理である。

音量判定部２０５から供給される音量判定結果が０の場合、スペクトル補正部２０６の出力Ｙ_０［ｍ］は、下記式（３）
Ｙ_０［ｍ］＝Ｘ_０［ｍ］ （３）
で与えられる。ただし、ｍ＝０，１，２，...，５１１である。音量判定部２０５から供給される音量判定結果が１の場合、スペクトル補正部２０６の出力Ｙ_０［ｍ］は、下記式（４）
Ｙ_０［ｍ］＝Ｆ［ｍ］ （４）
で与えられる。ただし、ｍ＝０，１，２，...，５１１である。音量判定部２０５から供給される音量判定結果が１の場合の波形例を図３に示す。スペクトル補正部２０６は、処理結果Ｙ_０［ｍ］を騒音スペクトル推定部２０８に供給する。

騒音スペクトル推定部２０８は、タイミング検出部２０２から供給される騒音判定信号に従い、スペクトル補正部２０６から供給されたスペクトルＹ_０［ｍ］を次のフレームまで保持する。騒音スペクトル推定部２０８は、スペクトル補正部２０６からの出力と、スペクトルリミット部２０７からの出力を用いて騒音スペクトルを推定する。そのために、騒音スペクトル推定部２０８は、入力音声に騒音が存在しないと判定された場合、スペクトル補正部２０６から供給されたスペクトルＹ_０［ｍ］を次のフレームまで保持し、出力は行わない。

入力音声にズーム騒音が存在しない場合、騒音スペクトル推定部２０８は騒音低減部２０９に騒音スペクトルを供給しないので、このとき、騒音低減部２０９は、騒音低減演算を行わない。騒音低減部２０９は、フーリエ変換部２０３の演算結果Ｘ_０［ｍ］（ｍ＝０，１，２，...，５１１）をナイキスト周波数を中心として折り返してＸ_０［ｎ］（ｎ＝０，１，２，...，１０２３）に拡張し、逆フーリエ変換部２１０に供給する。

逆フーリエ変換部２１０は、騒音低減部２０９から供給される音声スペクトルデータＸ_０［ｎ］を、下記式（５）に従い離散逆フーリエ変換する。すなわち、

ただし、ｎ＝０，１，２，...，Ｎ−１である。逆フーリエ変換部２１０による離散逆フーリエ変換で得られた演算結果を時間順に並び替えたものをＺ_０［ｎ］とする。逆フーリエ変換部２１０は、次のフレームのオーバーラップ処理のために、時間順に並び替えた結果の後半部分Ｚ_０［ｎ］（ｎ＝５１２，５１３，５１４，...，１０２３）を保持する。

信号出力制御部２１１は、信号入力制御部２０１からの分割された音声データの前半部分ｘ_０［ｍ］（ｍ＝０，１，２，...，５１１）を、信号出力制御部２１１からの出力ＯＵＴ_０［ｍ］としてメモリ１０８の音声データ領域に書き出す。

次に、入力音声にズーム騒音が存在すると最初に判定されたフレームｘ_１［ｎ］に対する一連の動作を説明する。

信号入力制御部２０１は、タイミング検出部２０２から供給された騒音判定信号がズーム動作中を示す場合、分割した音声データｘ_１［ｎ］をフーリエ変換部２０３に供給する。

フーリエ変換部２０３は、信号入力制御部２０１から供給される１０２４点の音声データｘ_１［ｎ］に対して、ハニング窓ｗ［ｎ］をかけ、離散フーリエ変換を行う。このとき、離散フーリエ変換点数をＮ、離散フーリエ変換結果をＸ_１［ｎ］とすると、フーリエ変換部２０３における変換式は、

となる。ただし、ｎ＝０，１，２，...，Ｎ−１である。離散フーリエ変換し周波数順に並べ替えた演算結果Ｘ_１［ｎ］に対して、フーリエ変換部２０３は、前半の５１２点までの演算結果Ｘ_１［ｍ］（ｍ＝０，１，２，...，５１１）を、切替え部２０４と騒音低減部２０９に供給する。

切替え部２０４は、タイミング検出部２０２からのズーム動作中を示す騒音判定信号に従い、フーリエ変換部２０３から供給される５１２点の入力信号スペクトルＸ_１［ｍ］をスペクトルリミット部２０７に供給する。

スペクトルリミット部２０７は、入力信号スペクトルに対して周波数毎にリミット値Ｌｉｍｉｔ＿ＴＨと大小比較を行う。リミット値Ｌｉｍｉｔ＿ＴＨを超えていない周波数に対して、スペクトルリミット部２０７は、切替え部２０４を通して供給された入力信号スペクトルＸ１［ｍ］の値をそのまま出力Ｙ_１［ｍ］とする。すなわち、
Ｙ_１［ｍ］＝Ｘ_１［ｍ］ （７）
ただし、ｍ＝０，１，２，...，５１１である。他方、リミット値Ｌｉｍｉｔ＿ＴＨを超えている周波数に対して、スペクトルリミット部２０７は、リミット値Ｌｉｍｉｔ＿ＴＨを出力Ｙ_１［ｍ］とする。すなわち、
Ｙ_１［ｍ］＝Ｌｉｍｉｔ＿ＴＨ （８）
ただし、ｍ＝０，１，２，...，５１１である。波形例を図４に示す。スペクトルリミット部２０７は、このように決定された出力Ｙ_１［ｍ］を騒音スペクトル推定部２０８に供給する。

騒音スペクトル推定部２０８は、スペクトル補正部２０６からのスペクトルＹ_０［ｍ］と、スペクトルリミット部２０７からのスペクトルＹ_１［ｍ］とから、下記式（９）に従い騒音スペクトルＳ［ｍ］を推定する。すなわち、
Ｓ［ｍ］＝Ｙ_１［ｍ］−Ｙ_０［ｍ］ （９）
ただし、ｍ＝０，１，２，...，５１１である。騒音スペクトル推定部２０８は、推定した騒音スペクトルＳ［ｍ］を騒音低減部２０９に供給する。また、騒音スペクトル推定部２０８は、得られた騒音スペクトルＳ［ｍ］を保持する。

騒音低減部２０９は、下記式（１０）に示すように、フーリエ変換部２０３から供給される入力信号スペクトルＸ_１［ｍ］から騒音スペクトル推定部２０８から供給される騒音スペクトルＳ［ｍ］を減算する。すなわち、
ＮＣ_１［ｍ］＝Ｘ_１［ｍ］−Ｓ［ｍ］ （１０）
ただし、ｍ＝０，１，２，...，５１１である。このとき、騒音低減後の音質を調整するために、騒音低減部２０９は、下記式（１１）に示すように、騒音スペクトルＳ［ｍ］に係数γを乗算しても良い。すなわち、
ＮＣ_１［ｍ］＝Ｘ_１［ｍ］−Ｓ［ｍ］×γ （１１）
ただし、ｍ＝０，１，２，...，５１１である。騒音低減部２０９は、騒音低減結果ＮＣ_１［ｍ］を、ナイキスト周波数を中心として折り返してＮＣ_１［ｎ］（ｎ＝０，１，２，...，１０２３）に拡張し、逆フーリエ変換部２１０に供給する。

逆フーリエ変換部２１０は、騒音低減部２０９から供給されるＮＣ_１［ｎ］に対して、下記式（１２）に従い、離散逆フーリエ変換とオーバーラップ処理を行う。すなわち、

ただし、ｎ＝０，１，２，...，Ｎ−１である。離散逆フーリエ変換で得られた演算結果に対して時間順に並び替えたものを、Ｚ_１［ｎ］と表記している。逆フーリエ変換部２１０は、時間順に並び替えた結果の後半部分Ｚ_１［ｐ］（ｐ＝５１２，５１３，５１４，...，１０２３）を、オーバーラップ処理用に保持する。前半部分Ｚ_１［ｍ］に対しては、逆フーリエ変換部２１０は、前のフレームのオーバーラップ処理用のデータＺ_０［ｐ］を用いて、下記式（１３）に示すオーバーラップ処理を行う。すなわち、
ＯＵＴ_１［ｍ］＝Ｚ_１［ｍ］＋Ｚ_０［ｐ］ （１３）
ただし、ｍ＝０，１，２，...，５１１、ｐ＝５１２，５１３，...，１０２３である。逆フーリエ変換部２１０は、このように決定した騒音低減結果ＯＵＴ_１［ｍ］を信号出力制御部２１１に供給する。

信号出力制御部２１１は、逆フーリエ変換部２１０から供給された騒音低減結果ＯＵＴ_１［ｍ］をメモリ１０８の音声データ領域にメモリバス１０９を通して書き出す。

入力音声にズーム騒音が続けて存在するフレームｘ_ｔ［ｎ］（ｔ＝２，３，４，...）に対する騒音低減動作を説明する。

信号入力制御部２０１は、タイミング検出部２０２から供給された騒音判定信号がズーム動作中を示す場合、分割した音声データｘ_ｔ［ｎ］をフーリエ変換部２０３へ供給する。

フーリエ変換部２０３は、信号入力制御部２０１から供給される１０２４点の音声データｘ_ｔ［ｎ］に対してハニング窓ｗ［ｎ］をかけ、離散フーリエ変換を行う。このとき、離散フーリエ変換点数をＮ、離散フーリエ変換結果をＸ_ｔ［ｎ］とすると、ハニング窓ｗ［ｎ］をかけ、離散フーリエ変換を行う式は式（１４）となる。すなわち、

ただし、ｎ＝０，１，２，...，Ｎ−１である。離散フーリエ変換し、周波数順に並べ替えた演算結果をＸ_ｔ［ｎ］とすると、フーリエ変換部２０３は、前半の５１２点までの演算結果Ｘ_ｔ［ｍ］（ｍ＝０，１，２，...，５１１）を騒音低減部２０９に供給する。

騒音スペクトル推定部２０８は、タイミング検出部２０２から供給される騒音判定信号に従い、ズーム動作中と最初に判定されたフレームへの動作で推定し保持した騒音スペクトルＳ［ｍ］を騒音低減部２０９に供給する。

騒音低減部２０９は、下記式（１５）に示すように、フーリエ変換部２０３から供給される入力信号スペクトルＸ_ｔ［ｍ］から、騒音スペクトル推定部２０８から供給される騒音スペクトルＳ［ｍ］を減算する。すなわち、
ＮＣ_１［ｍ］＝Ｘ_１［ｍ］−Ｓ［ｍ］ （１５）
ただし、ｍ＝０，１，２，...，５１１である。このとき、騒音低減後の音質を調整するために、騒音低減部２０９は、下記式（１６）に示すように、騒音スペクトルＳ［ｍ］に係数γを乗算しても良い。すなわち、
ＮＣ_１［ｍ］＝Ｘ_１［ｍ］−Ｓ［ｍ］×γ （１６）
ただし、ｍ＝０，１，２，...，５１１である。

騒音低減部２０９は、騒音低減結果ＮＣ_ｔ［ｍ］を、ナイキスト周波数を中心として折り返してＮＣ_ｔ［ｎ］（ｎ＝０，１，２，...，１０２３）に拡張し、逆フーリエ変換部２１０に供給する。

逆フーリエ変換部２１０は、騒音低減部２０９から供給されたＮＣ_ｔ［ｎ］に対して、下記式（１７）に従い、離散逆フーリエ変換とオーバーラップ処理を行う。すなわち、

ただし、ｎ＝０，１，２，...，Ｎ−１である。離散逆フーリエ変換で得られた演算結果に対して時間順に並び替えたものを、Ｚ_ｔ［ｎ］と表記している。

逆フーリエ変換部２１０は、時間順に並び替えた結果の後半部分Ｚ_ｔ［ｐ］（ｐ＝５１２，５１３，５１４，...，１０２３）を、次フレームのオーバーラップ処理用に保持する。前半部分Ｚ_ｔ［ｍ］に対しては、逆フーリエ変換部２１０は、前のフレームのオーバーラップ処理用のデータＺ_ｔ−１［ｐ］を用いて、下記式（１８）に示すオーバーラップ処理を行う。すなわち、
ＯＵＴ_ｔ［ｍ］＝Ｚ_ｔ［ｍ］＋Ｚ_ｔ−１［ｐ］ （１８）
ただし、ｍ＝０，１，２，...，５１１、ｐ＝５１２，５１３，...，１０２３である。

逆フーリエ変換部２１０は、このように得られた騒音低減結果ＯＵＴ_ｔ［ｍ］を信号出力制御部２１１に供給する。

信号出力制御部２１１は、逆フーリエ変換部２１０から供給された騒音低減結果ＯＵＴｔ［ｍ］をメモリ１０８の音声データ領域にメモリバス１０９を通して書き出す。

本実施例では、ズーム非動作の時に取り込まれた音声に対して、信号入力制御部２０１で読み出した後、信号出力制御部２１１で結合してメモリ１０８の音声データ領域に音声データとして書き戻したが、本発明はこれに限定されない。例えば、ズームの非動作時に取り込まれた音声データを、騒音低減処理部１０５がメモリ１０８から読み出さないようにしてもよい。また、騒音低減処理部１０５において、フーリエ変換部２０３による離散フーリエ変換と逆フーリエ変換部２１０による離散逆フーリエ変換の代わりに、元の音声データが劣化無く書き戻されるような処理を採用してもよい。

入力音声にズーム騒音以外の周囲音が入った場合にズーム騒音の無いフレームとズーム騒音のあるフレームのスペクトルを補正し騒音スペクトルの推定精度を上げることで、騒音低減後の音声を改善できる。

図５は、本発明の実施例２の概略構成ブロック図を示す。図５に示す音声処理装置５００は、操作部５０１、制御部５０２、撮像部５０３、音声入力部５０４、騒音低減処理部５０５、音声出力部５０６、映像出力部５０７、メモリ５０８及びメモリバス５０９からなる。騒音低減処理部５０５以外の要素の構成と機能は、音声処理装置１００の対応する要素のそれと同じであるので、詳細な説明を省略する。音声処理装置５００が騒音低減処理を行う場合の、騒音低減処理部５０５以外の要素の動作も、音声処理装置１００の対応する要素のそれと同じであるので、詳細な説明を省略する。

騒音低減処理部５０５は、いわゆる演算装置であり、演算に必要となる値を記憶するための記憶部も有している。騒音低減処理部５０５は、メモリ５０８の音声データ領域に記憶された音声データと、メモリ５０８のタイミング信号領域に記憶されたタイミング信号を読み出す。騒音低減処理部５０５は、読み出したタイミング信号により、ズーム騒音が存在しない（例えば、ズーム動作中ではない）と判断した場合、読み出した音声データに騒音低減処理を行わず、メモリ５０８の音声データ領域に書き戻す。読み出したタイミング信号により、ズーム騒音が存在する（例えば、ズーム動作中）と判断した場合、騒音低減処理部５０５は、一定区間のフレーム毎に分割して騒音低減処理を行う。そして、騒音低減処理部５０５は、騒音低減処理を行った音声データをメモリ５０８の音声データ領域に音声データとして書き戻す。

図６は、騒音低減処理部５０５の概略構成ブロック図を示す。図６を参照して、騒音低減処理部５０５の構成と動作を詳細に説明する。なお、信号入力制御部６０１、タイミング検出部６０２及びフーリエ変換部６０３はそれぞれ、信号入力制御部２０１、タイミング検出部２０２及びフーリエ変換部２０３と対応しており、同等の機能を奏するので、説明を省略する。また、騒音低減部６０９、逆フーリエ変換部６１０及び信号出力制御部６１１はそれぞれ、騒音低減部２０９、逆フーリエ変換部２１０及び信号出力制御部２１１と対応しており、同等の機能を奏するので、説明を省略する。

切替え部６０４は、タイミング検出部６０２から供給される騒音判定信号により、フーリエ変換部６０３から供給される入力信号スペクトルの供給先を切り替える。騒音判定信号がズーム騒音の不在を示す場合、切替え部６０４は、入力信号スペクトルを、音量判定部６０５、補正判定演算部６１２及びスペクトル補正部６０６に供給する。騒音判定信号がズーム騒音の存在を示す場合、切替え部６０４は、入力信号スペクトルを補正判定演算部６１２及びスペクトルリミット部６０７に供給する。

音量判定部６０５は、切替え部６０４から供給される入力信号スペクトルに対して音量が所定値よりも大きいか否かを判定し、その判定結果をスペクトル補正部６０６に供給する。

補正判定演算部６１２は、ズーム騒音が不在の場合の入力信号スペクトルとズーム騒音が存在する場合の入力信号スペクトルとから、入力信号スペクトルに対する補正の要否を判定する。そして、補正判定演算部６１２は、判定演算の結果を示す補正判定信号をスペクトル補正部６０６とスペクトルリミット部６０７に供給する。

スペクトル補正部６０６は、切替え部６０４から供給される入力信号スペクトルに対し補正を行う。その際、補正の要否は、音量判定部６０５から供給される音量判定結果と、補正判定演算部６１２から供給される補正判定結果に基づき制御される。詳細は後述する。

スペクトルリミット部６０７は、切替え部６０４からの入力信号スペクトルに対して、周波数毎にリミットをかける。リミットとは、ある上限値を超えた場合は、強制的にその上限値に戻すような動作をいう。リミットの要否は、補正判定演算部６１２から供給される補正判定結果により制御される。スペクトルリミット部６０７は、リミットをかけた入力信号スペクトルを騒音スペクトル推定部６０８に供給する。

騒音スペクトル推定部６０８は、スペクトル補正部６０６から供給されるスペクトルと、スペクトルリミット部６０７から供給されるスペクトルとの差分から騒音スペクトルを推定する。騒音スペクトル推定部６０８は、推定した騒音スペクトルを騒音低減部６０９に供給する。騒音スペクトル推定部６０８は、スペクトル補正部６０６から供給されるスペクトルをスペクトルリミット部６０７からスペクトルが供給されるまで保持する。また、騒音スペクトル推定部６０８は、推定した騒音スペクトルを騒音が続いている間、保持することもできる。更には、騒音スペクトル推定部６０８は、タイミング検出部６０２からの騒音判定信号に従い、保持する騒音スペクトルを騒音低減部６０９に供給する。

騒音低減処理部５０５の騒音低減処理動作を具体的に説明する。説明例として、音声入力部５０４のＡ／Ｄ変換におけるサンプリング周波数は４８ＫＨｚとする。信号入力制御部６０１のフレーム分割単位は、１０２４点とする。フーリエ変換部６０３と逆フーリエ変換部６１０の離散フーリエ変換点数（周波数分解能）は、１０２４点とする。つまり、フーリエ変換部６０３の離散フーリエ変換結果は、５１２点のスペクトルで、２４ＫＨｚまでの周波数成分を表すことになる。

信号入力制御部６０１は、メモリ５０８の音声データ領域に記憶されている音声データをメモリバス５０９を通して読み出し、ある一定区間、例えば１０２４サンプル毎の音声データｘ_ｔ［ｎ］（ただし、ｎ＝０，１，２，…，１０２３）にフレーム分割する。このときの添え字ｔは、音声データのフレーム番号を示す。ズーム騒音が存在しないと判定されるフレームの信号は、常にｔ＝０（ｘ_０［ｎ］）とする。ズーム騒音が存在すると判定された最初のフレームの信号をｔ＝１（ｘ_１［ｎ］）とする。この後、ズーム動作による騒音の存在するフレームが続いていく場合は、ｔ＝２，３，４，…（ｘ_２［ｎ］，ｘ_３［ｎ］，ｘ_４［ｎ］...）のように１ずつ添え字ｔが増加していく。ズーム騒音の存在しないフレームになると、ｔ＝０（ｘ_０［ｎ］）にリセットされる。

タイミング検出部６０２は、メモリ５０８のタイミング信号領域に記憶されているズーム動作のタイミング信号を読み出し、騒音判定信号を信号入力制御部６０１、切替え部６０４、騒音スペクトル推定部６０８及び信号出力制御部６１１に供給する。

入力音声にズーム騒音が存在しないと判定されたフレームｘ_０［ｎ］に対する一連の動作を説明する。

信号入力制御部６０１は、タイミング検出部６０２から供給された騒音判定信号がズーム動作中でないことを示す場合、分割した音声データｘ_０［ｎ］をフーリエ変換部６０３と信号出力制御部６１１に供給する。

フーリエ変換部６０３は、信号入力制御部６０１から供給された１０２４点の音声データｘ_０［ｎ］に対してハニング窓ｗ［ｎ］をかけ、離散フーリエ変換を行う。このとき、離散フーリエ変換点数をＮ（＝１０２４）、離散フーリエ変換結果をＸ_０［ｎ］とすると、ハニング窓を掛け、離散フーリエ変換を行う式は、下記式（１９）

となる。ただし、ｎ＝０，１，２，…，Ｎ−１である。離散フーリエ変換し、周波数順に並べ替えた演算結果をＸ_０［ｎ］とすると、フーリエ変換部６０３は、前半の５１２点までの演算結果Ｘ_０［ｍ］（ｍ＝０，１，２，...，５１１）を切替え部６０４と騒音低減部６０９に供給する。

切替え部６０４は、タイミング検出部６０２からの、ズーム動作中ではないことを示す騒音判定信号に従い、フーリエ変換部６０３からの５１２点の入力信号スペクトルＸ_０［ｍ］を音量判定部６０５、補正判定演算部６１２及びスペクトル補正部６０６に供給する。

音量判定部６０５は、切替え部６０４から供給される入力信号スペクトルＸ_０［ｍ］に対して音量を判定する。音量判定方法として例えば、入力信号スペクトルＸ_０［ｍ］のＲＭＳ（Ｒｏｏｔ Ｍｅａｎｓ Ｓｑｕａｒｅ）値と第１の所定値とを比較する方法を採用する。ただし、本発明はこの音量判定方法に限定されず、入力信号スペクトルＸ_０［ｍ］の音量に係る数値を判定する方法であれば、なんでもよい。

音量判定部６０５は先ず、入力信号スペクトルＸ_０［ｍ］に対しＲＭＳ値を算出する。騒音成分の集中する周波数帯が事前に分かっている場合、ＲＭＳ値の算出に際し、周波数領域で重み付けを行ってもよい。例えば、騒音成分がｍ＝０〜５１１（周波数として、０Ｈｚ〜２４０００Ｈｚ）のうちの、ｍ_１〜ｍ_２の周波数帯に集中することが分かっていた場合、音量判定に用いるＲＭＳ値は下記式（２０）、

で与えられる。音量判定部６０５は次に、算出したＲＭＳ値と第１の所定値Ｔｒｅｓｈの大きさを比較する。第１の所定値Ｔｒｅｓｈは、実験的に定められる値である。

式（２０）の結果が所定値Ｔｈｒｅｓｈ以下である場合、音量判定部６０５は、スペクトル補正部６０６に対して音量判定結果として０を供給する。逆に、式（２０）の結果が所定値Ｔｈｒｅｓｈを越える場合、音量判定部６０５は、スペクトル補正部６０６に対して音量判定結果として１を供給する。

スペクトル補正部６０６は、切替え部６０４から供給される入力信号スペクトルＸ_０［ｍ］と、補正判定演算部６１２から供給される補正判定結果を、次のフレームの処理まで保持する。スペクトル補正部６０６は、音量判定部６０５からの音量判定結果と補正判定演算部６１２からの補正判定結果とに基づき補正の要否を決定するので、補正判定演算部６１２からの補正判定信号がない段階では、何も出力しない。

騒音低減部６０９は、入力音声にズーム騒音が存在しない場合、騒音スペクトル推定部６０８の出力が存在しないので、騒音低減演算を行わない。このとき、騒音低減部６０９は、フーリエ変換部６０３の演算結果Ｘ_０［ｍ］（ｍ＝０，１，２，...，５１１）をナイキスト周波数を中心として折り返し、Ｘ_０［ｎ］（ｎ＝０，１，２，...，１０２３）に拡張して逆フーリエ変換部６１０に供給する。

逆フーリエ変換部６１０は、騒音低減部６０９から供給される音声スペクトルデータＸ_０［ｎ］を、下記式（２１）に従い離散逆フーリエ変換する。すなわち、

ただし、ｎ＝０，１，２，…，Ｎ−１である。逆フーリエ変換部６１０による離散逆フーリエ変換で得られた演算結果を時間順に並び替えたものをＺ_０［ｎ］とする。逆フーリエ変換部６１０は、次のフレームのオーバーラップ処理のために、時間順に並び替えた結果の後半部分Ｚ_０［ｐ］（ｐ＝５１２，５１３，...，１０２３）を保持する。

信号出力制御部６１１は、信号入力制御部６０１からの分割された音声データの前半部分ｘ_０［ｍ］（ｍ＝０，１，２，...，５１１）を、信号出力制御部６１１からの出力ＯＵＴ_０［ｍ］としてメモリ５０８の音声データ領域に書き出す。

次に、入力音声にズーム騒音が存在すると最初に判定されたフレームｘ_１［ｎ］に対する一連の動作を説明する。

信号入力制御部６０１は、タイミング検出部６０２から供給された騒音判定信号がズーム騒音の存在を示す場合、分割した音声データｘ_１［ｎ］をフーリエ変換部２０３に供給する。

フーリエ変換部６０３は、信号入力制御部６０１から供給される１０２４点の音声データｘ_１［ｎ］に対して、ハニング窓ｗ［ｎ］をかけ、離散フーリエ変換を行う。このとき、離散フーリエ変換点数をＮ、離散フーリエ変換結果をＸ_１［ｎ］とすると、フーリエ変換部６０３における変換式は、下記式（２２）

となる。ただし、ｎ＝０，１，２，…，Ｎ−１である。離散フーリエ変換し周波数順に並べ替えた演算結果Ｘ_１［ｎ］に対して、フーリエ変換部６０３は、前半の５１２点までの演算結果Ｘ_１［ｍ］（ｍ＝０，１，２，...，５１１）を、切替え部６０４と騒音低減部６０９に供給する。

切替え部６０４は、タイミング検出部６０２からのズーム騒音の存在を示す騒音判定信号に従い、フーリエ変換部６０３から供給される５１２点の入力信号スペクトルＸ_１［ｍ］を補正判定演算部６１２及びスペクトルリミット部６０７に供給する。

補正判定演算部６１２は、前のフレーム（ズーム騒音が無いと判断されたフレーム）の処理時に供給された入力信号スペクトルＸ_０［ｍ］と、現フレームの入力信号スペクトルＸ_１［ｍ］とから、入力信号スペクトルＸ_０［ｍ］に対する補正の要否を判定する。手順として、補正判定演算部６１２はまず、式（２３）〜（２７）によりＸ_０［ｍ］とＸ_１［ｍ］の相関値Ｓ＿ｖａｌｕｅを求める。そして、補正判定演算部６１２は、その相関値Ｓ＿ｖａｌｕｅと第２の所定値Ｓ＿ｔｈｒｅｓｈの大きさを比較する。第２の所定値Ｓ＿ｔｈｒｅｓｈは、実験的に定められる１．０以下の値である。

補正判定演算部６１２は、式（２３），（２４）に従い、Ｘ_０［ｍ］且つＸ_１［ｍ］で存在しているスペクトルの面積Ｓ＿ｍｉｎを求める。すなわち、

ただし、ｍ＝０，１，２，…，５１１である。

次に、補正判定演算部６１２は、式（２５），（２６）に従い、Ｘ_０［ｍ］又はＸ_１［ｍ］で存在しているスペクトルの面積Ｓ＿ｍａｘを求める。すなわち、

ただし、ｍ＝０，１，２，…，５１１である。

補正判定演算部６１２は、式（２７）に従い、Ｓ＿ｍｉｎとＳ＿ｍａｘの比から、Ｘ０［ｍ］とＸ１［ｍ］の相関値Ｓ＿ｖａｌｕｅを求める。すなわち、
Ｓ＿ｖａｌｕｅ＝Ｓ＿ｍｉｎ／Ｓ＿ｍａｘ （２７）
である。

相関値Ｓ＿ｖａｌｕｅが閾値Ｓ＿Ｔｈｒｅｓｈ以上のとき、Ｘ_０［ｍ］とＸ_１［ｍ］の相関が高く、従って、ズーム騒音の存在するフレームと、ズーム騒音の存在しないフレームにおいて似たような周囲音が入っていると判断できる。このとき、補正判定演算部６１２は、スペクトル補正部６０６とスペクトルリミット部６０７に対して補正判定結果として０（補正不要）を供給する。

相関値Ｓ＿ｖａｌｕｅが閾値Ｓ＿Ｔｈｒｅｓｈ未満のとき、Ｘ_０［ｍ］とＸ_１［ｍ］の相関が低く、従って、ズーム騒音の存在するフレームと、ズーム騒音の存在しないフレームにおいて全く別の周囲音が入っていると判断できる。このとき、補正判定演算部６１２は、スペクトル補正部６０６とスペクトルリミット部６０７に対して補正判定結果として１（補正必要）を供給する。

スペクトル補正部６０６は、音量判定部６０５からの音量判定結果（０／１）と補正判定演算部６１２からの補正判定結果（０／１）の論値積が０の場合に、補正を行わず、論理積が１の場合に補正を行う。適用する補正は、前のフレーム（ズーム騒音が無いと判断されたフレーム）の処理時に供給された入力信号スペクトルＸ_０［ｍ］に対し、音声入力部５０４から得られる音声データにズーム騒音が発生していないときの特性に近づける処理である。本実施例では、ズーム動作による騒音が発生していないときに、音声入力部５０４から得られる音声データの振幅スペクトルＦ［ｍ］を予め測定しておく。スペクトル補正部６０６の補正は、入力信号スペクトルＸ_０［ｍ］をこの振幅スペクトルＦ［ｍ］に置き替える処理である。

音量判定部６０５から供給される音量判定結果（０／１）と、補正判定演算部６１２から供給される補正判定結果（０／１）の論理積が０の場合、スペクトル補正部６０６の出力Ｙ_０［ｍ］は、下記式（２８）で与えられる。すなわち、
Ｙ_０［ｍ］＝Ｘ_０［ｍ］ （２８）
ただし、ｍ＝０，１，２，…，５１１である。音量判定部６０５から供給される音量判定結果と補正判定演算部６１２から供給される補正判定結果の論理積が１の場合、スペクトル補正部６０６の出力Ｙ_０［ｍ］は、下記式（２９）で与えられる。すなわち、
Ｙ_０［ｍ］＝Ｆ［ｍ］ （２９）
ただし、ｍ＝０，１，２，…，５１１である。スペクトル補正部６０６は、このように得られた補正結果Ｙ_０［ｍ］を騒音スペクトル推定部６０８に供給する。

スペクトルリミット部６０７は、補正判定演算部６１２から供給される補正判定結果が０の場合、両フレームの相関が大きいので、入力信号スペクトルＸ_１［ｍ］に対してリミットをかけない。逆に、補正判定結果が１の場合、両フレームの相関が小さいので、スペクトルリミット部６０７は、入力信号スペクトルＸ_１［ｍ］に対してリミットをかける。

リミットをかける場合、スペクトルリミット部６０７は、入力信号スペクトルＸ_１［ｍ］に対して周波数毎にリミット値Ｌｉｍｉｔ＿ＴＨとその大小を比較する。そして、スペクトルリミット部６０７は、リミット値Ｌｉｍｉｔ＿ＴＨを超えていない周波数に対しては、式（３０）に示すように、切替え部６０４からの入力信号スペクトルＸ_１［ｍ］の値をスペクトルリミット部６０７の出力Ｙ_１［ｍ］とする。すなわち、
Ｙ_１［ｍ］＝Ｘ_１［ｍ］ （３０）
ただし、ｍ＝０，１，２，…，５１１である。他方、リミット値Ｌｉｍｉｔ＿ＴＨを超えている周波数に対しては、式（３１）に示すように、リミット値Ｌｉｍｉｔ＿ＴＨをスペクトルリミット部６０７の出力Ｙ_１［ｍ］とする。すなわち、
Ｙ_１［ｍ］＝Ｌｉｍｉｔ＿ＴＨ （３１）
ただし、ｍ＝０，１，２，…，５１１である。スペクトルリミット部６０７は、このように得られた出力Ｙ_１［ｍ］を騒音スペクトル推定部６０８に供給する。

騒音スペクトル推定部６０８は、スペクトル補正部６０６からのスペクトルＹ_０［ｍ］と、スペクトルリミット部６０７からのスペクトルＹ_１［ｍ］とから、下記式（３２）に従い騒音スペクトルＳ［ｍ］を推定する。すなわち、
Ｓ［ｍ］＝Ｙ_１［ｍ］−Ｙ_０［ｍ］ （３２）
ただし、ｍ＝０，１，２，…，５１１である。騒音スペクトル推定部６０８は、このように推定した騒音スペクトルＳ［ｍ］を騒音低減部６０９に供給する。また、騒音スペクトル推定部６０８は、得られた騒音スペクトルＳ［ｍ］を保持する。

騒音低減部６０９は、下記式（３３）に示すように、フーリエ変換部６０３から供給される入力信号スペクトルＸ_１［ｍ］から騒音スペクトル推定部６０８から供給される騒音スペクトルＳ［ｍ］を減算する。すなわち、
ＮＣ_１［ｍ］＝Ｘ_１［ｍ］−Ｓ［ｍ］ （３３）
ただし、ｍ＝０，１，２，…，５１１である。このとき、騒音低減後の音質を調整するために、騒音低減部６０９は、下記式（３４）に示すように、騒音スペクトルＳ［ｍ］に係数γを乗算しても良い。すなわち、
ＮＣ_１［ｍ］＝Ｘ_１［ｍ］−Ｓ［ｍ］×γ （３４）
ただし、ｍ＝０，１，２，…，５１１である。

騒音低減部６０９は、このように得られた騒音低減結果ＮＣ_１［ｍ］を、ナイキスト周波数を中心として折り返してＮＣ_１［ｎ］（ｎ＝０，１，２，...，１０２３）に拡張し、逆フーリエ変換部６１０に供給する。

逆フーリエ変換部６１０は、騒音低減部６０９から供給されるＮＣ_１［ｎ］に対して、下記式（３５）に従い、離散逆フーリエ変換とオーバーラップ処理を行う。すなわち、

ただし、ｎ＝０，１，２，…，Ｎ−１である。離散逆フーリエ変換で得られた演算結果に対して時間順に並び替えたものを、Ｚ_１［ｎ］と表記している。

逆フーリエ変換部６１０は、時間順に並び替えた結果の後半部分Ｚ_１［ｐ］（ｐ＝５１２，５１３，５１４，...，１０２３）を、オーバーラップ処理用に保持する。前半部分Ｚ_１［ｍ］に対しては、逆フーリエ変換部６１０は、前のフレームのオーバーラップ処理用のデータＺ_０［ｐ］を用いて、下記式（３６）に示すオーバーラップ処理を行う。すなわち、
ＯＵＴ_１［ｍ］＝Ｚ_１［ｍ］＋Ｚ_０［ｐ］ （３６）
ただし、ｍ＝０，１，２，...，５１１、ｐ＝５１２，５１３，...，１０２３である。

逆フーリエ変換部６１０は、このように得られた騒音低減結果ＯＵＴ_１［ｍ］を信号出力制御部６１１に供給する。

信号出力制御部６１１は、逆フーリエ変換部６１０から供給された騒音低減結果ＯＵＴ_１［ｍ］をメモリ５０８の音声データ領域にメモリバス５０９を通して書き出す。

入力音声にズーム騒音が続けて存在するフレームｘ_ｔ［ｎ］（ｔ＝２，３，４，...）に対する騒音低減動作を説明する。

信号入力制御部６０１は、タイミング検出部６０２から供給された騒音判定信号がズーム騒音の存在を示す場合、分割した音声データｘ_ｔ［ｎ］をフーリエ変換部６０３へ供給する。

フーリエ変換部６０３は、信号入力制御部６０１から供給される１０２４点の音声データｘ_ｔ［ｎ］に対してハニング窓ｗ［ｎ］をかけ、離散フーリエ変換を行う。このとき、離散フーリエ変換点数をＮ、離散フーリエ変換結果をＸ_ｔ［ｎ］とすると、ハニング窓ｗ［ｎ］をかけ、離散フーリエ変換を行う式は式（３７）となる。すなわち、

ただし、ｎ＝０，１，２，…，Ｎ−１である。離散フーリエ変換し、周波数順に並べ替えた演算結果をＸ_ｔ［ｎ］とすると、フーリエ変換部６０３は、前半の５１２点までの演算結果Ｘ_ｔ［ｍ］（ｍ＝０，１，２，...，５１１）を騒音低減部６０９に供給する。

騒音スペクトル推定部６０８は、タイミング検出部６０２から供給される騒音判定信号に従い、ズーム騒音が存在すると最初に判定されたフレームへの動作で推定し保持した騒音スペクトルＳ［ｍ］を騒音低減部６０９に供給する。

騒音低減部６０９は、下記式（３８）に示すように、フーリエ変換部６０３から供給される入力信号スペクトルＸ_ｔ［ｍ］から、騒音スペクトル推定部６０８から供給される騒音スペクトルＳ［ｍ］を減算する。すなわち、
ＮＣ_ｔ［ｍ］＝Ｘ_ｔ［ｍ］−Ｓ［ｍ］ （３８）
ただし、ｍ＝０，１，２，...，５１１である。このとき、騒音低減後の音質を調整するために、騒音低減部６０９は、下記式（３９）に示すように、騒音スペクトルＳ［ｍ］に係数γを乗算しても良い。すなわち、
ＮＣ_ｔ［ｍ］＝Ｘ_ｔ［ｍ］−Ｓ［ｍ］×γ （３９）
ただし、ｍ＝０，１，２，...，５１１である。

騒音低減部６０９は、このように得られた騒音低減結果ＮＣ_ｔ［ｍ］を、ナイキスト周波数を中心として折り返してＮＣ_ｔ［ｎ］（ｎ＝０，１，２，...，１０２３）に拡張し、逆フーリエ変換部６１０に供給する。

逆フーリエ変換部６１０は、騒音低減部６０９から供給されたＮＣ_ｔ［ｎ］に対して、下記式（４０）に従い、離散逆フーリエ変換とオーバーラップ処理を行う。すなわち、

ただし、ｎ＝０，１，２，…，Ｎ−１である。散逆フーリエ変換で得られた演算結果に対して時間順に並び替えたものを、Ｚ_ｔ［ｎ］と表記している。

逆フーリエ変換部６１０は、時間順に並び替えた結果の後半部分Ｚ_ｔ［ｐ］（ｐ＝５１２，５１３，５１４，...，１０２３）を、次フレームのオーバーラップ処理用に保持する。前半部分Ｚ_ｔ［ｍ］に対しては、逆フーリエ変換部６１０は、前のフレームのオーバーラップ処理用のデータＺ_ｔ−１［ｐ］を用いて、下記式（４１）に示すオーバーラップ処理を行う。すなわち、
ＯＵＴ_ｔ［ｍ］＝Ｚ_ｔ［ｍ］＋Ｚ_ｔ−１［ｐ］ （４１）
ただし、ｍ＝０，１，２，...，５１１、ｐ＝５１２，５１３，...，１０２３である。

逆フーリエ変換部６１０は、このように得られた騒音低減結果ＯＵＴ_ｔ［ｍ］を信号出力制御部６１１に供給する。

信号出力制御部６１１は、逆フーリエ変換部６１０から供給された騒音低減結果ＯＵＴｔ［ｍ］をメモリ５０８の音声データ領域にメモリバス５０９を通して書き出す。

本実施例では、ズーム非動作の時に取り込まれた音声に対して、信号入力制御部６０１で読み出した後、信号出力制御部６１１で結合してメモリ５０８の音声データ領域に音声データとして書き戻したが、本発明はこれに限定されない。例えば、ズームの非動作時に取り込まれた音声データを、騒音低減処理部５０５がメモリ５０８から読み出さないようにしてもよい。また、騒音低減処理部５０５において、フーリエ変換部６０３による離散フーリエ変換と逆フーリエ変換部６１０による離散逆フーリエ変換の代わりに、元の音声データが劣化無く書き戻されるような処理を採用してもよい。

入力音声にズーム騒音以外の周囲音が入った場合にズーム騒音の無いフレームとズーム騒音のあるフレームのスペクトルを補正し騒音スペクトルの推定精度を上げることで、騒音低減後の音声を改善できる。

Claims (6)

1. 入力音声信号をフーリエ変換するフーリエ変換手段と、
   騒音の無いフレームか騒音中のフレームかを検出するタイミング検出手段と、
   前記騒音の無いフレームの音量が所定値以上か否かを判定する音量判定手段と、
   前記音量判定手段によって前記所定値以上の音量が判定された場合に、前記フーリエ変換手段から出力される、前記騒音の無いフレームのスペクトルをフロアレベルに補正するスペクトル補正手段と、
   前記フーリエ変換手段から出力される、前記騒音中のフレームのスペクトルに対してリミットをかけるスペクトルリミット手段と、
   前記スペクトル補正手段から得られる前記騒音の無いフレームのスペクトルと、前記スペクトルリミット手段より得られる前記騒音中のフレームのスペクトルから騒音スペクトルを推定する騒音スペクトル推定手段と、
   前記騒音スペクトル推定手段により推定された前記騒音スペクトルをフーリエ変換手段から出力されるスペクトルから減算することにより騒音の低減を行う騒音低減手段と、
   前記騒音低減手段から出力される音声スペクトルを逆フーリエ変換する逆フーリエ変換手段
   とを有することを特徴とする音声処理装置。
2. 前記音量判定手段は、前記騒音の無いフレームのスペクトルに対し、周波数帯で重み付けを行って、音量が所定値を超えているか否かを判定することを特徴とする請求項１に記載の音声処理装置。
3. 更に、前記騒音の無いフレームのスペクトルと、前記騒音中のフレームのスペクトルとから補正の要否を示す補正判定信号を出力する補正判定演算手段を有し、
   前記スペクトル補正手段は、前記音量判定手段及び前記補正判定演算手段の判定結果に従い補正の要否を制御され、
   前記スペクトルリミット手段は、前記音量判定手段及び前記補正判定演算手段の判定結果に従い補正の要否を制御される
   ことを特徴とする請求項１又は２に記載の音声処理装置。
4. 更に、前記タイミング検出手段の出力に従い、前記フーリエ変換手段から出力されるスペクトルの内、前記騒音の無いフレームのスペクトルを前記スペクトル補正手段に供給し、前記騒音中のフレームのスペクトルを前記スペクトルリミット手段に供給する切替え手段を有することを特徴とする請求項１から３の何れか１項に記載の音声処理装置。
5. 撮像装置に組み込まれていることを特徴とする請求項１から４の何れか１項に記載の音声処理装置。
6. 入力音声信号をフーリエ変換するフーリエ変換ステップと、
   前記入力音声信号を分割する各フレームにおいて騒音の無いフレームか騒音中のフレームかを検出するタイミング検出ステップと、
   前記騒音の無いフレームの音量が所定値以上か否かを判定する音量判定ステップと、
   前記音量判定ステップにおいて前記所定値以上の音量が判定された場合に、前記フーリエ変換ステップで得られる、前記騒音の無いフレームのスペクトルをフロアレベルに補正するスペクトル補正ステップと
   前記フーリエ変換ステップで得られる、前記騒音中のフレームのスペクトルに対してリミットをかけるスペクトルリミットステップと、
   前記スペクトル補正ステップで処理された前記騒音の無いフレームのスペクトルと、前記スペクトルリミットで処理された前記騒音中のフレームのスペクトルから騒音スペクトルを推定する騒音スペクトル推定ステップと、
   前記騒音スペクトルをフーリエ変換ステップで得られるスペクトルから減算することにより騒音の低減を行う騒音低減ステップと、
   前記騒音低減ステップで騒音低減された音声スペクトルを逆フーリエ変換する逆フーリエ変換ステップ
   とを有することを特徴とする音声処理方法。

Images