JP2008252389A - 撮像装置、雑音除去方法及びプログラム - Google Patents

Abstract

【課題】雑音源となる機構部の駆動前後における原音声の音量変化を抑えて、入力音声から雑音を適切に除去する。
【解決手段】入力パワー演算部５８および平滑化処理部５９を通じてモータ２１の駆動前に入力された音声信号の平均パワー値Power_Aveを算出する。フロアリング係数制御部６０は、この平均パワー値Power_Aveに応じてフロアリング係数を変化させる。これにより、スペクトル減算部５５では、雑音源となるモータ２１の駆動前後における原音声の音量変化を抑えて、入力音声から雑音を適切に除去することができる。
【選択図】 図３

Description

本発明は、デジタルカメラ等の撮像装置に係り、特に撮影中に入力された音声信号を撮影画像と共に記録可能な機能を備えた撮像装置と、この撮像装置に用いられる雑音除去方法及びプログラムに関する。

例えば、音声記録機能を備えた撮像装置では、録画中にズーム操作を行うと、ズーム音（ズームモータの駆動音）が音声信号に雑音として入り込む。ここで、音声信号に重畳した雑音を除去するための手法として、スペクトルサブトラクション（ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｉｏｎ）法が知られている。

スペクトルサブトラクション法（以下、ＳＳ法と呼ぶ）とは、無音区間におけるスペクトルを雑音スペクトルと推定し、その雑音スペクトルに所定の係数（サブトラクト係数α）を乗じた信号を入力音声スペクトルから差し引くことで雑音成分を除去する方法である。

ここで、サブトラクト係数αは、雑音を抑制するために大きな値を取る。このため、音声と雑音とのレベル差によっては、スペクトル減算によって出力がゼロ以下になることもある。これを防ぐため、通常、フロアリング係数βと呼ばれる下限値設定用の係数が用いられる（例えば、特許文献１参照）。

今、雑音のスペクトルをＮ(ω)、雑音が混じった入力音声のスペクトルをＹ(ω)、雑音除去後の音声スペクトルをＳ(ω)とすると、次式で表される。

Ｓ(ω)＝max(Ｙ(ω)−α・Ｎ(ω)，β・Ｙ(ω)) …（１）
前記（１）式において、max(Ｙ(ω)−α・Ｎ(ω)，β・Ｙ(ω))は、「Ｙ(ω)−α・Ｎ(ω)」と「β・Ｙ(ω)」のうち、値の大きい方を出力することを表す。αはサブトラクト係数（過推定係数とも呼ぶ）であり、通常、“１”よりも大きい固定値が用いられる。βはフロアリング係数であり、例えば０．０１〜０．１程度の固定値が用いられる。

このように、入力音声をβ倍した値が下限値として設定され、スペクトル減算を行ったときに、その減算結果が下限値を下回らないように出力制御がなされる。
特開２００１−２２８８９２号公報

上述したスペクトル減算は、モータの駆動タイミングでのみ実行され、また、サブトラクト係数αは１より大きな値であるため、モータの駆動前後に原音声がまたがっていると、雑音としての駆動音だけでなく、原音声のスペクトルも含めて過剰に減算してしまうことがある。

ここで、原音声の音量が小さければ、モータ駆動期間中に入力音声から雑音成分を減算したとしても（Ｙ(ω)−α・Ｎ(ω)）、元々の音量が小さいため、大きな音量変化は生じないが、原音声の音量が大きいと、減算後の原音声の音量が極端に低くなるため、違和感を生じるといった問題がある。この場合、フロアリング係数βによって下限値が補償されているが、原音声の音量に関係なく一定の値に設定されているため、上述したような原音声の極端な音量変化を抑えることはできない。

本発明は前記のような点に鑑みなされたもので、雑音源となる機構部の駆動前後における原音声の音量変化を抑えて、入力音声から雑音を適切に除去することのできる撮像装置、雑音除去方法及びプログラムを提供することを目的とする。

本発明の請求項１に係る撮像装置は、撮影時に音声信号を記録可能な撮像装置において、撮影操作に伴って駆動される機構部と、入力された音声信号をスペクトル信号に変換する変換手段と、予め前記機構部の駆動時に発生する音をスペクトル化した雑音スペクトル信号を記憶した記憶手段と、前記機構部の駆動時に前記変換手段によって得られる入力音声のスペクトル信号から前記記憶手段に記憶された雑音スペクトル信号に所定の係数を乗じた信号を減算処理すると共に、前記入力音声のスペクトル信号にフロアリング係数を乗じた値を下限値として設定し、前記減算処理により得られた値と前記下限値の大きい方を雑音除去後の音声スペクトル信号として出力するスペクトル減算手段と、前記機構部の駆動前に入力された音声信号のパワー値を取得するパワー取得手段と、このパワー取得手段によって取得された音声信号のパワー値に基づいて前記フロアリング係数を制御するフロアリング係数制御手段とを具備したことを特徴とする。

また、本発明の請求項２は、請求項１記載の撮像装置において、前記パワー取得手段は、前記変換手段によって変換されたスペクトル信号を全周波数にわたって総和をとることにより前記音声信号のパワー値を取得することを特徴とする。

また、本発明の請求項３は、請求項１記載の撮像装置において、前記パワー取得手段は、前記機構部の駆動前の所定期間の間に入力された音声信号のパワー値を平均化することにより前記音声信号のパワー値を取得することを特徴とする。

また、本発明の請求項４は、請求項１記載の撮像装置において、前記スペクトル減算手段によって得られた雑音除去後の音声スペクトル信号を元の音声信号に逆変換する逆変換手段と、この逆変換手段によって得られた音声信号を撮影画像と共に記録する記録手段とを具備したことを特徴とする。

また、本発明の請求項５は、請求項１乃至３のいずれかに記載の撮像装置において、前記フロアリング係数制御手段は、前記音声信号のパワー値が大きいほど、前記フロアリング係数を大きくし、前記音声信号のパワー値が小さいほど、前記フロアリング係数を小さく制御することを特徴とする。

また、本発明の請求項６は、請求項１記載の撮像装置において、音声信号の録音レベルを制御する録音レベル制御手段を備え、前記フロアリング係数制御手段は、前記録音レベル制御手段によって設定された録音レベルが大きいほど、前記フロアリング係数を小さくし、前記録音レベルが小さいほど、前記フロアリング係数を大きく制御することを特徴とする。

また、本発明の請求項７は、請求項６記載の撮像装置において、前記録音レベル制御手段は、入力された音声信号のパワー値の変化に応じて音声信号の録音レベルを制御することを特徴とする。

また、本発明の請求項８は、請求項１記載の撮像装置において、前記機構部の駆動前後に所定の遷移期間を設定する遷移期間設定手段を備え、前記フロアリング係数制御手段は、前記遷移期間設定手段によって設定された前記機構部の駆動前の遷移期間では前記フロアリング係数を所定の値から前記音声信号の平均パワー値に応じた最適値に緩やかに変化させ、前記機構部の駆動後の遷移期間では前記フロアリング係数を前記最適値から前記所定の値に緩やかに変化させることを特徴とする。

また、本発明の請求項９は、請求項１記載の撮像装置において、前記記憶手段に記憶された雑音スペクトル信号の特定の周波数を所定の値に置き換えておくことにより、前記スペクトル減算手段は、前記雑音スペクトル信号から前記所定の値を検出した場合に出力をゼロにすることを特徴とする。

また、本発明の請求項１０は、請求項１記載の撮像装置において、前記記憶手段に記憶された雑音スペクトル信号の特定の周波数を指定するための制御データを記憶した制御データ記憶手段を備え、前記スペクトル減算手段は、前記音声信号のパワーが所定の値よりも小さい場合に、前記制御データ記憶手段に記憶された制御データに基づいて、前記特定の周波数の出力をゼロにすることを特徴とする。

本発明の請求項１１に係る雑音除去方法は、音声付き動画撮影を行う場合に、入力音声から撮影操作に伴って駆動部から発生する音を雑音として除去する雑音除去方法であって、前記入力音声をスペクトル信号に変換するステップと、前記スペクトル変換によって得られた入力音声スペクトル信号から、予め前記機構音をスペクトル化して得られた機構音スペクトル信号に所定の係数を乗じた信号を減算処理すると共に、前記入力音声のスペクトル信号にフロアリング係数を乗じた値を下限値として設定し、前記減算処理の結果と前記下限値の大きい方を雑音除去後の音声スペクトル信号として出力するステップと、前記機構部の駆動前に入力された音声信号のパワー値を取得するステップと、前記音声信号のパワー値に基づいて前記フロアリング係数を制御するステップとを備えたことを特徴とする。

本発明の請求項１２に係るプログラムは、音声付き動画撮影を行う場合に、入力音声から撮影操作に伴って駆動部から発生する音を雑音として除去する機能を備えたコンピュータによって実行されるプログラムであって、前記コンピュータに、前記入力音声をスペクトル信号に変換する機能と、前記スペクトル変換によって得られた入力音声スペクトル信号から、予め前記機構音をスペクトル化して得られた機構音スペクトル信号に所定の係数を乗じた信号を減算処理すると共に、前記入力音声のスペクトル信号にフロアリング係数を乗じた値を下限値として設定し、前記減算処理の結果と前記下限値の大きい方を雑音除去後の音声スペクトル信号として出力する機能と、前記機構部の駆動前に入力された音声信号のパワー値を取得する機能と、前記音声信号のパワー値に基づいて前記フロアリング係数を制御する機能とを実現させることを特徴とする。

本発明によれば、雑音源となる機構部の駆動前後における原音声の音量変化を抑えて、原音声に含まれる雑音を適切に除去することができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１は本発明の撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。

このデジタルカメラ１は、略矩形の薄板状ボディ２の前面に、撮影レンズ３、セルフタイマランプ４、光学ファインダ窓５、ストロボ発光部６、マイクロホン部７などを有し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９などが設けられている。

電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影時に撮影タイミングを指示するキーである。

また、デジタルカメラ１の背面には、撮影モード（Ｒ）キー１０、再生モード（Ｐ）キー１１、光学ファインダ１２、スピーカ部１３、マクロキー１４、ストロボキー１５、メニュー（ＭＥＮＵ）キー１６、リングキー１７、セット（ＳＥＴ）キー１８、表示部１９などが設けられている。

撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードであり、特に本実施形態では音声付き動画撮影が可能であるとする。

前記シャッタキー９は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー９が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー９が押下されたときのタイミングで動画の撮影が開始され、シャッタキー９が再度押下されたときにその動画の撮影が終了する。

再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。

マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切換える際に操作する。メニューキー１６は、各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。

表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。

また、このデジタルカメラ１には、光学ズーム機能が備えられており、ズームキー２０ａ，２０ｂの操作により焦点距離を物理的に変化させて画像の拡大率を変更することができる。ズームキー２０ａ，２０ｂのうち、一方のズームキー２０ａはテレ端用であり、望遠側へズーム倍率を変更する場合に用いられる。他方のズームキー２０ｂはワイド端用であり、広角側へズーム倍率を変更する場合に用いられる。

なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等が設けられている。

図２はデジタルカメラ１の電子回路構成を示すブロック図である。

このデジタルカメラ１には、前記撮影レンズ３を構成する図示せぬフォーカスレンズおよびズームレンズなどを含むレンズ光学系２２が光軸方向に所定の範囲内で移動可能に設けられている。このレンズ光学系２２は、モータ駆動部２１ａによって回転駆動されるモータ２１により移動する。

なお、前記モータ２１として、ズーム倍率調整用のモータ（ズームモータ）、フォーカス調整用のモータ（フォーカスモータ）などの複数の異なるモータを含み、それぞれに対応したモータ駆動部２１ａが設けられているものとする。

このモータ２１の光軸後方に撮像素子であるＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）２３が配設されている。このＣＣＤ２３は、撮影レンズ３を通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。

基本モードである記録モード時において、ＣＣＤ２３がタイミング発生器（ＴＧ）２４、ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。このＣＣＤ２３の光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換される。

そして、画像処理回路２８において、画素補間処理及びγ補正処理を含む画像処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｕ，Ｖ（Ｃｂ，Ｃｒ）が生成され、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、画像処理回路２８の出力する輝度信号Ｙ及び色差信号Ｕ，Ｖを、同じく画像処理回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書き込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。

制御部３２は、デジタルカメラ１全体の制御を行うものであり、ＣＰＵと、このＣＰＵで実行される動作プログラムを記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭなどを含むマイクロコンピュータにより構成される。この制御部３２は、前記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読み出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書き込む。

デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部１９に出力する。

この表示部１９は、上述した如く撮影時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。

このように、表示部１９にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー９を押下操作すると、トリガ信号が発生する。

制御部３２は、このトリガ信号に応じて、その時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部３２がＤＲＡＭ３１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路３７に書き込み、このＪＰＥＧ回路３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。

そして得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路３７から読み出して記録用のメモリ３８に書き込む。このメモリ３８としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。１フレーム分の輝度及び色差信号の圧縮処理及びメモリ３８への全圧縮データの書込み終了に伴って、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。

制御部３２には、さらに音声処理部３９、ＵＳＢインタフェース（Ｉ／Ｆ）４０、ストロボ駆動部４１が接続される。

音声処理部３９は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（ＭＰＥＧ−１ ａｕｄｉｏ ｌａｙｅｒ ３）規格に従ってデータ圧縮して音声データファイルを作成してメモリ３８へ送出する一方、音声の再生時にはメモリ３８から読み出された音声データファイルの圧縮を解いてアナログ化し、上述したデジタルカメラ１の背面側に設けられるスピーカ部（ＳＰ）１３を通じて出力する。

ＵＳＢインタフェース４０は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データ、その他の送受を行う場合の通信制御を行う。ストロボ駆動部４１は、撮影時に図示せぬストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいてストロボ発光部６を閃光駆動する。

なお、前記キー入力部３６は、上述したシャッタキー９の他に、電源キー８、撮影モードキー１０、再生モードキー１１、マクロキー１４、ストロボキー１５、メニューキー１６、リングキー１７、セットキー１８、ズームキー２０ａ，２０ｂなどから構成され、それらのキー操作に伴う信号は直接制御部３２へ送出される。

また、静止画像ではなく動画像の撮影時においては、シャッタキー９が押下操作されたときに、上述したＪＰＥＧ回路３７によりｍｏｔｉｏｎ−ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの手法により撮影動画をデータ圧縮してメモリ３８へ記録する。この場合、音声付き動画撮影であれば、その撮影中にマイクロホン部（ＭＩＣ）７より入力された音声信号が動画データと共に前記メモリ３８に記録されることになる。再度シャッタキー９が操作されると、動画データの記録を終了する。

一方、基本モードである再生モード時には、制御部３２がメモリ３８に記録されている画像データを選択的に読み出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長する。そして、この伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読み出してビデオ信号を発生し、表示部１９で再生出力させる。

選択した画像データが静止画像ではなく動画像であった場合には、その動画データを構成する複数フレームの静止画データを時系列の順で順次再生して表示し、すべての静止画データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画データを表示するなどを行う。その際、当該動画データに音声データが含まれていれば、その音声データがスピーカ部（ＳＰ）１３を通じて出力されることになる。

次に、このデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置について説明する。

図３は本発明の第１の実施形態におけるデジタルカメラ１に用いられる音声記録装置の構成を示すブロック図である。

この音声記録装置は、主としてデジタルカメラ１の音声付き動画撮影に用いられるものであり、その撮影中に音声信号に混入するズーム機構の駆動音などを雑音として除去する機能を備えている。

第１の実施形態において、この音声記録装置は、モータ２１、モータ駆動部２１ａ、制御部３２、キー入力部３６、マイクロホン部７、Ａ／Ｄ変換部５１、フレーム分割部５２、フーリエ変換部５３、雑音スペクトル記憶部５４、スペクトル減算部５５、逆フーリエ変換部５６、波形合成部５７、入力パワー演算部５８、平滑化処理部５９、フロアリング係数制御部６０を備える。なお、前記各構成部のうち、５１〜５７の部分は図２に示したデジタルカメラ１の音声処理部３９に含まれる。

モータ２１はズームレンズなどのレンズ光学系２２を光軸方向に移動させるためのモータであり、モータ駆動部２１ａはそのモータ２１を回転駆動させるための駆動機構である。

制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂなどの操作信号を受けてモータ駆動制御信号をモータ駆動部２１ａに出力すると共に、ここでは、音声付き動画撮影中に入力パワー演算部５８およびフロアリング係数制御部５６を制御する機能を備える。

一方、マイクロホン部７を通じて入力された音声信号は、Ａ／Ｄ変換部５１を介してデジタル信号に変換された後、フレーム分割部５２に与えられる。この場合、音声付き動画撮影中に例えばズーム操作が行われると、そのズーム操作に伴って発生するモータ音（ズーム音）がマイクロホン部７を通じて音声信号と共に入り込むことになる。

フレーム分割部５２は、入力された音声信号を所定時間分のフレーム単位で分割する。フーリエ変換部５３は、このフレーム分割部５２によってフレーム単位で分割された音声信号をフーリエ変換し、周波数毎のパワーを示したスペクトル信号Ｙ（ω）に変換する。

雑音スペクトル記憶部５４には、予め雑音除去対象となる機構部の駆動音（ズーム音）をスペクトル化した雑音スペクトル信号Ｎ（ω）が記憶されている。スペクトル減算部５５は、フーリエ変換部５３によって得られた入力音声のスペクトル信号Ｙ（ω）と雑音スペクトル記憶部５４に記憶された雑音スペクトル信号Ｎ（ω）に基づいて、ＳＳ（ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｉｏｎ）法による雑音除去処理を行う。

詳しくは、入力音声のスペクトル信号Ｙ（ω）から雑音スペクトル信号Ｎ（ω）に所定のサブトラクト係数αを乗じた信号を減算することで、入力音声に含まれる雑音成分を除去する処理を行う。減算後の音声スペクトル信号をＳ（ω）とする。

ここで、スペクトル減算部５５による過度の雑音除去を防ぐために、下限値設定部５５ａが設けられている。この下限値設定部５５ａは、入力音声のスペクトル信号Ｙ（ω）にフロアリング係数βを乗じた信号を下限値として設定し、スペクトル減算部５５の出力信号Ｓ（ω）がこの下限値を下回らないように制御する。なお、後述するように、フロアリング係数βの値は、フロアリング係数制御部６０によって適宜最適な値に調整される。

逆フーリエ変換部５６は、スペクトル減算部５５から出力された音声スペクトル信号Ｓ（ω）を逆フーリエ変換して元のフレーム単位毎の音声信号に戻す。

波形合成部５７は、この逆フーリエ変換部５６によって得られるフレーム単位毎の音声信号を合成することで時系的に連続した音声信号に復元する。この波形合成部５７から出力された音声信号は、最終的な記録用の音声信号として用いられ、デジタルカメラ１の撮像系から得られる動画データと共に図２に示したメモリ３８に記録される。

また、入力パワー演算部５８は、モータ２１の駆動期間前に入力された音声信号を算出する。平滑化処理部５９は、入力パワー演算部５８によって算出された音声信号のパワーを時間軸方向に平滑化する。フロアリング係数制御部６０は、下限値設定部５５ａに用いられるフロアリング係数βをモータ２１の駆動期間前に入力された音声信号のパワーに応じて変化させる。詳しくは、平滑化処理部５９によって得られた音声信号のパワーの平均値が大きいほど、フロアリング係数βを大きくし、音声信号のパワーの平均値が小さいほど、フロアリング係数βを小さく制御する。

ここで、理解を容易にするため、ＳＳ法（スペクトルサブトラクション法）を用いた雑音除去処理の基本的な動作について説明しておく。

今、音声付き動画撮影を行っている最中に、例えばユーザがキー入力部３６に含まれるズームキー２０ａ，２０ｂを操作したとする。

デジタルカメラ全体の動作を制御する制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂのズーム操作信号を入力すると、モータ駆動部２１ａに対して駆動開始信号を送る。モータ駆動部２１ａは、この駆動開始信号を受けてモータ２１を回転駆動する。このモータ２１の回転に伴い、図２のレンズ光学系２２に含まれる図示せぬズームレンズが光軸上に移動してズーム倍率が変化する。

また、ユーザがズーム操作を終了すると、制御部３２はモータ駆動部２１ａに対して駆動停止信号を送る。これにより、モータ２１の回転駆動が停止し、ズーム動作が終了する。

ここで、音声付き動画の撮影中は常にマイクロホン部７による音声入力機能がＯＮ状態にある。このため、前記ズーム操作に伴って発生するモータ音が入力音声の中に雑音として混入する問題がある。このようなモータ音を音声信号から除去して記録するべく、以下のような処理が行われる。

すなわち、まず、雑音除去対象となるモータ音（機構音）のスペクトル信号を事前に採取しておき、これを雑音スペクトル信号Ｎ（ω）として雑音スペクトル記憶部５４に記憶しておく。以下では、ズーム操作時に発生するモータ音つまりズーム音を雑音除去対象として説明する。

ズーム音の採取方法は、無音状態でズーム操作を行い、そのときに発生するズーム音のみをマイクロホン部７から入力することで行う。この入力したズーム音をＡ／Ｄ変換部５１にてデジタル信号に変換した後、フレーム分割部５２により数１０ｍｓ程度のフレーム区間に切り出し、フーリエ変換部５３によりスペクトル信号に変換する。これをモータ駆動期間（ズームモータの駆動開始から駆動停止までの期間）について行い、その間にフレーム単位で順次得られるスペクトル信号の平均値を雑音スペクトル信号Ｎ（ω）として雑音スペクトル記憶部５４に記憶しておく。

上述したように、ズーム操作を行っているとき、マイクロホン部７には原音声に加えて、そのときに発生するモータ音が雑音として入力されている。このため、フーリエ変換部５３からは原音声とモータ音が混合したスペクトル信号Ｙ（ω）が出力される。

スペクトル減算部５５では、このモータ音を含んだ入力音声のスペクトル信号Ｙ（ω）と、雑音スペクトル記憶部５４に予め記憶された雑音スペクトル信号Ｎ（ω）とに基づいてＳＳ法による雑音除去処理を行う。

この雑音除去処理について、図４を参照して詳しく説明する。

図４はＳＳ法（スペクトルサブトラクション法）を用いた雑音除去処理を説明するための図である。図４（ａ）は入力音声の波形データ、同図（ｂ）はこの入力音声をフレーム単位でフーリエ変換して得られた入力音声のスペクトル信号である。また、同図（ｃ）は雑音除去対象となるモータ音のスペクトル信号（雑音スペクトル）、同図（ｄ）はその雑音スペクトル信号に所定のサブトラクト係数αを乗じた信号である。同図（ｅ）は入力音声のスペクトル信号から係数乗算後の雑音スペクトル信号を減算して得られるスペクトル信号つまり雑音除去後の音声スペクトル信号である。同図（ｆ）はその雑音除去後の音声スペクトル信号を逆フーリエ変換して得られた音声信号、同図（ｇ）はフレーム単位で分割された音声信号を時系列に合成して元の音声波形に戻した状態を示している。

今、図４（ａ）に示すような波形を有する音声信号が音声入力部５１に入力されたとする。この音声信号には、例えばズーム操作に伴って発生するモータ音つまりズーム音が雑音として混入されている。

まず、フレーム分割部５２において、例えば１０ｍｓ程度のフレーム区間で入力信号を切り出し、同図（ｂ）に示すように、フーリエ変換部５３にて周波数毎のパワーを表したスペクトル信号Ｙ（ω）を生成する。

ここで、同図（ｃ）に示すように、雑音スペクトル記憶部５４には予めモータ音をスペクトル化した雑音スペクトル信号Ｎ（ω）が記憶されている。そこで、同図（ｃ）〜（ｅ）に示すように、スペクトル減算部５５において、入力音声のスペクトル信号Ｙ（ω）から雑音スペクトル信号Ｎ（ω）に所定のサブトラクト係数αを乗じた信号を減算することにより、雑音除去後の音声スペクトル信号Ｓ（ω）が得られる。

なお、前記サブトラクト係数αは、雑音スペクトル記憶部５４に記憶された雑音スペクトル信号Ｎ（ω）のレベルに応じて予め決められており、通常、“１”以上の値である。

図４（ｆ）に示すように、この雑音除去後の音声スペクトル信号Ｓ（ω）は逆フーリエ変換部５６にて逆フーリエ変換される。そして、同図（ｇ）に示すように、波形合成部５７にて各フレーム毎の音声信号が時系列に合成処理されて、元のアナログ波形信号である音声信号に復元される。この音声信号は、雑音除去後の音声信号として動画撮影中に画像データと共にメモリ３８に記録される。

なお、前記のような雑音除去処理において、実際にはフレーム分割部５２にて音声信号をフレーム分割してフーリエ変換する前に、音声信号に「ハニング窓」等の窓関数をかけておく。また、後段の波形合成部５７で逆フーリエ変換後の音声信号をフレーム毎に合成処理する際にフレーム境界で不連続な波形になるのを防止するために、フレーム毎の音声信号を多少オーバーラップして合成していく。

例えば、フレーム長が２５６サンプルとして分析ポイントを１２８サンプルずつシフトしていく。この場合のハニング窓は（２）式のように表せる。

ｗ（ｎ）＝０．５−ｃｏｓ｛２＊ＰＩ＊ｎ／（Ｌ−１）｝ …（２）
Ｌ：１フレームのサンプル数
ｎ＝０，１，…，Ｌ−１
このように、各信号を１／２フレームずらして重ね合わせると、振幅が一定で不連続点のない音声波形を得ることができる。

次に、第１の実施形態の動作を説明する。
第１の実施形態では、モータ駆動前後における原音声の急激な変化を防止するべく、駆動期間前に入力された音声信号（つまり、雑音であるズーム音を含まない原音声の信号）のパワーに基づいて、下限値設定用に用いられるフロアリング係数βを変化させるものである。

図５は第１の実施形態におけるデジタルカメラ１の動画記録時の音声処理の動作を示すフローチャートである。なお、このフローチャートで示される処理は、コンピュータである制御部３２によって読み取り可能なプログラムの形態でＲＯＭ等の記録媒体に予め記録されているものとする。

（ａ）ズーム動作がない場合
まず、ズーム動作がない場合の処理について説明する。

図３に示したように、マイクロホン部７より入力された音声信号は、Ａ／Ｄ変換部５１によりデジタル信号に変換された後、フレーム分割部５２により、例えば２５６サンプル毎のフレーム単位に分割される（ステップＡ１１）。このフレーム単位の音声データにハニング窓等の窓掛け処理を行った後、フーリエ変換部５３により周波数領域信号に変換され、入力音声のスペクトル信号Ｙ（ω）が生成される（ステップＡ１２）。

ここで、ズーム動作がない場合には（ステップＡ１３のＮｏ）、入力パワー演算部１０では、フーリエ変換部５３から得られる入力音声のスペクトル信号Ｙ（ω）を全周波数にわたって総和をとることにより、入力音声のパワー値を算出する（ステップＡ１４）。この入力音声のパワー値をPowerとすると、次のような式で表される。

Power＝Σ（｜Ｙ(ω)｜＊｜Ｙ(ω)｜） …（３）
なお、入力音声のスペクトル信号Ｙ（ω）は常時計算しているため、前記（３）式のために必要な処理は加算処理のみである。

平滑化処理部１１では、入力音声のパワー値の小さい変動を抑えるために、ズーム動作期間以前の入力音声の平均パワー値を算出する（ステップＡ１５）。このときの平均パワー値をPower_Aveとすると、次のような式で表される。

Power_Ave＝Ｋ＊Power_Ave(ｎ−１)＋（１−Ｋ）＊Power …（４）
Power_Ave(ｎ−１)は、前回の平滑化処理で得られた入力音声の平均パワー値であり、Ｋは平滑化の度合いを決定する平滑化係数であり、０から１までの間の値である。なお、平滑化処理の別の方法としては、過去の数フレーム分の入力パワー値の平均をとるようにしても良い。

次に、フロアリング係数制御部１２では、フロアリング係数β＝１とする（ステップＡ１６）。

スペクトル減算部５５は、入力音声のスペクトル信号Ｙ(ω)と、雑音スペクトル記憶部５４に記憶された雑音スペクトル信号Ｎ(ω)とにより前記（１）式に従ってスペクトル減算処理を行う（ステップＡ１８）。

ここで、スペクトル減算後のスペクトル信号Ｓ(ω)は、フロアリング係数β＝１であることから、Ｓ(ω)＝Ｙ(ω)となる。逆フーリエ変換部５６にてスペクトル信号Ｓ(ω)を逆フーリエ変換して時間領域信号に変換すると（ステップＡ１９）、フーリエ変換前の音声信号になる。波形合成部５７で前後のフレームデータから連続的な音声信号を生成すると（ステップＡ２０）、元の入力信号に戻り、動画データとタイミングを合わせて記録メディアであるメモリ３８に記録される（ステップＡ２１）。

このように、ズーム動作がない場合には、マイクロホン部７を通じて入力された音声信号がそのまま動画データと共にメモリ３８に記録されることになる。

（ｂ）ズーム動作があった場合の処理
次に、ズーム動作があった場合について説明する。

フーリエ変換部５３により入力音声のスペクトル信号Ｙ(ω)を生成するまでは、ズーム動作がない場合と同様である（ステップＡ１１〜Ａ１２）。

ここで、ズーム動作があると（ステップＡ１３のＮｏ）、フロアリング係数制御部１２では、ズーム期間以前に得られた入力音声の平均パワー値Power_Aveに基づいてフロアリング係数βを最適な値に制御する（ステップＡ１７）。

詳しくは、入力音声の平均パワー値Power_Aveがズーム音に比べて大きく、ズーム音が目立たない時にはフロアリング係数βを１．０に近い値に設定しておき、Power_Aveが小さくなるに従ってフロアリング係数βを小さくしていき、Power_Aveが０の場合は例えばフロアリング係数βを０とするように制御する。

スペクトル減算部５５では、前記（１）式に従ってスペクトル減算処理を行う（ステップＡ１８）。その際、入力音声の平均パワー値Power_Aveがズーム音に比べて大きく、ズーム音が目立たない場合であれば、フロアリング係数βによって決定される下限値が上がるので、入力音声を過剰に減算することなく、ほぼ原形のままで出力することができる。また、Power_Aveがズーム音に比べて小さく、ズーム音が目立つ場合であれば、フロアリング係数βによって決定される下限値が下がることになり、入力音声から雑音であるズーム音を適切に除去することができる。

逆フーリエ変換部５６では、スペクトル減算部５５から出力される雑音除去後の音声スペクトル信号Ｓ(ω)を逆フーリエ変換して時間領域信号に変換する（ステップＡ１９）。波形合成部５７では、前後のフレームデータから連続的な音声信号を生成し（ステップＡ２０）、動画データとタイミングをあわせて記録メディアであるメモリ３８に記録する(ステップＡ２１)。

このように、ズーム動作があった場合には、音声信号の平均パワー値Power_Aveに応じてフロアリング係数βが最適な値に設定され、そのフロアリング係数βを用いてスペクトル減算の下限値が調整される。これにより、過剰な減算による急激な音量変化を抑え、臨場感を損なうことなく、原音声の音量をできるだけ保持した状態で撮影画像と共に記録することが可能となる。

以上のように、第１の実施形態によれば、ズーム駆動前に入力された音声信号の平均パワー値Power_Aveに応じてフロアリング係数βを変化させたことにより、モータ駆動前後における原音声の音量変化を抑えて、入力音声からズーム音を雑音として適切に除去することができる。

また、ズーム期間以前の平均パワー値Power_Aveの算出は、入力音声のスペクトル信号Ｙ（ω）の加算処理と、簡単な平滑化処理で得られることから、ソフト処理においては処理時間の節約、ハード処理においてはハード規模の節約を図ることができる。

（第１の実施形態の変形例１）
図６は第１の実施形態の変形例１における音声記録装置の構成を示すブロック図である。なお、図３と同一部分には同一符号を付して、その説明は省略するものとする。

図３と異なる点は、録音レベル制御部６１および増幅器６２が追加されている点である。録音レベル制御部６１は、マイクロホン部７から入力される音声信号が小さいときには録音レベルを上げ、大きいときには録音レベルを下げるように増幅器６２を制御するものである。この録音レベルの調整は、例えば、マイクロホン部７から入力される音声信号を積分することにより求めた音声信号のパワーの変化に応じて行われる。

デジタルカメラ１に録音レベルの制御機能が備えられている場合、録音レベルに応じて入力音声に含まれるズーム音の割合が変化する。すなわち、録音レベルが大きいときには、入力音声に含まれるズーム音の割合は大きくなり、録音レベルが小さいときには入力音声に含まれるズーム音の割合は小さくなる。

そこで、フロアリング係数制御部６０では、録音レベル制御部１２によって設定される録音レベルが大きいときにはフロアリング係数βを小さく、録音レベルが小さいときにはフロアリング係数βを大きく制御する。具体的には、入力パワー演算部５８および平滑化処理部５９によって得られる入力音声の平均パワー値Power_Aveに対応したフロアリング係数βの値に録音レベルの逆数を乗じることで、最終的なフロアリング係数βをスペクトル減算部５５に与える。

これにより、録音レベルが大きく、入力音声に対してズーム音が目立つときには、フロアリング係数βを小さくして、入力音声からズーム音を雑音として適切に除去することができる。また、録音レベルが小さく、ズーム音が目立たないときには、フロアリング係数βを大きくすることで、過剰な減算を抑えて入力音声をほぼ原形のままで出力することができる。

（第１の実施形態の変形例２）
図７に示すように、ズーム期間の前後に遷移期間Ａと遷移期間Ｂを設定する。遷移期間Ａは、例えばズームがＯＮ操作されたから実際にズーム動作が開始されるまでの間に設定される。遷移期間Ｂは、例えばズームがＯＦＦ操作されたから実際にズーム動作が終了するまでの間に設定される。遷移期間Ａではフロアリング係数βを１．０から前記第１の実施形態で設定された最適値まで滑らかに変化させ、遷移期間Ｂではフロアリング係数βをその最適値から１．０に滑らかに変化させる。

具体的に説明すると、図８に示すように、制御部３２に遷移期間Ａと遷移期間Ｂを設定するための遷移期間設定部３２ａが設けられる。遷移期間Ａにおいて、ズーム動作を開始する一定期間前に制御部３２からズーム予告信号をフロアリング係数制御部６０に出力する。フロアリング係数制御部６０は、その時点でズーム期間以前に得られた入力音声の平均パワー値Power_Aveに基づいてフロアリング係数βの最適値を算出し、フロアリング係数βを１．０から前記最適値になるように制御する。なお、実際には、例えば５０ｍｓｅｃ毎にフロアリング係数βの値が段階的に変化するので、これを直線補間により滑らかに変化させる。

一方、遷移期間Ｂでは、ズーム動作が終了した時点で制御部３２からズーム終了信号をフロアリング係数制御部６０に出力する。フロアリング係数制御部６０は、このズーム終了信号を時湯新することにより、現在のフロアリング係数βを前記最適値から１．０になるように制御する。この場合も直線補間により滑らかに変化させる。

このように、ズーム期間の前後の遷移期間Ａと遷移期間Ｂでフロアリング係数βを滑らかに変化させることで、入力音声に対するスペクトル減算処理が緩やかなものになるため、ズーム期間前後での急激な音量変化をさらに抑えることができる。

なお、前記変形例１のように録音レベルに基づいてフロアリング係数βの最適値を算出した場合も同様であり、その最適値に合わせてフロアリング係数βを緩やかに変化させることで、ズーム期間前後での急激な音量変化をさらに抑えることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態では、スペクトル減算を利用して、ズーム音だけでなく、デジタルカメラ１の電源がＯＮしいるときに回路基板上の電子回路から定常的に発生している雑音を除去する構成としている。

音声記録装置として基本的な構成は図３と同様である。雑音スペクトル記憶部５４には、ズーム期間中に発生する雑音つまりズーム音を周波数単位でスペクトル化した信号が雑音スペクトル信号Ｎ（ω）として記憶されている。この雑音スペクトル信号Ｎ（ω）の特定の周波数の値を所定の値に置き換えておく。「特定の周波数」とは、回路基板上の電子回路から定常的に発生している雑音に対応した周波数であり、ズーム音の周波数に比べて高い周波数である。また、「所定の値」とは、通常の雑音スペクトル信号Ｎ（ω）からは得られることのない大きな値とする。

なお、多数の電子回路から発生される雑音を除去する場合には、雑音スペクトル信号Ｎ（ω）の中の各電子回路の雑音周波数に対応した部分を所定の値にそれぞれ置き換えておくものとする。

以下に、このような構成の音声処理について説明する。

図９は第２の実施形態におけるデジタルカメラ１の動画記録時の音声処理の動作を示すフローチャートである。なお、このフローチャートで示される処理は、コンピュータである制御部３２によって読み取り可能なプログラムの形態でＲＯＭ等の記録媒体に予め記録されているものとする。

図９において、ステップＢ１１〜Ｂ１７までの処理は、図５のステップＡ１１〜Ａ１７までの処理と同様である。すなわち、マイクロホン部７より入力された音声信号のスペクトル信号Ｙ（ω）が生成された後（ステップＢ１１，Ｂ１２）、ズーム動作の有無に応じてフロアリング係数βの値が設定される（ステップＢ１３〜Ｂ１７）。上述したように、ズーム動作がない場合には、フロアリング係数β＝１に設定されるので、Ｓ(ω)＝Ｙ(ω)となる。また、ズーム動作がある場合には、入力音声の平均パワー値Power_Aveに基づいてフロアリング係数βが最適値に設定され、そのときのフロアリング係数βの値によってＳ(ω)が制御されることになる。

ここで、スペクトル減算部５５では、雑音スペクトル記憶部５４に記憶された雑音スペクトル信号Ｎ（ω）と入力音声のスペクトル信号Ｙ（ω）を照らし合わせながら、入力音声に含まれる雑音つまりズーム音を除去する処理（スペクトル減算処理）を行っている。その際、雑音スペクトル記憶部５４に記憶された雑音スペクトル信号Ｎ（ω）から前記所定の値を検出した場合（ステップＢ１８のＹｅｓ）、スペクトル減算部５５は、前記特定の周波数における出力Ｓ(ω)をゼロとして出力する（ステップＢ１９）。一方、前記所定の値を検出しなかった場合には（ステップＢ１８のＮｏ）、前記（１）式に従ってＳ(ω)の値を求めて出力する（ステップＢ２０）。

以後の処理は前記第１の実施形態と同様であり、逆フーリエ変換部５６では、スペクトル減算部５５から出力される雑音除去後の音声スペクトル信号Ｓ(ω)を逆フーリエ変換して時間領域信号に変換する（ステップＢ２１）。波形合成部５７では、前後のフレームデータから連続的な音声信号を生成し（ステップＢ２２）、動画データとタイミングをあわせて記録メディアであるメモリ３８に記録する(ステップＢ２３)。

このようにして、Ｎ（ω）＝所定の値（通常よりも大きな値）である場合には、フロアリング係数βの値に関係なく、スペクトル減算部５５の出力Ｓ（ω）がゼロになるので、メモリ３８に記録される音声信号は常に特定周波数の成分が欠落した信号となる。

以上のように、第２の実施形態によれば、スペクトル減算に用いられる雑音スペクトル信号Ｎ（ω）の特定の周波数を所定の値に変更しておくだけで、ノッチフィルタと同じ効果が得られる。したがって、専用のソフト的なノッチ処理やノッチフィルタ回路を使用することなく、ズーム音だけでなく、電子回路から混入してくる特定周波数帯の雑音を入力音声から適切に除去して記録することができる。

（第２の実施形態の変形例１）
図１０は第２の実施形態の変形例１における音声記録装置の構成を示すブロック図である。なお、図３と同一部分には同一符号を付して、その説明は省略するものとする。

雑音スペクトル記憶部５４に記憶された雑音スペクトル信号Ｎ（ω）はそのままとして、新たに制御データ記憶部６３を設ける。この制御データ記憶部６３には、上述した回路雑音である特定の周波数を指定するための制御データが記憶されている。具体的には、前記特定の周波数では“１”、その他の周波数では“０”の値を有するノッチ用のスペクトル信号が制御データとして制御データ記憶部６３にプリセットされている。

ここで、ズーム期間以前の入力音声の平均パワー値Power_Aveが所定の値より小さい場合に、スペクトル減算部５５は制御データ記憶部６３を参照する。そして、制御データ記憶部６３にプリセットされた制御データが“１”のときに、前記フロアリング係数βに関わらず、Ｓ(ω)＝０とする。一方、入力音声の平均パワー値Power_Aveが所定の値より大きい場合には、前記（１）式に従ってスペクトル減算処理を行う。その他の処理については、前記第２の実施形態と同様である。

これにより、入力音声の信号レベルが大きく、電子回路から混入する特定周波数の雑音（回路雑音）が目立たない場合にはノッチフィルタ効果をなくし、信号レベルが小さく、（回路雑音）が目立つ場合のみノッチフィルタ効果が得られるようになり、結果的に原音声により近い音声信号を記録することができる。

なお、前記各実施形態では、音声付き動画撮影可能なデジタルカメラを例にして説明したが、本発明はデジタルカメラに限らず、例えばカメラ付きの携帯電話など、音声信号と共に撮影画像を記録可能な機能を備えた電子機器であれば、そのすべてに適用可能である。

また、ズーム音に限らず、例えばフォーカス音など、撮影操作に伴って発生する駆動音であれば、前記同様の手法にて除去することができる。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。 図２はデジタルカメラの電子回路構成を示すブロック図である。 図３は本発明の第１の実施形態に係るデジタルカメラに用いられる音声記録装置の構成を示すブロック図である。 図４はＳＳ法（スペクトルサブトラクション法）を用いた雑音除去処理を説明するための図である。 図５は第１の実施形態におけるデジタルカメラ１の動画記録時の音声処理の動作を示すフローチャートである。 図６は第１の実施形態の変形例１における音声記録装置の構成を示すブロック図である。 図７は第１の実施形態の変形例２におけるフロアリング係数の変更方法を説明するための図である。 図８は第１の実施形態の変形例２における音声記録装置の構成を部分的に示すブロック図である。 図９は本発明の第２の実施形態におけるデジタルカメラの動画記録時の音声処理の動作を示すフローチャートである。 図１０は第２の実施形態の変形例１における音声記録装置の構成を示すブロック図である。

符号の説明

１…デジタルカメラ、２…ボディ、３…撮影レンズ、７…マイクロホン部、９…シャッタキー、２０ａ，２０ｂ…ズームキー、２１…モータ、２１ａ…モータ駆動部、３２…制御部、３２ａ…遷移期間設定部、３６…キー入力部、５１…Ａ／Ｄ変換部、５２…フレーム分割部、５３…フーリエ変換部、５４…雑音スペクトル記憶部、５５…スペクトル減算部、５５ａ…下限値設定部、５６…逆フーリエ変換部、５７…波形合成部、５８…入力パワー演算部、５９…平滑化処理部、６０…フロアリング係数制御部、６１…録音レベル制御部、６２…増幅器、６３…制御データ記憶部、Ｙ（ω）…入力音声のスペクトル信号、Ｎ（ω）…雑音スペクトル信号、Ｓ（ω）…雑音除去後の音声スペクトル信号。

Claims (12)

1. 撮影時に音声信号を記録可能な撮像装置において、
   撮影操作に伴って駆動される機構部と、
   入力された音声信号をスペクトル信号に変換する変換手段と、
   予め前記機構部の駆動時に発生する音をスペクトル化した雑音スペクトル信号を記憶した記憶手段と、
   前記機構部の駆動時に前記変換手段によって得られる入力音声のスペクトル信号から前記記憶手段に記憶された雑音スペクトル信号に所定の係数を乗じた信号を減算処理すると共に、前記入力音声のスペクトル信号にフロアリング係数を乗じた値を下限値として設定し、前記減算処理により得られた値と前記下限値の大きい方を雑音除去後の音声スペクトル信号として出力するスペクトル減算手段と、
   前記機構部の駆動前に入力された音声信号のパワー値を取得するパワー取得手段と、
   このパワー取得手段によって取得された音声信号のパワー値に基づいて前記フロアリング係数を制御するフロアリング係数制御手段と
   を具備したことを特徴とする撮像装置。
2. 前記パワー取得手段は、前記変換手段によって変換されたスペクトル信号を全周波数にわたって総和をとることにより前記音声信号のパワー値を取得することを特徴とする請求項１記載の撮像装置。
3. 前記パワー取得手段は、前記機構部の駆動前の所定期間の間に入力された音声信号のパワー値を平均化することにより前記音声信号のパワー値を取得することを特徴とする請求項１記載の撮像装置。
4. 前記スペクトル減算手段によって得られた雑音除去後の音声スペクトル信号を元の音声信号に逆変換する逆変換手段と、
   この逆変換手段によって得られた音声信号を撮影画像と共に記録する記録手段と
   を具備したことを特徴とする請求項１記載の撮像装置。
5. 前記フロアリング係数制御手段は、前記音声信号のパワー値が大きいほど、前記フロアリング係数を大きくし、前記音声信号のパワー値が小さいほど、前記フロアリング係数を小さく制御することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
6. 音声信号の録音レベルを制御する録音レベル制御手段を備え、
   前記フロアリング係数制御手段は、前記録音レベル制御手段によって設定された録音レベルが大きいほど、前記フロアリング係数を小さくし、前記録音レベルが小さいほど、前記フロアリング係数を大きく制御することを特徴とする請求項１記載の撮像装置。
7. 前記録音レベル制御手段は、入力された音声信号のパワー値の変化に応じて音声信号の録音レベルを制御することを特徴とする請求項６記載の撮像装置。
8. 前記機構部の駆動前後に所定の遷移期間を設定する遷移期間設定手段を備え、
   前記フロアリング係数制御手段は、前記遷移期間設定手段によって設定された前記機構部の駆動前の遷移期間では前記フロアリング係数を所定の値から前記音声信号の平均パワー値に応じた最適値に緩やかに変化させ、前記機構部の駆動後の遷移期間では前記フロアリング係数を前記最適値から前記所定の値に緩やかに変化させることを特徴とする請求項１記載の撮像装置。
9. 前記記憶手段に記憶された雑音スペクトル信号の特定の周波数を所定の値に置き換えておくことにより、前記スペクトル減算手段は、前記雑音スペクトル信号から前記所定の値を検出した場合に出力をゼロにすることを特徴とする請求項１記載の撮像装置。
10. 前記記憶手段に記憶された雑音スペクトル信号の特定の周波数を指定するための制御データを記憶した制御データ記憶手段を備え、
    前記スペクトル減算手段は、前記音声信号のパワーが所定の値よりも小さい場合に、前記制御データ記憶手段に記憶された制御データに基づいて、前記特定の周波数の出力をゼロにすることを特徴とする請求項１記載の撮像装置。
11. 音声付き動画撮影を行う場合に、入力音声から撮影操作に伴って駆動部から発生する音を雑音として除去する雑音除去方法であって、
    前記入力音声をスペクトル信号に変換するステップと、
    前記スペクトル変換によって得られた入力音声スペクトル信号から、予め前記機構音をスペクトル化して得られた機構音スペクトル信号に所定の係数を乗じた信号を減算処理すると共に、前記入力音声のスペクトル信号にフロアリング係数を乗じた値を下限値として設定し、前記減算処理の結果と前記下限値の大きい方を雑音除去後の音声スペクトル信号として出力するステップと、
    前記機構部の駆動前に入力された音声信号のパワー値を取得するステップと、
    前記音声信号のパワー値に基づいて前記フロアリング係数を制御するステップと
    を備えたことを特徴とする雑音除去方法。
12. 音声付き動画撮影を行う場合に、入力音声から撮影操作に伴って駆動部から発生する音を雑音として除去する機能を備えたコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    前記入力音声をスペクトル信号に変換する機能と、
    前記スペクトル変換によって得られた入力音声スペクトル信号から、予め前記機構音をスペクトル化して得られた機構音スペクトル信号に所定の係数を乗じた信号を減算処理すると共に、前記入力音声のスペクトル信号にフロアリング係数を乗じた値を下限値として設定し、前記減算処理の結果と前記下限値の大きい方を雑音除去後の音声スペクトル信号として出力する機能と、
    前記機構部の駆動前に入力された音声信号のパワー値を取得する機能と、
    前記音声信号のパワー値に基づいて前記フロアリング係数を制御する機能と
    を実現させることを特徴とするプログラム。

Images