JP2006279185A - 撮像装置、音声記録方法及びプログラム - Google Patents

Abstract

【課題】撮影中に入力された音声信号に含まれる機構音を雑音として適切に除去して記録する。
【解決手段】予め撮影動作に伴ってモータ２１から発生するモータ音（機構音）をスペクトル化した信号をモータ音スペクトル記憶部５４に記憶しておく。撮影中にモータ２１が駆動された場合に、その駆動期間中のみサブトラクト部５５を有効とし、入力音声スペクトル信号からモータ音スペクトル記憶部５４に記憶されたモータ音スペクトル信号に所定の係数を乗じた信号を減算することで雑音成分を除去した後、逆フーリエ変換部５７および波形合成部５８を通じて元の音声信号に戻して撮影画像と共にメモリに記録する。
【選択図】図３

Description

本発明は、デジタルカメラ等の撮像装置に係り、特に撮影中に入力された音声信号を撮影画像と共に記録可能な機能を備えた撮像装置と、この撮像装置に用いられる音声記録方法及びプログラムに関する。

従来から音声信号に重畳した雑音を除去するための手法として、スペクトルサブトラクション（ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｉｏｎ）法が知られている。このスペクトルサブトラクション法（以下、ＳＳ法と呼ぶ）とは、無音区間におけるスペクトルを雑音スペクトルと推定し、その雑音スペクトルに所定の係数（サブトラクト係数）を乗じた信号を入力音声スペクトルから差し引くことで雑音成分を除去する方法である。

ここで、特許文献１では、前記ＳＳ法を用いた雑音除去システムにおいて、サブトラクト係数を音声信号のフレームパワーに依存してフレーム毎に変化させることにより、推定雑音スペクトルの引き過ぎによるスペクトル歪を減少させることが開示されている。すなわち、母音のような音声パワーが確保されている区間は通常のサブトラクト係数を掛け、破裂子音のような音声パワーの少ない部分ではサブトラクト係数を小さくすることにより、推定雑音スペクトルの引き過ぎによる入力音声スペクトルの歪を抑えるようにしている。

また、特許文献２では、雑音スペクトルを無音区間のスペクトルでは無く、別途設けた参照入力部から入力されたスペクトルから雑音スペクトルを推定する方式を提案している。
特開平８−２２１０９２号公報 特開平５−１６５４９２号公報

上述したように、ＳＳ法を用いて入力音声から雑音成分を除去する方法が知られている。しかしながら、音声付きの動画撮影機能を備えたデジタルカメラでは、その撮影中に音声入力とは無関係にズーム音やフォーカス音などの機構音が発生して入力音声に入り込む問題がある。

この場合、前記特許文献１のように、無音区間の音声スペクトル信号から雑音スペクトルを推定する方法では、音声入力とは無関係に発生する機構音を雑音として除去することはできない。

また、前記特許文献２のように、参照入力部を新たに設ける構成では、その分のコストが上がり、また参照入力部用の実装スペースが必要となるために、カメラ機器の外形寸法に影響を及ぼすなどの問題がある。

本発明は前記のような点に鑑みなされたもので、撮影中に入力された音声信号に含まれる機構音を雑音として適切に除去して記録することのできる撮像装置、音声記録方法及びプログラムを提供することを目的とする。

本発明の請求項１に係る撮像装置は、音声付き動画撮影を行う場合に、入力音声信号から撮影動作に伴って発生する機構音を雑音として除去して記録する音声記録機能を備えた撮像装置であって、前記入力音声信号をスペクトル信号に変換する変換手段と、予め前記機構音をスペクトル化して得られた機構音スペクトル信号を記憶した記憶手段と、撮影中に前記機構音の発生タイミングに基づいて、前記変換手段によって得られた入力音声スペクトル信号から前記記憶手段に記憶された機構音スペクトル信号に所定の係数を乗じた信号を減算することで雑音成分を除去する雑音除去手段と、この雑音除去手段によって得られた雑音除去後の音声スペクトル信号を元の音声信号に逆変換する逆変換手段と、この逆変換手段によって得られた音声信号を撮影画像と共に記録する記録手段とを具備したことを特徴とする。

このような構成によれば、予め撮影動作に伴って発生する機構音をスペクトル化した信号を記憶手段に記憶しておき、撮影中にその機構音の発生タイミングに基づいて、入力音声スペクトル信号から前記記憶手段に記憶された機構音スペクトル信号に所定の係数を乗じた信号を減算することで雑音成分を除去することで、撮影中に入力された音声信号に含まれる機構音を雑音として適切に除去して記録することができる。

また、本発明の請求項２は、前記請求項１記載の撮像装置において、前記変換手段によって得られた入力音声スペクトル信号と前記雑音除去手段によって得られた雑音除去後の音声スペクトル信号とを混合し、そのときの混合比を前記機構音の発生期間に応じて徐々に変える混合手段を備え、前記逆変換手段は、この混合手段によって混合処理された音声スペクトル信号を元の音声信号に逆変換することを特徴とする。

このような構成によれば、入力音声スペクトル信号と雑音除去後の音声スペクトル信号との混合比を機構音の発生期間に応じて徐々に変えることで、撮影時に入力音声に入り込む機構音を雑音としてより適切に除去することができると共に、スペクトルの急激な変化に依存する音質変化を防ぐことができる。

また、本発明の請求項３は、前記請求項２記載の撮像装置において、前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、前記混合手段は、前記雑音除去後の音声スペクトル信号の比率を前記モータの駆動開始時に最低値から徐々に上げて所定時間後に最高値とすると共に、前記モータの駆動停止時に最高値から徐々に下げて所定時間後に最低値とするように混合比を変えることを特徴とする。

このような構成によれば、前記機構音として、撮影動作に関連した特定のモータの駆動音を含む場合において、前記雑音除去後の音声スペクトル信号の比率を前記モータの駆動開始時に最低値から徐々に上げて所定時間後に最高値とすると共に、前記モータの駆動停止時に最高値から徐々に下げて所定時間後に最低値とするように混合比を変えるようにしたことで、撮影時に入力音声から当該モータ音を雑音として適切に除去することができる。

また、本発明の請求項４は、前記請求項１記載の撮像装置において、前記機構音スペクトル信号に乗じる係数の値を前記機構音の発生期間に応じて徐々に変える係数可変手段を備えことを特徴とする。

このような構成によれば、機構音スペクトル信号に乗じる係数の値を機構音の発生期間に応じて徐々に変えることで、撮影時に入力音声に入り込む機構音を雑音としてより適切に除去することができると共に、スペクトルの急激な変化に依存する音質変化を防ぐことができる。

また、本発明の請求項５は、前記請求項４記載の撮像装置において、前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、前記係数可変手段は、前記機構音スペクトル信号に乗じる係数を前記モータの駆動開始時に最低値から徐々に上げて所定時間後に最高値とすると共に、前記モータの駆動停止時に最高値から徐々に下げて所定時間後に最低値とするように変えることを特徴とする。

このような構成によれば、前記機構音として、撮影動作に関連した特定のモータの駆動音を含む場合において、前記機構音スペクトル信号に乗じる係数を前記モータの駆動開始時に最低値から徐々に上げて所定時間後に最高値とすると共に、前記モータの駆動停止時に最高値から徐々に下げて所定時間後に最低値とするように変えるようにしたことで、撮影時に入力音声から当該モータ音を雑音として適切に除去することができる。

また、本発明の請求項６は、前記請求項１記載の撮像装置において、前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、前記記憶手段は、前記モータの駆動開始から停止までの各期間に応じて設定された複数のレベルの異なる機構音スペクトル信号を記憶し、前記雑音除去手段は、前記モータの各期間に基づいて前記記憶手段に記憶された各機構音スペクトル信号を選択的に使用して雑音除去処理を行うことを特徴とする。

このような構成によれば、前記機構音として、撮影動作に関連した特定のモータの駆動音を含む場合において、前記記憶手段に前記モータの駆動開始から停止までの各期間に応じて設定された複数のレベルの異なる機構音スペクトル信号を記憶しておき、前記モータの各期間に基づいて前記記憶手段に記憶された各機構音スペクトル信号を選択的に使用して雑音除去処理を行うようにしたことで、撮影時に入力音声から当該モータ音を雑音としてより適切に除去することができる。

また、本発明の請求項７は、前記請求項１記載の撮像装置において、前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、前記記憶手段は、前記モータの回転数に応じて設定された複数のレベルの異なる機構音スペクトル信号を記憶し、前記雑音除去手段は、前記モータの回転数に基づいて前記記憶手段に記憶された各機構音スペクトル信号を選択的に使用して雑音除去処理を行うことを特徴とする。

このような構成によれば、前記機構音として、撮影動作に関連した特定のモータの駆動音を含む場合において、前記記憶手段に前記モータの回転数に応じて設定された複数のレベルの異なる機構音スペクトル信号を記憶しておき、前記モータの回転数に基づいて前記記憶手段に記憶された各機構音スペクトル信号を選択的に使用して雑音除去処理を行うようにしたことで、撮影時に入力音声から当該モータ音を雑音としてより適切に除去することができる。

また、本発明の請求項８は、前記請求項３乃至７のいずれか１つに記載の撮像装置において、前記特定のモータとは、ズーム倍率調整用のモータまたはフォーカス調整用のモータのであることを特徴とする。

このような構成によれば、撮影中にズーム倍率調整用のモータまたはフォーカス調整用のモータが駆動された場合に、そのモータ音を入力音声から適切に除去して記録することができる。

本発明の請求項９に係る音声記録方法は、音声付き動画撮影を行う場合に、入力音声信号から撮影動作に伴って発生する機構音を雑音として除去して記録する音声記録方法であって、前記入力音声信号をスペクトル信号に変換するステップと、撮影中に前記機構音の発生タイミングに基づいて、前記スペクトル変換によって得られた入力音声スペクトル信号から、予め前記機構音をスペクトル化して得られた機構音スペクトル信号に所定の係数を乗じた信号を減算することで雑音成分を除去するステップと、この雑音除去後の音声スペクトル信号を元の音声信号に逆変換するステップと、この逆変換によって得られた音声信号を撮影画像と共に所定のメモリに記録するステップとを備えたことを特徴とする。

このような音声記録方法によれば、前記各ステップに従った処理を実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明の請求項１０に係るプログラムは、音声付き動画撮影を行う場合に、入力音声信号から撮影動作に伴って発生する機構音を雑音として除去して記録する機能を備えたコンピュータによって実行されるプログラムであって、前記コンピュータに、前記入力音声信号をスペクトル信号に変換する機能と、撮影中に前記機構音の発生タイミングに基づいて、前記スペクトル変換によって得られた入力音声スペクトル信号から、予め前記機構音をスペクトル化して得られた機構音スペクトル信号に所定の係数を乗じた信号を減算することで雑音成分を除去する機能と、この雑音除去後の音声スペクトル信号を元の音声信号に逆変換する機能と、この逆変換によって得られた音声信号を撮影画像と共に所定のメモリに記録する機能とを実現させることを特徴とする。

したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明によれば、音声付き動画撮影を行う場合において、その撮影中に撮影動作に伴って発生する機構音の発生タイミングに基づいて雑音除去処理を行うようにしたことで、撮影中に入力された音声信号に含まれる機構音を雑音として適切に除去して記録することができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１は本発明の撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。

このデジタルカメラ１は、略矩形の薄板状ボディ２の前面に、撮影レンズ３、セルフタイマランプ４、光学ファインダ窓５、ストロボ発光部６、マイクロホン部７などを有し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９などが設けられている。

電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影時に撮影タイミングを指示するキーである。

また、デジタルカメラ１の背面には、撮影モード（Ｒ）キー１０、再生モード（Ｐ）キー１１、光学ファインダ１２、スピーカ部１３、マクロキー１４、ストロボキー１５、メニュー（ＭＥＮＵ）キー１６、リングキー１７、セット（ＳＥＴ）キー１８、表示部１９などが設けられている。

撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードであり、特に本実施形態では音声付き動画撮影が可能であるとする。

前記シャッタキー９は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー９が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー９が押下されたときのタイミングで動画の撮影が開始され、シャッタキー９が再度押下されたときにその動画の撮影が終了する。

再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。

マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切換える際に操作する。メニューキー１６は、各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。

表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。

また、このデジタルカメラ１には、光学ズーム機能が備えられており、ズームキー２０ａ，２０ｂの操作により焦点距離を物理的に変化させて画像の拡大率を変更することができる。ズームキー２０ａ，２０ｂのうち、一方のズームキー２０ａはテレ端用であり、望遠側へズーム倍率を変更する場合に用いられる。他方のズームキー２０ｂはワイド端用であり、広角側へズーム倍率を変更する場合に用いられる。

なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等が設けられている。

図２はデジタルカメラ１の電子回路構成を示すブロック図である。

このデジタルカメラ１には、前記撮影レンズ３を構成する図示せぬフォーカスレンズおよびズームレンズなどを含むレンズ光学系２２が光軸方向に所定の範囲内で移動可能に設けられている。このレンズ光学系２２は、モータ駆動部２１ａによって回転駆動されるモータ２１により移動する。

なお、前記モータ２１として、ズーム倍率調整用のモータ（ズームモータ）、フォーカス調整用のモータ（フォーカスモータ）などの複数の異なるモータを含み、それぞれに対応したモータ駆動部２１ａが設けられているものとする。

このモータ２１の光軸後方に撮像素子であるＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）２３が配設されている。このＣＣＤ２３は、撮影レンズ３を通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。

基本モードである記録モード時において、ＣＣＤ２３がタイミング発生器（ＴＧ）２４、ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。このＣＣＤ２３の光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換される。

そして、画像処理回路２８において、画素補間処理及びγ補正処理を含む画像処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｕ，Ｖ（Ｃｂ，Ｃｒ）が生成され、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、画像処理回路２８の出力する輝度信号Ｙ及び色差信号Ｕ，Ｖを、同じく画像処理回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書き込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。

制御部３２は、デジタルカメラ１全体の制御を行うものであり、ＣＰＵと、このＣＰＵで実行される動作プログラムを記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭなどを含むマイクロコンピュータにより構成される。この制御部３２は、前記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読み出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書き込む。

デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部１９に出力する。

この表示部１９は、上述した如く撮影時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。

このように、表示部１９にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー９を押下操作すると、トリガ信号が発生する。

制御部３２は、このトリガ信号に応じて、その時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部３２がＤＲＡＭ３１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路３７に書き込み、このＪＰＥＧ回路３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。

そして得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路３７から読み出して記録用のメモリ３８に書き込む。このメモリ３８としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。１フレーム分の輝度及び色差信号の圧縮処理及びメモリ３８への全圧縮データの書込み終了に伴って、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。

制御部３２には、さらに音声処理部３９、ＵＳＢインタフェース（Ｉ／Ｆ）４０、ストロボ駆動部４１が接続される。

音声処理部３９は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（ＭＰＥＧ−１ ａｕｄｉｏ ｌａｙｅｒ ３）規格に従ってデータ圧縮して音声データファイルを作成してメモリ３８へ送出する一方、音声の再生時にはメモリ３８から読み出された音声データファイルの圧縮を解いてアナログ化し、上述したデジタルカメラ１の背面側に設けられるスピーカ部（ＳＰ）１３を通じて出力する。

ＵＳＢインタフェース４０は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データ、その他の送受を行う場合の通信制御を行う。ストロボ駆動部４１は、撮影時に図示せぬストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいてストロボ発光部６を閃光駆動する。

なお、前記キー入力部３６は、上述したシャッタキー９の他に、電源キー８、撮影モードキー１０、再生モードキー１１、マクロキー１４、ストロボキー１５、メニューキー１６、リングキー１７、セットキー１８、ズームキー２０ａ，２０ｂなどから構成され、それらのキー操作に伴う信号は直接制御部３２へ送出される。

また、静止画像ではなく動画像の撮影時においては、シャッタキー９が押下操作されたときに、上述したＪＰＥＧ回路３７によりｍｏｔｉｏｎ−ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの手法により撮影動画をデータ圧縮してメモリ３８へ記録する。この場合、音声付き動画撮影であれば、その撮影中にマイクロホン部（ＭＩＣ）７より入力された音声信号が動画データと共に前記メモリ３８に記録されることになる。再度シャッタキー９が操作されると、動画データの記録を終了する。

一方、基本モードである再生モード時には、制御部３２がメモリ３８に記録されている画像データを選択的に読み出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長する。そして、この伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読み出してビデオ信号を発生し、表示部１９で再生出力させる。

選択した画像データが静止画像ではなく動画像であった場合には、その動画データを構成する複数フレームの静止画データを時系列の順で順次再生して表示し、すべての静止画データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画データを表示するなどを行う。その際、当該動画データに音声データが含まれていれば、その音声データがスピーカ部（ＳＰ）１３を通じて出力されることになる。

次に、このデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置について説明する。

図３は本発明の第１の実施形態に係るデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。

この音声記録装置は、主としてデジタルカメラ１の音声付き動画撮影に用いられるものであり、その撮影中に音声信号に混入するズーム音やフォーカス音などの機構音を雑音として除去する機能を備えている。

第１の実施形態において、この音声記録装置は、モータ２１、モータ駆動部２１ａ、制御部３２、キー入力部３６、音声入力部５１、フレーム分割部５２、フーリエ変換部５３、モータ音スペクトル記憶部５４、サブトラクト部５５、スペクトル切り替え部５６、逆フーリエ変換部５７、波形合成部５８を備える。なお、前記各構成部のうち、５１〜５８の部分は図２に示したデジタルカメラ１の音声処理部３９に含まれる。

モータ２１はズームレンズなどのレンズ光学系２２を光軸方向に移動させるためのモータであり、モータ駆動部２１ａはそのモータ２１を回転駆動させるための駆動機構である。

制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂなどの操作信号を受けてモータ駆動制御信号をモータ駆動部２１ａに出力すると共に、ここでは、音声付き動画撮影中にモータ２１の駆動タイミングに基づいてスペクトル切り換え部５６を制御する機能を備える。

一方、音声入力部５１は、図１に示すマイクロホン部７を通じて入力される音声信号Ｓａを所定のゲインで増幅してフレーム分割部５２に与える。この場合、音声付き動画撮影中に例えばズーム操作が行われると、そのズーム操作に伴って発生するモータ音（ズーム音）が音声入力部５１を通じて音声信号Ｓａと共に入り込むことになる。

フレーム分割部５２は、この音声入力部５１によって入力された音声信号Ｓａを所定時間分のフレーム単位で分割する。フーリエ変換部５３は、このフレーム分割部５２によってフレーム単位で分割された音声信号Ｓａをフーリエ変換し、周波数毎のパワーを示した入力音声スペクトル信号Ｓｂに変換する。

モータ音スペクトル記憶部５４には、予め雑音除去対象となるモータ音をスペクトル化したモータ音スペクトル信号Ｓｃが雑音スペクトルとして記憶されている。サブトラクト部５５は、フーリエ変換部５３によって得られた入力音声スペクトル信号Ｓｂとモータ音スペクトル記憶部５４に記憶されたモータ音スペクトル信号Ｓｃに基づいて、ＳＳ（ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｉｏｎ）法による雑音除去処理を行う。

詳しくは、入力音声スペクトル信号Ｓｂから雑音スペクトルとして予め記憶されたモータ音スペクトル信号Ｓｃに所定のサブトラクト係数αを乗じた信号を減算することで、入力音声に含まれる雑音成分を除去する処理を行う。このサブトラクト部５５による雑音除去後の音声スペクトル信号をＳｄとする。スペクトル切り替え部５６は、フーリエ変換部５３によって得られた入力音声スペクトル信号Ｓｂと、このサブトラクト部５５によって得られる雑音除去後の音声スペクトル信号Ｓｄを制御部３２から出力される選択信号によって切り替えて逆フーリエ変換部５７に与える。

逆フーリエ変換部５７は、スペクトル切り替え部５６を通じて入力された入力音声スペクトル信号Ｓｂまたは雑音除去後の音声スペクトル信号Ｓｄを逆フーリエ変換して元のフレーム単位毎の音声信号Ｓｅに戻す。

波形合成部５８は、この逆フーリエ変換部５７によって得られるフレーム単位毎の音声信号Ｓｅを合成することで時系的に連続した音声信号Ｓｆに復元する。この音声信号Ｓｆは、最終的な記録用の音声信号として用いられ、デジタルカメラ１の撮像系から得られる動画データと共に図２に示したメモリ３８に記録される。

次に、第１の実施形態の動作について説明する。

今、音声付き動画撮影を行っている最中に、例えばユーザがキー入力部３６に含まれるズームキー２０ａ，２０ｂを操作したとする。

デジタルカメラ全体の動作を制御する制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂのズーム操作信号を入力すると、モータ駆動部２１ａに対して駆動開始信号を送る。モータ駆動部２１ａは、この駆動開始信号を受けてモータ２１を回転駆動する。このモータ２１の回転に伴い、図２のレンズ光学系２２に含まれる図示せぬズームレンズが光軸上に移動してズーム倍率が変化する。

また、ユーザがズーム操作を終了すると、制御部３２はモータ駆動部２１ａに対して駆動停止信号を送る。これにより、モータ２１の回転駆動が停止し、ズーム動作が終了する。

ここで、音声付き動画の撮影中は常にマイクロホン部７による音声入力機能がＯＮ状態にある。このため、前記ズーム操作に伴って発生するモータ音が入力音声の中に雑音として混入する問題がある。このようなモータ音を音声信号から除去して記録するべく、以下のような処理が行われる。

すなわち、まず、雑音除去対象となるモータ音（機構音）のスペクトル信号を事前に採取しておき、モータ音スペクトル記憶部５４に記憶しておく。以下では、ズーム操作時に発生するモータ音つまりズーム音を雑音除去対象として説明する。

ズーム音の採取方法は、無音状態でズーム操作を行い、そのときに発生するズーム音のみを音声入力部５１に入力することで行う。この入力したズーム音をデジタル信号に変換した後、フレーム分割部５２により数１０ｍｓ程度のフレーム区間に切り出し、フーリエ変換部５３によりスペクトル信号に変換する。これをモータ駆動期間（ズームモータの駆動開始から駆動停止までの期間）について行い、その間にフレーム単位で順次得られるスペクトル信号の平均値をモータ音スペクトル信号Ｓｃとしてモータ音スペクトル記憶部５４に記憶しておく。

ここで、ズーム操作が行われていない状態では、制御部３２はフーリエ変換部５３から得られる入力音声スペクトル信号Ｓｂを選択するようにスペクトル切り替え部５６を切り替え制御する。これにより、逆フーリエ変換部５７および波形合成部５８を通じて入力音声信号がそのまま出力されることになる。

一方、制御部３２はキー入力部３６からのズーム操作信号に基づいてズーム操作が開始されたことを判断すると、モータ２１（ここではズームモータ）の駆動開始と同時にサブトラクト部５５から得られる音声スペクトル信号Ｓｄを選択するようにスペクトル切り替え部５６を切り替え制御する。

上述したように、ズーム操作を行っているとき、音声入力部５１には音声信号に加えて、そのときに発生するモータ音が雑音として入力されている。このため、フーリエ変換部５３からは入力音声のスペクトルとモータ音のスペクトルが混合した入力音声スペクトル信号Ｓｂが出力される。

サブトラクト部５５では、このモータ音を含んだ入力音声スペクトル信号Ｓｂと、前記モータ音スペクトル記憶部５４に予め記憶されたモータ音スペクトル信号Ｓｃとに基づいてＳＳ法による雑音除去処理を行う。

この雑音除去処理について、図４を参照して詳しく説明する。

図４はＳＳ法（スペクトルサブトラクション法）を用いた雑音除去処理を説明するための図である。図４（ａ）は入力音声の波形データ、同図（ｂ）はこの入力音声をフレーム単位でフーリエ変換して得られた音声スペクトル信号である。また、同図（ｃ）は雑音除去対象となるモータ音のスペクトル信号（雑音スペクトル）、同図（ｄ）はそのモータ音スペクトル信号に所定のサブトラクト係数αを乗じた信号である。同図（ｅ）は音声スペクトル信号から係数乗算後のモータ音スペクトル信号を減算して得られるスペクトル信号つまり雑音除去後の音声スペクトル信号である。同図（ｆ）はその雑音除去後の音声スペクトル信号を逆フーリエ変換して得られた音声信号、同図（ｇ）はフレーム単位で分割された音声信号を時系列に合成して元の音声波形に戻した状態を示している。

今、図４（ａ）に示すような波形を有する音声信号Ｓａが音声入力部５１に入力されたとする。この音声信号Ｓａには、例えばズーム操作に伴って発生するモータ音つまりズーム音が雑音として混入されている。

まず、フレーム分割部５２において、例えば１０ｍｓ程度のフレーム区間で音声信号Ｓａを切り出し、同図（ｂ）に示すように、フーリエ変換部５３にて周波数毎のパワーを表した入力音声スペクトル信号Ｓｂを生成する。

ここで、同図（ｃ）に示すように、モータ音スペクトル記憶部５４には予めモータ音スペクトル信号Ｓｃが雑音スペクトルとして記憶されている。そこで、同図（ｃ）〜（ｅ）に示すように、サブトラクト部５５において、入力音声スペクトル信号Ｓｂからモータ音スペクトル信号Ｓｃに所定のサブトラクト係数αを乗じた信号を減算することにより、雑音除去後の音声スペクトル信号Ｓｄを得る。

なお、前記サブトラクト係数αは、モータ音スペクトル記憶部５４に記憶されたモータ音スペクトル信号Ｓｃのレベルに応じて予め決められており、通常、“１”以上の値である。

制御部３２では、ズーム操作が行われている間、つまり、ズームモータであるモータ２１の駆動期間中（モータ駆動開始〜駆動停止までの期間）において、前記サブトラクト部５５から得られる雑音除去後の音声スペクトル信号Ｓｄを選択するようにスペクトル切り替え部５６を制御する。

図４（ｆ）に示すように、この雑音除去後の音声スペクトル信号Ｓｄは逆フーリエ変換部５７にて逆フーリエ変換される。そして、同図（ｇ）に示すように、波形合成部５８にて各フレーム毎の音声信号Ｓｅが時系列に合成処理されて、元のアナログ波形信号である音声信号Ｓｆに復元される。この音声信号Ｓｆは、雑音除去後の音声信号として動画撮影中に画像データと共にメモリ３８に記録される。

なお、前記のような雑音除去処理において、実際にはフレーム分割部５２にて音声信号Ｓａをフレーム分割してフーリエ変換する前に、音声信号Ｓａに「ハニング窓」等の窓関数をかけておく。また、後段の波形合成部５８で逆フーリエ変換後の音声信号Ｓｅをフレーム毎に合成処理する際にフレーム境界で不連続な波形になるのを防止するために、フレーム毎の音声信号Ｓｅを多少オーバーラップして合成していく。

例えば、フレーム長が２５６サンプルとして分析ポイントを１２８サンプルずつシフトしていく。この場合のハニング窓は式（１）のように表せる。

ｗ（ｎ）＝０．５−ｃｏｓ｛２＊ＰＩ＊ｎ／（Ｌ−１）｝ …（１）
Ｌ：１フレームのサンプル数
ｎ＝０，１，…，Ｌ−１
このように、各信号を１／２フレームずらして重ね合わせると、振幅が一定で不連続点のない音声波形を得ることができる。

以上のように、本発明の第１の実施形態によれば、予め雑音除去対象となるモータ音のスペクトル信号Ｓｃをモータ音スペクトル記憶部５４に記憶しておき、そのモータ音スペクトル信号Ｓｃを用いて雑音除去処理（サブトラクト処理）を行うようにしたことで、音声付き動画撮影を行う場合において、その撮影中に音声入力とは関係なく入り込むモータ音を当該音声信号から雑音として適切に除去して撮影画像と共に高品質に記録することができる。

また、この雑音除去処理はモータ２１の駆動期間中のみ実施される。したがって、モータ２１が非駆動状態のときに雑音スペクトルの引き過ぎにより音声信号の品質を下げてしまうこともない。

さらに、モータ音スペクトル信号Ｓｃを記憶しておくためのモータ音スペクトル記憶部５４は、カメラ機器に予め備えられている記憶装置を利用することができるため、新たな部品の追加なしに実現でき、また、カメラ機器の外形寸法が変更されることもない。

図５は第１の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。なお、このフローチャートで示される処理は、コンピュータである制御部３２によって読取り可能なプログラムの形態でＲＯＭ等の記録媒体に予め記録されているものとする。

制御部３２は、まず、初期設定として、時刻ｔ＝０（ｍｓ）、Δｔ＝２０（ｍｓ）とする（ステップＡ１１）。なお、Δｔはフレーム切出し間隔を示し、その値は２０（ｍｓ）に限らず、任意に設定可能である。

制御部３２は、例えばシャッタキー９の操作により動画撮影の終了が明示的に指示されるまでの間、時刻ｔからｔ＋Δｔの間隔で以下のような処理を繰り返し実行する（ステップＡ１２〜Ａ２５）。

すなわち、まず、制御部３２は、時刻ｔからｔ＋Δｔまでの間に入力された音声波形データをフレームデータとして切り出し（ステップＡ１２）、これをフーリエ変換処理して周波数毎のパワーを表したスペクトルデータを生成する（ステップＡ１３）。

次に、制御部３２は、予め図示せぬＲＡＭ等のメモリに記憶されたモータ音スペクトルデータを読み出し、そのモータ音スペクトルデータに対して所定の係数値を乗算した後（ステップＡ１４）、前記ステップＡ１３で得られた音声波形のスペクトルデータから前記係数乗算後のモータ音スペクトルデータを減算したデータを生成する（ステップＡ１５）。

ここで、制御部３２は、ズーム操作中であるか否かを判断する（ステップＡ１６）。これは、キー入力部３６に含まれるズームキー２０ａ，２０ｂの操作によって入力されるズーム操作信号によって判断される。

ズーム操作中であれば（ステップＡ１６のＹｅｓ）、制御部３２は、前記ズーム操作信号に基づいてズーム用のモータ２１をズーム指示方向へ駆動する（ステップＡ１７）。その際、制御部３２は、前記ステップＡ１５で生成された音声スペクトルデータを選択する（ステップＡ１８）。そして、この選択した音声スペクトルデータを逆フリー変換処理して元の音声波形データに戻し（ステップＡ２１）、これを前の音声波形データと連続するようにフレーム単位で合成しながら（ステップＡ２２）、撮影画像（動画データ）と同期させてメモリ３８に記録していく（ステップＡ２３）。

一方、ズーム操作中でなければ（ステップＡ１６のＮｏ）、制御部３２は、ズーム用のモータ２１を停止状態として（ステップＡ１９）、その間には前記ステップＡ１３で得られた音声スペクトルデータ（サブトラクト処理されていない音声スペクトルデータ）を選択する（ステップＡ２０）。そして、この音声スペクトルデータを逆変換処理および合成処理しながら（ステップＡ２１，Ａ２２）、撮影画像（動画データ）と同期させてメモリ３８に記録していく（ステップＡ２３）。

以降、動画撮影が終了するまで、Δｔの間隔で前記同様の処理を繰り返して、音声データを撮影画像と共に連続して記録していく（ステップＡ２４，Ａ２５）。

このように、本装置をソフトウェア的に実現した場合であっても前記図３に示した構成と同様の効果が得られる。

図６は前記第１の実施形態の変形例としての構成を示すブロック図である。

前記図３に示した構成では、スペクトル切り替え部５６によって入力音声スペクトル信号Ｓｂと雑音除去後の音声スペクトル信号Ｓｄをモータ駆動タイミングに基づいて選択的に入力するようにしたが、図６に示すように、モータ音スペクトル信号Ｓｃに乗じるサブトラクト係数αを“０”か“１”に切り替えるような構成であっても良い。

すなわち、モータ音スペクトル記憶部５４の出力先に、係数乗算用の乗算器５９を設けておく。制御部３２は、この乗算器５９によってモータ音スペクトル信号Ｓｃに乗じるサブトラクト係数αを通常時（モータ非駆動時）は“０”とし、モータ駆動時は“１”とするように制御する。

これにより、サブトラクト係数α＝０のときには、フーリエ変換部５３から出力される入力音声スペクトル信号Ｓｂのみがサブトラクト部５５に与えられ、また、サブトラクト係数α＝１のときには、フーリエ変換部５３から出力される入力音声スペクトル信号Ｓｂと乗算器５９で係数乗算後のモータ音スペクトル信号Ｓｃの両方がサブトラクト部５５に与えられることになる。

このような構成によれば、前記図３のスペクトル切り替え部５６を使用した場合と同様に、モータ駆動期間ではサブトラクト処理を施した音声信号を入力信号として得ることができ、これを雑音除去後の音声信号として撮影画像と同期させてメモリ３８に記録することができる。

なお、この図６の構成についても、前記同様に制御部３２がプログラムに従って一連の処理を行うことで、ソフトウェア的に実現することが可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

図７は本発明の第２の実施形態に係るデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。なお、図３（第１の実施形態）の構成と同じ部分には同一符号を付して、その説明は省略するものとする。

図７において、図３の構成と異なる点は、スペクトル切り替え部５６に代わってスペクトル混合部６０が設けられ、また、このスペクトル混合部６０の混合比ｋを発生する混合比発生部６１が設けられていることである。

スペクトル混合部６０は、フーリエ変換部５３から得られる入力音声スペクトル信号Ｓｂと、サブトラクト部５５によって予めモータ音スペクトル記憶部５４に記憶されたモータ音スペクトル信号Ｓｃによって雑音除去された音声スペクトル信号Ｓｄとを混合比ｋに従って混合処理する。

混合比発生部６１は、雑音除去後の音声スペクトル信号Ｓｄを基準にした混合比ｋを発生してスペクトル混合部６０に出力する。つまり、雑音除去後の音声スペクトル信号Ｓｄを“ｋ”、入力音声スペクトル信号Ｓｂを“ｋ−１”として両信号を混合する。

この混合比ｋは０〜１の値を有する。ｋ＝０（最低値）のとき、スペクトル混合部６０は入力音声スペクトル信号Ｓｂのみを入力信号として逆フーリエ変換部５７に与える。一方、ｋ＝１（最高値）のときには、スペクトル混合部６０は雑音除去後の音声スペクトル信号Ｓｄのみを入力信号として逆フーリエ変換部５７に与える。また、ｋ＝０，１以外のとき、スペクトル混合部６０はそのときのｋの値に応じて入力音声スペクトル信号Ｓｂと音声スペクトル信号Ｓｄを混合した信号を入力信号として逆フーリエ変換部５７に与える。

図８は第２の実施形態における混合比ｋの時間的変化を示す図である。

モータ２１が駆動されていないとき、混合比ｋ＝０である。そして、モータ２１の駆動が開始されると、ｋの値は徐々に増加し、モータ駆動開始からｔ１時間後にｋ＝１となる。この時間ｔ１はモータ２１の回転数が徐々に増加して定常状態に達するまでの時間と一致させることが考えられるが、必ずしもそうでなくても良い。

また、モータ駆動が停止されると、ｋの値は“１”から徐々に減少してｔ２時間後にｋ＝０となる。この時間ｔ２はモータ駆動が停止されて、実際にモータ２１の回転が停止するまでの時間に一致させる。

次に、第２の実施形態の動作について説明する。

音声付き動画撮影を行っている最中に、例えばユーザがキー入力部３６に含まれるズームキー２０ａ，２０ｂを操作したとする。

デジタルカメラ全体の動作を制御する制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂのズーム操作信号を入力すると、モータ駆動部２１ａに対して駆動開始信号を送る。モータ駆動部２１ａは、この駆動開始信号を受けてモータ２１を回転駆動する。このモータ２１の回転に伴い、図２のレンズ光学系２２に含まれる図示せぬズームレンズが光軸上に移動してズーム動作が開始され、撮影画像が拡大または縮小されてメモリ３８に記録される。

また、ユーザがズーム操作を終了すると、制御部３２はモータ駆動部２１ａに対して駆動終了信号を送る。これにより、モータ２１の回転駆動が停止し、ズーム動作が終了する。

ここで、音声付きの動画撮影中は常にマイクロホン部７による音声入力機能がＯＮ状態にある。このため、前記ズーム操作に伴って発生するモータ音つまりズーム音が入力音声の中に雑音として混入する問題がある。このようなモータ音を音声信号から除去して記録するべく、以下のような処理が行われる。

すなわち、制御部３２は、図８に示すようにモータ２１の駆動開始時には混合比ｋ＝０とし、それから徐々に雑音除去後の音声スペクトル信号Ｓｄの比率を上げていくように混合比発生部６１を制御する。モータ駆動開始時点での混合比ｋを“０”としておくのは、まだモータ２１が回転し始めたばかりであり、実際には雑音として音声信号Ｓａに混入されていないからである。混合比ｋ＝０のときに、スペクトル混合部６０によって入力音声スペクトル信号Ｓｂのみが逆フーリエ変換部５７に与えられる。

混合比ｋが“０”より大きくなると、スペクトル切り替え部５６において、そのときの混合比ｋの値に応じて雑音除去後の音声スペクトル信号Ｓｄが多く混合されることになり、その混合スペクトル信号が逆フーリエ変換部５７に与えられる。モータ駆動開始からｔ１経過した時点で混合比ｋ＝１となり、以後は雑音除去後の音声スペクトル信号Ｓｄのみが逆フーリエ変換部５７に与えられる。つまり、モータ音スペクトル記憶部５４に記憶されたモータ音スペクトル信号Ｓｃを用いて雑音除去された音声スペクトル信号Ｓｄのみが逆フーリエ変換部５７に与えられる。

一方、ズーム操作の終了により、モータ２１の駆動が停止されると、制御部３２は、混合比ｋ＝１から徐々に雑音除去後の音声スペクトル信号Ｓｄの比率を下げていき、ｔ２経過後にｋ＝０となるように混合比発生部６１を制御する。これにより、スペクトル混合部６０において、再び入力音声スペクトル信号Ｓｂと雑音除去後の音声スペクトル信号Ｓｄとが混合され、その混合スペクトル信号が逆フーリエ変換部５７に与えられる。そして、モータ２１の回転が停止した時点で、入力音声スペクトル信号Ｓｂのみが逆フーリエ変換部５７に与えられることになる。

逆フーリエ変換部５７に与えられた音声スペクトル信号は、逆フーリエ変換部５７および波形合成部５８を通じて元の音声信号に戻され、撮影画像と共にメモリ３８に記録される。

このように、本発明の第２の実施形態によれば、入力音声スペクトル信号Ｓｂと雑音除去後の音声スペクトル信号Ｓｄをデジタル的に“１”か“０”かで切り替えるのではなく、モータ２１の駆動期間に応じて入力音声スペクトル信号Ｓｂと雑音除去後の音声スペクトル信号Ｓｄの混合比ｋを変えるようにしたことで、撮影時に入力音声に入り込むモータ音を雑音としてより適切に除去することができる。

また、モータ駆動に合わせて混合比ｋを徐々に変えるようにしたことにより、スペクトルの急激な変化に依存する音質変化を防ぐことができるといった効果もある。

図９および図１０は第２の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。なお、このフローチャートで示される処理は、コンピュータである制御部３２によって読取り可能なプログラムの形態でＲＯＭ等の記録媒体に予め記録されているものとする。

制御部３２は、まず、初期設定として、時刻ｔ＝０（ｍｓ）、Δｔ＝２０（ｍｓ）、ｔ１ｍ＝０（ｍｓ）、ｔ２ｍ＝０（ｍｓ）、ｔ１＝２００（ｍｓ）、ｔ２＝１５０（ｍｓ）とする（ステップＡ１１）。

なお、Δｔはフレーム切出し間隔を示し、その値は２０（ｍｓ）に限らず、任意に設定可能である。ｔ１ｍとｔ２ｍは、図８に示すようにモータ駆動開始時刻とモータ駆動停止時刻を示す。また、ｔ１はモータ駆動開始から混合比ｋ＝１とするまでの時間、ｔ１はモータ駆動停止から混合比ｋ＝０とするまでの時間を示す。

制御部３２は、例えばシャッタキー９の操作により動画撮影の終了が明示的に指示されるまでの間、時刻ｔからｔ＋Δｔの間隔で、以下のような処理を繰り返し実行する（ステップＢ１２〜Ｂ３２）。

すなわち、まず、制御部３２は、時刻ｔからｔ＋Δｔまでの間に入力された音声波形データをフレームデータとして切り出し（ステップＢ１２）、これをフーリエ変換処理して周波数毎のパワーを表したスペクトルデータを生成する（ステップＢ１３）。

次に、制御部３２は、予め図示せぬＲＡＭ等のメモリに記憶されたモータ音スペクトルデータを読み出し、そのモータ音スペクトルデータに対して所定の係数値を乗算した後（ステップＢ１４）、前記ステップＢ１３で得られた音声波形のスペクトルデータから前記係数乗算後のモータ音スペクトルデータを減算したデータを生成する（ステップＢ１５）。

ここで、制御部３２は、ズーム操作中であるか否かを判断する（ステップＢ１６）。これは、キー入力部３６に含まれるズームキー２０ａ，２０ｂの操作によって入力されるズーム操作信号によって判断される。

ズーム操作中であれば（ステップＢ１６のＹｅｓ）、制御部３２は、ｔ２ｍ＝０とした後（ステップＢ１７）、モータ駆動開始時にｔ１ｍをΔｔずつ更新し、その値がｔ１に達するまでの間、以下のような式（２）により混合比ｋを算出する（ステップＢ１８〜Ｂ２０）
ｋ＝ｔ１ｍ／ｔ１ …（２）
このようにして、モータ駆動開始時に用いる混合比ｋを算出した後、制御部３２は、前記ズーム操作信号に基づいてズーム用のモータ２１をズーム指示方向へ駆動する（ステップＢ２１）。その間、制御部３２は、前記ステップＢ２１で算出した混合比ｋに従って、前記ステップＢ１３で得られた音声波形のスペクトルデータと前記ステップＢ１５で得られた音声スペクトルデータ（モータ音スペクトルデータを用いて雑音除去した音声スペクトルデータ）を混合する（ステップＢ２７）。そして、この混合スペクトルデータを逆フリー変換処理して元の音声波形データに戻し（ステップＢ２８）、これを前の音声波形データと連続するようにフレーム単位で合成しながら（ステップＢ２９）、撮影画像（動画データ）と同期させてメモリ３８に記録していく（ステップＢ３０）。

一方、ズーム操作中なければ（ステップＢ１６のＮｏ）、制御部３２は、ｔ１ｍ＝０とした後（ステップＢ２２）、モータ駆動停止時にｔ２ｍをΔｔずつ更新し、その値がｔ２に達するまでの間、以下のような式（３）により混合比ｋを算出する（ステップＢ２３〜Ｂ２５）
ｋ＝１−（ｔ２ｍ／ｔ２） …（３）
このようにして、モータ駆動停止時に用いる混合比ｋを算出した後、制御部３２は、ズーム用のモータ２１を停止状態とする（ステップＢ２６）。その間、制御部３２は、前記ステップＢ２５で算出した混合比ｋに従って、前記ステップＢ１３で得られた音声波形のスペクトルデータと前記ステップＢ１５で得られた音声スペクトルデータ（モータ音スペクトルデータを用いて雑音除去した音声スペクトルデータ）を混合する（ステップＢ２７）。

そして、この混合スペクトルデータを逆フリー変換処理して元の音声波形データに戻し（ステップＢ２８）、これを前の音声波形データと連続するようにフレーム単位で合成しながら（ステップＢ２９）、撮影画像（動画データ）と同期させてメモリ３８に記録していく（ステップ３０）。

以降、動画撮影が終了するまで、Δｔの間隔で前記同様の処理を繰り返して、音声データを撮影画像と共に連続して記録していく（ステップＢ３１，Ｂ３２）。

このように、本装置をソフトウェア的に実現した場合であっても前記図７に示した構成と同様の効果が得られる。

なお、前記第２の実施形態では、モータ駆動定常状態における混合比ｋを“１”としたが、例えば最終出力の音質により“１”より小さい値としても良く、また、ｔ１の時間は実際の最終出力の音質変化の状態やモータ起動特性等により、最も自然に感じるように調整しても良い。

また、変形例として、図６のような係数乗算用の乗算器５９を用い、モータ２１の駆動タイミングに基づいてサブトラクト係数αを徐々に変化させることでも良い。この場合モータ２１の駆動開始時点では、サブトラクト係数αを最低値（例えば、α＝０）としておき、モータ駆動開始後、その係数値を徐々に上げていき、所定時間ｔ１後に最高値とする。また、モータ２１の駆動停止時に最高値から徐々に下げて所定時間ｔ２後に最低値つまりα＝０とするように制御する。このように、雑音除去用のモータ音スペクトルに乗じるサブトラクト係数αを可変する構成でも、前記同様の効果が得られるものである。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

図１１は本発明の第３の実施形態に係るデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。なお、図３（第１の実施形態）の構成と同じ部分には同一符号を付して、その説明は省略するものとする。

図１１において、図３の構成と異なる点は、３種類のモータ音スペクトルＰａ，Ｐｂ，Ｐｃを有するモータ音スペクトル記憶部６２と、このモータ音スペクトル記憶部６２から最適なモータ音スペクトルを選択するためのスペクトル選択部６３が設けられていることである。

モータ音スペクトル記憶部６２には、図１２に示すように、予め設定された３種類のレベルの異なるモータ音スペクトルＰａ，Ｐｂ，Ｐｃが記憶されている。モータ音スペクトルＰａは、モータ２１の駆動開始時から定常回転するまでのモータ音をスペクトル化した信号である。モータ音スペクトルＰｂは、モータ２１が定常回転しているときのモータ音をスペクトル化した信号である。モータ音スペクトルＰｃは、モータ２１の駆動停止時から実際に回転が停止するまでのモータ音をスペクトル化した信号である。

スペクトル選択部６３は、制御部３２からの指示に従って、モータ音スペクトル記憶部６２に記憶されたモータ音スペクトルＰａ，Ｐｂ，Ｐｃを選択的にサブトラクト部５５に出力するように動作する。

この場合、図１３に示すように、モータ２１が駆動されていないときには、モータ音スペクトルの出力なしとする。一方、モータ２１の駆動が開始されてから定常回転するまでの期間（ｔ１）ではモータ音スペクトルＰａを出力する。また、モータ２１が定常回転状態にある期間ではモータ音スペクトルＰｂを出力し、モータ駆動を停止してから実際にモータ２１の回転が停止するまでの期間（ｔ２）ではモータ音スペクトルＰｃを出力するものとする。

なお、ｔ１の期間はモータ２１の回転数が徐々に増加して定常状態に達するまでの時間と一致させることが考えられるが、必ずしもそうでなくても良い。また、ｔ２の期間はモータ駆動を停止してからモータ２１が実際に停止するまでの時間に一致させる。

次に、第３の実施形態の動作について説明する。

音声付き動画撮影を行っている最中に、例えばユーザがキー入力部３６に含まれるズームキー２０ａ，２０ｂを操作したとする。

デジタルカメラ全体の動作を制御する制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂのズーム操作信号を入力すると、モータ駆動部２１ａに対して駆動開始信号を送る。モータ駆動部２１ａは、この駆動開始信号を受けてモータ２１を回転駆動する。このモータ２１の回転に伴い、図２のレンズ光学系２２に含まれる図示せぬズームレンズが光軸上に移動してズーム動作が開始され、撮影画像が拡大または縮小されてメモリ３８に記録される。

また、ユーザがズーム操作を終了すると、制御部３２はモータ駆動部２１ａに対して駆動終了信号を送る。これにより、モータ２１の回転駆動が停止し、ズーム動作が終了する。

ここで、音声付きの動画撮影中は常にマイクロホン部７による音声入力機能がＯＮ状態にある。このため、前記ズーム操作に伴って発生するモータ音つまりズーム音が入力音声の中に雑音として混入する問題がある。このようなモータ音を音声信号から除去して記録するべく、以下のような処理が行われる。

すなわち、制御部３２は、モータ２１が非駆動状態にあるときには出力ゼロとするようにスペクトル選択部６３を制御する。これにより、サブトラクト部５５には、フーリエ変換部５３から得られる入力音声スペクトル信号Ｓｂのみが与えられることになる。したがって、この入力音声スペクトル信号Ｓｂがそのまま記録用の音声スペクトル信号Ｓｄとして逆フーリエ変換部５７に与えられる。逆フーリエ変換部５７に与えられた音声スペクトル信号Ｓｄは、逆フーリエ変換部５７および波形合成部５８を通じて元の音声信号に戻され、撮影画像と共にメモリ３８に記録される。

一方、ズーム操作に伴いモータ２１が駆動されると、制御部３２は、モータ音スペクトル記憶部６２に記憶されたモータ音スペクトルＰａ，Ｐｂ，Ｐｃを選択的にサブトラクト部５５に出力するようにスペクトル選択部６３を制御する。

この場合、図１３に示したように、モータ駆動開始から定常回転に達するまでの期間（ｔ１）では開始時用に予め設定されたモータ音スペクトルＰａを出力し、定常回転状態では定常時用に予め設定されたモータ音スペクトルＰｂを出力し、また、モータ駆動停止から実際にモータ２１の回転が停止するまでの期間（ｔ２）では停止時用に予め設定されたモータ音スペクトルＰｃを出力するように制御する。その結果、サブトラクト部５５において、モータ駆動開始時、定常時、停止時のそれぞれの期間で最も適したモータ音スペクトルを用いて雑音成分を除去することができる。

このように、本発明の第３の実施形態によれば、モータ駆動開始時、定常時、停止時で３種類のモータ音スペクトルＰａ，Ｐｂ，Ｐｃを選択的に使用して雑音除去処理（サブトラクト処理）を行う構成としたことにより、動画撮影中にモータ２１が駆動された際に入力音声からそのモータ音を雑音としてより適切に除去することができる。

図１４は第３の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。なお、このフローチャートで示される処理は、コンピュータである制御部３２によって読取り可能なプログラムの形態でＲＯＭ等の記録媒体に予め記録されているものとする。

また、動画撮影中に入力された音声信号をフレーム単位で分割しながら処理することについては図５と同様であり、この図１４のフローチャートでは、説明を簡略化するため、モータ駆動タイミングに基づいてモータ音スペクトルＰａ，Ｐｂ，Ｐｃを選択する場合の手順についてのみ記してある。

図１４に示すように、モータ２１が非駆動状態にあるとき（ステップＣ１１のＮｏ）、制御部３２は、モータ音スペクトルの出力をゼロとして処理する（ステップＣ１２）。これにより、動画撮影中に入力された音声信号がそのまま撮影画像と共にメモリ３８に記録されることになる。

一方、動画撮影中にズーム操作があり、そのズーム用のモータ２１を駆動する場合において（ステップＣ１１のＹｅｓ）、制御部３２は、まず、モータ駆動を開始してから定常回転に達するまでのｔ１の間、開始時用に予め設定されたモータ音スペクトルＰａを選択して、そのモータ音スペクトルＰａを用いたサブトラクト処理を行う（ステップＣ１３〜Ｃ１５）。詳しくは、モータ音スペクトルＰａに所定の係数値を乗じた後、入力音声のスペクトルデータからその係数乗算後のモータ音スペクトルＰａを減算する。

また、ｔ１が経過してモータ２１が定常回転している期間では（ステップＣ１５のＹｅｓ）、制御部３２は、定常時用に予め設定されたモータ音スペクトルＰｂを選択して、そのモータ音スペクトルＰｂを用いたサブトラクト処理を行う（ステップＣ１６〜Ｃ１８）。詳しくは、モータ音スペクトルＰｂに所定の係数値を乗じた後、入力音声のスペクトルデータからその係数乗算後のモータ音スペクトルＰｂを減算する。

また、ズーム操作の終了指示があり、モータ２１の駆動を停止させた場合に（ステップＣ１８のＹｅｓ）、制御部３２は、モータ駆動停止から実際にモータ２１の回転が停止するまでのｔ２の間、停止時用に予め設定されたモータ音スペクトルＰｃを選択して、そのモータ音スペクトルＰｃを用いたサブトラクト処理を行う（ステップＣ１９〜Ｃ２１）。詳しくは、モータ音スペクトルＰｃに所定の係数値を乗じた後、入力音声のスペクトルデータからその係数乗算後のモータ音スペクトルＰｃを減算する。

このようにして、撮影中にズーム操作に伴いモータ２１が駆動された場合において、モータ駆動開始時、定常時、停止時といった各期間に対応したモータ音スペクトルを用いてサブトラクト処理を行い、その処理結果として得られた音声信号を撮影画像に同期させてメモリ３８に順次記録していく。これにより、音声信号に含まれるモータ音を適切に除去でき、雑音スペクトルの引き過ぎによる音声信号の品質低下を招くことなく記録することが可能となる。

なお、前記第３の実施形態では、サブトラクト処理に適用するモータ音スペクトルをモータ駆動タイミングに基づいて、モータ駆動開始時、定常時、停止時の３段階に切り替えるものとしたが、例えばモータ駆動開始時とモータ駆動停止時のスペクトルをさらに細かく分割して、これらを切り替えることでも良い。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。

図１５は本発明の第４の実施形態に係るデジタルカメラ１に用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。なお、図３（第１の実施形態）の構成と同じ部分には同一符号を付して、その説明は省略するものとする。

図１５において、図３の構成と異なる点は、２種類のモータ音スペクトルＰｄ，Ｐｅを有するモータ音スペクトル記憶部６４と、このモータ音スペクトル記憶部６４から最適なモータ音スペクトルを選択するためのスペクトル選択部６５と、モータ２１の回転数を検出するためのモータ回転検出部６６が設けられていることである。

モータ音スペクトル記憶部６４には、図１６に示すように、予め設定された２種類のレベルの異なるモータ音スペクトルＰｄ，Ｐｅが記憶されている。モータ音スペクトルＰｄは、モータ回転数が定常回転数Ｒ０の１／２のときのモータ音をスペクトル化した信号である。モータ音スペクトルＰｅは、モータ回転数が定常回転数Ｒ０のときのモータ音をスペクトル化した信号である。

スペクトル選択部６５は、モータ回転検出部６６からの検出信号に従って、モータ音スペクトル記憶部６４に記憶されたモータ音スペクトルＰｄ，Ｐｅを選択的にサブトラクト部５５に出力するように動作する。

この場合、図１７に示すように、モータ回転検出部６６によって検出されるモータ回転数Ｒ１が０の場合には（Ｒ１＝０）、モータ音スペクトルの出力なしとする。一方、モータ回転数Ｒ１が定常回転数Ｒｏ未満の場合には（０＜Ｒ１＜Ｒ０）、モータ音スペクトルＰｄを出力し、モータ回転数Ｒ１が定常回転数Ｒ０の場合には（Ｒ１＝Ｒ０）、モータ音スペクトルＰｅを出力する。

モータ回転検出部６６は、例えばモータ２１の回転軸に取り付けられたパルスエンコーダなどからなり、モータ２１の回転数を検出し、その検出信号をスペクトル選択部６５に出力する。

次に、第４の実施形態の動作について説明する。

音声付き動画撮影を行っている最中に、例えばユーザがキー入力部３６に含まれるズームキー２０ａ，２０ｂを操作したとする。

デジタルカメラ全体の動作を制御する制御部３２は、キー入力部３６に含まれるズームキー２０ａ，２０ｂのズーム操作信号を入力すると、モータ駆動部２１ａに対して駆動開始信号を送る。モータ駆動部２１ａは、この駆動開始信号を受けてモータ２１を回転駆動する。このモータ２１の回転に伴い、図２のレンズ光学系２２に含まれる図示せぬズームレンズが光軸上に移動してズーム動作が開始され、撮影画像が拡大または縮小されてメモリ３８に記録される。

また、ユーザがズーム操作を終了すると、制御部３２はモータ駆動部２１ａに対して駆動終了信号を送る。これにより、モータ２１の回転駆動が停止し、ズーム動作が終了する。

ここで、音声付きの動画撮影中は常にマイクロホン部７による音声入力機能がＯＮ状態にある。このため、前記ズーム操作に伴って発生するモータ音つまりズーム音が入力音声の中に雑音として混入する問題がある。このようなモータ音を音声信号から除去して記録するべく、以下のような処理が行われる。

すなわち、モータ回転検出部６６によってモータ２１の回転数を検出し、その検出信号をスペクトル選択部６５に出力する。

ここで、スペクトル選択部６５は、モータ回転検出部６６によって検出されるモータ回転数Ｒ１がゼロであれば、モータ音スペクトル信号の出力を禁止するように動作する。これにより、サブトラクト部５５には、フーリエ変換部５３から得られる入力音声スペクトル信号Ｓｂのみが与えられることになる。したがって、この入力音声スペクトル信号Ｓｂがそのまま記録用の音声スペクトル信号Ｓｄとして逆フーリエ変換部５７に与えられる。逆フーリエ変換部５７に与えられた音声スペクトル信号Ｓｄは、逆フーリエ変換部５７および波形合成部５８を通じて元の音声信号に戻され、撮影画像と共にメモリ３８に記録される。

一方、モータ回転検出部６６によって検出されるモータ回転数Ｒ１がゼロ以外であった場合、つまり、ズーム操作によりモータ２１が駆動された状態において、スペクトル選択部６５はそのときにモータ回転検出部６６によって検出されるモータ回転数Ｒ１に応じてモータ音スペクトル記憶部６２に記憶されたモータ音スペクトルＰｄ，Ｐｅを選択的にサブトラクト部５５に出力する。

この場合、図１７に示したように、０＜Ｒ１＜Ｒ０のとき、つまり、モータ２１が定常回転に達するまでの期間では、定常回転数Ｒ０の１／２のときのモータ音スペクトルＰｄを出力する。また、Ｒ１＝Ｒ０のとき、つまり、モータ２１が定常回転している場合には、定常回転数Ｒ０のときのモータ音スペクトルＰｅを出力する。その結果、サブトラクト部５５において、モータ駆動期間全体にわたり適切なモータ音スペクトルを用いて雑音成分を除去することができる。

このように、本発明の第４の実施形態によれば、モータ回転数に応じて２種類のモータ音スペクトルＰｅ，Ｐｅを選択的に使用して雑音除去処理（サブトラクト処理）を行う構成としたことにより、動画撮影中にモータ２１が駆動された際に入力音声からそのモータ音を雑音としてより適切に除去することができる。

図１８は第４の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。なお、このフローチャートで示される処理は、コンピュータである制御部３２によって読取り可能なプログラムの形態でＲＯＭ等の記録媒体に予め記録されているものとする。

また、動画撮影中に入力された音声信号をフレーム単位で分割しながら処理することについては図５と同様であり、この図１８のフローチャートでは、説明を簡略化するため、モータ回転数に基づいてモータ音スペクトルＰｄ，Ｐｅを選択する場合の手順についてのみ記してある。

図１８に示すように、動画撮影中にズーム操作があり、そのズーム用のモータ２１の駆動が開始される（ステップＤ１１のＹｅｓ）、制御部３２はそのときのモータ２１の回転数Ｒ１を検出する（ステップＤ１２）。その結果、Ｒ１＝０であれば、つまり、まだモータ２１が回転を始めていない状態であれば（ステップＤ１３のＹｅｓ）、制御部３２は、モータ音スペクトルの出力をゼロとして処理する（ステップＤ１４）。なお、ズーム操作かせなく、モータ２１が非駆動状態のときでも前記同様に出力ゼロとして処理する。これにより、動画撮影中に入力された音声信号がそのまま撮影画像と共にメモリ３８に記録されることになる。

一方、モータ２１の回転数Ｒ１が定常回転数Ｒｏ未満であった場合、つまり、０＜Ｒ１＜Ｒ０であれば（ステップＤ１５のＹｅｓ）、制御部３２は、定常回転未満用予め設定されたモータ音スペクトルＰｄを選択して、そのモータ音スペクトルＰｄを用いたサブトラクト処理を行う（ステップＤ１６〜Ｄ１７，Ｄ２０）。詳しくは、モータ音スペクトルＰｄに所定の係数値を乗じた後、入力音声のスペクトルデータからその係数乗算後のモータ音スペクトルＰｄを減算する。

また、モータ２１の回転数Ｒ１が定常回転数Ｒｏであった場合、つまり、Ｒ１＝Ｒ０であれば（ステップＤ１５のＮｏ）、制御部３２は、定常回転用に予め設定されたモータ音スペクトルＰｅを選択して、そのモータ音スペクトルＰｅを用いたサブトラクト処理を行う（ステップＤ１８〜Ｄ２９，Ｄ２０）。詳しくは、モータ音スペクトルＰｅに所定の係数値を乗じた後、入力音声のスペクトルデータからその係数乗算後のモータ音スペクトルＰｅを減算する。

このようにして、撮影中にズーム操作に伴いモータ２１が駆動された場合において、そのときのモータ回転数に対応したモータ音スペクトルを用いてサブトラクト処理を行い、その処理結果として得られた音声信号を撮影画像に同期させてメモリ３８に順次記録していく。これにより、音声信号に含まれるモータ音を適切に除去でき、雑音スペクトルの引き過ぎによる音声信号の品質低下を招くことなく記録することが可能となる。

なお、前記第４の実施形態では、サブトラクト処理に適用するモータ音スペクトルをモータ回転数に基づいて２段階に切り替えるものとしたが、例えばモータ回転数をさらに細かく分類にし、それらに対応したモータ音スペクトルを用いて適宜切り替えるようにしても良い。

また、前記各実施形態では、ズーム音を雑音除去対象として説明したが、ズーム音に限らず、例えばフォーカス音、さらにはシャッター音などでも同様であり、要は撮影動作に伴って発生する機構音を入力音声から除去する場合に適用可能である。

（変形例１）
ところで、入力音声のスペクトルから単純にモータ音のスペクトルを減算すると、ＳＳ法におけるサブトラクト係数は１より大きい値が使用されるため、ズーム音のように周波数帯域が広い音の場合には、サブトラクト処理が行われている間だけ周りの騒音も一緒に低減されてしまい不自然な音になる。

これを防止するために、無音区間に周囲騒音スペクトルを推定しておき、サブトラクト処理で音声スペクトルからモータ音スペクトルを減算したスペクトルに対して周囲騒音スペクトルを加算することで、周囲騒音は残すような処理を施すようにしも良い。

図１９にその構成例を示す。なお、図３（第１の実施形態）の構成と同じ部分には同一符号を付してある。

まず、雑音除去対象となるモータ音（ここではズーム音とする）のみのスペクトル信号を予め採取してモータ音スペクトル記憶部５４に記憶しておく。この採取方法は、ズーム音のみを音声入力部５１から入力し、フレーム分割部５２により数１０ｍｓ程度のフレーム区間に切り出し、フーリエ変換部５３によりスペクトル信号に変換する。このフレーム単位のスペクトル信号をモータ駆動期間中に順次抽出し、これらの平均値をモータ音スペクトル信号とする。

なお、モータ音スペクトル記憶部５４に記憶しておくモータ音スペクトル信号としては、モータ駆動期間全体の平均値ではなく、モータ駆動開始直後のスペクトル信号、終了間際のスペクトル信号、または、定常状態におけるスペクトル信号を用いても良い。

また、無音区間検出部７１は、入力信号が音声区間であるか無音区間であるかを検出する。具体的には、入力信号の短時間パワーを抽出し、閾値以上の短時間パワーが一定時間以上継続したか否かによって検出する。周囲雑音スペクトル推定部７２は、無音区間におけるスペクトル信号により雑音スペクトルを推定する。

また、ズーム操作が行われていない状態では、制御部３２からの指示により第１乗算部７３と第２乗算部７４の乗算係数はともに“０”であり、波形合成部５８からは入力音声信号がそのまま出力されることになる。

一方、ズーム操作が開始されると、モータ音スペクトル記憶部５４に記憶されているモータ音スペクトル信号に対し、第２乗算部７４によって“１”より大きい係数値（例えば“２”）が乗算される。そして、スペクトル減算部７５により、フーリエ変換部５３からの入力音声のスペクトル信号から前記係数乗算後のモータ音スペクトル信号が減算される。つまり、入力音声のスペクトル信号に対してＳＳ法による残音除去処理が施される。

この場合、モータ音スペクトル信号は周波数帯域が広いため、スペクトル減算部７５からは当該音声スペクトル信号に含まれる周囲雑音のスペクトルも小さい音声スペクトル信号がスペクトル加算部７６に出力されることになる。

一方、ズーム操作中は、第１乗算部７３の乗算係数は１に設定されているため、周囲雑音スペクトル推定部７２から得られる周囲雑音スペクトル信号がスペクトル加算部７６に入力される。これにより、音声スペクトル信号に周囲雑音スペクトル信号が加算され、結果的に、波形合成部５８からは入力音声からモータ音のみを除去した信号を得ることができる。

このように、スペクトル減算後の出力に周囲雑音スペクトルを加算することにより、除去対象とする雑音がズーム音のように周波数帯域が広い場合に、周りの騒音も一緒に低減されて不自然な音になってしまうことを防止できる。

（変形例２）
また、動画撮影を行っているときには、ズーム音だけなく、フォーカス音などの様々な機構音が雑音として入力音声に混入する可能性がある。そこで、変形例２として、複数の異なるモータ音を雑音除去対象とした場合について説明する。

図２０にその構成例を示す。なお、図３（第１の実施形態）の構成と同じ部分には同一符号を付してある。

ここでは、雑音除去対象としてズーム音とフォーカス音を例にする。図中の８１はズーム音スペクトル記憶部、８２はフォーカス音スペクトル記憶部である。８３はモータ音スペクトル加算部であり、制御部３２からの指示によりズーム音スペクトル信号とフォーカス音スペクトル信号を加算処理してサブトラクト部５５に出力する。

また、８４は合焦判定部であり、撮影時にピントが合っているか否かを判定する。ピントが合っていない場合に、制御部３２からの指示によりフォーカスモータ駆動部８６ａを通じてフォーカスモータ８６が回転駆動され、これに伴い、図示せぬフォーカスレンズが光軸上を移動してピントが調整される。

また、キー入力部３６に含まれるズームキー２０ａ，２０ｂによりズーム操作が行なわれると、制御部３２からの指示によりズームモータ駆動部８５ａを通じてズームモータ８５が回転駆動され、これに伴い、図示せぬズームレンズが光軸上を移動してズーム倍率が調整される。

このような構成において、まず、雑音除去対象となるズーム音のみのスペクトル信号と、フォーカス音のみのスペクトル信号を採取し、それぞれズーム音スペクトル記憶部８１、フォーカス音スペクトル記憶部８２に記憶しておく。

この採取方法は、ズーム音であれば、ズーム音のみを音声入力部５１から入力し、フレーム分割部５２により数１０ｍｓ程度のフレーム区間に切り出し、フーリエ変換部５３によりスペクトル信号に変換する。このフレーム単位のスペクトル信号をモータ駆動期間中に順次抽出し、これらの平均値をズーム音スペクトル信号とする。同様に、フォーカス音であれば、フォーカス音のみを音声入力部５１から入力し、フレーム分割部５２により数１０ｍｓ程度のフレーム区間に切り出し、フーリエ変換部５３によりスペクトル信号に変換する。このフレーム単位のスペクトル信号をモータ駆動期間中に順次抽出し、これらの平均値をフォーカス音スペクトル信号とする。

なお、ズーム音スペクトル記憶部８１、フォーカス音スペクトル記憶部８２にそれぞれに記憶しておくスペクトル信号としては、モータ駆動期間全体の平均値ではなく、モータ駆動開始直後のスペクトル信号、終了間際のスペクトル信号、または、定常状態におけるスペクトル信号を用いても良い。

次に、動画撮影時における音声記録処理について説明する。

まず、音声入力部５１を通じて入力された音声信号はフレーム分割部５２により数１０ｍｓ程度のフレーム区間に切り出され、フーリエ変換部５３によりスペクトル信号に変換される。

ここで、ズーム操作によってズームモータ８５が駆動されている場合には、ズーム音スペクトル記憶部８１に記憶されたズーム音スペクトル信号のみがモータ音スペクトル加算部８３を通じてサブトラクト部５５に与えられる。一方、合焦判定部８４の判定結果に従ってフォーカスモータ８６のみが駆動されている場合には、フォーカス音スペクトル記憶部８２に記憶されたフォーカス音スペクトル信号のみがモータ音スペクトル加算部８３を通じてサブトラクト部５５に与えられる。

さらに、ズームモータ８５とフォーカスモータ８６の両方が駆動されている場合には、モータ音スペクトル加算部８３によりズーム音スペクトル信号とフォーカス音スペクトル信号が加算され、その加算スペクトル信号がサブトラクト部５５に与えられる。

サブトラクト部５５では、モータ音スペクトル加算部８３の出力信号に所定のサブトラクト係数αを乗じ、フーリエ変換部５３から出力される音声スペクトル信号からその係数乗算後のスペクトル信号を減算することにより雑音成分を除去する。

このサブトラクト部５５によって雑音除去された音声スペクトル信号は、逆フーリエ変換部５７および波形合成部５８を通じて元の音声信号に戻され、撮影画像と共にメモリ３８に記録される。

このように、複数の異なるモータ音を雑音除去対象とした場合でも、入力音声信号からそれぞれのモータ音を適切に除去して記録することができる。

なお、前記各実施形態では、音声付き動画撮影可能なデジタルカメラを例にして説明したが、本発明はデジタルカメラに限らず、例えばカメラ付きの携帯電話など、音声信号と共に撮影画像を記録可能な機能を備えた電子機器であれば、そのすべてに適用可能である。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。 図２はデジタルカメラの電子回路構成を示すブロック図である。 図３は本発明の第１の実施形態に係るデジタルカメラに用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。 図４はＳＳ法（スペクトルサブトラクション法）を用いた雑音除去処理を説明するための図である。 図５は第１の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。 図６は第１の実施形態の変形例としての構成を示すブロック図である。 図７は本発明の第２の実施形態に係るデジタルカメラに用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。 図８は第２の実施形態における混合比ｋの時間的変化を示す図である。 図９は第２の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。 図１０は第２の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。 図１１は本発明の第３の実施形態に係るデジタルカメラに用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。 図１２は第３の実施形態におけるモータ音スペクトル記憶部の構成を示す図である。 図１３は第３の実施形態におけるモータ音スペクトルの出力タイミングを示す図である。 図１４は第３の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。 図１５は本発明の第４の実施形態に係るデジタルカメラに用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。 図１６は第４の実施形態におけるモータ音スペクトル記憶部の構成を示す図である。 図１７は第４の実施形態におけるモータ音スペクトルの出力タイミングを示す図である。 図１８は第４の実施形態における音声記録処理をソフトウェア的に実現する場合のフローチャートである。 図１９は変形例１としてデジタルカメラに用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。 図２０は変形例２としてデジタルカメラに用いられる雑音除去機能を備えた音声記録装置の構成を示すブロック図である。

符号の説明

１…デジタルカメラ、２…ボディ、３…撮影レンズ、７…マイクロホン部、９…シャッタキー、２０ａ，２０ｂ…ズームキー、２１…モータ、２１ａ…モータ駆動部、３２…制御部、３６…キー入力部、５１…音声入力部、５２…フレーム分割部、５３…フーリエ変換部、５４…モータ音スペクトル記憶部、５５…サブトラクト部、５６…スペクトル切り替え部、５７…逆フーリエ変換部、５８…波形合成部、５９…乗算器、６０…スペクトル混合部、６１…混合比発生部、６２…モータ音スペクトル記憶部、６３…スペクトル選択部、６４…モータ音スペクトル記憶部、６５…スペクトル選択部、６６…モータ回転検出部、７１…無音区間検出部、７２…周囲雑音スペクトル推定部、７３…第１乗算部、７４…第２乗算部、７５…スペクトル減算部、７６…スペクトル加算部、８１…ズーム音スペクトル記憶部、８２…フォーカス音スペクトル記憶部、８３…モータ音スペクトル加算部、８４…合焦判定部、８５…ズームモータ、８５ａ…ズームモータ駆動部、８６…フォーカスモータ、８６ａ…フォーカスモータ駆動部、Ｓａ…入力音声信号、Ｓｂ…入力音声スペクトル信号、Ｓｃ…モータ音スペクトル信号、Ｓｄ…雑音除去後の音声スペクトル信号、Ｓｅ…逆フーリエ変換後の音声信号、Ｓｆ…波形合成後の音声信号。

Claims (10)

1. 音声付き動画撮影を行う場合に、入力音声信号から撮影動作に伴って発生する機構音を雑音として除去して記録する音声記録機能を備えた撮像装置であって、
   前記入力音声信号をスペクトル信号に変換する変換手段と、
   予め前記機構音をスペクトル化して得られた機構音スペクトル信号を記憶した記憶手段と、
   撮影中に前記機構音の発生タイミングに基づいて、前記変換手段によって得られた入力音声スペクトル信号から前記記憶手段に記憶された機構音スペクトル信号に所定の係数を乗じた信号を減算することで雑音成分を除去する雑音除去手段と、
   この雑音除去手段によって得られた雑音除去後の音声スペクトル信号を元の音声信号に逆変換する逆変換手段と、
   この逆変換手段によって得られた音声信号を撮影画像と共に記録する記録手段と
   を具備したことを特徴とする撮像装置。
2. 前記変換手段によって得られた入力音声スペクトル信号と前記雑音除去手段によって得られた雑音除去後の音声スペクトル信号とを混合し、そのときの混合比を前記機構音の発生期間に応じて徐々に変える混合手段を備え、
   前記逆変換手段は、この混合手段によって混合処理された音声スペクトル信号を元の音声信号に逆変換することを特徴とする請求項１記載の撮像装置。
3. 前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、
   前記混合手段は、前記雑音除去後の音声スペクトル信号の比率を前記モータの駆動開始時に最低値から徐々に上げて所定時間後に最高値とすると共に、前記モータの駆動停止時に最高値から徐々に下げて所定時間後に最低値とするように混合比を変えることを特徴とする請求項２記載の撮像装置。
4. 前記機構音スペクトル信号に乗じる係数の値を前記機構音の発生期間に応じて徐々に変える係数可変手段を備えことを特徴とする請求項１記載の撮像装置。
5. 前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、
   前記係数可変手段は、前記機構音スペクトル信号に乗じる係数を前記モータの駆動開始時に最低値から徐々に上げて所定時間後に最高値とすると共に、前記モータの駆動停止時に最高値から徐々に下げて所定時間後に最低値とするように変えることを特徴とする請求項４記載の撮像装置。
6. 前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、
   前記記憶手段は、前記モータの駆動開始から停止までの各期間に応じて設定された複数のレベルの異なる機構音スペクトル信号を記憶し、
   前記雑音除去手段は、前記モータの各期間に基づいて前記記憶手段に記憶された各機構音スペクトル信号を選択的に使用して雑音除去処理を行うことを特徴とする請求項１記載の撮像装置。
7. 前記機構音は、撮影動作に関連した特定のモータの駆動音を含み、
   前記記憶手段は、前記モータの回転数に応じて設定された複数のレベルの異なる機構音スペクトル信号を記憶し、
   前記雑音除去手段は、前記モータの回転数に基づいて前記記憶手段に記憶された各機構音スペクトル信号を選択的に使用して雑音除去処理を行うことを特徴とする請求項１記載の撮像装置。
8. 前記特定のモータとは、ズーム倍率調整用のモータまたはフォーカス調整用のモータのであることを特徴とする請求項３乃至７のいずれか１つに記載の撮像装置。
9. 音声付き動画撮影を行う場合に、入力音声信号から撮影動作に伴って発生する機構音を雑音として除去して記録する音声記録方法であって、
   前記入力音声信号をスペクトル信号に変換するステップと、
   撮影中に前記機構音の発生タイミングに基づいて、前記スペクトル変換によって得られた入力音声スペクトル信号から、予め前記機構音をスペクトル化して得られた機構音スペクトル信号に所定の係数を乗じた信号を減算することで雑音成分を除去するステップと、
   この雑音除去後の音声スペクトル信号を元の音声信号に逆変換するステップと、
   この逆変換によって得られた音声信号を撮影画像と共に所定のメモリに記録するステップと
   を備えたことを特徴とする音声記録方法。
10. 音声付き動画撮影を行う場合に、入力音声信号から撮影動作に伴って発生する機構音を雑音として除去して記録する機能を備えたコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    前記入力音声信号をスペクトル信号に変換する機能と、
    撮影中に前記機構音の発生タイミングに基づいて、前記スペクトル変換によって得られた入力音声スペクトル信号から、予め前記機構音をスペクトル化して得られた機構音スペクトル信号に所定の係数を乗じた信号を減算することで雑音成分を除去する機能と、
    この雑音除去後の音声スペクトル信号を元の音声信号に逆変換する機能と、
    この逆変換によって得られた音声信号を撮影画像と共に所定のメモリに記録する機能と
    を実現させることを特徴とするプログラム。

Images