JP2017204715A

JP2017204715A - 電子機器及び制御方法

Info

Publication number: JP2017204715A
Application number: JP2016094832A
Authority: JP
Inventors: 啓太園田; Keita Sonoda
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-05-10
Filing date: 2016-05-10
Publication date: 2017-11-16

Abstract

【課題】高い精度でノイズの低減を行うようにすることを目的とする。【解決手段】電子機器は、マイクと、駆動部と、駆動部を制御するための指示を入力するための操作を行う操作部と、マイクより得られた時系列の音声データを、各周波数の振幅値で構成される振幅スペクトルに変換する変換部とを有している。操作部からレンズ駆動の指示に応じた駆動ノイズを検知し、かつその指示が所定時間継続している場合、ノイズ検知前の振幅スペクトルと、ノイズ検知から所定時間経過後の振幅スペクトルとの差分に基づき、駆動部の駆動ノイズを表すノイズプロファイルを作成し、それを用いてノイズを除去する。【選択図】図２

Description

本発明は、電子機器及び制御方法に関し、特に、駆動部の駆動時に発生する音（駆動ノイズ、駆動雑音）を低減することができる音声記録装置及び撮像装置に関する。

デジタルカメラには、動画と音声の記録中に、ユーザがズームを指示することにより、レンズを駆動させることができるものがある。記録中にレンズが駆動された場合、モータ等の駆動部により発生されるノイズ（雑音）が記録される音声に混入してしまう。そこで、この種のノイズを低減する技術として、従来、スペクトルサブトラクション方式と呼ばれる技術が知られている（例えば、特許文献１参照）。スペクトルサブトラクション方式では、ノイズに対応した周波数成分（周波数スペクトル）を、入力音声から減算することによりノイズを低減する。

特開２００６−２７９１８５号公報

ズーム等の駆動部を源とするノイズを低減する場合、その駆動部の駆動を開始する指示（例えばズーム開始指示）をきっかけとしてノイズ低減処理を行っていた。しかし、ユーザによるズーム開始の指示から、実際に駆動部が駆動されて、駆動ノイズが発生するまでの期間は、装置による個体差や経年変化によりばらつく。スペクトルサブトラクション方式によりノイズを低減する際、ノイズが混入している期間以外の期間においてノイズ成分を減算した場合、かえって音質がそこなわれてしまう。そのため、スペクトルサブトラクション方式によりノイズを低減する際、実際にノイズが混入している期間を正確に特定する必要がある。

本発明はこのような課題を解決し、駆動部によるノイズの発生タイミングが変化する場合にも適切にノイズを低減することを目的とする。

上記目的を達成するために本発明は以下の構成を有する。すなわち本発明の第一の側面によれば、
音声データを周波数ごとの振幅値で構成される振幅スペクトルに変換する変換手段と、
前記変換手段により変換された振幅スペクトルに基づいて、前記音声データに駆動部の駆動音が含まれることを判定する判定手段と、
前記判定手段により前記駆動音が含まれていると判定されていない前記音声データの前記振幅スペクトルを初期値として作成し、所定期間分の前記初期値を格納手段に格納する初期値作成手段と、
前記判定手段により前記駆動音が含まれていると判定された場合に、前記駆動音を含む音声データの前記振幅スペクトルから、前記格納手段に前記初期として格納されている前記振幅スペクトルを減算して、前記駆動音の周波数ごとの振幅値を含むノイズプロファイルを作成する作成手段と、
前記変換手段で生成された、前記音声データの前記振幅スペクトルの各周波数の振幅値から前記ノイズプロファイルの対応する周波数の振幅値を減算する減算手段と、
当該減算手段によって減算された振幅スペクトルを、時系列の音声データに逆変換する逆変換手段とを有することを特徴とする電子機器が提供される。

また本発明の第二の側面によれば、
音声データを周波数ごとの振幅値で構成される振幅スペクトルに変換する変換手段と、
前記変換手段により変換された振幅スペクトルに基づいて、前記音声データに駆動部の駆動音が含まれることを判定する第一の判定手段と、
前記第一の判定手段により前記音声データに前記駆動音が含まれると判定されてから所定時間のうちに前記駆動部を駆動するための制御信号が入力されたことを判定する第二の判定手段と、
前記第一の判定手段により前記駆動音が含まれていると判定された場合に、前記駆動音に対応する、周波数ごとの振幅値を含むノイズプロファイルの作成を開始し、前記第二の判定手段により前記所定時間のうちに前記制御信号が入力されたと判定されなかった場合には前記ノイズプロファイルの作成を中止する作成手段と、
前記変換手段で生成された振幅スペクトルの各周波数の振幅値から前記ノイズプロファイルの対応する周波数の振幅値を減算する減算手段と、
当該減算手段によって減算された振幅スペクトルを、時系列の音声データに逆変換する逆変換手段とを有することを特徴とする電子機器が提供される。

本発明によれば、高い精度でノイズを低減することが可能となる。

実施形態の撮像装置の一例を示すブロック図。実施形態のノイズ低減部を示すブロック図。実施形態における動画記録処理の一例を示すフローチャート。実施形態のズーム動作前とズーム動作中とにおける各周波数の振幅スペクトルの一例を表す図。実施形態のノイズプロファイル作成処理を示すタイミングチャートの一例。実施形態のノイズプロファイル作成処理を示すタイミングチャートの一例。実施形態のノイズプロファイル作成処理の一例を示すフローチャート。実施形態のノイズプロファイルの拡大補正処理を示すタイミングチャートの一例。実施形態のノイズプロファイルの縮小補正処理を示すタイミングチャートの一例。実施形態のノイズプロファイル補正処理の一例を示すフローチャート。実施形態におけるノイズプロファイル補正処理に関する時定数の設定の一例を示す図である。実施形態の外部音源と音声入力部との関係の一例を示す図。実施形態のＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理の一例を示すタイミングチャート。実施形態のＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理の一例を示すフローチャート。実施形態におけるノイズ低減処理の一例を示すタイミングチャート。実施形態におけるノイズ低減処理の一例を示すフローチャート。実施形態における係数αと環境音との関係の一例を示す図。実施形態の後補正処理の一例を示すタイミングチャート。実施形態における後補正処理の一例を示すフローチャート。実施形態における音声入力部の一例を示すブロック。

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、実施形態では、電子機器として、動画撮影が可能で、動画撮影時には音声を同時に記録可能なデジタルカメラ等の撮像装置１００を一例に挙げ、以下説明を行う。しかし、電子機器は、撮像装置１００に限られず、マイクを有する装置であれば、携帯電話やＩＣレコーダであっても良い。

図１は、撮像装置１００の構成の一例を示すブロック図である。例えばデジタルカメラ本体である撮像装置１００は、撮像素子、画像処理部等を含む撮像部１０１、音声入力部１０２、メモリ１０３、表示制御部１０４、表示部１０５、符号化処理部１０６、記録再生部１０７、記録媒体１０８、制御部１０９を有する。さらに、撮像装置１００は、操作部１１０、音声出力部１１１、スピーカ１１２、外部出力部１１３、及び、各構成要素を接続するシステムバス１１４を有する。また、外部レンズ部１１６はシステムバス１１４に接続されるように構成される。外部レンズ部１１６は後述するが、光学レンズやレンズ制御部、システム制御部、レンズ操作部にて構成される。外部レンズ部１１６は、たとえばデジタルカメラの交換レンズ、例えば交換式のズームレンズとして提供され、不図示のレンズマウント等の接続部により撮像装置１００に対して容易に取り付け、及び取り外しが可能である。

撮像部１０１は、外部レンズ部１１６から取り込まれる被写体の光学像を画像信号に変換し、これに対して画像処理を行い、画像データを生成する。音声入力部１０２は、撮像装置１００の周辺の音声を集音し、これに対して音声処理を行い、音声データを生成する。

メモリ１０３は、撮像部１０１から供給される画像データや、音声入力部１０２から供給される音声データを記憶する。音声データはメモリとは限らず、何らかの記録部に記録されればよい。表示制御部１０４は、撮像部１０１から得られた画像データや撮像装置１００のメニュー画面等を表示部１０５に表示させる。符号化処理部１０６は、メモリ１０３に記憶された画像データに対して所定の符号化を行い、圧縮画像データを生成する。また、符号化処理部１０６は、メモリ１０３に記憶された音声データに対して所定の符号化を行い、圧縮音声データを生成する。記録再生部１０７は、記録媒体１０８に対して、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データ及び圧縮された動画データの少なくとも一つを記録媒体１０８に記録する。また、記録再生部１０７は、記録媒体１０８に記録されている画像データ、音声データ及び動画データの少なくとも一つを記録媒体１０８から読み出す。

制御部１０９は、システムバス１１４を介して撮像装置１００の各部を制御する。制御部１０９は、ＣＰＵ及びメモリを有する。制御部１０９のメモリには、撮像装置１００の各部を制御するためのプログラムが記録される。

操作部１１０は、ユーザからの指示を撮像装置１００に入力するための操作を受け付ける。操作部１１０は、ユーザによって行われた特定の操作に対応する信号を制御部１０９に送信する。操作部１１０は、静止画の撮影を指示するボタン、動画記録開始と停止を指示する記録ボタンを有する。さらに、操作部１１０は、撮像装置１００の動作モードを静止画撮影モード、動画像撮影モード及び再生モードから選択するためのモード選択ボタンを有する。

音声出力部１１１は、記録再生部１０７によって読み出された音声データをスピーカ１１２に出力する。外部出力部１１３は、記録再生部１０７によって読み出された音声データを外部機器に出力する。

次に、撮像装置１００が動画撮影モードである場合における動作について説明する。撮像装置１００が動画像撮影モードである場合、制御部１０９は、操作部１１０の記録ボタンがＯＮにされたことに応じて、所定のフレームレートで撮像するように撮像部１０１を制御し、音声データを取得するように音声入力部１０２を制御する。この場合、撮像部１０１で撮像された画像データと音声データとは圧縮され、記録再生部１０７によって記録媒体１０８に動画データとして記録される。その後、制御部１０９は、操作部１１０の記録ボタンがＯＦＦにされたことに応じて、記録媒体１０８に記録していた動画データの記録を停止し、１つの動画ファイルを生成する。なお、撮像装置１００が動画撮影モードである場合、ユーザによって操作部１１０の記録ボタンがＯＮされるまでは、操作部１１０の記録ボタンは、ＯＦＦであるものとする。

図２０は、撮像部１０１と音声入力部１０２と外部レンズ部１１６との関係を示す。外部レンズ部１１６は光学レンズ２０１とレンズ制御部２１８とレンズ操作部２２０とシステム制御部２１９を有する。光学レンズ２０１は、被写体の光学的に合焦させるためのフォーカスレンズやズームレンズ等である。光学レンズ２０１は、ズーミングを光学的に行うことができる。以下、光学レンズ２０１を使ってズーミングを光学的に行うことを「ズーム動作」と呼ぶものとする。ズーム動作は、レンズ操作部２２０の操作を受けシステム制御部２１９からの指示で、レンズ制御部２１８が、光学レンズ２０１を移動させることで、被写体の光学像をズーミングさせるものである。レンズ制御部２１８は、光学レンズ２０１を移動させるための動力源であるモータ等を駆動させる。レンズ操作部２２０は光学的に画像に対してズーム動作を行うように撮像装置１００に指示するためのズームボタンなどを有する。光学レンズ２０１からの被写体の光学像は、撮像素子２０２に取り込まれる。又、ズーム動作の開始指示は、システム制御部２１９からシステムバス１１４を介して制御部１０９に入力される。例えば、ズーム動作やフォーカス調整等を光学レンズ２０１に開始させるための指示がレンズ操作部２２０を介して入力された場合、システム制御部２１９は、光学レンズ２０１を移動させるようにレンズ制御部２１８を制御するズーム制御信号をＯＮに変更する。ズーム制御信号がＯＮに変更された場合、レンズ制御部２１８は、モータ等を駆動し、光学レンズ２０１を移動させる。

光学レンズ２０１を移動させる場合、外部レンズ部１１６において、光学レンズ２０１の移動に伴うノイズや光学レンズ２０１を移動させるためのモータの駆動に伴うノイズが発生する。以下、光学レンズ２０１の移動に伴うノイズや光学レンズ２０１を移動させるためのモータの駆動に伴うノイズを「駆動ノイズ」と呼ぶものとする。

撮像部１０１は、撮像素子２０２、画像処理部２０４を有する。

撮像素子２０２は、光学レンズ２０１からの被写体の光学像を画像信号に変換し、画像信号を出力する。画像処理部２０４は、撮像素子２０２から出力される画像信号に対して画像処理を行い、画像データを生成する。

撮像装置１００の音声入力部１０２は、ステレオ録音を実現するため、Ｒ（Ｒｉｇｈｔ：右）チャネル音声入力部１０２ａ及びＬ（Ｌｅｆｔ：左）チャネル音声入力部１０２ｂを有する。Ｒチャネル音声入力部１０２ａと、Ｌチャネル音声入力部１０２ｂとは構成が同じであるため、以下、Ｒチャネル音声入力部１０２ａの構成について説明する。Ｒチャネル音声入力部１０２ａは、マイク２０５ａ、ＡＤＣ２０６ａ、ＦＦＴ２０７ａ、ノイズ低減部２００ａ、ＩＦＦＴ２１４ａ、ノイズ印加部２１５ａ、音声処理部２１６ａ、ＡＬＣ２１７ａを有する。なお、Ｒチャネルを以下「Ｒｃｈ」と呼び、Ｌチャネルを以下「Ｌｃｈ」と呼ぶものとする。

マイク２０５ａは、音声振動を電気信号に変換し、アナログの音声信号を出力する。ＡＤＣ（アナログデジタルコンバータ）２０６ａは、マイク２０５ａにより得られたアナログ音声信号をデジタル音声信号に変換する。例えば、ＡＤＣ２０６ａのサンプリング周波数は４８ＫＨｚで、１サンプルにつき１６ビットの、時系列のデジタルデータを出力する。ＦＦＴ（高速フーリエ変換器）２０７ａは、ＡＤＣ２０６ａから出力された、例えば、１０２４個のサンプルデータが時系列に並んだ音声データを１フレームとして入力する。すなわち、所定時間分の音声データを１フレームとする。そして、ＦＦＴ２０７ａは、１フレーム分の音声データに対して高速フーリエ変換し、各周波数の振幅レベル（振幅スペクトルデータ）を生成し、ノイズ低減部２００ａに供給する。なお、ＦＦＴ２０７ａが生成する振幅スペクトルは、０から４８ＫＨｚまでの１０２４ポイントの各周波数の振幅データで構成されるものとする。また、実施形態では１フレームの音声データを１０２４個のサンプルから構成されるとしているが、次に処理する１フレームにおける前半の５１２個のデータと、直前の１フレームの後半の５１２個のデータは同じであり、互いに一部が重複している。

ノイズ低減部２００ａは、ズーム動作を撮像装置１００が実行している場合に発生する駆動ノイズを表す各周波数のノイズの振幅データを、ＦＦＴ２０７ａから出力された該当する周波数の振幅データから減算する。ノイズ低減部２００ａは、減算が行われた後の振幅スペクトルデータをＩＦＦＴ（逆高速フーリエ変換器）２１４ａに供給する。これによりノイズを除去または低減する。
ＩＦＦＴ（逆高速フーリエ変換器）２１４ａは、ＦＦＴ２０７ａから供給された位相情報を用いて、ノイズ低減部２００ａから供給された振幅スペクトルデータに対して逆高速フーリエ変換（逆変換）を行うことで、元の時系列形式の音声データを生成する。本実施形態においてＩＦＦＴ２１４ａは、ＦＦＴ２０７ａにて高速フーリエ変換される前の位相情報を保持して時系列の音声信号に戻す。

ノイズ印加部２１５ａは、ＩＦＦＴ２１４ａからの時系列の音声信号に対してノイズ信号を印加する。ノイズ印加部２１５ａによって印加されるノイズ信号は、ノイズフロアレベルの信号であるものとする。音声処理部２１６ａは、風騒音を低減するための処理、ステレオ感を強調するための処理やイコライザ処理等を行う。そして、ＡＬＣ（オートレベルコントローラ）２１７ａは、時系列の音声信号の振幅を所定のレベルに調整し、調整後の音声データをメモリ１０３に出力する。

次に、実施形態におけるＲチャネル音声入力部１０２ａのノイズ低減部２００ａについて、図２と図４を用いて、以下説明を行う。

図２は、ノイズ低減部２００ａの構成の一例を示すブロック図である。ノイズ低減部２００ａは、積分回路２５０ａ、初期値格納部２５１ａ、プロファイル処理判定部２５６ａ、プロファイル作成部２５２ａ、プロファイル格納部２５３ａ、振幅スペクトル減算部２５４ａ、後補正部２５５ａ、及びプロファイル補正部２５７ａ、ノイズ除去処理確定部２５８ａ有する。

Ｌチャネル音声入力部１０２ｂのノイズ低減部２００ｂもノイズ低減部２００ａと同様の構成であり、積分回路２５０ｂ、初期値格納部２５１ｂ、プロファイル処理判定部２５６ｂ、プロファイル作成部２５２ｂ、プロファイル格納部２５３ｂ、振幅スペクトル減算部２５４ｂ、後補正部２５５ｂ、及びプロファイル補正部２５６ｂ、ノイズ除去処理確定部２５８ｂを有する。

ノイズ低減部２００ａは、外部レンズ部１１６がズーム動作を行っている場合に発生する駆動ノイズを低減するための動作を行う。以下、ノイズ低減部２００ａによって行われる動作について図４を参照し、説明を行う。

図４は、外部レンズ部１１６によってズーム動作が行われる前と外部レンズ部１１６によってズーム動作が行われている間とにおける各周波数の振幅スペクトルの一例を表す図である。図４における横軸が周波数を示し、０から４８ｋＨｚの区間の１０２４ポイントを示している（ただし、ナイキスト周波数である２４ｋＨｚまでにおいては５１２ポイントの周波数スペクトルをもつものとする）。図４における振幅スペクトル４０１は、外部レンズ部１１６がズーム動作を行う前（光学レンズ２０１が移動していない状態）における環境音を示す振幅スペクトルデータを示す。図４における振幅スペクトル４０２は、外部レンズ部１１６がズーム動作を行っている場合（光学レンズ２０１が移動している状態）における環境音を示す振幅スペクトルを示している。振幅スペクトル４０２には、駆動ノイズが含まれている。ノイズ低減部２００ａは、振幅スペクトル４０１と、振幅スペクトル４０２との差分から駆動ノイズを低減するために用いられるノイズプロファイルを作成する。以下、ノイズ低減部２００ａの各部について説明を行う。

プロファイル処理判定部２５６ａは、操作部１１０の操作による制御部１０９からの動画記録開始指示に応じて、ＦＦＴ２０７ａにて高速フーリエ変換された振幅スペクトルの各周波数ｆｉ（ただし本例ではｆｉ＝０，１、...、１０２３）の振幅値ＡＲ（ｆｉ）を取得する。この振幅値はＲチャネルの値である。また周波数ｆｉはインデックスｉで示される離散した周波数である。周波数ｆｉは０から４８ＫＨｚまでの１０２４ポイントの各周波数に対応している。プロファイル処理判定部２５６ｂも同様にＬチャネルの振幅値ＡＬ（ｆｉ）を取得する。プロファイル処理判定部２５６ａは、プロファイル処理判定部２５６ｂから取得したＬｃｈの振幅スペクトルと、自身が取得したＲｃｈの振幅スペクトルの各周波数の左右差振幅値Ａ｜Ｌ−Ｒ｜（ｆｉ）＝｜ＡＬ（ｆｉ）−ＡＲ（ｆｉ）｜を算出する。ここで新たなパラメータとしてフレーム番号を導入し、フレーム番号をｊで表すことにする。たとえばフレームｊの周波数ｆｉにおける平均左右差振幅値Ａ｜Ｌ−Ｒ｜（ｆｉ）をＡ｜Ｌ−Ｒ｜（ｊ，ｆｉ）と表す。そして、フレームごとの前記左右差振幅値を基に、現フレームの左右差振幅値Ａ｜Ｌ−Ｒ｜（ｊ，ｆｉ）と前フレームの左右差振幅値Ａ｜Ｌ−Ｒ｜（ｊ−１，ｆｉ）との差分を、振幅スペクトルの周波数全体すなわち帯域全体にわたって周波数ごとに評価する。そして、現フレームの左右差振幅値Ａ｜Ｌ−Ｒ｜（ｊ，ｆｉ）が前フレームの左右差振幅値Ａ｜Ｌ−Ｒ｜（ｊ−１，ｆｉ）よりも大きい周波数の左右差振幅値の増加分の合計Ｓｕｍ０（ｊ）と、前フレームより現フレームの左右差振幅値が大きい周波数の本数Ｎｕｍ０（ｊ）を算出する。Ｓｕｍ０、Ｎｕｍ０は、振幅スペクトルの全周波数を対象として計算される。かっこ内は、これらの値が現フレームであるフレームｊに関して算出された値であることを示す。すなわちＳｕｍ０、Ｎｕｍ０を以下のように定義できる。連続するフレーム間における左右チャンネル間の差分の増加分を（Ａ｜Ｌ−Ｒ｜（ｊ，ｆｉ）−Ａ｜Ｌ−Ｒ｜（ｊ−１，ｆｉ））＝Δ（ｊ,ｆｉ）と表し、関数Ｐ（ｊ，ｆｉ）の値を以下の通り定義する。
Ｐ（ｊ，ｆｉ）＝Δ（ｊ,ｆｉ）（Δ（ｊ,ｆｉ）＞０）
Ｐ（ｊ，ｆｉ）＝０（Δ（ｊ,ｆｉ）≦０）
このＰ（ｊ，ｆｉ）を用いれば、
Ｓｕｍ０（ｊ）＝Σ_fiＰ（ｊ，ｆｉ）である。

また、関数Ｍ（ｊ，ｆｉ）の値を以下の通り定義する。
Ｍ（ｊ，ｆｉ）＝１（Δ（ｊ,ｆｉ）＞０）
Ｍ（ｊ，ｆｉ）＝０（Δ（ｊ,ｆｉ）≦０）
このＭ（ｊ，ｆｉ）を用いれば、
Ｎｕｍ０（ｊ）＝Σ_fiＭ（ｊ，ｆｉ）である。

また、合わせて、０から５１１までの５１２ポイントの振幅スペクトルの内、３８４から５１１までの１２７ポイントの振幅スペクトルの範囲（すなわち比較的高周波の帯域）に限定して同様に増加分の合計Ｓｕｍ１（ｊ）と周波数の本数Ｎｕｍ１（ｊ）を算出する。Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）は、計算の対象となる帯域が異なるものの、Ｓｕｍ０（ｊ）、Ｎｕｍ０（ｊ）それぞれと同様に計算できる。プロファイル処理判定部２５６ａはＳｕｍ０（ｊ）、Ｎｕｍ０（ｊ）、Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）の其々の値に対し予め定めた閾値を設け、全てが閾値を超えたＡＮＤ条件の場合にフレーム間において左右差をもった急激な振幅スペクトルの増加があった（すなわち増加率が閾値を超えた）と判断する。つまり、ズーム音が開始された事を判定する。この判定結果は、プロファイル作成指示信号としてプロファイル作成部２５２ａに入力される。すなわち条件Ｓｕｍ０＞Ｔｈｓｕｍ０、Ｎｕｍ０＞Ｔｈｎｕｍ０，Ｓｕｍ１＞Ｔｈｓｕｍ１，Ｎｕｍ１＞Ｔｈｎｕｍ１が全て満たされるとプロファイル作成指示信号（図２ではプロファイル作成実行信号）指示はオンにされる。この条件の具備を、「ズーム音の開始」とも呼ぶ。また、これら条件がひとつでも満たされないとプロファイル作成指示信号はネゲートされる。ここでＴｈｓｕｍ０、Ｔｈｎｕｍ０，Ｔｈｓｕｍ１，Ｔｈｎｕｍ１は、Ｓｕｍ０、Ｎｕｍ０，Ｓｕｍ１，Ｎｕｍ１それぞれに対する閾値である。この閾値は例えば実験的に決めることができる。

ここでＳｕｍ０（ｊ）、Ｎｕｍ０（ｊ）、Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）のＡＮＤ条件について説明する。ズームの駆動音の検出において、Ｓｕｍ０（ｊ）のフレーム間の左右差の差分の総和だけであると、周囲音が大きい場合は前記総和自体大きくなるので検出は難しい。また、Ｎｕｍ０（ｊ）のフレーム間の左右差の差分が大きくなる周波数ポイント数だけであると、広帯域の周囲音だとポイント数が増えるので検出が難しい。また、高周波数側の帯域における左右差振幅値の増加分の総和Ｓｕｍ１（ｊ）、および左右差振幅値が増加した周波数の本数Ｎｕｍ１（ｊ）を条件に追加している理由は以下のとおりである。すなわち、ズームの動作開始時の動きだし音は、モータの駆動におけるノイズに加え、ギアのかみ合う音や摺動音が混在する事により、１５ｋＨｚ以上の比較的高周波数の帯域にも振幅スペクトルが見える事が特徴的である。以上の特徴により、Ｓｕｍ０（ｊ）、Ｎｕｍ０（ｊ）、Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）のＡＮＤ条件をとる事で、より確実にズーム開始を判定する事ができる。また上記判定基準として左右差振幅値を用いるのは、カメラにおけるステレオマイクとレンズ駆動部の配置から、ズーム動作時におけるノイズは他の環境音に比べて一方のチャンネルにより捉えられやすいことによる。もしも左右のチャネルでズーム時のノイズに差がないならば、左右何れかの入力信号或いは和信号を用いるなどしてもよい。

また、本実施例においてプロファイル処理判定部２５６ａによりプロファイル作成部２５２ａに対しプロファイル作成指示が前述の判定条件により出される事を説明した。一方プロファイル作成完了指示については制御部１０９からプロファイル作成部２５２ａに出される事でノイズプロファイル作成を終了させる事とする。また前記処理は、制御部１０９の指示を受けて、プロファイル処理判定部２５６ａがプロファイル作成部２５２ａに対してプロファイル作成完了指示を出す構成であっても勿論構わない。

プロファイル処理判定部２５６ａはズーム開始を判定した時点において、プロファイル作成部２５２ａに対し、プロファイル作成指示を出力する。
本実施例においては、Ｌｃｈのプロファイル処理判定部２５６ａが左右差を算出し、Ｓｕｍ０（ｊ）、Ｎｕｍ０（ｊ）、Ｓｕｍ１（ｊ）、Ｎｕｍ１（ｊ）を算出し、それぞれの閾値と比較した後、ズーム開始を判定しているが、前記処理をプロファイル処理判定部２５６ｂが実施しても勿論構わない。プロファイル処理判定部２５６として一つの判定部として前記処理を実施しても勿論構わない。

また、積分回路２５０ａは、操作部１１０の操作による制御部１０９からの動画記録開始指示に応じて、ＦＦＴ２０７ａにて高速フーリエ変換された振幅スペクトルの各周波数の振幅値を時間軸について積分する。このとき、積分回路２５０ａは、積分したフレーム数をカウントする。ＦＦＴ２０７ａからの１フレームから得られた振幅スペクトルデータにおける周波数ｆｉ（ただし、ｉ＝０、１、...、１０２３のいずれか）の振幅値をＡ（ｆｉ）と表す。この場合、積分回路２５０ａは、次式のように各周波数の積分値（累積加算値）Ｓ（ｆｉ）を求める。
Ｓ（ｆｉ）＝ΣＡ（ｆｉ）
レンズ制御部２１８が光学レンズ２０１を移動させていない場合、積分回路２５０ａは、上述のように各周波数の振幅値を積分していく。そして、積分回路２５０ａは、各周波数の積分値を、積分期間を表すフレーム数ｎで除算した結果を出力する。つまり、積分回路２５０ａは、次式のように各周波数の平均振幅値Ａａｖｅ（ｆｉ）を算出し、その算出結果を出力する。
Ａａｖｅ（ｆｉ）＝Ｓ（ｆｉ）／ｎ
平均振幅値Ａａｖｅ（ｆｉ）（ｉ＝０、１、...、１０２３）で示されるデータは、図４の振幅スペクトル４０１に対応する。積分回路２５０ａは、算出した平均振幅値Ａａｖｅ（ｆｉ）をノイズプロファイル初期値として初期値格納部２５１ａに格納する。積分回路２５０ａからｈ、直前のｎフレーム分の各周波数の平均振幅値Ａａｖｅ（ｆｉ）が、フレーム毎に出力される。初期値格納部２５１ａはノイズプロファイル初期値の格納動作をプロファイル処理判定部２５６ａはズーム開始を判定した時点まで繰り返し実施する。この際、初期値格納部２５１ａは少なくとも直前の５フレーム分のノイズプロファイル初期値を格納しておき、それ以前のフレームのノイズプロファイル初期値は削除しても構わないものとする。すなわち、たとえばプロファイル処理判定部２５６ａは、各周波数について、所定数（本例では５つ）のフレームにわたる振幅値の移動平均を、プロファイル作成指示がアクティブとなるまで計算し、更新する。ノイズプロファイルとは、ズーム動作が行われている場合に発生する駆動ノイズを示すデータである。

積分回路２５０ａは、レンズ制御部２１８が光学レンズ２０１の移動を開始させてから安定化期間が経過するまでの間、上述のように各周波数の振幅値を積分し続けている。安定化期間とは、積分回路２５０ａの時定数により積分回路２５０ａに入力される振幅スペクトルが安定するまでの期間である。例えば安定化期間は時定数により定まる一定期間であってよい。その起点はたとえばプロファイル作成指示信号がアクティブになったタイミングであってよい。安定化期間が経過するまでの間において、ＦＦＴ２０７ａから出力される振幅スペクトルには、駆動ノイズが含まれている。安定化期間（所定数のフレーム例えば、ｍフレーム分に相当するものとする）が経過した場合、積分回路２５０ａは、積分した振幅値の平均値Ｓ（ｆｉ）／ｍをプロファイル作成部２５２ａに出力する。Ｓ（ｆｉ）／ｍは、図４の振幅スペクトル４０２に対応する。

プロファイル作成部２５２ａは、プロファイル処理判定部２５６ａからのプロファイル作成指示を受け、積分回路２５０ａから供給されたＳ（ｆｉ）／ｍ（スペクトル４０２に相当）から初期値格納部２５１ａに格納されている５フレーム前のＳ（ｆｉ）／ｎ（スペクトル４０１に相当）を減算することで、各周波数の駆動ノイズに対応する振幅値であるＮ（ｆｉ）を次式のように算出する。
Ｎ（ｆｉ）＝Ｓ（ｆｉ）／ｍ−Ｓ（ｆｉ）／ｎ
Ｎ（ｆｉ）が算出された後、プロファイル作成部２５２ａは、Ｎ（ｆｉ）をノイズプロファイルとしてプロファイル格納部２５３ａに格納する。ノイズプロファイルとは、ズーム動作が行われている場合に発生する駆動ノイズを示すデータである。

その後、振幅スペクトル減算部２５４ａは、ＦＦＴ２０７ａから供給される振幅スペクトルデータのＡ（ｆｉ）から、プロファイル格納部２５３ａから読み出された駆動ノイズの振幅値Ｎ（ｆｉ）を減算する処理を行う。なお、以下、ＦＦＴ２０７ａから供給される振幅スペクトルデータのＡ（ｆｉ）から、プロファイル格納部２５３ａから読み出されたノイズプロファイルである振幅値Ｎ（ｆｉ）を減算する処理を「減算処理」と呼ぶ。振幅スペクトル減算部２５４ａは、次式によって得られた振幅スペクトルデータＡ_NR（ｆｉ）をＩＦＦＴ２１４ａまたはＩＦＦＴ２１４ｂに出力する。
Ａ_NR（ｆｉ）＝Ａ（ｆｉ）−Ｎ（ｆｉ）
この減算処理はたとえば、プロファイル作成指示信号がオンである間実行され、プロファイル作成指示信号がオフにされたタイミングで停止する。

なお、ユーザによってレンズ操作部２２０から外部レンズ部１１６へのズーム動作の開始の指示を受け、ズームが動作を開始し、つまりプロファイル処理判定部２５６ａがプロファイル作成指示を出力してから、安定化期間が経過するまでの間、プロファイル作成部２５２ａでのノイズプロファイルの作成が完了していない状態が発生する。これにより、プロファイル作成部２５２ａによるノイズプロファイルの作成が完了するまでの期間を短くするためには、安定化期間に対応するフレーム数「ｍ」を小さくする必要がある。しかし、「ｍ」が極端に小さい場合、ノイズプロファイルによる駆動ノイズの低減の精度が低くなってしまう可能性がある。たとえばレンズ制御部２１８が光学レンズ２０１を移動させるための制御後にズーム動作が開始された場合、７０ｍｓ程度の間、駆動ノイズの一種である光学レンズ２０１の動きだし音や音揺れ等が発生する。光学レンズ２０１の動きだし音や音揺れ等を低減するために、７０ｍｓを超える期間において、プロファイル作成部２５２ａにノイズプロファイルを作成させるため、「ｍ」を例えば「１５」とする。

実施形態では、１フレームは１０２４個の時系列の音声データであるものの各フレームの半分は互いに重畳している。また、音声データのサンプリングレートは４８ｋＨｚとしているので、ｍ＝１５とすると、ノイズプロファイルの作成期間Ｔは、
Ｔ＝ｍフレーム分の期間＝ｍ（＝１５）×（１０２４／２）／４８ｋＨｚ＝１６０ｍｓ
となる。このように、安定化期間を確実に含む期間にわたって積分が行われるように、フレーム数ｍを決定する。これにより、プロファイル処理判定部２５６ａからプロファイル作成指示を受けてから作成期間Ｔが経過するまでの、安定化期間を含む期間に、プロファイル作成部２５２ａは、ノイズプロファイルを作成する。このため、プロファイル作成部２５２ａは、光学レンズ２０１の動きだし音や音揺れ等を低減するための精度の高いノイズプロファイルを作成できる。
また、ユーザーがレンズ操作部２２０を操作する事により外部レンズ部１１６へのズーム動作の開始の指示を受けズームが動作が開始され、ズーム動作の開始指示が制御部１０９を介して、ノイズ低減部２００ａに入力されるまでには、タイムラグが存在する。つまり外部レンズ部１１６のズーム動作が開始されてからノイズ低減部２００ａにズーム動作開始の指示が入力される構成となる。この場合、ズーム動作開始の指示を受けてからプロファイル作成を開始すると、ノイズ除去処理が、実際のズーム動作に間に合わず、ズーム音の消し残しが発生してしまう。また、ズーム動作が開始されてからノイズプロファイル初期値を取得する事となるので、不正確なノイズプロファイルを作成してしまう事になり、実際のズーム音よりも小さいノイズプロファイルが作成され、ズーム音の消し残しが発生してしまう。

本実施形態では、ズーム動作に伴う音の検知に基づいて初期値格納部２５１ａによりズーム動作開始前のノイズプロファイル初期値を確実に格納し、かつプロファイル処理判定部２５６ａによりズーム開始を判定してからプロファイル作成を開始する。こうする事により、前述のようなズーム音の消し残しのない精度の高いノイズプロファイルを作成できる。
ここで、ズーム動作が開始されたことの特定をより確実に行うために、本実施形態では以下のような制御を行ってもよい。ノイズ除去処理確定部２５８ａは、プロファイル処理判定部２５６ａからのプロファイル作成指示を受けてから所定の時間内にズーム動作の開始指示（ズーム制御信号）が制御部１０９から入力されれば、プロファイル作成の実行を継続させる。所定時間内にズーム動作の開始指示が入力されなければ、プロファイル作成の実行を中止させる。ノイズ除去処理確定部２５８ａの制御により、ズーム音の判定とズーム動作の指示の両方を検知して、プロファイル作成を継続するか否かを確定させる事で、正確なノイズ除去を実行する事ができる。上述した所定時間は、ユーザによるズーム開始操作の信号と、ズーム動作によりノイズ検知との時間差を超える値であればよく、たとえば予め実験的に決定しておくことができる。また、ノイズ除去処理確定部２５８ａは、プロファイルの作成を制御する代わりに、振幅スペクトル減算部２５４ａによるノイズプロファイルの減算処理を制御してもよい。すなわちノイズ除去処理確定部２５８ａは、プロファイル処理判定部２５６ａからのプロファイル作成指示を受けてから所定の時間内にズーム動作の開始指示（ズーム制御信号）が制御部１０９から入力されれば、振幅スペクトルからのノイズプロファイルの減算を継続させる。所定時間内にズーム動作の開始指示が入力されなければ、ノイズプロファイルの減算を中止させる。

後補正部２５５ａは、振幅スペクトル減算部２５４ａによって減算処理が行われた後の振幅スペクトルを補正して、ＩＦＦＴ２１４ａに出力する。

プロファイル補正部２５７ａは、環境音の大きさに応じて、プロファイル格納部２５３ａに格納されたノイズプロファイルを補正する処理を行う。プロファイル補正部２５７ａによって行われるノイズプロファイルの補正として、拡大補正（増加補正）と縮小補正（減少補正）とがある。プロファイル補正部２５７ａは、ノイズプロファイルの拡大補正を行うプロファイル拡大部２７１ａと、ノイズプロファイルの縮小補正を行うプロファイル縮小部２７２ａとを有する。

ノイズプロファイルの拡大補正とは、プロファイル作成部２５２ａによって作成されたノイズプロファイルまたはプロファイル補正部２５７ａによって補正されたノイズプロファイルの振幅スペクトルを増大させる補正である。つまり、ノイズプロファイルの拡大補正をすることで振幅スペクトル減算部２５４ａによって減算処理がされた後の振幅スペクトルデータＡ_NR（ｆｉ）は、その前に比べて小さくなる。また、ノイズプロファイルの縮小補正とは、プロファイル作成部２５２ａによって作成されたノイズプロファイルまたはプロファイル補正部２５７ａによって補正されたノイズプロファイルの振幅スペクトルを減少させる補正である。つまり、ノイズプロファイルの縮小補正をすることで振幅スペクトル減算部２５４ａによって減算処理がされた後の振幅スペクトルデータＡ_NR（ｆｉ）は、その前に比べて大きくなる。プロファイル補正部２５７ａによって行われるノイズプロファイルの補正は必要に応じて、ＦＦＴ２０７ａから供給される１フレーム毎の振幅値Ａ（ｆｉ）に対して行われる。撮像装置１００によってズーム動作が行われている場合、環境音や光学レンズ２０１の移動に伴う振幅スペクトルの変動に応じて、プロファイル補正部２５７ａは、ノイズプロファイルを適正に補正することができる。すなわち、ノイズプロファイルの補正は、ノイズプロファイルを適用してノイズ低減処理を行っている間に動的に行われる。

Ｌチャネル音声入力部１０２ｂもＲチャネル音声入力部１０２ａと同様に、マイク２０５ｂ、ＡＤＣ２０６ｂ、ＦＦＴ２０７ｂ、ノイズ低減部２００ｂ、ＩＦＦＴ２１４ｂ、ノイズ印加部２１５ｂ、音声処理部２１６ｂ、ＡＬＣ２１７ｂを有する。マイク２０５ａとマイク２０５ｂとは、同様の構成であり、ＦＦＴ２０７ａとＦＦＴ２０７ｂとは、同様の構成であり、ノイズ低減部２００ａとノイズ低減部２００ｂは、同様の構成である。さらに、ＩＦＦＴ２１４ａとＩＦＦＴ２１４ｂとは、同様の構成であり、ノイズ印加部２１５ａとノイズ印加部２１５ｂとは、同様の構成である。さらに、音声処理部２１６ａと音声処理部２１６ｂとは、同様の構成であり、ＡＬＣ２１７ａとＡＬＣ２１７ｂとは同様の構成である。

図３は、撮像装置１００のモードとして動画像撮影モードが選択された場合に制御部１０９および音声入力部１０２によって行われる動画記録処理の一例を示すフローチャートである。Ｓ３０１〜Ｓ３０５およびＳ３０７、Ｓ３１４、Ｓ３１５が制御部１０９により実行される。その他のステップであるＳ３０６，Ｓ３０８−Ｓ３１３は、音声入力部１０２により実行される。音声入力部１０２による入力音声についての処理は、制御部１０９による処理とは非同期かつ自律的に実行し得る。しかし、時系列的には図３のように実行されると考えられるので、ここでは一つのフローとして示した。次に、マイク２０５ａがＡＤＣ２０６ａにアナログの音声信号を出力する場合を一例に挙げて、以下、動画記録処理について説明する。

撮像装置１００が動画像撮影モードに変更された場合、制御部１０９は、ノイズ低減部２００ａにおけるプロファイル格納部２５３ａをゼロクリアにする（Ｓ３０１）。その後、制御部１０９は、積分回路２５０ａに対してＦＦＴ２０７ａから入力された振幅スペクトルデータの積分処理を開始させる（Ｓ３０２）。そして、制御部１０９は、操作部１１０の記録ボタンがＯＮされたか否か、つまり動画データの記録を撮像装置１００に開始させる指示が入力されたか否かを判定する（Ｓ３０３）。動画データの記録を撮像装置１００に開始させる指示が入力された場合（Ｓ３０３でＹｅｓ）、制御部１０９は、動画データの記録を開始する（Ｓ３０４）。この場合、制御部１０９は、撮像部１０１及び音声入力部１０２からメモリ１０３に格納される動画データを生成するための画像データ及び音声データの符号化処理を開始し、記録再生部１０７による記録媒体１０８への記録を開始する。Ｓ３０３で、記録指示がない場合、或いは、記録中でないと判断した場合、Ｓ３０２に戻り、振幅スペクトルデータの積分処理を継続する。Ｓ３０２で行われる積分処理は、Ｓ３０２からＳ３０２へのループにより、動画データの記録が開始されるまでは例えば所定期間にわたって周期的に繰り返される。

Ｓ３０５では、動画データの記録の開始を受け、制御部１０９は、上述のように、Ａａｖｅ（ｆｉ）を算出するように積分回路２５０ａを制御する。積分回路２５０ａによってＡａｖｅ（ｆｉ）が算出された場合、制御部１０９は、Ａａｖｅ（ｆｉ）を振幅スペクトルつまりノイズプロファイル初期値として初期値格納部２５１ａに格納を開始する（Ｓ３０５）。Ａａｖｅ（ｆｉ）は、既に説明したように、光学レンズ２０１の移動が検出されていない間に入力されたｎフレーム（本例では５フレーム）分の音声信号に含まれた周波数ｆｉの振幅値の平均値である。

次に、Ｓ３０６においてプロファイル処理判定部２５６ａはズーム開始を判定する。ズーム開始の判定は、プロファイル作成指示信号をアクティブにする条件の判定であり、上述した条件Ｓｕｍ０、Ｎｕｍ０，Ｓｕｍ１，Ｎｕｍ１すべてがそれぞれの閾値を超えているか否かの判定である。Ｓ３０６においてプロファイル処理判定部２５６ａはズーム開始を判定されなかった場合、制御部１０９は、操作部１１０を介して動画データの記録を撮像装置１００に終了させる指示が入力されたか否かを判定する（Ｓ３０７）。なおＳ３０７は、Ｓ３０６の判定とは非同期に実行されてもよい。この場合には制御部１０９は、Ｓ３０５でＡａｖｅ（ｆｉ）を算出するように積分回路２５０ａを制御した後にＳ３０７を実行する。

Ｓ３０７では、操作部１１０を介して動画データの記録を撮像装置１００に終了させる指示が入力された場合（Ｓ３０７でＹｅｓ）、制御部１０９は、メモリ１０３に格納されている動画データの符号化を開始し、記録媒体１０８への記録を行わせる。さらに、制御部１０９は、記録媒体１０８に記録している動画データの記録を停止し、動画ファイルとして完成させる（Ｓ３１５）。このとき動画と共に記録される音声は、音声入力部１０２によるノイズ低減処理済みの音声である。

一方、Ｓ３０６においてプロファイル処理判定部２５６ａがズーム開始と判定した場合、プロファイル作成部２５２ａに対しプロファイル作成指示を出す。プロファイル作成部２５２ａは、ノイズプロファイル作成指示に応じて、初期値格納部２５１ａに格納されたノイズプロファイルの初期値を取得し（Ｓ３０８）、その後ノイズプロファイル作成処理が開始される（Ｓ３０９）。ここで、ノイズ除去処理確定部２５８ａは、プロファイル作成指示から所定の時間内にズーム動作の開始指示が制御部１０９から入力されたか否かを判定する（Ｓ３１０）。所定時間内に入力されなければ、プロファイル作成部２５２ａに対しプロファイル作成処理（Ｓ３０９）を中止させ、プロファイル処理判定部２５６ａによるズーム開始の判定待ちに進む（Ｓ３０６）。また、プロファイル作成指示から所定の時間内にズーム動作の開始指示が制御部１０９から入力されれば、プロファイル作成処理（Ｓ３０９）を継続する。Ｓ３０８において行われるノイズプロファイル初期値作成処理とＳ３０９において行われるノイズプロファイル作成処理については後述する。ノイズプロファイル作成処理が実行されることによって作成されたノイズプロファイルは、プロファイル格納部２５３ａに格納される。

次に、振幅スペクトル減算部２５４ａは、ＦＦＴ２０７ａにて高速フーリエ変換された各周波数の振幅スペクトルデータの各周波数の振幅値からノイズプロファイルに含まれる特定の周波数の振幅値を減算するノイズ低減処理を行う（Ｓ３１１）。ノイズ低減処理が行われる場合、制御部１０９は、減算処理を行うように振幅スペクトル減算部２５４ａを制御する。次に、プロファイル補正部２５７ａは、プロファイル格納部２１０ａに格納されたノイズプロファイルを補正するノイズプロファイル補正処理を行う（Ｓ３１２）。ノイズプロファイル補正処理が行われる場合、制御部１０９は、ノイズプロファイル補正処理を行うようにノイズプロファイル補正処理部２５７ａを制御してもよい。Ｓ３１２において行われるノイズプロファイル補正処理については後述する。プロファイル補正部２５７ａによって補正されたノイズプロファイルは、次フレームの減算処理で適用される。次に、後補正部２５５ａは、振幅スペクトル減算部２５４ａにより減算処理が行われたＲｃｈの振幅スペクトルに対して後補正処理を行う（Ｓ３１３）。後補正とは、Ｒｃｈの振幅スペクトルとＬｃｈの振幅スペクトルとを同一にするように補正する処理である。Ｓ３１２において行われる後補正処理については後述する。

そして、制御部１０９により外部レンズ部１１６の操作によるズーム動作を停止する指示が入力されたか否かが判定される（Ｓ３１４）。レンズ操作部２２０からズーム動作を停止する指示が入力されていない場合、外部レンズ部１１６においてズーム動作が継続して実行されるので、制御部１０９は、Ｓ３１１からＳ３１３までの処理を繰り返させる。また、制御部１０９は、外部レンズ部１１６からズーム動作を停止する指示が入力された場合、外部レンズ部１１６におけるズーム動作を停止させ、Ｓ３０１の処理に戻る。Ｓ３０１に戻ったことで、制御部１０９によってプロファイルクリア処理が実行される。ノイズプロファイルがクリアされれば、ＦＦＴ２０７ａからの振幅スペクトルは補正されることなくＩＦＦＴ２１４ａに供給される。なおＳ３１４における判定は、特にＳ３１３に引き続いて実行される必要は無い。たとえばズーム動作を指示するズーム制御信号を図３の手順とは非同期に監視し、ズーム動作が停止されたと判定した場合にＳ３０１のプロファイルクリアを実行してもよい。またＳ３０１はプロファイル作成部２５２ａが実行してもよい。

なお、図３の動画記録処理について、マイク２０５ａがＡＤＣ２０６ａにアナログの音声信号を出力する場合を一例に挙げて説明を行った。しかしながら、マイク２０５ｂがアナログの音声信号をＡＤＣ２０６ｂに出力する場合も、図３の動画記録処理と同様に動画の記録を行う。

制御部１０９によって実行されるＳ３０８において行われるノイズプロファイル初期値作成処理とＳ３０９においてノイズプロファイルの作成処理について図４、５、６及び７を用いて説明を行う。

図５は、各周波数の振幅スペクトルに対するノイズプロファイル作成処理を示すタイミングチャート図である。図６は、撮像装置１００によってズーム動作が開始される前における環境音が大きい場合における各周波数の振幅スペクトルに対するノイズプロファイル作成処理を示すタイミングチャート図である。

以下、図５及び図６について説明を行う。図５及び図６おいて、システム制御部２１９がズーム操作に応じてズーム制御信号を出力し、光学レンズ２０１を移動させるようにレンズ制御部２１８を制御させ、光学レンズ２０１が実際に動き始めるタイミング、つまりはプロファイル処理判定部２５６がズーム開始を判定し、プロファイル作成指示信号をアクティブにしたタイミングを「ｔ１２」とする。
システム制御部２１９は、光学レンズ２０１を移動させるようにレンズ制御部２１８を制御する場合、ズーム制御信号をＯＮに変更する。光学レンズ２０１を移動させない場合、システム制御部２１９は、ズーム制御信号をＯＮにしないので、この場合、ズーム制御信号は、ＯＦＦになる。また、システム制御部２１９は、光学レンズ２０１の移動を停止させるようにレンズ制御部２１８を制御する場合、ズーム制御信号をＯＦＦに変更する。ズーム制御信号がＯＮに変更された場合、レンズ制御部２１８は、光学レンズ２０１の移動を開始させる。ズーム制御信号がＯＦＦに変更された場合、レンズ制御部２１８は、光学レンズ２０１の移動を停止させる。また、図５及び図６おいて、タイミングｔ１２でズーム音開始と判定される前に、制御部１０９が「ｔ１」のタイミングで初期値格納部２５１ａに格納されたノイズプロファイル初期値を、確定したノイズプロファイル初期値Ｄｔ１として取得する。ノイズプロファイル初期値は例えば所定フレーム（本例では５フレーム）ごとにその平均値として求められているので、タイミングｔ１からタイミングｔ１２までの間隔は所定フレーム（例えば５フレーム）以内の時間となる。
さらに、図５及び図６おいて、プロファイル処理判定部２５６が振幅スペクトル減算部２５４にノイズプロファイルを用いた減算処理を開始させるタイミングを「ｔ２」とする。さらに、図５及び図６おいて、システム制御部２１９がズーム制御信号をＯＦＦにするタイミングを「ｔ３」とする。ノイズプロファイルを用いた減算処理は、タイミングｔ２からタイミングｔ３までの期間、振幅スペクトル減算部２５４によって行われる。

図５及び図６において、ＦＦＴ２０７ａによって高速フーリエ変換された所定の周波数ｆｉの振幅スペクトルを「Ｉｔ」とする。さらに、図５及び図６において、積分回路２５０ａによって積分された所定の周波数ｆｉの振幅を示す振幅スペクトルを「Ｄｔ」とする。図５及び図６において、プロファイル作成部２５２ａによって作成された所定の周波数ｆｉに対応するノイズプロファイルを「Ｐｔ」とし、振幅スペクトル減算部２５４ａから出力される所定の周波数ｆｉの振幅スペクトルを「Ｕｔ」とする。さらに図５及び図６において、ノイズ印加部２１５ａによってノイズ信号が印加された後の所定の周波数ｆｉの時系列のデジタル音声信号を「Ｎｔ」とする。

ノイズプロファイルＰｔは、ナイキスト周波数である２４ｋＨｚまでにおいて５１２ポイントの振幅スペクトルを持つ。図５及び図６における５１２ポイントの振幅スペクトルＤｔ１は、撮像装置１００がズーム動作を行う前（光学レンズ２０１が移動していない状態）における環境音を示す振幅スペクトルを示し、図４におけるスペクトル４０１に対応する。図５及び図６における５１２ポイントの振幅スペクトル（Ｄｔ２）は、撮像装置１００がズーム動作を行っている場合（光学レンズ２０１が移動している状態）における環境音を示す振幅スペクトルを示し、図４におけるスペクトル４０２に対応する。

図７は、制御部１０９によって行わせるノイズプロファイル初期値作成処理（Ｓ３０８）とノイズプロファイル作成処理（Ｓ３０９）を示すフローチャートである。図７を用いて、制御部１０９によって制御される、プロファイル作成部２５２ａによるノイズプロファイル初期値作成処理とノイズプロファイル作成処理について説明する。プロファイル作成部２５２ｂにおいても同様の処理が行われる。
まず、プロファイル処理判定部２５６ａがズーム開始を判定後、プロファイル作成部２５２ａに対しプロファイル作成指示を出した場合（Ｓ３０６）（タイミングｔ１２）、その例えば５フレーム前のタイミングｔ１において初期値格納部２５１ａに格納された振幅スペクトルの積分値の平均値をノイズプロファイル初期値Ｄｔ１として決定する（Ｓ３０８）。その後、ノイズプロファイル作成処理が開始される（Ｓ３０９）（タイミングｔ１２）。

次に、制御部１０９は、タイミングｔ１２から安定化期間が経過したか否かを判定する（Ｓ７０１）。安定化期間が経過したタイミングｔ２において（Ｓ７０１でＹｅｓ）、制御部１０９は、上述のように、Ｓ（ｆｉ）／ｍを算出するように積分回路２５０ａを制御する。積分回路２５０ａによってＳ（ｆｉ）／ｍが算出された場合、制御部１０９は、Ｓ（ｆｉ）／ｍを振幅スペクトルＤｔ２として初期値格納部２５１ａに保存する（Ｓ７０２）。

次に、制御部１０９は、振幅スペクトルＤｔ１が所定の振幅スペクトルであるＤｔｔｈ以下であるか否かを判定する（Ｓ７０３）。所定の振幅スペクトルＤｔｔｈは、あらかじめメモリ１０３に格納されているものとする。所定の振幅スペクトルＤｔｔｈは、撮像装置１００によってズーム動作が開始される前における環境音が大きい場合であっても、駆動ノイズを低減できるように設定される。所定の振幅スペクトルＤｔｔｈは、撮像装置１００の騒音ノイズとして予測されるノイズレベルよりも一定レベル低いレベルになるように設定される。

振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈよりも大きいと判定された場合（Ｓ７０３でＮｏ）、制御部１０９は、ズーム動作が開始される前の環境音が大きいと判定する。なお振幅スペクトルの大小の判定は、たとえば、周波数ごとに行われる。その場合、その判定に応じた処理も、周波数ごとの判定結果に応じて行われる。すなわち、たとえば２つの周波数における判定結果が相違していれば、それら２つの周波数についての処理もそれぞれの判定結果に応じたものとなる。あるいはスペクトルの大小の判定をたとえば可聴域におけるパワーの総和どうしを比較するなどして行ってもよい。この場合には判定に応じた処理は、すべての周波数に対して共通に適用される。或いはこのほかの方法で判定を行ってもよい。これはＳ７０３に限らず、本実施形態あるいは他の実施形態におけるスペクトルどうしの比較判定について同様である。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下でないと判定された場合（Ｓ７０３でＮｏ）、ノイズプロファイル作成処理は、図６のようなタイミングチャートになる。この場合（Ｓ７０３でＮｏ）、制御部１０９は、振幅スペクトルＤｔ１として初期値格納部２５１ａに保存されているＡａｖｅ（ｆｉ）を消去し、所定の振幅スペクトルＤｔｔｈが振幅スペクトルＤｔ１として初期値格納部２５１ａに保存されるようにする（Ｓ７０４）。所定の振幅スペクトルＤｔｔｈが振幅スペクトルＤｔ１として初期値格納部２５１ａに保存された場合、制御部１０９は、Ｓ７０５の処理を行う。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下であると判定された場合（Ｓ７０３でＹｅｓ）、ノイズプロファイル作成処理は、図５のようなタイミングチャートになる。この場合（Ｓ７０３でＹｅｓ）、制御部１０９は、Ｓ７０５の処理を行う。

次に、制御部１０９は、振幅スペクトルＤｔ２から振幅スペクトルＤｔ１を減算することによって、ノイズプロファイルＰｔを作成するようにプロファイル作成部２５２ａを制御する（Ｓ７０５）。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下である場合、プロファイル作成部２５２ａは、振幅スペクトルＤｔ２からＡａｖｅ（ｆｉ）を減算することによって、ノイズプロファイルＰｔを作成する。振幅スペクトルＤｔ１が所定の振幅スペクトルＤｔｔｈ以下でない場合、プロファイル作成部２５２ａは、振幅スペクトルＤｔ２から所定の振幅スペクトルＤｔｔｈを減算することによって、ノイズプロファイルＰｔを作成する。プロファイル作成部２５２ａによって作成されたノイズプロファイルＰｔは、プロファイル格納部２５３ａに格納される。

一方ステップＳ７０１において安定化期間が経過していないと判定された場合（Ｓ７０１でＮｏ）、プロファイル格納部２５３ａには、ノイズプロファイルＰｔは格納されていないので、ノイズプロファイルＰｔを用いて駆動ノイズを低減することはできない。そこで、制御部１０９は、ステップＳ７０６〜Ｓ７０８のとおり、振幅スペクトル減算部２５４ａを制御する。安定化期間が経過していない場合、図５の波形５０１のように環境音が途中から急激に変動する場合がある。そこでこの場合、制御部１０９は、入力信号の振幅スペクトルＩｔが振幅スペクトルＤｔ１以上であるか否かを判定する（Ｓ７０６）。この判定もステップＳ７０３と同じ要領で行ってよい。

振幅スペクトルＩｔが振幅スペクトルＤｔ１以上であると判定された場合（Ｓ７０６でＹｅｓ）、制御部１０９は、安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）、振幅スペクトルＵｔが振幅スペクトルＤｔ１と同一になるように振幅スペクトル減算部２５４ａを制御する（Ｓ７０７）。一方振幅スペクトルＩｔが振幅スペクトルＤｔ１以上でないと判定された場合（Ｓ７０６でＮｏ）、制御部１０９は、安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）、振幅スペクトルＵｔが振幅スペクトルＩｔと同一になるように振幅スペクトル減算部２５４ａを制御する（Ｓ７０８）。すなわち、入力信号が閾値以上であれば入力信号を出力し、そうでなければ閾値Ｄｔｔｈを出力する。

なお、図７のノイズプロファイル作成処理について、プロファイル作成部２５２ａがノイズプロファイルを作成する場合を一例に挙げて説明を行った。しかしながら、プロファイル作成部２５２ｂがノイズプロファイルを作成する場合も、図７のノイズプロファイル作成処理と同様にノイズプロファイルを作成する。

なお、図６のような場合、振幅スペクトルＩｔが振幅スペクトルＤｔ１以上の状態になったり、振幅スペクトルＩｔが振幅スペクトルＤｔ１以上でない状態になったりを繰り返す場合がある。このような場合であっても、振幅スペクトルＵｔは、振幅スペクトルＤｔ１を超えないように制御される。これにより、撮像装置１００は、安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）の期間において、駆動ノイズを低減することができる。

このように、プロファイル処理判定部２５６ａがプロファイル作成指示を出してから安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）の期間、制御部１０９は、振幅スペクトルＵｔが振幅スペクトルＩｔまたは振幅スペクトルＤｔ１になるように制御する。これにより、撮像装置１００は、プロファイル処理判定部２５６ａがプロファイル作成指示を出してから安定化期間が経過するまで（タイミングｔ１２からタイミングｔ２まで）の期間における駆動ノイズを低減することができる。さらに、安定化期間が経過した後（タイミングｔ２からタイミングｔ３まで）の期間、制御部１０９は、ノイズプロファイルＰｔを使って、安定化期間が経過した後（タイミングｔ２からタイミングｔ３まで）の期間における駆動ノイズを低減することができる。これにより、撮像装置１００は、駆動ノイズの低減をシームレスに行うことができる。

［ノイズプロファイル補正処理（Ｓ３１１）］
Ｓ３１１において制御部１０９によって実行されるノイズプロファイル補正処理について図８、図９、図１０及び図１１を用いて説明を行う。次に、プロファイル補正部２５７ａがプロファイル作成部２５２ａによって作成されたノイズプロファイルを補正する場合を一例に挙げて、以下、ノイズプロファイル補正処理について説明する。ノイズプロファイルの補正処理は、入力音声信号の振幅スペクトルの変動に応じてノイズプロファイルを動的に補正するための処理である。

図８は、ノイズプロファイルＰｔを拡大補正する処理を示すタイミングチャート図である。図９は、ノイズプロファイルＰｔを縮小補正する処理を示すタイミングチャート図である。
図８及び図９におけるｔ１、ｔ１２、ｔ２、ｔ３、Ｉｔ、Ｄｔ、Ｐｔ、Ｕｔ、Ｎｔは、図５及び図６におけるｔ１、ｔ１２、ｔ２、ｔ３、Ｉｔ、Ｄｔ、Ｐｔ、Ｕｔ、Ｎｔと同様であるため、説明を省略する。図１１は、ノイズプロファイル補正処理に関する時定数の設定を示す図である。

図１０は、制御部１０９によって行われるノイズプロファイル補正処理を示すフローチャートである。図１０を用いて、制御部１０９によって行われるノイズプロファイル補正処理について説明する。なお、マイク２０５ａがＡＤＣ２０６ａにアナログの音声信号を出力する場合を一例に挙げて、以下、ノイズプロファイル補正処理について説明する。積分回路２５０ａは、Ｓ３０９のおけるノイズプロファイル作成処理が行われた後、あらかじめ設定されたフレーム数の各周波数の振幅値の積分し、積分された振幅値をあらかじめ設定されたフレーム数で除算することで、各周波数の平均振幅値を算出する。あらかじめ設定されたフレーム数は、ユーザによって設定されても良い。あらかじめ設定されたフレーム数が「１」である場合、積分回路２５０ａが出力する振幅スペクトルの値は、ＦＦＴ２０７ａから出力される値と等しくなる。積分回路２５０ａは、各周波数の平均振幅値を振幅スペクトルＤｔとして出力する。

制御部１０９は、積分回路２５０ａから出力された振幅スペクトルＤｔが所定の振幅スペクトルＤｔ２以下であるか否かを判定する（Ｓ１００１）。振幅スペクトルＤｔが振幅スペクトルＤｔ２よりも大きいと判定された場合（Ｓ１００１でＮｏ）、制御部１０９は、プロファイル格納部２５３ａに格納されているノイズプロファイルＰｔが第１の値Ｐｍａｘ以下であるか否かを判定する（Ｓ１００２）。なお、第１の値Ｐｍａｘは、ノイズプロファイルＰｔの拡大補正を制限するための閾値である。さらに、第１の値Ｐｍａｘは、駆動ノイズを低減し過ぎることによる違和感を防止するために用いられる。

図８のように、タイミングｔ２からタイミングｔ３までの期間、駆動ノイズが大きくなることに伴い、振幅スペクトルＤｔが振幅スペクトルＤｔ２よりも大きくなる。このため、プロファイル作成部２５２ａで生成されたノイズプロファイルＰｔを使って減算処理を振幅スペクトル減算部２１１ａに行わせるだけでは、振幅スペクトルＤｔと振幅スペクトルＤｔ２との差分に対応する駆動ノイズは低減されなかった。そこで、ノイズプロファイルＰｔが第１の値Ｐｍａｘ以下であると判定された場合（Ｓ１００２でＹｅｓ）、制御部１０９は、時定数ｉｎｃ（ｆｉ）に応じてノイズプロファイルＰｔの拡大補正をプロファイル拡大部２７１ａに行わせる（Ｓ１００３）。たとえば拡大補正によりＤｔ（ｆｉ）−Ｄｔ２（ｆｉ）の値を、Ｐｍａｘ（ｆｉ）を上限としてノイズプロファイルＰｔ（ｆｉ）に上乗せする。ただし一時に行わず、時定数ｉｎｃ（ｆｉ）に応じた増加率で増加させる。もちろんこれは一例に過ぎない。ノイズプロファイルＰｔの拡大補正が行われた後、制御部１０９は、Ｓ１００４の処理を行う。

ノイズプロファイルＰｔが第１の値Ｐｍａｘ以下でないと判定された場合（Ｓ１００２でＮｏ）、駆動ノイズを低減し過ぎることを防止するために、制御部１０９は、ノイズプロファイルＰｔの拡大補正をプロファイル拡大部２７１ａに行わせないようにする。ノイズプロファイルＰｔが第１の値Ｐｍａｘ以下でないと判定された場合（Ｓ１００２でＮｏ）、制御部１０９は、Ｓ１００４の処理を行う。振幅スペクトルＤｔが振幅スペクトルＤｔ２以下であると判定された場合（Ｓ１００１でＹｅｓ）、制御部１０９は、Ｓ１００４の処理を行う。

制御部１０９は、振幅スペクトル減算部２５４ａから出力された振幅スペクトルＵｔが第２の値Ｕｍｉｎ以上であるか否かを判定する（Ｓ１００４）。なお、第２の値Ｕｍｉｎは、ノイズプロファイルＰｔの縮小補正を制限する閾値である。第２の値Ｕｍｉｎは、ノイズフロアレベルであり、音声入力部１０２に音声が入力されていない場合であっても、録音されてしまう最小のノイズの値である。ノイズプロファイルＰｔが第２の値Ｕｍｉｎ以上であると判定された場合（Ｓ１００４でＹｅｓ）、制御部１０９は、ノイズプロファイルＰｔの縮小補正をプロファイル縮小部２７２ａに行わせないようにし、ノイズプロファイル補正処理を終了する。

図９のように、タイミングｔ２からタイミングｔ３までの期間、駆動ノイズが小さくなることに伴い、振幅スペクトルＵｔが第２の値Ｕｔｍｉｎよりも小さくなる。このため、プロファイル作成部２５２ａで生成されたノイズプロファイルＰｔを使って減算処理を振幅スペクトル減算部２１１ａに行わせるだけでは、振幅スペクトルＵｔと第２の値Ｕｔｍｉｎとの差分に対応する音声が消されてしまう場合があった。そこで、ノイズプロファイルＰｔが第２の値Ｕｍｉｎ以上でないと判定された場合（Ｓ１００４でＮｏ）、制御部１０９は、時定数ｄｅｃ（ｆｉ）に応じてノイズプロファイルＰｔの縮小補正をプロファイル縮小部２７２ａに行わせる（Ｓ１００５）。たとえば縮小補正によりＵｔ（ｆｉ）−Ｕｔｍｉｎ（ｆｉ）の値を、ノイズプロファイルＰｔ（ｆｉ）から差し引く。ただし一時に行わず、時定数ｄｅｃ（ｆｉ）に応じた減少率で減少させる。もちろんこれは一例に過ぎない。ノイズプロファイルＰｔの縮小補正が行われた後、制御部１０９は、ノイズプロファイル補正処理を終了する。

なお、図１０のノイズプロファイル補正処理について、プロファイル補正部２５７ａがプロファイル作成部２５２ａによって作成されたノイズプロファイルを補正する場合を一例に挙げて説明を行った。しかしながら、プロファイル補正部２５６ｂがプロファイル作成部２５２ｂによって作成されたノイズプロファイルを補正する場合も、図１０のノイズプロファイル補正処理と同様にノイズプロファイルの補正を行う。また図１０において、Ｓ１００１およびＳ１００４の条件から、拡大補正と縮小補正が両方同時に実施されることを防止するために、Ｓ１００３の後はＳ１００４に進まず、そのまま処理を終了させてもよい。

次に、図１１を用いて、プロファイル拡大部２７１ａによるノイズプロファイルＰｔの拡大補正の時定数ｉｎｃ（ｆｉ）及びプロファイル縮小部２７２ａによるノイズプロファイルＰｔの縮小補正の時定数ｄｅｃ（ｆｉ）を設定する方法について説明する。

図１１（Ａ）は、駆動ノイズの各周波数の特性を示す図である。図１１（Ｂ）は、ノイズプロファイルＰｔを拡大補正する場合の周波数に応じた時定数ｉｎｃ（ｆｉ）の設定を示す図である。図１１（Ｃ）は、ノイズプロファイルＰｔを縮小補正する場合の周波数に応じた時定数ｄｅｃ（ｆｉ）の設定を表す図である。

図１１（Ａ）において、スペクトル１１０１は、撮像装置１００によってズーム動作が行われている場合における振幅スペクトルを５１２ポイントの振幅スペクトルで示したものである。スペクトル１１０２は、撮像装置１００によってズーム動作が行われている場合における振幅スペクトルの変化を示したものである。スペクトル１１０２が示すように、周波数帯が高域になるほど、撮像装置１００によってズーム動作が行われている場合における駆動ノイズの変化が大きくなる。

これにより、図１１（Ｂ）のように、プロファイル拡大部２７１ａによるノイズプロファイルＰｔの拡大補正が行われる場合、周波数帯域が高くなるほど、時定数ｉｎｃ（ｆｉ）は、小さくなるように設定される。これは、駆動ノイズの変化に対して、ノイズプロファイルＰｔの拡大補正を早く追従させることによって、駆動ノイズが低減されず残ってしまうような事態を防止する。

また、図１１（Ｃ）のように、プロファイル縮小部２７２ａによるノイズプロファイルＰｔの縮小補正が行われる場合、周波数帯域が高くなるほど、時定数ｄｅｃ（ｆｉ）は、大きくなるように設定される。これは、駆動ノイズの変化に対して、ノイズプロファイルＰｔの縮小補正を遅く追従させることによって、駆動ノイズが低減されず残ってしまうような事態を防止する。

本実施形態において、ノイズプロファイルＰｔを縮小補正する際の時定数ｄｅｃ（ｆｉ）は、ノイズプロファイルＰｔを拡大補正する際の時定数ｉｎｃ（ｆｉ）よりも大きくする。

［左右それぞれのチャネルに対するノイズプロファイルの補正］
ＩＦＦＴ２１４ａによって時系列の音声信号に戻された後に、ノイズ印加部２１５ａは、ＩＦＦＴ２１４ａから供給された音声信号にノイズ信号を印加する。ノイズ印加部２１５ａは、ノイズ低減部２００ａによる駆動ノイズの低減し過ぎによる違和感を防止するために、ノイズ信号を印加する。ノイズ印加部２１５ａによって印加されるノイズ信号は、ノイズフロアレベルの信号であるものとする。これにより、振幅スペクトル減算部２５４ａによる減算処理は、駆動ノイズの低減が重視される。

図１２は、外部音源１２０１と音声入力部１０２との関係の一例を示す図である。図１２のように、外部音源１２０１と撮像装置１００との距離が十分に離れている場合、外部音源１２０１とＲチャネル音声入力部１０２ａとの距離と、外部音源１２０１とＬチャネル音声入力部１０２ｂとの距離とは、ほぼ同じである。このため、マイク２０５ａによって取得される環境音と、マイク２０５ｂによって取得される環境音との差は小さい。

しがしながら、光学レンズ２０１とＲチャネル音声入力部１０２ａとの距離と、光学レンズ２０１とＬチャネル音声入力部１０２ｂとの距離との差による駆動ノイズの影響は異なる。そのため、Ｒチャネル音声入力部１０２ａへの駆動ノイズの影響と、Ｌチャネル音声入力部１０２ｂへの駆動ノイズの影響とをそれぞれ考慮する必要がある。

次の式に示されるように、Ｒチャネル音声入力部１０２ａへの駆動ノイズの影響とＬチャネル音声入力部１０２ｂへの駆動ノイズの影響との差は、大きくなる。次の式の「ＤｔＬ」は、ノイズ低減処理が行われる前のＬ（Ｌｅｆｔ）のチャネルの振幅値であり、「ＤｔＲ」は、ノイズ低減処理が行われる前のＲ（Ｒｉｇｈｔ）のチャネルの振幅値である。さらに、次の式の「βｔ」は、左右相関振幅スペクトルである。
βｔ＝｜ＤｔＬ−ＤｔＲ｜／（ＤｔＬ＋ＤｔＲ）
環境音は、音量が大きいほど、ＬｃｈとＲｃｈとで差分は大きくなる。しかし、図１２のような場合、外部音源１２０１とＲチャネル音声入力部１０２ａとの距離と、外部音源１２０１とＬチャネル音声入力部１０２ｂとの距離とは、ほぼ同じなので、左右相関振幅スペクトルβｔは小さくなる。駆動ノイズについては、光学レンズ２０１とＲチャネル音声入力部１０２ａとの距離と、光学レンズ２０１とＬチャネル音声入力部１０２ｂとの距離との差により、左右相関振幅スペクトルβｔは大きくなる。左右相関振幅スペクトルβｔにより、駆動ノイズが環境音に対して支配的か否かを判定することができる。

次に、図１３及び図１４を用いて、Ｒｃｈへの駆動ノイズの影響と、Ｌｃｈへの駆動ノイズの影響とを考慮したノイズプロファイル補正処理について説明を行う。

図１３は、Ｒｃｈ及びＬｃｈに対してノイズプロファイルを補正する処理を示すタイミングチャート図である。図１３におけるｔ１、ｔ１２、ｔ２、ｔ３は、図５及び図６におけるｔ１、ｔ１２、ｔ２、ｔ３と同様であるため、説明を省略する。

図１３において、ＦＦＴ２０７ａによって高速フーリエ変換された所定の周波数ｆｉの振幅スペクトルを「ＩｔＲ」とし、ＦＦＴ２０７ｂによって高速フーリエ変換された所定の周波数ｆｉの振幅スペクトルを「ＩｔＬ」とする。振幅スペクトルＩｔＲは、点線で示され、振幅スペクトルＩｔＬは、実線で示される。さらに、図１３において、積分回路２５０ａによって積分された所定の周波数ｆｉの振幅を示す振幅スペクトルを「ＤｔＲ」とし、積分回路２５０ｂによって積分された所定の周波数ｆｉの振幅を示す振幅スペクトルを「ＤｔＬ」とする。振幅スペクトルＤｔＲは、点線で示され、振幅スペクトルＤｔＬは、実線で示される。図１３において、プロファイル作成部２５２ａによって作成された所定の周波数ｆｉに対応するノイズプロファイルを「ＰｔＲ」とし、プロファイル作成部２５２ｂによって作成された所定の周波数ｆｉに対応するノイズプロファイルを「ＰｔＬ」とする。ノイズプロファイルＰｔＲは、点線で示され、ノイズプロファイルＰｔＬは、実線で示される。タイミングｔ２において、プロファイル作成部２５２ａによってノイズプロファイルＰｔＲが作成され、プロファイル作成部２５２ｂによってノイズプロファイルＰｔＬが作成される。

図１３において、振幅スペクトル減算部２５４ａから出力される所定の周波数ｆｉの振幅スペクトルを「ＵｔＲ」とし、振幅スペクトル減算部２５４ｂから出力される所定の周波数ｆｉの振幅スペクトルを「ＵｔＬ」とする。振幅スペクトルＵｔＲは、点線で示され、振幅スペクトルＵｔＬは、実線で示される。図１３において、ノイズ印加部２１５ａによってノイズ信号が印加された後の所定の周波数ｆｉの時系列のデジタル音声信号を「ＮｔＲ」とする。図１３において、ノイズ印加部２１５ｂによってノイズ信号が印加された後の所定の周波数ｆｉの時系列のデジタル音声信号を「ＮｔＬ」とする。振幅スペクトルＮｔＲは、点線で示され、振幅スペクトルＮｔＬは、実線で示される。図１３において、振幅スペクトルＩｔＬと振幅スペクトルＩｔＲとの差分の絶対値である｜ＩｔＬ−ＩｔＲ｜は、実線で示される。図１３において、振幅スペクトルＵｔＬと振幅スペクトルＵｔＲとの差分の絶対値である｜ＵｔＬ−ＵｔＲ｜は、点線で示される。

図１３に示すように、｜ＵｔＬ−ＵｔＲ｜が｜ＩｔＬ−ＩｔＲ｜を上回る場合がある。これは、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが減算処理により駆動ノイズが低減され過ぎていることを示す。これは、ノイズプロファイルＰｔＬ及びノイズプロファイルＰｔＲのいずれか一つが大き過ぎることが原因となって起こることである。

図１４は、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理の一例を示すフローチャートである。図１４を用いて、制御部１０９によって行われるＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理について説明する。なお、ノイズプロファイルＰｔＲに対して図１０のノイズプロファイル補正処理が行われ、ノイズプロファイルＰｔＬに対して図１０のノイズプロファイル補正処理が行われた後、図１４のＲｃｈ及びＬｃｈに対するノイズプロファイル補正処理が行われる。これによってたとえば、上述したような、ノイズプロファイルＰｔＬ及びノイズプロファイルＰｔＲのいずれか一つが大き過ぎることに起因する、ノイズ除去処理による左右チャネル差の増大に対処する。

この後、制御部１０９は、振幅スペクトルＩｔＬ、振幅スペクトルＩｔＲ、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲ検出し、以下の条件が成立しているか否かを判定する（Ｓ１４０１）。
条件：｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜
条件｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜が成立していると判定された場合（Ｓ１４０１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以上であるか否かを判定する（Ｓ１４０２）。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以上である場合（Ｓ１４０２でＹｅｓ）、制御部１０９は、時定数ｉｎｃ＿Ｌ（ｆｉ）に応じてノイズプロファイルＰｔＬの拡大補正をプロファイル拡大部２７１ｂに行わせる（Ｓ１４０３）。時定数ｉｎｃ＿Ｌ（ｆｉ）は、プロファイル拡大部２７１ｂに対応する時定数である。その後、制御部１０９は、時定数ｄｅｃ＿Ｒ（ｆｉ）に応じてノイズプロファイルＰｔＲの縮小補正をプロファイル縮小部２７２ａに行わせる（Ｓ１４０４）。時定数ｄｅｃ＿Ｒ（ｆｉ）は、プロファイル縮小部２７２ａに対応する時定数である。Ｓ１４０４の処理が行われた後、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理は終了する。時定数ｄｅｃ＿Ｒ（ｆｉ）は、時定数ｉｎｃ＿Ｌ（ｆｉ）よりも大きくなる。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも小さいと判定された場合（Ｓ１４０２でＮｏ）、制御部１０９は、時定数ｉｎｃ＿Ｒ（ｆｉ）に応じてノイズプロファイルＰｔＲの拡大補正をプロファイル拡大部２７１ａに行わせる（Ｓ１４０５）。時定数ｉｎｃ＿Ｒ（ｆｉ）は、プロファイル拡大部２７１ａに対応する時定数である。その後、制御部１０９は、時定数ｄｅｃ＿Ｌ（ｆｉ）に応じてノイズプロファイルＰｔＬの縮小補正をプロファイル縮小部２７２ｂに行わせる（Ｓ１４０６）。時定数ｄｅｃ＿Ｌ（ｆｉ）は、プロファイル縮小部２７２ｂに対応する時定数である。Ｓ１４０６の処理が行われた後、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理は終了する。時定数ｄｅｃ＿Ｌ（ｆｉ）は、時定数ｉｎｃ＿Ｒ（ｆｉ）よりも大きくなる。

条件｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜が成立していない場合、｜ＩｔＬ−ＩｔＲ｜＞｜ＵｔＬ−ＵｔＲ｜となる。条件｜ＩｔＬ−ＩｔＲ｜≦｜ＵｔＬ−ＵｔＲ｜が成立していないと判定された場合（Ｓ１４０１でＮｏ）、制御部１０９は、Ｒｃｈ及びＬｃｈに対するノイズプロファイル補正処理は終了する。

このように、制御部１０９は、環境音や駆動ノイズの変化に伴い、ノイズプロファイルＰｔＲに対して補正を行い、ノイズプロファイルＰｔＬに対して補正を行うようにした。具体的には、ノイズ除去処理の出力の左右チャネルの差が、ノイズ除去処理の入力の左右チャネルの差に比べて増大している場合には、出力の左右チャネルの差を縮小するように、左右チャネルのノイズプロファイルをそれぞれ補正する。これにより、撮像装置１００は、Ｒｃｈの音声に対するノイズ低減処理と、Ｌｃｈの音声に対するノイズ低減処理とが適切に行われるようにすることができる。したがって、撮像装置１００は、駆動ノイズの消し残しや駆動ノイズの低減し過ぎによって環境音に違和感が生じるような事態を防止することができる。

［ノイズ低減処理（Ｓ３１１）］
Ｓ３１１において、制御部１０９によって制御されるノイズ低減処理について図１５、図１６及び図１７を用いて説明を行う。

図１５は、Ｒｃｈ及びＬｃｈに対するノイズ低減処理を示すタイミングチャート図である。図１５におけるｔ１、ｔ１２、ｔ２、ｔ３は、図５及び図６におけるｔ１、ｔ１２、ｔ２、ｔ３と同様であるため、説明を省略する。図１５におけるＩｔＲ、ＩｔＬ、ＤｔＲ、ＤｔＬ、ＰｔＲ、ＰｔＬ、ＵｔＲ、ＵｔＬ、ＮｔＲ及びＮｔＬは、図１３におけるＩｔＲ、ＩｔＬ、ＤｔＲ、ＤｔＬ、ＰｔＲ、ＰｔＬ、ＵｔＲ、ＵｔＬ、ＮｔＲ及びＮｔＬと同様であるため、説明を省略する。

撮像装置１００によってズーム動作が行われている間に環境音や駆動ノイズが急激に変化した場合、ノイズプロファイルＰｔＲ及びノイズプロファイルＰｔＬを用いて駆動ノイズを低減したとしても、駆動ノイズの消し残りや環境音に違和感が生じる場合がある。これを防止するために、制御部１０９は、左右相関振幅スペクトルβｔに応じて、ノイズ低減処理を行う。

図１６は、ノイズ低減処理の二つの例を示すフローチャートである。図１７は、係数αと環境音との関係を示す図である。図１７の横軸は、環境音のレベルを示し、図１７の縦軸は、係数αの値を示している。図１７において、環境音のレベルに係数αが対応づけられている。図１７における実線１７０１が、環境音のレベルに対応した係数αの値を示している。破線１７０２は、駆動ノイズのレベルであり、破線１７０３は、駆動ノイズが環境音によってかき消されるレベルである。係数αは、環境音レベルの大きくなるほど、小さくなるものとする。環境音のレベルが破線１７０２のレベルである場合、係数αは０．１２５となる。

次に、図１６（ａ）及び図１７を用いて、制御部１０９によって行われるノイズ低減処理について説明を行う。なお、図１６（ａ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行う。

タイミングｔ１２において、制御部１０９は、初期値格納部２５１ａに保存された振幅スペクトルＤｔ１に応じて、係数αを決定する（Ｓ１６０１）。係数αは、ノイズプロファイルに乗算する係数である。Ｓ１６０１において、制御部１０９は、振幅スペクトルＤｔ１に対応する図１７のおける環境音のレベルを検出し、検出された環境音のレベルに対応する係数αの値を決定する。

次に、制御部１０９は、上述のように左右相関振幅スペクトルβｔを算出する（Ｓ１６０２）。その後、制御部１０９は、左右相関振幅スペクトルβｔが第３の値βｔｈ以下であるか否かを判定する（Ｓ１６０３）。なお、第３の値βｔｈは、環境音がないときにおいて算出された左右相関振幅スペクトルβｔβｔの値に応じて設定される。環境音のレベルが大きいほど、左右相関振幅スペクトルβｔは０に近くなる。また、環境音に対して駆動ノイズが支配的である場合、左右相関振幅スペクトルβｔは、０．２以上になる。

左右相関振幅スペクトルβｔが第３の値βｔｈ以下であると判定された場合（Ｓ１６０３でＹｅｓ）、制御部１０９は、Ｓ１６０４の処理を行う。Ｓ１６０４において、制御部１０９は、ノイズプロファイルＰｔとＳ１６０１において決定された係数αとを乗算し、これを振幅スペクトルＩｔから減算するように振幅スペクトル減算部２５４ａを制御する。Ｓ１６０４において、振幅スペクトル減算部２５４によって減算処理が行われた場合、振幅スペクトル減算部２５４から出力される振幅スペクトルＵｔは、次式のようになる。
Ｕｔ＝Ｉｔ−α・Ｐｔ
左右相関振幅スペクトルβｔが第３の値βｔｈよりも大きいと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、Ｓ１６０５の処理を行う。Ｓ１６０５において、制御部１０９は、第１の値ＰｍａｘとＳ１６０１において決定された係数αとを乗算し、これを振幅スペクトルＩｔから減算するように振幅スペクトル減算部２５４を制御する。Ｓ１６０５において、振幅スペクトル減算部２５４ａによって減算処理が行われた場合、振幅スペクトル減算部２５４ａから出力される振幅スペクトルＵｔは、次式のようになる。
Ｕｔ＝Ｉｔ−α・Ｐｍａｘ
左右相関振幅スペクトルβｔが第３の値βｔｈ以下でないと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、ノイズプロファイルＰｔを用いないようにする。なお、図１６（ａ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行った。しかしながら、振幅スペクトル減算部２５４ｂが減算処理を行う場合も、図１６（ａ）のノイズ低減処理と同様に駆動ノイズの低減を行う。

次に、図１６（ｂ）及び図１７を用いて、制御部１０９によって行われるノイズ低減処理について説明を行う。なお、図１６（ｂ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行う。

図１６（ｂ）におけるＳ１６０２、Ｓ１６０３及びＳ１６０４は、図１６（ｂ）におけるＳ１６０２、Ｓ１６０３及びＳ１６０４と同一の処理であるので、説明を省略する。制御部１０９は、前フレームの減算処理後の振幅スペクトルＵｔ−１に応じて、係数αを決定する（Ｓ１６０６）。Ｓ１６０６において、制御部１０９は、振幅スペクトルＵｔ−１に対応する図１７のおける環境音のレベルを検出し、検出された環境音のレベルに対応する係数αの値を決定する。その後、制御部１０９は、Ｓ１６０２及びＳ１６０３の処理が行われる。左右相関振幅スペクトルβｔが第３の値βｔｈ以下であると判定された場合（Ｓ１６０３でＹｅｓ）、制御部１０９は、Ｓ１６０４の処理を行う。左右相関振幅スペクトルβｔが第３の値βｔｈ以下でないと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、Ｓ１６０７の処理を行う。

Ｓ１６０７において、制御部１０９は、第２の値ＵｍｉｎとＳ１６０６において決定された係数αとを乗算し、これを振幅スペクトルＩｔから減算するように振幅スペクトル減算部２５４ａを制御する。Ｓ１６０７において、振幅スペクトル減算部２５４によって減算処理が行われた場合、振幅スペクトル減算部２５４から出力される振幅スペクトルＵｔは、次式のようになる。
Ｕｔ＝Ｉｔ−α・Ｕｍｉｎ
左右相関振幅スペクトルβｔが第３の値βｔｈ以下でないと判定された場合（Ｓ１６０３でＮｏ）、制御部１０９は、ノイズプロファイルＰｔを用いないようにする。なお、図１６（ｂ）のノイズ低減処理について、振幅スペクトル減算部２５４ａが減算処理を行う場合を一例に挙げて説明を行った。しかしながら、振幅スペクトル減算部２５４ｂが減算処理を行う場合も、図１６（ｂ）のノイズ低減処理と同様に駆動ノイズの低減を行う。

ノイズ低減処理について、図１６（ａ）及び図１６（ｂ）について説明したが、図１６（ａ）及び図１６（ｂ）のいずれか一つのノイズ低減処理が制御部１０９によって行われればよいものとする。

このように、制御部１０９は、左右相関振幅スペクトルβｔに応じて、ノイズを低減するための処理を変更するようにした。これにより、撮像装置１００は、駆動ノイズが環境音に対して支配的か否かに応じて、適切に駆動ノイズを低減することができる。

［後補正処理（Ｓ３１３）］
Ｓ３１３において、制御部１０９によって実行される後補正処理について図１５、図１８及び図１９を用いて説明を行う。

図１８は、後補正処理を示すタイミングチャート図である。図１８におけるｔ１、ｔ１２、ｔ２、ｔ３は、図５及び図６におけるｔ１、ｔ１２、ｔ２、ｔ３と同様であるため、説明を省略する。図１８におけるＵｔＲ、ＵｔＬは、図１３におけるＵｔＲ、ＵｔＬと同様であるため、説明を省略する。図１８における振幅スペクトルＱｔは、後補正処理が行われた後に出力される振幅スペクトルである。図１９は後処理手順の三つの例を説明する図である。

次に、図１９（ａ）及び図１８（ａ）を用いて、制御部１０９によって行われる後補正処理の一例について説明を行う。振幅スペクトル減算部２５４ａから振幅スペクトルＵｔＲが出力され、振幅スペクトル減算部２５４ｂから振幅スペクトルＵｔＬが出力された場合、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９０１）。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９０１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。（Ｓ１９０２）。Ｓ１９０２の処理が行われた後、制御部１０９は、後補正処理を終了する。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９０１でＮｏ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔＬをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するようになるように後補正部２５５ｂを制御する（Ｓ１９０３）。Ｓ１９０２の処理が行われた後、制御部１０９は、後補正処理を終了する。

図１９（ａ）の後補正処理が行われる場合、図１８（ａ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうちの小さい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｂ）及び図１８（ｂ）を用いて、制御部１０９によって行われる後補正処理の他の例について説明を行う。振幅スペクトル減算部２５４ａから振幅スペクトルＵｔＲが出力され、振幅スペクトル減算部２５４ｂから振幅スペクトルＵｔＬが出力された場合、制御部１０９は、Ｓ１９１０の処理を行う。Ｓ１９１０において、制御部１０９は、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが第４の値Ｑｍｉｎ以下か否かを判定する。なお、第４の値Ｑｍｉｎは、後補正処理による違和感を防止するために用いられる。第４の値Ｑｍｉｎは、第２の値Ｕｍｉｎと同一の値であっても良い。

振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが第４の値Ｑｍｉｎ以下である場合（Ｓ１９１０でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９１４）。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９１４でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔＬをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。（Ｓ１９１５）。Ｓ１９１５の処理が行われた後、制御部１０９は、後補正処理を終了する。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９１４でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する（Ｓ１９１６）。Ｓ１９１６の処理が行われた後、制御部１０９は、後補正処理を終了する。

振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれも第４の値Ｑｍｉｎよりも大きいである場合（Ｓ１９１０でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９１１）。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９１１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。Ｓ１９１２の処理が行われた後、制御部１０９は、後補正処理を終了する。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９１２でＮｏ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔＬをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９１３）。Ｓ１９１３の処理が行われた後、制御部１０９は、後補正処理を終了する。

図１９（ｂ）の後補正処理が行われる場合、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれもが第４の値Ｑｍｉｎよりも大きい場合について説明する。この場合、図１８（ｂ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち小さい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｂ）の後補正処理が行われる場合、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのいずれか一つが第４の値Ｑｍｉｎ以下である場合について説明する。この場合、図１８（ｂ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち大きい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｃ）及び図１８（ｃ）を用いて、制御部１０９によって行われる後補正処理のさらに他の例について説明を行う。振幅スペクトル減算部２５４ａから振幅スペクトルＵｔRが出力され、振幅スペクトル減算部２５４ｂから振幅スペクトルＵｔＬが出力された場合、制御部１０９は、Ｓ１９２１の処理を行う。Ｓ１９２１において、制御部１０９は、ΔｔＬ及びΔｔＲを算出し、｜ΔｔＬ−ΔｔＲ｜を算出する。ΔｔＬは、振幅スペクトルＩｔＬと振幅スペクトルＵｔＬとの差分であり、ΔｔＲは、振幅スペクトルＩｔＲと振幅スペクトルＵｔＲとの差分である。さらに、制御部１０９は、以下の条件が成立しているか否かを判定する。
｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘ
なお、｜ΔｔＬ−ΔｔＲ｜ｍａｘは、予め定められた閾値であり、ΔｔＬとΔｔＲとの差分による環境音の左右差の違和感を防止するために用いられる。

条件｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成立していると判定された場合（Ｓ１９２１でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９２２）。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９２２でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲが振幅スペクトルＱｔになるように後補正部２５５ａを制御する（Ｓ１９２３）。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔLを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。

Ｓ１９２３の処理が行われた後、制御部１０９は、後補正処理を終了する。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９２２でＮｏ）、制御部１０９は、振幅スペクトルＵｔRを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔLをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９２４）。Ｓ１９２４の処理が行われた後、制御部１０９は、後補正処理を終了する。

条件｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成立していない場合、｜ΔｔＬ−ΔｔＲ｜＞｜ΔｔＬ−ΔｔＲ｜ｍａｘとなる。条件｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成立していないと判定された場合（Ｓ１９２１でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であるか否かを判定する（Ｓ１９２５）。

振幅スペクトルＵｔＬが振幅スペクトルＵｔＲ以下であると判定された場合（Ｓ１９２５でＹｅｓ）、制御部１０９は、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する。その後、制御部１０９は、振幅スペクトルＵｔLをＩＦＦＴ２１４ｂに出力することなく、振幅スペクトルＵｔＲを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する（Ｓ１９２６）。Ｓ１９２６の処理が行われた後、制御部１０９は、後補正処理を終了する。振幅スペクトルＵｔＬが振幅スペクトルＵｔＲよりも大きいと判定された場合（Ｓ１９２５でＮｏ）、制御部１０９は、振幅スペクトルＵｔＬを振幅スペクトルＱｔとしてＩＦＦＴ２１４ｂに出力するように後補正部２５５ｂを制御する。その後、制御部１０９は、振幅スペクトルＵｔＲをＩＦＦＴ２１４ａに出力することなく、振幅スペクトルＵｔLを振幅スペクトルＱｔとしてＩＦＦＴ２１４ａに出力するように後補正部２５５ａを制御する（Ｓ１９27）。Ｓ１９27の処理が行われた後、制御部１０９は、後補正処理を終了する。

図１９（ｃ）の後補正処理が行われる場合、｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成り立つ場合について説明する。この場合、図１８（ｃ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち小さい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

次に、図１９（ｃ）の後補正処理が行われる場合、｜ΔｔＬ−ΔｔＲ｜≦｜ΔｔＬ−ΔｔＲ｜ｍａｘが成り立たない場合について説明する。この場合、図１８（ｃ）のように、振幅スペクトルＵｔＬ及び振幅スペクトルＵｔＲのうち大きい方の振幅スペクトルＱｔがＩＦＦＴ２１４ａ及びＩＦＦＴ２１４ｂに入力される。

後補正処理について、図１９（ａ）、図１９（ｂ）及び図１９（ｃ）について説明したが、図１９（ａ）、図１９（ｂ）及び図１９（ｃ）のいずれか一つの後補正処理が制御部１０９によって行われればよいものとする。

図１９（ａ）、図１９(ｂ)及び図１９(ｃ)のいずれか一つの後補正処理が行われた後、ＩＦＦＴ２１４ａは、ＦＦＴ２０７ａから供給された位相情報を用いて、振幅スペクトルＱｔに対して逆高速フーリエ変換を行うことで、元の時系列形式の音声データを生成する。図１９（ａ）、図１９（ｂ）及び図１９（ｃ）のいずれか一つの後補正処理が行われた後、ＩＦＦＴ２１４ｂは、ＦＦＴ２０７ｂから供給された位相情報を用いて、振幅スペクトルＱｔに対して逆高速フーリエ変換を行うことで、元の時系列形式の音声データを生成する。

このように、制御部１０９は、Ｒｃｈの音声とＬｃｈの音声とのレベルが一致するように補正するための処理を行うようにした。これにより、撮像装置１００は、環境音の左右差による違和感が生じないようにすることができる。

本実施形態において、撮像装置１００は、ＲｃｈとＬｃｈとの２系統の音声が入力される構成として説明を行ったが、チャネル数が２以上の音声が入力される構成であっても良い。また、撮像装置１００は、１系統の音声が入力される構成であっても良いものとする。

以上の構成及び手順により本実施形態にかかる電子装置たとえばデジタルカメラでは、光学的ズームにともなって発生するレンズの駆動音を高精度で低減することができる。特に、ズーム駆動の開始を、その駆動音の発生により検知することで高精度化できることに加えて、ズーム操作のためのズーム制御信号を監視し、ズーム制御信号が出力されていることをレンズ駆動ノイズの条件とすることで、一層、ノイズ検知の精度を向上させることができる。
（その他の実施例）
また上記実施例では、ノイズ低減処理にあたってはまずノイズプロファイルを作成している。この理由のひとつは、交換レンズではレンズの種類ごとにノイズもまた異なる可能性があるためである。しかし、デジタルカメラでは交換レンズの種類はカメラ本体で知ることができることもある。そのような構成であれば、レンズの種類ごとに予め作成したノイズプロファイルを用意しておき、ズームに起因するノイズを検出したならレンズの種類に関連付けられたノイズプロファイルを適用してノイズ低減処理を実行してもよい。この場合には、全ての交換レンズについてその種類を特定できるとは限らないので、種類を特定できない場合には本実施例のようにノイズプロファイルの作成から始めてもよい。

また、例えば図３や図７の処理について、制御部１０９の制御の下で音声入力部１０２が実行するものとして説明したが、音声入力部１０２が自律的に実行してもよいし、制御部１０９がすべてを実行するように構成してもよい。

また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ノイズ低減部、２５０積分部、２５４振幅スペクトル減算部、２５２プロファイル作成部、２５３ノイズプロファイル格納部、２５５後補正部、２５６プロファイル処理判定部、２５７プロファイル補正部、２５８ノイズ除去処理確定部

Claims

音声データを周波数ごとの振幅値で構成される振幅スペクトルに変換する変換手段と、
前記変換手段により変換された振幅スペクトルに基づいて、前記音声データに駆動部の駆動音が含まれることを判定する判定手段と、
前記判定手段により前記駆動音が含まれていると判定されていない前記音声データの前記振幅スペクトルを初期値として作成し、所定期間分の前記初期値を格納手段に格納する初期値作成手段と、
前記判定手段により前記駆動音が含まれていると判定された場合に、前記駆動音を含む音声データの前記振幅スペクトルから、前記格納手段に前記初期値として格納されている前記振幅スペクトルを減算して、前記駆動音の周波数ごとの振幅値を含むノイズプロファイルを作成する作成手段と、
前記変換手段で生成された、前記音声データの前記振幅スペクトルの各周波数の振幅値から前記ノイズプロファイルの対応する周波数の振幅値を減算する減算手段と、
当該減算手段によって減算された振幅スペクトルを、時系列の音声データに逆変換する逆変換手段と
を有することを特徴とする電子機器。
前記初期値作成手段は、前記音声データに前記駆動音が含まれると判定される前の音声データを所定期間にわたって積分した積分値の平均を前記初期値として作成して格納し、
前記作成手段は、前記判定手段により前記駆動音が含まれていると判定されたことをきっかけとして、前記音声データの前記振幅スペクトルを一定期間にわたって積分した積分値の平均を求め、該平均と、前記格納手段に格納されている前記初期値との差分に基づいて前記ノイズプロファイルを作成することを特徴とする請求項１に記載の電子機器。
前記初期値作成手段および前記作成手段は前記振幅スペクトルを積分回路により積分し、
前記一定期間は、前記積分回路の時定数に基づいて決定されることを特徴とする請求項２に記載の電子装置。
前記初期値作成手段は、前記音声データに前記駆動音が含まれると判定される前の音声データを前記所定期間にわたって積分した積分値の平均により、前記初期値を周期的に更新することを特徴とする請求項２または３に記載の電子装置。
前記判定手段により前記音声データに前記駆動音が含まれると判定されてから所定時間のうちに前記駆動部を駆動するための制御信号が入力されたことを判定する第二の判定手段を更に有し、
前記作成手段は、前記判定手段により前記駆動音が含まれていると判定された場合に、前記駆動音に対応する、周波数ごとの振幅値を含むノイズプロファイルの作成を開始し、前記第二の判定手段により前記所定時間のうちに前記制御信号が入力されたと判定されなかった場合には前記ノイズプロファイルの作成を中止することを特徴とする請求項１乃至４のいずれか一項に記載の電子機器。
前記作成手段は、前記第二の判定手段により前記所定時間のうちに前記制御信号が入力されたと判定された場合には、前記作成手段による前記ノイズプロファイルの作成を継続することを特徴とする請求項５記載の電子機器。
前記電子機器は音声の記録が可能なデジタルカメラ本体であり、
前記駆動部は前記デジタルカメラに取り付けられる交換レンズに設けられたレンズ駆動のための駆動部であることを特徴とする請求項１乃至６のいずれか一項に記載の電子機器。
前記音声データはステレオであり、
前記判定手段は、ステレオの２つのチャンネルそれぞれの音声データの差分の増加率が所定の閾値を超えた場合に、前記駆動音が含まれると判定することを特徴とする請求項１乃至７のいずれか一項に記載の電子機器。
前記変換手段は、所定時間の長さのステレオの前記音声データを１フレームとして、チャンネルごとに周波数ごとの振幅値で構成される振幅スペクトルに変換し、
前記判定手段は、１フレームにおける、ステレオの各チャンネル間の離散した周波数ごとの振幅の差分が、前のフレームにおける前記差分よりも大きい場合に、前記差分の増加分の総和と、前記差分が増加した前記周波数の本数とを求め、前記総和と前記本数とがそれぞれ所定の閾値を超えている場合に、当該フレームを、前記駆動音を含むと判定することを特徴とする請求項１乃至８のいずれか一項に記載の電子機器。
前記判定手段は、前記総和および前記本数を、前記振幅スペクトルの帯域全体および高周波の帯域についてそれぞれ求め、それぞれの帯域についての前記総和および前記本数がそれぞれ所定の閾値を超えている場合に、当該フレームを、前記駆動音を含むと判定することを特徴とする請求項９に記載の電子機器。
マイクと、
音声データを記録する記録手段とをさらに有し、
前記音声データは前記マイクから入力され、前記逆変換手段による変換された音声データは前記記録手段により記録されることを特徴とする請求項１乃至１０のいずれか一項に記載の電子機器。
前記交換レンズには、前記駆動部を制御するための指示を入力するための操作を行う操作手段が更に設けられており、
前記駆動部は、前記操作手段による操作に応じて前記交換レンズのズームを駆動することを特徴とする請求項７に記載の電子機器。
請求項１乃至１３のいずれか一項に記載の電子機器としてコンピュータを機能させるためのプログラム。
音声データを周波数ごとの振幅値で構成される振幅スペクトルに変換する変換工程と、
前記変換工程により変換された振幅スペクトルに基づいて、前記音声データに駆動部の駆動音が含まれることを判定する判定工程と、
前記判定工程により前記駆動音が含まれていると判定されていない前記音声データの前記振幅スペクトルを初期値として作成し、格納手段に格納する初期値作成工程と、
前記判定工程により前記駆動音が含まれていると判定された場合に、前記駆動音を含む音声データの前記振幅スペクトルから、前記格納手段に前記初期として格納されている前記振幅スペクトルを減算して、前記駆動音の周波数ごとの振幅値を含むノイズプロファイルを作成する作成工程と、
前記変換工程で生成された、前記音声データの前記振幅スペクトルの各周波数の振幅値から前記ノイズプロファイルの対応する周波数の振幅値を減算する減算工程と、
当該減算工程によって減算された振幅スペクトルを、時系列の音声データに逆変換する逆変換工程と
を有することを特徴とする電子機器の制御方法。
音声データを周波数ごとの振幅値で構成される振幅スペクトルに変換する変換手段と、
前記変換手段により変換された振幅スペクトルに基づいて、前記音声データに駆動部の駆動音が含まれることを判定する第一の判定手段と、
前記第一の判定手段により前記音声データに前記駆動音が含まれると判定されてから所定時間のうちに前記駆動部を駆動するための制御信号が入力されたことを判定する第二の判定手段と、
前記第一の判定手段により前記駆動音が含まれていると判定された場合に、前記駆動音に対応する、周波数ごとの振幅値を含むノイズプロファイルの作成を開始し、前記第二の判定手段により前記所定時間のうちに前記制御信号が入力されたと判定されなかった場合には前記ノイズプロファイルの作成を中止する作成手段と、
前記変換手段で生成された振幅スペクトルの各周波数の振幅値から前記ノイズプロファイルの対応する周波数の振幅値を減算する減算手段と、
当該減算手段によって減算された振幅スペクトルを、時系列の音声データに逆変換する逆変換手段と
を有することを特徴とする電子機器。