JP2012155184A - カメラ、プログラム、記録媒体、およびノイズ除去方法 - Google Patents

Abstract

【課題】人物や動物等の音声の劣化を最小限にして動画の記録を行うことが可能なカメラ、プログラム、記録媒体、およびノイズ除去方法を提供すること。
【解決手段】動画の撮像を行う動画撮像手段１６と、動画の撮像中に発生する音Ｂを音信号Ｍに変換する信号変換手段４３と、特定の被写体を予測または認識する被写体判断手段４４，５１と、動画の撮像中に発生する音に含まれるノイズＮを検出するノイズ検出手段５３と、音信号Ｍから、ノイズ信号を除去するノイズ除去手段５４と、音信号Ｍから、非ノイズ信号を検出する音声検出手段５２と、被写体判断手段４４，５１が、特定の被写体を予測または認識している場合に、ノイズ除去手段５４によるノイズ信号の除去性能を小さくするノイズ除去性能変更手段５５とを有する。
【選択図】図２

Description

本発明は、カメラ、プログラム、記録媒体、およびノイズ除去方法に関する。

近年、動画撮影機能を搭載したカメラが普及してきている。一般に、動画の撮像中に発生する音には、ノイズが含まれることがある。たとえば、オートフォーカスレンズの駆動音等は、ノイズに該当する。特に、動画撮影を前提として設計されていないレンズ鏡筒では、このような駆動音が大きく、ノイズも増大してしまう。そこで、ノイズ除去処理を行うことがある。

たとえば、マイクが拾った音信号に含まれる人物音声を強調して抽出し、人物音声を含む音信号（音声区間）と、人物音声を含まない音信号（非音声区間）とを区別する技術（ＶＡＤ：Voice Activity Detection）がある（特許文献１参照）。ＶＡＤを利用して、非音声区間の音信号を用い推定ノイズを算出し、推定ノイズを音信号から差し引くことで、ノイズを抑制することができる。

しかしながら、音声区間と非音声区間とで、音信号から推定ノイズを一律に差し引くと、音声区間において記録される人物やペット等の動物の音声が劣化する課題を有していた。

特開２００９−２９４５３７号公報

本発明は、このような実状に鑑みてなされ、その目的は、人物や動物等の音声の劣化を最小限にして動画の記録を行うことが可能なカメラ、プログラム、記録媒体、およびノイズ除去方法を提供することである。

上記目的を達成するために、本発明に係るカメラ（３）は、動画の撮像を行う動画撮像手段（１６）と、前記動画の撮像中に発生する音（Ｂ）を音信号（Ｍ）に変換する信号変換手段（４３）と、特定の被写体を予測または認識する被写体判断手段（４４，５１）と、前記動画の撮像中に発生する音に含まれるノイズ（Ｎ）を検出するノイズ検出手段（５３）と、前記音信号（Ｍ）から、ノイズ信号を除去するノイズ除去手段（５４）と、前記音信号（Ｍ）から、非ノイズ信号を検出する音声検出手段（５２）と、前記被写体判断手段（４４，５１）が、特定の前記被写体を予測または認識している場合に、前記ノイズ除去手段（５４）による前記ノイズ信号の除去性能を小さくするノイズ除去性能変更手段（５５）とを有する。

本発明に係るプログラムは、特定の被写体を予測または認識する被写体判断手段（４４，５１）、動画の撮像中に発生する音に対応する音信号（Ｍ）から、ノイズ信号を除去するノイズ除去手段（５４）、前記音信号（Ｍ）から、人間または動物の音声信号を検出する音声検出手段（５２）、および前記被写体判断手段（４４，５１）が、特定の前記被写体を予測または認識している場合に、前記ノイズ除去手段（５４）による前記ノイズ信号の除去性能を小さくするノイズ除去性能変更手段（５５）としてコンピュータを機能させるためのプログラムである。

本発明に係る記録媒体は、特定の被写体を予測または認識する被写体判断手段（４４，５１）、動画の撮像中に発生する音に対応する音信号（Ｍ）から、ノイズ信号を除去するノイズ除去手段（５４）、前記音信号（Ｍ）から、人間または動物の音声信号を検出する音声検出手段（５２）、および前記被写体判断手段（４４，５１）が、特定の前記被写体を予測または認識している場合に、前記ノイズ除去手段（５４）による前記ノイズ信号の除去性能を小さくするノイズ除去性能変更手段（５５）としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明に係るノイズ除去方法は、動画の撮像を行う工程と、前記動画の撮像中に発生する音（Ｂ）を音信号（Ｍ）に変換する工程と、特定の被写体を予測または認識する工程と、前記動画の撮像中に発生する音（Ｂ）に含まれるノイズ（Ｎ）を検出する工程と、前記音信号（Ｍ）から、ノイズ信号を除去する工程と、前記音信号（Ｍ）から、人間または動物の音声信号を検出する工程と、前記被写体判断手段（４４，５１）が、特定の前記被写体を予測または認識している場合に、前記ノイズ除去手段（５４）による前記ノイズ信号の除去性能を小さくする工程とを有する。

本発明のカメラ（３）およびノイズ除去方法では、動画撮像手段（１６）が、動画の撮像を行うと共に、信号変換手段（４３）が、動画の撮像中に発生する音（Ｂ）を、音信号（Ｍ）に変換する。この音信号（Ｍ）には、ノイズ信号が含まれている場合がある。ノイズ検出手段（５３）は、ノイズ信号の原因となるノイズ（Ｎ）が発生しているか否かを検出し、ノイズ（Ｎ）が検出された場合に、ノイズ除去手段（５４）は、音信号（Ｍ）から、ノイズ信号を除去する。

一方で、音声検出手段（５２）が、非ノイズ信号を検出する。非ノイズ信号とは、人間または動物の音声、音楽等、少なくとも人間の音声の周波数域に該当する全ての音声信号である。この非ノイズ信号を含む音信号は、音声区間として処理され、非ノイズ信号を含まないデータは、非音声区間として処理される。音声検出手段（５２）は、上述した公知のＶＡＤを利用したものである。また、被写体判断手段（４４，５１）が、特定の被写体を予測し、または特定の被写体を認識している。

本発明では、被写体判断手段（４４，５１）が、人間や動物（ペット）等の特定の被写体を予測または認識している場合に、ノイズ除去性能変更手段（５５）が、ノイズ除去手段（５４）によるノイズ信号の除去性能を小さくする。すなわち、非音声区間でノイズ信号を検出している場合よりも、音声区間でノイズ信号を検出している場合において、ノイズ除去性能変更手段（５５）が、ノイズ除去手段（５４）によるノイズ信号の除去性能を小さくする。

本発明のプログラムは、予め撮像された動画データに対して、コンピュータに、上述した手段を実行させる。また、本発明の記録媒体は、予め撮像された動画データに対して、コンピュータに、上述した手段を実行させるためのプログラムが記録されている。

前記ノイズ除去手段（５４）は、ノイズ除去係数に基づき、前記音信号（Ｍ）から、前記ノイズ信号を除去し、前記被写体判断手段（４４，５１）が、特定の前記被写体を予測または認識している場合に、前記ノイズ除去性能変更手段（５５）が、前記ノイズ信号の前記除去性能を小さくするように、前記ノイズ除去係数を、比較的小さな低レベル除去係数に設定しても良い。また、前記被写体判断手段（４４，５１）が、特定の前記被写体を予測または認識していない場合に、前記ノイズ除去手段（５４）が、前記ノイズ除去係数を、前記低レベル除去係数より大きな通常レベル除去係数に設定しても良い。

なお、上述の説明では、本発明をわかりやすく説明するために、実施形態を示す図面の符号に対応づけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

図１は、本発明の一実施形態に係るカメラの全体ブロック図である。 図２は、図１に示すカメラで動画撮影を行う場合に、ボディＣＰＵが音を検出する時の処理を示すフローチャートである。 図３は、図１に示すカメラで動画撮影を行った場合に発生する音、およびボディＣＰＵが検出する音信号を時間軸で表した概念図である。 図４は、音声区間検出の一例を示す概念図である。 図５は、ノイズ除去処理を示すフローチャートである。 図６は、本発明の他の実施形態に係るノイズ除去方法で一般ノイズの除去処理を行った場合の処理レベル、および処理後の波形を示す概念図である。

第１実施形態
図１は、本発明の一実施形態に係るカメラ３の全体ブロック図である。カメラ３は、カメラボディ５とレンズ鏡筒７を有している。レンズ鏡筒７は、カメラボディ５に対して着脱自在に装着される。本実施形態に係るカメラとしては、図１に示すようなレンズ交換式カメラに限定されず、レンズ鏡筒７とカメラボディ５とが一体のカメラであってもよく、カメラの種類は特に限定されない。

カメラボディ５およびレンズ鏡筒７の内部には、光軸Ｚに沿って、複数の光学部品が配置されている。カメラボディ５には撮像素子ユニット１５が配置されており、撮像素子ユニット１５の光軸Ｚ方向の前方側（Ｚ軸に沿って被写体側を「Ｚ軸の前方側」または「Ｚ軸の正方向側」と称する）には、シャッタ３３が配置してある。シャッタ３３の光軸Ｚ方向の前方側には、ミラー７０が配置してあり、その前方側には、レンズ鏡筒７に内蔵してある光学レンズ群２４が配置してある。

カメラボディ５には、ボディＣＰＵ５０が内蔵してあり、レンズ接点３４を介してレンズＣＰＵ８０に接続してある。ボディＣＰＵ５０は、レンズ鏡筒７との通信機能と、カメラボディ５の制御機能を有している。ボディＣＰＵ５０は、顔認識処理部５１、ＶＡＤ処理部５２、ノイズ検出部５３、ノイズ除去処理部５４、ノイズ除去性能変更手段５５を有している。レンズ接点３４は、ボディＣＰＵ５０と、レンズＣＰＵ８０とを電気的に接続する。ボディＣＰＵ５０には、カメラボディ５およびレンズ鏡筒７に備えられた電子部品に電力を供給するための電源４７が接続してある。

ボディＣＰＵ５０には、動画スイッチ４１、レリーズスイッチ４２、マイク４３、撮影モード切替スイッチ４４、表示部４５、ＥＥＰＲＯＭ（不揮発性メモリ）４６、電源４７、記録媒体４８、画像処理コントローラ３１、ＡＦセンサ３０、電圧信号出力回路２８などが接続してある。画像処理コントローラ３１には、インターフェース回路３２を介して、撮像素子ユニット１５の撮像素子１６が接続してある。画像処理コントローラ３１およびインターフェース回路３２は、ボディＣＰＵ５０からの信号に基づき、撮像素子１６によって撮像された画像の画像処理を制御する。撮像素子１６は、たとえばＣＣＤやＣＭＯＳ等の固体撮像素子である。

撮像素子１６は、光学レンズ群２４を通過した光束を光電変換して画像信号を生成する。動画撮影時には、ボディＣＰＵ５０が、この撮像素子１６から、動画データを取得する。顔認識処理部５１は、この動画データを用いて、特定の被写体（人間または動物）の顔の存在を検出する。

撮影モード切替スイッチ４４は、撮影者が、撮影シーンに応じて適切な撮影モード（シーンモード、オートモード、Ｐ・Ｓ・Ａ・Ｍモード等）を一つ選択できるように、カメラボディ５に配置されている。シーンモードとしては、たとえば、ポートレート、子供スナップ、ペット、風景、クローズアップ等が予め準備されている。ＥＥＰＲＯＭ４６には、それぞれのシーンモードに適した撮影パラメータ等が記録されている。ボディＣＰＵ５０は、撮影者が選択したそれぞれのシーンモードに応じて、ＥＥＰＲＯＭ４６から必要な撮影パラメータを取得する。マイク４３は、動画の撮像中に発生する音を、音信号に変換する。

表示部４５は、主として液晶表示装置などで構成され、出力結果やメニューなどを表示する。レリーズスイッチ４２は、静止画撮影のタイミングを操作するスイッチである。レリーズスイッチ４２は、ボディＣＰＵ５０に対して、半押し信号および全押し信号を出力する。ボディＣＰＵ５０は、レリーズスイッチ４２から半押し信号が入力されると、ＡＦ制御、ＡＥ制御等の撮影準備動作を制御し、レリーズスイッチ４２から全押し信号が入力されると、ミラーアップ、シャッタ駆動等の露光動作を制御する。

クイックリターンミラー７０は、構図決定の際にファインダーに像を映し出すためのもので、露光中は光路から退避する。クイックリターンミラー７０は、不図示のミラー駆動部（例えばＤＣモータ）により駆動される。

クイックリターンミラー７０には、ＡＦセンサ３０に光を導くサブミラー７０ａが連結してある。このサブミラー７０ａも、露光中は光路から退避する。

シャッタ３３は、露光時間を制御する。シャッタ３３は、ボディＣＰＵ５０からの制御に基づき、不図示のシャッタ駆動部（例えばＤＣモータ）によって駆動される。

ＡＦセンサ３０は、オートフォーカス（ＡＦ）を行うためのセンサである。このＡＦセンサ３０としては、通常ＣＣＤが用いられる。

図１に示す動画スイッチ４１は、動画撮影のタイミングを操作するスイッチである。動画スイッチ４１は、ボディＣＰＵ５０に対して、動画撮影の開始／終了信号を出力する。ボディＣＰＵ５０は、動画スイッチ４１から動画撮影の開始信号を取得すると、ミラーアップおよびシャッタ開動作の命令を行う。これにより、光学レンズ群２４を通過した光束が、撮像素子１６に導かれ、動画撮影（ライブビュー撮影）が開始される。また、ボディＣＰＵ５０は、動画スイッチ４１から動画撮影の終了信号を取得すると、ミラーダウンおよびシャッタ閉動作の命令を行い、動画撮影が終了する。ライブビュー撮影中のオートフォーカスは、ボディＣＰＵ５０が、撮像素子１６から出力された動画データに基づいて行われる（コントラストＡＦ）。

図１に示すレンズ鏡筒７には、オートフォーカス（ＡＦ）レンズ２４を含む光学レンズ群、焦点距離エンコーダ７４、距離エンコーダ７２、ＡＦレンズ２４を駆動する駆動モータ７６、レンズＣＰＵ８０、レンズ接点３４等が具備してある。

レンズＣＰＵ８０は、ボディＣＰＵ５０との通信機能と、レンズ鏡筒７に搭載された電子部品の制御機能とを有している。例えば、レンズＣＰＵ８０は、焦点距離情報、被写体距離情報等を、レンズ接点３４を介してボディＣＰＵ５０に出力する。また、レンズＣＰＵ８０には、ボディＣＰＵ５０から、ＡＦ情報、動画開始／終了情報、レリーズ情報等が入力される。レンズＣＰＵ８０は、これらの情報に基づき、ＡＦレンズ２４の駆動モータ７６等を制御することができる。

焦点距離エンコーダ７４は、不図示のズームレンズ群の位置情報から、焦点距離を算出し、レンズＣＰＵ８０に出力する。距離エンコーダ７２は、ＡＦレンズ２４を含むフォーカシングレンズ群の位置情報より被写体距離を算出し、レンズＣＰＵ８０に出力する。被写体距離情報は、不図示のフラッシュの調光などに使用される。

図１に示すように、カメラボディ５には、電圧信号出力回路２８が備えられている。電圧信号出力回路２８は、ボディＣＰＵ５０からの制御信号に基づき、撮像素子ユニット１５における防塵フィルタ１８に備えられる複数の電極に電圧を出力する。

ボディＣＰＵ５０の顔認識処理部５１は、撮像素子１６が作成した動画データに基づき、特定の被写体の顔が動画データに存在しているか否かを検出している。特定の被写体の顔が動画データに存在しているか否かの検出には、例えばテンプレートマッチング等、公知の顔認識機能を用いることができる。

図３に示すように、動画撮影時に、常に音Ｂが発生している場合について説明する。なお、ボディＣＰＵ５０は、画像データを、各フレーム（例えば１ｍ秒）毎に、撮像素子１６から取得し、連続する動画データを生成している。図３では、連続する画像フレーム６１〜６９のみを代表して、フレーム６１〜６９間で発生している音Ｂを概念的に説明している。

音Ｂには、特定の被写体が発する声Ｈ、およびノイズＮが含まれることがある。図１に示すマイク４３は、このような音Ｂを拾い、図３に概念で示す音声データＭとしてボディＣＰＵ５０に出力している。なお、図１に示すＶＡＤ処理部（音声検出手段）５２は、音声データＭからパワー情報を抽出し、抽出された周波数情報から、図４に概念的に示すように、第１下限閾値より大きい周波数帯域の始端から終端までを、人や動物などの音声が発生している音声区間として検出する。

図１に示すレンズＣＰＵ８０は、ＡＦ駆動信号をＡＦ駆動モータ７６に出力することにより、ＡＦレンズ２４を駆動させている。ボディＣＰＵ５０のノイズ検出部５３は、レンズ接点３４を介して、レンズＣＰＵ８０とつながっており、ＡＦ駆動信号を直接検出することができる。ノイズ検出部５３がＡＦ駆動信号を検出すると、ノイズ除去処理部５４は、以下に述べるノイズの除去処理を行う。

ノイズ除去処理部５４によるノイズ（本実施形態では、特定のＡＦ駆動ノイズ）の除去は、図５に示すフローチャートに基づき行われる。ステップＳ３０において、ノイズ除去処理部５４がノイズ除去開始信号を読み込むと、ステップＳ３１において、ノイズ除去処理部５４は、たとえばＥＥＰＲＯＭ４６に予め記憶してあるＡＦノイズの逆位相の波形を読み込む。次に、ステップＳ３２に進み、ＡＦノイズの逆位相の波形に、ノイズ除去係数（後述する通常レベル除去係数または低レベル除去係数）を乗算する。次に、ステップＳ３３に進み、ステップＳ３２にて乗算した結果得られた波形を、図３に示す音声データＭに加算することにより、ノイズの除去が行われる。

ノイズ除去性能変更手段５５は、顔認識処理部５１が特定の被写体の顔の存在を検出している場合に、上述したノイズ除去処理部５４によるノイズ除去係数を小さく設定する。すなわち、ノイズ除去処理部５４によるノイズ除去係数を、低レベル除去係数に設定する。または、ノイズ除去性能変更手段５５は、撮影モード切替スイッチ４４によるポートレート、子供スナップ、ペットのいずれかのシーンモード信号を取得すると、ノイズ除去処理部５４によるノイズ除去係数を、低レベル除去係数に設定する。

次に、図２に示すフローチャートに基づき、図１に示すボディＣＰＵ５０の動作について説明を行う。図２に示すように、ステップＳ０１において、ボディＣＰＵ５０が動画の撮影開始信号を受けると、ステップＳ０２において、ボディＣＰＵ５０が、ある動画フレームに対応する音声データＭの開始時において、動画データに特定の被写体の顔が存在しているか否かを判断する。すなわち、ボディＣＰＵ５０が、動画データに特定の被写体の顔が存在していると判断した場合には、ステップＳ０３に進む。

ステップＳ０３において、ＶＡＤ処理部５２において検出する音声区間の境界とすべき周波数の下限閾値を下げて第２下限閾値ｔ２に設定し、さらにステップＳ０４において、ボディＣＰＵ５０が、動画を構成する各フレームに対応するフレームとフレームとの境界のタイミングで、音声データＭが音声区間（図３に示す音声区間ＶＡＤ）にあるか否かを判断する。音声データＭが音声区間にあるとボディＣＰＵ５０が判断した場合には、ステップＳ０５に進む。ステップＳ０５において、ボディＣＰＵ５０は、ノイズ除去性能変更手段５５によるノイズ除去係数を小さくする（低レベル除去係数）。なお、ステップＳ０４において、ボディＣＰＵ５０が、音声データＭを音声区間外であると判断した場合には、ステップＳ０８に進む（後述する）。

次に、ステップＳ０９に進み、ボディＣＰＵ５０が、ノイズを検出しているか否かを判断する。ボディＣＰＵ５０が、ある動画フレームに対応する音声データＭの開始時において、ノイズを検出している場合にはステップＳ１０に進み、その動画フレームにおいて、上述した低レベル除去係数にて、図３に示す音声データＭに対して、ノイズ除去処理を行う。ステップＳ０９において、ボディＣＰＵ５０が、ある動画フレームに対応する音声データＭの開始時において、ノイズを検出していない場合にはステップＳ１１に進み、その動画フレームでは、ノイズの除去処理を行わない。

なお、ステップＳ０２において、ボディＣＰＵ５０が、動画データに特定の被写体の顔が存在していないと判断した場合には、ステップＳ０６に進む。ステップＳ０６において、ボディＣＰＵ５０が、撮影モード切替スイッチ４４からの入力信号を検出し、ポートレート、子供スナップ、ペットのいずれかの撮影モードであるか否かの判断を行う。ボディＣＰＵ５０が、ポートレート、子供スナップ、ペットのいずれかの撮影モードであると判断した場合には、ステップＳ０３に進む。

ステップＳ０６において、ボディＣＰＵ５０が、風景またはクローズアップの撮影モードであると判断した場合には、ステップＳ０７に進み、ボディＣＰＵ５０が、ＶＡＤ処理部５２において音声区間の境界とすべき周波数の下限閾値を、第１下限閾値ｔ１に設定する。なお、ステップＳ０７において、ボディＣＰＵ５０は、音声区間ＶＡＤの検出を行わなくても良い。次に、ステップＳ０８に進み、ボディＣＰＵ５０は、ノイズ除去性能変更手段５５によるノイズ除去係数を、通常の状態（通常レベル除去係数）にする。

次に、ステップＳ０９に進み、ボディＣＰＵ５０が、ノイズを検出しているか否かを判断する。ボディＣＰＵ５０が、ある動画フレームに対応する音声データＭの開始時において、ノイズを検出している場合にはステップＳ１０に進み、その動画フレームにおいて、上述した通常レベル除去係数にて、図３に示す音声データＭに対して、ノイズ除去処理を行う。ステップＳ０９において、ボディＣＰＵ５０が、ある動画フレームに対応する音声データＭの開始時において、ノイズを検出していない場合にはステップＳ１１に進み、その動画フレームでは、ノイズの除去処理を行わない。

このように、例えばステップＳ０３において、音声区間の境界とすべき周波数の下限閾値を第２下限閾値ｔ２に設定することで、人間または動物の音声を、確実に拾うことができる。また、ある動画フレームに対応する音声データＭの開始時において、そのフレームに対応する音声データＭに対して、ボディＣＰＵ５０が上述した動作（低レベル除去係数にてノイズ除去を行うか、通常レベル除去係数にてノイズ除去を行うか、ノイズ除去を行わない、のいずれか）を行う。すなわち、低レベル除去係数にてノイズ除去を行う場合に、図３に「弱」で示し、通常レベル除去係数にてノイズ除去を行う場合に、「中」で示し、ノイズ除去を行わない場合に、「なし」で示すように、音声データＭに対してノイズ除去処理を行う結果、ボディＣＰＵ５０は、図３に示すノイズ除去後の音声データＭ’を生成する（音声データＭ’は概念的に示している）。

具体的には、図３に示すフレーム６１に対応する音声データＭでは、フレーム６１の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出しておらず、ノイズも検出していないので、ノイズ除去処理は行わない。フレーム６２，６３に対応する音声データＭでは、フレーム６２，６３の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出しているが、ノイズは検出していないので、ノイズ除去処理は行わない。フレーム６４に対応する音声データＭでは、フレーム６４の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出しており、しかも、ノイズも検出しているので、ノイズ除去の効果を弱め、特定被写体の音声が劣化することを防止する。

フレーム６５に対応する音声データＭでは、フレーム６５の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出していないが、ノイズを検出しているので、ノイズ除去の効果を通常レベルにして、ノイズ除去処理を行う。フレーム６６に対応する音声データＭでは、フレーム６６の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出しておらず、ノイズも検出していないので、ノイズ除去処理は行わない。フレーム６７に対応する音声データＭでは、フレーム６７の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出しているが、ノイズは検出していないので、ノイズ除去処理は行わない。

フレーム６８に対応する音声データＭでは、フレーム６８の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出しており、しかも、ノイズも検出しているので、ノイズ除去の効果を弱め、特定被写体の音声が劣化することを防止する。フレーム６９に対応する音声データＭでは、フレーム６９の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出しておらず、ノイズも検出していないので、ノイズ除去処理は行わない。

本実施形態のカメラ３およびノイズ除去方法では、撮像素子１６が、動画の撮像を行うと共に、マイク４３が、動画の撮像中に発生する音Ｂを、音信号Ｍに変換する。この音Ｂには、ノイズＮが含まれている場合がある。ノイズ検出部５３は、ノイズＮが発生しているか否かを検出し、ノイズＮが検出された場合に、ノイズ除去処理部５４は、音信号Ｍから、ノイズＮに対応するノイズ信号を除去する。

一方で、ＶＡＤ処理部５２が、非ノイズ信号を検出する。非ノイズ信号とは、人間または動物の音声、音楽等、少なくとも人間の音声の周波数域に該当する全ての音声信号である。この非ノイズ信号を含む音信号は、音声区間として処理され、非ノイズ信号を含まないデータは、非音声区間として処理される。ＶＡＤ処理部５２は、上述した公知のＶＡＤを利用したものである。また、ボディＣＰＵ５０が、撮影モード切替スイッチ４４の出力信号から、特定の被写体を予測し、またはボディＣＰＵ５０（顔認識処理部５１）が、特定の被写体を認識している。

本実施形態では、ボディＣＰＵ５０が、ポートレート、子供スナップ、ペットのいずれかの撮影シーンであると判断すること（ステップＳ０６）により、特定の被写体が音声Ｈを発すると予測することができる。または、ボディＣＰＵ５０が、動画データに特定の被写体の顔が存在していることを検出すること（ステップＳ０２）により、特定の被写体の存在を認識することができる。その場合に、ノイズ除去性能変更手段５５が、ノイズ除去処理部５４によるノイズ信号の除去性能を小さくする。すなわち、非音声区間でノイズ信号を検出している場合よりも、音声区間でノイズ信号を検出している場合において、ノイズ除去性能変更手段５５が、ノイズ除去処理部５４によるノイズ信号の除去性能を小さくする。このため、音声区間において記録される非ノイズ信号の劣化を最小限に抑えることが可能となる。このため、人間や動物の音声を明瞭に記録することができ、動画の鑑賞品質が向上する。

また、従来は、撮影者がノイズ対策として、動画撮影時に、ノイズ発生源となる機能（ＡＦ等）を使えない状態にすることがあり、撮影の表現の幅が狭くなってしまうことがあったが、本実施形態では、撮影者が、これらの機能を積極的に使用することができ、動画撮影の表現の幅を広くすることができる。

本実施形態のプログラムは、予め撮像された動画データに対して、コンピュータに、上述した手段を実行させる。また、本実施形態の記録媒体は、予め撮像された動画データに対して、コンピュータに、上述した手段を実行させるためのプログラムが記録されている。このため、予め撮像された動画データを、コンピュータ上で、後から編集する際に、音声区間における非ノイズ信号の劣化を最小限に抑えることができる。また、例えば、動画データを撮像したカメラが、顔認識機能等を有していなくても、本実施形態のプログラム、記録媒体によって、音声区間における非ノイズ信号の劣化を最小限に抑え、人間や動物の音声を明瞭に記録することができる。

ノイズ信号の除去効果の大きさは、ノイズ除去係数に比例する。ボディＣＰＵ５０が、特定の被写体を予測または認識しているか否かに応じて、ノイズ除去係数を、通常レベル除去係数と低レベル除去係数との間で可変させるため、複雑な演算処理なしに、ノイズ信号の除去効果の大きさを変更できる。

特に、ボディＣＰＵ５０が特定の被写体を予測または認識している場合には、ノイズ信号の除去効果を小さく（低レベル除去係数）でき、音声区間における非ノイズ信号の劣化を最小限に抑え、人間や動物の音声を明瞭に記録することができる。その一方で、ボディＣＰＵ５０が、特定の被写体を予測または認識していない場合には、ノイズ信号の除去効果を、低レベル除去係数の場合に比べ大きく（通常レベル除去係数）でき、非音声区間において、好適にノイズ信号の除去を行うことができる。

本実施形態では、公知の顔認識機能を用いることで、顔認識処理部５１が、効果的に被写体の顔の存在を認識することができる。顔認識処理部５１が、被写体の顔の存在を認識している間は、被写体が発音する可能性が高いので、ノイズ除去性能変更手段５５が、ノイズ信号の除去性能を小さくすることで、音声区間における非ノイズ信号の劣化を最小限に抑え、人間や動物の音声を明瞭に記録することができる。

撮影者が、撮影モードを、ポートレート、子供スナップ、ペット等のいずれか一つに選択して動画の撮影を行っている場合には、特定の被写体が発音する可能性が高い。このため、これらのシーンモードの際に、ボディＣＰＵ５０が特定の被写体が音声Ｈを発すると予測し、ノイズ除去性能変更手段５５が、ノイズ信号の除去性能を小さくする。このようにすることで、音声区間における非ノイズ信号の劣化を最小限に抑え、人間や動物の音声を明瞭に記録することができる。その一方で、撮影者が、撮影モードを、風景、クローズアップ等のいずれか一つに選択して動画の撮影を行っている場合には、被写体判断手段５０は撮影者が特定の被写体の発音を意図していないと予測する。したがって、これらのシーンモードの際に、ノイズ除去性能変更手段５５が、ノイズ信号の除去性能を通常の状態にする。したがって、検出したノイズ信号を、効果的に除去することができる。

ノイズ検出手段５３は、少なくともオートフォーカスの駆動信号を検出することにより、ノイズＮを検出しても良い。また、ノイズ検出手段５３は、オートフォーカス、手振れ補正、ズーミングの駆動信号の少なくともいずれかを検出することにより、ノイズＮを検出しても良い。ノイズ発生源と、ノイズ検出手部５３とは、直接つながっていても良い。オートフォーカス、手振れ補正、ズーミング等の駆動中には、ノイズ検出手部５３が、これらの駆動信号を検出するようにしても良い。この場合には、駆動に伴うノイズＮを、確実に検出することができる。

ＶＡＤ処理部（音声検出手段）５２は、音信号Ｍの周波数の下限閾値から上限閾値までの範囲内で、音信号Ｍから、音声信号を検出している。ボディＣＰＵ５０（顔認識処理部５１）が、特定の被写体を認識している場合、または、ボディＣＰＵ５０が、ポートレート、子供スナップ、ペットのいずれかの撮影シーンであると判断した場合に、音声信号の検出範囲を広くするように、ＶＡＤ処理部５２は下限閾値を下げて、第１下限閾値から第２下限閾値に設定しても良い。また、ボディＣＰＵ５０（顔認識処理部５１）が、特定の被写体を認識していない場合、またはボディＣＰＵ５０が、撮影モードを、風景、クローズアップ等のいずれかの撮影シーンであると判断した場合に、ＶＡＤ処理部５２は下限閾値を第１下限閾値に設定しても良い。

公知のＶＡＤを応用して、被写体判断手段４４，５１が、特定の被写体（人間または動物）を予測または認識している場合に、音声信号の検出範囲を広くすることで、人間または動物の音声を、より明瞭に検出することができる。

なお、図３のフレーム６７では、ノイズ除去の処理を行わないように説明を行ったが、フレーム６７の途中であっても、ボディＣＰＵ５０がＡＦ駆動信号を検出したタイミングで、ノイズ除去の処理を行ってもよい。
第２実施形態

第１実施形態では、例えば図３に示すフレーム６１のように、ノイズ除去処理を全く行わない場合について説明を行ったが、本実施形態では、図６に示すように、例えばフレーム６１でも、ＡＦ音などのノイズ（特定ノイズ）以外の一般ノイズ（例えば、車のエンジン音、風切り音等）の除去処理を行う。図１に示すＥＥＰＲＯＭ４６には、特定ノイズ以外の一般ノイズを除去するためのプログラムが、特定ノイズを除去するためのプログラムと共に、予め記録されている。これ以外は、上述した第１実施形態と同様であり、重複する説明を省略する。

図６に示す音Ｂには、一般ノイズが含まれていると考えられる。例えば、フレーム６１に対応する音声データＭでは、フレーム６１の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出しておらず、一般ノイズを検出しているので、通常レベル除去係数にて、一般ノイズ除去処理を行う。

また、例えば、フレーム６４に対応する音声データＭでは、フレーム６４の開始時に、ボディＣＰＵ５０が特定の被写体の音声を検出しており、しかも、特定ノイズも検出しているので、特定ノイズ除去の効果を弱め、特定被写体の音声が劣化することを防止する。

また、例えば、フレーム６５の開始時には、ボディＣＰＵ５０が特定の被写体の音声を検出しておらず、一般ノイズを検出している。さらに、ボディＣＰＵ５０は、特定ノイズも検出している。この場合には、通常レベル除去係数にて、特定ノイズの除去を行う。

本実施形態では、特定ノイズだけでなく、一般ノイズの除去も行うことができる。

なお、上述した実施形態では、ミラー機構を有するカメラを用いて説明を行ったが、ミラー機構を省いたシステムのカメラにも適用することができる。

また、上述したノイズ検出手段が検出するノイズの対象は、特に限定されず、ノイズ検出手段は、手振れ補正レンズ駆動モータ音、車の通過音（騒音）、カメラの操作ボタンの操作音、等を検出することができる。さらに、ノイズ除去のためのプログラムや、音声検出の手段も、上述した実施形態に限定されず、一般的なノイズ検出プログラムや一般的な音声検出のためのプログラムを用いることができる。

３…カメラ
１６…撮像素子
４３…マイク
４４…撮影モード切替スイッチ
５１…顔認識処理部
５２…ＶＡＤ処理部
ｔ１…第１下限閾値
ｔ２…第２下限閾値
５３…ノイズ検出部
５４…ノイズ除去処理部
５５…ノイズ除去性能変更手段
Ｂ…音信号

Claims (11)

1. 動画の撮像を行う動画撮像手段と、
   前記動画の撮像中に発生する音を音信号に変換する信号変換手段と、
   特定の被写体を予測または認識する被写体判断手段と、
   前記動画の撮像中に発生する音に含まれるノイズを検出するノイズ検出手段と、
   前記音信号から、ノイズ信号を除去するノイズ除去手段と、
   前記音信号から、非ノイズ信号を検出する音声検出手段と、
   前記被写体判断手段が、特定の前記被写体を予測または認識している場合に、前記ノイズ除去手段による前記ノイズ信号の除去性能を小さくするノイズ除去性能変更手段とを有するカメラ。
2. 前記ノイズ除去手段は、ノイズ除去係数に基づき、前記音信号から、前記ノイズ信号を除去し、
   前記被写体判断手段が、特定の前記被写体を予測または認識している場合に、
   前記ノイズ除去性能変更手段が、前記ノイズ信号の前記除去性能を小さくするように、前記ノイズ除去係数を、比較的小さな低レベル除去係数に設定することを特徴とする請求項１に記載のカメラ。
3. 前記被写体判断手段が、特定の前記被写体を予測または認識していない場合に、
   前記ノイズ除去手段が、前記ノイズ除去係数を、前記低レベル除去係数より大きな通常レベル除去係数に設定することを特徴とする請求項２に記載のカメラ。
4. 前記被写体判断手段は、前記動画撮像手段が撮像した映像信号に基づき、前記被写体の顔の存在を認識する顔認識手段であることを特徴とする請求項１〜３のいずれかに記載のカメラ。
5. 前記被写体判断手段は、予め準備された複数の撮影モードごとに、特定の前記被写体を予測するシーンモード手段であることを特徴とする請求項１〜３のいずれかに記載のカメラ。
6. 前記ノイズ検出手段は、少なくともオートフォーカスの駆動信号を検出することにより、前記ノイズを検出することを特徴とする請求項１〜５のいずれかに記載のカメラ。
7. 前記音声検出手段は、前記音信号の周波数の下限閾値から上限閾値までの範囲内で、前記音信号から、前記音声信号を検出し、
   前記被写体判断手段が、特定の前記被写体を予測または認識している場合に、
   前記音声信号の検出範囲を広くするように、前記音声検出手段は前記下限閾値を下げて、第１下限閾値から第２下限閾値に設定することを特徴とする請求項１〜６のいずれかに記載のカメラ。
8. 前記被写体判断手段が、特定の前記被写体を予測または認識していない場合に、
   前記音声検出手段は前記下限閾値を前記第１下限閾値に設定することを特徴とする請求項７に記載のカメラ。
9. 特定の被写体を予測または認識する被写体判断手段、
   動画の撮像中に発生する音に対応する音信号から、ノイズ信号を除去するノイズ除去手段、
   前記音信号から、人間または動物の音声信号を検出する音声検出手段、および
   前記被写体判断手段が、特定の前記被写体を予測または認識している場合に、前記ノイズ除去手段による前記ノイズ信号の除去性能を小さくするノイズ除去性能変更手段としてコンピュータを機能させるためのプログラム。
10. 特定の被写体を予測または認識する被写体判断手段、
    動画の撮像中に発生する音に対応する音信号から、ノイズ信号を除去するノイズ除去手段、
    前記音信号から、人間または動物の音声信号を検出する音声検出手段、および
    前記被写体判断手段が、特定の前記被写体を予測または認識している場合に、前記ノイズ除去手段による前記ノイズ信号の除去性能を小さくするノイズ除去性能変更手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 動画の撮像を行う工程と、
    前記動画の撮像中に発生する音を音信号に変換する工程と、
    特定の被写体を予測または認識する工程と、
    前記動画の撮像中に発生する音に含まれるノイズを検出する工程と、
    前記音信号から、ノイズ信号を除去する工程と、
    前記音信号から、人間または動物の音声信号を検出する工程と、
    前記被写体判断手段が、特定の前記被写体を予測または認識している場合に、前記ノイズ除去手段による前記ノイズ信号の除去性能を小さくする工程とを有するノイズ除去方法。

Images