JP2010193053A - 撮像装置及びノイズ低減方法 - Google Patents

Abstract

【課題】録音時の操作音などの雑音を低減する手段を提供する。
【解決手段】音声を取得する音声取得手段と、音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、駆動及び／又は操作の時間と、を検出する検出手段と、検出手段にて検出された駆動及び／又は操作の履歴を、音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存手段と、を備え、履歴データと、音声付動画または音声と、を関連付けて保存する。
【選択図】図３

Description

本発明は、録音の際に生じる、操作音などの雑音を軽減する撮像装置及びノイズ低減方法に関する。

光学ズームを有するデジタルスチルカメラは、レンズの小型化を図るため鏡筒が伸縮する沈胴タイプのレンズを採用している場合が多い。小型化が図れる一方で、このタイプのレンズは、駆動トルクが大きいためモータやギアなどから発生する雑音が大きい。

また、光学ズームを搭載していない場合でも、フォーカスモータを駆動する際にも、同様に雑音が発生する。このように、コンパクトに設計されたデジタルスチルカメラのレンズは、駆動時に発生する雑音が大きい。

また、音声付動画機能を有するデジタルスチルカメラでは、動画像を記録する際、ズームモータ、フォーカスモータからの雑音が入らないように光学ズームやフォーカス動作を禁止してデジタルズームのみにするか、音声に入る雑音を許容して光学ズーム等を動作させるか、のどちらかを採用している場合が多い。しかしながら、ボタン操作によるクリック音においてはそれを許容して、なおかつこれらを考慮したマイクの設置は、構造上の制約から困難である。

デジタルカメラ及びボイスレコーダによる音声録音時の機械的駆動音、クリック音の対策としては、以下のような方法が従来より提案されている。

１．動画撮影時は光学ズームを動かさず、デジタルズームのみ行う。

２．動画撮影時、レンズ、フォーカス等の駆動時、録音レベルを、下げるまたは０にして無音として録音する。

３．複数のマイクロホンを配置し、ズームレンズ駆動モータ又はフォーカスレンズ駆動モータが騒音を発生している期間には、ズームレンズ駆動モータ及びフォーカスレンズ駆動モータの騒音を最も集音しないように配置された第２マイクロホンが集音した音声をメモリに記憶させる。（特許文献１参照）

４．動画撮影時、機械的振動ノイズ発生時にキャンセルさせるような逆位相を掛ける。（特許文献２参照）

５．録音用マイク、雑音集音用マイクを配置し、録音時に録音用マイクのデータから雑音集音用マイクのデータを減算することでレンズ等の雑音低減を実現する。（特許文献３参照）

しかしながら、音声付動画撮影時にフォーカス、ズーム駆動を禁止する撮影方法では撮影シーンが限定されてしまう。また、ズーム駆動、フォーカス駆動時の録音レベルを下げる、０にする等の方法は、収音された音声が不自然になってしまう。

また、特許文献１や特許文献３に記載の技術では、モノラル音声録音でも、複数の収音マイクを有する必要が在り、コスト、実装面積ともに大きくなってしまう。

また、特許文献２のように録音時にフィルタ処理、逆位相を掛ける等の方法では、ＣＰＵの性能によってはデータのアンダーフローの危険性や処理が間に合わない等、時間的制約が絶対の音声処理において実現不可能な場合があった。

そこで本発明は、上記問題点に鑑みてなされたもので、録音時の操作音などの雑音を低減する手段を提供することを目的とする。

上記課題を解決するため、本発明における撮像装置は、音声を取得する音声取得手段と、音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、駆動及び／又は操作の時間と、を検出する検出手段と、検出手段にて検出された駆動及び／又は操作の履歴を、音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存手段と、を備え、履歴データと、音声付動画または音声と、を関連付けて保存することを特徴とする。

モータ駆動時及び／又は操作部材の操作時の音のノイズ特性データを保存するノイズ特性データ保存手段と、音声付動画または音声を不揮発性メモリに保存する際に、履歴保存手段にて保存された履歴データと、ノイズ特性データ保存手段にて保存されたノイズ特性データと、を用いて音声取得手段により取得した音声データからノイズ成分を低減するノイズ低減手段と、を備え、ノイズ成分が低減された音声付動画または音声を不揮発性メモリに記録することを特徴とする。

不揮発性メモリに保存された音声付動画または音声を再生する再生手段を備え、ノイズ低減手段は、再生手段により音声付動画または音声を再生する際に、履歴保存手段にて保存された履歴データと、ノイズ特性データ保存手段にて保存されたノイズ特性データと、を用いて音声取得手段により取得した音声データからノイズ成分を低減することを特徴とする。

また、本発明におけるノイズ低減方法は、音声を取得する音声取得ステップと、音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、駆動及び／又は操作の時間と、を検出する検出ステップと、検出ステップにて検出された駆動及び／又は操作の履歴を、音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存ステップと、を備え、履歴データと、音声付動画または音声と、を関連付けて不揮発性メモリに保存することを特徴とする。

モータ駆動時及び／又は操作部材の操作時の音のノイズ特性データを保存するノイズ特性データ保存ステップと、音声付動画または音声を不揮発性メモリに保存する際に、履歴保存ステップにて保存された履歴データと、ノイズ特性データ保存ステップにて保存されたノイズ特性データと、を用いて音声取得手段により取得した音声データからノイズ成分を低減するノイズ低減ステップと、ノイズ成分が低減された音声付動画または音声を不揮発性メモリに記録するステップと、を備えることを特徴とする。

不揮発性メモリに保存された音声付動画または音声を再生する再生ステップを備え、ノイズ低減ステップは、再生ステップにより音声付動画または音声を再生する際に、履歴保存ステップにて保存された履歴データと、ノイズ特性データ保存ステップにて保存されたノイズ特性データと、を用いて音声取得ステップにより取得した音声データからノイズ成分を低減することを特徴とする。

本発明により、複数のマイクを備えるなど、特別な部材なしで、録音時の操作音などの雑音を低減する手段を提供することが可能となる。

本発明の実施形態に係るデジタルカメラの構成図である。 本発明の実施形態に係るデジタルカメラの機能ブロック図である。 本発明の実施形態に係るデジタルカメラの操作部材、駆動部材の音声の特性データ登録方法を示すフローチャート図である。 本発明の実施形態に係るデジタルカメラの音声付動画撮影時の撮影方法を示すフローチャート図である。 録音データの一例を示す図である。 本発明の実施形態に係るデジタルカメラの音声付動画再生時のフローチャート図である。 ２ｃｈ録音(ステレオ録音)の場合における収集データに標本化定理を利用した場合の実施例である。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。なお、本実施形態は、撮像装置をデジタルスチルカメラシステムとしているが、これに限るものではなく、音声録音、音声付動画撮影が可能な撮像装置について適用可能である。

図１は、本発明の実施形態におけるデジタルカメラの構成図である。本デジタルカメラは、全体の動作を中央処理装置（ＣＰＵ）１によって統括制御されている。

ＣＰＵ１は、操作部２４（ＰＯＷＥＲ（電源）ボタン、シャッタボタン、ズームレバー（望遠）／（広角）、モード切替スイッチ、再生ボタン、ＡＤＪ．ボタン、削除／セルフタイマーボタン、↑／ＭＯＤＥボタン、→／クイックレビューボタン、ＭＥＮＵ／ＯＫボタン、↓／マクロボタン、←／フラッシュボタン、ＤＩＳＰ．ボタン２０）から入力される操作信号に基き、所定の制御プログラムに従ってデジタルカメラの全体を統括制御する。

バス２を介してＣＰＵ１と接続されたフラッシュＲＯＭ３には、ＣＰＵが実行する制御プログラム及び制御に必要な各種データ、ユーザ設定情報などのデジタルカメラの動作に関する各種設定情報等が格納されている。

メモリ（ＳＤＲＡＭ）４は、ＣＰＵ１の演算作業用領域、画像データ（Ｒａｗ−ＲＧＢ画像データ、ＹＵＶ画像データ、圧縮伸張画像データ）等の一時記憶領域として利用される。

鏡胴ユニット５は、被写体の光学画像を取り込むズームレンズ５１と、フォーカスレンズ５２と、それらを制御するレンズ駆動部６と、絞り５３と、それらを制御する絞り駆動部７と、メカシャッタ５４と、メカシャッタを制御するシャッタ駆動部８と、からなる。

シャッタ駆動部６、絞り駆動部７と、レンズ駆動部８とは、ＣＰＵ１からの駆動指令により駆動制御される。

デジタルカメラの電源がオン状態になると、制御プログラムはメモリ（ＳＤＲＡＭ）４にロードされ、ＣＰＵ１はその制御プログラムに従い、装置各部の動作を制御する。それとともに制御に必要なデータ等を、一時的にメモリ（ＳＤＲＡＭ）４に保存する。

フラッシュＲＯＭ３は、書き換え可能な半不揮発性メモリなので、制御プログラムや制御に必要な各種データ、ユーザ設定情報を変更することが可能となり、機能のバージョンアップが容易に行える。

デジタルカメラは、ＰＯＷＥＲ（電源）ボタンを撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズが繰り出され、撮影スタンバイ状態になる。

この撮影モードの下、レンズを通過した被写体光は、絞りを介して固体撮像素子の受光面に結像される。

固体撮像素子は、ＣＣＤ９で構成されており、その受光面には、所定の配列構造（ベイヤー、Ｇストライプなど）で配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを介して多数のフォトダイオード（受光素子）が二次元的に配置されている。

レンズを通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１１に加えられる。

アナログ処理部（ＣＤＳ／ＡＭＰ）１１は、入力された画素ごとのＲＧＢ信号をサンプリングホールド（相関二重サンプリング処理）するとともに、増幅し、Ａ／Ｄ変換器１２に出力する。

Ａ／Ｄ変換器１２は、アナログ処理部（ＣＤＳ／ＡＭＰ）１１から出力されたアナログＲＧＢ信号をデジタルＲＧＢ信号に変換して出力し、このＡ／Ｄ変換器から出力されたデジタルのＲＧＢ信号が、センサ入力制御部１３を介し、Ｒａｗ−ＲＧＢ画像データとしてメモリ（ＳＤＲＡＭ）４に取り込まれる。

画像信号処理部１４は、メモリに取り込まれたＲａｗ−ＲＧＢ画像データをＣＰＵ１の指令に従って処理し、輝度信号（Ｙ信号）及び色差信号（Ｃr、Ｃb信号）へ変換し、ＹＵＶ画像データを生成する。

すなわち、画像信号処理部１４は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１からの指令に従って、メモリ（ＳＤＲＡＭ）４を活用しながら入力されたＲＧＢ信号を信号処理することにより、輝度信号及び色差信号（輝度／色差信号）を生成する。生成された輝度／色差信号は、ＹＵＶ画像データとしてメモリ（ＳＤＲＡＭ）４に格納される。

撮影画像を液晶モニタ１７に出力する場合は、ＹＵＶ画像データが、メモリ（ＳＤＲＡＭ）４からＯＳＤＭＩＸ部１５に送られる。

ＯＳＤＭＩＸ部１５は、入力されたＹＵＶ画像データの輝度／色差信号に文字や図形などのオンスクリーンディスプレイデータを重ね合わせて合成され、ビデオエンコーダおよび液晶モニタ信号処理部に出力する。これにより、所要の撮影情報等が画像データに重ねて表示される。

ビデオエンコーダ１８は、入力されたＹＵＶ画像データの輝度／色差信号を表示用のデジタル表示出力信号（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、Ｄ／Ａ変換器１９にてデジタル表示出力信号をアナログビデオ出力信号に変換する。

ビデオＡＭＰ２０は、Ｄ／Ａ変換器１９から出力されたアナログビデオ信号を、７５Ωインピーダンス変換し、テレビなどの外部表示機器と接続するためのＡＶ出力端子２１へ出力する。これにより、ＣＣＤで撮像された画像がテレビなどの外部表示機器に表示される。

一方、液晶モニタ信号処理部１６は、入力されたＹＵＶ画像データの輝度／色差信号を液晶モニタ１７の入力信号形式であるＲＧＢ信号へ変換し、液晶モニタ１７へ出力する。これにより、ＣＣＤで撮像された画像が液晶モニタ１７に表示される。

ＣＣＤから画像信号を定期的に取り込み、その画像信号から生成される輝度／色差信号によってメモリ（ＳＤＲＡＭ）４内のＹＵＶ画像データを定期的に書き換え、液晶モニタ１７およびＡＶ出力端子２１に出力することにより、ＣＣＤで撮像される画像がリアルタイムに表示される。撮影者は、液晶モニタ１７にリアルタイムに表示される画像（ライブビュー画像）を見ることにより、撮影画角を確認することができる。

オーディオＣＯＤＥＣ２３は、ＡＬＣ(オートレベルコントロール)、ＰＧＡ(プログラマブルゲインアンプ)、ＡＤＣおよびＤＡＣを有し、ＡＤＣ、ＤＡＣその両方で使用可能なイコライザ、ハイパスフィルタ、ローパスフィルタ、デジタルボリュームを有し、それらの機能をＣＰＵ１からのシリアル通信により制御が可能である。

マイク２５から入力された音声はオーディオＣＯＤＥＣ２３内でＡＧＣ、ＨＰＦ等の各種アナログフロントエンドブロックを通過後、Ａ／Ｄ変換によりデジタルデータに変換されて音声信号処理部２２へ送られ、ＤＭＡもしくはＣＰＵを介してメモリ（ＳＤＲＡＭ）４へ転送される。

音声信号処理部２２から送られた音声データは、オーディオＣＯＤＥＣ２３のＤＡＣに送信されアナログデータに変換後、スピーカ２６から出力される

図２は、本発明の実施形態におけるデジタルカメラの機能ブロック図である。本デジタルカメラは、撮像部１０１と、音声取得部１０２と、操作検出部１０３と、記憶部１０４と、を有して構成される。

撮像部１０１は、被写体の撮像を行い、音声取得部１０２とともに動作することで、音声付動画記録が可能となっている。なお音声取得部１０２は、音声を音声データと取得する。

操作検出部１０３は、撮像レンズを駆動するモータの駆動やデジタルカメラを操作するための操作部材の操作を検出し、また、そのときの時間を検出する。

記憶部１０４は、撮像部１０１及び／又は音声取得部１０２で取得されたデータや、操作検出部１０３で検出された操作履歴を関連付けて記憶している。また、モータの駆動や操作音によるノイズ特性のデータを保持する。

次に本発明の実施形態における録音制御について詳細に説明する。まず、操作部材のクリック音、駆動音の特性データの取得に関して説明する。

図３は、本発明の実施形態おける操作部材、駆動部材の音声の特性データの登録方法を示すフローチャート図である。

操作部材のクリック音、駆動部の音声測定において実機で任意の操作部材、駆動部材の動作音、クリック音、をリニアＰＣＭ等でサンプリングし、ＷＡＶＥ形式などのファイル形式で録音する。録音したデジタルデータから周波数成分、ピークをスペクトルアナライザ等で抽出する（ステップＳ２０１）。

抽出後、表１に示すような測定結果テーブルを作成し、

表１から表２に示すようなプログラム組み込み用のテーブル（操作部材駆動部材音声特性ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ））を作成する（ステップＳ２０２）。

ＬＵＴは、データを圧縮するための一手段である。表２に示すデータは、任意の形で不揮発メモリに登録される。ここで、部材ＩＤは任意に決定される。

表１のデータを基に該当する操作部材、駆動部が操作、駆動した際に減衰させる音圧レベルを規定し、表２の減衰量(ｄＢ)と減衰量(元データに掛ける係数)とを記録する。撮像装置、録音装置内部では表２における操作部材又は駆動部と、部材ＩＤと、Ｆｃ周波数（遮断周波数）と、主要周波数帯域幅と、減衰量（ｄＢ）又は減衰量（元データに掛ける係数)と、を不揮発性メモリに記憶させ保持する。

図４は、本発明の実施形態における音声付動画撮影時の撮影方法を示すフローチャート図である。

シャッタボタン押下などにより、音声付動画撮影が開始されると（ステップＳ３０１）、操作部、駆動部の操作、動作音などの低減のための同駆動履歴、同操作履歴を記憶するか否か（ノイズ低減録画機能）がユーザにより設定されているか判断を行う（ステップＳ３０２）。

ノイズ低減録画機能がＯＮになっていれば、操作部材、駆動部材の動作又は駆動が有るか否かの判断を行う（ステップＳ３０３）。

操作部材、駆動部材の動作又は駆動が有れば、駆動ステータスを監視するプログラム、制御からの情報を基に表３に示すような操作部の操作、及び駆動部駆動履歴データを保存する（ステップＳ３０４）。

表３は、操作部材の操作履歴、駆動部の駆動履歴として、フレーム数もしくは経過秒数と動作または操作された部材を表２の部材ＩＤに置き換え、ＳＤＲＡＭもしくは不揮発性メモリにデータとして保存される。

表３におけるフレーム数は、差分値を持つことでデータ量を圧縮が可能である。また、表３における現在のフレーム数は、（フレーム数/フレームレート）により秒数に変換可能で余りを切り捨てることで履歴のサンプル数そのものを減らすことが可能である。また、表３の履歴データの取得の間隔は可変で、秒単位、ＶＯＰ単位、フレーム単位と処理の負荷に応じて選択する。

ユーザによる音声付動画撮影の終了操作、もしくは記憶容量がなくなることによる当該撮像装置、録音装置の自発的な音声付動画撮影完了判定が行われたか否かを判断し（ステップＳ３０５）、終了判断がされれば、動画撮影の完了処理を行う（ステップＳ３０６）。

完了処理とは、ファイルのクローズ及びトランケート等のファイルの終端処理であり、表３の履歴データを当該動画ファイルに埋め込む場合はその処理を行う。操作部、駆動部、操作駆動履歴を当該動画ファイルと別ファイルとして保存する場合は、そのクローズ処理を行う。

動画撮影中の各部材の操作又は駆動履歴があるか否かを判断し（ステップＳ３０７）、無い場合はそのまま終了する。一方、動画撮影中の各部材の操作又は駆動履歴がある場合には、フレーム数から対応する音声データを探索する、部材ＩＤから表２の操作部材駆動部材音声特性ＬＵＴの周波数、レベル情報を取り出し、探索した音声データに対して（不自然な音声に為らないようＦｅｎｄ−Ｆｓｔａｒｔの期間が１秒未満の場合は、そのフレームを含む前後の１ＶＯＰ単位で最低でも１秒分の音声データに対し）、バンドリジェクトフィルタ（バンドパスフィルタ）を施す、またはゲインを下げる、又はその両方を施す等、その操作音、駆動音を低減させるような音声データの変換、補正を行う（ステップＳ３０８）。

なお、ステップＳ３０２、Ｓ３０３、Ｓ３０４において、「ノイズ低減録画機能の設定判断、及びその記憶処理」は、前記操作部材、駆動部材の動作、操作音の主要周波数成分が、録音の際のサンプリングレートｆｓの１／２を超える周波数である場合は、標本化定理により完全復元不可能であるため前記駆動履歴、操作履歴情報の記憶処理は行わないようにしてもよい。

また、音声付動画撮影中は光学ズームの駆動を禁止し、オートフォーカスのみを許可する（物理的な駆動音が発生しない電子ズームは許可する）ようにしても良い。これにより、オートフォーカス時のフォーカスモータの音のノイズ低減のみに前記実施形態を注力でき、より原データに近い形でノイズ低減が図れる、等の効果を享受できる。

図５は、録音データの一例を示す図である。図５は、表３に示すデータと対応する。

音声付動画撮影時に同時に生成した表３から始めに３９０フレーム目〜５４０フレーム目まで部材ＩＤ＝６が動作していたことが判るため、当該音声付動画ファイルから３９０〜５４０フレーム目までの間の音声データをサーチする（図４破線区間）。

次に、表２からＩＤ＝６が動作した場合に減衰させるべき減衰量を探索する、つまり０．５倍の値を当該音声付動画ファイルにおける３９０〜５４０フレーム目までの間の音声データの値を一律０．５倍する(ゲインを下げる)。

または、表２の部材ＩＤとＦｃ周波数を用いて、バンドリジェクトフィルタ等のフィルタリングにより主要成分の音圧レベルをカットまたは減衰させることで、ＩＤ＝６の駆動音、操作音を減衰させる。

図６は、本発明の実施形態におけるデジタルカメラの音声付動画再生時のフローチャート図である。

ユーザから動画再生の開始要求があると（ステップＳ５０１）、表３に示す操作又は駆動履歴データの情報があるかどうかの判断を行う（ステップＳ５０２）。このデータは当該動画ファイルのメタデータ部として、もしくは動画ファイルに関するファイルとして、たとえば同名異拡張子のファイルの何れかの形で存在する。存在しない場合はその後通常の動画再生を行う。

ｘフレーム目の動画フレームの復号化処理を行う（ステップＳ５０３）。

表３と同等の当該動画ファイルの埋め込みデータ、もしくは関連する別ファイルに存在する表３相当のデータから現在のフレーム数と同じＦｓｔａｒｔの値があるか否かを判断する（ステップＳ５０４）

現在のフレーム数と同じＦｓｔａｒｔの値があれば、オーディオコーデックが持つ機能、ＡＧＣ(オートゲインコントロール)、デジタルボリューム、イコライザ、フィルタ等を利用し、その部材の動作、操作音を低減するように任意の設定をする（ステップＳ５０５）。その任意の設定は表３の部材ＩＤから表２の情報を取り出し、その情報を参考に設定を決定する。

表３と同等の当該動画ファイルの埋め込みデータ、もしくは関連する別ファイルに存在する表３相当のデータから現在のフレーム数と同じＦｅｎｄの値があるか否かを判断する（ステップＳ５０６）。

現在のフレーム数と同じＦｅｎｄの値があれば、この段階で実行している操作音、駆動音低減処理を停止する（ステップＳ５０７）。なお、実行していない場合は何もしない。

ここまでで、ｘフレーム目の復号化は完了しているので、フレームのカウントをインクリメントする（ステップＳ５０８）。なお、音声ビットストリームの再生は映像ビットストリームと平行してリアルタイムにデコードされている。

ｘが最終フレームの値と同等になるか、停止操作が行われるまで上記操作を繰り返し（ステップＳ５０９）、音声付動画の再生は完了となる。

図７は、２ｃｈ録音(ステレオ録音)の場合における表３の収集データに標本化定理を利用した場合の実施例である。

ノイズ元の主要周波数ｆｎ、サンプリングレートｆｓとした時に、
ｆｓ＜２ｆｎ
となるように、ｃｈ２のオリジナルデータに対して、エンコード時もしくはデコード時にｃｈ１のデータからｃｈ２のデータに対して定周期でｃｈ１のデータを基に算出した値（＊１）をコピーすることにより、ノイズ元に寄り近いほうのマイクｃｈ２のデータのサンプリングレートを擬似的に変更し、ノイズ元の主要周波数の復元を抑制する方法である。

＊１においてコピーする際コピー元のデータのＡ／Ｄ値 ＡＤＤＡＴ_ＳＲＣとコピー先のデータのＡ／Ｄ値ＡＤＤＡＴ_ＤＳＴの差
ΔＡＤＤＡＴ=｜ＡＤＤＡＴ_ＳＲＣ−ＡＤＤＡＴ_ＤＳＴ｜
がある一定量を超える場合、ＡＤＤＡＴ_ＤＳＴ＝｜ＡＤＤＡＴ_ＳＲＣ−ＡＤＤＡＴ_ＤＳＴ｜／２として平均化する、もしくはＡＤＤＡＴ_ＤＳＴ＝（ＡＤＤＡＴ_ＤＳＴ±Ｘ）と一定量の減算、加算を行う。

図７において、サンプリングレート：８ｋＨｚ、チャンネル数：２、ｃｈ１：ｃｈ２とは別の位置に取り付けられたマイクから取得した音声データのＡ／Ｄ出力、ｃｈ２：ズームモータ等のノイズ元により近い位置に配置されたマイクから取得した音声データのＡ／Ｄ出力をそれぞれ示す。

ノイズ発生期間Ｔｎにおけるｃｈ２のＡ／Ｄ値：ＡＤＤＤＡＴ_ＣＨ２＝３００、主要周波数成分２ｋＨｚとすると、ノイズ発生期間ＴｎのＡＤＤＡＴ_ＣＨ２のデータをｃｈ１のＡ／Ｄ値：ＡＤＤＡＴ_ＣＨ１のデータを用いて、オリジナルデータのＡＤＤＡＴ_ＣＨ２のデータに注目した際にサンプリングクロックが擬似的に１／４に成るように（＊２参照）定周期で値Ｙに変換する。

本例では、

ΔＡＤＤＡＴ＝｜ＡＤＤＡＴ_ＣＨ１−ＡＤＤＡＴ_ＣＨ２｜

ｚ＝５０とすると、

IF(ΔADDAT>Z)
Y=(ADDAT_CH1+ADDAT_CH2)/2=(300+220)/2=260
ELSE
Y=ADDAT_CH1

これにより、ノイズ元の原信号ｆｎ＝２ｋＨｚのデータの復元に必要なサンプリング周波数ｆｓｒは、

ｆｓｒ＝２×ｆｎ＝４ｋＨｚ

Ｔｎ期間の変換後データイメージのＡＤＤＡＴ_ＣＨ２のオリジナルデータの出現周期は＊２から擬似的にサンプリングクロックの１／４の２ｋＨｚになることでＴｎ期間のノイズ発生時の音声データを自然な形で抑制できる。

図７によれば、デジタルカメラなどの小型機器のように比較的二つのマイクが物理的に近い位置に配置されている場合、擬似的にサンプリングレートを下げることにより、原データ（元のオリジナル）を極力残す形でノイズデータの復元を阻止できる。

本発明の実施形態によれば、デジタルカメラの製造の工程もしくは設計段階での各部材のクリック音、駆動音、動作音の特性データを持ち、音声録音中に、どの操作部材が押下されたか、どの駆動部材が動いたか、などの情報を録音中に別のメタデータとしてログを取り、このデータを用いて音声録音完了時もしくは音声再生時に音声データを変換する。

音声、音声付動画の記録中に駆動部、操作部の操作履歴、駆動履歴を同時に記録し、その履歴情報を用いて記録された音声データのゲインや周波数特性を変えてノイズを低減する、または履歴データを下に再生時に音声デバイスの機能を用いてＤＡＣのボリュームを変更する等で再生時にその操作音動作のノイズを低減するため、従来の技術のように複数のマイク等本課題を解消するための部品、部材なしで、動画音声、音声録音時にノイズとして認識されるボタンのクリック音を抑制できる。

また、操作音などのノイズの低減により、録音中制限されていた、録音レベルの変更、ズーム操作等の操作が可能になるため仕様上の制限が無くなり仕様の幅が広がる効果が期待できる。

また、録音完了時もしくは再生時に行う処理により実現するため、ＣＰＵのスペックによってタイミングがシビアな録音時に従来技術の様な複雑な処理を行わなくて良いためデータのアンダーフロー等を防ぐことが可能である。

以上、実施の形態を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら実施の形態や具体例に様々な修正および変更が可能である。

１０１ 撮像部
１０２ 音声取得部
１０３ 操作検出部
１０４ 記憶部

特開２００５−０２６９５７号公報 特開２００２−３４４７８７号公報 特開２００５−２４４６１３号公報

Claims (12)

1. 音声を取得する音声取得手段と、
   音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、前記駆動及び／又は前記操作の時間と、を検出する検出手段と、
   前記検出手段にて検出された前記駆動及び／又は前記操作の履歴を、前記音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存手段と、を備え、
   前記履歴データと、前記音声付動画または前記音声と、を関連付けて保存することを特徴とする撮像装置。
2. 前記モータ駆動時及び／又は前記操作部材の操作時の音のノイズ特性データを保存するノイズ特性データ保存手段と、
   前記音声付動画または前記音声を保存する際に、前記履歴保存手段にて保存された履歴データと、前記ノイズ特性データ保存手段にて保存されたノイズ特性データと、を用いて前記音声取得手段により取得した音声データからノイズ成分を低減するノイズ低減手段と、を備え、
   ノイズ成分が低減された前記音声付動画または前記音声を不揮発性メモリに記録することを特徴とする請求項１記載の撮像装置。
3. 前記不揮発性メモリに保存された前記音声付動画または前記音声を再生する再生手段を備え、
   前記ノイズ低減手段は、前記再生手段により前記音声付動画または前記音声を再生する際に、前記履歴保存手段にて保存された履歴データと、前記ノイズ特性データ保存手段にて保存されたノイズ特性データと、を用いて前記音声取得手段により取得した音声データからノイズ成分を低減することを特徴とする請求項２記載の撮像装置。
4. 前記ノイズ特性データは、前記モータ駆動時及び／又は前記操作部材の操作時の音の周波数特性であり、
   前記ノイズ低減手段は、特性にあわせてバンドパスフィルタの周波数特性を切り換えること特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記ノイズ特性データは、前記モータ駆動時及び／又は前記操作部材の操作時の音の音圧レベルであり、
   ノイズ低減手段は、特性にあわせて音圧レベルの減衰量を切り換えること特徴とする請求項１から３のいずれか１項に記載の撮像装置。
6. 履歴保存手段は、ユーザにより無効化されることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 音声付動画撮影中に光学ズームの駆動を禁止する光学ズーム禁止手段を備えることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. ＡＧＣ(オートゲインコントロール)、イコライザ、デジタルボリューム等の音声処理機能を有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記モータ駆動時及び／又は前記操作部材の操作時のノイズ特性を取得するノイズ特性取得手段を備え、
   前記ノイズ特性データ保存手段は、前記モータ及び／又は操作部材の動作操作音の主要周波数成分が録音時のサンプリングレートｆｓの１／２を超える周波数の場合は、データとして登録しないことを特徴とする請求項２から８のいずれか１項記載の撮像装置。
10. 音声を取得する音声取得ステップと、
    音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、前記駆動及び／又は前記操作の時間と、を検出する検出ステップと、
    前記検出ステップにて検出された前記駆動及び／又は前記操作の履歴を、前記音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存ステップと、を備え、
    前記履歴データと、前記音声付動画または前記音声と、を関連付けて保存することを特徴とするノイズ低減方法。
11. 前記モータ駆動時及び／又は前記操作部材の操作時の音のノイズ特性データを保存するノイズ特性データ保存ステップと、
    前記音声付動画または前記音声を保存する際に、前記履歴保存ステップにて保存された履歴データと、前記ノイズ特性データ保存ステップにて保存されたノイズ特性データと、を用いて前記音声取得手段により取得した音声データからノイズ成分を低減するノイズ低減ステップと、
    ノイズ成分が低減された前記音声付動画または前記音声を不揮発性メモリに記録するステップと、を備えることを特徴とする請求項１０記載のノイズ低減方法。
12. 前記不揮発性メモリに保存された前記音声付動画または前記音声を再生する再生ステップを備え、
    前記ノイズ低減ステップは、前記再生ステップにより前記音声付動画または前記音声を再生する際に、前記履歴保存ステップにて保存された履歴データと、前記ノイズ特性データ保存ステップにて保存されたノイズ特性データと、を用いて前記音声取得ステップにより取得した音声データからノイズ成分を低減することを特徴とする請求項１１記載のノイズ低減方法。

Images