JP2008052059A - 音声記録装置および音声記録方法と、音声再生装置および音声再生方法、プログラム - Google Patents

Abstract

【課題】再生時における音声の質を確保しつつ、音声記録時におけるデータ処理負担を軽減する。
【解決手段】デジタルカメラ１の制御部４に、入出力する音声データにおける特定の周波数成分を減衰させるノッチフィルタ処理を行わせノイズ除去手段として機能させる構成である。動画撮影時（音声記録時）には、入力音声に含まれるノイズ音であって、装置が有するデバイスの駆動に起因して生ずる特定のノイズ音の一部を制御部４によって除去させるとともに、除去していない特定のノイズ音の発生源であるデバイスを示すデバイスＩＤを音声データに付加して記録させる。動画再生時（音声再生時）には、デバイスＩＤにより示されるデバイスを発生源とする特定のノイズ音のみを制御部４によって除去させる。すなわち特定のノイズ音を音声記録時と音声再生時とに分けて除去するようにする。
【選択図】 図１

Description

本発明は、音声記録装置および音声記録方法と、音声再生装置および音声再生方法とに関し、より詳しくは音声の記録時に発生する複数の周波数帯域に点在するノイズ音の除去技術に関する。

近年の電子機器は、種々の主要デバイスを有機的に結合させることにより、より機能的な電子機器となるように構成されている。例えば、デジタルビデオカメラは、被写体画像を画像データとして取得するための撮像手段や、前記撮像手段が前記デジタル画像データを取得する際に前記被写体を照らす発光手段、前記取得した画像データを撮影画像として再生表示する表示手段、更には、周囲の音声を音声データとして入力する音声入力手段や、前記取得した音声データを再び音声として出力する音声出力手段などといった、主要デバイスが有機的に結合された構成となっている（特許文献１参照）。

ところで、前記各主要デバイスの駆動回路、前記電子機器の電源回路には、集積化の容易なＭＬＣＣ（マルチレイヤーセラミックコンデンサ）が汎用されている。例えば、前記撮像手段としてのＣＣＤには、図８（ａ）に示すように、電源バイパスコンデンサＣ１、Ｃ２、Ｃ３として、前記表示手段としての液晶表示素子には、同８（ｂ）に示すように、コモン電極カップリングコンデンサＣ４として、前記発光手段としてのＬＥＤには、同８（ｃ）に示すように、入力コンデンサＣ５や出力平滑コンデンサＣ６として、更に、電源回路には、図８（ｄ）に示すように、入力コンデンサＣ７や出力平滑コンデンサＣ８（ｉ）として、それぞれ使用されている（ｉ＝０、１、・・・、ｎ）。

しかし、前記ＭＬＣＣは、印加される電圧に応じて伸縮する特性を持っている。このため、前記ＭＬＣＣは、当該ＭＬＣＣが適用されることとなる主要デバイスの駆動周波数に応じて伸縮を繰り返し、その伸縮により、図９に示すように、当該ＭＬＣＣが設置されている基板を振動させてしまう。そして、前記基板の振動は、その振動周波数、つまりは、前記駆動周波数に応じたノイズ音として顕在化されることが知られている。

例えば、前記ＣＣＤの場合、画像データの水平転送期間と非水平転送期間との間における負荷電流の差が特に大きく、特に前記電源バイパスコンデンサＣ１の振動によって、その駆動周波数に応じた帯域のノイズ音が発生する。具体的には、例えば、図１０（ａ）に示すように、前記駆動周波数が４．４ｋＨｚのときには、前記駆動周波数と等しい帯域のノイズ音（基本波）はもとより、前記駆動周波数の整数倍の帯域のノイズ音（高調波）、つまりは、８．８ｋＨｚや１３．２ｋＨｚ、更には、１７．６ｋＨｚなどの複数のノイズ音が可聴帯域内に発生する。

上述したようなノイズ音は、微弱であり、直接的に人がそのノイズ音を聞く場合には、それほど気になることは少ないが、前記音声入力手段が前記ノイズ音を発生させる主要デバイスと同一の筐体に組み込まれることで音声入力装置ともなる電子機器では、前記ノイズ音の発生源となるＭＬＣＣと前記音声入力手段とが非常に近接する位置に設置されるため、前記音声入力手段は、たとえ前記ノイズ音が微弱であっても、大きなノイズ音として検出してしまうこととなる。

このため、前記音声入力手段には、例えばデジタル変換後の入力音声データから所定の低周波成分を除去するハイパスフィルタとは別に、前記ノイズ音を除去するためのフィルタが別途設けられている。
特開２００５−３４１１１４

ところで、上述したように前記各主要デバイスは、それぞれが異なる駆動周波数により駆動されている。一例を挙げると、ＣＣＤの駆動周波数が４．４ｋＨｚであるのに対し、前記液晶表示素子が、図１０（ｂ）に示すように、コモン電極の極性反転に伴う６．７ｋＨｚであったり、前記ＬＥＤの駆動周波数が、図１０（ｃ）に示すように、ＰＷＭ駆動に伴う１ｋＨｚであったりする。このため、前記電子機器においては、各デバイスの駆動周波数に応じて可聴帯域内に夥しい数の周波数帯域のノイズ音が発生する。

しかしながら、これら全てのノイズ音をフィルタで除去するためには、それを周波数帯域毎に行う必要があり、係る処理をハード的に行う場合には、阻止域（ノイズ音の除去対象周波数帯域）が異なるフィルタ回路を複数段設けなければならず、ハードウェアの規模が大きくなってしまう。

これを回避するには、ノイズ音の除去処理をソフト的に行うことが考えられるが、その場合、音声データに対し阻止域の数に応じた複数回のデータ処理を施す必要があるため、そのデータ処理負担が大きくなる。そのため、ノイズ音の除去処理に多大な時間を要することとなる。また、上記ノイズ音の除去処理を、前記電子機器を制御するＣＰＵ等に行わせる場合にあっては、電子機器の制御動作やノイズ音の除去処理以外のデータ処理に支障を来すこととなったり、それを回避するためにはＣＰＵ等に過大な処理能力を確保する必要が生じたりするという問題がある。

本発明の目的は、上述の従来欠点に鑑み、再生時における音声の質を確保しつつ、音声記録時におけるデータ処理負担を軽減することが可能となる音声記録装置および音声記録方法と、音声再生装置および音声再生方法と、それらの実現に使用されるプログラムとを提供する点にある。

前記課題を解決するため請求項１の発明にあっては、入力した音声データを記録する音声記録手段と、その駆動周波数に応じた帯域の特定ノイズ音の発生源となる特定デバイスとを備えた音声記録装置において、前記音声記録手段に、前記音声データに関係付けて、前記特定ノイズ音を示すノイズ情報をその音声データの再生時に除去すべきノイズ音を示す情報として記録させる記録制御手段を備えたものとした。

また、請求項２の発明にあっては、前記記録制御手段は、前記ノイズ情報を前記音声データに一体的に付加して前記音声記録手段に記録させるものとした。

また、請求項３の発明にあっては、前記ノイズ情報は、同一の特定デバイスを発生源とする１又は複数の帯域の前記特定ノイズ音を示す情報であるものとした。

また、請求項４の発明にあっては、前記ノイズ情報は、前記特定デバイスを示す情報であるものとした。

また、請求項５の発明にあっては、前記ノイズ情報は、前記特定ノイズ音の周波数を示す情報であるものとした。

また、請求項６の発明にあっては、入力した音声データから所定帯域の前記特定ノイズ音を除去するノイズ除去手段を備え、前記音声記録手段は、前記ノイズ除去手段により前記所定帯域の特定ノイズ音が除去された後の音声データを記録し、前記記録制御手段は、前記ノイズ除去手段により除去されていない前記特定ノイズ音を示すノイズ情報を前記音声データに関係付けて音声記録手段に記憶させるものとした。

また、請求項７の発明にあっては、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を所定の選択基準に従い選択する選択手段を備えたものとした。

また、請求項８の発明にあっては、前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、所定の選択基準に従い同一の特定デバイスを発生源とする１又は複数の帯域の前記特定ノイズ音からなるグループ単位で選択するものとした。

また、請求項９の発明にあっては、当該装置のデータ処理に係る負荷状態を検出する負荷状態検出手段を備え、前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記負荷状態検出手段により検出された負荷状態に基づき選択するものとした。

また、請求項１０の発明にあっては、複数の前記特定デバイスの各々におけるノイズ音の発生源としての影響度合に応じた優先順位を記憶する影響度合記憶手段を備え、前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記影響度合記憶手段に記憶されている優先順位がより高い特定デバイスを発生源とする１又は複数の帯域の前記特定ノイズ音からなるグループ単位で選択するものとした。

また、請求項１１の発明にあっては、前記影響度合記憶手段に記憶された優先順位は、特定デバイス毎に予め設定されている各々を発生源とする特定ノイズ音の数に基づき設定された優先順位であるものとした。

また、請求項１２の発明にあっては、前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、特定ノイズ音の各々における入力した音声データに対する相対的な影響度合に基づき選択するものとした。

また、請求項１３の発明にあっては、入力した音声データにおける前記特定ノイズ音のノイズレベルを特定ノイズ音毎に検出するノイズレベル検出手段を備え、前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記ノイズレベル検出手段により検出されたノイズレベルにより判断される相対的な影響度合に基づき選択するものとした。

また、請求項１４の発明にあっては、入力した音声データにおける前記特定ノイズ音のノイズレベルを特定ノイズ音毎に検出するノイズレベル検出手段を備え、前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記ノイズレベル検出手段により検出されたノイズレベルに基づき選択するものとした。

また、請求項１５の発明にあっては、前記選択手段は、同一の前記特定デバイスを発生源とする１又は複数の帯域の特定ノイズ音からなるグループ毎に、前記ノイズレベル検出手段により検出された各特定ノイズ音のノイズレベルのうちの最大レベルを比較基準として各々の特定デバイスに優先順位を設定する設定手段を含むとともに、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記設定手段により設定された優先順位がより高い特定デバイスを発生源とする１又は複数の帯域の前記特定ノイズ音からなるグループ単位で選択するものとした。

また、請求項１６の発明にあっては、前記選択手段は、特定ノイズ音の各々における入力した音声データに対する相対的な影響度合であって、各々の周波数帯域の違いに応じて決められている影響度合に基づき、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を選択するものとした。

また、請求項１７の発明にあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体の画像データを記録する画像記録手段とを備えたものとした。

また、請求項１８の発明にあっては、入力した音声データを記録する音声記録手段と、その駆動周波数に応じた帯域の特定ノイズ音の発生源となる特定デバイスとを備えた音声記録装置における音声記録方法であって、入力した音声データの記録時に、当該音声データの再生時に除去すべきノイズ音を示す情報として前記特定ノイズ音を示すノイズ情報を、当該音声データに関係付けて予め記録する方法とした。

また、請求項１９の発明にあっては、入力した音声データを記録する音声記録手段と、その駆動周波数に応じた帯域の特定ノイズ音の発生源となる特定デバイスとを備えた音声記録装置が有するコンピュータに、入力した音声データの記録時に、当該音声データの再生時に除去すべきノイズ音を示す情報として前記特定ノイズ音を示すノイズ情報を、当該音声データに関係付けて予め記録する処理を実行させるためのプログラムとした。

また、請求項２０の発明にあっては、音声記録手段に記録されている音声データを再生する音声再生装置において、再生対象の音声データに関係付けて前記音声記録手段に記録されているノイズ情報を取得する取得手段と、前記再生対象の音声データから、前記取得手段により取得されたノイズ情報により示される特定のノイズ音を除去するノイズ除去手段とを備えたものとした。

また、請求項２１の発明にあっては、音声記録手段に記録されている音声データを再生する音声再生方法であって、前記音声データの再生に先立ち、当該音声データに関係付けて前記音声記録手段に記録されているノイズ情報を取得する工程と、前記音声データの再生に際し、取得した前記ノイズ情報により示される特定のノイズ音を除去する工程とを含む方法とした。

また、請求項２２の発明にあっては、音声記録手段に記録されている音声データを再生する音声再生装置が有するコンピュータに、前記音声データの再生に先立ち、当該音声データに関係付けて前記音声記録手段に記録されているノイズ情報を取得する処理と、前記音声データの再生に際し、取得した前記ノイズ情報により示される特定のノイズ音を除去する処理とを実行させるためのプログラムとした。

本発明によれば、再生時における音声の質を確保しつつ、音声記録時におけるデータ処理負担を軽減することが可能となる。

以下、本発明の実施の形態を図にしたがって説明する。ここでは、本発明をデジタルカメラに適用した場合について説明する。
（実施形態１）
図１は、各実施の形態に共通するデジタルカメラ１の概略構成を示すブロック図である。このデジタルカメラ１は、通常の静止画に加え、音声付き静止画や音声付き動画像の撮影、再生機能を有するものであり、以下のように構成されている。

すなわちデジタルカメラ１は、ズームレンズ及びフォーカスレンズからなるレンズブロック２の光学系によって結像された被写体の光学像を、撮像手段であるＣＣＤ３により撮像する構成である。前記レンズブロック２には上記光学系を駆動するモータが含まれており、上記光学系は、制御部４の指令に基づき第１の駆動回路５により生成される駆動信号に基づき光軸方向へ駆動される。

ＣＣＤ３は、第２の駆動回路６により生成される水平、及び垂直駆動信号により駆動され、被写体の光学像に応じた撮像信号を出力する。ＣＣＤ３の出力信号は、ＣＤＳ回路（Correlated Double Sampling：相関二重サンプル回路）及びＡ／Ｄ変換器からなるＣＤＳ／ＡＤブロック７でデジタル信号に変換された後、ＤＳＰ（Digital Signal Processor、デジタル信号処理回路）８へ送られ各種のデジタル画像処理を施される。

ＤＳＰ８による処理後の画像データはフレーム毎に制御部４に送られるとともに、表示用の画像データに変換された後、第３の駆動回路９に送られる。送られた画像データは、第３の駆動回路９によってＬＣＤモニター１０の駆動信号に変換されることにより、ＬＣＤモニター１０にスルー画像として表示される。

また、制御部４は、主としてＣＰＵと、その周辺回路、ＲＯＭ、ＲＡＭ、静止画像及び動画像の圧縮・伸張回路から構成されており、静止画撮影時や動画撮影時に制御部４に送られた画像データは、制御部４において動画像にあってはＭＰＧ等、静止画像にあってはＪＰＥＧ等の所定の方式で圧縮された後、最終的には静止画ファイルや動画ファイルとして画像メモリ１１に記録される。画像メモリ１１に記録された画像データは静止画再生時や動画再生時に適宜読み出され、制御部４によって伸張された後、ＬＣＤモニター１０に画面表示される。なお、画像メモリ１１は、本発明の画像記録手段、及び音声記録手段として機能するものであり、例えばカメラ本体に着脱自在な各種のメモリカードによって構成される。

また、デジタルカメラ１には、音声の入出力を行うオーディオ回路１２が設けられており、オーディオ回路１２には、カメラ本体に内蔵されたマイク１３及びスピーカ１４が接続されている。

オーディオ回路１２は、図２に示したように、マイク１３から入力した音声信号を入力アンプ２１で増幅し、Ａ／Ｄ変換器（ＡＤＣ）２２でデジタルの音声データに変換した後、ハイパスフィルタ（ＨＰＦ）２３によって変換後の音声データから所定の低周波成分を除去して制御部４に出力する一方、制御部４から送られた音声データをＤ／Ａ変換器（ＤＡＣ）２４でアナログ信号に変換し、変換後の音声信号を切換器２５を介して第１の出力アンプ２６又は第２出力アンプ２７へ送り増幅した後、スピーカ１４に音声として出力させたり、外部機器へ出力させたりする構成となっている。

例えば音声付き動画像の撮影時にマイク１３に入力した音声はオーディオ回路１２によって音声データに変換され、制御部４において符号化された後、動画データ（画像データ）と重畳され動画ファイルとして記録される。また、動画ファイルに重畳された音声データは、動画再生時に制御部４において復号化された後、オーディオ回路１２へ送られスピーカ１４から出力される。なお、音声データの記録方式は、画像ファイルとは別に音声ファイルを作成し、それを画像ファイルと関係付けて記録する方式であっても構わない。

さらに、デジタルカメラ１には、静止画又は動画撮影時における補助光を得るための発光ダイオード（ＬＥＤ）１５、及び発光ダイオード１５を必要に応じ所定の周波数でデューティ駆動する第４の駆動回路１６と、図示した主要デバイスに電源を供給する電源回路１７、キーブロック１８、プログラムメモリ１９が設けられている。

キーブロック１８は、ユーザがデジタルカメラ１の各種動作モードの切り替えに使用するモード切替キー、静止画撮影時には撮影指示に使用され、動画撮影時には撮影（録画）の開始、及び終了指示に使用されるシャッターキーを含む各種の操作キーから構成される。

前記プログラムメモリ１９は、ＥＥＰＲＯＭやフラッシュメモリ等の書き換え可能な不揮発性メモリであって、前記制御部４に前述した各部を制御させるための制御プログラムや、制御部４に各種のデータ演算処理を行わせるためのプログラム、各種データ、ユーザにより設定、又は変更されたデジタルカメラ１の各種機能に関する設定データ等が記憶されている。

そして、制御部４は、プログラムメモリ１９に格納された各種のプログラムに基づき各部を制御するとともに、各種のデータ演算処理を実行する。特に後述する音声の記録時には、入出力する音声データにおける特定の周波数成分を減衰させるノッチフィルタ処理を実行することにより本発明のノイズ除去手段として機能し、さらに、負荷状態検出手段、選択手段、記録制御手段として機能するとともに、後述する音声の再生時には取得手段としても機能する。

また、前記プログラムメモリ１９は本発明の影響度合記憶手段であり、上記各種データとして動画像の記録時、及び再生時に制御部４により使用されるデータであって、図３に示したようなノイズ・テーブルＴを構成するデータが格納されている。ノイズ・テーブルＴは、前述したＣＣＤ３やＬＣＤモニター１０、発光ダイオード１５等のデバイスのそれぞれ（本発明の特定デバイス）を示す複数の「デバイスＩＤ」と、各デバイスＩＤに対応する「ノイズ周波数」、及び「優先順位」の各データから構成される。

「ノイズ周波数」は、各デバイス（デバイスＩＤ）の駆動周波数に対応するものであって、背景技術において既説したＭＬＣＣの伸縮に伴う基板の振動により生ずるノイズ音のうちで可聴帯域内に存在するノイズ音（本発明の特定ノイズ音）の中心周波数である。

「優先順位」は、後述する音声記録時におけるノイズ除去処理に際して除去対象となるノイズ音を選択するときの優先順位であって、ノイズ音の発生源としての影響度合に応じてデバイス毎に予め決められている。本実施の形態では、各デバイスについて、可聴帯域内に存在するノイズ音の数が多いほど（影響度合が高いほど）、より高い優先順位が設定されている。

次に、以上の構成からなるデジタルカメラ１の本発明に係る動作を説明する。図４は、音声付き動画像の撮影時に前記制御部４が実行する音声記録に関する処理を示したフローチャートである。

制御部４は、ユーザのキー操作による録画開始指示があると（ステップＳＡ１のＹＥＳ）、直ちに自己の負荷状態を確認する（ステップＳＡ２）。ここで確認する負荷状態は、その時点で設定されている動画像の画像サイズや、フレームレート等から判断される定常的なデータ処理に関する負荷状態であり、制御部４は、予め決められている複数段階の負荷レベルのいずれのレベルに相当するのかを確認する。

次に、確認した負荷状態（負荷レベル）に応じて、ノイズ除去の対象とすべきデバイスの数を決定する（ステップＳＡ３）。ここでは、負荷が大きいほどデバイス数を少なくし、負荷が小さいほどデバイス数を多くする。引き続き、前述したノイズ・テーブルＴ（図３）から、決定した数のデバイスを前記優先順位に従い選択し、それらをノイズ除去の対象デバイスとして、各デバイス（デバイスＩＤ）に対応するノイズ周波数を読み出す（ステップＳＡ４）。

しかる後、入力した音声データに対するノッチフィルタ処理、すなわちステップＳＡ４で読み出した各ノイズ周波数を中心周波数として順に設定するとともに、各々を中心とした所定の帯域幅の、複数の周波数成分（ノイズ成分）を減衰させる処理（ステップＳＡ５）、及びノッチフィルタ処理を施した音声データの符号化処理（ステップＳＡ６）からなる一連の処理、すなわち音声の記録処理を開始する。以後、ユーザのキー操作による録画終了指示があるまで上記処理を継続する（ステップＳＡ７でＮＯ）。なお、その間に符号化した音声データは、動画データ（フレームデータ）と共にストリームデータとして画像メモリ１１に順次書き込む。

図５は、上記ノッチフィルタ処理によるノイズ除去効果の一例を示す図であって、同図（ａ）はノッチフィルタ処理以前の音声データを示した図、同図（ｂ）は、ノッチフィルタ処理後における音声データを示した図である。なお、図示した例は、録音（録画）時のノイズ音が図３に示した３種類のデバイスＩＤ（デバイス）の駆動周波数に対応する帯域のノイズ音、具体的には４．４ｋＨｚ、６．７ｋＨｚ、８．８ｋＨｚ、１３．２ｋＨｚ、１３．４ｋＨｚ、１５．２ｋＨｚをそれぞれ中心とした所定の帯域幅のノイズ音のみであり、かつノイズ除去の対象デバイスが、デバイスＩＤが「Ａ」と「Ｂ」のデバイスである場合、つまり除去対象のノイズ音が２種類のデバイスに対応するものである場合の例である。

その後、録画終了指示があったら（ステップＳＡ７でＹＥＳ）、画像メモリ１１にストリーム記録してあるストリームデータに、前述したステップＳＡ４でノイズ除去の対象デバイスとして選択されていなかった非対象デバイスのデバイスＩＤ（図５の例では、「Ｃ」）を含む所定のヘッダ情報を付加し、それにより音声付き動画ファイルを作成し（ステップＳＡ８）、録音処理を終了する。

つまり音声付き動画像の撮影時には、入力した音声データにノッチフィルタ処理を施すことによって、前述したＭＬＣＣの伸縮に伴う基板の振動により生じたノイズ音を除去するとともに、その際、自己の負荷状態に応じ除去対象とするノイズ音を増減することにより、つまり負荷が大きい場合には除去対象とするノイズ音の数を減らすことにより、ノイズ音の除去処理以外の必要な処理を確実に行うことができる。

また、図６は、上述した音声記録処理によって音声が記録されている音声付き動画像の再生時において制御部４が実行する音声再生に関する処理を示したフローチャートである。

制御部４は、ユーザのキー操作による動画再生指示があると（ステップＳＢ１）、そのとき再生対象となっている動画像のファイルのヘッダ情報を直ちに取得する（ステップＳＢ２）。

そして、上記ヘッダ情報におけるデバイスＩＤの有無を確認し、ヘッダ情報にデバイスＩＤが付加されている場合には（ステップＳＢ３でＹＥＳ）、まず、付加されているデバイスＩＤ（１又は複数）に対応するノイズ周波数（１又は複数）を前述したノイズ・テーブルＴ（図３）から読み出す（ステップＳＢ４）。

引き続き、動画データと共に記録されている音声データの復号化処理、及び復号した音声データに対するノッチフィルタ処理、すなわちステップＳＢ４で読み出したノイズ周波数（１又は複数）を中心周波数として順に設定するとともに、各々を中心とした所定の帯域幅の周波数成分（ノイズ成分）を減衰させる処理からなる一連の処理を開始する（ステップＳＢ４，ＳＢ５）。

つまり音声の記録時（録画時）に除去されていなかったノイズ音（図５の例では、１５．２ｋＨｚを中心とする所定の帯域幅を有するノイズ音）の除去を伴う音声再生を開始する。これにより、前述したＭＬＣＣの伸縮に伴う基板の振動により生ずるノイズ音のない質のよい音声が再生される。以後、上記一連の処理を継続して行うとともに、記録されている全ての音声データに基づく音声の再生が終了した時点で（ステップＳＢ６でＹＥＳ）、処理を終了する。

一方、ステップＳＢ３の判別結果がＮＯであって、ヘッダ情報にデバイスＩＤが付加されていない場合には、そのまま動画データと共に記録されている音声データの復号化を開始する（ステップＳＢ８）。つまりノイズ音の除去処理を伴わない音声再生を開始する。以後、音声データの復号化を継続して行うとともに、記録されている全ての音声データに基づく音声の再生が終了した時点で（ステップＳＢ９でＹＥＳ）、処理を終了する。

なお、ここでは、前記デジタルカメラ１が自機で記録した音声付き動画像を自機で再生する場合について説明したが、前述した前記デジタルカメラ１においては、同一機種のデジタルカメラで記録した音声付き動画像についても、上述した処理によりノイズ除去処理を行いながら再生することができる。

以上のように、本実施の形態のデジタルカメラ１においては、動画撮影時（音声記録時）に、前述したＭＬＣＣの伸縮に伴う基板の振動により不可避的に生ずるとともに、異なる周波数帯域に点在する複数のノイズ音のうちで再生時に除去すべきノイズ音（未だ除去されていないノイズ音）を示すデバイスＩＤを、音声データと一体的に動画ファイルに予め記録することにより、前記ノイズ音を動画の撮影時と再生時とに分けて除去することができる。その結果、動画撮影時における制御部４におけるデータ処理負担を軽減することができ、同時に、記録した動画の再生時（音声再生時）には、上記ノイズ音のない質の高い音声を再生することができる。

また、除去済みのノイズ音の発生源であるデバイスを示すデバイスＩＤを本発明のノイズ情報として音声データに付加するため、例えば動画再生時に除去すべきノイズ音を示す情報（ノイズ周波数等）を帯域毎に個別に音声データに付加する場合に比べ、再生時におけるノイズ音の除去に必要となる音声データの付加データの量を削減することができる。

また、動画撮影時においても複数のノイズ音の一部を除去するため、再生時に前述したようなデバイスＩＤに基づいたノイズ除去処理を行うことができない他の機種で、音声付き動画像が再生される場合の音質の低下を抑えることができる。

その際、動画撮影時に除去するノイズ音を、ノイズ除去処理（ノッチフィルタ処理）を行う制御部４における定常的なデータ処理に関する負荷状態に応じて増減することにより、上述した他の機種で、音声付き動画像が再生される場合の音質の低下を可能な限り抑えることができる。

しかも、前述したようにノイズ音の除去処理以外の必要な処理を確実に行うことができる。つまりノイズ除去処理を行ったとしても、例えば記録する動画データや、動画撮影中に表示するスルー画像にコマ落ちが生じることが防止できる。その結果、装置全体を制御する制御部４にノイズ除去処理を行わせる構成であっても、制御部４に過大なデータ処理能力を確保する必要がなく、装置の低コスト化を図ることができる。

また、動画撮影時には、同一のデバイスを発生源とする１又は複数のノイズ音を処理単位（グループ）として、１又は複数のデバイスに対応するノイズ音を対象としてノイズ除去処理を行うとともに（動画再生時についても同様）、除去するノイズ音を、ノイズ音の発生源としての影響度合がより高いデバイス（本実施の形態では、対応するノイズ音の数が多いデバイス）を発生源とするノイズ音とすることにより、より効果的なノイズ除去を行うことができる。

なお、ここでは、音声付き動画像の撮影時及び再生時を例にして、制御部４における音声の記録及び再生に関する動作を説明したが、音声付き動画像以外にも、例えば音声付き静止画像の撮影時にも、前述した処理を行うことにより、静止画撮影時においても制御部４におけるデータ処理負担を軽減することができ、同時に、記録した静止画の再生時（音声再生時）には、上記ノイズ音のない質の高い音声を再生することができる。

また、本発明の実施に際しては、上述した本実施の形態とは異なり以下のようにしてもよい。

すなわち動画撮影時等の音声記録時において音声データに付加するノイズ情報は、本実施の形態とは逆に、その音声記録時に除去したノイズ音の発生源であるデバイスのデバイスＩＤであってもよい。

また、音声データにデバイスＩＤを一体的に付加して記録する（動画ファイルに埋め込む）ようにしたが、再生時においても音声データとの対応関係が確保できれば、音声データとデバイスＩＤとを別のデータとして個別に記録させるようにしても構わない。ただし、その場合、記録した音声を他の装置において本実施の形態のようにノイズ除去処理を行いながら再生させるためには、音声データとデバイスＩＤとを組として他の装置に供給する必要がある。

また、前記デバイスＩＤに代えて、例えば除去済みの（又は除去していない）１又は複数のノイズ音のノイズ周波数等を本発明のノイズ情報として音声データに一体的に付加して記憶させてもよい。ただし、その場合には、音声データの付加データが大きくなる。

また、音声の記録時や再生時には、前述したように同一のデバイスを発生源とする１又は複数のノイズ音を処理単位（グループ）としてノイズ除去処理を行うのではなく、各々のノイズ音を処理単位としたノイズ除去処理を行うようにしてもよい。その場合には、上記のように、複数のノイズ周波数等のデータ（ノイズ情報）を音声データと共に供給する必要がある。

一方、本実施の形態のように、音声の記録時や再生時に、同一のデバイスを発生源とする１又は複数のノイズ音を処理単位（グループ）としてノイズ除去処理を行う場合、デジタルカメラの機種が異なれば、使用されているデバイスも異なることが多く、各々のデバイスと、それらを発生源とする１又は複数のノイズ音の種類（周波数帯域）との関係はデジタルカメラの機種によって異なる場合が多い。

したがって、前述したノイズ・テーブルＴ（図３）をデジタルカメラの機種別に予め用意しておき、音声の記録時には、前述したデバイスＩＤと共にデジタルカメラの機種を示す機種ＩＤを音声データに付加して記憶させるようにし、また、再生時には、音声データに付加されている機種ＩＤに対応するノイズ・テーブルＴを使用して、音声データに付加されているデバイスＩＤに基づく前述したノイズ除去処理を行わせるようにしてもよい。

また、本実施の形態では、予め設定しておく各デバイスの優先順位を、各々を発生源とする可聴帯域内のノイズ音の数を基準として決めるようにしたが、各デバイスの優先順位をその他の基準に従って決めるようにしてもよい。

例えば対応する各々のノイズ音の周波数帯域に基づき決めておいてもよい。その場合、人の耳でより認識されやすい周波数帯域のノイズ音が含まれるデバイスに、より高い優先順位を設定すればよい。具体的には、各々のノイズ音に周波数帯域に応じて認識されやすさのレベルを付与するとともに、それを各デバイスの比較基準とし、かつ対応するノイズ音が複数存在するデバイスについては、その中で最大レベルや平均レベルを比較基準とし、比較基準のレベルがより高いデバイスに、より高い優先順位を設定すればよい。

また、先に述べたように、音声の記録時や再生時に、前述したように同一のデバイスを発生源とする１又は複数のノイズ音を処理単位（グループ）としてノイズ除去処理を行うのではなく、各々のノイズ音を処理単位としたノイズ除去処理を行う場合についても、各々のノイズ音に前述したような優先順位を設定しておき、音声の記録時には、優先順位が高い一部のノイズ音を除去するようにしてもよい。

また、本実施の形態においては、ノイズ・テーブルＴ（図３）に、デバイス（デバイスＩＤ）に対応する「優先順位」、すなわちノイズ音の発生源としての影響度合に応じた「優先順位」のデータが含まれており、前記ノッチフィルタ処理においては、優先順位がより高いデバイスのノイズ音を除去するものについて説明したが、各デバイスの優先順位は、その都度設定してもよい。なお、その際の優先順位の設定方法については任意である。
また、本実施の形態においては、デバイスの駆動周波数に対応する帯域のノイズ音として、基本波やその高調波に相当するものとが記録されたノイズ・テーブルＴについて説明したが、ノイズ・テーブルＴには、必ずしも、基本波やその高調波に相当するものの全てが記録されている必要はなく（特にそれらが可聴帯域内にあるものに限定した場合であっても）、ノイズ音として影響を及ぼさないレベルのものに対しては、ノイズ・テーブルＴから省かれている構成であることが好ましい。ノイズ除去処理が不必要な周波数帯域に対してまで、ノイズ除去処理が行われてしまうことを防止でき好ましい。

（実施形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、前記プログラムメモリ１９に、図３に示したノイズ・テーブルＴとは異なり、複数のデバイスをそれぞれを示す複数の「デバイスＩＤ」と、各デバイスＩＤに対応する「ノイズ周波数」のみから構成されるノイズ・テーブル（図示せず）を構成するデータが格納されているとともに、前述したように各デバイスの優先順位をその都度設定するものである。

図７は、その場合における制御部４の音声記録に関する処理を示したフローチャートであり、前記制御部４は本発明の記録制御手段、ノイズ除去手段、選択手段、ノイズレベル検出手段、設定手段として機能することにより、動画撮影時には、以下の処理を実行する。

すなわち制御部４は、第１の実施の形態と同様、録画開始指示に応じて負荷状態を確認し、それに応じてノイズ除去対象のデバイス数を決定する（ステップＳＣ１〜ＳＣ３）。

しかる後、入力した音声データにおける各ノイズ周波数のノイズレベルをデバイス別に検出する（ステップＳＣ４）。次に、各デバイスに対応する各ノイズ周波数のノイズレベルのうちで最大であったノイズレベルを比較基準として、デバイス間に優先順位を決定する（ステップＳＣ５）。つまり、比較基準のノイズレベルが高い順に各デバイスに優先順位を設定する。

そして、前述したノイズ・テーブルＴ（図３）から、ステップＳＣ３で決定した数のデバイスを、ステップＳＣ５で設定した優先順位に従い選択し、それらをノイズ除去の対象デバイスとして、各デバイス（デバイスＩＤ）に対応するノイズ周波数を読み出す（ステップＳＣ６）。

以後、ステップＳＣ６で読み出した各ノイズ周波数を中心周波数として順に設定して、各々を中心とした所定の帯域幅の、複数の周波数成分（ノイズ成分）を減衰させるノッチフィルタ処理（ステップＳＣ７）、及びノッチフィルタ処理を施した音声データの符号化処理（ステップＳＣ８）からなる一連の処理、すなわち音声の記録処理を開始する。

そして、ユーザのキー操作による録画終了指示があるまで上記処理を継続し（ステップＳＣ９でＮＯ）、その後、録画終了指示があったら（ステップＳＣ９でＹＥＳ）、画像メモリ１１にストリーム記録してあるストリームデータに、前述したステップＳＣ６でノイズ除去の対象デバイスとして選択されていなかった非対象デバイスのデバイスＩＤを含む所定のヘッダ情報を付加し、それにより音声付き動画ファイルを作成し（ステップＳＣ１０）、録音処理を終了する。

係る実施の形態においても、第１の実施の形態と同様、その際、動画撮影時に除去するノイズ音の数を、ノイズ除去処理（ノッチフィルタ処理）を行う制御部４の負荷状態に応じて増減することにより、他の機種で音声付き動画像が再生される場合における音質の低下を可能な限り抑えることができる。

一方、第１及び第２の実施の形態では、動画撮影時つまり音声記録時に除去するノイズ音の数を制御部４の負荷状態に応じて増減するものについて説明したが、以下のようにしてもよい。

すなわち音声記録時における制御部４の負荷状態をデジタルカメラ１の動作モードから判断するものとし、例えば動作モードが音声付き動画像を撮影する動画撮影モードである場合には制御部４の負荷が大であると判断し、かつ、動作モードが音声付き静止画像を撮影する静止画撮影モードである場合には制御部４の負荷が小であると判断する。そして、制御部４の負荷が大であるとき除去するノイズ音と、制御部４の負荷が小であるとき除去するノイズ音とを予め設定しておき、音声記録時には、そのとき判断した制御部４の負荷状態（動作モード）に応じて決められているノイズ音を除去するようにしてもよい。

また、以上の説明においては、音声記録時に１又は複数のノイズ音を除去する場合を前提としたが、音声記録時においてはノイズ音の除去を全く行わず、単に前述したデバイスＩＤ等のノイズ情報を音声データに付加するだけとしてもよい。その場合であっても、音声記録時（動画撮影時等）における制御部４におけるデータ処理負担を軽減することができ、同時に、記録した音声（音声付き動画像等）の再生時には、特定のノイズ音のない質の高い音声を再生することができる。

また、制御部４を本発明のノイズ除去手段として機能させ、制御部４に、入出力する音声データにおける特定の周波数成分を減衰させるノッチフィルタ処理を行わせるものとしたが、制御部４とは別に、入出力する音声データから、制御部４により設定された周波数を中心とする所定帯域幅のノイズ音を順に除去する専用のノッチフィルタ回路を設けるようにしてもよい。

また、主として本発明をデジタルカメラ１に適用した場合について説明したが、本発明は、音声の記録機能と再生機能を有する装置であれば、種々の装置に適用することができる。さらに、前述したデジタルカメラ１のように、音声の記録機能と再生機能との双方の機能を備えたものに限らず、いずれか一方の機能のみを備えた装置にも適用することができる。

本発明の各実施の形態に共通するデジタルカメラのブロック図である。 オーディオ回路の構成を示すブロック図である。 ノイズ・テーブルを示す概念図である。 第１の実施の形態において制御部が実行する音声記録に関する処理を示したフローチャートである。 ノッチフィルタ処理によるノイズ除去効果の一例を示す図である。 制御部が実行する音声再生に関する処理を示したフローチャートである。 第２の実施の形態において制御部が実行する音声記録に関する処理を示したフローチャートである。 ＭＬＣＣの使用例の説明図である。 特定のノイズ音の発生原理を示す説明図である。 特定のノイズ音の発生周波数帯域の例を示す図である。

符号の説明

１ デジタルカメラ
３ ＣＣＤ
４ 制御部
５ 第１の駆動回路
７ 第２の駆動回路
９ 第３の駆動回路
１０ ＬＣＤモニター
１２ オーディオ回路
１５ 発光ダイオード
１６ 第４の駆動回路
１７ 電源回路
１９ プログラムメモリ
２１ 入力アンプ
２２ Ａ／Ｄ変換器（ＡＤＣ）
２３ ハイパスフィルタ（ＨＰＦ）
２４ Ｄ／Ａ変換器（ＤＡＣ）
２５ 切換器
２６ 第１の出力アンプ
２７ 第２出力アンプ
Ｔ ノイズ・テーブル

Claims (22)

1. 入力した音声データを記録する音声記録手段と、その駆動周波数に応じた帯域の特定ノイズ音の発生源となる特定デバイスとを備えた音声記録装置において、
   前記音声記録手段に、前記音声データに関係付けて、前記特定ノイズ音を示すノイズ情報をその音声データの再生時に除去すべきノイズ音を示す情報として記録させる記録制御手段を備えたことを特徴とする音声記録装置。
2. 前記記録制御手段は、前記ノイズ情報を前記音声データに一体的に付加して前記音声記録手段に記録させることを特徴とする請求項１記載の音声記録装置。
3. 前記ノイズ情報は、同一の特定デバイスを発生源とする１又は複数の帯域の前記特定ノイズ音を示す情報であることを特徴とする請求項１又は２記載の音声記録装置。
4. 前記ノイズ情報は、前記特定デバイスを示す情報であることを特徴とする請求項３記載の音声記録装置。
5. 前記ノイズ情報は、前記特定ノイズ音の周波数を示す情報であることを特徴とする請求項１又は２記載の音声記録装置。
6. 入力した音声データから所定帯域の前記特定ノイズ音を除去するノイズ除去手段を備え、
   前記音声記録手段は、前記ノイズ除去手段により前記所定帯域の特定ノイズ音が除去された後の音声データを記録し、
   前記記録制御手段は、前記ノイズ除去手段により除去されていない前記特定ノイズ音を示すノイズ情報を前記音声データに関係付けて音声記録手段に記憶させる
   ことを特徴とする請求項１乃至５いずれか記載の音声記録装置。
7. 前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を所定の選択基準に従い選択する選択手段を備えたことを特徴とする請求項６記載の音声記録装置。
8. 前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、所定の選択基準に従い同一の特定デバイスを発生源とする１又は複数の帯域の前記特定ノイズ音からなるグループ単位で選択することを特徴とする請求項７記載の音声記録装置。
9. 当該装置のデータ処理に係る負荷状態を検出する負荷状態検出手段を備え、
   前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記負荷状態検出手段により検出された負荷状態に基づき選択する
   ことを特徴とする請求項７又は８記載の音声記録装置。
10. 複数の前記特定デバイスの各々におけるノイズ音の発生源としての影響度合に応じた優先順位を記憶する影響度合記憶手段を備え、
    前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記影響度合記憶手段に記憶されている優先順位がより高い特定デバイスを発生源とする１又は複数の帯域の前記特定ノイズ音からなるグループ単位で選択する
    ことを特徴とする請求項９記載の音声記録装置。
11. 前記影響度合記憶手段に記憶された優先順位は、特定デバイス毎に予め設定されている各々を発生源とする特定ノイズ音の数に基づき設定された優先順位であることを特徴とする請求項１０記載の音声記録装置。
12. 前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、特定ノイズ音の各々における入力した音声データに対する相対的な影響度合に基づき選択することを特徴とする請求項７又は８記載の音声記録装置。
13. 入力した音声データにおける前記特定ノイズ音のノイズレベルを特定ノイズ音毎に検出するノイズレベル検出手段を備え、
    前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記ノイズレベル検出手段により検出されたノイズレベルにより判断される相対的な影響度合に基づき選択することを特徴とする請求項１２記載の音声記録装置。
14. 入力した音声データにおける前記特定ノイズ音のノイズレベルを特定ノイズ音毎に検出するノイズレベル検出手段を備え、
    前記選択手段は、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記ノイズレベル検出手段により検出されたノイズレベルに基づき選択する
    ことを特徴とする請求項７又は８記載の音声記録装置。
15. 前記選択手段は、同一の前記特定デバイスを発生源とする１又は複数の帯域の特定ノイズ音からなるグループ毎に、前記ノイズレベル検出手段により検出された各特定ノイズ音のノイズレベルのうちの最大レベルを比較基準として各々の特定デバイスに優先順位を設定する設定手段を含むとともに、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を、前記設定手段により設定された優先順位がより高い特定デバイスを発生源とする１又は複数の帯域の前記特定ノイズ音からなるグループ単位で選択することを特徴とする請求項１４記載の音声記録装置。
16. 前記選択手段は、特定ノイズ音の各々における入力した音声データに対する相対的な影響度合であって、各々の周波数帯域の違いに応じて決められている影響度合に基づき、前記ノイズ除去手段により除去される所定帯域の前記特定ノイズ音を選択することを特徴とする請求項１２記載の音声記録装置。
17. 被写体を撮像する撮像手段と、
    この撮像手段により撮像された被写体の画像データを記録する画像記録手段と
    を備えたことを特徴とする請求項１乃至１６いずれか記載の音声記録装置。
18. 入力した音声データを記録する音声記録手段と、その駆動周波数に応じた帯域の特定ノイズ音の発生源となる特定デバイスとを備えた音声記録装置における音声記録方法であって、
    入力した音声データの記録時に、当該音声データの再生時に除去すべきノイズ音を示す情報として前記特定ノイズ音を示すノイズ情報を、当該音声データに関係付けて予め記録することを特徴とする音声記録方法。
19. 入力した音声データを記録する音声記録手段と、その駆動周波数に応じた帯域の特定ノイズ音の発生源となる特定デバイスとを備えた音声記録装置が有するコンピュータに、
    入力した音声データの記録時に、当該音声データの再生時に除去すべきノイズ音を示す情報として前記特定ノイズ音を示すノイズ情報を、当該音声データに関係付けて予め記録する処理を実行させるためのプログラム。
20. 音声記録手段に記録されている音声データを再生する音声再生装置において、
    再生対象の音声データに関係付けて前記音声記録手段に記録されているノイズ情報を取得する取得手段と、
    前記再生対象の音声データから、前記取得手段により取得されたノイズ情報により示される特定のノイズ音を除去するノイズ除去手段と
    を備えたことを特徴とする音声再生装置。
21. 音声記録手段に記録されている音声データを再生する音声再生方法であって、
    前記音声データの再生に先立ち、当該音声データに関係付けて前記音声記録手段に記録されているノイズ情報を取得する工程と、
    前記音声データの再生に際し、取得した前記ノイズ情報により示される特定のノイズ音を除去する工程と
    を含むことを特徴とする音声再生方法。
22. 音声記録手段に記録されている音声データを再生する音声再生装置が有するコンピュータに、
    前記音声データの再生に先立ち、当該音声データに関係付けて前記音声記録手段に記録されているノイズ情報を取得する処理と、
    前記音声データの再生に際し、取得した前記ノイズ情報により示される特定のノイズ音を除去する処理と
    を実行させるためのプログラム。
    

Images