JP2006222618A - カメラ装置、カメラ制御プログラム及び記録音声制御方法 - Google Patents

Abstract

【課題】フォーカシング等の撮影部側での動きに左右されることなく、周囲音における所望の音声を強調あるいは抑圧して記録する。
【解決手段】動画撮影モードが設定されたならば、（Ｓ１０１；ＹＥＳ）、マイクロホンアレー部からの音声を入力させ（Ｓ１０８）、特定方向音声の強調処理を設定済みであるか否かを判断する（Ｓ１０９）。設定済みである場合には、マイクロホンアレー部の各遅延器の出力を加算器で加算合成して、特定方向を強調した音声を音声メモリに出力させる（Ｓ１１０）。さらに、特定方向音声の抑圧処理を設定済みであるか否かを判断し（Ｓ１１１）、設定済みである場合には、マイクロホンアレー部の各遅延器の出力を減算合成して、特定方向を抑圧処理した音声を音声メモリに出力させる（Ｓ１１３）。
【選択図】 図３

Description

本発明は、周囲音を制御しつつ撮影を行うカメラ装置、カメラ制御プログラム及び記録音声制御方法に関する。

従来、例えばマイクロホンにより検出した周囲音を撮影画像とともに記録するカメラにおいては、マイクロホンの指向性を制御するものが提案されている。このカメラにおいては、撮影部の被写体に対するフォーカシングに同期して、マイクロホンの指向特性も当該被写体にフォーカシング制御し、これにより、ズーム撮影時にも臨場感の高い録音ができるとするものである（例えば、特許文献１参照）。
特開平５−３０８５５３号公報

係るカメラにおいては、前述のように録音するマイクの指向性は制御されるものの、該マイクは常に、撮影部でフォーカシングされる被写体に指向する。したがって、臨場感の高い録音が可能となる対象は、撮影部がフォーカシングした被写体のみに限定されてしまう。しかしながら今日におけるユーザにあっては、撮影機器に対する熟練度も高く、撮影に際してフォーカシングする被写体と、音声を強調させたい被写体とが一致しない撮影を所望したり、特定の被写体からの音声を強調して録音する撮影を所望する等、録音を伴う撮影に対する要求は多様化している。したがって、マイクを撮影部でフォーカシングされる被写体のみに指向させる従来のカメラでは、多様化しているユーザの要求を満足させ得るものではなかった。

本発明は、かかる従来の課題に鑑みてなされたものであり、フォーカシング等の撮影部側での動きに左右されることなく、周囲音における所望の音声を強調あるいは抑圧して記録することのできるカメラ装置、カメラ制御プログラム及び記録音声制御方法を提供することを目的とするものである。

前記課題を解決するため請求項１記載の発明に係るカメラ装置にあっては、動画を撮影する撮影手段と、この撮影手段による撮影時に周囲音を検出する検出手段と、この検出手段により検出される周囲音に含まれる任意の音声を選択する選択手段と、前記検出手段により検出された周囲音を制御し、前記選択手段により選択された音声を強調処理または抑圧処理する音声制御手段と、前記撮影手段により撮影される動画と、前記音声制御手段により前記音声を強調処理または抑圧処理された周囲音とを記録する記録手段とを備える。

したがって、選択手段により周囲音に含まれる任意の音声を選択することにより、当該音声が強調されて動画とともに記録手段に記録される。よって、撮影手段の撮影状況とは無関係に特定の周囲音を強調しつつ撮影を行うことができ、これにより、撮影手段によりフォーカシングされた被写体と、音声を強調させたい被写体とが一致しない撮影や、特定の被写体からの音声を強調して録音する撮影が可能となる。

また、選択手段により周囲音に含まれる任意の音声を選択することにより、当該音声が抑圧されて動画とともに記録手段に記録される。よって、撮影手段の撮影状況とは無関係に特定の周囲音を抑圧しつつ撮影を行うことができ、これにより、撮影手段によりフォーカシングされた被写体と、音声を強調させたい被写体とが一致しない撮影や、特定の被写体からの音声を抑圧して録音する撮影が可能となる。

また、請求項２記載の発明に係るカメラ装置にあっては、前記検出手段は、複数のマイクロホンを有するマイクロホンアレーである。

また、請求項３記載の発明に係るカメラ装置にあっては、前記選択手段は、前記撮影手段により撮影される画像における任意の被写体を指定する指定手段を含み、前記音声制御手段は、前記指定手段により指定された前記被写体からの音声を強調処理または抑圧処理する。したがって、任意の被写体を指定する容易な操作により、当該被写体からの音声を強調または抑圧した撮影が可能となる。

また、請求項４記載の発明に係るカメラ装置にあっては、前記撮影手段により撮影される被写体像を表示する表示画面手段を更に備え、前記指定手段は、前記表示画面手段に表示された被写体像中における任意の被写体を操作に基づき指定する。したがって、表示画面手段に表示された被写体像中における任意の被写体を指定する容易な操作により、当該被写体からの音声を強調または抑圧した撮影が可能となる。

また、請求項５記載の発明に係るカメラ装置にあっては、前記音声制御手段は、前記表示画面手段に表示された被写体像中における任意の被写体に対するタッチ操作に基づき得られる位置座標に基づき、前記指定された被写体の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理する。

また、請求項６記載の発明に係るカメラ装置にあっては、前記音声制御手段は、前記位置座標と、前記撮影手段の焦点距離および前記動画の画像サイズとに基づき、前記指定された被写体の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理する。

また、請求項７記載の発明に係るカメラ装置にあっては、前記音声制御手段は、前記指定手段により指定された被写体までの距離が所定以上である場合に、前記位置座標、または前記位置座標と前記焦点距離および前記画像サイズに基づき前記指定された被写体の方向を算出する。

また、請求項８記載の発明に係るカメラ装置にあっては、前記音声制御手段は、前記指定手段により指定された被写体までの距離が所定未満である場合には、測距動作に伴って得られる距離情報に基づき、前記算出された方向から入力された音声を強調処理または抑圧処理する。

また、請求項９記載の発明に係るカメラ装置にあっては、前記選択手段により選択された音声に対して強調処理と抑圧処理のうちどちらを実行させるかを選択する処理選択手段を備え、前記音声制御手段は、前記検出手段により検出された周囲音を制御し、前記選択手段により選択された音声に対して、前記処理選択手段により選択された処理を実行する。

また、請求項１０記載の発明に係るカメラ装置にあっては、前記音声制御手段は、前記選択手段により選択された第１の音声を強調処理するとともに、前記選択手段により選択された第２の音声を抑圧処理する手段を含む。

また、請求項１１記載の発明に係るカメラ装置にあっては、前記音声制御手段は、前記音声を強調処理する方向と前記音声を抑圧処理する方向とを独立して設定する設定手段を含む。したがって、ある音声を強調し、他の音声を抑圧しつつ撮影を行うことができる。 また、請求項１２記載の発明に係るカメラ装置にあっては、前記検出手段は、複数のマイクロホンが前後方向に配置されたマイクロホンアレーである。したがって、同じ方向からの音声が複数ある場合であっても、ある音声を強調し、他の音声を抑制しつつ撮影を行うことができる。

また、請求項１３記載の発明に係るカメラ装置にあっては、前記音声制御手段は、前記複数のマイクロホン配置された方向と同一方向における異なる音源からの音声の一方を強調処理し、他方を抑圧処理する。

また、請求項１４記載の発明に係るカメラ装置にあっては、動画を撮影する撮影手段と、周囲音を検出する検出手段と、この検出手段により検出される周囲音に含まれる任意の音声を選択する選択手段と、前記検出手段により検出された周囲音を制御し、前記選択手段により選択された音声を取得する取得手段と、この取得手段により取得された前記音声を記憶する記憶手段と、この記憶手段に記憶されている音声を、前記撮影手段の動作中において前記検出手段により検出される周囲音から減算処理する音声制御手段と、前記撮影手段により撮影される動画と、前記音声制御手段により前記音声を減算処理された周囲音とを記録する記録手段とを備える。したがって、選択した音声を一旦記憶手段に記憶させれば、当該カメラ装置の方向やシーンの変化にか拘わらず、以降当該音声を抑圧しつつ撮影を行うことができる。

また、請求項１５記載の発明に係るカメラ制御プログラムにあっては、動画を撮影する撮影手段と、この撮影手段による撮影時に周囲音を検出する検出手段とを備えるカメラ装置が有するコンピュータを、前記検出手段により検出される周囲音に含まれる任意の音声を選択する選択手段と、前記検出手段により検出された周囲音を制御し、前記選択手段により選択された音声を強調処理または抑圧処理する音声制御手段と、前記撮影手段により撮影される動画と、前記音声制御手段により前記音声を強調処理または抑圧処理された周囲音とを記録手段に記録する記録制御手段として機能させる。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項１記載の発明と同様の作用効果を奏する。

また、請求項１６記載の発明は、動画を撮影する撮影手段と、この撮影手段による撮影時に周囲音を検出する検出手段とを備えるカメラ装置の記録音声制御方法であって、前記検出手段により検出される周囲音に含まれる任意の音声を選択する選択工程と、前記検出手段により検出された周囲音を制御し、前記選択工程により選択された音声を強調処理または抑圧処理する音声制御工程と、前記撮影手段により撮影される動画と、前記音声制御工程により前記音声を強調処理または抑圧処理された周囲音とを記録手段に記録する記録制御工程とを含む。したがって、記載した工程に従って処理を実行することにより、請求項１記載の発明と同様の作用効果を奏する。

以上のように請求項１、１５、１６に係る発明によれば、本発明によれば、選択手段により周囲音に含まれる任意の音声を選択することにより、当該音声を強調して動画とともに記録手段に記録することができる。したがって、撮影手段の撮影状況とは無関係に特定の周囲音を強調しつつ撮影を行うことができる。また、選択手段により周囲音に含まれる任意の音声を選択することにより、当該音声を抑圧して動画とともに記録手段に記録することができる。したがって、撮影手段の撮影状況とは無関係に特定の周囲音を抑圧しつつ撮影を行うことができる。よって、撮影手段によりフォーカシングされた被写体と、音声を強調させたい被写体とが一致しない撮影や、特定の被写体からの音声を抑圧して録音する撮影が可能となる。

また、請求項１４に係る発明によれば、選択した音声を一旦記憶手段に記憶させれば、当該カメラ装置の方向やシーンの変化にか拘わらず、以降当該音声を抑圧しつつ撮影を行うことができる。

（第１の実施の形態）
図１に示すように、本発明の各実施の形態に係るデジタルカメラ１００の本体１０１には、前面上部に撮像レンズ１０２が配置され、その下部にマイクロホンアレー部１０３が設けられている。このマイクロホンアレー部１０３には、横配列マイクと縦配列マイクとからなる複数のマイクロホン（後述するマイクＭ１〜マイクＭｎ）が等間隔で設けられている。また、一方の側面には、開閉自在なカバー体１０４が設けられており、このカバー体１０４の裏面側に後述する表示部１１９とタッチパネル１３２とが配置されている。

図２は、第１の実施の形態に係るデジタルカメラ１００の回路構成を示すブロック図である。このデジタルカメラ１００は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、前記撮像レンズ１０２は、ズームレンズ、フォーカスレンズで構成され、フォーカス駆動部１０５及びズーム駆動部１０６により駆動される。この撮像レンズ１０２の光軸上には絞り１０７、シャッタ１０８及びＣＣＤ等で構成される撮像部１０９が配置されている。絞り１０７とシャッタ１０８とは、絞り／シャッタ駆動部１１０に接続され、撮像部１０９はドライバ１１１に接続されている。

このデジタルカメラ１００全体を制御する撮影録音制御回路１１２（以下、単に制御回路１１２という。）は、ＣＰＵ及びワーク用のＲＡＭ等で構成されている。この制御回路１１２には、前記駆動部１０５、１０６とともにドライバ１１１が接続されており、ドライバ１１１は、制御回路１１２が発生するタイミング信号に基づき、撮像部１０９を駆動する。

また、前記撮像部１０９の受光面には、撮像レンズ１０２によって被写体が結像される。撮像部１０９は、ドライバ１１１によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路１１３に出力する。ユニット回路１１３は、撮像部１０９の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、この映像信号を増幅するゲイン調整アンプ（ＡＧＣ）等で構成される。このユニット回路１１３からの映像信号はＡ／Ｄ変換器１１４によりデジタルデータに変換され、映像信号処理部１１５へ出力される。

映像信号処理部１１５は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。映像信号処理部１１５で変換されたＹＵＶデータは順次画像メモリ１１６に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、表示制御部１１７の表示メモリ１２５を介して（ファインダー）表示部１１９へ送られてスルー画像として画面表示される。

そして、静止画撮影モードにおいては、後述する操作入力部１３０に設けられているシャッターキー操作をトリガとして、制御回路１１２は、撮像部１０９、ドライバ１１１、ユニット回路１１３、及び映像信号処理部１１５に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ画像メモリ１１６に一時記憶された画像データは、画像符号器／復号器１２０で圧縮及び符号化され、符号化画像メモリ１２１に一時記憶された後、最終的には所定のフォーマットの静止画ファイルとして、入力インターフェース１２２を介して外部メモリ１２３に記録される。

また、動画撮影モードにおいては、１回目のシャッターキーと２回目のシャッターキー操作との間に、画像メモリ１１６に順次記憶される複数の画像データが画像符号器／復号器１２０で順次圧縮され、符号化画像メモリ１２１に順次記憶された後、動画ファイルとして外部メモリ１２３に記録される。この外部メモリ１２３に記録された静止画ファイル及び動画ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて画像伸張／復号化部１１８に読み出されるとともに伸張及び復号化され、ＹＵＶデータとして表示メモリ１２５に展開された後、表示部１１９に表示される。

プログラムメモリ１２４には、制御回路１１２に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、制御回路１１２を本発明の選択手段、音声制御手段、記録制御手段等として機能させるためのプログラム等の各種のプログラムが格納されており、データメモリ１２５は各種データを格納する。

また、このデジタルカメラ１００は、各被写体（被写体Ａ，Ｂ・・・）までの距離に応じた測距信号を発生する測距センサ１２６を備えており、この測距センサ１２６からの出力信号は、前記映像信号処理部１１５からの映像信号とともに、測距部／合焦検出部１２７に入力される。測距部／合焦検出部１２７はこれら入力信号に基づき、各被写体（被写体Ａ，Ｂ・・・）までの距離を検出するものであって、この検出された距離は、被写体Ａ，Ｂ・・・の被写体距離ＬＡ、ＬＢとして距離メモリ１２８に記憶される。

また、制御回路１１２には、座標入力部１２９及び操作入力部１３０が入力回路１３１を介して接続されている。座標入力部１２９は、前記表示部１１９に積層されているタッチパネル１３２からのタッチ信号に基づく座標値を、入力回路１３１を介して制御回路１１２に出力する。操作入力部１３０には、モード選択キー、シャッターキー、ズームキー等の複数の操作キー及びスイッチが設けられている。

また、このデジタルカメラ１００は、前記動画撮影モード、音声のみを記録する録音モード、音声付き（静止画）撮影モードにおいて、周囲音を記録する録音機能を備えており、このため周囲音を検出するマイクロホンを有し、このマイクロホンは前記マイクロホンアレー部１０３に設けられた横配列マイクと縦配列マイクとからなるマイクＭ１からマイクＭｎまでのｎ本のマイクロホンで構成されている。各マイクＭ１〜Ｍｎからの音声信号は、対応する各アンプ１３３・・・で増幅され、Ｓ＆Ｈ、Ａ／Ｄ変換回路１３４でサンプルホールド及びデジタル変換され、音声強調部１３５に供給される。音声強調部１３５は、マイクＭ１〜Ｍｎに対応して設けられたｎ個の遅延器Ｄ１〜Ｄｎと、これら遅延器Ｄ１〜Ｄｎからの信号を加算する加算器１３６で構成されている。各遅延器Ｄ１〜Ｄｎは、音声強調設定メモリ１４４に記憶される強調被写体座標（ｘ，ｙ）、強調被写体距離Ｌ_ｆ、音声強調方向角度θ_Ｆに基づき遅延制御又はアレー制御を実行する遅延制御／アレー制御回路１４５により制御される。

前記加算器１３６での加算結果により得られる特定方向音声を強調した音声データは、雑音抑圧回路１３７で雑音抑圧処理され音声メモリ１３８に格納される。この音声メモリ１３８に格納された音声データは、音声符号器／復号器１３９で順次圧縮され、符号化音声メモリ１４０に順次記憶される。制御回路１１２は、この圧縮音声データと前記圧縮動画データとを含む音声付き動画ファイルを生成して外部メモリ１２３に記録する。

この外部メモリ１２３に記録された動画ファイルの音声データは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて、音声符号器／復号器１３９に読み出されるとともに伸張及び復号化される。この伸張及び及び復号化された音声データは、符号化音声メモリ１４０に一時記憶された後、Ｄ／Ａ変換器１４１でアナログ信号に変換され、アンプ１４２を介してスピーカー１４３に供給されて音声として再生される。なお、音声記録を行うタイミングは、動画撮影時に限定されず、音声付き静止画撮影モードにおける録音動作時でもよく、また、録音モードやアフレコモードにおける録音動作時でもよい。

以上の構成に係る本実施の形態において、制御回路１１２は前記プログラムに基づき、図３及び図４に示す一連のフローチャートに示すように処理を実行する。すなわち、動画撮影モードが設定されたか否かを判断し（図３ステップＳ１０１）、動画撮影モード以外の他のモードが設定された場合には、設定された当該その他のモード処理を実行する（ステップＳ１０２）。また、動画撮影モードが設定されたならば、測光処理、ＷＢ処理を実行するとともに（ステップＳ１０３）、ズーム処理を行ってズーム駆動部１０６により駆動されることにより変化したレンズ焦点距離（ｆ）を算出する（ステップＳ１０４）。また、測距センサ１２６を制御する測距処理を実行するとともに、フォーカス駆動部１０５を制御するＡＦ処理を実行して被写体を合焦させる（ステップＳ１０５）。次に、このＡＦ処理により合焦した被写体Ａ、またはＢ、Ｃの距離情報を測距部／合焦検出部１２７により検出させて、距離メモリ１２８に記憶させる（ステップＳ１０６）。

さらに、被写体像スルー画像を、照準、距離情報等とともに、ファインダーに表示させる（ステップＳ１０７）。すなわち、このステップＳ１０７での処理により、図５に示すように、被写体Ａ，Ｂ、Ｃ等からなる被写体像スルー画像１５６を表示部１１９に表示させるとともに、撮影／録音モード表示１５１、撮影／録音できる残り時間１５２、カメラの映像フォーカス照準１５３、音声強調／音声フォーカス音源照準１５４、音声強調設定マーク１５５等を表示する。

なお、映像フォーカス照準１５３は、図示した表示部１１９の中央のみならず、操作入力部１３０での操作により表示部１１９の任意の位置に移動させることが可能である。したがって、図６（５）に示すように、映像フォーカス照準１５３を被写体Ｂ上に移動させることも可能であり、この場合前記ステップＳ１０６では、被写体Ｂまでの距離情報が検出されて記憶されることとなる。

次に、マイクロホンアレー部１０３からの音声を入力させ（ステップＳ１０８）、後述する特定方向音声の強調処理を設定済みであるか否かを判断する（ステップＳ１０９）。設定済みでない場合には、ステップＳ１１０の処理を実行することなく、ステップＳ１１１に進む。また、設定済みである場合には、マイクロホンアレー部１０３の各遅延器Ｄ１〜Ｄｎの出力を加算器１３６で加算合成して、特定方向を強調した音声を音声メモリ１３８に出力させる（ステップＳ１１０）。さらに、特定方向音声の抑圧処理を設定済みであるか否かを判断し（ステップＳ１１１）、設定済みでない場合には雑音抑圧回路１３７で通常の音声抑圧処理させる（ステップＳ１１２）。しかし、設定済みである場合には、マイクロホンアレー部１０３の各遅延器Ｄ１〜Ｄｎ出力を減算合成して、特定方向を抑圧処理した音声を音声メモリ１３８に出力させる（ステップＳ１１３）。なお、このステップＳ１１３の処理に関しては、第２の実施の形態において詳述する。

しかる後に、録音中および／または録画中であるか否かを判断し（ステップＳ１１４）、録音中および／または録画中である場合には、音声符号器／復号器１３９および／または画像符号器／復号器１２０で、録音音声および／または撮像映像の符号化処理させて、符号化音声メモリ１４０および／または符号化画像メモリ１２１に記録する（ステップＳ１１５）。さらに、操作入力部１３０にて録音／録画ストップＳＷが操作されたか否かを判断し（ステップＳ１１６）、操作されたならば録音／録画の停止処理を実行して（ステップＳ１１７）、リターンする。無論、このとき前述のように、圧縮音声データからなる音声ファイル、または圧縮音声データと圧縮動画データとを含む音声付き動画ファイルを生成して外部メモリ１２３に記録する。

他方、ステップＳ１１４での判断の結果、録音中および／または録画中でない場合には、操作入力部１３０にて録音／録画スタートＳＷが操作されたか否かを判断し（ステップＳ１１８）、操作されない場合には図４の「Ａ」にジャンプする。また、ステップＳ１１６での判断の結果、録音／録画ストップＳＷが操作されない場合にも図４の「Ａ」にジャンプする。

そして、図４のフローチャートに示すように、音声強調の設定がなされたか否かを判断し（ステップＳ１２０）、設定がなされない場合にはその他の処理を実行する（ステップＳ１２１）。このとき、ユーザが図６（５）に示すように、操作入力部１３０での操作により、映像フォーカス照準１５３を音声強調させたい被写体Ｂ上に移動させると、被写体Ｂまでの距離が測距され同図に示すように「４Ｍ」なる映像フォーカスした被写体距離Ｄが表示される。そして、この被写体Ｂ上の映像フォーカス照準１５３をユーザが指Ｆでタッチした後、操作入力部１３０にて音声強調設定ボタンを押下すると、音声強調の設定がなされる。

したがって、図４のフローチャートにおいては、音声強調の設定がなされたことにより、ステップＳ１２０の判断がＹＥＳとなってステップＳ１２２に進み、操作入力された被写体Ｂの入力座標を音声強調する音源の位置座標として、ＲＡＭに記憶する。すなわち、図６に示すように、ズーム動作に応じて焦点距離と画角座標は変化するが、同図（５）に示すようよう焦点距離ｆ＝６ｍｍであったとすると、ユーザが指Ｆでタッチした入力座標として、同図（６）に示すように、（ｘ，ｙ）＝（０．７，０．１）を得ることができる。次に、下記例示式を用いて、入力位置座標（ｘ，ｙ）をレンズ焦点距離（ｆ）、画像サイズ（Ｘ′，Ｙ′）に基づいて、強調音源方向の角度θｆまたは方向座標（θｘ，θｙ）に変換する（ステップＳ１２３）。
（例）θｘ＝（ｘ／ｘｍａｘ）×ｔａｎ^−１（Ｘ′／２ｆ）、
θｙ＝（ｙ／ｙｍａｘ）×ｔａｎ^−１（Ｙ′／２ｆ）、
θｆ＝θｘ、または、θｆ＝θｙ、

図７に、画角や半画角、被写体範囲がズーム操作などレンズ焦点距離（ｆ）の変化に伴って変化するときの強調音源方向の角度θｆまたは方向座標（θｘ，θｙ）の換算例を示す。本例では、位置座標（ｘ，ｙ）は、−１．０≦ｘ≦１．０、・・−０．７５ｘ≦０．７５の範囲とすると、被写体や特定音源の角度θは、同図に示す半画角（２／θ）に相当させているので、位置座標（ｘ，ｙ）をレンズ焦点距離（ｆ）と、画像サイズ（Ｘ′，Ｙ′）とに基づいて、強調音源方向の角度θｆ、または、方向座標（θｘ，θｙに変換するには、
例えば、ｘｍａｘ＝１．０，ｙｍａｘ＝０．７５として、
θｘ＝（ｘ／ｘｍａｘ）×ｔａｎ^−１（Ｘ′／２ｆ）、θｙ＝（ｙ／ｙｍａｘ）×ｔａｎ^−１（Ｙ′／２ｆ）、
等として変換される。θｆは実際には、マイクロホンアレー部１０３がマイク配列が横並び（水平方向）のみの場合は、θｆ＝θｘとして利用し、マイク配列が縦並び（垂直方向）のみの場合は。θｆ＝θｙとして利用すればよい。

また、デジタルズームなどで、光学系の倍率やレンズ焦点距離は変わらないが、画像処理により撮影画角が変わる場合にも、同様に、デジタルズームの横または縦の拡大倍率、若しくは焦点距離換算の倍率Ｍを用いて、ファインダー画面上での入力座標に対して画角も倍率Ｍ分の１と狭くなるので、被写体や音源の方向はθｆは、
θｆ＝θｘ＝（ｘ／ｘｍａｘ）×ｔａｎ^−１［Ｘ′／２ｆ］／Ｍ、または、
θｆ＝θｙ＝（ｙ／ｙｍａｘ）×ｔａｎ^−１［ｙ′／２ｆ］／Ｍ、と補正すればよい。

そして、ステップＳ１２３に続くステップＳ１２４では、被写体Ｂの距離情報Ｌ_Ｂを読み込み、または、映像フォーカスして測距し、強調する音源距離Ｌｆとして設定し、さらにこの設定した音源距離Ｌｆが所定値以上であるか否かを判断する（ステップＳ１２５）。このステップＳ１２５での判断の結果、音源距離Ｌｆが所定値未満であって近距離である場合には、下記例示式を用い、強調する音源距離Ｌｆに基づいて、音声強調部１３５の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｋ）を設定する（ステップＳ１２６）。
（例）θ（ｋ）＝ｔａｎ^−１［（ｋ−１）ｄ／Ｌｆ］、
ｔＤ（ｋ）＝Ｌｆ［｛１／ｃｏｓθ_{（ｎ−ｋ＋１）}｝−１］／ｃ
（但し、ｋ：マイク番号１〜ｎ、ｄ：マイク間隔、ｃ：音速）

また、ステップＳ１２５での判断の結果、音源距離Ｌｆが所定値以上であって遠距離である場合には、下記例示式を用い、強調する音源方向のθｆまたは（θｘ，θｙ）に基づいて、音声強調部１３５の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｋ）を設定する（ステップＳ１２７）。
（例）ｔＤｘ（ｊ）＝（ｍ−ｊ）・ｄｘ・ｓｉｎθｘ／ｃ、
ｔＤｙ（ｋ）＝（ｍ−ｋ）・ｄｙ・ｓｉｎθｙ／ｃ、
（但し、ｊ：横配列マイク番号１〜ｍ、ｋ：縦配列マイク番号１〜ｎ、ｄ：マイク 間隔、ｃ：音速）

しかる後に、強調音声の照準を音声強調マークとともに、被写体スルー画像に重ねてファインダーに表示し（ステップＳ１２８）、リターンする。これにより、図６（８）に示すように、被写体Ｂ上に音声フォーカス音源照準１５４が表示されるとともに、音声強調の設定されたことを示す音声強調設定マーク１５５が表示される。

また、音源距離Ｌｆに応じて前記ステップＳ１２６またはステップＳ１２７の処理が行われた後、リターンして前述したステップＳ１１０の処理が実行されることとなる。これにより、被写体Ｂの音声を強調した音声データを圧縮した圧縮音声データと圧縮動画データとを含む音声付き動画ファイルが外部メモリ１２３に記録されることとなる。

（第１の実施の形態の変形例）
図８〜１０は、前記図４のフローチャートと前記図３のフローチャートにおけるステップＳ１１０の処理とによって実行されるマクロホンアレーによる音声強調処理の変形例、およびステップＳ１１３によって実行される特定方向音声の抑圧処理の変形例を示すブロック回路図である。
図８は、２個のマイクＭ１，Ｍ２を用いるものであって、この２個のマイクＭ１，Ｍ２の間隔ｄ、特定音源の方向θが既知であり、マイク間隔ｄに比べて特定音源までの距離Ｌが遠距離（Ｌ＞＞ｄ）である場合である。図に示すように、特定方向の特定音源からの音声ｗ（ｎ）を強調したい場合には、特定音声ｗ（ｎ）に近い側のマイクＭ１に先に音声が伝達され、他のマイクＭ２には少し遅れて音声が入力される。このとき、角度θに応じて先に伝達する音源に近い側のマイクＭ１に、他のマイクＭ２より進んでいる分に相当する遅延時間（Ｔ_Ｄ）を遅延器Ｄにより設け、遅い側のマイクＭ２では遅延時間＝０に設定してその出力を加算回路１６１で加算する。

すると、方向θからの音声信号は、各マイクＭ１、Ｍ２からの伝播時間は加算回路１６１入力時では同じになって強調されることとなり、他の方向からの信号は互いに少しづつ打ち消し合うので、相対的に抑圧されることとなる。したがって、各マイクＭ１、Ｍ２の遅延回路の遅延時間ｔ_Ｄを設定制御することにより、任意の特定方向θじ指向性を設けて音声強調を行い、電子的に指向性を可変制御することができる。

同様に、特定方向θからの音声に対して伝播時間を揃え、前記とは逆に減算回路１６２で互いに相殺するようにすると、特定の音源方向θからの音声に死角を作って抑圧することができ、雑音抑制回路として利用できる。

遅延量（Ｔ_Ｄ）を決定するためには、いずれの場合も、音源の方向θが既知であることが必要である。本実施の形態では、ユーザがファインダー（表示部１１９）視野内から選択した被写体を入力し、その入力座標に対応する方向を特定音源方向θとして設定するので、方向θを推測する必要がなく、容易に演算して設定できる。

例えは、２個のマイクＭ１，Ｍ２の場合には、マイクＭ１，Ｍ２への伝播遅れ時間は、それぞれｔ_１＝０、ｔ_２＝ｄ・ｓｉｎθ／ｃとなるので、マイクＭ１，Ｍ２の各遅延回路の遅延時間ｔ_Ｄ１，ｔ_Ｄ２には、それぞれ他方の伝播遅れ時間、すなわち、
ｔ_Ｄ１＝ｔ_２＝ｄ・ｓｉｎθ／ｃ、ｔ_Ｄ２＝ｔ_１＝０ （ｄ：マイク間隔、ｃ：音速）を設定すればよい。

図９は、遠距離で、特定方向の音声に指向性を持たせて強調する場合である。図示のように、マイクが３個以上の場合でもマイクを等間隔ｄで直線状に並べたマイクロホンアレーの場合には、特定方向の音源側に最も近いマイクをマイクＭ１（ｋ＝１）とすると、音源に近い方からｋ番目のマイク（ｋ；１〜ｎ）の伝播遅れ時間ｔ_（ｋ）は、
ｔ_（ｋ）＝（ｋ−１）・ｄ・ｓｉｎθ／ｃ、となるので、
設定すべき遅延時間ｔ_Ｄ（ｋ）は、
ｔ_Ｄ（ｋ）＝（ｎ−１）・ｄ・ｓｉｎθ／ｃ、となる。
（但し、ｄ：マイク間隔、ｃ＝音速≒３３１．５＋０．６×Ｔ［ｍ／ｓ］、Ｔ：温度）

図１０は、近距離で、特定方向の音声に指向性を持たせて強調する場合である。図示のように、各マイクＭ１からＭｎには、近い音源からの音声がそれぞれ異なる角度θ_１〜θ_ｎで入力されることとなり、同一の遅延時間となる等位相面は、図のように特定音源を中心とする球面状となる。この場合、特定の被写体または音源からの音声を強調または抑圧するには、特定音源に最も近いマイクをマイクＭ１（ｋ＝１）とすると、音源に近い方からｋ番目のマイク（ｋ；１〜ｎ）の伝播遅れ時間ｔ_（ｋ）は、
ｔ_（ｋ）＝Ｌ｛（１／ｃｏｓθｋ）−１｝／ｃ、
したがって、各マイクの遅延器に設定すべき遅延時間ｔ_Ｄ（ｋ）は、
ｔ_Ｄ（ｋ）＝ｔ_{（ｎ−ｋ＋１）}＝Ｌ［（１／ｃｏｓθ_{（ｎ−ｋ＋１）}−１］／ｃ、
（但し、θｋ＝ｔａｎ^−１［（ｋ−１）］ｄ／Ｌ］、Ｌ：音源距離、ｃ：音速）
とすればよく、このとき、各マイクへの入力角度θ_ｋは、音源距離Ｌとマイク間隔ｄとから決まるので、結果的には音源の位置（音源に最も近いマイク番号はどれか）と音源距離Ｌとで決定される。なお、配列が曲面の場合には、計算が多少複雑化するが勿論算出可能である。

前述のように、音源からの距離が遠距離の場合には、各マイクへの入力角度が平行と見なして距離情報に拘わらず、単一の方向角度θで扱っても問題はないが、近距離の場合には、方向角度とともに音源からの距離Ｌに応じて、各遅延時間の設定を行う必要がある。したがって、被写体の距離等に応じて、前述したいずれに自動的に切り替えて音声強調すると、音声強調の効果を向上させることができる。

なお、配列が２次元配列で、水平および垂直の両方向とも利用する場合には、前記の遅延時間の設定では、水平方向；ｔ_{Ｄｘ（ｊ）}＝（ｍ−ｊ）・ｄｘ・ｓｉｎθｘ／ｃ、垂直方向：ｔ_{Ｄｙ（ｋ）}＝（ｎ−ｊ）・ｄｙ・ｓｉｎθｙ／ｃ、などと設定すればよい。

（第２の実施の形態）

図１１は、本発明の第２の実施の形態に係るデジタルカメラ１００の回路構成を示すブロック図であり、第１の実施の形態とは逆に、録音したくない被写体や音源を任意に選択して入力操作し、入力座標に基づいて、当該被写体や音源の角度や方向を、音声抑圧部の設定データ（各マイク入力の遅延回路の遅延時間等）を設定するようにしたものである。

このブロック図にいおいて、前記図２に示したブロック図における各部と同一部分については、同一符合を付して説明を省略し、異なる部分についてのみ説明する。すなわち、各マイクＭ１〜Ｍｎからの音声信号は、対応する各アンプ１３３・・・で増幅され、Ｓ＆Ｈ、Ａ／Ｄ変換回路１３４でサンプルホールド及びデジタル変換され、音声強調／抑圧部２３５に供給される。音声強調／抑圧部２３５は、マイクＭ１〜Ｍｎに対応して設けられたｎ個の遅延器Ｄ１〜Ｄｎと、これら遅延器Ｄ１〜Ｄｎからの信号を各々増幅する複数の乗算器Ａ１〜Ａｎ、これら乗算器Ａ１〜Ａｎからの信号を加算または減算する加算する加減算回路２３６で構成されている。各遅延器Ｄ１〜Ｄｎおよび乗算器Ａ１〜Ａｎは、音声強調／抑圧設定メモリ２４４に記憶される抑圧方向角度θｓ、抑圧音源距離Ｌｓ、強調方向角度θｆ、強調音源距離Ｌｆに基づき遅延制御、加減算／利得制御を実行する遅延制御、加減算／利得制御回路２４５により制御される。

以上の構成に係る本実施の形態において、制御回路１１２は前記プログラムに基づき、前述した第１の実施の形態と同様に、図３のフローチャートに示すように処理を実行する。そして、ステップＳ１０７で、被写体像スルー画像を、照準、距離情報等とともに、ファインダーに表示させる処理が実行することにより、図１２に示すように、第１の実施の形態と同様に、被写体Ａ，Ｂ、Ｃ等からなる被写体像スルー画像１５６、撮影／録音モード表示１５１、撮影／録音できる残り時間１５２、カメラの映像フォーカス照準１５３、音声強調／音声フォーカス音源照準１５４、音声強調設定マーク１５５を表示するのみならず、雑音を抑圧する音源照準２５１および雑音抑圧設定マーク２５２等を表示させる。

そして、ステップＳ１１４での判断の結果、録音中および／または録画中でない場合には、操作入力部１３０にて録音／録画スタートＳＷが操作されたか否かを判断し（ステップＳ１１８）、操作されない場合には図１３の「Ａ」にジャンプする。また、ステップＳ１１６での判断の結果、録音／録画ストップＳＷが操作されない場合にも図１３の「Ａ」にジャンプする。

したがって、音声抑圧の設定がなされたか否かを判断し（ステップＳ２２０）、設定がなされない場合にはその他の処理を実行する（ステップＳ２２１）。このとき、ユーザが前述した第１の実施の形態と同様に、操作入力部１３０での操作により、映像フォーカス照準１５３を音声抑圧させたい被写体Ｃ上に移動させると、被写体Ｃまでの距離が測距され、この被写体Ｃ上の映像フォーカス照準１５３をユーザが指Ｆでタッチした後、操作入力部１３０にて音声抑圧設定ボタンを押下すると、音声抑圧の設定がなされる。

したがって、図１３のフローチャートにおいては、音声抑圧の設定がなされたことにより、ステップＳ２２０の判断がＹＥＳとなってステップＳ２２２に進み、操作入力された座標を音声抑圧する被写体Ｃの位置座標（ｘ，ｙ）として、ＲＡＭに記憶する。なお、この位置座標（ｘ，ｙ）の取得方法は前述した第１の実施の形態と同様である。次に、下記例示式を用いて、入力位置座標（ｘ，ｙ）をレンズ焦点距離（ｆ）、画像サイズ（Ｘ′，Ｙ′）に基づいて、抑圧すべき音源方向の角度θｓまたは方向座標（θｘ，θｙ）に変換する（ステップＳ２２３）。
（例）θｘ＝（ｘ／ｘｍａｘ）×ｔａｎ^−１（Ｘ′／２ｆ）、
θｙ＝（ｙ／ｙｍａｘ）×ｔａｎ^−１（Ｙ′／２ｆ）、
θｓ＝θｘ、または、θｓ＝θｙ、

引き続き、被写体Ｃの距離情報Ｌ_Ｃを読み込み、または、映像フォーカスして測距し、強調する音源距離Ｌｓとして設定し（ステップＳ２２４）、この設定した音源距離Ｌｓが所定値以上であるか否かを判断する（ステップＳ２２５）。このステップＳ２２５での判断の結果、音源距離Ｌｓが所定値未満であって近距離である場合には、下記例示式を用い、強調する音源距離Ｌｓに基づいて、音声強調／抑圧部２３５の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｋ）を設定する（ステップＳ２２６）。
（例）θ（ｋ）＝ｔａｎ^−１［（ｋ−１）ｄ／Ｌｓ］、
ｔＤ（ｋ）＝Ｌｓ［｛１／ｃｏｓθ_{（ｎ−ｋ＋１）}｝−１］／ｃ
（但し、ｋ：マイク番号１〜ｎ、ｄ：マイク間隔、ｃ：音速）

また、ステップＳ２２５での判断の結果、音源距離Ｌｓが所定値以上であって遠距離である場合には、下記例示式を用い、強調する音源方向のθｓまたは（θｘ，θｙ）に基づいて、音声強調／抑圧部２３５の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｋ）を設定する（ステップＳ２２７）。
（例）ｔＤｘ（ｊ）＝（ｍ−ｊ）・ｄｘ・ｓｉｎθｘ／ｃ、
ｔＤｙ（ｋ）＝（ｍ−ｋ）・ｄｙ・ｓｉｎθｙ／ｃ、
（但し、ｊ：横配列マイク番号１〜ｍ、ｋ：縦配列マイク番号１〜ｎ、ｄ：マイク 間隔、ｃ：音速）

しかる後に、音声抑圧の照準を音声抑圧マークとともに、被写体スルー画像に重ねてファインダーに表示し（ステップＳ２２８）、リターンする。これにより、図１２に示すように、被写体Ｃ上に音声抑圧する音源照準２５１が表示されるとともに、音声抑圧の設定されたことを示す雑音抑圧設定マーク２５２が表示される。

また、音源距離Ｌｓに応じて前記ステップＳ２２６またはステップＳ２２７の処理が行われた後、リターンして図３のフローチャートにおけるステップＳ１１２の処理が実行されることとなる。これにより、被写体Ｃの音声を抑圧した音声データを圧縮した圧縮音声データと圧縮動画データとを含む音声付き動画ファイルが外部メモリ１２３に記録されることとなる。
（第２の実施の形態の変形例）
図１４〜１６は、前記図１３のフローチャートと前記図３のフローチャートにおけるステップＳ１１３の処理とによって実行されるマクロホンアレーによる、音声抑圧処理の変形例を示すブロック回路図である。
図１４に示す構成においては、特定方向の負の指向性を持たせて死角を作るものであり、Ａ１〜Ａｎを一つ置きに乗算器または反転回路として機能させる。また、図１５に示す構成においては、音声強調する角度（θ１）と音声抑圧する角度（θ２）とを独立に設定して、θ１方向からの音声を強調し、かつ、θ２方向からの音声を抑圧するものである。また、図１６図に示す構成においては、複数個のマイクによるマイクロホンアレーを前後方向に配置して、同じ方向でも、距離に応じて雑音抑圧できるようにしたものである。このような構成にすると、前方の音源を抑圧して、その後方の希望音声を強調して録音することも可能となる。

（第３の実施の形態）
図１７は、本発明の第３の実施の形態に係るデジタルカメラ３００の回路構成を示すブロック図である。このデジタルカメラ３００は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、撮像レンズ３０２は、ズームレンズ、フォーカスレンズで構成され、フォーカス駆動部３０５及びズーム駆動部３０６により駆動される。この撮像レンズ３０２の光軸上には絞り３０７、シャッタ３０８及びＣＣＤ等で構成される撮像部３０９が配置されている。絞り３０７とシャッタ３０８とは、絞り／シャッタ駆動部３１０に接続され、撮像部３０９はドライバ３１１に接続されている。

このデジタルカメラ３００全体を制御する撮影録音制御回路３１２（以下、単に制御回路３１２という。）は、ＣＰＵ、ＲＯＭおよびワーク用のＲＡＭ等で構成されている。ＲＯＭにはには、制御回路３１２に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、制御回路３１２を本発明のとして機能させるためのプログラム等の各種のプログラムが格納されている。この制御回路３１２には、前記駆動部３０４とともにドライバ３１１が接続されており、ドライバ３１１は、制御回路３１２が発生するタイミング信号に基づき、撮像部３０９を駆動する。なお、図示は省略するが、実際には、メカシャッター及びそれらを駆動するためのモーターを有する駆動機構等が設けられている。

また、前記撮像部３０９の受光面には、撮像レンズ３０２によって被写体が結像される。撮像部３０９は、ドライバ３１１によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路３１３に出力する。ユニット回路３１３は、撮像部３０９の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、この映像信号を増幅するゲイン調整アンプ（ＡＧＣ）等で構成される。このユニット回路３１３からの映像信号はＡ／Ｄ変換器３１４によりデジタルデータに変換され、映像信号処理部３１５へ出力される。

映像信号処理部３１５は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。映像信号処理部３１５で変換されたＹＵＶデータは順次画像メモリ３１６に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、表示部３１９へ送られてスルー画像として画面表示される。

そして、静止画撮影モードにおいては、後述する操作入力部３３０に設けられているシャッターキー操作をトリガとして、制御回路３１２は、撮像部３０９、ドライバ３１１、ユニット回路３１３、及び映像信号処理部３１５に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られた画像データは、画像符号器／復号器３２０で圧縮及び符号化され、最終的には所定のフォーマットの静止画ファイルとして、入力インターフェース３２２を介して外部メモリ（図示せず）に記録される。

また、動画撮影モードにおいては、１回目のシャッターキーと２回目のシャッターキー操作との間に、画像メモリ３１６に順次記憶される複数の画像データが画像符号器／復号器３２０で順次圧縮され、符号化画像メモリ３２１に順次記憶された後、動画ファイルとして外部メモリに記録される。この外部メモリに記録された静止画ファイル及び動画ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて画像伸張／復号化部３１８に読み出されるとともに伸張及び復号化され、表示部３１９に表示される。

また、このデジタルカメラ３００は、各被写体（被写体Ａ，Ｂ、Ｃ・・・）までの距離に応じた測距信号を発生する測距センサ３２６を備えており、この測距センサ３２６からの出力信号は、前記映像信号処理部３１５からの映像信号とともに、測距部／合焦検出部３２７に入力される。測距部／合焦検出部３２７はこれら入力信号に基づき、各被写体（被写体Ａ，Ｂ・・・）までの距離を検出するものであって、この検出された距離は、被写体Ａ，Ｂ・・・の被写体距離ＬＡ、ＬＢとして距離メモリ３２８に記憶される。

また、制御回路３１２には、座標入力部及び座標入力部（共に図示せず）が入力回路３３１を介して接続されている。座標入力部は、前記表示部３１９に積層されているタッチパネル（図示せず）からのタッチ信号に基づく座標値を、入力回路３３１を介して制御回路３１２に出力する。操作入力部には、モード選択キー、シャッターキー、ズームキー等の複数の操作キー及びスイッチが設けられている。

また、このデジタルカメラ３００は、前記動画撮影モード、音声のみを記録する録音モード、音声付き（静止画）撮影モードにおいて、周囲音を記録する録音機能を備えており、このため周囲音を検出するマイクロホンを有し、このマイクロホンは前記マイクロホンアレー部１０３に配置された主マイク３０１と参照マイク３０２とで構成されている。主マイク３０１からの音声信号は、対応する各アンプ３３３・・・で増幅され、Ｓ＆Ｈ、Ａ／Ｄ変換回路３３４でサンプルホールド及びデジタル変換され、雑音抽出部３５０と雑音減算部３６０とに入力される。また、参照マイク３０２からの音声信号は、対応する各アンプ３３３・・・で増幅され、Ｓ＆Ｈ、Ａ／Ｄ変換回路３３４でサンプルホールド及びデジタル変換され、雑音抽出部３５０のみに入力される。

雑音抽出部３５０は、雑音抽出部３５０は、両マイク３０１、３０２に対応して設けられたｎ個の遅延器Ｄ１、Ｄ２、これら遅延器Ｄ１、Ｄ２からの信号を加算する加算器３５１、この加算器３５１から出力される特定方向を強調した音声データを一時的に記憶する音声メモリ３５２、この音声メモリ３５２に記憶された音声データをフーリエ変換するフーリエ変換部３５３、このフーリエ変換部３５３で変換されたデータを前記雑音減算部３６０に送出する収録音のスペクトル部３５４を有している。各遅延器Ｄ１、Ｄ２は、音声フォーカス設定メモリ３５５に記憶されるフォーカス方向座標θおよびフォーカス音源距離Ｌｆ基づき遅延制御又はアレー制御を実行する遅延制御／アレー制御回路３５６により制御される。

一方、雑音減算部３６０は、収録音のスペクトル部３５４からの信号が入力される雑音スペクトルの推定部３６１、前記主マイク３０１側の信号が順次入力される窓関数部３６２、フーリエ変換部３６３、位相部３６４、逆フーリエ変換部３６５を有するとともに、前記フーリエ変換部３６３の出力信号から前記雑音スペクトルの推定部３６１の出力信号を減算して逆フーリエ変換部３６５に出力する減算回路３６６を有している。

この逆フーリエ変換部３６５からの音声データは、音声メモリ３３８に格納され、この音声メモリ３３８に格納された音声データは、音声符号器／復号器３３９で順次圧縮される。制御回路３１２は、この圧縮音声データと前記圧縮動画データとを含む音声付き動画ファイルを生成して外部メモリに記録する。

以上の構成に係る本実施の形態において、制御回路３１２は前記プログラムに基づき、図１８に示すフローチャートに示すように処理を実行する。すなわち、録音または動画撮影モードが設定されたか否かを判断し（図１８ステップＳ３０１）、録音または動画撮影モード以外の他のモードが設定された場合には、設定された当該その他のモード処理を実行する（ステップＳ３０２）。また、録音または動画撮影モードが設定されたならば、測光処理、ＷＢ処理を実行するとともに（ステップＳ３０３）、ズーム処理を行ってズーム駆動部３０６を制御する（ステップＳ３０４）。また、測距センサ３２６を制御する測距処理を実行するとともに、フォーカス駆動部３０５を制御するＡＦ処理を実行して被写体を合焦させる（ステップＳ３０５）。次に、このＡＦ処理により合焦した被写体Ａ、またはＢ、Ｃの距離情報を測距部／合焦検出部３２７により検出させて、フォーカス距離メモリ３２８に記憶させる（ステップＳ３０６）。

さらに、被写体像スルー画像を、照準、距離情報等とともに、ファインダーに表示させる（ステップＳ３０７）。すなわち、このステップＳ３０７での処理により、図５に示すように、被写体Ａ，Ｂ、Ｃ等からなる被写体像スルー画像１５６を表示部３１９に表示させるとともに、撮影／録音モード表示１５１、撮影／録音できる残り時間１５２、カメラの映像フォーカス照準１５３、音声強調／音声フォーカス音源照準１５４、音声強調設定マーク１５５等を表示する。

なお、映像フォーカス照準３５３は、図示した表示部３１９の中央のみならず、操作入力部での操作により表示部３１９の任意の位置に移動させることが可能である。したがって、図６（５）に示すように、映像フォーカス照準３５３を被写体Ｂ上に移動させることも可能であり、この場合前記ステップＳ３０６では、被写体Ｂまでの距離情報が検出されて記憶されることとなる。

次に、録音動作中であるか否かを判断し（ステップＳ３０８）、録音動作中でない場合には後述するステップＳ３１７に進む。また、録音動作中であるならば、主マイク３０１からの音声を入力し（ステップＳ３０９）、この入力音声をＡ／Ｄ変換する（ステップＳ３１０）。さらに、後述する特定方向音声の強調処理を設定済みであるか否かを判断する（ステップＳ３１１）。設定済みでない場合には、ステップＳ３１３〜Ｓ３１５の処理を実行することなく、通常の音声抑圧処理を実行する（ステップＳ３１２）。また、設定済みである場合には、窓関数部３６２からのデジタル音声をフーリエ変換部３６３でのＦＦＴ演算で周波数領域に変換し、振幅スペクトル｜Ｘ（ω）｜と位相情報ωを、スペクトルの推定部３６１、逆フーリエ変換部３６５および減算回路３６６に出力させる（ステップＳ３１３）。さらに、減算回路３６６にて、振幅スペクトル｜Ｘ（ω）｜から、スペクトルの推定部３６１よりの音声スペクトル｜Ｗ（ω）｜をスペクトル減算して、
｜Ｓ（ω）｜＝｜Ｘ（ω）｜−｜Ｗ（ω）｜
を逆フーリエ変換部３６５に出力させる（ステップＳ３１４）。

また、逆フーリエ変換部３６５にて、スペクトル減算出力に位相情報ωを付加し、逆ＦＦＴ演算で時間領域信号ｓ（ｎ）に変換して音声メモリ３３８に出力出力させる（ステップＳ３１５）。引き続き、逆フーリエ変換部３６５から出力された音声信号を音声符号器／復号器３３９で圧縮符号化処理させて、符号化音声メモリ３４０に記録し（ステップＳ３１６）、リターンする。

他方ステップＳ３０８での判断の結果、録音動作中でない場合には、抑圧する雑音スペクトルの設定がなされたか否かを判断し（ステップＳ３１７）、設定がなされない場合にはその他の処理を実行する（ステップＳ３１８）。このとき、ユーザが図１２に示すように、操作入力部での操作により、映像フォーカス照準１５３を抑圧する雑音スペクトルさせたい被写体Ｃ上に移動させ、この被写体Ｃ上の映像フォーカス照準１５３をユーザが指Ｆでタッチした後、操作入力部にて抑圧する雑音スペクトル設定ボタンを押下すると、抑圧する雑音スペクトルの設定がなされ、被写体Ｃ上に音声抑圧する音源照準２５１が表示されるとともに、音声抑圧の設定されたことを示す雑音抑圧設定マーク２５２が表示される。

したがって、図１８のフローチャートにおいては、抑圧する雑音スペクトルの設定がなされたことにより、ステップＳ３１７の判断がＹＥＳとなってステップＳ３１９に進み、音声抑圧したい方向の被写体Ｃの距離情報Ｌ_Ｃを入力または検出して、雑音抽出する音源距離Ｌ_Ｎとして設定する（ステップＳ３１９）。また、操作入力された被写体Ｃの入力座標を雑音抽出する音源の位置座標（ｘ，ｙ）としてメモリする（ステップＳ３２０）。さらに、前記実施の形態と同様に、この位置座標（ｘ，ｙ）をレンズ焦点距離（ｆ）、画像サイズ（Ｘ′，Ｙ′）に基づいて、強調音源方向の角度θｆまたは方向座標（θｘ，θｙ）に変換する（ステップＳ３２１）。

次に、前記ステップＳ３１９で設定した音源距離Ｌ_Ｎが所定値以上であるか否かを判断する（ステップＳ３２２）。このステップＳ３２２での判断の結果、音源距離Ｌ_Ｎが所定値未満であって近距離である場合には、フォーカスする音源距離Ｌ_Ｎに基づいて、雑音抽出部３５０の各遅延器Ｄ（ｋ）の各遅延時間ｔ_Ｄ（ｋ）を設定する（ステップＳ３２３）。また、ステップＳ３２５での判断の結果、音源距離Ｌ_Ｎが所定値以上であって遠距離である場合には、雑音抽出する音源方向の角度θ_Ｎに基づいて、雑音抽出部３５０の各遅延器Ｄ（ｋ）の各遅延時間ｔ_Ｄ（ｋ）を設定する（ステップＳ３２４）。

しかる後に、マイクロホンアレー（両マイク３０１、３０２）から、フォーカスした方向／距離の音声が強調された音声を所定時間入力させ（ステップＳ３２５）、収録した音声を音声メモリ３５２に一時記憶させる（ステップＳ３２６）。また、デジタル音声信号をフーリエ変換部３５３のＦＦＴ演算で周波数領域に変換し、振幅スペクトル｜Ｘ（ω）｜を出力させる（ステップＳ３２７）。この収録音声の振幅スペクトル｜Ｘ（ω）｜を抑圧すべき雑音スペクトル｜Ｗ（ω）｜として、収録音のスペクトル部３５４から雑音減算部３６０に出力し、該雑音減算部３６０の減算回路３６６に設定し（ステップＳ３２８）、リターンする。

したがって、このようにして抑圧する雑音スペクトルの設定がなされると、前述したステップＳ３１１の判断がＹＥＳとなることから、前述したステップＳ３１３〜Ｓ３１５の処理が実行されることとなる。

図１９は、前記第３の実施の形態において用いた、スペクトルサブトラクション法（スペクトル減算法）（以下、ＳＳ法という。）における雑音抑圧回路の構成例を示す図である。すなわち、マイク４０１からの音声信号は、アンプ４０２で増幅され、Ａ／Ｄ変換部４０３デジタル変換され、窓関数部４０４を介してフーリエ変換部４０５に供給される。このフーリエ変換部３５３で変換された振幅スペクトル｜Ｘ（ω）｜は、雑音スペクトル減算部４０６の雑音推定、または、雑音スペクトル設定部４０７、および減算器４０８に与えられ、また、位相情報ωｘ（位相スペクトル）４０９は、逆フーリエ変換部４１０に与えられる。また、この逆フーリエ変換部４１０には、前記減算器４０８からの出力があたえられ、の逆フーリエ変換部４１０の出力である音声信号は、音声メモリ４１１に一時記憶された後、Ｄ／Ａ変換器４１２でアナログ変換され、アンプ４１３で増幅されて、スピーカー４１４で再生されるように構成されている。

このようにＳＳ法では、音声信号ｓ（ｎ）と雑音信号ｗ（ｎ）とを含む入力音声信号の信号ｘ（ｎ）＝ｓ（ｎ）＋ｗ（ｎ）を、所定サンプリング毎にフレーム分割し、ハニング窓や台形窓などの窓関数で窓掛け（Ｗｉｎｄｏｗｉｎｇ）処理した後、フーリエ変換（ＦＦＴ）により時間領域から周波数領域に変換する。入力信号の振幅パワースペクトル│Ｘ（ω）│から推定雑音のパワースペクトル│Ｘ＾（ω）│を減算して（│Ｓ＾（ω）│＝│Ｘ（ω）│−│Ｘ＾（ω）│）、それに入力信号のω_ｘを加え、得られたＳ＾（ω）＝│Ｓ＾（ω）│ｅｘｐ（ｊω_ｘ）を逆フーリエ変換（ｉｎｖｅｒｓｅ ＥＥＴ）により時間領域に変換すれば、動作音などの雑音が除去された強調音声信号ｓ＾（ｎ）が得られる。

ＳＳ法による雑音除去を伝達関数Ｈ（ω）のフィルタと考えると、伝達関数Ｈ（ω）は、
Ｈ（ω）＝Ｓ＾（ω）／Ｘ（ω）｛│Ｘ＾（ω）│−│Ｘ＾（ω）│｝ｅｘｐ（ｊω_ｘ）Ｘ（ω）、
Ｈ（ω）＝１−｛│Ｘ＾（ω）│／│Ｘ（ω）│｝、となる。

ＳＳ法では、人間の聴覚にあまり重要でない位相情報には処理を加えず、振幅情報主体での処理を行うので処理が簡単である。また、１つのマイクロホンのみで雑音抑制でき、雑音原数などは事前に知る必要はないが、最低でも１フレーム分の処理遅延が生ずる。また、雑音パワーベクトルの事前情報が必要である。携帯電話などでは、周波数領域に変換した信号の、サブバンド帯域別のＳＮ比（ＳＮＲ）を算出して、非適応な雑音推定を行い、またスペクトル減算（差分）とスペクトル利得による抑圧（乗算）とを組み合わせる方法や、入力信号のパワーベクトルに、ＳＮＲ推定値に逆比例するように重み付けを行って、適応的に雑音推定を行い、雑音の抑圧をスペクトル利得の調整（乗算）のみで行う方法など、複雑な雑音推定方法が検討されているが、機器内モーター動作音の除去には、事前に動作音の雑音スペクトルデータ│Ｗ＾（ω）│等を解析して設定できるので、構成も簡便になり利用し易い利点がある。

なお、例えば、適応フィルタ方式のノイズキャンセラーでは、参照マイクの入力音声に適応フィルタ処理を施した信号を、主マイクの入力信号から減算するが、主マイクの他に雑音を検出するための参照用マイクを必要とする。実施の形態のようにマイクロホンアレー部１０３を設けた録音入力部の場合には、その一部を雑音参照用のマイクとして利用することもできる。

適応フィルタ方式の動作は、希望音声信号ｓ（ｎ）と経路ｈ_ｋ(ｍ)を経由して雑音源ｗｓ（ｎ）から到達する雑音ｗ（ｎ）の和である、ｓ（ｎ）＋ｗ（ｎ）が主マイクに入力される。雑音信号Ｗ（ｎ）は、雑音経路のインパルス応答｛ｈ_ｋ(ｍ)｝（ｍ＝１，２・・・Ｐ−１）を用いて次式で表される。
ｗ（ｎ）＝Σ_ｍｈ_ｋ（ｍ）ｗ_ｓ（ｎ−ｍ），

また、適応フィルタの出力ｙ（ｎ）は、適応フィルタのインパルス応答を｛ｈ_ｆ(ｍ)｝（ｍ＝１，２・・・Ｐ−１）とすると次式で表される。
ｙ（ｎ）＝Σ_ｍｈ_ｆ（ｍ）ｗ_ｓ（ｎ−ｍ），
このときノイズキャンセラーの出力ｓ＾（ｎ）は、
ｓ＾（ｎ）＝ｓ（ｎ）＋ｗ（ｎ）−ｙ（ｎ）＝ｓ（ｎ）＋Σ_ｍ｛ｈ_ｋ（ｍ）−ｈ_ｆ（ｍ）｝ｗ_ｓ（ｎ−ｍ）
したがって、ｈ_ｆ（ｍ）＝ｈ_ｋ（ｍ）とできれば、ｓ＾（ｎ）＝ｓ（ｎ）となり、雑音信号を除去して、音声信号のみを取り出せることとなる。
通常、未知の雑音経路ｈ_ｋ（ｍ）を求めるためには、適応フィルタ係数ｈ_ｆ（ｍ）は、推定誤差ｓ＾（ｎ）の２乗値を統計的に最小にするように更新されるが、ｈ_ｆ（ｋ）の最適値を得るには、Ｐ元の連立方程式を解く必要があり、信号の統計量が必要となる。このため適応フィルタでは、統計学を学習し、逐次最適解を探すためにＬＳＭ（最小二乗平均）法やＮＬＭＳ（正規化最小二乗平均）法などの適応アルゴリズムが必要となる。

しかし、前述した実施の形態のように、ユーザが音声フォーカスして収録した雑音音声データなどから、雑音の統計量を取得できる場合には、ｈ_ｆ（ｋ）の最適値の初期値を求めておき、設定することができる。このようなノイズキャンセラーでは、雑音源から主マイクへの経路が未知であっても、雑音経路のインパルス応答が適応フィルタにより良好に推定できれば雑音除去を行うことができ、雑音特性が変動しても追従できる。

（その他の実施の形態）

なお、前記実施の形態においては、複数の横配列マイクと縦配列マイクとでマイクロホンアレー部１０３を構成するようにしたが、図２０に示すような配置形態としてもよい。 （ａ）デジタルカメラ５００は、カメラ本体５０１と可動式カメラ部５０２とで構成されている。カメラ本体５０１には、ＬＣＤファインダー５０３が配置され、可動式カメラ部４０２には撮像レンズ５０４およびストロボ５０５が設けられ、ストロボ５０５の下部に水平方向に配置された複数のマイクで構成されたマイクロホン部５０６が設けられた構成である。

（ｂ）デジタルカメラ６００は、カメラ本体６０１の前面に撮像レンズ６０２が配置され、前面上部両側に水平方向に配置された複数のマイクで構成された左マイクロホン部６０３Ｌと、右マイクロホン部６０３Ｒとが設けられた構成である。

（ｃ）デジタルカメラ７００は、カメラ本体７０１の前面に撮像レンズ７０２が配置され、撮像レンズ１０２の周部にこれを囲繞するように配置された複数のマイクで構成されたマイクロホン部７０３が設けられた構成である。
以上のように、マイクロホン部のマイク配置形態は、直線的であっても曲線的であってもよい。

本発明の第１〜第３実施の形態に共通するデジタルカメラの外観図である。 本発明の第１の実施の形態におけるデジタルカメラの電気的構成を示すブロック図である。 同実施の形態における処理手順を示すフローチャートである。 同実施の形態における図３のフローチャートに続く処理手順を示すフローチャートである。 同実施の形態における表示画面例を示す図である。 ズーム動作に応じた焦点距離と画角座標の変化遷移図である。 レンズ焦点距離（ｆ）の変化に伴って変化するときの強調音源方向の角度θｆまたは方向座標（θｘ，θｙ）の換算例を示す図である。 第１の実施の形態におけるマクロホンアレーによる音声強調処理の変形例を示す図である。 第１の実施の形態におけるマクロホンアレーによる音声強調処理の変形例を示す図である。 第１の実施の形態におけるマクロホンアレーによる音声強調処理の変形例を示す図である。 本発明の第２の実施の形態におけるデジタルカメラの電気的構成を示すブロック図である。 同実施の形態における表示画面例を示す図である。 同実施の形態における図３のフローチャートに続く処理手順を示すフローチャートである。 第２実施の形態におけるマクロホンアレーによる音声強調処理の変形例を示す図である。 第２実施の形態におけるマクロホンアレーによる音声強調処理の変形例を示す図である。 第２実施の形態におけるマクロホンアレーによる音声強調処理の変形例を示す図である。 本発明の第３の実施の形態におけるデジタルカメラの電気的構成を示すブロック図である。 同実施の形態における図３のフローチャートに続く処理手順を示すフローチャートである。 同形態において用いた、スペクトルサブトラクション法における雑音抑圧回路の構成例を示す図である。 本発明の他の実施の形態を示すカメラ外観図である。

符号の説明

１００ デジタルカメラ
１０２ 撮像レンズ
１０３ マイクロホンアレー部
１０５ フォーカス駆動部
１０６ ズーム駆動部
１０８ シャッタ
１０９ 撮像部
１１１ ドライバ
１１２ 撮影録音制御回路
１１３ ユニット回路
１１４ Ａ／Ｄ変換器
１１５ 映像信号処理部
１１７ 表示制御部
１１８ 画像伸張／復号化部
１１９ 表示部
１２０ 画像符号器／復号器
１２１ 符号化画像メモリ
１２２ 入力インターフェース
１２３ 外部メモリ
１２４ プログラムメモリ
１２５ データメモリ
１２５ 表示メモリ
１２６ 測距センサ
１２７ 測距部／合焦検出部
１２８ 距離メモリ
１２９ 座標入力部
１３０ 操作入力部
１３１ 入力回路
１３２ タッチパネル
１３５ 音声強調部
１３６ 加算器
１３７ 雑音抑圧回路
１３８ 音声メモリ
１３９ 音声符号器／復号器
１４０ 符号化音声メモリ
１４４ 音声強調設定メモリ
１４５ 遅延制御／アレー制御回路
１５３ 映像フォーカス照準
１５４ 音声強調／音声フォーカス音源照準
１５５ 音声強調設定マーク
１５６ 被写体像スルー画像
２３５ 音声強調／抑圧部
２３６ 加減算回路
２４４ 音声強調／抑圧設定メモリ
２４５ 加減算／利得制御回路
２５１ 音源照準
２５２ 雑音抑圧設定マーク
３００ デジタルカメラ
３０１ 主マイク
３０２ 参照マイク
３０２ 撮像レンズ
３１２ 撮影録音制御回路
３１９ 表示部
３５３ フーリエ変換部
３５４ スペクトル部
３５５ 音声フォーカス設定メモリ

Claims (16)

1. 動画を撮影する撮影手段と、
   この撮影手段による撮影時に周囲音を検出する検出手段と、
   この検出手段により検出される周囲音に含まれる任意の音声を選択する選択手段と、
   前記検出手段により検出された周囲音を制御し、前記選択手段により選択された音声を強調処理または抑圧処理する音声制御手段と、
   前記撮影手段により撮影される動画と、前記音声制御手段により前記音声を強調処理または抑圧処理された周囲音とを記録する記録手段と
   を備えることを特徴とするカメラ装置。
2. 前記検出手段は、複数のマイクロホンを有するマイクロホンアレーであることを特徴とする請求項１記載のカメラ装置。
3. 前記選択手段は、前記撮影手段により撮影される画像における任意の被写体を指定する指定手段を含み、
   前記音声制御手段は、前記指定手段により指定された前記被写体からの音声を強調処理または抑圧処理することを特徴とする請求項１または２記載のカメラ装置。
4. 前記撮影手段により撮影される被写体像を表示する表示画面手段を更に備え、
   前記指定手段は、前記表示画面手段に表示された被写体像中における任意の被写体を操作に基づき指定することを特徴とする請求項３記載のカメラ装置。
5. 前記音声制御手段は、前記表示画面手段に表示された被写体像中における任意の被写体に対する操作に基づき得られる位置座標に基づき、前記指定された被写体の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理することを特徴とする請求項４記載のカメラ装置。
6. 前記音声制御手段は、前記位置座標と、前記撮影手段の焦点距離および前記動画の画像サイズとに基づき、前記指定された被写体の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理することを特徴とする請求項５記載のカメラ装置。
7. 前記音声制御手段は、前記指定手段により指定された被写体までの距離が所定以上である場合に、前記位置座標、または前記位置座標と前記焦点距離および前記画像サイズに基づき前記指定された被写体の方向を算出することを特徴とする請求項５または６記載の記載のカメラ装置。
8. 前記音声制御手段は、前記指定手段により指定された被写体までの距離が所定未満である場合には、測距動作に伴って得られる距離情報に基づき、前記算出された方向から入力された音声を強調処理または抑圧処理することを特徴とする請求項５から７にいずれか記載の記載のカメラ装置。
9. 前記選択手段により選択された音声に対して強調処理と抑圧処理のうちどちらを実行させるかを選択する処理選択手段を備え、
   前記音声制御手段は、前記検出手段により検出された周囲音を制御し、前記選択手段により選択された音声に対して、前記処理選択手段により選択された処理を実行することを特徴とする請求項１から８にいずれか記載のカメラ装置。
10. 前記音声制御手段は、
    前記選択手段により選択された第１の音声を強調処理するとともに、前記選択手段により選択された第２の音声を抑圧処理する手段を含むことを特徴とする請求項１から９にいずれか記載のカメラ装置。
11. 前記音声制御手段は、前記音声を強調処理する方向と前記音声を抑圧処理する方向とを独立して設定する設定手段を含むことを特徴とする請求項１０記載のカメラ装置。
12. 前記検出手段は、複数のマイクロホンが前後方向に配置されたマイクロホンアレーであることを特徴とする記載のカメラ装置。
13. 前記音声制御手段は、前記複数のマイクロホン配置された方向と同一方向における異なる音源からの音声の一方を強調処理し、他方を抑圧処理することを特徴とする請求項１２記載のカメラ装置。
14. 動画を撮影する撮影手段と、
    周囲音を検出する検出手段と、
    この検出手段により検出される周囲音に含まれる任意の音声を選択する選択手段と、
    前記検出手段により検出された周囲音を制御し、前記選択手段により選択された音声を取得する取得手段と、
    この取得手段により取得された前記音声を記憶する記憶手段と、
    この記憶手段に記憶されている音声を、前記撮影手段の動作中において前記検出手段により検出される周囲音から減算処理する音声制御手段と、
    前記撮影手段により撮影される動画と、前記音声制御手段により前記音声を減算処理された周囲音とを記録する記録手段と
    を備えることを特徴とするカメラ装置。
15. 動画を撮影する撮影手段と、この撮影手段による撮影時に周囲音を検出する検出手段とを備えるカメラ装置が有するコンピュータを、
    前記検出手段により検出される周囲音に含まれる任意の音声を選択する選択手段と、
    前記検出手段により検出された周囲音を制御し、前記選択手段により選択された音声を強調処理または抑圧処理する音声制御手段と、
    前記撮影手段により撮影される動画と、前記音声制御手段により前記音声を強調処理または抑圧処理された周囲音とを記録手段に記録する記録制御手段と
    して機能させることを特徴とするカメラ制御プログラム。
16. 動画を撮影する撮影手段と、この撮影手段による撮影時に周囲音を検出する検出手段とを備えるカメラ装置の記録音声制御方法であって、
    前記検出手段により検出される周囲音に含まれる任意の音声を選択する選択工程と、
    前記検出手段により検出された周囲音を制御し、前記選択工程により選択された音声を強調処理または抑圧処理する音声制御工程と、
    前記撮影手段により撮影される動画と、前記音声制御工程により前記音声を強調処理または抑圧処理された周囲音とを記録手段に記録する記録制御工程と
    を含むことを特徴とする記録音声制御方法。
    

Images