JP2006261900A - 撮像装置、撮像制御プログラム - Google Patents

Abstract

【課題】被写体画像中における不可視情報を明瞭に表示する。
【解決手段】走査音源方向（θｘ，θｙ）にフォーカスする為の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｊ，ｋ）を設定し（ステップＳ１１１）、θｘ、θｙ方向に指向した音声を所定時間づつ入力音声メモリＭｓ（入力音声メモリ１３７）にθｘ、θｙ、ｔとして記録する（ステップＳ１１２）。入力音声メモリＭｓ（θｘ，θｙ）に記憶された抽出音声から特徴データＣｓ（θｘ，θｙ）を算出し（ステップＳ１１７）、この特徴データＣｓ（θｘ，θｙ）をθｘ，θｙ座標上にプロットして二次元画像を描画する（ステップＳ１１８）。さらに、特徴抽出データ画像を半透明化し（ステップＳ１１９）、半透明化した特徴抽出データ画像をスルー画像に重ねてファインダー表示部に表示する（ステップＳ１２０）。
【選択図】 図３

Description

本発明は、被写体像とともに不可視情報をも表示させる撮像装置、撮像制御プログラムに関する。

従来、被写体の温度表示機能を備えたカメラ装置が提案されるに至っている。このカメラ装置は、被写体からの光を導入して結像させる光学ファインダーと、この光学ファインダーの下部に配置された温度表示部、これら光学ファインダーと温度表示部とを同一視野で撮像するテレビカメラ、及び赤外線検出器とで構成されている。そして、この赤外線検出器により検出された信号に基づき、温度表示部に被写体の温度をデジタル表示し、この温度が表示された温度表示部と被写体が結像した光学ファインダーとをテレビカメラで撮像することにより、テレビモニターに結像した被写体と該被写体の温度とを表示させるものである（例えば、特許文献１参照）。
特許第２７４７４２６号公報

しかしながら、係る従来のカメラ装置においては、被写体が結像された光学ファインダーとその下部に表示される温度表示とをテレビカメラで撮像して、モニターに表示することから、モニターには被写体と当該被写体の温度とが異なる部位に表示される。このため被写体が複雑に混在していると、表示されている温度がいずれの被写体の温度であるかが不明確となる。また、被写体中に異なる温度の部分が混在する場合にも、表示されている温度が被写体のいずれの部分の温度であるかが不明確となってしまう。

また、例えば特定の音声を発生している所望の被写体を撮影しようとする場合、当該被写体が複数の被写体中に存在していると、ファインダーを視認してもいずれの被写体が特定の音声を発生している所望の被写体であるかを容易に識別することができない場合が生ずる。

本発明は、かかる従来の課題に鑑みてなされたものであり、被写体画像中における不可視情報を明瞭に表示することのできる撮像装置、撮像制御プログラムを提供することを目的とする。また、本発明は、特定の音声を発生している所望の被写体を容易かつ迅速に撮影することのできる撮像装置、撮像制御プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、表示手段と、撮像手段と、この撮像手段により撮像される画像を前記表示手段に表示させる第１の表示制御手段と、前記撮像手段の撮像範囲内における不可視情報を検出する不可視情報検出手段と、この不可視情報検出手段により検出される前記不可視情報の前記撮像範囲内における位置を検出する位置検出手段と、前記不可視情報検出手段により検出された不可視情報を表す可視情報を生成し、この可視情報を前記位置検出手段により検出された前記不可視情報の前記撮像範囲内における位置に対応させて、前記表示手段に表示させる第２の表示制御手段とを備える。

したがって、表示手段には、撮像手段の撮像範囲内における不可視情報が可視情報とされて表示されるのみならず、この可視情報が不可視情報の前記撮像範囲内における位置に対応させて表示される。よって、ユーザは、撮像範囲内における位置に対応させて表示される可視情報を視認することにより、被写体画像中における不可視情報の存在を被写体画像との関係において明確に視認することが可能となる。

また、請求項２記載の発明に係る撮像装置にあっては、前記第２の表示制御手段は、前記可視情報を前記第１の表示制御手段により前記表示手段に表示される画像の、前記位置検出手段により検出された位置に重ねて、前記表示手段に表示させる。したがって、表示手段には、撮像手段の撮像範囲内における不可視情報が可視情報とされて表示されるのみならず、この可視情報が撮像手段により撮像される画像に重畳されて表示される。よって、ユーザは、この撮像された画像に重畳されて表示された可視情報を視認することにより、被写体画像中における不可視情報の存在を被写体画像との関係において明確に視認することが可能となる。

また、請求項３記載の発明に係る撮像装置にあっては、前記不可視情報検出手段は、前記撮像手段の撮像時に周囲音を検出する周囲音検出手段であり、前記不可視情報は、前記周囲音検出手段により検出される前記周囲音である。したがって、表示手段には、撮像手段の撮像範囲内における周囲音が可視情報とされて表示されるのみならず、この可視情報が不可視情報の前記撮像範囲内における位置に対応させて、あるいは撮像手段により撮像される画像に重畳されて表示される。よって、ユーザは、この撮像された画像に重畳されて表示された可視情報を視認することにより、被写体画像中における周囲音の存在を被写体画像との関係において明確に視認することが可能となる。

また、請求項４記載の発明に係る撮像装置にあっては、前記周囲音検出手段により検出された音声を記録する記録手段を備える。したがって、ユーザは、この撮像された画像に重畳されて表示された可視情報を視認することにより、被写体画像中における周囲音の存在を被写体画像との関係において明確に視認しつつ、録音を行うことができる。

また、請求項５記載の発明に係る撮像装置にあっては、前記第２の表示制御手段により前記表示手段に表示された前記周囲音を示す可視情報の任意の部分を指定することにより、前記周囲音検出手段により検出される周囲音に含まれる任意の音声を選択する選択手段と、前記周囲音検出手段により検出された周囲音を制御し、前記選択手段により選択された音声を強調処理または抑圧処理する音声制御手段と、この音声制御手段により前記音声を強調処理または抑圧処理された周囲音を記録する記録手段とを備える。したがって、周囲音を示す可視情報の任意の部分を指定することにより、当該部分からの音声を強調または抑圧した録音が可能となる。

また、請求項６記載の発明に係る撮像装置にあっては、前記記録手段は、前記周囲音を前記撮像手段により撮像された画像とともに記録する。したがって、特定部分からの音声を強調または抑圧した録音を伴う画像記録が可能となる。

また、請求項７記載の発明に係る撮像装置にあっては、前記音声制御手段は、前記第２の表示制御手段により前記表示手段に表示された前記周囲音を示す可視情報中における任意の部分に対する操作に基づき得られる位置座標に基づき、前記指定された周囲音の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理する。

また、請求項８記載の発明に係る撮像装置にあっては、前記音声制御手段は、前記位置座標と、前記撮像手段の焦点距離及び又は前記画像のサイズとに基づき、前記指定された周囲音の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理する。

また、請求項９記載の発明に係る撮像装置にあっては、撮像手段と、音声の特徴データを記憶した特徴データ記憶手段と、周囲音を検出する周囲音検出手段と、前記特徴データ記憶手段に記憶された音声の特徴データと、前記周囲音検出手段により検出された周囲音中の音声データとを比較する比較手段と、この比較手段による比較に基づき、前記撮像手段の撮像範囲内において、前記特徴データに近似する周囲音を発生している被写体を検出する被写体検出手段とを備える。したがって、例えば特定の音声を発生している所望の被写体を撮影しようとする場合、当該特定の音声の特徴データが記憶されていれば、当該被写体が複数の被写体中に存在している場合であっても、いずれの被写体が特定の音声を発生している所望の被写体であるかを容易に識別することができ、所望の被写体を容易かつ迅速に撮影することが可能となる。

また、請求項１０記載の発明に係る撮像装置にあっては、前記被写体検出手段により検出された被写体に、前記撮像手段を合焦させる合焦制御手段を更に備える。したがって、例えば特定の野鳥の音声の特徴データが記憶されていれば、当該野鳥に近似した音声データからなる音声を発生している被写体に合焦させて撮影を行うことが可能となる。

また、請求項１１記載の発明に係る撮像装置にあっては、前記被写体検出手段により検出された被写体を表示する表示手段を更に備える。したがって、表示手段を視認することにより、前記所望の被写体を確認しつつ撮影を行うことができる。

また、請求項１２記載の発明に係る撮像装置にあっては、前記周囲音検出手段により検出された周囲音を制御し、前記被写体検出手段により検出された被写体からの音声を強調処理または抑圧処理する音声制御手段と、この音声制御手段により前記音声を強調処理または抑圧処理された周囲音を記録する記録手段とを更に備える。したがって、前記所望の被写体の音声を強調または抑圧した周囲音声を記録することができる。

また、請求項１３記載の発明に係る撮像装置にあっては、前記記録手段は、前記周囲音を前記撮像手段により撮像された画像とともに記録する。したがって、前記所望の被写体の音声を強調または抑圧した周囲音声と当該所望の被写体とを記録することができる。

また、請求項１４記載の発明に係る撮像装置にあっては、複数の音声の特徴データのうち任意の特徴データを指定する指定手段を更に備え、前記記憶手段は、前記指定手段により指定された前記特徴データを記憶する。したがって、指定手段の指定により種々の音声の特徴データを有する被写体の音声や被写体自体を記録することができる。

また、請求項１５記載の発明に係る撮像装置にあっては、前記周囲音検出手段は、複数のマイクロホンを有するマイクロホンアレーである。

また、請求項１６記載の発明に係る撮像制御プログラムにあっては、表示手段と、撮像手段と、この撮像手段の撮像範囲内における不可視情報を検出する不可視情報検出手段とを備える撮像装置が有するコンピュータを、前記撮像手段により撮像される画像を前記表示手段に表示させる第１の表示制御手段と、前記不可視情報検出手段により検出される前記不可視情報の前記撮像範囲内における位置を検出する位置検出手段と、前記不可視情報検出手段により検出された不可視情報を表す可視情報を生成し、この可視情報を前記位置検出手段により検出された前記不可視情報の前記撮像範囲内における位置に対応させて、前記表示手段に表示させる第２の表示制御手段として機能させる。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項１記載の発明と同様の作用効果を奏する。

また、請求項１７記載の発明に係る撮像制御プログラムにあっては、撮像手段と、音声の特徴データを記憶した特徴データ記憶手段と、周囲音を検出する周囲音検出手段とを備える撮像装置が有するコンピュータを、前記特徴データ記憶手段に記憶された音声の特徴データと、前記周囲音検出手段により検出された周囲音中の音声データとを比較する比較手段と、この比較手段による比較に基づき、前記撮像手段が撮像する被写体において、前記特徴データに近似する周囲音を発生している被写体を検出する被写体検出手段として機能させる。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項９記載の発明と同様の作用効果を奏する。

以上のように請求項１及び請求項１６に係る発明によれば、表示手段に、撮像手段の撮像範囲内における不可視情報を可視情報として表示することができるのみならず、この可視情報が不可視情報の前記撮像範囲内における位置に対応させて表示することができる。よって、ユーザは、撮像範囲内における位置に対応させて表示される可視情報を視認することにより、被写体画像中における不可視情報の存在を被写体画像との関係において明確に視認することが可能となる。

また、請求項２記載の発明によれば、表示手段に、撮像手段の撮像範囲内における不可視情報を可視情報として表示することができるのみならず、この可視情報が撮像手段により撮像される画像に重畳して表示することができる。よって、ユーザは、この撮像された画像に重畳されて表示された可視情報を視認することにより、被写体画像中における不可視情報の存在を被写体画像との関係において明確に視認することが可能となる。

また、請求項３に係る発明によれば、表示手段に、撮像手段の撮像範囲内における周囲音を可視情報として表示することができるのみならず、この可視情報が不可視情報の前記撮像範囲内における位置に対応させて、あるいは撮像手段により撮像される画像に重畳させて表示することができる。よって、ユーザは、この撮像された画像に重畳されて表示された可視情報を視認することにより、被写体画像中における周囲音の存在を被写体画像との関係において明確に視認することが可能となる。

また、請求項９及び請求項１７に係る発明によれば、特定の音声を発生している所望の被写体を撮影しようとする場合、当該特定の音声の特徴データが記憶されていれば、当該被写体が複数の被写体中に存在している場合であっても、いずれの被写体が特定の音声を発生している所望の被写体であるかを容易に識別することができ、所望の被写体を容易かつ迅速に撮影することが可能となる。

（第１の実施の形態）
図１に示すように、本発明の各実施の形態に係るデジタルカメラ１００の本体１０１には、前面上部に撮像レンズ１０２が配置され、その下部にマイクロホンアレー部１０３が設けられている。このマイクロホンアレー部１０３には、横配列マイクと縦配列マイクとからなる複数のマイクロホン（後述するマイクＭ１〜マイクＭｎ）が等間隔で設けられている。また、一方の側面には、開閉自在なカバー体１０４が設けられており、このカバー体１０４の裏面側に後述するファインダー表示部１１９とタッチパネル１３２とが配置されている。

図２は、第１の実施の形態に係るデジタルカメラ１００の回路構成を示すブロック図である。このデジタルカメラ１００は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、前記撮像レンズ１０２は、ズームレンズ、フォーカスレンズで構成され、レンズ駆動部１０５により駆動される。この撮像レンズ１０２の光軸上には、及びＣＣＤ等で構成される撮像素子１０９が配置されており、この撮像素子１０９はドライバ１１１に接続されている。

このデジタルカメラ１００全体を制御する撮影録音制御部１１２（以下、単に制御部１１２という。）は、ＣＰＵ、ＲＯＭおよびワーク用のＲＡＭ等で構成されている。ＲＯＭには、制御部１１２に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、制御回路３１２を本発明を構成する手段として機能させるためのプログラム等の各種のプログラムが格納されている。この制御部１１２には、前記レンズ駆動部１０５とともにドライバ１１１が接続されており、ドライバ１１１は、制御部１１２が発生するタイミング信号に基づき、撮像素子１０９を駆動する。

また、前記撮像素子１０９の受光面には、撮像レンズ１０２によって被写体が結像される。撮像素子１０９は、ドライバ１１１によって駆動され、被写体の光学像に応じたアナログの撮像信号はＡ／Ｄ変換器１１４によりデジタルデータに変換され、画像信号処理部１１５へ出力される。

画像信号処理部１１５は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。画像信号処理部１１５で変換されたＹＵＶデータは順次画像メモリ１１６に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、被写体像スルー画像部１１３及び画像合成部１１７を介してファインダー／表示部１１９へ送られてスルー画像として画面表示される。

そして、静止画撮影モードにおいては、後述する操作入力部１３０に設けられているシャッターキー操作をトリガとして、制御部１１２は、撮像素子１０９、ドライバ１１１、及び画像信号処理部１１５に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ画像メモリ１１６に一時記憶された画像データは、画像圧縮符号器／伸張復号器１２０で圧縮及び符号化され、符号化画像メモリ１２１に一時記憶された後、最終的には所定のフォーマットの静止画ファイルとして、外部メモリ（図示せず）に記録される。

また、動画撮影モードにおいては、１回目のシャッターキーと２回目のシャッターキー操作との間に、画像メモリ１１６に順次記憶される複数の画像データが画像圧縮符号器／伸張復号器１２０で順次圧縮され、符号化画像メモリ１２１に順次記憶された後、動画ファイルとして外部メモリに記録される。この外部メモリに記録された静止画ファイル及び動画ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて画像圧縮符号器／伸張復号器１２０に読み出されるとともに伸張及び復号化され、ＹＵＶデータとして展開された後、表示部１１９に表示される。なお、駆動量／焦点距離部１２６は、撮像レンズ１０２におけるズームレンズ、フォーカスレンズの駆動量や焦点距離を検出して制御部１１２に入力する。

また、制御部１１２には、操作入力部１３０が入力回路１３１を介して接続されており、操作入力部１３０には、モード選択キー、シャッターキー、ズームキー等の複数の操作キー及びスイッチが設けられている。前記表示部１１９タッチパネル１３２が積層されており、このタッチパネル１３２からのタッチ信号に基づく座標値も、入力回路１３１を介して制御部１１２に入力される。

また、このデジタルカメラ１００は、前記動画撮影モード、音声のみを記録する録音モード、音声付き（静止画）撮影モードにおいて、周囲音を記録する録音機能を備えており、このため周囲音を検出するマイクロホンを有し、このマイクロホンは前記マイクロホンアレー部１０３に設けられた横配列マイクと縦配列マイクとからなるマイクＭ１からマイクＭｎまでのｎ本のマイクロホンで構成されている。各マイクＭ１〜Ｍｎからの音声信号は、対応する各アンプ１３３・・・で増幅され、Ａ／Ｄ変換回路１３４でサンプルホールド及びデジタル変換され、指向性ビーム生成部１３５に供給される。指向性ビーム生成部１３５は、マイクＭ１〜Ｍｎに対応して設けられたｎ個の遅延器Ｄ１〜ＤｎとアンプＡ１〜Ａｎ、これらアンプＡ１〜Ａｎからの信号を加算する加算器１３６で構成されている。前記遅延器Ｄ１〜Ｄｎ等で構成される指向性ビーム生成部１３５は、第１指向性制御部１４４（抽出方向の走査制御）及び第２指向性制御部１４５（音声強調／抑圧方向制御）により制御され、第２指向性制御部１４５には、制御部１１２から音声強調／抑圧する方向座標１４６が与えられる。

前記加算器１３６での加算結果により得られる音声データは、走査方向別の入力音声メモリ１３７と音声メモリ１３８に格納される。この音声メモリ１３８に格納された音声データは、音声圧縮符号器／伸張復号器１３９で順次圧縮され、符号化音声メモリ１４０に順次記憶される。制御部１１２は、この圧縮音声データと前記圧縮動画データとを含む音声付き動画ファイルを生成して外部メモリに記録する。

この外部メモリに記録された動画ファイルの音声データは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて、音声圧縮符号器／伸張復号器１３９に読み出されるとともに伸張及び復号化される。この伸張及び及び復号化された音声データは、符号化音声メモリ１４０に一時記憶された後、Ｄ／Ａ変換器１４１でアナログ信号に変換され、アンプ１４２を介してスピーカー１４３に供給されて音声として再生される。なお、音声記録を行うタイミングは、動画撮影時に限定されず、音声付き静止画撮影モードにおける録音動作時でもよく、また、録音モードやアフレコモードにおける録音動作時でもよい。

一方、前記メモリ１３７に格納された走査方向別の入力音声データは、特徴抽出部１５０で特徴抽出され、この抽出された特徴は特徴抽出データメモリ１５１に格納される。二次元画像生成部１５２は、この特徴に基づき二次元画像を生成し、半透明画像変換部１５３は、半透明化パターン生成部１５４とに基づき前記二次元画像生成部１５２からの二次元画像を半透明画像に変換し、前記画像合成部１１７に出力する。画像合成部１１７は、この半透明画像と前記被写体像スルー画像部１１３からの被写体スルー画像とを合成して、表示部１１９に出力し、これにより被写体像スルーに前記半透明画像が重ねて表示されるように構成されている。

以上の構成に係る本実施の形態において、制御部１１２は前記プログラムに基づき、図３及び図４に示す一連のフローチャートに示すように処理を実行する。すなわち、録音／動画撮影モードが設定されたか否かを判断し（図３ステップＳ１０１）、動画撮影モード以外の他のモードが設定された場合には、設定された当該その他のモード処理を実行する（ステップＳ１０２）。また、録音／動画撮影モードが設定されたならば、測光処理、ＷＢ処理を実行するとともに（ステップＳ１０３）、ズーム処理、ＡＦ処理を行って（ステップＳ１０４）、レンズ駆動部１０５により駆動されることにより変化したレンズ焦点距離（ｆ）、デジタルズーム倍率（Ｍ）等を算出する（ステップＳ１０５）。

さらに、被写体像スルー画像を、照準、距離情報等とともに、ファインダー表示部１１９に表示させる（ステップＳ１０６）。すなわち、図５の説明図における（ａ）に示すように、撮像素子１０９からの撮像信号をＡ／Ｄ変換器１１４によりデジタルデータに変換し、画像信号処理部１１５で信号処理することにより、ファインダー表示部１１９に被写体スルー画像１６０を表示させる。

次に、操作入力部１３０での操作により音声の走査（スキャン）が指示されたか否かを判断し（ステップＳ１０７）、指示されていない場合には後述する図４のステップＳ１２１に進む。また、音声の走査（スキャン）が指示された場合には、画像サイズ（Ｘ′Ｙ′）、焦点距離（ｆ）、デジタルズーム倍率（Ｍ）に応じて走査範囲（θｘｍｉｎ、θｘｍａｘ等）、走査間隔（Δθｘ等）を設定する（ステップＳ１０８）。引き続き、θｙ＝θｙｍｉｎとするとともに（ステップＳ１０９）、θｘ＝θｘｍｉｎとする（ステップＳ１１０）。そして、下記式を用いて走査音源方向（θｘ，θｙ）にフォーカスする為の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｊ，ｋ）を設定する（ステップＳ１１１）。
ｔＤｘ（ｊ）＝（ｍ−ｊ）・ｄｘ・ｓｉｎθｘ／ｃ、
ｔＤｙ（ｋ）＝（ｎ−ｋ）・ｄｙ・ｓｉｎθｙ／ｃ、
ｔＤ（ｊ，ｋ）＝√［｛ｔＤｘ（ｊ）｝^２＋｛ｔＤｙ（ｋ）｝^２］
（但し、ｋ：マイク番号１〜ｎ、ｄ：マイク間隔、ｃ：音速）

次に、θｘ、θｙ方向に指向した音声を所定時間づつ入力音声メモリＭｓ（入力音声メモリ１３７）にθｘ、θｙ、ｔとして記録する（ステップＳ１１２）。引き続き、θｘ＝θｘ＋Δθｘとし（ステップＳ１１３）、θｘ＞θｘｍａｘであるか否かを判断する（ステップＳ１１４）。この判断がＮＯである場合には、ステップＳ１１１からの処理を繰り返す。また、ＹＥＳであるならば、θｙ＝θｙ＋Δθｙとし（ステップＳ１１５）、θｙ＞θｙｍａｘであるか否かを判断する（ステップＳ１１６）。この判断がＮＯである場合には、ステップＳ１１０からの処理を繰り返す。また、ＹＥＳであるならば、入力音声メモリ１３７のＭｓ（θｘ，θｙ）に記憶された抽出音声から特徴データＣｓ（θｘ，θｙ）を算出し（ステップＳ１１７）、この特徴データＣｓ（θｘ，θｙ）をθｘ，θｙ座標上にプロットして二次元画像を描画する（ステップＳ１１８）。さらに、特徴抽出データ画像を半透明化し（ステップＳ１１９）、半透明化した特徴抽出データ画像をスルー画像に重ねてファインダー表示部１１９に表示する（ステップＳ１２０）。

すなわち、図５に示すように、マイクロホンアレー部１０３からの音声データを指向性制御部１４４、１４５の制御により遅延制御し、走査方向別に入力音声メモリ１３７に記憶し、指向性を走査して入力した音声から特徴データを抽出して、特徴抽出データメモリ１５１に格納し、この特徴抽出したデータから二次元画像１６１を生成する。この二次元画像は、同図（ｂ）に示すように、音圧レベルに応じて異なる色とする。そして、この（ｂ）に示した二次元画像を半透明化し、同図（ｃ）に示すこの半透明化した特徴抽出データ画像１６２を同図（ａ）の前記被写体スルー画像１６０に重ねて表示する。これにより、ファインダー表示部１１９には同図（ｄ）に示すように、被写体スルー画像１６０と半透明化した特徴抽出データ画像１６２とが重畳して表示されることとなる。したがって、ユーザはこの（ｄ）に示した表示状態を視認することにより、複数の被写体においていずれの被写体からどの程度の音圧の音（音声）が発生しているか視覚的に認識することができる。

そして、図４のフローチャートに示すように、ユーザによる操作入力部１３０での操作により、被写体の音声方向の選択がなされたか否かを判断し（ステップＳ１２１）、この選択がなされていない場合にはステップＳ１２２及びＳ１２３の処理を行うことなく、ステップＳ１２３に進む。このとき、ユーザが図６（５）に示すように、操作入力部１３０での操作により、映像フォーカス照準１６３を音声強調または抑圧させたい被写体上に移動させると、被写体までの距離が測距され同図に示すように「４Ｍ」なる映像フォーカスした被写体距離が表示される。そして、この被写体上の映像フォーカス照準１６３をユーザが指Ｆでタッチした後、操作入力部１３０にて「音声強調設定ボタン」または「音声抑圧設定ボタン」を押下すると、被写体の音声方向の選択がなされる。

したがって、図４のフローチャートにおいては、音声強調の設定がなされたことにより、ステップＳ１２１の判断がＹＥＳとなってステップＳ１２２に進み、入力座標を被写体や音源の位置座標（ｘ，ｙ）、ＲＡＭに記憶する（ステップＳ１２２）。すなわち、図６に示すように、ズーム動作に応じて焦点距離と画角座標は変化するが、同図（６）に示すようよう焦点距離ｆ＝６ｍｍであったとすると、ユーザが指Ｆでタッチした入力座標として、同図（７）に示すように、（ｘ，ｙ）＝（０．７，０．１）を得ることができる。次に、下記例示式を用いて、入力位置座標（ｘ，ｙ）をレンズ焦点距離（ｆ）、画像サイズ（Ｘ′，Ｙ′）、デジタルズーム倍率（Ｍ）に基づいて、音源方向（θｘ，θｙ）に変換する（ステップＳ１２３）。
（例）θｘ＝ｔａｎ^−１（（ｘ／ｘｍａｘ）×Ｘ′／２ｆ）／Ｍ、
θｙ＝ｔａｎ^−１（（ｙ／ｙｍａｘ）×Ｙ′／２ｆ）／Ｍ、

図７に、画角や半画角、被写体範囲がズーム操作などレンズ焦点距離（ｆ）の変化に伴って変化するときの強調音源方向座標（θｘ，θｙ）の換算例を示す。本実施の形態においては、被写体や音源の選択は、選択されたファインダー表示の位置座標（ｘ，ｙ）から、撮影時のズーム倍率若しくは焦点距離（ｆ）と画像サイズ（Ｘ′、Ｙ′）に応じて、音源の方向角度θｆまたはθｓ、方向角度座標（θｘ，θｙ）を算出して設定するので、ズーム倍率や画角が変わっても、対応できる。タッチパネルやカーソルによる画面上の入力位置座標（ｘ，ｙ）は、−１．０≦ｘ≦１．０、・・−０．７５ｘ≦０．７５の範囲とすると、被写体や特定音源の角度θは、同図に示す半画角（２／θ）に相当させているので、位置座標（ｘ，ｙ）をレンズ焦点距離（ｆ）と、画像サイズ（Ｘ′，Ｙ′）とに基づいて、強調音源方向の角度θｆ、または、方向座標（θｘ，θｙに変換するには、
例えば、ｘｍａｘ＝１．０，ｙｍａｘ＝０．７５として、
θｘ＝ｔａｎ^−１｛（ｘ／ｘｍａｘ）×Ｘ′／２ｆ｝、θｙ＝ｔａｎ^−１（ｙ／ｙｍａｘ）×Ｙ′／２ｆ）｝、等として変換される（図の例では、撮像サイズＸ′＝横５．２７、Ｙ′＝縦３．９６ｍｍ、焦点距離ｆ＝６ｍｍの場合に、入力位置座標＝（０．７，−０．１）から、θｘ＝ｔａｎ^−１｛（０．７／１．０）×５．２７／（２×６）｝＝＋１７．１、θｙ＝ｔａｎ^−１｛（−０．１／０．７５）×３．９５／（２×６）｝＝−２．５、がそれぞれ設定される。）。

θｆは、マイクロホンアレー部１０３がマイク配列が横並び（水平方向）のみの場合は、θｆ＝θｘとして利用し、マイク配列が縦並び（垂直方向）のみの場合は。θｆ＝θｙとして利用すればよい。配列が二次元配列で、水平及び垂直の両方向とも利用する場合には、前記遅延時間の設定では、水平方向ｔＤｘ（ｊ）＝（ｍ−ｊ）・ｄｘ・ｓｉｎθｘ／ｃ、垂直方向ｔＤｙ（ｋ）＝（ｎ−ｋ）・ｄｙ・ｓｉｎθｙ／ｃ、したがって、ｔＤ（ｊ，ｋ）＝√［｛ｔＤｘ（ｊ）｝^２＋｛ｔＤｙ（ｋ）｝^２］などと設定すればよい。

また、デジタルズームなどで、光学系の倍率やレンズ焦点距離は変わらないが、画像処理により撮影画角が変わる場合にも、同様に、デジタルズームの横または縦の拡大倍率、若しくは焦点距離換算の倍率Ｍを用いて、ファインダー画面上での入力座標に対して画角も倍率Ｍ分の１と狭くなるので、被写体や音源の方向はθｆは、
θｆ＝θｘ＝（ｘ／ｘｍａｘ）×ｔａｎ^−１［Ｘ′／２ｆ］／Ｍ、または、
θｆ＝θｙ＝（ｙ／ｙｍａｘ）×ｔａｎ^−１［ｙ′／２ｆ］／Ｍ、と補正すればよい。

次に、音声強調（ステップＳ１２４）と音声抑圧（ステップＳ１２５）のいずれが設定されたか否かを判断する。そして、音声抑圧の設定された場合には、音源方向（θｘ，θｙ）を音源抑圧方向θＳとして設定する（ステップＳ１２６）。そして、この音源抑圧方向（θＳｘ，θＳｙ）に基づいて、下記例示次式により、音圧抑制部（指向性ビーム生成部１３５）の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｊ，ｋ）を設定する（ステップＳ１２７）。
（例）ｔＤｘ（ｊ）＝（ｍ−ｊ）・ｄｘ・ｓｉｎθＳｘ／ｃ、
ｔＤｙ（ｋ）＝（ｍ−ｋ）・ｄｙ・ｓｉｎθＳｙ／ｃ、
ｔＤ（ｊ，ｋ）＝√［｛ｔＤｘ（ｊ）｝^２＋｛ｔＤｙ（ｋ）｝^２］
（但し、ｊ：横配列マイク番号１〜ｍ、ｋ：縦配列マイク番号１〜ｎ、ｄ：マイク 間隔、ｃ：音速）
さらに、音声抑圧の照準を音声抑圧設定マークとともに、スルー画像に重ねてファインダー表示する（ステップＳ１２８）。

また、音声強調の設定された場合には、音源方向（θｘ，θｙ）を音源強調方向θＦとして設定する（ステップＳ１２９）。そして、この音源抑圧方向（θＦｘ，θＦｙ）に基づいて、下記例示次式により、音圧抑制部（指向性ビーム生成部１３５）の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｊ，ｋ）を設定する（ステップＳ１３０）。
（例）ｔＤｘ（ｊ）＝（ｍ−ｊ）・ｄｘ・ｓｉｎθＦｘ／ｃ、
ｔＤｙ（ｋ）＝（ｍ−ｋ）・ｄｙ・ｓｉｎθＦｙ／ｃ、
ｔＤ（ｊ，ｋ）＝√［｛ｔＤｘ（ｊ）｝^２＋｛ｔＤｙ（ｋ）｝^２］
さらに、音声抑圧の照準を音声抑圧設定マークとともに、スルー画像に重ねてファインダー表示する（ステップＳ１３１）。

しかる後に、録音中または動画撮影中であるか否かを判断し（ステップＳ１３２）、録音中または動画撮影中のいずれでもない場合にはその他の処理を実行して（ステップＳ１４０）、リターンする。録音中または動画撮影中である場合には、マイクロホンアレー部１０３からの音声を入力させ（ステップＳ１３３）、前述した設定方向音声の強調処理（ステップＳ１３４）と設定方向音声の抑圧処理（ステップＳ１３５）のいずれが設定されているかを判断する。そして、いずれの処理も設定されていない場合には、通常の雑音抑圧処理を実行する（ステップＳ１３６）。また、設定方向音声の抑圧処理が設定されている場合には、マイクロホンアレー部１０３の各遅延器Ｄ１〜Ｄｎ出力を加減算合成して、特定方向を抑圧処理した音声を音声メモリ１３８に出力させる（ステップＳ１３７）。また、設定方向音声の強調処理が設定されている場合には、マイクロホンアレー部１０３の各遅延器Ｄ１〜Ｄｎ出力を加算合成して、特定方向を強調処理した音声を音声メモリ１３８に出力させる（ステップＳ１３８）。そして、音声圧縮符号器／伸長復号器１３９および／または画像圧縮符号器／伸長復号器１２０で、録音音声および／または撮像映像の符号化処理させて、符号化音声メモリ１４０および／または符号化画像メモリ１２１に記録する（ステップＳ１１５）。しかる後に、その他の処理を実行して（ステップＳ１４０）、リターンする。

（第１の実施の形態の変形例）
図８〜１０は、前記フローチャートにおいて説明したマクロホンアレーによる指向制御、音声強調、音声抑圧処理の変形例を示すブロック回路図である。
図８は、２個のマイクＭ１，Ｍ２を用いるものであって、この２個のマイクＭ１，Ｍ２の間隔ｄ、特定音源の方向θが既知であり、マイク間隔ｄに比べて特定音源までの距離Ｌが遠距離（Ｌ＞＞ｄ）である場合である。図に示すように、特定方向の特定音源からの音声ｗ（ｎ）を強調したい場合には、特定音声ｗ（ｎ）に近い側のマイクＭ１に先に音声が伝達され、他のマイクＭ２には少し遅れて音声が入力される。このとき、角度θに応じて先に伝達する音源に近い側のマイクＭ１に、他のマイクＭ２より進んでいる分に相当する遅延時間（Ｔ_Ｄ）を遅延器Ｄにより設け、遅い側のマイクＭ２では遅延時間＝０に設定してその出力を加算回路１７０で加算する。

すると、方向θからの音声信号は、各マイクＭ１、Ｍ２からの伝播時間は加算回路１７０入力時では同じになって強調されることとなり、他の方向からの信号は互いに少しづつ打ち消し合うので、相対的に抑圧されることとなる。したがって、各マイクＭ１、Ｍ２の遅延回路の遅延時間ｔ_Ｄを設定制御することにより、任意の特定方向θじ指向性を設けて音声強調を行い、電子的に指向性を可変制御することができる。

同様に、特定方向θからの音声に対して伝播時間を揃え、前記とは逆に減算回路１７１で互いに相殺するようにすると、特定の音源方向θからの音声に死角を作って抑圧することができ、雑音抑制回路として利用できる。

遅延量（Ｔ_Ｄ）を決定するためには、いずれの場合も、音源の方向θが既知であることが必要である。本実施の形態では、ユーザがファインダー（表示部１１９）視野内から選択した被写体を入力し、その入力座標に対応する方向を特定音源方向θとして設定するので、方向θを推測する必要がなく、容易に演算して設定できる。

例えは、２個のマイクＭ１，Ｍ２の場合には、マイクＭ１，Ｍ２への伝播遅れ時間は、それぞれｔ_１＝０、ｔ_２＝ｄ・ｓｉｎθ／ｃとなるので、マイクＭ１，Ｍ２の各遅延回路の遅延時間ｔ_Ｄ１，ｔ_Ｄ２には、それぞれ他方の伝播遅れ時間、すなわち、
ｔ_Ｄ１＝ｔ_２＝ｄ・ｓｉｎθ／ｃ、ｔ_Ｄ２＝ｔ_１＝０ （ｄ：マイク間隔、ｃ：音速）を設定すればよい。

また、図９に示すように、特定方向からの音声を強調したい場合には、特定音声に近い側のマイクに先に音声が伝播され、他のマイクには順に少しずつ遅れて音声信号が入力される。このとき、角度θに応じて、先に伝播する音源に近い側のマイク（図示ではマイク１）に、他より進んでいる分に相当する遅延時間（ｔＤ）を遅延器により設け、一番遅い側のマイクでは遅延時間＝０に設定して、それらの出力を加算器１３６で加算合成する。すると、方向θからの音声信号では、各マイクからの伝播時間は加算器１３６の入力時では同じになって互いに強調されることとなり、他の方向からの信号では互いに少しずつ打ち消し合うので相対的に抑圧されることとなる。したがって、各マイクの遅延時間（ｔＤ）を設定制御することにより、任意の特定方向θに指向性を設けて音声強調を行い、電子的に指向性を可変制御することができる。

また、図１０に示すように、特定方向θからの音声に対して伝播時間を揃え、前記とは逆に複数組を加減算回路１７１で互いに相殺するようにすると、特定の音源方向θからの音声に死角を作って抑圧することができ、雑音抑圧回路としても利用できる。マイクロホンアレーでは、雑音の到来方向への死角を形成することにより雑音抑圧するので、どのような特性の雑音でも除去可能であるが、雑音源数よりもマイクロホンの数が多い必要がある。

図１１は、特徴データの二次元画像を生成する処理の例を示すものである。各方向に抽出された音声特徴抽出データをＣｓ（θｘ，θｙ）とすると、これを二次元空間［ｘ，ｙ］にプロットして画像Ｐ_１［ｘ，ｙ］を作成する。この画像Ｐ_１［ｘ，ｙ］と、例えば、斜線や縦線、横線、ハッチング線などで色分け区分表示する為の半透明化（格子）パターンＰ_２［ｘ，ｙ］とを、各要素毎にＡＮＤ（論理積）処理して特徴抽出データを半透明化した二次元画像Ｐ_３［ｘ，ｙ］を合成する。あるいは、被写体像を観察しやければ、半透明化する代わりに、特徴データの値に応じた輪郭画像や等高線の画像を合成する等、他の方法でもよい。

図１２は音声強調する被写体の方向を設定するときの表示例を示す図である。図示のように、本例においては、ファインダー表示部１１９に、特徴抽出データ指標／単位１８０、音声特徴抽出データの二次元画像１８１、被写体像スルー画像１８２、音声強調設定マーク１８３、音声強調する音源の照準（設定方向）１８４、カメラの映像フォーカスの照準１８５、撮影／録音できる残り時間１８６、撮影／録音モード表示１８７を表示させるものである。

図１３は、抑圧したい音源や被写体の方向を設定するときの表示例を示すものである。図示のように、本例においては、ファインダー表示部１１９に、前記特徴抽出データ指標／単位１８０、音声特徴抽出データの二次元画像１８１、被写体像スルー画像１８２、音カメラの映像フォーカスの照準１８５、撮影／録音できる残り時間１８６、撮影／録音モード表示１８７を表示させるのみならず、雑音抑圧設定マーク１８８、音声抑圧する音源の照準（設定方向）１８９を表示させるものである。

図１４及び図１５は、走査（スキャン）入力された音声信号から解析抽出する特定データの例を示す図である。図１４に示した例においては、遅延回路群からなる前記指向性ビーム生成部１３５からの信号を抽出音声メモリ１９０に記憶し、積算回路１９１で積算して方向別の音声データを方向別音声データメモリ１９２に記憶させる。そして、この方向別の音声データに基づき、（ａ）方向別の音圧を一次元表示させ、あるいは（ｂ）二次元表示させる。

図１５に示した例においては、遅延回路群からなる前記指向性ビーム生成部１３５からの信号を抽出音声メモリ１９０に記憶し、フーリエ変換（ＦＦＴ）回路１９１でフーリエ変換して振幅スペクトル｜Ｘ（ω）｜を出力させ、方向別の音声スペクトルデータを方向別音声スペクトルデータメモリ１９３に記憶させる。そして、この方向別の音声スペクトルデータに基づき、（ａ）音声信号、（ｂ）音声のスペクトル、（ｃ）音声スペクトルの時間変化（ソナグラフ、スペクトログラム）、（ｄ）方向別の音声スペクトルを生成する。この（ｄ）方向別の音声スペクトルに基づき、（ｅ）方向別の音声スペクトル（一次元表示）、（ｆ）方向別の音声スペクトル（二次元表示）、（ｇ）方向別の音声スペクトル（三次元表示）を行う。

（第２の実施の形態）
図１６は、本発明の第２の実施の形態に係るデジタルカメラ３００の回路構成を示すブロック図である。このデジタルカメラ３００は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、撮像レンズ３０２は、ズームレンズ、フォーカスレンズで構成され、フォーカス駆動部３０５及びズーム駆動部３０６により駆動される。この撮像レンズ３０２の光軸上には絞り３０７、シャッタ３０８及びＣＣＤ等で構成される撮像部３０９が配置されている。絞り３０７とシャッタ３０８とは、絞り／シャッタ駆動部３１０に接続され、撮像部３０９はドライバ３１１に接続されている。

このデジタルカメラ３００全体を制御する撮影／録音制御回路３１２（以下、単に制御回路３１２という。）は、ＣＰＵ、ＲＯＭおよびワーク用のＲＡＭ等で構成されている。ＲＯＭには、制御回路３１２に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、制御回路３１２を本発明の各種手段として機能させるためのプログラム等の各種のプログラムが格納されている。この制御回路３１２には、前記駆動部３０４とともにドライバ３１１が接続されており、ドライバ３１１は、制御回路３１２が発生するタイミング信号に基づき、撮像部３０９を駆動する。

また、前記撮像部３０９の受光面には、撮像レンズ３０２によって被写体が結像される。撮像部３０９は、ドライバ３１１によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路３１３に出力する。ユニット回路３１３は、撮像部３０９の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、この映像信号を増幅するゲイン調整アンプ（ＡＧＣ）等で構成される。このユニット回路３１３からの映像信号はＡ／Ｄ変換器３１４によりデジタルデータに変換され、映像信号処理部３１５へ出力される。

映像信号処理部３１５は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。映像信号処理部３１５で変換されたＹＵＶデータは順次画像メモリ３１６に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、表示部３１９へ送られてスルー画像として画面表示される。

そして、静止画撮影モードにおいては、シャッターキー操作をトリガとして、制御回路３１２は、撮像部３０９、ドライバ３１１、ユニット回路３１３、及び映像信号処理部３１５に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られた画像データは、画像符号器／復号器３２０で圧縮及び符号化され、最終的には所定のフォーマットの静止画ファイルとして、入力インターフェース３２２を介して外部メモリ（図示せず）に記録される。

また、動画撮影モードにおいては、１回目のシャッターキーと２回目のシャッターキー操作との間に、画像メモリ３１６に順次記憶される複数の画像データが画像符号器／復号器３２０で順次圧縮され、符号化画像メモリ３２１に順次記憶された後、動画ファイルとして外部メモリに記録される。この外部メモリに記録された静止画ファイル及び動画ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて画像伸張／復号化部３１８に読み出されるとともに伸張及び復号化され、表示部３１９に表示される。

また、このデジタルカメラ３００は、各被写体（被写体Ａ，Ｂ、Ｃ・・・）までの距離に応じた測距信号を発生する測距センサ３２６を備えており、この測距センサ３２６からの出力信号は、前記映像信号処理部３１５からの映像信号とともに、測距部／合焦検出部３２７に入力される。測距部／合焦検出部３２７はこれら入力信号に基づき、各被写体（被写体Ａ，Ｂ・・・）までの距離を検出するものであって、この検出された距離は、被写体Ａ，Ｂ・・・の被写体距離ＬＡ、ＬＢ、ＬＣとしてフォーカス距離メモリ３２８に記憶される。

また、制御回路３１２には、座標入力部及び座標入力部（共に図示せず）が入力回路３３１を介して接続されている。座標入力部は、前記表示部３１９に積層されているタッチパネル（図示せず）からのタッチ信号に基づく座標値を、入力回路３３１を介して制御回路３１２に出力する

また、このデジタルカメラ３００は、前記動画撮影モード、音声のみを記録する録音モード、音声付き（静止画）撮影モードにおいて、周囲音を記録する録音機能を備えており、このため周囲音を検出するマイクロホンを有し、このマイクロホンは前記マイクロホンアレー部１０３に配置されたマイクＭ１からマイクＭｎまでのｎ本のマイクロホンで構成されている。各マイクからの音声信号は、対応する各アンプ３３３・・・で増幅され、Ａ／Ｄ変換回路３３４でサンプルホールド及びデジタル変換され、雑音抽出部３５０と雑音抑圧部３６０とに入力される。

雑音抽出部３５０は、雑音抽出部３５０は、マイクｎに対応して設けられたｎ個の遅延器Ｄ１〜Ｄｎ、これら遅延器Ｄ１〜Ｄｎからの信号を増幅するアンプＡ１〜Ａｎ、これらアンプＡ１〜Ａｎからの出力を加算する加算器３５１、この加算器３５１から出力される特定方向を強調した音声データを一時的に記憶する抽出音声メモリ３５７と音声メモリ３５２、この音声メモリ３５２に記憶された音声データをフーリエ変換するフーリエ変換部３５３、このフーリエ変換部３５３で変換されたデータを前記雑音抑圧部３６０に送出する収録音のスペクトル部３５４を有している。各遅延器Ｄ１〜Ｄｎは、音声フォーカス設定メモリ３５５に記憶されるフォーカス方向座標θおよびフォーカス音源距離メモリ３５８に記憶されるフォーカス音源距離Ｌｆ基づき、遅延制御またはアレー制御を実行する遅延制御／アレー制御回路３５６により制御される。

一方、雑音抑圧部３６０は、収録音のスペクトル部３５４からの信号が入力される雑音スペクトルの推定部３６１、主マイクであるマイクＮ１側の信号が順次入力される窓関数部３６２、フーリエ変換部３６３、位相部３６４、逆フーリエ変換部３６５を有するとともに、前記フーリエ変換部３６３の出力信号から前記雑音スペクトルの推定部３６１の出力信号を減算して逆フーリエ変換部３６５に出力する減算回路３６６を有している。

この逆フーリエ変換部３６５からの音声データは、音声メモリ３３８に格納され、この音声メモリ３３８に格納された音声データは、音声符号器／復号器３３９で順次圧縮される。制御回路３１２は、この圧縮音声データと前記圧縮動画データとを含む音声付き動画ファイルを生成して外部メモリに記録する。

以上の構成に係る本実施の形態において、制御回路３１２は前記プログラムに基づき、図１７に示すフローチャートに示すように処理を実行する。すなわち、録音または動画撮影モードが設定されたか否かを判断し（ステップＳ２０１）、録音または動画撮影モード以外の他のモードが設定された場合には、設定された当該その他のモード処理を実行する（ステップＳ２０２）。また、録音または動画撮影モードが設定されたならば、測光処理、ＷＢ処理を実行するとともに（ステップＳ２０３）、ズーム処理を行ってズーム駆動部３０６を制御する（ステップＳ２０４）。また、測距センサ３２６を制御する測距処理を実行するとともに、フォーカス駆動部３０５を制御するＡＦ処理を実行して被写体を合焦させる（ステップＳ２０５）。次に、このＡＦ処理により合焦した被写体Ａ、またはＢ、Ｃ、Ｄの距離情報を測距部／合焦検出部３２７により検出させて、フォーカスフォーカス距離メモリ３２８に記憶させる（ステップＳ２０６）。

さらに、被写体像スルー画像を、照準、距離情報等とともに、ファインダーに表示させる（ステップＳ２０７）。また、操作により音声走査（スキャン）が指示されたか否かを判断し（ステップＳ２０８）、指示されていない場合にはステップＳ２０９の処理を実行することなく、ステップＳ２１０に進む。指示された場合には、前述した第１の実施の形態と同様に、音声走査入力、特徴抽出、特徴データの画像表示処理を実行する（ステップＳ２０９）。

次に、録音動作中であるか否かを判断し（ステップＳ２１０）、録音動作中でない場合には後述するステップＳ２１９に進む。また、録音動作中であるならば、主マイクＮ１からの音声を入力し（ステップＳ２１１）、この入力音声をＡ／Ｄ変換する（ステップＳ２１２）。さらに、抑圧音声（雑音）スペクトルによる雑音抑圧に設定済みであるか否かを判断する（ステップＳ２１３）。設定済みでない場合には、ステップＳ２１５〜Ｓ２１７の処理を実行することなく、通常の音声抑圧処理を実行する（ステップＳ２１４）。また、設定済みである場合には、窓関数部３６２からのデジタル音声をフーリエ変換部３６３でのＦＦＴ演算で周波数領域に変換し、振幅スペクトル｜Ｘ（ω）｜と位相情報ωを、スペクトルの推定部３６１、逆フーリエ変換部３６５および減算回路３６６に出力させる（ステップＳ２１５）。さらに、減算回路３６６にて、振幅スペクトル｜Ｘ（ω）｜から、スペクトルの推定部３６１よりの音声スペクトル｜Ｗ（ω）｜をスペクトル減算して、
｜Ｓ（ω）｜＝｜Ｘ（ω）｜−｜Ｗ（ω）｜
を逆フーリエ変換部３６５に出力させる（ステップＳ２１６）。

また、逆フーリエ変換部３６５にて、スペクトル減算出力に位相情報ωを付加し、逆ＦＦＴ演算で時間領域信号ｓ（ｎ）に変換して音声メモリ３３８に出力出力させる（ステップＳ２１７）。引き続き、逆フーリエ変換部３６５から出力された音声信号を音声符号器／復号器３３９で圧縮符号化処理させて、符号化音声メモリ３４０に記録し（ステップＳ２１８）、リターンする。

他方ステップＳ２１０での判断の結果、録音動作中でない場合には、抑圧する雑音スペクトルの設定がなされたか否かを判断し（ステップＳ２１９）、設定がなされない場合にはその他の処理を実行する（ステップＳ２２０）。このとき、ユーザが図１２に示すように、操作入力部１３０での操作により、映像フォーカス照準１６３を抑圧する雑音スペクトルさせたい被写体Ｃ上に移動させ、この被写体Ｃ上の映像フォーカス照準１６３をユーザが指Ｆでタッチした後、操作入力部１３０にて抑圧する雑音スペクトル設定ボタンを押下すると、抑圧する雑音スペクトルの設定がなされ、被写体Ｃ上に音声抑圧する音源照準２５１が表示されるとともに、音声抑圧の設定されたことを示す雑音抑圧設定マーク２５２が表示される。

したがって、図１７のフローチャートにおいては、抑圧する雑音スペクトルの設定がなされたことにより、ステップＳ２１９の判断がＹＥＳとなってステップＳ２２１に進み、音声抑圧したい方向の被写体Ｃの距離情報Ｌ_Ｃを入力または検出して、雑音抽出する音源距離Ｌ_Ｎとして設定する（ステップＳ２２１）。また、操作入力された被写体Ｃの入力座標を雑音抽出する音源の位置座標（ｘ，ｙ）としてメモリする（ステップＳ２２２）。さらに、この位置座標（ｘ，ｙ）をレンズ焦点距離（ｆ）、画像サイズ（Ｘ′，Ｙ′）に基づいて、強調音源方向の角度θｆまたは方向座標（θｘ，θｙ）に変換する（ステップＳ２２３）。

次に、前記ステップＳ２２１で設定した音源距離Ｌ_Ｎが所定値以上であるか否かを判断する（ステップＳ２２４）。このステップＳ２２４での判断の結果、音源距離Ｌ_Ｎが所定値未満であって近距離である場合には、フォーカスする音源距離Ｌ_Ｎに基づいて、雑音抽出部３５０の各遅延器Ｄ（ｋ）の各遅延時間ｔ_Ｄ（ｋ）を設定する（ステップＳ２２５）。また、ステップＳ２２７での判断の結果、音源距離Ｌ_Ｎが所定値以上であって遠距離である場合には、雑音抽出する音源方向の角度θ_Ｎに基づいて、雑音抽出部３５０の各遅延器Ｄ（ｋ）の各遅延時間ｔ_Ｄ（ｋ）を設定する（ステップＳ２２６）。

しかる後に、マイクロホンアレーから、フォーカスした方向／距離の音声が強調された音声を所定時間入力させ（ステップＳ２２７）、収録した音声を音声メモリ３５２に一時記憶させる（ステップＳ２２８）。また、デジタル音声信号をフーリエ変換部３５３のＦＦＴ演算で周波数領域に変換し、振幅スペクトル｜Ｘ（ω）｜を出力させる（ステップＳ２２９）。この収録音声の振幅スペクトル｜Ｘ（ω）｜を抑圧すべき雑音スペクトル｜Ｗ（ω）｜として、収録音のスペクトル部３５４から雑音抑圧部３６０に出力し、該雑音抑圧部３６０の減算回路３６６に設定し（ステップＳ２３０）、リターンする。

したがって、このようにして抑圧する雑音スペクトルの設定がなされると、前述したステップＳ２１３の判断がＹＥＳとなることから、前述したステップＳ２１５〜Ｓ２１７の処理が実行されることとなる。

図１８は、前記第２の実施の形態において用いた、スペクトルサブトラクション法（スペクトル減算法）（以下、ＳＳ法という。）における雑音抑圧回路の構成例を示す図である。すなわち、マイク４０１からの音声信号は、アンプ４０２で増幅され、Ａ／Ｄ変換部４０３デジタル変換され、窓関数部４０４を介してフーリエ変換部４０５に供給される。このフーリエ変換部３５３で変換された振幅スペクトル｜Ｘ（ω）｜は、雑音スペクトル減算部４０６の雑音推定、または、雑音スペクトル設定部４０７、および減算器４０８に与えられ、また、位相情報ωｘ（位相スペクトル）４０９は、逆フーリエ変換部４１０に与えられる。また、この逆フーリエ変換部４１０には、前記減算器４０８からの出力があたえられ、の逆フーリエ変換部４１０の出力である音声信号は、音声メモリ４１１に一時記憶された後、Ｄ／Ａ変換器４１２でアナログ変換され、アンプ４１３で増幅されて、スピーカー４１４で再生されるように構成されている。

このようにＳＳ法では、音声信号ｓ（ｎ）と雑音信号ｗ（ｎ）とを含む入力音声信号の信号ｘ（ｎ）＝ｓ（ｎ）＋ｗ（ｎ）を、所定サンプリング毎にフレーム分割し、ハニング窓や台形窓などの窓関数で窓掛け（Ｗｉｎｄｏｗｉｎｇ）処理した後、フーリエ変換（ＦＦＴ）により時間領域から周波数領域に変換する。入力信号の振幅パワースペクトル│Ｘ（ω）│から推定雑音のパワースペクトル│Ｘ＾（ω）│を減算して（│Ｓ＾（ω）│＝│Ｘ（ω）│−│Ｘ＾（ω）│）、それに入力信号のω_ｘを加え、得られたＳ＾（ω）＝│Ｓ＾（ω）│ｅｘｐ（ｊω_ｘ）を逆フーリエ変換（ｉｎｖｅｒｓｅ ＥＥＴ）により時間領域に変換すれば、動作音などの雑音が除去された強調音声信号ｓ＾（ｎ）が得られる。

ＳＳ法による雑音除去を伝達関数Ｈ（ω）のフィルタと考えると、伝達関数Ｈ（ω）は、
Ｈ（ω）＝Ｓ＾（ω）／Ｘ（ω）｛│Ｘ＾（ω）│−│Ｘ＾（ω）│｝ｅｘｐ（ｊω_ｘ）Ｘ（ω）、
Ｈ（ω）＝１−｛│Ｘ＾（ω）│／│Ｘ（ω）│｝、となる。

ＳＳ法では、人間の聴覚にあまり重要でない位相情報には処理を加えず、振幅情報主体での処理を行うので処理が簡単である。また、１つのマイクロホンのみで雑音抑制でき、雑音原数などは事前に知る必要はないが、最低でも１フレーム分の処理遅延が生ずる。また、雑音パワーベクトルの事前情報が必要である。携帯電話などでは、周波数領域に変換した信号の、サブバンド帯域別のＳＮ比（ＳＮＲ）を算出して、非適応な雑音推定を行い、またスペクトル減算（差分）とスペクトル利得による抑圧（乗算）とを組み合わせる方法や、入力信号のパワーベクトルに、ＳＮＲ推定値に逆比例するように重み付けを行って、適応的に雑音推定を行い、雑音の抑圧をスペクトル利得の調整（乗算）のみで行う方法など、複雑な雑音推定方法が検討されているが、機器内モーター動作音の除去には、事前に動作音の雑音スペクトルデータ│Ｗ＾（ω）│等を解析して設定できるので、構成も簡便になり利用し易い利点がある。

なお、例えば、適応フィルタ方式のノイズキャンセラーでは、参照マイクの入力音声に適応フィルタ処理を施した信号を、主マイクの入力信号から減算するが、主マイクの他に雑音を検出するための参照用マイクを必要とする。実施の形態のようにマイクロホンアレー部１０３を設けた録音入力部の場合には、その一部を雑音参照用のマイクとして利用することもできる。

適応フィルタ方式の動作は、希望音声信号ｓ（ｎ）と経路ｈ_ｋ(ｍ)を経由して雑音源ｗｓ（ｎ）から到達する雑音ｗ（ｎ）の和である、ｓ（ｎ）＋ｗ（ｎ）が主マイクに入力される。雑音信号Ｗ（ｎ）は、雑音経路のインパルス応答｛ｈ_ｋ(ｍ)｝（ｍ＝１，２・・・Ｐ−１）を用いて次式で表される。
ｗ（ｎ）＝Σ_ｍｈ_ｋ（ｍ）ｗ_ｓ（ｎ−ｍ），

また、適応フィルタの出力ｙ（ｎ）は、適応フィルタのインパルス応答を｛ｈ_ｆ(ｍ)｝（ｍ＝１，２・・・Ｐ−１）とすると次式で表される。
ｙ（ｎ）＝Σ_ｍｈ_ｆ（ｍ）ｗ_ｓ（ｎ−ｍ），
このときノイズキャンセラーの出力ｓ＾（ｎ）は、
ｓ＾（ｎ）＝ｓ（ｎ）＋ｗ（ｎ）−ｙ（ｎ）＝ｓ（ｎ）＋Σ_ｍ｛ｈ_ｋ（ｍ）−ｈ_ｆ（ｍ）｝ｗ_ｓ（ｎ−ｍ）
したがって、ｈ_ｆ（ｍ）＝ｈ_ｋ（ｍ）とできれば、ｓ＾（ｎ）＝ｓ（ｎ）となり、雑音信号を除去して、音声信号のみを取り出せることとなる。
通常、未知の雑音経路ｈ_ｋ（ｍ）を求めるためには、適応フィルタ係数ｈ_ｆ（ｍ）は、推定誤差ｓ＾（ｎ）の２乗値を統計的に最小にするように更新されるが、ｈ_ｆ（ｋ）の最適値を得るには、Ｐ元の連立方程式を解く必要があり、信号の統計量が必要となる。このため適応フィルタでは、統計学を学習し、逐次最適解を探すためにＬＳＭ（最小二乗平均）法やＮＬＭＳ（正規化最小二乗平均）法などの適応アルゴリズムが必要となる。

しかし、前述した実施の形態のように、ユーザが音声フォーカスして収録した雑音音声データなどから、雑音の統計量を取得できる場合には、ｈ_ｆ（ｋ）の最適値の初期値を求めておき、設定することができる。このようなノイズキャンセラーでは、雑音源から主マイクへの経路が未知であっても、雑音経路のインパルス応答が適応フィルタにより良好に推定できれば雑音除去を行うことができ、雑音特性が変動しても追従できる。

（第３の実施の形態）
図１９及び２０は、本発明の第３の実施の形態における処理手順する示す一連のフローチャートである。前記制御回路３１２は前記プログラムに基づき、このフローチャートに示すように処理を実行する。すなわち、静止画／動画撮影モードまたは録音モードが設定されたか否かを判断し（図１９ステップＳ３０１）、これら以外の他のモードが設定された場合には、設定された当該その他のモード処理を実行する（ステップＳ３０２）。また、静止画／動画撮影モードまたは録音モードが設定されたならば、測光処理、ＷＢ処理を実行するとともに（ステップＳ３０３）、ズーム処理、ＡＦ処理を行って（ステップＳ３０４）、被写体像スルー画像を、ファインダー表示部１１９に表示させる（ステップＳ３０５）。

次に、操作入力部１３０での操作により音源方向の検索が指示されたか否かを判断し（ステップＳ３０６）、指示されていない場合にはその他の処理に移行する（ステップＳ３０７）。また、音源方向の検索が指示された場合には、操作入力部１３０での操作に応じて、記録済みの録音データの中から、検索する音源を選択し（ステップＳ３０８）、画像サイズ（Ｘ′Ｙ′）、焦点距離（ｆ）、デジタルズーム倍率（Ｍ）から捜査範囲の角度（θｘｍｉｎ、θｘｍａｘ）を設定する（ステップＳ３０９）。引き続き、θｙ＝θｙｍｉｎとするとともに（ステップＳ３１０）、θｘ＝θｘｍｉｎとする（ステップＳ３１１）。そして、下記式を用いて走査音源方向（θｘ，θｙ）にフォーカスする為の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｊ，ｋ）を設定する
ｔＤｘ（ｊ）＝（ｍ−ｊ）・ｄｘ・ｓｉｎθｘ／ｃ、
ｔＤｙ（ｋ）＝（ｎ−ｋ）・ｄｙ・ｓｉｎθｙ／ｃ、
ｔＤ（ｊ，ｋ）＝√［｛ｔＤｘ（ｊ）｝^２＋｛ｔＤｙ（ｋ）｝^２］
（但し、ｋ：マイク番号１〜ｎ、ｄ：マイク間隔、ｃ：音速）

次に、走査方向（θｘ、θｙ）に指向させたマイクロホンアレーから音声を入力させ（ステップＳ３１３）、Ａ／Ｄ変換し、所定時間の入力音声データを入力音声メモリ１３７にとして記録する（ステップＳ３１４）。また、ＦＦＴ演算で周波数領域に変換し、振幅スペクトル｜Ｘ（ω）｜を算出し、その時間変化データを求める（ステップＳ３１５）。次に、入力音声スペクトルの時間変化と選択音源のそれとを比較し、相関度を算出し、特徴データＣｓ（θｘ，θｙ）として記録する（ステップＳ３１６）。

引き続き、θｘ＝θｘ＋Δθｘとし（ステップＳ３１７）、θｘ＞θｘｍａｘであるか否かを判断する（ステップＳ３１８）。この判断がＮＯである場合には、ステップＳ３１２からの処理を繰り返す。また、ＹＥＳであるならば、θｙ＝θｙ＋Δθｙとし（ステップＳ３１９）、θｙ＞θｙｍａｘであるか否かを判断する（ステップＳ３２０）。この判断がＮＯである場合には、ステップＳＳ３１１からの処理を繰り返す。また、ＹＥＳであるならば、特徴データＣｓ（θｘ，θｙ）を、対応するθｘ，θｙ座標上に２次元画像としてプロット描画する（ステップＳ３２１）。さらに、特徴データ画像を半透明化し、半透明化した特徴抽出データ画像をスルー画像に重ねてファインダー表示部１１９に表示する（ステップＳ３２２）。

また、算出された相関度である特徴データＣｓ（θｘ，θｙ）が所定値以上の方向の対応位置に音源識別記号、音源の種別などを表示し（図２０ステップＳ３２３）、特徴データＣｓ（θｘ，θｙ）が所定以上の方向の中から、一つの方向（θＦｘ，θＦｙ）をマニュアル操作または自動で選択させる（ステップＳ３２４）。次に、識別方向にカメラをフォーカスするか否かを判断し（ステップＳ３２５）、選択された方向（θＦｘ，θＦｙ）にカメラ撮影のフォーカス点を設定する（ステップＳ３２６）。

次に、識別方向に音声入力をフォーカスする指示があったか否かを判断する（ステップＳ３２７）。指示があった場合には、選択された方向（θＦｘ，θＦｙ）にマイクロホンアレイの指向方向（音声フォーカス）を決定する。すなわち、下記例示式を用いて、方向（θＦｘ，θＦｙ）を強調するように、下記例示次式により、音圧抑制部（指向性ビーム生成部１３５）の各遅延器Ｄ（ｋ）の遅延時間ｔＤ（ｊ，ｋ）を設定する（ステップＳ３２８）。
（例）ｔＤｘ（ｊ）＝（ｍ−ｊ）・ｄｘ・ｓｉｎθＦｘ／ｃ、
ｔＤｙ（ｋ）＝（ｍ−ｋ）・ｄｙ・ｓｉｎθＦｙ／ｃ、
ｔＤ（ｊ，ｋ）＝√［｛ｔＤｘ（ｊ）｝^２＋｛ｔＤｙ（ｋ）｝^２］
さらに、スルー画像に重ねてファインダー表示する（ステップＳ３２９）。そして、指向方向が音声強調されたマイクロホンアレーから音声を入力し（ステップＳ３３０）、撮影処理または録音処理へ移行する（ステップＳ３３１）。

つまり、この第３の実施の形態は、図２１に示すように、遅延回路群からなる前記指向性ビーム生成部１３５からの信号を抽出音声メモリ１９０に記憶し、フーリエ変換（ＦＦＴ）回路１９１でフーリエ変換して振幅スペクトル｜Ｘ（ω）｜を出力させ、方向別の音声スペクトルデータを方向別音声スペクトルデータメモリ１９３に記憶させる。また、予め記憶されているスペクトルデータメモリ１９３に記憶されている所定の音源の音源スペクトルデータやその時間変化特性等の特徴データと比較参照してその相関度から近似度などを算出して、各方向別の入力音声の音源の特性や種類を識別し、識別された結果に応じて、特徴データや識別された種別情報をＭファインダーの対応位置に重ねて表示する。

また、特定音源との相関度の高い類似の音声が入力された方向を識別して、当該方向にカメラの焦点もしくはマイク入力の指向方向を向けるように制御することで、所望の被写体の撮影や録音に利用できるようにしたのである。

例えば、撮影や録音したい野鳥の鳴き声の音声スペクトルの時間変化データなど、探したい所定の音源の特徴データを、予めメモリに記憶しておき、前記の比較する所定音源の特徴データとして選択して設定すれば、方向別に入力された各音声信号から、所望の野鳥のいる方向を識別したり、あるいは、入力された音声に最も相関度の高い所定音源を識別して、野鳥の種類などを音源識別情報としてファインダーに表示させたりすることができる。

この識別された方向もしくは方向別の音源識別情報に基づいて、制御部では、その方向にカメラのＡＦ機能の焦点を合わせるように制御して、所望の野鳥をすぐに見つけて静止画像や動画像の撮影をしたり、または、その方向にマイクロホンアレーの指向方向を制御して、その方向の音声を強調して、所望の野鳥の鳴き声を明瞭に録音したりすることができる。

図２２は、予め記憶しておく所定音源の特徴データを示す図である。本図では、記録しておく所定の音源として、複数種の野鳥の鳴き声の音背信号と、特徴データとしてきおくしておく、音声スペクトル及びその時間変化データ、あるいは、ソナグラフ（音声スペクトル）の時間変化と各音圧強度を記録したもの）等の設定データの例である。無論、野鳥や生物、あるいは鳴き声などの音源や音声だけでなく、人間の話し声、航空機などが発生する騒音等などのデータであってもよい。

（その他の実施の形態）
（１）なお、前記実施の形態においては、複数の横配列マイクと縦配列マイクとでマイクロホンアレー部１０３を構成するようにしたが、図２３に示すような配置形態としてもよい。
（ａ）デジタルカメラ５００は、カメラ本体５０１と可動式カメラ部５０２とで構成されている。カメラ本体５０１には、ＬＣＤファインダー５０３が配置され、可動式カメラ部４０２には撮像レンズ５０４およびストロボ５０５が設けられ、ストロボ５０５の下部に水平方向に配置された複数のマイクで構成されたマイクロホン部５０６が設けられた構成である。
（ｂ）デジタルカメラ６００は、カメラ本体６０１の前面に撮像レンズ６０２が配置され、前面上部両側に水平方向に配置された複数のマイクで構成された左マイクロホン部６０３Ｌと、右マイクロホン部６０３Ｒとが設けられた構成である。
（ｃ）デジタルカメラ７００は、カメラ本体７０１の前面に撮像レンズ７０２が配置され、撮像レンズ１０２の周部にこれを囲繞するように配置された複数のマイクで構成されたマイクロホン部７０３が設けられた構成である。
以上のように、マイクロホン部のマイク配置形態は、直線的であっても曲線的であってもよい。

（２）実施の形態においては、被写体周辺の音圧や周波数特性、スペクトルなどの音声の特徴データの画像を被写体像を重ねて表示し、それに応じて撮影や録音操作できるようにしたが、音声信号のその他の特徴データを抽出し可視化して、表示するようにしてもよい。あるいは、例えば、犬やコウモリなどある種の生物には聞こえるが、人間の可聴周波数範囲を超えた超音波などを入力し可視化して、表示するようにしてもよい。

（３）あるいは、音声信号以外でも、モンシロチョウなど、ある種の生物には可視である紫外線領域の光信号など、人間には可視範囲外の撮像信号以外の光や、放射線、電磁波など、あるいは、その他のセンサ手段による被写体周辺からの検出信号から、その特徴データを被写体像の方向に対応付けて画像化して、撮像信号による被写体像に重ねて、表示するようにしてもよい。

本発明の各実施の形態に係るデジタルカメラの斜視図である。 第１の実施の形態に係るデジタルカメラの回路構成を示すブロック図である。 同実施の形態における処理手順を示すフローチャートである。 図３に続くフローチャートである。 同実施の形態の動作を示す説明図である。 同実施の形態における画面遷移図である。 画角や半画角、被写体範囲がズーム操作などレンズ焦点距離（ｆ）の変化に伴って変化するときの強調音源方向座標（θｘ，θｙ）の換算例を示す図である。 マクロホンアレーによる指向制御、音声強調、音声抑圧処理の変形例を示すブロック回路図である。 マクロホンアレーによる指向制御、音声強調、音声抑圧処理の変形例を示すブロック回路図である。 マクロホンアレーによる指向制御、音声強調、音声抑圧処理の変形例を示すブロック回路図である。 特徴データの二次元画像を生成する処理の例を示す図である。 音声強調する被写体の方向を設定するときの表示例を示す図である。 抑圧したい音源や被写体の方向を設定するときの表示例を示す図である。 走査（スキャン）入力された音声信号から解析抽出する特定データの例を示す図である。 走査（スキャン）入力された音声信号から解析抽出する特定データの例を示す図である。 本発明の第２の実施の形態に係るデジタルカメラの回路構成を示すブロック図である。 同実施の形態における処理手順を示すフローチャートである。 第２の実施の形態において用いた、スペクトルサブトラクション法（スペクトル減算法）における雑音抑圧回路の構成例を示す図である。 本発明の第３の実施の形態における処理手順を示すフローチャートである。 図１９に続くフローチャートである。 第３の実施の形態の概要を示す説明図である。 予め記憶しておく所定音源の特徴データを示す図である。 本発明の他の実施の形態を示すカメラ外観図である。

符号の説明

Ｍ１〜Ｍｎ マイク
Ａ１〜Ａｎ アンプ
Ｄ１〜Ｄｎ 遅延器
１００ デジタルカメラ
１０１ 本体
１０２ 撮像レンズ
１０３ マイクロホンアレー部
１０４ カバー体
１０５ レンズ駆動部
１０９ 撮像素子
１１１ ドライバ
１１２ 撮影録音制御部
１１３ 被写体像スルー画像部
１１４ Ａ／Ｄ変換器
１１５ 画像信号処理部
１１６ 画像メモリ
１１７ 画像合成部
１１９ ファインダー表示部
１１９ ファインダー／表示部
１１９ 表示部
１２０ 画像圧縮符号器／伸長復号器
１２１ 符号化画像メモリ
１２６ 駆動量／焦点距離部
１３０ 操作入力部
１３１ 入力回路
１３２ タッチパネル
１３４ Ａ／Ｄ変換回路
１３５ 指向性ビーム生成部
１３６ 加算器
１３７ 入力音声メモリ
１３８ 音声メモリ
１３９ 音声圧縮符号器／伸長復号器
１４４ 指向性制御部
１４４ 第１指向性制御部
１４５ 第２指向性制御部
１５１ 特徴抽出データメモリ
１５２ 二次元画像生成部
１５３ 半透明画像変換部
１５４ 半透明化パターン生成部
１６０ 被写体スルー画像
１６１ 二次元画像
１６２ 特徴抽出データ画像
１６３ 映像フォーカス照準
３００ デジタルカメラ

Claims (17)

1. 表示手段と、
   撮像手段と、
   この撮像手段により撮像される画像を前記表示手段に表示させる第１の表示制御手段と、
   前記撮像手段の撮像範囲内における不可視情報を検出する不可視情報検出手段と、
   この不可視情報検出手段により検出される前記不可視情報の前記撮像範囲内における位置を検出する位置検出手段と、
   前記不可視情報検出手段により検出された不可視情報を表す可視情報を生成し、この可視情報を前記位置検出手段により検出された前記不可視情報の前記撮像範囲内における位置に対応させて、前記表示手段に表示させる第２の表示制御手段と
   を備えることを特徴とする撮像装置。
2. 前記第２の表示制御手段は、前記可視情報を前記第１の表示制御手段により前記表示手段に表示される画像の、前記位置検出手段により検出された位置に重ねて、前記表示手段に表示させることを特徴とする請求項１記載の撮像装置。
3. 前記不可視情報検出手段は、前記撮像手段の撮像時に周囲音を検出する周囲音検出手段であり、
   前記不可視情報は、前記周囲音検出手段により検出される前記周囲音であることを特徴とする請求項１または２記載の撮像装置。
4. 前記周囲音検出手段により検出された音声を記録する記録手段を備えることを特徴とする請求項３記載の撮像装置。
5. 前記第２の表示制御手段により前記表示手段に表示された前記周囲音を示す可視情報の任意の部分を指定することにより、前記周囲音検出手段により検出される周囲音に含まれる任意の音声を選択する選択手段と、
   前記周囲音検出手段により検出された周囲音を制御し、前記選択手段により選択された音声を強調処理または抑圧処理する音声制御手段と、
   この音声制御手段により前記音声を強調処理または抑圧処理された周囲音を記録する記録手段と
   を備えることを特徴とする請求項３記載の撮像装置。
6. 前記記録手段は、前記周囲音を前記撮像手段により撮像された画像とともに記録することを特徴とする請求項４または５記載の撮像装置。
7. 前記音声制御手段は、前記第２の表示制御手段により前記表示手段に表示された前記周囲音を示す可視情報中における任意の部分に対する操作に基づき得られる位置座標に基づき、前記指定された周囲音の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理することを特徴とする請求項５記載のカメラ装置。
8. 前記音声制御手段は、前記位置座標と、前記撮像手段の焦点距離及び又は前記画像のサイズとに基づき、前記指定された周囲音の方向を算出し、この算出した方向からの音声を強調処理または抑圧処理することを特徴とする請求項７記載のカメラ装置。
9. 撮像手段と、
   音声の特徴データを記憶した特徴データ記憶手段と、
   周囲音を検出する周囲音検出手段と、
   前記特徴データ記憶手段に記憶された音声の特徴データと、前記周囲音検出手段により検出された周囲音中の音声データとを比較する比較手段と、
   この比較手段による比較に基づき、前記撮像手段の撮像範囲内において、前記特徴データに近似する周囲音を発生している被写体を検出する被写体検出手段と
   を備えることを特徴とする撮像装置。
10. 前記被写体検出手段により検出された被写体に、前記撮像手段を合焦させる合焦制御手段を更に備えることを特徴とする請求項９記載の撮像装置。
11. 前記被写体検出手段により検出された被写体を表示する表示手段を更に備えることを特徴とする請求項９または１０記載の撮像装置。
12. 前記周囲音検出手段により検出された周囲音を制御し、前記被写体検出手段により検出された被写体からの音声を強調処理または抑圧処理する音声制御手段と、
    この音声制御手段により前記音声を強調処理または抑圧処理された周囲音を記録する記録手段と
    を更に備えることを特徴とする請求項９、１０または１１記載の撮像装置。
13. 前記記録手段は、前記周囲音を前記撮像手段により撮像された画像とともに記録することを特徴とする請求項１２記載の撮像装置。
14. 複数の音声の特徴データのうち任意の特徴データを指定する指定手段を更に備え、
    前記記憶手段は、前記指定手段により指定された前記特徴データを記憶することを特徴とする請求項９から１３にいずれか記載の撮像装置。
15. 前記周囲音検出手段は、複数のマイクロホンを有するマイクロホンアレーであることを特徴とする請求項３から１４にいずれか記載の撮像装置。
16. 表示手段と、撮像手段と、この撮像手段の撮像範囲内における不可視情報を検出する不可視情報検出手段とを備える撮像装置が有するコンピュータを、
    前記撮像手段により撮像される画像を前記表示手段に表示させる第１の表示制御手段と、
    前記不可視情報検出手段により検出される前記不可視情報の前記撮像範囲内における位置を検出する位置検出手段と、
    前記不可視情報検出手段により検出された不可視情報を表す可視情報を生成し、この可視情報を前記位置検出手段により検出された前記不可視情報の前記撮像範囲内における位置に対応させて、前記表示手段に表示させる第２の表示制御手段と
    して機能させることを特徴とする撮像制御プログラム。
17. 撮像手段と、音声の特徴データを記憶した特徴データ記憶手段と、周囲音を検出する周囲音検出手段とを備える撮像装置が有するコンピュータを、
    前記特徴データ記憶手段に記憶された音声の特徴データと、前記周囲音検出手段により検出された周囲音中の音声データとを比較する比較手段と、
    この比較手段による比較に基づき、前記撮像手段が撮像する被写体において、前記特徴データに近似する周囲音を発生している被写体を検出する被写体検出手段と
    して機能させることを特徴とする撮像制御プログラム。
    

Images