JP2012023475A - 撮像装置 - Google Patents

Abstract

【課題】 装置自体の姿勢が変化しても、適切な音声情報を取得する。
【解決手段】 被写界を撮像することで画像を取得する撮像部と、複数のマイクロホンを備え、被写界に含まれる発音体が発する音声を複数のマイクロホン毎に取得可能な集音部と、複数のマイクロホン毎に取得された音声を加算することで、発音体が発する音声を処理する音声処理部と、撮像部、集音部及び音声処理部を備えた装置本体と、装置本体の姿勢の変化量を検出する検出部と、検出部により検出される装置本体の姿勢の変化量に基づいて、音声処理部における処理の設定を変更する集音制御部と、を備えたことを特徴とする。
【選択図】 図２

Description

本発明は、被写体の発する音声を記録する撮像装置に関する。

マイクロホンにより取得した音声を画像とともに記録する撮像装置が種々提供されている。このような撮像装置の中には、被写界内で発する特定方向の音声を強調処理する、又は抑圧処理することが可能な撮像装置について提案されている（例えば特許文献１参照）。

特開２００６−２２２６１８号公報

しかしながら、特許文献１に記載された撮像装置においては、撮影時に装置自体の姿勢が変化した場合について考慮されておらず、単に音声が発する方向を特定方向と定義していることから、装置自体の姿勢が変化した場合には適切な音声情報を取得できない可能性がある。

本発明は、装置自体の姿勢が変化しても適切な音声情報を取得することができる撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の撮像装置は、被写界を撮像することで画像を取得する撮像部と、複数のマイクロホンを備え、前記被写界に含まれる発音体が発する音声を前記複数のマイクロホン毎に取得可能な集音部と、前記複数のマイクロホン毎に取得された音声を加算することで、前記発音体が発する音声を処理する音声処理部と、前記撮像部、前記集音部及び前記音声処理部を備えた装置本体と、前記装置本体の姿勢の変化量を検出する検出部と、前記検出部により検出される前記装置本体の姿勢の変化量に基づいて、前記音声処理部における処理の設定を変更する集音制御部と、を備えたことを特徴とする。

また、前記撮像部により第１画像を取得する時に、前記集音部により取得された音声に基づいて、前記撮像範囲に含まれる前記発音体の領域を特定する特定部と、前記第１画像の取得から所定時間間隔を空けて取得された第２画像に対して、前記特定部により特定された前記発音体の領域を用いて、前記第２画像における前記発音体の位置を推定する推定部と、を備え、前記集音制御部は、前記推定部により推定される前記発音体の位置に基づいて、前記集音処理部における処理の設定を変更することを特徴とする。

また、前記集音制御部は、前記複数のマイクロホンの集音特性を変更することが可能であり、前記特定部は、前記複数のマイクロホンの集音特性を変更することで得られる音声に基づいて、前記撮像範囲に含まれる前記発音体の領域を特定することを特徴とする。

また、前記音声処理部は、前記複数のマイクロホンにより取得される音声のそれぞれに対して遅延制御を行う遅延回路と、前記遅延回路により遅延制御が行われた音声を加算する加算回路と、から構成されることを特徴とする。

また、前記集音制御部は、前記遅延回路にて実行される前記遅延制御における遅延特性をマイクロホン毎に変更することを特徴とする。

本発明によれば、装置自体の姿勢が変化しても適切な音声情報を取得することができる。

本発明の撮像装置の電気的構成の一例を示す図である。 図２（ａ）は音声の伝播方向とマイクロホンの配置面とが直交する場合を示し、図２（ｂ）は図２（ａ）の状態から筐体がＹ方向を中心に角度θ傾いた場合を示す図である。 音声を取得する処理の流れを示すフローチャートである。 被写体を追尾する場合の音声を取得する処理の流れを示すフローチャートである。

以下、本発明を用いた撮像装置について説明する。図１に示すように、撮像装置１０は、撮像光学系１５と、撮像素子１６と、レンズ駆動回路１７と、撮像素子駆動回路１８と、Ａ／Ｄ変換器１９と、画像メモリ２０と、画像処理回路２１と、圧縮／伸長回路２２と、記録用Ｉ／Ｆ２３と、表示制御回路２５と、モニタ２６と、振れ検出センサ２７と、集音部３１と、Ａ／Ｄ変換器３２と、集音処理回路３３と、集音制御回路３４と、音声メモリ３５と、ＣＰＵ３９と、内蔵メモリ４０と、レリーズボタン４１と、操作部４２とから構成される。

なお、Ａ／Ｄ変換部１９、画像メモリ２０、画像処理回路２１、圧縮／伸長回路２２、記録用Ｉ／Ｆ２３、表示制御回路２５、振れ検出センサ２７、集音処理回路３３、音声メモリ３５、ＣＰＵ３９及び内蔵メモリ４１は、バス４３を介して電気的に接続される。

この撮像装置１０は、記録用Ｉ／Ｆ２３を介して記憶媒体４４を装着させることが可能である。この記憶媒体４４としては、例えばメモリカード、小型ハードディスク、ＤＶＤなどの光ディスクなどが挙げられるが、例えば外付け用のハードディスクなど、撮像装置１０の外部に設けられるものであってもよい。

撮像光学系１５は、複数のレンズから構成され、撮像素子１６の撮像面上に被写体像を結像させる。この撮像光学系１５は、不図示のフォーカスレンズとズームレンズとを含む。フォーカスレンズはレンズ駆動回路１７により光軸（Ｌ）方向に進退駆動されることで、撮像光学系１５におけるフォーカス調節が行われる。また、ズームレンズもレンズ駆動回路１７により光軸（Ｌ）方向に進退駆動されることで、撮像光学系１５のズーム調節が行われる。このレンズ駆動回路１７は、ＣＰＵ３９から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、発生したレンズ駆動信号で不図示のレンズ駆動機構を駆動することにより、撮像光学系１５の各レンズを移動させる。

この撮像光学系１５は、さらに振れ検出センサ２７の出力に基づいて、複数のレンズのうちの所定のレンズを、不図示の駆動機構を用いて、撮影光学系１５の光軸（Ｌ）に対して垂直方向に駆動する。これにより、撮像素子１６上に結像される被写体の位置をシフトさせる、所謂振れ補正を行うことができる。なお、上記のような複数のレンズのうちの所定のレンズを、撮像光学系１５の光軸（Ｌ）に対して垂直方向に駆動する構成にかえて、可変頂角プリズムを用いて、撮像素子１６上に結像される被写体の位置をシフトさせる構成としてもよい。また、上記のような複数のレンズのうちの所定のレンズを撮像光学系１５の光軸（Ｌ）に対して垂直方向に駆動する構成にかえて、撮像素子１６を撮像光学系１５の光軸（Ｌ）に垂直な面内で駆動する構成としてもよい。

撮像素子１６は、静止画像の単写撮像とともに、静止画像の連続撮像、および動画像の撮像が可能である。撮像素子１６は、例えばＣＣＤ撮像素子あるいはＣＭＯＳ型撮像素子などによって構成される。撮像素子駆動回路１８は、ＣＰＵ３９から出力される指令に応じて所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子１６へ供給する。撮像素子１６は、供給された駆動信号によって電荷蓄積（撮像）や蓄積電荷の読み出しが制御される。ＣＰＵ３９は、被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて撮像素子１６の電荷蓄積時間、撮像光学系１５における絞り、および撮像素子１６より出力される画像信号の増幅度などを決定する。なお、被写界の明るさの情報は、撮像素子１６から出力される信号から求める構成であっても、不図示の測光センサより出力される信号から求める構成であってもよい。この撮像素子１６から読み出された画像信号は、Ａ／Ｄ変換部１９にて、アナログの画像信号からデジタルの画像信号に変換された後、画像メモリ２０に書き込まれる。

画像処理回路２１は、ＣＰＵ３９からの指令に応じて入力信号に対して、色補間、ホワイトバランス、ガンマ変換等の画像処理を施す。この画像処理後のデータが画像データとなる。この画像処理回路２１は、モニタ２６に再生画像を表示させるために必要な解像度変換（画素数変換）処理を画像データに施し、解像度変換処理後の画像データを表示制御回路２５へ出力する。なお、電子ズーム処理を行う際にも、画像処理回路２１は画像データに対して解像度（画素数）変換処理を施す。

圧縮／伸長回路２２は、ＣＰＵ３９からの指令に応じて、画像処理回路２１から入力される画像データに対して所定の形式で圧縮処理を施す。なお、操作部４２で画像データの非圧縮での記録が指示された場合、圧縮／伸長回路２２は圧縮処理を行わない。

また、この撮像装置１０においては、記憶媒体４４に記録されている画像データによる再生画像をモニタ２６に表示することが可能に構成されている。この場合、圧縮／伸長回路２２は、ＣＰＵ３９からの指令に応じて記憶媒体４４に記録されている画像データを読み出し、読み出したデータに対して復号化処理を施した上で復号化後のデータを画像処理回路２１へ出力する。画像処理回路２１は、圧縮／伸長回路２２により復号化されたデータに対して解像度変換処理を施し、表示制御回路２５へ出力することにより、再生画像がモニタ２６に表示される。なお、記憶媒体４４に記録されている非圧縮の画像データが読み出された場合には、圧縮処理の逆処理である復号化処理は行われない。なお、圧縮／伸長回路２２は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。

表示制御回路２５は、ＣＰＵ３９からの指令に応じて、画像処理回路２１から入力される画像データに所定の信号処理を施してモニタ２６へ出力する。表示制御回路２５は、さらに、上記画像データに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、オーバーレイ画像が重畳された被写体画像がモニタ２６に表示される。なお、モニタ２６としては、ＬＣＤやＥＬディスプレイ、或いはＣＲＴディスプレイなどが挙げられる。

振れ検出センサ２７は、例えば角速度センサ、ジャイロセンサ等で構成される。この振れ検出センサ２７は、撮像装置１０の筐体（装置本体）１０ａの内部に設けられ、筐体１０ａの振れや姿勢の変化を検出する。例えばレリーズボタン４１の操作に基づいて、撮像装置１０の筐体に振れが発生したときに、振れ検出センサ２７は撮像装置１０の筐体に発生する振れを検知する。そして、振れ検出センサ２７は、振れ量データをＣＰＵ３９に出力する。ＣＰＵ３９は、筐体１０ａの振れに伴う撮像素子１６の撮像面上に結像される被写体像の移動が打ち消されるように、撮像光学系１５に内蔵される手振れ補正光学系を、レンズ駆動回路１７を介して駆動する。これによって所謂振れ補正が実現される。なお、上記の振れ補正は、スルー画像の撮像動作中、静止画像、動画像の撮像動作中に実行される。以下、撮像装置１０の筐体１０ａの姿勢の変化を、筐体１０ａの姿勢の変化と称する。

集音部３１は、複数のマイクロホンから構成される。これら複数のマイクロホンは、撮像装置１０の前面に配置される。なお、本実施形態では、３つのマイクロホン３１ａ，３１ｂ，３１ｃから集音部３１が構成される場合について説明する。なお、これらマイクロホン３１ａ，３１ｂ，３１ｃには、例えば単一指向性のマイクロホンがそれぞれ用いられる。集音部３１の各マイクロホン３１ａ，３１ｂ，３１ｃから出力される音声信号は、ノイズ除去及び増幅された後、Ａ／Ｄ変換部３２に入力される。Ａ／Ｄ変換部３２は、マイクロホン３１ａ，３１ｂ，３１ｃのそれぞれに対応して設けられる（図中符号３２ａ、３２ｂ、３２ｃ）。これらＡ／Ｄ変換部３２ａ，３２ｂ，３２ｃは、各マイクロホン３１ａ，３１ｂ，３１ｃから出力される音声信号をデジタル変換し、集音処理回路３３に出力する。

集音処理回路３３は、遅延回路４５ａ，４５ｂ，４５ｃ及び加算回路４６を備えている。遅延回路４５ａ，４５ｂ，４５ｃは、マイクロホン３１ａ，３１ｂ，３１ｃのそれぞれに対応して設けられる。これら遅延回路４５ａ，４５ｂ，４５ｃは、集音処理回路３３に入力される音声信号を遅延処理する。各遅延回路４５ａ，４５ｂ，４５ｃから出力される音声信号は、被写体までの距離に応じて増幅された後、加算回路４６に出力される。なお、被写体までの距離は、例えば撮影時に、図示を省略した測距センサなどを用いて求めることができる。

加算回路４６は、入力される音声信号を加算する。これにより、特定方向の音声を強調した音声データが生成される。この音声データは、音声メモリ３５に格納される。この音声メモリ３５に格納された音声データは圧縮された後、圧縮された画像データとともに音声付き画像ファイルとして記憶媒体４４に記録される。

集音制御回路３４は、振れ検出センサ２７により検出された筐体１０ａの姿勢が変化する方向や強調する音声の方向に基づいて、各遅延回路４５ａ，４５ｂ，４５ｃを遅延制御する。

レリーズボタン４１や操作部４２は、その操作時に、操作内容に応じた操作信号をＣＰＵ３９へ出力する。ＣＰＵ３９は、レリーズボタン４１の押下操作に基づくレリーズ操作信号が入力されると、撮像素子１６から読み出される画像信号の中で、撮像画面内に予め設定されているフォーカス検出領域に対応する信号を用いて公知のコントラスト方式のＡＦ（オートフォーカス）動作を行う。

具体的には、画像処理回路２１によって画像処理された画像データのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、レンズ駆動指令（フォーカス調節信号）をレンズ駆動回路１７へ送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１６によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。なお、上記コントラスト方式のＡＦ動作に加えて、公知の瞳分割方式による位相差ＡＦ動作を行うように構成してもよい。

操作部４２はズーム操作部を備えている。ＣＰＵ３９は、ズーム操作に基づくズーム操作信号が操作部４２から入力されると、上述したレンズ駆動指令を発生し、レンズ駆動回路にズームレンズを進退駆動させる。これにより、撮像素子１６の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。

ＣＰＵ３９はさらに、ズーム操作に基づくズーム操作信号が操作部４２から入力されると画像処理回路２１へ指令を出力し、画像データに対する解像度変換処理の変換比率を操作信号に応じて変化させる。これにより、モニタ２６に表示される画像が拡大もしくは縮小し、電気的にズーム調節される（電子ズーム）。解像度変換比率は電子ズーム倍率に対応している。画像処理回路２１が電子ズーム倍率を高める方向に解像度変換比率を変える場合、再生画像の一部が拡大されてモニタ２６に表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。反対に、画像処理回路２１が電子ズーム倍率を低くする方向に解像度変換比率を変える場合、モニタ２６に表示される再生画像の拡大率が下がる反面、再生画像の表示範囲は広くなる。

内蔵メモリ４１は、ＣＰＵ３９によって実行される制御プログラムや該制御プログラムを実行したときに使用されるデータなどが記憶される。

次に、筐体１０ａの姿勢が変化したときに取得される音声の遅延量について、図２を用いて説明する。以下では、被写体が撮像光学系１５の光軸（Ｌ）上に位置するものとし、また、各マイクロホン３１ａ，３１ｂ，３１ｃはｘ方向に一定間隔を空けて配置されているものとして説明する。

以下、被写体までの距離が遠く、被写体が発する音声が撮像装置１０に設けられたマイクロホン３１ａ，３１ｂ，３１ｃに平行に入射する場合について説明する。図２（ａ）に示すように、例えば集音部３１を構成するマイクロホン３１ａ，３１ｂ，３１ｃのそれぞれに到達する音波の伝播方向がマイクロホン３１ａ，３１ｂ，３１ｃの配置面Ｐ（図中二点鎖線）と直交する場合、ある瞬間に被写体の発する音声による音波は各マイクロホン３１ａ，３１ｂ，３１ｃに同時に到達する。

図２（ｂ）は、マイクロホン３１ａ，３１ｂ，３１ｃの配置面Ｐが図２中Ｐ’に示す位置まで、つまり撮像装置１０の筐体１０ａがｙ方向を中心にして図中時計方向に角度θ傾いた場合を示している。この場合、各マイクロホン３１ａ，３１ｂ，３１ｃに到達する音声はマイクロホン３１ａ，３１ｂ，３１ｃの配置面Ｐと直交する方向に対して角度θ傾く。つまり、各マイクロホン３１ａ，３１ｂ，３１ｃに入射する音声は、各マイクロホン３１ａ，３１ｂ，３１ｃに到達するまでの距離（以下、伝播距離）に差が生じる。この伝播距離の差により、ある時刻において各マイクロホン３１ａ，３１ｂ，３１ｃにて取得される音声信号は、それぞれ異なる時刻に、被写体から発せられた音声によるものとなり、その出力レベルが異なる。

例えば中央に位置するマイクロホン３１ｂに到達する音声の伝播距離と図２中左方に位置するマイクロホン３１ａに到達する音声の伝播距離との差をＡとし、これらマイクロホン３１ａ，３１ｂの間隔をＤとすると、これらマイクロホン３１ａ，３１ｂに到達する音声の伝播距離の差Ａは、Ａ＝Ｄ×ｓｉｎθとなる。マイクロホン３１ａ，３１ｂに音声が到達する時間の差（遅延時間）ΔＴは、ΔＴ＝Ａ／Ｖ＝（Ｄ×ｓｉｎθ）／Ｖ（Ｖ：音速）となる。なお、音声は、中央のマイクロホン３１ｂよりも先に左側のマイクロホン３１ａに到達する。つまり、中央のマイクロホン３１ｂを基準にして考えた場合、左方のマイクロホン３１ａにおける遅延時間は−ΔＴとなる。

また、中央のマイクロホン３１ｂと右方のマイクロホン３１ｃについて考えると、これらマイクロホン３１ｂ，３１ｃの位置関係は、左方のマイクロホン３１ａと中央のマイクロホン３１ｂとの位置関係と同一である。また、音声は、中央のマイクロホン３１ｂに到達した後に、右方のマイクロホン３１ｃに到達する。つまり、中央のマイクロホン３１ｂを基準にした場合、右方のマイクロホン３１ｃにおける遅延時間はΔＴとなる。

このように、遅延時間を算出し、算出された遅延時間に基づいて各マイクロホン３１ａ，３１ｂ，３１ｃにて得られる音声信号を遅延回路４５ａ，４５ｂ，４５ｃにて遅延処理することで、遅延回路４５ａ，４５ｂ，４５ｃの各出力で、同一時刻に被写体より発生された音声の信号を同時に得ることができ、各マイクロホン３１ａ，３１ｂ，３１ｃにて得られる音声信号の出力レベルが、同一の出力レベルになる。なお、角度θは、振れ検出センサ２７の検出信号から取得することができる。

なお、図２においては、中央のマイクロホン３１ｂを基準にしているが、これに限定する必要はなく、左方のマイクロホン３１ａ、又は右方のマイクロホン３１ｃを基準にしてもよい。

次に、音声を取得するときの処理の流れを、図３のフローチャートに基づいて説明する。このフローチャートでは、便宜上、撮像装置１０の撮像光学系１５の光軸（Ｌ）上に音声を発する被写体が位置している場合について説明する。

ステップＳ１０１は、音声を取得する処理である。このステップＳ１０１を行うことで、被写体の発する音声が集音部３１を構成する各マイクロホン３１ａ，３１ｂ，３１ｃによって取得され、マイクロホン３１ａ，３１ｂ，３１ｃから音声信号がそれぞれ出力される。

ステップＳ１０２は、筐体の姿勢の変化があるか否かを判定する処理である。筐体１０ａの姿勢の変化は振れ検出センサ２７によって検出され、その検出信号がＣＰＵ３９に入力される。ＣＰＵ３９は、この振れ検出センサ２７からの検出信号に基づいて筐体１０ａの姿勢の変化があったか否かを判定する。振れ検出センサ２７からの検出信号がＣＰＵ３９に入力される場合、又は、振れ検出センサ２７からの検出信号が筐体１０ａの姿勢の変化があった旨を示す信号の場合、ＣＰＵ３９は、このステップＳ１０２の判定処理をＹｅｓとする。この場合、ステップＳ１０３に進む。一方、振れ検出センサ２７からの検出信号がＣＰＵ３９に入力されない場合、又は、振れ検出センサ２７からの検出信号が、筐体１０ａの姿勢の変化がない旨を示す信号の場合、ＣＰＵ３９は、このステップＳ１０２の判定処理をＮｏとする。この場合、ステップＳ１０７に進む。

ステップＳ１０３は、筐体の姿勢の変化量を算出する処理である。ＣＰＵ３９は、振れ検出センサ２７からの検出信号を用いて、筐体１０ａの姿勢の変化量を示す角度θを算出する。ＣＰＵ３９は、算出した角度θを集音制御回路３４に出力する。

ステップＳ１０４は、マイクロホン毎の遅延時間を算出する処理である。例えば中央のマイクロホン３１ｂを基準にした場合、集音制御回路３４は、ＣＰＵ３９から入力される角度θを用いて、マイクロホン３１ａ及びマイクロホン３１ｃに到達する音声の遅延時間を算出する。

ステップＳ１０５は、遅延時間に基づいた音声信号の遅延処理である。ステップＳ１０４にて、マイクロホン３１ａ及びマイクロホン３１ｃにより取得される音声の遅延時間が算出されているので、この遅延時間に基づいて、遅延回路４５ａ，４５ｂ，４５ｃを制御する。これにより、マイクロホン３１ａ，３１ｃにより取得された音声信号が遅延処理され、各マイクロホン３１ａ，３１ｂ，３１ｃにより取得される音声信号の出力レベルが同一となる。なお、マイクロホン３１ｂを基準としていることから、マイクロホン３１ｂにより取得される音声信号に対しては、遅延処理は実行されない。

ステップＳ１０６は、遅延処理された音声信号を加算する処理である。ステップＳ１０７にて遅延処理された音声信号は、加算回路４６に入力される。加算回路４６は、これら音声信号を加算処理する。これにより、強調処理された音声データが生成される。なお、この加算回路４６によって強調処理された音声データは、音声メモリ３５に格納される。

一方、ステップＳ１０２において、ＣＰＵ３９により筐体１０ａの姿勢の変化がないと判定された場合は、ステップＳ１０７に進む。

ステップＳ１０７は、音声信号の加算処理である。このステップＳ１０７は、撮像装置１０の筐体１０ａの姿勢に変化がないときに実行される。この場合、各マイクロホン３１ａ，３１ｂ，３１ｃに到達する音声の伝播方向は、各マイクロホン３１ａ，３１ｂ，３１ｃの配置面Ｐに直交していることから、音声は遅延せずに各マイクロホン３１ａ，３１ｂ，３１ｃに到達する。この場合には、各マイクロホン３１ａ，３１ｂ，３１ｃにて取得される音声信号は、そのまま加算処理される。これにより、強調処理された音声データが生成される。なお、このステップＳ１０７の処理が終了すると、リターンとなり、ステップＳ１０１の処理が引き続き実行される。

このように、筐体１０ａの姿勢の変化が振れ検出センサ２７により検出された場合には、姿勢の変化量である角度θが算出され、取得された音声信号に対する遅延時間が設定される。これにより、筐体１０ａの姿勢が変化した場合でも、音声信号を適切に取得することが可能となる。

本実施形態では、姿勢１０ａの姿勢の変化に基づいて、取得される音声信号を遅延制御する基本的な例を説明している。近年の撮像装置１０においては、撮像範囲内で移動する被写体を追尾する機能を有している撮像装置が提供されている。このような被写体を追尾している際に、筐体の姿勢が変化する場合の処理について、図４のフローチャートに基づいて説明する。以下、撮像装置の構成は、図１に示す撮像装置１０の構成と同一の構成であることから、同一の符号を付して説明する。

ステップＳ２０１は、レリーズボタンの半押し操作があるか否かを判定する処理である。撮影者によりレリーズボタン４１が半押し操作されると、該半押し操作に基づく操作信号（以下、半押し操作信号）がＣＰＵ３９に入力される。このステップＳ２０１において、ＣＰＵ３９は、半押し操作信号が入力されたか否かを判定する。半押し操作信号が入力された場合、ＣＰＵ３９は、ステップＳ２０１の判定処理をＹｅｓとし、ステップＳ２０２に進む。一方、半押し操作信号が入力されない場合には、ＣＰＵ３９は、ステップＳ２０１の判定処理をＮｏとし、半押し操作信号が入力されたと判定される（ステップＳ２０１の判定処理がＹｅｓとなる）まで、このステップＳ２０１の判定処理を繰り返す。

ステップＳ２０２は、スルー画像を撮像する処理である。ステップＳ２０１により、半押し操作信号が入力されたと判定されていることから、ＣＰＵ３９は上述したＡＦ動作を伴ったスルー画像の撮像処理を実行する。なお、スルー画像の撮像処理については、周知であることから、ここでは、説明を省略する。

ステップＳ２０３は、音声を取得する処理である。集音部３１の各マイクロホン３１ａ，３１ｂ，３１ｃにより被写界内に存在する音声が取得される。

ステップＳ２０４は、音声を発する領域（被写体の存在領域）を特定する処理である。このステップＳ２０４では、集音制御回路３４により集音部３１の集音特性を変更させながら、被写界内で発する音声を取得する。なお、集音部３１の集音特性とは、例えば集音部３１を構成するマイクロホン全体の指向性（集音部３１による集音方向）が挙げられる。遅延回路４５ａ，４５ｂ，４５ｃの遅延量の設定を変更することで、集音部３１の集音指向性を変更することができる。先に説明した図２（ｂ）の例では、遅延回路４５ｃの遅延量を基準とした場合、遅延回路４５ｂの遅延量を＋ΔＴ、遅延回路４５ａの遅延量を＋（２×ΔＴ）に設定することで、レンズ光軸Ｌより紙面上で左に角度θ傾いた方向に集音指向性を持たせることができる。

一方、遅延回路４５ａの遅延量を基準として，遅延回路４５ｂの遅延量を＋ΔＴ、遅延回路４５ｃの遅延量を＋（２×ΔＴ）に設定することで、レンズ光軸Ｌより紙面上で右に角度θだけ傾いた方向に集音指向性を持たせることができる。上記において、ΔＴの値を大きくすることで、角度θの値を大きくすることができる。

ＣＰＵ３９は、遅延回路の遅延量の設定を順次変更して、被写界内の集音方向を変更しつつ，スルー画像の撮像を行い、ＣＰＵ３９は、取得される音声信号の出力レベルにより、音声が発する方向と集音部３１による集音領域とから、撮影画面上で音声を発する領域を特定する。なお、音声を発する領域とは、音声を発する被写体が存在する領域である。以下、音声を発する領域にいては、被写体の存在領域と称する。この被写体の存在領域が特定されることで、スルー画像中の該領域の位置を示す情報が取得される。例えば撮像画面中（被写界中）で、一番大きな音声を発する被写体を特定するためには、ＣＰＵ３９は、遅延回路４５ａ，４５ｂ，４５ｃの遅延量を所定時間固定して、加算回路４６の出力を用いて所定方向から到来する単位時間当たりの平均音量を求める。ＣＰＵ３９は、遅延回路４５ａ，４５ｂ，４５ｃの設定を変更し、撮像画面内の各領域の単位時間あたりの平均音量を求め、最も大きな音量の検出された領域を特定する。画像処理回路２１は、当該領域に対応する被写体の存在領域を示すテンプレート画像を、スルー画像を用いて生成する。なお、予め被写体が発する音声の特徴量を取得している場合には、この音声の特徴量と略一致する音声を発する領域を被写体の存在領域として求めればよい。

ステップＳ２０５は、所定時間経過したか否かを判定する処理である。ＣＰＵ３９は、ステップＳ２０２の処理を実行してからの経過時間を計時している。ＣＰＵ３９は、例えばスルー画像の取得時のフレームレートに基づいた時間が経過したときに、このステップＳ２０５の判定処理をＹｅｓとし、ステップＳ２０６に進む。スルー画像の取得時のフレームレートに基づいた時間が経過していないときには、ＣＰＵ３９は、ステップＳ２０５の処理をＮｏとする。この場合、スルー画像の取得時のフレームレートに基づいた時間が経過するまで、ステップＳ２０５の判定処理が繰り返し実行される。

ステップＳ２０６は、スルー画像を撮像する処理である。このステップＳ２０６の処理は、ステップＳ２０２が実行されてから、スルー画像の取得時のフレームレートに基づいた時間経過したときに実行される。なお、このステップＳ２０６の処理は、ステップＳ２０２と同一である。

ステップＳ２０７は、ステップＳ２０６の時点で撮像されたスルー画像上の被写体の存在領域を推定する処理である。ステップＳ２０４により、テンプレート画像が生成されているので、画像処理回路２１は、ステップＳ２０６にて得られたスルー画像と、テンプレート画像とを用いたテンプレートマッチングの手法により、ステップＳ２０６で取得されたスルー画像上での被写体の存在領域を推定する。なお、ステップＳ２０４にて、スルー画像中における被写体の存在領域の位置を示す情報が取得されているので、被写体の存在領域の位置を示す情報を用いて、該領域の周辺部に対してのみテンプレートマッチングを行えばよい。これにより、被写体の存在領域が推定され、推定された被写体の存在領域の位置を示す情報が取得される。このような処理により、特定の音声を発する被写体を、各フレームおいて先に説明したような音声到来方向の分析を行うことなく、特定することができる。

ステップＳ２０８は、筐体の姿勢の変化があるか否かを判定する処理である。このステップＳ２０８の処理は、ステップＳ１０２と同一の処理である。振れ検出センサ２７からの検出信号がＣＰＵ３９に入力される場合、又は、振れ検出センサ２７からの検出信号が筐体１０ａの姿勢の変化があった旨を示す信号の場合、ＣＰＵ３９は、このステップＳ２０８の判定処理をＹｅｓとする。この場合、ステップＳ２０９に進む。一方、振れ検出センサ２７からの検出信号がＣＰＵ３９に入力されない場合、又は、振れ検出センサ２７からの検出信号が、筐体１０ａの姿勢の変化がない旨を示す信号の場合、ＣＰＵ３９は、このステップＳ２０８の判定処理をＮｏとする。この場合、ステップＳ２１１に進む。
ステップＳ２０９は、筐体の姿勢の変化量を算出する処理である。このステップＳ２０９の処理は、ステップＳ１０３と同一である。ＣＰＵ３９は、算出された筐体１０ａの姿勢の変化量を示す情報を集音制御回路３４に出力する。

ステップＳ２１０は、被写体の存在領域の位置及び姿勢の変化量に基づいてマイクロホン毎の遅延時間を算出する処理である。ＣＰＵ３９は、ステップＳＳ２０７の処理を実行することで、被写体の存在領域の位置が推定されているので、ＣＰＵ３９は、被写体の存在領域の位置、画像のサイズ、焦点距離及び被写体までの距離を示す情報を集音制御回路３４に出力する。集音制御回路３４は、ステップＳ２０９にて算出された筐体１０ａの姿勢の変化量と、このステップＳ２１０にて入力された被写体の存在領域の位置、画像のサイズ、焦点距離及び被写体までの距離を示す情報を用いて、各マイクロホン３１ａ，３１ｂ，３１ｃの遅延時間を算出する。

ステップＳ２１１は、被写体の存在領域の位置に基づいてマイクロホン毎の遅延時間を算出する処理である。ステップＳ２１０と同様に、ＣＰＵ３９は、被写体の存在領域の位置、画像のサイズ、焦点距離及び被写体までの距離を示す情報を集音制御回路３４に出力する。この場合には、筐体１０ａの姿勢は変化していないことから、集音制御回路３４は、被写体の存在領域の位置、画像のサイズ、焦点距離及び被写体までの距離を示す情報を用いて、各マイクロホン３１ａ，３１ｂ，３１ｃの遅延時間を算出する。

ステップＳ２１２は、レリーズボタンの全押し操作があるか否かを判定する処理である。撮影者によりレリーズボタン４１が全押し操作されると、該全押し操作に基づく操作信号（以下、全押し操作信号）がＣＰＵ３９に入力される。このステップＳ２１２において、ＣＰＵ３９は、全押し操作信号が入力されたか否かを判定する。全押し操作信号が入力された場合、ＣＰＵ３９は、ステップＳ２１２の判定処理をＹｅｓとし、ステップＳ２１３に進む。全押し操作信号が入力されない場合には、ＣＰＵ３９は、ステップＳ２１２の判定処理をＮｏとし、ステップＳ２０５に戻る。つまり、この場合には、レリーズボタン４１の全押し操作が行われるまで、ステップＳ２０５〜ステップＳ２１１の処理が繰り返し実行される。

ステップＳ２１３は、静止画像を撮像する処理である。ＣＰＵ３９は、レリーズボタン４１からの全押し操作信号を検出すると、撮像素子駆動回路１８へ指示を送り、静止画像の撮像動作を実行するための駆動信号を出力させる。撮像素子１６は、静止画像の撮像動作のための駆動信号を受けて、露出演算結果に基づく電荷蓄積を行って蓄積電荷を出力する。静止画像の撮像動作時の露出条件は、直近で得られたスルー画像の信号値に基づく被写界の明るさ情報に基づいて決定される。画像処理回路２１は入力された信号に上述した信号処理を施し、スルー画撮影時に比べて高解像度（高画素数）の画像データを生成する。そして、この画像データは圧縮／伸長回路２２により、所定の圧縮形式で圧縮処理される。
画像処理回路２１により解像度変換処理を施した画像データは表示制御回路２５へ出力される。これにより、静止画像がモニタ２６に表示される。

ステップＳ２１４は、音声を取得する処理である。このステップＳ２１２の処理は、ステップＳ２０３と同一の処理である。

ステップＳ２１５は、遅延時間に基づいた音声の遅延処理である。ステップＳ２１０の処理、又はステップＳ２１１の処理を実行することで、各マイクロホン３１ａ，３１ｂ、３１ｃにて取得される音声信号の遅延時間が算出される。集音制御回路３４は、この遅延時間を用いて、各遅延回路４５ａ，４５ｂ，４５ｃを介して、各マイクロホン３１ａ，３１ｂ、３１ｃにて取得される音声信号を遅延処理する。

ステップＳ２１６は、遅延処理された音声の加算処理である。ステップＳ２１５にて遅延処置された音声信号は、被写体までの距離に応じて増幅された後、加算回路４６に出力される。加算回路４６は、これら音声信号を加算処理する。これにより、強調処理された音声データが生成される。なお、この音声データは図示を省略した音声用の圧縮／伸長回路により圧縮され、音声メモリ３５に格納される。

ステップＳ２１７は、静止画像及び音声を記録する処理である。ＣＰＵ３９は、ステップＳ２１３にて得られた静止画像データと、ステップＳ２１６にて加算処理された音声データとを互いに関連付けて記憶媒体４４に記憶する。

このように、被写体を追尾する場合であっても、姿勢１０ａの姿勢の変化に基づいて、集音部３１の各マイクロホン３１ａ，３１ｂ，３１ｃにて得られる音声信号に対して遅延処理を行うことができる。これにより、姿勢１０ａの姿勢の変化があっても、適切な音声信号を取得することができる。

上述した実施形態では、静止画像を取得する際のスルー画像に含まれる被写体を追尾する場合について説明しているが、これに限定される必要はなく、動画像の撮影時も、本発明を実施することが可能である。

上述した実施形態においては、被写体が撮像光学系１５の光軸（Ｌ）上に位置している場合に、撮像装置１０の筐体１０ａの姿勢がｙ方向を中心にして角度θ傾いた場合について説明しているが、これに限定されるものではなく、撮像装置１０の筐体１０ａの姿勢がｘ方向を中心にして変化した場合や、これら組み合わせた方向を中心にして姿勢が変化する場合にも適用できる。この場合、ｘ方向及びｙ方向にマトリクス状に、集音部３１を構成するマイクロホンを複数配置してもよいし、３つのマイクロホンのそれぞれを、例えば撮像装置１０の前面の４隅のうちの３箇所に配置してもよい。このような場合、ｘ方向、ｙ方向を中心として回転した場合の角度θ_x，角度θ_yをそれぞれ求め、求めた角度に基づいて各マイクロホンの遅延時間を算出すればよい。

本実施形態では、振れ検出センサ２７にて筐体１０ａの姿勢の変化量を算出し、算出された姿勢の変化量に基づいて取得される音声信号を遅延処理しているが、これに限定されるものではない。例えば撮像装置を所定の方向に回転させることが可能な回転装置に設置し、該回転装置によって撮像装置を回転させる場合には、該回転装置から撮像装置の回転角度を取得し、取得した回転角度に応じた遅延制御をすることが可能となる。

１０…撮像装置、１５…撮像光学系、１６…撮像素子、２０…画像メモリ、２１…画像処理回路、２７…振れ検出センサ、３１…集音部、３１ａ，３１ｂ，３１ｃ…マイクロホン、３２…Ａ／Ｄ変換部、３３…集音処理回路、３４…集音制御回路、３５…音声メモリ、３９…ＣＰＵ、４５ａ，４５ｂ，４５ｃ…遅延回路、４６…加算回路

Claims (5)

1. 被写界を撮像することで画像を取得する撮像部と、
   複数のマイクロホンを備え、前記被写界に含まれる発音体が発する音声を前記複数のマイクロホン毎に取得可能な集音部と、
   前記複数のマイクロホン毎に取得された音声を加算することで、前記発音体が発する音声を処理する集音処理部と、
   前記撮像部、前記集音部及び前記集音処理部を備えた装置本体と、
   前記装置本体の姿勢の変化量を検出する検出部と、
   前記検出部により検出される前記装置本体の姿勢の変化量に基づいて、前記集音処理部における処理の設定を変更する集音制御部と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像部により第１画像を取得する時に、前記集音部により取得された音声に基づいて、前記撮像範囲に含まれる前記発音体の領域を特定する特定部と、
   前記第１画像の取得から所定時間間隔を空けて取得された第２画像に対して、前記特定部により特定された前記発音体の領域を用いて、前記第２画像における前記発音体の位置を推定する推定部と、を備え、
   前記集音制御部は、前記推定部により推定される前記発音体の位置に基づいて、前記集音処理部における処理の設定を変更することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記集音制御部は、前記複数のマイクロホンの集音特性を変更することが可能であり、
   前記特定部は、前記複数のマイクロホンの集音特性を変更することで得られる音声に基づいて、前記撮影範囲に含まれる前記発音体の領域を特定することを特徴とする撮像装置。
4. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
   前記集音処理部は、
   前記複数のマイクロホンにより取得される音声のそれぞれに対して遅延制御を行う遅延回路と、
   前記遅延回路により遅延制御が行われた音声を加算する加算回路と、
   から構成されることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記集音制御部は、前記遅延回路にて実行される前記遅延制御における遅延特性をマイクロホン毎に変更することを特徴とする撮像装置。

Images