JP2009177480A - 撮影装置 - Google Patents

Abstract

【課題】複数の被写体について数多く撮影する場合において、撮影者の作業を軽減することのできる技術を提供する。
【解決手段】撮影装置１には、複数のマイクロホン１５が列状に配置されている。撮影装置１の制御部１１は、マイクロホン１５のそれぞれで収音された音声を表す音声データを解析し、解析結果に応じて音源の方向を推定する。また、制御部１１は、推定した音源方向のそれぞれからの音声の音声データを、照合用データ記憶領域１２１に記憶された照合用データと照合し、その一致度に応じて特定音声の検出の有無を判定する。特定音声が検出されると、制御部１１は、回動機構７０を制御して、撮影装置１の撮影範囲に、特定音声が検出された方向が含まれるように、撮影範囲を変更し、撮影を行う。
【選択図】図１

Description

本発明は、撮影を行う技術に関する。

静止画や動画を撮影するデジタルカメラ等の撮影装置において、撮影を好適に行うための技術が種々提案されている。例えば特許文献１には、カメラ本体に外付け可能な装置から撮影距離データと誤差データとをカメラ本体に伝えることにより、撮影距離データの誤差を考慮してより正確な制御を行う技術が提案されている。また、近年では、被写体を自動追尾して撮影する装置も提案されている。例えば特許文献２に記載の技術では、撮影用カメラによって撮影された被写体の３次元空間内の位置を計測し、計測結果に基づいて被写体の動きを解析して撮影用カメラを駆動制御する技術が提案されている。
特開平５−１８８２６９号公報 特開平９−３２２０５２号公報

ところで、多数の人が集まるパーティの会場や運動会等においては、複数の被写体を数多く撮影することが多い。このような場合に、撮影者は、被写体に対してカメラを向けたりピントを合わせたりといった作業を撮影回数だけ行う必要があり、その作業は煩雑であった。特に、撮影に不慣れな者が撮影を行う場合には、カメラの向きを変えたりピントを合わせたりといった撮影に係る作業に時間を要することが多く、また、ピントを合わせたりといった作業を好適に行うことが出来ずに撮影に失敗することもあった。

本発明は上述した背景の下になされたものであり、複数の被写体について数多く撮影する場合において、撮影者の作業を軽減することのできる技術を提供することを目的とする。

上記課題を解決するために、本発明の好適な態様である撮影装置は、撮影範囲が設定され、該撮影範囲内の映像を表す映像データを出力する撮影手段と、前記撮影手段の周囲でマイクロホン毎に収音し、音声データとして出力する複数のマイクロホンと、前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて発音の有無を判定する発音有無判定手段と、前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて音源の方向を推定する推定手段と、前記発音有無判定手段により発音有りと判定されたときに、前記推定手段により推定された前記音源の方向を報知する報知手段とを具備することを特徴とする。

また、本発明の別の好適な態様である撮影装置は、撮影範囲が設定され、該撮影範囲内の映像を表す映像データを出力する撮影手段と、前記撮影手段の周囲でマイクロホン毎に収音し、音声データとして出力する複数のマイクロホンと、前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて発音の有無を判定する発音有無判定手段と、前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて音源の方向を推定する推定手段と、前記発音有無判定手段により発音有りと判定されたときに、前記撮影手段の前記撮影範囲を、前記方向推定手段により推定された音源の方向を含む範囲に変更する撮影範囲変更手段とを具備することを特徴とする。

上述の態様において、前記撮影範囲変更手段により前記撮影範囲が変更されたときに、前記撮影手段から出力される映像データを所定の記憶手段に記憶する映像データ記憶制御手段を具備してもよい。

また、上述の態様において、音声の特徴を表す照合用データを記憶する照合用データ記憶手段と、前記マイクロホン毎の音声データから、前記推定手段により推定された方向のそれぞれに対応した方向別音声データを生成する方向別音声データ生成手段とを具備し、前記発音有無検出手段は、前記方向別音声データ生成手段により生成された音声データと前記照合用データ記憶手段に記憶された照合用データとを比較し、その一致度に応じて発音の有無を判定してもよい。

また、上述の態様において、前記照合用データは、特定の個人の声の特徴情報を含んでもよい。
また、上述の態様において、前記方向別音声データ生成手段は、前記推定手段により推定された方向からの音圧が高くなるようにミキシングして方向別音声データを生成してもよい。
また、上述の態様において、前記方向別音声データ生成手段は、独立成分分析を用いて前記音声データから音源に対応する音声データを推定することで特定方向音声データを生成してもよい。

また、上述の態様において、前記推定手段は、前記マイクロホン毎の音声データの相関に基づいて、前記撮影手段の周囲における音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を前記音源の方向として推定してもよい。

また、上述の態様において、前記撮影範囲変更手段は、前記発音有無判定手段により発音有りと判定されたときに、前記撮影手段の前記撮影範囲に前記方向推定手段により推定された音源の方向が含まれるように、前記撮影手段の向きを変更してもよい。

本発明によれば、複数の被写体について数多く撮影する場合において、撮影者の作業を軽減することができる。

以下、図面を参照して、本発明の実施形態について説明する。
＜Ａ：構成＞
図１は、この発明の一実施形態である撮影装置１のハードウェア構成の一例を示すブロック図であり、図２は撮影装置１の外観の一例を示す斜視図である。撮影装置１は、静止画像や動画を撮影する機能を備えた装置であり、例えばデジタルカメラである。図１において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介して撮影装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネル等を備え、制御部１１による制御の下に各種の画像を表示する。操作部１４は、撮影装置１の利用者による操作に応じた信号を制御部１１に出力する。操作部１４は、十字キー（図示略）や、録音を開始・終了させるための録音ボタンＢ１、静止画像の撮影及び動画像の撮影を開始・終了させるための撮影ボタンＢ２等の各種のボタンを備えており、撮影装置１の利用者は、これらのボタンを押下することで、静止画像の撮影や動画像の撮影等の各種の操作を行うことができる。なお、静止画の撮影と動画像の撮影との切替は、撮影装置１に設けられた切替スイッチ（図示略）によって切り替えられるようになっている。

撮影部１８は、撮影用レンズ１８ａ等を備え、撮影し、撮影した映像を表す映像データを出力する。撮影部１８は、撮影用レンズ１８ａを前後に移動させることによって撮影範囲を変更可能である。撮影装置１の利用者は、操作部１４の十字キー等を用いて撮影部１８の撮影範囲を設定できるようになっており、撮影部１８は、操作部１４からの信号に応じて、撮影用レンズ１８ａを移動させて撮影範囲を設定する。なお、本実施形態に係る映像データは静止画像を表すデータや動画像を表すデータを含む。

マイクロホンアレイＭＡは、複数のマイクロホン１５１，１５２，…，１５ｎ（ｎは２以上の自然数）が列状に配置されて構成されている。図２に示すように、撮影装置１の前面（撮影用レンズ１８ａが設けられている面と同じ面）に、複数のマイクロホン１５１，１５２，…，１５ｎが列状に配置されており、これらの複数のマイクロホン１５１，１５２，…，１５ｎは、撮影装置１の周囲で収音する。なお、これら複数のマイクロホン１５１，１５２，…１５ｎは指向性マイクロホンであることが望ましい。以下の説明では、マイクロホン１５１，１５２，…１５ｎを各々区別する必要がない場合には、これらを「マイクロホン１５」と称して説明する。マイクロホン１５は、収音し、収音した音声を表すアナログ信号を音声信号として出力する収音手段である。音声処理部１６は、マイクロホン１５が出力するアナログ信号（音声信号）をＡ／Ｄ変換してデジタルデータ（音声データ）を生成する。また、音声処理部１６は、制御部１１の制御の下、デジタル形式の音声データをＤ／Ａ変換してアナログ信号を生成し、生成したアナログ信号をスピーカ１７に出力する。スピーカ１７は、音声処理部１６から供給されるアナログ信号に応じた強度で放音する放音手段である。

なお、この実施形態では、マイクロホン１５とスピーカ１７とが撮影装置１に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続するとしても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力される音声信号及び音声処理部１６からスピーカ１７へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。表示部１３、操作部１４、撮影部１８についても同様であり、撮影装置１に内蔵される形式であってもよく、外付けされる形式であってもよい。

記憶部１２は、図１に示すように、照合用データ記憶領域１２１と映像データ記憶領域１２２とを有している。照合用データ記憶領域１２１には、音声の特徴（音素の列等）を表す照合用データが記憶されている。この照合用データは、「チーズ」等の、撮影を行う際の掛け声等の音素の列を表すデータであってもよい。この照合用データは、制御部１１が後述する照合処理を行う際に、照合用データとして用いられる。なお、以下の説明では、説明の便宜上、照合用データ記憶領域１２１に記憶された照合用データの表す音声を「特定音声」と称することとする。

映像データ記憶領域１２２には、撮影部１８から出力される映像データが記憶される。制御部１１は、撮影者によって撮影ボタンＢ２が押下されると、操作部１４から出力される信号に応じて、撮影部１８から出力される映像データを映像データ記憶領域１２２に記憶する。

撮影装置１は、図２に示すように、回動機構７０に取り付けられている。回動機構７０は机等の台６１に設置されており、撮影装置１は、回動機構７０によって矢印Ｐ方向に回動可能となっている。図３は、回動機構７０の構成の一例を示す図である。回動機構７０は、図示のように、回動部７１と固定部７２とを有している。回動部７１は撮影装置１に固定される。固定部７２には軸７２１が設けられており、この軸７２１が回動部７１の軸受７１１に差し込まれ、回動部７１は軸７２１で回動可能に支持される。固定部７２には駆動歯車７２２と、この駆動歯車７２２を回転させるモータ７２３とが設けられている。モータ７２３は、制御部１１の制御の下に駆動歯車７２２を回転させる。駆動歯車７２２が回転することにより、駆動歯車７２２とかみ合った受動歯車７１２が回転され、これにより、モータ７２３の駆動により回動部７１が、軸７２１を中心として回転する。
なお、本実施形態では回動機構７０の構成として図３に示すものを例示したが、回動機構７０の構成はこれに限らず、他の構成によって撮影装置１を回動させるものであってもよく、要は、撮影装置１の撮影範囲を移動させるものであればどのようなものであってもよい。

＜Ｂ：動作＞
次に、撮影装置１が行う撮影動作について説明する。撮影装置１は、動画撮影モードと、静止画撮影モードと、静止画自動撮影モード、との３つのモードを切り替えることができる。利用者は、撮影装置１の操作部１４を操作して、撮影モードを切り替えることができる。制御部１１は、操作部１４から出力される信号に応じて、選択されたモードの撮影処理を行う。以下では、静止画自動撮影モードが選択された場合の動作について説明する。なお、動画撮影や静止画撮影の動作については、従来の撮影装置の動作と同様であり、ここではその詳細な説明を省略する。

図４は、撮影装置１が行う撮影処理の流れを示すフローチャートである。撮影者が撮影装置１の電源をオンにして、自動撮影モードを選択することにより、図４に示す処理が開始される。自動静止画撮影モードが選択されると、マイクロホン１５は収音した音声を音声信号に変換し、音声処理部１６へ出力する。音声処理部１６は、マイクロホン１５のそれぞれから出力される音声信号を音声データに変換する。制御部１１は、複数のマイクロホン１５毎の音声データを、所定単位量の角度毎に、各角度からの音声の音圧が高くなるようにミキシングして、角度毎の音声データ（以下、「方向別音声データ」という）を生成する（ステップＳ１）。

次いで、制御部１１は、生成した方向毎の方向別音声データを解析し、解析結果に応じて音源の方向（以下「音源方向」）を推定する（ステップＳ２）。ここでは、制御部１１は、複数のマイクロホン１５のそれぞれから出力された音声信号の音圧を検出し、検出したマイクロホン１５毎の音圧の相関に基づいて音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を音源の方向として推定する。この推定処理の具体的な内容の一例について、図５を参照しつつ以下に説明する。

図５は、制御部１１が算出する音圧の分布の一例を示す図である。図において、横軸はマイクアレイＭＡの中心方向に対する角度を示し、縦軸は音圧を示す。制御部１１は、複数のマイクロホン１５のそれぞれから出力される音声データの音圧を検出し、検出したマイクロホン１５毎の音圧の相関に基づいて、方向（角度）に対する音圧の分布を算出する。或る音源で発生した音波が複数のマイクロホン１５のそれぞれに到達するまでの時間は撮影装置１からみた音源の方向（角度）によって異なる。この原理を利用して、制御部１１は、マイクロホン１５毎の音声データを角度毎の遅延時間だけ遅延させた音声データを加算して、角度毎の音圧を算出する。制御部１１は、算出した分布においてピークが表れる角度を１又は複数検出し、検出した角度を音源の方向とする。図５に示す例においては、制御部１１は角度θ１、θ２、θ３を音源方向として推定する。

次いで、制御部１１は、推定した音源方向のそれぞれに対応する方向別音声データを解析して、特定音声が検出されたか否かを判定する。ここでは、制御部１１は、まず、生成した方向別音声データのそれぞれから音声の特徴（音素の列等）を表す特徴データを生成し、生成した特徴データのそれぞれと照合用データ記憶領域１２１に記憶された照合用データと照合する（ステップＳ３）。次いで、制御部１１は、照合結果に基づいて、特定音声が検出されたか否かを判定する（ステップＳ４）。制御部１１は、特徴データと照合用データとの両者の一致度が予め定められた条件を満たす場合に、特定音声を検出したと判定する。

特定音声が検出されていないと判定された場合には（ステップＳ４；ＮＯ）、制御部１１は、ステップＳ１の処理に戻り、特定音声を検出するまで、ステップＳ１〜ステップＳ４の処理を所定単位時間毎に繰り返し実行する。

一方、ステップＳ４において、特定音声が検出されたと判定した場合には（ステップＳ４；ＹＥＳ）、制御部１１は、回動機構７０のモータ７２３を制御して、撮影装置１の撮影範囲に、特定音声が検出された方向（以下「特定方向」という）が含まれるように、撮影装置１の向きを変更する（ステップＳ５）。このとき、制御部１１は、撮影装置１の撮影範囲の中央方向が特定方向となるように撮影装置１の向きを変更するようにしてもよい。

次いで、制御部１１は、撮影部１８を制御して、静止画の撮影を行う（ステップＳ６）。制御部１１は、撮影部１８から出力される映像データを、記憶部１２の映像データ記憶領域１２２に記憶する。なお、このとき、撮影を行う際に「撮影を行います」といったメッセージを音声出力したり表示したりして利用者に報知するようにしてもよい。撮影を終えると、制御部１１は、ステップＳ１の処理に戻り、ステップＳ１〜ステップＳ６の処理を繰り返し行う。

＜Ｃ：動作例＞
次に、この実施形態の具体的な動作の一例について、図６（ａ），（ｂ）を参照しつつ説明する。図６に示す例ではある会場に撮影装置１が設置され、複数の人物Ａ１，Ａ２，Ａ３，Ａ４，Ａ５を被写体として撮影する場合の動作の一例について説明する。なお、撮影装置１の照合用データ記憶領域１２１には、照合用データとして「ハイチーズ」という音素の列を示すデータが記憶されているものとする。

まず、会場の責任者等が、撮影装置１の操作部１４を操作して、撮影装置のモードを「静止画自動撮影モード」に設定する。撮影モードが「静止画自動撮影モード」に設定されると、制御部１１は、図４に示すステップＳ１〜Ｓ４の処理を所定単位時間毎（例えば、１０ｍｓ毎等）に繰り返し実行し、特定音声が検出されるまで待機する。

ここで、図６（ａ）に示す例において、人物Ａ２が「ハイチーズ」という音声を発し、また、このとき、人物Ａ４と人物Ａ５とが会話を行っていた場合の撮影装置１の動作について説明する。このとき、制御部１１は、図４に示すステップＳ１とステップＳ２の処理を行い、複数のマイクロホン１５毎の音声データを解析して方向別音声データを生成し、生成した方向別音声データのそれぞれの音圧レベルの分布から音源方向を推定する。図６（ａ）に示す例においては、制御部１１は、方向Ｃ１と方向Ｃ２とを音源方向として推定する。

次いで、制御部１１は、図４のステップＳ３に示す処理を行う。すなわち、制御部１１は、方向Ｃ１に対応する方向別音声データと方向Ｃ２に対応する方向別音声データとをそれぞれ音声解析して音素の列を抽出し、抽出した音素の列と照合用データ記憶領域１２１に記憶された照合用データの示す音素の列とを照合して、その一致度が予め定められた条件を満たす場合には特定音声が検出されたと判定する。図６（ａ）に示す例では、制御部１１は、方向Ｃ１について特定音声が検出されたと判定する。

次いで、制御部１１は、図４のステップＳ５及びステップＳ６の処理を行う。すなわち、制御部１１は、回動機構７０を制御して、撮影装置１の撮影範囲Ｔの中心方向が、特定音声が検出された方向Ｃ１と一致するように、撮影装置１を回転させ、撮影を行う（図６（ｂ）参照）。これにより、人物Ａ１，Ａ２，Ａ３が被写体として撮影装置１に撮影される。

撮影を終えると、制御部１１は、図４のステップＳ１の処理に戻り、特定音声を検出するまで待機する。ここで、例えば、人物Ａ４が「ハイチーズ」という音声を発した場合には、制御部１１は、ステップＳ１からステップＳ４の処理を行うことによってこの音声を検出し、人物Ａ４の方向に撮影装置１の向きを変更して撮影を行う。このようにこの動作例では、撮影装置１が「ハイチーズ」という音声を検出する度に、撮影装置１が、その方向が撮影範囲に含まれるように撮影装置１の向きを変更して撮影を行う。

＜Ｄ：実施形態の効果＞
以上説明したように本実施形態によれば、利用者が撮影装置１に向かって特定音声を発すると、撮影装置１が発音方向に照準（カメラの方向）をあわせてシャッターを切る。これにより、例えば、パーティ等の参加者は、カメラに向かって予め定められた掛け声を発するだけで、撮影を行うことができる。また、他の動作例としては、動物を撮影する場合においては、撮影対象となる動物の鳴き声がすると、撮影装置１がその方向に向いてシャッターを切る。また、この撮影は撮影装置１が自動的に行うから、多数の写真を撮影するためにその都度撮影者が撮影装置１を移動させたり撮影装置１の向きを変えたりといった煩雑な操作を行う必要がない。なお、マイクロホン１５の周波数特性は人間の可聴域を超える範囲であってもよく、例えば超音波に対しても適用可能である。

また、本実施形態によれば、マイクロホン１５毎の音圧の相関に基づいて、方向に対する音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を、音源の方向として特定するから、複雑な処理を行うことなく音源の方向を特定することができ、音源方向の推定処理に要する処理時間を短くすることができる。

＜Ｅ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）音源方向の推定は、独立成分分析（Independent Component Analysis）を用いてもよい。独立成分分析は、複数の信号源からの各信号が空間内で混合されて複数のセンサに到来し、これらセンサで観測された到来信号から、各源信号の到来方向の推定や各源信号を分離することを、その源信号の混合系の情報を知らずに行うものであり、例えば特許３８８１３６７（特許文献２）の背景技術に記載されている。また、特許文献２に記載されている信号源の到来方向を求める技術を用いても良い。

（２）方向別音声データまたは特定方向音声データの生成方法は、上述の実施形態に記載された方法に限らず、前述の独立成分分析を用いてマイクロホン１５の音声データから音源に対応する音声データを推定することで生成してもよい。また、特許文献２に記載されている技術を用いても良い。

（３）上述の実施形態における照合用データが表す音声の特徴は、個人の声の特徴（声紋など）であってもよい。制御部１１は、方向別音声データを解析し、特定の個人の声の特徴が検出されたか否かを判定することで、特定の個人の声でのみ撮影装置を動作させるようにしてもよい。

（４）上述の実施形態では、特定音声が検出された方向に撮影装置１の向きを変更するようにしたが、これに代えて、特定音声が検出された方向を撮影者に報知するようにしてもよい。具体的には、例えば、撮影装置１が撮影者に撮影方向を案内するための音声メッセージを出力してもよく、また、例えば、表示部１３に特定音声が検出された方向（以下「特定方向」という）を報知するメッセージを表示するようにしてもよい。また、例えば、撮影装置１に振動する振動子を設ける構成とし、特定音声が検出されたときに、制御部１１が、その振動子を振動させて撮影対象に案内する方向への加速度を発生させるようにしてもよい。具体的には、例えば、撮影装置１の内部に、水平方向に回転する振動子を設け、撮影装置１の撮影範囲の中心方向から特定方向へ回転する向きに振動子を回転させるようにしてもよい。

（５）上述の実施形態では、撮影装置１が静止画像の撮影を自動的に行ったが、これに限らず、撮影者が撮影ボタンＢ２を押下することによって撮影を行うようにしてもよい。すなわち、撮影装置１が撮影範囲を自動的に変更し、撮影者が、変更された撮影範囲を確認しつつ撮影を行うようにしてもよい。

（６）上述の実施形態では、特定音声を検出したときに、撮影範囲を変更するようにしたが、これに代えて、予め定められた閾値以上の音圧が検出されたときに、撮影範囲を変更するようにしてもよい。すなわち、特定音声の発音の検出の有無を判定してもよく、また、任意の音声の発音の検出の有無を判定してもよく、要は、制御部１１が、撮影装置１の周囲で収音された音声を表す音声データを解析し、解析結果に応じて発音の有無を判定し、発音有りと判定されたときに、発音有りと判定された方向を含むように撮影範囲を変更するようにすればよい。

また、上述の実施形態では、制御部１１が撮影範囲を変更した後に静止画の撮影を行うようにしたが、これに限らず、動画の撮影を行うようにしてもよい。また、動画の撮影を行う場合には、制御部１１が、所定時間毎に方向別音声データを生成し、生成した方向別音声データを解析して解析結果に基づいて音源の方向の遷移を検出し、音源の方向の遷移に追尾して撮影範囲をリアルタイムで変更するようにしてもよい。このようにすれば、例えば鳥などの発音体を追いつつ継続して撮影することができる。

（７）上述の実施形態では、制御部１１がモータ７２３を駆動して撮影装置１の向きを変更するようにしたが、撮影範囲の変更の態様はこれに限らず、例えば、図７に示すように、撮影用レンズ１８ｂやＣＣＤ１８ｃ等を含む撮影部１８Ａを図中Ｐ方向に回動させる回動機構を撮影装置１Ａに設ける構成とし、撮影部１８Ａを回動させることによって撮影範囲を変更するようにしてもよい。図７に示す例において、回動部７５はローラ７６ａ，７６ｂ，７６ｃによって撮影装置１Ａに回動可能に支持されており、この回動部７５に撮影部１８Ａが固定されている。回動部７５の回動に伴って撮影部１８Ａが回動する。モータ７７は、制御部１１の制御の下にローラ７８を回転させ、ローラ７８の回転に伴って回動部７５が回転する。なお、撮影部１８Ａを回動させる構成はこれに限らず、他の回動機構を用いて撮影部を回動させるようにしてもよい。
このように、撮影装置の撮影範囲を変更する態様としては、撮影装置本体を回動させるようにしてもよく、また、撮影機構を回動させるようにしてもよく、要は、制御部１１が、発音有りと判定された方向が撮影範囲に含まれるように、撮影範囲を変更するように撮影装置１を制御すればよい。

（８）上述の実施形態では、図２に示すような、複数のマイクロホン１５が列状に配置されて構成されたマイクアレイを備える撮影装置１について説明したが、マイクロホン１５の配置態様はこれに限らず、例えば、マイクロホン１５が面状（２次元状）に配置されて構成されたマイクアレイを備える構成としてもよい。また、例えば、図８に示すような、撮影装置１の前面及び側面に３次元状に配置されて構成されたマイクアレイを備える構成としてもよい。この場合は、撮影装置１Ａは、音源の角度として、ｘ軸方向（図８参照）の角度だけでなく、ｙ軸方向及びｚ軸方向（図８参照）の角度をも推定することができるから、音源の方向を３次元で推定することができ、より詳細な方向を推定することができる。また、この場合は、より広い範囲で音源を検出することができる。

また、マイクロホンを２次元又は３次元に配置されて構成されたマイクアレイを備える撮影装置を用いる場合には、撮影装置１を水平方向（図８における矢印Ｐ方向）に回転させるに加えて垂直方向（図８における矢印Ｑ方向）に回転させる回動機構７０Ａを備える構成としてもよい。
また、上述の実施形態におけるマイクロホン１５は、小型のシリコンマイクを用いるようにしてもよい。

（９）上述の実施形態では、映像データを記憶する記憶手段としてハードディスク装置等の記憶部１２を用いたが、映像データを記憶する記憶手段はハードディスク装置に限らず、例えば、ＳＤカード、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ等の記録媒体等であってもよく、要は、制御部１１が、映像データを、コンピュータが読取可能な記録媒体に記録するようにすればよい。また、通信ネットワークを介して所定のサーバ装置に映像データを出力するようにしてもよい。

（１０）上述の実施形態では、撮影装置１が、上記実施形態に係る全ての処理を実行するようになっていた。これに対し、通信ネットワークや通信Ｉ／Ｆ等で接続された２以上の装置で上記実施形態に係る処理を分担して実行するようにし、それら複数の装置を備えるシステムが同実施形態の撮影装置１を実現するようにしてもよい。具体的には、例えば、デジタルカメラとコンピュータ装置とが、ＵＳＢ等の通信Ｉ／Ｆを介して接続されたシステムとして構成されていてもよい。

（１１）上述の実施形態では、制御部１１が、角度における音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を音源方向として推定したが、これに加えて、撮影部１８から出力される映像データを画像解析して人物抽出（又は顔抽出）処理を行い、抽出した人物（又は顔）の位置に対応する方向を音源方向として推定するようにしてもよい。

また、上述の実施形態では、制御部１１は、音源方向からの音声を表す音声データの特徴を表す特徴データと、照合用データ記憶領域１２１に記憶された照合用データとを照合し、その一致度に基づいて収音方向を特定するようにしたが、収音方向の特定方法はこれに限らず、例えば、特定の被写体の画像を表すデータを照合用データとして照合用データ記憶領域１２１に予め記憶しておき、制御部１１が、撮影部１８から出力される映像データを画像解析し、解析結果に応じて人物抽出（又は顔抽出）処理を行い、抽出した人物（又は顔）の画像データと照合用データ記憶領域１２１に記憶された照合用データとを照合して、その一致度に基づいて収音方向を特定するようにしてもよい。

（１２）上述の実施形態では、撮影装置１の制御部１１は、音圧分布を算出してピーク値が表れる角度を音源方向として推定した。音源方向の推定方法はこれに限らず、例えば、所定単位量の角度毎に音圧を検出し、検出した音圧が予め定められた閾値以上となる角度を音源方向として検出するようにしてもよく、要は、制御部１１が、マイクロホン１５から出力される音声データの音圧を所定単位量の角度毎に検出し、検出した角度毎の音圧から音源方向を推定するようにすればよい。

また、上述の実施形態では、音声データの音圧に基づいて音源方向を推定したが、これに限らず、マイクロホン１５毎の音声データの周波数を検出し、検出したマイクロホン１５毎の周波数の相関に基づいて音源方向を推定するようにしてもよい。
このように、音源方向は、音声データの音圧に基づいて検出してもよく、また、周波数に基づいて検出するようにしてもよく、要は、制御部１１が、マイクロホン１５から出力される音声データを解析し、解析結果に応じて音源方向を推定するものであればよい。

（１３）また、上述の実施形態において、制御部１１が音源（被写体）にピントを合わせるように撮影部１８を制御するようにしてもよい。この場合は、例えば、制御部１１が、複数の異なるマイクロホン１５（例えば、図２に示すマイクロホン１５１とマイクロホン１５ｎ）が収音した音声を表す音声データを解析し、音が複数のマイクロホン１５のそれぞれに到達する時間差を算出し、算出した時間差を用いて撮影装置１と音源との距離を算出し、算出結果に応じてフォーカス制御を行うようにしてもよい。

（１４）上述の実施形態では、本発明に係る撮影装置をデジタルカメラに適用した例について説明したが、本発明に係る撮影装置が適用される装置はデジタルカメラに限らず、例えば、パーソナルコンピュータ、携帯通信端末、コンピュータゲーム機等であってもよく
本発明に係る撮影装置は様々な装置に適用可能である。

（１５）上述の実施形態における撮影装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で撮影装置１にダウンロードさせることも可能である。

撮影装置のハードウェア構成の一例を示すブロック図である。 撮影装置の外観の一例を示す斜視図である。 回動機構の構成の一例を示す図である。 撮影装置が行う撮影処理の流れを示すフローチャートである。 制御部が算出する音圧分布の一例を示す図である。 撮影装置の動作の一例を説明するための図である。 回動機構の構成の一例を示す図である。 撮影装置の外観の一例を示す斜視図である。

符号の説明

１…撮影装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１８…撮影部、６１…台、７０…回動機構、７１…回動部、７２…固定部、１２１…照合用データ記憶領域、１２２…映像データ記憶領域。

Claims (10)

1. 撮影範囲が設定され、該撮影範囲内の映像を表す映像データを出力する撮影手段と、
   前記撮影手段の周囲でマイクロホン毎に収音し、音声データとして出力する複数のマイクロホンと、
   前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて発音の有無を判定する発音有無判定手段と、
   前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて音源の方向を推定する推定手段と、
   前記発音有無判定手段により発音有りと判定されたときに、前記推定手段により推定された前記音源の方向を報知する報知手段と
   を具備することを特徴とする撮影装置。
2. 撮影範囲が設定され、該撮影範囲内の映像を表す映像データを出力する撮影手段と、
   前記撮影手段の周囲でマイクロホン毎に収音し、音声データとして出力する複数のマイクロホンと、
   前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて発音の有無を判定する発音有無判定手段と、
   前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて音源の方向を推定する推定手段と、
   前記発音有無判定手段により発音有りと判定されたときに、前記撮影手段の前記撮影範囲を、前記方向推定手段により推定された音源の方向を含む範囲に変更する撮影範囲変更手段と
   を具備することを特徴とする撮影装置。
3. 前記撮影範囲変更手段により前記撮影範囲が変更されたときに、前記撮影手段から出力される映像データを所定の記憶手段に記憶する映像データ記憶制御手段
   を具備することを特徴とする請求項２に記載の撮影装置。
4. 音声の特徴を表す照合用データを記憶する照合用データ記憶手段と、
   前記マイクロホン毎の音声データから、前記推定手段により推定された方向のそれぞれに対応した方向別音声データを生成する方向別音声データ生成手段と
   を具備し、
   前記発音有無判定手段は、前記方向別音声データ生成手段により生成された音声データと前記照合用データ記憶手段に記憶された照合用データとを比較し、その一致度に応じて発音の有無を判定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記照合用データは、特定の個人の声の特徴情報を含むことを特徴とする請求項４に記載の撮影装置。
6. 前記方向別音声データ生成手段は、前記推定手段により推定された方向からの音圧が高くなるようにミキシングして方向別音声データを生成することを特徴とする請求項４又は５に記載の撮影装置。
7. 前記方向別音声データ生成手段は、独立成分分析を用いて前記音声データから音源に対応する音声データを推定することで特定方向音声データを生成することを特徴とする請求項４又は５に記載の撮影装置。
8. 前記推定手段は、独立成分分析を用いて音源の方向を推定することを特徴とする請求項１乃至７のいずれかに記載の撮影装置。
9. 前記推定手段は、前記マイクロホン毎の音声データの相関に基づいて、前記撮影手段の周囲における音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を前記音源の方向として推定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
10. 前記撮影範囲変更手段は、前記発音有無判定手段により発音有りと判定されたときに、前記撮影手段の前記撮影範囲に前記推定手段により推定された音源の方向が含まれるように前記撮影手段の向きを変更する
    ことを特徴とする請求項２又は３に記載の撮影装置。

Images