JP2016009949A - 撮像装置 - Google Patents

Abstract

【課題】撮像画面上の人物画像と無線マイクとを容易に関連付ける。【解決手段】被写体を撮像する撮像手段と、前記撮像手段によって撮像された画像を解析する画像解析手段と、複数ワイヤレスマイクと通信を行う通信手段と、前記複数ワイヤレスマイクとの通信状態を解析することにより、前記複数ワイヤレスマイクまでの距離を検出する通信解析手段と、前記画像解析手段の結果および、前記通信解析手段の結果に基づいて、前記複数ワイヤレスマイク各々と前記撮像画像に含まれる人物とを対応づける登録手段を有する。【選択図】図１

Description

本発明は、撮像装置に関する。

従来、音声を同時に録音する撮像装置、ビデオカメラにおいて、本体に取り付けられたマイクからの録音ではなく、本体から切り離された形の無線マイクによって本体に音声録音される技術が開示されている。加えて、無線マイクとその無線マイクを保持している人物の情報を関連付ける技術も開示されている。他方、無線機器間での距離を特定する技術も開示されている。

特許文献１では画面上に存在する無線マイクを、無線マイクに付属の発行部からの発行パターンによって個別認識し、各マイクに対して個人情報を入力する技術が開示されている。特許文献２では短距離無線中心を使用して無線機器間の距離を特定し、特定した距離を用いて三角即測位を行うことで、位置を特定する技術が開示されている。

特開２００６−５４５６７号公報 特開２００５−５９６２号公報

しかしながら、上述の特許文献に開示された従来技術では、顔検出結果と無線マイクを結びつける等の処理を行っておらず、撮像中に顔に関連付けたマイクに対してのＯＮ、ＯＦＦ切り替え、ボリューム調整などの処理操作を行えない。

そこで、本発明の目的は、撮像画面上の人物画像と、無線マイクを関連付けることを可能にした、無線マイクを有する撮像装置を提供することである。

上記目的を達成するために、本発明に係る撮像装置の構成は、被写体を撮像する撮像手段と、前記撮像手段によって撮像された画像を解析する画像解析手段と、複数ワイヤレスマイクと通信を行う通信手段と、前記複数ワイヤレスマイクとの通信状態を解析することにより、前記複数ワイヤレスマイクまでの距離を検出する通信解析手段と、前記画像解析手段の結果および、前記通信解析手段の結果に基づいて、前記複数ワイヤレスマイク各々と前記撮像画像に含まれる人物とを対応づける登録手段を有することを特徴とする。

本発明によれば、複数ワイヤレスマイクと通信が可能で、かつ複数ワイヤレスマイクとその複数ワイヤレスマイクを保持している人物とを自動で関連付けることが可能な撮像装置を提供することができる。

本発明を利用したシステムの概念図である。 撮像装置の構成を示すブロック図である。 ワイヤレスマイクの構成を示すブロック図である。 撮像装置とワイヤレスマイク間の距離算出方法を示す図である。 撮像装置とワイヤレスマイクの位置関係算出方法を示す図である。 マイクの関連付け処理を示すフローチャートである。 距離算出を利用した関連付け方法の説明図である。 位置算出を利用した関連付け方法の説明図である。 位置算出を利用した関連付け方法の説明図である。 人物が画角外に一旦出た場合の関連付け説明図である。 再関連付けを行う場合の表示画面を示す図である。 マイクの関連付け処理を示すフローチャートである。 人物が画角外に一旦出た場合の関連付け説明図である。 人物が画角外に一旦出た場合の関連付け説明図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図２は、本発明の実施形態にかかわる撮像装置２００の内部構成ブロック図である。

撮像部２０１は複数のレンズによる光学系とセンサによって構成される。ＬＣＤ表示部２０２では撮像中に撮像部からの画像を表示したり、既撮影画像の確認を行う。ＬＣＤ操作部２０３はLCD表示部２０２の上に配置されており、使用者が指などで触れることを検知し、その検知情報を操作のための情報としてカメラＣＰＵ２０９にバスを通して送る。被写体検出部２０４は撮像部２０１によって得られた画像データに対して被写体検出処理を行う。被写体検出処理は画像内部の人物顔検出、人物顔の位置、大きさ、性別、年齢、個人顔特徴などの算出などを行い、カメラＣＰＵ２０９に送る。

ボタン操作部２０５はユーザーからの指示を操作ボタン等で受けつける。カメラ音声検出部２０６は撮像装置２００に取り付けられた音声を取得する部分である。カメラ音声検出部２０６によって撮像装置２００周囲の音を集音し、カメラＣＰＵ２０９の指示に従い、メモリスロット２１２を通してメモリカード２１３へ音声を記録する。

カメラ通信部Ａ２０６とカメラ通信部２０８は後述するワイヤレスマイク３００との通信をブルートゥース等の短距離無線方式を使って行う。カメラＣＰＵ２０９は撮像装置２００の処理の全体統括を行う。ＲＯＭ２１０は撮像装置２００の処理プログラム、処理に必要な情報が予め保持されており、カメラＣＰＵ２０９はこのＲＯＭ２１０に保持された処理プログラムに基づいて動作する。メモリスロット２１２は記録データをメモリカード２１３に読み書きするためのインタフェースである。メモリカード２１３はメモリスロット２１２を通じて画像情報、音声情報を記録されるものである。

撮像部２０１〜メモリスロット２１２まではバスによってつながりデータのやり取りができる。

図３は本発明の実施形態にかかわるワイヤレスマイク３００の内部構成ブロック図である。マイク音声検出部３０１はワイヤレスマイク３００の周囲の音声を捉え、音声情報を後段に伝える。マイクＣＰＵ３０２はワイヤレスマイクに内蔵されたＣＰＵでマイク音声検出部３０１の音声の処理、ワイヤレスマイク３００と撮像装置２００との距離検出処理などの処理を行う。マイク通信部３０３は撮像装置２００との通信をカメラ通信部Ａ２０７、カメラ通信部Ｂ２０８を通じて行う。

図４は撮像装置２００とワイヤレスマイク３００との距離測定方法を図式化したものである。距離測定方法を図４を踏まえて説明する。

図４では横方向に時間が表わされており、マイク側と書かれた横矢印がマイク側での処理、カメラ側と書かれた横矢印がカメラ側の処理を概念的に表わす。まずカメラ側はマイク側に対して通信要求を行い、この通信を送った時刻を記録しておく。マイク側では電波の速度とマイク、カメラ間の距離に応じた遅延時間を置いて、この通信を受け取る。その後、マイク側ではカメラ側に対して応答の通信を行う。この間カメラ側からの通信を受け取ってカメラ側に通信を送るまでの時間ｄをマイク側で測定し、その時間ｄを応答の通信に情報として付加しておく。カメラ側では一定時間ｔが経過した後マイク側からの通信が帰ってきたことになる。このことから片道の通信に係る送信時間は（ｔ−ｄ）／２となり、この距離と電波の伝搬速度を鑑みて、カメラ側、マイク側との相対距離がわかる。

図５は、図４で説明した測距方法を利用し、測距部が複数ある場合に相対角度を算出する方法を示す図である。図５を用いてこの方法を説明する。

撮像装置２００には距離Ｌｄを置いて、撮像光軸に対して左右対称にカメラ通信部Ａ２０７、カメラ通信部Ｂ２０８を備えている。光軸中心からそれぞれＬｄ／２の距離を保っている。図５の状況では光軸中心とカメラ通信部Ａ２０７、カメラ通信部Ｂ２０８を結ぶ線の交点からＬの距離、角度θの方向に被写体人物５０１が位置している。被写体人物５０１はワイヤレスマイク３００を備えている。ワイヤレスマイク３００とカメラ通信部Ａ２０７との距離Ｌ１、ワイヤレスマイク３００とカメラ通信部Ｂ２０８との距離Ｌ２は前述の距離算出方法によって特定することができる。Ｌ１、Ｌ２、Ｌｄを使用し、光軸中心がＬｄのちょうど真ん中に位置することを考え、余弦定理や中線定理などの三角関数の定理を用いて計算することにより、θ、Ｌを算出することができる。この場合計算が煩雑になるので、以下の実施例では撮像装置２００と被写体人物５０１との相対角度θを、θ１やθ２を近似値として代用しても良い。

以下、図を参照しながら、本発明の第1の実施例による、撮像装置のワイヤレスマイク関連付け処理について説明する。

図６は実施例１における処理の流れを示すフローチャートである。このフローチャートを元に実施例１の処理の流れを以下説明する。

まずステップＳ６０１において撮像装置２００の電源が投入され処理が開始される。続くＳ６０２においては、撮像装置２００の周辺でワイヤレスマイクと通信ができる距離内に撮像装置２００内の顔情報との関連付けがなされていないワイヤレスマイクが存在しているかどうかを判定する。存在しない場合はステップＳ６４０に移る。存在する場合ステップＳ６０３に移る。

ステップＳ６０３ではワイヤレスマイクに関連付けられていない顔が撮像装置２００の画角内に存在しないかを判定する。ここで図７を参考にして説明する。

図７は撮像者７０１が被写体人物７０２、７０３を撮影している状況である。図４（ａ）は全体を鳥瞰した図であり、図４（ｂ）は撮像装置２００において撮像されている画像をリアルタイムにＬＣＤ表示部２０２に表示した画面である。

図４の状況においては前述のスタップＳ６０２において顔に関連付けられていないワイヤレスマイク３００Ａ、３００Ｂを検出したことからステップＳ６０３に移行している。ステップＳ６０３においてはＬＣＤ表示部２０２に映し出された画像内に人物顔があるかどうかを判定する。この場合、被写体人物画像７０４、７０５が存在するので、ステップＳ６０４に移行する。もし被写体人物顔が検出されない場合、ステップＳ６０３の処理を繰り返し行い、被写体人物顔が検出されるまで待つ。

ステップＳ６０４においては距離によって人物顔とワイヤレスマイクを関連付ける処理を行う。ステップＳ６０４での具体的な処理を、図８（ｂ）ステップＳ６１４〜６１８に従って説明する。

ステップＳ６１４において距離による関連付け処理を開始し、ステップＳ６１５に移る。ステップＳ６１５では撮像装置２００の周囲に存在するマイクを検出し、それぞれとの距離を算出し保持しておく。図７の状況においては、ワイヤレスマイク３００Ａとの距離がＬ１、ワイヤレスマイク３００Ｂとの距離がＬ２であることを算出し、保持する。続くステップＳ６１６においては、ＬＣＤ表示部２０２に表示する画像信号中にある顔領域を検出し、その顔領域の大きさから各人物までの距離を算出する。この時、顔検出の処理被写体検出部２０４が行う。顔領域の大きさから、撮像装置２００からその人物までの距離を算出する場合、画角の大きさと、人物の画角内位置を加味し補正する必要がある。図８を用いて説明する。

図８（ａ）、図８（ｃ）は、それぞれ画角がθ１と狭い時、θ２と広い時の状況を鳥瞰で図示したものである。図８（ｂ）、図８（ｄ）はそれぞれ、図８（ａ）、図８（ｃ）における撮像画像の状況を示したＬＣＤ表示部２０２の様子を示すものである。

図８（ａ）における被写体人物８０２、８０３は、ＬＣＤ表示部２０２上ではそれぞれ被写体人物画像８０５、８０６のように見える。この時、撮像画像上では被写体人物画像８０５、８０６の大きさがほぼ同じに見えるが実際の距離はＬ３、Ｌ４と異なっていることになる。よって画角内の外側、内側のどこにいるかで補正をかけた方が良い算出ができる。

加えて、図８（ｃ）、図８（ｄ）では画角をθ２に広げ、被写体人物が前進した形になっている。この場合も、被写体人物８０６、８０７は、撮像画像上で被写体人物画像８０８、８０９のようにほぼ大きさで見える。図８（ａ）、図８（ｂ）のときと同様に画角内の内側、外側のどの位置にいるかで補正を入れる余地があるが、加えて画角が変わったことによる補正も有効となる。図８（ａ）、図８（ｃ）を比較すると、Ｌ３対Ｌ４の比より、Ｌ５対Ｌ６の比の方が大きくなる。このように画角が広いほど、画角内の外側に存在している時の補正量が大きくなる。この補正もかけた方が良い算出ができる。

図６のフローチャートの処理説明に戻る。ステップＳ６１６で画角内の各人物との距離を算出し、次にステップＳ６１７に移る。ステップＳ６１７ではステップＳ６１５、ステップＳ６１６で求めた距離の内近いものを結びつける。被写体検出部２０４によって人物が検出された場合、その顔情報に顔ＩＤが振られる。この顔ＩＤとワイヤレスマイクの個体ナンバーを関連付け、保持する。

続くステップＳ６１８において距離による関連付け処理を終了し、図６(ａ)のフローチャートに戻る。この時、ステップＳ６１５で算出される複数のワイヤレスマイクとの距離同士に有意差がない、ステップＳ６１６で算出される複数の顔との距離同士に有意差がない、ステップＳ６１５で近い距離の組み合わせがないなど、適切な関連付けが行えなかった場合、そのままにして距離による関連付け処理を終了する。図７、図８の例では被写体人物は２人になっているが、３人以上の被写体人物がいて、ワイヤレスマイクと人物の組み合わせが特定できる人物とできない人物とに分かれる場合がある。その場合は特定できる人物とワイヤレスマイクの組み合わせは登録した上で、登録できなかったワイヤレスマイクはそのまま登録せずにおく。

続くステップＳ６０５において、現在周囲に存在するワイヤレスマイクの全てが特定の顔情報と関連付けられたかどうかを判定する。全て関連付けられている場合はステップＳ６１０に移り、１つでも関連付けられていないものがあればステップＳ６０６に移る。

ステップＳ６０６においては角度によって人物顔とワイヤレスマイクを関連付ける処理を行う。ステップＳ６０６での具体的な処理を、図６（ｃ）ステップＳ６１９〜６２３に従って説明する。

ステップＳ６１９において距離による関連付け処理を開始し、ステップＳ６２０に移る。ステップＳ６２０では撮像装置２００の周囲に存在するマイクを検出し、図５で示した方法を使って、それぞれとの相対角度を算出し保持しておく。ちなみに図９の状況においては、ワイヤレスマイク３００Ａとの相対角度がＬ１、ワイヤレスマイク３００Ｂとの距離もＬ１であることから、ステップＳ６０４における関連付けができず、ステップＳ６０６に移ってきた形である。

続くステップＳ６２１においては、ＬＣＤ表示部２０２に表示する画像信号中にある顔領域を検出し、その顔領域の大きさから各人物までの距離を算出し、加えて画角内での位置を加味して各人物までの相対角度を算出する。この時、顔検出の処理被写体検出部２０４が行い、各人物までの実際の距離算出は、図６（ｂ）のフローチャートの処理と同様に行う。図８（ｂ）の例では人物までの実距離がＬ１と算出されたとする。ここでは図９（ｂ）に従って、特に被写体人物画像９０４に着目して、画像処理での人物との相対角度算出方法を説明する。被写体人物画像９０４は実際には図９（ａ）で示す被写体人物９０２が撮影されたものであるとする。

まず画像上での画角中心線から被写体人物画像９０４までの長さｄ１と、画像上での画角中心から画角の端までの距離ｄを保持する。次に現在の設定画角αと前出のＬ１とから、図（ｂ）の下図に示すように実際の画角中心線から画角端までの実距離Ｌｄを計算する。この場合、Ｌｄ＝Ｌ１×ＣＯＳ（９０°−α／２）でＬｄを計算できる。Ｌｄが算出されたので、被写体人物９０２と撮像装置２００の光軸までの実距離Ｌｄ１を、ｄ、ｄ１の比を利用して算出する。この場合、Ｌｄ１＝Ｌｄ×ｄ１／ｄで算出できる。この時点でＬ１、Ｌｄ１の長さが算出されたので、被写体９０２と撮像装置２００との相対角度θ３は、θ３＝ＡＲＣＳＩＮ（Ｌｄ１／Ｌｄ）から算出される。被写体人物９０３、被写体人物画像９０５についても同様にθ４が求められる。以上でステップＳ６２１での具体的処理の説明を終える。

続くステップＳ６２２においては、ステップＳ６２０、ステップＳ６２１において算出された相対角度から、ワイヤレスマイクと顔ＩＤとの関連付けを行う。図９ではθ１がθ３に、θ２がθ４に一致することから、ワイヤレスマイク３００Ａを被写体人物画像９０４に対応する顔ＩＤに関連付け、ワイヤレスマイク３００Ｂを被写体人物画像９０５に対応する顔ＩＤに関連付ける。この時例えばθ１に対してθ３を対応づけるときに、θ１を基準に±ｄθ内の幅であればθ１とθ３は関連付けるべき対応のあるものとする。しかし２つのワイヤレスマイク３００Ａ、３００Ｂが近い位置にある場合、この判定時の許容幅ｄθａがある程度大きいとでは２つのワイヤレスマイクと人物との関連付けにおいて、結びつけが困難になる。よってθ１、θ２が画角中心線に対して同じ側にあり、θｔｈを予め決められた閾値とすると、｜θ１−θ２｜＜θｔｈのときに許容幅ｄθを狭くする処理を入れる。

続くステップＳ６２３において距離による関連付け処理を終了し、図６(ａ)のフローチャートに戻る。この時、ステップＳ６２０で算出される複数のワイヤレスマイクとの相対角度同士に有意差がない、ステップＳ６２１で算出される複数の顔との相対角度同士に有意差がない、ステップＳ６２２で近い相対角度の組み合わせがないなど、適切な関連付けが行えなかった場合、そのままにして相対角度による関連付け処理を終了する。図９の例では被写体人物は２人になっているが、３人以上の被写体人物がいて、ワイヤレスマイクと人物の組み合わせが特定できる人物とできない人物とに分かれる場合がある。その場合は特定できる人物とワイヤレスマイクの組み合わせは登録した上で、登録できなかったワイヤレスマイクはそのまま登録せずにおく。
続くステップＳ６０７において、現在周囲に存在するワイヤレスマイクの全てが特定の顔情報と関連付けられたかどうかを判定する。全て関連付けられている場合はステップＳ６１０に移り、１つでも関連付けられていないものがあればステップＳ６０８に移る。

ステップＳ６０８においては音声検出と画像処理を利用することによって人物顔とワイヤレスマイクとの関連付け処理を行う。ステップＳ６０８での具体的な処理を、図６（ｄ）ステップＳ６２４〜６３０に従って説明する。

ステップＳ６２４において音声検出を利用した関連付け処理を開始し、ステップＳ６２５に移る。ステップＳ６２５ではステップＳ６２４からの経過時間を判定し、予め決められた一定時間以上が経過していた場合、ステップＳ６３０に移行して処理を終了する。ステップＳ６２５で一定時間以上が過ぎていないと判定された場合、ステップＳ６２６に移る。

ステップＳ６２６においては、周囲に存在するマイクをまず検出し、その中でも前出のステップＳ６０４，Ｓ６０６においてまだ関連付けられていないワイヤレスマイクの内、マイクの音声レベルが予め決められた一定以上のものを検出する。ここで音声レベルが一定以上としたが、音声検出処理を行って人間の発した言葉であることを検出するようにしても良い。このステップＳ６２６で該当するワイヤレスマイクが検出されなかった場合、ステップＳ６２５に移る。検出された場合はステップＳ６２７に移る。

ステップＳ６２７においては、撮影中の画像中に存在する人物顔に対して、口の動きがあるかどうかの判定を行う。口動きの検知は被写体検出部２０５が行い、カメラＣＰＵ２０９に通知する形をとる。ここで口動きを検出できる人物顔が存在しない場合、ステップＳ６２５に移る。存在する場合はステップＳ６２８に移る。

ステップＳ６２８では、音声の検出されたワイヤレスマイク３００と口の動きのあった顔の顔ＩＤとを関連付ける。ここで複数のワイヤレスマイクで音声が検出されたり、複数の顔で口の動きが検知された場合には関連付けを行わない。続くステップＳ６２９においては、現在周囲で検出されているワイヤレスマイクが全て顔ＩＤの関連付けが行われたかどうかの判定を行い、全てが関連付けられていない場合はステップＳ６２５に戻る。全ての検出されたワイヤレスマイクが関連付けれている場合はステップＳ６３０に移り、音声検出による関連付け処理を終了する。以下、図６（ａ）の処理に戻る。

ステップＳ６０８での処理が終了すると、ステップＳ６０９に移り現在検出されているワイヤレスマイク全てが、顔ＩＤとの関連付けがなされているかどうかの判定を行う。１つでもワイヤレスマイクが関連付けられていない場合は、ステップＳ６０３に移る。全てのワイヤレスマイクが関連付けられている場合は、ステップＳ６１０に移る。

ステップＳ６１０においては再スキャンボタンの押下げがあるかどうかを判定する。再スキャンボタン操作の概要を図１０を用いて説明する。図１０は本実施例におけるＬＣＤ表示部２０２に表示されるユーザーインターフェースを示す図である。ボタン１００４はＬＣＤ表示部２０２上に表示され、ボタン１００４に触れるときＬＣＤ表示部２０２の上に備わったＬＣＤ操作部２０３によってボタン押下げが検知される。被写体人物画像１００１、１００２の顔ＩＤにはそれぞれ上述の処理によってワイヤレスマイクがそれぞれ関連付けられており、関連付けられたワイヤレスマイクをマイク表記１００５、１００６で確認できるようになっている。それぞれのワイヤレスマイクの音声出力レベルが、マイク出力レベル１００３で確認できる。

この時、被写体人物同士が故意にマイクを交換したなどの行為がなされると、関連付けが崩れることになる。この場合、被写体人物画像１００１の人物が喋った時に、マイク２の音声レベルが上がることが音声出力レベル１００３で確認できる。ユーザーはこの場合、ワイヤレスマイクが交換されたなどの問題で関連付けが崩れたことを察知し、ボタン１００４を押下げすることで対応する。図６（ａ）の処理説明に戻る。

ステップＳ６１０で再スキャンボタンの押下げがあった場合、ステップＳ６１１において全マイクと顔ＩＤとの関連付けを解除し、ステップＳ６０２に戻る。ステップＳ６１０において再スキャンボタンの押下げがなかった場合は、ステップＳ６１２に移る。

ステップＳ６１２ではワイヤレスマイクに関連付けされた顔ＩＤに対応する人物が、画角外に移動したかどうかを判定する。１人でも移動した場合はステップＳ６１３に移り、画角外に移動した顔ＩＤに対するマイク関連付けを解除し、ステップＳ６０２に戻る。ステップＳ６１２において１人も移動がない場合は、ステップＳ６０２にそのまま戻る。以上で図６のフローチャートによる処理の流れの説明を終えるが、後述ずる実施例２との差異を明確にするため、ステップＳ６１２、６１３に関連した補足の説明を図１１を用いて行う。

図１１（ａ）において被写体人物画像１１０１、１１０２はそれぞれ、ワイヤレスマイク１１０３、１１０４と関連付けられている。被写体人物画像１１０１、１１０２には被写体検出部２０４によってそれぞれ顔ＩＤ１、顔ＩＤ２の顔ＩＤが振られている。ワイヤレスマイク１１０３、１１０４はそれぞれマイクＮｏ１、マイクＮｏ２のナンバーが振られている。図１１（ａ）においては、顔ＩＤ１とマイクＮｏ１が関連付けられており、顔ＩＤ２とマイクＮｏ２が関連付けられている。

ここで図１１（ａ）の状態から被写体人物画像１１０１、１１０２に対応する人物が一旦画角外に出て、再び２人とも同じ位置に戻ってきたことを想定する。戻ったあとの状態を図１１（ｂ）に示す。図１１（ｂ）での被写体人物画像１１０５、１１０６に対応する人物は、それぞれ図１１（ａ）の被写体人物１１０１、１１０２に対応する人物と同じである。同様に図１１（ａ）のワイヤレスマイク１１０３、１１０４は、それぞれ図１１（ｂ）のワイヤレスマイク１１０７、１１０８と同じである。

この時、図６（ａ）のフローチャートのステップＳ６１２で顔の画角外移動があると判定し、ステップＳ６１３で関連付けを一旦解除して、関連付け処理を１からやり直すため、被写体人物画像１１０５に顔ＩＤ２、被写体人物画像１１０６に顔ＩＤ１が振られる場合もある。この場合、図１１（ｂ）の右表に示すように、顔ＩＤ１とマイクＮｏ２が関連付けられ、顔ＩＤ２とマイクＮｏ１が関連付けられることになる。ユーザーが意識するレベルのことではないが、内部での動きとしては上述の動きとなる。

以上の処理を行うことで、ユーザーはワイヤレスマイクと、ワイヤレスマイクを持つ人物とを手動ではなく自動で行うことができる。

以下、図を参照しながら、本発明の第２の実施例による、撮像装置のワイヤレスマイク関連付け処理について説明する。

図１２は実施例２における処理の流れを示すフローチャートである。このフローチャートを元に実施例２の処理の流れを以下説明する。

ステップＳ１２０１〜Ｓ１２０９は、図６のステップＳ６０１〜Ｓ６０９とほぼ同様である。異なるのはステップＳ１２０４、Ｓ１２０６、Ｓ１２０８の内部処理における関連付けにおいて、ワイヤレスマイクと顔を関連付けるときにワイヤレスマイクの個別Ｎｏと、検出された人物顔の特徴量とを関連付けることである。具体的にはステップＳ１２０４、Ｓ１２０６、Ｓ１２０８の処理詳細を示す図１２（ｂ）、（ｃ）、（ｄ）の、それぞれステップＳ１２１５、Ｓ１２２０、１２２６の処理に対応する。

以上ステップ１２０９までの処理を終え、ステップＳ１２１０では再スキャンボタン押下げがあるかどうかの判定を行う。

再スキャンボタン操作の概要を図１１を用いて説明する。図１１は実施例２におけるＬＣＤ表示部２０２に表示されるユーザーインターフェースを示す図である。ボタン１３０４はＬＣＤ表示部２０２上に表示され、ボタン１００４に触れるときＬＣＤ表示部２０２の上に備わったＬＣＤ操作部２０３によってボタン押下げが検知される。被写体人物画像１３０１、１３０２の顔ＩＤにはそれぞれ上述の処理によってワイヤレスマイクがそれぞれ関連付けられている。図１３上で表記がないが、被写体人物画像１３０１、１３０２に対応する人物はそれぞれ関連付けられたマイクを持っているものとする。それぞれのワイヤレスマイクの音声出力レベルが、マイク出力レベル１３０３で確認できる。実施例２では、顔の特徴量に対して予めユーザーが個人名などのデータを登録しておくことができるものとする。顔の特徴量に対応づけられたワイヤレスマイクは、対応付けられた顔特徴量に対して登録された名前をマイク出力レベル１３０３に表示する。

この時、被写体人物同士が画角内、画角外を問わず故意にマイクを交換したなどの行為がなされると、関連付けが崩れることになる。例えば被写体人物画像１３０１の人物が「太郎」であり、被写体人物画像１３０２の人物が「花子」であるとする。この場合、マイクが故意に交換されてしまった場合「太郎」が喋った時に、「花子」の音声レベルが上がることが音声出力レベル１３０３で確認できる。ユーザーはこの場合、ワイヤレスマイクが交換されたなどの問題で関連付けが崩れたことを察知し、ボタン１３０４を押下げすることで対応する。図１２（ａ）の処理説明に戻る。

ステップＳ１２１０で再スキャンボタンの押下げがあった場合、ステップＳ１２１１において全マイクと顔特徴量との関連付けを解除し、ステップＳ１２０２に戻る。ステップＳ１２１０において再スキャンボタンの押下げがなかった場合は、何も処理をせずステップＳ１２０２に戻る。

以上で図１２のフローチャートによる処理の流れの説明を終えるが、前述の実施例１との差異を明確にするため図１４、１５を用いて補足の説明を行う。

図１４（ａ）において被写体人物画像１４０１、１４０２はそれぞれ、ワイヤレスマイク１４０３、１４０４と関連付けられている。被写体人物画像１４０１、１４０２には被写体検出部２０４によってそれぞれ顔ＩＤ１、顔ＩＤ２の顔ＩＤが振られている。同時に、顔ＩＤ１の顔の特徴量を検出し、予めユーザー登録された顔特徴量と名前のデータから、顔ＩＤ１とユーザー登録された「太郎」のデータを結関連付ける。同様に、顔ＩＤ２の顔の特徴量を検出し、予めユーザー登録された顔特徴量と名前のデータから、顔ＩＤ２とユーザー登録された「花子」のデータを結関連付ける。

ワイヤレスマイク１４０３、１４０４はそれぞれマイクＮｏ１、マイクＮｏ２のナンバーが振られている。図１４（ａ）においては、「太郎」のデータとマイクＮｏ１が関連付けられており、「花子」のデータとマイクＮｏ２が関連付けられている。

ここで図１４（ａ）の状態から被写体人物画像１４０１、１４０２に対応する人物が一旦画角外に出て、再び２人とも同じ位置に戻ってきたことを想定する。戻ったあとの状態を図１４（ｂ）に示す。図１４（ｂ）での被写体人物画像１４０５、１４０６に対応する人物は、それぞれ図１４（ａ）の被写体人物１４０１、１４０２に対応する人物と同じである。同様に図１４（ａ）のワイヤレスマイク１４０３、１４０４は、それぞれ図１４（ｂ）のワイヤレスマイク１４０７、１４０８と同じである。

この時、顔の画角外移動があるため、再び被写体人物画像１４０５、１４０６が画角内に入ってきたとき被写体人物画像１４０５に顔ＩＤ２、被写体人物画像１４０６に顔ＩＤ１が振られる場合もある。しかし、顔ＩＤ１、顔ＩＤ２の顔に関する特徴量と、図１２のフローチャートで示した処理の結果によるワイヤレスマイクに関連付けられた顔特徴量を比較することでマイクＮｏと画角内の顔とを関連付けすることができる。そのため、実施例１のように距離、相対角度、口の動きを使った関連付け処理を繰り返す必要がない。

以上の例では予めユーザーが特定の顔特徴量に対してデータ入力を行っている前提で行ったが、そうでない場合でも実施は可能である。例えば一旦ワイヤレスマイクと関連付けた顔の特徴データはテンポラリー顔特徴量Ａなどと保持しておけば、画角外に顔が出てしまった場合でも、再度同じ顔が画角内に入ってきた場合同様の処理ができる。

以上の処理を行うことで、ユーザーはワイヤレスマイクと、ワイヤレスマイクを持つ人物とを手動ではなく自動で行うことができる。かつ、顔特徴量を利用して関連付けを行っているため、画角外に顔が移動して戻ってきた場合に本実施例中での関連付けの再び行う必要がなく処理量が軽減される。

以上の実施例１、実施例２の結果を用いて、例えば図１に示すアプリケーションが実施できる。図１においては撮影者１００が撮像装置２００を用いて、被撮影者１０１、１０２を撮影している。被撮影者１０１、１０２はそれぞれワイヤレスマイク３００Ａ、３００Ｂを保持している。ワイヤレスマイク３００Ａ、３００Ｂは小型で撮像装置２００では認識しにくい。この時、撮像装置２００に付随するＬＣＤ表示部２０２では被撮影者１０１に対応する人物画像１０３、被撮影者１０２に対応する人物画像１０４が表示される。この状態で、撮影者１００の指１０５でＬＣＤ表示部２０２に表示されている人物画像１０４をタッチすると、人物画像１０４の顔情報とワイヤレスマイク３００Ｂが関連付けられていることを利用して、ワイヤレスマイク３００Ｂの録音ＯＮ、ＯＦＦを切り替えられる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、本実施例では位置検出をブルートゥースを用いる前提であったが、他の通信電波によって行った構成で実施しても良い。

また、本実施例では位置検出を電波によって行ったが、ワイヤレスマイク３００、撮像装置２００ともにＧＰＳを備え、測距処理、位置検出処理をＧＰＳを用いた形で実施しても良い。

また、電波通信による測距方式は、本実施例中の手段以外の方法を用いて実施しても良い。

また、撮像装置２００のカメラ通信部Ａ２０７、カメラ通信部２０８の位置を変更し、その内１つを光学レンズの真上において測距演算容易にする形で実施しても良い。

また、実施例１、実施例２を組み合わせることで、顔個人情報をユーザーが登録している顔人物以外の人物が、画角外でのマイク交換に対応できるようにしても良い。

また画角外、画角内でマイクを保持しているマイクを交換してしまった、またはその他の要因で誤った関連付けがなされてしまった等の対策のため、顔とマイクの関連付け処理を一定時間間隔で定期的に行うようにして、再スキャンボタン押下げなどのユーザーの負担を軽減する形で実施しても良い。

２００ 撮像装置、２０１ 撮像部、２０２ 表示部、２０３ ＬＣＤ操作部、
２０４ 被写体検出部、２０９ カメラＣＰＵ

Claims (8)

1. 被写体を撮像する撮像手段と、
   前記撮像手段によって撮像された画像を解析する画像解析手段と、
   複数ワイヤレスマイクと通信を行う通信手段と、
   前記複数ワイヤレスマイクとの通信状態を解析することにより、前記複数ワイヤレスマイクまでの距離を検出する通信解析手段と、
   前記画像解析手段の結果および、前記通信解析手段の結果に基づいて、前記複数ワイヤレスマイク各々と前記撮像画像に含まれる人物とを対応づける登録手段を有する撮像装置。
2. 前記画像解析手段により画像に含まれる人物の少なくとも大きさを検出し、前記登録手段は、人物の大きさから推定される対応人物の距離と、前記通信解析手段により検出された距離が近いワイヤレスマイクとを対応づけていくことを特徴とする請求項１に記載の撮像装置。
3. 前記画像解析手段は画像に含まれる人物の少なくとも位置を検出し、前記通信解析手段の結果より複数ワイヤレスマイクそれぞれの位置を推定し、前記登録手段は、前記人物の位置と前記ワイヤレスマイクの位置が所定の範囲内である、人物とワイヤレスマイクとを対応づけることを特徴とする請求項１に記載の撮像装置。
4. 前記登録手段は、前記画像解析手段により検出された複数の人物の位置が第１の範囲よりも近い場合には、前記所定の範囲を狭く設定することを特徴とする請求項３に記載の撮像装置。
5. 前記登録手段は、前記通信解析手段により検出された複数のワイヤレスマイクの位置が、第２の範囲よりも近い場合には、前記所定の範囲を狭く設定することを特徴とする請求項３又は請求項４に記載の撮像装置。
6. 前記画像解析手段は、画像に含まれる人物の特徴量を検出することができ、前記人物の特徴量と、前記複数のワイヤレスマイクを対応付けていくことを特徴とする請求項２乃至請求項５の何れか一項に記載の撮像装置。
7. 前記人物の特徴量と対応づけられた個人顔情報登録データをあらかじめ持ち、前記個人顔情報登録データと前記複数のワイヤレスマイクとを対応付けることを特徴とする請求項２乃至請求項６の何れか一項に記載の撮像装置。
8. 前記画像解析手段は、画像に含まれる人物の口の動きを検出することができ、前記複数ワイヤレスマイクの音声レベルを検知し、口動きの検出されている人物と、前記複数ワイヤレスマイクの内で音声の発せられているワイヤレスマイクとを関連付けることを特徴とする請求項２乃至請求項７の何れか一項に記載の撮像装置。