JP2005208454A - 写真撮影システム、写真撮影方法、及びプログラム - Google Patents

Abstract

【課題】パーティー会場において、場の雰囲気にあった表情をした参加者の写真を、撮影可能な写真撮影システム、写真撮影方法、及びプログラムを提供する。
【解決手段】被写体を撮影する写真撮影装置において、複数の音情報取得部２２１〜２２８により取得された被写体の発する音及び／又は撮像ヘッド２３により本撮影に先立って撮影された画像と、当該音及び／又は当該画像の効果を加減する重み付け係数とに基づいて、撮影すべき方向を決定するための被写体適正度を算出し、当該被写体適正度が一定の閾値以上の被写体のみを撮影することにより、パーティーの雰囲気にあった写真を自動的に撮影可能となる。
【選択図】図２

Description

本発明は、カメラを用いて被写体を撮影する写真撮影装置、写真撮影方法、及びプログラムに関する。

近年、結婚披露宴や祝賀パーティーなどの会場では、参加者の自然な表情をスナップ写真等に撮影して記録しておくことが広く行われている。

このようなスナップ写真では、フレーミング、ピント等の調整に加え、参加者の楽しそうな表情が撮影されているか否かが重要となる。

このような撮影を行うための技術としては、例えば、音楽に連動して照明を制御することによって、歌唱者の豊かな表情が撮影可能な技術（特許文献１参照。）や、例えば、「乾杯！」と発声した際の音圧をトリガとしてシャッタ動作に係る技術（特許文献２、３を参照。）などが考案されている。
特開平１０−３１９９８０号公報 特許２８７３１０９号公報 特開平１０−３１９９８０号公報

しかし、複数のスナップ写真を組み合わせてアルバムを作成する場合には、パーティー会場に点在する場の雰囲気にあった表情をした参加者の写真が撮影されることが重要となる。このような撮影は、前述した特許文献にあげられた技術のみでは困難であり、実現のためには、高い撮影技術を有した複数のカメラマンが、互いに協調して撮影作業を行わなければならない。

本発明の課題は、パーティー会場において、場の雰囲気にあった表情をした参加者の写真を、撮影可能な写真撮影システム、写真撮影方法、及びプログラムを提供することである。

請求項１に記載の発明は、
写真撮影装置の周囲の音を取得する音取得手段と、
前記写真撮影装置の周囲の画像を取得する撮影手段と、
前記音取得手段により取得された周囲の音及び又は前記撮影手段により取得された画像から音源及び／又は被写体の位置を特定し、特定された前記音源の音及び／又は前記被写体の位置の画像が第１の判定条件を満たす場合に、その方向を撮影方向に設定する撮影方向設定手段と、
前記特定された撮影方向の音及び画像が第２の判定条件を満たす場合、前記特定された撮影方向に前記撮影手段を向けて被写体を撮影する撮影制御手段と、
を有することを特徴とする写真撮影装置である。

請求項２に記載の発明は、
前記第１の判定条件が、前記音取得手段により取得される音として、人物の会話及び拍手の周波数帯域及び／又は音声パターンに合致するか否かを判定する条件である
ことを特徴とする請求項１に記載の写真撮影装置である。

請求項３に記載の発明は、
前記第１の判定条件が、前記撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から眉、目、口といった顔パーツを抽出し、当該顔パーツと標準顔の顔パーツとの変位量に基づいて、被写体の表情を判定する条件である
ことを特徴とする請求項１に記載の写真撮影装置である。

請求項４に記載の発明は、
前記第２の判定条件が、前記第１の判定条件を満たす前記音源の音圧及び／又は前記表情の判定結果に基づいて算出される被写体適正度が所定の閾値以上か否かを判定する条件である
ことを特徴とする請求項１〜３の何れか一項に記載の写真撮影装置である。

請求項５に記載の発明は、
前記被写体適正度が、前記撮影方向設定手段により設定された撮影方向のうち撮影頻度の高い方向ほど小さくなるよう設定される重み付け係数により調整される
ことを特徴とする請求項４に記載の写真撮影装置である。

請求項６に記載の発明は、
被写体を撮影する複数の写真撮影装置と、
前記各写真撮影装置により撮影された画像を保存する画像サーバと、
前記各写真撮影装置の撮影状況を監視し、統括的に制御するシステム監視制御装置と、 前記システム監視装置から送信される撮影指示を表示する携帯情報端末と、
が通信ネットワークを介して接続された写真撮影システムであって、
前記写真撮影装置は、
当該写真撮影装置の周囲の音を取得する音取得手段と、
前記写真撮影装置の周囲の画像を取得する撮影手段と、
前記音取得手段により取得された周囲の音及び／又は前記撮影手段により取得された画像から、音源及び／又は被写体の位置を特定し、特定された前記音源の音及び／又は前記被写体の位置の画像が第１の判定条件を満たす場合に、その方向を撮影方向に設定する撮影方向設定手段と、
前記特定された撮影方向の音及び画像が第２の判定条件を満たす場合、当該撮影方向に前記撮影手段を向けて被写体を撮影する撮影制御手段と、
を有し、
前記システム監視制御装置は、
入力指示に基づいて、複数の前記各写真撮影装置に固有の第１の判定条件及び第２の判定条件をそれぞれ初期設定する、又は、初期設定から変更可能な設定手段と、
前記携帯情報端末に対して撮影指示を送信するための撮影指示送信手段と、
を有することを特徴とする写真撮影システムである。

請求項７に記載の発明は、
前記第１の判定条件が、前記音取得手段により取得される音として、人物の会話及び拍手の周波数帯域及び／又は音声パターンに合致するか否かを判定する条件である
ことを特徴とする請求項６に記載の写真撮影システムである。

請求項８に記載の発明は、
前記第１の判定条件が、前記撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から顔を構成する要素である顔パーツを抽出して、該抽出された顔パーツに基づいて、被写体の表情を判定する条件である
ことを特徴とする請求項６に記載の写真撮影システムである。

請求項９に記載の発明は、
前記第２の判定条件が、前記第１の判定条件を満たす前記音源の音圧及び／又は前記表情の判定結果に基づいて算出される被写体適正度が所定の閾値以上か否かを判定する
ことを特徴とする請求項６〜８の何れか一項に記載の写真撮影システムである。

請求項１０に記載の発明は、
前記被写体適正度が、前記撮影方向設定手段により設定された撮影方向のうち撮影頻度の高い方向ほど小さくなるよう設定される重み付け係数により調整される
ことを特徴とする請求項９に記載の写真撮影システムである。

請求項１１に記載の発明は、
写真撮影装置の周囲の音を取得する音取得手段と、前記写真撮影装置の周囲の画像を取得する撮影手段とを備える写真撮影装置を用いて写真撮影を行う写真撮影方法であって、
前記音取得手段により取得された周囲の音及び又は前記撮影手段により取得された画像から音源及び又は被写体の位置を特定し、特定された前記音源の音及び／又は前記被写体の位置の画像が第１の判定条件を満たす場合に、その方向を撮影方向に設定する撮影方向設定工程と、
前記特定された撮影方向の音及び画像が第２の判定条件を満たす場合、前記特定された撮影方向に前記撮影手段を向けて被写体を撮影する撮影制御工程と、
を含むことを特徴とする写真撮影方法である。

請求項１２に記載の発明は、
入力指示に基づいて、複数の前記各写真撮影装置に固有の前記第１の判定条件及び前記第２の判定条件をそれぞれ初期設定する、又は、初期設定から変更可能な設定工程と、
前記携帯情報端末に対して撮影指示を送信するための撮影指示送信工程と、
をさらに含むことを特徴とする請求項１１に記載の写真撮影方法である。

請求項１３に記載の発明は、
前記第１の判定条件は、前記音取得手段により取得される音として、人物の会話及び拍手の周波数帯域及び／又は音声パターンに合致するか否かを判定する条件である
ことを特徴とする請求項１１、又は、１２に記載の写真撮影方法。

請求項１４に記載の発明は、
前記第１の判定条件は、前記撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から顔を構成する要素である顔パーツを抽出して、該抽出された顔パーツに基づいて、被写体の表情を判定する条件である
ことを特徴とする請求項１１〜１３の何れ一項に記載の写真撮影方法である。

請求項１５に記載の発明は、
前記第２の判定条件は、前記第１の判定条件を満たす前記音源の音圧及び／又は前記表情の判定結果に基づいて算出される被写体適正度が所定の閾値以上か否かを判定する条件である
ことを特徴とする請求項１１〜１４の何れか一項に記載の写真撮影方法である。

請求項１６に記載の発明は、
前記被写体適正度は、前記撮影方向設定手段により設定された撮影方向のうち撮影頻度の高い方向ほど小さくなるよう設定される重み付け係数により調整される
ことを特徴とする請求項１５に記載の写真撮影方法である。

請求項１７に記載の発明は、
写真撮影装置の周囲の音を取得する音取得手段と、前記写真撮影装置の周囲の画像を取得する撮影手段とを備える写真撮影装置に接続されたコンピュータに、
前記音取得手段により取得された周囲の音及び又は前記撮影手段により取得された画像から音源及び／又は被写体の位置を特定し、特定された前記音源の音及び／又は前記被写体の位置の画像が第１の判定条件を満たす場合に、その方向を撮影方向に設定する撮影方向設定機能と、
前記特定された撮影方向の音及び画像が第２の判定条件を満たす場合、当該撮影方向に前記撮影手段を向け被写体を撮影する撮影制御機能と、
を実現させることを特徴とするプログラムである。

請求項１８に記載の発明は、
前記写真撮影装置に接続されたコンピュータに、
入力指示に基づいて、複数の前記各写真撮影装置に固有の前記第１の判定条件及び前記第２の判定条件をそれぞれ初期設定する、又は、初期設定から変更可能な設定機能と、
前記携帯情報端末被写体に対する撮影指示を送信するための撮影指示送信機能と、
をさらに実現させることを特徴とする請求項１７に記載の写真撮影プログラムである。

請求項１９に記載の発明は、
前記第１の判定条件は、前記音取得手段により取得される音として、人物の会話及び拍手の周波数帯域、及び／又は、音声パターンに合致するか否かを判定する条件である
ことを特徴とする請求項１７、又は、１８に記載のプログラムである。

請求項２０に記載の発明は、
前記第１の判定条件は、前記撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から顔を構成する要素である顔パーツを抽出して、該抽出された顔パーツに基づいて、被写体の表情を判定する条件である
ことを特徴とする請求項１７〜１９の何れ一項に記載のプログラムである。

請求項２１に記載の発明は、
前記第２の判定条件は、前記第１の判定条件を満たす前記音源の音圧及び／又は前記表情の判定結果に基づいて算出される被写体適正度が所定の閾値以上か否かを判定する条件である
ことを特徴とする請求項１７〜２０の何れか一項に記載のプログラムである。

請求項２２に記載の発明は、
前記被写体適正度は、前記撮影方向設定手段により設定された撮影方向のうち撮影頻度の高い方向ほど小さくなるよう設定される重み付け係数に調整される
ことを特徴とする請求項２１に記載のプログラムである。

請求項１、１１、１７に記載の発明によれば、音取得手段により取得された音と、撮影手段により取得された画像が所定の条件を満たす被写体のみを判別し撮影可能となるで、場の雰囲気にあった被写体を撮影できる。

請求項２に記載の発明によれば、請求項１に記載の発明と同等の効果を得られると共に、前記音取得手段により取得される音が、人物の会話及び拍手の周波数帯域及び／又は音声パターンに合致するか否かを判定するため、会話又は、拍手をしている人物のみを判定して撮影することが可能となる。

請求項３に記載の発明によれば、請求項１〜３の何れか一項に記載の発明の効果が得られると共に、前記撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から顔を構成する要素である顔パーツを抽出して、該抽出された顔パーツに基づいて、被写体の表情を判定するため、場の雰囲気にあった表情をした人物のみを判定して撮影することが可能となる。

請求項４に記載の発明によれば、請求項１〜３の何れか一項に記載の発明と同等の効果が得られると共に、音源の音圧及び／又は前記表情の判定結果に基づいて算出される被写体適正度が所定の閾値以上か否かを判定するため、より場の雰囲気にあった表情をした人物のみを撮影することが可能となる。

請求項５に記載の発明によれば、請求項４に記載の発明と同等の効果が得られるのはもちろんのこと、撮影頻度の高い撮影方向の被写体適正度が小さくなるよう調整されるため、個々の被写体全体を均一に撮影することが可能となる。

請求項６、１２、１８に記載の発明によれば、写真撮影装置の音取得手段により取得された音と、撮影手段により取得された画像とが所定の条件を満たす被写体のみを判別し、撮影可能となるで、場の雰囲気にあった被写体を撮影できる。また、システム監視制御装置の設定手段により、撮影条件が変更可能であるため、様々な様態のパーティーや式典に対応することができ、撮影指示送信手段から被写体の撮影指示を携帯端末へ送信することにより、撮影指示に基づいて、設定された条件以外の被写体を撮影する場合にも対応可能となる。

請求項７、１３、１９に記載の発明によれば、請求項６、１２、１８に記載の発明と同等の効果が得られるのは勿論のこと、写真撮影装置の音取得手段により取得される音が、人物の会話及び拍手の周波数帯域及び／又は音声パターンに合致するか否かを判定するため、会話又は、拍手をしている人物のみを判定して撮影することが可能となる。

請求項８、１４、２０に記載の発明によれば、請求項６、１２、１８に記載の発明と同等の効果が得られるのは勿論のこと、写真撮影装置の撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から顔を構成する要素である顔パーツを抽出し、該抽出された顔パーツに基づいて、被写体の表情を判定するため、場の雰囲気にあった表情をした人物のみを判定して撮影することが可能となる。

請求項９、１５、２１に記載の発明によれば、請求項６〜８、１２〜１３、１７〜２０の何れか一項に記載の発明と同等の効果が得られるのは勿論のこと、音源の音圧及び／又は被写体の顔パーツの変位量に基づいて算出される被写体適正度が所定の閾値以上か否かを判定するため、より場の雰囲気にあった表情をした人物のみを撮影することが可能となる。

請求項１０、１６、２２に記載の発明によれば、請求項９、１５、２１に記載の発明と同等の効果が得られるのは勿論のこと、撮影頻度の高い撮影方向の被写体適正度が小さくなるよう調整されるため、個々の被写体全体を均一に撮影することが可能となる。

まず、図１を参照して本実施の形態の写真撮影システム４の構成について説明する。
写真撮影システム４は、複数の自動撮影装置１と、携帯情報端末５と、システム監視制御装置６と、画像を保存する大容量の記憶媒体を有する画像サーバ７とが、通信ネットワークＮを介して、相互に通信可能に接続されて成る。

自動撮影装置１は、被写体を撮影した画像を画像サーバ７へ送信する。システム監視制御装置６は、画像サーバ７より画像を受信し、被写体の撮影状況に基づく撮影指示情報を作成し、携帯情報端末５へ送信する。また、システム監視制御装置６は、会の進行に合わせて重み付け係数、撮影閾値、被写体適正度の算出式の設定を変更し、その設定を自動撮影装置１へ送信する。

携帯情報端末５は、例えばＣＲＴ（Cathode Ray Tube）又はＬＣＤ（Liquid Crystal Display）といった端末情報表示部５１を備え、システム監視制御装置６から送信される撮影指示情報を端末情報表示部５１に表示する。移動カメラマン５２は、当該撮影指示情報に基づき、カメラ５３を用いて写真撮影を行う。

システム監視制御装置６は、制御部６１と、統括情報表示部６２と、入力部６３と、記憶部６４とを備え、写真撮影システム４を監視制御する。

制御部６１は、記憶部６４に格納されるシステムプログラムと撮影指示プログラム等の各種プログラムを実行することにより、システム監視制御装置６を統括的に制御する。

統括情報表示部６２は、ＣＲＴ、又は、ＬＣＤなどのモニタを備え、画像サーバ７から取得した画像や自動撮影装置１から取得した音情報（例えば音圧や音質の推移）のほか、自動撮影装置１各々の撮影数、或いは、自動撮影装置１の方向別撮影数等の統計情報を表示する。

入力部６３は、キーボードと、マウス、タッチパネルなどのポインティングデバイスとを備え、オペレータ６０により、重み付け係数、撮影閾値、被写体適正度の算出式等の入力や、その設定パターンの選択入力が行われる。

記憶部６４は、制御部６１によって実行される各種プログラムやデータを格納する。例えば、被写体の撮影状況に基づいて、移動カメラマンへの撮影指示を行う撮影指示情報を作成し、また被写体を撮影すべきか否かを判断する被写体適正度を算出する上で必要となる重み付け係数、撮影閾値、算出式の設定情報を作成する撮影指示プログラムや、重み付け係数、撮影閾値、被写体適正度の算出式、又はそれらの設定パターン、撮影した画像を格納する。

記憶部６４は、磁気的又は光学的記憶媒体、若しくは半導体メモリ等で構成され、記憶部３２に固定的に設けられている、或いは、着脱自在に設けられている。

次に、図２を参照して、自動撮影装置１の構成について説明する。
自動撮影装置１は、カメラ２と、カメラ制御装置３とを備え、バスＢを介して相互に接続されている。

カメラ２は、音情報取得部２２１〜２２８と、撮像ヘッド２３と、当該撮像ヘッド２３の支軸となる撮像ヘッド回転部２４と、当該撮像ヘッド回転部２４の下部にこれを支持する台座２１とを備える。

音情報取得部２２１〜２２８は、それぞれマイクを備え、自動撮影装置１の周囲の音を取得してデジタルデータとして出力する。
また、音情報取得部２２１〜２２８は、台座２１の円周方向に均等な間隔で配置され、これにより、音源の方向や、位置が特定できる。

撮像ヘッド２３は、図示しないレンズやＣＣＤ等を備え、このレンズやＣＣＤを介して画像を取得する。
また、撮像ヘッド２３は、撮像ヘッド回転部２４を介して、図中符号Ｒに示す方向に回動可能に設置されている。

カメラ制御装置３は、カメラ制御部３１と、記憶部３２と、無線通信部３３と備える。

カメラ制御部３１は、図示しないＣＰＵ（Central Processing Unit）等を備え、記憶部３２に格納されるシステムプログラム、自動撮影プログラム（図４参照）等の各種プログラムを実行することにより、自動撮影装置１を統括的に制御する。

記憶部３２は、カメラ制御部３１によって実行される各種プログラムやデータを格納する。例えば、被写体の音声や表情に基づいて、被写体を自動的に撮影するための自動撮影プログラムや、重み付け係数、撮影閾値、算出式、撮影した画像を格納する。

記憶部３２は、磁気的又は光学的記憶媒体、若しくは半導体メモリ等で構成され、記憶部３２に固定的に設けられている、或いは、着脱自在に設けられている。

通信制御部３３は、通信ネットワークＮに接続された各種機器との間でデータの送受信を行うためのインターフェースを備える。

図３は、本発明を好ましく適用可能な１例である結婚披露宴に適用した場合の、披露宴会場８に設置された写真撮影システム４の説明図である。以下図３を参照して、写真撮影システム４の機器構成について説明する。

ここで、写真撮影システム４を構成する各機器は、通信ネットワークＮとして、有線又は無線ＬＡＮ（Local Area Network）により接続される。
即ち有線ＬＡＮにより、披露宴会場８の外に設置されるシステム監視制御装置６と、画像サーバ７と、その設置場所から最も近い場所にある披露宴会場８内の自動撮影装置１とが接続される。また、無線ＬＡＮを介して、複数の自動撮影装置１と、携帯情報端末２とが接続されている。

無線ＬＡＮにより機器を接続した場合には、通信距離の制約を受けるため、自動撮影装置１は、中継機能を有し、最も近い機器を経由してデータの送受信を行う。携帯情報端末５も上記中継機能を有し、システム監視制御装置６からの撮影指示情報を、最も近い自動撮影装置１を経由してデータの送受信を行う。

披露宴会場８内において、複数の自動撮影装置１と携帯情報端末５とが無線ＬＡＮにより接続されている。披露宴の出席者が座る円卓テーブル９には、自動撮影装置１が各１台づつ設置されている。新郎・新婦等が着席する高砂席のテーブル１０は、自動撮影装置１を複数台配置することにより、長方形テーブル１０に着席している被写体となる人物が満遍なく撮影可能となる。

次に図４を参照して、写真撮影システム４の動作について説明する。

第１に、自動撮影装置１の動作について説明する。

自動撮影装置１が起動すると、重み付け係数ａ₁〜ａ₄、撮影方向係数ｂ_i（ここで、ｉは１〜Ｎの自然数であり、Ｎは被写体の人数を表す。以下同様）、時間係数τ_i、撮影閾値α、被写体適正度Ｘ_iの算出式は、各々デフォルト設定される（ステップＳ１）。

図５を参照して、個々で重み付け係数ａ₁〜ａ₄について説明する。

重み付け係数ａ₁〜ａ₄は、後述する被写体を撮影するか否かを判断する上での基準値となる被写体適正度を算出するためのパラメータである。また、重み付け係数ａ₁〜ａ₄は、システム監視制御装置６により設定変更可能であり、オペレータ６０の指示により任意の値とすることも可能である。

拍手音圧係数ａ₁、及び、笑い声音圧係数ａ₂は、被写体の発する音に対して乗ずる重み付け係数である。
拍手音圧係数ａ₁は、被写体が拍手した時の音圧値に対して乗ずる係数である。話し声・笑い声音圧係数ａ₂は、被写体の発する話し声や、笑い声の音圧値に対して乗ずる重み付け係数である。

笑顔変位量係数ａ₃、真摯顔変位量係数ａ₄は、被写体の顔を構成する要素である、被写体の顔パーツ（例えば、眉、目、口、等）の、後述する変位量に対して乗ずる重み付け係数であり、被写体の表情が笑顔、又は真摯顔と判断された場合、被写体の顔パーツの変位量に乗ぜられる係数である。

披露宴の各場面における、重み付け係数ａ₁〜ａ₄の設定パターンＩ〜Ｌを用意した例を以下で説明する。設定パターンは、場の雰囲気に合った被写体のみを撮影するため、会の進行に応じてオペレータ６０により変更されるものである。

パーティー基本Ｉは、披露宴の開宴、終宴時における司会者の挨拶の場面を想定した重み付け係数の設定パターンである。
主賓挨拶Ｊは、仲人や出席者の代表者である来賓の挨拶時の厳かな場面を想定した重み付け係数の設定パターンである。
歓談Ｋは、挨拶が終わった後、飲食をしながらの自由な歓談を楽しんでいる場面を想定した重み付け係数の設定パターンである。
真摯儀式Ｌは、新郎、新婦がケーキ入刀や両親への感謝の言葉を述べる時など、厳粛な場面を想定した重み付け係数の設定パターンである。

図６を参照して、披露宴の式次第と設定パターンＩ〜Ｌの対応について説明する。
オペレータは、会の進行にともない、設定パターンＩ〜Ｌを変更するパターン変更時刻Ｔ₁〜Ｔ₈において、場の雰囲気に合った設定パターンＩ〜Ｌを選択し変更する。設定パターンＩ〜Ｌが何れも適当でない場合や、被写体毎の撮影状況が不均一となった場合、オペレータ６０の入力指示に基づいて、重み付け係数ａ₁〜a₄を任意に変更可能とする。

複数の音情報取得部２２１〜２２８からの被写体の発する音を取得する(ステップＳ２)。取得された音の位相差、到達時間の差等により音源の存在する位置を特定する。また、各音情報取得部２２１〜２２８が各々取得した音から、拍手や話声・笑声に関連する周波数帯域の情報を抽出し、フーリエ変換やウェーブレット変換等による、パターンマッチングフィルタ処理を施し、被写体の発した音が拍手音、又は話声・笑声であるか否かを判定する。被写体の発した音が拍手音、又は話声・笑声であった場合、該当する被写体毎に拍手音圧Ｐ_ci、又は、笑声・話声音圧Ｐ_liを取得する。

特定された音源の方向へ撮像部２３を向けて、その方向の画像を取得する(ステップＳ２）。

ここで、取得した画像が人物であった場合の人物の表情判定処理について、図７を参照して説明する。

自動撮影装置１により撮影された画像から、肌色領域を抽出し、被写体の位置を特定する。そして、抽出された肌色領域の形態を評価し、例えば楕円形に近い形態の画像を顔候補領域として抽出する。顔候補領域内の画像をグレースケール表示にするなどのエッジ処理を行うことによりエッジ情報を抽出する。エッジ情報と、眉、目、口、瞳、鼻梁といった代表的形態のテンプレートとの間で、公用技術であるテンプレートマッチングを行い、顔候補領域が顔であるか否かを判定しその判定結果に基づいて顔画像領域を抽出する。

抽出された画像が顔領域と判定された場合、人の表情の判定に必要な眉、目、口といった顔パーツの特徴点の抽出をさらに行う。

人の表情は、大きく分けて、喜び（笑顔）Ｆ１、驚きＦ２、嫌悪Ｆ３、悲しみＦ４、恐怖Ｆ５、怒りＦ６の６パターンに分類される。真摯顔Ｆ７は、標準顔Ｆ８から、わずかに怒りＦ６の傾向を有する。よって、本発明で用いる表情のパターンは、笑顔Ｆ１、怒顔Ｆ６である。

被写体となる人物を撮影した画像から表情を特定する方法として、例えば、基準となる標準顔Ｆ７を用意し、各顔パーツの特徴点Ｆ７ａ〜Ｆ７ｃを抽出し、比較対象となる表情を有する顔の各顔パーツの特徴点を対比し、その変位量とベクトルの方向とを求める。求められた変位量と、ベクトルの方向との組合せから、人物の表情を特定する。

標準顔Ｆ７は、例えば日本人の平均顔を用いるか、又は、披露宴会場で本撮影に入る前に撮影した、同一人物の、複数のサンプリング画像から特徴点を抽出し、所定の時間内の平均値を用いてもよい。また、平均値を求めたサンプリング画像の特徴点は、笑顔方向に変位していることが予想され、サンプリング画像の中に極端に笑顔方向に変位している画像を排除して、平均顔を算出してもよい。

笑顔Ｆ１と判定された特徴点の変位量を笑顔変位量ｘ_li、真摯顔Ｆ８と判定された特徴点の変位量を真摯顔変位量ｘ_siとする。

被写体の表情が笑顔、又は、真摯顔と判定された場合、被写体の各顔パーツの変位量から算出される笑顔変位量ｘ_li及び真摯顔変位量ｘ_siを取得する。

次いで、被写体適正度Ｘ_iを算出するうえで必要となる重み付け係数である撮影方向係数ｂ_i及び時間係数τ_iと、撮影閾値αと、被写体適正度Ｘ_iの算出式［数１］についてそれぞれ説明する。

時間係数τ_iについて、図８参照して説明する。
撮影時刻ｔ_inは、自動撮影装置１が被写体を撮影した時刻を表す（ｎは、自然数であり、撮影した回数に対応する。以下同様。）。
時間係数τ_iは、拍手音圧Ｐ_ci、話声・笑声音圧Ｐ_li、笑顔変位量ｘ_li、真摯顔変位量ｘ_siと、重み付け係数ａ₁〜ａ₄との積和に乗ぜられる係数である。
本発明の自動撮影装置１は、被写体の発する音圧に反応して、撮像部２３を被写体に向け、撮影する。被写体が連続して所定の値以上の音圧を連続して発し続けた場合、自動撮影装置１はそれに反応して、連続して同一の被写体を撮影し続ける可能性が有る。そこで、一度撮影した被写体の方向の時間係数τ_i＝０とすることで、同一の被写体を連続して撮影することを防止可能となる。時間係数τ_iは時間の経過に伴いτ_i＝１となるまで増加する。

撮影方向係数ｂ_iは、各被写体の撮影頻度を均一化するため、撮影頻度の高い被写体に対して小さい値をとり、より撮影されにくい設定とし、撮影頻度の低い被写体に対して大きい値をとり、より撮影されやすい設定となるよう調節するための重み付け係数である。拍手音圧Ｐ_ci、話声・笑声音圧Ｐ_li、笑顔変位量ｘ_li、真摯顔変位量ｘ_si、各重み付け係数ａ₁〜ａ₄、ｂ_i、τ_iを用いて、撮影方向を決定するための被写体適正度Ｘ_iの算出式の例を［数１］に示す。

［数１］は被写体適正度Ｘ_iの算出式の一例である。重み付け係数ａ₁〜ａ₄、ｂ_i、τ_i、撮影閾値α、被写体適正度Ｘ_iの算出式は撮影状況に応じて、オペレータがシステム監視制御装置６から予め用意された設定パターンを選択するか、又は、任意に変更可能である。

重み付け係数ａ₁〜ａ₄、ｂ_i、τ_i、撮影閾値α、拍手音圧Ｐ_ci、笑い声音圧Ｐ_li、笑顔変位量ｘ_li、真摯顔変位量ｘ_si、を［数１］に代入し、被写体毎の被写体適正度Ｘ_iを算出する（ステップＳ３）。

算出された各被写体適正度Ｘ_iのうち最大値を有する方向を撮影方向と決定する撮影方向設定処理をおこなう（ステップＳ４）。

被写体適正度Ｘ_iが撮影閾値α以上か否かを判定する撮影制御処理を行う（ステップＳ５）。

被写体適正度Ｘ_iが撮影閾値α以上の場合（ステップＳ５；ＹＥＳ）、撮影方向に撮像部２３を向け、被写体を撮影する（ステップＳ６）。

被写体の画像を取得し、通信ネットワークＮを介して、画像を画像サーバ７へ転送する（ステップＳ７）。

撮影した方向の撮影方向係数ｂ_iを小さな値に修正する（ステップＳ８）。

システム監視制御装置６から、重み付け係数ａ₁〜ａ₄、ｂ_i、τ_i、撮影閾値α、算出式の初期設定の変更指令が有るか無いかを判定する設定処理を行う（ステップＳ９）。

重み付け係数ａ₁〜ａ₄、ｂ_i、τ_i、又は、撮影閾値αの初期設定の変更指令があった場合（ステップＳ９；ＹＥＳ）、該当する重み付け係数ａ₁〜ａ₄、ｂ_i、τ_i、撮影閾値α、算出式を変更する（ステップＳ１０）。

該当する重み付け係数ａ₁〜ａ₄、ｂ_i、τ_i、撮影閾値α、算出式を変更後、ステップＳ２の処理に戻る。

被写体適正度Ｘ_iが撮影閾値α以上ではなかった場合（ステップＳ５；ＮＯ）、ステップＳ２の処理に戻る。

重み付け係数ａ₁〜ａ₄、ｂ_i、τ_i、又は、撮影閾値αの初期設定の変更指令がなかった場合（ステップＳ９；ＮＯ）、システム監視制御装置６からの撮影終了指令が有るか無いかを判定する撮影終了処理（ステップＳ１１）。

撮影終了指令が有る場合（ステップＳ１１；ＹＥＳ）、自動撮影装置１の電源を切り（ステップＳ１１）、処理を終了する。

撮影終了指令がない場合（ステップＳ１１；ＮＯ）、ステップＳ２の処理に戻る。

第２に、システム監視制御装置６の動作を説明する。
複数の自動撮影装置１により撮影された被写体の撮影状況に偏りが出た場合、オペレータ６０の入力指示により、該当する被写体に対する重み付け係数ａ₁〜ａ₄、ｂ_i、τ_i、撮影閾値α、算出式、設定パターンＩ〜Ｌ等を変更設定する設定処理が行われる。
移動撮影カメラマン５２に直接撮影の支持を行う場合、撮影指示を携帯情報端末５に送信し、具体的な指示を与える撮影指示処理が行われる。
また、自動撮影装置１の起動・停止する場合、起動・停止指令を各自動撮影装置１へ送信し、リモート制御を行う。

本実施の形態において、撮影方向設定処理、撮影制御処理、は各自動撮影装置１に行わせたが、システム監視制御６が一括して制御してもよい。これにより、各自動撮影装置１の制御負荷の低減が可能となる。

以上により、写真撮影システム４は、人物が発する音声や、表情に基づいて、被写体を判別し、撮影することが可能となる。また、オペレータ６０の入力指示により重み付け係数ａ₁〜ａ₄、ｂ_i、τ_i、撮影閾値α、算出式、設定パターンＩ〜Ｌを変更することにより、パーティー会場において場の雰囲気にあった表情をした参加者の写真を撮影可能となる。

写真撮影システム４のシステム構成を示す。 自動撮影装置１の上面図（ａ）及び、端面図（ｂ）を示す。 披露宴会場８において、写真撮影システム４を適用した場合のシステム構成の概略図を示す。 写真撮影システム４による被写体の撮影動作のフローチャートを示す。 披露宴の各場面における重み付け係数ａ₁〜ａ₄の設定パターンＩ〜Ｌを示す。 披露宴の式次第に基づく設定パターンの変更タイミングＴ₁〜Ｔ₈を示す。 人物の表情のモデル図を示す。 撮影時刻と時間係数の相関を示す。

符号の説明

１ 自動撮影装置
１０ 長方形テーブル
２ カメラ
２１ 台座
２２１〜２２８ 音情報取得部
２３ 撮像ヘッド
２４ 撮像ヘッド回転部
３ カメラ制御装置
３１ カメラ制御部
３２ 記憶部
３３ 無線制御部
４ 写真撮影システム
５ 携帯情報端末
５１ 端末情報表示部
５２ 移動撮影カメラマン
５３ カメラ
６ システム監視制御装置
６０ オペレータ
６１ 制御部
６２ 統括情報表示部
６３ 入力部
６４ 記憶部
７ 画像サーバ
８ 披露宴会場
９ 円形テーブル
Ｆ１ 喜び（笑顔）
Ｆ１ａ 顔パーツ特徴点（眉）
Ｆ１ｂ 顔パーツ特徴点（目）
Ｆ１ｃ 顔パーツ特徴点（口）
Ｆ２ 驚き
Ｆ３ 嫌悪
Ｆ４ 悲しみ
Ｆ５ 恐怖
Ｆ６ 怒り
Ｆ７ 標準顔
Ｆ７ａ 顔パーツ特徴点（眉）
Ｆ７ｂ 顔パーツ特徴点（目）
Ｆ７ｃ 顔パーツ特徴点（口）
Ｆ８ 真摯顔
Ｎ 通信ネットワーク
Ｐ_ci 拍手音圧
Ｐ_li 話声・笑声音圧
Ｒ 周囲方向
Ｘ_i 被写体適正度
α 撮影閾値
ｘ_li 笑顔変位量
ｘ_si 真摯顔変位量

Claims (22)

1. 写真撮影装置の周囲の音を取得する音取得手段と、
   前記写真撮影装置の周囲の画像を取得する撮影手段と、
   前記音取得手段により取得された周囲の音及び又は前記撮影手段により取得された画像から音源及び／又は被写体の位置を特定し、特定された前記音源の音及び／又は前記被写体の位置の画像が第１の判定条件を満たす場合に、その方向を撮影方向に設定する撮影方向設定手段と、
   前記特定された撮影方向の音及び画像が第２の判定条件を満たす場合、前記特定された撮影方向に前記撮影手段を向けて被写体を撮影する撮影制御手段と、
   を有することを特徴とする写真撮影装置。
2. 前記第１の判定条件が、前記音取得手段により取得される音として、人物の会話及び拍手の周波数帯域及び／又は音声パターンに合致するか否かを判定する条件である
   ことを特徴とする請求項１に記載の写真撮影装置。
3. 前記第１の判定条件が、前記撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から顔を構成する要素である顔パーツを抽出し、抽出された該顔パーツに基づいて、被写体の表情を判定する条件である
   ことを特徴とする請求項１に記載の写真撮影装置。
4. 前記第２の判定条件が、前記第１の判定条件を満たす前記音源の音圧及び／又は前記表情の判定結果に基づいて算出される被写体適正度が所定の閾値以上か否かを判定する条件である
   ことを特徴とする請求項１〜３の何れか一項に記載の写真撮影装置。
5. 前記被写体適正度が、前記撮影方向設定手段により設定された撮影方向のうち撮影頻度の高い方向ほど小さくなるよう設定される重み付け係数により調整される
   ことを特徴とする請求項４に記載の写真撮影装置。
6. 被写体を撮影する複数の写真撮影装置と、
   前記各写真撮影装置により撮影された画像を保存する画像サーバと、
   前記各写真撮影装置の撮影状況を監視し、統括的に制御するシステム監視制御装置と、 前記システム監視装置から送信される撮影指示を表示する携帯情報端末と、
   が通信ネットワークを介して接続された写真撮影システムであって、
   前記写真撮影装置は、
   当該写真撮影装置の周囲の音を取得する音取得手段と、
   前記写真撮影装置の周囲の画像を取得する撮影手段と、
   前記音取得手段により取得された周囲の音及び／又は前記撮影手段により取得された画像から、音源及び／又は被写体の位置を特定し、特定された前記音源の音及び／又は前記被写体の位置の画像が第１の判定条件を満たす場合に、その方向を撮影方向に設定する撮影方向設定手段と、
   前記特定された撮影方向の音及び画像が第２の判定条件を満たす場合、当該撮影方向に前記撮影手段を向けて被写体を撮影する撮影制御手段と、
   を有し、
   前記システム監視制御装置は、
   入力指示に基づいて、複数の前記各写真撮影装置に固有の第１の判定条件及び第２の判定条件をそれぞれ初期設定する、又は、初期設定から変更可能な設定手段と、
   前記携帯情報端末に対して撮影指示を送信するための撮影指示送信手段と、
   を有することを特徴とする写真撮影システム。
7. 前記第１の判定条件が、前記音取得手段により取得される音として、人物の会話及び拍手の周波数帯域及び／又は音声パターンに合致するか否かを判定する条件である
   ことを特徴とする請求項６に記載の写真撮影システム。
8. 前記第１の判定条件が、前記撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から顔を構成する要素である顔パーツを抽出して、該抽出された顔パーツに基づいて、被写体の表情を判定する条件である
   ことを特徴とする請求項６に記載の写真撮影システム。
9. 前記第２の判定条件が、前記第１の判定条件を満たす前記音源の音圧及び／又は前記表情の判定結果に基づいて算出される被写体適正度が所定の閾値以上か否かを判定する
   ことを特徴とする請求項６〜８の何れか一項に記載の写真撮影システム。
10. 前記被写体適正度が、前記撮影方向設定手段により設定された撮影方向のうち撮影頻度の高い方向ほど小さくなるよう設定される重み付け係数により調整される
    ことを特徴とする請求項９に記載の写真撮影システム。
11. 写真撮影装置の周囲の音を取得する音取得手段と、前記写真撮影装置の周囲の画像を取得する撮影手段とを備える写真撮影装置を用いて写真撮影を行う写真撮影方法であって、
    前記音取得手段により取得された周囲の音及び又は前記撮影手段により取得された画像から音源及び又は被写体の位置を特定し、特定された前記音源の音及び／又は前記被写体の位置の画像が第１の判定条件を満たす場合に、その方向を撮影方向に設定する撮影方向設定工程と、
    前記特定された撮影方向の音及び画像が第２の判定条件を満たす場合、前記特定された撮影方向に前記撮影手段を向けて被写体を撮影する撮影制御工程と、
    を含むことを特徴とする写真撮影方法。
12. 入力指示に基づいて、複数の前記各写真撮影装置に固有の前記第１の判定条件及び前記第２の判定条件をそれぞれ初期設定する、又は、初期設定から変更可能な設定工程と、
    前記携帯情報端末に対して撮影指示を送信するための撮影指示送信工程と、
    をさらに含むことを特徴とする請求項１１に記載の写真撮影方法。
13. 前記第１の判定条件は、前記音取得手段により取得される音として、人物の会話及び拍手の周波数帯域及び／又は音声パターンに合致するか否かを判定する条件である
    ことを特徴とする請求項１１、又は、１２に記載の写真撮影方法。
14. 前記第１の判定条件は、前記撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から顔を構成する要素である顔パーツを抽出して、該抽出された顔パーツに基づいて、被写体の表情を判定する条件である
    ことを特徴とする請求項１１〜１３の何れ一項に記載の写真撮影方法。
15. 前記第２の判定条件は、前記第１の判定条件を満たす前記音源の音圧及び／又は前記表情の判定結果に基づいて算出される被写体適正度が所定の閾値以上か否かを判定する条件である
    ことを特徴とする請求項１１〜１４の何れか一項に記載の写真撮影方法。
16. 前記被写体適正度は、前記撮影方向設定手段により設定された撮影方向のうち撮影頻度の高い方向ほど小さくなるよう設定される重み付け係数により調整される
    ことを特徴とする請求項１５に記載の写真撮影方法。
17. 写真撮影装置の周囲の音を取得する音取得手段と、前記写真撮影装置の周囲の画像を取得する撮影手段とを備える写真撮影装置に接続されたコンピュータに、
    前記音取得手段により取得された周囲の音及び又は前記撮影手段により取得された画像から音源及び／又は被写体の位置を特定し、特定された前記音源の音及び／又は前記被写体の位置の画像が第１の判定条件を満たす場合に、その方向を撮影方向に設定する撮影方向設定機能と、
    前記特定された撮影方向の音及び画像が第２の判定条件を満たす場合、当該撮影方向に前記撮影手段を向け被写体を撮影する撮影制御機能と、
    を実現させることを特徴とするプログラム。
18. 前記写真撮影装置に接続されたコンピュータに、
    入力指示に基づいて、複数の前記各写真撮影装置に固有の前記第１の判定条件及び前記第２の判定条件をそれぞれ初期設定する、又は、初期設定から変更可能な設定機能と、
    前記携帯情報端末被写体に対する撮影指示を送信するための撮影指示送信機能と、
    をさらに実現させることを特徴とする請求項１７に記載の写真撮影プログラム。
19. 前記第１の判定条件は、前記音取得手段により取得される音として、人物の会話及び拍手の周波数帯域、及び／又は、音声パターンに合致するか否かを判定する条件である
    ことを特徴とする請求項１７、又は、１８に記載のプログラム。
20. 前記第１の判定条件は、前記撮影手段により取得された画像から顔画像領域を抽出し、当該顔画像領域から顔を構成する要素である顔パーツを抽出して、該抽出された顔パーツに基づいて、被写体の表情を判定する条件である
    ことを特徴とする請求項１７〜１９の何れ一項に記載のプログラム。
21. 前記第２の判定条件は、前記第１の判定条件を満たす前記音源の音圧及び／又は前記表情の判定結果に基づいて算出される被写体適正度が所定の閾値以上か否かを判定する条件である
    ことを特徴とする請求項１７〜２０の何れか一項に記載のプログラム。
22. 前記被写体適正度は、前記撮影方向設定手段により設定された撮影方向のうち撮影頻度の高い方向ほど小さくなるよう設定される重み付け係数に調整される
    ことを特徴とする請求項２１に記載のプログラム。

Images