JP2004029807A

JP2004029807A - 画像合成装置

Info

Publication number: JP2004029807A
Application number: JP2003172219A
Authority: JP
Inventors: Seiichi Nakakuma; 中隈　誠一
Original assignee: Hitachi Software Engineering Co Ltd
Current assignee: Hitachi Software Engineering Co Ltd
Priority date: 2003-06-17
Filing date: 2003-06-17
Publication date: 2004-01-29

Abstract

【課題】被写体が適切な位置または範囲内に居るかどうかを自動的に検出し、適切な被写体画像を撮影し、その被写体画像と他の画像と合成して出力すること。
【解決手段】前記カメラの視野範囲内に撮影対象の被写体が位置しているか否かを検出するセンサと、このセンサの検出結果により、撮影対象の被写体の一部または全部が前記カメラの視野範囲外に位置している場合には、視野範囲内に収まるように前記カメラの視野を広角またはパノラマサイズの撮影モードに変更する手段を備える。
【選択図】　　　　図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラで撮影した被写体画像と被写体自身が選択した画像とを合成してシールや磁気記録媒体等の所定の出力媒体に出力する画像合成装置に係り、特に赤外線センサの利用により、被写体が適切な撮影範囲に収まるようにした画像合成装置に関するものである。
【０００２】
【従来の技術】
従来、ユーザ自身を被写体としてカメラで自動撮影する装置としては、硬貨等を投入して証明写真等を撮影する自動写真撮影装置、あるいは他の背景画像等と合成してプリントする画像合成装置（あるいは画像合成プリント装置）などが存在する。例えば、次の特許文献１に開示されたものがある。
【０００３】
【特許文献１】
特表平４−５０６２６４号公報
被写体がカメラの視野範囲に対して適切な位置にあるか否かの判断については、これらの従来装置の多くは、前方の鏡面などにより、おおよその範囲を被写体自身に判断させるものであった。
また、被写体と他の背景画像等とで画像合成を行う画像合成装置の中には、被写体モニタ画像をモニタ画面に表示させることにより、被写体（ユーザ）自身にカメラの視野範囲を認識させるものも近年見受けられる。
【０００４】
【発明が解決しようとする課題】
しかしながら、被写体モニタ画像を表示する機構を有しない従来装置においては、前方の鏡面などによりおおよその撮影範囲を被写体自身で判断することになるため、実際には、被写体の一部が撮影範囲の上方または左右にはみ出ていたとしても、その場で気が付かず、結果的に、被写体（ユーザ）が希望したポーズの画像合成結果を得ることができない場合があった。
【０００５】
一方、最近において、被写体の後方の壁面等に照明を当てることにより、被写体の影を消し、被写体のみの画像を切り出し、その被写体画像と他の背景画像等とで多様な画像合成を行うクロマキー合成法を利用した画像合成装置が提案されている。このような装置では、照明が被写体に対して充分に当たるよう、被写体が壁面等より一定距離範囲内に位置していることが要求されることが多い。このような装置においては、被写体モニタ画像をモニタ画面に表示させることにより、上下左右方向の位置が適切かどうかを被写体自身に判断させることができる。しかし、被写体モニタ画像の表示のみでは、被写体がカメラに向かって前後方向の適切な範囲にいるか否かは被写体自身では判断し難いという問題がある。もし、被写体がカメラに対して近づき過ぎていた場合には、被写体背面からの照明が充分に当らず、被写体の背面側に生じる影を消すことができなくなり、その影の存在によって被写体画像を明瞭に切り出すことができない。被写体画像を明瞭に切り出すことができなかった場合、高品質の合成画像を作成することができなくなる。
【０００６】
本発明は、このような問題を解決するためになされたものであり、被写体が適切な位置または範囲内に居るかどうかを自動的に検出し、適切な被写体画像を撮影し、その被写体画像と他の画像と合成して出力することができる画像合成装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、カメラで撮影した被写体画像と被写体自身が選択した画像とを合成して所定の出力媒体に出力する画像合成装置において、前記カメラの視野範囲内に撮影対象の被写体が位置しているか否かを検出するセンサと、このセンサの検出結果により、撮影対象の被写体の一部または全部が前記カメラの視野範囲外に位置している場合には、視野範囲内に収まるように前記カメラの視野を広角またはパノラマサイズの撮影モードに変更する手段を備えることを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して具体的に説明する。
（実施形態１）
まず、被写体画像のモニタ画像をモニタ画面に表示する機能を備えていない画像合成装置において、被写体がカメラの視野範囲内に位置していない場合には、被写体に対して位置を移動するように警告を発し、カメラの視野範囲内に適切に収まる被写体画像を撮影可能にした第１の実施形態について説明する。
【０００９】
図１は、本実施形態における基本的な機器構成図、図２は被写体とカメラおよび赤外線センサとの関係を示す側面図、図３は被写体とカメラおよび赤外線センサとの関係を装置上方から見た平面図である。
【００１０】
図１に示す画像合成装置は、被写体１の画像を撮影するカメラ（例えばＣＣＤ）２と、このカメラ２で撮影した被写体画像と被写体１自身が選択した背景画像とを合成する撮影制御装置３と、合成された画像をシール等の出力媒体に印刷して出力するプリンタ４と、カメラ２の視野範囲内に撮影対象の被写体１が位置しているか否かを検出する赤外線センサ５と、この赤外線センサ５の検出結果により、撮影対象の被写体１の一部または全部がカメラ２の視野範囲外に位置している場合には、カメラ２の視野範囲内に収まるように被写体１に対して位置を移動するようにスピーカ９から警告を発する警告装置６と、背景画像の選択などの各種操作を行う入力装置７と、合成対象の背景画像の候補をユーザの要求に応じて表示する表示装置８とを備えている。
【００１１】
カメラ２は、図２に示すように、筐体１０の内部に配置され、その視野１３は破線で示すように被写体１の上半身を撮影可能に設定されている。なお、カメラ２の視野は被写体１の全身を撮影可能に設定することも可能である。
【００１２】
筐体１０の天井部分からは被写体１の上方からの光を遮断するための天井カバー１１が被写体１の上方部を覆うように設けられている。さらに被写体１の背面側には、背面側からの外来光を遮断するための背面スクリーン１２が設けられている。背面スクリーン１２は、被写体１の上半身画像を撮影する構成にあっては、図２に示すように、被写体１の腰部付近まで垂れ下がった構造であるが、全身画像を撮影する構成にあっては被写体１の足元付近まで垂れ下がった構成になる。なお、以下において、本実施形態の画像合成装置は、被写体１の上半身を撮影対象とするものとして説明する。
【００１３】
表示装置８は、筐体１０の被写体１の正面側に配置され、その表示画面の表面にはタッチパネルで構成された入力装置７が設けられている。このタッチパネルで構成された入力装置７は、表示装置８の画面に表示させた操作メニューなどの選択項目の位置を押圧した時の抵抗値を検知し、画面上の座標位置を算出し、これにより、ユーザがどの選択項目を選択したかを判定する構成のものであり、抵抗値を検出するものの他に、電磁結合、静電結合、光結合などを利用した入力装置を用いることができる。
【００１４】
被写体画像と背景画像との合成画像を所定サイズのシートに印刷するプリンタ４は、例えばビデオプリンタで構成され、その印刷出力口が被写体１の正面側を向くように筐体１０の下部に配置されている。
【００１５】
撮影制御装置３は、例えば汎用のパーソナルコンピュータで構成されるものであり、筐体１０の内部に被写体１から見えないように配置されている。
【００１６】
被写体１がカメラ２の視野内に位置しているかどうかを検出する赤外線センサ５は、この実施形態では、カメラ２の上部視野限界１３Ｕの上方部を検出範囲５Ｕとする赤外線センサ５−１（図２）と、カメラ２の左右視野限界１３Ｒ，１３Ｌ（図３）の外側を検出範囲５Ｒ，５Ｌとする赤外線センサ５−２，５−３とで構成されている。
【００１７】
これらの赤外線センサ５−１〜５−３は、被写体１から発せられる遠赤外線を検出する受動型の赤外線センサで構成される。受動型の赤外線センサとは、物体がその温度に応じた波長の赤外線エネルギー（遠赤外線）を放射している、という公知の性質を利用して、一定の空間範囲内において、被写体の温度（３５〜３７度Ｃ付近）と、後方の背面スクリーンなどの温度（３０度Ｃ以下の室温）との温度差による遠赤外線の波長の差を検出して信号を出力する赤外線センサである。
【００１８】
図４は、この実施形態にかかる画像合成装置の機能構成をさらに詳しく示したブロック構成図であり、全体の制御を行うＣＰＵ（中央処理装置）３０１を備えている。このＣＰＵ３０１には、メモリ３０２、Ｉ／Ｏ制御部３０３、データ記憶部３０４、画像出力部３０５、画像処理部３０６、パターンメモリ３０７、画像入力部３０８が接続されている。Ｉ／Ｏ制御部３０３には、通信制御Ｉ／Ｆ（インタフェース）３０９、デジタルカメラＩ／Ｆ（インタフェース）３１１、インバータ３１２、赤外線センサ５、タツチパネル構造の入力装置７、コイン制御部３１３、タイマ３１４、警告装置６が接続されている。
【００１９】
ＣＰＵ３０１は、メモリ３０２に格納してあるプログラムによって、画像処理部３０６と共同して又は単独で、画像入力部３０８およびデジタルカメラＩ／Ｆ（インタフェース）３１１からの圧縮ディジタル信号を受信し、被写体１の上半身画像（以下、被写体画像）の輪郭を抽出し、その撮影された被写体画像の歪み補正を行い、さらに被写体１が選択した背景画像の明度と彩度の比較を行い、背景色の彩度と明度に適合するように被写体画像の彩度と明度の補正を行い、プリンタ４ヘプリント出力処理を行なう。さらに、必要に応じて、またはユーザからの要求に応じて、合成画像のデータをフレキシブルディスクやＰＤやＭＯなどの補助記憶媒体３１５に格納する。格納する場合には、ＰＧＰなどの暗号プログラムにより、暗号化される。なお、ここで暗号化されるのは合成画像と、入力装置（タッチパネル）７から入力された氏名、電話番号などのプライバシーに関わるデータである。
【００２０】
メモリ３０２には、画像入力部３０８から取り込んだ画像データが記憶されるほか、ＣＰＵ３０１に発する命令と画像合成装置の制御手順となる命令群がプログラムとして記憶されている。また、ＣＰＵ３０１の処理データもワークデータとして一時的に記憶される。
【００２１】
データ記憶部３０４は、フレキシブルディスクなどの補助記憶媒体３１５との間で各種のデータを送受可能に構成されている。画像出力部３０５には、プリンタ４および表示装置８が接続され、被写体画像と背景画像との合成画像の表示や印刷を行うようになっている。
【００２２】
画像処理部３０６は、メモリ３０２に記憶させた被写体の画像データとパタ−ンメモリ３０７に格納した顔の色データから顔の輪郭を抽出し、メモリ３０２上の空間の任意の位置に配置する処理や被写体自身が選択した任意の背景画像との合成処理をＣＰＵ３０１と共同してまたは単独で行い、合成した画像データをプリンタ４に送るなどの処理を行う。パターンメモリ３０７には、被写体画像と重ね合せる合成パターンデータが記憶されると共に、表示装置８に表示する操作メニューのガイドが記憶されている。このパターンメモリ３０７の内容はデータ記憶部３０４を用いて外部から書き換え可能になっている。
【００２３】
画像入力部３０８は、カメラ２で撮影した画像データをＡ／Ｄ変換装置（図示しない）によりアナログ信号からディジタル信号に変換する。通信制御Ｉ／Ｆ３０９は、外部ネットワークとの接続に用いられる。本装置は通信制御Ｉ／Ｆ３０９により専用回線を介して、外部にある機器管理サーバに接続される。この機器管理サーバ（図示しない）は故障の有無を管理することを目的とする。また、新しい背景パターンやキャラクタを機器管理サーバから送信し、Ｉ／Ｏ制御部３０３を介してデータ記憶部３０４に記憶する。データ記憶部３０４ではパターンメモリ３０７に書き込まれたデータの日付と照合し、データ記憶部３０４に記憶されたデータが新しいものであれば、パターンメモリ３０７内のデータを書き換える。また、後述するが、光通信制御Ｉ／Ｆ３１０を設けることで、ＰＤＡなどの携帯情報端末やパソコンなどが直接、接続でき、プログラムなどのバイナリーデータのやりとりもすることができるようになっている。
【００２４】
光通信制御Ｉ／Ｆ３１０は、赤外線通信を行なうＩｒＤＡの制御や、光ファイバを利用した通信を行なう場合の制御を行なう。このインターフェースを用いることでプログラムなどのバイナリーデータのやり取りができ、ＰＤＡなどの情報携帯端末や、ノート型パーソナルコンピュータと直接接続することができ、情報携帯端末やパーソナルコンピュータ内に本実施形態の画像合成装置のプログラムやデータを取り込むことができる。また、パーソナルコンピュータで作成したデータやプログラムを本実施形態の画像合成装置に送って、背景パターンやキャラクタを任意に変更することができる。Ｉ／Ｏ制御部３０３は、インバータ３１２を制御し、撮影空間内の照明を適切な明るさに制御する。インバータ３１２は、撮影空間内の照明光のちらつき防止制御を行うものであり、手動でちらつき防止周期を変更することもできる。
【００２５】
コイン制御部３１３は、コインの投入の有無や、不正コインの投入などをＣＰＵ３０１からの制御に従って検知するものであり、投入されたコインの形状と重さを計測し、真正コインではないコインに対し、さらにコインの表裏の模様を判定し、投入されたコインが真正コインか、不正コインや偽造コインであるかどうかを判別する。
【００２６】
タイマ３１４は、外部にある機器管理サーバと専用線で接続できる環境にないときに装置本体内に設けられ、ＣＰＵ３０１の命令により動作する。
【００２７】
被写体（ユーザ）１の撮影は、コイン投入後、ユーザへの撮影指示が表示装置８の表示画面で指示されたときに、カメラ２により行われる。カメラ２により撮影した画像データは、カメラ２等に内蔵されたＡＥ（オートアイリス）機能により露出調整されてメモリ３０２に記憶される。撮影料金は、コイン制御部３１３で受け付けるが、料金受納手段は、コイン検知器に限られず、紙幣読取器、プリペイドカード読取器、クレジットカード等を用いることも可能である。撮影された画像データは、撮影後、ＲＧＢデータに変換され、画像出力部３０５を介して、表示装置８に表示される。本画像合成装置に具備する表示装置８には、ユーザが操作する段階で必要なメニュー画面を表示してユーザの作成した合成画像等が適切であるかを確認する表示が必要である。これらの画面表示は、ＣＰＵ３０１により制御され、表示される。また、画面への表示や画像処理などは、ＣＰＵ３０１によって動作状態が管理されているため、プリント処理中は、予めパターンメモリ３０７に記憶させてある画像や映像に切り換えて表示することができる。操作画面が不要な時には、メニュー表示を切り換えてコマーシャルや商品広告などを放映する。表示装置８は、ＣＲＴ型表示装置に限定するものではなく、例えば液晶型ＬＣＤ表示装置やＬＥＤ発光による文字表示装置でもよい。なお、図４の各回路ブロックのうち、破線で囲む回路ブロックは、例えば、公知の半導体集積回路応用技術によって半導体基板上、またはガラスエポキシ基板上にコントロールボードとして形成され、図１の撮影制御装置３内に設置される。
【００２８】
なお、被写体１に対して位置を移動するように警告を発する代わりに、カメラ２の位置または視野を変更する手段を設けることにより、同等の機能を実現することができる。
【００２９】
次に、以上の構成において、カメラ２の視野内に被写体１の撮影位置が適切に収まるように被写体１を誘導する、またはカメラ２の視野を変更する制御動作について図５のフローチャートを参照して説明する。
【００３０】
最初に、被写体１がコイン投入口（図示せず）からコインを投入する（ステップ５０１）ことにより、次の操作受け入れ可能状態になる。
【００３１】
次に、被写体１が入力装置７でのメニュー選択操作により被写体画像と合成するフレーム、背景画像等を選択し、「決定ボタン」を操作すると（ステップ５０２）、赤外線センサ５−１〜５−３が作動を開始する（ステップ５０３）。
【００３２】
この状態で被写体１は撮影ポーズを決定すべく本装置の撮影空間内でカメラ２に対する姿勢や位置を変えるが（ステップ５０４）、赤外線センサ５−１〜５−３は被写体１の一部または全部がカメラ２の視野範囲外に出ているか否かを監視する。すなわち、被写体１が適切な撮影範囲に位置しているか否かを監視する（ステップ５０５）。もし、被写体１の腕や頭部などの一部または上半身全体が赤外線センサ５−１〜５−３の検出範囲５Ｕ，５Ｒ，５Ｌの一部に進出している場合には、そのことを示す検出信号をＩ／Ｏ制御部３０３を介してＣＰＵ３０１に送る。
【００３３】
ＣＰＵ３０１は、赤外線センサ５−１〜５−３の検出信号を受けたならば、カメラ２の視野又は位置が変更可能な構成になっているかどうかをメモリ３０２に設定された装置構成情報によって判定し（ステップ５０９）、変更可能な構成でなければ、被写体１に対して位置を移動するように、警告装置６に信号を送り、例えば「撮影位置が適切でありません。右側に移動して下さい。」といった警告アナウンスをスピーカ９から発生させる。あるいはスピーカ９からアラーム音を発生させながら「アラーム音が停止する位置まで移動して下さい。」といった警告アナウンスまたはメッセージをスピーカ９から発生させる（ステップ５１０）。
【００３４】
この実施形態では、被写体１の一部がカメラ２の右側の視野限界１３Ｒより右側（図３では左側）に出たときは、赤外線センサ５−２から検出信号が出力され、その結果、警告アナウンスにより被写体１に右側に移動するように促す。この結果、被写体１がカメラ２の視野範囲内に収まった場合は、撮影準備に移るが、被写体１が依然として視野範囲内に収まらない場合は、再度、警告アナウンス等を発生して警告する。
【００３５】
この警告は被写体１が上部視野限界１３Ｕより上側、または左視野限界１３Ｌより左側（図３では右側）に出たときも、それぞれ赤外線センサ５−１、５−３によって検出され、その検出結果に応じた警告アナウンスが出力される。
【００３６】
この警告アナウンスまたはメッセージは、被写体１が適切な撮影範囲内に移動するまで継続して出力される。これにより、被写体１は適切な撮影範囲に誘導される。
【００３７】
この場合、所定回数以上にわたって警告しても視野範囲内に収まらない場合、あるいは所定時間以上経過しても視野範囲に収まらない場合は、移動する意思がないものと見做し、直ちにシャッタを作動させる。これにより、特定の被写体が装置を占有状態にするのを防ぐことができる。
【００３８】
被写体１が適切な撮影範囲内に移動したならば、赤外線センサ５−１〜５−３の監視動作を停止し（ステップ５０６）、カメラ２のシャッタを作動させて被写体１の撮影を行う（ステップ５０７）。撮影結果は、他の背景画像等と合成されてプリンタ４によりプリント出力される（ステップ５０８）。このプリント出力によって一連の自動撮影動作が終了する。
【００３９】
ここで、図３に示すように、背面スクリーン１２の背後に被写体１以外の人物３１がいた場合でも、人物３１が放射する遠赤外線は背面スクリーン１２に遮られて赤外線センサ５−１〜５−３に届かないので、被写体１以外の人物３１等による誤動作は生じない。
【００４０】
一方、赤外線センサ５−１〜５−３の検出信号を受けた場合に、カメラ２の視野または位置が変更可能な装置構成になっていた場合、カメラ２の視野または位置を変更し（ステップ５１１）、被写体１が適切な撮影範囲に収まるように制御する。なお、カメラ２の視野または位置を変更する構成については後述する。
【００４１】
（実施形態２）
この実施形態は、被写体１と被写体後方の壁面等に照明を当てることによって画像合成を行うクロマキー合成技術を利用した画像合成装置において、被写体が有意な画像合成を行える照明範囲より前方に出た場合に、それを検知して被写体に警告を発するようにしたものである。
【００４２】
図６は、クロマキー合成技術を利用した画像合成装置の実施形態を示す内部側面図であり、図１〜図４と同一部分または相当部分は同一符号で示している。
図６において、外部筐体６０１の内部には、被写体１の全身がカメラ２の視野内に入るような上方位置にカメラ２が設置され、また天井部には被写体１に対して頭部方向から照明を当てる照明器具１４が設置されている。さらに、被写体１の背面及び底面部（床面）には面発光表示板１５、１６が設置されている。
【００４３】
この場合、特に背面部の面発光表示板１５は少なくとも被写体１を頭部から足元まで充分にカバーできる大きさであることが望ましい。さらに、底面部の面発光表示板１６は足元に生じる影を相殺するうえで面発光表示板１５が設置されている筐体背面部から少なくとも３０ｃｍ〜５０ｃｍは占有していることが望ましい。
【００４４】
また、カメラ２の下方には、表示画面表面に入力装置７としてのタッチパネルを有し、合成画像を表示する表示装置８が設けられ、さらにその下方には合成画像をプリント出力するプリンタ４が設けられている。また、表示装置８の背面側には画像合成処理を含む装置全体の制御を行う撮影制御装置３が設置されている。
【００４５】
なお、図６においては、被写体１を正面側から照らす照明器具は図示を省略している。
【００４６】
面発光表示板１５は、被写体１の背面側に生じる影を消すために設けられるものであるが、その照度は影を消せる程度の弱いものである。従って、被写体１が面発光表示板１５より離れ過ぎた場合、すなわちカメラ２側に近づき過ぎた場合は被写体１の影を消すことができなくなる。すなわち、被写体１の正面側の位置は面発光表示板１５による照明によって影を消せる許容範囲内に収まっていることが要求される。そこで、この実施形態では、影を消せる限界位置よりカメラ２側に被写体１が出ていることを検出するためのセンサが設けられている。このセンサは、天井部に設けられた赤外線投光器１７ａと床面の対向位置に設けられた赤外線受光器１７ｂとから成る能動型の赤外線センサ１７で構成されている。
【００４７】
この能動型の赤外線センサ１７は、投光器１７ａから放射された赤外線を受光器１７ｂで受光している状態では何も反応しないが、投光器１７ａと受光器１７ｂの間を物体に遮られることによって受光器１７ｂが赤外線を受光できないときは信号を出力する。
【００４８】
この実施形態では、被写体１が充分に後方（面発光表示板１５側）に下がっていて、投光器１７ａから放射された赤外線１８が遮られずに受光器１７ｂに達する状態のときは、受光器１７ｂは検出信号を出力しないが、被写体１が前方（カメラ側）に進み、投光器１７ａから放射された赤外線１８を遮ったときは、受光器１７ｂに赤外線１８が到達しないため、受光器１７ｂが検出信号を出力し、撮影制御装置３に送る。撮影制御装置３は、受光器１７ｂからの検出信号を受けたことにより、スピーカ９から警告アナウンスを発生し、被写体１に後方に下がるよう促す。または、表示装置８の画面に警告メッセージを表示し、被写体１に後方に下がるよう促す。
【００４９】
なお、被写体１の手の一部等のみが前に出たときに、それをノイズとして警告を発しないようにするためには、図７に示す様に、複数段構成の能動型赤外線センサ１９（この例では、２段）を横方向（被写体の左右方向）に配置し、片方のスリット１９−１のみが遮蔽された場合は体の一部のみが出たと判断して警告を発せず、図８のように被写体１によって両方のスリット１９−１，１９−２が遮蔽されたときに初めて被写体１の体全体が前に出たと判断して警告を発生するようにすればよい。
【００５０】
なお、クロマキー合成技術を使用した画像合成装置の機能構成については、本出願人が先に出願している特願平１０−２４５８７９号の明細書に詳しく示されているので、ここでの詳細な説明は省略する。
【００５１】
（実施形態３）
この実施形態は、単数または複数の被写体のカメラに対する存在範囲を、複数の能動型赤外線センサにより認識し、カメラの視野（撮影範囲）または位置を自動的に変更するようにしたものである。
【００５２】
図９〜図１１は、本実施形態の原理構造を上方から見た平面図である。ここで、９０１は視野（撮影範囲）が切替可能なＣＣＤカメラであり、９０２〜９０５は能動型の赤外線センサ、９０６は撮影制御装置である。カメラ９０１から見た被写体１の存在範囲を検知できるようにするため、各センサ９０２，９０３、９０４、９０５の受光範囲の中央寄りの境界は、ＣＣＤカメラ９０１に対して上方から見て放射状になるような位置、角度で設置されている。このような配置を容易にするために、図１２に示すようにＣＣＤカメラ９０１と各センサ９０２、９０３、９０４、９０５の高さを変えて配置する方法が考えられる。また、撮影範囲を自動的に変更できるように、ＣＣＤカメラ９０１にはズームレンズを用いる。
【００５３】
この実施形態では、カメラ９０１の撮影範囲を３段階に変化させる例について説明する。
【００５４】
まず図９に示すように、被写体１が１人でかつＣＣＤカメラ９０１から充分離れた位置にいる場合、センサ９０２、９０３とも受光範囲には被写体１が入っていないため、撮影制御装置９０６にはセンサ９０２、９０３から信号が送られず、ＣＣＤカメラ９０１の撮影範囲９１１は標準状態のままで撮影が行われる。
【００５５】
次に、図１０のように、被写体が１ａと１ｂの２人の場合、センサ９０２、９０３の受光範囲に被写体１ａ，１ｂが入るため、撮影制御装置９０６にセンサ９０２、９０３から信号が送られる。他方、センサ９０４、９０５の受光範囲には被写体１ａ，１ｂが入っていないため、撮影制御装置９０６にはセンサ９０４、９０５から信号が送られない。これらの情報により、撮影制御装置９０６はＣＣＤカメラ９０１に撮影範囲を広角に切替るよう命令を送る。これにより、ＣＣＤカメラ９０１の撮影範囲９１１がズームアウトにより広角の撮影範囲９１２に切り替わり、広くなる。
【００５６】
次に図１１のように、被写体が１ａ〜１ｄの３人以上の多人数の場合、センサ９０４、９０５の受光範囲に被写体１ａ，１ｄが入るため、撮影制御装置９０６にセンサ９０４、９０５からも信号が送られ、撮影制御装置９０６はＣＣＤカメラ９０１に撮影範囲をさらに広角に切替えるよう命令を送る。これにより、ＣＣＤカメラ９０１の撮影範囲が更にズームアウトして広角の撮影範囲９１３に切替わり、撮影範囲がさらに広くなる。ここで、縦方向の撮影範囲をそのままにして横方向の撮影範囲のみを広げたいときは、通常サイズの撮影モードから、パノラマサイズの撮影モードに自動的に切替える実施方法が考えられる。通常サイズの撮影モードから、パノラマサイズの撮影モードに自動的に切替えるための具体的方法としては、特開平５−２８１６３３公報、特開平６−３７３２公報、特開平５−１７５２１５公報等に示された技術を適用することにより、実現可能である。
【００５７】
（実施形態４）
この実施形態は、被写体の目の高さを、複数個または複数段の能動型赤外線センサの対により認識し、カメラに対して視線が自然な方向を向くように、カメラを自動的に移動または回転させるようにしたものである。
【００５８】
図１３〜図１５は、本実施形態の原理構造を側面から示す側面図、図１６はカメラのレンズ部分近傍の拡大斜視図である。ここで、１３０１はＣＣＤカメラであり、被写体１に対して上下方向に回転可能な回転軸１３０２、さらに上下方向に移動可能な移動軸１３０３に取り付けられている。また、１３０４，１３０５は２段構成の能動型赤外線センサの投光器、受光器である。この実施形態では、カメラ１３０１の高さを３段階に変化させる例について説明する。
【００５９】
まず、図１３のように、被写体１の身長、姿勢などにより、頭の位置が受光器１３０５の下段の高さに達しない場合、投光器１３０４から放射された赤外線１３０６，１３０７は受光器１３０５に達するまで全く遮られない。このため、撮影制御装置１３０８には受光器１３０５から信号が送られず、撮影制御装置１３０８は、移動軸１３０３にＣＣＤカメラ１３０１の高さを受光器１３０５の下段より低い位置に移動するよう命令を送る。次いで、撮影制御装置１３０８は撮影範囲１３０９のほぼ中心に被写体１の全身が収まるような角度１３１０を算出し、回転軸１３０２に命令を送り、カメラ１３０１撮影範囲を変更する。撮影範囲の変更が完了したならば、被写体１の撮影を行う。撮影範囲１３０９のほぼ中心に被写体１の全身が収まるように、カメラ１３０１撮影範囲を変更することにより、被写体１の視線はカメラ１３０１の視野中心とほぼ同じになるので、撮影画像の視線は自然なものとなる。すなわち、うつむいた感じの撮影画像あるいは上向き視線の撮影画像でなく、目の高さと同じ方向を見ているような視線の画像となる。
【００６０】
このときの角度１３１０を記号θで表すと、θは以下の式によって求められる。
【００６１】
（数１）
（Ｈ−ｈ）／Ｌ　＝　ｔａｎ（α−θ）　・・・（１）
【００６２】
（数２）
ｈ／Ｌ　＝　ｔａｎ（α＋θ）　・・・（２）
ここで、各記号は以下の意味を表し、各々の数値範囲は
Ｌ＞０，０＜Ｈ／２＜ｈ＜Ｈ，０＜θ＜α＜π／２　・・・（３）
とする（角度はラジアンで表示）。
【００６３】
α・・ＣＣＤカメラ９０１の上下方向の撮影範囲角。
【００６４】
ｈ・・ＣＣＤカメラ９０１の焦点位置の床からの高さ。
【００６５】
Ｈ・・被写体１の床から頭の先までの高さ（受光器１３０５による推定値）。
【００６６】
Ｌ・・被写体１がカメラ１３０１の撮影範囲に収まる前方臨界距離。
【００６７】
ここで、前方臨界距離Ｌは撮影範囲角αに依存するので、式（１），（２）からＬを消去すると、
【００６８】
（数４）
（Ｈ−ｈ）／ｈ　＝　ｔａｎ（α−θ）／ｔａｎ（α＋θ）　・・・（４）
ここで、ａ≡ｔａｎα，ｔ≡ｔａｎθ，Ｃ≡（Ｈ−ｈ）／ｈ　と置くと、加法定理より、
【００６９】
（数５）
｛（ａ−ｔ）／（１＋ａｔ）｝／｛（ａ＋ｔ）／（１−ａｔ）｝　＝　Ｃ　・・・（５）
【００７０】
（数６）
式（３）の諸条件より、
０＜ｔ＜ａ，０＜Ｃ＜１・・・（６）
これをｔについて整理すると、以下の２次方程式となる。
【００７１】
（数７）
（１−Ｃ）ａｔ^２−（１＋Ｃ）（１＋ａ^２）ｔ＋（１−Ｃ）ａ＝０　・・・（７）
これを解いて、
【００７２】
（数８）
ｔ＝｛（１＋Ｃ）（１＋ａ^２）±√Ｄ｝／２（１−Ｃ）ａ　・・・（８）
【００７３】
（数９）

ここで、式（８）の複号による２つの解について、各々の妥当性を考えると、まず正符号は　（１＋Ｃ）（１＋ａ^２）／２（１−Ｃ）ａ＞ａ　であることから、
ｔ＝｛（１＋Ｃ）（１＋ａ^２）＋√Ｄ｝／２（１−Ｃ）ａ
＞ａ
となり、式（６）の条件に反し、妥当でない。
【００７４】
他方、式（８）の複号を負符号にした場合は、
（１＋Ｃ）（１＋ａ^２）＞√Ｄ
（∵　（１＋Ｃ）^２（１＋ａ^２）^２−Ｄ＝４（１−Ｃ）^２ａ^２　＞０　）
より、　ｔ＞０であり、かつ、
（１＋Ｃ）（１＋ａ^２）−√Ｄ／２（１−Ｃ）ａ＜ａ
（∵｛（１＋Ｃ）（１＋ａ^２）−２（１−Ｃ）ａ^２｝^２−Ｄ＝−８Ｃ（１−Ｃ）ａ^２（１＋ａ^２）　＜　０）
より、ｔ＜ａであるので式（６）の条件を満たし、従って唯一かつ有意な解、
【００７５】
（数１０）
ｔ≡ｔａｎθ　＝｛（１＋Ｃ）（１＋ａ^２）−√（１＋Ｃ）^２（１−ａ^２）＋１６Ｃａ^２｝／２（１−Ｃ　）　ａ・・（１０）　が求まる。
【００７６】
ここで、カメラ１３０１の回転中心が焦点位置より距離ｄ後方にある場合は、回転中心の床からの高さｈ’　は次式によって表される。
【００７７】
（数１１）
ｈ’　＝ｈ＋ｄ　ｓｉｎθ・・・（１１）
図１６で示すように、カメラ１３０１の左右に投光器１３０４を配置しておけば、実施形態２に示したのと同様、被写体１の体の一部が出たとき等のノイズを遮断できる。この図１６において、ＣＣＤカメラ１３０１は、楕円形状の穴１６０１を上下に移動する。
【００７８】
次に、図１４のように、被写体１の頭の位置が受光器１３０５の下段と上段の間にある場合、投光器１３０４から放射された赤外線のうち、上段の赤外線１３０６は遮られないで受光器１３０５に達するが、下段の赤外線１３０７は被写体１の頭部に遮られて受光器１３０５まで達せず、撮影制御装置１３０８には受光器１３０５からその旨の信号が送られる。この結果、撮影制御装置１３０８は、カメラ１３０１の高さを受光器１３０５の下段の位置にするよう移動軸１３０３に命令を送る。次いで、撮影制御装置１３０８は撮影範囲１３１２に被写体１の全身が収まるような角度１３１３を算出し、回転軸１３０２に命令を送り、撮影範囲を変更させる。撮影範囲の変更完了後に被写体１の撮影が行われる。なお、角度１３１３の求め方は、角度１３１０の場合と同様である。
【００７９】
次に、図１５のように、被写体１の頭の位置が受光器１３０５の上段より上にある場合、投光器１３０４から放射された赤外線は、上段の赤外線１３０６、下段の赤外線１３０７とも被写体１に遮られて受光器１３０５まで達せず、撮影制御装置１３０８には受光器１３０５からその旨の信号が送られる。この結果、撮影制御装置１３０８は、移動軸１３０３にカメラ１３０１の高さを受光器１３０５の上段の位置に変更するよう命令を送る。次いで、撮影制御装置１３０８は撮影範囲１３１４に被写体１の全身が収まるような角度１３１５を算出し、回転軸１３０２に命令を送り、撮影範囲を変更させる。その変更完了後に撮影が行われる。この場合の角度１３１５の求め方も前述の場合と同様である。
【００８０】
なお、上記各実施形態において、被写体の位置を検出するセンサとして赤外線センサを用いたが、本発明はこれに限定されるものではない。赤外線センサに代えて、レーザ光や微弱電波を用いたセンサを使用することも可能である。
【００８１】
以上、説明したように、上記実施形態によれば、
（１）カメラの周辺に被写体の位置を検出するセンサを適切な位置あるいは角度で配置することによって、撮影範囲を表示するモニタ等の機構を有しない簡易な画像合成装置であっても、被写体が撮影範囲外に位置している場合は、撮影範囲内に収まるように誘導し、適切な位置で被写体画像を撮影することができる。
【００８２】
（２）被写体の前後方向の位置が許容範囲外にある場合は、許容範囲内に誘導することによって、背面光源によって影を消して被写体画像を切り出すクロマキー合成法を用いた画像合成装置において、適切な位置で被写体画像を撮影することができる。
【００８３】
（３）カメラの周辺に複数個のセンサを配置し、どのセンサが被写体を検出したかによってカメラの撮影範囲を自動的に変更させることによって、被写体の人数等に応じた適切な撮影範囲が、被写体の操作によることなく得られ、多人数の撮影を行う場合に極めて便利である。
【００８４】
（４）カメラ周辺に高さ方向の検出範囲が異なる複数個のセンサを配置し、どのセンサが被写体を検出したかによってカメラの高さあるいは視野中心を被写体の目の高さに合うように移動させることによって、被写体が顔を上下させる必要なく、自然な視線の撮影結果が得られる。これによって、身長の高低に関係無く、また車椅子などに座ったままの姿勢でも自然な視線の撮影結果が得られる。
【００８５】
【発明の効果】
以上説明したように、本発明によれば、被写体が適切な位置または範囲内に居るかどうかを自動的に検出し、適切な被写体画像を撮影し、その被写体画像と他の画像と合成して出力することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す機器構成図である。
【図２】被写体とカメラおよび赤外線センサとの関係を示す側面図である。
【図３】被写体とカメラおよび赤外線センサとの関係を示す装置上方からみた平面図である
【図４】図１の機能構成をさらに詳しく示したブロック構成図である。
【図５】第１の実施形態における制御動作を示すフローチャートである。
【図６】本発明の第２の実施形態を示す内部側面図である。
【図７】第２の実施形態において、赤外線センサを複数段構成にし、被写体の一部のみが許容位置から出た場合を示す説明図である。
【図８】第２の実施形態において、赤外線センサを複数段構成にし、被写体のほとんどが許容位置から出た場合を示す説明図である。
【図９】カメラの撮影範囲を自動変更するようにした本発明の第３の実施形態の原理構成を示す平面図である。
【図１０】被写体の人数が増加し、カメラの撮影範囲を広く変更することを示す平面図である。
【図１１】被写体の人数がさらに増加し、カメラの撮影範囲をさらに広く変更することを示す平面図である。
【図１２】カメラの撮影範囲を自動変更する場合の赤外線センサの配置の仕方を示す斜視図である。
【図１３】カメラ高さを自動変更するようにした本発明の第４の実施形態の原理構成を示す側面図である。
【図１４】カメラの高さを被写体の高さに合わせて自動変更することを示す第１の説明図である。
【図１５】カメラの高さを被写体の高さに合わせて自動変更することを示す第２の説明図である。
【図１６】第４の実施形態において、赤外線センサの配置及びカメラの動作を示す斜視図である。
【符号の説明】
１…被写体、２、９０１…カメラ、３、９０６…撮影制御装置、４…プリンタ、５、９０２〜９０５…赤外線センサ、６…警告装置、７…入力装置、８…表示装置、９…スピーカ、１０…筐体、１２…背面スクリーン、１３Ｕ…上部視野限界、１３Ｒ…右視野限界、１３Ｌ…左視野限界、１４…照明器具、１５…面発光表示板、１７ａ…赤外線投光器、１７ｂ…赤外線受光器、１３０２…回転軸、１３０３…移動軸、１３０４…赤外線投光器、１３０５…赤外線受光器。

Claims

カメラで撮影した被写体画像と被写体自身が選択した画像とを合成して所定の出力媒体に出力する画像合成装置において、
前記カメラの視野範囲内に撮影対象の被写体が位置しているか否かを検出するセンサと、
このセンサの検出結果により、撮影対象の被写体の一部または全部が前記カメラの視野範囲外に位置している場合には、視野範囲内に収まるように前記カメラの視野を広角またはパノラマサイズの撮影モードに変更する手段を備えることを特徴とする画像合成装置。