JP2005099164A - 自動撮影システム - Google Patents

Abstract

【課題】 背景と被写体とを好ましい構図で自動撮影する。
【解決手段】 被写体を撮影する撮影用カメラ２を所定の位置に設置し、その位置において撮影用カメラ２を用いて撮影可能な範囲の背景画像Ｄを記憶する。撮影用カメラ２により得られた撮影画像Ｅと、背景画像Ｄのうち撮影画像Ｅに相当する部分の画像との差に基づき、撮影画像Ｅ内に被写体が入ったことを検知して、検知された被写体から撮影対象部位を抽出し、被写体の撮影対象部位が撮影用カメラ２の撮影画像Ｅ内の所望の範囲内に入るように撮影用カメラ２を制御する。
【選択図】 図２

Description

本発明は、自動撮影システムに関し、より詳細には、テーマパークや遊園地等の娯楽施設において来場者の記念写真やスナップ写真を自動撮影するシステムに関するものである。

従来から、遊園地やテーマパーク等の観光スポットでは、アトラクション内でお客を撮影して、アトラクション終了後等に、撮影した画像のプリントを販売するサービスが行われていた。

また、本願出願人は、上記のようなサービスを効率よく行うためのものとして、特許文献１に記載されているような自動撮影システムを提案している。

この自動撮影システムでは、最初にサービスの利用者に利用者のＩＤ情報（識別情報）を記憶させた通信デバイスを配布させ、各アトラクションや所定の撮影スポットにカメラを設置し、その通信デバイスを持つ利用者が、カメラの設置された場所に立ち寄る毎に、利用者を自動的に撮影するとともに撮影した利用者の持つ通信デバイスからＩＤ情報を取得し、撮影により得られた画像データと利用者のＩＤ情報とを関連付けてサーバーに送信し保管する。

保管されている画像データは、観光スポット内に設置された注文端末から注文を受けることができ、ＩＤ情報に基づいて各注文端末から利用者を撮影した画像データをサーバーから検索して、必要な画像データを注文することができる。

これにより、利用者は好きなときに、観光スポット内に設置された注文端末を利用して、観光スポット内で撮影された複数の画像の中から、任意の画像をまとめて注文することができ利便性の高いサービスの提供を受けることができる。
特開２００１−１７７７５０号公報

上記特許文献１のようなアトラクションや所定の撮影スポットに置かれる自動撮影装置では、乗り物に乗った被写体が所定の領域内に入ると自動的に撮影するものであるため、被写体とカメラの距離はほぼ決っており、撮影された被写体は大体同じ大きさで撮影される。

しかしながら、例えば、ディズニーランドのシンデレラ城などを背景に好ましい構図で撮影を行う場合には、背景と被写体とカメラとの位置との関係は明確に決められるものではなく、シンデレラ城を背景に被写体全体を撮影する場合と、被写体の顔を中心に撮影する場合とでは、背景と被写体とカメラの位置関係は大きな違いがでてくる。また、撮影された被写体が写真に占める割合も違ってくる。そのため、シンデレラ城のような背景を入れて撮影する場合に、被写体が好ましい位置に来たときに自動撮影するのは困難であった。

本発明は上記問題に鑑みてなされたものであり、背景を入れて好ましい位置で被写体を自動的に撮影する自動撮影システムを提供することを目的とするものである。

本発明の自動撮影システムは、所定の位置に設置された、被写体を撮影する撮影用カメラと、
前記所定の位置において前記撮影用カメラを用いて撮影可能な範囲の背景画像を記憶する背景記憶手段と、
前記撮影用カメラにより得られた撮影画像と、前記背景記憶手段により記憶された前記背景画像のうち該撮影画像に相当する部分の画像との差に基づき、前記撮影画像内に少なくとも被写体の一部が入ったことを検知する検知手段と、
該検知手段で検知された被写体から撮影対象部位を抽出する抽出手段と、
前記被写体の撮影対象部位が前記撮影用カメラの撮影画像内の所望の範囲内に入るように前記撮影用カメラを制御する撮影制御手段とを備えたことを特徴とする自動撮影システム。

「背景画像」とは、被写体の背景となる画像を撮影した画像であり、「背景記憶手段」には、例えば、撮影用カメラで被写体を撮影したときに背景となる領域を背景画像として、周期的に撮影して記憶したり、予め撮影して記憶する。

「撮影対象部位」とは、被写体のうち、例えば、顔のような撮影の対象となる主要な部位である。また、撮影対象部位は、顔のような被写体の一部に限られるものではなく被写体全体でもよい。また、「撮影対象部位が前記撮影用カメラの撮影範囲内の所望の範囲内に入るように」は、顔を被写体対象部位とした場合には、顔が写真の中央に近いところで撮影されるようにすることを意味するものである。

また、前記撮影用カメラの位置から所定の範囲内にいる前記被写体を検出する被写体検出手段をさらに備えるようにし、前記検知手段が、前記被写体検出手段により前記被写体を検出した後、該被写体を検知するものが望ましい。

「撮影用カメラの位置から所定の範囲」は、撮影用カメラの位置を基準にして決められる範囲であり、具体的には、被写体と背景が好ましい構図で撮影することができるような被写体の撮影位置である。

本発明の自動撮影システムによれば、所定の位置に設置された撮影用カメラと、撮影用カメラで撮影可能な背景全体を背景領域として記憶して、背景画像と撮影用カメラで撮影した撮影画像との差から、撮影画像内に被写体が入ったことを検知して、顔等の撮影対象部位が撮影用カメラの撮影画像内の望ましい範囲内に入るように撮影用カメラを制御して撮影することにより、被写体と背景とをバランスよく撮影を行うことが可能になる。

また、撮影用カメラの位置から所定の範囲内に被写体がいることを検出して、さらに、その被写体が撮影画像に入ったことを検知して、顔等の撮影対象部位が撮影用カメラの撮影画像内の所望の範囲内に入るように撮影用カメラを制御して撮影することにより、遠くに離れたところにいるような撮影する意思のない被写体を排除して、撮影の意思のある被写体のみに対して撮影することが可能になる。

以下、本発明の撮影システムの実施の形態について、図面を参照して詳細に説明する。図１は、本発明の撮影システムの構成を表すブロック図である。

撮影システム１は、所定の位置に設置された撮影用カメラ２と、撮影用カメラ２で撮影可能な範囲の背景画像を撮影することが可能な背景用カメラ３と、撮影用カメラ２の撮影画像中のうち望ましい範囲内に被写体が撮影されるように撮影用カメラ２の撮影方向や高さ等を制御する制御装置４とで概略構成される。

制御装置４は、背景用カメラ３を用いて撮影された背景画像を記憶する背景記憶手段４１と、撮影用カメラ２により得られた撮影画像と背景記憶手段４１に記憶されている背景画像のうち撮影用カメラ２の撮影画像に相当する部分の画像と抽出し、背景画像の撮影画像に相当する部分と撮影用カメラ２により得られた撮影画像との差から、撮影画像内に被写体（被写体の一部でもよい）が入ったことを検知する検知手段４２と、検知された被写体から顔等の撮影対象部位を抽出する抽出手段４３と、被写体の撮影対象部位が撮影用カメラの撮影範囲の内の望ましい位置に入るように撮影用カメラ２を制御する撮影制御手段４４とを備える。

背景用カメラ３は、例えば、広角撮影が可能なカメラを用いて、図２に示すように、シンデレラ城のような撮影スポットの周辺を広く撮影した背景画像Ｅが得られるように設置する。撮影用カメラ２は、例えば、人物等の撮影に向いたカメラを用いて、被写体の位置や大きさに応じて制御装置４で高さＨや方向θ等を変えて撮影画像Ｅが得られるように設置する（図２（ａ）参照）。また、背景用カメラ３で撮影した背景画像には、撮影用カメラ２の高さＨや方向θ等を変えて撮影することが可能な範囲の背景全体が撮影されるようにする。具体的には、例えば、背景用カメラ３の近くに被写体がいないことを検知して、背景画像を周期的に撮影して背景記憶手段４３に記憶しておく。

また、撮影用カメラ２は、撮影した撮影画像Ｅが背景画像Ｄ上のどこの領域であるかがわかるように、制御装置４から撮影用カメラ２の高さや向き（パン（左右の回転）・チルト（上下の回転）等を含む）の御情報が得られるように構成する。撮影を行う際に、制御装置４の撮影制御手段４４で調整した撮影用カメラの高さＨと方向θ（ここでは、左右とする）を変えて撮影を行った場合には、この高さＨと方向θを撮影制御手段４４から取得して、撮影画像Ｅの中心Ｃが背景画像Ｄ上のどの位置にあるか対応付くように構成する（図２（ｂ）参照）。さらに、ズームの情報を加味して背景画像Ｄ上で占める撮影画像Ｅの大きさを求めることも可能である。

撮影用カメラ２に、撮影用カメラ２の撮影領域にいる被写体を検出する被写体検出手段２１を設け、被写体が撮影領域内にいるかを検出する。撮影領域は、所定の位置に置かれた撮影用カメラ２を用いて被写体を撮影するのに適した被写体の撮影位置であり、例えば、図３に示すように、撮影用カメラ２から所定の範囲Ｒ内を撮影領域とする。シンデレラ城を背景とするときには、シンデレラ城を背景に被写体を撮影するのに適した被写体の撮影位置が撮影領域となる。

また、被写体の検出は、被写体が所持する無線タグを利用して、被写体を検出することが出来る。無線タグの具体例としては、ＩＣカード等が考えられる。ＩＣカードには、長距離の交信に対応するマイクロ波方式のＲＦＩＤを採用し、撮影用カメラの近傍に被写体検出手段２１としてＲＦＩＤ読取装置（コードリーダ）を設置して被写体が撮影領域ａ内にいることを検出する。被写体の検出はＩＣカードに限られるものではなく、被写体が撮影可能範囲内にいることを判断することが可能なものを用いればよく、被写体が所持している携帯電話やＧＰＳを利用して被写体の位置を検出することも可能である。このように、被写体の位置を検出するようにすることで、撮影用カメラ２から遠くに離れた撮影領域の外にいる撮影する意思があるとは思えない被写体を排除して、撮影対象となる被写体を選別することが可能となる。

そこで、本発明の自動撮影システム１の作用について説明する。本実施の形態では、被写体が撮影用カメラ２の撮影領域にいることを検出して、撮影の意思がある被写体の撮影を行う場合について図４のフローチャートに基づいて説明する。

まず、被写体に撮影の意思があるか否かの判定を行うが、被写体が撮影用カメラ２より遠く離れた場所にいる場合には、撮影の意思がないと思われる。そこで、被写体が、撮影用カメラ２から所定の範囲（撮影領域）内にいる被写体を撮影の対象とする。また、被写体に撮影の意思がある場合には、被写体が撮影用カメラ２に徐々に近づいてきて立ち止まるというような動作を行う。そこで、撮影用カメラ２から所定の範囲内にいる被写体に対して、このような被写体の動作を監視して、被写体に撮影の意思があるか否かを判定する場合について説明する。

まず、自動撮影のサービスを利用する被写体に対して無線タグを配布して、この無線タグが移動する情報を得て自動撮影のサービスを利用する被写体の動作を監視手段４５で監視する。この無線タグには、ユーザーＩＤを記憶して、各被写体の動作を監視することができるようにする。例えば、図５に示すように、撮影用カメラ２でシンデレラ城を背景に被写体を撮影するのに適した撮影領域を領域aとし、この撮影領域（領域ａ）の外周近傍を領域ｂとし、さらに、領域ｂの外周近傍を領域ｃとして、被写体が各領域間をどのように移動したかを監視する（Ｓ１００）。

被写体検出手段２１は、被写体の所持する無線タグ１００を検出して、所定時間単位毎の被写体の位置の変化を１つの状態として捉えて、被写体の状態を監視する。例えば、各被写体が領域ａに所定時間停留している状態を状態Ｃ０とし、領域ｂから領域ａに移動した状態を状態Ｃ１、領域ｃから領域ｂに移動した状態を状態Ｃ２等というように被写体の状態を定義し、定義した状態の変化の流れを状態列として監視する。例えば、被写体が領域ａに停留している場合には、状態列は（Ｃ０、Ｃ０、Ｃ０、・・・）となり、被写体が領域ｃから領域ｂを通過して領域ａに移動した場合には、状態列は（Ｃ２、Ｃ１、Ｃ０・・・）となる。このような状態列を監視して、この状態列を規定のパターンと比較することで、この被写体について撮影される意思の有無を判定する。簡単な具体例としては、領域ａ外にいる被写体が、領域ｃから撮影領域に近い領域ｂへ移動し、さらに、この被写体が撮影領域内（領域ａ）へ到達し、撮影領域内にしばらく停留した場合には撮影の意思があるものと判断する。反対に、領域ｂから領域ａへ移動した場合であっても、停留することなく何度の領域ｂに行ったり領域ａに戻ってきたりする場合には、撮影される意思が無いものと判定する。

上述のような状態列監視の結果、領域ａ内の被写体について撮影される意思があると判定した場合には（Ｓ１０１）、撮影を開始する。まず、検知手段４２で、撮影画像Ｅ内に少なくとも被写体の一部が入っていることを検知する（Ｓ１０２）。具体的には、図６に示すように、撮影用カメラ２により得られた撮影画像Ｅと、背景記憶手段４３により記憶された背景画像Ｄのうち撮影画像Ｅに相当する部分の画像（具体的には、撮影制御手段４４で得た高さＨや方向θ等に基づいて求める。）との差分画像Ｆを求めると、被写体が映っていない部分ｄ１（斜線部）の画像は略消えた状態（画素の情報が略０になった状態）となり、被写体が映っている部分ｄ２の画像は残ることになる。そこで、画像が残った部分ｄ２に、被写体が撮影されているものとして被写体を検知することができる。

このように差分画像Ｆを求めることにより、撮影画像Ｅ中の何処が被写体であるか判定することができるが、さらに、抽出手段４４により被写体の撮影された部分から顔等の撮影対象領域を抽出する。具体的に、顔を抽出する方法として、特開平９−７３５４４号公報（以下、第１の文献という）や特開平１０−３０７９２３号公報（以下、第２の文献という）等に開示されているものが存在する。この第１の文献には、顔領域を楕円で近似する技術が開示されており、楕円を規定する５つのパラメータ（中心座標（ｘ，ｙ）、半径ｒ、長軸と短軸との比ｂ及び長軸とｘ軸とのなす角）を逐次変更して、顔領域の抽出に最適な値を求めることを行っている。また、第２の文献には、顔の部品（目、鼻、口など）を順番に見つけて行く技術が開示されている。また、特開２００１−２２２７１９号公報には、エッジ部を抽出してエッジ画像を生成し、予め定めた形状を、相似で大きさを異ならせた種々のサイズのテンプレートを用いて投票処理を行い、その投票結果を投票結果に基づき、そのクラスタを評価して、対象画像に含まれる顔の位置及び大きさを求める技術が開示されている。これらの技術を用いて顔領域を抽出することが可能である（Ｓ１０３）。

そこで、図７に示すように、撮影画像Ｅから抽出した顔等の撮影対象領域ｄ３と背景画像Ｄのポイントとなる背景注目部分Ｐが撮影画像Ｅ内に入っているかや、撮影対象領域ｄ３と背景注目部分Ｐの大きさの比率等から好ましい構図であるか否かを判定する（Ｓ１０４）。

好ましい構図でない場合には、撮影画像Ｅから抽出した顔等の撮影対象領域ｄ３と、背景画像Ｄのポイントとなる背景注目部分Ｐが撮影画像Ｅ内に入るように、撮影制御手段４４で撮影用カメラ２を制御する。例えば、シンデレラ城の先頭部分が欠けないように、撮影用カメラ２の高さや向き（パン（左右の回転）・チルト（上下の回転）等を含む）を撮影制御手段４４で変える。あるいは、被写体の顔等の撮影対象領域ｄ３が小さく撮影される場合には、ズームして撮影対象領域ｄ３の大きさと背景のポイントとなる背景注目部分Ｐの大きさが好ましい比率で撮影されるように撮影用カメラ２を制御する（Ｓ１０５）。

撮影用カメラ２の高さＨと向きθ等を変えた後、再度、撮影画像Ｅから抽出した顔等の撮影対象領域ｄ３を抽出して（Ｓ１０３）、上述と同様に好ましい構図であるか否かを判定する（Ｓ１０４）。以上Ｓ１０３〜Ｓ１０５の処理を繰り返して好ましい構図となるように、撮影用カメラ２の高さＨや方向θ等を変え、好ましい構図になったと判定されると撮影を行う（Ｓ１０６）。

さらに、撮影用カメラ２の高さＨや方向θ等を撮影制御手段４４で変えても、撮影対象領域ｄ３と背景画像Ｄのポイントとなる背景注目部分Ｐとが好ましい比率とならない場合には、被写体に左右前後に移動するように、例えば、「もう少し右に寄ってください。」といような呼びかけをする。移動する方向は、撮影対象領域ｄ３の大きさや位置と、ポイントとなる背景注目部分Ｐとの相関からおおよその方向を指示することが可能である。

以上、詳細に説明したように、背景を入れて好ましい位置で被写体を撮影するように自動撮影を行うことができる。

以上、背景画像を撮影するカメラと被写体を撮影するカメラとは、別のカメラを設ける場合について説明したが、同じカメラを用いて背景画像を撮影する場合と被写体を撮影する場合を切り換えて使うようにしてもよい。

また、背景画像を背景用カメラで、周期的に撮影して背景画像記憶手段に記憶する場合について説明したが、予め撮影した背景画像を背景画像記憶手段に記憶しておくようにしてもよい。予め撮影した背景画像の場合には、天候や時間帯等によって背景が同じ色調とならないため、差分画像を作成した場合に背景が残る場合があるが背景画像の色調を補正して差分画像を求めて背景を消すようにする方が好ましい。

撮影システムの構成図 背景画像と撮影画像の関係を説明するための図 撮影領域を表す図 被写体の撮影を行う場合のフローチャート 状態列監視を説明するための図 差分画像による被写体の検知を説明するための図 比率による構図の判定を説明するための図

符号の説明

１ 撮影システム
２ 撮影用カメラ
３ 背景用カメラ
４ 制御装置
２１ 被写体検出手段
４１ 背景記憶手段
４２ 検知手段
４３ 抽出手段
４４ 撮影制御手段
Ｄ 背景画像
Ｅ 撮影画像

Claims (2)

1. 所定の位置に設置された、被写体を撮影する撮影用カメラと、
   前記所定の位置において前記撮影用カメラを用いて撮影可能な範囲の背景画像を記憶する背景記憶手段と、
   前記撮影用カメラにより得られた撮影画像と、前記背景記憶手段により記憶された前記背景画像のうち該撮影画像に相当する部分の画像との差に基づき、前記撮影画像内に少なくとも被写体の一部が入ったことを検知する検知手段と、
   該検知手段で検知された被写体から撮影対象部位を抽出する抽出手段と、
   前記被写体の撮影対象部位が前記撮影用カメラの撮影画像内の所望の範囲内に入るように前記撮影用カメラを制御する撮影制御手段とを備えたことを特徴とする自動撮影システム。
2. 前記撮影用カメラの位置から所定の範囲内にいる前記被写体を検出する被写体検出手段をさらに備え、
   前記検知手段が、前記被写体検出手段により前記被写体を検出した後、該被写体を検知するものであることを特徴とする請求項１記載の自動撮影システム。

Images