以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の本人画像提供システム10の実施の形態が遊園地で活用される例を示す。この実施の形態では、本人画像提供システム10は、遊園地に遊びにきている人を被写体とする。
まず、本人画像提供システム10が備える、画像管理サーバ20、人物情報取得装置30、人物情報更新装置32、カメラ40、画像検索端末50、および出力装置60によって実現されるシステムについて説明する。被写体位置情報取得部210の使用の仕方は後述する。
人物情報取得装置30は、本人画像提供システム10を利用するユーザの顔、身体等の特徴を表わす人物情報を取得する。人物情報取得装置30は、たとえば人物情報撮像用のカメラである。人物情報撮像用のカメラでは、人物の正面の写真、横顔の写真など様々な角度からの画像が撮像される。人物情報取得装置30の別の例は、画像を読取可能なスキャナである。この場合には、免許証等に添付された写真がスキャナで読み取られる。また、人物情報が既に取得済みであり、取得された人物情報がIDカード等に記録されている場合には、人物情報取得装置30として、IDカードに記録された情報を読み取り可能なIDカード読取装置が用いられる。
人物情報取得装置30は、取得したデータを伝送する伝送手段を備える。伝送手段は、たとえば本人画像提供システム10に備えられたLANである。このLANは無線通信手段を備える。人物情報取得装置30で取得された人物情報は、LANを用いて画像管理サーバ20に伝送される。
ユーザの中には、自分が写った画像が他の人の手に渡ることを好まない人もいる。そのような人のために、人物情報登録後に各自が写った画像が他人に渡らないように設定することができる。こうすることにより、他の人が画像検索する場合には、その人が写った画像は画像検索の対象から除外される。このような検索画像の制限に関する情報も人物情報に含まれる。
人物情報更新装置32は、既に人物情報を登録済みの人物に対して、再度人物情報を登録する。人物情報更新装置32は、人物情報再登録用のカメラを備え、人物の画像を撮像することにより、人物情報を再取得する。人物情報更新装置32は、主に、遊園地で遊ぶ間に格好が変化した場合に活用される。たとえば、途中で帽子を購入して頭にかぶる場合や、Tシャツを購入して着替えた場合などである。このような場合には、最初に登録した人物情報だけでは、画像検索が適切に行われない可能性がある。そこで、人物情報更新装置32により、人物情報の更新を行う。人物情報更新装置32で取得された人物情報は、画像管理サーバ20に送信され、人物DB110の人物情報が更新される。
カメラ40は、遊園施設内に1つ以上が設置される。設置されたカメラと、カメラの周囲の色や模様とを同様にすることにより、ユーザがカメラに気づきにくくするとよい。これにより、ユーザはカメラで撮像されていることを意識しなくて済むので、普段どおりの自然な振る舞いや表情を保ったままで撮像されることになる。カメラ40で撮像された画像は、前述した伝送手段により、画像管理サーバ20に伝送される。
遊園施設内に設置されるカメラ40の中には、遊園地の遊戯物の一つである、移動可能な着ぐるみ人形等に設置されるカメラがある。この場合、カメラを着ぐるみ人形の外部からは分からないように設置し、着ぐるみ人形の周囲(特に前方)を撮像するようにする。これにより、着ぐるみ人形に興味を持って近づいてきた人の自然な表情を撮像することができる。この場合、カメラ40は、無線通信手段により撮像した画像を画像管理サーバ20に伝送可能である。
さらに、カメラ40の中には、移動可能な特定の物体、たとえば上述したような、着ぐるみ人形を追いかけて写し続けるカメラもある。このカメラにより、着ぐるみ人形とともに、着ぐるみ人形と遊んでいる人が写った画像が撮像される。
なお、カメラ40で撮像される画像には、静止画像および動画が含まれる。動画撮像により、遊園施設内で遊んでいる人の一連の動作が記録されるので、静止画像に比べて、そのときの様子をより印象的な形で提供することができる。
また、カメラ40の中には、施設内で遊んでいる人物の特定のみに使用される人物特定用のカメラがあってもよい。たとえば、人物を特定できるIDカードを使って通過するゲート390などに人物特定用カメラを設置する。ある人物がIDカードを使ってこのゲート390を通過すると、人物特定用カメラにより、ゲート390を通過した人物の画像が撮像される。これにより、人物情報更新装置32を使用しなくても、各人物の最新の人物情報を取得することができる。さらには、各人物がいた位置等の確認も可能になる。
カメラ40が撮像した領域は、カメラ40の設置場所が固定されている場合には、カメラ40の向きや視野から求められる。カメラ40が移動可能に設置されている場合には、カメラ40にGPS装置を設けることによってカメラ40の位置を特定してもよい。また、カメラ40の設置場所が固定されている場合およびカメラ40が移動可能に設置されている場合に、カメラ40で撮像した画像から、
その画像がどこを撮像したのか画像認識することにより、撮像領域を特定してもよい。
画像管理サーバ20は、人物情報取得装置30から伝送された人物情報を保管する。一方、画像管理サーバ20は、カメラ40から伝送された画像を保管する。この際に、画像管理サーバ20は、伝送された画像に付随する情報、たとえば撮像時間、撮像された場所等の情報も画像とともに保管する。
画像検索端末50は、画像管理サーバ20に蓄積された画像から所望の画像を検索するための条件を取得する。この画像検索条件は、ユーザが指定可能である。さらに、検索実行後は、検索された画像の中から出力する画像を指定するとともに、どの出力媒体へ出力するかが指定される。
出力装置60は、画像検索端末50において出力するように指定された画像を、指定された出力媒体に出力する。
ここで、本人画像提供システム10を利用するユーザの視点からの説明を行う。
ユーザは、まず人物情報取得装置30において、人物情報の登録を行う。登録された人物情報は、画像管理サーバ20に送信される。人物情報登録後、ユーザはカメラを意識することなく、遊園地内で遊ぶ。遊んでいる間、ユーザはカメラ40で撮像される。ユーザは、好きなときに画像検索端末50を備えた画像検索コーナーに行き、それまでに撮像された画像の中から、自分が写っている画像を検索する。画像の検索は、登録された人物情報に基づいて行われる。ユーザは、検索された画像から、好みの画像を所定の出力媒体に出力させることができる。このように、ユーザはただ遊んでいるだけで、遊んでいる途中の自分が写った画像を入手することができる。
なお、人物情報の登録は、遊園施設で遊んでいる最中や、遊園施設で遊んだ後に行ってもよい。この場合にも、ユーザは、カメラ40で撮像された画像からそれぞれのユーザが写った画像を画像検索端末50で検索し、検索された画像を出力することができる。
図2は、画像管理サーバ20の構成を示す。画像管理サーバ20は、人物情報書込部70、画像書込部80、画像検索部90、人物情報取得装置30、人物DB110、画像DB120、および画像セットDB130を備える。
この他、画像管理サーバ20は、位置情報書込部220、位置情報DB230、被写体速度検知部240、到達地点予想部250、および画像選択装置300を備えるが、これらについては後述する。
人物情報書込部70は、人物情報取得装置30によって取得された人物情報を受け取り、人物DB110に書き込む処理を行う。
画像書込部80は、カメラ40で撮像された画像を受け取り、画像DB120に書き込む処理を行う。この際に、各画像が撮像された場所や時間なども、画像DB120に書き込まれる。
画像検索部90は、画像検索端末50からデータベースに蓄積された画像から、画像を検索する際の検索条件を受け取る。画像検索部90は、受け取った検索条件に従って、画像の検索を実行する。画像検索の際には、人物DB110に蓄積された人物情報が活用される。検索後、画像検索部90は、画像検索の結果を画像検索端末50に送信する。
出力処理部100は、画像検索端末50で指定された検索画像を指定された出力媒体に出力する。たとえば、出力媒体として紙が指定された場合には、指定された画像を紙に印刷する処理を実行する。この場合には、出力装置60はプリンタである。
図3は、人物DB110の例を示す。人物DB110には、画像提供システムを利用するユーザごとに割り当てられた人物IDが記載される。各人物IDについて、その人の友人についても、友人ごとに割り当てられた人物IDが記録される。友人の人物IDは、後に希望する友人と一緒に写った画像を検索する際に活用される。
さらに人物DB110には、各人物について、人物情報取得装置30で得られた人物情報が記録される。人物情報は、各人物を画像認識等で識別可能な情報である。たとえば、人物情報は、顔の輪郭、大きさ、または目、鼻、口等の形および大きさ等を数値化した顔パラメータで表わされる。この他、人物情報には、各人物の身長、体格、服装、眼鏡、装飾品等の情報も含まれる。人物情報には、初期データとなる入力時の人物情報と、後に更新された更新時の人物情報がある。
さらに、各人物について、施設に入場した時刻(または、画像システムを利用開始した時刻)が記録される。
また、任意のカメラで撮像された画像に各人物が写っていることが特定されること等により、各人物の居場所が特定された場合には、各人物の居場所とその時の時刻が、移動履歴として記録される。
各人物は、他の人が画像を検索する際に、自分が含まれる画像が検索され出力されないように制限することができる。この検索制限をするかどうかも人物DB110に記録される。
図4は、画像DB120の例を示す。画像DB120には、1以上のカメラ40によって撮像された後、画像管理サーバ20に伝送された画像が保管される。保管された画像ごとに、画像を特定するための画像IDが割り当てられる。各画像は、撮像したカメラごとに振り分けられたカメラID、撮像された場所、および撮像時刻などの撮像に関する撮像プロパティを有する。さらに、各画像に対して、画像検索部90により特定された人物が各画像に含まれている場合には、特定された人物の人物IDが記録される。
画像DB120により、各画像の特定ができるとともに、各画像の撮像場所等の情報、各画像に写った人物の参照が可能になる。
図5は、画像セットDB130の例を示す。画像セットDB130は、共通の人物について撮像された複数の画像に関するデータベースである。各画像を単独で管理するよりも、特定の画像をセットにして管理した方がいい場合にメリットがある。特定の画像のセットには、たとえば2つの場合がある。1つは、アングルセットである。アングルセットでは、同一時刻に、共通の被写体を複数の異なるアングルからカメラで撮影したときの複数の画像を1つのセットとする。他方は、経時セットである。経時セットでは、共通の被写体をカメラ40で時間経過に従って撮影した時の複数の画像を1つのセットとする。被写体を撮像するカメラは、複数であってもよい。
画像セットDB130により、共通の人物が写った複数の画像をまとめて管理できる。画像セットDB130は、画像の検索や、画像に写った人物の特定に活用される。
図6は、画像検索端末50の構成を示す。画像検索端末50は、検索条件設定部150、検索結果提示部160、出力画像設定部170、および出力形式設定部180を有する。
検索条件設定部150は、画像管理サーバ20に保管された画像から所望の画像を検索するための検索条件を設定する。検索条件とは、たとえば笑顔の自分が写っていること、その他の特定の表情をしていること等である。
また、遊園地に仲間といっしょに遊びに行く場合には、仲間といっしょの写真を記念として撮像することが望まれる。この希望に応えるために、検索条件設定部150では、画像の検索の際に、複数の人が同時に写った画像を検索条件とすることができる。たとえば、検索条件として「自分とAさんがともに写った写真」と設定すると、自分およびAさんの人物情報に基づき、自分とAさんがともに写った画像が検索される。
検索条件設定部150で設定された検索条件は、画像管理サーバ20に伝送可能である。
検索結果提示部160は、上述した検索条件に従って検索された画像の一覧を画像管理サーバ20から受け取り、受け取った結果をモニタ画面に表示して、ユーザに提示する。
出力画像設定部170は、検索結果提示部160により提示された画像のうち、ユーザが指定した画像を出力する画像として設定する。
出力形式設定部180は、ユーザが指定する媒体を画像を出力する媒体として設定する。画像を出力する媒体としては、紙、CD−R等がある。
出力画像設定部170で設定された出力用の画像、および出力形式設定部180で設定された画像出力に用いる出力媒体の種類は、画像管理サーバ20に伝送される。
画像管理サーバ20の有する特徴的な機能の1つとして、セット画像の人物特定がある。セット画像の人物特定は、人物特定部190により処理される。この機能により、共通の人物を含む複数の画像がある場合に、その中の1枚について人物が特定された場合に、その他の画像に含まれる共通の人物も一括して特定される。セット画像には、同一時刻に複数のアングルで撮像された複数の画像に共通の人物が含まれる場合(アングルセット)と、ある時刻から所定の時間内に共通の人物について撮像された複数の画像の場合(経時セット)がある。それぞれの場合について、図7および図8を用いて、人物特定の仕方を説明する。
図7は、アングルセットについての人物特定部の処理の概要を示す。あるアングルセットA1が、画像ID11、12、13、14、および15の画像を含み、それぞれに共通の人物X(未特定の人物)が写っているとする。このアングルセットについて、画像ID11に写った人物Xが、人物ID19であると特定された場合には、画像ID12〜15に写った人物Xも人物ID19であるとする。
これにより、各画像について1枚ずつ、画像に写った人物の特定をする必要がなくなり、効率的に人物の特定ができる。
図8は、経時セットについての人物特定部の処理の概要を示す。あるアングルセットT1が、画像ID21、22、23、24、および25の画像を含み、それぞれに共通の人物Y(未特定の人物)が写っているとする。このアングルセットについて、画像ID21に写った人物Yが、人物ID29であると特定された場合には、画像ID22〜25に写った人物Yも人物ID19であるとする。
これにより、各画像について1枚ずつ、画像に写った人物の特定をする必要がなくなり、効率的に人物の特定ができる。
カメラ40は、たとえば所定の間隔で自動的に撮像される。この場合だと、人物が写っていなかったり、人物情報を登録していない人物を写すこともある。そこで、画像選択装置300は、カメラ40で撮像された画像を取捨選択する処理を行う。
図9は、画像選択装置300がカメラ40で撮像された画像を取捨する際のフローチャートである。まず、カメラ40で画像が撮像される(S10)。撮像された画像は、画像管理サーバ20に伝送される(S20)。画像検索部は、伝送された画像を画像認識し、画像の中に人物DB110に登録された人物情報と照合する(S30)。照合の結果、画像に登録された人物情報と合致する人物が含まれているかどうかが判断される(S40)。画像に登録された人物が含まれている場合には、DB等への画像データ保管処理が実行される(S50)。一方、登録された人物が含まれていない画像は廃棄される(S60)。この処理により、登録されていない人物が写った画像を画像DB120に保管しなくて済むので、後の画像検索にかかる負担を軽減することができる。ただし、人物照合においては、登録された人物と、画像に写った人物との一致度の割合を示す照合度が100%であることを条件としなくてもよい。たとえば、照合度が50%であっても、登録人物候補として画像DB120等に保管する。この場合、保管する画像の枚数は多くなるが、検索もれを少なくすることができる。
上記の例は、人物情報が予め登録された人物を対象とする場合に好適である。一方、人物情報が、画像撮像後に行われる場合には、画像選択装置300は、カメラ40から伝送された画像について、任意の人物が写っているかを確認する。画像に任意の人物が写っている場合には、その画像は保管される。これにより、予め人物情報を登録せず、画像撮像後に人物情報を登録した場合でも、任意の人物が撮像された画像の中から、登録した人物情報に合致する画像を検索して入手することができる。
カメラ40による撮像が、たとえば単純に所定の間隔で行われると、被写体の表情等は考慮されないので、撮像された写真の中には撮像タイミングとしては不適切な写真も多く含まれる。これでは、検索対象となる写真の枚数が多くなり、検索により多くの時間がかかるばかりでなく、ユーザが望まないタイミングで撮像された写真が提供されることになる。従って、カメラ40は、所定の撮像タイミングにおいて自動的に撮像するための構成を備えるとなおよい。
図10は、被写体の位置を特定する例を示す。被写体は、電波等を発信する発信機192を有する。受信機194は、発信機192から発信された電波を受信する。受信された電波の強弱等により、被写体とカメラ40との間の距離が算出される。タイミング検知部140により、撮像算出された距離が所定の距離になったことを検知されると、カメラ40による撮像が行われる。
発信機192から発信される電波、または受信機194が電波を受信するときの領域の少なくともどちらか一方は指向性を持ってもよい。これにより、被写体の位置をより精度よく知得することが可能になり、撮像タイミングもより適切になる。
発信機192から発信される電波に、発信機192を持つ被写体を特定するための人物情報を含ませてもよい。これにより、電波を検出することによって、カメラ40による撮像が行われたときに、電波に含まれる人物情報に基づいて、撮像された画像データに写った被写体を特定することができる。このようにして被写体が特定されると、各画像に写った被写体の人物情報、または人物IDが画像DB120に記載される。画像検索部90で検索対象となる被写体を検索する際には、画像DB120が活用される。検索する被写体の人物情報、または人物IDに基づいて画像DB120を検索すれば、確実かつ迅速に被写体の写った画像データが見つけることができる。
図11は、特定の物体と被写体とが特定の位置関係にあることを撮像タイミングとする様子を示す。物体Aが特定の撮像領域にいるとき、カメラ40により撮像が行われる。物体Aが特定の撮像領域にいることは、上述の送受信機により行われてもよい。これにより、被写体Aが物体Aに驚いたり、喜んだりしたときの表情が適切に撮像される。
図12は、画像管理サーバ20、人物情報取得装置30、およびカメラ40との間のデータのやり取りを表わすシーケンスチャートである。まず、人物情報取得装置30において、各人物の人物情報が取得される(S100)。ここでは、各人物を特定するための画像の撮影や、各人物の身体、顔等の特徴を数値化したパラメータなどが取得される。取得された人物情報は、画像管理サーバ20に送られる(S110)。送信された人物情報に従って、人物DB110が更新される(S120)。ここで、各人物ごとに割り当てられた人物IDを各人物に伝達したり、各人物が所有するIDカードに記録させてもよい。これにより、各人物はその人物IDにより、識別可能になる。一方、カメラ40では、人物の撮像が随時行われている(S130)。撮像は、所定の間隔で行われてもよく、ランダムな間隔で行われてもよく、所定のタイミングにおいて自動的に行われてもよい。カメラ40で撮像が行われると、撮像された画像は、画像管理サーバ20に送られる(S140)。送られた画像はデータベースに保管される(S150)。各画像ごとに、画像を特定するための画像IDが割り当てられ、画像DB120が更新される。また、伝送された画像がセット画像に含まれる場合には、セット画像DBも更新される(S160)。
一方、人物情報取得装置30は、既に人物情報が取得済みの人物について、新たに人物情報が取得された場合(S170)には、その人物情報を画像管理サーバ20に伝送する(S180)。伝送された人物情報に基づいて、人物DBが更新される(S190)。これにより、ある人物の人物情報が途中で変わった場合に対応が可能となる。たとえば、途中で、コンタクトを外して、眼鏡を掛けることにより顔が変化した場合、帽子を買て被ったことにより身体に関する情報が変化した場合などである。
図13は、画像管理サーバ20と画像検索端末50との間で、画像検索を実行するときのシーケンスチャートを示す。まず画像検索端末50において、画像を検索する際の検索条件が設定される(S200)。検索条件としては、所定の複数の人が写っていること、所定の表情をしていることなどがある。設定された検索条件は、画像管理サーバ20に伝送される(S210)。画像管理サーバ20の画像検索部90は、伝送された検索条件に従って、データベースに蓄積された画像を対象に検索を実行する(S220)。画像検索は人物情報に基づいて行われる。検索が終了すると、その結果が画像検索端末50に送信される(S230)。検索結果は、画像検索端末50に一覧表示される(S240)。ユーザは一覧表示された画像から、所望の画像を選択する(S250)。また画像を出力する媒体(紙、CD−R等)を指定する(S260)。ユーザが決めた、画像や出力媒体などの情報が画像管理サーバ20に伝送される(S270)。画像管理サーバ20は、指定された画像を所定の媒体に出力する(S280)。
図14は、画像検索端末50に表示される画像検索設定画面の例を示す。この画面は、本人画像提供システムを利用した人が、自分や自分と所定の人が移った画像を検索するときに表示される画面の例である。まず、システムに登録した人物IDを入力する。次に、どのような画像を検索するか定める検索条件を設定する。検索条件とは、たとえば自分のみが写った画像を検索すること、または自分と特定の人が写った画像を検索することなどがある。さらに、画像に写った顔の表情を検索条件に設定することもできる。たとえば、目がきちんと開いている画像であること、笑顔の画像であることなどである。ユーザは、自分の好みに合致した画像を入手することができる。
なお、ユーザは、登録した人物情報と、検索対象となる画像に含まれる人物との照合度の下限を設定してもよい。たとえば、照合度下限を50%と設定されると、照合度が50%以上の画像を検索して抽出することができる。検索された結果をユーザに提示する際に、照合度の高い順に画像を並べて提示すれば、ユーザは提示された画像から欲しい画像を選びやすくなる。
図15は、画像検索端末50に表示される検索結果一覧および出力設定画面の例を示す。まず、ユーザの指定した検索条件に基づいて画像を検索した結果得られた画像の一覧が示される。一覧される画像は、おのおのが何を写した画像がわかるように、原画像を縮小したサムネイル形式で表示することが望ましい。これにより、ユーザは、画像がどんなものか知ることができる。ユーザは、一覧された画像の中から、出力したい画像を選択する。
また、画像を出力する際に使用する媒体を選択する。画像提供に使用される媒体としては、紙(紙へ画像を印刷する)、CD−R(CD−Rへ画像を書き込む)、MD(MDへ画像を書き込む)、Web(Web上の所定URLに画像データを提示し、ユーザは所定URLにアクセスすることにより、提示された画像データをダウンロードする)、メール添付(ユーザの指定するE−Mailアドレスに画像を添付する)などがあり、ユーザは好みに応じて選択することができる。さらにユーザは、出力される画像の大きさや、画像の画質、画像の明るさ等の出力形態を決めることができる。
ユーザにより選択された画像や出力媒体に応じて、画像出力に要する費用を表示すれば、ユーザは画像出力用の予算に応じて、選択する画像の枚数を変えることができるので、ユーザに対してより親切なシステムとなる。
ユーザは、画像出力に関する設定を確認したら、出力実行ボタンを押して、所定の画像出力を行わせることができる。
出力された媒体(Web上での提示、およびメール添付を除く)は、その場でユーザに受け渡す方法と、ユーザ指定の配送先へ送る方法がある。画像をすぐに見たい場合には、その場での画像の受け渡しが最適であり、荷物を増やしたくない場合や、後でじっくり見たい場合には、画像の配送が好ましい。ユーザは、好みの受け渡し方法を選択することができる。
次に、本実施の形態で行われる画像検索方法においてメリットのある画像検索システムについて説明する。この画像検索システムでは、図1に記載した被写体位置情報取得部210、および図2に記載した位置情報書込部220、被写体速度検知部240、到達地点予想部250、ならびに位置情報DB230も活用される。
被写体位置情報取得部210は、被写体を特定するとともに、被写体がいた位置とその時の時刻に関する位置情報を取得する。被写体位置情報取得部210と画像管理サーバ20とは、通信可能に接続されている。取得された被写体の位置に関する情報は、画像管理サーバ20に伝送される。また、被写体位置情報取得部210は、被写体が複数ある場合には、各被写体の位置を取得するだけでなく、各被写体の前後関係を取得する。被写体位置情報取得部210の例については後述する。
位置情報書込部220は、被写体位置情報取得部210で取得された各被写体の位置情報を入手し、位置情報DB230に書き込む処理を行う。
位置情報DB230には、被写体位置情報取得部210により取得された、各いた場所と、各被写体がいた場所とそのときの時刻とが蓄積される。位置情報DB230の例については後述する。
被写体速度検知部240は、位置情報DB230に蓄積された、各被写体が所定のルートに沿った2つの地点を通過するときの時刻を参照する。2つの地点間の距離と、2つの地点間を通過するのに要した時間とから、被写体ごとの進行速度が求められる。この他、被写体位置情報取得部210は速度センサを有してもよく、この場合には、被写体速度検知部240は、被写体位置情報取得部210から直接、各被写体ごとの進行速度を知得する。
到達地点予想部250は、被写体速度検知部240で知得された被写体ごとの進行速度に基づいて、特定の被写体がある地点を通過してから所定の時間経過後に、どの地点にいるかを予想する。
ここで、被写体位置情報取得部210、および位置情報DB230の例をそれぞれ説明する。この説明の後に、画像検索部90による、位置情報DB230を用いた被写体の画像検索の例を説明する。
図16は、被写体位置情報取得部210が位置情報を取得するときの例である。被写体は、無線通信手段362(たとえば、携帯電話、PHS)を有する。被写体位置情報取得部210は、携帯電話等から発信された電波を受信する受信機364を有し、受信機で受信された電波から被写体の位置が特定される。
図17は、被写体位置情報取得部210の別の例である。被写体は、被写体を特定するID情報を記録したIDカードを有する。被写体が、ゲート390等に設けられたIDカード挿入口にIDカードを挿入すると、IDカードに記録されたID情報は、ID情報読取装置により読み取られる。ID情報が読み取られると、ゲート390の場所とIDカードに記録された被写体を特定するID情報が位置情報DB230に伝送された後、保管される。
図18は、位置情報DB230の例を示す。図18は、ある被写体(被写体を特定するための被写体IDが1とする)についての位置情報DB230の例である。この表には、被写体ID1について、被写体位置情報取得部210で取得された位置情報が記載されている。
画像検索部90が、画像DBから特定の被写体を検索する場合には、位置情報DB230に記録された位置情報が活用される。画像検索部90は、位置情報DB230を参照し、特定の被写体に関する位置情報を知得する。この位置情報により、特定の被写体が写った可能性のある画像を絞り込むことが可能になる。すなわち、被写体ID1の被写体が、ある時刻にA地点にいたという位置情報がある場合に、その時刻において撮像された画像のうち、A地点を撮像するカメラで撮像された画像を被写体ID1が写った可能性のある画像の候補とする。その時刻にA地点以外を撮像するように設けられたカメラで撮像した画像は、被写体ID1が写った画像の検索対象から外される。これにより、複数の任意の被写体が撮像された画像から、特定の被写体が写った画像を検索する際に、検索時間が短縮される。
図19は、所定の地点を通過した被写体が写った画像を検索するときの例である。所定の地点を被写体が通過したことが確認できれば、その前後の所定の時間内にその被写体がいる可能性のある場所はおのずと限定される。そこで、被写体位置情報取得部210は、被写体が所定の地点を通過したことを取得し、位置情報DBに記録する。画像検索部90は、画像を検索する被写体が所定の地点を通過した時刻を含む所定の時間に基づいて定められる行動範囲内を、所定時間内にカメラ40が撮像した画像を検索対象とする。たとえば、午後2時に所定の地点を通過した被写体がいた場合、午後1時45分から午後2時15分までを検索対象の時間とする。この場合に、午後1時45分から午後2時15分までの間に被写体が行動したと推定される行動範囲(図19の斜線部分)を、その時間内にカメラ40が撮像した画像が被写体の写った画像の検索対象とされる。なお、被写体の行動範囲は、所定の地点付近の経路と被写体が通常移動するときの速度とから定められる。従って、検索対象の時間が短くなれば、それに基づいて定められる被写体の行動範囲も狭くなる。
図20は、2つの異なる地点を通過した被写体が写った画像を検索するときの例である。所定の地点Aと他の所定の地点Bとの間の経路は、いくつかの取り方があってもよい。被写体位置情報取得部210は、ある被写体が所定の地点Aを通過したこと、および他の所定の地点Bを通過したことを検知する。画像検索部90は、地点Aおよび地点Bを通過した時間に基づいて定められる行動範囲を、その時間内にカメラ40が撮像した画像がその被写体が写った画像の検索対象となる。たとえば、被写体Aが所定の地点Aを13:00に通過した後、他の所定の地点Bを午後1時15分に通過したことが被写体位置情報取得部210により検出されたとする。この場合に、画像検索部90は、午後1時から午後1時15分までの時間に基づいて定められる行動範囲(図20の斜線部分)を、その時間内にカメラ40が撮像した画像を対象として、被写体Aの写った画像を検索する。なお被写体の行範範囲は、被写体が所定の地点Aを通過した時刻と、他の所定の地点Bを通過した時刻とから、通常被写体が取りうる行動範囲をカバーするように決められる。
さらに、画像検索部90は、被写体が所定のルートを進行する場合に、被写体が写った画像を検索する手段を備える。
図21は、所定のルート内の被写体の位置を特定するときの例を示す。被写体は所定のルートに沿って進行する。所定のルートとは、たとえば、遊園地に設けられたアトラクションの通路、水族館に設けられた順路等である。被写体が複数ある場合には、被写体は所定のルートに沿って、列をなして進行する。
(被写体が1つの場合)
所定の地点Aに被写体位置情報取得部210を設けることにより、特定の被写体の位置情報が取得される。この位置情報により、特定の被写体は、地点Aを通過した時刻の前後は、所定のルート内の地点Aの前後のどこかの地点にいることが分かる。従って、画像DBの画像のうち、地点Aの通過時刻前後で、所定のルート内の地点A前後の地点を撮像した画像を、特定の被写体が写った可能性のある画像の候補とする。
さらに、地点Aより先の地点Bに被写体位置情報取得部210を設けることにより、地点Aから地点B内にいた時間を特定することができるので、特定の被写体が写った可能性のある画像をさらに絞り込むことが可能になる。
一方、被写体速度検知部240により、特定の被写体が地点Aを通過するときの速度、または特定のルート内を進行する速度を検出することにより、さらに画像の絞り込みの精度を上げることができる。すなわち、被写体が地点Aを通過したときの時刻と被写体の進行速度とから、地点Aを通過後に被写体がいる可能性のあるおおよその地点と時刻が予想できる。この予想地点および予想時刻を基にすれば、特定の被写体が写った可能性のある画像がさらに絞り込まれる。
(被写体が複数ある場合)
被写体があるルートを進行する際に、被写体の前後関係はあまり変わらないことがある。この場合には、被写体の前後関係を把握することにより、被写体の特定が可能である。図21において、被写体Bは、地点Aを通過中である。被写体Bは、被写体Aと被写体Cに挟まれて進行している。このときの被写体Bに関する位置情報に被写体の前後の被写体に関する情報を含ませる。これにより被写体の前後関係が保たれるとすれば、地点A以降の被写体の前後関係も予想ができる。地点A以降で撮像された画像のうち、被写体Bが特定されれば、その前後の被写体は、地点Aを通過したときの被写体Bの位置情報により特定可能になる。
以上のような画像検索システムにより、いろいろな場所で撮像された画像から、被写体が写った可能性のある画像を検索する場合に、被写体の位置情報に基づいて、被写体が写った可能性がより高い画像が検索対象とするので、画像の検索を効率良く行うことができる。
以上で、画像検索システムに関する説明を終える。最後に、画像管理サーバ20が有する、カメラ40で撮像する画像の枚数を限定する画像選択装置300の他の構成について説明する。図22は、画像選択装置300の構成を示す。画像選択装置300は、同一画像選択部308、画像選択処理部310、被写体画像認識部320、被写体検知部330、およびカメラ制御部340を備える。
同一画像選択部308は、特定領域を撮像するカメラ40で撮像された複数の画像について、同一の被写体を写した画像を選ぶ処理を行う。
画像選択処理部310は、同一画像選択部308で選択された画像について、各被写体を写した画像を所定の条件に従って所定の枚数に限定する処理を行う。
被写体画像認識部320は、カメラ40で撮像された画像に写った各被写体がどんな表情をしているかを認識する。
同一画像選択部308により、特定の領域で撮像された複数の画像に同一の被写体が写っている認識された場合には、画像選択処理部310は、所定の条件に従って同一の被写体を写した画像の枚数を減じる処理を行う。ここでの処理は、たとえば、同一の被写体について、最初に撮像された画像を保管し、残りの画像は削除することである。これにより、同一の被写体について、画像的にあまり変化のない画像が複数ある場合に、画像の枚数を減らすことができる。
図23は、被写体画像認識部320が行う処理の例を示す。この例では、同一の人物を撮像した複数の画像から、除去する画像の条件が設定されている。画像を除去する条件としては、たとえば、「目が閉じていること」「怒った表情をしていること」などがある。被写体画像認識部320は、設定された条件に従って画像を抽出する。図23の例では、画像1と画像3は抽出されるが、画像2と画像4は抽出されない。これにより、設定条件に合致した表情をした被写体の画像を効率よく取得することができる。
なお、画像抽出の条件として、同一の人物を撮像した複数の画像について、保管したい画像の条件、たとえば「笑っていること」等を設定してもよい。
以上は、画像選択装置300が、既に撮像された画像から、所定の条件にしたがって画像の枚数を絞ることに関する。次に、画像選択装置300が、カメラ40による撮像の回数を制御することに関する説明を行う。
図24は、被写体検知部330が被写体の位置を検知するときの例を示す。この場合には、被写体は、電波を発信する電波発信機360を有する。電波発信機360は、携帯電話、PHS等の無線通信手段でもよい。電波発信機360から発信された電波は、電波検知機370で受信される。受信した電波の強弱等から発信機を有する被写体の位置が特定される。これにより、被写体が所定の位置にきたことが検知されると、カメラ制御部340がカメラ40に所定の位置にいる被写体の撮像を行わせる。
図25は、被写体検知部330が被写体の位置を検知するときの別の例を示す。この場合には、被写体はゲート390を通過するのに必要なIDカードを所有する。被写体検知部330は、IDカードがIDカード挿入口に挿入されることにより被写体の進入を把握する。被写体の進入が把握されると、所定の時間経過後にカメラ制御部340がカメラ40に撮像を行わせる。
図26は、音声センサ380による画像撮像の例を示す。音声センサ380は、被写体が発した歓声等の音声を検知する。歓声等が検知されると、カメラ40による撮像が自動的に行われる。これにより、被写体が遊園施設の所定の遊戯物等に驚いたり、喜んだりしたときの表情を的確に撮像することができるとともに、その前後の表情にあまり特徴のない画像を撮像しなくて済む。
画像選択装置300により、検索対象となる画像の枚数を削減するとともに、適切なタイミングでのみ撮像された画像を保管することができる。
以上説明した本人画像提供システム10により、遊園施設内で遊んでいるときの人物の自然な表情を撮像し、撮像された画像から特定の人物が写った画像を検索して提供することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
10 本人画像提供システム、20 画像管理サーバ、30 人物情報取得装置、40 カメラ、50 画像検索端末、60 出力装置、90 画像検索部、210 被写体位置情報取得部、300 画像選択装置、330 被写体検知部、340 カメラ制御部