JP2020030647A - 来訪者検知システム及び来訪者検知方法 - Google Patents

Abstract

【課題】店舗等の施設への来訪者を検知して該来訪者と関連する複数人物の情報を報知する来訪者検知システム及び来訪者検知方法を提供する。【解決手段】店舗等の施設への来訪者を検知する来訪者検知システム１は、来訪者の情報を表示して来訪を報知するための携帯端末５０と、複数人物をグループとして関連付ける情報とグループを特定するための属性とが登録された監視対象データベース２１０と、属性を認識するための画像を撮像する店外カメラ１０，店内カメラ２０と、カメラで撮像した画像から属性を認識する属性認識部としての車両認識部１１０、人物認識部１２０と、属性認識部が認識した属性に基づいてグループを特定して、該グループの構成メンバーの情報を報知内容として決定する報知内容決定部１３０と、報知内容決定部が決定した報知内容を端末に表示してグループの来訪を報知する報知部１４０とによって構成される。【選択図】図２

Description

この発明は、店舗等の施設への来訪者を検知する来訪者検知システム及び来訪者検知方法に関する。

従来、店舗等の施設への来訪者を検知して報知するシステムが利用されている。例えば、特許文献１には、車両番号を登録したデータベースを利用して、店舗の駐車場に入場する車両を検知するシステムが開示されている。例えば、不審者が使用する車両の車両番号をデータベースに登録すれば、不審者の来訪を店員に報知して注意を促すことができる。常連客が使用する車両の車両番号をデータベースに登録すれば、常連客の来訪を店員に報知して常連客にサービスを提供することができる。

特許４３５３８２０号公報

しかしながら、上記従来技術による来訪者の報知では十分とは言えない場合があった。例えば、監視対象とする複数人の人物がグループを構成している場合に１台の車両を検知してもグループ全員の情報を報知することはできない。

本発明は、上記従来技術による課題に鑑みてなされたものであって、店舗、学校、病院、介護施設、駅、空港、ホール、競技場等の施設への来訪者を検知して、該来訪者と関連する人物の情報を報知することができる来訪者検知システム及び来訪者検知方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、来訪者検知システムであって、来訪者の情報を表示して来訪を報知するための端末と、複数人物をグループとして関連付ける情報と前記グループを特定するための属性とが登録されたデータベースと、前記属性を認識するための画像を撮像するカメラと、前記カメラで撮像した画像から前記属性を認識する属性認識部と、前記属性認識部が認識した属性に基づいてグループを特定して、該グループの構成メンバーの情報を報知内容として決定する報知内容決定部と、前記報知内容決定部が決定した報知内容を前記端末に表示して前記グループの来訪を報知する報知部とを備えることを特徴とする。

また、本発明は、上記発明において、前記属性は、車両を特定するための車両属性を含み、前記データベースは、複数の人物それぞれの画像と、グループの構成メンバーを特定する情報と、前記車両属性とグループを関連付けた情報とを含み、前記報知内容決定部は、前記属性認識部が認識した車両属性と関連付けられたグループを特定することによって、該グループの構成メンバーを特定し、前記報知部は各構成メンバーの画像を表示して前記グループの来訪を報知することを特徴とする。

また、本発明は、上記発明において、前記属性は、車両を特定するための車両属性を含み、前記データベースは、複数の人物それぞれの画像と、グループの構成メンバーを特定する情報と、前記車両属性と人物を関連付けた情報とを含み、前記報知内容決定部は、前記属性認識部が認識した車両属性と関連付けられた人物を特定することによって、該人物が属するグループの構成メンバーを特定し、前記報知部は各構成メンバーの画像を表示して前記グループの来訪を報知することを特徴とする。

また、本発明は、上記発明において、前記車両属性は車両番号であることを特徴とする。

また、本発明は、上記発明において、前記属性は、人物を特定するための人物属性を含み、前記データベースは、複数の人物それぞれの画像と、グループの構成メンバーを特定する情報と、前記人物属性と人物を関連付けた情報とを含み、前記報知内容決定部は、前記属性認識部が認識した人物属性と関連付けられた人物を特定することによって、該人物が属するグループの構成メンバーを特定し、前記報知部は各構成メンバーの画像を表示して前記グループの来訪を報知することを特徴とする。

また、本発明は、上記発明において、前記人物属性は顔画像であることを特徴とする。

また、本発明は、上記発明において、前記報知部は各構成メンバーの顔画像を前記端末に表示して前記グループの来訪を報知することを特徴とする。

また、本発明は、上記発明において、検知済みの構成メンバーと、未検知の構成メンバーとが区別可能に表示されることを特徴とする。

また、本発明は、来訪者検知システムが実行する来訪者検知方法であって、カメラで画像を撮像する工程と、前記カメラで撮像した画像から所定の属性を認識する工程と、複数人物をグループとして関連付ける情報と前記グループを特定するための前記属性とが登録されたデータベースに基づいて、認識した属性からグループを特定する工程と、特定したグループの構成メンバーを特定する工程と、特定した構成メンバーの情報を端末に表示してグループの来訪を報知する工程とを含むことを特徴とする。

本発明によれば、施設への来訪者を検知した際に、該来訪者と関連する複数の人物の情報を施設の担当者に提供することができる。例えば、施設が店舗である場合、注意を要するグループの来訪時や常連客のグループの来訪時にグループ全員の情報を、店舗の店員に報知することができる。

図１は、本実施形態に係る来訪者検知システムのカメラの配置例を示す模式図である。 図２は、来訪者検知システムの構成を示すブロック図である。 図３は、監視対象データベースに含まれる人物データの例を示す模式図である。 図４は、監視対象データベースに含まれるグループデータの例を示す模式図である。 図５は、監視対象データベースに含まれる車両データの例を示す模式図である。 図６は、車両を検知して来訪者を報知する処理の流れを示すフローチャートである。 図７は、車両の検知結果に基づいてグループの来訪を報知する際に監視端末４０及び携帯端末に表示される画面の例を示す図である。 図８は、人物を検知して来訪者を報知する処理の流れを示すフローチャートである。 図９は、人物の検知結果に基づいてグループの来訪を報知する際に監視端末及び携帯端末に表示される画面の例を示す図である。

以下、添付図面を参照しながら、本発明に係る来訪者検知システム及び来訪者検知方法の好適な実施形態について詳細に説明する。まず、来訪者検知システムの概要を説明する。本発明に係る来訪者検知システムは、店舗、学校、病院、介護施設、駅、空港、ホール、競技場等の施設で利用される。来訪者検知システムは、顔や容姿等、監視対象者の人物属性として予めデータベースに登録されている情報に基づいて、カメラで撮像した画像から監視対象者を検知する。また、来訪者検知システムは、車両番号や車両外観等、監視対象車両の車両属性として予めデータベースに登録されている情報に基づいて、カメラで撮像した画像から監視対象車両を検知する。データベースでは、複数の監視対象者をグループ化して管理することができる。監視対象車両と、監視対象者（個人）又はグループとを関連付けて管理することができる。１台の監視対象車両に対して一又は複数の監視対象者を関連付けることもできるし、１台の監視対象者車両に対して一又は複数のグループを関連付けることもできる。複数台の監視対象車両に対して１人の監視対象者を関連付けることもできるし、複数台の監視対象車両に対して１つのグループを関連付けることもできる。これにより、来訪者検知システムは、監視対象者を検知した際に、この監視対象者が属するグループの構成メンバーの情報を、施設の担当者に報知することができる。また、来訪者検知システムは、１台の監視対象車両を検知した際に、この車両と関連付けられたグループを特定して、該グループの構成メンバーの情報を担当者に報知することができる。来訪者検知システムは、同一グループが、グループの他の構成メンバーの車両で来店した場合でも、この車両からグループを特定して、該グループの構成メンバーの情報を担当者に報知することができる。

以下、来訪者検知システムが店舗に設置されている場合を例に具体的に説明する。店舗に設置された来訪者検知システムは、監視対象者を検知した際に、監視対象者が属するグループの構成メンバーの情報を、店舗の担当者（以下「店員」と記載する）に報知する。また、店舗に設置された来訪者検知システムは、監視対象車両を検知した際に、監視対象車両と関連付けられたグループを特定して、該グループの構成メンバーの情報を店員に報知する。

来訪者検知システムで利用するカメラについて説明する。来訪者検知システムは、店舗内外に設置された多数のカメラを監視カメラとして利用する。図１は、本実施形態に係る来訪者検知システム１のカメラの配置例を示す模式図である。図１は、店舗４と駐車場３を上方から見た図を示している。図１に示すように、店舗４の屋外には、車両３００（３００ａ〜３００ｃ）、車両３００内の人物、駐車場３にいる人物等を撮像するための店外カメラ１０（１０ａ〜１０ｃ）が設置されている。店舗４の屋内には、店内の人物を撮像するための店内カメラ２０（２０ａ〜２０ｃ）が設置されている。

店外カメラ１０は、車両３００を撮像した画像から、予め監視対象として設定された車両３００を検知するために利用される。例えば、ナンバープレートの車両番号を文字認識することにより監視対象の車両３００が特定される。また、店外カメラ１０は、予め監視対象として設定された人物を検知するために利用される。例えば、車両３００内の人物や、駐車場３を移動する人物等を撮像した画像から人物の顔を認識する顔認識処理を行うことにより、監視対象の人物が特定される。本実施形態で言うナンバープレートとは、日本では法令で定められている自動車登録番号標、車両番号票、標識等である。また、本実施形態で言う車両番号とは、ナンバープレートに含まれる、地名、分類番号、ひらがな、アルファベット文字、一連指定番号又は車両番号の中から選択して、来訪者検知システムによる監視対象として設定した情報である。具体的には、例えば「１２３４」等の番号（一連指定番号又は車両番号）のみを車両番号と設定することもできるし、地名と番号を組み合わせた「姫路１２３４」等を車両番号と設定することもできる。

店内カメラ２０は、店内を監視するために利用される。また、店内カメラ２０は、予め監視対象として設定された人物を検知するために利用される。店内の人物を撮像した画像から人物の顔を認識する顔認識処理を行うことにより、監視対象の人物が特定される。

図１に示すように、車両３００ａは、駐車場入口２から店舗４の駐車場３内に進入する車両である。駐車場入口２の近傍に店外カメラ１０ａが配置されている。店外カメラ１０ａは、駐車場入口２に進入する車両３００ａを前方から撮像する。これにより、車両３００ａの前面にあるナンバープレート等を撮像した画像が得られる。また、運転席の人物及び助手席の人物等、車両３００ａの前席に座る人物を撮像した画像が得られる。店外カメラ１０ａは、車両３００ａが駐車場入口２を通過する際に、この車両３００ａを側方から撮像する。これにより、車両３００ａの進行方向右側の前席に座っている人物、後席に座っている人物等を撮像した画像が得られる。

車両３００ｂは、駐車場入口２から店舗４の駐車場３内に進入した車両である。駐車場入口２の近傍には、駐車場入口２を通過する車両を挟むようにして店外カメラ１０ａと反対側の位置に、店外カメラ１０ｂが配置されている。店外カメラ１０ｂは、車両３００ｂが駐車場入口２を通過する際、店外カメラ１０ａと反対側の側方から、この車両３００ｂを撮像する。これにより、車両３００ｂの進行方向左側の前席に座っている人物、後席に座っている人物等を撮像した画像が得られる。また、店外カメラ１０ｂは、駐車場３に進入した車両３００ｂを後方から撮像する。これにより、車両３００ｂの後面にあるナンバープレート等を撮像した画像が得られる。

車両３００ｃは、駐車場３に駐車された車両である。車両３００ｃ及び駐車場３を移動する人物を撮像するため、駐車場３には複数の店外カメラ１０ｃが配置されている。店外カメラ１０ｃは、駐車車両３００ｃの前面又は後面を撮像する。これにより、駐車車両３００ｃの前面にあるナンバープレート又は後面にあるナンバープレートを撮像した画像が得られる。店外カメラ１０ｃは、撮像範囲内を通過する車両３００、車両３００内の人物、車両３００から降りてきた人物、店舗４から出て車両３００へ戻る人物等の撮像も行う。

店舗入口５の近傍には、店舗４に進入する人物を前方から撮像するための店内カメラ２０ａと、店舗４から退出する人物を前方から撮像するための店内カメラ２０ｂとが配置されている。この他、店内の人物を撮像するため複数の店内カメラ２０ｃが配置されている。

図１に示したカメラの配置は一例であって、カメラの配置がこれに限定されるものではない。例えば、車両番号の撮像を目的とする店外カメラ１０や、運転者の撮像を目的とする店外カメラ１０は、車両を正面から撮像可能な場所に配置することが望ましい。このため、店外カメラ１０の配置位置は、駐車場３や店舗４のレイアウトに応じて決定される。また、可視光画像を撮像する店外カメラ１０に加えて、夜間に車両番号を撮像するために赤外画像を撮像する店外カメラ１０を配置してもよい。また、車内は車外に比べて明度が低いため、車外を撮像する店外カメラ１０に加えて、車内の撮像を目的とした店外カメラ１０を配置してもよい。撮像対象や撮像環境に応じたカメラを配置することで、車両や人物等の撮像対象を撮像した良好な画像を得ることができる。

次に、来訪者検知システムの構成を説明する。図２は、来訪者検知システム１の構成を示すブロック図である。来訪者検知システム１は、店外カメラ１０、店内カメラ２０、監視サーバ３０、監視端末４０及び携帯端末５０を含んで構成される。これらの装置は、ネットワーク６を介して通信可能に接続されている。図１に示したように、店外カメラ１０は店舗４の建物外に配置され、店内カメラ２０は店舗４の建物内に配置される。監視サーバ３０及び監視端末４０は、店舗４のバックヤードにある事務所等に配置される。携帯端末５０は、店舗４の敷地内を移動する店員が所持する情報端末である。ネットワーク６を介して監視サーバ３０と通信可能な場所であれば、携帯端末５０の利用場所は特に限定されない。

店外カメラ１０及び店内カメラ２０は、撮像した画像を外部装置へ出力する監視カメラである。店外カメラ１０及び店内カメラ２０は、動画像、又は所定の時間間隔で連続撮影した静止画像を、監視サーバ３０へ送信する。

監視サーバ３０は、制御部１００及び記憶部２００を含むコンピュータ装置から成る。制御部１００は、車両認識部１１０、人物認識部１２０、報知内容決定部１３０及び報知部１４０を含む。制御部１００が、ネットワーク６を介して受信した情報等に基づいて、記憶部２００に保存された各種プログラムやデータを利用しながら各部を制御する。これにより、本実施形態に記載する各機能及び動作が実現されている。

車両認識部１１０は、店外カメラ１０が出力する画像から、車両３００の静止画像を取得して、車両３００のナンバープレートにある車両番号を文字認識する。すなわち、車両認識部１１０は、各車両３００を特定するための車両属性として車両番号を認識する属性認識部として機能する。

人物認識部１２０は、店外カメラ１０が出力する画像から、車両３００内の人物の静止画像や、車両３００を降りて駐車場３を移動する人物の静止画像を取得して、各人物の顔を認識する。また、店内カメラ２０が出力する画像から、店内の人物の静止画像を取得して、各人物の顔を認識する。すなわち、人物認識部１２０は、各人物（個人）を特定するための人物属性として顔を認識する属性認識部として機能する。

報知内容決定部１３０は、車両認識部１１０及び人物認識部１２０の認識結果に基づいて、報知内容を決定する。具体的には、人物の来訪を報知するだけでよいか、人物が属するグループの来訪を報知する必要があるか等を決定するが詳細は後述する。報知部１４０は、報知内容決定部１３０が決定した報知内容に基づいて報知処理を行う。報知処理時には、監視端末４０及び携帯端末５０の画面上に、来訪者の情報が表示される。

記憶部２００は、半導体メモリやハードディスク等の不揮発性の記憶装置である。記憶部２００は、制御部１００の動作に必要なプログラムやデータの保存に利用される。記憶部２００には、監視対象データベース２１０が保存されている。監視対象データベース２１０は、人物データ２１１、グループデータ２１２及び車両データ２１３を含んでいる。人物データ２１１には、属性認識部として機能する人物認識部１２０が、各人物を特定するために利用する人物属性の情報が登録されている。車両データ２１３には、属性認識部として機能する車両認識部１１０が、各車両を特定するために利用する車両属性の情報が登録されている。グループデータ２１２には、グループを構成する複数の人物を特定するための情報が登録されている。これらデータの詳細については後述する。

監視端末４０は、制御部４１、表示部４２、操作部４３及び記憶部４４を含むコンピュータ装置から成る。表示部４２は、例えば液晶ディスプレイから成り、各種情報を画面上に出力表示するために利用される。操作部４３は、例えばキーボードやマウスから成り、各種情報を入力するために利用される。記憶部４４は、半導体メモリやハードディスク等の不揮発性の記憶装置から成り、制御部４１の動作に必要なプログラムやデータの保存に利用される。制御部４１は、操作部４３から入力された情報やネットワーク６を介して受信した情報等に基づいて、記憶部４４に保存された各種プログラムやデータを利用しながら各部を制御する。

監視端末４０の表示部４２には、店外カメラ１０で撮像中の画像及び店内カメラ２０で撮像中の画像がリアルタイムに表示される。店舗４の監視を担当する店員は、事務所で監視端末４０の表示部４２に表示される画像を確認しながら店舗４の内外を監視する。また、店員は、表示部４２の画面に表示される情報を確認しながら操作部４３を操作することにより、来訪者検知システム１に係る設定変更、監視対象データベース２１０へのデータ登録、変更、削除等の操作を行う。

携帯端末５０は携帯電話等の小型の通信端末である。携帯端末５０は、操作表示部として機能するタッチパネル式の液晶表示部を有する。携帯端末５０は、監視サーバ３０から送信された情報を受信して操作表示部の画面上に表示する。監視端末４０から離れた場所にいる店員は、携帯端末５０を利用して、監視サーバ３０の報知部１４０が報知した情報を確認することができる。

次に、監視サーバ３０が、監視対象データベース２１０で管理するデータの内容について説明する。図３は、監視対象データベース２１０に含まれる人物データ２１１の例を示す模式図である。人物データ２１１には、監視対象とする複数人物それぞれの人物ＩＤ及び人物画像が含まれる。人物ＩＤは各人物を識別するための識別番号である。人物画像は人物の顔部分を含む画像である。

店員は、監視端末４０の操作部４３及び表示部４２を操作して、監視対象とする人物を人物データ２１１に登録することができる。例えば、店外カメラ１０で撮像した画像又は店内カメラ２０で撮像した画像から顔部分を含む静止画像を切り出して、人物データ２１１に人物画像として登録する。

図４は、監視対象データベース２１０に含まれるグループデータ２１２の例を示す模式図である。グループデータ２１２には、グループＩＤ及び構成メンバーの情報が含まれる。グループＩＤは各グループを識別するための識別番号である。構成メンバーの情報は、各グループを構成するメンバーの人物ＩＤであり、図３に示す人物データ２１１の人物ＩＤに対応している。店員は、操作部４３及び表示部４２を操作して、人物データ２１１に登録されている複数人物の中から、グループ化する複数人の人物を選択して、グループデータ２１２にグループを登録することができる。

図５は、監視対象データベース２１０に含まれる車両データ２１３の例を示す模式図である。車両データ２１３には、車両ＩＤ、車両画像、色、車両番号、関連ＩＤが含まれる。車両ＩＤは各車両３００を識別するための識別番号である。車両画像は車両３００を撮像した画像である。色は車両３００の車体の色である。車両番号は、各車両３００を識別するためにナンバープレートに付された識別情報である。例えば「姫路５０あ１２３４」等、ナンバープレートに含まれる文字及び数字が車両番号として登録される。関連ＩＤは、車両３００と関連付けられた人物ＩＤ又はグループＩＤである。人物ＩＤは図３に示す人物データ２１１の人物ＩＤに対応し、グループＩＤは図４に示すグループデータ２１２のグループＩＤに対応している。

店員は、監視端末４０の操作部４３及び表示部４２を操作して、車両３００の色や、車両番号等を車両データ２１３に登録することができる。例えば、店外カメラ１０で撮像した画像から車両３００を含む静止画像を切り出して、車両データ２１３に車両画像として登録する。

店員は、操作部４３及び表示部４２を操作して、人物データ２１１に登録されている一又は複数の人物ＩＤを選択して、関連ＩＤとして車両データ２１３に登録することができる。同様に、グループデータ２１２に登録されている一又は複数のグループＩＤを選択して、関連ＩＤとして車両データ２１３に登録することができる。このとき、１つのグループに複数台の車両３００を関連付けることもできるし、１人の人物に複数台の車両３００を関連付けることもできる。

監視サーバ３０の人物認識部１２０は、図３に示す人物データ２１１に登録された人物画像を人物属性として利用して、各人物の顔を認識する。具体的には、人物画像の顔部分の画像を登録顔画像として、店外カメラ１０及び店内カメラ２０で撮像した画像に登録顔画像が含まれるか否かを判定する。画像に登録顔画像が含まれていれば、監視対象として登録された人物が来店したと判定する。

車両認識部１１０は、図５に示す車両データ２１３に登録された車両番号を車両属性として利用して、各車両３００を認識する。具体的には、店外カメラ１０で撮像した画像に、車両データ２１３に登録された車両番号が含まれるか否かを判定する。画像に車両番号が含まれていれば、監視対象として登録された車両３００が駐車場３に入場したと判定する。

報知内容決定部１３０は、図５に示す車両データ２１３を参照して、車両認識部１１０が認識した車両３００がグループと関連付けられていた場合、図４に示すグループデータ１２２を参照して、このグループの構成メンバー全員の情報を報知内容として決定する。車両認識部１１０が認識した車両３００が、車両データ２１３において人物と関連付けられ、この人物がグループデータ２１２においてグループの構成メンバーとして登録されていた場合も、報知内容決定部１３０は、グループの構成メンバー全員の情報を報知内容とする。人物認識部１２０が認識した人物が、グループデータ１２２においてグループの構成メンバーとして登録されていた場合も、報知内容決定部１３０は、グループの構成メンバー全員の情報を報知内容とする。

次に、来訪者検知システム１が車両３００を監視して来訪者を検知する処理について説明する。来訪者検知システム１は、複数台の店外カメラ１０によって駐車場３に入場する車両３００を監視し、必要に応じて店員への報知を行う。

図６は、車両３００を検知して来訪者を報知する処理の流れを示すフローチャートである。図１に示すように、複数台の店外カメラ１０によって車両３００を撮像した画像が、ネットワーク６を介して監視サーバ３０へ送信される。具体的には、駐車場３に入る車両３００ａを撮像した画像、駐車場３に入った車両３００ｂを撮像した画像、駐車場３に駐車した車両３００ｃを撮像した画像等が順次、監視サーバ３０へ送信される。図６に示す処理は、こうして店外カメラ１０で撮像された各車両３００について行われる。

監視サーバ３０の車両認識部１１０は、店外カメラ１０から受信した各画像から、車両３００のナンバープレートにある車両番号を認識するための文字認識処理を実行する（ステップＳ１）。

続いて車両認識部１１０は、認識した車両番号が、図５に示す車両データ２１３に登録されているか否かを判定する（図６ステップＳ２）。特定した車両番号が車両データ２１３に登録されていない場合（ステップＳ２；Ｎｏ）、この車両３００に関する処理は終了する。一方、特定した車両番号が車両データ２１３に登録されていた場合（ステップＳ２；Ｙｅｓ）、車両認識部１１０は、この車両番号を有する車両３００の車両ＩＤを報知内容決定部１３０に入力する。

報知内容決定部１３０は、車両認識部１１０から入力された車両ＩＤに基づいて、図５に示す車両データ１２３を参照し、車両ＩＤにグループＩＤが関連付けられているか否かを判定する（ステップＳ３）。

車両データ２１３の関連ＩＤにグループＩＤが登録されていた場合（図６ステップＳ３；Ｙｅｓ）、報知内容決定部１３０は、グループの来訪を報知する必要があると判定する。報知内容決定部１３０は、車両３００に関連付けられたグループＩＤに基づいて図４に示すグループデータ２１２を参照し、グループＩＤが示すグループの構成メンバーを特定する。さらに、報知内容決定部１３０は、各構成メンバーの人物ＩＤに基づいて図３に示す人物データ２１１を参照し、人物画像を含む各人物の情報を特定する。報知内容決定部１３０は、こうして特定した情報を報知内容として報知部１４０に入力する。

報知部１４０は、報知内容決定部１３０から入力された、グループの構成メンバー全員の情報を監視端末４０の表示部４２に表示して、監視端末４０を利用する店員にグループの来訪を報知する（図６ステップＳ４）。同様に、報知部１４０は、グループに属する各人物の情報を携帯端末５０の画面上に表示して、携帯端末５０を所持する店員にグループの来訪を報知する（ステップＳ４）。報知処理では、監視端末４０及び携帯端末５０の画面上に、人物データ２１１に登録されている人物画像を表示する他、音、振動、光等を発するよう設定することも可能となっている。報知処理を終えると、この車両３００に関する処理は終了する。

一方、車両データ２１３の関連ＩＤにグループＩＤが登録されていなかった場合（ステップＳ３；Ｎｏ）、すなわち人物ＩＤが登録されていた場合、報知内容決定部１３０は、この人物ＩＤが示す人物がグループに属するか否かを判定する（ステップＳ５）。

車両番号と関連付けられた人物ＩＤが、図４に示すグループデータ２１２に登録されていた場合（図６ステップＳ５；Ｙｅｓ）、報知内容決定部１３０は、グループの来訪を報知する必要があると判定する。報知内容決定部１３０は、人物ＩＤが属するグループの構成メンバーを特定し、各構成メンバーの人物ＩＤに基づいて図３に示す人物データ２１１を参照して各人物の情報を特定する。報知内容決定部１３０が、特定した各人物の情報を報知部１４０に入力すると、上述したように、報知部１４０が、グループの構成メンバー全員の情報を監視端末４０及び携帯端末５０に表示してグループの来訪を店員に報知する（図６ステップＳ４）。

一方、車両番号と関連付けられた人物ＩＤが、グループデータ２１２に登録されていなかった場合（ステップＳ５；Ｎｏ）、報知内容決定部１３０は、グループの報知は不要であると判定する。報知内容決定部１３０は、人物ＩＤに基づいて人物データ２１１を参照して、この人物の情報を特定し、報知部１４０に入力する。

報知部１４０は、報知内容決定部１３０から入力された、この人物の情報を監視端末４０の表示部４２に表示して、監視端末４０を利用する店員に監視対象者の来訪を報知する（ステップＳ６）。同様に、報知部１４０は、この人物の情報を携帯端末５０の画面上に表示して、携帯端末５０を所持する店員に監視対象者の来訪を報知する（ステップＳ６）。報知処理では、監視端末４０及び携帯端末５０画面上に、人物データ２１１に登録されている人物画像を表示する他、音、振動、光等を発するよう設定することも可能となっている。報知処理を終えると、この車両３００に関する処理は終了する。

図７は、車両３００の検知結果に基づいてグループの来訪を報知する際に監視端末４０及び携帯端末５０に表示される画面の例を示す図である。図７に示すように、グループの来訪を報知する画面には、グループの識別情報と、グループの構成メンバー全員の人物画像及び人物ＩＤと、車両認識部１１０が認識した車両３００の色、車両画像、車両番号及び車両ＩＤを含む車両情報とが表示される。店員は、監視端末４０や携帯端末５０の画面でグループの構成メンバーの画像を確認して、必要な対応をとることができる。

なお、報知画面に表示する情報は設定により変更することができる。例えば図７から車両情報を省略した画面とすることもできる。また、グループの構成メンバーの表示については、構成メンバー全員を表示する設定とする他、最大表示人数を設定することもできるし、表示エリアの大きさに応じて表示人数を自動的に調整する設定とすることもできる。また、図７には示していないが、店外カメラ１０によって車両を検知した時刻や、画面上の人物が、この車両から特定した構成メンバーであることを示す情報を画面上に表示することもできる。構成メンバーを特定した後、店外カメラ１０又は店内カメラ２０で各メンバーを検知した場合には、各メンバーの人物画像近傍に検知時刻を表示することも可能となっている。すなわち、来訪者検知システム１は、店舗の内外で検知済みのメンバーの情報と、未検知のメンバーの情報とを、画面上で区別できるように表示する。

次に、来訪者検知システム１が人物を監視して来訪者を検知する処理について説明する。来訪者検知システム１は、店外カメラ１０及び店内カメラ２０によって来店した人物を監視し、必要に応じて店員への報知を行う。

図８は、人物を検知して来訪者を報知する処理の流れを示すフローチャートである。図１に示すように、複数台の店外カメラ１０及び店内カメラ２０によって人物を撮像した各画像が、ネットワーク６を介して監視サーバ３０へ送信される。具体的には、車両３００内の人物を撮像した画像、駐車場３を移動する人物を撮像した画像、店舗入口５を通過する人物を撮像した画像、店内の人物を撮像した画像等が順次、監視サーバ３０へ送信される。図８に示す処理は、こうして店外カメラ１０で撮像した各画像及び店内カメラ２０で撮像した各画像を対象に、画像に含まれる各人物について行われる。

監視サーバ３０の人物認識部１２０は、店外カメラ１０から受信した画像及び店内カメラ２０から受信した画像から、人物の顔を認識する顔認識処理を実行する（ステップＳ１１）。

人物認識部１２０は、認識した顔画像が、図３に示す人物データ２１１に登録されているか否かを判定する（図８ステップＳ１２）。具体的には、人物認識部１２０は、画像から認識した顔画像を、人物データ２１１の人物画像に含まれる顔部分の画像と照合する顔照合処理を実行する。人物認識部１２０は、顔照合処理の結果に基づいて、認識した顔画像が、人物データ２１１に登録されている人物のものであるか否かを判定する。

店外カメラ１０又は店内カメラ２０で撮像された人物が、人物データ２１１に登録されていなかった場合（ステップＳ１２；Ｎｏ）、この人物に関する処理は終了する。一方、人物データ２１１に登録されていた場合（ステップＳ１２；Ｙｅｓ）、人物認識部１２０は、この人物の人物ＩＤを報知内容決定部１３０に入力する。

報知内容決定部１３０は、人物認識部１２０から入力された人物ＩＤが、図４に示すグループデータ２１２に登録されているか否かを判定する（ステップＳ１３）。グループデータ２１２に人物ＩＤが登録されていなかった場合（図８ステップＳ１３；Ｎｏ）、報知内容決定部１３０は、グループの報知は不要であると判定する。報知内容決定部１３０は、人物データ２１１に登録されている、この人物の情報を報知部１４０に入力する。

報知部１４０は、報知内容決定部１３０から入力された、この人物の情報を監視端末４０の表示部４２に表示して、監視端末４０を利用する店員に監視対象者の来訪を報知する（ステップＳ１４）。同様に、報知部１４０は、この人物の情報を携帯端末５０の画面上に表示して、携帯端末５０を所持する店員に監視対象者の来訪を報知する（ステップＳ１４）。報知処理では、監視端末４０及び携帯端末５０画面上に、人物データ２１１に登録されている人物画像を表示する他、音、振動、光等を発するよう設定することも可能となっている。報知処理を終えると、この人物に関する処理は終了する。

一方、人物認識部１２０から入力された人物ＩＤが、グループデータ２１２に登録されていた場合（ステップＳ１３；Ｙｅｓ）、報知内容決定部１３０は、グループの来訪を報知する必要があると判定する。報知内容決定部１３０は、人物ＩＤが属するグループの構成メンバーを特定する。さらに、報知内容決定部１３０は、各構成メンバーの人物ＩＤに基づいて図３に示す人物データ２１１を参照して各人物の情報を特定する。報知内容決定部１３０は、こうして特定した情報を報知内容として報知部１４０に入力する。

報知部１４０は、報知内容決定部１３０から入力された、グループの構成メンバー全員の情報を監視端末４０の表示部４２に表示して、監視端末４０を利用する店員にグループの来訪を報知する（図８ステップＳ１５）。同様に、報知部１４０は、グループに属する各人物の情報を携帯端末５０の画面上に表示して、携帯端末５０を所持する店員にグループの来訪を報知する（ステップＳ１５）。報知処理では、監視端末４０及び携帯端末５０画面上に、人物データ２１１に登録されている人物画像を表示する他、音、振動、光等を発するよう設定することも可能となっている。報知処理を終えると、この人物に関する処理は終了する。

図９は、人物の検知結果に基づいてグループの来訪を報知する際に監視端末４０及び携帯端末５０に表示される画面の例を示す図である。図９に示すように、グループの来訪を報知する画面には、グループの識別情報と、グループを構成するメンバー全員の人物画像と、各メンバーの人物ＩＤとが表示される。店員は、監視端末４０や携帯端末５０の画面でグループの構成メンバー全員の顔を確認して、必要な対応をとることができる。

図７に示す画面例で説明したように、報知画面に表示する情報は設定により変更することができる。具体的には、グループの構成メンバーの表示については、構成メンバー全員を表示する設定とする他、最大表示人数を設定することもできるし、表示エリアの大きさに応じて表示人数を自動的に調整する設定とすることもできる。また、図９には示していないが、店外カメラ１０又は店内カメラ２０によって人物を検知した時刻や、他の人物が、この人物から特定した構成メンバーであることを示す情報を画面上に表示することもできる。構成メンバーを特定した後、店外カメラ１０又は店内カメラ２０で各メンバーを検知した場合には、各メンバーの人物画像近傍に検知時刻を表示することも可能となっている。

本実施形態では、人物認識部１２０が、顔画像から各人物を認識する態様を示したが、人物の認識方法がこれに限定されるものではない。例えば、容姿や歩行の様子等から各人物を特定する態様であってもよい。同様に、車両認識部１１０が、車両番号から各車両３００を認識する態様を示したが、車両３００の認識方法がこれに限定されるものではない。例えば、車両３００の色や外観等から各車両３００を特定する態様であってもよい。

本実施形態では、店外カメラ１０及び店内カメラ２０で撮像中の画像を監視端末４０の表示部４２に表示して、店員がこれをリアルタイムに監視する態様を示したが、来訪者検知システム１の利用態様がこれに限定されるものではない。例えば、各カメラで撮像したデータを、監視端末４０の記憶部４４や監視サーバ３０の記憶部２００に保存して、後から、記録された監視画像を確認する態様であってもよい。この場合も、上述したように、監視対象として設定された車両や人物を検知して、検知車両と関連付けられたメンバーや、検知した人物と関連付けられたメンバーの情報を報知することができる。

本実施形態では、説明を簡単にするため、車両番号からグループを検知する処理と、人物の顔画像からグループを検知する処理とを別々に記載したが、監視対象車両の車両番号を検知する処理と、監視対象人物の顔画像を検知する処理とは並行して行われている。来訪者検知システム１は、車両場号の検知処理と顔画像の検知処理とを常時実行して、車両番号が検知されると図６に示した処理を実行し、顔画像が検知されると図８に示した処理を実行する。

本実施形態では、説明を簡単にするため、図６及び図８を用いて、車両番号又は人物の顔が認識されてから、これを報知するまでの処理を説明したが、実際には、これらの処理が繰り返し実行される。そして、監視対象として登録された車両やメンバーを検知する度に報知処理が実行され、報知画面に表示された情報が更新される。報知処理に関する設定を記憶部４４又は記憶部２００に登録しておくことにより、報知内容や報知回数を変更することも可能となっている。

具体的には、例えば、店舗の開店後、監視対象として登録された車両やメンバーが初めて検知されたときには監視端末４０及び携帯端末５０のアラーム音やバイブレーションを動作させ、それ以降は同一車両や同一メンバーが検知されても音や振動による再報知は行わず、報知画面に表示された情報の更新のみ行なうように設定することができる。このとき、既に検知された車両やメンバーが、先に検知された場所と異なる場所で検知されたときには、監視端末４０及び携帯端末５０のアラーム音やバイブレーションを動作させるように設定することもできる。また、店員が監視端末４０や携帯端末５０を操作して、検知済みの車両やメンバーの再報知をしないように設定することもできる。このとき、以降は再報知を行わないとする設定の他、店員が指定した時刻又は所定時刻まで再報知しない設定や、店員が指定した時間内又は所定時間内は再報知しない設定を選択することもできる。また、車両番号又は人物の顔を認識する時間あたりの頻度を設定することもできる。

本実施形態では、図７及び図９を用いて報知画面の表示内容を説明したが、これらの報知画面上に、さらに、車両やメンバーが検知された場所を表示することができる。具体的には、店外カメラ１０及び店内カメラ２０のそれぞれを識別する情報と各カメラが撮像する場所とを関連付けた情報を、記憶部４４又は記憶部２００に予め登録しておく。店外カメラ１０又は店内カメラ２０が撮像した画像から車両やメンバーが検知されると、この画像を撮像したカメラの識別情報に基づいて記憶部４４又は記憶部２００を参照することにより、検知した車両やメンバーが撮像された場所が特定される。そして、報知画面において、検知済みの車両やメンバーに関連付けて、これらを検知した場所が表示される。例えば、検知済みの車両やメンバーの画像の近傍に検知場所が表示される。

上述したように、本実施形態に係る来訪者検知システム１では、車両データ２１３に登録されている車両３００を検知して、この車両３００に関連付けられた人物やグループの構成メンバーを報知することができる。例えば、グループを構成する複数メンバーが１台の車両３００に同乗して来店する場合も、この車両３００を検知して、メンバー全員の情報を店員に報知することができる。また、グループを構成する複数メンバーそれぞれが車両３００を所有する場合も、いずれかのメンバーの車両３００を検知して、メンバー全員の情報を店員に報知することができる。１人の人物が複数台の車両３００を所有する場合も、いずれか１台の車両３００を検知して、この人物の情報を店員に報知することができる。この人物がグループに属する場合は、グループ全員の情報を店員に報知することもできる。また、来訪者検知システム１は、グループデータ２１２に登録されている人物を検知して、この人物に関連付けられたグループを構成するメンバーの情報を店員に報知することができる。

以上のように、本発明に係る来訪者検知システム及び来訪者検知方法は、店舗等の施設への来訪者を検知して該来訪者と関連する人物の情報を報知するために有用である。

１ 来訪者検知システム
２ 駐車場入口
３ 駐車場
４ 店舗
５ 店舗入口
６ ネットワーク
１０（１０ａ〜１０ｃ） 店外カメラ
２０（２０ａ〜２０ｃ） 店内カメラ
３０ 監視サーバ
４０ 監視端末
４１、１００ 制御部
４２ 表示部
４３ 操作部
４４ 記憶部
５０ 携帯端末
１１０ 車両認識部
１２０ 人物認識部
１３０ 報知内容決定部
１４０ 報知部
２００ 記憶部

Claims (9)

1. 来訪者の情報を表示して来訪を報知するための端末と、
   複数人物をグループとして関連付ける情報と前記グループを特定するための属性とが登録されたデータベースと、
   前記属性を認識するための画像を撮像するカメラと、
   前記カメラで撮像した画像から前記属性を認識する属性認識部と、
   前記属性認識部が認識した属性に基づいてグループを特定して、該グループの構成メンバーの情報を報知内容として決定する報知内容決定部と、
   前記報知内容決定部が決定した報知内容を前記端末に表示して前記グループの来訪を報知する報知部と
   を備えることを特徴とする来訪者検知システム。
2. 前記属性は、車両を特定するための車両属性を含み、
   前記データベースは、複数の人物それぞれの画像と、グループの構成メンバーを特定する情報と、前記車両属性とグループを関連付けた情報とを含み、
   前記報知内容決定部は、前記属性認識部が認識した車両属性と関連付けられたグループを特定することによって、該グループの構成メンバーを特定し、
   前記報知部は各構成メンバーの画像を表示して前記グループの来訪を報知する
   ことを特徴とする請求項１に記載の来訪者検知システム。
3. 前記属性は、車両を特定するための車両属性を含み、
   前記データベースは、複数の人物それぞれの画像と、グループの構成メンバーを特定する情報と、前記車両属性と人物を関連付けた情報とを含み、
   前記報知内容決定部は、前記属性認識部が認識した車両属性と関連付けられた人物を特定することによって、該人物が属するグループの構成メンバーを特定し、
   前記報知部は各構成メンバーの画像を表示して前記グループの来訪を報知する
   ことを特徴とする請求項１又は２に記載の来訪者検知システム。
4. 前記車両属性は車両番号であることを特徴とする請求項２又は３に記載の来訪者検知システム。
5. 前記属性は、人物を特定するための人物属性を含み、
   前記データベースは、複数の人物それぞれの画像と、グループの構成メンバーを特定する情報と、前記人物属性と人物を関連付けた情報とを含み、
   前記報知内容決定部は、前記属性認識部が認識した人物属性と関連付けられた人物を特定することによって、該人物が属するグループの構成メンバーを特定し、
   前記報知部は各構成メンバーの画像を表示して前記グループの来訪を報知する
   ことを特徴とする請求項１〜４のいずれか１項に記載の来訪者検知システム。
6. 前記人物属性は顔画像であることを特徴とする請求項５に記載の来訪者検知システム。
7. 前記報知部は各構成メンバーの顔画像を前記端末に表示して前記グループの来訪を報知することを特徴とする請求項１〜６のいずれか１項に記載の来訪者検知システム。
8. 検知済みの構成メンバーと、未検知の構成メンバーとが区別可能に表示されることを特徴とする請求項７に記載の来訪者検知システム。
9. 来訪者検知システムが実行する来訪者検知方法であって、
   カメラで画像を撮像する工程と、
   前記カメラで撮像した画像から所定の属性を認識する工程と、
   複数人物をグループとして関連付ける情報と前記グループを特定するための前記属性とが登録されたデータベースに基づいて、認識した属性からグループを特定する工程と、
   特定したグループの構成メンバーを特定する工程と、
   特定した構成メンバーの情報を端末に表示してグループの来訪を報知する工程と
   を含むことを特徴とする来訪者検知方法。

Images