JP2008023097A - Apparatus, method and program for monitoring - Google Patents

Apparatus, method and program for monitoring Download PDF

Info

Publication number
JP2008023097A
JP2008023097A JP2006199377A JP2006199377A JP2008023097A JP 2008023097 A JP2008023097 A JP 2008023097A JP 2006199377 A JP2006199377 A JP 2006199377A JP 2006199377 A JP2006199377 A JP 2006199377A JP 2008023097 A JP2008023097 A JP 2008023097A
Authority
JP
Japan
Prior art keywords
store
face image
unit
similarity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006199377A
Other languages
Japanese (ja)
Other versions
JP5035595B2 (en
Inventor
Takamitsu Ishikawa
孝光 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2006199377A priority Critical patent/JP5035595B2/en
Publication of JP2008023097A publication Critical patent/JP2008023097A/en
Application granted granted Critical
Publication of JP5035595B2 publication Critical patent/JP5035595B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Pinball Game Machines (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To monitor visiting of a person who has not left a game saloon yet (no-leaving person). <P>SOLUTION: A saloon-entering registration part 217a accumulates face images of persons who have entered the game saloon (entering persons). A saloon-leaving person calculation part 232b calculates and collates the similarity between the face image of a person who leaves the saloon (leaving persons) and the accumulated face images of the entering persons. A leaving person judging part 233b compares the similarity being the collated result with a prescribed threshold to judge whether or not the face image of the leaving person is that of one of the entering persons. When the leaving person is judged to be one of the entering person, a leaving registering part 217b coordinates the leaving person with the accumulated face images of the entering persons and registers the leaving person. A communication part 214 reports a face image which is accumulated only as the face image of an entering person at a time when closing of the saloon is indicated. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、監視装置および監視方法、並びにプログラムに関し、特に、閉店処理を支援すると共に、未退店者の有無および居残り者の来店を監視できるようにした監視装置および方法、並びにプログラムに関する。   The present invention relates to a monitoring device, a monitoring method, and a program, and more particularly, to a monitoring device, a method, and a program that support a closing process, and that can monitor the presence or absence of a person who has not left the store and the visit of a resident.

遊技店などの不特定多数の来店客の全員が、閉店時刻となった後、退店しているか否かを監視し、係員による閉店処理を支援する技術が一般に普及しつつある。   In general, a technique for monitoring whether or not all unspecified customers such as amusement stores have closed after the closing time has been reached, and assisting the closing process by an attendant is becoming widespread.

係員による閉店処理を支援する技術としては、入店者と退店者をそれぞれ検出するセンサにより、双方の人数をカウントし、差分を取ることで、店内存在人数を把握し、閉店処理時に店内存在人数が0でない場合、警報にて報知するものが提案されている(特許文献1参照)。   As a technology to support the closing process by the staff, the number of both people is counted by the sensors that detect the store entrance and the exit, and the difference is taken to grasp the number of people in the store, and it exists in the store at the closing process When the number of people is not 0, what is notified by a warning is proposed (refer to patent documents 1).

特開平8−182842号公報JP-A-8-182842

ところで、パチンコ店やパチスロ店に代表される、遊技店において、来店する遊技者の中に、不正行為を働く者が存在する。この不正行為は、遊技中になされる不正もあるが、閉店時刻が過ぎても遊技店内に居残り、従業員の少なくなったタイミングで集金作業を狙ったりする行為のみならず、遊技台を不正に改造するといった、閉店後の不正も少なくない。   By the way, in a game store represented by a pachinko store or a pachislot store, there are those who engage in fraud among the players who visit the store. Although this fraudulent act may be fraudulent during the game, it will remain in the game shop even after the closing time has passed, and it will not only act to collect money when the number of employees decreases, There are many frauds after closing, such as remodeling.

このため、遊技店の係員は、閉店時刻が経過した後、遊技者全員が退店しているか否かを目視で確認する必要がある。結果として、閉店後、速やかに開始すべき、集金作業や清掃作業が遅れてしまい、閉店処理を効率的に実施することができないことがあった。   For this reason, an attendant at the game store needs to visually check whether all the players have left the store after the closing time has elapsed. As a result, collection work and cleaning work that should be started immediately after closing the store are delayed, and the store closing process may not be performed efficiently.

また、係員による目視での確認のため、閉店後、退店せずに遊技店内に潜んでいる不正人物が発見できなければ、実際に不正行為が実施されることになる。この際、不正人物を通常の監視カメラにより確認することはできるものの、顔をマスクなどにより隠した状態で不正行為がなされると、不正人物が誰であるかを特定することができなかった。   In addition, because of the visual confirmation by the staff, if an unauthorized person lurking in the amusement store cannot be found without closing after the store is closed, an illegal act is actually performed. At this time, although an unauthorized person can be confirmed by a normal monitoring camera, if an unauthorized act is performed with a face hidden by a mask or the like, it is not possible to identify who the unauthorized person is.

さらに、上記の例においては、入退場数のみを管理しているため、遊技店内に居残っていると思われる不正人物の位置や不正人物が誰であるのかを特定することができなかった。しかも、閉店後、退店せずに遊技店内に潜んでいる不正人物が発見できなければ、係員が不正人物に襲われるなどの危険にも曝されることになる。   Furthermore, in the above example, since only the number of entrances and exits is managed, it has not been possible to identify the position of an unauthorized person who seems to remain in the amusement store and who is the unauthorized person. Moreover, if an unauthorized person lurking in the amusement store cannot be found without closing after the store is closed, the staff will be exposed to danger such as being attacked by the unauthorized person.

また、不正人物が逃走してしまったような場合、不正人物を特定するだけの材料がなく、同一不正人物による被害の再発を防止することができない可能性があった。   In addition, when an unauthorized person runs away, there is no material for identifying the unauthorized person, and there is a possibility that recurrence of damage by the same unauthorized person cannot be prevented.

本発明はこのような状況に鑑みてなされたものであり、閉店処理を支援すると共に、未退店者の有無、および居残り者の来店を監視できるようにするものである。   The present invention has been made in view of such a situation, and supports the closing process, and enables monitoring of the presence or absence of a person who has not left the store and the visit of a resident.

本発明の一側面の監視装置は、入店者の顔画像を蓄積する入店者蓄積手段と、退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かを判定する類似度判定手段と、前記類似度判定手段により前記退店者が前記入店者であると判定された場合、前記入店者蓄積手段に蓄積された入店者の顔画像に対応付けて退店者を登録する登録手段と、閉店が指示された時刻において、前記蓄積手段に入店者の顔画像のみが蓄積されている顔画像を未退店者として通知する未退店者通知手段とを含む。   The monitoring apparatus according to one aspect of the present invention includes a store visitor storage unit that stores a store visitor's face image, a store exit's face image, and a store visitor's face image stored in the store store storage unit. The face image of the store clerk is the face image of the store clerk by comparing a matching means for calculating and comparing the similarity with a predetermined threshold value and the similarity obtained by the matching means. A similarity degree determination means for determining whether or not the store clerk is determined to be the store entrant by the similarity determination means and the face of the store entrant accumulated in the store entrant accumulation means A registration means for registering a store clerk in association with an image, and a face image in which only the face image of the store clerk is stored in the storage means at the time when closing is instructed, And store exit notification means.

画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、前記入店者、または前記退店者の顔画像を抽出する顔画像抽出手段と、前記退店者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含ませるようにすることができ、前記入店者蓄積手段には、前記顔画像抽出手段により抽出された入店者の顔画像を蓄積させるようにすることができ、前記照合手段には、前記顔画像抽出手段により抽出された退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との特徴量を用いて類似度を計算させ、前記退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像とを照合させるようにすることができる。   An image pickup means for picking up an image, a face image extraction means for extracting a face image of the store clerk or the store clerk from the image picked up by the image pickup means, and a feature amount from the face image of the store keeper And a feature amount extracting means for extracting the store image, and the store visitor storage means stores the face image of the store visitor extracted by the face image extraction means. The collation means is similar using the feature amount of the face image of the store clerk extracted by the face image extraction means and the face image of the store keeper accumulated in the store entrance storage means. It is possible to calculate the degree and to collate the face image of the store clerk with the face image of the store entrant accumulated in the store entrant accumulation means.

前記未退店者として判定された入店者の顔画像を居残り者の顔画像として蓄積する居残り者蓄積手段をさらに含ませるようにすることができる。   A survivor accumulating means for accumulating the face image of the store clerk determined as the unleaved person as the face image of the survivor can be further included.

前記照合手段には、さらに、前記入店者の顔画像と、前記居残り者蓄積手段に蓄積された居残り者の顔画像との類似度を計算して、照合させるようにすることができ、前記類似度判定手段には、さらに、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記入店者の顔画像が居残り者の顔画像であるか否かを判定させるようにすることができ、前記入店者が前記居残り者であると判定された場合、前記居残り者が入店者であることを通知する居残り者入店通知手段をさらに含ませるようにすることができる。   The collation unit can further calculate the similarity between the face image of the shopkeeper and the face image of the remnant accumulated in the remnant accumulation unit, and can collate the image. Further, the similarity determination unit is configured to determine whether the face image of the shopkeeper is a face image of a survivor by comparing the similarity as a comparison result of the verification unit with a predetermined threshold value. In the case where it is determined that the resident is the resident, the resident registration notification means for notifying that the resident is a resident is further included. it can.

本発明の一側面の監視方法は、入店者の顔画像を蓄積する入店者蓄積ステップと、退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との類似度を計算し、照合する照合ステップと、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かを判定する類似度判定ステップと、前記類似度判定ステップの処理により前記退店者が前記入店者であると判定された場合、前記入店者蓄積ステップの処理で蓄積された入店者の顔画像に対応付けて退店者を登録する登録ステップと、閉店が指示された時刻において、前記蓄積手段に入店者の顔画像のみが蓄積されている顔画像を未退店者として通知する未退店者通知ステップとを含む。   The monitoring method according to one aspect of the present invention includes a store visitor storage step of storing a store visitor's face image, a store exit's face image, and a store visitor's face image stored in the store store storage means. And a collation step for calculating and comparing the similarity, and the similarity that is the collation result in the processing of the collation step is compared with a predetermined threshold value, whereby the face image of the store clerk is the face of the store clerk When the similarity determination step for determining whether or not the image is an image and the processing of the similarity determination step determine that the store clerk is the store entrant, the store is stored by the processing of the store entrance storage step A registration step of registering the store clerk in association with the face image of the store entrant, and a face image in which only the face image of the store clerk is stored in the storage means at the time when the store closing is instructed. A non-leaving store notification step of notifying as a store exit.

本発明の一側面のプログラムは、入店者の顔画像を蓄積する入店者蓄積ステップと、退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との類似度を計算し、照合する照合ステップと、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かを判定する類似度判定ステップと、前記類似度判定ステップの処理により前記退店者が前記入店者であると判定された場合、前記入店者蓄積ステップの処理で蓄積された入店者の顔画像に対応付けて退店者を登録する登録ステップと、閉店が指示された時刻において、前記蓄積手段に入店者の顔画像のみが蓄積されている顔画像を未退店者として通知する未退店者通知ステップとを含む処理をコンピュータに実行させる。   The program of one aspect of the present invention includes a store visitor storage step for storing a store visitor's face image, a store exit's face image, and a store visitor's face image stored in the store store storage means. The face image of the store clerk is the face image of the store clerk by comparing the matching step for calculating and comparing the similarity and the similarity that is the result of the matching in the processing of the matching step with a predetermined threshold value. If it is determined by the similarity determination step that determines whether or not the store clerk is the store visitor by the processing of the similarity determination step, it is accumulated by the processing of the store entrant accumulation step. A registration step of registering the store clerk in association with the store visitor's face image, and a face image in which only the store visitor's face image is stored in the storage means at the time when the store closing is instructed. Completing a process including a not-to-store notification step for notifying as a store owner To be executed by the data.

本発明の一側面の監視装置および方法、並びにプログラムにおいては、入店者の顔画像が蓄積され、退店者の顔画像と、蓄積された入店者の顔画像との類似度が計算されて、照合され、照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かが判定され、前記退店者が前記入店者であると判定された場合、蓄積された入店者の顔画像に対応付けて退店者が登録され、閉店が指示された時刻において、入店者の顔画像のみが蓄積されている顔画像が未退店者として通知される。   In the monitoring apparatus and method according to one aspect of the present invention, and a program, a store visitor's face image is accumulated, and a similarity between the store exit's face image and the stored store visitor's face image is calculated. Then, by comparing the similarity as a comparison result with a predetermined threshold, it is determined whether or not the face image of the store clerk is the face image of the store entrant, If it is determined that the person is an entry store, the store exit is registered in association with the stored face image of the store visitor, and only the face image of the store entrance is stored at the time when the store is instructed to close. Face image is notified as a person who has not left the store.

本発明の監視装置における、入店者の顔画像を蓄積する入店者蓄積手段は、例えば、入店登録部であり、退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との類似度を計算し、照合する照合手段とは、例えば、退店者計算部であり、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かを判定する類似度判定手段とは、例えば、退店者判定部であり、前記類似度判定手段により前記退店者が前記入店者であると判定された場合、前記入店者蓄積手段に蓄積された入店者の顔画像に対応付けて退店者を登録する登録手段とは、例えば、退店登録部であり、閉店が指示された時刻において、前記蓄積手段に入店者の顔画像のみが蓄積されている顔画像を未退店者として通知する未退店者通知手段とは、例えば、通信部である。   In the monitoring device of the present invention, the store visitor storage means for storing the store visitor's face image is, for example, a store registration unit, and stores the store exit face image and the store visitor storage means. The matching means for calculating and comparing the similarity with the face image of the store clerk is, for example, a store clerk calculation unit, and by comparing the similarity that is the matching result of the matching means with a predetermined threshold, The similarity determination unit that determines whether or not the face image of the store clerk is the face image of the store entrant is, for example, a store exit determination unit, and the store clerk is determined by the similarity determination unit. If the store is determined to be the store visitor, the registration unit that registers the store exit in association with the face image of the store store stored in the store store storage unit is, for example, a store exit registration unit At the time when closing is instructed, a face image in which only the face image of the store clerk is stored in the storage means is not stored. The non-withdrawal store's notification means for notifying a store's, for example, a communication unit.

入店者の顔画像と、退店者の顔画像とが登録され、閉店が指示された時刻において、入店者の顔画像のみが蓄積されている顔画像を未退店者として通知することにより、閉店時刻以降に店内に潜んでなされる不正行為を抑制することが可能となる。また、未退店者として判定された顔画像を居残り者として蓄積することにより、未退店者として確保ができなくても、未退店者として判定された人物の顔画像を居残り者の顔画像として登録することにより、居残り者の来店を監視することが可能となる。さらに、未退店者の有無により閉店処理を支援することが可能となる。   The face image of the store visitor and the face image of the store exit are registered, and the face image in which only the face image of the store visitor is stored is notified as an unleaved store at the time when the store closing is instructed. Thus, it is possible to suppress fraudulent behaviors lurking in the store after the closing time. Further, by accumulating face images determined as unleaved persons as survivors, even if the face images of persons who have been determined as unleaved persons cannot be secured, By registering as an image, it is possible to monitor the visits of survivors. Furthermore, it becomes possible to support the closing process depending on the presence / absence of a person who has not left the store.

本発明によれば、閉店処理を支援すると共に、未退店者を検出したり、居残り者の来店を監視することが可能となる。   According to the present invention, it is possible to support the closing process, to detect a person who has not left the store, and to monitor a store visit by a survivor.

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。   Embodiments of the present invention will be described below. Correspondences between the configuration requirements of the present invention and the embodiments described in the detailed description of the present invention are exemplified as follows. This description is to confirm that the embodiments supporting the present invention are described in the detailed description of the invention. Accordingly, although there are embodiments that are described in the detailed description of the invention but are not described here as embodiments corresponding to the constituent elements of the present invention, It does not mean that the embodiment does not correspond to the configuration requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.

すなわち、本発明の一側面の監視装置は、入店者の顔画像を蓄積する入店者蓄積手段(例えば、図10の入店登録部217a)と、退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との類似度を計算し、照合する照合手段(例えば、図10の退店者計算部232b)と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かを判定する類似度判定手段(例えば、図10の退店者判定部233b)と、前記類似度判定手段により前記退店者が前記入店者であると判定された場合、前記入店者蓄積手段に蓄積された入店者の顔画像に対応付けて退店者を登録する登録手段(例えば、図10の退店登録部217b)と、閉店が指示された時刻において、前記蓄積手段に入店者の顔画像のみが蓄積されている顔画像を未退店者として通知する未退店者通知手段(例えば、図10の通信部214)とを含む。   That is, the monitoring device according to one aspect of the present invention includes a store store storage unit (for example, store store registration unit 217a in FIG. 10) that stores a store visitor's face image, a store store's face image, and the store entrance image. The similarity that is the collation result of the collation means (for example, the store exit calculator 232b in FIG. 10) and the collation means for calculating and collating the similarity with the face image of the store entrant accumulated in the store accumulation means. Similarity determination means for determining whether or not the face image of the store clerk is the face image of the store clerk by comparing the degree with a predetermined threshold (for example, the store exit determination unit 233b in FIG. 10) When the similarity determination unit determines that the store clerk is the store entrant, the store clerk is registered in association with the face image of the store entrant stored in the store entrant storage unit. The registration means (for example, the store exit registration unit 217b in FIG. 10) and the time at which closing is instructed, Not withdrawal store's notification means for notifying the face images only person entering the face image to the product unit is accumulated as the non-regression shop's (e.g., the communication unit 214 of FIG. 10) and a.

画像を撮像する撮像手段(例えば、図1の入口カメラ40)と、前記撮像手段により撮像された画像より、前記入店者、または前記退店者の顔画像を抽出する顔画像抽出手段(例えば、図9の顔画像抽出部202)と、前記顔画像抽出手段により抽出された退店者の顔画像より特徴量を抽出する特徴量抽出手段(例えば、図10の特徴量抽出部231)とをさらに含ませるようにすることができ、前記入店者蓄積手段には、前記顔画像抽出手段により抽出された入店者の顔画像を蓄積させるようにすることができ、前記照合手段(例えば、図10の退店者計算部232b)には、前記退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との特徴量を用いて類似度を計算させ、前記退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像とを照合させるようにすることができる。   An image pickup means (for example, the entrance camera 40 in FIG. 1) for picking up an image and a face image extraction means (for example, a face image extraction means for extracting the face image of the store entrant or the store clerk from the image picked up by the image pickup means) 9, and a feature amount extraction unit (for example, feature amount extraction unit 231 in FIG. 10) that extracts a feature amount from the face image of the store clerk extracted by the face image extraction unit. Can be further included, and the store visitor storage means can store the face image of the store visitor extracted by the face image extraction means, and the collation means (for example, The store exit calculation unit 232b) of FIG. 10 calculates the similarity by using the feature amount of the face image of the store exit and the face image of the store entrance stored in the store entrance storage means. Store the face image of the store clerk and the store store storage means. Has been a person entering the face image can be made to be matched.

前記未退店者として判定された入店者の顔画像を居残り者の顔画像として蓄積する居残り者蓄積手段(例えば、図10の居残りDB管理部219)をさらに含ませるようにすることができる。   It is possible to further include a survivor accumulation means (for example, a remnant DB management unit 219 in FIG. 10) that accumulates the face image of the store clerk determined as the unleaved person as the face image of the remnant. .

前記照合手段(例えば、図10の退店者計算部232b)には、さらに、前記入店者の顔画像と、前記居残り者蓄積手段に蓄積された居残り者の顔画像との類似度を計算して、照合させるようにすることができ、前記類似度判定手段(例えば、図10の退店者判定部233b)には、さらに、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記入店者の顔画像が居残り者の顔画像であるか否かを判定させるようにすることができ、前記入店者が前記居残り者であると判定された場合、前記居残り者が入店者であることを通知する居残り者入店通知手段(例えば、図10の通信部213)をさらに含ませるようにすることができる。   The collation means (for example, the store exit calculator 232b in FIG. 10) further calculates the similarity between the face image of the store clerk and the face image of the remnant stored in the remnant accumulation means. The similarity determination unit (for example, the store exit determination unit 233b in FIG. 10) further includes a similarity that is a comparison result of the verification unit and a predetermined threshold value. It is possible to determine whether or not the face image of the shopkeeper is a face image of a remnant by comparing the above, and when it is determined that the shopkeeper is the remnant, Resident entry notification means (for example, the communication unit 213 in FIG. 10) for notifying that the person is a store visitor can be further included.

本発明の一側面の監視方法は、入店者の顔画像を蓄積する入店者蓄積ステップ(例えば、図14のステップS31)と、退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との類似度を計算し、照合する照合ステップ(例えば、図14のステップS32)と、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かを判定する類似度判定ステップ(例えば、図14のステップS33)と、前記類似度判定ステップの処理により前記退店者が前記入店者であると判定された場合、前記入店者蓄積ステップの処理で蓄積された入店者の顔画像に対応付けて退店者を登録する登録ステップ(例えば、図14のステップS35)と、閉店が指示された時刻において、前記蓄積手段に入店者の顔画像のみが蓄積されている顔画像を未退店者として通知する未退店者通知ステップ(例えば、図17のステップS98)とを含む。   According to the monitoring method of one aspect of the present invention, a store visitor storage step (for example, step S31 in FIG. 14) for storing a store visitor's face image, a store exit face image, and the store store storage means are provided. The collation step (for example, step S32 in FIG. 14) for calculating and collating the similarity with the accumulated face image of the store visitor, the similarity that is the collation result in the collation step processing, and a predetermined threshold value The similarity determination step (for example, step S33 in FIG. 14) for determining whether or not the face image of the store clerk is the face image of the store clerk by the comparison, and the processing of the similarity determination step When it is determined that the store exit is the store entrance, a registration step (for example, registering the store exit in association with the face image of the store entrance accumulated in the processing of the store entrance accumulation step (for example, Step S35 in FIG. 14 and closing instructions were given In time, and a non-regression shop party notification step of notifying the face images only person entering the face image in the storage means is stored as a non-regression shop's (e.g., step S98 of FIG. 17).

図1は、本発明に係る遊技店の閉店後に退店することなく店内に存在する未退店者、および、過去に未退店者として判定された居残り者の来店を監視する監視システムの一実施の形態の構成を示す図である。   FIG. 1 shows an example of a monitoring system for monitoring a store who has not left the store without closing after the amusement store is closed according to the present invention, and a visitor of a remnant who has been determined to have not left the store in the past. It is a figure which shows the structure of embodiment.

遊技店1−1乃至1−nは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店1−1乃至1−nは、系列店舗または生体情報管理センタや第3者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店1−1乃至1−nは、生体情報管理バス6および第3者遊技店管理バス7により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網8,9を介して、相互にそれぞれ生体情報、および第3者遊技店管理情報を授受している。尚、以降において、遊技店1−1乃至1−nのそれぞれについて、特に区別する必要がない場合、単に、遊技店1と称するものとし、その他の構成についても同様に称するものとする。   The game stores 1-1 to 1-n are so-called pachinko stores, pachislot stores, or casino stores. These amusement stores 1-1 to 1-n are affiliated stores or member stores of a biometric information management center or a third party amusement store management center, and stores that need to manage a plurality of stores in an integrated manner. It is. Each of the game stores 1-1 to 1-n is connected by a biological information management bus 6 and a third party game store management bus 7, and the public communication line networks 8 and 9 represented by the bus and the Internet are used. Via each other, biological information and third party game store management information are exchanged. In the following description, when there is no particular need to distinguish each of the game stores 1-1 to 1-n, the game store 1 is simply referred to, and the other configurations are also referred to in the same manner.

生体情報管理バス6は、主に各遊技店1の生体情報認識装置20により管理される生体情報を流通させるための伝送路として機能する。また、第3者遊技店管理バス7は、主に各遊技店1の媒体貸出管理装置27により管理される媒体貸出管理情報を流通させるための伝送路として機能する。   The biometric information management bus 6 mainly functions as a transmission path for distributing biometric information managed by the biometric information recognition device 20 of each game store 1. The third-party game store management bus 7 functions as a transmission path for distributing medium lending management information managed mainly by the medium lending management device 27 of each amusement store 1.

警備情報管理センタ2は、警備情報管理センタを管理運営する事業者により使用されるサーバであり、警備情報管理データベース(以降、DBとも称するものとする)3で管理されている登録居残り者DB252(図11)を各遊技店1により生成される未登録居残り者DB251(図11)に基づいて更新すると供に、更新した最新の登録居残り者DB252を各遊技店1の生体情報認識装置20に対して配信する。   The security information management center 2 is a server used by a business operator who manages and operates the security information management center, and is a registered survivor DB 252 (hereinafter referred to as DB) 3 managed by the security information management database (hereinafter also referred to as DB). 11) is updated based on the unregistered survivor DB 251 (FIG. 11) generated by each gaming store 1, and the updated latest registered survivor DB 252 is updated to the biometric information recognition device 20 of each gaming store 1. And deliver.

第3者遊技店管理センタ4は、第3者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第3者遊技店管理データベース(DB)5で管理されている媒体貸出管理情報からなるDBを各遊技店1より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店1の媒体貸出管理装置27に対して配信する。   The third-party amusement store management center 4 is a server used by a business operator that manages and operates the third-party amusement store management center, and the medium lending management managed by the third-party amusement store management database (DB) 5 In addition to updating the information DB based on the information supplied from each game store 1, the updated latest medium lending management information is distributed to the medium lending management device 27 of each game store 1.

警備保障会社サーバ10は、警備保障会社を管理運営する事業者により使用されるサーバであり、各遊技店1の生体情報認識装置20からの未退店者または居残り者が存在することを示す通知を受信すると、その通知をCRTまたはLCDからなる表示部11に表示すると共に、通知に基づいて警備保障会社の警備員を手配させる。操作部12は、キーボードやボタンなどから構成されており、未退店者または居残り者が手配した警備員により確保される、または電話などで誤報であることが通知されるなどして、必要に応じて、遊技店1の自動閉店処理を許可するとき、操作される。   The security security company server 10 is a server that is used by a business operator that manages and operates a security security company, and indicates that there are unleaved persons or survivors from the biometric information recognition device 20 of each amusement store 1. When the message is received, the notification is displayed on the display unit 11 formed of a CRT or LCD, and security guards of the security company are arranged based on the notification. The operation unit 12 is composed of a keyboard, buttons, etc., and is required by a security guard arranged by a person who has not left the store or a survivor, or is notified of a false report by telephone or the like. Accordingly, it is operated when permitting automatic closing processing of the game store 1.

生体情報認識装置20は、カメラ38−1乃至38−m、入口カメラ40−1乃至40−p、および店内カメラ41−1乃至41−qにより撮像された画像より画像処理ユニット39−1乃至39−(m+p+q)により抽出されて、生体情報バス31を介して供給されてくる顔画像の情報に基づいて、入退店者情報データベース21に登録されている顔画像と照合し、入店時の顔画像および退店時の顔画像をそれぞれ登録すると共に、居残りDB22に登録されている顔画像と照合し、一致する場合、居残り者として登録された登録遊技者の来店を携帯端末17に通知したり、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などからなる表示部23に表示する。   The biological information recognition apparatus 20 includes image processing units 39-1 to 39 based on images captured by the cameras 38-1 to 38-m, the entrance cameras 40-1 to 40-p, and the in-store cameras 41-1 to 41-q. Based on the facial image information extracted by-(m + p + q) and supplied via the biological information bus 31, the facial image registered in the store / buyer information database 21 is collated, Both the face image and the face image at the time of leaving the store are registered and collated with the face images registered in the remnant DB 22, and if they match, the mobile terminal 17 is notified of the visit of the registered player registered as a remnant. Or displayed on a display unit 23 such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display).

また、生体情報認識装置20は、入退店者情報データベース21に登録されている入店者および退店者の顔画像の情報に基づいて、入店者の顔画像はあるが、退店者の顔画像がない、すなわち、未退店者の顔画像を検出する。さらに、生体情報認識装置20は、未退店者として検出した顔画像を、居残りDB22に登録すると供に、警備情報管理データベース3にアクセスし、未登録居残り者として未登録居残り者DB251に登録する。   Further, the biometric information recognition device 20 has a face image of the store visitor and the store exit based on the information of the face image of the store entrance and the store exit registered in the store entrance / exit store information database 21. The face image of the person who has not left the store is detected. Furthermore, the biometric information recognition apparatus 20 accesses the security information management database 3 and registers it in the unregistered survivor DB 251 as an unregistered survivor while registering the face image detected as an unsaved person in the survivor DB 22. .

さらに、生体情報認識装置20は、遊技店1の出入口112(図8)の施錠状態を検出する扉ロックセンサ18−1乃至18−tからの信号に基づいて、施錠が完了した場合、遊技店1が閉店されたものとみなし、このときに未退店者が存在すると判定するとき、人間を検知する人検知センサ19−1乃至19−sを制御して、遊技店1内における未退店者の存在する位置を検知する。   Furthermore, the biometric information recognition device 20 can be used when the locking is completed based on signals from the door lock sensors 18-1 to 18-t that detect the locked state of the entrance 112 (FIG. 8) of the gaming store 1. 1 is closed, and at this time, when it is determined that there is a person who has not left the store, the person detection sensors 19-1 to 19-s for detecting a person are controlled to leave the store in the amusement store 1. The position where the person exists is detected.

遊技店管理装置24は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス30を介して遊技台36−1乃至36−mの動作を監視している。遊技店管理装置24は、遊技台36の出玉もしくはメダルの払い出しの情報、各遊技台36−1乃至36−mの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をCRTやLCDなどからなる表示部25に表示する。遊技店管理装置24は、精算販売機33、貸出機34、計数機35、遊技台36−1乃至36−m、および遊技台周辺端末37−1乃至37−mのそれぞれより供給されてくる情報を、それぞれを識別する識別情報(例えば、遊技台番号)とを対応付けて遊技台管理データベース26により管理する。   The game store management device 24 is a so-called hall computer, and monitors the operations of the game machines 36-1 to 36-m via the game store management information bus 30. The game store management device 24 determines a predetermined amount according to the monitoring status such as information on the payout of the game table 36 or the payout of medals, the call information of the players on the game tables 36-1 to 36-m, or the occurrence of an error. The execution result is executed, and the execution result is displayed on the display unit 25 such as a CRT or LCD. The game shop management device 24 is supplied with information from the settlement machine 33, the lending machine 34, the counter 35, the game machines 36-1 to 36-m, and the game machine peripheral terminals 37-1 to 37-m. Are managed by the gaming machine management database 26 in association with identification information (for example, gaming machine number) for identifying each.

媒体貸出管理装置27は、精算販売機33、貸出機34、および計数機35からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース29を用いて管理すると供に、媒体貸出管理データベース29に登録されている媒体貸出管理情報を更新する際、その更新情報を、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4に送る。さらに、媒体貸出管理装置27は、第3者遊技店管理バス7および公衆通信回線網9を介して第3者遊技店管理センタ4により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース29に蓄積させる。   The medium lending management device 27 manages the medium lending management information of the rented game media using the medium lending management database 29 based on the information from the payment machine 33, the lending machine 34, and the counting machine 35. When the medium lending management information registered in the medium lending management database 29 is updated, the updated information is sent to the third party amusement store management center 4 via the third party amusement store management bus 7 and the public communication line network 9. send. Further, the medium lending management device 27 acquires the medium lending management information supplied by the third party amusement store management center 4 via the third party amusement store management bus 7 and the public communication line network 9, and manages the medium lending management. Store in the database 29.

貸出機34は、遊技者が遊技台36で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機34は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置27に供給する。これにより、媒体貸出管理装置27は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース29に登録する。   The lending machine 34 lends a number of game media according to the amount when the player accepts a predetermined amount by cash or a prepaid card when playing on the gaming table 36. At this time, the lending machine 34 supplies information on the number of lent gaming media to the medium lending management device 27 together with information such as the accepted cash and the remaining number of prepaid cards. Accordingly, the medium lending management device 27 registers information on the number of lent gaming media in the medium lending management information database 29 together with information such as the accepted cash and the remaining number of prepaid cards.

精算販売機33は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機33は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置27に供給する。また、精算販売機33は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機33は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置27に供給する。   The checkout machine 33 sells prepaid cards with a frequency for borrowing a ball. At this time, the checkout machine 33 supplies the frequency of the prepaid card sold and the amount paid to the medium lending management device 27. Further, the settlement vending machine 33 settles and pays out cash based on the remaining number of game media lent as a frequency such as a prepaid card. At this time, the checkout machine 33 supplies the remaining number of prepaid cards and the amount of cash refunded to the medium lending management device 27.

計数機35は、遊技者が遊技台36により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。   The counter 35 counts the number of game media acquired by the player playing on the game table 36, and outputs the counting result as a magnetic card or a receipt.

遊技台36−1乃至36−mは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。   The game machines 36-1 to 36-m execute a game when a predetermined operation is performed by the player, and pay out a game ball or a medal according to a so-called small hit or big hit.

遊技台周辺端末37−1乃至37−mは、各遊技台36−1乃至36−mに対応して設けられている、いわゆる台間機である。また、遊技台周辺端末37は、遊技台36を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報(遊技台番号)と共に生体情報認識装置20に送信する。尚、図1においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ38−1乃至38−mが設けられている例が示されている。   The gaming machine peripheral terminals 37-1 to 37-m are so-called inter-story machines provided corresponding to the gaming machines 36-1 to 36-m. Further, the gaming machine peripheral terminal 37 acquires biological information such as a face image of the player who plays the gaming machine 36 and transmits it to the biological information recognition device 20 together with the gaming machine identification information (game machine number). FIG. 1 shows an example in which cameras 38-1 to 38-m that acquire a player's face image are provided as a function of acquiring biometric information.

カメラ38−1乃至38−mは、例えば、図2で示されるように、各遊技台36−1乃至36−4のそれぞれの上部に設けられた台表示ランプ61−1乃至61−4の下部に図3で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。   For example, as shown in FIG. 2, the cameras 38-1 to 38-m are arranged below the table display lamps 61-1 to 61-4 provided on the respective upper sides of the game tables 36-1 to 36-4. As shown in FIG. 3, a face image may be taken so that the player can take an image within the reading range δ. Can be used.

また、カメラ38−1乃至38−mは、例えば、図4で示されるように、遊技台周辺端末37−1乃至37−4に凸部71−1乃至71−4を設け、図5で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。   Further, as shown in FIG. 4, the cameras 38-1 to 38-m are provided with convex portions 71-1 to 71-4 on the gaming machine peripheral terminals 37-1 to 37-4, as shown in FIG. As described above, it may be provided so that a player's face image can be captured within the reading range θ.

さらに、カメラ38−1乃至38−mは、例えば、図6で示されるように、遊技台36の中央部(遊技台36の盤面上)に設けるようにして、撮像するようにしてもよい。すなわち、図6の設置部81にカメラ36が設置されることにより、図7で示されるように、読取範囲φ内に遊技者を撮像する。   Further, for example, as shown in FIG. 6, the cameras 38-1 to 38-m may be provided at the center of the game table 36 (on the board surface of the game table 36) to take an image. That is, by installing the camera 36 in the installation unit 81 of FIG. 6, the player is imaged within the reading range φ as shown in FIG.

入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−qは、遊技店1の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット39−(m+1)乃至39−(m+p+q)に供給する。   The entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q are installed at entrances and predetermined places in the store of the amusement store 1, and imaged units 39- (m + 1) to 39- (m + p + q).

入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−q、人検知センサ19−1乃至19−s、並びに、扉ロックセンサ18−1乃至18−tは、例えば、図8で示されるように設定される。図8は、遊技店1内の入口カメラ40−1乃至40−pおよび店内カメラ41−1乃至41−q、人検知センサ19−1乃至19−s、並びに、扉ロックセンサ18−1乃至18−tの設置例を示している。   The entrance cameras 40-1 to 40-p, the in-store cameras 41-1 to 41-q, the human detection sensors 19-1 to 19-s, and the door lock sensors 18-1 to 18-t are illustrated in FIG. Set as shown. FIG. 8 shows entrance cameras 40-1 to 40-p and in-store cameras 41-1 to 41-q, person detection sensors 19-1 to 19-s, and door lock sensors 18-1 to 18-18 in the game store 1. An installation example of -t is shown.

すなわち、図8においては、遊技店1に来店する遊技者が入退店する出入口112−1乃至112−3が設けられており、入口カメラ40−1乃至40−6は、それぞれの出入口112より入店してくる遊技者(入店者)および退店する遊技者(退店者)を撮像する。さらに、遊技店1の従業員のみが使用する従業員通用口113も出入口112とは別に設けられている。   That is, in FIG. 8, entrances 112-1 to 112-3 for entering and leaving the game store 1 are provided, and the entrance cameras 40-1 to 40-6 are connected to the entrances 112. A player who enters the store (enters the store) and a player who exits the store (store exit) are imaged. Further, an employee entrance 113 used only by employees of the amusement store 1 is also provided separately from the entrance 112.

より詳細には、図8の例においては、撮像方向が店外方向に向けられている入口カメラ40−1,40−3,40−5が入店者を撮像し、撮像方向が店内方向に向けられている入口カメラ40−2,40−4,40−6が退店者を撮像する。すなわち、入口カメラ40は、各出入口112について、入店する方向および退店する方向に対してそれぞれ設けられており、いずれかの出入口112にて入店して、退店すれば、入店時の顔画像および退店時の顔画像がそれぞれ撮像されることになる。   More specifically, in the example of FIG. 8, the entrance cameras 40-1, 40-3, and 40-5 whose imaging direction is directed toward the outside of the store images the store entrant, and the imaging direction is the in-store direction. The entrance cameras 40-2, 40-4, and 40-6 that are pointed at take images of the store exits. That is, the entrance camera 40 is provided for each of the entrances and exits 112 in the direction of entering and exiting. When entering and exiting at any of the entrances and exits 112, The face image and the face image at the time of leaving the store are respectively captured.

また、店内カメラ41−1乃至41−10は、島設備111−1乃至111−5のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備111は、両面に遊技台36が設置されており、すなわち、図中の島設備111を上下方向に挟むように設置されている。カメラ38、入口カメラ40および店内カメラ41は、いずれにおいてもパンチルトズーム機能を備えているため、図8で示されるように、店内カメラ41−1乃至41−10が配置されることにより、遊技台36で遊技する全遊技者が、店内カメラ41−1乃至41−10のいずれかで撮像できる。   Further, the in-store cameras 41-1 to 41-10 are set at positions at which both surfaces of the island facilities 111-1 to 111-5 can be imaged in a row. The island facilities 111 are provided with game machines 36 on both sides, that is, so as to sandwich the island facilities 111 in the vertical direction in the figure. Since the camera 38, the entrance camera 40, and the in-store camera 41 all have a pan / tilt / zoom function, the in-store cameras 41-1 to 41-10 are arranged as shown in FIG. All players who play at 36 can take an image with any of the in-store cameras 41-1 to 41-10.

さらに、店内カメラ41−aは、貸出機34の前に設けられており、店内カメラ41−bは、精算販売機33の前に設けられており、店内カメラ41−cは、計数機35の前に設けられており、それぞれ、貸出機34、精算販売機33、および計数機35を利用する遊技者を撮像することができる。   Furthermore, the in-store camera 41-a is provided in front of the lending machine 34, the in-store camera 41-b is provided in front of the checkout machine 33, and the in-store camera 41-c is the counter of the counter 35. It is provided in front, and a player who uses the rental machine 34, the checkout machine 33, and the counter 35 can be imaged.

すなわち、図8で示されるように、遊技店1においては、来店する遊技者、遊技台36で遊技する遊技者、並びに、貸出機34、精算販売機33、および計数機35を利用する遊技者といった、遊技店1において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、カメラ38、入口カメラ40、および店内カメラ41が設置されている。   That is, as shown in FIG. 8, in the game store 1, a player who visits the store, a player who plays on the game stand 36, and a player who uses the lending machine 34, the checkout machine 33, and the counter 35. The camera 38, the entrance camera 40, and the in-store camera 41 are installed so that almost all of the actions that the player is supposed to take in the gaming store 1 can be monitored.

また、各出入口112−1乃至112−3には、扉ロックセンサ18−1乃至18−3が設けられている。扉ロックセンサ18−1乃至18−3は、出入口112−1乃至112−3の施錠設備に連動しているセンサであり、施錠状態に入ると、施錠状態であることを示す信号を生体情報認識装置20に供給する。また、店内には、カメラ38,40,41などでは撮像できないが、人物の存在を検知するため、人検知センサ19−1乃至19−3が設けられており、図8においては、トイレおよび倉庫内に設けられている。人検知センサ19は、人間が接近すると、その存在を検知し、その旨を通知する信号を生体情報認識装置20に供給する。   Further, door lock sensors 18-1 to 18-3 are provided at the respective entrances 112-1 to 112-3. The door lock sensors 18-1 to 18-3 are sensors linked to the locking facilities of the entrances 112-1 to 112-3. When the door lock sensors 18-1 to 18-3 enter the locked state, a signal indicating the locked state is recognized as biometric information. Supply to device 20. Further, in the store, there are provided human detection sensors 19-1 to 19-3 in order to detect the presence of a person, which cannot be imaged by the cameras 38, 40, 41, etc. In FIG. Is provided inside. When a human approaches, the human detection sensor 19 detects its presence and supplies a signal to that effect to the biological information recognition device 20.

次に、図9を参照して、画像処理ユニット39の構成例について説明する。   Next, a configuration example of the image processing unit 39 will be described with reference to FIG.

画像取得部201は、カメラ38(または、入口カメラ40もしくは店内カメラ41)により撮像された画像を取得し、顔画像抽出部202に供給する。顔画像抽出部202は、画像取得部201より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して送信部203に供給する。送信部203は、顔画像を生体情報認識装置20に送信する。   The image acquisition unit 201 acquires an image captured by the camera 38 (or the entrance camera 40 or the in-store camera 41) and supplies it to the face image extraction unit 202. The face image extraction unit 202 extracts a rectangular image composed of a face image from the image supplied from the image acquisition unit 201 using a pattern such as the arrangement of the parts constituting the face, and supplies the rectangular image to the transmission unit 203. The transmission unit 203 transmits the face image to the biometric information recognition device 20.

次に、図10を参照して、生体情報認識装置20の構成例について説明する。   Next, a configuration example of the biological information recognition device 20 will be described with reference to FIG.

顔画像取得部211は、画像処理ユニット39より供給される顔画像を取得し、照合部212に供給する。照合部212は、顔画像取得部211により取得された顔画像と、居残りDB22に登録されている居残り者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第3候補までの顔画像を照合結果として表示部23に表示させる。   The face image acquisition unit 211 acquires the face image supplied from the image processing unit 39 and supplies it to the collation unit 212. The collation unit 212 collates the face image acquired by the face image acquisition unit 211 with the face image of the remnant registered in the remnant DB 22, and if there is a face image that is a candidate with a high degree of similarity, The face image up to the candidate is displayed on the display unit 23 as a matching result.

また、照合部212は、居残り者DB22に登録されている顔画像と、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像と、入退店者情報DB21に登録されている入店者として登録されている遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第3候補までの顔画像を照合結果として表示部23に表示させる。入退店者情報DB21に登録されている顔画像と類似度の高い候補となる顔画像が存在しない場合、照合部212は、供給された顔画像を入退店管理部217に供給し、入店者として入退店者情報DB21に登録させると供に、入退店者情報DB21に登録されている顔画像と類似度の高い候補となる顔画像が存在する場合、類似度の高い入店者の顔画像に対応付けて、退店者として入退店者情報DB21に登録させる。   In addition, when there is no face image registered in the survivor DB 22 and a face image that is a candidate with a high degree of similarity, the collation unit 212 is registered in the supplied face image and the store entrance / exit information DB 21. The face image of the player registered as a store visitor is collated, and if there is a face image that is a candidate with a high degree of similarity, the face image up to the third candidate is displayed on the display unit 23 as a collation result. . If there is no candidate face image that has a high similarity to the face image registered in the store entrance / exit store information DB 21, the collation unit 212 supplies the supplied face image to the entrance / exit management unit 217. When a face image that is a candidate having a high similarity to the face image registered in the store entrance / exit store information DB 21 exists in addition to being registered in the store entrance / exit store information DB 21 as a store owner, the store enters a store with a high similarity. In association with the person's face image, it is registered in the store entrance / exit information DB 21 as a store exit.

より詳細には、照合部212の特徴量抽出部231は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部232に供給する。類似度計算部232は、入退店者情報DB21または居残りDB22に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部231より供給されてくる特徴量とを用いて、居残りDB22に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部211より供給されてきた顔画像、および、類似度が上位3位までの顔画像を類似度判定部233に供給する。より具体的には、類似度計算部232の居残り者計算部232aまたは退店者計算部232bは、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを供給されてきた顔画像と、入退店者情報DB21の入店者として登録されている顔画像または居残りDB22に登録された顔画像との類似度として求める。   More specifically, the feature amount extraction unit 231 of the collation unit 212 extracts a feature amount for identifying a face image and supplies the feature amount together with the face image to the similarity calculation unit 232. The similarity calculation unit 232 extracts the feature amount of the registered player's face image registered in the store / buyer information DB 21 or the residence DB 22 and uses the feature amount supplied from the feature amount extraction unit 231. Using the facial images obtained from the facial image acquisition unit 211 and the facial images with the top three most similarities, the similarity between the facial images of all registered players registered in the remaining DB 22 is obtained. Is supplied to the similarity determination unit 233. More specifically, the remnant calculation unit 232a or the store vacancy calculation unit 232b of the similarity calculation unit 232 has, for example, the interval between eyes, the length from the chin to the forehead, and the length from the chin to the nose. Based on various facial feature quantities such as ratios, face images that have been supplied with their respective difference sums, average ratios, or ratio sums, and faces registered as shoppers in the store / buyer information DB 21 It is obtained as a similarity to an image or a face image registered in the remnant DB 22.

類似度判定部233の居残り判定部233aは、類似度計算部232の居残り者計算部232aより供給されてくる居残りDB22に登録された居残り者との類似度が上位3位となる顔画像のそれぞれの類似度のうち、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる居残り者の顔画像が、顔画像取得部211より供給されてきた顔画像に対して類似している場合(類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき)、上位3位となる顔画像と類似度の情報を表示部23に供給して、表示させると供に、通信部214に供給する。尚、ここでいう、居残り者とは、過去に閉店時刻を経過した後に退店していない未退店者として、所定回数以上検出された遊技者を示す。   The remnant determining unit 233a of the similarity determining unit 233 includes each of the face images having the top three similarities with the remnants registered in the remnant DB 22 supplied from the remnant calculating unit 232a of the similarity calculating unit 232. The similarity between the face image ranked first and the predetermined threshold value is compared, and the face image of the survivor ranked first is supplied from the face image acquisition unit 211 based on the comparison result. When the face image is similar (when the similarity is higher, the similarity is higher, when the similarity is higher than a predetermined threshold, or when the similarity is lower, the similarity is similar) If the similarity is lower than a predetermined threshold value), information on the top three face images and similarity is supplied to the display unit 23 and displayed to the communication unit 214. . Here, the survivor refers to a player who has been detected a predetermined number of times or more as a person who has not left the store after the closing time has passed in the past.

類似度判定部233の退店者判定部233bは、類似度計算部232の退店者計算部232bより供給されてくる入退店者情報DB21の入店者との類似度が上位3位となる顔画像のそれぞれの類似度のうち、1位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、1位となる登録顔画像が、顔画像取得部211より供給されてきた顔画像に対して類似していない場合(類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも低いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも高いとき)、その顔画像を入退店管理部217に供給して、入店登録部217aにより入退店者情報DB21に入店者の顔画像として登録させる。さらに、供給されてきた顔画像に対して類似している場合(類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき)、退店者判定部233bは、その顔画像を入退店管理部217に供給して、退店登録部217bにより入退店者情報DB21に入店者の顔画像に対応付けて退店者の顔画像として登録させる。   The store exit determination unit 233b of the similarity determination unit 233 has the highest similarity degree with the store entrance in the store entrance / exit information DB 21 supplied from the store exit calculation unit 232b of the similarity calculation unit 232. The similarity between the face image that is the first and the predetermined threshold value is compared with the predetermined threshold value, and the registered face image that is the first is the face image acquisition unit based on the comparison result. When the face image supplied from 211 is not similar (in the case of similarity indicating that the similarity is higher when the similarity is higher, the similarity is lower when the similarity is lower than the predetermined threshold). If the similarity is higher than a predetermined threshold value), the face image is supplied to the entrance / exit management unit 217, and the entrance registration unit 217a enters the entrance / exit store information DB 21. To register as a person's face image. Furthermore, when it is similar to the supplied face image (in the case of similarity indicating that the similarity is higher as the similarity is higher, the similarity is higher when the similarity is lower than the predetermined threshold) If the similarity is lower than a predetermined threshold value), the store exit determining unit 233b supplies the face image to the store entrance / exit management unit 217 and the store exit registering unit 217b. The store exit information DB 21 is registered as a store exit face image in association with the store entrance face image.

居残りDB管理部219は、閉店時刻経過後のタイミングで、検索部218により入退店者情報DB21に登録されている入店者の顔画像と退店者の顔画像とを比較し、入店者の顔画像のみが登録されている顔画像の人物が未退店者としてみなし、入店者のみが登録された顔画像を店内登録部219aを制御して、居残りDB22に登録させると供に、センタ登録部219bを制御して、警備情報管理データベース3の未登録居残り者DB251に登録させる。   The residence DB management unit 219 compares the face image of the store visitor registered with the store entrance / exit information DB 21 by the search unit 218 at the timing after the closing time has elapsed, and enters the store. The person of the face image in which only the person's face image is registered is regarded as a person who has not left the store, and the face image in which only the person in the store is registered is controlled by the in-store registration unit 219a to be registered in the residence DB 22. Then, the center registration unit 219b is controlled to be registered in the unregistered survivor DB 251 of the security information management database 3.

操作部215は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位3位となる、表示部23に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部214に供給する。通信部214は、モデムなどから構成され、操作部215からの操作信号に基づいて、選択された顔画像を携帯端末17に配信する。また、操作部215は、閉店処理を指示するとき、出入口112(図8)の施錠を指示すると共に、その旨を検索部218および扉ロックセンサ検知部220に通知する。この通知に基づいて、扉ロックセンサ検知部220は、各扉ロックセンサ18からの検知結果を検索部218に供給する。検索部218は、扉ロックセンサ検知部220からの検知結果に基づいて、扉が施錠されていることを認識することにより、閉店を認識する。検索部218は、閉店を認識すると、入退店者情報DB21にアクセスし、入店者顔画像と退店者顔画像とを検索し、入店者顔画像のみが登録されている顔画像を未退店者として検索する。検索部218は、未退店者を検索した場合、検索結果を居残りDB管理部219に供給すると共に、通信部213に供給する。   The operation unit 215 includes buttons, a mouse, a keyboard, and the like. The operation unit 215 is operated when any one of the face images displayed on the display unit 23 with the above-mentioned similarity ranked in the top three is selected. Is supplied to the communication unit 214. The communication unit 214 includes a modem or the like, and distributes the selected face image to the mobile terminal 17 based on an operation signal from the operation unit 215. In addition, when instructing the closing process, the operation unit 215 instructs to lock the entrance 112 (FIG. 8) and notifies the search unit 218 and the door lock sensor detection unit 220 to that effect. Based on this notification, the door lock sensor detection unit 220 supplies the detection result from each door lock sensor 18 to the search unit 218. The search unit 218 recognizes that the store is closed by recognizing that the door is locked based on the detection result from the door lock sensor detection unit 220. When the search unit 218 recognizes that the store is closed, the search unit 218 accesses the store / buyer information DB 21 to search for the store entrance face image and the store exit face image, and finds a face image in which only the store entrance face image is registered. Search as an unleavened person. When the search unit 218 searches for a person who has not left the store, the search unit 218 supplies the search result to the remaining DB management unit 219 and also to the communication unit 213.

通信部213は、未退店者の存在と共に、人検知センサ管理部221により検知された各人検知センサ19からの検知結果を警備保障会社サーバ10に送信する。また、通信部213は、警備保障会社サーバ10より自動閉店処理許可の通知を受信すると、自動閉店指示部222に供給し、遊技店管理装置24に対して自動閉店処理を促す。   The communication unit 213 transmits the detection result from each human detection sensor 19 detected by the human detection sensor management unit 221 to the security company server 10 along with the presence of the unleashed store. In addition, when the communication unit 213 receives a notice of automatic closing processing permission from the security company server 10, the communication unit 213 supplies the automatic closing instruction unit 222 to the automatic store closing instruction unit 222, and prompts the game store management device 24 to perform automatic closing processing.

尚、ここでは、類似度は、例えば、比率和で示されるようなものであり、居残り者または入店者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する居残り者または入店者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録された居残り者または入店者の顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部233の居残り判定部223aおよび退店者判定部223bは、類似度が閾値よりも小さければ、撮像された顔画像が居残り者または入店者の顔画像であるとみなすことになり、または、平均比率などの場合、0乃至1の範囲で所定の値以上であって、1に近い値であれば、同一の人物であるとみなすことができる。   Here, the similarity is, for example, indicated by a sum of ratios, and indicates a higher value as the face image registered as a resident or a shopkeeper is closer. An example will be described in which, when the value is higher than a predetermined threshold, it is determined that the image is a face image of a survivor or a store clerk corresponding to the similarity. However, for example, when the similarity is expressed as a difference sum in each feature amount between the captured face image and the registered survivor or shopkeeper's face image, the residue determination unit of the similarity determination unit 233 If the degree of similarity is smaller than the threshold value, 223a and the store exit determination unit 223b will regard the captured face image as a face image of a survivor or a store entrant, or in the case of an average ratio, etc. If the value is greater than or equal to a predetermined value in the range of 0 to 1 and close to 1, it can be regarded as the same person.

データベース管理部216は、警備情報管理センタ2より新たな登録居残り者データベース252(図11)が配信されてくると、新たな登録居残り者データベース252に基づいて、居残りDB22を更新する。   When a new registered survivor database 252 (FIG. 11) is distributed from the security information management center 2, the database management unit 216 updates the survivor DB 22 based on the new registered survivor database 252.

自動閉店指示部222は、未退店者が存在しない場合、または検索部218より、未退店者が存在した場合であって、その後、通信部213を介して、警備保障会社サーバ10より自動閉店処理の許可が通知されてくるとき、自動閉店処理を実行するように、遊技店管理装置24に指示を送信する。   The automatic closing instruction unit 222 is in the case where there is no unleaved person or the case where there is a non-leaved person from the search unit 218, and then automatically from the security company server 10 via the communication unit 213. When the permission of the closing process is notified, an instruction is transmitted to the game shop management device 24 so as to execute the automatic closing process.

次に、図11を参照して、警備情報管理センタ2の構成例について説明する。   Next, a configuration example of the security information management center 2 will be described with reference to FIG.

警備情報管理センタ2は、DB配信部241、DB更新部242、およびDB更新判定部243から構成されており、警備情報管理DB3に格納されている登録居残り者DB252を、未登録居残り者DB251に基づいて、更新する。より具体的には、DB更新判定部243は、時刻情報を発生するRTC(Real Time Clock)243aを内蔵しており、その内蔵されているRTC243aに基づいて、所定時間が経過すると、警備情報管理DB3にアクセスし、未登録居残り者DB251に新たな未登録居残り者が登録されたか否かを判定する。   The security information management center 2 includes a DB distribution unit 241, a DB update unit 242, and a DB update determination unit 243. The registered survivor DB 252 stored in the security information management DB 3 is changed to an unregistered survivor DB 251. Update based on. More specifically, the DB update determination unit 243 has a built-in RTC (Real Time Clock) 243a that generates time information. When a predetermined time elapses based on the built-in RTC 243a, the security information management DB3 is accessed and it is determined whether or not a new unregistered survivor is registered in the unregistered survivor DB 251.

DB更新判定部243は、未登録居残り者DB251に新たに未登録居残り者が登録されていた場合、その旨をDB更新部242に通知する。DB更新部242は、未登録居残り者DB251にアクセスし、登録されている未登録居残り者のうち、所定回数以上登録されている未登録居残り者が存在するか否かを判定し、所定回数以上未登録居残り者として登録されている未登録居残り者が存在する場合、登録居残り者DB252を読み出して、所定回数以上登録されている未登録居残り者を登録居残り者DB252に登録して、更新する。さらに、DB更新部242は、登録居残り者DB252を更新すると、更新したことをDB配信部241に通知する。   When a new unregistered survivor is registered in the unregistered survivor DB 251, the DB update determination unit 243 notifies the DB update unit 242 to that effect. The DB update unit 242 accesses the unregistered survivor DB 251, determines whether there are unregistered survivors who are registered a predetermined number of times or more among registered unregistered survivors, and the predetermined number of times or more. When there is an unregistered survivor registered as an unregistered survivor, the registered survivor DB 252 is read, and an unregistered survivor registered for a predetermined number of times or more is registered in the registered survivor DB 252 and updated. Furthermore, when the registered remnant DB 252 is updated, the DB update unit 242 notifies the DB distribution unit 241 that it has been updated.

DB配信部241は、DB更新部242より登録居残り者DB252が更新されたことを通知されると、警備情報管理DB3にアクセスし、登録居残り者DB252を読み出して、各遊技店1の生体情報認識装置20に配信する。   When notified by the DB update unit 242 that the registered survivor DB 252 has been updated, the DB distribution unit 241 accesses the security information management DB 3 and reads the registered survivor DB 252 to recognize the biometric information of each amusement store 1. Delivered to the device 20.

次に、図12を参照して、携帯端末17の構成例について説明する。   Next, a configuration example of the mobile terminal 17 will be described with reference to FIG.

通信部271は、モデムなどで構成されており、遊技店1内の無線通信網を介して生体情報認識装置20との間でデータを授受する。また、通信部271は、生体情報認識装置20より配信されてくる、画像処理ユニット39より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報を取得し、画像処理部272に供給する。   The communication unit 271 is configured by a modem or the like, and exchanges data with the biometric information recognition apparatus 20 via a wireless communication network in the game store 1. In addition, the communication unit 271 acquires information indicating that a player with a facial image similar to the facial image supplied from the image processing unit 39, which is distributed from the biological information recognition apparatus 20, has visited the store. 272.

画像処理部272は、通信部271より供給されてくる画像処理ユニット39より供給された顔画像と類似する顔画像の居残り者または入店者が来店したことを示す情報に基づいて、LCDなどにより構成される表示部273に表示する画像を生成すると供に、表示部273に表示させる。   The image processing unit 272 uses an LCD or the like on the basis of information indicating that a remnant or a visitor of a face image similar to the face image supplied from the image processing unit 39 supplied from the communication unit 271 has visited the store. In addition to generating an image to be displayed on the configured display unit 273, the image is displayed on the display unit 273.

次に、図13を参照して、遊技店管理装置24の構成例について説明する。   Next, a configuration example of the game shop management device 24 will be described with reference to FIG.

制御部281は、CPU、ROM、およびRAMからなる、いわゆるコンピュータから構成されており、遊技店管理装置24の動作の全体を制御している。   The control unit 281 is configured by a so-called computer including a CPU, a ROM, and a RAM, and controls the entire operation of the game shop management device 24.

制御部281は、通信部282を制御して、生体情報管理装置20より自動閉店処理が指示されると、遊技台起動停止管理部285を制御して、遊技台36の電源を停止させる。また、制御部281は、閉店処理が指示されると、媒体貸出指示部283を制御して、媒体貸出管理装置27より当日の売上情報を取得して、収支計算部281aを制御して当日の収支計算を実行して、収支結果レポートを表示部25に表示すると共に、媒体貸出指示部283を制御して、遊技媒体管理装置27に対して遊技台周辺端末37での遊技媒体の貸し出しを禁止させる。そして、制御部281は、最終的に、電源制御部284を制御して、遊技店1内の遊技台36を含む、遊技に関わる全ての装置の電源をシャットダウンする。   The control unit 281 controls the communication unit 282 to control the gaming machine start / stop management unit 285 to stop the power supply of the gaming machine 36 when the biological information management device 20 instructs an automatic closing process. Further, when the closing process is instructed, the control unit 281 controls the medium lending instruction unit 283 to acquire the sales information of the day from the medium lending management device 27 and controls the balance calculation unit 281a to The balance calculation is executed and the balance result report is displayed on the display unit 25, and the medium lending instruction unit 283 is controlled to prohibit the gaming medium management device 27 from lending game media at the gaming machine peripheral terminal 37. Let Then, the control unit 281 finally controls the power supply control unit 284 to shut down the power supply of all devices related to the game including the game stand 36 in the game store 1.

次に、図14のフローチャートを参照して、来店監視処理について説明する。   Next, the store visit monitoring process will be described with reference to the flowchart of FIG.

ステップS1において、入口カメラ40は、撮像している画像の情報、または、出入口の扉からの信号に基づいて、出入口の扉が開いたか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。   In step S1, the entrance camera 40 determines whether or not the door of the entrance is opened based on the information of the image being captured or the signal from the door of the entrance and exit until the predetermined time elapses. Repeat the process.

ステップS1において、扉が開いたと判定された場合、ステップS2において、入口カメラ40は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット39に供給する。画像処理ユニット39の画像取得部201は、供給された画像を取得し、顔画像抽出部202に供給する。   If it is determined in step S <b> 1 that the door is opened, in step S <b> 2, the entrance camera 40 captures an image of the installed range and supplies the captured image to the image processing unit 39. The image acquisition unit 201 of the image processing unit 39 acquires the supplied image and supplies it to the face image extraction unit 202.

ステップS3において、顔画像抽出部202は、供給された画像より遊技者の顔画像を抽出し、送信部203に供給する。より具体的には、顔画像抽出部202は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、送信部203に供給する。   In step S <b> 3, the face image extraction unit 202 extracts a player's face image from the supplied image and supplies the extracted image to the transmission unit 203. More specifically, the face image extraction unit 202 extracts a face image from, for example, an arrangement of a characteristic part such as an eye or a nose, where the skin is exposed from the color of the captured image. To the transmission unit 203.

ステップS4において、送信部203は、顔画像抽出部202より供給されてきた顔画像を生体情報認識装置20に送信する。この際、送信部203は、カメラ38、入口カメラ40、または店内カメラ41のそれぞれを識別するカメラIDや、送信時刻の情報などを顔画像に付加して生体情報認識装置20に送信する。   In step S <b> 4, the transmission unit 203 transmits the face image supplied from the face image extraction unit 202 to the biological information recognition apparatus 20. At this time, the transmission unit 203 adds a camera ID for identifying each of the camera 38, the entrance camera 40, or the in-store camera 41, transmission time information, and the like to the face image and transmits them to the biological information recognition apparatus 20.

ステップS21において、生体情報認識装置20の顔画像取得部211は、顔画像を取得する。ステップS22において、顔画像取得部211は、供給された顔画像のうち、いずれか未処理の1つを抽出し、特徴量抽出部231に供給する。   In step S21, the face image acquisition unit 211 of the biological information recognition apparatus 20 acquires a face image. In step S <b> 22, the face image acquisition unit 211 extracts any unprocessed one of the supplied face images and supplies the extracted unprocessed one to the feature amount extraction unit 231.

ステップS23において、照合部212の特徴量抽出部231は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部232に供給する。   In step S <b> 23, the feature amount extraction unit 231 of the collation unit 212 extracts a feature amount from the supplied face image and supplies the feature amount together with the face image to the similarity calculation unit 232.

ステップS24において、類似度計算部232の居残り者計算部232aは、特徴量抽出部231より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、居残りDB22に登録されている登録居残り者DB252に登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、計算結果である居残りDB22に登録されている顔画像との類似度の順位を求め、居残りDB22に登録されている顔画像のうちの上位3位までの顔画像と類似度の情報を、特徴量抽出部231より供給されてきた顔画像と供に類似度判定部233に供給する。   In step S24, the survivor calculation unit 232a of the similarity calculation unit 232 determines the interval between eyes, the length from the chin to the forehead, and from the chin to the nose for the face image supplied from the feature amount extraction unit 231. Difference ratios and average ratios using various facial feature quantities such as length ratios and similar feature quantities in the registered survivor DB 252 registered in the remnant DB 22 Or the ratio sum or the like is calculated as the similarity, and the ranking of the similarity with the face image registered in the remaining DB 22 as the calculation result is obtained, and the top three of the face images registered in the remaining DB 22 are obtained. The information on the degree of similarity with the face image is supplied to the similarity degree determination unit 233 together with the face image supplied from the feature amount extraction unit 231.

ステップS25において、類似度判定部233の居残り判定部233aは、類似度計算部232の居残り者計算部232aより供給されてくる上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部233の居残り判定部233aは、最も類似している登録居残り者(居残りDB22に登録されている顔画像のうち、顔画像取得部211により取得された顔画像と最も類似している登録遊技者:ここでは、類似度の最も高い登録遊技者)の類似度を所定の閾値と比較する。   In step S25, the remnant determination unit 233a of the similarity determination unit 233 determines the highest rank based on the top three face images and similarity information supplied from the remnant calculation unit 232a of the similarity calculation unit 232. It is determined whether the similarity is greater than a predetermined threshold. In other words, the residue determination unit 233a of the similarity determination unit 233 is the most similar registered survivor (the face image registered in the residue DB 22 is most similar to the face image acquired by the face image acquisition unit 211. The registered player: Here, the similarity of the registered player having the highest similarity is compared with a predetermined threshold.

尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。   Note that, as described above, the similarity between the face image of the registered player who is most similar to the captured face image is not necessarily the highest because of the definition of the similarity. And the threshold value may differ from those in this example.

ステップS25において、最上位の類似度が所定の閾値よりも大きくないと判定された場合、すなわち、居残り者として登録された遊技者の顔画像ではないと判定された場合、ステップS30において、退店者判定部233bは、供給された顔画像に付されているカメラIDに基づいて、供給されてきた顔画像が、退店時に撮像された顔画像であるか否かを判定する。すなわち、図8で示されるように出入口112には、それぞれ入店者を撮像する入口カメラ40−1,40―3,40−5が設けられ、退店者を撮像する入口カメラ40−2,40―4,40−6が設けられている。そこで、図8の場合、カメラIDに基づいて、退店者を撮像する入口カメラ40−2,40―4,40−6を示すカメラIDが付された顔画像であるか否かが判定される。   If it is determined in step S25 that the highest similarity is not greater than the predetermined threshold, that is, if it is determined that the face image of the player registered as a survivor is not present, the store is closed in step S30. Based on the camera ID attached to the supplied face image, the person determination unit 233b determines whether the supplied face image is a face image captured at the time of leaving the store. That is, as shown in FIG. 8, the entrance / exit 112 is provided with entrance cameras 40-1, 40-3, and 40-5 for imaging the store entrance, respectively, and entrance cameras 40-2 and 40-2 for capturing the store exit. 40-4 and 40-6 are provided. Therefore, in the case of FIG. 8, it is determined based on the camera ID whether or not the face image is attached with the camera ID indicating the entrance cameras 40-2, 40-4, and 40-6 that images the store clerk. The

ステップS30において、供給された顔画像が退店時のものではないと判定された場合、ステップS31において、退店者判定部233bは、顔画像を入退店管理部217に供給する。入退店管理部217は、入店登録部217aを制御して、顔画像の情報を入店者として入退店者情報DB21に登録する。   If it is determined in step S30 that the supplied face image is not the one at the time of store exit, the store exit determination unit 233b supplies the face image to the store entrance / exit management unit 217 in step S31. The entrance / exit management unit 217 controls the entrance registration unit 217a to register the face image information in the entrance / exit store information DB 21 as a store entrance person.

一方、ステップS30において、退店時であると判定された場合、すなわち、図8の場合、入口カメラ40−2,40−4,40−6により撮像された顔画像であると判定された場合、ステップS32において、退店者判定部233bは、退店時の顔画像であることを類似度計算部232に通知する。これに応じて、退店者計算部232bは、特徴量抽出部231より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、入退店者情報DB21に入店者のみ登録されている顔画像の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、計算結果である入退店者情報DB21に登録されている顔画像との類似度の順位を求め、入退店者情報DB21に入店者としてのみ登録されている顔画像のうちの上位3位までの顔画像と類似度の情報を、特徴量抽出部231より供給されてきた顔画像と供に類似度判定部233に供給する。   On the other hand, when it is determined in step S30 that the store is closed, that is, in the case of FIG. 8, when it is determined that the face image is captured by the entrance cameras 40-2, 40-4, and 40-6. In step S32, the store exit determination unit 233b notifies the similarity calculation unit 232 that the image is a face image at the time of store exit. In response to this, the store exit calculation unit 232b determines the distance between the eyes, the distance from the chin to the forehead, and the length from the chin to the nose for the face image supplied from the feature amount extraction unit 231. Using various facial feature quantities such as ratios and facial image feature quantities registered only in the store entrance / existing person information DB 21, the difference sum, average ratio, or ratio sum is similar to each other. The degree of similarity with the face image registered in the entrance / exit store information DB 21 as the calculation result is obtained, and the face image registered only as the store entrance in the entrance / exit store information DB 21 is obtained. Information on the similarity between the top three face images and the face image supplied from the feature amount extraction unit 231 is supplied to the similarity determination unit 233.

ステップS33において、類似度判定部233の退店者判定部233bは、類似度計算部232の退店者計算部232bより供給されてきた上位3位の顔画像が入店者の顔画像の候補であることを示す報知画面を表示部23を制御して表示させる。   In step S33, the store exit determination unit 233b of the similarity determination unit 233 determines that the top third face image supplied from the store exit calculation unit 232b of the similarity calculation unit 232 is a candidate for the face image of the store visitor. The display screen is controlled by the display unit 23 to indicate that this is the case.

ステップS34において、入退店管理部217は、操作部215が操作されて、候補となる顔画像の何れかが選択されたか否かを判定する。ステップS34において、例えば、いずれかの顔画像が選択された場合、ステップS35において、入退店管理部217は、退店登録部217bを制御して、選択された顔画像を、例えば、図15で示されるように、入退店者情報DB21に退店者として登録する。   In step S34, the entrance / exit management unit 217 determines whether any of the candidate face images has been selected by operating the operation unit 215. In step S34, for example, when any face image is selected, in step S35, the entrance / exit management unit 217 controls the store exit registration unit 217b to display the selected face image, for example, FIG. As shown in the above, it is registered as a store exit in the store entrance / exit store information DB 21.

図15においては、左から顔登録No(顔登録番号)、入店者、および退店者が登録されている。登録番号は、1乃至2986が登録されており、いずれも入店者の顔画像が登録されている。一方、退店者については、顔登録番号2,2985については、退店者の顔画像が登録されておらず、顔登録番号2,2985の遊技者は、店内に存在していることが示されている。入店者の顔画像は、上述したステップS31の処理により登録される。   In FIG. 15, the face registration number (face registration number), the store visitor, and the store exit are registered from the left. Registration numbers 1 to 2986 are registered, and in each case, the face image of the shopkeeper is registered. On the other hand, with respect to the person leaving the store, the face registration number 2, 2985 has no registered face image of the person leaving the store, indicating that the player with the face registration number 2, 2985 exists in the store. Has been. The face image of the store visitor is registered by the process in step S31 described above.

一方、ステップS34において、いずれも選択されなかった、すなわち、いずれの顔画像も入店者の顔画像として登録されている顔画像と同一であるとは認識できなかった場合、処理は、ステップS31に進む。すなわち、新たな入店者として入口カメラ40にて撮像できなかった顔画像であるものとみなして、ステップS31において、入店者として顔画像が登録される。   On the other hand, if none of the face images are selected in step S34, that is, if any face image cannot be recognized as the face image registered as the face image of the shopkeeper, the process proceeds to step S31. Proceed to That is, it is considered that the face image cannot be captured by the entrance camera 40 as a new store visitor, and the face image is registered as the store entrance in step S31.

ステップS36において、顔画像取得部211は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップS22に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップS22乃至S36の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップS21に戻る。   In step S36, the face image acquisition unit 211 determines whether or not all of the supplied face images have been processed. If there is an unprocessed face image, the process returns to step S22. That is, the processes in steps S22 to S36 are repeated until the process is performed on all face images. If it is determined that the process has been completed for all face images, the process returns to step S21.

さらに、ステップS25において、類似度計算部232の居残り者計算部232aより供給されてくる上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップS26において、類似度判定部233の居残り判定部233aは、類似度計算部232の居残り者計算部232aより供給されてきた上位3位の顔画像が居残り者の顔画像の候補であることを示す報知画面を表示部23を制御して表示させる。   In step S25, the highest similarity is greater than a predetermined threshold based on the top three face images and similarity information supplied from the survivor calculation unit 232a of the similarity calculation unit 232. In step S26, the survivor determining unit 233a of the similarity determining unit 233 determines that the top three face images supplied from the survivor calculating unit 232a of the similarity calculating unit 232 are the face images of the survivors. The display unit 23 is controlled to display a notification screen indicating that it is a candidate.

このとき、例えば、図14で示されるような報知画面301が、表示部23に表示される。   At this time, for example, a notification screen 301 as shown in FIG. 14 is displayed on the display unit 23.

図16の報知画面301においては、カメラ画像表示欄311が、左中段に設けられており、画像処理ユニット39より供給されてきた顔画像が表示される。また、その右側には、類似度の高い順に第1候補乃至第3候補までの類似度の上位3位の居残り者の顔画像表示欄312−1乃至312−3が設けられている。さらに、各居残り者の顔画像表示欄312−1乃至312−3の下には、類似度レベル表示欄313−1乃至313−3が設けられており、類似度のレベルが表示されている。図16において、黒で示される領域の横方向の長さが類似度の大きさを示している。   In the notification screen 301 of FIG. 16, a camera image display field 311 is provided in the middle left, and the face image supplied from the image processing unit 39 is displayed. Further, on the right side, face image display fields 312-1 to 312-3 of the top three survivors of similarities from the first candidate to the third candidate are provided in descending order of similarity. Furthermore, similarity level display columns 313-1 to 313-3 are provided below the face image display columns 312-1 to 312-2 of each survivor, and the level of similarity is displayed. In FIG. 16, the horizontal length of the area shown in black indicates the magnitude of similarity.

また、類似度レベル表示欄313−1乃至313−3の下には、対応する位置に、ID表示欄314−1乃至314−3が設けられており、各顔画像の居残りDB22における顔画像を識別するIDが表示されており、図16において、左から「00051」、「00018」および「00022」と表示されている。   Further, ID display fields 314-1 to 314-3 are provided at corresponding positions below the similarity level display fields 313-1 to 313-3, and the face images in the remaining DB 22 of each face image are displayed. IDs for identification are displayed. In FIG. 16, “00051”, “00018”, and “00022” are displayed from the left.

さらに、ID表示欄314−1乃至314−3の下には、それぞれ対応する位置に、それぞれの候補を選択されるときに操作部215により操作される確定ボタン318−1乃至318−3が設けられている。   Furthermore, below the ID display fields 314-1 to 314-3, confirmation buttons 318-1 to 318-3 that are operated by the operation unit 215 when each candidate is selected are provided at corresponding positions. It has been.

また、カメラ画像表示欄311の下には、その顔画像を撮像したカメラを識別するカメラID表示欄315が設けられており、図16においては、カメラ38、入口カメラ40、および店内カメラ41を識別するためのカメラIDとして「カメラ02」が表示されている。さらに、カメラID表示欄315の下には、時刻表示欄316が設けられており、入口カメラ40により撮像された時刻が表示されており、図16においては、「18:23:32」と表示されており、カメラ画像表示欄311の顔画像が18時23分32秒に撮像されていることが示されている。   A camera ID display field 315 for identifying the camera that captured the face image is provided under the camera image display field 311. In FIG. 16, the camera 38, the entrance camera 40, and the in-store camera 41 are displayed. “Camera 02” is displayed as a camera ID for identification. Furthermore, a time display field 316 is provided below the camera ID display field 315, and the time taken by the entrance camera 40 is displayed. In FIG. 16, “18:23:32” is displayed. It is shown that the face image in the camera image display field 311 is captured at 18:23:32.

さらに、時刻表示欄316の下には、別人ボタン317が設けられており、カメラ画像の顔画像が、第1候補乃至第3候補となる登録遊技者の顔画像表示欄312−1乃至312−3のいずれにも似ていないとみなされたとき、操作部215により操作される。   Furthermore, another person button 317 is provided below the time display field 316, and the face image display fields 312-1 to 312- of the registered player whose face images of the camera image are the first to third candidates. 3 is operated by the operation unit 215 when it is regarded as not similar to any of 3.

ステップS27において、通信部214は、操作部215が操作されて、候補となる顔画像の何れかが選択されたか否か、すなわち、例えば、図16で示される報知画面301が表示部23に表示されていた場合、確定ボタン318−1乃至318−3のいずれかが操作部215により操作されたか否かを判定する。   In step S27, the communication unit 214 displays on the display unit 23 whether or not any of the candidate face images has been selected by operating the operation unit 215, that is, for example, the notification screen 301 shown in FIG. If it has been determined, it is determined whether any of the confirmation buttons 318-1 to 318-3 has been operated by the operation unit 215.

ステップS27において、例えば、確定ボタン318−1が操作された場合、居残り者の第1候補となる顔画像が選択されたとみなされ、ステップS28において、通信部214は、選択された第1候補となる顔画像および入口カメラ40により撮像されたカメラ画像を携帯端末17および警備保障会社サーバ10に送信し、該当する居残り者が来店したことを通知する。   In step S27, for example, when the confirm button 318-1 is operated, it is considered that the face image that is the first candidate of the survivor is selected, and in step S28, the communication unit 214 determines that the selected first candidate is selected. The face image and the camera image taken by the entrance camera 40 are transmitted to the mobile terminal 17 and the security company server 10 to notify that the corresponding survivor has visited the store.

ステップS51において、携帯端末17の通信部271は、居残り者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップS51において、ステップS28の処理により、居残り者の来店が通知されてきた場合、ステップS52において、通信部271は、生体情報認識装置20より送信されてきた登録遊技者の来店の通知を受信すると供に、その通知に併せて送信されてくる居残り者の顔画像および入口カメラ40により撮像されたカメラ画像を画像処理部272に供給する。画像処理部272は、選択された顔画像および入口カメラ40により撮像されたカメラ画像の情報を、表示部273に表示可能な形式の情報に加工して、ステップS53において、表示部273に表示させる。   In step S51, the communication unit 271 of the mobile terminal 17 determines whether or not a visitor's visit has been notified, and repeats the processing until the notification is received. For example, in step S51, when a visitor's visit is notified by the process of step S28, in step S52, the communication unit 271 notifies the registered player's visit notification transmitted from the biometric information recognition device 20. In addition to receiving, the image processing unit 272 is supplied with the face image of the survivor and the camera image captured by the entrance camera 40 transmitted together with the notification. The image processing unit 272 processes the information of the selected face image and the camera image captured by the entrance camera 40 into information in a format that can be displayed on the display unit 273, and displays the information on the display unit 273 in step S53. .

また、ステップS71において、警備保障会社サーバ10の図示せぬ通信部は、居残り者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップS71において、ステップS28の処理により、居残り者の来店が通知されてきた場合、ステップS72において、警備保障会社サーバ10は、通信部を制御して、生体情報認識装置20より送信されてきた居残り者の来店の通知を受信すると供に、居残り者が来店したことを示す情報を表示する表示画面を生成し、ステップS73において、その表示画面を表示部11に表示する。   Further, in step S71, a communication unit (not shown) of the security company server 10 determines whether or not a visitor's visit has been notified, and repeats the process until the notification is received. For example, in step S71, when a visitor's visit is notified by the process of step S28, the security company server 10 controls the communication unit and is transmitted from the biological information recognition device 20 in step S72. In addition to receiving the notification of the visitor's visit, a display screen that displays information indicating that the survivor has visited the store is generated, and the display screen is displayed on the display unit 11 in step S73.

ステップS74において、警備保障会社サーバ10は、表示部11に居残り者が来店した遊技店1に対して、警備員を手配するように要求する画面を表示させ、処理は、ステップS71に戻る。   In step S74, the security company server 10 causes the display unit 11 to display a screen for requesting the game store 1 where the survivor has visited to arrange security guards, and the process returns to step S71.

以上の処理により、遊技店1内の係員は、携帯端末17を所持していると、居残り者の来店を認識することが可能となる。さらに、警備保障会社サーバ10においては、居残りDB22に登録されている遊技者が来店したことを速やかに認識し、迅速に警備員を手配することが可能となる。   Through the above processing, the staff in the game store 1 can recognize the visit of the resident if the portable terminal 17 is possessed. Furthermore, the security company server 10 can quickly recognize that a player registered in the residence DB 22 has visited the store, and can quickly arrange security guards.

また、ステップS29において、顔画像取得部211は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップS22に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップS22乃至S29の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップS21に戻る。   In step S29, the face image acquisition unit 211 determines whether or not all of the supplied face images have been processed. If there is an unprocessed face image, the process returns to step S22. That is, the processes in steps S22 to S29 are repeated until the process is performed on all face images. If it is determined that the process has been completed for all face images, the process returns to step S21.

一方、ステップS27において、いずれの候補となる顔画像も選択されず、例えば、図16の報知画面301における別人ボタン317が押下された場合、または、ステップS25において、類似度計算部232より供給されてくる上位3位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きくない場合、すなわち、最も類似している居残り者の顔画像であっても類似度が、所定の閾値未満である場合、処理は、ステップS30に進む。すなわち、居残り者は検出されなかったものとみなされる。   On the other hand, in step S27, no candidate face image is selected. For example, when the other person button 317 on the notification screen 301 in FIG. 16 is pressed, or in step S25, the similarity calculation unit 232 supplies the face image. Based on similarity information with the top three face images coming up, if the highest similarity is not greater than a predetermined threshold, that is, even the face image of the most similar survivor If the degree is less than the predetermined threshold, the process proceeds to step S30. In other words, it is considered that no survivor has been detected.

また、以上の処理により、生体情報認識装置20により画像処理ユニット39より供給されてきた顔画像が、居残りDB22に登録されていれば、居残り者、すなわち、過去に所定回数以上、閉店時刻以降に遊技店1内に存在していた未退店者とみなされた経験がある居残り者として登録された遊技者が来店したことが報告される。また、居残りDB22に登録されていないとみなされると、入店者であれば、入退店者情報DB21に入店者として登録され、退店者であれば入店者の顔画像と照合されて、一致する入店者の顔画像に対応付けて、退店者として登録されることになる。   In addition, if the face image supplied from the image processing unit 39 by the biometric information recognition apparatus 20 is registered in the remaining DB 22 by the above processing, the remaining person, that is, a predetermined number of times in the past, after the closing time. It is reported that a player who has been registered as a survivor who has been regarded as a non-leaving person who has existed in the game store 1 has visited the store. Further, if it is considered that the store is not registered in the residence DB 22, it is registered as a store visitor in the store / buyer information DB 21 if it is a store store, and is compared with the face image of the store store store if it is a store exit. Thus, it is registered as a store clerk in association with the face image of the matching store entrant.

次に、図17のフローチャートを参照して、閉店支援処理について説明する。   Next, the store closing support process will be described with reference to the flowchart of FIG.

ステップS91において、検索部218は、扉ロックセンサ検知部220を制御して、全ての扉ロックセンサ18が施錠状態を示しているか否かを検出させ、全ての扉ロックセンサ18が施錠状態を示していると判定されるまで、その処理を繰り返す。   In step S91, the search unit 218 controls the door lock sensor detection unit 220 to detect whether all the door lock sensors 18 indicate the locked state, and all the door lock sensors 18 indicate the locked state. The process is repeated until it is determined that the

ステップS91において、閉店時刻が過ぎて、係員による一連の閉店操作がなされ、出入口112の全ての鍵が施錠され、全ての扉ロックセンサ18が施錠状態を認識していると判定された場合、ステップS92において、検索部218は、入退店者情報DB21にアクセスし、入退店者情報DB21に登録されている入店者および退店者の情報を読み出して参照する。   If it is determined in step S91 that the store closing time has passed and a series of store closing operations have been performed by an attendant, all the keys of the entrance 112 have been locked, and all the door lock sensors 18 have recognized the locked state. In S92, the search unit 218 accesses the store / entrance store information DB 21 and reads out and refers to the store / store store information registered in the store / entrance store information DB 21.

ステップS93において、入退店者情報DB21より読み出した情報に基づいて、検索部218は、未退店者が存在するか否かを判定する。より詳細には、検索部218は、入退店者情報DB21より読み出した入店者および退店者の情報のうち、入店者としての顔画像が登録されているが、退店者の顔画像が登録されていない顔画像が存在するか否かを判定する。ステップS93において、例えば、図15の入退店者情報DB21の場合、顔登録番号2および2985の顔画像の遊技者が未退店者として抽出されることになるので、未退店者が存在すると判定され、その処理は、ステップS94に進む。   In step S93, based on the information read from the store entrance / exit store information DB 21, the search unit 218 determines whether or not there are store exits. More specifically, the search unit 218 stores the face image as the store entrant among the store entrant and store exit information read from the store entrance / exit store information DB 21, but the store clerk's face It is determined whether there is a face image for which no image is registered. In step S93, for example, in the case of the store entrance / exit information DB 21 of FIG. 15, the players of the face images with face registration numbers 2 and 2985 are extracted as non-existing stores, so there are no store exits. Then, the process proceeds to step S94.

ステップS94において、検索部218は、抽出された未退店者の顔画像を表示部23に表示させ、今現在未退店者が存在することを、例えば、図18で示されるような報知画面により表示する。図18においては、最上段に「未退店者表示」と表示され、その下に、「扉ロックを検出しましたが、未退店者がいます」と表示されており、さらにその下には、未退店者の顔画像が表示されており、未退店者の顔画像の表示画面であることが示されている。さらに、その下には、「居残りDBへの登録を実施し、**警備会社への連絡を致します。」と表示され、以降に説明する居残りDB22への登録、および、警備保障会社サーバ10への通知がなされることが提示される。   In step S94, the search unit 218 causes the display unit 23 to display the extracted face image of the person who has not left the store, and for example, a notification screen as shown in FIG. Is displayed. In FIG. 18, “Unleashed store display” is displayed at the top, and “Door lock detected, but there are unleaved stores” is displayed below, and further below that. The face image of the person who has not left the store is displayed, indicating that it is a display screen for the face image of the person who has not left the shop. Below that, “Registration in the Remaining DB and ** We will contact the security company” is displayed. Registration in the Remaining DB 22 and the security company server 10 which will be described later. It is suggested that notifications to be made.

ステップS95において、検索部218は、未退店者の情報を居残りDB管理部219に供給する。居残りDB管理部219は、店内登録部219aを制御して、未退店者の情報を居残り者として居残りDB22に登録させる。   In step S <b> 95, the search unit 218 supplies information about the unleaved store to the remaining DB management unit 219. The remnant DB management unit 219 controls the in-store registration unit 219a to register the information of unsaved customers in the remnant DB 22 as remnants.

ステップS96において、居残りDB管理部219は、センタ登録部219bを制御して、警備情報管理センタ2より管理運営される警備情報管理DB3の未登録居残り者DB251に登録する。   In step S96, the residence DB management unit 219 controls the center registration unit 219b to register in the unregistered survivor DB 251 of the security information management DB 3 managed and operated by the security information management center 2.

ステップS97において、検索部218は、抽出された未退店者の顔画像の情報を通信部213に供給する。通信部213は、未退店者の情報に基づいて、人検知センサ管理部221を制御して、人検知センサ19からの人検知の有無の情報を収集する。   In step S <b> 97, the search unit 218 supplies the extracted information about the face image of the unstored person to the communication unit 213. The communication unit 213 controls the human detection sensor management unit 221 on the basis of the information on the store clerk and collects information on the presence / absence of human detection from the human detection sensor 19.

ステップS98において、通信部213は、人検知センサ管理部221より供給される人検知センサ19からの検知結果、および、未退店者として検知された顔画像の情報を携帯端末17および警備保障会社10に送信する。   In step S98, the communication unit 213 receives the detection result from the human detection sensor 19 supplied from the human detection sensor management unit 221 and the information of the face image detected as a non-stored person from the mobile terminal 17 and the security company. 10 to send.

ステップS111において、携帯端末17の通信部271は、未退店者の発生が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップS111において、ステップS98の処理により、未退店者の発生が通知されてきた場合、ステップS112において、通信部271は、生体情報認識装置20より送信されてきた未退店者の来店の通知を受信すると供に、その通知に併せて送信されてくる未退店者の顔画像および入口カメラ40により撮像されたカメラ画像を画像処理部272に供給する。画像処理部272は、選択された顔画像および入口カメラ40により撮像されたカメラ画像の情報を、表示部273に表示可能な形式の情報に加工して、ステップS113において、表示部273に、例えば、図18および図19で示されるような表示画面として表示させる。   In step S <b> 111, the communication unit 271 of the mobile terminal 17 determines whether or not the occurrence of a person who has not left the store has been notified, and repeats the process until the notification is received. For example, in step S111, when the occurrence of a non-stored person has been notified by the process of step S98, the communication unit 271 sends the non-stored person's store that has been transmitted from the biometric information recognition device 20 in step S112. In addition to receiving the notification, the face image of the person who has not left the store and the camera image taken by the entrance camera 40 transmitted together with the notification are supplied to the image processing unit 272. The image processing unit 272 processes the information of the selected face image and the camera image captured by the entrance camera 40 into information in a format that can be displayed on the display unit 273. In step S113, the image processing unit 272 displays the information on the display unit 273, for example, The display screen is displayed as shown in FIGS.

図19の表示画面においては、最上段に「北西トイレに人を検知しました。」と表示されており、その下に、人検知センサ19の検知情報に基づいて、未退店者が存在すると推測される位置を示す画面が表示されている。図19においては、位置を表示する画面は、図8の表示に準じて生成されており、人検知センサ18−3(図8)により人が検知されており、その位置で、いずれかの人物の存在を検知したことを示している。   In the display screen of FIG. 19, “The person has been detected in the northwest toilet” is displayed at the top, and based on the detection information of the human detection sensor 19, there is a person who has not left the store. A screen showing the estimated position is displayed. In FIG. 19, the screen for displaying the position is generated according to the display of FIG. 8, and a person is detected by the human detection sensor 18-3 (FIG. 8). This indicates that the presence of is detected.

また、ステップS131において、警備保障会社サーバ10の図示せぬ通信部は、未退店者の発生が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップS131において、ステップS98の処理により、未退店者の来店が通知されてきた場合、ステップS132において、警備保障会社サーバ10は、通信部を制御して、生体情報認識装置20より送信されてきた未退店者の発生の通知を受信すると供に、未退店者が発生したことを示す情報を、例えば、図18,図19で示されるような画面を表示部11に表示する。   Further, in step S131, a communication unit (not shown) of the security company server 10 determines whether or not the occurrence of a non-stored person has been notified, and repeats the process until notified. For example, in step S131, when a store visitor's visit is notified by the process of step S98, the security company server 10 controls the communication unit and transmits it from the biological information recognition device 20 in step S132. In addition to receiving the notification of the occurrence of the unleaved store, information indicating that the unopened store has occurred is displayed on the display unit 11 as shown in FIGS. 18 and 19, for example. .

ステップS133において、警備保障会社サーバ10は、操作部12が操作されて、自動閉店が許可されたか否かを判定し、許可されたと判定されるまで、その処理を繰り返す。すなわち、ステップS132の処理により、例えば、警備員が該当する遊技店1に派遣され、未退店者に対して所定の処理がなされるなどした結果、閉店に支障がないと判断されるような場合、または、誤報などであることが明らかであったような場合、警備保障会社の係員により操作部12が操作されて、自動閉店が許可される。   In step S133, the security company server 10 determines whether or not the automatic closing has been permitted by operating the operation unit 12, and the process is repeated until it is determined to be permitted. That is, as a result of the processing in step S132, for example, a security guard is dispatched to the corresponding game store 1 and predetermined processing is performed on a person who has not left the store, so that it is determined that there is no problem in closing the store. If it is clear that it is a false alarm or the like, an operation section 12 is operated by a security company staff member to permit automatic closing.

ステップS133において、例えば、自動閉店を許可するように操作部12が操作されたと判定された場合、ステップS134において、警備保障会社サーバ10は、図示せぬ通信部を制御して、自動閉店許可を該当する遊技店1の生体情報認識装置20に送信する。   In step S133, for example, when it is determined that the operation unit 12 has been operated so as to permit automatic closing, in step S134, the security company server 10 controls a communication unit (not shown) to permit automatic closing. It transmits to the biological information recognition device 20 of the corresponding game store 1.

ステップS99において、自動閉店指示部222は、通信部213を制御して、警備保障会社サーバ10より自動閉店許可が通知されたか否かを判定し、例えば、ステップS134の処理により自動閉店許可が指示されると、自動閉店指示部222は、遊技店管理装置24に対して自動閉店処理を指示し、例えば、図20で示されるような画面を表示する。   In step S99, the automatic closing instruction unit 222 controls the communication unit 213 to determine whether or not automatic closing permission is notified from the security company 10 and, for example, the automatic closing permission is instructed by the process of step S134. Then, the automatic closing instruction unit 222 instructs the amusement shop management device 24 to perform automatic closing processing, and displays, for example, a screen as shown in FIG.

図20においては、最上段に「閉店自動処理開始」と表示され、閉店自動処理が開始されたことが示される。また、その下には、「遊技扉がすべてロックされました。未退店者がいない為閉店します。」と表示されており、出入口112の扉が全て施錠されて、未退店者が存在しないことを理由として、閉店自動処理が開始されていることが示されている。最下段には、完了ステータスバーが示されており、自動閉店処理の進行状況が示される。   In FIG. 20, “Start of automatic closing process” is displayed at the top, indicating that the automatic closing process has been started. Below that, “All game doors have been locked. The store will close because there are no unleashed stores” is displayed. All doors of the entrance 112 are locked, It is shown that the automatic closing process is started because it does not exist. At the bottom, a completion status bar is shown, indicating the progress of the automatic closing process.

ステップS141において、制御部281は、通信部282を制御して、自動閉店処理の指示を受け付けたか否かを判定し、受け付けたと判定されるまで、その処理を繰り返す。ステップS141において、例えば、ステップS99の処理により、自動閉店処理が指示されると、ステップS142において、制御部281は、遊技台起動停止管理部285を制御して、遊技台36の動作を停止させ、管理を終了させる。   In step S141, the control unit 281 controls the communication unit 282 to determine whether or not an instruction for automatic closing processing has been received, and the processing is repeated until it is determined that the instruction has been received. In step S141, for example, when the automatic closing process is instructed by the process in step S99, in step S142, the control unit 281 controls the gaming machine start / stop management unit 285 to stop the operation of the gaming machine 36. , Terminate the management.

ステップS143において、制御部281は、媒体貸出指示部283を制御して、媒体貸出管理装置27の動作を終了させる。   In step S143, the control unit 281 controls the medium lending instruction unit 283 to end the operation of the medium lending management device 27.

ステップS144において、制御部281は、媒体貸出指示部283を介して媒体貸出管理装置27より供給されてくる媒体の収支情報に基づいて、収支計算部281aを制御して、収支結果を計算させ、収支結果レポートとして表示部25に表示させる。   In step S144, the control unit 281 controls the balance calculation unit 281a based on the balance information of the medium supplied from the medium lending management device 27 via the medium lending instruction unit 283, and calculates the balance result. It displays on the display part 25 as a balance result report.

ステップS145において、制御部281は、電源制御部284を制御して、遊技店1における遊技設備の電源をシャットダウンする。   In step S145, the control unit 281 controls the power supply control unit 284 to shut down the power supply of the gaming equipment in the gaming store 1.

尚、ステップS93において、未退店者が存在しないと判定された場合、ステップS94乃至S98の処理がスキップされて、処理は、ステップS99に進む。したがって、ステップS111乃至S113の処理、および、ステップS131乃至S134の処理もスキップされることになる。すなわち、未退店者が存在しなければ、自動閉店処理が即座に指示されることになる。   If it is determined in step S93 that there is no unleashed store, the processes in steps S94 to S98 are skipped, and the process proceeds to step S99. Therefore, the processing of steps S111 to S113 and the processing of steps S131 to S134 are also skipped. In other words, if there is no person who has not left the store, the automatic closing process is immediately instructed.

以上の処理により、出入口112の扉が施錠されると、未退店者の有無が判定され、未退店者が存在する場合、携帯端末17および警備保障会社サーバ10に通知されることになるため、遊技店1内に存在する係員は、未退店者の存在と共に、その存在位置を把握することができるため、未退店者により不正行為が行われるような状況を防止させるようにすることが可能となる。また、携帯端末17を所持した係員は、未退店者の位置を把握することができるので、不意の襲撃を予測したり、回避することが可能となる。さらに、警備保障会社サーバ10に対して、未退店者の存在が迅速に通知されるので、未退店者を速やかに確保できる可能性を高めることが可能となる。   When the door of the entrance / exit 112 is locked by the above processing, the presence / absence of a non-leaving store is determined, and if there is a non-leaving store, the mobile terminal 17 and the security company server 10 are notified. Therefore, the clerk present in the amusement store 1 can grasp the location of the store as well as the presence of the store clerk, so that a situation in which an unauthorized act is performed by the store keeper is prevented. It becomes possible. In addition, since the clerk possessing the portable terminal 17 can grasp the position of the person who has not left the store, it is possible to predict or avoid an unexpected attack. Furthermore, since the presence of a person who has not left the store is quickly notified to the security company server 10, it is possible to increase the possibility of promptly securing the person who has not left the store.

さらに、未退店者は、意図的なものであるか否かに関わらず、遊技店1において、居残りDB22に登録させることが可能となるので、警備保障会社の警備員により確保することができない事態となっても、以降において、来店すれば、上述した来店監視処理により来店を認識することが可能となる。また、未退店者は、警備情報管理センタ2の警備情報管理DB3の未登録居残り者DB251にも登録されることになるので、図21を参照して後述する処理により、遊技店1−1乃至1−nに配信されることになるので、チェーン店などでは、いずれかの遊技店1において登録されれば、他の遊技店1においても、同様に居残り者として検出することが可能となり、閉店時刻以降の居残りによる不正を、全ての遊技店において抑制することが可能となる。   Furthermore, since it is possible for a non-stored person to be registered in the remnant DB 22 at the amusement store 1 regardless of whether it is intentional or not, it cannot be secured by security guards of the security company. Even if a situation occurs, if the customer visits the store in the future, the store visit can be recognized by the store visit monitoring process described above. Further, since the unstored person is also registered in the unregistered survivor DB 251 of the security information management DB 3 of the security information management center 2, the game shop 1-1 is executed by the process described later with reference to FIG. To 1-n, if a chain store or the like is registered in any of the game stores 1, it can be detected as a survivor in other game stores 1 as well. It is possible to suppress fraud due to the residence after the closing time in all the game stores.

次に、図21のフローチャートを参照して、登録居残り者DB252の更新処理について説明する。   Next, the update process of the registered survivor DB 252 will be described with reference to the flowchart of FIG.

ステップS161において、警備情報管理センタ2のDB更新判定部243は、RTC243aに問合せて、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。例えば、ステップS161において、所定の時間が経過したと判定された場合、ステップS162において、DB更新判定部243は、警備情報管理DB3の未登録居残り者DB251にアクセスし、未登録居残り者が新たに登録されているか否かを判定し、新たな未登録居残り者が登録されていると判定されるまで、ステップS161,S162の処理を繰り返す。   In step S161, the DB update determination unit 243 of the security information management center 2 makes an inquiry to the RTC 243a to determine whether or not a predetermined time has elapsed, and repeats the process until the predetermined time has elapsed. For example, when it is determined in step S161 that the predetermined time has elapsed, in step S162, the DB update determination unit 243 accesses the unregistered survivor DB 251 of the security information management DB 3, and the unregistered survivor newly It is determined whether or not it is registered, and the processes of steps S161 and S162 are repeated until it is determined that a new unregistered survivor is registered.

ステップS162において、例えば、ステップS96の処理により、新たに未登録居残り者が登録されていた場合、ステップS163において、DB更新判定部243は、未登録居残り者DB251に新たに登録された未登録遊技者のいずれかが所定回数以上登録されているか否かを判定し、所定回数以上ではない場合、その処理は、ステップS161に戻る。   In step S162, for example, when a new unregistered survivor has been registered by the process of step S96, the DB update determination unit 243 determines that the unregistered game newly registered in the unregistered survivor DB 251 in step S163. It is determined whether or not one of the persons has been registered a predetermined number of times or more. If not, the process returns to step S161.

一方、ステップS163において、例えば、所定回数以上未登録居残り者DB251に登録されている未登録居残り者が存在すると判定された場合、ステップS164において、DB更新判定部243は、DB更新部242に対して、登録居残り者DB252の更新をするべき状態になったことを通知する。これに応じて、DB更新部242は、未登録居残り者DB251にアクセスし、所定回数以上登録されている未登録居残り者の顔画像の情報を全て読み出すと供に、登録居残り者DB252にアクセスし、読み出した所定回数以上登録されていた未登録居残り者の顔画像の情報に、顔画像を識別するIDを付して、登録居残り者DB252に追加登録して、更新する。さらに、DB更新部242は、登録居残り者DB252が更新されたことをDB配信部241に通知する。尚、登録居残り者DB252の更新が終了した時点で、所定回数以上登録されていた未登録居残り者は、未登録居残り者DB251より削除される。   On the other hand, in step S163, for example, when it is determined that there is an unregistered survivor registered in the unregistered survivor DB 251 a predetermined number of times, the DB update determination unit 243 determines that the DB update unit 242 The registered survivor DB 252 is notified that it should be updated. In response to this, the DB update unit 242 accesses the unregistered survivor DB 251 and reads out all the facial image information of unregistered survivors who have been registered more than a predetermined number of times, and accesses the registered survivor DB 252. Then, an ID for identifying the face image is attached to the information of the face image of the unregistered survivor who has been registered a predetermined number of times or more, and is additionally registered in the registered survivor DB 252 and updated. Furthermore, the DB update unit 242 notifies the DB distribution unit 241 that the registered survivor DB 252 has been updated. Note that, when the update of the registered survivor DB 252 is completed, unregistered survivors who have been registered a predetermined number of times or more are deleted from the unregistered survivor DB 251.

ステップS165において、DB配信部241は、警備情報管理DB3の新たに更新された登録居残り者DB252にアクセスし、読み出すと供に、生体情報認識装置20のデータベース管理部216に読み出した登録居残り者DB252を配信する。   In step S165, the DB distribution unit 241 accesses and reads the newly updated registered survivor DB 252 of the security information management DB 3, and reads the registered survivor DB 252 read to the database management unit 216 of the biological information recognition apparatus 20. To deliver.

ステップS181において、データベース管理部216は、警備情報管理センタ2より更新された新たな登録居残り者DB252が配信されてきたか否かを判定し、配信されてくるまで、その処理を繰り返す。   In step S181, the database management unit 216 determines whether or not a new registered survivor DB 252 updated from the security information management center 2 has been distributed, and repeats the processing until it is distributed.

ステップS181において、例えば、ステップS165の処理により、警備情報管理センタ2のDB配信部241より新たに更新された登録居残り者DB252が配信されてくると、ステップS182において、データベース管理部216は、配信されてくる登録居残り者DB252を取得すると供に、登録居残り者DB252の情報に基づいて、居残りDB22を更新する。より詳細には、データベース管理部216は、居残りDB22に、新たに配信されてきた登録居残り者DB252の情報をコピーして上書きする。   In step S181, for example, when the newly updated registered survivor DB 252 is distributed from the DB distribution unit 241 of the security information management center 2 by the process in step S165, the database management unit 216 distributes in step S182. In addition to acquiring the registered survivor DB 252, the survivor DB 22 is updated based on the information of the registered survivor DB 252. More specifically, the database management unit 216 copies and overwrites the newly distributed registered survivor DB 252 information in the survivor DB 22.

以上の処理により、遊技店1−1乃至1−nのいずれかで、未登録居残り者として所定回数以上未登録居残り者DB251に登録されると、登録居残り者DB252に追加登録されることにより、遊技店1−1乃至1−nのいずれの生体情報認識装置20の居残りDB22にデータベース化して登録されることになるので、複数の遊技店1においても、入口カメラ40により撮像されると、居残り者として来店が報知されることになる。   As a result of the above processing, if one of the gaming stores 1-1 to 1-n is registered in the unregistered survivor DB 251 as an unregistered survivor for a predetermined number of times, it is additionally registered in the registered survivor DB 252. Since a database is registered in the remaining DB 22 of any of the biological information recognition devices 20 of the game stores 1-1 to 1-n, if a plurality of game stores 1 are captured by the entrance camera 40, they remain. The store visit will be notified as a person.

また、以上においては、図13のフローチャートにおけるステップS1の処理で示されるように、扉が開くというタイミングで顔画像を抽出する例について説明してきたが、特別に撮像のタイミングを決めることなく、撮像し続ける中で、顔画像が抽出されたら、照合するようにしてもよい。   In the above description, as shown in the process of step S1 in the flowchart of FIG. 13, the example in which the face image is extracted at the timing when the door is opened has been described. If a face image is extracted while continuing, it may be collated.

以上によれば、各店舗における顧客来店情報のみならず複数の店舗における顧客来店記録の収集と、統合的な管理を実現することが可能となる。   According to the above, it is possible to realize not only customer visit information at each store but also collection of customer visit records at a plurality of stores and integrated management.

ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。   Incidentally, the series of monitoring processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.

図22は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。   FIG. 22 shows a configuration example of a general-purpose personal computer. This personal computer incorporates a CPU (Central Processing Unit) 1001. An input / output interface 1005 is connected to the CPU 1001 via the bus 1004. A ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.

入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。   The input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, a program and various data. A storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like, and a communication unit 1009 for performing communication processing via a network represented by the Internet are connected. Also, a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor A drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.

CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。   The CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program. The RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。   In this specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series in the order described, but of course, it is not necessarily performed in time series. Or the process performed separately is included.

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

本発明を適用した監視システムの一実施の形態の構成を示す図である。It is a figure which shows the structure of one Embodiment of the monitoring system to which this invention is applied. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1のカメラの設置例を示す図である。It is a figure which shows the example of installation of the camera of FIG. 図1の入口カメラおよび店内カメラの設置例を示す図である。It is a figure which shows the example of installation of the entrance camera and shop camera of FIG. 図1の画像処理ユニットの構成例を説明する図である。It is a figure explaining the structural example of the image processing unit of FIG. 図1の生体情報認識装置の構成例を説明する図である。It is a figure explaining the structural example of the biometric information recognition apparatus of FIG. 図1の警備情報管理センタおよび警備情報管理DBの構成例を説明する図である。It is a figure explaining the structural example of the security information management center and security information management DB of FIG. 図1の携帯端末の構成例を説明する図である。It is a figure explaining the structural example of the portable terminal of FIG. 図1の遊技台管理装置の構成例を説明する図である。It is a figure explaining the structural example of the game machine management apparatus of FIG. 来店監視処理を説明するフローチャートである。It is a flowchart explaining a store visit monitoring process. 入退店者管理DBの構成例を説明する図である。It is a figure explaining the structural example of entrance / exit store management DB. 報知画像の表示例を説明する図である。It is a figure explaining the example of a display of an alerting | reporting image. 閉店支援処理を説明するフローチャートである。It is a flowchart explaining a closing support process. 報知画像の表示例を説明する図である。It is a figure explaining the example of a display of a notification image. 報知画像の表示例を説明する図である。It is a figure explaining the example of a display of an alerting | reporting image. 報知画像の表示例を説明する図である。It is a figure explaining the example of a display of an alerting | reporting image. 登録遊技者DB更新処理を説明するフローチャートである。It is a flowchart explaining a registration player DB update process. パーソナルコンピュータの構成例を説明する図である。And FIG. 11 is a diagram illustrating a configuration example of a personal computer.

符号の説明Explanation of symbols

1,1−1乃至1−n 遊技店
2 警備情報管理センタ
3 警備情報管理データベース
4 第3者遊技店管理センタ
5 第3者遊技店管理データベース
6 生体情報管理バス
7 第3者遊技店管理バス
8,9 公衆通信回線網
21 生体情報認識装置
22 生体情報データベース
24 遊技店管理装置
26 遊技台管理データベース
27 媒体貸出管理装置
29 媒体貸出管理データベース
30 遊技店管理情報バス
31 生体情報バス
33 精算機
34 貸出機
35 計数機
36,36−1乃至36−m 遊技台
37,37−1乃至37−m 遊技台周辺端末
38,38−1乃至38−m カメラ
39,39−1乃至39−(m+p+q) 画像処理ユニット
40,40−1乃至40−p 入口カメラ
41,41−1乃至41−q 店内カメラ
1, 1-1 to 1-n amusement store 2 security information management center 3 security information management database 4 third party amusement store management center 5 third party amusement store management database 6 biological information management bus 7 third party amusement store management bus 8, 9 Public communication network 21 Biometric information recognition device 22 Biometric information database 24 Game store management device 26 Game table management database 27 Medium lending management device 29 Medium lending management database 30 Amusement store management information bus 31 Biometric information bus 33 Settling machine 34 Lending machine 35 Counter 36,36-1 thru 36-m Game stand 37,37-1 thru 37-m Game stand peripheral terminal 38,38-1 thru 38-m Camera 39,39-1 thru 39- (m + p + q) Image processing unit 40, 40-1 to 40-p Entrance camera 41, 41-1 to 41-q In-store camera

Claims (6)

入店者の顔画像を蓄積する入店者蓄積手段と、
退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との類似度を計算し、照合する照合手段と、
前記照合手段の照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かを判定する類似度判定手段と、
前記類似度判定手段により前記退店者が前記入店者であると判定された場合、前記入店者蓄積手段に蓄積された入店者の顔画像に対応付けて退店者を登録する登録手段と、
閉店が指示された時刻において、前記蓄積手段に入店者の顔画像のみが蓄積されている顔画像を未退店者として通知する未退店者通知手段と
を含む監視装置。
Store store means for storing the store's face image;
Collating means for calculating and collating the similarity between the face image of the store clerk and the face image of the store entrant accumulated in the store accumulating means;
A similarity determination unit that determines whether the face image of the store clerk is the face image of the store clerk by comparing the similarity that is the collation result of the collation unit with a predetermined threshold;
When the similarity determination means determines that the store exit is the store visitor, registration for registering the store exit in association with the face image of the store visitor stored in the store entrance storage means Means,
A non-leaving store notification means for notifying a face image in which only the face image of a store clerk is stored in the storage means as a non-leaving store at a time when closing is instructed.
画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より、前記入店者、または前記退店者の顔画像を抽出する顔画像抽出手段と、
前記退店者の顔画像より特徴量を抽出する特徴量抽出手段とをさらに含み、
前記入店者蓄積手段は、前記顔画像抽出手段により抽出された入店者の顔画像を蓄積し、
前記照合手段は、前記顔画像抽出手段により抽出された退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との特徴量を用いて類似度を計算し、前記退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像とを照合する
請求項1に記載の監視装置。
An imaging means for capturing an image;
A face image extracting means for extracting a face image of the store clerk or the store clerk from an image captured by the image capturing means;
A feature amount extracting means for extracting a feature amount from the face image of the store clerk,
The store visitor storage means stores the store visitor's face image extracted by the face image extraction means,
The collation means calculates a similarity by using a feature amount between the face image of the store clerk extracted by the face image extraction means and the face image of the store keeper accumulated in the store visitor accumulation means. The monitoring device according to claim 1, wherein the face image of the store clerk and the face image of the store entrant accumulated in the store entrant accumulation unit are collated.
前記未退店者として判定された入店者の顔画像を居残り者の顔画像として蓄積する居残り者蓄積手段をさらに含む
請求項1に記載の監視装置。
The monitoring apparatus according to claim 1, further comprising a survivor accumulating unit that accumulates a face image of the store clerk determined as the unleaved person as a face image of the survivor.
前記照合手段は、さらに、前記入店者の顔画像と、前記居残り者蓄積手段に蓄積された居残り者の顔画像との類似度を計算して、照合し、
前記類似度判定手段は、さらに、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記入店者の顔画像が居残り者の顔画像であるか否かを判定し、
前記入店者が前記居残り者であると判定された場合、前記居残り者が入店者であることを通知する居残り者入店通知手段をさらに含む
請求項3に記載の監視装置。
The collation means further calculates and compares the similarity between the face image of the shopkeeper and the face image of the remnant stored in the remnant accumulation means,
The similarity determination unit further determines whether the face image of the store clerk is a face image of a survivor by comparing the similarity that is the collation result of the collation unit with a predetermined threshold value,
The monitoring apparatus according to claim 3, further comprising a resident entry notification unit that notifies that the resident is a resident if the resident is determined to be the resident.
入店者の顔画像を蓄積する入店者蓄積ステップと、
退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との類似度を計算し、照合する照合ステップと、
前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かを判定する類似度判定ステップと、
前記類似度判定ステップの処理により前記退店者が前記入店者であると判定された場合、前記入店者蓄積ステップの処理で蓄積された入店者の顔画像に対応付けて退店者を登録する登録ステップと、
閉店が指示された時刻において、前記蓄積手段に入店者の顔画像のみが蓄積されている顔画像を未退店者として通知する未退店者通知ステップと
を含む監視方法。
Store store step for storing store face images,
A collation step for calculating and collating the similarity between the face image of the store clerk and the face image of the store entrant accumulated in the store accumulating means;
A similarity determination step of determining whether or not the face image of the store clerk is the face image of the store clerk by comparing the similarity that is the result of the collation in the process of the collation step with a predetermined threshold; ,
When it is determined by the similarity determination step that the store clerk is the store entrant, the store clerk is associated with the store visitor's face image accumulated by the store entrant accumulation step. A registration step to register
A non-stored person notification step of notifying a face image in which only the face image of the store clerk is stored in the storage means as a non-stored person at the time when closing is instructed.
入店者の顔画像を蓄積する入店者蓄積ステップと、
退店者の顔画像と、前記入店者蓄積手段に蓄積された入店者の顔画像との類似度を計算し、照合する照合ステップと、
前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記退店者の顔画像が前記入店者の顔画像であるか否かを判定する類似度判定ステップと、
前記類似度判定ステップの処理により前記退店者が前記入店者であると判定された場合、前記入店者蓄積ステップの処理で蓄積された入店者の顔画像に対応付けて退店者を登録する登録ステップと、
閉店が指示された時刻において、前記蓄積手段に入店者の顔画像のみが蓄積されている顔画像を未退店者として通知する未退店者通知ステップと
を含む処理をコンピュータに実行させるプログラム。
Store store step for storing store face images,
A collation step for calculating and collating the similarity between the face image of the store clerk and the face image of the store entrant accumulated in the store accumulating means;
A similarity determination step of determining whether or not the face image of the store clerk is the face image of the store clerk by comparing the similarity that is the result of the collation in the process of the collation step with a predetermined threshold; ,
When it is determined by the similarity determination step that the store clerk is the store entrant, the store clerk is associated with the store visitor's face image accumulated by the store entrant accumulation step. A registration step to register
A program for causing a computer to execute a process including a non-leaving store notification step of notifying a face image in which only the face image of a store clerk is stored in the storage means as a non-leaving store at a time when closing is instructed. .
JP2006199377A 2006-07-21 2006-07-21 Monitoring device and method, and program Expired - Fee Related JP5035595B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006199377A JP5035595B2 (en) 2006-07-21 2006-07-21 Monitoring device and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006199377A JP5035595B2 (en) 2006-07-21 2006-07-21 Monitoring device and method, and program

Publications (2)

Publication Number Publication Date
JP2008023097A true JP2008023097A (en) 2008-02-07
JP5035595B2 JP5035595B2 (en) 2012-09-26

Family

ID=39114354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006199377A Expired - Fee Related JP5035595B2 (en) 2006-07-21 2006-07-21 Monitoring device and method, and program

Country Status (1)

Country Link
JP (1) JP5035595B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011111129A1 (en) * 2010-03-08 2011-09-15 株式会社日立国際電気 Image-search apparatus
WO2012090630A1 (en) * 2010-12-28 2012-07-05 オムロン株式会社 Monitoring apparatus, method and program
JP2013017850A (en) * 2012-10-29 2013-01-31 Sankyo Co Ltd Game system
EP3515064A4 (en) * 2017-09-28 2020-04-22 KYOCERA Document Solutions Inc. Monitor terminal device and display processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126829A (en) * 2002-10-01 2004-04-22 Casio Comput Co Ltd Visitor management system and its program
JP2004126992A (en) * 2002-10-03 2004-04-22 Casio Comput Co Ltd Entrance/exit management system and program
JP2006099486A (en) * 2004-09-29 2006-04-13 Toshiba Corp Entrance management system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126829A (en) * 2002-10-01 2004-04-22 Casio Comput Co Ltd Visitor management system and its program
JP2004126992A (en) * 2002-10-03 2004-04-22 Casio Comput Co Ltd Entrance/exit management system and program
JP2006099486A (en) * 2004-09-29 2006-04-13 Toshiba Corp Entrance management system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011111129A1 (en) * 2010-03-08 2011-09-15 株式会社日立国際電気 Image-search apparatus
WO2012090630A1 (en) * 2010-12-28 2012-07-05 オムロン株式会社 Monitoring apparatus, method and program
JP2012139350A (en) * 2010-12-28 2012-07-26 Omron Corp Monitoring device and method, and program
US9092663B2 (en) 2010-12-28 2015-07-28 Omron Corporation Monitoring apparatus, method, and program
JP2013017850A (en) * 2012-10-29 2013-01-31 Sankyo Co Ltd Game system
EP3515064A4 (en) * 2017-09-28 2020-04-22 KYOCERA Document Solutions Inc. Monitor terminal device and display processing method

Also Published As

Publication number Publication date
JP5035595B2 (en) 2012-09-26

Similar Documents

Publication Publication Date Title
JP5824806B2 (en) Facial image management device, facial image management method, and program
JP5617627B2 (en) Monitoring device and method, and program
JP2009003898A (en) Monitoring system, monitoring method, information processing device, and program
JP4924883B2 (en) Monitoring device and method, and program
JP2007328590A (en) Information processor, information processing method, monitoring system and program
JP2009000367A (en) Monitor, method and program
JP2007272604A (en) Information processor and information processing method, and program
JP5035595B2 (en) Monitoring device and method, and program
JP4919057B2 (en) Monitoring device and method, and program
JP5013172B2 (en) Information processing apparatus and method, and program
JP2001187249A (en) Player collation and confirmation system
JP2008085584A (en) Monitoring device and method, monitoring system, and program
JP5577729B2 (en) Monitoring device and method, and program
JP5401755B2 (en) Monitoring system and method, and program
JP2008040829A (en) Device and method for processing information, information processing system, and program
JP2008083944A (en) Monitor device and method, and program
JP4877005B2 (en) Monitoring device and method, and program
JP2012014568A (en) Monitoring apparatus and method, and program
JP5338178B2 (en) Monitoring device and method, and program
JP6852704B2 (en) Control device, recording medium management device, system, control method, and program
JP5678708B2 (en) Monitoring system, monitoring method and program
JP5853455B2 (en) Information processing apparatus and method, and program
JP4807291B2 (en) Monitoring device and method, monitoring system, and program
JP5294020B2 (en) Image processing apparatus and method, and program
JP2019072307A (en) Fraudulent person identification system and identification method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110922

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees