JP2009086932A

JP2009086932A - Image processor and image processing method, and program

Info

Publication number: JP2009086932A
Application number: JP2007254750A
Authority: JP
Inventors: Masataka Kimura; 雅孝木村; Akio Sakumiya; 明夫作宮; Michinori Sugiura; 充典杉浦
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2007-09-28
Filing date: 2007-09-28
Publication date: 2009-04-23
Anticipated expiration: 2027-09-28
Also published as: JP5082724B2

Abstract

PROBLEM TO BE SOLVED: To improve accuracy in collating a face image by obtaining a face image which is the optimal to collation of the face image. SOLUTION: A face image extraction part 202 of an image processor extracts the face image of a person to be collated from an image picked up by an entrance camera 40. A direction control part 241, a zoom control part 242 and an exposure control part 243 control the entrance camera 40 so as to change the image to be picked up. A proper face image determination part 203 determines whether or not the face image of the person is suitable for collation. When it is determined that the face image is not suitable for collation by the proper face image determination part 203, an adjusting part 43 causes the direction control part 241, the zoom control part 242, and the exposure control part 243 to control the entrance camera 40 so as to adjust the entrance camera 40. This invention many be applied to the monitoring system. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、人物の顔画像に基づいて、人物を監視する際、監視に使用される顔画像を最適な状態で撮像できるようにした画像処理装置および方法、並びにプログラムに関する。 The present invention relates to an image processing apparatus, method, and program, and more particularly to an image processing apparatus that can capture a face image used for monitoring in an optimal state when monitoring the person based on the face image of the person. And a method and a program.

カメラにて取得した画像データから人物の顔画像を取得した後に予め登録された人物の顔画像と取得した顔画像との各々の特徴量を抽出して照合する顔画像を用いた人物照合技術が提案されている（特許文献１参照）。 A human verification technique using a facial image for extracting and collating each feature amount of a facial image of a person registered in advance after acquiring a facial image of the person from image data acquired by a camera and the acquired facial image It has been proposed (see Patent Document 1).

特開２００５−２２７９５７号公報JP 2005-227957 A

ところで、上記の提案においては固定されたカメラにて取得した顔画像のトラッキング画像（同一の顔画像を追跡して連続的に得られる顔画像）を取得し、取得した顔画像の中から照合に適した顔画像を抽出して照合処理が実行されている。 By the way, in the above proposal, a tracking image of a facial image obtained by a fixed camera (a facial image obtained continuously by tracking the same facial image) is obtained, and collation is performed from the obtained facial images. A matching face image is extracted by extracting a suitable face image.

しかしながら、通常は撮像対象の人物がカメラに近づいてくるようにカメラを設置するが、カメラの設置条件によっては、撮像対象の人物が固定カメラの撮像範囲のうち最も距離の離れた位置にて撮像範囲内を通過してしまう場合がある。このような場合、取得される顔画像は撮像した画像に対して小さな画像となってしまい、取得された顔画像全体の画素数も少なくなってしまう為、取得された顔画像に基づいて抽出される特徴量も画素数に比例して少なくなってしまう。 However, the camera is usually installed so that the person to be imaged approaches the camera, but depending on the installation conditions of the camera, the person to be imaged is imaged at the farthest position within the imaging range of the fixed camera. It may pass through the range. In such a case, the acquired face image is smaller than the captured image, and the number of pixels of the entire acquired face image is also reduced. Therefore, the acquired face image is extracted based on the acquired face image. The feature amount is also reduced in proportion to the number of pixels.

このため、特徴量が少なくなることにより、照合情報が少なくなり、結果として、照合精度を低下させてしまう恐れがあった。 For this reason, there is a possibility that collation information is reduced due to a decrease in the feature amount, resulting in a decrease in collation accuracy.

また、デジタル画像処理において、取得される顔画像の大きさを拡大しても、取得時の画素数自体を増やすことができないため、単純な拡大処理では、不鮮明な顔画像となってしまい、結果として、照合に不適切な顔画像となり、照合精度を低下させてしまう恐れがあった。 In digital image processing, even if the size of the acquired face image is enlarged, the number of pixels at the time of acquisition cannot be increased. Therefore, simple enlargement processing results in an unclear face image. As a result, the face image is inappropriate for collation, and the collation accuracy may be reduced.

さらに、画像処理により顔画像をシャープにした場合（先鋭化した場合）、オリジナルの顔画像と異なる特徴量により顔画像が照合されてしまう恐れがあり、やはり顔画像による照合精度を低下させてしまう恐れがあった。 Furthermore, when the face image is sharpened by image processing (when sharpened), the face image may be collated with a feature amount different from that of the original face image, which also reduces the collation accuracy by the face image. There was a fear.

また、取得された画像の輝度が低く、例えば、均一の場合、特徴量が十分に得られず、やはり、顔画像による照合精度を低下させてしまう恐れがあった。 Further, when the acquired image has a low luminance, for example, it is uniform, a sufficient amount of features cannot be obtained, and there is a possibility that the accuracy of collation with the face image is also lowered.

本発明はこのような状況に鑑みてなされたものであり、顔画像による照合に最適な顔画像が撮像できるようにすることで、顔画像による照合精度を向上させるものである。 The present invention has been made in view of such a situation, and improves the accuracy of collation using a face image by allowing a face image optimal for collation using a face image to be captured.

本発明の一側面の画像処理装置は、画像を撮像する撮像手段と、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段と、撮像される画像を変化させるように前記撮像手段を制御する制御手段と、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段と、前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整手段とを含む。 An image processing apparatus according to an aspect of the present invention includes an imaging unit that captures an image, a face image extraction unit that extracts a face image of the person to be collated from the image captured by the imaging unit, and changes the captured image. Control means for controlling the imaging means to determine whether the face image of the collation target person is suitable for collation between the face image of the collation target person and the accumulated face image of the accumulator Determining means for adjusting, and adjusting means for adjusting by the control means to adjust the imaging means based on the face image when the determining means determines that it is not suitable for collation.

前記調整手段には、前記撮像手段の撮像方向を調整する撮像方向調整手段と、前記撮像手段のズーム倍率を調整するズーム調整手段と、前記撮像手段の露光量を調整する露光手段とを含ませるようにすることができる。 The adjusting unit includes an imaging direction adjusting unit that adjusts an imaging direction of the imaging unit, a zoom adjusting unit that adjusts a zoom magnification of the imaging unit, and an exposure unit that adjusts an exposure amount of the imaging unit. Can be.

前記判定手段には、前記照合対象者の顔画像の解像度が所定の画素数より大きいか否か、または、前記照合対象者の顔画像の輝度が所定の範囲内にあるか否かに基づいて、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定させるようにすることができる。 The determination means is based on whether the resolution of the face image of the person to be collated is greater than a predetermined number of pixels or whether the brightness of the face image of the person to be collated is within a predetermined range. It is possible to determine whether or not the face image of the person to be collated is suitable for collation with the accumulated face image of the accumulator.

前記蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段と、前記照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定し、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する照合手段とをさらに含む Accumulating means for accumulating the accumulator face image in the accumulator database; acquiring the face image of the person to be collated; the acquired face image of the person to be collated; and the face of the accumulator accumulated in the accumulating means The similarity with the image is calculated and collated, and it is determined whether or not the face image of the person to be collated is the face image of the accumulator by comparing the similarity as a collation result with a predetermined threshold value. And a collation unit for notifying that the collation target person is the accumulator when it is determined that the collation target person's face image is the accumulator face image.

本発明の一側面の画像処理方法は、画像を撮像する撮像手段を含む画像処理装置の画像処理方法であって、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整ステップとを含む。 An image processing method according to an aspect of the present invention is an image processing method of an image processing apparatus including an image pickup unit that picks up an image, and a face for extracting a face image of a person to be collated from an image picked up by the image pickup unit An image extraction step, a control step for controlling the imaging means so as to change a captured image, a face image of the person to be collated, a face image of the person to be collated, and a face image of the accumulated person By the control means to adjust the imaging means based on the face image when it is determined by the determination step that it is not suitable for collation. An adjustment step for adjusting.

本発明の一側面のプログラムは、画像を撮像する撮像手段を含む画像処理装置を制御するコンピュータに、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップと、撮像される画像を変化させるように前記撮像手段を制御する制御ステップと、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップと、前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により調整させる調整ステップとを含む処理を画像処理装置を制御するコンピュータに実行させる。 A program according to one aspect of the present invention includes a face image extraction step of extracting a face image of a person to be collated from an image captured by the image capturing unit to a computer that controls an image processing apparatus including an image capturing unit that captures an image. A control step of controlling the imaging means so as to change an image to be captured; and the face image of the person to be collated is used for collation with the face image of the person to be collated and the face image of the accumulated person A determination step for determining whether or not it is suitable; and an adjustment step for adjusting by the control means to adjust the imaging means based on the face image when it is determined by the determination step that it is not suitable for collation. And a computer that controls the image processing apparatus.

本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像が撮像され、撮像された画像より、照合対象者の顔画像が抽出され、撮像される画像が変化されるように制御され、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かが判定され、照合に適していないと判定された場合、前記顔画像に基づいて、撮像される顔画像が、撮像される顔画像と、蓄積された蓄積者の顔画像との照合に適するように、制御されるように調整される。 In the image processing apparatus, method, and program according to one aspect of the present invention, an image is captured, and the face image of the person to be collated is extracted from the captured image, and the captured image is controlled to be changed. When it is determined whether or not the face image of the person to be collated is suitable for collation between the face image of the person to be collated and the accumulated face image of the accumulator, and it is determined that the face image is not suitable for collation Based on the face image, the face image to be picked up is adjusted to be controlled so as to be suitable for collation between the face image to be picked up and the accumulated face image of the accumulator.

本発明の一側面の画像処理装置における、画像を撮像する撮像手段は、例えば、入口カメラであり、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、顔画像抽出部であり、撮像される画像を変化させるように前記撮像手段を制御する制御手段とは、例えば、方向制御部、ズーム制御部、および露光制御部であり、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段とは、適正顔画像判定部であり、前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により制御させる調整手段とは、例えば、調整部である。 In the image processing apparatus according to one aspect of the present invention, the image capturing unit that captures an image is, for example, an entrance camera, and a face image extracting unit that extracts a face image of the person to be collated from the image captured by the image capturing unit. Is a face image extraction unit, for example, and the control unit that controls the imaging unit to change a captured image is, for example, a direction control unit, a zoom control unit, and an exposure control unit, and the collation The determination means for determining whether or not the face image of the subject is suitable for collation between the face image of the person to be collated and the accumulated face image of the accumulator is a proper face image determination unit, For example, the adjustment unit that is controlled by the control unit so as to adjust the imaging unit based on the face image when the determination unit determines that it is not suitable for collation is an adjustment unit.

すなわち、入口カメラにより撮像された照合対象者の顔画像が、蓄積された蓄積者の顔画像との照合に適していないと判定された場合、調整部により入口カメラの方向制御部、ズーム制御部、および露光制御部が調整されて、入口カメラの撮像方向、ズーム倍率、および露光が制御されることにより、入口カメラにより撮像される顔画像が調整されて、照合対象者の顔画像が、蓄積された蓄積者の顔画像との照合に適した顔画像とされるので、顔画像による照合精度を向上させることが可能となる。 That is, when it is determined that the face image of the person to be collated captured by the entrance camera is not suitable for collation with the accumulated face image of the accumulator, the adjustment unit performs a direction control unit and a zoom control unit of the entrance camera. And the exposure control unit is adjusted to control the imaging direction, zoom magnification, and exposure of the entrance camera, so that the face image captured by the entrance camera is adjusted and the face image of the person to be collated is accumulated. Since the face image is suitable for collation with the accumulated face image of the accumulator, the collation accuracy by the face image can be improved.

本発明によれば、撮像される顔画像が照合に適した顔画像とすることが可能となり、顔画像による照合精度を向上させることが可能となる。 According to the present invention, the captured face image can be a face image suitable for collation, and the collation accuracy by the face image can be improved.

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between the configuration requirements of the present invention and the embodiments described in the detailed description of the present invention are exemplified as follows. This description is to confirm that the embodiments supporting the present invention are described in the detailed description of the invention. Accordingly, although there are embodiments that are described in the detailed description of the invention but are not described here as embodiments corresponding to the constituent elements of the present invention, It does not mean that the embodiment does not correspond to the configuration requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.

すなわち、本発明の一側面の画像処理装置は、画像を撮像する撮像手段（例えば、図２の入口カメラ４０）と、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出手段（例えば、図３の顔画像抽出部２０２）と、撮像される画像を変化させるように前記撮像手段を制御する制御手段（例えば、図３の方向制御部２４１、ズーム制御部２４２、および露光制御部２４３）と、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定手段（例えば、図３の適正顔画像判定部２０３）と、前記判定手段により照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により制御させる調整手段（例えば、図３の調整部４３）とを含む。 That is, the image processing apparatus according to one aspect of the present invention extracts a face image of a person to be collated from an imaging unit that captures an image (for example, the entrance camera 40 in FIG. 2) and an image captured by the imaging unit. Face image extraction means (for example, the face image extraction section 202 in FIG. 3) and control means (for example, the direction control section 241 and the zoom control section 242 in FIG. 3) that control the imaging means to change the image to be captured. And an exposure control unit 243) and a determination unit that determines whether the face image of the person to be collated is suitable for collation between the face image of the person to be collated and the accumulated face image of the person to be accumulated ( For example, when it is determined by the appropriate face image determination unit 203) of FIG. 3 and the determination means that the image is not suitable for collation, the control means controls the image pickup means to adjust based on the face image. Adjusting hand (E.g., adjusting unit 43 of FIG. 3) and a.

前記調整手段（例えば、図３の調整部４３）には、前記撮像手段の撮像方向を調整する撮像方向調整手段（例えば、図３の方向移動部２２１）と、前記撮像手段のズーム倍率を調整するズーム調整手段（例えば、図３のズーム調整部２２２）と、前記撮像手段の露光量を調整する露光手段（例えば、図３の露光調整部２２３）とを含ませるようにすることができる。 The adjustment unit (for example, the adjustment unit 43 in FIG. 3) includes an imaging direction adjustment unit (for example, the direction moving unit 221 in FIG. 3) that adjusts the imaging direction of the imaging unit, and adjusts the zoom magnification of the imaging unit. It is possible to include a zoom adjusting unit (for example, the zoom adjusting unit 222 in FIG. 3) and an exposure unit (for example, the exposure adjusting unit 223 in FIG. 3) for adjusting the exposure amount of the imaging unit.

前記判定手段（例えば、図３の適正顔画像判定部２０３）には、前記照合対象者の顔画像の解像度が所定の画素数より大きいか否か、または、前記照合対象者の顔画像の輝度が所定の範囲内にあるか否かに基づいて、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定させるようにすることができる。 The determination means (for example, the appropriate face image determination unit 203 in FIG. 3) determines whether the resolution of the face image of the verification target person is greater than a predetermined number of pixels or the brightness of the face image of the verification target person. It is possible to determine whether or not it is suitable for collation between the face image of the person to be collated and the accumulated face image of the accumulator based on whether or not is within a predetermined range.

前記蓄積者の顔画像を蓄積者データベースに蓄積する蓄積手段（例えば、図１の生体情報データベース２２）と、前記照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定し、前記照合対象者の顔画像が前記蓄積者の顔画像であると判定された場合、前記照合対象者が前記蓄積者であることを通知する照合手段（例えば、図１の生体情報認識装置２１）とをさらに含む Accumulating means for accumulating the accumulator face image in the accumulator database (for example, the biometric information database 22 in FIG. 1), acquiring the face image of the collation target person, and the acquired face image of the collation target person; The similarity with the face image of the accumulator accumulated in the accumulation means is calculated and collated, and the face image of the person to be collated is compared with the predetermined threshold by comparing the similarity as a collation result with a predetermined threshold value. A collation means for determining whether the collation target person is the accumulator when it is determined that the collation target person's face image is the accumulator face image. (For example, the biological information recognition apparatus 21 in FIG. 1).

本発明の一側面の画像処理方法は、画像を撮像する撮像手段を含む画像処理装置の画像処理方法であって、前記撮像手段により撮像された画像より、照合対象者の顔画像を抽出する顔画像抽出ステップ（例えば、図４のステップＳ３）と、撮像される画像を変化させるように前記撮像手段を制御する制御ステップ（例えば、図４のステップＳ３４）と、前記照合対象者の顔画像が、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との照合に適しているか否かを判定する判定ステップ（例えば、図４のステップＳ６，Ｓ９）と、前記判定ステップにより照合に適していないと判定された場合、前記顔画像に基づいて、前記撮像手段を調整するように前記制御手段により制御させる調整ステップ（例えば、図４のステップＳ３３，Ｓ３６，Ｓ３９）とを含む。 An image processing method according to an aspect of the present invention is an image processing method of an image processing apparatus including an image pickup unit that picks up an image, and a face for extracting a face image of a person to be collated from an image picked up by the image pickup unit An image extraction step (for example, step S3 in FIG. 4), a control step (for example, step S34 in FIG. 4) for controlling the image capturing means so as to change the captured image, and the face image of the person to be collated A determination step (for example, steps S6 and S9 in FIG. 4) for determining whether or not the face image of the person to be collated is suitable for collation with the accumulated face image of the accumulator, and collation by the determination step Adjustment steps (for example, steps S33 and S36 in FIG. 4) that are controlled by the control means to adjust the imaging means based on the face image. S39) and a.

図１は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。 FIG. 1 is a diagram showing a configuration of an embodiment of a game shop monitoring system according to the present invention.

遊技店１−１乃至１−ｎは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店１−１乃至１−ｎは、系列店舗または生体情報管理センタや第３者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店１−１乃至１−ｎは、生体情報管理バス６および第３者遊技店管理バス７により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網８，９を介して、相互にそれぞれ生体情報、および第３者遊技店管理情報を授受している。尚、以降において、遊技店１−１乃至１−ｎのそれぞれについて、特に区別する必要がない場合、単に、遊技店１と称するものとし、その他の構成についても同様に称するものとする。 The game stores 1-1 to 1-n are so-called pachinko stores, pachislot stores, or casino stores. These amusement stores 1-1 to 1-n are affiliated stores or member stores of the biometric information management center or the third party amusement store management center, and stores that need to manage a plurality of stores in an integrated manner. It is. The game stores 1-1 to 1-n are connected by a biological information management bus 6 and a third-party game store management bus 7, and the public communication line networks 8 and 9 represented by the bus and the Internet are used. Via each other, biological information and third-party amusement store management information are exchanged. In the following description, when there is no particular need to distinguish each of the game stores 1-1 to 1-n, the game store 1 is simply referred to, and the other configurations are also referred to in the same manner.

生体情報管理バス６は、主に各遊技店１の生体情報認識装置２１により管理される生体情報を流通させるための伝送路として機能する。また、第３者遊技店管理バス７は、主に各遊技店１の媒体貸出管理装置２７により管理される媒体貸出管理情報を流通させるための伝送路として機能する。 The biometric information management bus 6 mainly functions as a transmission path for distributing biometric information managed by the biometric information recognition device 21 of each game store 1. The third-party game store management bus 7 functions as a transmission path for distributing medium lending management information managed mainly by the medium lending management device 27 of each amusement store 1.

生体情報管理センタ２は、生体情報管理センタを管理運営する事業者により使用されるサーバであり、生体情報管理データベース（以降、DBとも称するものとする）３で管理されている登録遊技者DBを各遊技店１により生成される未登録遊技者DBに基づいて更新すると供に、更新した最新の登録遊技者DBを各遊技店１の生体情報認識装置２１に対して配信する。 The biometric information management center 2 is a server used by a business operator who manages and operates the biometric information management center. The registered player DB managed by the biometric information management database (hereinafter also referred to as DB) 3 is stored in the biometric information management center 2. In addition to updating based on the unregistered player DB generated by each gaming store 1, the updated updated registered player DB is distributed to the biometric information recognition device 21 of each gaming store 1.

第３者遊技店管理センタ４は、第３者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第３者遊技店管理データベース（DB）５で管理されている媒体貸出管理情報からなるDBを各遊技店１より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店１の媒体貸出管理装置２７に対して配信する。 The third-party amusement store management center 4 is a server used by a business operator that manages and operates the third-party amusement store management center, and the medium lending management managed by the third-party amusement store management database (DB) 5 In addition to updating the information DB based on the information supplied from each game store 1, the updated latest medium lending management information is distributed to the medium lending management device 27 of each game store 1.

生体情報認識装置２１は、カメラ３８−１乃至３８−ｍ、入口カメラ４０−１乃至４０−ｐ、および店内カメラ４１−１乃至４１−ｑにより撮像された画像より画像処理ユニット３９−１乃至３９−ｍ、および４２−１乃至４２−（ｐ＋ｑ）により抽出されて、生体情報バス３１を介して供給されてくる顔画像の情報に基づいて、生体情報データベース２２に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末２０に通知したり、CRT（Cathode Ray Tube）またはLCD（Liquid Crystal Display）などからなる表示部２３に表示する。また、生体情報データベース２２に予め登録されている顔画像と照合し、一致しない場合、生体情報認識装置２１は、生体情報管理データベース３にアクセスし、未登録者として未登録遊技者DBに登録する。 The biometric information recognition apparatus 21 includes image processing units 39-1 to 39 based on images captured by the cameras 38-1 to 38-m, the entrance cameras 40-1 to 40-p, and the in-store cameras 41-1 to 41-q. -M, and 42-1 to 42- (p + q), and face images registered in advance in the biological information database 22 based on the facial image information supplied via the biological information bus 31. If they match, the registered player's visit to the mobile terminal 20 is notified or displayed on the display unit 23 such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display). Further, when the face image registered in the biometric information database 22 is collated and does not match, the biometric information recognition device 21 accesses the biometric information management database 3 and registers it as an unregistered player in the unregistered player DB. .

画像処理ユニット３９と画像処理ユニット４２とは、基本的に同様の機能を備えるが、画像処理ユニット４２−１乃至４２−（ｐ＋ｑ）は、さらに、それぞれ調整部４３−１乃至４３−（ｐ＋ｑ）と共に連携して、入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑの撮像方向、ズーム、および露光を調整する。 The image processing unit 39 and the image processing unit 42 basically have the same functions, but the image processing units 42-1 to 42- (p + q) further have adjustment units 43-1 to 43- (p + q), respectively. In cooperation with them, the imaging direction, zoom, and exposure of the entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q are adjusted.

遊技店管理装置２４は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス３０を介して遊技台３６−１乃至３６−ｍの動作を監視している。遊技店管理装置２４は、遊技台３６の出玉もしくはメダルの払い出しの情報、各遊技台３６−１乃至３６−ｍの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果をCRTやLCDなどからなる表示部２５に表示する。遊技店管理装置２４は、計数機３５、遊技台３６−１乃至３６−ｍ、および遊技台周辺端末３７−１乃至３７−ｍのそれぞれより供給されてくる情報を、それぞれを識別する識別情報（例えば、遊技台番号）とを対応付けて遊技台管理データベース２６により管理する。 The game store management device 24 is a so-called hall computer, and monitors the operations of the game machines 36-1 to 36-m via the game store management information bus 30. The game store management device 24 determines a predetermined amount according to the monitoring status such as information on the payout of the game table 36 or the payout of medals, the call information of the players on the game tables 36-1 to 36-m, or the occurrence of an error. The execution result is executed, and the execution result is displayed on the display unit 25 such as a CRT or LCD. The game store management device 24 identifies information supplied from the counter 35, the game machines 36-1 to 36-m, and the game machine peripheral terminals 37-1 to 37-m, respectively. For example, it is managed by the gaming machine management database 26 in association with the gaming machine number.

媒体貸出管理装置２７は、精算販売機３３、および貸出機３４からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース２９を用いて管理すると供に、媒体貸出管理データベース２９に登録されている媒体貸出管理情報を更新する際、その更新情報を、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４に送る。さらに、媒体貸出管理装置２７は、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース２９に蓄積させる。 The medium lending management device 27 manages the medium lending management information of the rented game media using the medium lending management database 29 based on the information from the payment machine 33 and the lending machine 34, and also the medium lending management database. When the medium lending management information registered in 29 is updated, the updated information is sent to the third party amusement store management center 4 via the third party amusement store management bus 7 and the public communication line network 9. Further, the medium lending management device 27 acquires the medium lending management information supplied by the third party amusement store management center 4 via the third party amusement store management bus 7 and the public communication line network 9, and manages the medium lending management. Store in the database 29.

貸出機３４は、遊技者が遊技台３６で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機３４は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置２７に供給する。これにより、媒体貸出管理装置２７は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース２９に登録する。 The lending machine 34 lends a number of game media according to the amount when the player accepts a predetermined amount by cash or a prepaid card when playing on the gaming table 36. At this time, the lending machine 34 supplies information on the number of lent gaming media to the medium lending management device 27 together with information such as the accepted cash and the remaining number of prepaid cards. Thereby, the medium lending management device 27 registers information on the number of lent gaming media in the medium lending management information database 29 together with information such as the received cash and the remaining number of prepaid cards.

精算販売機３３は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機３３は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置２７に供給する。また、精算販売機３３は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機３３は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置２７に供給する。 The checkout machine 33 sells prepaid cards with a frequency for borrowing a ball. At this time, the checkout machine 33 supplies the frequency of the prepaid card sold and the amount paid to the medium lending management device 27. Further, the settlement vending machine 33 settles and pays out cash based on the remaining number of game media lent as a frequency such as a prepaid card. At this time, the checkout machine 33 supplies the remaining number of prepaid cards and the amount of cash refunded to the medium lending management device 27.

計数機３５は、遊技者が遊技台３６により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。 The counter 35 counts the number of game media acquired by the player playing on the game table 36, and outputs the counting result as a magnetic card or a receipt.

遊技台３６−１乃至３６−ｍは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。 The game machines 36-1 to 36-m execute a game when a predetermined operation is performed by the player, and pay out a game ball or a medal according to a so-called small hit or big hit.

遊技台周辺端末３７−１乃至３７−ｍは、各遊技台３６−１乃至３６−ｍに対応して設けられている、いわゆる台間機であり、台間球貸機（原理的には、貸出機３４と同様のもの）などが設けられている。また、遊技台周辺端末３７は、遊技台３６を遊技する遊技者の顔画像などの生体情報を取得し、遊技台識別情報（遊技台番号）と共に生体情報認識装置２１に送信する。尚、図１においては、生体情報を取得する機能として、遊技者の顔画像を取得するカメラ３８−１乃至３８−ｍが設けられている例が示されている。 The game console peripheral terminals 37-1 to 37-m are so-called pedestrian machines provided corresponding to the respective game machines 36-1 to 36-m. The same as the lending machine 34) is provided. Further, the gaming machine peripheral terminal 37 acquires biological information such as a face image of the player who plays the gaming machine 36 and transmits it to the biological information recognition device 21 together with the gaming machine identification information (game machine number). FIG. 1 shows an example in which cameras 38-1 to 38-m that acquire a player's face image are provided as a function of acquiring biometric information.

入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、遊技店１の店内における出入口および所定の場所に設置され、撮像した画像をそれぞれ画像処理ユニット４２−１乃至４２−（ｐ＋ｑ）に供給する。 The entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q are installed at entrances and predetermined places in the store of the amusement store 1, and the captured images are respectively image processing units 42-1 to 42-. (P + q).

入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑは、例えば、図２で示されるように設定される。図２は、遊技店１内の入口カメラ４０−１乃至４０−ｐおよび店内カメラ４１−１乃至４１−ｑの設置例を示している。 The entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q are set as shown in FIG. 2, for example. FIG. 2 shows an installation example of the entrance cameras 40-1 to 40-p and the in-store cameras 41-1 to 41-q in the game store 1.

すなわち、図２においては、出入口１１２−１乃至１１２−３が設けられており、入口カメラ４０−１乃至４０−３は、それぞれの出入口１１２より入店してくる遊技者を撮像する。また、店内カメラ４１−１乃至４１−１０は、島設備１１１−１乃至１１１−５のそれぞれ両面をそれぞれ一列に渡って撮像できる位置に設定されている。島設備１１１は、両面に遊技台３６が設置されており、すなわち、図中の島設備１１１を上下方向に挟むように設置されている。入口カメラ４０および店内カメラ４１は、いずれにおいてもパンチルトズーム機能を備えているため、図２で示されるように、店内カメラ４１−１乃至４１−１０が配置されることにより、遊技台３６で遊技する全遊技者が、店内カメラ４１−１乃至４１−１０のいずれかで撮像できる。 That is, in FIG. 2, entrances 112-1 to 112-3 are provided, and the entrance cameras 40-1 to 40-3 image players who enter the store through the respective entrances and exits 112. Further, the in-store cameras 41-1 to 41-10 are set at positions at which both surfaces of the island facilities 111-1 to 111-5 can be imaged in a row. The island facilities 111 are provided with game machines 36 on both sides, that is, so as to sandwich the island facilities 111 in the vertical direction in the figure. Since both the entrance camera 40 and the in-store camera 41 have a pan / tilt / zoom function, the in-store cameras 41-1 to 41-10 are arranged as shown in FIG. All the players can take an image with any of the in-store cameras 41-1 to 41-10.

さらに、店内カメラ４１−ａは、貸出機３４の前に設けられており、店内カメラ４１−ｂは、精算販売機３３の前に設けられており、店内カメラ４１−ｃは、計数機３５の前に設けられており、それぞれ、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者を撮像することができる。 Furthermore, the in-store camera 41-a is provided in front of the lending machine 34, the in-store camera 41-b is provided in front of the checkout machine 33, and the in-store camera 41-c is the counter of the counter 35. It is provided in front, and a player who uses the rental machine 34, the checkout machine 33, and the counter 35 can be imaged.

すなわち、図２で示されるように、遊技店１においては、来店する遊技者、遊技台３６で遊技する遊技者、並びに、貸出機３４、精算販売機３３、および計数機３５を利用する遊技者といった、遊技店１において遊技者が取るであろうことが想定される行動のほぼ全てを監視できるように、入口カメラ４０、および店内カメラ４１が設置されている。 That is, as shown in FIG. 2, in the game store 1, a player who visits the store, a player who plays on the game stand 36, and a player who uses the lending machine 34, the checkout machine 33, and the counter 35. The entrance camera 40 and the in-store camera 41 are installed so that almost all of the actions that the player is supposed to take in the gaming store 1 can be monitored.

次に、図３を参照して、入口カメラ４０（または店内カメラ４１）、画像処理ユニット４２、および調整部４３の構成例について説明する。 Next, a configuration example of the entrance camera 40 (or the in-store camera 41), the image processing unit 42, and the adjustment unit 43 will be described with reference to FIG.

入口カメラ４０（または店内カメラ４１）は、方向制御部２４１、ズーム制御部２４２、および露光制御部２４３を備えており、方向制御部２４１により制御された方向に対して、ズーム制御部２４２に対して設定されたズーム倍率、すなわち拡大縮小倍率で、かつ、露光制御部２４３により制御された絞り（露光量）で、図２で設置された状態で撮像可能な範囲を撮像し、撮像した画像を画像処理ユニット４２に供給する。方向制御部２４１は、調整部４３より供給されてくる調整量に基づいて、入口カメラ４０（または店内カメラ４１）の撮像方向（パン・チルト）を制御する。ズーム制御部２４２は、調整部４３より供給されてくる調整量に基づいて、入口カメラ４０（または店内カメラ４１）のズーム倍率を制御する。露光制御部２４２は、調整部４３より供給されてくる調整量に基づいて、入口カメラ４０（または店内カメラ４１）の絞り（露光量）を制御する。 The entrance camera 40 (or in-store camera 41) includes a direction control unit 241, a zoom control unit 242, and an exposure control unit 243. The direction control unit 241 controls the zoom control unit 242 with respect to the direction controlled by the direction control unit 241. 2 is captured with the zoom magnification set in FIG. 2, that is, the enlargement / reduction magnification, and the aperture (exposure amount) controlled by the exposure control unit 243, and the captured image is captured in the state set in FIG. This is supplied to the image processing unit 42. The direction control unit 241 controls the imaging direction (pan / tilt) of the entrance camera 40 (or the in-store camera 41) based on the adjustment amount supplied from the adjustment unit 43. The zoom control unit 242 controls the zoom magnification of the entrance camera 40 (or the in-store camera 41) based on the adjustment amount supplied from the adjustment unit 43. The exposure control unit 242 controls the aperture (exposure amount) of the entrance camera 40 (or the in-store camera 41) based on the adjustment amount supplied from the adjustment unit 43.

画像処理ユニット４２の画像取得部２０１は、入口カメラ４０（または店内カメラ４１）により撮像された画像を取得し、顔画像抽出部２０２に供給する。顔画像抽出部２０２は、画像取得部２０１より供給されてきた画像内に、顔を構成する部位の配置などのパターンにより顔画像からなる矩形画像を抽出して、適正顔画像判定部２０３に供給する。 The image acquisition unit 201 of the image processing unit 42 acquires an image captured by the entrance camera 40 (or the in-store camera 41) and supplies it to the face image extraction unit 202. The face image extraction unit 202 extracts a rectangular image including a face image from the image supplied from the image acquisition unit 201 using a pattern such as the arrangement of the parts constituting the face, and supplies the extracted rectangular image to the appropriate face image determination unit 203. To do.

適正顔画像判定部２０３は、サイズ判定部２０３ａおよび輝度判定部２０３ｂを備えており、顔画像抽出部２０２より供給されてくる顔画像を追従すると共に、サイズ判定部２０３ａを制御して、顔画像のサイズが照合に適正であるか否か、および、輝度判定部２０３ｂを制御して、顔画像の輝度情報から顔画像が照合に適正であるか否かを判定する。そして、適正顔画像判定部２０３は、顔画像が照合に適正であると判定した場合、顔画像を送信部２０５に供給し、顔画像が照合に適正ではないと判定した場合、顔画像を調整データ生成部２０４に供給する。 The appropriate face image determination unit 203 includes a size determination unit 203a and a luminance determination unit 203b, follows the face image supplied from the face image extraction unit 202, and controls the size determination unit 203a to control the face image. Whether or not the face image is appropriate for matching and the brightness determination unit 203b is controlled to determine whether or not the face image is appropriate for matching from the luminance information of the face image. When the face image determination unit 203 determines that the face image is appropriate for collation, the face image is supplied to the transmission unit 205, and when it is determined that the face image is not suitable for collation, the face image is adjusted. The data is supplied to the data generation unit 204.

調整データ生成部２０４は、エリア計算部２０４ａおよび露光調整レベル計算部２０４ｂを備えており、照合に適していない顔画像に基づいて、顔画像のサイズが照合に適正でない場合、エリア計算部２０４ａを制御して、顔画像を取得する上で必要とされる、入口カメラ４０（または店内カメラ４１）で撮像される画像内のエリアを計算し、調整データとして調整部４３に供給すると共に、この調整データに基づいた入口カメラ４０（または店内カメラ４１）の調整を指示する。また、調整データ生成部２０４は、照合に適していない顔画像に基づいて、顔画像の輝度が照合に適正でない場合、露光調整レベル計算部２０４ｂを制御して、顔画像の輝度が照合に対して適正になるように、入口カメラ４０（または店内カメラ４１）の撮影で必要とされる露光量を計算し、調整データとして調整部４３に供給すると共に、この調整データに基づいた入口カメラ４０（または店内カメラ４１）の調整を指示する。 The adjustment data generation unit 204 includes an area calculation unit 204a and an exposure adjustment level calculation unit 204b. If the size of the face image is not appropriate for collation based on the face image that is not suitable for collation, the area calculation unit 204a is selected. The area in the image captured by the entrance camera 40 (or the in-store camera 41) necessary for controlling and acquiring the face image is calculated and supplied to the adjustment unit 43 as adjustment data, and this adjustment is performed. The adjustment of the entrance camera 40 (or in-store camera 41) based on the data is instructed. In addition, the adjustment data generation unit 204 controls the exposure adjustment level calculation unit 204b based on the face image that is not suitable for collation, and controls the exposure adjustment level calculation unit 204b so that the brightness of the face image corresponds to the collation. So that the exposure amount required for photographing by the entrance camera 40 (or the in-store camera 41) is calculated and supplied to the adjustment unit 43 as adjustment data, and the entrance camera 40 (based on the adjustment data) Or, it instructs the adjustment of the in-store camera 41).

送信部２０５は、照合に適していると判定された顔画像を生体情報認識装置２１に送信する。これにより生体情報認識装置２１は、照合対象者の顔画像を取得し、取得された照合対象者の顔画像と、生体情報データベース２２に蓄積された蓄積者の顔画像との類似度を計算して、照合し、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が蓄積者の顔画像であるか否かを判定し、照合対象者の顔画像が蓄積者の顔画像であると判定された場合、照合対象者が蓄積者であることを通知する。 The transmission unit 205 transmits the face image determined to be suitable for collation to the biometric information recognition device 21. Thereby, the biometric information recognition device 21 acquires the face image of the person to be collated, and calculates the similarity between the acquired face image of the person to be collated and the face image of the accumulator stored in the biometric information database 22. The collation result is compared with a predetermined threshold value to determine whether or not the face image of the person to be collated is the face image of the accumulator, and the face image of the person to be collated is stored. If it is determined that the person's face image, the user is notified that the person to be collated is an accumulator.

調整部４３は、方向移動部２２１、ズーム調整部２２２、および露光調整部２２３を備えており、画像処理ユニット４２より供給されてくる調整データに基づいて、入口カメラ４０（または、店内カメラ４１）の調整量を計算し、入口カメラ４０（または、店内カメラ４１）に供給する。より詳細には、調整部４３は、画像処理ユニット４２より供給されてくる調整データとして、撮像される画像内のエリアの情報が供給された場合、方向移動部２２１を制御して、指定されたエリアに正対するように入口カメラ４０（または店内カメラ４１）の撮像方向を移動させるための移動調整量を、移動量計算部２２１ａを利用して計算させ、計算結果となる移動調整量を入口カメラ４０（または店内カメラ４１）に供給する。 The adjustment unit 43 includes a direction moving unit 221, a zoom adjustment unit 222, and an exposure adjustment unit 223. Based on the adjustment data supplied from the image processing unit 42, the entrance camera 40 (or the in-store camera 41). The adjustment amount is calculated and supplied to the entrance camera 40 (or the in-store camera 41). More specifically, the adjustment unit 43 controls the direction moving unit 221 to specify the adjustment data supplied from the image processing unit 42 when the area information in the image to be captured is supplied. The movement adjustment amount for moving the imaging direction of the entrance camera 40 (or the in-store camera 41) so as to face the area is calculated using the movement amount calculation unit 221a, and the movement adjustment amount as a calculation result is calculated. 40 (or in-store camera 41).

また、調整部４３は、画像処理ユニット４２より供給されてくる調整データとして、撮像される画像内のエリアの情報が供給された場合、ズーム調整部２２２を制御して、入口カメラ４０（または店内カメラ４１）のズーム倍率を調整する調整量を、ズーム調整量計算部２２２ａを利用して計算させ、計算結果となるズーム調整量を入口カメラ４０（または店内カメラ４１）に供給する。 Further, the adjustment unit 43 controls the zoom adjustment unit 222 to control the entrance camera 40 (or in-store) when the information of the area in the image to be captured is supplied as the adjustment data supplied from the image processing unit 42. An adjustment amount for adjusting the zoom magnification of the camera 41) is calculated using the zoom adjustment amount calculation unit 222a, and the zoom adjustment amount as a calculation result is supplied to the entrance camera 40 (or the in-store camera 41).

さらに、調整部４３は、画像処理ユニット４２より供給されてくる調整データとして、露光量の情報が供給された場合、露光調整部２２３を制御して、今現在の絞りから必要とされる露光量を受光できるレベルの絞りにするまでの絞りの調整量を計算させて、入口カメラ４０（または店内カメラ４１）に供給させる。 Further, when the exposure amount information is supplied as the adjustment data supplied from the image processing unit 42, the adjustment unit 43 controls the exposure adjustment unit 223 so that the exposure amount required from the current aperture is obtained. The amount of aperture adjustment until the aperture reaches a level that can receive light is calculated and supplied to the entrance camera 40 (or in-store camera 41).

次に、図４のフローチャートを参照して、登録遊技者来店監視処理について説明する。 Next, the registered player visit monitoring process will be described with reference to the flowchart of FIG.

ステップＳ１において、入口カメラ４０は、撮像している画像の情報、または、出入口の扉からの信号に基づいて、出入口の扉が開いたか否かを判定する。ステップＳ１において、扉が開いていないと判定された場合、処理は、ステップＳ５に進む。 In step S 1, the entrance camera 40 determines whether the door of the entrance / exit has been opened based on information on the image being captured or a signal from the door of the entrance / exit. If it is determined in step S1 that the door is not open, the process proceeds to step S5.

一方、ステップＳ１において、扉が開いたと判定された場合、ステップＳ２において、入口カメラ４０は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット４２に供給する。画像処理ユニット４２の画像取得部２０１は、供給された画像を取得し、顔画像抽出部２０２に供給する。 On the other hand, when it is determined in step S 1 that the door is opened, in step S 2, the entrance camera 40 captures an image of the installed range and supplies the captured image to the image processing unit 42. The image acquisition unit 201 of the image processing unit 42 acquires the supplied image and supplies it to the face image extraction unit 202.

ステップＳ３において、顔画像抽出部２０２は、供給された画像より遊技者の顔画像を抽出し、適正顔画像判定部２０３に供給する。より具体的には、顔画像抽出部２０２は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像を抽出して、画像内の顔画像を抽出した位置を特定する特定位置情報を付して適正顔画像判定部２０３に供給する。ここで、特定位置情報とは、顔画像を抽出した画像内の位置を特定する座標情報であり、例えば、抽出した顔画像の中心位置における、撮像された画像内の座標などである。以降、抽出された全ての顔画像には、顔画像の中心位置における、撮像された画像内の座標を表す特定位置情報が含まれていることを前提として説明を進める。 In step S 3, the face image extraction unit 202 extracts a player's face image from the supplied image, and supplies it to the appropriate face image determination unit 203. More specifically, the face image extraction unit 202 extracts a face image from, for example, an arrangement of a characteristic part such as an eye or a nose, where the skin is exposed from the color of the captured image. Then, specific position information for specifying the position where the face image in the image is extracted is attached and supplied to the appropriate face image determination unit 203. Here, the specific position information is coordinate information for specifying the position in the image from which the face image is extracted, and is, for example, the coordinates in the captured image at the center position of the extracted face image. Hereinafter, the description will proceed on the assumption that all the extracted face images include specific position information representing coordinates in the captured image at the center position of the face image.

ステップＳ４において、適正顔画像判定部２０３は、顔画像抽出部２０２より顔画像が供給されてきたか否かを判定する。例えば、顔画像が供給されてきていない場合、ステップＳ５において、適正画像判定部２０３は、調整データ生成部２０４に対して、入口カメラ４０（または店内カメラ４１）の撮像方向、ズーム倍率、および露光量を初期値に設定するように指示する信号を調整データ生成部２０４に供給する。そして、調整データ生成部２０４は、入口カメラ４０（または店内カメラ４１）の撮像方向、ズーム倍率、および露光量を初期値に設定するように指示する指示を調整部４３に供給すると共に、処理は、ステップＳ１に戻る。 In step S 4, the appropriate face image determination unit 203 determines whether a face image has been supplied from the face image extraction unit 202. For example, when the face image has not been supplied, in step S5, the appropriate image determination unit 203 instructs the adjustment data generation unit 204 to perform the imaging direction, zoom magnification, and exposure of the entrance camera 40 (or the in-store camera 41). A signal instructing to set the amount to the initial value is supplied to the adjustment data generation unit 204. The adjustment data generation unit 204 supplies an instruction to the adjustment unit 43 to set the imaging direction, the zoom magnification, and the exposure amount of the entrance camera 40 (or the in-store camera 41) to initial values, and the processing is performed. Return to step S1.

一方、ステップＳ４において、顔画像が供給されてきた場合、ステップＳ６において、適正顔画像判定部２０３は、サイズ判定部２０３ａを制御して、供給されてきた顔画像のサイズが、照合に適したサイズであるか否か、すなわち、所定のサイズ以上であるか否かを判定させる。ステップＳ６において、例えば、顔画像のサイズが照合に適正なサイズではないと判定された場合、ステップＳ７において、適正顔画像判定部２０３は、適正なサイズではないという判定結果と共に、供給されてきた顔画像を調整データ生成部２０４に供給する。調整データ生成部２０４は、エリア計算部２０４ａを制御して、入口カメラ４０により撮像された画像のうち顔画像が抽出されたエリアを特定する、例えば、画像上の座標などの情報を計算させる。 On the other hand, when a face image has been supplied in step S4, in step S6, the appropriate face image determination unit 203 controls the size determination unit 203a so that the size of the supplied face image is suitable for collation. It is determined whether it is a size, that is, whether it is a predetermined size or more. In step S6, for example, when it is determined that the size of the face image is not appropriate for collation, in step S7, the appropriate face image determination unit 203 has been supplied together with the determination result that the size is not appropriate. The face image is supplied to the adjustment data generation unit 204. The adjustment data generation unit 204 controls the area calculation unit 204a to specify the area from which the face image is extracted from the image captured by the entrance camera 40, for example, to calculate information such as coordinates on the image.

ステップＳ８において、調整データ生成部２０４は、エリア計算部２０４ａにより計算された、入口カメラ４０により撮像される画像内のうち、撮像対象とすべき顔画像の存在するエリアを特定する情報を調整データとして調整部４３に供給し、撮像エリアの変更を指示して、処理は、ステップＳ１に戻る。 In step S 8, the adjustment data generation unit 204 uses the adjustment data to specify information for specifying the area where the face image to be captured exists in the image captured by the entrance camera 40 calculated by the area calculation unit 204 a. Is supplied to the adjustment unit 43 to instruct the change of the imaging area, and the process returns to step S1.

より詳細には、顔画像は、入口カメラ４０により撮像される画像Ｐが、例えば、図５で示されるような場合、画像Ｐ内で照合者の顔画像は、移動することにより、顔画像Ｆ１乃至Ｆ７の順序で、例えば、動くことにより顔画像の位置がずれる。そこで、エリア計算部２０４ａは、顔画像抽出部２０２により供給されてくる顔画像に含まれる特定位置情報に基づいて、順次顔画像の位置を追跡しながら記憶し（トラッキングし）、照合に適さない顔画像として顔画像Ｆ６が供給されてきた場合、次のタイミングで顔画像が移動しうる位置を、例えば、図５中の顔画像Ｆ７として予測し、顔画像Ｆ７の存在する画像上のエリアを特定する情報、すなわち、特定位置情報が顔画像の中心位置の画像上の座標の情報であれば、顔画像Ｆ７の特定位置情報に基づく座標を中心とした顔画像のサイズにより特定されるエリアの情報を調整データとして計算する。 More specifically, for example, when the image P captured by the entrance camera 40 is as shown in FIG. 5, the face image of the collator moves within the image P, so that the face image F 1 is moved. In the order of F7 to F7, for example, the position of the face image is shifted by moving. Therefore, the area calculation unit 204a sequentially stores and tracks (tracks) the position of the face image based on the specific position information included in the face image supplied from the face image extraction unit 202, and is not suitable for collation. When the face image F6 has been supplied as the face image, a position where the face image can move at the next timing is predicted as the face image F7 in FIG. 5, for example, and an area on the image where the face image F7 exists is determined. If the information to be specified, that is, the specific position information is information on coordinates on the image of the center position of the face image, the area specified by the size of the face image centered on the coordinates based on the specific position information of the face image F7. Information is calculated as adjustment data.

尚、当然のことながら、エリア計算部２０４ａにより計算されるエリアの情報は、必ずしも上述したトラッキングにより予測される位置の顔画像のエリアである必要はなく、例えば、単に、抽出された顔画像の特定位置情報とサイズに基づいて、特定されるエリアの情報であってもよいものである。 Of course, the area information calculated by the area calculation unit 204a does not necessarily need to be the face image area at the position predicted by the tracking described above. It may be information on an area to be identified based on the specific position information and the size.

また、ステップＳ６において、顔画像のサイズが、照合に適したサイズであると判定された場合、ステップＳ９において、適正顔画像判定部２０３は、輝度判定部２０３ｂを制御して、供給されてきた顔画像が照合に適した輝度であるか否か、すなわち、所定の範囲内の輝度の画像であるか否かを判定させる。ステップＳ９において、例えば、顔画像の輝度が照合に適正な輝度ではないと判定された場合、ステップＳ１０において、適正顔画像判定部２０３は、適正な輝度ではないという判定結果と共に、供給されてきた顔画像を調整データ生成部２０４に供給する。調整データ生成部２０４は、露光調整レベル計算部２０４ｂを制御して、入口カメラ４０により撮像された画像の輝度に基づいて、必要とされる露光量を計算させる。 If it is determined in step S6 that the size of the face image is suitable for collation, the appropriate face image determination unit 203 has been supplied by controlling the luminance determination unit 203b in step S9. It is determined whether or not the face image has a luminance suitable for collation, that is, whether or not the face image has a luminance within a predetermined range. In step S9, for example, when it is determined that the brightness of the face image is not appropriate for collation, in step S10, the appropriate face image determination unit 203 has been supplied together with the determination result that the brightness is not appropriate. The face image is supplied to the adjustment data generation unit 204. The adjustment data generation unit 204 controls the exposure adjustment level calculation unit 204b to calculate the required exposure amount based on the luminance of the image captured by the entrance camera 40.

ステップＳ１１において、調整データ生成部２０４は、エリア計算部２０４ａにより計算された、入口カメラ４０で必要とされる露光量の情報を調整データとして調整部４３に供給し、露光量の調整を指示して、処理は、ステップＳ１に戻る。 In step S11, the adjustment data generation unit 204 supplies the exposure amount information calculated by the area calculation unit 204a and necessary for the entrance camera 40 to the adjustment unit 43 as adjustment data, and instructs the adjustment of the exposure amount. Then, the process returns to step S1.

さらに、ステップＳ９において、供給されてきた顔画像が照合に適した輝度であると判定された場合、すなわち、供給されてきた顔画像が照合に適した顔画像であると判定された場合ステップＳ１２において、適正顔画像判定部２０３は、顔画像抽出部２０２より供給されてきた顔画像を送信部２０５に供給する。そして、送信部２０５は、適正顔画像判定部２０３より供給されてきた顔画像を生体情報認識装置２１に送信する。この際、送信部２０５は、入口カメラ４０、または店内カメラ４１のそれぞれを識別するカメラIDや、送信時刻の情報などの情報を顔画像に付加して生体情報認識装置２１に送信する。 Furthermore, when it is determined in step S9 that the supplied face image has a brightness suitable for matching, that is, when it is determined that the supplied face image is a face image suitable for matching, step S12. Then, the appropriate face image determination unit 203 supplies the face image supplied from the face image extraction unit 202 to the transmission unit 205. Then, the transmission unit 205 transmits the face image supplied from the appropriate face image determination unit 203 to the biological information recognition device 21. At this time, the transmitting unit 205 adds information such as a camera ID for identifying each of the entrance camera 40 or the in-store camera 41 and information on transmission time to the face image and transmits the information to the biometric information recognition apparatus 21.

ステップＳ３１において、調整部４３は、画像処理ユニット４２より初期値に設定する指示が供給されてたか否かを判定する。ステップＳ３１において、例えば、上述した、ステップＳ５の処理により、撮像方向、ズーム調整量、および露光量の調整量を初期値に設定するように指示されてきた場合、ステップＳ３２において、調整部４３は、今現在が初期値で設定されているか、すなわち、今現在の撮像方向、ズーム調整量、および露光量の各調整量が０であるか否かを判定する。 In step S 31, the adjustment unit 43 determines whether an instruction to set an initial value is supplied from the image processing unit 42. In step S31, for example, when the above-described processing in step S5 instructs to set the imaging direction, the zoom adjustment amount, and the exposure adjustment amount to the initial values, the adjustment unit 43 in step S32 It is determined whether or not the current value is set as an initial value, that is, whether or not the current imaging direction, zoom adjustment amount, and exposure amount adjustment amount are zero.

ステップＳ３２において、例えば、初期値が設定されていた場合、処理は、ステップＳ３１に戻る。 In step S32, for example, when an initial value is set, the process returns to step S31.

一方、ステップＳ３２において、例えば、初期値が設定されていなかった場合、ステップＳ３３において、調整部４３は、方向移動部２２１、ズーム調整部２２２、および露光調整部２２３を制御して、それぞれの調整量を０に設定して、入口カメラ４０に供給する。 On the other hand, in step S32, for example, when the initial value is not set, in step S33, the adjustment unit 43 controls the direction moving unit 221, the zoom adjustment unit 222, and the exposure adjustment unit 223 to adjust each adjustment. The quantity is set to 0 and supplied to the entrance camera 40.

ステップＳ３４において、入口カメラ４０は、供給されてきた調整量に基づいて、方向制御部２４１、ズーム制御部２４２、および露光制御部２４３を制御して、撮像方向、ズーム倍率、および露光量を制御させる。すなわち、今の場合、調整量が０の初期値の状態であるので、入口カメラ４０は、供給されてきた調整量に基づいて、方向制御部２４１、ズーム制御部２４２、および露光制御部２４３を制御して、撮像方向、ズーム倍率、および露光量のいずれも初期値となるように制御させる。 In step S34, the entrance camera 40 controls the direction control unit 241, the zoom control unit 242, and the exposure control unit 243 based on the supplied adjustment amount, and controls the imaging direction, zoom magnification, and exposure amount. Let That is, in this case, since the adjustment amount is in an initial value state of 0, the entrance camera 40 controls the direction control unit 241, the zoom control unit 242, and the exposure control unit 243 based on the supplied adjustment amount. Control is performed so that the imaging direction, zoom magnification, and exposure amount are all set to initial values.

一方、ステップＳ３１において、初期値に設定する指示ではないと判定された場合、ステップＳ３５において、調整部４３は、撮像エリアの変更指示が供給されてきたか否かを判定する。ステップＳ３５において、例えば、上述したステップＳ８の処理により、入口カメラ４０により撮像される画像上の撮像エリアの情報が調整データとして供給されてきて、撮像エリアの変更が指示された場合、ステップＳ３６において、調整部４３は、方向移動部２２１およびズーム調整部２２２に対して調整データである撮像エリアの情報を供給する。これに応じて、方向移動部２２１は、移動量計算部２２１ａを制御し、今現在の入口カメラ４０の調整量に対して、撮像エリアを撮像するために必要とされる撮像方向の移動量を、調整量として計算させる。また、ズーム調整部２２２は、ズーム調整量計算部２２２ａを制御し、今現在の入口カメラ４０の調整量に対して、撮像エリアを撮像するために必要とされるズーム倍率の変化量を、調整量として計算させる。 On the other hand, when it is determined in step S31 that the instruction is not an initial value setting, in step S35, the adjustment unit 43 determines whether an imaging area change instruction has been supplied. In step S35, for example, when the information of the imaging area on the image captured by the entrance camera 40 is supplied as adjustment data by the processing in step S8 described above, and the change of the imaging area is instructed, in step S36 The adjustment unit 43 supplies information on the imaging area, which is adjustment data, to the direction movement unit 221 and the zoom adjustment unit 222. In response to this, the direction moving unit 221 controls the moving amount calculating unit 221a to set the moving amount in the imaging direction required for imaging the imaging area with respect to the current adjustment amount of the entrance camera 40. Let the adjustment amount be calculated. Further, the zoom adjustment unit 222 controls the zoom adjustment amount calculation unit 222a to adjust the amount of change in the zoom magnification required for imaging the imaging area with respect to the current adjustment amount of the entrance camera 40. Let it be calculated as a quantity.

ステップＳ３７において、調整部４３は、方向移動部２２１により計算された調整量、および、ズーム調整部２２２により計算された調整量がそれぞれ調整可能な範囲であるか否かを判定し、調整可能な範囲であると判定された場合、処理は、ステップＳ３４に進む。すなわち、この場合、ステップＳ３４において、入口カメラ４０は、供給されてきた調整量に基づいて、方向制御部２４１、およびズーム制御部２４２を制御して、撮像方向を調整量に応じて移動させるように制御させ、ズーム倍率を調整量に応じて変更させるように制御させる。 In step S 37, the adjustment unit 43 determines whether or not the adjustment amount calculated by the direction moving unit 221 and the adjustment amount calculated by the zoom adjustment unit 222 are within an adjustable range. When it is determined that the range is reached, the process proceeds to step S34. That is, in this case, in step S34, the entrance camera 40 controls the direction control unit 241 and the zoom control unit 242 based on the supplied adjustment amount so as to move the imaging direction according to the adjustment amount. And the zoom magnification is controlled to change according to the adjustment amount.

また、ステップＳ３７において、いずれも調整可能な範囲ではないと判定された場合、すなわち、既に調整済みで、パン・チルトの可動範囲を越えていたり、既に、最大ズームになっており、それ以上の調整が不能であるような場合、処理は、ステップＳ３１に戻る。すなわち、これ以上の調整は不能であるので、調整を行うことなく、処理は、ステップＳ３１に戻ることになる。 If it is determined in step S37 that none of the ranges is adjustable, that is, it has already been adjusted and the pan / tilt movable range has been exceeded, or the maximum zoom has already been reached. If the adjustment is impossible, the process returns to step S31. That is, since no further adjustment is possible, the process returns to step S31 without performing the adjustment.

一方、ステップＳ３５において、撮像エリアを指示する情報ではない場合、ステップＳ３８において、調整部４３は、露光量を調整する指示が供給されてきたか否かを判定する。ステップＳ３５において、例えば、露光量を調整する指示ではない場合、処理は、ステップＳ３１に戻る。また、ステップＳ３５において、例えば、上述したステップＳ１１の処理により、露光量の調整が指示された場合、ステップＳ３９において、調整部４３は、露光調整部２２３を制御して、今現在の露光量に対する絞りの変化量を調整量として計算する。 On the other hand, if the information is not information indicating the imaging area in step S35, in step S38, the adjustment unit 43 determines whether an instruction to adjust the exposure amount has been supplied. In step S35, for example, when it is not an instruction to adjust the exposure amount, the process returns to step S31. In step S35, for example, when the adjustment of the exposure amount is instructed by the process of step S11 described above, in step S39, the adjustment unit 43 controls the exposure adjustment unit 223 to control the current exposure amount. The amount of aperture change is calculated as the adjustment amount.

ステップＳ４０において、調整部４３は、計算された露光量に対する絞りの調整量が調整可能なものであるか否かを判定する。すなわち、例えば、今現在の絞りが全開の状態となっており、これ以上の露光量を調整することができないような場合に、さらなる露光量を増やすような調整量であるか否かが判定される。ステップＳ４０において、調整が可能なレベルとであると判定された場合、処理は、ステップＳ３４に進む。すなわち、この場合、入口カメラ４０は、供給されてきた調整量に基づいて、露光制御部２４３を制御して、露光量の調整量に応じて絞りの開度を制御させる。 In step S40, the adjustment unit 43 determines whether or not the aperture adjustment amount with respect to the calculated exposure amount is adjustable. That is, for example, when the current aperture is in a fully open state and it is not possible to adjust the exposure amount beyond this, it is determined whether or not the adjustment amount is to increase the further exposure amount. The If it is determined in step S40 that the level is adjustable, the process proceeds to step S34. That is, in this case, the entrance camera 40 controls the exposure control unit 243 based on the supplied adjustment amount, and controls the aperture opening according to the exposure amount adjustment amount.

また、ステップＳ４０において、調整が不能であると判定された場合、処理は、ステップＳ３１に戻る。 If it is determined in step S40 that the adjustment is impossible, the process returns to step S31.

尚、以上においては、入口カメラ４０により撮像される画像に基づいた処理について説明してきたが、当然のことながら店内カメラ４１であっても同様の処理が可能である。ただし、店内カメラ４１の場合、扉の開放を検出することがないため、ステップＳ１の処理は、所定時間が経過するとき、処理は、ステップＳ２に進み、それ以外のとき、ステップＳ５の処理に進むことになる。 In the above description, the processing based on the image picked up by the entrance camera 40 has been described, but the same processing can be performed by the in-store camera 41 as a matter of course. However, in the case of the in-store camera 41, since the opening of the door is not detected, the process of step S1 proceeds to step S2 when a predetermined time elapses, otherwise the process proceeds to step S5. Will go on.

以上の処理により、店舗の扉は開いているが顔画像が抽出できない状態の場合、ステップＳ５の処理により、画像処理ユニット４２から調整部４３に対して初期値となるように入口カメラ４０を調整する指示が供給される。これに応じて、ステップＳ３３において、調整部４３は、初期値に戻すような調整量を計算し、ステップＳ３４において、計算された調整量で、入口カメラ４０が、撮像方向、ズーム倍率、および露光量を制御する。 With the above processing, when the store door is open but a face image cannot be extracted, the entrance camera 40 is adjusted from the image processing unit 42 to an initial value for the adjusting unit 43 by the processing in step S5. Instructions are provided. In response, in step S33, the adjustment unit 43 calculates an adjustment amount that returns to the initial value. In step S34, the entrance camera 40 uses the calculated adjustment amount to capture the imaging direction, zoom magnification, and exposure. Control the amount.

また、店舗の扉が開いて顔画像が撮像された場合、ステップＳ６において、照合処理に適した顔画像のサイズであるか否かが判定されて、適していないサイズであるとき、ステップＳ７，Ｓ８の処理により、入口カメラ４０により撮像される画像内における顔画像が存在する撮像エリアが計算されて、画像処理ユニット４２から調整部４３に対して撮像エリアの変更が指示される。これに応じて、ステップＳ３６において、顔画像が存在する撮像エリアの情報に基づいて、調整部４３が、供給されてきた撮像エリアを撮像するのに最適な撮像方向のパン・チルトの移動量、および、ズーム倍率の変化量をそれぞれ調整量として計算し、ステップＳ３４において、計算された調整量で、入口カメラ４０が、撮像方向、およびズーム倍率を制御する。 When the store door is opened and a face image is captured, it is determined in step S6 whether or not the face image size is suitable for collation processing. If the face image size is not suitable, step S7, Through the process of S8, an imaging area where a face image exists in an image captured by the entrance camera 40 is calculated, and the image processing unit 42 instructs the adjustment unit 43 to change the imaging area. Accordingly, in step S36, based on the information of the imaging area where the face image exists, the adjustment unit 43 moves the pan / tilt in the imaging direction optimal for imaging the supplied imaging area, Then, the change amount of the zoom magnification is calculated as the adjustment amount, and in step S34, the entrance camera 40 controls the imaging direction and the zoom magnification with the calculated adjustment amount.

さらに、ステップＳ９において、照合処理に適した顔画像の輝度であるか否かが判定されて、適していない輝度であるとき、ステップＳ１０，Ｓ１１の処理により、照合に適した顔画像に必要な露光量が計算されて、画像処理ユニット４２から調整部４３に対して必要な露光量の調整が指示される。これに応じて、ステップＳ３９において、顔画像の最適な露光量の情報に基づいて、調整部４３が、供給されてきた露光量に最適な絞りの開度の変化量を調整量として計算し、ステップＳ３４において、計算された調整量で、入口カメラ４０が、絞りの開度を制御して露光量を制御する。 Further, in step S9, it is determined whether or not the brightness of the face image is suitable for the collation process. If the brightness is not suitable, the process of steps S10 and S11 is necessary for the face image suitable for the collation. The exposure amount is calculated, and the image processing unit 42 instructs the adjustment unit 43 to adjust the necessary exposure amount. Accordingly, in step S39, based on the information on the optimal exposure amount of the face image, the adjustment unit 43 calculates the amount of change in the aperture of the diaphragm optimal for the supplied exposure amount as the adjustment amount, In step S34, the entrance camera 40 controls the amount of exposure by controlling the aperture opening with the calculated adjustment amount.

そして、ステップＳ９において、照合に適した輝度であると判定された場合、ステップＳ１２の処理により、撮像された顔画像が生体情報認識装置２１に供給されて、顔画像による照合が行われる。 If it is determined in step S9 that the luminance is suitable for matching, the captured face image is supplied to the biological information recognition device 21 by the processing in step S12, and matching is performed using the face image.

結果として、生体情報認識装置２１には、顔画像のうち、画像サイズ、および輝度において、照合に適した顔画像のみが画像処理ユニット４２より供給されることになるので、顔画像より特徴量を正確に抽出することが可能となり、顔画像による照合精度を向上させることが可能となる。 As a result, since only the face image suitable for the collation is supplied from the image processing unit 42 in the image size and brightness among the face images, the biometric information recognition device 21 receives the feature amount from the face image. It becomes possible to extract accurately and to improve the collation accuracy by the face image.

ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。 Incidentally, the series of monitoring processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.

図６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。 FIG. 6 shows a configuration example of a general-purpose personal computer. This personal computer incorporates a CPU (Central Processing Unit) 1001. An input / output interface 1005 is connected to the CPU 1001 via the bus 1004. A ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。 An input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of a processing result to a display device, a program and various data. A storage unit 1008 including a hard disk drive to be stored, a LAN (Local Area Network) adapter, and the like, and a communication unit 1009 for performing communication processing via a network represented by the Internet are connected. Also, a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (compact disc-read only memory), a DVD (digital versatile disc)), a magneto-optical disk (including an MD (mini disc)), or a semiconductor A drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。 The CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program. The RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。 In this specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series in the order described, but of course, it is not necessarily performed in time series. Or the process performed separately is included.

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

本発明を適用した監視システムの一実施の形態の構成を示す図である。It is a figure which shows the structure of one Embodiment of the monitoring system to which this invention is applied. 図１の入口カメラおよび店内カメラの設置例を示す図である。It is a figure which shows the example of installation of the entrance camera and shop camera of FIG. 図１の入口カメラ、店内カメラ、画像処理ユニット、および調整部の構成例を説明する図である。It is a figure explaining the structural example of the entrance camera of FIG. 1, an in-store camera, an image processing unit, and an adjustment part. 登録遊技者来店監視処理を説明するフローチャートである。It is a flowchart explaining a registered player visit monitoring process. 撮像エリアの調整データの生成方法を説明する図である。It is a figure explaining the production | generation method of the adjustment data of an imaging area. パーソナルコンピュータの構成例を説明する図である。And FIG. 11 is a diagram illustrating a configuration example of a personal computer.

Explanation of symbols

１，１−１乃至１−ｎ遊技店
２生体情報管理センタ
３生体情報管理データベース
４第３者遊技店管理センタ
５第３者遊技店管理データベース
６生体情報管理バス
７第３者遊技店管理バス
８，９公衆通信回線網
２１生体情報認識装置
２２生体情報データベース
２４遊技店管理装置
２６遊技台管理データベース
２７媒体貸出管理装置
２９媒体貸出管理データベース
３０遊技店管理情報バス
３１生体情報バス
３３精算販売機
３４貸出機
３５計数機
３６，３６−１乃至３６−ｍ遊技台
３７，３７−１乃至３７−ｍ遊技台周辺端末
３８，３８−１乃至３８−ｍカメラ
３９，３９−１乃至３９−ｍ画像処理ユニット
４０，４０−１乃至４０−ｐ入口カメラ
４１，４１−１乃至４１−ｐ店内カメラ
４２，４２−１乃至４２−ｑ画像処理ユニット
４３，４３−１乃至４３−（ｐ＋ｑ）調整部 1, 1-1 to 1-n amusement store 2 biometric information management center 3 biometric information management database 4 third party amusement store management center 5 third party amusement store management database 6 biometric information management bus 7 third party amusement store management bus 8, 9 Public communication line network 21 Biological information recognition device 22 Biometric information database 24 Game store management device 26 Game stand management database 27 Medium lending management device 29 Medium lending management database 30 Amusement store management information bus 31 Biological information bus 33 Checkout vending machine 34 Lending machine 35 Counter 36,36-1 thru 36-m Game stand 37,37-1 thru 37-m Game stand peripheral terminal 38,38-1 thru 38-m Camera 39,39-1 thru 39-m Image Processing unit 40, 40-1 to 40-p Entrance camera 41, 41-1 to 41-p In-store camera 42, 42-1 to 4 -q image processing unit 43,43-1 to 43- (p + q) adjusting unit

Claims

An imaging means for capturing an image;
A face image extracting means for extracting a face image of the person to be collated from the image captured by the image capturing means;
Control means for controlling the imaging means so as to change an image to be captured;
Determining means for determining whether or not the face image of the person to be collated is suitable for collation between the face image of the person to be collated and the face image of the accumulated person;
An image processing apparatus comprising: an adjustment unit that adjusts the control unit to adjust the imaging unit based on the face image when the determination unit determines that the image is not suitable for collation.

The adjusting means includes
An imaging direction adjusting means for adjusting an imaging direction of the imaging means;
Zoom adjusting means for adjusting the zoom magnification of the imaging means;
The image processing apparatus according to claim 1, further comprising an exposure unit that adjusts an exposure amount of the imaging unit.

The determination means includes
Based on whether the resolution of the face image of the person to be collated is greater than a predetermined number of pixels or whether the brightness of the face image of the person to be collated is within a predetermined range, The image processing apparatus according to claim 1, wherein it is determined whether or not the face image is suitable for collation with the accumulated face image of the accumulator.

Accumulating means for accumulating the accumulator face image in an accumulator database;
The face image of the person to be collated is acquired, the similarity between the acquired face image of the person to be collated and the face image of the person accumulated in the accumulating unit is calculated, collated, and the result of the collation By comparing the similarity with a predetermined threshold value, it is determined whether the face image of the person to be collated is the face image of the accumulator, and the face image of the person to be collated is the face image of the accumulator The image processing apparatus according to claim 1, further comprising: a verification unit that notifies that the verification target person is the accumulator when it is determined.

In an image processing method of an image processing apparatus including an imaging unit that captures an image,
A face image extraction step of extracting a face image of the person to be collated from the image captured by the imaging means;
A control step of controlling the imaging means so as to change an image to be captured;
A determination step of determining whether or not the face image of the person to be collated is suitable for collation between the face image of the person to be collated and the face image of the accumulated person;
An image processing method comprising: an adjustment step of adjusting the control unit to adjust the imaging unit based on the face image when it is determined that the determination step is not suitable for collation.

In a computer that controls an image processing apparatus including an imaging unit that captures an image,
A face image extraction step of extracting a face image of the person to be collated from the image captured by the imaging means;
A control step of controlling the imaging means so as to change an image to be captured;
A determination step of determining whether or not the face image of the person to be collated is suitable for collation between the face image of the person to be collated and the face image of the accumulated person;
A program that executes a process including an adjustment step of adjusting by the control unit to adjust the imaging unit based on the face image when it is determined that the determination step is not suitable for collation.

A monitoring apparatus comprising the image processing apparatus according to claim 1.