JP2012108777A

JP2012108777A - Monitoring system, monitoring device, monitoring method and program

Info

Publication number: JP2012108777A
Application number: JP2010257885A
Authority: JP
Inventors: Shinji Yoshino; 信治吉野
Original assignee: NEC Software Kyushu Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2010-11-18
Filing date: 2010-11-18
Publication date: 2012-06-07
Anticipated expiration: 2030-11-18
Also published as: JP5618366B2

Abstract

PROBLEM TO BE SOLVED: To provide a monitoring system, a monitoring device, a monitoring method and a program capable of monitoring a person from two directions by one monitoring camera.SOLUTION: A monitoring system 10 comprises: a mirror member 20 installed above a doorway 71 at an inside of space 70 to be monitored; a monitoring camera 30; and a monitoring device 40 for acquiring image data of images photographed by the monitoring camera 30 and performing monitoring. The monitoring camera 30 is arranged so that a person located at the doorway 71 and a reflecting surface 21 of the mirror member 20 are within an imaging range at the same time. The mirror member 20 is arranged so that an image of a person going from inside of the space 70 to the doorway 71 is reflected by the reflecting surface 21 of the mirror member 20 and photographed by the monitoring camera 30.

Description

本発明は、監視カメラを利用した監視システム、監視装置、監視方法、及びプログラムに関する。 The present invention relates to a monitoring system, a monitoring apparatus, a monitoring method, and a program using a monitoring camera.

一般に、百貨店、スーパー、各種小規模店舗、エレベータ、といった不特定多数の人が出入りする場所では、犯罪行為の抑制及び特定を図るため、カメラを用いた監視システムが導入されている。 In general, in a place where an unspecified number of people come and go, such as department stores, supermarkets, various small stores, and elevators, a surveillance system using a camera is introduced in order to suppress and identify criminal acts.

通常、カメラは、一方向にしか撮影できないため、入室する人物と、退室する人物とを撮影する場合等、異なる複数の方向からの人物の撮影が求められる場合は、各方向に対応して二つ以上のカメラが設置される（例えば、特許文献１参照）。具体的には、特許文献１は、エレベータのかご室の内部側を撮影するカメラと、かご室の出入口側を撮影するカメラとが設置された監視システムを開示している。 Usually, since the camera can only shoot in one direction, when shooting a person from multiple different directions, such as when shooting a person entering and leaving a room, there are two corresponding to each direction. Two or more cameras are installed (see, for example, Patent Document 1). Specifically, Patent Document 1 discloses a monitoring system in which a camera that captures an interior side of an elevator cab and a camera that captures an entrance / exit side of the cab are installed.

更に、近年においては、顔認識技術を利用した監視システムが提案されている（例えば、特許文献２参照）。このような監視システムでは、顔認識技術によって、例えば、撮影された人物の顔画像と、予め登録されている不審者の顔画像とが一致するかどうかが判断される。そして、一致する場合は、監視システムは、管理者に警告を通報する。このため、顔認識技術を利用した監視システムでは、人物の顔を確実に撮影できるようにするため、更に多くのカメラが必要となる。 Furthermore, in recent years, a monitoring system using face recognition technology has been proposed (see, for example, Patent Document 2). In such a monitoring system, for example, it is determined by face recognition technology whether or not a photographed person's face image matches a suspicious person's face image registered in advance. If they match, the monitoring system issues a warning to the administrator. For this reason, in a monitoring system using face recognition technology, more cameras are required to ensure that a person's face can be photographed.

特開２０００−３８２６３号公報JP 2000-38263 A 特開２０１０−２１１５１４号公報JP 2010-2111514 A

しかしながら、監視システムにおいて、カメラの設置台数の増加は、導入にかかる初期コストと管理コストとの増大化を招いてしまう。また、カメラのレンズとして、広い範囲を一度に撮影できる広角レンズを用いれば、カメラの設置台数を少なくできるとも考えられるが、この場合は、撮影された顔画像が歪んだり、小さくなったりして、顔認識が困難になる可能性がある。 However, in the surveillance system, an increase in the number of cameras installed leads to an increase in initial cost and management cost for introduction. Also, if a wide-angle lens that can shoot a wide range at a time is used as the camera lens, the number of cameras can be reduced. In this case, the captured face image may be distorted or reduced. Face recognition may be difficult.

本発明の目的の一例は、上記問題を解消し、一台の監視カメラによって２方向からの人物の監視を可能にする、監視システム、監視装置、監視方法、及びプログラムを提供することにある。 An example of the object of the present invention is to provide a monitoring system, a monitoring apparatus, a monitoring method, and a program that solve the above-described problem and enable monitoring of a person from two directions by a single monitoring camera.

上記目的を達成するため、本発明の一側面における監視システムは、監視対象となる空間の内部における出入口の上方に設置された鏡部材と、監視カメラと、前記監視カメラが撮影した像の画像データを取得して監視を行う監視装置とを備え、
前記監視カメラは、前記出入口に位置する人物と前記鏡部材の反射面とが、同時に撮影範囲内に収まるように、配置され、
前記鏡部材は、前記空間内から前記出入口に向かう人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、
ことを特徴とする。 In order to achieve the above object, a monitoring system according to one aspect of the present invention includes a mirror member installed above a doorway in a space to be monitored, a monitoring camera, and image data of an image captured by the monitoring camera. A monitoring device that acquires and monitors
The surveillance camera is arranged so that the person located at the entrance and the reflecting surface of the mirror member are within the photographing range at the same time,
The mirror member is arranged so that an image of a person heading from the space toward the entrance is reflected by the reflecting surface and is photographed by the surveillance camera.
It is characterized by that.

上記目的を達成するため、本発明の一側面における監視装置は、監視カメラが撮影した像の画像データを用いて監視を行う監視装置であって、
出入口の上方に鏡部材が設置された空間が監視対象となり、前記監視カメラは、前記出入口に位置する人物と前記鏡部材の反射面とが、同時に撮影範囲内に収まるように、配置され、前記鏡部材は、前記空間内から前記出入口に向かう人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、場合において、
当該監視装置は、
前記監視カメラから画像データを取得する、画像取得部と、
予め登録されている人物の顔の画像データを格納している、記憶部と、
前記画像取得部が取得した画像データと、前記記憶部が格納している画像データとを対比して、前記出入口に位置する人物の顔と予め登録されている人物の顔とが一致している割合、及び前記空間内から前記出入口に向かう人物の顔と予め登録されている人物の顔とが一致している割合を算出する、演算部と、
前記演算部が算出した割合に基づいて、前記出入口に位置する人物、及び前記空間内から前記出入口に向かう人物それぞれが、予め顔が登録されている人物であるかどうかを判定する、判定部と、
を備えていることを特徴とする。 In order to achieve the above object, a monitoring device according to one aspect of the present invention is a monitoring device that performs monitoring using image data of an image captured by a monitoring camera,
The space in which the mirror member is installed above the entrance / exit is to be monitored, and the monitoring camera is arranged so that the person located at the entrance / exit and the reflecting surface of the mirror member are simultaneously within the imaging range, In the case where the mirror member is arranged such that an image of the person heading from the space toward the doorway is reflected by the reflecting surface and photographed by the surveillance camera,
The monitoring device
An image acquisition unit for acquiring image data from the surveillance camera;
A storage unit that stores pre-registered person face image data;
Comparing the image data acquired by the image acquisition unit with the image data stored in the storage unit, the face of the person located at the entrance and the face of the person registered in advance match. A calculation unit that calculates a ratio and a ratio of a person's face heading from the space toward the entrance and a person's face registered in advance;
A determination unit that determines, based on the ratio calculated by the calculation unit, whether each of the person located at the doorway and the person heading from the space toward the doorway is a person whose face is registered in advance; ,
It is characterized by having.

また、上記目的を達成するため、本発明の一側面における監視方法は、監視カメラが撮影した像の画像データを用いて監視を行うための監視方法であって、
出入口の上方に鏡部材が設置された空間が監視対象となり、前記監視カメラは、前記出入口に位置する人物と前記鏡部材の反射面とが、同時に撮影範囲内に収まるように、配置され、前記鏡部材は、前記空間内から前記出入口に向かう人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、場合において、
（ａ）前記監視カメラから画像データを取得する、ステップと、
（ｂ）前記（ａ）のステップで取得した画像データと、予め登録されている人物の顔の画像データとを対比して、前記出入口に位置する人物の顔と予め登録されている人物の顔とが一致している割合、及び前記空間内から前記出入口に向かう人物の顔と予め登録されている人物の顔とが一致している割合を算出する、ステップと、
（ｃ）前記（ｂ）のステップで算出した割合に基づいて、前記出入口に位置する人物、及び前記空間内から前記出入口に向かう人物それぞれが、予め顔が登録されている人物であるかどうかを判定する、ステップと、
を有することを特徴とする。 In order to achieve the above object, a monitoring method according to one aspect of the present invention is a monitoring method for performing monitoring using image data of an image captured by a monitoring camera,
The space in which the mirror member is installed above the entrance / exit is to be monitored, and the monitoring camera is arranged so that the person located at the entrance / exit and the reflecting surface of the mirror member are simultaneously within the imaging range, In the case where the mirror member is arranged such that an image of the person heading from the space toward the doorway is reflected by the reflecting surface and photographed by the surveillance camera,
(A) obtaining image data from the surveillance camera;
(B) By comparing the image data acquired in the step (a) with the image data of the person's face registered in advance, the face of the person located at the entrance and the face of the person registered in advance And a ratio of the matching between the face of the person heading from the space toward the entrance and the face of the person registered in advance, and
(C) Based on the ratio calculated in the step (b), it is determined whether each of the person located at the entrance and the person heading from the space toward the entrance is a person whose face is registered in advance. Judging, steps,
It is characterized by having.

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、監視カメラが撮影した像の画像データを用いた監視を、コンピュータによって、実行するためのプログラムであって、
出入口の上方に鏡部材が設置された空間が監視対象となり、前記監視カメラは、前記出入口に位置する人物と前記鏡部材の反射面とが、同時に撮影範囲内に収まるように、配置され、前記鏡部材は、前記空間内から前記出入口に向かう人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、場合において、
前記コンピュータに、
（ａ）前記監視カメラから画像データを取得する、ステップと、
（ｂ）前記（ａ）のステップで取得した画像データと、予め登録されている人物の顔の画像データとを対比して、前記出入口に位置する人物の顔と予め登録されている人物の顔とが一致している割合、及び前記空間内から前記出入口に向かう人物の顔と予め登録されている人物の顔とが一致している割合を算出する、ステップと、
（ｃ）前記（ｂ）のステップで算出した割合に基づいて、前記出入口に位置する人物、及び前記空間内から前記出入口に向かう人物それぞれが、予め顔が登録されている人物であるかどうかを判定する、ステップと、
を実行させることを特徴とする。 Furthermore, in order to achieve the above object, a program according to one aspect of the present invention is a program for executing, by a computer, monitoring using image data of an image captured by a monitoring camera.
The space in which the mirror member is installed above the entrance / exit is to be monitored, and the monitoring camera is arranged so that the person located at the entrance / exit and the reflecting surface of the mirror member are simultaneously within the imaging range, In the case where the mirror member is arranged such that an image of the person heading from the space toward the doorway is reflected by the reflecting surface and photographed by the surveillance camera,
In the computer,
(A) obtaining image data from the surveillance camera;
(B) By comparing the image data acquired in the step (a) with the image data of the person's face registered in advance, the face of the person located at the entrance and the face of the person registered in advance And a ratio of the matching between the face of the person heading from the space toward the entrance and the face of the person registered in advance, and
(C) Based on the ratio calculated in the step (b), it is determined whether each of the person located at the entrance and the person heading from the space toward the entrance is a person whose face is registered in advance. Judging, steps,
Is executed.

以上の特徴により、本発明における監視システム、監視装置、監視方法、及びプログラムによれば、一台の監視カメラによって２方向からの人物の監視を行うことができる。 With the above features, according to the monitoring system, monitoring device, monitoring method, and program of the present invention, it is possible to monitor a person from two directions with one monitoring camera.

図１は、本発明の実施の形態における監視システム及び監視装置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a monitoring system and a monitoring device according to an embodiment of the present invention. 図２は、図１に示した監視システムの各構成要素のレイアウトを示す図である。FIG. 2 is a diagram showing a layout of each component of the monitoring system shown in FIG. 図３は、図１に示した監視カメラによって撮影された画像の一例を示す図である。FIG. 3 is a diagram illustrating an example of an image captured by the monitoring camera illustrated in FIG. 図４は、本発明の実施の形態における監視システムの動作を示すフロー図である。FIG. 4 is a flowchart showing the operation of the monitoring system in the embodiment of the present invention. 図５は、本発明の実施の形態における監視装置４０を実現するコンピュータの一例を示すブロック図である。FIG. 5 is a block diagram illustrating an example of a computer that implements the monitoring device 40 according to the embodiment of the present invention.

（実施の形態）
以下、本発明の実施の形態における監視システム、監視装置、監視方法、及びプログラムについて、図１〜図４を参照しながら説明する。最初に、本実施の形態における監視システム及び監視装置の構成について図１〜図３を用いて説明する。 (Embodiment)
Hereinafter, a monitoring system, a monitoring device, a monitoring method, and a program according to an embodiment of the present invention will be described with reference to FIGS. First, the configuration of the monitoring system and the monitoring device in the present embodiment will be described with reference to FIGS.

［システムの構成］
図１は、本発明の実施の形態における監視システム及び監視装置の概略構成を示すブロック図である。図２は、図１に示した監視システムの各構成要素のレイアウトを示す図である。図３は、図１に示した監視カメラの撮影範囲の一例を示す図である。 [System configuration]
FIG. 1 is a block diagram showing a schematic configuration of a monitoring system and a monitoring device according to an embodiment of the present invention. FIG. 2 is a diagram showing a layout of each component of the monitoring system shown in FIG. FIG. 3 is a diagram illustrating an example of an imaging range of the monitoring camera illustrated in FIG.

図１に示す本実施の形態における監視システム１０は、店舗等の空間７０を対象として監視を行うシステムである。図１及び図２に示すように、監視システム１０は、監視対象となる空間７０の内部における出入口７１の上方に設置された鏡部材２０と、監視カメラ３０と、監視カメラ３０が撮影した画像（図３参照）を取得して監視を行う監視装置４０とを備えている。 A monitoring system 10 according to the present embodiment shown in FIG. 1 is a system that monitors a space 70 such as a store. As shown in FIGS. 1 and 2, the monitoring system 10 includes a mirror member 20 installed above the entrance / exit 71 in a space 70 to be monitored, a monitoring camera 30, and an image captured by the monitoring camera 30 ( And a monitoring device 40 that obtains and monitors.

また、監視カメラ３０は、出入口７１に位置する人物６０と鏡部材２０の反射面２１とが、同時に撮影範囲内に収まるように、配置されている。具体的には、図３に示すように、監視カメラ３０は、撮影範囲３１の上方側に、鏡部材２０の反射面２１が収まり、下方側に、出入口７１に位置する人物６０の像が収まるように配置されている。 The surveillance camera 30 is arranged so that the person 60 located at the entrance / exit 71 and the reflecting surface 21 of the mirror member 20 are simultaneously within the imaging range. Specifically, as shown in FIG. 3, in the monitoring camera 30, the reflection surface 21 of the mirror member 20 is accommodated on the upper side of the imaging range 31, and the image of the person 60 positioned at the entrance / exit 71 is accommodated on the lower side. Are arranged as follows.

更に、図１及び図３に示すように、鏡部材２０は、空間７０内から出入口７１に向かう人物６１の像が、その反射面２１で反射され、そして、監視カメラ３０によって撮影されるように配置されている。 Further, as shown in FIGS. 1 and 3, the mirror member 20 is configured so that the image of the person 61 from the space 70 toward the entrance / exit 71 is reflected by the reflecting surface 21 and is captured by the monitoring camera 30. Has been placed.

このような構成により、監視システム１０では、一台の監視カメラ３０によって、出入口７１に位置する人物６０と、空間７０内から出入口７１に向かう人物６１とを同時に撮影することができる。従って、監視システム１０によれば、一台の監視カメラ３０によって２方向からの人物の監視が可能となる。 With such a configuration, the monitoring system 10 can simultaneously photograph the person 60 located at the entrance / exit 71 and the person 61 heading from the space 70 toward the entrance / exit 71 with one monitoring camera 30. Therefore, according to the monitoring system 10, a single monitoring camera 30 can monitor a person from two directions.

また、図１〜図３に示すように、本実施の形態における監視装置４０は、画像取得部４１と、演算部４２と、判定部４３と、記憶部４４とを備えている。また、監視装置４０には、表示装置４５が接続されている。 As shown in FIGS. 1 to 3, the monitoring device 40 in the present embodiment includes an image acquisition unit 41, a calculation unit 42, a determination unit 43, and a storage unit 44. A display device 45 is connected to the monitoring device 40.

画像取得部４１は、監視カメラ３０に接続されており、監視カメラ３０から出力された画像データを取得する。また、画像取得部４１は、取得した画像データを演算部４２に出力する。 The image acquisition unit 41 is connected to the monitoring camera 30 and acquires image data output from the monitoring camera 30. In addition, the image acquisition unit 41 outputs the acquired image data to the calculation unit 42.

記憶部４４は、予め登録されている人物の顔の画像データを格納している。ここで、予め顔の画像データが登録される人物としては、監視システム１０の管理者によって要注意人物であると判断された人物が挙げられる。例えば、監視システム１０が、スーパー、書店等の小売店を監視対象としている場合であれば、要注意人物としては、万引きの常習者が挙げられる。 The storage unit 44 stores pre-registered human face image data. Here, the person whose face image data is registered in advance includes a person who is determined to be a person requiring attention by the administrator of the monitoring system 10. For example, if the monitoring system 10 is intended for monitoring a retail store such as a supermarket or a bookstore, the person requiring attention may be a shoplifting addict.

演算部４２は、画像取得部４１から取得した画像データと、記憶部４４が記憶している画像データとを対比して、撮影された人物の顔と予め登録されている人物の顔とが一致している割合を算出する。 The calculation unit 42 compares the image data acquired from the image acquisition unit 41 with the image data stored in the storage unit 44 so that the photographed person's face matches the pre-registered person's face. Calculate the percentage you are doing.

ここで、「撮影された人物」には、出入口に位置しており、監視カメラ３０によって直接撮影された人物６０に加え、鏡部材２０の反射面２１に映った像が撮影された人物、即ち、空間７０内から出入口７１に向かう人物６１も含まれる。演算部４２は、撮影範囲３１（図３参照）の上方側で得られた画像データから、人物６１についての一致率を算出し、更に、撮影範囲３１の下方側で得られた画像データから、人物６０についての一致率を算出する。 Here, the “photographed person” is located at the entrance, and in addition to the person 60 photographed directly by the surveillance camera 30, the person photographed on the reflecting surface 21 of the mirror member 20, that is, the person photographed. A person 61 heading from the space 70 to the entrance / exit 71 is also included. The calculation unit 42 calculates the coincidence rate for the person 61 from the image data obtained on the upper side of the shooting range 31 (see FIG. 3), and further, from the image data obtained on the lower side of the shooting range 31. The matching rate for the person 60 is calculated.

また、演算部４２は、既存の顔認識技術を用いて、両者が一致している割合（以下「一致率」という。）を算出することができる。既存の顔認識技術としては、例えば、特開平９−１３４４３２号公報、特開平２００３−１８７２２９号公報、特開平２００３−２９６７３５号公報、特開２００４−１３９５９６号公報等に開示された顔認識技術が上げられる。なお、演算部４２が利用する顔認識技術は、既存の技術に限られず、今後開発される顔認識技術であっても良い。 In addition, the calculation unit 42 can calculate a ratio (hereinafter referred to as “matching rate”) in which both match using an existing face recognition technique. Examples of existing face recognition techniques include face recognition techniques disclosed in Japanese Patent Application Laid-Open Nos. 9-134432, 2003-187229, 2003-296735, and 2004-139596. Raised. Note that the face recognition technology used by the calculation unit 42 is not limited to the existing technology, and may be a face recognition technology to be developed in the future.

判定部４３は、演算部４２によって算出された一致率の値に応じて、撮影された人物が要注意人物であるかどうかの判定を行う。具体的には、判定部４３は、算出された一致率か閾値以上であるかどうかを判定する。そして、一致率が閾値以上である場合は、判定部４３は、撮影された人物は要注意人物であると判定し、表示装置４５の画面に警告を表示させる。また、判定部４３は、警告の際、警告音を出力しても良い。 The determination unit 43 determines whether or not the photographed person is a person requiring attention, according to the value of the coincidence rate calculated by the calculation unit 42. Specifically, the determination unit 43 determines whether the calculated match rate is equal to or greater than a threshold value. If the matching rate is equal to or greater than the threshold, the determination unit 43 determines that the photographed person is a person requiring attention, and displays a warning on the screen of the display device 45. Further, the determination unit 43 may output a warning sound at the time of warning.

また、本実施の形態では、判定部４３は、監視カメラ３０によって直接撮影された人物６０、及び鏡部材２０の反射面２１に映った人物６１それぞれについて、要注意人物かどうかの判定を行う。このため、空間７０内に入ったときは、顔の角度の関係などにより、要注意人物と判定できなかった場合であっても、空間７０から出ようとするときに、要注意人物であると判定できる場合もある。 In the present embodiment, the determination unit 43 determines whether or not each of the person 60 directly photographed by the monitoring camera 30 and the person 61 reflected on the reflecting surface 21 of the mirror member 20 is a person requiring attention. For this reason, when entering the space 70, even if it cannot be determined that the person needs attention due to the relationship of the angle of the face or the like, it is determined that the person is a person who needs attention when leaving the space 70. Sometimes it can be determined.

更に、本実施の形態では、演算部４２は、監視対象となる空間７０内から出入口７１に向かう人物６１の数と、監視対象となる空間７０に入る人物６０の数とを、別々に計測することができる。 Further, in the present embodiment, the calculation unit 42 separately measures the number of persons 61 heading from the space 70 to be monitored to the entrance / exit 71 and the number of persons 60 entering the space 70 to be monitored. be able to.

具体的には、本実施の形態では、演算部４２は、撮影範囲３１の上方側で得られた画像データ、即ち、鏡部材２０の反射面２１に映った人物の像（図３参照）から、空間７０内から出入口７１に向かう人物６１の数を計測する。更に、演算部４２は、撮影範囲の下方側で得られた画像データ、即ち、監視カメラ３０が直接撮影した人物の像から、空間７０に入る人物６０の数を計測する。そして、演算部４２が計測した人物６０及び人物６１それぞれの数は、表示装置４５の画面に表示され、監視システム１０の管理者に通知される。 Specifically, in the present embodiment, the computing unit 42 is based on image data obtained above the imaging range 31, that is, an image of a person reflected on the reflecting surface 21 of the mirror member 20 (see FIG. 3). The number of persons 61 heading from the space 70 toward the entrance / exit 71 is measured. Further, the calculation unit 42 measures the number of persons 60 entering the space 70 from the image data obtained on the lower side of the photographing range, that is, the images of the persons photographed directly by the monitoring camera 30. The numbers of the persons 60 and persons 61 measured by the calculation unit 42 are displayed on the screen of the display device 45 and notified to the administrator of the monitoring system 10.

また、本実施の形態では、監視システム１０は、更に、ＩＣタグが付与された商品の出入口７１の通過を検出するゲート検出装置５０を備えることができる。この場合は、鏡部材２０は、空間７０内から退出する人物の像が反射面２１で反射されて監視カメラ３０によって撮影されるように、配置されているのが好ましい。つまり、この場合は、鏡部材２０は、ゲート検出装置５０の反応範囲内にいる人物、出入口７１の自動扉が反応する範囲内にいる人物、といった今まさに退出しようとしている人物の像が撮影されるように配置されているのが好ましい。 Moreover, in this Embodiment, the monitoring system 10 can further be provided with the gate detection apparatus 50 which detects passage of the entrance / exit 71 of the goods provided with the IC tag. In this case, the mirror member 20 is preferably arranged so that an image of a person leaving the space 70 is reflected by the reflecting surface 21 and is photographed by the monitoring camera 30. That is, in this case, the mirror member 20 captures an image of a person who is about to leave, such as a person who is within the reaction range of the gate detection device 50 and a person who is within the range where the automatic door of the doorway 71 reacts. It is preferable that they are arranged.

また、ゲート検出装置５０は、ＩＣタグが付与された商品の通過を検出すると、検出したことを、演算部４２に通知する。この場合、演算部４２は、撮影範囲３１（図３参照）の上方側で得られた画像データから人物の顔の画像データを抽出し、抽出した人物の顔の画像データを記憶部４４に出力する。その後、記憶部４４は、出力された画像データを格納し、これを要注意人物の画像データとして登録する。このように、ゲート検出装置５０を用いれば、万引きを行った人物を自動的に要注意人物として登録することができる。 In addition, when the gate detection device 50 detects the passage of a product to which an IC tag is attached, the gate detection device 50 notifies the calculation unit 42 of the detection. In this case, the calculation unit 42 extracts the human face image data from the image data obtained above the shooting range 31 (see FIG. 3), and outputs the extracted human face image data to the storage unit 44. To do. Thereafter, the storage unit 44 stores the output image data and registers it as image data of a person requiring attention. Thus, if the gate detection apparatus 50 is used, the person who shoplifted can be automatically registered as a person requiring attention.

また、本実施の形態において、監視カメラ３０としては、一般的な監視カメラを用いることができる。監視カメラ３０は、撮影対象となったエリアを、そこに人物が存在するか否かに関わりなく、設定された間隔で撮影を行い、撮影を行う度に、撮影した静止画の画像データを画像取得部４１に出力する。また、監視カメラ３０は、画像データをデジタル信号に変換した状態でネットワークを介して出力可能なＩＰ（Internet Protocol）カメラであっても良いし、画像データをアナログ信号の状態で出力するカメラであっても良い。 In the present embodiment, a general monitoring camera can be used as the monitoring camera 30. The surveillance camera 30 shoots the area to be photographed at a set interval regardless of whether a person is present or not, and each time the photographing is performed, the image data of the photographed still image is imaged. Output to the acquisition unit 41. The surveillance camera 30 may be an IP (Internet Protocol) camera that can output image data through a network in a state where the image data is converted into a digital signal, or a camera that outputs image data in an analog signal state. May be.

但し、監視カメラ３０は、ＩＰカメラであるのが好ましい。この場合、監視カメラ３０は、撮影範囲３１（図３参照）の上方側で得られた画像データと、撮影範囲３１の下方側で得られた画像データとを、別々に画像取得部４１に出力することができ、監視装置４０の各部の処理速度の向上を図ることができる。 However, the surveillance camera 30 is preferably an IP camera. In this case, the monitoring camera 30 separately outputs the image data obtained above the imaging range 31 (see FIG. 3) and the image data obtained below the imaging range 31 to the image acquisition unit 41. The processing speed of each part of the monitoring device 40 can be improved.

［システムの動作］
次に、本実施の形態における監視システム１０及び監視装置４０の動作について図４を用いて説明する。図４は、本発明の実施の形態における監視システムの動作を示すフロー図である。 [System Operation]
Next, operations of the monitoring system 10 and the monitoring device 40 in the present embodiment will be described with reference to FIG. FIG. 4 is a flowchart showing the operation of the monitoring system in the embodiment of the present invention.

また、以下の説明においては、適宜図１〜図３を参酌する。更に、本実施の形態においては、監視装置４０を動作させることによって、本実施の形態における監視方法を実行することができる。従って、本実施の形態における監視方法の説明は、以下の監視装置４０の動作説明に代える。 In the following description, FIGS. 1 to 3 are referred to as appropriate. Furthermore, in the present embodiment, the monitoring method in the present embodiment can be executed by operating the monitoring device 40. Therefore, the description of the monitoring method in the present embodiment is replaced with the following description of the operation of the monitoring device 40.

図４に示すように、最初に、監視カメラ３０によって、撮影対象となるエリアの撮影が行われる（ステップＡ１）。本実施の形態では、監視カメラ３０の撮影範囲３１は、図３に示すように、出入口７１の付近と鏡部材２０の反射面とが含まれるように設定されている。よって、図１及び図２の例では、出入口７１に位置する人物６０と、空間７０内から出入口７１に向かう人物６１とが、撮影される。 As shown in FIG. 4, first, the surveillance camera 30 captures an image of an area to be imaged (step A1). In the present embodiment, the imaging range 31 of the monitoring camera 30 is set so as to include the vicinity of the entrance / exit 71 and the reflecting surface of the mirror member 20 as shown in FIG. Therefore, in the example of FIGS. 1 and 2, the person 60 located at the entrance / exit 71 and the person 61 heading from the space 70 toward the entrance / exit 71 are photographed.

次に、監視装置４０において、画像取得部４１は、監視カメラ３１から出力された画像データを取得し、取得した画像データを演算部４２に出力する（ステップＡ２）。次に、演算部４２は、画像取得部４１から取得した画像データと、記憶部４４が記憶している画像データとを対比して、撮影された人物の顔と予め登録されている人物の顔とが一致している割合（一致率）を算出する（ステップＡ３）。また、演算部４２は、算出した一致率を判定部４３に出力する。 Next, in the monitoring device 40, the image acquisition unit 41 acquires the image data output from the monitoring camera 31, and outputs the acquired image data to the calculation unit 42 (step A2). Next, the calculation unit 42 compares the image data acquired from the image acquisition unit 41 with the image data stored in the storage unit 44 to compare the photographed person's face with the person's face registered in advance. Is calculated as a percentage (matching rate) (step A3). In addition, the calculation unit 42 outputs the calculated match rate to the determination unit 43.

本実施の形態では、演算部４２は、撮影範囲３１（図３参照）の上方側で得られた画像データと、撮影範囲３１の下方側で得られた画像データとの両方に対して、ステップＡ３を実行する。また、両方の画像データ中に、人物の顔の画像データが含まれていない場合、または両方の画像データから人物の画像データを抽出できなかった場合は、演算部４２は、監視装置４０における処理を終了する。 In the present embodiment, the calculation unit 42 performs steps for both the image data obtained on the upper side of the shooting range 31 (see FIG. 3) and the image data obtained on the lower side of the shooting range 31. A3 is executed. If the image data of the person's face is not included in both image data, or if the image data of the person cannot be extracted from both image data, the calculation unit 42 performs processing in the monitoring device 40. Exit.

次に、判定部４３は、演算部４２によって算出された一致率の値と、予め設定された閾値とを対比して、撮影された人物が要注意人物であるかどうかの判定を行う（ステップＡ４）。 Next, the determination unit 43 compares the value of the coincidence rate calculated by the calculation unit 42 with a preset threshold value to determine whether the photographed person is a person requiring attention (step) A4).

ステップＡ４の判定の結果、撮影された人物が要注意人物である場合は、判定部４３は、表示装置４５の画面に警告を表示させる（ステップＡ５）。ステップＡ５が実行されると、監視装置４０おける処理は終了する。 If the result of determination in step A4 is that the photographed person is a person requiring attention, the determination unit 43 displays a warning on the screen of the display device 45 (step A5). When step A5 is executed, the processing in the monitoring device 40 ends.

一方、ステップＡ４の判定の結果、撮影された人物が要注意人物でない場合は、演算部４３が、ゲート検出装置５０によって、ＩＣタグが付与された商品の通過が検出されているかどうかを判定する（ステップＡ６）。 On the other hand, if the result of the determination in step A4 is that the photographed person is not a watchable person, the calculation unit 43 determines whether or not the gate detection device 50 has detected the passage of the product with the IC tag. (Step A6).

ステップＡ６の判定の結果、ＩＣタグが付与された商品の通過が検出されていない場合は、監視装置４０における処理は終了する。一方、ステップＡ６の判定の結果、ＩＣタグが付与された商品の通過が検出されている場合は、演算部４２は、撮影範囲３１（図３参照）の上方側で得られた画像データから人物の顔の画像データを抽出し、抽出した人物の顔の画像データを記憶部４４に出力する。そして、記憶部４４は、出力された画像データを要注意人物の画像データとして登録する（ステップＡ７）。 As a result of the determination in step A6, when the passage of the product with the IC tag is not detected, the process in the monitoring device 40 ends. On the other hand, as a result of the determination in step A6, when the passage of the product with the IC tag is detected, the calculation unit 42 calculates the person from the image data obtained above the shooting range 31 (see FIG. 3). The face image data is extracted, and the extracted human face image data is output to the storage unit 44. Then, the storage unit 44 registers the output image data as image data of the person who needs attention (step A7).

ステップＡ７が実行された場合も、監視装置４０おける処理は終了する。また、監視装置４０においては、ステップＡ１〜Ａ７は、設定された間隔、具体的には、監視カメラ３０の撮影間隔で、繰り返し実行される。また、本実施の形態においては、演算部４２が、出入口７１に向かう人物６１の数と、空間７０に入る人物６０の数とを、それぞれ計測する、ステップを追加することもできる。 Even when Step A7 is executed, the processing in the monitoring device 40 ends. In the monitoring device 40, steps A <b> 1 to A <b> 7 are repeatedly executed at a set interval, specifically, a shooting interval of the monitoring camera 30. In the present embodiment, a step may be added in which the calculation unit 42 measures the number of persons 61 heading to the entrance / exit 71 and the number of persons 60 entering the space 70, respectively.

以上のように、本実施の形態における監視システム１０によれば、出入口７１に位置する人物６０と、空間７０内から出入口７１に向かう人物６１との両方に対して、一致判定を行うことができる。また、監視カメラの台数は、一台で良いため、監視システム１０の導入にかかる初期コストと管理コストとの増大化が抑制される。 As described above, according to the monitoring system 10 in the present embodiment, it is possible to make a match determination for both the person 60 located at the entrance / exit 71 and the person 61 heading from the space 70 toward the entrance / exit 71. . Moreover, since the number of monitoring cameras may be one, the increase in the initial cost and management cost concerning introduction of the monitoring system 10 is suppressed.

また、本実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１〜Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における監視装置４０と監視方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、画像取得部４１、演算部４２、及び判定部４３として機能し、処理を行なう。更に、コンピュータに備えられたハードディスク等の記憶装置が、記憶部４４として機能する。 Moreover, the program in this Embodiment should just be a program which makes a computer perform step A1-A7 shown in FIG. By installing and executing this program on a computer, the monitoring device 40 and the monitoring method in the present embodiment can be realized. In this case, a CPU (Central Processing Unit) of the computer functions as an image acquisition unit 41, a calculation unit 42, and a determination unit 43 to perform processing. Further, a storage device such as a hard disk provided in the computer functions as the storage unit 44.

ここで、実施の形態におけるプログラムを実行することによって、監視装置４０を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施の形態における監視装置４０を実現するコンピュータの一例を示すブロック図である。 Here, a computer that implements the monitoring device 40 by executing the program according to the embodiment will be described with reference to FIG. FIG. 5 is a block diagram illustrating an example of a computer that implements the monitoring device 40 according to the embodiment of the present invention.

図５に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。 As shown in FIG. 5, the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. These units are connected to each other via a bus 121 so that data communication is possible.

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。 The CPU 111 performs various calculations by developing the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executing them in a predetermined order. The main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory). Further, the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. Note that the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.

また、記憶装置１１３の具体例としては、ハードディスクの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。 Specific examples of the storage device 113 include a hard disk and a semiconductor storage device such as a flash memory. The input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse. The display controller 115 is connected to the display device 119 and controls display on the display device 119. The data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and reads a program from the recording medium 120 and writes a processing result in the computer 110 to the recording medium 120. The communication interface 117 mediates data transmission between the CPU 111 and another computer.

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash）及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。 Specific examples of the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash) and SD (Secure Digital), magnetic storage media such as a flexible disk, or CD-ROM (Compact Disk). Optical storage media such as Read Only Memory).

また、上述した例では、本実施の形態における監視システム１０を店舗で利用する場合について説明しているが、監視システム１０を利用可能な用途は、上述の例に限定されるものではない。本実施の形態における監視システム１０は、複数の人物が相反する２方向に向かって移動する場合であれば、特に限定なく利用できる。 Moreover, although the example mentioned above demonstrated the case where the monitoring system 10 in this Embodiment is utilized in a shop, the use which can use the monitoring system 10 is not limited to the above-mentioned example. The monitoring system 10 in the present embodiment can be used without particular limitation as long as a plurality of persons move in two opposite directions.

上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記２０）によって表現することができるが、以下の記載に限定されるものではない。 Part or all of the above-described embodiment can be expressed by (Appendix 1) to (Appendix 20) described below, but is not limited to the following description.

（付記１）
監視対象となる空間の内部における出入口の上方に設置された鏡部材と、監視カメラと、前記監視カメラが撮影した像の画像データを取得して監視を行う監視装置とを備え、
前記監視カメラは、前記出入口に位置する人物と前記鏡部材の反射面とが、同時に撮影範囲内に収まるように、配置され、
前記鏡部材は、前記空間内から前記出入口に向かう人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、
ことを特徴とする監視システム。 (Appendix 1)
A mirror member installed above the entrance / exit inside the space to be monitored, a monitoring camera, and a monitoring device that acquires and monitors image data of an image captured by the monitoring camera;
The surveillance camera is arranged so that the person located at the entrance and the reflecting surface of the mirror member are within the photographing range at the same time,
The mirror member is arranged so that an image of a person heading from the space toward the entrance is reflected by the reflecting surface and is photographed by the surveillance camera.
A monitoring system characterized by that.

（付記２）
前記監視カメラが、前記撮影範囲の上方側に前記反射面が収まり、前記撮影範囲の下方側に前記出入口に位置する人物の像が収まるように配置されている、付記１に記載の監視システム。 (Appendix 2)
The monitoring system according to claim 1, wherein the monitoring camera is arranged so that the reflection surface is placed above the shooting range and an image of a person located at the entrance is placed below the shooting range.

（付記３）
前記監視カメラが、更に、前記撮影範囲の上方側で得られた画像データと、前記撮影範囲の下方側で得られた画像データとを、別々に前記監視装置に出力する、付記２に記載の監視システム。 (Appendix 3)
The monitoring camera further outputs separately the image data obtained on the upper side of the shooting range and the image data obtained on the lower side of the shooting range to the monitoring device. Monitoring system.

（付記４）
前記監視装置が、前記撮影範囲の上方側で得られた画像データから、前記空間内から前記出入口に向かう人物の数を計測し、前記撮影範囲の下方側で得られた画像データから、前記監視対象となる空間に入る人物の数を計測する、付記２または３に記載の監視システム。 (Appendix 4)
The monitoring device measures the number of persons heading from the space toward the entrance from the image data obtained on the upper side of the shooting range, and from the image data obtained on the lower side of the shooting range, the monitoring 4. The monitoring system according to appendix 2 or 3, wherein the number of persons entering the target space is measured.

（付記５）
前記監視対象となる空間が店舗であり、前記空間内には、ＩＣタグが付与された商品が陳列されており、
当該監視システムが、前記ＩＣタグが付与された商品の通過を検出するゲート検出装置を更に備え、
前記鏡部材が、前記空間内から退出する人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置され、
前記監視装置が、前記ゲート検出装置によって、前記ＩＣタグが付与された商品の通過が検出されると、前記撮影範囲の上方側で得られた画像データから人物の顔の画像データを抽出し、抽出した画像データを登録する、付記２から４のいずれかに記載の監視システム。 (Appendix 5)
The space to be monitored is a store, and products with an IC tag are displayed in the space,
The monitoring system further includes a gate detection device that detects the passage of the product to which the IC tag is attached,
The mirror member is arranged such that an image of a person exiting from the space is reflected by the reflecting surface and is photographed by the surveillance camera;
When the monitoring device detects the passage of the product to which the IC tag is attached by the gate detection device, the image data of the person's face is extracted from the image data obtained above the shooting range, The monitoring system according to any one of appendices 2 to 4, wherein the extracted image data is registered.

（付記６）
監視カメラが撮影した像の画像データを用いて監視を行う監視装置であって、
出入口の上方に鏡部材が設置された空間が監視対象となり、前記監視カメラは、前記出入口に位置する人物と前記鏡部材の反射面とが、同時に撮影範囲内に収まるように、配置され、前記鏡部材は、前記空間内から前記出入口に向かう人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、場合において、
当該監視装置は、
前記監視カメラから画像データを取得する、画像取得部と、
予め登録されている人物の顔の画像データを格納している、記憶部と、
前記画像取得部が取得した画像データと、前記記憶部が格納している画像データとを対比して、前記出入口に位置する人物の顔と予め登録されている人物の顔とが一致している割合、及び前記空間内から前記出入口に向かう人物の顔と予め登録されている人物の顔とが一致している割合を算出する、演算部と、
前記演算部が算出した割合に基づいて、前記出入口に位置する人物、及び前記空間内から前記出入口に向かう人物それぞれが、予め顔が登録されている人物であるかどうかを判定する、判定部と、
を備えていることを特徴とする監視装置。 (Appendix 6)
A monitoring device that performs monitoring using image data of an image captured by a monitoring camera,
The space in which the mirror member is installed above the entrance / exit is to be monitored, and the monitoring camera is arranged so that the person located at the entrance / exit and the reflecting surface of the mirror member are simultaneously within the imaging range, In the case where the mirror member is arranged such that an image of the person heading from the space toward the doorway is reflected by the reflecting surface and photographed by the surveillance camera,
The monitoring device
An image acquisition unit for acquiring image data from the surveillance camera;
A storage unit that stores pre-registered person face image data;
Comparing the image data acquired by the image acquisition unit with the image data stored in the storage unit, the face of the person located at the entrance and the face of the person registered in advance match. A calculation unit that calculates a ratio and a ratio of a person's face heading from the space toward the entrance and a person's face registered in advance;
A determination unit that determines, based on the ratio calculated by the calculation unit, whether each of the person located at the doorway and the person heading from the space toward the doorway is a person whose face is registered in advance; ,
A monitoring device comprising:

（付記７）
前記監視カメラが、前記撮影範囲の上方側に前記反射面が収まり、前記撮影範囲の下方側に前記出入口に位置する人物の像が収まるように配置されている、付記６に記載の監視装置。 (Appendix 7)
The monitoring apparatus according to appendix 6, wherein the monitoring camera is arranged so that the reflecting surface is located above the photographing range and an image of a person located at the entrance is located below the photographing range.

（付記８）
前記監視カメラが、更に、前記撮影範囲の上方側で得られた画像データと、前記撮影範囲の下方側で得られた画像データとを、別々に前記画像取得部に出力する、付記７に記載の監視装置。 (Appendix 8)
The additional information according to appendix 7, wherein the monitoring camera further outputs separately the image data obtained on the upper side of the shooting range and the image data obtained on the lower side of the shooting range to the image acquisition unit. Monitoring device.

（付記９）
前記演算部が、前記撮影範囲の上方側で得られた画像データから、前記空間内から前記出入口に向かう人物の数を計測し、前記撮影範囲の下方側で得られた画像データから、前記監視対象となる空間に入る人物の数を計測する、付記７または８に記載の監視装置。 (Appendix 9)
The calculation unit measures the number of persons heading from the space toward the entrance from the image data obtained on the upper side of the shooting range, and from the image data obtained on the lower side of the shooting range, the monitoring 9. The monitoring device according to appendix 7 or 8, which measures the number of persons entering the target space.

（付記１０）
前記監視対象となる空間が店舗であり、前記空間内には、ＩＣタグが付与された商品が陳列され、更に、前記出入口に、前記ＩＣタグが付与された商品の通過を検出するゲート検出装置が配置され、加えて、前記鏡部材が、前記空間内から退出する人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、場合において、
前記演算部が、前記ゲート検出装置によって、前記ＩＣタグが付与された商品の通過が検出されると、前記撮影範囲の上方側で得られた画像データから人物の顔の画像データを抽出し、抽出した画像データを前記記憶部に格納させる、付記７から９のいずれかに記載の監視装置。 (Appendix 10)
The space to be monitored is a store, a product with an IC tag is displayed in the space, and a gate detection device for detecting the passage of the product with the IC tag at the doorway And in addition, the mirror member is arranged such that an image of a person exiting the space is reflected by its reflecting surface and photographed by the surveillance camera.
When the arithmetic unit detects the passage of the product to which the IC tag is attached by the gate detection device, it extracts image data of a person's face from the image data obtained above the shooting range, The monitoring apparatus according to any one of appendices 7 to 9, wherein the extracted image data is stored in the storage unit.

（付記１１）
監視カメラが撮影した像の画像データを用いて監視を行うための監視方法であって、
出入口の上方に鏡部材が設置された空間が監視対象となり、前記監視カメラは、前記出入口に位置する人物と前記鏡部材の反射面とが、同時に撮影範囲内に収まるように、配置され、前記鏡部材は、前記空間内から前記出入口に向かう人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、場合において、
（ａ）前記監視カメラから画像データを取得する、ステップと、
（ｂ）前記（ａ）のステップで取得した画像データと、予め登録されている人物の顔の画像データとを対比して、前記出入口に位置する人物の顔と予め登録されている人物の顔とが一致している割合、及び前記空間内から前記出入口に向かう人物の顔と予め登録されている人物の顔とが一致している割合を算出する、ステップと、
（ｃ）前記（ｂ）のステップで算出した割合に基づいて、前記出入口に位置する人物、及び前記空間内から前記出入口に向かう人物それぞれが、予め顔が登録されている人物であるかどうかを判定する、ステップと、
を有することを特徴とする監視方法。 (Appendix 11)
A monitoring method for performing monitoring using image data of an image taken by a monitoring camera,
The space in which the mirror member is installed above the entrance / exit is to be monitored, and the monitoring camera is arranged so that the person located at the entrance / exit and the reflecting surface of the mirror member are simultaneously within the imaging range, In the case where the mirror member is arranged such that an image of the person heading from the space toward the doorway is reflected by the reflecting surface and photographed by the surveillance camera,
(A) obtaining image data from the surveillance camera;
(B) By comparing the image data acquired in the step (a) with the image data of the person's face registered in advance, the face of the person located at the entrance and the face of the person registered in advance And a ratio of the matching between the face of the person heading from the space toward the entrance and the face of the person registered in advance, and
(C) Based on the ratio calculated in the step (b), it is determined whether each of the person located at the entrance and the person heading from the space toward the entrance is a person whose face is registered in advance. Judging, steps,
The monitoring method characterized by having.

（付記１２）
前記監視カメラが、前記撮影範囲の上方側に前記反射面が収まり、前記撮影範囲の下方側に前記出入口に位置する人物の像が収まるように配置されている、付記１１に記載の監視方法。 (Appendix 12)
The monitoring method according to claim 11, wherein the monitoring camera is arranged such that the reflecting surface is placed above the photographing range and an image of a person located at the entrance is placed below the photographing range.

（付記１３）
前記監視カメラが、更に、前記撮影範囲の上方側で得られた画像データと、前記撮影範囲の下方側で得られた画像データとを、別々に前記画像取得部に出力する、付記１２に記載の監視方法。 (Appendix 13)
The additional information according to appendix 12, wherein the monitoring camera further outputs separately the image data obtained on the upper side of the shooting range and the image data obtained on the lower side of the shooting range to the image acquisition unit. Monitoring method.

（付記１４）
（ｄ）前記撮影範囲の上方側で得られた画像データから、前記空間内から前記出入口に向かう人物の数を計測し、前記撮影範囲の下方側で得られた画像データから、前記監視対象となる空間に入る人物の数を計測する、ステップを、更に有する付記１２または１３に記載の監視方法。 (Appendix 14)
(D) From the image data obtained on the upper side of the imaging range, the number of persons heading from the space toward the entrance is measured, and from the image data obtained on the lower side of the imaging range, 14. The monitoring method according to appendix 12 or 13, further comprising a step of measuring the number of persons entering the space.

（付記１５）
前記監視対象となる空間が店舗であり、前記空間内には、ＩＣタグが付与された商品が陳列され、更に、前記出入口に、前記ＩＣタグが付与された商品の通過を検出するゲート検出装置が配置され、加えて、前記鏡部材が、前記空間内から退出する人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、場合において、
（ｅ）前記ゲート検出装置によって、前記ＩＣタグが付与された商品の通過が検出されると、前記撮影範囲の上方側で得られた画像データから人物の顔の画像データを抽出し、抽出した画像データを登録する、ステップを、更に有する付記１２から１４のいずれかに記載の監視方法。 (Appendix 15)
The space to be monitored is a store, a product with an IC tag is displayed in the space, and a gate detection device for detecting the passage of the product with the IC tag at the doorway And in addition, the mirror member is arranged such that an image of a person exiting the space is reflected by its reflecting surface and photographed by the surveillance camera.
(E) When the passage of the product with the IC tag is detected by the gate detection device, the image data of the person's face is extracted from the image data obtained on the upper side of the shooting range and extracted. 15. The monitoring method according to any one of appendices 12 to 14, further comprising a step of registering image data.

（付記１６）
監視カメラが撮影した像の画像データを用いた監視を、コンピュータによって、実行するためのプログラムであって、
出入口の上方に鏡部材が設置された空間が監視対象となり、前記監視カメラは、前記出入口に位置する人物と前記鏡部材の反射面とが、同時に撮影範囲内に収まるように、配置され、前記鏡部材は、前記空間内から前記出入口に向かう人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、場合において、
前記コンピュータに、
（ａ）前記監視カメラから画像データを取得する、ステップと、
（ｂ）前記（ａ）のステップで取得した画像データと、予め登録されている人物の顔の画像データとを対比して、前記出入口に位置する人物の顔と予め登録されている人物の顔とが一致している割合、及び前記空間内から前記出入口に向かう人物の顔と予め登録されている人物の顔とが一致している割合を算出する、ステップと、
（ｃ）前記（ｂ）のステップで算出した割合に基づいて、前記出入口に位置する人物、及び前記空間内から前記出入口に向かう人物それぞれが、予め顔が登録されている人物であるかどうかを判定する、ステップと、
を実行させるプログラム。 (Appendix 16)
A program for executing, by a computer, monitoring using image data of an image taken by a monitoring camera,
The space in which the mirror member is installed above the entrance / exit is to be monitored, and the monitoring camera is arranged so that the person located at the entrance / exit and the reflecting surface of the mirror member are simultaneously within the imaging range, In the case where the mirror member is arranged such that an image of the person heading from the space toward the doorway is reflected by the reflecting surface and photographed by the surveillance camera,
In the computer,
(A) obtaining image data from the surveillance camera;
(B) By comparing the image data acquired in the step (a) with the image data of the person's face registered in advance, the face of the person located at the entrance and the face of the person registered in advance And a ratio of the matching between the face of the person heading from the space toward the entrance and the face of the person registered in advance, and
(C) Based on the ratio calculated in the step (b), it is determined whether each of the person located at the entrance and the person heading from the space toward the entrance is a person whose face is registered in advance. Judging, steps,
A program that executes

（付記１７）
前記監視カメラが、前記撮影範囲の上方側に前記反射面が収まり、前記撮影範囲の下方側に前記出入口に位置する人物の像が収まるように配置されている、付記１６に記載のプログラム。 (Appendix 17)
The program according to appendix 16, wherein the monitoring camera is arranged so that the reflection surface is placed above the photographing range and an image of a person located at the entrance is placed below the photographing range.

（付記１８）
前記監視カメラが、更に、前記撮影範囲の上方側で得られた画像データと、前記撮影範囲の下方側で得られた画像データとを、別々に前記画像取得部に出力する、付記１７に記載のプログラム。 (Appendix 18)
Item 18. The additional note 17, wherein the monitoring camera further outputs separately the image data obtained on the upper side of the shooting range and the image data obtained on the lower side of the shooting range to the image acquisition unit. Program.

（付記１９）
（ｄ）前記撮影範囲の上方側で得られた画像データから、前記空間内から前記出入口に向かう人物の数を計測し、前記撮影範囲の下方側で得られた画像データから、前記監視対象となる空間に入る人物の数を計測する、ステップを、更に前記コンピュータに実行させる付記１７または１８に記載のプログラム。 (Appendix 19)
(D) From the image data obtained on the upper side of the imaging range, the number of persons heading from the space toward the entrance is measured, and from the image data obtained on the lower side of the imaging range, The program according to appendix 17 or 18, further causing the computer to execute a step of measuring the number of persons entering the space.

（付記２０）
前記監視対象となる空間が店舗であり、前記空間内には、ＩＣタグが付与された商品が陳列され、更に、前記出入口に、前記ＩＣタグが付与された商品の通過を検出するゲート検出装置が配置され、加えて、前記鏡部材が、前記空間内から退出する人物の像が、その反射面で反射され、そして、前記監視カメラによって撮影されるように配置されている、場合において、
（ｅ）前記ゲート検出装置によって、前記ＩＣタグが付与された商品の通過が検出されると、前記撮影範囲の上方側で得られた画像データから人物の顔の画像データを抽出し、抽出した画像データを登録する、ステップを、更に前記コンピュータに実行させる付記１７から１９のいずれかに記載のプログラム。 (Appendix 20)
The space to be monitored is a store, a product with an IC tag is displayed in the space, and a gate detection device for detecting the passage of the product with the IC tag at the doorway And in addition, the mirror member is arranged such that an image of a person exiting the space is reflected by its reflecting surface and photographed by the surveillance camera.
(E) When the passage of the product with the IC tag is detected by the gate detection device, the image data of the person's face is extracted from the image data obtained on the upper side of the shooting range and extracted. The program according to any one of appendices 17 to 19, further causing the computer to execute a step of registering image data.

本発明によれば、一台の監視カメラによって２方向からの人物の監視を行うことができる。本発明は、相反する２方向に移動する複数の人物の監視が必要な場合であれば、特に限定なく利用できる。 According to the present invention, it is possible to monitor a person from two directions with one monitoring camera. The present invention can be used without particular limitation as long as it is necessary to monitor a plurality of persons moving in two opposite directions.

１０監視システム
２０鏡部材
２１反射面
３０監視カメラ
４０監視装置
４１画像取得部
４２演算部
４３判定部
４４記憶部
４５表示装置
５０ゲート検出装置
６０、６１人物
７０空間
７１出入口
１１０コンピュータ
１１１ＣＰＵ
１１２メインメモリ
１１３記憶装置
１１４入力インターフェイス
１１５表示コントローラ
１１６データリーダ／ライタ
１１７通信インターフェイス
１１８入力機器
１１９ディスプレイ装置
１２０記録媒体
１２１バス DESCRIPTION OF SYMBOLS 10 Monitoring system 20 Mirror member 21 Reflecting surface 30 Monitoring camera 40 Monitoring apparatus 41 Image acquisition part 42 Calculation part 43 Determination part 44 Memory | storage part 45 Display apparatus 50 Gate detection apparatus 60, 61 Person 70 Space 71 Entrance / exit 110 Computer 111 CPU
112 Main Memory 113 Storage Device 114 Input Interface 115 Display Controller 116 Data Reader / Writer 117 Communication Interface 118 Input Device 119 Display Device 120 Recording Medium 121 Bus

Claims

A mirror member installed above the entrance / exit inside the space to be monitored, a monitoring camera, and a monitoring device that acquires and monitors image data of an image captured by the monitoring camera;
The surveillance camera is arranged so that the person located at the entrance and the reflecting surface of the mirror member are within the photographing range at the same time,
The mirror member is arranged so that an image of a person heading from the space toward the entrance is reflected by the reflecting surface and is photographed by the surveillance camera.
A monitoring system characterized by that.

2. The monitoring system according to claim 1, wherein the monitoring camera is arranged so that the reflection surface is placed above the shooting range and an image of a person located at the entrance is placed below the shooting range. .

The monitoring camera further outputs image data obtained on the upper side of the shooting range and image data obtained on the lower side of the shooting range to the monitoring device separately. Monitoring system.

The monitoring device measures the number of persons heading from the space toward the entrance from the image data obtained on the upper side of the shooting range, and from the image data obtained on the lower side of the shooting range, the monitoring The monitoring system according to claim 1, wherein the number of persons entering the target space is measured.

The space to be monitored is a store, and products with an IC tag are displayed in the space,
The monitoring system further includes a gate detection device that detects the passage of the product to which the IC tag is attached,
The mirror member is arranged such that an image of a person exiting from the space is reflected by the reflecting surface and is photographed by the surveillance camera;
When the monitoring device detects the passage of the product to which the IC tag is attached by the gate detection device, the image data of the person's face is extracted from the image data obtained above the shooting range, The monitoring system according to claim 2, wherein the extracted image data is registered.

A monitoring device that performs monitoring using image data of an image captured by a monitoring camera,
The space in which the mirror member is installed above the entrance / exit is to be monitored, and the monitoring camera is arranged so that the person located at the entrance / exit and the reflecting surface of the mirror member are simultaneously within the imaging range, In the case where the mirror member is arranged such that an image of the person heading from the space toward the doorway is reflected by the reflecting surface and photographed by the surveillance camera,
The monitoring device
An image acquisition unit for acquiring image data from the surveillance camera;
A storage unit that stores pre-registered person face image data;
Comparing the image data acquired by the image acquisition unit with the image data stored in the storage unit, the face of the person located at the entrance and the face of the person registered in advance match. A calculation unit that calculates a ratio and a ratio of a person's face heading from the space toward the entrance and a person's face registered in advance;
A determination unit that determines, based on the ratio calculated by the calculation unit, whether each of the person located at the doorway and the person heading from the space toward the doorway is a person whose face is registered in advance; ,
A monitoring device comprising:

A monitoring method for performing monitoring using image data of an image taken by a monitoring camera,
The space in which the mirror member is installed above the entrance / exit is to be monitored, and the monitoring camera is arranged so that the person located at the entrance / exit and the reflecting surface of the mirror member are simultaneously within the imaging range, In the case where the mirror member is arranged such that an image of the person heading from the space toward the doorway is reflected by the reflecting surface and photographed by the surveillance camera,
(A) obtaining image data from the surveillance camera;
(B) By comparing the image data acquired in the step (a) with the image data of the person's face registered in advance, the face of the person located at the entrance and the face of the person registered in advance And a ratio of the matching between the face of the person heading from the space toward the entrance and the face of the person registered in advance, and
(C) Based on the ratio calculated in the step (b), it is determined whether each of the person located at the entrance and the person heading from the space toward the entrance is a person whose face is registered in advance. Judging, steps,
The monitoring method characterized by having.

A program for executing, by a computer, monitoring using image data of an image taken by a monitoring camera,
The space in which the mirror member is installed above the entrance / exit is to be monitored, and the monitoring camera is arranged so that the person located at the entrance / exit and the reflecting surface of the mirror member are simultaneously within the imaging range, In the case where the mirror member is arranged such that an image of the person heading from the space toward the doorway is reflected by the reflecting surface and photographed by the surveillance camera,
In the computer,
(A) obtaining image data from the surveillance camera;
(B) By comparing the image data acquired in the step (a) with the image data of the person's face registered in advance, the face of the person located at the entrance and the face of the person registered in advance And a ratio of the matching between the face of the person heading from the space toward the entrance and the face of the person registered in advance, and
(C) Based on the ratio calculated in the step (b), it is determined whether each of the person located at the entrance and the person heading from the space toward the entrance is a person whose face is registered in advance. Judging, steps,
A program that executes