JP2020077319A

JP2020077319A - Image monitoring system

Info

Publication number: JP2020077319A
Application number: JP2018211434A
Authority: JP
Inventors: 沙魚川　久史; Hisashi Hazekawa; 久史沙魚川; 辰徳佐々木; Tatsunori Sasaki; 学小南; Manabu Kominami
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2018-11-09
Filing date: 2018-11-09
Publication date: 2020-05-21
Anticipated expiration: 2038-11-09
Also published as: JP7246166B2

Abstract

To provide an image monitoring system capable of estimating a reason of a monitoring request on the basis of an image picked up by a monitoring camera when the monitoring request is made by manual notification.SOLUTION: An image monitoring system 1 includes a store device and a monitoring device. The store device includes: an image acquisition section for acquiring picked-up images photographed by a plurality of cameras installed in a store; a person detection section for detecting a position of a person from the picked-up images; an operation section into which a monitoring request is input; a manual notification section for transmitting the monitoring request to the monitoring device when the monitoring request is input; a reason estimation section for estimating a request reason on the basis of the position of a person and the attributes of the person when the manual notification section transmits the monitoring request; and a reason transmission section for transmitting an estimated request reason to the monitoring device.SELECTED DRAWING: Figure 1

Description

本発明は、店舗を監視する画像監視システムに関する。 The present invention relates to an image monitoring system that monitors a store.

従来、店舗に設置された店舗装置が、店舗内を撮影した撮影画像を解析し、撮影画像から検出した人物への対処が必要である場合、監視センタに設置された監視装置に通報を行う画像監視システムが利用されている。 Conventionally, an image that a store device installed in a store analyzes a captured image of the inside of the store and notifies a monitoring device installed in a monitoring center when a person detected from the captured image needs to be dealt with Surveillance system is used.

例えば、特許文献１には、監視対象の状況を監視センタで画像により監視する画像監視システムが開示されている。この画像監視システムにおいて、画像監視システムの利用者は、強盗などの非常事態が発生したときは非常操作部を操作して非常通報を行い、不審人物を発見したときは要請操作部を操作して監視要請を行う。要請操作部の操作を検知した画像監視装置は、要請操作部および電話機と監視カメラとの関係を予め記憶したテーブルに基づいて、操作された操作部の位置に応じて、対応する監視領域を撮影した監視カメラの画像を監視センタへ送出する。 For example, Patent Document 1 discloses an image monitoring system that monitors the status of a monitoring target with an image at a monitoring center. In this image monitoring system, the user of the image monitoring system operates the emergency operation unit to make an emergency call when an emergency situation such as robbery occurs, and operates the request operation unit when a suspicious person is found. Make a surveillance request. Upon detecting the operation of the request operation unit, the image monitoring device captures a corresponding monitoring area according to the position of the operated operation unit based on a table in which the relationship between the request operation unit and the telephone and the monitoring camera is stored in advance. The image of the surveillance camera is sent to the surveillance center.

特開２００１−１０９９７３号公報JP 2001-109973 A

しかしながら、店舗を監視する画像監視システムにおいて、監視センタの管制員は、店舗内の店員から手動通報による監視要請を受けると通報ボタンの近くのカメラ画像を監視するが、店員が通報ボタンを押して監視要請したい理由が自身の周辺ではない場合がある。例えば、店員は、レジ対応で離れることができない状況において、死角領域に居る人が気になって監視要請を通報する場合がある。この場合、監視センタの管制員は、店員の意図を把握することが困難である。電話による確認を行う場合もあるが、店員がレジ対応中などで応答できない場合もある。 However, in an image monitoring system that monitors stores, when a supervisor in the monitoring center receives a monitoring request from a store clerk in the store by monitoring, the camera image near the report button is monitored, but the store clerk presses the report button to monitor. Sometimes the reason you want to ask is not around you. For example, a clerk may notice the person in the blind spot area and notify the monitoring request when he / she cannot leave because of cash register support. In this case, it is difficult for the controller of the monitoring center to grasp the intention of the store clerk. In some cases, confirmation is made by telephone, but in some cases, the clerk is unable to respond because the cashier is responding.

本発明の目的は、手動通報によって監視要請されたとき、監視カメラが撮影した画像に基づいて監視要請の理由を推定する画像監視システムを提供することにある。 An object of the present invention is to provide an image monitoring system that estimates a reason for a monitoring request based on an image captured by a monitoring camera when a monitoring request is made by manual notification.

かかる課題を解決するため本発明は、店舗装置および監視装置からなる画像監視システムにおいて、店舗装置は、店舗内に設置された複数のカメラで撮影した撮影画像を取得する画像取得部と、撮影画像から人物の位置を検出する人物検出部と、監視要請が入力される操作部と、監視要請が入力されると、当該監視要請を監視装置に送信する手動通報部と、手動通報部が監視要請を送信する場合、人物の位置および当該人物の属性に基づき要請理由を推定する理由推定部と、推定された要請理由を監視装置に送信する理由送信部と、を有することを特徴とする画像監視システムを提供する。 In order to solve such a problem, the present invention provides an image monitoring system including a store device and a monitoring device, wherein the store device acquires an image captured by a plurality of cameras installed in the store, and a captured image. The person detection unit that detects the position of a person from the operation unit, the operation unit that inputs the monitoring request, the manual notification unit that sends the monitoring request to the monitoring device when the monitoring request is input, and the manual notification unit requests the monitoring request. When transmitting the information, the image monitoring is characterized by including a reason estimation unit that estimates the request reason based on the position of the person and the attribute of the person, and a reason transmission unit that transmits the estimated request reason to the monitoring device. Provide the system.

この画像監視システムにおいて、撮影画像における人物の属性および位置を含む複数の要請理由を記憶する記憶部をさらに有し、理由推定部は、記憶部に記憶された複数の要請理由の中から人物の位置および当該人物の属性に基づき撮影画像に適合する要請理由を推定することが好適である。 This image monitoring system further includes a storage unit that stores a plurality of request reasons including the attribute and position of the person in the captured image, and the reason estimating unit determines the person's reason from the plurality of request reasons stored in the storage unit. It is preferable to estimate the reason for the request that matches the captured image based on the position and the attribute of the person.

この画像監視システムにおいて、理由推定部は、店員属性を有する人物と顧客属性を有する人物との位置、および店員の移動自由度を考慮して要請理由を推定することが好適である。 In this image monitoring system, it is preferable that the reason estimating unit estimates the request reason in consideration of the positions of the person having the clerk attribute and the person having the customer attribute and the degree of freedom of movement of the clerk.

この画像監視システムにおいて、理由推定部は、監視要請を入力した店員に対応する監視要請履歴を考慮して要請理由を推定することが好適である。 In this image monitoring system, it is preferable that the reason estimating unit estimates the request reason in consideration of the monitoring request history corresponding to the clerk who inputs the monitoring request.

この画像監視システムにおいて、理由送信部は、推定した要請理由に基づいて選択した監視すべきカメラを監視装置に送信することが好適である。 In this image monitoring system, it is preferable that the reason transmitting unit transmits the camera to be monitored selected based on the estimated request reason to the monitoring device.

本発明に係る画像監視システムは、手動通報によって監視要請されたとき、監視カメラが撮影した画像に基づいて監視要請の理由を推定することが可能となる。 The image monitoring system according to the present invention can estimate the reason for the monitoring request based on the image taken by the monitoring camera when the monitoring request is made by the manual notification.

画像監視システム１の全体システム構成を示す図である。It is a figure which shows the whole system structure of the image monitoring system 1. 監視要請理由１３１の例を示す図である。It is a figure which shows the example of the monitoring request reason 131. 監視処理の動作を示すフローチャートの一例を示す図である。It is a figure which shows an example of the flowchart which shows operation | movement of a monitoring process. 監視装置３０に表示される表示画面の一例である。6 is an example of a display screen displayed on the monitoring device 30.

以下、本発明の実施形態に係る画像監視システムの一実施形態について図を参照しつつ説明する。ただし、本発明は図面または以下に記載される実施形態には限定されないことを理解されたい。 Hereinafter, an embodiment of an image monitoring system according to an embodiment of the present invention will be described with reference to the drawings. However, it should be understood that the invention is not limited to the drawings or the embodiments described below.

図１は、本実施形態に係る画像監視システム１の全体システム構成を示す図である。図１に示すように、画像監視システム１は、一または複数の店舗のそれぞれに設置される一または複数の店舗装置１０と、構内ＬＡＮまたはインターネットなどの通信ネットワークを介して各店舗装置１０と接続される監視装置３０と、を有する。また、各店舗装置１０には、複数の撮像装置２１と、音出力装置２２と、操作装置２３と、が接続される。 FIG. 1 is a diagram showing the overall system configuration of an image monitoring system 1 according to this embodiment. As shown in FIG. 1, the image monitoring system 1 is connected to one or a plurality of store devices 10 installed in one or a plurality of stores and each store device 10 via a communication network such as a local area LAN or the Internet. The monitoring device 30 is provided. In addition, a plurality of imaging devices 21, a sound output device 22, and an operation device 23 are connected to each store device 10.

店舗装置１０は、例えばパーソナルコンピュータなどであり、インタフェース部１１と、第１通信部１２と、第１記憶部１３と、第１制御部１４と、を有する。 The store device 10 is, for example, a personal computer, and includes an interface unit 11, a first communication unit 12, a first storage unit 13, and a first control unit 14.

インタフェース部１１は、例えばＵＳＢなどのシリアルバス規格に準じるインタフェース回路を有し、撮像装置２１、音出力装置２２、操作装置２３と通信接続して各種の情報を送受信する。なお、インタフェース部１１は、シリアルバス規格に準じるインタフェース回路の代わりに、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣなどの近距離無線通信規格に準じるインタフェース回路を有してもよい。 The interface unit 11 has an interface circuit conforming to a serial bus standard such as USB, and is connected to the image pickup device 21, the sound output device 22, and the operation device 23 to transmit and receive various information. Note that the interface unit 11 may have an interface circuit that complies with a short-range wireless communication standard such as WiFi, Bluetooth (registered trademark), or NFC, instead of an interface circuit that complies with the serial bus standard.

第１通信部１２は、イーサネット（登録商標）などの各種の通信インタフェース回路を有し、通信ネットワークを介して監視装置３０と各種の信号を送受信する。 The first communication unit 12 has various communication interface circuits such as Ethernet (registered trademark), and transmits and receives various signals to and from the monitoring device 30 via a communication network.

第１記憶部１３は、ＲＯＭ、ＲＡＭなどの半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどの光ディスクドライブおよびその記録媒体を有する。第１記憶部１３は、店舗装置１０を制御するのに第１制御部１４が実行するコンピュータプログラムのコードおよび各種データを記憶する。コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラムなどを用いて第１記憶部１３にインストールされてもよい。また、第１記憶部１３は、データとして、監視要請理由１３１、特定領域情報１３２、監視要請履歴１３３および背景画像１３４などを記憶する。 The first storage unit 13 has a semiconductor memory such as ROM and RAM, a magnetic disk (HDD), or an optical disk drive such as CD-ROM and DVD-RAM, and its recording medium. The first storage unit 13 stores the code of the computer program executed by the first control unit 14 to control the store apparatus 10 and various data. The computer program may be installed in the first storage unit 13 using a known setup program or the like from a computer-readable portable recording medium such as a CD-ROM or a DVD-ROM. The first storage unit 13 also stores, as data, the monitoring request reason 131, the specific area information 132, the monitoring request history 133, the background image 134, and the like.

監視要請理由１３１は、店員が操作装置２３の監視要請ボタンを押して監視要請を行った際、店舗内を撮影した撮影画像から監視要請を行った理由を推定するために使用される判定パターンであり、複数の要請理由が記憶される。
図２を用いて、監視要請理由１３１の例を説明する。例えば、図２に示すように、カウンタ内Ａ１の店員が、レジ前Ａ３に顧客が多数並んでいてレジ対応中で動けない状況、すなわち移動自由度が低い状況において、他の複数の顧客が死角Ａ２に集まっているのが気になるため、カメラＣ２の撮影画像により死角Ａ２を監視して欲しい場合の要請理由１、レジ前Ａ３に客はいないが、要注意人物が盗難の多い物品の前Ａ４で立ち止まっているので、カメラＣ３の撮影画像により盗難の多い物品の前Ａ４を監視してほしい場合の要請理由２、入口Ａ５から二人組で来店した要注意人物のうちの一人がレジ前Ａ３に来たのでカウンタ内Ａ１の店員がレジ対応している間に、他の一人が死角Ａ２に移動したのが気になったためカメラＣ２の撮影画像により死角Ａ２を監視して欲しい場合の要請理由３、などの多様なパターンが考えられる。
監視要請理由１３１は、これらの店員、顧客位置、および属性のパターンを要請理由として記憶する。要請理由は、任意の形式をとり得るが、本実施形態では、撮影画像における人物の位置および／または属性を含むルールとする。これらのルールは、例えば、撮影画像から検出された人物の位置や属性の組合せで表してもよく、人物の位置および属性を用いたプログラム関数やメソッドなどで記述してもよい。なお、人物の位置および属性については、後述の店舗装置１０による監視処理の動作の説明にて詳述する。 The monitoring request reason 131 is a determination pattern used to estimate the reason for the monitoring request from the captured image of the inside of the store when the salesclerk requests the monitoring request by pressing the monitoring request button of the operation device 23. , A plurality of request reasons are stored.
An example of the monitoring request reason 131 will be described with reference to FIG. For example, as shown in FIG. 2, when a clerk at the counter A1 has a large number of customers lined up in front of the cash register A3 and is unable to move while handling the cash register, that is, the degree of freedom of movement is low, a plurality of other customers are blind spots. Because I am worried that they are gathering in A2, the reason for requesting when I want to monitor the blind spot A2 by the image taken by the camera C2, there is no customer at the cash register A3, but a person in need of attention is in front of an item that is often stolen. Because I stopped at A4, the reason for requesting that I want to monitor A4 in front of articles that are often stolen by the image taken by camera C3, one of the people who need attention from the entrance A5 in a pair is A3 in front of the cash register Since I came to, I was worried that another person moved to the blind spot A2 while the clerk at the counter A1 was registering, so I wanted to monitor the blind spot A2 with the image taken by the camera C2. Various patterns, such as 3, can be considered.
The monitoring request reason 131 stores these salesclerk, customer position, and attribute patterns as request reasons. The request reason may take any form, but in the present embodiment, it is a rule including the position and / or attribute of the person in the captured image. These rules may be represented by, for example, a combination of the position and attributes of the person detected from the captured image, or may be described by a program function or method that uses the position and attributes of the person. Note that the position and attribute of the person will be described in detail in the description of the operation of the monitoring process performed by the store apparatus 10 described later.

特定領域情報１３２には、店舗内のカウンタ内、レジ前、死角、盗難の多い物品の前、入口などの特定領域の店舗内における位置および範囲などに関する情報が記憶される。例えば、特定領域情報１３２において、特定領域は、店舗の床平面における一点の２次元座標および縦／横の幅を用いた長方形として表したり、店舗内を縦／横に均等に区分した複数の長方形ブロックのうちの一つまたは複数のブロックの識別情報を用いて表したり、任意の形状の領域を任意の方法で表すことができる。
監視要請履歴１３３には、監視要請を行った際の要請理由が店員に対応付けられて履歴として記憶される。監視要請履歴１３３には、監視要請が行われるごとに、その日時、店員の識別情報、要請理由などが記憶されてもよい。
背景画像１３４は、各撮像装置２１が、動物体が存在しないときに店舗内を撮影した画像であり、撮影画像から人物などの動物体を検出するのに使用される。 The specific area information 132 stores information on the position and range of a specific area in the store, such as inside a counter, in front of a cash register, in a blind spot, in front of a stolen article, and at an entrance. For example, in the specific area information 132, the specific area is represented as a rectangle using the two-dimensional coordinates of one point on the floor plane of the store and the vertical / horizontal width, or a plurality of rectangles that divide the inside of the store evenly in the vertical / horizontal direction. It can be represented by using the identification information of one or a plurality of blocks, or a region of any shape can be represented by any method.
In the monitoring request history 133, the reason for requesting the monitoring request is stored as a history in association with the store clerk. Each time a monitoring request is made, the monitoring request history 133 may store the date and time, the clerk's identification information, the request reason, and the like.
The background image 134 is an image captured by the imaging device 21 inside the store when there is no moving object, and is used to detect a moving object such as a person from the captured image.

第１制御部１４は、ＣＰＵ、ＭＰＵなどのプロセッサとその周辺回路とを有し、当該プロセッサは、第１記憶部１３に記憶されたコンピュータプログラムのコードを実行することによって店舗装置１０の各種動作を制御する。なお、第１制御部１４として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡなどが用いられてもよい。
第１制御部１４は、プロセッサ上で動作するプログラムの機能モジュールとして、店員が操作装置２３から入力した監視要請を監視装置３０に送信する手動通報部１４１と、店舗内を撮影した撮影画像を撮像装置２１から取得する画像取得部１４２と、撮影画像から人物の位置および属性を検出する人物検出部１４３と、監視要請理由１３１と撮影画像の人物の位置および属性との適合性に基づいて要請理由を推定する理由推定部１４４と、要請理由を監視装置３０に送信する理由送信部１４５と、を有する。各部の動作については、後述の店舗装置１０による監視処理の動作の説明にて詳述する。 The first control unit 14 has a processor such as a CPU and an MPU and its peripheral circuits, and the processor executes various codes of the computer program stored in the first storage unit 13 to perform various operations of the store apparatus 10. To control. A DSP, LSI, ASIC, FPGA, or the like may be used as the first control unit 14.
The first control unit 14 functions as a functional module of a program that operates on the processor, and a manual notification unit 141 that transmits a monitoring request input by the store clerk from the operation device 23 to the monitoring device 30, and a captured image of the inside of the store. The image acquisition unit 142 acquired from the device 21, the person detection unit 143 detecting the position and attribute of the person from the captured image, the monitoring request reason 131, and the request reason based on the compatibility of the position and attribute of the person in the captured image. And a reason transmitting unit 145 that transmits the request reason to the monitoring device 30. The operation of each unit will be described in detail in the description of the operation of the monitoring process by the store apparatus 10 described later.

撮像装置２１は、店舗装置１０が設置される店舗に固定設置され、店舗内を撮影するカメラである。撮像装置２１は、ＣＣＤ素子またはＣ−ＭＯＳ素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器と、を有する。撮像装置２１は、撮影したＲＧＢ各色の画像を各画素が０〜２５５の範囲の輝度値を有するデジタルの撮影画像に変換して店舗装置１０へ出力する。 The imaging device 21 is a camera that is fixedly installed in the store where the store device 10 is installed and that captures an image of the inside of the store. The image pickup device 21 includes a photoelectric conversion element having a sensitivity to visible light, such as a CCD element or a C-MOS element, an imaging optical system that forms an image on the photoelectric conversion element, and an electrical output from the photoelectric conversion element. And an A / D converter that amplifies the signal and performs analog / digital (A / D) conversion. The imaging device 21 converts the captured image of each RGB color into a digital captured image in which each pixel has a brightness value in the range of 0 to 255, and outputs the digital captured image to the store device 10.

音出力装置２２は、店舗装置１０が設置される店舗に設置され、店舗内に音声を出力するスピーカである。音出力装置２２は、店舗装置１０から音声信号を受信し、受信した音声信号に従って、店員または客などの店舗内の人物に音声を出力する。 The sound output device 22 is a speaker that is installed in the store where the store device 10 is installed and that outputs a sound in the store. The sound output device 22 receives a voice signal from the store device 10 and outputs a voice to a person in the store such as a clerk or a customer according to the received voice signal.

操作装置２３は、店舗装置１０が設置される店舗内の、特に店員が操作するレジの周辺などに設置され、店員が監視要請を入力するボタンなどである。操作装置２３は、入力された監視要請に応じた監視要請信号を店舗装置１０へ出力する。本実施形態では、操作装置２３は、通報ボタンであり、店員により押下されると、監視要請信号を店舗装置１０へ出力する。 The operation device 23 is installed in a store where the store device 10 is installed, particularly around a cash register operated by a clerk, and is a button or the like for the clerk to input a monitoring request. The operation device 23 outputs a monitoring request signal corresponding to the input monitoring request to the store device 10. In the present embodiment, the operation device 23 is a notification button, and outputs a monitoring request signal to the store device 10 when pressed by a store clerk.

なお、図１では、撮像装置２１、音出力装置２２、操作装置２３は、店舗装置１０と別個の装置として示されるが、店舗装置１０と別個に設けられるのでなく、店舗装置１０と一体に設けられてもよい。 Although the imaging device 21, the sound output device 22, and the operation device 23 are shown as devices separate from the store device 10 in FIG. 1, they are not provided separately from the store device 10 but are provided integrally with the store device 10. May be

監視装置３０は、例えば、監視センタに設置されるサーバなどであり、第２通信部３１と、操作部３２と、表示部３３と、第２記憶部３４と、第２制御部３５と、を有する。 The monitoring device 30 is, for example, a server installed in a monitoring center, and includes a second communication unit 31, an operation unit 32, a display unit 33, a second storage unit 34, and a second control unit 35. Have.

第２通信部３１は、第１通信部１２と同様の通信インタフェース回路を有し、通信ネットワークを介して店舗装置１０と各種信号を送受信する。 The second communication unit 31 has the same communication interface circuit as the first communication unit 12, and transmits / receives various signals to / from the store apparatus 10 via the communication network.

操作部３２は、例えばタッチパネル、マウス、キーボードなどであり、監視センタの監視員による操作を受け付け、受け付けた操作に応じた信号を第２制御部３５に送る。 The operation unit 32 is, for example, a touch panel, a mouse, a keyboard, or the like, receives an operation by a monitoring staff member of the monitoring center, and sends a signal according to the received operation to the second control unit 35.

表示部３３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどであり、第２制御部３５からの指示に従って、店舗装置１０から受信した通報、撮影画像などを表示する。 The display unit 33 is, for example, a liquid crystal display, an organic EL display, or the like, and displays a notification, a captured image, or the like received from the store apparatus 10 according to an instruction from the second control unit 35.

第２記憶部３４は、第１記憶部１３と同様の半導体メモリ、磁気ディスクまたは光ディスクドライブおよびその記録媒体を有する。第２記憶部３４は、監視装置３０を制御するのに第２制御部３５が実行するコンピュータプログラムのコードおよび各種データを記憶する。コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラムなどを用いて第２記憶部３４にインストールされてもよい。 The second storage unit 34 has the same semiconductor memory as the first storage unit 13, a magnetic disk or an optical disk drive, and its recording medium. The second storage unit 34 stores the code of the computer program executed by the second control unit 35 to control the monitoring device 30 and various data. The computer program may be installed in the second storage unit 34 from a computer-readable portable recording medium such as a CD-ROM or a DVD-ROM using a known setup program or the like.

第２制御部３５は、第１制御部１４と同様のプロセッサおよび周辺回路を有し、当該プロセッサは、第２記憶部３４に記憶されたコンピュータプログラムのコードを実行することによって監視装置３０の各種動作を制御する。 The second control unit 35 has a processor and peripheral circuits similar to those of the first control unit 14, and the processor executes various codes of the computer program stored in the second storage unit 34 to execute various types of monitoring devices 30. Control movements.

図３は、店舗装置１０による監視処理の動作を示すフローチャートの一例を示す図である。以下、図３に示したフローチャートを参照しつつ、本実施形態による監視要請処理の動作を説明する。なお、以下に説明する監視処理の動作は、第１記憶部１３に予め記憶されているプログラムに従って、主に第１制御部１４により、店舗装置１０の各部と協同して実現される。 FIG. 3 is a diagram showing an example of a flowchart showing the operation of the monitoring process by the store apparatus 10. The operation of the monitoring request process according to this embodiment will be described below with reference to the flowchart shown in FIG. The operation of the monitoring process described below is realized mainly by the first control unit 14 in cooperation with each unit of the store apparatus 10 according to a program stored in advance in the first storage unit 13.

監視装置３０の電源投入や監視プログラムの起動によって監視処理が開始されると、画像取得部１４２は、撮像装置２１が店舗内を撮影した撮影画像を撮像装置２１からインタフェース部１１を介して取得する（ステップＳ１０１）。本実施形態では、画像取得部１４２は直前の所定期間（例えば１０秒間）に撮影された複数の撮影画像を取得する。 When the monitoring process is started by turning on the power of the monitoring device 30 or starting the monitoring program, the image acquisition unit 142 acquires a captured image of the inside of the store by the imaging device 21 from the imaging device 21 via the interface unit 11. (Step S101). In the present embodiment, the image acquisition unit 142 acquires a plurality of captured images captured in the immediately preceding predetermined period (for example, 10 seconds).

次に、人物検出部１４３は、撮影画像から人物を検出する（ステップＳ１０２）。人物検出部１４３は、撮影画像と、その撮影画像を撮影した撮像装置２１が撮影した背景画像１３４との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を生成する。人物検出部１４３は、撮影画像において、対応する差分画像内の画素値が所定の閾値以上となる領域を動物体領域として検出する。例えば、所定の閾値は、差分画像の各画素値の平均値とすることができる。人物検出部１４３は、検出した動物体領域が、人物に対応する所定範囲の大きさを有する場合、その動物体領域を人物が写っている人物領域として検出する。
また、人物検出部１４３は、画像取得部１４２が順次取得した撮影画像において、検出した各人物領域に対して公知のトラッキング技術を用いて追跡処理を実行する。人物検出部１４３は、例えば、最新の撮影画像内の人物領域のそれぞれについて、その人物領域の重心位置と、直前の撮影画像から検出された人物領域の重心位置との距離を算出し、距離が所定の閾値以下である人物領域を同一人物による人物領域として対応付ける。なお、人物検出部１４３は、オプティカルフロー、パーティクルフィルタなどの方法を用いて追跡処理を実行してもよい。
撮影画像から人物が検出されなかった場合（ステップＳ１０２のＮｏ）、人物検出部１４３は、処理をステップＳ１０４へ進める。 Next, the person detection unit 143 detects a person from the captured image (step S102). The person detection unit 143 obtains the brightness difference between corresponding pixels between the captured image and the background image 134 captured by the imaging device 21 that captured the captured image, and the pixel value of each pixel is the absolute brightness difference. A difference image represented by a value is generated. The person detection unit 143 detects, in the captured image, an area in which the pixel value in the corresponding difference image is equal to or larger than a predetermined threshold as a moving object area. For example, the predetermined threshold can be an average value of the pixel values of the difference image. When the detected moving object region has a size within a predetermined range corresponding to the person, the person detecting unit 143 detects the moving object region as a person region in which the person is shown.
Further, the person detection unit 143 performs tracking processing on each detected person region in the captured images sequentially acquired by the image acquisition unit 142 using a known tracking technique. The person detection unit 143 calculates, for each of the person areas in the latest captured image, the distance between the center of gravity of the person area and the center of gravity of the person area detected from the immediately preceding captured image, and the distance is Person areas that are equal to or smaller than a predetermined threshold are associated as person areas by the same person. The person detection unit 143 may execute the tracking process using a method such as an optical flow method or a particle filter.
When no person is detected from the captured image (No in step S102), the person detecting unit 143 advances the process to step S104.

一方、撮影画像から人物が検出された場合（ステップＳ１０２のＹｅｓ）、人物検出部１４３は、検出した人物のそれぞれについて、人物の位置および属性を決定する（Ｓ１０３）。
例えば、人物検出部１４３は、検出した人物の重心の位置を、店舗の床平面上の２次元座標を用いて表してもよく、店舗内を複数の領域に分けてどの領域に位置するかを領域の識別情報を用いて表してもよい。例えば、位置は、店舗内を縦／横に均等に区分した複数の長方形ブロックの識別情報を用いて表されてもよく、カウンタ内、レジ前、死角、盗難の多い物品の前、入口などのそれぞれの特定領域を示す識別情報および特定領域以外を示す識別情報を用いて表されてもよい。
また、人物検出部１４３は、検出したそれぞれの人物について、店員かまたは顧客か、性別、年齢、人種、顔向きなどの属性を、それぞれの属性の特徴を表す属性モデルなどに基づいて決定する。例えば、人物検出部１４３は、検出した人物の服装の色や形などの特徴を抽出し、特定の制服や制帽の特徴と適合する場合に当該人物を店員であるとし、そうでない場合は顧客であると決定できる。また、店舗内に複数の店員が居る場合、人物検出部１４３は、属性として店員識別情報をさらに決定してもよい。この場合、人物検出部１４３は、制服や制帽に付けられたリボンやバッジの色などでそれぞれの店員を識別したり、検出した人物の顔の特徴を抽出し、第１記憶部１３に予め記憶された店員の顔画像の特徴と比較して店員を識別してもよい。或いは、レジ等の特定領域に居る人物を店員と判定し易くするようにしてもよい。さらに、人物検出部１４３は、検出した人物の属性に基づいたり、マスクやサングラスなどの服装および凶器などの持ち物などの要注意人物の特徴を抽出したり、検出した人物の顔の特徴と第１記憶部１３に予め記憶された過去に問題を起こしたことのある前歴者の顔画像の特徴とを比較して、検出した人物が要注意人物であるか否かを決定してもよい。
なお、人物検出部１４３は、複数の撮像装置２１から取得した撮影画像を統合して人物の位置および属性を検出してもよい。 On the other hand, when a person is detected from the captured image (Yes in step S102), the person detecting unit 143 determines the position and attribute of the person for each detected person (S103).
For example, the person detection unit 143 may represent the detected position of the center of gravity of the person by using two-dimensional coordinates on the floor plane of the store, and divides the inside of the store into a plurality of regions and determines in which region the position is located. It may be expressed using the identification information of the area. For example, the position may be represented by using the identification information of a plurality of rectangular blocks that evenly divide the inside of the store vertically / horizontally, such as inside the counter, in front of a cash register, in a blind spot, in front of an item that is often stolen, or at an entrance. It may be represented using identification information indicating each specific area and identification information other than the specific area.
Further, the person detecting unit 143 determines attributes such as a clerk or a customer, sex, age, race, and face orientation for each detected person based on an attribute model representing the characteristics of each attribute. .. For example, the person detection unit 143 extracts characteristics such as the color and shape of clothes of the detected person, determines that the person is a clerk if it matches the characteristics of a specific uniform or cap, and if not, the customer. You can decide that there is. Further, when there are a plurality of salesclerks in the store, the person detection unit 143 may further determine the salesclerk identification information as an attribute. In this case, the person detection unit 143 identifies each store clerk by the color of the ribbon or badge attached to the uniform or the cap, extracts the facial features of the detected person, and stores them in the first storage unit 13 in advance. The store clerk may be identified by comparing with the feature of the face image of the store clerk. Alternatively, a person in a specific area such as a cash register may be easily determined as a clerk. Further, the person detecting unit 143 extracts the characteristics of the person requiring attention such as clothes such as masks and sunglasses and belongings such as weapons, and detects the facial characteristics of the detected person and the first person based on the attribute of the detected person. It may be possible to determine whether or not the detected person is the person requiring attention by comparing the characteristics of the face image of the previous person who has caused a problem in the past, which is stored in the storage unit 13 in advance.
The person detecting unit 143 may detect the position and the attribute of the person by integrating the captured images acquired from the plurality of imaging devices 21.

手動通報部１４１は、インタフェース部１１を介して操作装置２３から店舗の店員の手動操作により監視要請が入力されたか否かを判定する（ステップＳ１０４）。操作装置２３から監視要請が入力されなかった場合（ステップＳ１０４のＮｏ）、第１制御部１４は、処理をステップＳ１０８へ進める。
店舗の店員による監視要請が入力された場合（ステップＳ１０４のＹｅｓ）、手動通報部１４１は、監視要請を第１通信部１２を介して監視装置３０に送信する（ステップＳ１０５）。この監視要請は、入力店舗の識別情報を有する。 The manual notification unit 141 determines whether or not a monitoring request has been input by the store clerk's manual operation from the operation device 23 via the interface unit 11 (step S104). When the monitoring request is not input from the operation device 23 (No in step S104), the first control unit 14 advances the processing to step S108.
When the monitoring request is input by the store clerk (Yes in step S104), the manual notification unit 141 transmits the monitoring request to the monitoring device 30 via the first communication unit 12 (step S105). This monitoring request has the identification information of the input store.

理由推定部１４４は、監視要請理由１３１の複数の要請理由のうち、人物検出部１４３が撮影画像から検出した人物の位置および属性と適合するパターンを選択し、選択したパターンに対応する要請理由を監視要請された要請理由と推定する。（ステップＳ１０６） The reason estimation unit 144 selects a pattern that matches the position and attribute of the person detected by the person detection unit 143 from the captured image among the plurality of request reasons of the monitoring request reason 131, and determines the request reason corresponding to the selected pattern. Presumed to be the reason for requesting monitoring. (Step S106)

理由推定部１４４は、人物検出部１４３が撮影画像から検出した人物の位置および属性に基づいて、例えば、上記で図２を参照して説明したように、店員という属性を有する人物（以下、単に「店員」という、他も同様）がカウンタ内Ａ１に位置し、レジ前Ａ３に所定数以上の顧客が位置し、他の複数の顧客が所定時間以上死角Ａ２に位置する場合、要請理由１と推定する。また、理由推定部１４４は、店員がカウンタ内Ａ１に位置し、要注意人物が所定時間以上盗難の多い物品の前Ａ４に位置する場合、要請理由２と推定し、入口Ａ５に位置した二人組の要注意人物のうちの一方がレジ前Ａ３に移動し、店員がカウンタ内Ａ１に位置する間に他方が死角Ａ２に移動した場合、要請理由３と推定する。
また、理由推定部１４４は、人の位置、属性などに対し、同条件の要請理由が監視要請理由１３１に記憶されている場合、過去に発生した頻度、或いは、監視要請履歴１３３を参照して、監視要請を行った店員が過去に行った監視要請の理由の傾向を調べて要請理由を推定してもよい。例えば、理由推定部１４４は、人物検出部１４３によって検出された店員識別情報に対応する店員の監視要請履歴に基づいて、監視要請を行った店員が過去に所定以上の割合で同じ理由により監視要請を行っていた場合、当該理由を要請理由として推定できる。
さらに、理由推定部１４４は、店員の属性の顔向きが変化した場合、顔を向いた方向の領域を監視して欲しいという要請理由４と推定してもよい。 The reason estimating unit 144 uses the position and the attribute of the person detected by the person detecting unit 143 from the captured image, for example, as described above with reference to FIG. “Salesclerk” (and others as well) is located in the counter A1, there are more than a predetermined number of customers in front of the cashier A3, and a plurality of other customers are in the blind spot A2 for a predetermined time or longer, the request reason 1 presume. In addition, the reason estimation unit 144 estimates that the reason for request is 2 when the store clerk is located in the counter A1 and the person requiring attention is located in front of the article A4 which is often stolen for a predetermined time or more, and the reason setter 144 is located at the entrance A5. If one of the persons requiring attention moves to A3 in front of the cash register and the other moves to the blind spot A2 while the clerk is located in the counter A1, it is estimated that the request reason is 3.
In addition, the reason estimating unit 144 refers to the frequency of occurrence in the past or the monitoring request history 133 when the reason for requesting the same condition is stored in the monitoring request reason 131 for the position and the attribute of the person. The reason for the request may be estimated by checking the tendency of the reason for the request for monitoring made in the past by the store clerk who made the monitoring request. For example, the reason estimation unit 144 may determine that the salesclerk who has made the monitoring request has made a monitoring request for the same reason at a predetermined ratio or more in the past based on the monitoring request history of the salesclerk corresponding to the salesclerk identification information detected by the person detection unit 143. If the request is made, the reason can be estimated as the request reason.
Furthermore, when the face orientation of the attribute of the store clerk changes, the reason estimation unit 144 may estimate that the request reason 4 is that the area in the direction of the face should be monitored.

理由送信部１４５は、理由推定部１４４が推定した要請理由を第１通信部１２を介して監視装置３０に送信する（ステップＳ１０７）。なお、ステップＳ１０５において手動通報部１４１が監視装置３０に監視要請を送信したが、ステップＳ１０７において、理由送信部１４５が要請理由と共に監視要請を監視装置３０に送信してもよい。 The reason transmitting unit 145 transmits the request reason estimated by the reason estimating unit 144 to the monitoring device 30 via the first communication unit 12 (step S107). Although the manual notification unit 141 transmits the monitoring request to the monitoring device 30 in step S105, the reason transmitting unit 145 may transmit the monitoring request to the monitoring device 30 together with the request reason in step S107.

第１制御部１４は、監視終了の操作や店舗装置１０の電源切断などにより、監視処理を終了するか否かを判定し（ステップＳ１０８）、終了する場合（ステップＳ１０８のＹｅｓ）、監視処理を終了し、そうでない場合（ステップＳ１０８のＮｏ）、処理をステップＳ１０１に戻して監視処理を続行する。 The first control unit 14 determines whether or not to end the monitoring process by an operation for ending the monitoring or turning off the power of the store apparatus 10 (step S108), and when the monitoring process ends (Yes in step S108), the monitoring process is performed. When the processing is ended and is not so (No in step S108), the processing is returned to step S101 and the monitoring processing is continued.

監視センタに設置された監視装置３０の第２制御部３５は、第２通信部３１を介して店舗装置１０から監視要請および推定された要請理由を受信すると、受信した監視要請および要請理由を表示部３３に表示する。監視センタでは、監視員は、監視装置３０の表示部３３に表示された監視要請理由と要請理由を送った店舗の撮像装置２１の配置などとに従って監視すべき撮像装置２１を選択し、選択した撮像装置２１の撮影画像を監視装置３０の表示部３３に表示させて監視する。 When the second control unit 35 of the monitoring device 30 installed in the monitoring center receives the monitoring request and the estimated request reason from the store apparatus 10 via the second communication unit 31, it displays the received monitoring request and the request reason. It is displayed on the part 33. In the monitoring center, the monitoring staff selects and selects the imaging device 21 to be monitored according to the reason for the monitoring request displayed on the display unit 33 of the monitoring device 30 and the arrangement of the imaging device 21 in the store that sent the request reason. The captured image of the imaging device 21 is displayed on the display unit 33 of the monitoring device 30 and monitored.

図４は、監視装置３０に表示される表示画面の一例である。この表示画面は、操作部３２の少なくとも一部のタッチパネルと表示部３３のディスプレイとにより構成される。
図４に示すように、表示画面４００には、受信した監視要請の要請元に関する情報４０１、監視要請を送った時の画像４０２、ライブ映像を表示するライブ画像４０８、監視要請表示４０３、カメラ選択リスト４０４、音声通知ボタン４０５、通報ボタン４０６および終了ボタン４０７などが表示される。 FIG. 4 is an example of a display screen displayed on the monitoring device 30. The display screen is composed of at least a part of the touch panel of the operation unit 32 and the display of the display unit 33.
As shown in FIG. 4, on the display screen 400, information 401 regarding the request source of the received monitoring request, an image 402 when the monitoring request is sent, a live image 408 displaying a live video, a monitoring request display 403, and camera selection. A list 404, a voice notification button 405, a notification button 406, an end button 407, etc. are displayed.

監視要請元に関する情報４０１には、監視要請を送信した送信元の店舗装置１０が設置された店舗の識別情報が表示される。なお、店舗装置１０から受信した監視要請が監視を要請した店員の識別情報を含む場合、情報４０１には、さらに監視を要請した店員の識別情報が表示されてもよい。 In the information 401 regarding the monitoring request source, the identification information of the store in which the store apparatus 10 that is the transmission source of the monitoring request is installed is displayed. When the monitoring request received from the store apparatus 10 includes the identification information of the salesclerk who requested the monitoring, the information 401 may further display the identification information of the salesclerk who requested the monitoring.

撮影画像４０２には、監視要請元の店舗に設置された複数の撮像装置２１のうち選択中の撮像装置２１が撮影した撮影画像が表示される。 In the captured image 402, a captured image captured by the selected imaging device 21 out of the plurality of imaging devices 21 installed in the store requesting monitoring is displayed.

監視要請表示４０３には、監視装置３０が店舗装置１０から監視要請を受信した場合、監視要請があったことおよびその理由が表示される。監視要請表示４０３は、監視装置３０が監視要請を受信した際に現れるポップアップウィンドウでもよく、新たな監視要請を通知する場合、表示の一部をブリンクさせたり、音声やアラーム音などを伴って表示してもよい。要請理由は、受信した識別情報で表示されてもよく、第２記憶部３４に要請理由の識別情報に対応付けて予め記憶された監視理由の説明で表示されてもよい。 When the monitoring device 30 receives the monitoring request from the store device 10, the monitoring request display 403 displays that the monitoring request has been made and the reason therefor. The monitoring request display 403 may be a pop-up window that appears when the monitoring device 30 receives a monitoring request, and when notifying a new monitoring request, a part of the display is blinked or accompanied by a sound or an alarm sound. You may. The request reason may be displayed by the received identification information, or may be displayed by the explanation of the monitoring reason stored in advance in the second storage unit 34 in association with the identification information of the request reason.

カメラ選択リスト４０４は、撮影画像４０２に表示される画像を撮影する撮像装置２１を選択するためのリストである。カメラ選択リスト４０４は、撮像装置２１を選択可能であればいかなる形態でもよく、例えば、店舗内の撮像装置２１の配置を示すマップで撮像装置２１の位置をクリックするのでもよい。監視員は、監視要請表示４０３に示された要請理由に従って、撮影画像を監視すべき撮像装置２１をカメラ選択リスト４０４を用いて選択し、撮影画像４０２を選択した撮像装置２１が撮影する画像に切り替えることができる。この場合、監視装置３０は、監視要請元の店舗における複数の撮像装置２１からの撮影画像を並行して受信している場合は自体が撮影画像４０２の切り替えを行い、一台の撮像装置２１からの撮影画像のみを受信している場合は、店舗装置１０に、送信する撮影画像を選択した撮像装置２１の撮影画像に変更するようリクエストを送信してもよい。
例えば、監視要請表示４０３が、要注意人物が盗難の多い物品の前Ａ４で立ち止まっているので、盗難の多い物品の前Ａ４を監視してほしいという要請理由２で監視要請があったことを表示すると、監視員は、カメラ選択リスト４０４を用いて盗難の多い物品の前Ａ４を撮影するカメラＣ３を選択し、カメラＣ３が撮影する画像を撮影画像４０２に表示させて盗難の多い物品の前に居る要注意人物を監視できる。 The camera selection list 404 is a list for selecting the imaging device 21 that captures the image displayed in the captured image 402. The camera selection list 404 may take any form as long as the image pickup device 21 can be selected. For example, the position of the image pickup device 21 may be clicked on the map showing the arrangement of the image pickup device 21 in the store. According to the request reason displayed on the monitoring request display 403, the surveillance staff selects the imaging device 21 to monitor the captured image using the camera selection list 404, and selects the captured image 402 as the image captured by the selected imaging device 21. You can switch. In this case, when the monitoring device 30 receives the captured images from the plurality of image capturing devices 21 in the store requesting the monitoring in parallel, the monitoring device 30 switches the captured images 402 by itself, and the monitoring device 30 switches from the single image capturing device 21. When only the captured image of No. 1 is received, a request may be transmitted to the store apparatus 10 to change the captured image to be transmitted to the captured image of the selected imaging device 21.
For example, the monitoring request display 403 indicates that the watch request has been made due to request reason 2 that the watched person has stopped at A4 in front of articles that are often stolen, and thus wants to monitor A4 in front of articles that are often stolen. Then, the surveillance staff selects, using the camera selection list 404, the camera C3 that photographs the front A4 of the article that is often stolen, displays the image photographed by the camera C3 in the photographed image 402, and displays the image in front of the article that is often stolen. You can monitor the people who need attention.

監視員により音声通知ボタン４０５が押下されると、監視装置３０は、マイクなどの音声入力部（不図示）から入力された監視員の音声を店舗装置１０に送信し、店舗装置１０は、受信した音声をインタフェース部１１を介して音出力装置２２に出力する。
監視員により通報ボタン４０６が押下されると、監視装置３０は、第２通信部３１を介して警察などに設置された他の装置（不図示）に、通報を送信する。
監視員により終了ボタン４０７が押下されると、監視装置３０は、表示画面４００の表示を終了する。 When the voice notification button 405 is pressed by the monitor, the monitoring device 30 transmits the voice of the monitor input from a voice input unit (not shown) such as a microphone to the store device 10, and the store device 10 receives the voice. The generated voice is output to the sound output device 22 via the interface unit 11.
When the report button 406 is pressed by the monitor, the monitoring device 30 transmits the report to another device (not shown) installed in the police or the like via the second communication unit 31.
When the monitoring staff presses the end button 407, the monitoring device 30 ends the display of the display screen 400.

以上説明してきたように、本発明に係る画像監視システム１において、店舗装置１０は、操作装置２３から店員によって監視要請が入力された場合、第１記憶部１３に予め記憶された監視要請理由１３１から、撮像装置２１が撮影した撮影画像と適合するパターンの監視要請理由を推定する。店舗装置１０は、当該監視要請理由を監視センタの監視装置３０に送信するので、監視員は、店舗装置１０から送られた要請理由を監視装置３０の表示部３３で確認し、監視すべき撮像装置２１を適切に選択してその撮影画像を監視できる。 As described above, in the image monitoring system 1 according to the present invention, in the store apparatus 10, when the monitoring request is input from the operating device 23 by the clerk, the monitoring request reason 131 stored in advance in the first storage unit 131. From this, the reason for requesting monitoring of a pattern that matches the captured image captured by the imaging device 21 is estimated. Since the store apparatus 10 transmits the monitoring request reason to the monitoring apparatus 30 of the monitoring center, the supervisor confirms the request reason sent from the store apparatus 10 on the display unit 33 of the monitoring apparatus 30 and picks up the image to be monitored. The device 21 can be appropriately selected to monitor the captured image.

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。
例えば、上記実施形態では、監視センタにおいて、監視員が監視装置３０の表示部３３の監視要請表示４０３に表示された要請理由に従って監視すべき撮像装置２１を選択したが、本発明では、店舗内の店舗装置１０が、推定した要請理由に基づいて監視すべき撮像装置２１の識別情報、または監視すべき撮像装置２１が撮影した撮影画像を監視装置３０に送信してもよい。この場合、店舗装置１０の第１記憶部１３は、要請理由に対応付けて監視すべき撮像装置２１の識別情報を記憶してもよい。また、撮像装置２１の識別情報を受信した監視装置３０は、監視要請表示４０３に監視すべき撮像装置２１の識別情報を表示してもよく、撮影画像４０２を、受信した識別情報を有する撮像装置２１の撮影画像に自動的に切り替えてもよい。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments.
For example, in the above-described embodiment, in the monitoring center, the monitoring staff selects the imaging device 21 to be monitored according to the request reason displayed on the monitoring request display 403 on the display unit 33 of the monitoring device 30, but in the present invention, The store device 10 may transmit the identification information of the imaging device 21 to be monitored based on the estimated request reason or the captured image captured by the imaging device 21 to be monitored to the monitoring device 30. In this case, the first storage unit 13 of the store device 10 may store the identification information of the imaging device 21 to be monitored in association with the request reason. Further, the monitoring device 30 that has received the identification information of the imaging device 21 may display the identification information of the imaging device 21 to be monitored on the monitoring request display 403, and the captured image 402 may be the imaging device having the received identification information. 21 may be automatically switched to the captured image.

また、上記実施形態では、店舗装置１０の人物検出部１４３は、撮影画像から検出した人物のそれぞれの属性を有するか否かを決定したが、本発明では、それぞれの属性を有する確率を一定の範囲内の段階的な確度で決定してもよい。さらに、理由推定部１４４は、撮影画像と監視要請理由１３１のそれぞれの要請理由との適合性を一定の範囲内の段階的な適合度で決定し、適合度が最も高く閾値以上であれば適合するパターンとして選択してもよい。 Further, in the above embodiment, the person detection unit 143 of the store apparatus 10 determines whether or not each person detected from the captured image has each attribute, but in the present invention, the probability of having each attribute is constant. It may be determined with stepwise accuracy within the range. Further, the reason estimating unit 144 determines the suitability of the captured image and each request reason of the monitoring request reason 131 with a stepwise suitability within a certain range, and if the suitability is the highest and is equal to or higher than the threshold value, the suitability is satisfied. You may select as a pattern to do.

また、上記実施形態では、監視要請理由１３１は、人物の位置や属性を用いたルールによって定義されたが、本発明では、店舗装置１０は、監視要請理由１３１として、強化学習や深層強化学習などのＡＩ技術により学習される学習モデルを記憶してもよい。例えば、店舗装置１０は、強化学習のＱ学習により、環境の状態ｓと、その状態ｓで行動ａを選択した場合の行動価値を推定する行動価値関数Ｑ（ｓ，ａ）のＱテーブルおよび報酬ｒ（ｓ，ａ）を要請理由ごとに監視要請理由１３１に記憶してもよい。 Further, in the above-described embodiment, the monitoring request reason 131 is defined by a rule using the position and attribute of the person, but in the present invention, the store apparatus 10 uses the reinforcement learning, deep reinforcement learning, etc. as the monitoring request reason 131. The learning model learned by the AI technique of may be stored. For example, the store apparatus 10 estimates the state s of the environment and the action value when the action a is selected in the state s by Q learning of reinforcement learning and the Q table of the action value function Q (s, a) and the reward. r (s, a) may be stored in the monitoring request reason 131 for each request reason.

Ｑ学習においてＱテーブルの更新は、以下の式（１）のように行われる。

式（１）において、ｓ_tおよびａ_tはそれぞれ時刻ｔにおける状態および行動であり、行動ａ_tにより状態はｓ_tからｓ_t+1に変化する。ｍａｘＱの項は、状態ｓ_t+1において取りうる行動Ａ（ｓ_t+1）の中から最大の価値Ｑになる（と時刻ｔで推定される）行動ａ_t+1をとった場合のＱを意味する。ｒ_t+1は、状態ｓ_t+1で行動ａ_t+1をとって得られる報酬である。αおよびγはそれぞれ学習係数および割引率であり、０＜α≦１、０＜γ≦１で任意に設定される。
例えば、時刻ｔにおける状態ｓ_tは、時刻ｔの撮影画像において、カウンタ内、レジ前、死角、盗難の多い物品の前、入口などの店舗内の位置に対応する複数の領域でそれぞれ検出された店員、顧客または要注意人物などの属性を有する人物の人数（例えば、０人、１人、２人またはそれ以上）の組合せでもよい。また、例えば、行動ａ_tは、それぞれの領域において出入りしたそれぞれの属性を有する人物の人数の組合せでもよい。また、Ｑテーブルの学習において、誤差関数を定義してＱテーブルを推論するディープラーニングなどを取り入れてもよく、これにより、撮影画像を状態ｓとしてディープニューラルネットワークに入力してＤＱＮによる深層強化学習を行ってもよい。 In Q learning, the Q table is updated as in the following expression (1).

In the formula (1), s _t and a _t is a state and behavior at each time t, the state by action a _t changes from s _t in s _{t + 1.} The term of maxQ is Q when the action a _{t + 1} having the maximum value Q (estimated at time t) from the actions A (s _{t + 1} ) that can be taken in the state s _{t + 1} is taken. Means r _{t + 1} is a reward obtained by taking the action a _{t + 1} in the state s _{t + 1} . α and γ are a learning coefficient and a discount rate, respectively, which are arbitrarily set in 0 <α ≦ 1 and 0 <γ ≦ 1.
For example, the state s _t at time t, in the photographed image at the time t, the counter, before registration, blind spot, before theft of large articles, with a plurality of regions corresponding to the position within the store, such as the inlet respectively detected It may be a combination of the number of persons (for example, 0 person, 1 person, 2 persons or more) who have attributes such as a store clerk, a customer, or a person requiring attention. Further, for example, the action a _t may be a combination of the numbers of persons who have the respective attributes in and out of the respective areas. Further, in the learning of the Q table, deep learning or the like in which an error function is defined and the Q table is inferred may be adopted, whereby the captured image is input to the deep neural network as the state s to perform deep reinforcement learning by DQN. You can go.

Ｑテーブルは、監視要請理由のそれぞれのパターンに適合した複数のサンプル画像群に基づいて、式（１）による更新によって事前に学習され監視要請理由１３１に記憶されてもよい。各サンプル画像群は、各撮像装置２１により所定期間に撮影された連続する撮影画像のセットである。店舗装置１０は、サンプル画像群における最後の行動ａの報酬ｒとして０より大きい値を設定し、他の行動ａの報酬ｒとして０を設定できる。これにより、要請理由ごとに適合する撮影画像のパターンを学習したＱテーブルおよび報酬が、監視要請理由１３１に事前に設定される。 The Q table may be learned in advance by updating according to Expression (1) based on a plurality of sample image groups that match each pattern of the monitoring request reasons and stored in the monitoring request reasons 131. Each sample image group is a set of continuous captured images captured by each imaging device 21 in a predetermined period. The store apparatus 10 can set a value greater than 0 as the reward r of the last action a in the sample image group, and can set 0 as the reward r of another action a. As a result, the Q table and the reward that learned the pattern of the captured image suitable for each request reason are set in advance as the monitor request reason 131.

理由推定部１４４は、人物検出部１４３が時刻ｔおよびｔ＋１における撮影画像から検出した人物の位置および属性に基づいて、時刻ｔおよびｔ＋１における状態ｓ_tおよびｓ_t+1と状態ｓ_tから状態ｓ_t+1に変化させる行動ａ_tとを決定し、監視要請理由１３１のＱテーブルを参照して行動価値Ｑ（ｓ_t，ａ_t）を決定してもよい。ここで、理由推定部１４４は、決定した行動価値Ｑ（ｓ_t，ａ_t）を用いてＱテーブルを更新してもよい。そして、理由推定部１４４は、画像取得部が取得した撮影画像について要請理由ごとに行動価値の総和を算出し、総和が最大かつ閾値以上となる監視要請理由を店員が監視要請を行った理由として推定できる。 The reason estimating unit 144 determines the states s _t and s _{t + 1} and the states s _t to s _{t at} the times t and t + 1 based on the position and the attribute of the person detected by the person detecting unit 143 from the captured images at the times t and t + 1. It is also possible to determine the action a _t to be changed to _{t + 1} and refer to the Q table of the monitoring request reason 131 to determine the action value Q (s _t , a _t ). Here, the reason estimation unit 144 may update the Q table using the determined action value Q (s _t , a _t ). Then, the reason estimation unit 144 calculates the sum of the action values for each of the request reasons for the captured image acquired by the image acquisition unit, and sets the monitoring request reason that the total sum is the maximum and equal to or more than the threshold as the reason why the store clerk requests the monitoring. Can be estimated.

また、店舗装置１０は、理由推定部１４４が推定した監視要請理由をフィードバックして監視要請理由１３１に反映させてもよい。この場合、監視要請理由１３１のＱテーブルおよび報酬は、事前学習を行わずに初期値を設定するだけでもよい。例えば、監視センタにおいて、監視装置３０の表示部３３に表示された監視要請および監視要請理由に従って監視を行った監視員は、店舗装置１０から送信された監視要請が適正であったか否かを評価し、監視要請理由が適正であったか否かおよび／または適正な監視要請理由などの評価を監視装置３０の操作部３２から入力する。監視装置３０は、操作部３２から入力された監視員の評価を第２通信部３１を介して店舗装置１０に送信する。店舗装置１０の第１制御部１４は、第１通信部１２を介して監視装置３０から監視員の評価を受信すると、受信した評価およびその評価に対応する撮影画像に基づいて、監視要請理由１３１の初期設定における事前学習と同様にして、監視要請理由１３１に記憶された、評価が示す適正な監視要請理由に対応する報酬を更新してもよい。 Further, the store apparatus 10 may feed back the monitoring request reason estimated by the reason estimating unit 144 and reflect it in the monitoring request reason 131. In this case, the Q table of the monitoring request reason 131 and the reward may only be set to initial values without performing pre-learning. For example, in the monitoring center, the monitoring staff who has monitored according to the monitoring request displayed on the display unit 33 of the monitoring device 30 and the reason for the monitoring request evaluates whether or not the monitoring request transmitted from the store apparatus 10 was appropriate. From the operation unit 32 of the monitoring device 30, an evaluation as to whether or not the monitoring request reason is appropriate and / or an appropriate monitoring request reason is input. The monitoring device 30 transmits the evaluation of the monitoring staff input from the operation unit 32 to the store device 10 via the second communication unit 31. When the first control unit 14 of the store apparatus 10 receives the evaluation of the monitoring staff from the monitoring apparatus 30 via the first communication unit 12, the monitoring request reason 131 based on the received evaluation and the captured image corresponding to the evaluation. Similarly to the pre-learning in the initial setting, the reward stored in the monitoring request reason 131 and corresponding to the appropriate monitoring request reason indicated by the evaluation may be updated.

監視要請理由１３１と同様に、人物検出部１４３が検出した人物の属性を決定する際に使用するモデルは、強化学習や深層強化学習などのＡＩ技術により学習される学習モデルでもよい。 Similar to the monitoring request reason 131, the model used when determining the attributes of the person detected by the person detecting unit 143 may be a learning model learned by an AI technique such as reinforcement learning or deep reinforcement learning.

また、上記実施形態では、監視要請理由１３１が店舗装置１０に記憶される例について説明したが、監視要請理由１３１は、外部装置に記憶され、クラウドコンピューティングの形態で利用されてもよい。その場合、理由推定部１４４は、撮影画像を第１通信部１２を介して外部装置に送信し、外部装置により決定された要請理由を第１通信部１２を介して外部装置から受信する。また、外部装置に監視要請理由１３１を学習させる場合、第１制御部１４は、監視装置３０から受信した評価の要請理由および対応する撮影画像を第１通信部１２を介して外部装置に送信し、監視要請理由１３１を外部装置に更新させる。これにより、画像監視システムは、十分な処理速度および記憶容量を有さない装置を店舗装置１０として利用することができる。 Further, in the above embodiment, an example in which the monitoring request reason 131 is stored in the store apparatus 10 has been described, but the monitoring request reason 131 may be stored in an external device and used in the form of cloud computing. In that case, the reason estimation unit 144 transmits the captured image to the external device via the first communication unit 12, and receives the request reason determined by the external device from the external device via the first communication unit 12. When the external device learns the monitoring request reason 131, the first control unit 14 transmits the evaluation request reason and the corresponding captured image received from the monitoring device 30 to the external device via the first communication unit 12. The external device updates the monitoring request reason 131. As a result, the image monitoring system can use a device that does not have sufficient processing speed and storage capacity as the store device 10.

以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, various modifications can be made within the scope of the present invention in accordance with the embodiment.

１画像監視システム、１０店舗装置、１１インタフェース部、１２第１通信部、１３第１記憶部、１３１監視要請理由、１３２特定領域情報、１３３監視要請履歴、１３４背景画像、１４第１制御部、１４１手動通報部、１４２画像取得部、１４３人物検出部、１４４理由推定部、１４５理由送信部、２１撮像装置、２２音出力装置、２３操作装置、３０監視装置、３１第２通信部、３２操作部、３３表示部、３４第２記憶部、３５第２制御部、４００表示画面 1 image monitoring system, 10 store apparatus, 11 interface section, 12 first communication section, 13 first storage section, 131 monitoring request reason, 132 specific area information, 133 monitoring request history, 134 background image, 14 first control section, 141 manual notification unit, 142 image acquisition unit, 143 person detection unit, 144 reason estimation unit, 145 reason transmission unit, 21 imaging device, 22 sound output device, 23 operation device, 30 monitoring device, 31 second communication unit, 32 operation Section, 33 display section, 34 second storage section, 35 second control section, 400 display screen

Claims

In the image monitoring system consisting of store equipment and monitoring equipment,
The store device is
An image acquisition unit that acquires captured images taken by multiple cameras installed in the store,
A person detection unit that detects the position of a person from the captured image,
An operation unit to which a monitoring request is input,
When the monitoring request is input, a manual notification unit that transmits the monitoring request to the monitoring device,
When the manual notification unit transmits the monitoring request, a reason estimation unit that estimates the request reason based on the position of the person and the attribute of the person,
An image monitoring system, comprising: a reason transmitting unit that transmits the estimated request reason to the monitoring device.

A storage unit for storing a plurality of request reasons including attributes and positions of persons in the captured image,
The image according to claim 1, wherein the reason estimating unit estimates a request reason suitable for the captured image based on a position of the person and an attribute of the person from among a plurality of request reasons stored in the storage unit. Monitoring system.

The image monitoring system according to claim 1, wherein the reason estimating unit estimates the request reason in consideration of positions of a person having a salesclerk attribute and a person having a customer attribute, and the degree of freedom of movement of the salesclerk. ..

The image monitoring system according to claim 1, wherein the reason estimating unit estimates the request reason in consideration of a monitoring request history corresponding to a clerk who inputs the monitoring request.

The image monitoring system according to claim 1, wherein the reason transmitting unit transmits, to the monitoring device, a camera to be monitored selected based on the estimated request reason.