JP2021043996A - Notification device and notification system - Google Patents

Notification device and notification system Download PDF

Info

Publication number
JP2021043996A
JP2021043996A JP2020187794A JP2020187794A JP2021043996A JP 2021043996 A JP2021043996 A JP 2021043996A JP 2020187794 A JP2020187794 A JP 2020187794A JP 2020187794 A JP2020187794 A JP 2020187794A JP 2021043996 A JP2021043996 A JP 2021043996A
Authority
JP
Japan
Prior art keywords
information
user
information management
lighting
management device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020187794A
Other languages
Japanese (ja)
Other versions
JP7153204B2 (en
Inventor
高原 雄一郎
Yuichiro Takahara
雄一郎 高原
良和 伊藤
Yoshikazu Ito
良和 伊藤
慎 黒沼
Shin Kuronuma
慎 黒沼
一行 漆原
Kazuyuki Urushibara
一行 漆原
純一 石澤
Junichi Ishizawa
純一 石澤
行秀 白石
Yukihide Shiraishi
行秀 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lighting and Technology Corp
Original Assignee
Toshiba Lighting and Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lighting and Technology Corp filed Critical Toshiba Lighting and Technology Corp
Priority to JP2020187794A priority Critical patent/JP7153204B2/en
Publication of JP2021043996A publication Critical patent/JP2021043996A/en
Application granted granted Critical
Publication of JP7153204B2 publication Critical patent/JP7153204B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To easily implement notification.SOLUTION: A notification device according to an example of one embodiment comprises: a detection unit which detects and identifies a user in a predetermined facility on the basis of an image that is captured in the predetermined facility; and a notification unit which notifies the user of predetermined information by changing an illumination mode of an illumination device that illuminates the predetermined facility, on the basis of a result of detection by the detection unit.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、報知装置および報知システムに関する。 Embodiments of the present invention relate to notification devices and notification systems.

従来、カメラが撮像した画像を用いて利用者の認証等を行う技術が知られている。このような技術の一例として、カメラが撮像した画像を用いて作業者の顔認証を行い、認証結果を用いて作業者の勤務状態を管理し、作業者の勤務状況が作業可能要件を満たしていない場合は、作業者が使用する端末装置に警告を表示させることで、警告を作業者に報知する技術が知られている。 Conventionally, there is known a technique for authenticating a user using an image captured by a camera. As an example of such technology, the face of the worker is authenticated using the image captured by the camera, the working condition of the worker is managed using the authentication result, and the working condition of the worker satisfies the workable requirement. If not, there is known a technique for notifying an operator of a warning by displaying a warning on a terminal device used by the operator.

特願2016−024689号公報Japanese Patent Application No. 2016-0246889

しかしながら、従来技術では、報知を容易に実現できるとは言えない場合がある。 However, in the prior art, it may not be possible to easily realize the notification.

例えば、施設内の画像を用いて不審者の顔認証を行い、不審者を検知した場合は、店員が使用する端末装置に警告を表示することで不審者の存在を報知する処理に従来技術を適用するといった態様が考えられる。しかしながら、このような技術では、店員が端末装置を確認し続けることとなるため、警告を容易に報知できるとは言えない。 For example, if a suspicious person's face is authenticated using an image in the facility and a suspicious person is detected, a warning is displayed on the terminal device used by the clerk to notify the presence of the suspicious person. A mode of application is conceivable. However, with such a technique, since the store clerk keeps checking the terminal device, it cannot be said that the warning can be easily notified.

本発明が解決しようとする課題は、報知を容易に実現する報知装置および報知システムを提供することである。 An object to be solved by the present invention is to provide a notification device and a notification system that easily realize notification.

実施形態の一例に係る報知装置は、撮像部で撮影された画像から所定の施設の利用者を検出する検知部と、前記利用者に関連付けられた物が配置された位置を照明する照明機器の照明態様を変化させることで、前記利用者に前記物の位置を報知する報知部とを備えることを特徴とする。 The notification device according to an example of the embodiment is a detection unit that detects a user of a predetermined facility from an image taken by the imaging unit, and a lighting device that illuminates a position where an object associated with the user is arranged. It is characterized in that it is provided with a notification unit that notifies the user of the position of the object by changing the illumination mode.

実施形態の一例に係る報知装置によれば、報知を容易に実現できる。 According to the notification device according to an example of the embodiment, notification can be easily realized.

図1は、実施形態に係る情報管理システムの一例を示す図である。FIG. 1 is a diagram showing an example of an information management system according to an embodiment. 図2は、実施形態に係る照明機器の一例を示す図である。FIG. 2 is a diagram showing an example of a lighting device according to an embodiment. 図3は、実施形態に係る情報管理装置の機能構成の一例を示す図である。FIG. 3 is a diagram showing an example of the functional configuration of the information management device according to the embodiment. 図4は、実施形態に係る外部情報データベースに登録される情報の一例を示す図である。FIG. 4 is a diagram showing an example of information registered in the external information database according to the embodiment. 図5は、実施形態に係る内部情報データベースに登録される情報の一例を示す図である。FIG. 5 is a diagram showing an example of information registered in the internal information database according to the embodiment. 図6は、実施形態に係る照明機器データベースに登録される情報の一例を示す図である。FIG. 6 is a diagram showing an example of information registered in the lighting equipment database according to the embodiment. 図7は、実施形態に係る不審者データベースに登録される情報の一例を示す図である。FIG. 7 is a diagram showing an example of information registered in the suspicious person database according to the embodiment. 図8は、実施形態に係る情報管理装置が不審者の存在や位置を報知する処理の一例を示す図である。FIG. 8 is a diagram showing an example of a process in which the information management device according to the embodiment notifies the existence and position of a suspicious person. 図9は、実施形態に係る情報管理装置が実行する管理処理の流れの一例を説明するフローチャートである。FIG. 9 is a flowchart illustrating an example of a flow of management processing executed by the information management device according to the embodiment. 図10は、実施形態に係る情報管理装置が実行する報知処理の流れの一例を説明するフローチャートである。FIG. 10 is a flowchart illustrating an example of a flow of notification processing executed by the information management device according to the embodiment. 図11は、実施形態に係る情報管理装置が実行するバリエーションの一例を示す図である。FIG. 11 is a diagram showing an example of variations executed by the information management device according to the embodiment.

以下、図面を参照して、実施形態に係る報知装置、報知システムおよび報知方法を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する報知装置、報知システムおよび報知方法は、一例を示すに過ぎず、実施形態を限定するものではない。例えば、以下の実施形態では、報知装置、報知システムおよび報知方法は、任意のシステムに適用することができる。なお、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。 Hereinafter, the notification device, the notification system, and the notification method according to the embodiment will be described with reference to the drawings. Configurations having the same function in the embodiment are designated by the same reference numerals, and duplicate description will be omitted. The notification device, the notification system, and the notification method described in the following embodiments are merely examples, and the embodiments are not limited. For example, in the following embodiments, the notification device, notification system and notification method can be applied to any system. The following embodiments may be appropriately combined within a consistent range.

以下の実施形態に係る報知装置は、例えば、情報管理システム1が有する情報管理装置10である。情報管理装置10は、所定の施設内で撮影された画像に基づき、所定の施設内の利用者の属性を検出して特定する検知部45と、検知部45による検知結果に基づき、所定の施設を照明する照明機器LD(例えば、照明機器SL01〜SL04、非常灯EL01)の照明態様を変化させることで所定の情報を報知する報知部46とを備える。 The notification device according to the following embodiment is, for example, the information management device 10 included in the information management system 1. The information management device 10 has a detection unit 45 that detects and identifies the attributes of users in the predetermined facility based on an image taken in the predetermined facility, and a predetermined facility based on the detection result by the detection unit 45. The lighting device LD (for example, the lighting devices SL01 to SL04, the emergency light EL01) is provided with a notification unit 46 for notifying predetermined information by changing the lighting mode.

また、以下の実施形態に係る情報管理装置10は、利用者のうち、属性を判断するための所定の要件を満たす利用者を検知する。そして、情報管理装置10は、所定の要件を満たす利用者が検知された場合は、所定の要件を満たす利用者の存在を報知する。なお、利用者の属性とは、画像から得られる情報により正常者や不審者等の検出対象者の良否判断に関する種別であったり、複数の利用者から特定の利用者を検出、判別することによる利用者特定情報等を示すものである。要するに、単に画像によって人の存在を検出することではなく、画像によって得られた情報を利用して人を任意種別に選別して種類分けした情報となるような処理を施すことを示すものである。 Further, the information management device 10 according to the following embodiment detects a user who satisfies a predetermined requirement for determining an attribute among the users. Then, when the information management device 10 detects a user who satisfies the predetermined requirement, the information management device 10 notifies the existence of the user who satisfies the predetermined requirement. In addition, the attribute of the user is a type related to the quality judgment of the detection target person such as a normal person or a suspicious person based on the information obtained from the image, or by detecting and discriminating a specific user from a plurality of users. It shows user-specific information and the like. In short, it does not simply detect the existence of a person by an image, but uses the information obtained by the image to select a person by an arbitrary type and perform a process to obtain the classified information. ..

また、以下の実施形態に係る情報管理装置10は、利用者のうち、所定の要件を満たす利用者の位置を検知し、所定の施設内に配置された照明機器LDのうち、検知された位置と対応する位置の照明機器LDの照明態様を変化させる。 Further, the information management device 10 according to the following embodiment detects the position of the user who satisfies the predetermined requirement among the users, and the detected position among the lighting equipment LDs arranged in the predetermined facility. The lighting mode of the lighting device LD at the position corresponding to is changed.

また、以下の実施形態に係る情報管理装置10は、検知された位置の変化に応じて、照明態様を変化させる照明機器LDを変更する。 Further, the information management device 10 according to the following embodiment changes the lighting device LD that changes the lighting mode according to the detected change in the position.

また、以下の実施形態に係る情報管理装置10は、利用者が所定の要件を満たす確度を取得し、照明機器DLの照明態様を、取得された確度に応じた照明態様に変化させる。 Further, the information management device 10 according to the following embodiment acquires the accuracy that the user satisfies a predetermined requirement, and changes the illumination mode of the lighting device DL to the illumination mode according to the acquired accuracy.

また、以下の実施形態に係る情報管理装置10は、所定の要件を満たす利用者が識別困難な態様で、照明機器LDの照明態様を変化させる。 Further, the information management device 10 according to the following embodiment changes the lighting mode of the lighting device LD in a mode that is difficult for a user who satisfies a predetermined requirement to identify.

また、以下の実施形態に係る情報管理装置10は、照明機器LDが光を出力する周波数、または、照明機器LDが出力する光の色温度を変化させる。 Further, the information management device 10 according to the following embodiment changes the frequency at which the lighting device LD outputs light or the color temperature of the light output by the lighting device LD.

また、以下の実施形態に係る情報管理装置10は、照明機器LDのうち、系統電源からの電力が停止した際に点灯する照明機器(例えば、非常灯EL01)を点灯させることで、所定の情報を報知する。 Further, the information management device 10 according to the following embodiment lights up the lighting device (for example, the emergency light EL01) that lights up when the power from the system power supply is stopped, among the lighting device LDs, to obtain predetermined information. Is notified.

また、以下の実施形態に係る情報管理装置10は、所定の施設内に配置された照明機器LDのうち、所定の情報に対応する位置の照明機器LDの照明態様を変化させる。 Further, the information management device 10 according to the following embodiment changes the lighting mode of the lighting device LD at a position corresponding to the predetermined information among the lighting device LDs arranged in the predetermined facility.

また、以下の実施形態に係る報知システム(例えば、情報管理システム1)は、所定の施設内に設置された照明機器LDと、上述した情報管理装置10とを備える。 Further, the notification system (for example, information management system 1) according to the following embodiment includes a lighting device LD installed in a predetermined facility and the above-mentioned information management device 10.

[実施形態]
(情報管理システムの概要)
以下、管理装置の一例である情報管理装置10を有する情報管理システム1の一例について説明する。図1は、実施形態に係る情報管理システムの一例を示す図である。図1に示す例では、情報管理システム1は、情報管理装置10、複数の照明機器LD(照明機器SL01、非常灯EL01等)、店舗端末ST、クラウドサーバCS、およびベンダサーバBS、ショップセンタサーバSCを有する。なお、情報管理システム1に接続する、照明機器LD、店舗端末ST、クラウドサーバCS、およびベンダサーバBS、ショップセンタサーバSCの種別や数は、任意に設定できる。
[Embodiment]
(Overview of information management system)
Hereinafter, an example of the information management system 1 having the information management device 10 which is an example of the management device will be described. FIG. 1 is a diagram showing an example of an information management system according to an embodiment. In the example shown in FIG. 1, the information management system 1 includes an information management device 10, a plurality of lighting devices LD (lighting device SL01, emergency light EL01, etc.), a store terminal ST, a cloud server CS, a vendor server BS, and a shop center server. Has SC. The type and number of the lighting equipment LD, the store terminal ST, the cloud server CS, the vendor server BS, and the shop center server SC connected to the information management system 1 can be arbitrarily set.

ここで、照明機器LD、情報管理装置10および店舗端末STは、商品の販売を行う店舗等といった所定の施設内に設置されており、施設内におけるLAN(Local Area Network)等のネットワーク(以下「内部ネットワーク」と総称する。)に接続されているものとする。また、クラウドサーバCS、ベンダサーバBS、およびショップセンタサーバSCは、所定の施設外に設置されており、所定の施設外におけるLANやインターネット等といったネットワーク(以下、「外部ネットワーク」と総称する。)に接続されているものとする。なお、以下の説明では、内部ネットワークが配置された所定の施設を「店舗」と総称する。 Here, the lighting device LD, the information management device 10, and the store terminal ST are installed in a predetermined facility such as a store that sells products, and a network such as a LAN (Local Area Network) in the facility (hereinafter, "" It is assumed that it is connected to the "internal network"). Further, the cloud server CS, the vendor server BS, and the shop center server SC are installed outside the predetermined facility, and are networks such as LAN and the Internet outside the predetermined facility (hereinafter, collectively referred to as "external network"). It is assumed that it is connected to. In the following description, the predetermined facilities where the internal network is arranged are collectively referred to as "stores".

また、以下の説明では、情報管理装置10は、ゲートウェイの機能を有し、外部ネットワークに接続されたクラウドサーバCSとの間で通信する機能を有するものとするが、実施形態は、これに限定されるものではない。例えば、情報管理システム1は、所定の施設内にゲートウェイ装置を設置し、ゲートウェイ装置を介して、情報管理装置10とクラウドサーバCSとの間の通信を中継させてもい。 Further, in the following description, it is assumed that the information management device 10 has a gateway function and has a function of communicating with a cloud server CS connected to an external network, but the embodiment is limited to this. It is not something that is done. For example, the information management system 1 may install a gateway device in a predetermined facility and relay communication between the information management device 10 and the cloud server CS via the gateway device.

照明機器LDは、例えばLED(Light Emitting Diode)等の半導体発光素子、蛍光灯、又は電球を光源とし、所定の施設内に設置され、所定の施設内を所定の照明態様で照明可能な照明機器である。例えば、照明機器SL01は、天井に設置され、系統電源から供給される電力を用いて光源を点灯させることで、施設内を照明する照明機器である。また、非常灯EL01は、各種の蓄電池を有し、地震発生時や火事発生時等といった非常時において系統電源からの電力供給が停止すると、蓄電池に充電された電力を用いて点灯する非常灯である。なお、照明機器LDは、シーリングライト、ベースライト、若しくはダウンライトといった任意の照明機器が採用可能である。 The lighting device LD is a lighting device that uses a semiconductor light emitting element such as an LED (Light Emitting Diode), a fluorescent lamp, or a light bulb as a light source, is installed in a predetermined facility, and can illuminate the predetermined facility in a predetermined lighting mode. Is. For example, the lighting device SL01 is a lighting device that is installed on the ceiling and illuminates the inside of the facility by turning on the light source using the electric power supplied from the system power supply. Further, the emergency light EL01 has various storage batteries, and is an emergency light that lights up using the power charged in the storage battery when the power supply from the system power supply is stopped in an emergency such as an earthquake or a fire. is there. As the lighting device LD, any lighting device such as a ceiling light, a base light, or a downlight can be adopted.

ここで、照明機器LDは、情報管理装置10からの制御に従って、様々な態様で照明を行うことができるものとする。例えば、照明機器LDは、DMX規格の信号やPWM(Pulse Width Modulation)信号等、任意の制御規格に則った信号を情報管理装置10から受付けた場合は、受付けた信号が示す任意の照明態様で、所定の施設内を照明することができる。 Here, it is assumed that the lighting device LD can perform lighting in various modes according to the control from the information management device 10. For example, when the lighting equipment LD receives a signal conforming to an arbitrary control standard such as a DMX standard signal or a PWM (Pulse Width Modulation) signal from the information management device 10, the received signal can be used in any lighting mode indicated by the received signal. , It is possible to illuminate the inside of a predetermined facility.

より具体的な例を挙げると、照明機器SL01は、情報管理装置10からの制御に従い、人の目には解らない程度に高い周波数で光源を点滅させる機能や、赤色、青色、緑色といった原色の光をそれぞれ個別に制御することで、出力する光の色を制御可能な照明機器である。また、非常灯EL01は、情報管理装置10からの制御に従い、任意のタイミングで光源を点灯させることが可能な照明機器である。 To give a more specific example, the lighting device SL01 has a function of blinking a light source at a frequency that is invisible to the human eye under the control of the information management device 10, and has a function of blinking a light source in primary colors such as red, blue, and green. It is a lighting device that can control the color of the output light by controlling each light individually. Further, the emergency light EL01 is a lighting device capable of turning on the light source at an arbitrary timing according to the control from the information management device 10.

また、照明機器SL01は、所定の施設内を照明する照明部L01と、所定の施設内を撮影する撮影部C01とを有する照明機器である。例えば、図2は、実施形態に係る照明機器の一例を示す図である。図2に示す例では、照明機器SL01は、筐体LB01、照明部L01、撮影部C01、および報知ランプLM01を有する。 Further, the lighting device SL01 is a lighting device having a lighting unit L01 that illuminates the inside of a predetermined facility and a photographing unit C01 that photographs the inside of the predetermined facility. For example, FIG. 2 is a diagram showing an example of a lighting device according to an embodiment. In the example shown in FIG. 2, the lighting device SL01 includes a housing LB01, a lighting unit L01, a photographing unit C01, and a notification lamp LM01.

照明部L01は、照明機器SL01が有する光源であり、例えば、LED等の半導体発光素子である。撮影部C01は、照明機器SL01が設置された位置から所定の範囲を撮影するための撮影装置であり、例えば、各種の撮像素子を用いて撮影を行うカメラである。なお、撮影部C01は、静止画像のみならず、動画像の撮影を行ってもよい。 The lighting unit L01 is a light source included in the lighting device SL01, and is, for example, a semiconductor light emitting element such as an LED. The photographing unit C01 is a photographing device for photographing a predetermined range from the position where the lighting device SL01 is installed, and is, for example, a camera that photographs using various image pickup elements. The photographing unit C01 may capture not only a still image but also a moving image.

報知ランプLM01は、情報管理装置10からの制御に従って、所定の色彩の光を出力可能なランプであり、例えば、緑、黄色、赤等といった色彩の光を出力することで、各種の報知を行うことができる。筐体LB01は、照明機器SL01の筐体であり、内部に照明部L01、撮影部C01、および報知ランプLM01の制御回路や電源回路、情報管理装置10との間で通信を行うための通信回路が配置されている。 The notification lamp LM01 is a lamp capable of outputting light of a predetermined color according to control from the information management device 10, and performs various notifications by outputting light of a color such as green, yellow, or red, for example. be able to. The housing LB01 is a housing of the lighting device SL01, and is a communication circuit for communicating with the lighting unit L01, the photographing unit C01, the control circuit of the notification lamp LM01, the power supply circuit, and the information management device 10. Is placed.

このように、照明機器SL01は、照明機器としての機能と、カメラとしての機能を有する。このような照明機器SL01を店舗内に設置した場合、監視カメラの設置を不要とすることができるので、監視カメラの設置による店舗内の威圧感を軽減できる。 As described above, the lighting device SL01 has a function as a lighting device and a function as a camera. When such a lighting device SL01 is installed in a store, it is not necessary to install a surveillance camera, so that the intimidating feeling in the store due to the installation of the surveillance camera can be reduced.

図1に戻り、説明を続ける。店舗端末STは、店舗内で利用される端末装置であり、スマートフォンやタブレット端末、PC(Personal Computer)等といった情報処理装置により実現される。例えば、店舗端末STは、店舗の店員S01が利用する端末装置であり、情報管理装置10から報知される各種の情報を出力する。 Returning to FIG. 1, the explanation will be continued. The store terminal ST is a terminal device used in a store, and is realized by an information processing device such as a smartphone, a tablet terminal, or a PC (Personal Computer). For example, the store terminal ST is a terminal device used by the store clerk S01, and outputs various information notified from the information management device 10.

情報管理装置10は、PCやサーバ装置等といった情報処理装置であり、店舗内に設置された情報処理装置である。例えば、情報管理装置10は、照明機器LDが取得した画像を解析し、撮影された利用者に関する各種の情報を推定する。そして、情報管理装置10は、推定結果に基づいて、店舗内における不審者の検出を行い、不審者を検出した場合は、店舗端末STに不審者の入店等を報知することで、万引き等といった行為を未然に防止する。 The information management device 10 is an information processing device such as a PC or a server device, and is an information processing device installed in a store. For example, the information management device 10 analyzes the image acquired by the lighting device LD and estimates various information about the photographed user. Then, the information management device 10 detects a suspicious person in the store based on the estimation result, and when the suspicious person is detected, notifies the store terminal ST of the suspicious person's entry or the like, thereby shoplifting or the like. Such acts are prevented in advance.

より具体的な例を挙げると、情報管理装置10は、万引きの常習犯の顔認証を行うデータを保持し、照明機器LDが取得した画像に撮像された利用者の顔認証を実行する。そして、情報管理装置10は、万引きの常習犯の顔が認証された場合は、万引きの常習犯の顔写真や、各種情報を店舗端末STに表示させる。 To give a more specific example, the information management device 10 holds data for face recognition of a shoplifting addict, and executes face recognition of a user captured in an image acquired by the lighting device LD. Then, when the face of the shoplifting addict is authenticated, the information management device 10 displays the face photograph of the shoplifting addict and various information on the store terminal ST.

また、情報管理装置10は、照明機器LDが撮影した画像に基づいて、店舗内における利用者U01、U02の行動を解析し、解析結果に基づいて、不審行動を行う利用者を検出する。例えば、情報管理装置10は、挙動不審な利用者や、商品を鞄に入れた利用者等、万引きの常習犯が行いやすい行動を検出する。そして、情報管理装置10は、不審行動を行う利用者を検出した場合は、かかる旨や利用者を示す情報を店舗端末STに出力する。 Further, the information management device 10 analyzes the behaviors of the users U01 and U02 in the store based on the image taken by the lighting device LD, and detects the user who performs the suspicious behavior based on the analysis result. For example, the information management device 10 detects behaviors that shoplifting addicts are likely to perform, such as users with suspicious behavior and users who put products in their bags. Then, when the information management device 10 detects a user who performs suspicious behavior, the information management device 10 outputs information indicating such fact and the user to the store terminal ST.

クラウドサーバCSは、外部ネットワークに設置され、情報管理装置10に各種クラウド関連サービスを提供する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。ベンダサーバBSは、情報管理システム1を店舗等に提供する提供者、すなわち、ベンダが利用する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。また、ショップセンタサーバSCは、情報管理装置10が設置された店舗の本部等が利用する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。 The cloud server CS is an information processing device installed in an external network and providing various cloud-related services to the information management device 10, and is realized by a server device, a cloud system, or the like. The vendor server BS is an information processing device used by a provider who provides the information management system 1 to a store or the like, that is, a vendor, and is realized by a server device, a cloud system, or the like. The shop center server SC is an information processing device used by the headquarters of a store in which the information management device 10 is installed, and is realized by a server device, a cloud system, or the like.

(管理処理の一例)
ここで、照明機器LDが撮影した画像から店舗内における利用者U01、U02(以下、「利用者U」と総称する場合がある。)の動作を解析し、解析結果を店舗設計や不審者の検出に利用したいという要望が考えられる。例えば、不審な行動を行わなかった利用者Uの動作を学習データとして収集し、学習データとして収集した動作の特徴をDNN(Deep Neural Network)やSVM(Support Vector Machine)といったモデルに学習させることで、利用者Uの動作から不審者であるか否かを判定するモデルの生成や更新を行うといった要望が考えられる。また、このような要望を満たすため、照明機器LDが撮影した画像や、画像から推定した各種の情報をクラウドサーバCSにアップロードし、アップロードした情報に基づいてモデルの生成や更新を行うといった手法も考えられる。
(Example of management process)
Here, the movements of the users U01 and U02 (hereinafter, may be collectively referred to as "user U") in the store are analyzed from the image taken by the lighting device LD, and the analysis result is used for the store design or the suspicious person. There may be a desire to use it for detection. For example, by collecting the movements of the user U who did not perform suspicious behavior as learning data and letting a model such as DNN (Deep Neural Network) or SVM (Support Vector Machine) learn the characteristics of the movements collected as learning data. , It is conceivable that there is a request to generate or update a model for determining whether or not the user is a suspicious person from the operation of the user U. Further, in order to satisfy such a demand, there is also a method of uploading an image taken by the lighting device LD and various information estimated from the image to the cloud server CS, and generating or updating a model based on the uploaded information. Conceivable.

しかしながら、照明機器LDが撮影した画像や、画像から特定した各種の情報には、個人を特定可能な情報、すなわち、個人情報が含まれる場合がある。例えば、照明機器LDが撮影した画像や、画像から推定した各種の情報には、不審者の検出を行うため、利用者Uの顔が撮影されている恐れがある。このような個人情報をクラウドサーバCS上にアップロードするのは、個人情報を適切に保護できない恐れがある。 However, the image taken by the lighting device LD and various types of information specified from the image may include personally identifiable information, that is, personal information. For example, the face of the user U may be photographed in order to detect a suspicious person in the image taken by the lighting device LD or various information estimated from the image. Uploading such personal information on the cloud server CS may not protect the personal information properly.

そこで、情報管理システム1は、以下の処理を実行する。まず、照明機器LDは、店舗内を撮像することで、店舗の利用者Uを撮影する(ステップS1)。このような場合、情報管理装置10は、照明機器LDによって撮影された画像を取得する(ステップS2)。そして、情報管理装置10は、画像の解析を行い、利用者Uの各種情報を推定する(ステップS3)。 Therefore, the information management system 1 executes the following processing. First, the lighting device LD photographs the user U of the store by photographing the inside of the store (step S1). In such a case, the information management device 10 acquires an image taken by the lighting device LD (step S2). Then, the information management device 10 analyzes the image and estimates various information of the user U (step S3).

例えば、情報管理装置10は、照明機器LDが撮影した画像から、利用者Uの顔や、利用者Uの顔が撮像された画像の特徴量等といった利用者Uの顔を示す情報を生成する。また、情報管理装置10は、照明機器LDが撮影した画像から、利用者Uの動作を特定し、特定した動作を示す情報(以下、「動作情報」と記載する場合がある。)を生成する。また、情報管理装置10は、照明機器LDが撮影した画像から、利用者Uの性別、年代、身長等を示す情報、不審者であると判定されたか否かを示す情報等を生成する。 For example, the information management device 10 generates information indicating the face of the user U, such as the face of the user U and the feature amount of the image in which the face of the user U is captured, from the image taken by the lighting device LD. .. Further, the information management device 10 identifies the operation of the user U from the image taken by the lighting device LD, and generates information indicating the specified operation (hereinafter, may be referred to as "operation information"). .. Further, the information management device 10 generates information indicating the gender, age, height, etc. of the user U, information indicating whether or not the user is determined to be a suspicious person, and the like from the image taken by the lighting device LD.

そして、情報管理装置10は、推定結果を個人情報と他の情報とに分類する(ステップS4)。例えば、情報管理装置10は、利用者Uの顔写真や、利用者Uの顔が撮像された画像の特徴量等といった利用者Uの顔を示す情報、または、利用者Uの名前を示す情報を個人情報に分類する。また、情報管理装置10は、動作情報や利用者Uの性別、年代、身長等を示す情報、または不審者であると判定されたか否かを示す情報を個人情報以外の情報(以下、「非個人情報」と記載する場合がある。)に分類する。そして、情報管理装置10は、個人情報を内部ネットワーク上で管理する一方で、個人情報以外の情報を外部ネットワーク上のクラウドサーバCSへと出力する(ステップS5)。 Then, the information management device 10 classifies the estimation result into personal information and other information (step S4). For example, the information management device 10 may use information indicating the face of the user U, such as a face photograph of the user U, a feature amount of an image in which the face of the user U is captured, or information indicating the name of the user U. Is classified as personal information. Further, the information management device 10 uses information other than personal information (hereinafter, "non-personal information") for operating information, information indicating the gender, age, height, etc. of the user U, or information indicating whether or not the user is determined to be a suspicious person. It may be described as "personal information"). Then, the information management device 10 manages the personal information on the internal network, and outputs information other than the personal information to the cloud server CS on the external network (step S5).

一方、ショップセンタサーバSCは、クラウドサーバCSから、非個人情報を取得する(ステップS6)。そして、ショップセンタサーバSCは、非個人情報を用いて統計的なレポートや店舗設計を実施することができる(ステップS7)。例えば、ショップセンタサーバSCは、店舗を利用する利用者Uの性別や年代の統計を示す各種のレポートを作成してもよい。また、ショップセンタサーバSCは、動作情報に基づいて、利用者Uの動線に基づく店舗設計等を行ってもよい。 On the other hand, the shop center server SC acquires non-personal information from the cloud server CS (step S6). Then, the shop center server SC can carry out statistical reports and store design using non-personal information (step S7). For example, the shop center server SC may create various reports showing statistics of the gender and age of the user U who uses the store. Further, the shop center server SC may design the store based on the flow line of the user U based on the operation information.

また、ベンダサーバBSは、クラウドサーバCSから、非個人情報を取得する(ステップS8)。そして、ベンダサーバBSは、不審者を検出するために情報管理装置10が実行するシステムソフトウェアのアップデートを実行する(ステップS9)。例えば、ベンダサーバBSは、非個人情報に含まれる動作情報のうち、不審者であると判定されなかった利用者Uの行動を示す動作情報を抽出する。そして、ベンダサーバBSは、抽出した動作情報を学習データとし、利用者Uが不審者であるか否かを判定するためのモデルを生成する。 Further, the vendor server BS acquires non-personal information from the cloud server CS (step S8). Then, the vendor server BS executes an update of the system software executed by the information management device 10 in order to detect a suspicious person (step S9). For example, the vendor server BS extracts the operation information indicating the behavior of the user U who is not determined to be a suspicious person from the operation information included in the non-personal information. Then, the vendor server BS uses the extracted operation information as learning data, and generates a model for determining whether or not the user U is a suspicious person.

また、ベンダサーバBSは、生成したモデルを用いて不審者を検出するようにシステムソフトウェアをアップデートし、アップデートしたシステムソフトウェアをクラウドサーバCS上に登録する(ステップS10)。このような場合、クラウドサーバCSは、アップデートされたシステムソフトウェアを情報管理装置10に反映させる(ステップS11)。この結果、情報管理装置10は、アップデートされたシステムソフトウェアを用いて、不審者の検知を行う(ステップS12)。 Further, the vendor server BS updates the system software so as to detect a suspicious person using the generated model, and registers the updated system software on the cloud server CS (step S10). In such a case, the cloud server CS reflects the updated system software on the information management device 10 (step S11). As a result, the information management device 10 detects a suspicious person by using the updated system software (step S12).

例えば、情報管理装置10は、照明機器LDが撮影した画像から、店内の利用者Uの動きを特定し、ベンダサーバBSにより新たに生成されたモデルを用いて、特定した動きが不審者の動きであるか否かを判定する。そして、情報管理装置10は、特定した動きが不審者の動きであると判定した場合は、利用者Uを不審者として検知する。 For example, the information management device 10 identifies the movement of the user U in the store from the image taken by the lighting device LD, and uses the model newly generated by the vendor server BS to identify the movement of the suspicious person. It is determined whether or not it is. Then, when the information management device 10 determines that the specified movement is the movement of a suspicious person, the information management device 10 detects the user U as a suspicious person.

また、情報管理装置10は、内部ネットワークで管理した個人情報を用いて、予め登録された不審者の検知を行う。例えば、情報管理装置10は、万引きの常習犯等の顔認証を行うための認証データを内部で保持する。また、情報管理装置10は、照明機器LDが撮像した画像から利用者Uの顔を特定する。そして、情報管理装置10は、認証データを用いて利用者Uの顔認証を行い、不審者の検知を行う。 Further, the information management device 10 detects a suspicious person registered in advance by using the personal information managed by the internal network. For example, the information management device 10 internally holds authentication data for performing face recognition of shoplifting addicts and the like. Further, the information management device 10 identifies the face of the user U from the image captured by the lighting device LD. Then, the information management device 10 performs face recognition of the user U using the authentication data, and detects a suspicious person.

このように、情報管理装置10は、個人情報を内部ネットワーク上で管理しつつ、非個人情報を外部ネットワーク上に出力する。このため、情報管理装置10は、個人情報を保護しつつ、店舗内における利用者Uが不審者であるか否かの判定に利用可能な情報(例えば、動作情報)を出力することができる。 In this way, the information management device 10 manages personal information on the internal network and outputs non-personal information on the external network. Therefore, the information management device 10 can output information (for example, operation information) that can be used for determining whether or not the user U in the store is a suspicious person while protecting personal information.

(報知処理の一例)
ここで、情報管理装置10は、不審者を検知した場合は、店舗端末STを介して、不審者の存在を店員S01に通知する(ステップS13)。しかしながら、このような通知態様では、店員S01が店舗端末STを確認し続ける必要がある。
(Example of notification processing)
Here, when the information management device 10 detects a suspicious person, the information management device 10 notifies the clerk S01 of the existence of the suspicious person via the store terminal ST (step S13). However, in such a notification mode, the clerk S01 needs to keep checking the store terminal ST.

そこで、情報管理装置10は、不審者の近傍にある照明機器を所定の照明態様に制御することで(ステップS14)、不審者の存在や不審者がいる店舗内の位置を店員S01に報知する(ステップS15)。 Therefore, the information management device 10 notifies the clerk S01 of the existence of the suspicious person and the position in the store where the suspicious person is present by controlling the lighting device in the vicinity of the suspicious person to a predetermined lighting mode (step S14). (Step S15).

例えば、情報管理装置10は、不審な行動を行った利用者Uや、顔認証により不審者であると判定された利用者U等、特定の要件を満たす利用者Uを検知する。そして、情報管理装置10は、照明機器LDの照明態様を変化させることで、検知した利用者Uの存在や利用者Uの位置を店員S01に報知する。 For example, the information management device 10 detects a user U who satisfies a specific requirement, such as a user U who has performed a suspicious action or a user U who is determined to be a suspicious person by face recognition. Then, the information management device 10 notifies the clerk S01 of the presence of the detected user U and the position of the user U by changing the lighting mode of the lighting device LD.

例えば、情報管理装置10は、照明機器SL01が出力する光の色温度を変更することで、不審者の存在を報知してもよい。例えば、情報管理装置10は、照明機器SL01が出力する光の色を昼白色から赤や黄色といった色に変更するよう、照明機器SL01を制御してもよい。また、例えば、情報管理装置10は、報知ランプLM01が点灯する色を変更することで、不審者の存在を報知してもよい。 For example, the information management device 10 may notify the presence of a suspicious person by changing the color temperature of the light output by the lighting device SL01. For example, the information management device 10 may control the lighting device SL01 so as to change the color of the light output by the lighting device SL01 from neutral white to a color such as red or yellow. Further, for example, the information management device 10 may notify the presence of a suspicious person by changing the color in which the notification lamp LM01 lights up.

また、情報管理装置10は、照明部L01を所定の周波数よりも高い周波数で点滅させるように、照明機器SL01を制御してもよい。すなわち、情報管理装置10は、店舗の利用者Uが識別困難な程度に高い周波数で照明部L01を点滅させることで、不審者が識別困難な態様で、不審者の報知を行ってもよい。このような場合、店員S01は、店舗端末STに高周波で点滅する光を検出するアプリケーションを実行させることで、不審者の報知を識別することができる。また、店員S01は、例えば、高周波で点滅する光を検出するウェアラブルデバイス等を用いて、照明機器SL01による報知を識別してもよい。 Further, the information management device 10 may control the lighting device SL01 so that the lighting unit L01 blinks at a frequency higher than a predetermined frequency. That is, the information management device 10 may notify the suspicious person in a manner in which the suspicious person is difficult to identify by blinking the illumination unit L01 at a frequency high enough for the store user U to be difficult to identify. In such a case, the store clerk S01 can identify the notification of the suspicious person by causing the store terminal ST to execute an application for detecting the light blinking at a high frequency. Further, the clerk S01 may identify the notification by the lighting device SL01 by using, for example, a wearable device or the like that detects light blinking at a high frequency.

また、通常時においては、照明機器SL01が点灯しているため、非常灯EL01が点灯したとしても、不審者に気づかれる可能性は低いと考えられる。そこで、情報管理装置10は、系統電源からの電力が停止した際に点灯する照明機器LD、すなわち、非常灯EL01を点灯させることで、不審者の存在を報知してもよい。 Further, since the lighting device SL01 is lit in the normal state, it is considered unlikely that a suspicious person will be noticed even if the emergency light EL01 is lit. Therefore, the information management device 10 may notify the existence of a suspicious person by turning on the lighting device LD, that is, the emergency light EL01, which lights up when the power from the system power supply is stopped.

また、情報管理装置10は、所定の要件を満たす利用者Uの位置を検知し、店舗に配置された照明機器LDのうち、検知された位置と対応する位置の照明機器LDの照明態様を変化させてもよい。また、情報管理装置10は、検知された位置の変化に応じて、照明態様を変化させる照明機器を変更してもよい。 Further, the information management device 10 detects the position of the user U satisfying a predetermined requirement, and changes the lighting mode of the lighting device LD at the position corresponding to the detected position among the lighting device LDs arranged in the store. You may let me. Further, the information management device 10 may change the lighting device that changes the lighting mode according to the change in the detected position.

例えば、情報管理装置10は、画像の解析結果から不審者と判定された利用者Uの位置を特定する。そして、情報管理装置10は、特定した位置に設置された照明機器LDの照明態様を変化させてもよい。このような処理の結果、情報管理装置10は、例えば、不審者の移動に伴い、照明態様を変化させる照明機器を変化させることで、不審者の位置を店員S01に報知することができる。 For example, the information management device 10 identifies the position of the user U determined to be a suspicious person from the image analysis result. Then, the information management device 10 may change the lighting mode of the lighting device LD installed at the specified position. As a result of such processing, the information management device 10 can notify the clerk S01 of the position of the suspicious person by, for example, changing the lighting device that changes the lighting mode as the suspicious person moves.

ここで、利用者Uの行動が不審な行動である確度、すなわち、利用者Uが不審者である確度を出力するモデルにより、不審者の検知を行うといった手法が考えられる。そこで、情報管理装置10は、利用者が不審者である確度に応じた照明態様で照明機器LDを制御してもよい。 Here, a method of detecting a suspicious person by a model that outputs the probability that the behavior of the user U is a suspicious behavior, that is, the probability that the user U is a suspicious person can be considered. Therefore, the information management device 10 may control the lighting device LD in a lighting mode according to the certainty that the user is a suspicious person.

例えば、情報管理装置10は、利用者U01の顔が予め登録された万引き常習犯の顔写真と一致した場合や、利用者U01の行動が不審な行動である確度が第1の閾値を超える場合は、利用者U01がいる位置の照明機器SL01を赤色で点灯させてもよく、第1の周波数で点滅させてもよい。また、情報管理装置10は、利用者U01の行動が不審な行動である確度が第1の閾値以下、第2の閾値以上となる場合は、利用者U01がいる位置の照明機器SL01を黄色で点灯させてもよく、第1の周波数よりも高い第2の周波数(すなわち、より識別しづらい周波数)で点滅させてもよい。また、情報管理装置10は、利用者U01の行動が不審な行動である確度が第2の閾値以下となる場合は、照明機器SL01を通常の照明態様で点灯させてもよい。 For example, in the information management device 10, when the face of the user U01 matches the face photograph of the shoplifting addict registered in advance, or when the probability that the behavior of the user U01 is a suspicious behavior exceeds the first threshold value. , The lighting device SL01 at the position where the user U01 is located may be lit in red, or may be blinked at the first frequency. Further, when the probability that the behavior of the user U01 is suspicious behavior is equal to or less than the first threshold value and equal to or higher than the second threshold value, the information management device 10 turns the lighting device SL01 at the position where the user U01 is located in yellow. It may be turned on or blinked at a second frequency higher than the first frequency (ie, a frequency that is more difficult to identify). Further, the information management device 10 may light the lighting device SL01 in a normal lighting mode when the probability that the behavior of the user U01 is a suspicious behavior is equal to or less than the second threshold value.

このように、情報管理装置10は、店舗内で撮影された画像に基づき、店舗の利用者を検知する。そして、情報管理装置10は、検知結果に基づき、店舗を照明する照明機器LDの照明態様を変化させることで所定の情報を報知する。例えば、情報管理装置10は、不審者となる利用者Uを検知した場合は、照明機器LDの照明態様を変化させることで不審者の存在や場所を店員S01に報知する。このため、情報管理装置10は、店員S01に店舗端末STを確認させ続けなくとも、容易に各種の情報を報知することができる。 In this way, the information management device 10 detects the user of the store based on the image taken in the store. Then, the information management device 10 notifies predetermined information by changing the lighting mode of the lighting device LD that illuminates the store based on the detection result. For example, when the information management device 10 detects a user U who becomes a suspicious person, the information management device 10 notifies the clerk S01 of the existence and location of the suspicious person by changing the lighting mode of the lighting device LD. Therefore, the information management device 10 can easily notify various information without having the store clerk S01 keep checking the store terminal ST.

(機能構成の一例)
次に、図3を用いて、情報管理装置10が有する機能構成の一例について説明する。図3は、実施形態に係る情報管理装置の機能構成の一例を示す図である。図3に示すように、情報管理装置10は、外部ネットワーク通信部21、内部ネットワーク通信部22、記憶部30、および制御部40を有する。
(Example of functional configuration)
Next, an example of the functional configuration of the information management device 10 will be described with reference to FIG. FIG. 3 is a diagram showing an example of the functional configuration of the information management device according to the embodiment. As shown in FIG. 3, the information management device 10 includes an external network communication unit 21, an internal network communication unit 22, a storage unit 30, and a control unit 40.

外部ネットワーク通信部21は、例えば、NIC(Network Interface Card)等によって実現される通信装置である。外部ネットワーク通信部21は、インターネット等のネットワークNと有線又は無線で通信され、情報管理装置10とクラウドサーバCS、ベンダサーバBS、およびショップセンタサーバSCとの間の通信を中継する。すなわち、外部ネットワーク通信部21は、外部ネットワーク上の各種情報処理装置との間で通信を行う。 The external network communication unit 21 is a communication device realized by, for example, a NIC (Network Interface Card) or the like. The external network communication unit 21 communicates with a network N such as the Internet by wire or wirelessly, and relays communication between the information management device 10 and the cloud server CS, the vendor server BS, and the shop center server SC. That is, the external network communication unit 21 communicates with various information processing devices on the external network.

内部ネットワーク通信部22は、例えばNIC等により実現され、店舗内のネットワーク、すなわち、内部ネットワークを介して、情報管理装置10と照明機器LDや店舗端末STとの間の通信を中継する。 The internal network communication unit 22 is realized by, for example, a NIC or the like, and relays communication between the information management device 10 and the lighting device LD or the store terminal ST via the network in the store, that is, the internal network.

記憶部30は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、RAM(Random Access Memory)等の記憶装置により実現される。図3に示すように、記憶部30は、外部情報データベース31、内部情報データベース32、照明機器データベース33、および不審者データベース34(以下、「各データベース31〜34」と総称する場合がある。)を記憶する。 The storage unit 30 is realized by, for example, a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or a RAM (Random Access Memory). As shown in FIG. 3, the storage unit 30 includes an external information database 31, an internal information database 32, a lighting equipment database 33, and a suspicious person database 34 (hereinafter, may be collectively referred to as “each database 31 to 34”). Remember.

以下、図4〜図7を用いて、各データベース31〜34に登録される情報の一例を説明する。外部情報データベース31は、画像から推定された利用者Uに関する情報のうち、非個人情報となる情報、すなわち、外部ネットワークへと出力される外部情報が登録される。例えば、図4は、実施形態に係る外部情報データベースに登録される情報の一例を示す図である。図4に示す例では、外部情報データベース31には、「データID(Identifier)」、「取得日時」、「動作情報」、「性別情報」、「年代情報」、および「身長情報」といった項目を有する情報が登録される。なお、図4に示す情報以外にも、外部情報データベース31は、画像から推定された利用者Uに関する情報であって、非個人情報となる各種の情報が登録されているものとする。 Hereinafter, an example of information registered in each database 31 to 34 will be described with reference to FIGS. 4 to 7. In the external information database 31, among the information about the user U estimated from the image, information that is non-personal information, that is, external information output to the external network is registered. For example, FIG. 4 is a diagram showing an example of information registered in the external information database according to the embodiment. In the example shown in FIG. 4, the external information database 31 contains items such as "data ID (Identifier)", "acquisition date and time", "operation information", "gender information", "age information", and "height information". The information you have is registered. In addition to the information shown in FIG. 4, it is assumed that the external information database 31 is registered with various information that is non-personal information and is information about the user U estimated from the image.

ここで、「データID」とは、外部情報データベース31に登録される非個人情報を識別するための識別子である。また、「取得日時」とは、非個人情報の取得日時を示す情報である。また、「動作情報」とは、画像から推定した利用者の動きを示す情報であり、例えば、モーションキャプチャのデータである。また、「性別情報」とは、画像から推定した利用者Uの性別を示す情報である。また、「年代情報」とは、画像から推定した利用者Uの年代を示す情報である。また、「身長情報」とは、画像から推定した利用者Uの身長を示す情報である。 Here, the "data ID" is an identifier for identifying non-personal information registered in the external information database 31. The "acquisition date and time" is information indicating the acquisition date and time of non-personal information. Further, the "motion information" is information indicating the movement of the user estimated from the image, and is, for example, motion capture data. Further, the "gender information" is information indicating the gender of the user U estimated from the image. Further, the "age information" is information indicating the age of the user U estimated from the image. Further, the "height information" is information indicating the height of the user U estimated from the image.

例えば、図4に示す例では、データID「データID#1」、取得日時「日時#1」、動作情報「動作情報#1」、性別情報「男性」、年代情報「30代」、および身長情報「170cm〜180cm」といった情報が登録されている。このような情報は、データID「データID#1」が示す非個人情報が、取得日時「日時#1」に取得された情報であり、動作情報「動作情報#1」が示す動作を行った利用者が、身長170cm〜180cmの30代の男性である旨を示す。 For example, in the example shown in FIG. 4, the data ID "data ID # 1", the acquisition date and time "date and time # 1", the operation information "operation information # 1", the gender information "male", the age information "30s", and the height. Information Information such as "170 cm to 180 cm" is registered. Such information is the information obtained by the non-personal information indicated by the data ID "data ID # 1" at the acquisition date and time "date and time # 1", and the operation indicated by the operation information "operation information # 1" is performed. Indicates that the user is a man in his thirties with a height of 170 cm to 180 cm.

内部情報データベース32は、画像から推定された利用者Uに関する情報のうち、個人情報となる情報、すなわち、内部ネットワークで管理される内部情報が登録される。例えば、図5は、実施形態に係る内部情報データベースに登録される情報の一例を示す図である。図5に示す例では、内部情報データベース32には、「データID」、「取得日時」、「画像情報」、「名前」、「対応フラグ」といった項目を有する情報が登録される。なお、図5に示す情報以外にも、内部情報データベース32は、各種の個人情報が登録されているものとする。 In the internal information database 32, among the information about the user U estimated from the image, information that becomes personal information, that is, internal information managed by the internal network is registered. For example, FIG. 5 is a diagram showing an example of information registered in the internal information database according to the embodiment. In the example shown in FIG. 5, information having items such as "data ID", "acquisition date and time", "image information", "name", and "correspondence flag" is registered in the internal information database 32. In addition to the information shown in FIG. 5, it is assumed that various personal information is registered in the internal information database 32.

ここで、「データID」とは、個人情報を識別するための識別子である。また、「取得日時」とは、個人情報の取得日時を示す情報である。また、「画像情報」とは、画像から抽出した利用者の顔を含む画像であり、例えば、顔認証を行う際に用いる画像である。また、「名前」とは、画像から推定した利用者Uの名前である。また、「対応フラグ」とは、対応する利用者が不審者である際に声掛けを行ったか否かを示す情報である。例えば、不審者であると判定された利用者には、対応フラグ「1」が設定され、不審者ではないと判定された利用者や、不審者であると判定されたが店員によって声掛けが行われた利用者には対応フラグ「0」が設定される。 Here, the "data ID" is an identifier for identifying personal information. The "acquisition date and time" is information indicating the acquisition date and time of personal information. Further, the "image information" is an image including a user's face extracted from the image, and is, for example, an image used when performing face authentication. The "name" is the name of the user U estimated from the image. Further, the "correspondence flag" is information indicating whether or not the corresponding user has called out when he / she is a suspicious person. For example, a user who is determined to be a suspicious person is set with a response flag "1", and a user who is determined not to be a suspicious person or a user who is determined to be a suspicious person is called by a clerk. Correspondence flag "0" is set for the performed user.

例えば、図5に示す例では、データID「データID#1」、取得日時「日時#1」、画像情報「画像情報#1」、名前「不明」、対応フラグ「0」といった情報が登録されている。このような情報は、データID「データID#1」が示す個人情報が、取得日時「日時#1」に取得された情報であり、画像情報「画像情報#1」に含まれる顔の利用者の名前が不明であり、不審者と判定されていない、若しくは、不審者と判定されたが声掛けが行われた利用者である旨を示す。 For example, in the example shown in FIG. 5, information such as data ID "data ID # 1", acquisition date and time "date and time # 1", image information "image information # 1", name "unknown", and correspondence flag "0" is registered. ing. Such information is the personal information indicated by the data ID "data ID # 1", which is the information acquired on the acquisition date and time "date and time # 1", and is included in the image information "image information # 1". Indicates that the name of the user is unknown and has not been determined to be a suspicious person, or that the user has been determined to be a suspicious person but has been called out.

照明機器データベース33は、店舗を照明する照明機器LDの種別や設置位置といった照明機器LDに関する各種の情報が登録されている。例えば、図6は、実施形態に係る照明機器データベースに登録される情報の一例を示す図である。図6に示す例では、照明機器データベース33には、「照明機器ID」、「種別」、「設置位置」、「取得データ」といった項目を有する情報が登録される。なお、図6に示す情報以外にも、照明機器データベース33は、照明機器に関する各種の情報が登録されているものとする。 In the lighting equipment database 33, various information related to the lighting equipment LD such as the type and installation position of the lighting equipment LD that illuminates the store is registered. For example, FIG. 6 is a diagram showing an example of information registered in the lighting equipment database according to the embodiment. In the example shown in FIG. 6, information having items such as "lighting device ID", "type", "installation position", and "acquired data" is registered in the lighting device database 33. In addition to the information shown in FIG. 6, it is assumed that various information related to the lighting equipment is registered in the lighting equipment database 33.

ここで、「照明機器ID」とは、照明機器を識別するための識別子である。また、「種別」とは、対応付けられた「照明機器ID」が示す照明機器が、撮影部C01を有する照明機器、すなわち、カメラ付き照明機器であるか、通常の照明機器であるか、非常灯であるかを示す情報である。また、「設置位置」とは、照明機器の設置位置を示す情報である。また、「取得データ」とは、カメラ付き照明機器が取得した画像データを示す情報である。 Here, the "lighting device ID" is an identifier for identifying the lighting device. Further, the "type" means that the lighting device indicated by the associated "lighting device ID" is a lighting device having a photographing unit C01, that is, a lighting device with a camera, a normal lighting device, or an emergency. It is information indicating whether it is a light. The "installation position" is information indicating the installation position of the lighting equipment. Further, the "acquired data" is information indicating image data acquired by a lighting device with a camera.

例えば、図6に示す例では、照明機器データベース33には、照明機器ID「照明機器#1」、種別「カメラ付き照明機器」、設置位置「設置位置#1」、取得データ「画像データ#1」が対応付けて登録されている。このような情報は、照明機器ID「照明機器#1」が示す照明機器の種別が「カメラ付き照明機器」であり、「設置位置#1」に設置されており、「画像データ#1」を取得した旨を示す。 For example, in the example shown in FIG. 6, the lighting device database 33 contains the lighting device ID “lighting device # 1”, the type “lighting device with camera”, the installation position “installation position # 1”, and the acquired data “image data # 1”. "Is registered in association with each other. For such information, the type of lighting device indicated by the lighting device ID "lighting device # 1" is "lighting device with camera", and it is installed at "installation position # 1", and "image data # 1" is displayed. Indicates that it has been acquired.

不審者データベース34は、不審者の顔認証を行うための認証データが登録されている。例えば、図7は、実施形態に係る不審者データベースに登録される情報の一例を示す図である。図7に示す例では、不審者データベース34には、「不審者ID」、「認証データ」、および「名前」といった情報が登録されている。なお、図7に示す情報以外にも、不審者データベース34には、不審者に関する任意の情報が登録されているものとする。 In the suspicious person database 34, authentication data for performing face recognition of a suspicious person is registered. For example, FIG. 7 is a diagram showing an example of information registered in the suspicious person database according to the embodiment. In the example shown in FIG. 7, information such as "suspicious person ID", "authentication data", and "name" is registered in the suspicious person database 34. In addition to the information shown in FIG. 7, it is assumed that arbitrary information about the suspicious person is registered in the suspicious person database 34.

ここで、「不審者ID」とは、不審者を識別するための識別子である。また、「認証データ」とは、対応付けられた「不審者ID」が示す不審者の顔認証を行う際に用いられる認証用のデータである。また、「名前」とは、対応付けられた「不審者ID」が示す不審者の名前である。 Here, the "suspicious person ID" is an identifier for identifying a suspicious person. Further, the "authentication data" is data for authentication used when performing face authentication of a suspicious person indicated by the associated "suspicious person ID". The "name" is the name of the suspicious person indicated by the associated "suspicious person ID".

例えば、図7に示す例では、不審者ID「不審者#1」、認証データ「認証データ#1」、および名前「名前#1」が対応付けて登録されている。このような情報は、不審者ID「不審者#1」が示す不審者の名前が「名前#1」であり、顔認証を行う際の認証データが「認証データ#1」である旨を示す。 For example, in the example shown in FIG. 7, the suspicious person ID “suspicious person # 1”, the authentication data “authentication data # 1”, and the name “name # 1” are registered in association with each other. Such information indicates that the name of the suspicious person indicated by the suspicious person ID "suspicious person # 1" is "name # 1" and the authentication data for performing face recognition is "authentication data # 1". ..

図3に戻り、説明を続ける。制御部40は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により、情報管理装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。 Returning to FIG. 3, the explanation will be continued. The control unit 40 stores in a storage device inside the information management device 10 by an integrated circuit such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array). It is realized by executing various programs being executed with a RAM or the like as a work area.

図3に示すように、制御部40は、取得部41、推定部42、管理部43、出力部44、検知部45、および報知部46を有する。取得部41は、店舗等、所定の施設内に設置された照明機器LDが撮影した画像を取得する。例えば、取得部41は、照明機器データベース33を参照し、カメラ付きの照明機器SL01を特定する。そして、取得部41は、特定した照明機器SL01と内部ネットワークを介して通信し、照明機器SL01が撮像部C01を用いて撮影した画像を取得する。なお、取得部41は、照明機器LDが撮影した画像のみならず、店舗に設置された防犯カメラ等、各種の撮影装置が撮影した画像を取得してもよい。 As shown in FIG. 3, the control unit 40 includes an acquisition unit 41, an estimation unit 42, a management unit 43, an output unit 44, a detection unit 45, and a notification unit 46. The acquisition unit 41 acquires an image taken by a lighting device LD installed in a predetermined facility such as a store. For example, the acquisition unit 41 refers to the lighting device database 33 and identifies the lighting device SL01 with a camera. Then, the acquisition unit 41 communicates with the specified lighting device SL01 via the internal network, and acquires an image taken by the lighting device SL01 using the imaging unit C01. The acquisition unit 41 may acquire not only the image taken by the lighting device LD but also the image taken by various shooting devices such as a security camera installed in the store.

推定部42は、店舗内で撮像された画像に基づいて、店舗内の利用者Uに関する各種属性等の情報を推定する。例えば、推定部42は、任意の画像解析技術を用いて、店舗内の利用者Uが撮像された範囲を特定する。また、推定部42は、特定した範囲から利用者Uの顔が撮像された範囲を特定し、特定した範囲を顔認証を行うための画像情報として抽出する。また、推定部42は、利用者Uの顔や利用者Uの身体的特徴から、利用者Uの性別や年代を推定する。また、推定部42は、利用者Uの周囲に配置された棚等、所定の基準物との大きさの比較結果から、利用者Uの身長を推定する。また、推定部42は、モーションキャプチャー等の技術を用いて、利用者の動きを示す動作情報を生成する。 The estimation unit 42 estimates information such as various attributes related to the user U in the store based on the image captured in the store. For example, the estimation unit 42 identifies the range in which the user U in the store is imaged by using an arbitrary image analysis technique. Further, the estimation unit 42 identifies the range in which the face of the user U is captured from the specified range, and extracts the specified range as image information for performing face recognition. In addition, the estimation unit 42 estimates the gender and age of the user U from the face of the user U and the physical characteristics of the user U. In addition, the estimation unit 42 estimates the height of the user U from the result of comparing the size with a predetermined reference object such as a shelf arranged around the user U. In addition, the estimation unit 42 uses a technique such as motion capture to generate motion information indicating the movement of the user.

また、推定部42は、不審者データベース34に登録された情報を用いて、撮影された利用者Uの顔認証を行う。そして、推定部42は、利用者Uの顔が不審者の顔と一致した場合は、かかる不審者の名前を、利用者Uの名前とする。 In addition, the estimation unit 42 uses the information registered in the suspicious person database 34 to authenticate the face of the photographed user U. Then, when the face of the user U matches the face of the suspicious person, the estimation unit 42 uses the name of the suspicious person as the name of the user U.

また、推定部42は、複数のカメラによって撮影された画像を統合的に用いて、利用者Uの顔認証を行うための画像情報を抽出してもよい。例えば、推定部42は、あるカメラによって撮影された利用者Uの右半分の顔の画像と、他のカメラが撮影した利用者Uの左半分の顔の画像とを合成することで、顔認証を行うための画像を生成してもよい。このような合成に用いる画像は、同時期に撮影された画像であってもよく、異なる時期に撮影された画像であってもよい。すなわち、推定部42は、任意の画像合成技術を用いて、店内で撮影された画像から利用者Uの顔画像の推定を行ってもよい。 In addition, the estimation unit 42 may extract image information for performing face recognition of the user U by using images taken by a plurality of cameras in an integrated manner. For example, the estimation unit 42 synthesizes a face image of the right half of the user U taken by a certain camera and an image of the face of the left half of the user U taken by another camera to perform face recognition. You may generate an image for doing this. The image used for such composition may be an image taken at the same time or an image taken at a different time. That is, the estimation unit 42 may estimate the face image of the user U from the image taken in the store by using an arbitrary image composition technique.

管理部43は、推定された情報のうち、個人を特定可能な情報を内部ネットワーク上で管理する。例えば、管理部43は、推定部42によって推定された情報のうち、顔画像や名前等の個人情報と、利用者の行動に関する動作情報や、性別情報、年代情報、身長情報等といった非個人情報とを分類する。そして、管理部43は、個人情報を内部情報データベース32に登録し、非個人情報を外部情報データベース31に登録する。 The management unit 43 manages personally identifiable information among the estimated information on the internal network. For example, among the information estimated by the estimation unit 42, the management unit 43 includes personal information such as a face image and a name, motion information related to the user's behavior, and non-personal information such as gender information, age information, and height information. And classify. Then, the management unit 43 registers the personal information in the internal information database 32 and registers the non-personal information in the external information database 31.

また、管理部43は、内部情報データベース32に登録された情報に対し、所定のアクセス権を付与する等、任意の情報保持技術を適用することで、内部情報データベース32に登録された情報を、内部ネットワークのみで使用可能な情報に設定する。このような処理の結果、管理部43は、個人情報を内部ネットワーク上で管理することができる。 In addition, the management unit 43 applies arbitrary information holding technology, such as granting a predetermined access right to the information registered in the internal information database 32, to obtain the information registered in the internal information database 32. Set the information so that it can be used only on the internal network. As a result of such processing, the management unit 43 can manage personal information on the internal network.

出力部44は、推定された情報のうち、個人を特定できない情報を外部ネットワーク上の情報処理装置へと出力する。例えば、出力部44は、所定の処理タイミングで、外部情報データベース31に非個人情報として登録された情報を外部ネットワーク上のクラウドサーバCSへと出力する。このようにクラウドサーバCS上へと出力された非個人情報は、店舗内における利用者Uの行動の解析や、利用者Uが不審者であるか否かを判定するためのモデルの生成等に利用されることとなる。 The output unit 44 outputs the estimated information that cannot identify an individual to an information processing device on the external network. For example, the output unit 44 outputs the information registered as non-personal information in the external information database 31 to the cloud server CS on the external network at a predetermined processing timing. The non-personal information output on the cloud server CS in this way is used for analyzing the behavior of the user U in the store and generating a model for determining whether or not the user U is a suspicious person. It will be used.

検知部45は、撮影された画像に基づき、店舗の利用者Uの属性を検出して特定する。より具体的には、検知部45は、不審者データベース34に不審者として登録された利用者や、不審な動きをする利用者U等、属性を判断するための所定の要件を満たす利用者の検知を行う。例えば、検知部45は、不審者データベース34に登録された情報と、推定部42によって推定された利用者Uの顔画像とを用いて、利用者Uの顔認証を行う。そして、検知部45は、利用者Uの顔の認証が成功した場合は、利用者Uを不審者と判定する。 The detection unit 45 detects and identifies the attribute of the user U of the store based on the captured image. More specifically, the detection unit 45 is a user who is registered as a suspicious person in the suspicious person database 34, a user U who moves suspiciously, or a user who satisfies a predetermined requirement for determining an attribute. Detect. For example, the detection unit 45 performs face recognition of the user U using the information registered in the suspicious person database 34 and the face image of the user U estimated by the estimation unit 42. Then, when the face authentication of the user U is successful, the detection unit 45 determines the user U as a suspicious person.

また、検知部45は、利用者Uの動きに基づいて、利用者Uが不審者であるか否かを判定するモデルを用いて、不審者の検出を行う。例えば、検知部45は、モデルを用いて、推定部42が推定した動作情報が示す利用者Uの動作が不審な動作であるか否かを判定し、不審な動作であると判定した場合は、利用者Uを不審者と判定する。なお、検知部45は、モデルを用いて、利用者Uが不審者である確度を取得してもよい。そして、検知部45は、利用者Uを不審者と判定した場合は、利用者Uの画像情報と対応付けられた対応フラグを「1」に設定する。 Further, the detection unit 45 detects a suspicious person by using a model for determining whether or not the user U is a suspicious person based on the movement of the user U. For example, the detection unit 45 uses a model to determine whether or not the operation of the user U indicated by the operation information estimated by the estimation unit 42 is a suspicious operation, and when it is determined that the operation is suspicious. , The user U is determined to be a suspicious person. The detection unit 45 may use the model to acquire the probability that the user U is a suspicious person. Then, when the detection unit 45 determines that the user U is a suspicious person, the detection unit 45 sets the corresponding flag associated with the image information of the user U to "1".

また、検知部45は、利用者Uを不審者と判定した場合は、撮像された画像に基づいて、利用者Uの位置を特定する。例えば、検知部45は、照明機器LDがリアルタイムに撮影した画像から、不審者と判定した利用者Uが撮像された画像を特定し、特定した画像を撮影した照明機器LDの設置位置を不審者と判定された利用者Uの位置として特定する。なお、検知部45は、任意の画像解析技術を用いて、利用者Uの位置を特定してもよい。 When the detection unit 45 determines that the user U is a suspicious person, the detection unit 45 identifies the position of the user U based on the captured image. For example, the detection unit 45 identifies the image captured by the user U determined to be a suspicious person from the image taken by the lighting device LD in real time, and sets the installation position of the lighting device LD that has taken the specified image as a suspicious person. It is specified as the position of the user U determined to be. The detection unit 45 may specify the position of the user U by using an arbitrary image analysis technique.

報知部46は、検知結果に基づき、照明機器LDの照明態様を変化させることで所定の情報を報知する。より具体的には、報知部46は、不審者等、所定の要件を満たす利用者が検知された場合は、所定の要件を満たす利用者の存在を報知する。例えば、報知部46は、不審者と判定された利用者の位置を検知部45が特定した場合は、特定した位置に設置された照明機器LDを照明機器データベース33から特定する。そして、報知部46は、特定した照明機器LDの照明態様を変化させることで、不審者の存在や不審者の位置を店員S01に報知する。また、報知部46は、不審者の位置として検知部45が検知した位置が変化した場合は、変化に応じて、照明態様を変化させる照明機器LDを変更する。 The notification unit 46 notifies predetermined information by changing the lighting mode of the lighting device LD based on the detection result. More specifically, when a user satisfying a predetermined requirement such as a suspicious person is detected, the notification unit 46 notifies the existence of a user satisfying the predetermined requirement. For example, when the detection unit 45 specifies the position of the user determined to be a suspicious person, the notification unit 46 specifies the lighting device LD installed at the specified position from the lighting device database 33. Then, the notification unit 46 notifies the clerk S01 of the existence of the suspicious person and the position of the suspicious person by changing the lighting mode of the specified lighting device LD. Further, when the position detected by the detection unit 45 changes as the position of the suspicious person, the notification unit 46 changes the lighting device LD that changes the lighting mode according to the change.

なお、報知部46は、照明態様を任意の態様に制御することにより、各種報知を行ってよい。例えば、報知部46は、照明機器LDが光を出力する周波数を変化させる等、不審者が識別困難な態様で、照明機器LDの照明態様を変化させてもよい。また、報知部46は、光の色温度を変化させることで、不審者の存在や位置を報知してもよく、非常灯EL01等を点灯させることで、不審者の存在や位置を報知してもよい。また、報知部46は、照明機器LDの照明態様を、検知部45が取得した確度に応じた照明態様に変化させることで、利用者Uが不審者である確度を店員S01に報知してもよい。 The notification unit 46 may perform various notifications by controlling the lighting mode to an arbitrary mode. For example, the notification unit 46 may change the lighting mode of the lighting device LD in a manner that is difficult for a suspicious person to identify, such as changing the frequency at which the lighting device LD outputs light. Further, the notification unit 46 may notify the presence or position of a suspicious person by changing the color temperature of the light, and may notify the presence or position of a suspicious person by turning on the emergency light EL01 or the like. May be good. Further, even if the notification unit 46 notifies the clerk S01 of the probability that the user U is a suspicious person by changing the lighting mode of the lighting device LD to a lighting mode according to the accuracy acquired by the detection unit 45. Good.

例えば、図8は、実施形態に係る情報管理装置が不審者の存在や位置を報知する処理の一例を示す図である。なお、図8に示す例では、不審者の検出を行う店舗に照明機器SL01、SL02および非常灯EL01が設置されている例について記載した。 For example, FIG. 8 is a diagram showing an example of a process in which the information management device according to the embodiment notifies the presence or position of a suspicious person. In the example shown in FIG. 8, an example in which lighting devices SL01 and SL02 and an emergency light EL01 are installed in a store that detects a suspicious person is described.

例えば、図8中(A)に示す例では、利用者U01が照明機器SL01の下から非常灯EL01の下へと移動した例について記載した。このような場合、情報管理装置10は、利用者U01が不審者であると判定した場合は、利用者U01が照明機器SL01の下にいる間、照明機器SL01の照明態様を通常の照明態様とは異なる所定の照明態様に変化させる。そして、情報管理装置10は、利用者U01が照明機器SL01の下から非常灯EL01の下へと移動した場合は、照明機器SL01の照明態様を通常の照明態様へと変更するとともに、非常灯EL01を点灯させる。 For example, in the example shown in FIG. 8 (A), an example in which the user U01 moves from under the lighting device SL01 to under the emergency light EL01 is described. In such a case, when the information management device 10 determines that the user U01 is a suspicious person, the lighting mode of the lighting device SL01 is set to the normal lighting mode while the user U01 is under the lighting device SL01. Is changed to a different predetermined lighting mode. Then, when the user U01 moves from under the lighting device SL01 to under the emergency light EL01, the information management device 10 changes the lighting mode of the lighting device SL01 to the normal lighting mode and also changes the lighting mode of the lighting device SL01 to the normal lighting mode and the emergency light EL01. Turn on.

また、図8中(B)に示す例では、利用者U01が照明機器SL01の下におり、利用者U02が照明機器SL02の下にいる例について記載した。ここで、情報管理装置10は、利用者U01が不審者である確度が第1の閾値よりも高く、利用者U02が不審者である確度が第1の閾値よりも低い第2の閾値よりも高かったものとする。このような場合、情報管理装置10は、利用者U01の上にある照明機器SL01を第1の周波数で点滅させ、利用者U02の上にある照明機器SL02を第2の周波数で点滅させる。 Further, in the example shown in FIG. 8B, the example in which the user U01 is under the lighting device SL01 and the user U02 is under the lighting device SL02 is described. Here, in the information management device 10, the probability that the user U01 is a suspicious person is higher than the first threshold value, and the probability that the user U02 is a suspicious person is lower than the second threshold value. It is assumed that it was expensive. In such a case, the information management device 10 blinks the lighting device SL01 above the user U01 at the first frequency, and blinks the lighting device SL02 above the user U02 at the second frequency.

ここで、図8中(B)に示す例では、店員S01は、高周波で点滅する光を周波数に応じた色彩で視覚可する眼鏡型のウェアラブルデバイスG01を装着しているものとする。このような場合、店員S01は、利用者U01を視認した際に、図8中(C)に示すように第1の周波数に対応する色彩で照明された利用者U01を視認することとなる。また、店員S01は、利用者U02を視認した際に、図8中(D)に示すように第2の周波数に対応する色彩で照明された利用者U02を視認することとなる。この結果、情報管理装置10は、利用者U01、U02が不審者である旨、不審者である利用者U01、U02の位置、利用者U01、U02が不審者である確度といった各種の情報を店員S01に通報することができる。 Here, in the example shown in FIG. 8B, it is assumed that the clerk S01 is wearing a glasses-type wearable device G01 that can visually recognize the light blinking at a high frequency in a color corresponding to the frequency. In such a case, when the clerk S01 visually recognizes the user U01, the clerk S01 visually recognizes the user U01 illuminated with the color corresponding to the first frequency as shown in FIG. 8C. Further, when the clerk S01 visually recognizes the user U02, the clerk S01 visually recognizes the user U02 illuminated with the color corresponding to the second frequency as shown in FIG. 8D. As a result, the information management device 10 provides various information such as the fact that the users U01 and U02 are suspicious persons, the positions of the suspicious users U01 and U02, and the probability that the users U01 and U02 are suspicious persons. You can report to S01.

なお、店員S01は、不審者の報知を受付けた場合、任意の行為を行ってよい。例えば、店員S01は、不審者に対して挨拶などの声をかけることや、不審者の重点的な監視を行うことで、万引きの未然防止を図る。また、情報管理装置10は、店舗端末STを介して、店員S01が声掛けを行った不審者の情報を取得する。このような場合、例えば、報知部46は、声掛けが行われた不審者と対応する対応フラグを「0」に設定する。このような処理の結果、情報管理装置10は、店舗における不審者の管理を実現することができる。 The clerk S01 may perform any action when receiving the notification of the suspicious person. For example, the clerk S01 tries to prevent shoplifting by calling out to the suspicious person such as greetings and performing intensive monitoring of the suspicious person. Further, the information management device 10 acquires the information of the suspicious person whom the clerk S01 has spoken to via the store terminal ST. In such a case, for example, the notification unit 46 sets the corresponding flag corresponding to the suspicious person to whom the call was made to "0". As a result of such processing, the information management device 10 can realize the management of the suspicious person in the store.

(実施形態の処理フロー)
次に、情報管理装置10が実行する各処理のフローについて説明する。図9は、実施形態に係る情報管理装置が実行する管理処理の流れの一例を説明するフローチャートである。例えば、情報管理装置10は、照明機器SL01等が撮影した画像を取得する(ステップS101)。続いて、情報管理装置10は、取得した画像から、顔部分の画像や動作情報を推定する(ステップS102)。そして、情報管理装置10は、推定した各種の情報を個人を特定可能な個人情報とそれ以外の非個人情報とに分類する(ステップS103)。その後、情報管理装置10は、個人情報を内部ネットワーク内で管理し、非個人情報をクラウドサーバCSにアップロードして(ステップS104)、処理を終了する。
(Processing flow of embodiment)
Next, the flow of each process executed by the information management device 10 will be described. FIG. 9 is a flowchart illustrating an example of a flow of management processing executed by the information management device according to the embodiment. For example, the information management device 10 acquires an image taken by the lighting device SL01 or the like (step S101). Subsequently, the information management device 10 estimates the image of the face portion and the motion information from the acquired image (step S102). Then, the information management device 10 classifies the various estimated information into personal information that can identify an individual and other non-personal information (step S103). After that, the information management device 10 manages the personal information in the internal network, uploads the non-personal information to the cloud server CS (step S104), and ends the process.

図10は、実施形態に係る情報管理装置が実行する報知処理の流れの一例を説明するフローチャートである。例えば、情報管理装置10は、不審者データベース34に登録された認証データを用いて、店内の利用者Uが不審者であるか否かの顔認証を行う(ステップS201)。また、情報管理装置10は、モデルを用いて、利用者Uが不審者である確度を取得する(ステップS202)。 FIG. 10 is a flowchart illustrating an example of a flow of notification processing executed by the information management device according to the embodiment. For example, the information management device 10 uses the authentication data registered in the suspicious person database 34 to perform face recognition as to whether or not the user U in the store is a suspicious person (step S201). Further, the information management device 10 acquires the probability that the user U is a suspicious person by using the model (step S202).

そして、情報管理装置10は、利用者Uが不審者である又は不審者の可能性が所定の閾値よりも高いか否かを判定し(ステップS203)、不審者である確度が所定の閾値よりも高いと判定した場合は(ステップS204:Yes)、不審者の位置を特定し(ステップS204)、特定した位置に対応する照明機器を、不審者の確度に応じた態様に制御し(ステップS205)、処理を終了する。一方、情報管理装置10は、不審者の確度が所定の閾値よりも低いと判定した場合は(ステップS204:No)、そのまま処理を終了する。 Then, the information management device 10 determines whether or not the user U is a suspicious person or the possibility of being a suspicious person is higher than a predetermined threshold value (step S203), and the probability of being a suspicious person is higher than the predetermined threshold value. If it is determined that the value is high (step S204: Yes), the position of the suspicious person is specified (step S204), and the lighting device corresponding to the specified position is controlled in an manner according to the accuracy of the suspicious person (step S205). ), End the process. On the other hand, when the information management device 10 determines that the accuracy of the suspicious person is lower than the predetermined threshold value (step S204: No), the information management device 10 ends the process as it is.

(実施形態のバリエーションについて)
なお、上述した情報管理システム1においては、情報管理装置10は、店舗における利用者Uが不審者であるか否かを判定し、不審者であると判定した場合は、照明機器の照明態様を変更することで、不審者の存在や位置を報知した。しかしながら、実施形態は、これに限定されるものではない。以下、情報管理装置10が実行する処理のバリエーションについて説明する。
(Variations of embodiments)
In the information management system 1 described above, the information management device 10 determines whether or not the user U in the store is a suspicious person, and if it is determined that the user U is a suspicious person, the lighting mode of the lighting device is determined. By changing it, the existence and position of the suspicious person were notified. However, the embodiment is not limited to this. Hereinafter, variations of the processing executed by the information management device 10 will be described.

(物流関連施設への適用)
上述した例では、情報管理装置10は、店舗における不審者の検知を行った。ここで、情報管理装置10は、倉庫等といった物流関連施設等において、所定の条件を満たす利用者の検知等を行ってもよい。例えば、情報管理装置10は、物流関連施設内において、荷物を乱雑に扱う利用者や、業務を不当に行っていない利用者の検知を行い、これらの利用者を検知した場合には、照明機器LDの照明態様を制御することで、管理者等への報知を行ってもよく、利用者自身に対する警告を行ってもよい。
(Application to logistics-related facilities)
In the above example, the information management device 10 detects a suspicious person in the store. Here, the information management device 10 may detect a user who satisfies a predetermined condition in a distribution-related facility such as a warehouse. For example, the information management device 10 detects users who handle luggage in a messy manner or users who are not improperly performing business in a logistics-related facility, and when these users are detected, a lighting device By controlling the lighting mode of the LD, a notification may be given to the administrator or the like, or a warning may be given to the user himself / herself.

また、情報管理装置10は、所定の施設内において所定の利用者を検知し、検知した利用者に対し、報知対象となる所定の情報に対応する位置の照明機器の照明態様を変化させることで、所定の情報を報知してもよい。例えば、情報管理装置10は、荷物のピックアップを行う利用者を検知し、倉庫内における照明機器DLの照明態様を変化させることで、検知した利用者がピックアップを行う荷物が配置された位置を検知した利用者に対して報知してもよい。 Further, the information management device 10 detects a predetermined user in a predetermined facility, and changes the lighting mode of the lighting device at a position corresponding to the predetermined information to be notified to the detected user. , Predetermined information may be notified. For example, the information management device 10 detects a user who picks up the cargo and changes the lighting mode of the lighting device DL in the warehouse to detect the position where the detected user picks up the cargo. You may notify the user who has done so.

例えば、図11は、実施形態に係る情報管理装置が実行するバリエーションの一例を示す図である。図11に示す例では、利用者U01は、第1の周波数で点滅する照明を視覚化するウェアラブルデバイスG01を装着し、利用者U02は、第2の周波数で点滅する照明を視覚化するウェアラブルデバイスG02を装着している。また、図11に示す例では、利用者U01がピックアップする荷物が位置A1に配置されており、利用者U02がピックアップする荷物が位置B1に配置されているものとする。また、図11に示す例では、倉庫内に、照明機器SL01〜SL04が配置されているものとする。 For example, FIG. 11 is a diagram showing an example of variations executed by the information management device according to the embodiment. In the example shown in FIG. 11, the user U01 wears a wearable device G01 that visualizes the blinking illumination at the first frequency, and the user U02 is a wearable device that visualizes the blinking illumination at the second frequency. I am wearing G02. Further, in the example shown in FIG. 11, it is assumed that the luggage picked up by the user U01 is arranged at the position A1 and the luggage picked up by the user U02 is arranged at the position B1. Further, in the example shown in FIG. 11, it is assumed that the lighting devices SL01 to SL04 are arranged in the warehouse.

このような場合、情報管理装置10は、各照明機器SL01〜SL04が撮影した画像を用いて、利用者U01を検出する。そして、情報管理装置10は、利用者U01を検出した場合、すなわち、利用者U01が倉庫内にいる旨を特定した場合は、荷物が配置された位置を示すデータベース等を参照し、利用者U01がピックアップする荷物A1の位置を特定する。そして、情報管理装置10は、特定した位置を照明する照明機器SL01を第1の周波数で点滅させる。また、情報管理装置10は、利用者U02を検出した場合は、利用者U02がピックアップする荷物A2の位置を特定する。そして、情報管理装置10は、特定した位置を照明する照明機器SL04を第2の周波数で点滅させる。 In such a case, the information management device 10 detects the user U01 using the images taken by the lighting devices SL01 to SL04. Then, when the information management device 10 detects the user U01, that is, when it is specified that the user U01 is in the warehouse, the information management device 10 refers to a database or the like indicating the position where the luggage is arranged, and refers to the user U01. Identify the position of the luggage A1 to be picked up by. Then, the information management device 10 blinks the lighting device SL01 that illuminates the specified position at the first frequency. Further, when the information management device 10 detects the user U02, the information management device 10 specifies the position of the luggage A2 picked up by the user U02. Then, the information management device 10 blinks the lighting device SL04 that illuminates the specified position at the second frequency.

このような照明態様で倉庫内の照明を行った場合、利用者U01には、照明機器SL01によって照明される範囲AL1が視覚化される一方で、他の範囲については、通常の照明態様で照明が行われているように見える。この結果、利用者U01は、照明機器SL01によって照明される範囲AL1にピックアップすべき荷物が配置されている旨を識別するとともに、各照明機器SL02〜SL04によって通常の照明が行われた倉庫内を移動することができる。 When the warehouse is illuminated in such an illumination mode, the user U01 visualizes the range AL1 illuminated by the lighting device SL01, while the other ranges are illuminated in the normal illumination mode. Seems to be taking place. As a result, the user U01 identifies that the luggage to be picked up is arranged in the range AL1 illuminated by the lighting device SL01, and at the same time, walks through the warehouse where the normal lighting is performed by the lighting devices SL02 to SL04. You can move.

また、利用者U02には、照明機器SL04によって照明される範囲BL1が視覚化される一方で、他の範囲については、通常の照明態様で照明が行われているように見える。この結果、利用者U02は、照明機器SL04によって照明される範囲BL1にピックアップすべき荷物が配置されている旨を識別するとともに、各照明機器SL01〜SL03によって通常の照明が行われた倉庫内を移動することができる。 Further, the user U02 visualizes the range BL1 illuminated by the lighting device SL04, while the other ranges appear to be illuminated in the normal lighting mode. As a result, the user U02 identifies that the luggage to be picked up is arranged in the range BL1 illuminated by the lighting device SL04, and at the same time, walks through the warehouse where the normal lighting is performed by the lighting devices SL01 to SL03. You can move.

なお、情報管理装置10は、例えば、利用者U01から位置A1までの移動経路を特定し、移動経路を照明する照明機器LDの照明態様を変更することで、利用者U01を位置A1まで誘導してもよい。例えば、情報管理装置10は、特定した移動経路を照明する全ての照明機器LDを第1の周波数で点滅させることで、移動経路を視覚的に報知してもよい。 The information management device 10 guides the user U01 to the position A1 by, for example, specifying the movement route from the user U01 to the position A1 and changing the lighting mode of the lighting device LD that illuminates the movement route. You may. For example, the information management device 10 may visually notify the movement path by blinking all the lighting devices LD that illuminate the specified movement path at the first frequency.

また、情報管理装置10は、利用者U01の位置を検知し、検知した位置に応じて、移動経路上における照明機器LDの照明態様を順次変更することで移動経路を視覚的に報知してもよい。例えば、情報管理装置10は、利用者U01の近傍に設置された照明機器LDのうち、利用者U01の進行方向に設置された照明機器LDの照明態様のみを変更することで、利用者U01を順次誘導してもよい。 Further, the information management device 10 may detect the position of the user U01 and visually notify the movement path by sequentially changing the lighting mode of the lighting device LD on the movement path according to the detected position. Good. For example, the information management device 10 can change the lighting mode of the lighting device LD installed in the traveling direction of the user U01 among the lighting device LDs installed in the vicinity of the user U01 to change the lighting mode of the user U01. It may be guided sequentially.

(任意の施設への適用)
上述した管理処理によりクラウドサーバCS上にアップロードされた非個人情報は、非個人情報を取得した施設とは異なる施設において利用される情報であってもよい。例えば、ベンダサーバBSは、様々な施設で撮像された画像から取得された動作情報をクラウドサーバCSから取得し、取得した動作情報を用いて、各施設において不審者を検出する際に用いられるモデルの生成を行ってもよい。
(Application to any facility)
The non-personal information uploaded on the cloud server CS by the above-mentioned management process may be information used in a facility different from the facility from which the non-personal information was acquired. For example, the vendor server BS acquires operation information acquired from images taken at various facilities from the cloud server CS, and uses the acquired operation information to detect a suspicious person at each facility. May be generated.

(照明態様)
なお、上述した処理において、各種情報を報知するために情報管理装置10が用いた照明態様は、あくまで一例であり、任意の照明態様を用いた報知が採用可能である。例えば、情報管理装置10は、店舗を利用する利用者が不審者となる確度が所定の閾値を超える場合は、赤色の光を出力する等、その利用者が認識可能な態様で照明機器LDを制御してもよい。
(Lighting mode)
In the above-described processing, the lighting mode used by the information management device 10 to notify various information is only an example, and notification using any lighting mode can be adopted. For example, the information management device 10 outputs the lighting device LD in a manner recognizable by the user, such as outputting red light when the probability that the user using the store becomes a suspicious person exceeds a predetermined threshold value. You may control it.

(その他)
なお、上述した情報管理装置10は、CPUとRAM、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュメモリなどを有するコンピュータが、所定の記録媒体に登録された制御プログラムを読み取り、読み取った制御プログラムを実行することにより、実現されてもよい。
(Other)
The information management device 10 described above is a control program in which a computer having a CPU, RAM, EEPROM (Electrically Erasable Programmable Read-Only Memory), a flash memory, and the like reads and reads a control program registered in a predetermined recording medium. It may be realized by executing.

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。また、これらの実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Although the embodiments of the present invention have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments are included in the scope of the invention described in the claims and the equivalent scope thereof, as are included in the scope and gist of the invention. Further, these embodiments can be appropriately combined as long as the processing contents do not contradict each other.

1 情報管理システム
10 情報管理装置
21 外部ネットワーク通信部
22 内部ネットワーク通信部
30 記憶部
31 外部情報データベース
32 内部情報データベース
33 照明機器データベース
34 不審者データベース
40 制御部
41 取得部
42 推定部
43 管理部
44 出力部
45 検知部
46 報知部
ST 店舗端末
CS クラウドサーバ
SC ショップセンタサーバ
BS ベンダサーバ
LD、SL01〜SL04 照明機器
LB01 筐体
L01 照明部
C01 撮影部
LM01 報知ランプ
EL01 非常灯
1 Information management system 10 Information management device 21 External network communication unit 22 Internal network communication unit 30 Storage unit 31 External information database 32 Internal information database 33 Lighting equipment database 34 Suspicious person database 40 Control unit 41 Acquisition unit 42 Estimating unit 43 Management unit 44 Output unit 45 Detection unit 46 Notification unit ST Store terminal CS Cloud server SC Shop center server BS Vendor server LD, SL01 to SL04 Lighting equipment LB01 Housing L01 Lighting unit C01 Imaging unit LM01 Notification lamp EL01 Emergency light

Claims (5)

撮像部で撮影された画像から所定の施設の利用者を検出する検知部と;
前記利用者に関連付けられた物が配置された位置を照明する照明機器の照明態様を変化させることで、前記利用者に前記物の位置を報知する報知部と;
を備える報知装置。
With a detection unit that detects users of a predetermined facility from images taken by the imaging unit;
A notification unit that notifies the user of the position of the object by changing the lighting mode of the lighting device that illuminates the position where the object associated with the user is arranged;
A notification device including.
撮像部で撮影された画像から所定の施設の利用者を検出する検知部と;
前記利用者から、前記利用者に関連付けられた物が配置された位置までの移動経路を照明する照明機器の照明態様を変化させることで、前記利用者に前記位置までの移動経路を報知する報知部と;
を備える報知装置。
With a detection unit that detects users of a predetermined facility from images taken by the imaging unit;
Notification that notifies the user of the movement path to the position by changing the lighting mode of the lighting device that illuminates the movement path from the user to the position where the object associated with the user is arranged. With the department;
A notification device including.
前記検知部が前記利用者を検知した位置に応じて、前記移動経路上における前記照明機器の照明態様を順次変化させることを特徴とする請求項2記載の報知装置。 The notification device according to claim 2, wherein the lighting mode of the lighting device on the movement path is sequentially changed according to the position where the detection unit detects the user. 前記報知部は、前記物が配置された位置を示す情報が記憶されたデータベースを有し、前記データベースを参照することで前記物が配置された位置を特定することを特徴とする請求項1〜3いずれか1つ記載の報知装置。 The notification unit has a database in which information indicating a position where the object is arranged is stored, and the position where the object is arranged is specified by referring to the database. 3 The notification device according to any one. 前記所定の施設内に設置された照明機器と;
請求項1〜4のうちいずれか1つに記載の報知装置と;
を備えることを特徴とする報知システム。
With the lighting equipment installed in the designated facility;
With the notification device according to any one of claims 1 to 4.
A notification system characterized by being equipped with.
JP2020187794A 2020-11-11 2020-11-11 Notification device and notification system Active JP7153204B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020187794A JP7153204B2 (en) 2020-11-11 2020-11-11 Notification device and notification system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020187794A JP7153204B2 (en) 2020-11-11 2020-11-11 Notification device and notification system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017006867A Division JP6794843B2 (en) 2017-01-18 2017-01-18 Notification device, notification system and notification method

Publications (2)

Publication Number Publication Date
JP2021043996A true JP2021043996A (en) 2021-03-18
JP7153204B2 JP7153204B2 (en) 2022-10-14

Family

ID=74862415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020187794A Active JP7153204B2 (en) 2020-11-11 2020-11-11 Notification device and notification system

Country Status (1)

Country Link
JP (1) JP7153204B2 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006001237A1 (en) * 2004-06-25 2006-01-05 Nec Corporation Article position management system, article position management method, terminal device, server, and article position management program
JP2011028981A (en) * 2009-07-24 2011-02-10 Panasonic Electric Works Co Ltd Luminaire with built-in camera
JP2011154993A (en) * 2009-12-28 2011-08-11 Suzuki Engineering:Kk Led illumination device
US8423431B1 (en) * 2007-12-20 2013-04-16 Amazon Technologies, Inc. Light emission guidance
WO2015019437A1 (en) * 2013-08-07 2015-02-12 株式会社日立製作所 Picking display device and picking display system
US9171278B1 (en) * 2013-09-25 2015-10-27 Amazon Technologies, Inc. Item illumination based on image recognition
JP2016162608A (en) * 2015-03-03 2016-09-05 株式会社 トステック Luminaire for security
JP2016533999A (en) * 2013-09-23 2016-11-04 アマゾン テクノロジーズ インコーポレイテッド Transportation between facilities in inventory management system and fulfillment system
JP2017010725A (en) * 2015-06-19 2017-01-12 株式会社ゲート・オブ・ライティング&ビジョン Led illumination system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006001237A1 (en) * 2004-06-25 2006-01-05 Nec Corporation Article position management system, article position management method, terminal device, server, and article position management program
US8423431B1 (en) * 2007-12-20 2013-04-16 Amazon Technologies, Inc. Light emission guidance
JP2011028981A (en) * 2009-07-24 2011-02-10 Panasonic Electric Works Co Ltd Luminaire with built-in camera
JP2011154993A (en) * 2009-12-28 2011-08-11 Suzuki Engineering:Kk Led illumination device
WO2015019437A1 (en) * 2013-08-07 2015-02-12 株式会社日立製作所 Picking display device and picking display system
JP2016533999A (en) * 2013-09-23 2016-11-04 アマゾン テクノロジーズ インコーポレイテッド Transportation between facilities in inventory management system and fulfillment system
US9171278B1 (en) * 2013-09-25 2015-10-27 Amazon Technologies, Inc. Item illumination based on image recognition
JP2016162608A (en) * 2015-03-03 2016-09-05 株式会社 トステック Luminaire for security
JP2017010725A (en) * 2015-06-19 2017-01-12 株式会社ゲート・オブ・ライティング&ビジョン Led illumination system

Also Published As

Publication number Publication date
JP7153204B2 (en) 2022-10-14

Similar Documents

Publication Publication Date Title
JP6864847B2 (en) Management equipment, management system and management method
JP7229662B2 (en) How to issue alerts in a video surveillance system
US20200013273A1 (en) Event entity monitoring network and method
US8737688B2 (en) Targeted content acquisition using image analysis
JP6794843B2 (en) Notification device, notification system and notification method
US8644614B2 (en) Image processing apparatus, image processing method, and storage medium
JP2018160219A (en) Moving route prediction device and method for predicting moving route
JP2015070401A (en) Image processing apparatus, image processing method, and image processing program
US11429820B2 (en) Methods for inter-camera recognition of individuals and their properties
TWI797411B (en) information processing device
KR20230004421A (en) System for detecting abnormal behavior based on artificial intelligence
KR20200105558A (en) A Computer Vision for the Prediction System of Livestock Diseases and Their Methods
US20190012535A1 (en) Trail camera image recognition system
KR101969262B1 (en) System and method for managing warehouse based on internet of things
JP7153204B2 (en) Notification device and notification system
JP2017167800A (en) Monitoring system, information processor, monitoring method, and monitoring program
CN111611966A (en) Target person detection method, device, equipment and storage medium
JP7146416B2 (en) Information processing device, information processing system, information processing method, and program
GB2589080A (en) Surveillance system
WO2022003852A1 (en) Authentication control device, authentication control system, authentication control method, and non-transitory computer readable medium
WO2014199173A1 (en) Car park monitoring system and method
CN115223076A (en) Behavior warning method, behavior warning device, behavior warning equipment and storage medium
KR101744184B1 (en) System and method for reporting automatically using by face recognition
KR20160100465A (en) The real-time notifications service method and system for the opening and closing shops
ES2817589T3 (en) Procedure and system for processing personal optical and / or acoustic signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220608

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220615

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220914

R151 Written notification of patent or utility model registration

Ref document number: 7153204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151