以下、図面を参照して、実施形態に係る報知装置、報知システムおよび報知方法を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する報知装置、報知システムおよび報知方法は、一例を示すに過ぎず、実施形態を限定するものではない。例えば、以下の実施形態では、報知装置、報知システムおよび報知方法は、任意のシステムに適用することができる。なお、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
以下の実施形態に係る報知装置は、例えば、情報管理システム1が有する情報管理装置10である。情報管理装置10は、所定の施設内で撮影された画像に基づき、所定の施設内の利用者の属性を検出して特定する検知部45と、検知部45による検知結果に基づき、所定の施設を照明する照明機器LD(例えば、照明機器SL01〜SL04、非常灯EL01)の照明態様を変化させることで所定の情報を報知する報知部46とを備える。
また、以下の実施形態に係る情報管理装置10は、利用者のうち、属性を判断するための所定の要件を満たす利用者を検知する。そして、情報管理装置10は、所定の要件を満たす利用者が検知された場合は、所定の要件を満たす利用者の存在を報知する。なお、利用者の属性とは、画像から得られる情報により正常者や不審者等の検出対象者の良否判断に関する種別であったり、複数の利用者から特定の利用者を検出、判別することによる利用者特定情報等を示すものである。要するに、単に画像によって人の存在を検出することではなく、画像によって得られた情報を利用して人を任意種別に選別して種類分けした情報となるような処理を施すことを示すものである。
また、以下の実施形態に係る情報管理装置10は、利用者のうち、所定の要件を満たす利用者の位置を検知し、所定の施設内に配置された照明機器LDのうち、検知された位置と対応する位置の照明機器LDの照明態様を変化させる。
また、以下の実施形態に係る情報管理装置10は、検知された位置の変化に応じて、照明態様を変化させる照明機器LDを変更する。
また、以下の実施形態に係る情報管理装置10は、利用者が所定の要件を満たす確度を取得し、照明機器DLの照明態様を、取得された確度に応じた照明態様に変化させる。
また、以下の実施形態に係る情報管理装置10は、所定の要件を満たす利用者が識別困難な態様で、照明機器LDの照明態様を変化させる。
また、以下の実施形態に係る情報管理装置10は、照明機器LDが光を出力する周波数、または、照明機器LDが出力する光の色温度を変化させる。
また、以下の実施形態に係る情報管理装置10は、照明機器LDのうち、系統電源からの電力が停止した際に点灯する照明機器(例えば、非常灯EL01)を点灯させることで、所定の情報を報知する。
また、以下の実施形態に係る情報管理装置10は、所定の施設内に配置された照明機器LDのうち、所定の情報に対応する位置の照明機器LDの照明態様を変化させる。
また、以下の実施形態に係る報知システム(例えば、情報管理システム1)は、所定の施設内に設置された照明機器LDと、上述した情報管理装置10とを備える。
[実施形態]
(情報管理システムの概要)
以下、管理装置の一例である情報管理装置10を有する情報管理システム1の一例について説明する。図1は、実施形態に係る情報管理システムの一例を示す図である。図1に示す例では、情報管理システム1は、情報管理装置10、複数の照明機器LD(照明機器SL01、非常灯EL01等)、店舗端末ST、クラウドサーバCS、およびベンダサーバBS、ショップセンタサーバSCを有する。なお、情報管理システム1に接続する、照明機器LD、店舗端末ST、クラウドサーバCS、およびベンダサーバBS、ショップセンタサーバSCの種別や数は、任意に設定できる。
ここで、照明機器LD、情報管理装置10および店舗端末STは、商品の販売を行う店舗等といった所定の施設内に設置されており、施設内におけるLAN(Local Area Network)等のネットワーク(以下「内部ネットワーク」と総称する。)に接続されているものとする。また、クラウドサーバCS、ベンダサーバBS、およびショップセンタサーバSCは、所定の施設外に設置されており、所定の施設外におけるLANやインターネット等といったネットワーク(以下、「外部ネットワーク」と総称する。)に接続されているものとする。なお、以下の説明では、内部ネットワークが配置された所定の施設を「店舗」と総称する。
また、以下の説明では、情報管理装置10は、ゲートウェイの機能を有し、外部ネットワークに接続されたクラウドサーバCSとの間で通信する機能を有するものとするが、実施形態は、これに限定されるものではない。例えば、情報管理システム1は、所定の施設内にゲートウェイ装置を設置し、ゲートウェイ装置を介して、情報管理装置10とクラウドサーバCSとの間の通信を中継させてもい。
照明機器LDは、例えばLED(Light Emitting Diode)等の半導体発光素子、蛍光灯、又は電球を光源とし、所定の施設内に設置され、所定の施設内を所定の照明態様で照明可能な照明機器である。例えば、照明機器SL01は、天井に設置され、系統電源から供給される電力を用いて光源を点灯させることで、施設内を照明する照明機器である。また、非常灯EL01は、各種の蓄電池を有し、地震発生時や火事発生時等といった非常時において系統電源からの電力供給が停止すると、蓄電池に充電された電力を用いて点灯する非常灯である。なお、照明機器LDは、シーリングライト、ベースライト、若しくはダウンライトといった任意の照明機器が採用可能である。
ここで、照明機器LDは、情報管理装置10からの制御に従って、様々な態様で照明を行うことができるものとする。例えば、照明機器LDは、DMX規格の信号やPWM(Pulse Width Modulation)信号等、任意の制御規格に則った信号を情報管理装置10から受付けた場合は、受付けた信号が示す任意の照明態様で、所定の施設内を照明することができる。
より具体的な例を挙げると、照明機器SL01は、情報管理装置10からの制御に従い、人の目には解らない程度に高い周波数で光源を点滅させる機能や、赤色、青色、緑色といった原色の光をそれぞれ個別に制御することで、出力する光の色を制御可能な照明機器である。また、非常灯EL01は、情報管理装置10からの制御に従い、任意のタイミングで光源を点灯させることが可能な照明機器である。
また、照明機器SL01は、所定の施設内を照明する照明部L01と、所定の施設内を撮影する撮影部C01とを有する照明機器である。例えば、図2は、実施形態に係る照明機器の一例を示す図である。図2に示す例では、照明機器SL01は、筐体LB01、照明部L01、撮影部C01、および報知ランプLM01を有する。
照明部L01は、照明機器SL01が有する光源であり、例えば、LED等の半導体発光素子である。撮影部C01は、照明機器SL01が設置された位置から所定の範囲を撮影するための撮影装置であり、例えば、各種の撮像素子を用いて撮影を行うカメラである。なお、撮影部C01は、静止画像のみならず、動画像の撮影を行ってもよい。
報知ランプLM01は、情報管理装置10からの制御に従って、所定の色彩の光を出力可能なランプであり、例えば、緑、黄色、赤等といった色彩の光を出力することで、各種の報知を行うことができる。筐体LB01は、照明機器SL01の筐体であり、内部に照明部L01、撮影部C01、および報知ランプLM01の制御回路や電源回路、情報管理装置10との間で通信を行うための通信回路が配置されている。
このように、照明機器SL01は、照明機器としての機能と、カメラとしての機能を有する。このような照明機器SL01を店舗内に設置した場合、監視カメラの設置を不要とすることができるので、監視カメラの設置による店舗内の威圧感を軽減できる。
図1に戻り、説明を続ける。店舗端末STは、店舗内で利用される端末装置であり、スマートフォンやタブレット端末、PC(Personal Computer)等といった情報処理装置により実現される。例えば、店舗端末STは、店舗の店員S01が利用する端末装置であり、情報管理装置10から報知される各種の情報を出力する。
情報管理装置10は、PCやサーバ装置等といった情報処理装置であり、店舗内に設置された情報処理装置である。例えば、情報管理装置10は、照明機器LDが取得した画像を解析し、撮影された利用者に関する各種の情報を推定する。そして、情報管理装置10は、推定結果に基づいて、店舗内における不審者の検出を行い、不審者を検出した場合は、店舗端末STに不審者の入店等を報知することで、万引き等といった行為を未然に防止する。
より具体的な例を挙げると、情報管理装置10は、万引きの常習犯の顔認証を行うデータを保持し、照明機器LDが取得した画像に撮像された利用者の顔認証を実行する。そして、情報管理装置10は、万引きの常習犯の顔が認証された場合は、万引きの常習犯の顔写真や、各種情報を店舗端末STに表示させる。
また、情報管理装置10は、照明機器LDが撮影した画像に基づいて、店舗内における利用者U01、U02の行動を解析し、解析結果に基づいて、不審行動を行う利用者を検出する。例えば、情報管理装置10は、挙動不審な利用者や、商品を鞄に入れた利用者等、万引きの常習犯が行いやすい行動を検出する。そして、情報管理装置10は、不審行動を行う利用者を検出した場合は、かかる旨や利用者を示す情報を店舗端末STに出力する。
クラウドサーバCSは、外部ネットワークに設置され、情報管理装置10に各種クラウド関連サービスを提供する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。ベンダサーバBSは、情報管理システム1を店舗等に提供する提供者、すなわち、ベンダが利用する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。また、ショップセンタサーバSCは、情報管理装置10が設置された店舗の本部等が利用する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。
(管理処理の一例)
ここで、照明機器LDが撮影した画像から店舗内における利用者U01、U02(以下、「利用者U」と総称する場合がある。)の動作を解析し、解析結果を店舗設計や不審者の検出に利用したいという要望が考えられる。例えば、不審な行動を行わなかった利用者Uの動作を学習データとして収集し、学習データとして収集した動作の特徴をDNN(Deep Neural Network)やSVM(Support Vector Machine)といったモデルに学習させることで、利用者Uの動作から不審者であるか否かを判定するモデルの生成や更新を行うといった要望が考えられる。また、このような要望を満たすため、照明機器LDが撮影した画像や、画像から推定した各種の情報をクラウドサーバCSにアップロードし、アップロードした情報に基づいてモデルの生成や更新を行うといった手法も考えられる。
しかしながら、照明機器LDが撮影した画像や、画像から特定した各種の情報には、個人を特定可能な情報、すなわち、個人情報が含まれる場合がある。例えば、照明機器LDが撮影した画像や、画像から推定した各種の情報には、不審者の検出を行うため、利用者Uの顔が撮影されている恐れがある。このような個人情報をクラウドサーバCS上にアップロードするのは、個人情報を適切に保護できない恐れがある。
そこで、情報管理システム1は、以下の処理を実行する。まず、照明機器LDは、店舗内を撮像することで、店舗の利用者Uを撮影する(ステップS1)。このような場合、情報管理装置10は、照明機器LDによって撮影された画像を取得する(ステップS2)。そして、情報管理装置10は、画像の解析を行い、利用者Uの各種情報を推定する(ステップS3)。
例えば、情報管理装置10は、照明機器LDが撮影した画像から、利用者Uの顔や、利用者Uの顔が撮像された画像の特徴量等といった利用者Uの顔を示す情報を生成する。また、情報管理装置10は、照明機器LDが撮影した画像から、利用者Uの動作を特定し、特定した動作を示す情報(以下、「動作情報」と記載する場合がある。)を生成する。また、情報管理装置10は、照明機器LDが撮影した画像から、利用者Uの性別、年代、身長等を示す情報、不審者であると判定されたか否かを示す情報等を生成する。
そして、情報管理装置10は、推定結果を個人情報と他の情報とに分類する(ステップS4)。例えば、情報管理装置10は、利用者Uの顔写真や、利用者Uの顔が撮像された画像の特徴量等といった利用者Uの顔を示す情報、または、利用者Uの名前を示す情報を個人情報に分類する。また、情報管理装置10は、動作情報や利用者Uの性別、年代、身長等を示す情報、または不審者であると判定されたか否かを示す情報を個人情報以外の情報(以下、「非個人情報」と記載する場合がある。)に分類する。そして、情報管理装置10は、個人情報を内部ネットワーク上で管理する一方で、個人情報以外の情報を外部ネットワーク上のクラウドサーバCSへと出力する(ステップS5)。
一方、ショップセンタサーバSCは、クラウドサーバCSから、非個人情報を取得する(ステップS6)。そして、ショップセンタサーバSCは、非個人情報を用いて統計的なレポートや店舗設計を実施することができる(ステップS7)。例えば、ショップセンタサーバSCは、店舗を利用する利用者Uの性別や年代の統計を示す各種のレポートを作成してもよい。また、ショップセンタサーバSCは、動作情報に基づいて、利用者Uの動線に基づく店舗設計等を行ってもよい。
また、ベンダサーバBSは、クラウドサーバCSから、非個人情報を取得する(ステップS8)。そして、ベンダサーバBSは、不審者を検出するために情報管理装置10が実行するシステムソフトウェアのアップデートを実行する(ステップS9)。例えば、ベンダサーバBSは、非個人情報に含まれる動作情報のうち、不審者であると判定されなかった利用者Uの行動を示す動作情報を抽出する。そして、ベンダサーバBSは、抽出した動作情報を学習データとし、利用者Uが不審者であるか否かを判定するためのモデルを生成する。
また、ベンダサーバBSは、生成したモデルを用いて不審者を検出するようにシステムソフトウェアをアップデートし、アップデートしたシステムソフトウェアをクラウドサーバCS上に登録する(ステップS10)。このような場合、クラウドサーバCSは、アップデートされたシステムソフトウェアを情報管理装置10に反映させる(ステップS11)。この結果、情報管理装置10は、アップデートされたシステムソフトウェアを用いて、不審者の検知を行う(ステップS12)。
例えば、情報管理装置10は、照明機器LDが撮影した画像から、店内の利用者Uの動きを特定し、ベンダサーバBSにより新たに生成されたモデルを用いて、特定した動きが不審者の動きであるか否かを判定する。そして、情報管理装置10は、特定した動きが不審者の動きであると判定した場合は、利用者Uを不審者として検知する。
また、情報管理装置10は、内部ネットワークで管理した個人情報を用いて、予め登録された不審者の検知を行う。例えば、情報管理装置10は、万引きの常習犯等の顔認証を行うための認証データを内部で保持する。また、情報管理装置10は、照明機器LDが撮像した画像から利用者Uの顔を特定する。そして、情報管理装置10は、認証データを用いて利用者Uの顔認証を行い、不審者の検知を行う。
このように、情報管理装置10は、個人情報を内部ネットワーク上で管理しつつ、非個人情報を外部ネットワーク上に出力する。このため、情報管理装置10は、個人情報を保護しつつ、店舗内における利用者Uが不審者であるか否かの判定に利用可能な情報(例えば、動作情報)を出力することができる。
(報知処理の一例)
ここで、情報管理装置10は、不審者を検知した場合は、店舗端末STを介して、不審者の存在を店員S01に通知する(ステップS13)。しかしながら、このような通知態様では、店員S01が店舗端末STを確認し続ける必要がある。
そこで、情報管理装置10は、不審者の近傍にある照明機器を所定の照明態様に制御することで(ステップS14)、不審者の存在や不審者がいる店舗内の位置を店員S01に報知する(ステップS15)。
例えば、情報管理装置10は、不審な行動を行った利用者Uや、顔認証により不審者であると判定された利用者U等、特定の要件を満たす利用者Uを検知する。そして、情報管理装置10は、照明機器LDの照明態様を変化させることで、検知した利用者Uの存在や利用者Uの位置を店員S01に報知する。
例えば、情報管理装置10は、照明機器SL01が出力する光の色温度を変更することで、不審者の存在を報知してもよい。例えば、情報管理装置10は、照明機器SL01が出力する光の色を昼白色から赤や黄色といった色に変更するよう、照明機器SL01を制御してもよい。また、例えば、情報管理装置10は、報知ランプLM01が点灯する色を変更することで、不審者の存在を報知してもよい。
また、情報管理装置10は、照明部L01を所定の周波数よりも高い周波数で点滅させるように、照明機器SL01を制御してもよい。すなわち、情報管理装置10は、店舗の利用者Uが識別困難な程度に高い周波数で照明部L01を点滅させることで、不審者が識別困難な態様で、不審者の報知を行ってもよい。このような場合、店員S01は、店舗端末STに高周波で点滅する光を検出するアプリケーションを実行させることで、不審者の報知を識別することができる。また、店員S01は、例えば、高周波で点滅する光を検出するウェアラブルデバイス等を用いて、照明機器SL01による報知を識別してもよい。
また、通常時においては、照明機器SL01が点灯しているため、非常灯EL01が点灯したとしても、不審者に気づかれる可能性は低いと考えられる。そこで、情報管理装置10は、系統電源からの電力が停止した際に点灯する照明機器LD、すなわち、非常灯EL01を点灯させることで、不審者の存在を報知してもよい。
また、情報管理装置10は、所定の要件を満たす利用者Uの位置を検知し、店舗に配置された照明機器LDのうち、検知された位置と対応する位置の照明機器LDの照明態様を変化させてもよい。また、情報管理装置10は、検知された位置の変化に応じて、照明態様を変化させる照明機器を変更してもよい。
例えば、情報管理装置10は、画像の解析結果から不審者と判定された利用者Uの位置を特定する。そして、情報管理装置10は、特定した位置に設置された照明機器LDの照明態様を変化させてもよい。このような処理の結果、情報管理装置10は、例えば、不審者の移動に伴い、照明態様を変化させる照明機器を変化させることで、不審者の位置を店員S01に報知することができる。
ここで、利用者Uの行動が不審な行動である確度、すなわち、利用者Uが不審者である確度を出力するモデルにより、不審者の検知を行うといった手法が考えられる。そこで、情報管理装置10は、利用者が不審者である確度に応じた照明態様で照明機器LDを制御してもよい。
例えば、情報管理装置10は、利用者U01の顔が予め登録された万引き常習犯の顔写真と一致した場合や、利用者U01の行動が不審な行動である確度が第1の閾値を超える場合は、利用者U01がいる位置の照明機器SL01を赤色で点灯させてもよく、第1の周波数で点滅させてもよい。また、情報管理装置10は、利用者U01の行動が不審な行動である確度が第1の閾値以下、第2の閾値以上となる場合は、利用者U01がいる位置の照明機器SL01を黄色で点灯させてもよく、第1の周波数よりも高い第2の周波数(すなわち、より識別しづらい周波数)で点滅させてもよい。また、情報管理装置10は、利用者U01の行動が不審な行動である確度が第2の閾値以下となる場合は、照明機器SL01を通常の照明態様で点灯させてもよい。
このように、情報管理装置10は、店舗内で撮影された画像に基づき、店舗の利用者を検知する。そして、情報管理装置10は、検知結果に基づき、店舗を照明する照明機器LDの照明態様を変化させることで所定の情報を報知する。例えば、情報管理装置10は、不審者となる利用者Uを検知した場合は、照明機器LDの照明態様を変化させることで不審者の存在や場所を店員S01に報知する。このため、情報管理装置10は、店員S01に店舗端末STを確認させ続けなくとも、容易に各種の情報を報知することができる。
(機能構成の一例)
次に、図3を用いて、情報管理装置10が有する機能構成の一例について説明する。図3は、実施形態に係る情報管理装置の機能構成の一例を示す図である。図3に示すように、情報管理装置10は、外部ネットワーク通信部21、内部ネットワーク通信部22、記憶部30、および制御部40を有する。
外部ネットワーク通信部21は、例えば、NIC(Network Interface Card)等によって実現される通信装置である。外部ネットワーク通信部21は、インターネット等のネットワークNと有線又は無線で通信され、情報管理装置10とクラウドサーバCS、ベンダサーバBS、およびショップセンタサーバSCとの間の通信を中継する。すなわち、外部ネットワーク通信部21は、外部ネットワーク上の各種情報処理装置との間で通信を行う。
内部ネットワーク通信部22は、例えばNIC等により実現され、店舗内のネットワーク、すなわち、内部ネットワークを介して、情報管理装置10と照明機器LDや店舗端末STとの間の通信を中継する。
記憶部30は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、RAM(Random Access Memory)等の記憶装置により実現される。図3に示すように、記憶部30は、外部情報データベース31、内部情報データベース32、照明機器データベース33、および不審者データベース34(以下、「各データベース31〜34」と総称する場合がある。)を記憶する。
以下、図4〜図7を用いて、各データベース31〜34に登録される情報の一例を説明する。外部情報データベース31は、画像から推定された利用者Uに関する情報のうち、非個人情報となる情報、すなわち、外部ネットワークへと出力される外部情報が登録される。例えば、図4は、実施形態に係る外部情報データベースに登録される情報の一例を示す図である。図4に示す例では、外部情報データベース31には、「データID(Identifier)」、「取得日時」、「動作情報」、「性別情報」、「年代情報」、および「身長情報」といった項目を有する情報が登録される。なお、図4に示す情報以外にも、外部情報データベース31は、画像から推定された利用者Uに関する情報であって、非個人情報となる各種の情報が登録されているものとする。
ここで、「データID」とは、外部情報データベース31に登録される非個人情報を識別するための識別子である。また、「取得日時」とは、非個人情報の取得日時を示す情報である。また、「動作情報」とは、画像から推定した利用者の動きを示す情報であり、例えば、モーションキャプチャのデータである。また、「性別情報」とは、画像から推定した利用者Uの性別を示す情報である。また、「年代情報」とは、画像から推定した利用者Uの年代を示す情報である。また、「身長情報」とは、画像から推定した利用者Uの身長を示す情報である。
例えば、図4に示す例では、データID「データID#1」、取得日時「日時#1」、動作情報「動作情報#1」、性別情報「男性」、年代情報「30代」、および身長情報「170cm〜180cm」といった情報が登録されている。このような情報は、データID「データID#1」が示す非個人情報が、取得日時「日時#1」に取得された情報であり、動作情報「動作情報#1」が示す動作を行った利用者が、身長170cm〜180cmの30代の男性である旨を示す。
内部情報データベース32は、画像から推定された利用者Uに関する情報のうち、個人情報となる情報、すなわち、内部ネットワークで管理される内部情報が登録される。例えば、図5は、実施形態に係る内部情報データベースに登録される情報の一例を示す図である。図5に示す例では、内部情報データベース32には、「データID」、「取得日時」、「画像情報」、「名前」、「対応フラグ」といった項目を有する情報が登録される。なお、図5に示す情報以外にも、内部情報データベース32は、各種の個人情報が登録されているものとする。
ここで、「データID」とは、個人情報を識別するための識別子である。また、「取得日時」とは、個人情報の取得日時を示す情報である。また、「画像情報」とは、画像から抽出した利用者の顔を含む画像であり、例えば、顔認証を行う際に用いる画像である。また、「名前」とは、画像から推定した利用者Uの名前である。また、「対応フラグ」とは、対応する利用者が不審者である際に声掛けを行ったか否かを示す情報である。例えば、不審者であると判定された利用者には、対応フラグ「1」が設定され、不審者ではないと判定された利用者や、不審者であると判定されたが店員によって声掛けが行われた利用者には対応フラグ「0」が設定される。
例えば、図5に示す例では、データID「データID#1」、取得日時「日時#1」、画像情報「画像情報#1」、名前「不明」、対応フラグ「0」といった情報が登録されている。このような情報は、データID「データID#1」が示す個人情報が、取得日時「日時#1」に取得された情報であり、画像情報「画像情報#1」に含まれる顔の利用者の名前が不明であり、不審者と判定されていない、若しくは、不審者と判定されたが声掛けが行われた利用者である旨を示す。
照明機器データベース33は、店舗を照明する照明機器LDの種別や設置位置といった照明機器LDに関する各種の情報が登録されている。例えば、図6は、実施形態に係る照明機器データベースに登録される情報の一例を示す図である。図6に示す例では、照明機器データベース33には、「照明機器ID」、「種別」、「設置位置」、「取得データ」といった項目を有する情報が登録される。なお、図6に示す情報以外にも、照明機器データベース33は、照明機器に関する各種の情報が登録されているものとする。
ここで、「照明機器ID」とは、照明機器を識別するための識別子である。また、「種別」とは、対応付けられた「照明機器ID」が示す照明機器が、撮影部C01を有する照明機器、すなわち、カメラ付き照明機器であるか、通常の照明機器であるか、非常灯であるかを示す情報である。また、「設置位置」とは、照明機器の設置位置を示す情報である。また、「取得データ」とは、カメラ付き照明機器が取得した画像データを示す情報である。
例えば、図6に示す例では、照明機器データベース33には、照明機器ID「照明機器#1」、種別「カメラ付き照明機器」、設置位置「設置位置#1」、取得データ「画像データ#1」が対応付けて登録されている。このような情報は、照明機器ID「照明機器#1」が示す照明機器の種別が「カメラ付き照明機器」であり、「設置位置#1」に設置されており、「画像データ#1」を取得した旨を示す。
不審者データベース34は、不審者の顔認証を行うための認証データが登録されている。例えば、図7は、実施形態に係る不審者データベースに登録される情報の一例を示す図である。図7に示す例では、不審者データベース34には、「不審者ID」、「認証データ」、および「名前」といった情報が登録されている。なお、図7に示す情報以外にも、不審者データベース34には、不審者に関する任意の情報が登録されているものとする。
ここで、「不審者ID」とは、不審者を識別するための識別子である。また、「認証データ」とは、対応付けられた「不審者ID」が示す不審者の顔認証を行う際に用いられる認証用のデータである。また、「名前」とは、対応付けられた「不審者ID」が示す不審者の名前である。
例えば、図7に示す例では、不審者ID「不審者#1」、認証データ「認証データ#1」、および名前「名前#1」が対応付けて登録されている。このような情報は、不審者ID「不審者#1」が示す不審者の名前が「名前#1」であり、顔認証を行う際の認証データが「認証データ#1」である旨を示す。
図3に戻り、説明を続ける。制御部40は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により、情報管理装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。
図3に示すように、制御部40は、取得部41、推定部42、管理部43、出力部44、検知部45、および報知部46を有する。取得部41は、店舗等、所定の施設内に設置された照明機器LDが撮影した画像を取得する。例えば、取得部41は、照明機器データベース33を参照し、カメラ付きの照明機器SL01を特定する。そして、取得部41は、特定した照明機器SL01と内部ネットワークを介して通信し、照明機器SL01が撮像部C01を用いて撮影した画像を取得する。なお、取得部41は、照明機器LDが撮影した画像のみならず、店舗に設置された防犯カメラ等、各種の撮影装置が撮影した画像を取得してもよい。
推定部42は、店舗内で撮像された画像に基づいて、店舗内の利用者Uに関する各種属性等の情報を推定する。例えば、推定部42は、任意の画像解析技術を用いて、店舗内の利用者Uが撮像された範囲を特定する。また、推定部42は、特定した範囲から利用者Uの顔が撮像された範囲を特定し、特定した範囲を顔認証を行うための画像情報として抽出する。また、推定部42は、利用者Uの顔や利用者Uの身体的特徴から、利用者Uの性別や年代を推定する。また、推定部42は、利用者Uの周囲に配置された棚等、所定の基準物との大きさの比較結果から、利用者Uの身長を推定する。また、推定部42は、モーションキャプチャー等の技術を用いて、利用者の動きを示す動作情報を生成する。
また、推定部42は、不審者データベース34に登録された情報を用いて、撮影された利用者Uの顔認証を行う。そして、推定部42は、利用者Uの顔が不審者の顔と一致した場合は、かかる不審者の名前を、利用者Uの名前とする。
また、推定部42は、複数のカメラによって撮影された画像を統合的に用いて、利用者Uの顔認証を行うための画像情報を抽出してもよい。例えば、推定部42は、あるカメラによって撮影された利用者Uの右半分の顔の画像と、他のカメラが撮影した利用者Uの左半分の顔の画像とを合成することで、顔認証を行うための画像を生成してもよい。このような合成に用いる画像は、同時期に撮影された画像であってもよく、異なる時期に撮影された画像であってもよい。すなわち、推定部42は、任意の画像合成技術を用いて、店内で撮影された画像から利用者Uの顔画像の推定を行ってもよい。
管理部43は、推定された情報のうち、個人を特定可能な情報を内部ネットワーク上で管理する。例えば、管理部43は、推定部42によって推定された情報のうち、顔画像や名前等の個人情報と、利用者の行動に関する動作情報や、性別情報、年代情報、身長情報等といった非個人情報とを分類する。そして、管理部43は、個人情報を内部情報データベース32に登録し、非個人情報を外部情報データベース31に登録する。
また、管理部43は、内部情報データベース32に登録された情報に対し、所定のアクセス権を付与する等、任意の情報保持技術を適用することで、内部情報データベース32に登録された情報を、内部ネットワークのみで使用可能な情報に設定する。このような処理の結果、管理部43は、個人情報を内部ネットワーク上で管理することができる。
出力部44は、推定された情報のうち、個人を特定できない情報を外部ネットワーク上の情報処理装置へと出力する。例えば、出力部44は、所定の処理タイミングで、外部情報データベース31に非個人情報として登録された情報を外部ネットワーク上のクラウドサーバCSへと出力する。このようにクラウドサーバCS上へと出力された非個人情報は、店舗内における利用者Uの行動の解析や、利用者Uが不審者であるか否かを判定するためのモデルの生成等に利用されることとなる。
検知部45は、撮影された画像に基づき、店舗の利用者Uの属性を検出して特定する。より具体的には、検知部45は、不審者データベース34に不審者として登録された利用者や、不審な動きをする利用者U等、属性を判断するための所定の要件を満たす利用者の検知を行う。例えば、検知部45は、不審者データベース34に登録された情報と、推定部42によって推定された利用者Uの顔画像とを用いて、利用者Uの顔認証を行う。そして、検知部45は、利用者Uの顔の認証が成功した場合は、利用者Uを不審者と判定する。
また、検知部45は、利用者Uの動きに基づいて、利用者Uが不審者であるか否かを判定するモデルを用いて、不審者の検出を行う。例えば、検知部45は、モデルを用いて、推定部42が推定した動作情報が示す利用者Uの動作が不審な動作であるか否かを判定し、不審な動作であると判定した場合は、利用者Uを不審者と判定する。なお、検知部45は、モデルを用いて、利用者Uが不審者である確度を取得してもよい。そして、検知部45は、利用者Uを不審者と判定した場合は、利用者Uの画像情報と対応付けられた対応フラグを「1」に設定する。
また、検知部45は、利用者Uを不審者と判定した場合は、撮像された画像に基づいて、利用者Uの位置を特定する。例えば、検知部45は、照明機器LDがリアルタイムに撮影した画像から、不審者と判定した利用者Uが撮像された画像を特定し、特定した画像を撮影した照明機器LDの設置位置を不審者と判定された利用者Uの位置として特定する。なお、検知部45は、任意の画像解析技術を用いて、利用者Uの位置を特定してもよい。
報知部46は、検知結果に基づき、照明機器LDの照明態様を変化させることで所定の情報を報知する。より具体的には、報知部46は、不審者等、所定の要件を満たす利用者が検知された場合は、所定の要件を満たす利用者の存在を報知する。例えば、報知部46は、不審者と判定された利用者の位置を検知部45が特定した場合は、特定した位置に設置された照明機器LDを照明機器データベース33から特定する。そして、報知部46は、特定した照明機器LDの照明態様を変化させることで、不審者の存在や不審者の位置を店員S01に報知する。また、報知部46は、不審者の位置として検知部45が検知した位置が変化した場合は、変化に応じて、照明態様を変化させる照明機器LDを変更する。
なお、報知部46は、照明態様を任意の態様に制御することにより、各種報知を行ってよい。例えば、報知部46は、照明機器LDが光を出力する周波数を変化させる等、不審者が識別困難な態様で、照明機器LDの照明態様を変化させてもよい。また、報知部46は、光の色温度を変化させることで、不審者の存在や位置を報知してもよく、非常灯EL01等を点灯させることで、不審者の存在や位置を報知してもよい。また、報知部46は、照明機器LDの照明態様を、検知部45が取得した確度に応じた照明態様に変化させることで、利用者Uが不審者である確度を店員S01に報知してもよい。
例えば、図8は、実施形態に係る情報管理装置が不審者の存在や位置を報知する処理の一例を示す図である。なお、図8に示す例では、不審者の検出を行う店舗に照明機器SL01、SL02および非常灯EL01が設置されている例について記載した。
例えば、図8中(A)に示す例では、利用者U01が照明機器SL01の下から非常灯EL01の下へと移動した例について記載した。このような場合、情報管理装置10は、利用者U01が不審者であると判定した場合は、利用者U01が照明機器SL01の下にいる間、照明機器SL01の照明態様を通常の照明態様とは異なる所定の照明態様に変化させる。そして、情報管理装置10は、利用者U01が照明機器SL01の下から非常灯EL01の下へと移動した場合は、照明機器SL01の照明態様を通常の照明態様へと変更するとともに、非常灯EL01を点灯させる。
また、図8中(B)に示す例では、利用者U01が照明機器SL01の下におり、利用者U02が照明機器SL02の下にいる例について記載した。ここで、情報管理装置10は、利用者U01が不審者である確度が第1の閾値よりも高く、利用者U02が不審者である確度が第1の閾値よりも低い第2の閾値よりも高かったものとする。このような場合、情報管理装置10は、利用者U01の上にある照明機器SL01を第1の周波数で点滅させ、利用者U02の上にある照明機器SL02を第2の周波数で点滅させる。
ここで、図8中(B)に示す例では、店員S01は、高周波で点滅する光を周波数に応じた色彩で視覚可する眼鏡型のウェアラブルデバイスG01を装着しているものとする。このような場合、店員S01は、利用者U01を視認した際に、図8中(C)に示すように第1の周波数に対応する色彩で照明された利用者U01を視認することとなる。また、店員S01は、利用者U02を視認した際に、図8中(D)に示すように第2の周波数に対応する色彩で照明された利用者U02を視認することとなる。この結果、情報管理装置10は、利用者U01、U02が不審者である旨、不審者である利用者U01、U02の位置、利用者U01、U02が不審者である確度といった各種の情報を店員S01に通報することができる。
なお、店員S01は、不審者の報知を受付けた場合、任意の行為を行ってよい。例えば、店員S01は、不審者に対して挨拶などの声をかけることや、不審者の重点的な監視を行うことで、万引きの未然防止を図る。また、情報管理装置10は、店舗端末STを介して、店員S01が声掛けを行った不審者の情報を取得する。このような場合、例えば、報知部46は、声掛けが行われた不審者と対応する対応フラグを「0」に設定する。このような処理の結果、情報管理装置10は、店舗における不審者の管理を実現することができる。
(実施形態の処理フロー)
次に、情報管理装置10が実行する各処理のフローについて説明する。図9は、実施形態に係る情報管理装置が実行する管理処理の流れの一例を説明するフローチャートである。例えば、情報管理装置10は、照明機器SL01等が撮影した画像を取得する(ステップS101)。続いて、情報管理装置10は、取得した画像から、顔部分の画像や動作情報を推定する(ステップS102)。そして、情報管理装置10は、推定した各種の情報を個人を特定可能な個人情報とそれ以外の非個人情報とに分類する(ステップS103)。その後、情報管理装置10は、個人情報を内部ネットワーク内で管理し、非個人情報をクラウドサーバCSにアップロードして(ステップS104)、処理を終了する。
図10は、実施形態に係る情報管理装置が実行する報知処理の流れの一例を説明するフローチャートである。例えば、情報管理装置10は、不審者データベース34に登録された認証データを用いて、店内の利用者Uが不審者であるか否かの顔認証を行う(ステップS201)。また、情報管理装置10は、モデルを用いて、利用者Uが不審者である確度を取得する(ステップS202)。
そして、情報管理装置10は、利用者Uが不審者である又は不審者の可能性が所定の閾値よりも高いか否かを判定し(ステップS203)、不審者である確度が所定の閾値よりも高いと判定した場合は(ステップS204:Yes)、不審者の位置を特定し(ステップS204)、特定した位置に対応する照明機器を、不審者の確度に応じた態様に制御し(ステップS205)、処理を終了する。一方、情報管理装置10は、不審者の確度が所定の閾値よりも低いと判定した場合は(ステップS204:No)、そのまま処理を終了する。
(実施形態のバリエーションについて)
なお、上述した情報管理システム1においては、情報管理装置10は、店舗における利用者Uが不審者であるか否かを判定し、不審者であると判定した場合は、照明機器の照明態様を変更することで、不審者の存在や位置を報知した。しかしながら、実施形態は、これに限定されるものではない。以下、情報管理装置10が実行する処理のバリエーションについて説明する。
(物流関連施設への適用)
上述した例では、情報管理装置10は、店舗における不審者の検知を行った。ここで、情報管理装置10は、倉庫等といった物流関連施設等において、所定の条件を満たす利用者の検知等を行ってもよい。例えば、情報管理装置10は、物流関連施設内において、荷物を乱雑に扱う利用者や、業務を不当に行っていない利用者の検知を行い、これらの利用者を検知した場合には、照明機器LDの照明態様を制御することで、管理者等への報知を行ってもよく、利用者自身に対する警告を行ってもよい。
また、情報管理装置10は、所定の施設内において所定の利用者を検知し、検知した利用者に対し、報知対象となる所定の情報に対応する位置の照明機器の照明態様を変化させることで、所定の情報を報知してもよい。例えば、情報管理装置10は、荷物のピックアップを行う利用者を検知し、倉庫内における照明機器DLの照明態様を変化させることで、検知した利用者がピックアップを行う荷物が配置された位置を検知した利用者に対して報知してもよい。
例えば、図11は、実施形態に係る情報管理装置が実行するバリエーションの一例を示す図である。図11に示す例では、利用者U01は、第1の周波数で点滅する照明を視覚化するウェアラブルデバイスG01を装着し、利用者U02は、第2の周波数で点滅する照明を視覚化するウェアラブルデバイスG02を装着している。また、図11に示す例では、利用者U01がピックアップする荷物が位置A1に配置されており、利用者U02がピックアップする荷物が位置B1に配置されているものとする。また、図11に示す例では、倉庫内に、照明機器SL01〜SL04が配置されているものとする。
このような場合、情報管理装置10は、各照明機器SL01〜SL04が撮影した画像を用いて、利用者U01を検出する。そして、情報管理装置10は、利用者U01を検出した場合、すなわち、利用者U01が倉庫内にいる旨を特定した場合は、荷物が配置された位置を示すデータベース等を参照し、利用者U01がピックアップする荷物A1の位置を特定する。そして、情報管理装置10は、特定した位置を照明する照明機器SL01を第1の周波数で点滅させる。また、情報管理装置10は、利用者U02を検出した場合は、利用者U02がピックアップする荷物A2の位置を特定する。そして、情報管理装置10は、特定した位置を照明する照明機器SL04を第2の周波数で点滅させる。
このような照明態様で倉庫内の照明を行った場合、利用者U01には、照明機器SL01によって照明される範囲AL1が視覚化される一方で、他の範囲については、通常の照明態様で照明が行われているように見える。この結果、利用者U01は、照明機器SL01によって照明される範囲AL1にピックアップすべき荷物が配置されている旨を識別するとともに、各照明機器SL02〜SL04によって通常の照明が行われた倉庫内を移動することができる。
また、利用者U02には、照明機器SL04によって照明される範囲BL1が視覚化される一方で、他の範囲については、通常の照明態様で照明が行われているように見える。この結果、利用者U02は、照明機器SL04によって照明される範囲BL1にピックアップすべき荷物が配置されている旨を識別するとともに、各照明機器SL01〜SL03によって通常の照明が行われた倉庫内を移動することができる。
なお、情報管理装置10は、例えば、利用者U01から位置A1までの移動経路を特定し、移動経路を照明する照明機器LDの照明態様を変更することで、利用者U01を位置A1まで誘導してもよい。例えば、情報管理装置10は、特定した移動経路を照明する全ての照明機器LDを第1の周波数で点滅させることで、移動経路を視覚的に報知してもよい。
また、情報管理装置10は、利用者U01の位置を検知し、検知した位置に応じて、移動経路上における照明機器LDの照明態様を順次変更することで移動経路を視覚的に報知してもよい。例えば、情報管理装置10は、利用者U01の近傍に設置された照明機器LDのうち、利用者U01の進行方向に設置された照明機器LDの照明態様のみを変更することで、利用者U01を順次誘導してもよい。
(任意の施設への適用)
上述した管理処理によりクラウドサーバCS上にアップロードされた非個人情報は、非個人情報を取得した施設とは異なる施設において利用される情報であってもよい。例えば、ベンダサーバBSは、様々な施設で撮像された画像から取得された動作情報をクラウドサーバCSから取得し、取得した動作情報を用いて、各施設において不審者を検出する際に用いられるモデルの生成を行ってもよい。
(照明態様)
なお、上述した処理において、各種情報を報知するために情報管理装置10が用いた照明態様は、あくまで一例であり、任意の照明態様を用いた報知が採用可能である。例えば、情報管理装置10は、店舗を利用する利用者が不審者となる確度が所定の閾値を超える場合は、赤色の光を出力する等、その利用者が認識可能な態様で照明機器LDを制御してもよい。
(その他)
なお、上述した情報管理装置10は、CPUとRAM、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュメモリなどを有するコンピュータが、所定の記録媒体に登録された制御プログラムを読み取り、読み取った制御プログラムを実行することにより、実現されてもよい。
以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。また、これらの実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。