以下、図面を参照してこの発明に係わる実施形態を説明する。
[第1実施形態]
(構成例)
(1)システム
図1は、この発明の第1実施形態に係る発熱者追跡装置として動作するサーバ装置SVを含む追跡システムの全体構成を示す図である。追跡システムは、不特定多数が利用する施設に設置され、施設内に入場した発熱者を追跡する。本明細書における施設とは、例えば、部屋、建物、ショッピングモールのような建物の集合体、イベント会場、等の、外部と区切られた区画を意味する。
そのために、例えば、施設の入口にサーモカメラSCMが配置されると共に、施設内に複数台の監視カメラCM1~CMnが分散配置されている。監視カメラCM1~CMnは、可視光カメラである。これらサーモカメラSCM及び監視カメラCM1~CMnは、例えば天井又は壁面に設置され、それぞれ予め設定された範囲を撮像する。例えば、監視カメラCM1は、施設の入口に設置され、サーモカメラSCMと共通する範囲又はサーモカメラSCMの撮影範囲を包含する範囲を撮影する。サーモカメラSCMは、撮影して得られた映像データ(非可視光画像)であるサーモデータを出力する。監視カメラCM1~CMnは、撮影して得られた映像データを出力する。なお、サーモカメラSCMを複数台設置するようにして良く、その場合には、各サーモカメラに対応させて可視光カメラである監視カメラを設置する。但し、サーモカメラの種類によっては、非可視光画像と同時に可視光画像も撮影可能なものも有り、必ずしも、可視光カメラをサーモカメラに対応して設置する必要はない。よって、入口に配置するサーモカメラSCMについても、そのような種類のサーモカメラを利用することで、サーモカメラSCMと共通する範囲又はサーモカメラSCMの撮影範囲を包含する範囲を撮影するために、監視カメラCM1を設置しなくても良い。換言すれば、入口のサーモカメラSCMは、監視カメラCM1と兼用することができる。
サーモカメラSCMには、サーモデータを表示するディスプレイDPが接続されている。施設の入口に配置された警備担当者は、このディスプレイDPに表示されたサーモデータ監視することで発熱者を発見し、その発熱者に施設への入場を遠慮してもらったり、検疫室等に案内したりすることができる。
また追跡システムは、発熱者追跡装置として動作するサーバ装置SVを備えている。サーバ装置SVは、ネットワークNWを介して、上記各カメラSCM及びCM1~CMn、監視端末TMとの間でそれぞれデータの伝送が可能となっている。
監視端末TMは、監視担当者が施設内の状況を監視したり、監視に必要な各種設定を行ったりするために使用するもので、例えばパーソナルコンピュータにより構成される。
ネットワークNWとしては、例えば有線LAN(Local Area Network)又は無線LANが用いられるが、他のどのようなネットワークが使用されても良い。
(2)サーバ装置SV
図2及び図3は、それぞれサーバ装置SVのハードウェア構成及びソフトウェア構成の一例を示すブロック図である。
サーバ装置SVは、中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを有する制御部1を備え、この制御部1に対し、バス5を介して、プログラム記憶部2及びデータ記憶部3を有する記憶ユニットと、通信インタフェース(以下、通信I/Fと略記する)4と、を接続したものとなっている。
通信I/F4は、制御部1の制御の下、ネットワークNWにより定義される通信プロトコルを用いて、上記サーモカメラSCM、監視カメラCM1~CMn及び監視端末TMとの間で各種データの伝送を行う。
プログラム記憶部2は、例えば、記憶媒体としてHDD(Hard Disk Drive)又はSSD(Solid State Drive)等の随時書込み及び読出しが可能な不揮発性メモリと、ROM(Read Only Memory)等の不揮発性メモリと、を組み合わせて構成されたものである。こプログラム記憶部2は、OS(Operating System)等のミドルウェアに加えて、この発明の第1実施形態に係る各種制御処理を実行するために必要なプログラムを格納する。
データ記憶部3は、例えば、記憶媒体として、HDD又はSSD等の随時書込み及び読出しが可能な不揮発性メモリと、RAM(Random Access Memory)等の揮発性メモリと、を組み合わせたものである。このデータ記憶部3は、この発明の第1実施形態を実施するために必要な記憶部として、撮影データ記憶部31と、人検出情報記憶部32と、既知情報記憶部33と、追跡結果記憶部34と、を備えている。
撮影データ記憶部31は、サーモカメラSCMから送られるサーモデータと監視カメラCM1~CMnから送られる各映像データとを、発熱者を追跡するために必要な一定期間、例えば一日分、記憶するために使用される。
人検出情報記憶部32は、制御部1により監視カメラCM1~CMnの映像データからそれぞれ検出された人の検出結果を表す情報を記憶するために使用される。人検出情報記憶部32については、人の検出結果を表す情報を少なくとも一日分記憶していれば良いが、非発熱者を対象とした過去の移動経路を追跡可能とする場合には、複数日分の情報を保存しておくことが必要となる。
既知情報記憶部33は、施設内のフロアマップデータ及び監視カメラCM1~CMnの撮影範囲である施設内の監視対象エリアを示すカメラ情報を記憶するために使用される。この既知情報記憶部33の記憶内容は、フロアマップ又監視カメラの何れかに変更があったときに更新される。
追跡結果記憶部34は、制御部1により得られる、発熱者の追跡結果を表す情報を記憶するために使用される。この追跡結果記憶部34の記憶内容は、発熱者が感染症に感染していることが後日発覚して、当該発熱者の移動経路に沿った消毒などの対応が必要になる場合を考慮して、数週間の間保持されることが望ましい。
制御部1は、この発明の第1実施形態に係る処理機能として、撮影データ取得処理部11と、人検出処理部12と、人物追跡処理部13と、出力情報生成出力処理部14と、を備えている。これらの処理部11~14は、何れも例えばプログラム記憶部2に格納されたプログラムを制御部1のハードウェアプロセッサに実行させることにより実現される。
撮影データ取得処理部11は、サーモカメラSCMから送信されネットワークNWを介して伝送されたサーモデータ及び監視カメラCM1~CMnから送信されネットワークNWを介して伝送された各映像データを通信I/F4を介してそれぞれ受信する処理を行う。撮影データ取得処理部11は、更に、それら受信されたサーモデータ及び各映像データを、送信元のサーモカメラSCMを識別するサーモカメラID及び監視カメラCM1~CMnを識別する監視カメラIDと関連付けて、撮影データ記憶部31に記憶させる処理を行う。
人検出処理部12は、上記撮影データ記憶部31から監視カメラCM1~CMnの監視カメラID毎に映像データを読み込み、当該映像データに対しフレーム毎に画像解析処理を行って人の画像、例えば顔画像を抽出することで、人の画像を検出する処理を行う。そして、人検出処理部12は、その人の画像の検出結果を表す情報を人検出情報記憶部32に記憶させる処理を行う。
図4は、人検出情報記憶部32が備える人検出情報テーブル321の内容の一例を示す図である。人検出処理部12は、人の画像の検出結果を表す情報である人検出情報を、人検出情報テーブル321に登録することで、人検出情報記憶部32に記憶させる。人検出情報には、例えば、監視カメラIDと、検出日時と、検出した人の画像である顔画像に対し個別に付与される検出者IDと、検出された顔画像のフレーム内における座標情報と、検出された顔画像と、が含まれる。一つのフレーム内に複数の人の画像が検出され得るので、一つの監視カメラIDと検出日時との組に対して、検出者ID、座標情報及び顔画像の組が複数記憶され得る。
なお、人検出処理部12は、映像データから抽出した顔画像を、既に人検出情報テーブル321に登録されている顔画像と比較し、両者の類似度が基準値を超える場合には、同一人物の顔画像であるとする。そして、人検出処理部12は、その登録されている顔画像に対し設定されている検出者IDを、当該抽出した顔画像の検出者IDとして採用して、人検出情報テーブル321に記憶させる。したがって、人検出情報テーブル321には、一つの監視カメラIDに対して、同一検出者IDを含む人検出情報が記憶され、また、複数の監視カメラIDに対しても、同一検出者IDを含む人検出情報が記憶され得る。
更に、人検出処理部12は、上記撮影データ記憶部31からサーモカメラSCMのサーモカメラIDが付されたサーモデータを読み込み、当該サーモデータに基づき発熱者を検出する処理を行う。例えば、人検出処理部12は、サーモデータから、基準温度(例えば、37.5度)を超える領域を検出する。そして、人検出処理部12は、その検出した領域のサイズが基準サイズの範囲に含まれる場合に、その領域を発熱者の一部として検出する処理を行う。つまり、検出した領域のサイズが、基準サイズの範囲から外れる場合は、人検出処理部12は、その領域を発熱者の一部と見なさない。そして、人検出処理部12は、その検出した発熱者の検出結果を表す情報を人検出情報記憶部32に記憶させる処理を行う。ここで、人検出処理部12は、サーモカメラSCMのサーモデータにおける発熱者の座標に対応する監視カメラCM1の映像データの座標に検出された人の検出者IDと顔画像とを、発熱者の検出結果を表す情報とする。
図5は、人検出情報記憶部32が備える追跡対象人物情報テーブル322の内容の一例を示す図である。人検出処理部12は、発熱者の検出結果を表す情報である追跡対象人物情報を、追跡対象人物情報テーブル322に登録することで、人検出情報記憶部32に記憶させる。追跡対象人物情報には、例えば、検出者IDと顔画像とが含まれる。なお、人検出処理部12は、追跡対象人物情報テーブル322に既に登録されている検出者IDと顔画像については、新たに追加登録しない。
人物追跡処理部13は、サーモカメラSCMに対応する監視カメラCM1を除いた監視カメラCM2~CMn毎に、人検出情報記憶部32の人検出情報テーブル321に登録された顔画像と、人検出情報記憶部32の追跡対象人物情報テーブル322に登録された発熱者の顔画像とを比較し、両者の類似度が基準値を超える場合に、人検出情報テーブル321に登録された顔画像を発熱者として検出する処理を行う。また、人物追跡処理部13は、既知情報記憶部33に記憶されているフロアマップ情報及びカメラ情報に基づいて、検出した発熱者のフロアマップ上の位置を示すフロアマップ位置を判定する処理を行う。そして、人物追跡処理部13は、その位置判定結果を表す情報を追跡結果記憶部34に記憶させる処理を行う。
図6は、サーバ装置の追跡結果記憶部34が備える追跡結果情報テーブル341の内容の一例を示す図である。人物追跡処理部13は、発熱者の位置判定結果を表す情報である追跡結果情報を、追跡結果情報テーブル341に登録することで、追跡結果記憶部34に記憶させる。追跡結果情報には、例えば、検出者IDと、顔画像と、検出日時と、フロアマップ位置と、が含まれる。検出者ID、顔画像及び検出日時は、人検出情報テーブル321から取得される。
更に、人物追跡処理部13は、追跡結果情報テーブル341に記憶した検出者ID毎に、フロアマップ位置に基づいて、当該発熱者の施設内の移動経路を求める処理を行う。そして、人物追跡処理部13は、その移動経路を表す情報を追跡結果記憶部34に記憶させる処理を行う。
図7は、追跡結果記憶部34が備える経路情報テーブル342の内容の一例を示す図である。人物追跡処理部13は、発熱者の移動経路を表す情報である経路情報を、経路情報テーブル342に登録することで、追跡結果記憶部34に記憶させる。経路情報には、例えば、検出者IDと、顔画像と、移動経路情報と、が含まれる。検出者IDと顔画像は、追跡結果情報テーブル341から取得される。経路情報テーブル342は、この経路情報を、追跡日毎に記憶する。
更に、経路情報は、当該発熱者の滞在情報を含むことができる。人物追跡処理部13は、追跡結果情報テーブル341に記憶した検出者ID毎に、検出日時とフロアマップ位置とに基づいて、一定箇所に規定時間以上その発熱者が滞在しているか否か判定し、発熱者が滞在していた場合には、その滞在場所を含む滞在情報を経路情報テーブル342に登録する処理を行う。
出力情報生成出力処理部14は、監視端末TMから送信されネットワークNWを介して伝送された検索日時を通信I/F4を介して受信して、その検索日時に該当する発熱者の移動経路を表す情報である経路情報を追跡結果記憶部34の追跡結果情報テーブル341から検索する処理を行う。更に、出力情報生成出力処理部14は、その検索結果を示す経路画面を出力情報として生成し、それを通信I/F4を介して送信することで、ネットワークNWを介して監視端末TMに送信する処理を行う。
(動作例)
次に、以上のように構成されたサーバ装置SVによる処理動作を、図4乃至図11に示すフローチャートを用いて説明する。
先ず、サーバ装置SVの全体の処理手順を説明する。図8はこのサーバ装置SVによる追跡処理の全体の処理手順を示すフローチャートである。
サーバ装置SVの制御部1は、監視端末TMにおいて入力されるシステムの運用開始指示をステップS1で検出すると、先ずステップS2において、撮影データであるサーモデータ及び映像データをサーモカメラSCM及び監視カメラCM1~CMnから取得し、撮影データ記憶部31に記憶させる。追跡対象が車両等に比較して低速で移動する人であることを考慮すると、この撮影データの取得及び記憶は、1秒間に1~数回程度として良い。これにより、データ記憶部3の記憶容量の圧迫を防止すると共に、これに続く処理手順の実行時間を確保できるようになる。勿論、データ記憶部3の記憶容量及び制御部1を構成するハードウェアプロセッサの処理能力に余裕が有るのであれば、撮影データの取得及び記憶は、リアルタイムで行って良い。
次に、サーバ装置SVの制御部1は、ステップS3において、人検出処理を実行し、その検出結果を人検出情報記憶部32に記憶させる。
更に、サーバ装置SVの制御部1は、ステップS4において、既知情報記憶部33に記憶されている既知情報と人検出情報記憶部32に記憶されている人検出結果とに基づいて発熱者の人物追跡処理を行い、その結果を追跡結果記憶部34に記憶させる。
また、サーバ装置SVの制御部1は、上記ステップS2乃至ステップS4の処理手順と並行して、出力情報生成出力処理を実行する。即ち、制御部1は、検索日時を監視端末TMから取得し、追跡結果記憶部34に記憶されている当該検索日時の発熱者の人物追跡処理結果に基づいて出力情報を生成し、監視端末TMに出力する。
上記ステップS2乃至ステップS5により実行される各処理は、監視端末TMからシステムの運用停止指示が送信され、この停止指示をサーバ装置SVの制御部1がステップS6により検出すると、終了する。
(1)人検出処理
図9は、サーバ装置SVの制御部1により実行される上記ステップS3の人検出処理の処理手順の一例を示すフローチャートである。
制御部1は、人検出処理部12の制御の下、先ず、ステップS301において、監視カメラCM1~CMnの監視カメラIDの中から一つを選択する。
そして、ステップS302において、制御部1は、選択された監視カメラIDの映像データの1フレームを撮影データ記憶部31から読み込む。なお、この読み込み先は、制御部1がワークエリアとして利用するデータ記憶部3のRAM等の揮発性メモリである。以下の説明における「読み込む」についても同様である。
制御部1は、次に、ステップS303において、この読み込んだ映像データに対し所定の映像解析処理を行って、人の顔画像を抽出する。なお、このとき使用される映像解析処理としては、例えば予め生成された学習モデルを用いて映像フレームから人の顔画像を抽出する処理が使用される。なお、顔画像を抽出するための映像解析処理には種々の既存技術を利用可能であり、これらの既存技術は何れも周知なので説明は省略する。
人検出処理部12は、続いてステップS304において、映像フレーム毎に、上記抽出された人の顔画像の映像フレーム内における座標情報及び検出時刻を表す情報と、検出した顔画像に対し個別に付与される検出者IDと、上記監視カメラIDと、を含む人検出情報を生成する。そして、制御部1は、その生成した人検出情報を人検出情報記憶部32の人検出情報テーブル321に記憶させる。なお、人検出情報の生成先は、制御部1がワークエリアとして利用するデータ記憶部3のRAM等の揮発性メモリである。以下の説明における「生成」についても同様である。
その後、制御部1は、全ての監視カメラIDの選択が終了したか否かをステップS305で判定する。そして、未選択の監視カメラIDが残っていれば、制御部1は、ステップS301に戻って次の監視カメラIDを選択し、ステップS302乃至ステップS304による一連の人の顔画像の検出処理を実行する。以後、同様に監視カメラIDが順次選択され、当該監視カメラIDに対応する映像データからフレーム毎に人の顔画像を検出する処理が繰り返し実行される。
そして、全ての監視カメラIDの選択が終了すると、制御部1は、ステップS306において、サーモカメラSCMのサーモカメラIDのサーモデータを撮影データ記憶部31から読み込む。
制御部1は、次に、ステップS307において、読み込んだサーモデータから、基準温度(例えば、37.5度)を超える発熱者を検出する検出処理を実行する。
そして、制御部1は、この発熱者の検出処理の結果、発熱者が存在するか否かをステップS308で判定する。発熱者が存在しなければ、制御部1は、この人検出処理を終了して、上記ステップS4の処理へと進む。
これに対して、発熱者が検出された場合には、制御部1は、ステップS309において、サーモカメラSCMに対応する監視カメラである監視カメラCM1の監視カメラIDの人検出情報を、人検出情報記憶部32の人検出情報テーブル321から読み込む。
そして、制御部1は、ステップS310において、発熱者の検出結果を表す情報である、検出者IDと顔画像を含む追跡対象人物情報を生成して、人検出情報記憶部32の追跡対象人物情報テーブル322に記憶させる。その後、制御部1は、この人検出処理を終了して、上記ステップS4の処理へと進む。
(2)人物追跡処理
図10A及び図10Bは、サーバ装置SVの制御部1により実行される上記ステップS4の人物追跡処理の処理手順の一例を示すフローチャートである。
制御部1は、人物追跡処理部13の制御の下、先ずステップS401において、人検出情報記憶部32の追跡対象人物情報テーブル322から追跡対象人物情報を一つ読み込む。
次に、制御部1は、ステップS402において、監視カメラCM1~CMnの監視カメラIDの中から一つを選択する。
そして、制御部1は、ステップS403において、選択された監視カメラIDの人検出情報を人検出情報記憶部32の人検出情報テーブル321から読み込む。
ステップS404において、制御部1は、その読み込んだ人検出情報に含まれる顔画像を、上記ステップS401で読み込んだ追跡対象人物情報に含まれる顔画像と比較して、顔画像が類似するか否かを判定する。制御部1は、このステップS403における人検出情報の読み込みとステップS404における顔画像の類似判定を、選択された監視カメラIDの人検出情報の全てについて実施する。
そして、制御部1は、ステップS405において、類似する顔画像が有ったか否かを判定する。類似する顔画像が無かったならば、制御部1は、後述するステップS411に進む。
これに対して、類似する顔画像が有った場合には、制御部1は、その類似する顔画像の人物は、追跡対象人物である発熱者に該当すると判断して、ステップS406において、人検出情報記憶部32の追跡対象人物情報テーブル322における該当人物の検出者IDを、追跡対象人物情報の検出者IDに書き換える。勿論、書き換えを行わなくても、両検出者IDが同一であった場合も有り得る。
次に、制御部1は、ステップS407において、追跡結果記憶部34の追跡結果情報テーブル341から、その検出者IDに対応する追跡結果情報を読み込む。なお、未だ当該検出者IDに対応する追跡結果情報が追跡結果情報テーブル341に記憶されていない場合には、このステップS407では何も読み込まない。
また、制御部1は、ステップS408において、既知情報記憶部33より当該施設のフロアマップ情報及び選択している監視カメラIDのカメラ情報を読み込む。
その後、ステップS409において、制御部1は、読み込んだフロアマップ情報及びカメラ情報に基づいて、人検出情報における該当人物の座標情報をフロア位置に変換する。
そして、制御部1は、ステップS410において、上記ステップS407で読み込んだ追跡結果情報に、検出日時及びフロアマップ位置を追記して、追跡結果情報テーブル341に記憶させる。なお、上記ステップS407において記憶済みの追跡結果情報が存在せず、それを読み込めなかった場合には、制御部1は、追跡結果情報を新規に作成し、検出日時及びフロアマップ位置に加えて、検出者IDと顔画像も登録して、追跡結果情報テーブル341に記憶させる。
ここで、制御部1は、全ての監視カメラIDの選択が終了したか否かをステップS411で判定する。そして、未選択の監視カメラIDが残っていれば、制御部1は、ステップS402に戻って次の監視カメラIDを選択し、ステップS402乃至ステップS410による一連の追跡結果情報の生成処理を実行する。以後、同様に監視カメラIDが順次選択され、当該監視カメラIDに対応する人検出情報から発熱者として追跡対象人物情報に登録された人物に相当する人物を検出し、その検出した人物の当該施設内の位置を追跡結果情報として記憶していく処理が繰り返し実行される。
そして、全ての監視カメラIDの選択が終了すると、制御部1は、ステップS412において、全ての追跡対象人物情報についての処理が終了したか否かを判定する。未処理の追跡対象人物情報が残っていれば、制御部1は、ステップS401に戻って次の追跡対象人物情報を読み出し、ステップS402乃至ステップS411による一連の追跡結果情報の生成処理を実行する。
こうして全ての追跡対象人物情報についての処理が終了すると、制御部1は、ステップS413において、日報処理を行うタイミングであるか否かを判定する。この日報処理は、1日に複数回行うことができ、少なくとも1日1回行えば良い。例えば、日報処理は、当該施設に来訪者が存在しない時間、例えばショッピングモールであれば閉店時間から翌開店時間までの間、に行うことができる。日報処理を行うタイミングでなければ、制御部1は、この人物追跡処理を終了して、上記ステップS6の処理へと進む。
これに対して、日報処理を行うタイミングであれば、制御部1は、ステップS414において、追跡結果記憶部34の追跡結果情報テーブル341における追跡結果情報の検出者IDの中から一つを選択する。そして、制御部1は、ステップS415において、選択された検出者IDの追跡結果情報を追跡結果情報テーブル341から読み込む。
ステップS416において、制御部1は、その読み込んだ追跡結果情報に含まれる検出者IDと顔画像を含む経路情報を生成する。
次に、制御部1は、ステップS417において、読み込んだ追跡結果情報に含まれる複数のフロアマップ位置に基づいて、検出者IDで特定される発熱者である当該人物の施設内の移動経路を算出する。そして、ステップS418において、制御部1は、この算出した移動経路を移動経路情報として、上記ステップS416で生成した経路情報に追加する。
その後、ステップS419において、制御部1は、読み込んだ追跡結果情報に含まれる複数の検出日時とフロアマップ位置とに基づいて、当該人物が規定時間以上、例えば15分以上、滞在し続けた施設内の位置を判別する。例えば、一つの監視カメラに規定時間以上捕らえられたとき、滞在し続けたと判別することができる。この場合、連続して一つの監視カメラに捕らえられていなくても、1日のトータルで、一つのカメラに捕らえられた合計時間により判別するものとする。そして、制御部1は、ステップS420において、その判定結果により当該人物が規定時間以上滞在した位置についての滞在情報を、経路情報に追加する。当該人物が規定時間以上滞在した位置が存在しない場合には、滞在位置無しの値を持つ滞在情報が追加される。
制御部1は、ステップS421において、こうして作成した検出者ID、顔画像、移動経路情報及び滞在情報を含む経路情報を、追跡結果記憶部34の経路情報テーブル342に、その作成日に対応させて記憶させる。
その後、制御部1は、全ての検出者IDの選択が終了したか否かをステップS422で判定する。そして、未選択の検出者IDが残っていれば、制御部1は、ステップS414に戻って次の検出者IDを選択し、ステップS415乃至ステップS421による一連の経路情報の生成処理を実行する。以後、同様に検出者IDが順次選択され、当該検出者IDに対応する追跡結果情報から経路情報を生成し記憶していく処理が繰り返し実行される。
そして、全ての検出者IDの選択が終了すると、制御部1は、この人物追跡処理を終了して、上記ステップS6の処理へと進む。
(3)出力情報の生成及び出力処理
図11は、サーバ装置SVの制御部1により実行される上記ステップS5の出力情報生成出力処理の処理手順を示すフローチャートである。
制御部1は、出力情報生成出力処理部14の制御の下、先ず、ステップS501において、監視端末TMから検索日時の入力が有ったか否かを判定する。監視端末TMから検索日時の入力が無かった場合には、制御部1は、この出力情報生成出力処理を終了して、上記ステップS6へ進む。
これに対して、監視端末TMから検索日時の入力が有ると、制御部1は、ステップS502において、検索日時として指定された日時により追跡結果記憶部34の経路情報テーブル342に記憶さている経路情報から、該当する追跡日を検索する。そして、制御部1は、ステップS503において、例えば、その検索された追跡日における検出者IDと顔画像とを一覧形式で並べた検索結果画面を生成して、監視端末TMに出力する。その後、制御部1は、所定時間の間、監視端末TMからの追跡対象者の指定待ちとなる。即ち、監視端末TMを操作する監視者が、検索結果画面に一覧表示された顔画像を閲覧して、その中から移動経路を確認するべき発熱者を指定するのを待つ。
ステップS504において、制御部1は、監視端末TMから追跡対象者の指定が有ったか否かを判定する。追跡対象者の指定が無かった場合には、制御部1は、この出力情報生成出力処理を終了して、上記ステップS6へ進む。
これに対して、追跡対象者の指定が有った場合には、制御部1は、ステップS505において、経路情報テーブル342に記憶さているその指定された顔画像の検出者IDの経路情報から移動経路情報と滞在情報を読み込む。
そして、ステップS506において、制御部1は、移動経路情報に基づいて施設内の当該人物の移動経路を、既知情報記憶部33に記憶されているフロアマップ情報で示されるマップ上にマッピングした経路画面を作成する。このとき、滞在情報に当該人物が規定時間以上滞在した位置が記録されている場合には、その位置を明示するマーク、例えば重点消毒箇所マーク、を経路画面におけるマップ上に付加する。そして、制御部1は、この作成した経路画面を監視端末TMに出力する。その後、制御部1は、この出力情報生成出力処理を終了して、上記ステップS6へ進む。
(作用・効果)
以上述べたようにこの発明の第1実施形態に係る発熱者追跡装置として動作するサーバ装置SVでは、制御部1は、施設の入口に設置されたサーモカメラSCMからのサーモデータに基づき発熱者を検出し、入口及び施設内に分散して設置された複数台の可視光カメラである監視カメラCM1~CMnからの映像データより発熱者を検出する。また、サーバ装置SVは、少なくとも、施設のフロアマップ情報と、複数台の監視カメラCM1~CMnの設置状況を示すカメラ情報と、を含む既知情報を既知情報記憶部33に記憶している。そして、制御部1は、発熱者の検出結果と既知情報とに基づいて、発熱者の施設内の移動経路と、発熱者が規定時間以上滞在していた滞在箇所と、を判別し、それら判別した発熱者の移動経路及び滞在箇所を追跡結果記憶部34に記憶する。
従って、発熱者の施設内における移動経路を検出して保存しておけるようになる。
また、サーバ装置SVの制御部1は、監視端末TMから出力対象の発熱者の指定を受けて、追跡結果記憶部34から発熱者の移動経路及び滞在箇所を検索して、監視端末TMへ出力する。
よって、発熱者の施設滞在時点よりも後日に、当該発熱者の施設内の移動経路及び例えば重点消毒が必要な箇所等の滞在位置を確認できるようになる。
[第2実施形態]
次に、この発明の第2実施形態に係る発熱者追跡装置として動作するサーバ装置SVについて説明する。本第2実施形態は、不特定多数が利用する施設に加えて、例えば学校や会社等の特定多数が利用する施設を対象としている。ここでは、構成例、動作例及び作用・効果において上記第1実施形態と異なる部分のみを説明し、同様の部分についてはその説明を省略する。
(構成例)
第2実施形態においては、データ記憶部3の既知情報記憶部33は、フロアマップ情報とカメラ情報とに加えて、店員、学生、会社員といった、当該施設内に滞在する特定人物に関する情報を記憶している。
図12は、サーバ装置SVの既知情報記憶部33が備える登録人物情報テーブル331の内容の一例を示す図である。登録人物情報テーブル331は、施設内に滞在する特定人物に関する情報である登録者情報を記憶している。登録者情報は、各登録者に一意に設定された登録者IDとその顔画像、並びに、当該登録者についての氏名や所属といった説明情報を含む。
また、第2実施形態においては、追跡結果記憶部34に記憶される追跡結果情報テーブル341が、第1実施形態とは異なる。図13は、第2実施形態における追跡結果情報テーブル341の内容の一例を示す図である。同図に示すように、追跡結果情報テーブル341に記憶される追跡結果情報は、各検出者IDにおける各検出日時について、フロアマップ位置における登録者IDが含まれ得る。登録者IDが含まれない場合もあり得る。この追跡結果情報テーブル341における登録者IDは、検出者IDで示される発熱者がフロアマップ位置で示される位置で規定時間以上接触していた人物を特定するためのものである。
なお、第2実施形態においては、追跡結果記憶部34に経路情報、即ち経路情報テーブル342は記憶されない。
(動作例)
第2実施形態においては、上記ステップS4の人物追跡処理及び上記ステップS5の出力情報生成出力処理の詳細が、上記第1実施形態と異なっている。
(1)人物追跡処理
図14A及び図14Bは、サーバ装置SVの制御部1により実行される上記ステップS4の人物追跡処理の処理手順の一例を示すフローチャートである。ここで、ステップS401乃至ステップS409の処理、及び、ステップS411及びステップS412の処理は、第1実施形態と同様であるので、それらの説明を省略する。
制御部1は、人物追跡処理部13の制御の下、上記ステップS410において追跡結果情報を追跡結果情報テーブル341に記憶させる。このとき、追跡結果情報には、未だ登録者IDが記憶されない。
その後、制御部1は、ステップS431において、追跡結果情報に含まれる複数の検出日時とフロアマップ位置とに基づいて、検出者IDの人物が規定時間以上、例えば15分以上、施設内の一つの位置に滞在しているか否かを判別する。当該人物が規定時間以上滞在していなければ、制御部1は、上記ステップS411の処理へ進む。
これに対して、当該人物が規定時間以上滞在していたならば、制御部1は、ステップS432において、既知情報記憶部33が備える登録人物情報テーブル331から登録者情報を読み込む。
次に、ステップS433において、制御部1は、追跡対象者以外で類似する顔画像を判定する。即ち、制御部1は、上記ステップS403で読み込んだ人検出情報における顔画像を上記ステップS432で読み込んだ登録者情報に含まれる顔画像と比較して、類似する顔画像を検出する。但し、読み込んだ人検出情報における全ての顔画像を対象とするのではなく、制御部1は、その内の、追跡対象者に相当する検出者IDの顔画像を除き、更にその内の、上記規定時間以上の滞在期間に対応する検出日時に対応する顔画像を対象とする。
そして、制御部1は、ステップS434において、類似する顔画像が有ったか否かを判定する。類似する顔画像が無かったならば、制御部1は、上記ステップS411に進む。
これに対して、類似する顔画像が有った場合には、制御部1は、ステップS435において、それら類似する顔画像の上記規定時間以上の滞在期間内における存在時間を算出する。そして、制御部1は、ステップS436において、算出した存在時間が上記規定時間以上であるか否かを判別する。規定時間以上存在する顔画像が無ければ、制御部1は、上記ステップS411の処理へ進む。
規定時間以上存在する顔画像が有る場合、制御部1は、ステップS437において、追跡対象者と類似顔画像の人物との距離を判定する。両者間の距離は、例えば、上記ステップS403で読み込んだ人検出情報における座標情報と、上記ステップS408で読み込んだカメラ情報と、に基づいて、判定することができる。
そして、制御部1は、ステップS438において、この判定した距離により、追跡対象者が類似顔画像の人物から規定距離、例えば2m以内に存在していたか否かを判定する。ここで、規定距離以内に存在していないならば、制御部1は、上記ステップS411に進む。
これに対して、追跡対象者が類似顔画像の人物から規定距離内に存在していた場合には、制御部1は、ステップS439において、類似顔画像の人物が追跡対象者から上記規定距離以内に存在していた時間を算出する。そして、制御部1は、ステップS440において、算出した存在時間が上記規定時間以上であるか否かを判別する。規定時間以上存在する顔画像が無ければ、制御部1は、上記ステップS411の処理へ進む。
規定時間以上存在する顔画像が有る場合、制御部1は、ステップS441において、その類似顔画像の人物の登録者IDを特定する。そして、ステップS442において、制御部1は、追跡結果情報に、その特定した登録者IDを追記して、追跡結果情報テーブル341に記憶させる。その後、制御部1は、上記ステップS411に進む。
以上のようにして、追跡結果情報テーブル341には、図13に示したような追跡結果情報が記憶されることができる。
(2)出力情報の生成及び出力処理
図15は、サーバ装置SVの制御部1により実行される上記ステップS5の出力情報生成出力処理の処理手順を示すフローチャートである。
制御部1は、出力情報生成出力処理部14の制御の下、先ず、ステップS501において、監視端末TMから検索日時の入力が有ったか否かを判定する。監視端末TMから検索日時の入力が無かった場合には、制御部1は、この出力情報生成出力処理を終了して、上記ステップS6へ進む。
これに対して、監視端末TMから検索日時の入力が有ると、制御部1は、ステップS511において、検索日時として指定された日時により追跡結果記憶部34の追跡結果情報テーブル341に記憶さている追跡結果情報から、該当する検出日時を検索する。そして、制御部1は、ステップS503において、例えば、その検索された検出日時における検出者IDと顔画像とを一覧形式で並べた検索結果画面を生成して、監視端末TMに出力する。その後、制御部1は、所定時間の間、監視端末TMからの追跡対象者の指定待ちとなる。即ち、監視端末TMを操作する監視者が、検索結果画面に一覧表示された顔画像を閲覧して、その中から移動経路を確認するべき発熱者を指定するのを待つ。
ステップS504において、監視端末TMから追跡対象者の指定が有った場合、制御部1は、ステップS512において、追跡結果情報テーブル341に記憶さているその指定された顔画像の検出者IDの追跡結果情報を読み込む。また、制御部1は、ステップS513において、既知情報記憶部33に記憶されているフロアマップ情報を読み込む。
そして、ステップS514において、制御部1は、追跡結果情報に基づいて施設内の当該人物の移動経路を、フロアマップ情報で示されるマップ上にマッピングした経路画面を作成する。
その後、制御部1は、ステップS515において、当該検出者IDの人物が規定時間以上滞在した位置を判別する。この位置は、追跡結果情報に登録者IDが記憶されているフロアマップ位置である。
そして、制御部1は、ステップS516において、その規定時間以上滞在した位置を明示するマーク、例えば重点消毒箇所マーク、を経路画面におけるマップ上の該当位置に付加する。
更に、制御部1は、ステップS517において、追跡結果情報より、その該当位置に対応する登録者IDを特定する。次に、制御部1は、ステップS518において、既知情報記憶部33が備える登録人物情報テーブル331より、その登録者IDに対応する顔画像及び説明情報を読み込む。そして、ステップS519において、制御部1は、その読み込んだ顔画像及び説明情報を、追跡画面に追加する。
制御部1は、ステップS520において、こうして作成した経路画面を監視端末TMに出力する。その後、制御部1は、この出力情報生成出力処理を終了して、上記ステップS6へ進む。
(作用・効果)
以上述べたようにこの発明の第2実施形態に係る発熱者追跡装置として動作するサーバ装置SVでは、既知情報記憶部33に既知情報として更に複数の登録者についての登録者情報を記憶させておき、制御部1は、複数台の監視カメラCM1~CMnからの映像データより、発熱者以外の人物も検出し、その検出結果と既知情報とに基づいて、発熱者が規定時間以上滞在していた滞在箇所において、発熱者から規定距離以内に規定時間以上滞在していた発熱者以外の人物を判別する。そして、制御部1は、追跡結果記憶部34に、発熱者の移動経路及び滞在箇所に加えて、発熱者以外の人物を発熱者に対する接触者として記憶する。
これにより、発熱者に対する濃厚接触者を特定することが可能となる。
また、制御部1は、監視端末TMからの出力対象の発熱者の指定を受けて、追跡結果記憶部34から発熱者の移動経路、滞在箇所、及び発熱者以外の人物を検索して、監視端末TMに出力する。
よって、発熱者の施設内の移動経路及び例えば重点消毒が必要な箇所等の滞在位置を確認できると共に、当該発熱者と長時間接触した人物を報告することが可能となる。
[第3実施形態]
次に、この発明の第3実施形態に係る発熱者追跡装置として動作するサーバ装置SVについて説明する。本第3実施形態は、顔画像に加えて全身画像を利用して発熱者を追跡できるようにしたものである。ここでは、構成例、動作例及び作用・効果において上記第2実施形態と異なる部分のみを説明し、同様の部分についてはその説明を省略する。
(構成例)
図16は、この発明の第3実施形態に係る発熱者追跡装置として動作するサーバ装置SVを備える追跡システムの全体構成の一例を示す図である。
第3実施形態では、サーモカメラSCMとサーバ装置SVとの間に、映像解析エンジンVE0が配置され、監視カメラCM1~CMnとサーバ装置SVとの間に、映像解析エンジンVE1~VEnが配置されている。なお、映像解析エンジンVE1~VEnは監視カメラCM1~CMnに対し一対一に配置せず、複数台のカメラに対しそれより少数の映像解析エンジンを配置して、少数の映像解析エンジンにより複数台の監視カメラの映像データを一括処理するようにしても良い。また、サーモカメラSCM及び監視カメラCM1~CMnが演算装置を持つ場合には、サーモカメラSCM及び監視カメラCM1~CMn自体に映像解析エンジンを搭載し、後述の処理を行っても良い。或いは、映像解析エンジンVE0~VEnは、サーバ装置SVの機能として提供しても良い。
映像解析エンジンVE0は、サーモカメラSCMからの映像データ(非可視光画像)であるサーモデータを解析し、映像解析エンジンVE1~VEnは、監視カメラCM1~CMnからの映像データを解析する。例えば、映像解析エンジンVE1~VEnはそれぞれ、対応する監視カメラCM1~CMnから出力される映像データに含まれる各画像フレームから、例えば学習処理により事前に生成された学習モデルを用いて、顔画像及び/又は全身画像を検出し、顔画像及び/又は全身画像を含む映像解析結果を出力する。即ち、画像フレーム中の人物は、必ずしも顔と全身の両方が写るとは限らないため、顔画像と全身画像の何れか一方しか検出できない場合もあり得る。映像解析結果は、それら顔画像及び/又は全身画像に加えて、顔画像の座標及び/又は全身画像の座標、顔画像の画像特徴量及び/又は全身画像の画像特徴量、等を含むことができる。また、映像解析エンジンVE0は、対応するサーモカメラSCMから出力される映像データに含まれる各画像フレームから、温度別領域を検出し、温度別領域に関する情報を含む映像解析結果を出力する。
図17は、第3実施形態におけるサーバ装置SVのソフトウェア構成の一例を示すブロック図である。図3に示した第1及び第2実施形態におけるサーバ装置SVの構成例に対し、制御部1は、処理機能として、撮影データ取得処理部11の代わりに、解析データ取得処理部15を有し、また、人検出処理部12を備えていない。また、データ記憶部3は、撮影データ記憶部31を備えていない。
解析データ取得処理部15は、映像解析エンジンVE0から送信されネットワークNWを介して伝送された温度別領域に関する情報を含む映像解析結果であるサーモ解析データを通信I/F4を介して受信する処理を行う。また、解析データ取得処理部15は、映像解析エンジンVE1~VEnから送信されネットワークNWを介して伝送された顔画像及び/又は全身画像を含む映像解析結果である映像解析データを通信I/F4を介して受信する処理を行う。撮影データ取得処理部11は、更に、映像解析エンジンVE0からのサーモ解析データより基準温度を超える領域を検出することで、発熱者を検出する処理を行う。そして、撮影データ取得処理部11は、映像解析データに基づいて人検出情報を生成し、この人検出情報と発熱者の検出結果とに基づいて追跡対象人物情報を生成し、それら人検出情報及び追跡対象人物情報を人検出情報記憶部32に記憶させる処理を行う。
図18は、第3実施形態における人検出情報記憶部32が備える人検出情報テーブル321の内容の一例を示す図である。図4に示した第1及び第2実施形態における人検出情報テーブル321では、検出者IDに対応する顔画像が記憶されるが、第3実施形態における人検出情報テーブル321では、それに代えて、顔情報と全身情報とが記憶される。顔情報は、顔画像と顔画像の画像特徴量と顔画像の座標とを含む。全身情報は、全身画像と全身画像の画像特徴量と全身画像の座標とを含む。なお、検出者IDに対して必ずしも顔情報と全身情報の両方が記憶されるとは限らず、何れか一方のみが記憶される場合もあり得る。
図19は、第3実施形態における人検出情報記憶部32が備える追跡対象人物情報テーブル322の内容の一例を示す図である。図5に示した第1及び第2実施形態における追跡対象人物情報テーブル322では、検出者IDに対応する顔画像が記憶されるが、第3実施形態における追跡対象人物情報テーブル322では、それに代えて、顔画像と顔画像の画像特徴量とを含む顔情報と、全身画像と全身画像の画像特徴量とを含む全身情報と、が記憶される。なお、検出者IDに対して必ずしも顔情報と全身情報の両方が記憶されるとは限らず、何れか一方のみが記憶される場合もあり得る。
図20は、第3実施形態における既知情報記憶部33が備える登録人物情報テーブル331の内容の一例を示す図である。図12に示した第2実施形態における登録人物情報テーブル331では、登録者IDに対応する顔画像が記憶されるが、第3実施形態における登録人物情報テーブル331では、それに代えて、顔画像と顔画像の画像特徴量とを含む顔情報と、全身画像と全身画像の画像特徴量とを含む全身情報と、が記憶される。
図21は、第3実施形態における追跡結果記憶部34が備える追跡結果情報テーブル341の内容の一例を示す図である。図13に示した第2実施形態における追跡結果情報テーブル341では、検出者IDに対応する顔画像が記憶されるが、第3実施形態における追跡結果情報テーブル341では、それに代えて、顔画像と顔画像の画像特徴量とを含む顔情報と、全身画像と全身画像の画像特徴量とを含む全身情報と、が記憶される。なお、検出者IDに対して必ずしも顔情報と全身情報の両方が記憶されるとは限らず、何れか一方のみが記憶される場合もあり得る。
(動作例)
次に、以上のように構成された第3実施形態におけるサーバ装置SVによる処理動作を、図22乃至図25に示すフローチャートを用いて説明する。
図22は、第3実施形態におけるサーバ装置SVによる追跡処理の全体の処理手順の一例を示すフローチャートである。第3実施形態においては、上記ステップS2の処理を実行しない。そして、上記ステップS3の人検出処理、上記ステップS4の人物追跡処理及び上記ステップS5の出力情報生成出力処理のそれぞれにおける処理手順の詳細が、上記第2実施形態と異なっている。
(1)人検出処理
図23は、第3実施形態におけるサーバ装置SVの制御部1により実行される上記ステップS3の人検出処理の処理手順の一例を示すフローチャートである。
制御部1は、解析データ取得処理部15の制御の下、先ず、ステップS301において、監視カメラCM1~CMnの監視カメラIDの中から一つを選択する。
そして、ステップS321において、制御部1は、選択された監視カメラIDの映像解析エンジンから映像解析データを受信する。
制御部1は、ステップS304において、人検出情報を生成し、その生成した人検出情報を人検出情報記憶部32の人検出情報テーブル321に記憶させる。但し、本実施形態においては、制御部1は、映像解析エンジンから受信した映像解析データに基づいて人検出情報を生成する。即ち、制御部1は、映像解析データに含まれる顔情報及び/又は全身情報と、顔画像及び/又は全身画像に対し個別に付与される検出者IDと、上記監視カメラIDと、現在時刻である検出時刻を表す情報と、を含む人検出情報を生成する。
その後、制御部1は、全ての監視カメラIDの選択が終了したか否かをステップS305で判定する。そして、未選択の監視カメラIDが残っていれば、制御部1は、ステップS301に戻って次の監視カメラIDを選択し、ステップS321及びステップS304による一連の人検出情報の生成処理を実行する。以後、同様に監視カメラIDが順次選択され、当該監視カメラIDに対応する映像解析エンジンからの映像解析データに基づいて人検出情報を生成する処理が繰り返し実行される。
そして、全ての監視カメラIDの選択が終了すると、制御部1は、ステップS322において、サーモカメラSCMのサーモカメラIDの映像解析エンジンVE0からサーモ解析データを受信する。
制御部1は、次に、ステップS307において、基準温度(例えば、37.5度)を超える発熱者を検出する検出処理を実行する。但し、本実施形態においては、制御部1は、映像解析エンジンVE0から受信したサーモ解析データに基づいて、発熱者を検出する。
以降のステップS308乃至ステップS310の処理は、ステップS309で読み込まれる人検出情報及びステップS310で生成される追跡対象人物情報が顔情報及び/又は全身情報を含む点を除いて、上記第1及び第2実施形態と同様である。よって、それらの説明は省略する。
(2)人物追跡処理
図24A及び図24Bは、第3実施形態におけるサーバ装置SVの制御部1により実行される上記ステップS4の人物追跡処理の処理手順の一例を示すフローチャートである。
制御部1は、人物追跡処理部13の制御の下、先ずステップS401において、人検出情報記憶部32の追跡対象人物情報テーブル322から追跡対象人物情報を一つ読み込む。追跡対象人物情報は、顔情報及び/又は全身情報を含む。
次に、制御部1は、ステップS402において、監視カメラCM1~CMnの監視カメラIDの中から一つを選択する。
そして、制御部1は、ステップS403において、選択された監視カメラIDの人検出情報を人検出情報記憶部32の人検出情報テーブル321から読み込む。人検出情報は、顔情報及び/又は全身情報を含む。
ステップS404において、制御部1は、その読み込んだ人検出情報を、上記ステップS401で読み込んだ追跡対象人物情報と比較して、顔画像が類似するか否かを判定する。上記第1及び第2実施形態では、顔画像同士を比較しており、本実施形態においても顔画像同士を比較しても良い。或いは、本実施形態では、人検出情報及び追跡対象人物情報に含まれる顔画像の画像特徴量同士を比較することで、顔画像の類似度を判定するようにしても良い。
そして、制御部1は、ステップS405において、類似する顔画像が有ったか否かを判定する。類似する顔画像が有った場合には、制御部1は、ステップS406に進み、無かった場合には、ステップS451に進む。
ステップS451において、制御部1は、上記ステップS403で読み込んだ人検出情報を、上記ステップS401で読み込んだ追跡対象人物情報と比較して、全身画像が類似するか否かを判定する。即ち、制御部1は、人検出情報及び追跡対象人物情報に含まれる全身画像同士、或いは全身画像の画像特徴量同士を比較することで、全身画像の類似度を判定する。制御部1は、ステップS403における人検出情報の読み込みとステップS404における顔画像の類似判定及びステップS451における全身画像の類似判定とを、選択された監視カメラIDの人検出情報の全てについて実施する。
そして、制御部1は、ステップS452において、類似する全身画像が有ったか否かを判定する。類似する全身画像が有った場合には、制御部1は、ステップS406に進み、無かった場合には、ステップS411に進む。
ステップS406乃至ステップS412の処理は、上記第1及び第2実施形態と同様である。但し、本実施形態では、追跡結果情報に記憶するフロアマップ位置は、人検出情報の顔情報及び/又は全身情報における顔画像及び/又は全身画像の座標情報から変換される。人検出情報に顔画像と全身画像の両方の座標情報が含まれる場合には、例えば、顔画像の座標情報を優先使用する。また、ステップS407において記憶済みの追跡結果情報が存在せず、それを読み込めなかった場合には、制御部1は、追跡結果情報を新規に作成し、検出日時及びフロアマップ位置に加えて、検出者IDと顔情報又は全身情報も登録して、追跡結果情報テーブル341に記憶させる。
また、ステップS431において、検出者IDの人物が規定時間以上、施設内の一つの位置に滞在していると判別した場合には、制御部1は、ステップS432において、既知情報記憶部33が備える登録人物情報テーブル331から登録者情報を読み込む。登録者情報は、顔画像とその画像特徴量を含む顔情報と、全身画像とその画像特徴量を含む全身情報と、の両方を含む。
次に、ステップS433において、制御部1は、追跡対象者以外で類似する顔画像を判定する。即ち、制御部1は、上記ステップS403で読み込んだ人検出情報の内、追跡対象者に相当する検出者IDの顔情報を除いて、上記規定時間以上の滞在期間に対応する検出日時のものにおける顔情報を対象として、上記ステップS432で読み込んだ登録者情報に含まれる顔情報と比較して、類似する顔画像を検出する。具体的には、制御部1は、顔情報に含まれる顔画像同士、或いは、顔画像の画像特徴量同士を比較することで、顔画像の類似度を判定する。
そして、制御部1は、ステップS434において、類似する顔画像が有ったか否かを判定する。類似する顔画像が有った場合には、制御部1は、ステップS437に進み、無かった場合には、ステップS453に進む。
ステップS437乃至ステップS442の処理は、上記第2実施形態と同様である。但し、ステップS437での追跡対象者と類似顔画像の人物との距離の判定においては、上記ステップS403で読み込んだ人検出情報における顔情報に含まれる顔画像の座標情報が利用される。また、ステップS436において規定時間以上存在する顔画像が無いと判断した場合、ステップS438において追跡対象者が類似顔画像の人物から規定距離内に存在していないと判断した場合、及び、ステップS440において規定時間以上存在する顔画像が無いと判断した場合、本実施形態では、制御部1は、ステップS453に進む。
ステップS453において、制御部1は、追跡対象者以外で類似する全身画像を判定する。即ち、制御部1は、上記ステップS403で読み込んだ人検出情報の内、追跡対象者に相当する検出者IDの全身情報を除いて、上記規定時間以上の滞在期間に対応する検出日時のものにおける全身情報を対象として、上記ステップS432で読み込んだ登録者情報に含まれる全身情報と比較して、類似する全身画像を検出する。具体的には、制御部1は、全身情報に含まれる全身画像同士、或いは、全身画像の画像特徴量同士を比較することで、全身画像の類似度を判定する。
そして、制御部1は、ステップS454において、類似する全身画像が有ったか否かを判定する。類似する全身画像が有った場合には、制御部1は、ステップS455に進み、無かった場合には、ステップS411に進む。
これに対して、類似する全身画像が有った場合には、制御部1は、ステップS455において、それら類似する全身画像の上記規定時間以上の滞在期間内における存在時間を算出する。そして、制御部1は、ステップS456において、算出した存在時間が上記規定時間以上であるか否かを判別する。規定時間以上存在する全身画像が無ければ、制御部1は、上記ステップS411の処理へ進む。
規定時間以上存在する全身画像が有る場合、ステップS457において、制御部1は、追跡対象者と類似全身画像の人物との距離を判定する。両者間の距離は、例えば、上記ステップS403で読み込んだ人検出情報における全身情報に含まれる全身画像の座標情報と、上記ステップS408で読み込んだカメラ情報と、に基づいて、判定することができる。
そして、制御部1は、ステップS458において、この判定した距離により、追跡対象者が類似全身画像の人物から規定距離、例えば2m以内に存在していたか否かを判定する。ここで、規定距離以内に存在していないならば、制御部1は、上記ステップS411に進む。
これに対して、追跡対象者が類似全身画像の人物から規定距離内に存在していた場合には、制御部1は、ステップS459において、類似全身画像の人物が追跡対象者から上記規定距離以内に存在していた時間を算出する。そして、制御部1は、ステップS460において、算出した存在時間が上記規定時間以上であるか否かを判別する。規定時間以上存在する全身画像が無ければ、制御部1は、上記ステップS411の処理へ進む。
規定時間以上存在する全身画像が有る場合、制御部1は、ステップS461において、その類似全身画像の人物の登録者IDを特定する。
その後は、制御部1は、ステップS462において、上記ステップS442と同様、追跡結果情報に、その特定した登録者IDを追記して、追跡結果情報テーブル341に記憶させることとなる。
(3)出力情報の生成及び出力処理
図25は、第3実施形態におけるサーバ装置SVの制御部1により実行される上記ステップS5の出力情報生成出力処理の処理手順を示すフローチャートである。
制御部1は、出力情報生成出力処理部14の制御の下、先ず、ステップS501において、監視端末TMから検索日時の入力が有ったか否かを判定する。監視端末TMから検索日時の入力が無かった場合には、制御部1は、この出力情報生成出力処理を終了して、上記ステップS6へ進む。
これに対して、監視端末TMから検索日時の入力が有ると、制御部1は、ステップS511において、検索日時として指定された日時により追跡結果記憶部34の追跡結果情報テーブル341に記憶さている追跡結果情報から、該当する検出日時を検索する。そして、制御部1は、ステップS503において、例えば、その検索された検出日時における検出者IDと顔情報又は全身情報に含まれる顔画像又は全身画像とを一覧形式で並べた検索結果画面を生成して、監視端末TMに出力する。その後、制御部1は、所定時間の間、監視端末TMからの追跡対象者の指定待ちとなる。即ち、監視端末TMを操作する監視者が、検索結果画面に一覧表示された顔画像又は全身画像を閲覧して、その中から移動経路を確認するべき発熱者を指定するのを待つ。
ステップS504において、監視端末TMから追跡対象者の指定が有った場合、制御部1は、ステップS512において、追跡結果情報テーブル341に記憶さているその指定された顔画像又は全身画像を含む顔情報又は全身情報の検出者IDの追跡結果情報を読み込む。
その後のステップS513乃至ステップS517の処理は、第2実施形態と同様である。
ステップS531において、制御部1は、既知情報記憶部33が備える登録人物情報テーブル331より、その登録者IDに対応する顔情報及び全身情報に含まれる顔画像及び全身画像と説明情報とを読み込む。そして、ステップS532において、制御部1は、その読み込んだ顔画像、全身画像及び説明情報を、追跡画面に追加する。
制御部1は、ステップS520において、こうして作成した経路画面を監視端末TMに出力する。その後、制御部1は、この出力情報生成出力処理を終了して、上記ステップS6へ進む。
(作用・効果)
以上述べたようにこの発明の第3実施形態に係る発熱者追跡装置として動作するサーバ装置SVでは、制御部1は、施設の入口に設置されたサーモカメラSCMからのサーモデータに基づき発熱者を検出したとき、入口に設置された監視カメラCM1の映像データより発熱者の顔画像及び/又は全身画像である第1の画像を取得し、また、施設内に分散して設置された複数台の監視カメラCM2~CMnからの映像データより人物の顔画像及び/又は全身画像である第2の画像を取得して、この第2の画像の中から第1の画像に対応する画像を発熱者の画像として取得する。そして、制御部1は、発熱者の画像である第2の画像を取得する元となった監視カメラの設置状況に基づいて、発熱者の施設内の移動経路を判別する。
このように、全身画像も利用して発熱者を検出することで、顔画像が取得できない状態で発熱者が施設内を移動していたとしても、その移動経路を判別することが可能となる。
また、サーバ装置SVは、監視カメラCM1~CMnからの映像データに対し映像解析を行う映像解析エンジンVE1~VEnの画像解析結果を利用する。
これにより、制御部1は、映像データから人の顔画像又は全身画像を検出する必要が無いので、処理の高速化が図れる。或いは、制御部1を構成するハードウェアプロセッサとして処理能力をそれ程必要としない安価な製品を使用できるようになる。
更に、制御部1は、顔画像又は全身画像の画像特徴量により画像の類似判定処理を行う。
よって、類似判定処理に要する時間の短縮化が図れる。
[その他の実施形態]
各実施形態では、人検出処理の上記ステップS310において、検出者IDと顔画像及び/又は全身画像を含む追跡対象人物情報を生成するようにしている。この追跡対象人物情報を生成する際に、登録者情報を参照して、検出者IDの代わりに登録者IDを用いるようしても良い。更に、上記ステップS5の出力情報生成出力処理において登録者情報を参照して顔画像及び/又は全身画像を取得することも可能であるので、検出者が登録者である場合には、追跡対象人物情報に顔画像及び/又は全身画像を含めなくても良い。このように画像情報を記憶しないことで、データ記憶部3の記憶容量の圧迫を防止できる。
また、第1及び第2実施形態では、人物追跡処理の上記ステップS404において、各監視カメラCM1~CMnからの映像データから検出した顔画像と発熱者の顔画像とを比較している。第1及び第2実施形態においても、ステップS3の人検出処理において、検出した顔画像から画像特徴量を求めて、人検出情報及び追跡対象人物情報に顔画像に加えて画像特徴量も記憶しておき、ステップS404で比較を行う際には、それら画像特徴量同士の比較を行うようにしても良い。
また、第3実施形態における上記ステップS5の出力情報生成出力処理において、上記ステップS520で生成する経路画面には、第2実施形態と同様、接触者の顔画像のみを含める、つまり、全身画像は含めないようにしても良い。
また、図8乃至図11、図14A乃至図15、及び図22乃至図25のフローチャートに示した処理ステップの順序は一例であり、この順に限定するものではない。例えば、図10AのステップS407の処理とステップS408の処理とは、順番が逆でも良い。このように、各処理ステップは、先行の又は後続する処理ステップと齟齬が生じない限り、処理順序等を変更して構わない。
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されても良い。
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。更に、異なる実施形態に亘る構成要素を適宜組み合せても良い。