JP2021096632A - 情報処理システム、情報処理システムの制御方法及びプログラム - Google Patents
情報処理システム、情報処理システムの制御方法及びプログラム Download PDFInfo
- Publication number
- JP2021096632A JP2021096632A JP2019227347A JP2019227347A JP2021096632A JP 2021096632 A JP2021096632 A JP 2021096632A JP 2019227347 A JP2019227347 A JP 2019227347A JP 2019227347 A JP2019227347 A JP 2019227347A JP 2021096632 A JP2021096632 A JP 2021096632A
- Authority
- JP
- Japan
- Prior art keywords
- child
- lost
- detected
- processing system
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
【課題】装置への負荷を軽減しつつ、不特定多数の人々が利用する共有空間を歩いている子供が、迷子であるのか精度良く判別すること。【解決手段】迷子推定装置100は、複数の撮影場所で監視カメラ300a〜300zによりそれぞれ撮影される各映像を用いて子供を検出し(S101)、前記検出した子供ごとに、該子供を含む所定範囲に大人が存在するか否かを判定し(S103)、前記検出した子供を含む所定範囲に大人が存在しないと判定された場合、該検出した子供を迷子候補とする(S109)。また、前記検出した子供を含む所定範囲に大人が存在すると判定された場合、該検出した子供が迷子候補とされている場合には、該子供を迷子候補から除外する(S103〜S108、S110)。【選択図】図5
Description
本発明は、ショッピングセンターの通路等の共有空間に設置されている監視カメラの映像を用いて迷子の推定を行う情報処理システム、情報処理システムの制御方法及びプログラムに関する。
近年、ショッピングセンター等の施設では、複数のユーザで利用される例えば施設内通路等の共有空間の天井等にも防犯用の監視カメラが設置されており、施設内通路等を歩いている複数のユーザの状態を映像で取得することができる。このような防犯用カメラで取得した映像を用いて、施設内の共有空間での迷子等になっている子供を検出することが望まれている。
特許文献1には、各保護者についての顔特徴情報を保持する保護者情報と、各子供についてその顔特徴情報と迷子度と保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースを用いるものが開示されている。具体的には、特許文献1では、入場口での撮像データ内に写っている人物に関し、推定年齢に基づき子供とその保護者とに分類し、子供とその保護者とを対応付けて、上述の保護者推定データベースに登録する。そして、施設内に設置される監視カメラの情報と、上述の保護者推定データベースの顔特徴情報を比較して、迷子度を判定する。
しかし、上記特許文献1の技術では、共有空間を歩いている不特定多数の人々の顔特徴情報と保護者推定データベースの顔特徴情報を比較して迷子度を判定するため、人数が増えると処理の負荷が極端に増大してしまうといった課題があった。従来の技術では、装置への負荷を軽減しつつ、不特定多数の人々が利用する共有空間で見つかった子供が迷子であるのか精度良く判別できる技術がなかった。
本発明は、上記の課題を解決するためになされたものである。本発明は、装置への負荷を軽減しつつ、不特定多数の人々が利用する共有空間で見つかった子供が迷子であるのか精度良く判別できる仕組みを提供することを目的とするものである。
本発明は、複数の撮影場所でそれぞれ撮影される各映像を用いて子供を検出する検出手段と、前記検出した子供ごとに、該子供を含む所定範囲に大人が存在するか否かを判定する判定手段と、前記検出した子供を含む所定範囲に大人が存在しないと判定された場合、該検出した子供を迷子候補とする推定手段と、前記検出した子供を含む所定範囲に大人が存在すると判定された場合、該検出した子供が迷子候補とされている場合には、該子供を迷子候補から除外する除外手段と、を有することを特徴とする。
本発明によれば、装置への負荷を軽減しつつ、不特定多数の人々が利用する共有空間で見つかった子供が、迷子であるのか精度良く判別することが可能となる。
以下、本発明を実施するための形態について図面を用いて説明する。
図1、図2は、本発明の一実施形態を示す情報処理システムの概要を説明する図である。
本実施形態の情報処理システムは、図1(a)のようなショッピングセンター等の施設(屋外のイベント会場等も含む)において利用することを想定したシステムである。本情報処理システムは、このような施設において、複数のユーザで利用される例えば施設内通路等の共有空間(例えば図1(b)のような場所)の天井等に設けられた防犯用の監視カメラ300で撮影される映像を用いて、迷子の検知(推定)を行う。
図1、図2は、本発明の一実施形態を示す情報処理システムの概要を説明する図である。
本実施形態の情報処理システムは、図1(a)のようなショッピングセンター等の施設(屋外のイベント会場等も含む)において利用することを想定したシステムである。本情報処理システムは、このような施設において、複数のユーザで利用される例えば施設内通路等の共有空間(例えば図1(b)のような場所)の天井等に設けられた防犯用の監視カメラ300で撮影される映像を用いて、迷子の検知(推定)を行う。
〔迷子候補の判別方法〕
本情報処理システムでは、監視カメラ300の映像を用いて、歩いている子供を検出し、大人と子供との距離等から、大人が近くに存在していない子供を迷子候補と推定する。例えば、図2(a)の監視カメラ映像900では、矢印901W方向に移動している子供901は後述する迷子推定エリア902内に大人が存在しないため、本情報処理システムでは子供901を迷子候補と推定する。一方、矢印903W方向に移動している子供903は迷子推定エリア904内に、子供903と同じ方向に移動している大人905が存在するため、本情報処理システムでは子供903は迷子候補としない。なお、子供ごとに設けられる迷子推定エリア(所定範囲)は、例えば、その子供を中心とした1メートル四方のエリア等とするが、これに限定されるものではなく、その子供を含む所定領域であればよい。更に、所定領域の代わりに、その子供を中心とした所定距離(境界線)を、所定範囲として設定しても良い。
本情報処理システムでは、監視カメラ300の映像を用いて、歩いている子供を検出し、大人と子供との距離等から、大人が近くに存在していない子供を迷子候補と推定する。例えば、図2(a)の監視カメラ映像900では、矢印901W方向に移動している子供901は後述する迷子推定エリア902内に大人が存在しないため、本情報処理システムでは子供901を迷子候補と推定する。一方、矢印903W方向に移動している子供903は迷子推定エリア904内に、子供903と同じ方向に移動している大人905が存在するため、本情報処理システムでは子供903は迷子候補としない。なお、子供ごとに設けられる迷子推定エリア(所定範囲)は、例えば、その子供を中心とした1メートル四方のエリア等とするが、これに限定されるものではなく、その子供を含む所定領域であればよい。更に、所定領域の代わりに、その子供を中心とした所定距離(境界線)を、所定範囲として設定しても良い。
また、本情報処理システムでは、一旦迷子候補となった子供であっても、大人との距離が近くなったら迷子候補から除外する。例えば、図2(b)の監視カメラ映像910では、迷子推定された矢印911W方向に移動している子供911(図2(a)の子供901に対応)の迷子推定エリア912内に、子供911と同じ方向(矢印913W方向)に移動する大人913が存在することとなったため、本情報処理システムでは子供911を迷子候補から除外する。
このように、本情報処理システムでは、歩いている子供の近くに大人が存在していない子供を迷子候補と推定し、一旦迷子候補となった子供であっても、大人との距離が近くなったら迷子候補から除外する構成である。このため、施設の共有空間を利用する不特定多数の人々のうち、迷子判別が必要な対象者を適切に減らし、迷子判別の負荷を軽減することができる。よって、不特定多数の人々が利用する共有空間を歩いている子供が、迷子であるのか精度良く判別することが可能となる。
また、本情報処理システムでは、迷子と推定した子供の映像の撮影時刻とその映像の撮影場所(すなわちいずれの監視カメラ300で撮影された映像かという情報)とを対応付けしてデータベースに格納しておく。このため、例えば防犯センター等に常駐する監視員等が保存されている監視カメラ映像により、迷子推定されている子供を容易に確認し、適切に対処することが可能となる。以下、本実施形態の情報処理システムについて詳細に説明する。
〔情報処理システムの全体構成〕
図3は、本実施形態の情報処理システムの構成の一例を示す図であり、図1、図2と同一のものには同一の符号を付してある。
本実施形態の情報処理システムにおいて、迷子推定装置100は、複数の監視カメラ300a〜300z(以下単に「監視カメラ300」という)で撮影されている施設内の映像を用いて施設内の子供の迷子推定を行う情報処理装置である。なお、迷子推定装置100と監視カメラ300とは別体でもよいが、複数の監視カメラ300のいずれかに、内部に迷子推定装置100を組み込んで、該内部で迷子を推定するエッジ処理型の監視カメラ300を用いてもよい。
図3は、本実施形態の情報処理システムの構成の一例を示す図であり、図1、図2と同一のものには同一の符号を付してある。
本実施形態の情報処理システムにおいて、迷子推定装置100は、複数の監視カメラ300a〜300z(以下単に「監視カメラ300」という)で撮影されている施設内の映像を用いて施設内の子供の迷子推定を行う情報処理装置である。なお、迷子推定装置100と監視カメラ300とは別体でもよいが、複数の監視カメラ300のいずれかに、内部に迷子推定装置100を組み込んで、該内部で迷子を推定するエッジ処理型の監視カメラ300を用いてもよい。
なお、各監視カメラ300により撮影される各共有空間の映像は、それぞれLAN等を介して迷子推定装置100に送信されるとともに、表示制御装置101にも送信されて保存される。なお、各監視カメラの映像は、表示制御装置101以外の不図示のデータサーバ(以下「監視カメラ映像記録サーバ」と呼ぶ)等に送信され、監視カメラ映像記録サーバで保存される構成でもよい。
また、迷子推定装置100は、迷子と推定した子供の映像の撮影時刻とその映像の撮影場所とを対応付けて、LAN等を介して表示制御装置101に送信する。
表示制御装置101は、迷子推定装置100から送信される、迷子と推定した子供の映像の撮影時刻とその映像の撮影場所とを対応付けした情報を保持管理し、迷子と推定される子供の確認に利用可能にする。具体的には、表示制御装置101は、迷子推定装置100で迷子推定されている子供の映像を、施設の防犯センター等に設置される管理者端末200に表示制御する。例えば、表示制御装置101にWebサーバ等を実装し、LAN等を介した管理者端末200で動作するWebブラウザからの要求に応じて、迷子推定されてている子供の映像を応答する。これにより、防犯センター等に常駐する監視員等が、迷子推定されている子供の映像を容易に確認可能になる。
表示制御装置101は、迷子推定装置100から送信される、迷子と推定した子供の映像の撮影時刻とその映像の撮影場所とを対応付けした情報を保持管理し、迷子と推定される子供の確認に利用可能にする。具体的には、表示制御装置101は、迷子推定装置100で迷子推定されている子供の映像を、施設の防犯センター等に設置される管理者端末200に表示制御する。例えば、表示制御装置101にWebサーバ等を実装し、LAN等を介した管理者端末200で動作するWebブラウザからの要求に応じて、迷子推定されてている子供の映像を応答する。これにより、防犯センター等に常駐する監視員等が、迷子推定されている子供の映像を容易に確認可能になる。
なお、図3に示した各機器の通信は、LANに限定されるものではなく、その他の各種通信方法を用いるものでもよい。
〔ハードウェア構成〕
図4は、迷子推定装置100の構成の一例を示すブロック図であり、例えばパーソナルコンピュータ(PC)等で構成可能である。
図4において、CPU201は、ROM203又は外部メモリ212等に格納されたプログラムを必要に応じてRAM202にロードして実行することにより、各種制御を実行する。RAM202は、CPU201の作業領域として利用される。ROM203は、各種プログラムや各種データが記憶されている。
図4は、迷子推定装置100の構成の一例を示すブロック図であり、例えばパーソナルコンピュータ(PC)等で構成可能である。
図4において、CPU201は、ROM203又は外部メモリ212等に格納されたプログラムを必要に応じてRAM202にロードして実行することにより、各種制御を実行する。RAM202は、CPU201の作業領域として利用される。ROM203は、各種プログラムや各種データが記憶されている。
入力コントローラ205は、キーボード(KB)209や図示しないポインティングデバイス(マウス、タッチパネル等)からの入力を制御する。ビデオコントローラ206は、ディスプレイ211への表示を制御する。なお、迷子推定装置100では、入力コントローラ205にカメラデバイス210が接続されていなくてもよい。また、キーボード209やディスプレイ211も、迷子推定装置100に備えられていなくてもよい。
メモリコントローラ207は、ハードディスク(HD)やソリッドステートドライブ(SSD)、フラッシュメモリ等の外部メモリ212へのアクセスを制御する。
通信I/Fコントローラ208は、有線又は無線のネットワークとの通信を制御する。
システムバス204は、各デバイス201〜208を接続する。
通信I/Fコントローラ208は、有線又は無線のネットワークとの通信を制御する。
システムバス204は、各デバイス201〜208を接続する。
なお、表示制御装置101のハードウェア構成も基本的に迷子推定装置100と同様である。
また、管理者端末200のハードウェア構成も基本的に迷子推定装置100と同様であるが、入力コントローラ205に、キーボード(KB)209や図示しないポインティングデバイス、ビデオコントローラ206にディスプレイ211が接続されている。
また、監視カメラ300も同様の構成で実現可能であるが、キーボード209やディスプレイ211等の代わりに、可視画像を撮影するカメラデバイス210を備える。監視カメラ300には、ビデオコントローラ206やディスプレイ211は備えられていなくてもよい。
また、管理者端末200のハードウェア構成も基本的に迷子推定装置100と同様であるが、入力コントローラ205に、キーボード(KB)209や図示しないポインティングデバイス、ビデオコントローラ206にディスプレイ211が接続されている。
また、監視カメラ300も同様の構成で実現可能であるが、キーボード209やディスプレイ211等の代わりに、可視画像を撮影するカメラデバイス210を備える。監視カメラ300には、ビデオコントローラ206やディスプレイ211は備えられていなくてもよい。
以下、フローチャートを用いて、本実施形態の情報処理システムの迷子推定処理動作について説明する。
図5は、本実施形態の情報処理システムの迷子推定処理動作の一例を示すフローチャートである。この図において、迷子推定装置100の動作は、迷子推定装置100のCPU201が外部メモリ212に格納されたプログラムを必要に応じてRAM202にロードして実行することにより実現される。また、表示制御装置101の動作は、表示制御装置101のCPUが外部メモリに格納されたプログラムを必要に応じてRAMにロードして実行することにより実現される。
図5は、本実施形態の情報処理システムの迷子推定処理動作の一例を示すフローチャートである。この図において、迷子推定装置100の動作は、迷子推定装置100のCPU201が外部メモリ212に格納されたプログラムを必要に応じてRAM202にロードして実行することにより実現される。また、表示制御装置101の動作は、表示制御装置101のCPUが外部メモリに格納されたプログラムを必要に応じてRAMにロードして実行することにより実現される。
また、図6は、本実施形態の情報処理システムで用いる各種テーブルを例示する図である。
図6(a)は、監視カメラテーブルを示す図であり、例えば表示制御装置101の外部メモリに記憶される。本システムが稼働している間、各監視カメラ300は撮影している映像を常に迷子推定装置100と表示制御装置101に送信している。迷子推定装置100は、この映像を用いて迷子推定し、表示制御装置101はこの映像を保存し、図6(a)のような監視カメラテーブルを用いて管理する。なお、監視カメラの映像データが、不図示の監視カメラ映像記録サーバに保存される構成の場合には、監視カメラテーブルは、監視カメラ映像記録サーバに記憶される。
図6(a)は、監視カメラテーブルを示す図であり、例えば表示制御装置101の外部メモリに記憶される。本システムが稼働している間、各監視カメラ300は撮影している映像を常に迷子推定装置100と表示制御装置101に送信している。迷子推定装置100は、この映像を用いて迷子推定し、表示制御装置101はこの映像を保存し、図6(a)のような監視カメラテーブルを用いて管理する。なお、監視カメラの映像データが、不図示の監視カメラ映像記録サーバに保存される構成の場合には、監視カメラテーブルは、監視カメラ映像記録サーバに記憶される。
図6(b)は、迷子判別の条件テーブルを示す図であり、迷子推定装置100の外部メモリ212に予め記憶されている。
図6(c)は、画像管理テーブルを示す図であり、表示制御装置101の外部メモリに記憶される。画像管理テーブルは、子供ごと(迷子IDごと)に作成されて保持される。この画像管理テーブルは、迷子候補として推定される子供が検出された映像の撮影時刻と該静止物を検出した映像の撮影場所の情報との対応付けを保持管理するためのデータベースとして機能する。
図6(d)は、迷子管理テーブルを示す図であり、迷子推定装置100の外部メモリ212に予め記憶される。
図6(c)は、画像管理テーブルを示す図であり、表示制御装置101の外部メモリに記憶される。画像管理テーブルは、子供ごと(迷子IDごと)に作成されて保持される。この画像管理テーブルは、迷子候補として推定される子供が検出された映像の撮影時刻と該静止物を検出した映像の撮影場所の情報との対応付けを保持管理するためのデータベースとして機能する。
図6(d)は、迷子管理テーブルを示す図であり、迷子推定装置100の外部メモリ212に予め記憶される。
上述したように、各監視カメラ300は撮影している映像を逐次、迷子推定装置100に送信している。迷子推定装置100は、各監視カメラから映像を受信し、監視カメラ300ごとに、並列に図5のフローチャートに示す処理を実行する。なお、各監視カメラには、それぞれ撮影場所の情報、例えば「中央通路」、「中央出口」、「西通路」、「西出口」、「東通路」、「東出口」等が対応付けられており、迷子推定装置100は、映像を受信した監視カメラ300の撮影場所の情報を認識可能である。
まずS101において、迷子推定装置100は、処理対象の監視カメラ300から受信した映像データから、最新の所定時間の映像(例えば5秒間の映像)を取得し、該映像内で走ったり、歩いている、又は立ち止まっている子供を検出する。なお、本実施形態で行う子供や大人の検出(識別)は、例えば予め子供や大人の特徴を学習させた学習済み画像認識モデルを用いて行ってもよいし、所定の学習済モデルを用いて映像から年齢を判定して所定年齢よりも低いと判定されて画像の人物を子供としてもよいし、人物の画像サイズ等から子供や大人を検出する方法など、その他の方法を用いてもよい。本発明において「子供」、「大人」は、上述のような方法により子供、大人として識別される人物を示し、厳密に法律上の成年年齢に達していない人物、成年年齢に達している人物に限定されるものではない。
次にS102において、迷子推定装置100は、上記S101で検出した走ったり、歩いている、又は立ち止まっている子供ごとに迷子推定エリアを決め、該迷子推定エリアごとに、並列に以下のS103〜S110の処理を実行する(不図示)。
まずS103において、迷子推定装置100は、処理対象の迷子推定エリア内に大人を検出したか否かを判定する。そして、処理対象の迷子推定エリア内に大人を検出できない場合(S103でNOの場合)、迷子推定装置100は、S109に処理を進める。
S109において、迷子推定装置100は、上記処理対象の迷子推定エリアに対応する子供を迷子と推定し(迷子候補とし)、迷子と推定した子供の特徴量(顔の特徴量でも全体の特徴量等でもよい)を抽出する。特徴量の抽出は、学習済み画像認識モデル等を用いて行ってもよいし、子供の画像(顔画像でも全体画像等でもよい)自体を特徴量とするなど他の方法を用いてもよい。さらに、迷子推定装置100は、上記抽出した特徴量と迷子管理テーブル(図6(d))に登録されている特徴量とを比較し、上記迷子候補とした子供と同一人物が、迷子管理テーブルに登録されているか判定する。なお、特徴量を用いた同一人物の判定は、学習済み画像認識モデル等を用いて行ってもよいし、他の方法を用いてもよい。登録されていない場合、該迷子に迷子IDを付与して迷子管理テーブルに登録する。一方、登録されている場合、その迷子IDを取得する。そして、迷子推定装置100は、迷子ID、迷子検出時刻(例えば迷子推定した子供を検出した映像の撮影時刻等)、検出場所(監視カメラ(すなわち監視カメラの映像)に対応付けられている撮影場所)、子供の移動方向等の情報を、表示制御装置101に送信する。表示制御装置101は、この情報を、迷子IDごとの画像管理テーブル(図6(c))に保存する。表示制御装置101は、画像管理テーブルで管理していない迷子IDの情報を受信した場合には、その迷子IDに対応する画像管理テーブルを生成し、上記受信した情報を保存する。一方、既にその迷子IDに対応する画像管理テーブルが存在する場合、該画像管理テーブルを上記受信した情報を追加する。いずれの場合も、このステップでは、表示制御装置101は、解除指示は「OFF」として登録する。
本S109の処理の後、迷子推定装置100は、S111に処理を進める。
本S109の処理の後、迷子推定装置100は、S111に処理を進める。
一方、上記S103において、迷子推定装置100は、処理対象の迷子推定エリア内に大人を検出したと判定した場合(S103でYESの場合)、S104に処理を進める。
S104において、迷子推定装置100は、迷子推定エリアが移動している場合には、上記処理対象の迷子推定エリアで検出した大人の移動方向を取得する。例えば、図7に示すように、監視カメラ300ごとに、その映像に対する移動方向が定義されており、この定義情報が予め迷子推定装置100の外部メモリ212に記憶されているものとするが、この方法に限定されるものではない。
S104において、迷子推定装置100は、迷子推定エリアが移動している場合には、上記処理対象の迷子推定エリアで検出した大人の移動方向を取得する。例えば、図7に示すように、監視カメラ300ごとに、その映像に対する移動方向が定義されており、この定義情報が予め迷子推定装置100の外部メモリ212に記憶されているものとするが、この方法に限定されるものではない。
図7は、監視カメラ映像内の移動方向の定義を説明する図である。この図では、例えば、監視カメラ(中央通路)の移動方向の定義が例示されており、映像700中、矢印W1から矢印W2の間の方向は「中央出口方向」、矢印W2から矢印W3の間の方向は「西通路方向」、矢印W3から矢印W4の間の方向は「北通路方向」、矢印W4から矢印W1の間の方向は「東通路方向」と定義されている。この例では、映像700中の矢印701W方向に移動している子供701は「中央出口方向」に移動していると判断される。これにより、映像内の複数の人物が同じ方向(方面)に移動しているか否かが判定可能になる。なお、ここでは、説明を簡単にするため、移動方向が4つの方向に分類されているが、さらに細分化されていてもよい。
次にS105において、迷子推定装置100は、上記処理対象の迷子推定エリア内の子供の移動方向と、上記S104で取得した大人の移動方向が同じ(同じ方面)か否かを判定する。子供の移動方向と大人の移動方向が同じ(同じ方面)でないと判定された場合(S105でNOの場合)、迷子推定装置100は、S109に処理を進める。
一方、子供の移動方向と大人の移動方向が同じ(同じ方面)と判定された場合(S105でYESの場合)、迷子推定装置100は、S106に処理を進める。
一方、子供の移動方向と大人の移動方向が同じ(同じ方面)と判定された場合(S105でYESの場合)、迷子推定装置100は、S106に処理を進める。
S106において、迷子推定装置100は、上記処理対象の迷子推定エリアに対応する子供が迷子と推定済みか否かを判定する。この判定では、迷子推定装置100は、上記処理対象の迷子推定エリアに対応する子供の特徴量を抽出し、該抽出した特徴量と迷子管理テーブル(図6(d))に登録されている特徴量とを比較し、上記子供と同一人物が迷子管理テーブルに登録されている場合には、その子供が迷子推定済みと判断する。一方、迷子管理テーブルに登録されていない場合には、その子供は迷子と推定されていないと判断する。
上記S106において、上記処理対象の迷子推定エリアに対応する子供が迷子と推定されていないと判定した場合(S106でNOの場合)、迷子推定装置100は、S111に処理を進める。
一方、上記処理対象の迷子推定エリアに対応する子供が迷子と推定されていると判定した場合(S106でYESの場合)、迷子推定装置100は、S107に処理を進める
一方、上記処理対象の迷子推定エリアに対応する子供が迷子と推定されていると判定した場合(S106でYESの場合)、迷子推定装置100は、S107に処理を進める
S107において、迷子推定装置100は、大人の迷子推定エリアの滞在時間の計測を開始し、S108に処理を進める。なお、すでに計測が開始されている場合には、そのままS108に処理を進める。詳細には、迷子推定装置100は、迷子管理テーブル(図6(d))内に登録されている上記処理対象の迷子推定エリア内の子供に対応する情報に、大人滞在時間計測開始時刻が格納されていない場合、上記大人を検出した映像の時刻を、大人滞在時間計測開始時刻に格納し(計測開始し)、S108に処理を進める。一方、迷子管理テーブル内に登録されている上記処理対象の迷子推定エリア内の子供に対応する情報に、既に大人滞在時間計測開始時刻が格納されている場合、そのままS108に処理を進める。
S108において、迷子推定装置100は、移動方向が同じ大人が所定時間(図6(b)の滞在時間条件)以上滞在しているか否かを判定する。この際、迷子推定装置100は、迷子管理テーブル(図6(d))内に登録されている上記処理対象の迷子推定エリア内の子供の情報に格納されている大人滞在時間計測開始時刻と上記大人を検出した映像の時刻とを比較して、所定時間以上滞在しているか判定する。すなわち、上記処理対象の迷子推定エリアに大人が存在するとの判定された状態(上記S105でYESの状態)が所定時間以上継続しているか判定する。
上記S108において、移動方向が同じ大人の滞在時間が未だ所定時間に達していないと判定した場合(S108でNOの場合)、迷子推定装置100は、S109に処理を進める。この場合、S109において、迷子推定装置100は、上記迷子ID、迷子検出時刻、撮影場所、子供の移動方向等の情報を、表示制御装置101に送信する。
一方、上記S108において、移動方向が同じ大人が所定時間以上滞在していると判定した場合(S108でYESの場合)、迷子推定装置100は、S110に処理を進める。
S110において、迷子推定装置100は、迷子の解除指示を、上記迷子ID、迷子検出時刻、撮影場所、子供の移動方向等の情報とともに、表示制御装置101に送信する。表示制御装置101は、この情報を、迷子IDごとの画像管理テーブルに保存する。表示制御装置101は、受信した迷子IDに対応する画像管理テーブルに上記受信した情報を追加する。その際、表示制御装置101は、解除指示を「ON」として登録する。
なお、迷子推定装置100は、本S110のタイミングで、上記迷子IDの情報を図6(d)の迷子管理テーブルから削除する。
本S110の処理の後、迷子推定装置100は、S111に処理を進める。
図示しないが、以上S103〜S110の処理を、上記S102で決定した迷子推定エリアごとに並列に実行する。
なお、迷子推定装置100は、本S110のタイミングで、上記迷子IDの情報を図6(d)の迷子管理テーブルから削除する。
本S110の処理の後、迷子推定装置100は、S111に処理を進める。
図示しないが、以上S103〜S110の処理を、上記S102で決定した迷子推定エリアごとに並列に実行する。
S111において、迷子推定装置100は、上記S101の処理を開始してから所定時間(一例として10秒とする)経過するまで待機する。そして、所定時間経過した場合(S111でYESの場合)、迷子推定装置100は、S101に処理を戻し、次の映像の処理に移行する。
以上説明したように、施設の共有空間を利用する不特定多数の人々のうち、迷子判別が必要な対象者を適切に減らし、迷子判別の負荷を軽減することができる。これにより、装置への負荷を軽減しつつ、不特定多数の人々が利用する共有空間を歩いている子供が、迷子であるのか精度良く判別することが可能となる。
以下、フローチャートを用いて、本実施形態の情報処理システムの表示制御動作について説明する。
図8は、本実施形態の情報処理システムの表示制御動作の一例を示すフローチャートである。この図において、表示制御装置101の動作は、表示制御装置101のCPUが外部メモリに格納されたプログラムを必要に応じてRAMにロードして実行することにより実現される。また、管理者端末200の動作は、管理者端末200のCPUが外部メモリに格納されたプログラムを必要に応じてRAMにロードして実行することにより実現される。
図8は、本実施形態の情報処理システムの表示制御動作の一例を示すフローチャートである。この図において、表示制御装置101の動作は、表示制御装置101のCPUが外部メモリに格納されたプログラムを必要に応じてRAMにロードして実行することにより実現される。また、管理者端末200の動作は、管理者端末200のCPUが外部メモリに格納されたプログラムを必要に応じてRAMにロードして実行することにより実現される。
なお、本フローチャートの処理を開始する前に、管理者端末200は表示制御装置101に対してログイン済みであるものとする。
まずS201において、管理者端末200(例えばWebブラウザ)が、表示制御装置101に対して迷子画像の表示要求を送信する。これを受信した、表示制御装置101は、S202に処理を進める。
まずS201において、管理者端末200(例えばWebブラウザ)が、表示制御装置101に対して迷子画像の表示要求を送信する。これを受信した、表示制御装置101は、S202に処理を進める。
S202において、表示制御装置101は、表示制御装置101の外部メモリ(又は監視カメラ映像記録サーバ)に記憶されている迷子推定のデータ(画像管理テーブル(図6(c)))を参照して、迷子推定されている子供の画像データを取得する。詳細には、表示制御装置101は、迷子IDごとに画像管理テーブル(図6(c))を参照し、最新のレコードの解除指示が「OFF」のものを特定し、該画像管理テーブルの“監視カメラの画像”項目の情報(撮影場所と迷子検出時刻を含む情報)に基づいて画像データを取得する。
例えば、現在時刻が「15時12分30秒」の場合、この時点での迷子ID:0001の画像管理テーブルでは、最新の検出時刻「15:12:25」のレコードの解除指示が「OFF」であるため、検出時刻「15:12:15」の監視カメラの画像の情報(中央通路の15:12:15)と、検出時刻「15:12:25」の監視カメラの画像の情報(中央出口の15:12:25)を取得する。そして、これらの情報に対応する監視カメラの画像を、監視カメラテーブルを用いて取得する。すなわち、「中央通路」の監視カメラの映像データから時刻「15:12:15」の映像データ、中央出口の監視カメラの映像データから時刻「15:12:25」の映像データを取得する。なお、監視カメラの映像データが、監視カメラ映像記録サーバに保存されている場合には、監視カメラ映像記録サーバから取得する。
例えば、現在時刻が「15時12分30秒」の場合、この時点での迷子ID:0001の画像管理テーブルでは、最新の検出時刻「15:12:25」のレコードの解除指示が「OFF」であるため、検出時刻「15:12:15」の監視カメラの画像の情報(中央通路の15:12:15)と、検出時刻「15:12:25」の監視カメラの画像の情報(中央出口の15:12:25)を取得する。そして、これらの情報に対応する監視カメラの画像を、監視カメラテーブルを用いて取得する。すなわち、「中央通路」の監視カメラの映像データから時刻「15:12:15」の映像データ、中央出口の監視カメラの映像データから時刻「15:12:25」の映像データを取得する。なお、監視カメラの映像データが、監視カメラ映像記録サーバに保存されている場合には、監視カメラ映像記録サーバから取得する。
次にS203において、表示制御装置101は、上記S202で取得した、迷子推定の画像、検出時刻、移動方向を表示する情報(例えば、図9の1000に示すようなWebページ)を生成し、管理者端末200に送信する。すなわち、表示制御装置101は、迷子候補の画像を管理者端末200(Webブラウザ)で表示可能に制御する。この情報(Webページ)を受信した、管理者端末200(Webブラウザ)は、S204に処理を進める。
S204において、管理者端末200(Webブラウザ)は、表示制御装置101から受信した情報を、表示する。例えば、図9の1000のような情報(Webページ)を、管理者端末200のディスプレイに表示する。
図9は、管理者端末200に表示される迷子推定された子供の表示情報(迷子リスト)の一例を示す図である。
図8に示すように、この表示情報(迷子リスト)には、画像管理テーブル(図6(c))から取得された情報(迷子検出時刻、撮影場所、移動方向等の情報)が、迷子推定された子供の画像に対応して含まれる。
図8に示すように、この表示情報(迷子リスト)には、画像管理テーブル(図6(c))から取得された情報(迷子検出時刻、撮影場所、移動方向等の情報)が、迷子推定された子供の画像に対応して含まれる。
以上説明したように、例えば防犯センター等に常駐する監視員等は、管理者端末200に表示される迷子リスト(図9)により、迷子推定されている子供を容易に確認し、適切に対処することが可能となる。
なお、迷子推定装置100の機能は、1台のコンピュータにより実現されるものであっても、複数のコンピュータにより実現されるものであってもよい。例えば、迷子推定装置100の機能は、クラウドサービス等を利用して実現される構成であってもよい。
また、迷子推定装置100と表示制御装置101を1台のコンピュータにより実現する構成でもよいし、これらをクラウドサービス等を利用して実現する構成であってもよい。
また、迷子推定装置100と表示制御装置101を1台のコンピュータにより実現する構成でもよいし、これらをクラウドサービス等を利用して実現する構成であってもよい。
また、迷子推定装置100や表示制御装置101の機能を、いずれかの監視カメラ300が備える制御部で実現するようにしてもよい。すなわち、いずれかの監視カメラ300が備える制御部が、各監視カメラ300が備えるカメラデバイスで撮影している映像を用いて迷子推定や迷子画像の表示制御の機能を実現するようにしてもよい。
上記実施形態では、ショッピングセンター等の施設内の共有空間に設置されている監視カメラの映像を用いて迷子の推定を行う構成について説明したが、本発明は施設内に限定されるものではなく、屋外等にも適用可能である。
以上説明したように、共有空間を利用する不特定多数の人々のうち、迷子判別が必要な対象者を適切に減らし、迷子判別の負荷を軽減することができる。これにより、装置への負荷を軽減しつつ、不特定多数の人々が利用する共有空間を歩いている子供が、迷子であるのか精度良く判別することが可能となる。さらに、防犯センター等に常駐する監視員等が、表示される迷子リストを用いて、迷子推定されている子供を容易に確認し、適切に対処することも可能となる。
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、上記各実施形態を組み合わせた構成も全て本発明に含まれるものである。
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、上記各実施形態を組み合わせた構成も全て本発明に含まれるものである。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。
本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施形態の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。
本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施形態の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
100 迷子推定装置
101 表示制御装置
200 管理者端末
300 監視カメラ
101 表示制御装置
200 管理者端末
300 監視カメラ
Claims (9)
- 複数の撮影場所でそれぞれ撮影される各映像を用いて子供を検出する検出手段と、
前記検出した子供ごとに、該子供を含む所定範囲に大人が存在するか否かを判定する判定手段と、
前記検出した子供を含む所定範囲に大人が存在しないと判定された場合、該検出した子供を迷子候補とする推定手段と、
前記検出した子供を含む所定範囲に大人が存在すると判定された場合、該検出した子供が迷子候補とされている場合には、該子供を迷子候補から除外する除外手段と、
を有することを特徴とする情報処理システム。 - 前記除外手段は、前記検出した子供を含む所定範囲に大人が存在すると判定された状態が所定時間以上継続した場合、該検出した子供が迷子候補とされている場合には、該子供を迷子候補から除外することを特徴とする請求項1に記載の情報処理システム。
- 前記映像内に映っている人物の移動方向を取得する取得手段を有し、
前記検出した子供を含む所定範囲に、該子供の移動方向と同じ方面に移動する大人が存在すると判定された場合、該検出した子供が迷子候補とされている場合には、該子供を迷子候補から除外することを特徴とする請求項1又は2に記載の情報処理システム。 - 前記推定手段により前記迷子候補として推定された子供ごとに、該子供が検出された映像の撮影時刻と該子供を検出した映像の撮影場所の情報とを対応付けする対応付け手段と、
前記除外手段により前記迷子候補から子供が除外された場合、該子供についての前記対応付けを解除する解除手段を有することを特徴とする請求項1又は2に記載の情報処理システム。 - 前記各映像が保存されている装置から、前記対応付けされている情報に基づく画像を取得し、迷子候補の画像として表示可能に制御する表示制御手段を有することを特徴とする請求項4に記載の情報処理システム。
- 前記表示制御手段は、前記迷子候補の画像を、前記対応付けされている情報とともに表示可能に制御することを特徴とする請求項5に記載の情報処理システム。
- 前記各映像は、前記複数の撮影場所に設置される監視カメラによりそれぞれ撮影される映像であることを特徴とする請求項1〜6のいずれか1項に記載の情報処理システム。
- 複数の撮影場所でそれぞれ撮影される各映像を用いて迷子を推定する情報処理システムの制御方法であって、
複数の撮影場所でそれぞれ撮影される各映像を用いて子供を検出する検出工程と、
前記検出した子供ごとに、該子供を含む所定範囲に大人が存在するか否かを判定する判定工程と、
前記検出した子供を含む所定範囲に大人が存在しないと判定された場合、該検出した子供を迷子候補とする推定工程と、
前記検出した子供を含む所定範囲に大人が存在すると判定された場合、該検出した子供が迷子候補とされている場合には、該子供を迷子候補から除外する除外工程と、
を有することを特徴とする情報処理システムの制御方法。 - コンピュータを、請求項1〜7のいずれか1項に記載の手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019227347A JP2021096632A (ja) | 2019-12-17 | 2019-12-17 | 情報処理システム、情報処理システムの制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019227347A JP2021096632A (ja) | 2019-12-17 | 2019-12-17 | 情報処理システム、情報処理システムの制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021096632A true JP2021096632A (ja) | 2021-06-24 |
Family
ID=76431379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019227347A Pending JP2021096632A (ja) | 2019-12-17 | 2019-12-17 | 情報処理システム、情報処理システムの制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021096632A (ja) |
-
2019
- 2019-12-17 JP JP2019227347A patent/JP2021096632A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6741130B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US11157778B2 (en) | Image analysis system, image analysis method, and storage medium | |
WO2018096787A1 (ja) | 人物行動監視装置および人物行動監視システム | |
JP6233624B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2024015359A (ja) | 人物検出システム | |
US11281894B2 (en) | Non-boarded passenger search device, non-boarded passenger search method, and recording medium | |
JP2018201176A (ja) | アラート出力制御プログラム、アラート出力制御方法およびアラート出力制御装置 | |
JP2021132267A (ja) | 映像監視システムおよび映像監視方法 | |
JP2019020777A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
JP2005086626A (ja) | 広域監視装置 | |
US20190147251A1 (en) | Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium | |
JP2020120323A (ja) | 情報処理装置および照合方法 | |
KR20190099216A (ko) | Rgbd 감지 기반 물체 검출 시스템 및 그 방법 | |
US10783365B2 (en) | Image processing device and image processing system | |
US20190122228A1 (en) | Examination device | |
JP2021096632A (ja) | 情報処理システム、情報処理システムの制御方法及びプログラム | |
JP2021056869A (ja) | 施設利用者管理システム | |
JP6941458B2 (ja) | 監視システム | |
JP2020166590A (ja) | 監視システム、監視装置、監視方法および監視プログラム | |
WO2022059223A1 (ja) | 映像解析システムおよび映像解析方法 | |
JP2017017488A (ja) | 監視システム、撮影制御方法及びプログラム | |
JP7439897B2 (ja) | 滞在管理装置、滞在管理方法、プログラム及び滞在管理システム | |
JP2015176489A (ja) | 監視システムおよび監視方法ならびに監視プログラム | |
JP2004187116A (ja) | 行動監視システムおよびプログラム | |
US20220130174A1 (en) | Image processing apparatus, control method, and non-transitory storage medium |