以下、適宜図面を参照しながら、本発明に係る動線分析システム及び動線分析方法を具体的に開示した実施形態(以下、「本実施形態」という)を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。なお、本発明は、カメラ装置が動線分析画像(後述参照)を生成する動作(ステップ)を含む動線分析画像生成方法として規定しても良い。
また、以下の本実施形態では、図1に示すように、例えば本発明に係る動線分析システム500A,500B,500C,…が複数の店舗(店舗A,店舗B,店舗C,…)毎に設置され、複数の動線分析システム500A,500B,500C,…がネットワークNWを介して接続された販売管理システム1000の使用形態を想定して説明する。但し、本発明に係る動線分析システム、カメラ装置及び動線分析方法の実施形態は、後述する本実施形態の内容に限定されない。
図1は、本実施形態の動線分析システム500A,500B,500C,…を含む販売管理システム1000のシステム構成を詳細に示すシステム構成図である。図1に示す販売管理システム1000は、複数の店舗A,B,C,…に個々に設置された動線分析システム500A,500B,500C,…と、運営本部のサーバ装置600と、スマートフォン700と、クラウドコンピュータ800と、設定端末装置900とを含む構成である。
それぞれの動線分析システム500A,500B,500C,…と、運営本部のサーバ装置600と、スマートフォン700と、クラウドコンピュータ800と、設定端末装置900とは、ネットワークNWを介して相互に接続されている。ネットワークNWは、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えば無線LAN(Local Area Network)、無線WAN(Wide Area Network)、3G、LTE(Long Term Evolution)又はWiGig(Wireless Gigabit)である。有線ネットワークは、例えばイントラネット又はインターネットである。
図1に示す店舗Aに設置された動線分析システム500Aは、フロア1に設置された複数のカメラ装置100,100A,…,100Nと、レコーダ200と、サーバ装置300と、入力デバイス400と、モニタ450とを含む構成である。なお、フロア2にもフロア1と同様に複数のカメラ装置が設置され、フロア2内のカメラ装置の図示を省略している。それぞれのカメラ装置100,100A,…100Nの内部構成は同様であり、その詳細については図2を参照して後述する。
レコーダ200は、例えば半導体メモリ又はハードディスク装置を用いて構成され、店舗A内に設置された各カメラ装置の撮像により得られた画像(以下、カメラ装置の撮像により得られた画像を「撮像画像」という)のデータを記憶する。レコーダ200に記憶された撮像画像のデータは、例えば防犯等の監視業務に供される。
サーバ装置300は、例えばPC(Personal Computer)を用いて構成され、入力デバイス400を操作するユーザ(例えば動線分析システムのユーザであって、店舗Aの店員や店長を指す。以下同様。)の入力操作に応じて、所定のイベント(例えば店舗Aのフロア1の売場のレイアウトの変更)が発生したことをカメラ装置100に通知する。
また、サーバ装置300は、カメラ装置(例えばカメラ装置100)から送信されたデータ(後述参照)を用いて、カメラ装置(例えばカメラ装置100)の撮像領域における移動体(例えば店員、店長、来店客等の人物。以下同様。)の滞留位置又は通過位置に関する動線情報をカメラ装置(例えばカメラ装置100)の撮像画像に重畳した動線分析画像を生成してモニタ450に表示させる。
更に、サーバ装置300は、入力デバイス400を操作するユーザの入力操作に応じて、所定の処理(例えば後述する動線分析レポートの生成処理)を行い、動線分析レポートをモニタ450に表示させる。サーバ装置300の内部構成の詳細については図2を参照して後述する。
入力デバイス400は、例えばマウス、キーボード、タッチパネル又はタッチパッドを用いて構成され、ユーザの入力操作に応じた信号をカメラ装置100又はサーバ装置300に出力する。なお、図1では、図面を簡単にするために、入力デバイス400とカメラ装置100との間にだけ矢印が図示されているが、入力デバイス400と他のカメラ装置(例えばカメラ装置100A、100N)との間に矢印が図示されても良い。
モニタ450は、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成され、サーバ装置300により生成された動線分析画像又は動線分析レポートのデータを表示する。なお、モニタ450は、サーバ装置300とは異なる外部装置として設けられるが、サーバ装置300の内部に含まれた構成としても良い。
運営本部のサーバ装置600は、運営本部のサーバ装置600を操作する運営本部の従業員(例えば役員)の入力操作に応じて、各店舗A,B,C,…内に設置された動線分析システム500A,500B,500C,…において生成された動線分析画像又は動線分析レポートを取得して表示するための閲覧用装置である。また、運営本部のサーバ装置600は、動線分析レポート(図12参照)を生成するために必要となる各種情報(例えば売上情報、来店者数情報、イベント日程情報、最高気温情報、最低気温情報)を保持する。なお、これらの各種情報は、店舗A,B,C,…毎に設けられたサーバ装置において保持されても良い。なお、運営本部のサーバ装置600は、各店舗A,B,C,…内に設置されたサーバ装置(例えば店舗Aであればサーバ装置300)における各処理を実行しても良い。これにより、運営本部のサーバ装置600は、各店舗A,B,C,…のデータを集約して動線分析レポート(例えば後述する図12参照)を生成することができ、運営本部のサーバ装置600に対する入力操作によって選択された一つの店舗の詳細データ(例えば図12に示す動線分析レポート等)を取得することができ、又は複数の店舗間における特定の売場(例えば肉売場)のデータ比較結果の表示を行うことが可能になる。
スマートフォン700は、スマートフォン700を操作する運営本部の従業員(例えば営業担当者)の入力操作に応じて、各店舗A,B,C,…内に設置された動線分析システム500A,500B,500C,…において生成された動線分析画像又は動線分析レポートを取得して表示するための閲覧用装置である。
クラウドコンピュータ800は、各店舗A,B,C,…内に設置された動線分析システム500A,500B,500C,…において生成された動線分析画像又は動線分析レポートのデータを記憶するオンラインストレージであり、スマートフォン700を操作する運営本部の従業員(例えば営業担当者)の入力操作に応じて、所定の処理(例えばX月Y日の動線分析レポートの検索及び抽出)を行い、処理結果をスマートフォン700に送信する。
設定端末装置900は、例えばPCを用いて構成され、各店舗A,B,C,…内に設置された動線分析システム500A,500B,500C,…のカメラ装置の設定画面を表示する専用のブラウザソフトウェアを実行可能である。設定端末装置900は、設定端末装置900を操作する運営本部の従業員(例えば販売管理システム1000のシステム管理者)の入力操作に応じて、カメラ装置の設定画面(例えばCGI(Common Gateway Interface))をブラウザソフトウェアにおいて表示し、カメラ装置の設定情報を編集(修正、追加、削除)して設定する。
(カメラ装置)
図2は、本実施形態のカメラ装置100及びサーバ装置300のそれぞれの機能的な内部構成を詳細に示すブロック図である。図1に示す販売管理システム1000において、店舗A,B,C,…に設置されるそれぞれのカメラ装置は同様な構成であるため、図2ではカメラ装置100を例示して説明する。
図2に示すカメラ装置100は、撮像部10と、画像入力部20と、背景画像生成部30と、動線情報分析部40と、スケジュール管理部50と、送信部60と、イベント情報受領部70と、背景画像蓄積部80と、通過/滞留分析情報蓄積部90とを含む構成である。背景画像生成部30は、入力画像学習部31と、移動体分離部32と、背景画像抽出部33とを含む構成である。動線情報分析部40は、対象検出部41と、動線情報取得部42と、通過/滞留状況分析部43とを含む構成である。
撮像部10は、レンズとイメージセンサとを少なくとも有する。レンズは、カメラ装置100の外部から入射する光(光線)を集光し、イメージセンサの所定の撮像面に結像させる。レンズには、魚眼レンズ、又は例えば140度以上の画角が得られる広角レンズが用いられる。イメージセンサは、例えばCCD(Charged-Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。
画像入力部20は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、撮像部10からの電気信号を用いて所定の信号処理を行うことで、人間が認識可能なRGB(Red Green Blue)又はYUV(輝度・色差)等により規定される撮像画像のデータ(フレーム)を生成して背景画像生成部30及び動線情報分析部40に出力する。
背景画像生成部30は、例えばCPU、MPU又はDSPを用いて構成され、所定のフレームレート(例えば30fps(frame per second))で、画像入力部20から出力された撮像画像のデータ(フレーム)毎に、撮像画像に含まれる移動体(例えば人物)を排除した背景画像を生成して背景画像蓄積部80に保存する。背景画像生成部30における背景画像の生成処理は、例えば下記の参考特許文献に開示されている方法を用いることができるが、この参考特許文献に開示されている方法に限定されない。
(参考特許文献)特開2012−203680号公報
ここで、背景画像生成部30の動作概要について、図3及び図4を参照して簡単に説明する。図3は、本実施形態のカメラ装置100の背景画像生成部30の動作概要の説明図である。図4(A)は、画像入力部20に入力された撮像画像の一例を示す図である。図4(B)は、背景画像生成部30により生成された背景画像の一例を示す図である。
図3では、紙面の上側から下側に向かう時間軸に直交する紙面の左側から右側に向かって、入力画像学習部31、移動体分離部32、背景画像抽出部33の生成結果が模式的に示され、店舗の来店客が飲料の入った4つの段ボールのうち1つの段ボールを持ち運ぶ様子が示されている。
入力画像学習部31は、画像入力部20から出力された複数の撮像画像のフレーム(例えば図3に示す各フレームFM1〜FM5)において、画素毎に、画素の輝度及び色差の値の分布状況を分析する。
移動体分離部32は、入力画像学習部31の学習結果(即ち、複数のフレーム間(例えば図3に示す時間軸方向)の同一画素毎の輝度及び色差の分布状況の分析結果)を用いて、撮像画像の各フレームFM1〜FM5において、移動体(例えば人物)の情報(例えばフレームFM1a〜FM5a参照)と移動体以外(例えば背景)の情報(例えばフレームFM1b〜FM5b参照)とに分離する。なお、移動体である人物が段ボールを持ち運ぶ様子を示す撮像画像のフレームFM3,FM4では、人物が持ち運ぶ段ボールの画素に対応する輝度及び色差の値は時間軸方向(例えば図3参照)に沿って変化するので、移動体分離部32は、人物が持ち運ぶ段ボールを移動体とみなす。
背景画像抽出部33は、移動体分離部32が分離した情報のうち、移動体以外の情報が映るフレームFM1b〜FM5bを、画像入力部20から出力された撮像画像のフレームFM1〜FM5の背景画像のフレームFM1c〜FM5cとして抽出して背景画像蓄積部80に保存する。
図4(A)に示す撮像画像のフレームFM10aでは、例えば食堂の中で料理を提供している人、料理をトレーで受け取る人がそれぞれ移動体として示されている。図4(A)に示す撮像画像のフレームFM10aに対して、背景画像生成部30が生成した背景画像のフレームFM10c(図4(B)参照)では、移動体としての同じ食堂の中で料理を提供している人も料理を受け取る人も映らないように排除されている。
動線情報分析部40は、例えばCPU、MPU又はDSPを用いて構成され、所定のフレームレート(例えば10fps)で、画像入力部20から出力された撮像画像のデータ(フレーム)毎に、撮像画像に含まれる移動体(例えば人物)の滞留位置又は通過位置に関する動線情報を検出して通過/滞留分析情報蓄積部90に保存する。
対象検出部41は、画像入力部20から出力された撮像画像のフレームに対して所定の画像処理(例えば人物検出処理、顔検出処理)を行うことで、撮像画像のフレームに含まれる移動体(例えば人物)の有無を検出する。対象検出部41は、撮像画像のフレームに含まれる移動体を検出した場合には、撮像画像のフレームに対する移動体の検出領域に関する情報(例えばフレームの座標情報)を動線情報取得部42に出力する。なお、対象検出部41は、撮像画像のフレームに含まれる移動体を検出しなかった場合には、移動体の検出領域に関する情報(例えば所定のヌル情報)を動線情報取得部42に出力する。
動線情報取得部42は、対象検出部41から出力された移動体の検出領域に関する情報を基に、画像入力部20から出力された撮像画像の情報と、過去の移動体の検出領域に関する情報(例えば、撮像画像情報や座標情報)を用いて、現在と過去の検出領域に関する情報の紐付けを行い、動線情報(例えば移動体の検出領域の座標情報の変化量)として通過/滞留状況分析部43に出力する。
通過/滞留状況分析部43は、複数の撮像画像に対して動線情報取得部42から出力された動線情報を基に、撮像画像のフレームにおける移動体(例えば人物)の滞留位置又は通過位置に関する動線情報(例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」)を抽出して生成する。また、通過/滞留状況分析部43は、移動体(例えば人物)の滞留位置又は通過位置に関する動線情報の抽出結果を用いて、サーバ装置300の表示画像生成部350において生成される動線分析画像(ヒートマップ画像)のカラー部分の可視化画像を生成しても良い。
通過/滞留状況分析部43は、複数の撮像画像のフレームに対する動線情報を用いることで、画像入力部20から出力された撮像画像のフレームの中で、移動体(例えば人物)が滞留した位置又は通過した位置に関する正確な動線情報を抽出して生成することができる。
スケジュール管理部50は、例えばCPU、MPU又はDSPを用いて構成され、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとをサーバ装置300に定期的に送信するための所定の送信周期を送信部60に指示する。所定の送信周期は、例えば15分、1時間、12時間、24時間等であるが、これらの時間間隔に限定されない。
送信部60は、スケジュール管理部50又はイベント情報受領部70からの指示に応じて、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する。送信部60における送信タイミングについては、図5、図6、図7及び図8を参照して後述する。
イベント情報取得部の一例としてのイベント情報受領部70は、サーバ装置300又は入力デバイス400から所定のイベント(例えば店舗Aのフロア1の売場のレイアウトの変更)の検出の通知を受領(取得)し、所定のイベントの検出の通知を受領したことで、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信指示を送信部60に出力する。
背景画像蓄積部80は、例えば半導体メモリ又はハードディスク装置を用いて構成され、背景画像生成部30により生成された背景画像のデータ(フレーム)を記憶する。
通過/滞留分析情報蓄積部90は、例えば半導体メモリ又はハードディスク装置を用いて構成され、動線情報分析部40により生成された移動体(例えば人物)の滞留位置又は通過位置に関する動線情報の抽出結果(例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」)のデータを記憶する。
なお、図2に示すカメラ装置100は、イベント情報受領部70の代わりに、シーン識別部SDを設けても良く、以下同様である(例えば図13参照)。画像変化検出部の一例としてのシーン識別部SDは、画像入力部20から出力された撮像画像の変化(例えば店舗Aのフロア1の売場のレイアウトが変更したというイベント)の有無を検出する。シーン識別部SDは、撮像画像の変化を検出した場合には、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信指示を送信部60に出力する。
また、図2に示すカメラ装置100は、人数カウント部CTを更に設けても良く、以下同様である(例えば図13参照)。移動体検出部の一例としての人数カウント部CTは、画像入力部20から出力された撮像画像に対して所定の画像処理(例えば人物検出処理)を行うことで、撮像画像に含まれる移動体の検出数をカウントする。人数カウント部CTは、撮像画像に含まれる移動体の検出数に関する情報を送信部60に出力する。
(サーバ装置)
図2に示すサーバ装置300は、イベント情報受領部310と、通知部320と、受信部330と、受信情報蓄積部340と、表示画像生成部350と、レポート生成出力部360とを含む構成である。
イベント情報受領部310は、該当するカメラ装置(例えばカメラ装置100)毎に、所定のイベント(例えば店舗Aのフロア1の売場のレイアウトの変更)が発生したことを示す情報が入力デバイス400から入力された場合には、所定のイベントの検出の通知を受領する。イベント情報受領部310は、所定のイベントの検出の通知を受領したことを通知部320に出力する。なお、所定のイベントが発生したことを示す情報には、所定のイベントが発生した場所を撮像領域として撮像するカメラ装置の識別番号(例えば後述するC1,C2,…)が含まれる。
通知部320は、イベント情報受領部310から出力された所定のイベントの検出の通知を該当するカメラ装置(例えばカメラ装置100)に送信する。
受信部330は、カメラ装置100の送信部60から送信されたデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ)を受信して受信情報蓄積部340及び表示画像生成部350に出力する。
受信情報蓄積部340は、例えば半導体メモリ又はハードディスク装置を用いて構成され、受信部330が受信したデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ)を記憶する。
画像生成部の一例としての表示画像生成部350は、例えばCPU、MPU又はDSPを用いて構成され、受信部330又は受信情報蓄積部340から取得したデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータ)を用いて、背景画像に移動体の滞留位置又は通過位置に関する動線情報を重畳した動線分析画像を生成する。
動線分析画像は、カメラ装置100が撮像した撮像画像の中で移動体(例えば人物)が映らないように排除された背景画像に、撮像画像に対応する撮像領域において移動体がどこによく滞留したか、又はどこを通過したかを視覚的に示す動線情報がヒートマップのように所定のレンジ(例えば0〜255の値)の範囲内に定量的に可視化された画像である。また、表示制御部の一例としての表示画像生成部350は、生成した動線分析画像をモニタ450に表示させる。
レポート生成部の一例としてのレポート生成出力部360は、例えばCPU、MPU又はDSPを用いて構成され、動線分析レポートの生成指示が入力デバイス400から入力された場合には、後述する動線分析レポート(例えば図12参照)を生成する。また、表示制御部の一例としてのレポート生成出力部360は、生成した動線分析レポートをモニタ450に表示させる。
(カメラ装置からサーバ装置へのデータ送信処理)
次に、カメラ装置100からサーバ装置300へのデータの送信処理について、図5、図6、図7及び図8を参照して説明する。図5は、本実施形態のカメラ装置100の送信処理の動作タイミングを説明するタイムチャートである。図6は、本実施形態のカメラ装置100が定期的に送信処理を行う場合のタイムチャートである。図7は、本実施形態のカメラ装置100がイベントの検出に応じて送信処理の動作タイミングを変更する場合のタイムチャートである。図8は、本実施形態のカメラ装置100がイベントの検出前後では送信処理を省略する場合のタイムチャートである。
図5において、カメラ装置100では、画像入力部20から撮像画像が出力されると(画像入力)、背景画像生成部30は画像入力部20から出力された撮像画像の背景画像を生成して背景画像蓄積部80に保存し(背景画像生成)、動線情報分析部40は画像入力部20から出力された撮像画像に含まれる移動体(例えば人物)の滞留位置又は通過位置に関する動線情報を抽出する(動線情報分析)。これらの画像入力、背景画像生成、動線情報分析の各処理は定期的に繰り返して実行される。但し、これらの画像入力、背景画像生成、動線情報分析の各処理は繰り返して実行されるのであれば、各処理の間隔は同一でなくてもよい。
例えば図5に示す第1回目の画像入力、背景画像生成、動線情報分析の各処理の後、送信部60は、例えば図7に示すように、スケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受けて、前回の送信時刻t0から今回の送信時刻t1までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t1)。なお、上述したように送信部60における定期的な送信間隔(送信周期)は、15分、1時間、12時間、24時間等であり予めスケジュール管理部50から指示されている。また、送信部60により送信される背景画像のデータは1枚分のデータでも良いし、複数枚(例えば5分毎に得られた複数の背景画像)分のデータでも良い。
次に、図5に示す第2回目以降の画像入力、背景画像生成、動線情報分析の各処理の度に、送信部60は、例えば図7に示すように、スケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受けて、前回の送信時刻t1から今回の送信時刻t2までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t2)。
また、送信部60は、例えば図7に示すように、所定のイベント(例えば店舗Aのフロア1の売場のレイアウトの変更)の検出の通知をイベント情報受領部70から受けると(時刻t3)、例えばイベント情報受領部70からイベント割込を受けて、前回の送信時刻t2から今回の送信時刻t3までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t3)。なお、送信部60における送信処理については、図7に示す方法以外に、図6又は図8のうちいずれかの方法に従っても良い。
図6、図7及び図8では、図5の送信処理と同一の内容についての説明は簡略化又は省略し、異なる内容について説明する。具体的には、図6では、送信部60は、時刻t3においてイベント情報受領部70からイベント割込を受けても、前回の送信時刻t2から今回の送信時刻t3までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を省略する(時刻t3)。
しかし、図6の送信処理では、時刻t2から時刻t3までに所定のイベントが発生した場合、撮像画像の内容が更新されているので、イベントの検出前後で異なる背景画像が混在して使用されることになり、動線分析画像の内容が正確ではない可能性がある。
そこで、図7では、送信部60は、所定のイベント(例えば店舗Aのフロア1の売場のレイアウトの変更)の検出の通知をイベント情報受領部70から受けると(時刻t3)、例えばイベント情報受領部70からイベント割込を受けて、前回の送信時刻t2からイベント割込を受けた時刻t3までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t3)。更に、送信部60は、スケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受けて、イベント割込を受けた時刻t3から今回の送信時刻t4までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとを取得してサーバ装置300に送信する(時刻t4)。
また図8では、送信部60は、時刻t3においてイベント情報受領部70からイベント割込を受けても、前回の送信時刻t2からイベント割込を受けた時刻t3までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を省略する(時刻t3)。更に、送信部60は、スケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受けて、イベント割込を受けた時刻t3から時刻t4までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を省略する(時刻t4)。
言い換えると、送信部60は、時刻t3においてイベント情報受領部70からイベント割込を受けた場合、前回の送信時刻t2からイベント割込を受けた次の送信周期の開始時点(図8では時刻t4)までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を省略する(時刻t2〜時刻t4)。
更に、図8では、送信部60は、例えばスケジュール管理部50からタイマー割込を受けると(時刻t4)、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとのサーバ装置300への送信を再開する。具体的には、送信部60は、図8では図示されていないが、時刻t4以降にスケジュール管理部50から指示された送信周期の満了時点になると、例えばスケジュール管理部50からタイマー割込を受け、時刻t4から今回の送信時刻までに背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータを取得してサーバ装置300に送信する。
図9は、本実施形態のカメラ装置100が複数個設置された食料品売場のレイアウトの一例を示す図である。図9では、例えば店舗Aのフロア1(1F)の食料品売場において、複数(例えば8個)のカメラ装置がフロア1の天井面等に設置されている様子が示されている。具体的には、北入口カメラC1A,C1B、レジ前カメラC2A,C2B、特売品カメラC3、肉売場カメラC4、魚売場カメラC5、野菜売場カメラC6の計8個のカメラ装置(例えば全方位カメラ装置)が設定されている。なお、カメラ装置の種類は、全方位カメラ装置に限定されず、固定の画角が設定された固定カメラ装置、又は、パン方向やチルト方向並びにズーム機能を有するPTZ(Pan Tilt Zoom)カメラ装置でも良い。
図10は、本実施形態のサーバ装置300の表示画像生成部350により生成された店舗Aの動線分析画像を含む運用画面の第1例を示す図である。図11は、本実施形態のサーバ装置300の表示画像生成部350により生成された店舗Aの動線分析画像を含む運用画面の第2例を示す図である。図10及び図11に示す運用画面は、表示画像生成部350によってモニタ450に表示される。
図10に示す運用画面では、左側の表示領域L1には、店舗内に設置されたカメラ装置の選択画面の一覧が階層的に表示されている。例えば、フロア1(1F)の食料品売場(識別番号:G1)では、北入口カメラC1A(識別番号:C1)、北入口カメラC1B(識別番号:C2)、レジ前カメラC2A(識別番号:C3),レジ前カメラC2B(識別番号:C4)、野菜売場カメラC6(識別番号:C5)、魚売場カメラC5(識別番号:C6)、肉売場カメラC4(識別番号:C7)、特売品カメラC3(識別番号:C8)が階層的に示されている。フロア2(2F)の衣料品売場その他の売場において同様であるため、説明を省略する。
また、図10に示す運用画面では、右側の表示領域R1には、メイン(例えば現在)の動線分析情報の表示領域MA1とサブ(例えば比較用)の動線分析情報の表示領域CE1とが表示されている。
動線分析情報の表示領域MA1には、サーバ装置300が閲覧対象の動線分析画像を生成した指定時刻(年月日を含む)と、例えば半日単位、1日単位、1週間単位又は1箇月単位を示す統計期間と、表示領域L1において選択された売場毎のカメラ装置の選択画面とを含む指定条件表示領域MA1aと、動線分析画像の映像表示種別と、グラフ表示種別と、グラフ表示G(グループ)と、売場毎の来店者数の表示領域CT1とを含む動線分析結果表示領域MA1bとが表示される。
動線分析画像の映像表示種別には、図10に示す移動体(例えば人物)の滞留情報が示された滞留マップと、図11に示す移動体(例えば人物)の通過情報が示されたカウントマップと、撮像画像そのものとが含まれる。売場毎の来店者数の表示領域CT1には、時系列(例えば図10及び図11では1時間毎)に人数カウント部CTにより検出された移動体(例えば人物)の検出数が示される。例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT1に表示された選択バーKRを時間軸方向にシフトすると、表示画像生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に表示する。
なお、図11に示すように、動線分析情報の表示領域MA1の売場毎のカメラ装置の選択画面の代わりに、図9に示す複数個のカメラ装置が売場毎に設置されたレイアウトMP1の一例が表示されても良い。
また同様に、サブの動線分析情報の表示画面CE1には、メインの動線分析情報の表示画面MA1の比較対象としてサーバ装置300が閲覧対象の動線分析画像を生成した指定時刻(年月日を含む)と、例えば半日単位、1日単位、1週間単位又は1箇月単位を示す統計期間と、メインの動線分析情報の表示画面MA1において選択された売場毎のカメラ装置の選択画面とを含む指定条件表示領域CE1aと、動線分析画像の映像表示種別と、グラフ表示種別と、グラフ表示G(グループ)と、売場毎の来店者数の表示領域CT2とを含む動線分析結果表示領域CE1bとが表示される。なお、サブの動線分析情報の表示画面CE1を用いる場合には、例えば店舗内のレイアウトの変更の前後の比較以外に、割引シールを商品に貼付した前後の比較、タイムセールの前後の比較、今日と一年前の同日との比較、店舗間(例えば店舗Aの肉売場と店舗Bの肉売場との比較)等の用途が含まれても良い。
売場毎の来店者数の表示領域CT2には、時系列(例えば図10及び図11では1時間毎)に人数カウント部CTにより検出された移動体(例えば人物)の検出数が示される。例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT2に表示された選択バーKRを時間軸方向にシフトすると、表示画像生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に再生して表示する。
また、メイン(例えば現在)の動線分析情報の表示領域MA1の売場毎の来店者数の表示領域CT1とサブ(例えば比較例)の動線分析情報の表示領域CE1の売場毎の来店者数の表示領域CT2とにおいて、入力デバイス400は、ユーザの入力操作により、時間軸上の特定の時間帯を指定してコメント(例えばタイムセール、3Fイベント、TV放映、隣のドームで試合等)を入力することができる。
図11では映像表示種別がカウントマップとなっており、その他の事項は図10の説明と同様であるため、詳細な説明は省略する。図11でも、図10と同様に、例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT3,CT4に表示された選択バーKRを時間軸方向にシフトすると、表示画像生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に再生して表示する。
図12は、本実施形態のサーバ装置300のレポート生成出力部360により生成された2014年5月度の店舗Aの食料品売場における月例報告書の運用画面RPTの一例を示す図である。本実施形態の動線分析レポートの一例としての月例報告書(図12参照)は、図10又は図11に示す運用画面の左側の表示領域L1の下部に設けられたレポート出力ボタンOPTが入力デバイス400により押下されると、レポート生成出力部360が生成してモニタ450に表示した画面である。なお、サーバ装置300のレポート生成出力部360は、図12に示す月例報告書又はその一部の情報(例えば食料品売場のうちの肉売場における月例報告書)を、店舗Aに設置されたプリンタ(不図示)に出力しても良い。これにより、店舗Aの店員は、来店客が映っていない動線分析画像が出力された内容で、例えば食料品売場全体又はその一部の肉売場における月例報告書のプリントアウトの配布を受けることができる。
図12に示す月例報告書(動線分析レポート)の運用画面RPTでは、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報に関する表示領域SR1と、店舗(例えば店舗A)の来店者数等の統計情報に関する表示領域CR1と、所定のイベントの一例として売場のレイアウトの変更の発生前後において表示画像生成部350が生成したそれぞれの動線分析画像HM5,HM6の表示領域と、売場毎の来店者数の表示領域CT5,CT6とが示されている。なお、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報、イベント情報、来店者構成に関する情報等は、例えば運営本部のサーバ装置600から該当する店舗(例えば店舗A)内のサーバ装置(例えばサーバ装置300)に送信される。なお、月例報告書のタイトルに関する各種情報と、気温に関する情報と、売上情報、イベント情報、来店者構成に関する情報等は、店舗内のサーバ装置300又は記憶部(不図示)に予め記憶されても良い。
図12に示す月例報告書の運用画面RPTでも、図10又は図11と同様に、例えばユーザの入力操作により、入力デバイス400が売場毎の来店者数の表示領域CT5,CT6に表示された選択バーKRを時間軸方向にシフトすると、表示画像生成部350は、選択バーKRが示す時刻に生成した動線分析画像を順に表示する。
以上により、本実施形態の動線分析システム500Aでは、カメラ装置100は、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを所定の送信周期毎にサーバ装置300に送信する。サーバ装置300は、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成し、この動線分析画像をモニタ450に表示させる。
これにより、動線分析システム500Aは、動線分析画像の元になる背景画像を移動体(例えば人物)が映らないように排除して生成するので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、動線分析システム500Aは、所定のタイミング(例えば定期的な送信周期の到来時)の時点において既に更新された背景画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、予め決められた送信周期毎に、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像をユーザに対して視覚的に表示することができる。
また、動線分析システム500Aは、背景画像と移動体の動線情報とを送信するための所定の送信周期をカメラ装置のスケジュール管理部50において指示するので、予め指示された送信周期に従って、背景画像と移動体の動線情報とを定期的にサーバ装置300に送信することができる。
また、動線分析システム500Aは、所定のイベント(例えば店舗内の売場のレイアウト変更のイベント)の検出の通知をイベント情報受領部70において取得すると、背景画像と移動体の動線情報とをサーバ装置300に送信するので、特定のイベントが検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置300において生成することができる。
また、動線分析システム500Aは、撮像画像の変化(例えば店舗内の売場のレイアウト変更)をシーン識別部SDにおいて検出すると、背景画像と移動体の動線情報とをサーバ装置300に送信するので、撮像画像の変化が検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置300において生成することができる。
また、動線分析システム500Aは、撮像画像に含まれる移動体の検出数を人数カウント部CTにおいてカウントし、検出数に関する情報を送信部60に出力するので、撮像領域における移動体の滞留位置又は通過位置に関する情報を含む動線分析画像と移動体の検出数とを含む表示画面(運用画面)をモニタ450に表示させることができる。
また、動線分析システム500Aは、イベント情報受領部70が所定のイベントの検出の通知を取得した時点を含む送信周期では背景画像と移動体の動線情報との送信を省略するので、サーバ装置300において動線分析画像を生成する際に、所定のイベント(例えば店舗内の売場のレイアウト変更)の検出前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を混在して使用することを回避することができる。
また、動線分析システム500Aは、所定のイベント(例えば店舗内の売場のレイアウト変更)の検出前に生成された動線分析画像と、同所定のイベントの検出後に生成された動線分析画像とを含む動線分析レポートをレポート生成出力部360において生成するので、所定のイベントにより撮像領域における移動体の滞留位置又は通過位置に関する動線情報がどのような変更があったかを対比的に分かり易く示すことができる。
また、動線分析システム500Aは、所定の入力操作(例えばユーザのレポート出力ボタンの押下操作)により、生成した動線分析レポートをモニタ450に表示させるので、動線分析レポートをユーザに対して視覚的に表示することができる。
更に、動線分析システム500Aは、撮像画像の背景画像の生成と撮像画像に含まれる移動体の滞留位置又は通過位置に関する動線情報の抽出とを各カメラ装置100,100A,…,100Nにおいて実行させてから、サーバ装置300において動線分析画像を生成して表示するので、撮像画像の背景画像の生成と撮像画像に含まれる移動体の滞留位置又は通過位置に関する動線情報の抽出をサーバ装置300に実行させる場合に比べて、サーバ装置300の処理負荷を軽減することができるので、1つのサーバ装置300に接続可能なカメラ装置の台数の制限を緩和することができる。
(本実施形態の変形例)
なお、上述した本実施形態では、動線分析画像の生成処理はサーバ装置300において実行されているが、動線分析画像の生成処理までをカメラ装置100が実行しても良い(図13参照)。図13は、本実施形態の変形例のカメラ装置100Sの機能的な内部構成を詳細に示すブロック図である。図13に示すカメラ装置100Sは、撮像部10と、画像入力部20と、背景画像生成部30と、動線情報分析部40と、スケジュール管理部50と、送信部60Sと、イベント情報受領部70と、背景画像蓄積部80と、通過/滞留分析情報蓄積部90と、表示画像生成部350Sとを含む構成である。図13に示すカメラ装置100Sの各部の説明において、図2に示すカメラ装置100と同一の構成及び動作のものには同一の符号を付して説明を省略し、異なる内容について説明する。
画像生成部の一例としての表示画像生成部350Sは、スケジュール管理部50又はイベント情報受領部70からの指示に応じて、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータを用いて、背景画像に移動体の滞留位置又は通過位置に関する動線情報を重畳した動線分析画像を生成して送信部60に出力する。
送信部60Sは、表示画像生成部350Sにより生成された動線分析画像のデータをサーバ装置300に送信する。
以上により、本実施形態の変形例では、カメラ装置100Sは、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを用いて、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成する。
これにより、カメラ装置100Sは、動線分析画像の元になる背景画像を移動体(例えば人物)が映らないように排除して生成するので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、カメラ装置100Sは、リアルタイムに得られた撮像画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する最新の動線情報を適切に示す動線分析画像を生成することができる。
また、カメラ装置100Sは、動線分析画像の生成処理まで実行して生成結果である動線分析画像のデータをサーバ装置300に送信するので、例えばサーバ装置300の処理負荷が相当に高い状態では、動線分析画像の生成処理をサーバ装置300に実行させないで良いため、サーバ装置300の処理負荷の増大を抑制することができる。
最後に、本発明に係る動線分析システム、カメラ装置及び動線分析方法の構成、作用、効果をそれぞれ説明する。
本発明の一実施形態は、カメラ装置とサーバ装置とが相互に接続された動線分析システムであって、前記カメラ装置は、所定の撮像領域を撮像する撮像部と、前記撮像領域の撮像画像の背景画像を生成する背景画像生成部と、前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出する動線情報分析部と、所定の送信周期毎に、前記背景画像生成部により生成された前記背景画像と、前記動線情報分析部により抽出された前記移動体の動線情報とを前記サーバ装置に送信する送信部と、を備え、前記サーバ装置は、前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成する画像生成部と、前記画像生成部により生成された前記動線分析画像を表示部に表示させる表示制御部と、を備える、動線分析システムである。
この構成では、カメラ装置は、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを所定の送信周期毎にサーバ装置に送信する。サーバ装置は、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成し、この動線分析画像を表示部に表示させる。
これにより、動線分析システムは、動線分析画像の元になる背景画像には移動体(例えば人物)が映らないように排除されるので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、動線分析システムは、所定のタイミング(例えば定期的な送信周期の到来時)の時点において既に更新された背景画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、予め決められた送信周期毎に、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像をユーザに対して視覚的に表示することができる。
また、本発明の一実施形態は、前記カメラ装置は、前記背景画像と前記移動体の動線情報とを送信するための前記所定の送信周期を前記送信部に指示するスケジュール管理部、を更に備える、動線分析システムである。
この構成によれば、動線分析システムは、背景画像と移動体の動線情報とを送信するための所定の送信周期をカメラ装置のスケジュール管理部において指示するので、予め指示された送信周期に従って、背景画像と移動体の動線情報とを定期的にサーバ装置に送信することができる。
また、本発明の一実施形態は、前記カメラ装置は、所定のイベントの検出の通知を取得するイベント情報取得部、を更に備え、前記イベント情報取得部は、前記所定のイベントの検出の通知を取得した後、前記背景画像と前記移動体の動線情報との送信タイミングを前記送信部に指示する、動線分析システムである。
この構成によれば、動線分析システムは、所定のイベント(例えば店舗内の売場のレイアウト変更のイベント)の検出の通知をイベント情報取得部において取得すると、背景画像と移動体の動線情報とをサーバ装置に送信するので、特定のイベントが検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置において生成することができる。
また、本発明の一実施形態は、前記カメラ装置は、前記撮像画像の変化を検出する画像変化検出部、を更に備え、前記画像変化検出部は、前記撮像画像の変化を検出した後、前記背景画像と前記移動体の動線情報との送信タイミングを前記送信部に指示する、動線分析システムである。
この構成によれば、動線分析システムは、撮像画像の変化(例えば店舗内の売場のレイアウト変更)を画像変化検出部において検出すると、背景画像と移動体の動線情報とをサーバ装置に送信するので、撮像画像の変化が検出された時点の前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を正確に反映させた動線分析画像をサーバ装置において生成することができる。
また、本発明の一実施形態は、前記カメラ装置は、前記撮像画像に含まれる移動体の検出数をカウントする移動体検出部、を更に備え、前記移動体検出部は、前記撮像画像に含まれる移動体の検出数に関する情報を前記送信部に出力する、動線分析システムである。
この構成によれば、動線分析システムは、撮像画像に含まれる移動体の検出数を移動体検出部においてカウントし、検出数に関する情報を送信部に出力するので、撮像領域における移動体の滞留位置又は通過位置に関する情報を含む動線分析画像と移動体の検出数とを含む表示画面(運用画面)を表示部において表示させることができる。
また、本発明の一実施形態は、前記送信部は、前記イベント情報取得部が前記所定のイベントの検出の通知を取得した時点を含む前記所定の送信周期では、前記背景画像と前記移動体の動線情報との送信を省略する、動線分析システムである。
この構成によれば、動線分析システムは、イベント情報取得部が所定のイベントの検出の通知を取得した時点を含む送信周期では背景画像と移動体の動線情報との送信を省略するので、サーバ装置において動線分析画像を生成する際に、所定のイベント(例えば店舗内の売場のレイアウト変更)の検出前後の撮像領域における移動体の滞留位置又は通過位置に関する動線情報を混在して使用することを回避することができる。
また、本発明の一実施形態は、前記サーバ装置は、前記所定のイベントの検出前に前記画像生成部により生成された前記動線分析画像と、前記所定のイベントの検出後に前記画像生成部により生成された前記動線分析画像とを含む動線分析レポートを生成するレポート生成部、を更に備える、動線分析システムである。
この構成によれば、動線分析システムは、所定のイベント(例えば店舗内の売場のレイアウト変更)の検出前に生成された動線分析画像と、同所定のイベントの検出後に生成された動線分析画像とを含む動線分析レポートをレポート生成部において生成するので、所定のイベントにより撮像領域における移動体の滞留位置又は通過位置に関する動線情報がどのような変更があったかを対比的に分かり易く示すことができる。
また、本発明の一実施形態は、前記レポート生成部は、所定の入力操作に応じて、前記動線分析レポートを前記表示部に表示させる、動線分析システムである。
この構成によれば、動線分析システムは、所定の入力操作(例えばユーザのレポート出力ボタンの押下操作)により、生成した動線分析レポートを表示部に表示させるので、動線分析レポートをユーザに対して視覚的に表示することができる。
また、本発明の一実施形態は、所定の撮像領域を撮像する撮像部と、前記撮像領域の撮像画像の背景画像を生成する背景画像生成部と、前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出する動線情報分析部と、前記背景画像生成部により生成された前記背景画像と、前記動線情報分析部により抽出された前記移動体の動線情報とを用いて、前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成する画像生成部と、を備える、カメラ装置である。
この構成では、カメラ装置は、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを用いて、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成する。
これにより、カメラ装置は、動線分析画像の元になる背景画像を移動体(例えば人物)が映らないように排除して生成するので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、カメラ装置は、所定のタイミング(例えば定期的な送信周期の到来時)の時点において既に更新された背景画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像を生成することができる。
また、本発明の一実施形態は、カメラ装置とサーバ装置とが相互に接続された動線分析システムにおける動線分析方法であって、前記カメラ装置において、所定の撮像領域を撮像するステップと、前記撮像領域の撮像画像の背景画像を生成するステップと、前記撮像画像に含まれる移動体の前記撮像領域における滞留位置又は通過位置に関する動線情報を抽出するステップと、所定の送信周期毎に、生成された前記背景画像と、抽出された前記移動体の動線情報とを前記サーバ装置に送信するステップと、前記サーバ装置において、前記撮像画像の背景画像に、前記移動体の動線情報を重畳した動線分析画像を生成するステップと、生成された前記動線分析画像を表示部に表示させるステップと、を有する、動線分析方法である。
この方法では、カメラ装置は、所定の撮像領域の撮像画像の背景画像を生成し、撮像画像に含まれる移動体(例えば人物)の撮像領域における滞留位置又は通過位置に関する動線情報を抽出し、撮像画像の背景画像と移動体の動線情報とを所定の送信周期毎にサーバ装置に送信する。サーバ装置は、撮像画像の背景画像に、移動体の動線情報を重畳した動線分析画像を生成し、この動線分析画像を表示部に表示させる。
これにより、動線分析システムは、動線分析画像の元になる背景画像には移動体(例えば人物)が映らないように排除されるので、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護することができる。また、動線分析システムは、所定のタイミング(例えば定期的な送信周期の到来時)の辞典において既に更新された背景画像に移動体(人物)の撮像領域における滞留位置又は通過位置に関する動線情報を重畳するので、予め決められた送信周期毎に、撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像をユーザに対して視覚的に表示することができる。
以上、図面を参照して本発明に係る動線分析システム及び動線分析方法の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
また、本実施形態のサーバ装置300は、生成した動線分析画像を含む運用画面をモニタ450に表示させる際に、図10や図11に示す運用画面の他に、例えば図14に示す運用画面WD1を表示させてもよい。図14は、本実施形態のサーバ装置300の表示画像生成部350により生成された店舗Aの動線分析画像を含む運用画面の第3例を示す図である。
図14に示す運用画面WD1では、動線分析画像の生成に必要なデータ(即ち、背景画像蓄積部80に保存された背景画像のデータと通過/滞留分析情報蓄積部90に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータであり、以下「カメラ送信データ」という)の指定条件の入力欄(データ取得欄)と、動線分析画像の表示に関する設定項目の入力欄(表示設定欄)と、動線分析画像HM1と、タイムラインバーTLBと、複数のボタンからなるジャンプボタンJMPと、スケール変更ボタンSCL1とが表示されている。
データ取得欄では、上記したカメラ送信データの送信元となるカメラ装置の識別番号と、カメラ送信データの要求対象となる期間(つまり、背景画像のデータと移動体の滞留情報又は通過情報に関する動線情報の抽出結果のデータとが生成された期間)の開始日及び終了日とが指定される。ダウンロードボタンが押下されると、サーバ装置300は、データ取得欄において指定された条件に合致するカメラ送信データを該当するカメラ装置(例えばカメラ装置100)から受信して取得するか、又はサーバ装置300にて既に受信して蓄積していたデータを取得する。
表示設定欄では、動線分析画像として表示される種別が通過マップ(つまり、撮像領域の特定の場所を通過した人物の数をヒートマップのように視覚的に示す画像)又は滞留マップ(つまり、人物が特定の場所に滞留した時間をヒートマップのように視覚的に示す画像)のいずれかが選択される。必要に応じて、表示画像生成部350により生成された撮像領域の動線分析画像のうち、表示される領域が選択されてもよい。
タイムラインバーTLBでは、例えばデータ取得欄において「2015年4月9日」の1日分が指定された場合に、カメラ装置からのカメラ送信データの有無が時間帯(以下、「スケール」という)毎に示される。つまり、「2015年4月9日」の24時間分のカメラ装置からのカメラ送信データの有無が、タイムラインバーTLBの一つ一つの升目(セル)の計24個の色又は模様パターンの有無によって視覚的に判別可能となる。より具体的に言うと、時間範囲DIV1(つまり、2015年4月9日の午前0時から午前9時までの時間範囲)では、カメラ装置からのカメラ送信データが無いことが示されており、時間範囲DIV2(つまり、2015年4月9日の午前9時から午前0時までの時間範囲)では、カメラ装置からのカメラ送信データがあることが示されている。図14では、スケールに対応する時間帯(つまり、1つのセル)は1時間を示す。
スケールに対応する時間帯(つまり、1つのセル)は、スケール変更ボタンSCL1の左右方向のスライド操作によって容易に変更可能である。例えばスケールに対応する時間帯(つまり、1つのセル)が1時間を示す場合に、ユーザがマウス等の入力デバイス400を操作してスケール変更ボタンSCL1を右方向にスライドすると、表示画像生成部350は、例えばスケールに対応する時間帯(つまり、1つのセル)を1時間より大きい1日に変更してタイムラインバーTLBを再度表示させる。1時間より大きい時間帯として1日に限定されず、例えば2時間でもよく任意に変更可能である。この変更は、例えば図14に示す運用画面WD1の設定タブが選択された画面においてユーザの操作に応じて設定可能となる。
同様に、例えばスケールに対応する時間帯(つまり、1つのセル)が1時間を示す場合に、ユーザがマウス等の入力デバイス400を操作してスケール変更ボタンSCL1を左方向にスライドすると、表示画像生成部350は、例えばスケールに対応する時間帯(つまり、1つのセル)を1時間より小さい15分に変更してタイムラインバーTLBを再度表示させる。1時間より小さい時間帯として15分に限定されず、例えば30分でもよく任意に変更可能である。この変更は、例えば図14に示す運用画面WD1の設定タブが選択された画面においてユーザの操作に応じて設定可能となる。
ジャンプボタンJMPには、−1週ボタンJMP1、−1日ボタンJMP2、前区間ボタンJMP3、後区間ボタンJMP4、+1日ボタンJMP5、+1週ボタンJMP6が設けられている。但し、ジャンプボタンJMPは、これらの6種類のボタンに限定されない。例えばボタンの名称に数字が含まれる「−1週ボタンJMP1,−1日ボタンJMP2,+1日ボタンJMP5,+1週ボタンJMP6」の数字部分は、不図示の設定画面(例えば図14に示す運用画面WD1の設定タブが選択された画面)においてユーザの操作に応じて任意に変更可能である。
例えば現時点から1週間前に遡った時点までのカメラ装置からのカメラ送信データが取得されている場合に、−1週ボタンJMP1がユーザの操作によって押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM1を、その動線分析画像よりも1週間前に生成された動線分析画像に切り替えてモニタ450に表示させる。
例えば現時点から1日前に遡った時点までのカメラ装置からのカメラ送信データが取得されている場合に、−1日ボタンJMP2がユーザの操作によって押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM1を、その動線分析画像よりも1日前に生成された動線分析画像に切り替えてモニタ450に表示させる(図17参照)。
例えば現時点から1日経過した時点までのカメラ装置からのカメラ送信データが取得されている場合に、+1日ボタンJMP5がユーザの操作によって押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM1を、その動線分析画像よりも1日後に生成された動線分析画像に切り替えてモニタ450に表示させる(図17参照)。
例えば現時点から1週間経過した時点までのカメラ装置からのカメラ送信データが取得されている場合に、+1週ボタンJMP6がユーザの操作によって押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM1を、その動線分析画像よりも1週間後に生成された動線分析画像に切り替えてモニタ450に表示させる。
また、ジャンプボタンJMPが押下された場合の動線分析画像の元になるカメラ送信データの生成時点(言い換えると、ジャンプの起点となる時刻又は時間帯)は、例えば図14に示す運用画面WD1の設定タブが選択された画面においてユーザの操作に応じて設定可能である。
前区間ボタンJMP3及び後区間ボタンJMP4を説明する前に、1区間について図15を参照して説明する。図15は、タイムラインバーの説明図である。図15では、説明の都合上、図14に示す運用画面WD1に含まれるタイムラインバーTLBとは異なるタイムラインバーTLBbが示されている。
図15において、スケールに対応する時間帯(つまり、1つのセル)は、図14と同様に1時間としている。ユーザは、タイムラインバーTLBbに表示された色又は模様パターンによって、カメラ装置からのカメラ送信データの有無を視覚的に判別可能である。また、ユーザは、サーバ装置300又は入力デバイス400に対する操作によって、どの時間帯の動線分析画像をモニタ450に表示させるかを、タイムラインバーTLBb上において簡易に指定することができる。
例えばユーザは、マウス等の入力デバイス400を操作してカーソルCSRを指定対象の時間帯RNG1の開始時刻のセル上において指定(例えば左クリック)し、かつ時間帯RNG1の終了時刻までカーソルCSRをドラッグし、ドラッグ終了位置においてマウス等の入力デバイス400のボタンを離す(つまりドラッグを終了する)。ドラッグ終了位置においてマウス等の入力デバイス400のボタンを押すユーザの指が離されると、表示画像生成部350は、時間帯RNG1の開始時刻及び終了時刻を確定する。これにより、表示画像生成部350は、ユーザの操作により指定された時間帯RNG1の色又は模様パターンを、カメラ装置からのカメラ送信データがあることを示す色又は模様パターンとは異なる色又は模様パターンに変更して表示する(図15参照)。
例えば図15に示すタイムラインバーTLBbでは、時間帯RNG1は4月2日の午前5時〜午前9時までの時間帯であり、この時間帯RNG1に対応する色又は模様パターンは、カメラ装置からのカメラ送信データがある4月2日の午前0時〜午前11時及び午後2時以降の時間帯の色又は模様パターンとは異なっている。なお、図15に示すタイムラインバーTLBbが図14に示す運用画面WD1に含むように表示された場合であって、この運用画面における動線分析画像が例えば3日分のカメラ送信データを用いて生成されており、かつスケールに対応する時間帯(つまり、1つのセル)が例えば1時間であるとする。この場合、タイムラインバーTLBbは、全長で3日分の長さ(つまり、24時間×3日=72個)のセルとなるが、運用画面に全てのセルが表示不可の場合には、表示画像生成部35は、タイムラインバーTLBbを左右方向にスクロール可能に表示させる。従って、ユーザは、一見タイムラインバーTBLb上で表示されていない日時にカメラ送信データがあるか否かを確認したい場合に、タイムラインバーTLBbをスクロール操作することで容易にチェックできる。
表示画像生成部350は、例えば図15を参照して説明した時間帯RNG1を1区間として扱い、図14に示すジャンプボタンJMPのうちユーザの操作によって前区間JMP3が押下されると、押下された時点において表示された動線分析画像HM1を、その動線分析画像HM1よりも1区間(例えば時間帯RNG1に対応する4時間)前に生成された動線分析画像に切り替えてモニタ450に表示させる。
一方、表示画像生成部350は、例えば図15を参照して説明した時間帯RNG1を1区間として扱い、図14に示すジャンプボタンJMPのうちユーザの操作によって後区間JMP4が押下されると、押下された時点において表示された動線分析画像HM1を、その動線分析画像HM1よりも1区間(例えば時間帯RNG1に対応する4時間)後に生成された動線分析画像に切り替えてモニタ450に表示させる。
図16は、図14に示す運用画面WD1に含まれるタイムラインバーTLBに対して指定された変更後の時間範囲に対応する店舗Aの動線分析画像を含む運用画面WD2の一例を示す図である。図16では、タイムラインバーTLBにおいてユーザにより指定された時間範囲が変更されたことで、図14に示す動線分析画像HM1から、変更後の時間範囲に対応する動線分析画像HM2が表示画像生成部350により生成されてモニタ450に表示されたことが示されている。
また、タイムラインバーTLB上に対するユーザの指定操作によって1区間に相当する時間帯TBLK(図15に示す時間帯RNG1参照)が確定した後、ユーザが、確定済みの時間帯TBLKに対してマウス等の入力デバイス400の操作(例えば右クリック)を行うことによってその時間帯TBLKを一時的に固定させた状態(言い換えると、確定済みの時間帯TBLKをタイムラインバーTLB上で掴んだ状態)でタイムラインバーTLB上を移動させてもよい。この移動操作によって、表示画像生成部350は、移動操作後の時間帯に対応した動線分析画像を生成してモニタ450に表示させることができる。
例えば移動操作前の時間帯が午前9時〜午後1時で、移動操作後の時間帯が午後4時〜午後8時(時間帯は4時間で同一)であった場合、表示画像生成部350は、午前9時〜午後1時に対応する動線分析画像を含む運用画面WD2を、午後4時〜午後8時に対応する動線分析画像を含む他の運用画面に切り替えてモニタ450に表示させることができる。
図17は、図14に示すジャンプボタンJMPのうち、+1日ボタンJMP5、−1日ボタンJMP2の押下に応じた動線分析画像の切り替え表示例を示す説明図である。図17では、データ取得欄の開始日が2015年4月8日、終了日が2015年4月10日となっており、これらの3日間におけるカメラ装置からの送信データがサーバ装置300において取得されているとし、現時点を2015年4月9日とする。
例えば現時点(2015年4月9日)から1日前に遡った時点(2015年4月8日)までのカメラ装置からの送信データが取得されている場合に、−1日ボタンJMP2が押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM3を、その動線分析画像HM3よりも1日前に生成された動線分析画像HM3mに切り替えて、その動線分析画像HM3mを含む運用画面をモニタ450に表示させる。
また、例えば現時点(2015年4月9日)から1日経過した時点(2015年4月10日)までのカメラ装置からの送信データが取得されている場合に、+1日ボタンJMP5が押下されると、表示画像生成部350は、押下された時点において表示された動線分析画像HM3を、その動線分析画像HM3よりも1日後に生成された動線分析画像HM3pに切り替えて、その動線分析画像HM3pを含む運用画面をモニタ450に表示させる(図17参照)。
これにより、本実施形態のサーバ装置300は、動線分析画像を生成する際に、撮像領域に映る移動体(人物)のプライバシーを適切に保護しながら撮像画像の中から移動体を排除した状態で、移動体の撮像領域における滞留位置又は通過位置に関する正確な動線情報を適切に示す動線分析画像をユーザに対して視覚的に表示でき、更に、ユーザの簡易な操作(ジャンプボタンJMPのうちいずれかのボタンの押下)によって、異なるタイミングにおいて生成された動線分析画像に切り替えて表示でき、ユーザの利便性(例えば動線分析画像の推移の確認の便利さ)を向上できる。