JP2015070354A - 移動体追跡装置、移動体追跡システムおよび移動体追跡方法 - Google Patents

Abstract

【課題】移動体の動線をリアルタイムな映像上に重畳して表示する際に、ユーザに違和感を与えることがなく、移動体の移動状況を適切に把握することができるようにする。【解決手段】監視エリアのリアルタイムな映像上に移動体の動線を重畳した画面をモニタ７に表示させるために、映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡装置を、映像から移動体を検出して検出位置情報を出力する移動体検出部２２と、検出位置情報に含まれる誤検出情報を排除して、移動体の移動経路として最適化された確定動線を生成する確定動線生成部２３と、検出位置情報による略最新の検出位置と確定動線の終点との間の未確定区間を補間する暫定動線を生成する暫定動線生成部２４と、確定動線および暫定動線を統合した統合動線に関する動線情報を取得する動線情報取得部２５と、を備えたものとする。【選択図】図２

Description

本発明は、監視エリアのリアルタイムな映像上に移動体の動線を重畳した画面を表示装置に表示させるために、映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡装置、移動体追跡システムおよび移動体追跡方法に関するものである。

モニタに監視エリアの映像を表示させて、その映像に映った人物などの移動体を監視する監視システムが広く普及している。また、映像から移動体を検出して、その検出位置情報に基づいて移動体の移動経路を示す動線（軌跡）を生成する技術が知られている（特許文献１参照）。このような動線生成技術を用いて、リアルタイムな映像上に動線を重畳して表示するようにすると、映像内に映った移動体と共に表示される動線を目視することで、移動体の移動状況を的確に把握することができるため、監視作業の能率を向上させることができる。

特開２０１１−２４３１５５号公報

さて、前記のように移動体の動線をリアルタイムな映像上に重畳して表示する場合、検出位置を時系列で連結しただけの動線では、移動体検出処理での誤検出によるノイズが含まれるため、実際の移動体の移動経路から大きく外れる場合がある。このため、移動体検出処理での誤検出によるノイズを排除して、移動体の移動経路として最適化された確定動線を生成することが望ましい。

ところが、確定動線を生成する処理には時間を要するため、動線が人物の動きから大きく遅れて表示される場合があり、この場合、人物が移動しているにも拘わらず、人物に追随するように動線が表示されないため、ユーザに違和感を与えるという問題があった。また、人物に追随するように動線が描画されないと、移動体の移動状況を適切に把握することが難しくなるため、監視作業の能率が低下するという問題があった。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、移動体の動線をリアルタイムな映像上に重畳して表示する際に、ユーザに違和感を与えることがなく、移動体の移動状況を適切に把握することができるように構成された移動体追跡装置、移動体追跡システムおよび移動体追跡方法を提供することにある。

本発明の移動体追跡装置は、監視エリアのリアルタイムな映像上に移動体の移動経路を示す動線を重畳した画面を表示装置に表示させるために、前記映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡装置であって、前記映像から移動体を検出して前記検出位置情報を出力する移動体検出手段と、前記検出位置情報に含まれる誤検出情報を排除して、前記移動体の移動経路として最適化された確定動線を生成する第１の動線生成手段と、前記検出位置情報による略最新の検出位置と前記確定動線の終点との間の未確定区間を補間する暫定動線を生成する第２の動線生成手段と、前記確定動線および前記暫定動線を統合した統合動線に関する前記動線情報を取得する動線情報取得手段と、を備えた構成とする。

また、本発明の移動体追跡システムは、監視エリアのリアルタイムな映像上に移動体の移動経路を示す動線を重畳した画面を表示装置に表示させるために、前記映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡システムであって、前記監視エリアを撮像するカメラと、複数の情報処理装置と、前記映像上に前記動線を重畳した画面を表示する前記表示装置と、を有し、前記複数の情報処理装置のいずれかが、前記映像から移動体を検出して前記検出位置情報を出力する移動体検出手段と、前記検出位置情報に含まれる誤検出情報を排除して、前記移動体の移動経路として最適化された確定動線を生成する第１の動線生成手段と、前記検出位置情報による略最新の検出位置と前記確定動線の終点との間の未確定区間を補間する暫定動線を生成する第２の動線生成手段と、前記確定動線および前記暫定動線を統合した統合動線に関する前記動線情報を取得する動線情報取得手段と、前記動線情報に基づいて前記映像上に前記動線を重畳した画面を生成する画面生成手段と、を備えた構成とする。

また、本発明の移動体追跡方法は、監視エリアのリアルタイムな映像上に移動体の移動経路を示す動線を重畳した画面を表示装置に表示させるために、前記映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡方法であって、前記映像から移動体を検出して前記検出位置情報を出力するステップと、前記検出位置情報に含まれる誤検出情報を排除して、前記移動体の移動経路として最適化された確定動線を生成するステップと、前記検出位置情報による略最新の検出位置と前記確定動線の終点との間の未確定区間を補間する暫定動線を生成するステップと、前記確定動線および前記暫定動線を統合した統合動線に関する前記動線情報を取得するステップと、を有する構成とする。

本発明によれば、確定動線を生成する処理の如何に拘わらず、確定動線および暫定動線を統合した統合動線が映像中に映った移動体の近くまで延びた状態で表示される。このため、動線が常に人物に追随するように表示され、ユーザに違和感を与えることを避けることができ、また、人物の移動状況を適切に把握することができるため、監視作業の能率を向上させることができる。

本実施形態に係る移動体追跡システムの全体構成図 移動体追跡装置４およびＰＣ３の概略構成を示す機能ブロック図 確定動線生成部２３および暫定動線生成部２４で生成される確定動線および未確定動線の状態を説明する説明図 比較例においてモニタ７の画面に表示される動線の状態を示す説明図 本実施形態においてモニタ７の画面に表示される動線の状態を示す説明図 移動体追跡装置４で行われる処理の手順を示すフロー図 動線の表示方法の例を説明する説明図 動線の表示方法の例を説明する説明図 動線の表示方法の例を説明する説明図 暫定動線の別の例を説明する説明図 確定動線と未確定動線とを統合した統合動線の表示方法を説明する説明図 複数の人物が検出された場合の動線の表示状況を説明する説明図

前記課題を解決するためになされた第１の発明は、監視エリアのリアルタイムな映像上に移動体の移動経路を示す動線を重畳した画面を表示装置に表示させるために、前記映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡装置であって、前記映像から移動体を検出して前記検出位置情報を出力する移動体検出手段と、前記検出位置情報に含まれる誤検出情報を排除して、前記移動体の移動経路として最適化された確定動線を生成する第１の動線生成手段と、前記検出位置情報による略最新の検出位置と前記確定動線の終点との間の未確定区間を補間する暫定動線を生成する第２の動線生成手段と、前記確定動線および前記暫定動線を統合した統合動線に関する前記動線情報を取得する動線情報取得手段と、を備えた構成とする。

これによると、確定動線を生成する処理の如何に拘わらず、確定動線および暫定動線を統合した統合動線が映像中に映った移動体の近くまで延びた状態で表示される。このため、動線が常に人物に追随するように表示され、ユーザに違和感を与えることを避けることができ、また、人物の移動状況を適切に把握することができるため、監視作業の能率を向上させることができる。

また、第２の発明は、前記第２の動線生成手段は、前記暫定動線として、前記検出位置情報による検出位置を時系列で連結してなる未確定動線を生成する構成とする。

これによると、未確定動線には、移動体検出処理での誤検出によるノイズが含まれるため、未確定動線が実際の移動体の移動経路から大きく外れる場合もあるが、未確定動線は実際の移動体の移動経路に概ね一致するため、未確定動線に基づいて移動体の移動状況を的確に把握することができる。

また、第３の発明は、前記動線情報取得手段は、前記移動体検出手段により前記映像から複数の移動体が検出された場合に、その移動体ごとに前記動線情報を取得する構成とする。

これによると、複数の移動体が存在する場合でも移動体ごとに動線が表示されるため、各移動体の移動状況を把握することができる。特に、動線が移動体の略最新の検出位置まで延びた状態で表示されることから、移動体ごとの動線を取り違えることを避けることができるため、各移動体の移動状況を的確に把握することができる。

また、第４の発明は、前記動線情報は、前記確定動線および前記暫定動線を識別可能に表示させる表示情報を含む構成とする。

これによると、確定動線および暫定動線が識別可能に表示されるため、確定動線および暫定動線を目視で識別することができ、特に、暫定動線を未確定動線とした場合、確定動線と未確定動線とを識別することで、動線が確定する状況をユーザが把握することができる。

また、第５の発明は、前記確定動線および前記暫定動線は、線種、太さ、濃さ、および色のうちの少なくとも１つの要素が互いに異なるように描画される構成とする。

これによると、確定動線および暫定動線を目視で容易に識別することができる。

また、第６の発明は、前記確定動線および前記暫定動線のうち、一方が実線で描画され、他方が破線で描画される構成とする。

これによると、確定動線および暫定動線を目視でより一層容易に識別することができる。

また、第７の発明は、前記確定動線および前記暫定動線の少なくとも一方で、線の表示状態を定期的に変化させるアニメーション表示が行われる構成とする。

これによると、確定動線および暫定動線を識別可能に表示させることができる。なお、確定動線および暫定動線の両方でアニメーション表示を行うようにしてもよく、この場合、確定動線と暫定動線とで異なるアニメーション表示を行えばよい。

また、第８の発明は、前記確定動線および前記暫定動線の表示方法を指定するユーザの入力操作に応じて、指定された表示方法に設定する表示方法設定手段をさらに備え、この表示方法設定手段により設定された表示方法に基づいて前記表示情報を生成する構成とする。

これによると、確定動線および暫定動線の表示方法をユーザが必要に応じて自由に指定することができるため、ユーザの利便性を高めることができる。

また、第９の発明は、監視エリアのリアルタイムな映像上に移動体の移動経路を示す動線を重畳した画面を表示装置に表示させるために、前記映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡システムであって、前記監視エリアを撮像するカメラと、複数の情報処理装置と、前記映像上に前記動線を重畳した画面を表示する前記表示装置と、を有し、前記複数の情報処理装置のいずれかが、前記映像から移動体を検出して前記検出位置情報を出力する移動体検出手段と、前記検出位置情報に含まれる誤検出情報を排除して、前記移動体の移動経路として最適化された確定動線を生成する第１の動線生成手段と、前記検出位置情報による略最新の検出位置と前記確定動線の終点との間の未確定区間を補間する暫定動線を生成する第２の動線生成手段と、前記確定動線および前記暫定動線を統合した統合動線に関する前記動線情報を取得する動線情報取得手段と、前記動線情報に基づいて前記映像上に前記動線を重畳した画面を生成する画面生成手段と、を備えた構成とする。

これによると、前記の第１の発明と同様に、移動体の動線をリアルタイムな映像上に重畳して表示する際に、ユーザに違和感を与えることがなく、移動体の移動状況を適切に把握することができる。

また、第１０の発明は、監視エリアのリアルタイムな映像上に移動体の移動経路を示す動線を重畳した画面を表示装置に表示させるために、前記映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡方法であって、前記映像から移動体を検出して前記検出位置情報を出力するステップと、前記検出位置情報に含まれる誤検出情報を排除して、前記移動体の移動経路として最適化された確定動線を生成するステップと、前記検出位置情報による略最新の検出位置と前記確定動線の終点との間の未確定区間を補間する暫定動線を生成するステップと、前記確定動線および前記暫定動線を統合した統合動線に関する前記動線情報を取得するステップと、を有する構成とする。

これによると、前記の第１の発明と同様に、移動体の動線をリアルタイムな映像上に重畳して表示する際に、ユーザに違和感を与えることがなく、移動体の移動状況を適切に把握することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る移動体追跡システムの全体構成図である。この移動体追跡システムは、スーパーマーケットなどの小売店舗などを対象にして構築されるものであり、カメラ１と、レコーダ（映像記録装置）２と、ＰＣ３と、移動体追跡装置４と、を備えている。

カメラ１は店舗内の適所に設置され、カメラ１により店舗内の監視エリアが撮像され、これにより得られた映像情報がレコーダ２に録画される。

ＰＣ３には、監視員などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。なお、タッチパネルディスプレイで、入力デバイス６およびモニタ７を構成してもよい。

このＰＣ３は、店舗の警備室などに設置され、監視者（警備員）が、モニタ７に表示される監視画面で、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。

なお、本部に設けられたＰＣ１１にも図示しないモニタが接続され、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧し、また、レコーダ２に録画された過去の店舗内の映像を閲覧して、本部で店舗内の状況を確認することができる。

次に、図１に示した移動体追跡装置４で行われる移動体追跡処理について説明する。図２は、移動体追跡装置４およびＰＣ３の概略構成を示す機能ブロック図である。

移動体追跡装置４は、映像入力部２１と、移動体検出部２２と、確定動線生成部（第１の動線生成手段）２３と、暫定動線生成部（第２の動線生成手段）２４と、動線情報取得部（動線情報取得手段）２５と、動線出力部２６と、表示方法設定部（表示方法設定手段）２７と、を備えている。ＰＣ３は、移動体追跡装置制御部３１と、画面生成部（画面生成手段）３２と、を備えている。

移動体追跡装置４の映像入力部２１では、カメラ１から出力される映像（フレーム）が入力される。移動体検出部２２では、映像入力部２１で取得した映像から人物（移動体）を検出して人物ごとの検出位置情報を出力する処理が行われる。この移動体検出処理は、公知の画像認識技術（人物検出技術および人物追跡技術など）を利用すればよい。

確定動線生成部２３では、移動体検出部２２で取得した検出位置情報（人物の位置座標等）に含まれる誤検出情報（ノイズなど）を排除して、人物の移動経路として最適化された確定動線を生成する処理が行われる。この確定動線生成処理は、所要のスムージングアルゴリズムを用いて、検出位置情報に対してデータクレンジングを行うものである。

暫定動線生成部２４では、移動体検出部２２による最新の検出位置と、確定動線生成部２３で生成した確定動線の終点との間の未確定区間を補間する暫定動線を生成する処理が行われる。特に本実施形態では、暫定動線として、移動体検出部２２で取得した検出位置情報による検出位置を時系列で連結してなる未確定動線を生成する処理が行われる。

動線情報取得部２５では、確定動線および暫定動線を統合した統合動線に関する動線情報を取得する処理が行われる。この動線情報取得部２５で取得した動線情報は動線出力部２６から出力される。

ＰＣ３の移動体追跡装置制御部３１では、入力デバイス６を用いて行われるユーザの入力操作に応じて、移動体追跡装置４を制御する処理、すなわち移動体追跡装置４で行われる各種の処理の条件を設定する処理などが行われる。

特に本実施形態では、確定動線および暫定動線を識別可能に表示させるための動線の表示方法に関する設定がＰＣ３の移動体追跡装置制御部３１を介して移動体追跡装置４の表示方法設定部２７にて行われる。すなわち、動線の表示方法を指定する操作が、ＰＣ３の入力デバイス６を用いて行われ、このユーザの入力操作に応じて指定された表示方法に設定する処理が表示方法設定部２７にて行われる。そして、動線情報取得部２５にて、表示方法設定部２７により設定された表示方法に基づいて、確定動線および暫定動線を識別可能に表示させる表示情報を生成する処理が行われる。この表示情報は、動線情報に含めて動線出力部２６から出力される。

画面生成部３２では、モニタ７に表示させる監視画面を生成する処理が行われる。特に本実施形態では、移動体追跡装置４から取得した動線情報、およびカメラ１からの映像情報に基づいて、人物の動線をリアルタイムな映像上に重畳した画面を生成する処理が行われ、特に、動線情報に含まれる表示情報に基づいて、確定動線および暫定動線が識別可能に表示される。

なお、図２に示したＰＣ３の各部は、ＰＣ３のＣＰＵで移動体追跡用のプログラムを実行させることで実現される。このプログラムは、専用のアプリケーションプログラムとしてＰＣ３に導入すればよいが、この他に、移動体追跡装置４にＷｅｂサーバの機能を設けて、ＰＣ３では汎用的なＷｅｂブラウザで必要な機能を実現するようにしてもよい。

次に、図２に示した移動体追跡装置４の確定動線生成部２３、暫定動線生成部２４および動線情報取得部２５で行われる処理について説明する。図３は、確定動線生成部２３および暫定動線生成部２４で生成される確定動線および未確定動線の状態を説明する説明図である。図４は、比較例においてモニタ７の画面に表示される動線の状態を示す説明図である。図５は、本実施形態においてモニタ７の画面に表示される動線の状態を示す説明図である。なお、図４および図５では、人物の位置を示す枠画像が人物を取り囲むように表示されている。

図３に示すように、確定動線生成部２３にて確定動線が生成されるが、移動体検出部２２で検出された検出位置の信頼度が低い状態では確定動線生成処理に時間を要するため、図３（Ａ）に示すように、確定動線が人物の動きから大きく遅れて生成される。そして、信頼度の高い検出位置が得られるようになると、確定動線が人物の動きに追いつき、図３（Ｂ）に示すように、確定動線が映像内の人物の近くまで延びた状態となる。ここで、確定動線生成処理の遅れが信頼度に起因することとして説明したが、一般的に、この遅れは、スムージングアルゴリズムの処理的な負荷が影響するものである。例えば、ある程度の過去、未来の検出位置情報を踏まえた上で現在の検出位置を確定させるようなスムージングアルゴリズムでは、ある程度の未来のフレーム時間分、確定動線の生成（更新）処理が遅れることとなる。

ここで、リアルタイムな映像上に確定動線を重畳して表示させると、図３（Ａ）に示す状態では、図４（Ａ）に示すように、確定動線が映像中に映った人物から大きく離れた状態となり、人物が移動していても動線は止まっているように描画される。そして、図３（Ｂ）に示す状態となると、図４（Ｂ）に示すように、一気に確定動線が描画される。このように、確定動線を表示させるだけでは、人物が移動しているにも拘わらず、人物に追随するように動線が描画されず、ユーザに違和感を与える。また、人物の移動状況を適切に把握することができないため、監視作業の能率が低下する。

一方、本実施形態では、暫定動線生成部２４にて、移動体検出部２２による最新の検出位置と確定動線の終点との間の未確定区間を補間する暫定動線として、検出位置情報による検出位置を時系列で連結してなる未確定動線を生成し、動線情報取得部２５にて、確定動線および未確定動線を統合した統合動線を生成するようにしている。

このため、図３（Ａ）に示す状態では、図５（Ａ）に示すように、確定動線および未確定動線を統合した統合動線が映像中に映った人物の近くまで延びた状態で表示される。そして、図３（Ｂ）に示す状態となると、図５（Ｂ）に示すように、図５（Ａ）に示す状態で未確定動線で表示されていた区間が確定動線に置き換わる。このように、本実施形態では、人物に追随するように動線が表示されるため、ユーザに違和感を与えることを避けることができ、また、人物の移動状況を適切に把握することができるため、監視作業の能率を向上させることができる。

なお、確定動線生成処理は、移動体検出処理での誤検出の程度に影響されるため、移動体検出処理での誤検出の多少に応じて未確定動線の長さが変化するが、確定動線生成処理の如何に拘わらず、確定動線および暫定動線を統合した統合動線は映像中に映った移動体の近くまで延びた状態で表示される。また、移動体検出処理にも相応の処理時間が必要となるため、厳密には未確定動線の終点、すなわち最新の検出位置は映像中に映った人物像の真上に位置しないが、移動体検出処理にはさほど時間を要しないため、映像内に映った人物とその人物の最新の検出位置との間には大きなずれは生じないため、未確定動線は、映像中に映った人物像の直近まで延びた状態で表示される。

また、本実施形態では、最新の検出位置と確定動線の終点との間の未確定区間を補間する暫定動線として、検出位置を時系列で連結してなる未確定動線を表示するようにしており、この未確定動線には、移動体検出処理での誤検出によるノイズが含まれるため、未確定動線が実際の人物の移動経路から大きく外れる場合もあるが、未確定動線は実際の人物の移動経路に概ね一致するため、未確定動線に基づいて人物の移動状況を的確に把握することができる。

また、本実施形態では、確定動線および暫定動線の表示方法を指定するユーザの入力操作に応じて、指定された表示方法に設定する処理が表示方法設定部２７で行われて、ここで設定された表示方法に基づいて動線の表示情報が動線情報取得部２５で生成するようになっており、これにより、確定動線および暫定動線の表示方法をユーザが必要に応じて自由に指定することができるため、ユーザの利便性を高めることができる。

次に、図２に示した移動体追跡装置４で行われる処理の手順について説明する。図６は、移動体追跡装置４で行われる処理の手順を示すフロー図である。

移動体追跡装置４では、まず、カメラ１から出力される映像（フレーム）が映像入力部２１に入力されると（ＳＴ１０１）、移動体検出部２２にて映像から人物を検出する処理が行われる（ＳＴ１０２）。そして、映像から人物を検出した場合には（ＳＴ１０３でＹＥＳ）、確定動線生成部２３にて移動体検出情報に基づいて確定動線を生成する処理が行われる（ＳＴ１０４）。また、暫定動線生成部２４にて移動体検出情報に基づいて未確定動線を生成する処理が行われる（ＳＴ１０５）。ついで、動線情報取得部２５にて確定動線および未確定動線を統合した統合動線に関する動線情報を取得する処理が行われ（ＳＴ１０６）、動線情報取得部２５で生成した動線情報が動線出力部２６から出力される（ＳＴ１０７）。

一方、映像から人物を検出することができなかった場合には（ＳＴ１０３でＮＯ）、確定動線生成、暫定動線生成、動線情報取得および動線情報出力の各処理（ＳＴ１０４〜ＳＴ１０７）は行われず、次の映像（フレーム）の処理に進む。

次に、図２に示したモニタ７の画面に表示される動線の表示方法について説明する。図７、図８および図９は、動線の表示方法の例を説明する説明図である。

図７（Ａ）に示す例では、確定動線および未確定動線が異なる線種の線で描画されている。特にここでは、確定動線が実線で描画され、未確定動線が破線で描画されている。なお、確定動線および未確定動線を、実線および破線以外の他の線種の線、例えば点線、一点鎖線および二点鎖線などで描画するようにしてもよい。

また、図７（Ｂ）に示す例では、確定動線および未確定動線が異なる濃さ（濃度）の線で描画されている。特にここでは、確定動線が濃い線で描画され、未確定動線が薄い線で描画されている。なお、確定動線および未確定動線を異なる色合い（色相）の線で描画するようにしてもよい。例えば、確定動線を赤色で描画し、未確定動線を青色で描画するようにしてもよい。

また、図７（Ｃ）に示す例では、確定動線および未確定動線が異なる太さの線で描画されている。特にここでは、確定動線が太線で描画され、未確定動線が細線で描画されている。

このように本実施形態では、確定動線および暫定動線が識別可能に表示されるため、確定動線および暫定動線を目視で識別することができ、特に、暫定動線を未確定動線とした場合、確定動線と未確定動線とを識別することで、動線が確定する状況をユーザが把握することができる。

特に、本実施形態では、確定動線および暫定動線が、線種、太さ、濃さ、および色のうちの少なくとも１つ要素が異なるように描画されるため、確定動線および暫定動線を目視で容易に識別することができる。

一方、図８に示す例では、未確定動線において、線の表示状態を定期的に変化させるアニメーション表示が行われる。特に本実施形態では、未確定動線が点滅表示される。すなわち、図８（Ａ）に示すように、未確定動線が表示された第１の表示状態と、図８（Ｂ）に示すように、未確定動線が表示されていない第２の表示状態とが交互に繰り返される。確定動線は常時表示されている。

このように本実施形態では、未確定動線において、線の表示状態を定期的に変化させるアニメーション表示が行われるため、確定動線および未確定動線を識別可能に表示させることができる。

なお、確定動線でアニメーション表示を行うようにしてもよい。また、確定動線および暫定動線の両方でアニメーション表示を行うようにしてもよく、この場合、確定動線と暫定動線とで異なるアニメーション表示を行えばよい。

また、図７および図８に示した例では、未確定区間のみ未確定動線を表示するようにしたが、図９に示す例では、確定区間および未確定区間の両方で未確定動線が表示され、確定区間では確定動線および未確定動線がともに表示されている。

なお、図７、図８および図９に示した動線の表示方法を適宜に組み合わせることも可能である。例えば、図７（Ａ）に示したように、確定動線および未確定動線を表す実線および破線を、図７（Ｂ）に示した例と同様に、濃さや色合いが異なるように描画するようにしてもよい。また、図８に示した例では、確定動線と、アニメーション表示が行われる未確定動線とをともに実線で描画しているが、この確定動線および未確定動線を、図７に示した例と同様に、線種などが異なるように描画するようにしてもよい。

次に、暫定動線の別の例について説明する。図１０は、暫定動線の別の例を説明する説明図である。

図１０（Ａ）に示す例は、図７に示した例と同様に、未確定区間の暫定動線として、検出位置を時系列で連結してなる未確定動線を表示するようにしている。

一方、図１０（Ｂ）に示す例では、未確定区間の暫定動線として直線を表示するようにしている。この直線は、移動体検出部２２による最新の検出位置と確定動線の終点とを結ぶように描画される。なお、未確定区間の暫定動線を曲線で表示するようにしてもよい。この場合、確定動線の終点付近の曲率（曲がり具合）などに基づいて曲線を設定すればよい。

また、図１０（Ｃ）に示す例では、未確定動線を簡略化した暫定動線が表示されている。図１０（Ａ）に示す例では、時系列で並んだ全ての検出位置を結ぶように未確定動線が描画されているが、この図１０（Ｃ）に示す例では、検出位置を一部省略する、すなわち時系列で並んだ検出位置を間引きした折れ線で暫定動線が描画されている。

なお、図１０に示した暫定動線の各形態は、図７〜図９に示した確定動線および未確定動線の表示方法と同様に、ユーザの必要に応じて適宜に選択することができるようにするとよい。

次に、確定動線と未確定動線とを統合した統合動線の表示方法について説明する。図１１は、確定動線と未確定動線とを統合した統合動線の表示方法を説明する説明図である。

確定動線と未確定動線とを統合した統合動線を表示する場合、未確定動線は、未確定区間、すなわち確定動線の終点の時刻以降の期間における検出位置を時系列で連結して生成されるが、確定動線の終点と同一の時刻における検出位置、すなわち未確定動線の始点は、確定動線の終点と必ずしも一致しない。そこで、図１１（Ａ），（Ｂ）に示す描画方法が採用される。

図１１（Ａ）に示す例では、確定動線の終点と未確定動線の始点とを連結線で連結している。連結線は直線とすればよいが、曲線としてもよい。この場合、確定動線の終点付近および未確定動線の始点付近の曲率（曲がり具合）などに基づいて曲線を設定すればよい。

図１１（Ｂ）に示す例では、確定動線の終点と未確定動線の始点とを連結せず、確定動線と未確定動線との間に隙間が形成されている。この場合、確定動線と未確定動線との間の隙間が大きいと、ユーザに違和感を与えるが、通常、同一時刻における確定動線の終点と未確定動線の始点とのずれはさほど大きくならないため、確定動線と未確定動線との間の隙間は小さく、ユーザに大きな違和感を与えることはない。

なお、図１１に示した統合動線の描画方法は、図７〜図９に示した確定動線および未確定動線の表示方法と同様に、ユーザの必要に応じて適宜に選択することができるようにするとよい。

次に、複数の人物が検出された場合の動線の表示状況について説明する。図１２は、複数の人物が検出された場合の動線の表示状況を説明する説明図である。ここでは、２人の場合を示すが、これより多い場合も同様である。

まず、図１２（Ａ）に示すように、２人の人物が検出されると、１人の場合と同様に、２人の人物の各々に確定動線および未確定動線が表示される。そして、図１２（Ｂ）に示すように、２人の人物が接近すると、２人の人物に確定動線が別々に表示されるが、未確定動線は２人の人物で１本になる。そして図１２（Ｃ−１）に示すように、２人の人物が離れると、２人の人物に別々に確定動線および未確定動線が表示される。

一方、図１２（Ｂ）に示す状態から、図１２（Ｃ−２）に示すように、２人の人物が離れないままで移動すると、２人の人物にそれぞれ表示されていた２本の確定動線が１本になり、２人の人物の未確定動線も１本になる。

このように本実施形態では、複数の人物が存在する場合でも人物ごとに動線が表示されるため、各人物の移動状況を把握することができる。特に本実施形態では、動線が人物の最新の検出位置まで延びた状態で表示されることから、人物ごとの動線を取り違えることを避けることができるため、各人物の移動状況を的確に把握することができる。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る移動体追跡装置、移動体追跡システムおよび移動体追跡方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、本実施形態では、スーパーマーケットなどの小売店舗の例について説明したが、ファミリーレストランなどの飲食店など、小売店舗以外の業務形態の店舗に適用することも可能であり、さらに、広域監視システムが採用される工場、空港、鉄道、高速道路、公共施設、電力設備などの店舗以外の施設にも適用することができる。

また、本実施形態では、追跡対象となる移動体を人物とした例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を追跡対象とする用途で用いることも可能である。

また、本実施形態では、移動体検出部２２による最新の検出位置に基づいて暫定動線（未確定動線）を生成するようにしたが、必ずしも最新の検出位置に基づいて暫定動線を生成する必要はなく、最新の検出位置に時間的に近接する時点の検出位置に基づいて暫定動線を生成するようにしてもよい。

また、本実施形態では、カメラ１とは別に移動体追跡装置４を設けたが、この移動体追跡装置の機能の一部あるいは全部をカメラ１に一体化して移動体追跡機能付き撮像装置として構成することも可能である。また、処理の高速化を図るため、移動体追跡装置４の機能の一部、例えば確定動線生成部２３および動線情報取得部２５をＰＣ３に設ける構成も可能である。また、ＰＣ３の機能を移動体追跡装置４と一体化する構成や、移動体追跡装置お４よびＰＣ３の機能をレコーダ２と一体化する構成も可能であり、このような構成ではＰＣ３が不要となる。

また、図２に示されるように、表示方法設定部２７を移動体追跡装置４に設ける構成となっているが、ＰＣ３に表示方法設定部２７を設けることも可能である。この場合、動線出力部２６から出力される確定動線、未確定動線に対する表示方法をＰＣ３側で選択することができるようになる。

また、本実施形態では、移動体追跡処理の全てを、店舗に設けられた装置に行わせるようにしたが、これらの必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で移動体追跡システムが構成される。

このような構成では、店舗に設けられた装置に、少なくとも移動体検出処理を行わせるようにするとよい。このように構成すると、移動体検出処理で取得した情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。

また、クラウドコンピュータ１２に、少なくとも確定動線生成処理を行わせるようにしてもよい。このように構成すると、確定動線生成処理は演算量が大きくなるため、これをクラウドコンピューティングシステムを構成する情報処理装置に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。

また、クラウドコンピュータ１２に必要な処理の全部または一部を行わせ、あるいは、移動体追跡処理で得られた動線情報をクラウドコンピュータ１２に送信するようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３などの携帯型端末でも移動体の追跡状況を閲覧することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で移動体の追跡状況を閲覧することができる。

また、本実施形態では、店舗に設置されたＰＣ３のモニタ７に動線を重畳した監視画面を表示するようにしたが、監視画面の表示装置をＰＣ３とは別に設けることも可能であり、例えば、前記のように本部に設置されたＰＣ１１やスマートフォン１３を監視画面の表示装置とする他に、店舗に設置された販売情報管理装置に監視画面の表示装置としての機能を付加することも可能である。

本発明にかかる移動体追跡装置、移動体追跡システムおよび移動体追跡方法は、移動体の動線をリアルタイムな映像上に重畳して表示する際に、ユーザに違和感を与えることがなく、移動体の移動状況を適切に把握することができる効果を有し、監視エリアのリアルタイムな映像上に移動体の動線を重畳した画面を表示装置に表示させるために、映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡装置、移動体追跡システムおよび移動体追跡方法などとして有用である。

１ カメラ
２ レコーダ
３ ＰＣ
４ 移動体追跡装置
６ 入力デバイス
７ モニタ（表示装置）
１１ ＰＣ
１２ クラウドコンピュータ
１３ スマートフォン
２２ 移動体検出部（移動体検出手段）
２３ 確定動線生成部（第１の動線生成手段）
２４ 暫定動線生成部（第２の動線生成手段）
２５ 動線情報取得部（動線情報取得手段）
２７ 表示方法設定部（表示方法設定手段）
３１ 移動体追跡装置制御部
３２ 画面生成部（画面生成手段）

Claims (10)

1. 監視エリアのリアルタイムな映像上に移動体の移動経路を示す動線を重畳した画面を表示装置に表示させるために、前記映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡装置であって、
   前記映像から移動体を検出して前記検出位置情報を出力する移動体検出手段と、
   前記検出位置情報に含まれる誤検出情報を排除して、前記移動体の移動経路として最適化された確定動線を生成する第１の動線生成手段と、
   前記検出位置情報による略最新の検出位置と前記確定動線の終点との間の未確定区間を補間する暫定動線を生成する第２の動線生成手段と、
   前記確定動線および前記暫定動線を統合した統合動線に関する前記動線情報を取得する動線情報取得手段と、
   を備えたことを特徴とする移動体追跡装置。
2. 前記第２の動線生成手段は、前記暫定動線として、前記検出位置情報による検出位置を時系列で連結してなる未確定動線を生成することを特徴とする請求項１に記載の移動体追跡装置。
3. 前記動線情報取得手段は、前記移動体検出手段により前記映像から複数の移動体が検出された場合に、その移動体ごとに前記動線情報を取得することを特徴とする請求項１または請求項２に記載の移動体追跡装置。
4. 前記動線情報は、前記確定動線および前記暫定動線を識別可能に表示させる表示情報を含むことを特徴とする請求項１から請求項３のいずれかに記載の移動体追跡装置。
5. 前記確定動線および前記暫定動線は、線種、太さ、濃さ、および色のうちの少なくとも１つの要素が互いに異なるように描画されることを特徴とする請求項４に記載の移動体追跡装置。
6. 前記確定動線および前記暫定動線のうち、一方が実線で描画され、他方が破線で描画されることを特徴とする請求項５に記載の移動体追跡装置。
7. 前記確定動線および前記暫定動線の少なくとも一方で、線の表示状態を定期的に変化させるアニメーション表示が行われることを特徴とする請求項４から請求項６のいずれかに記載の移動体追跡装置。
8. 前記確定動線および前記暫定動線の表示方法を指定するユーザの入力操作に応じて、指定された表示方法に設定する表示方法設定手段をさらに備え、
   この表示方法設定手段により設定された表示方法に基づいて前記表示情報を生成することを特徴とする請求項４から請求項７のいずれかに記載の移動体追跡装置。
9. 監視エリアのリアルタイムな映像上に移動体の移動経路を示す動線を重畳した画面を表示装置に表示させるために、前記映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡システムであって、
   前記監視エリアを撮像するカメラと、
   複数の情報処理装置と、
   前記映像上に前記動線を重畳した画面を表示する前記表示装置と、
   を有し、
   前記複数の情報処理装置のいずれかが、
   前記映像から移動体を検出して前記検出位置情報を出力する移動体検出手段と、
   前記検出位置情報に含まれる誤検出情報を排除して、前記移動体の移動経路として最適化された確定動線を生成する第１の動線生成手段と、
   前記検出位置情報による略最新の検出位置と前記確定動線の終点との間の未確定区間を補間する暫定動線を生成する第２の動線生成手段と、
   前記確定動線および前記暫定動線を統合した統合動線に関する前記動線情報を取得する動線情報取得手段と、
   前記動線情報に基づいて前記映像上に前記動線を重畳した画面を生成する画面生成手段と、
   を備えたことを特徴とする移動体追跡システム。
10. 監視エリアのリアルタイムな映像上に移動体の移動経路を示す動線を重畳した画面を表示装置に表示させるために、前記映像から移動体を検出して得られた検出位置情報に基づいて動線情報を取得する移動体追跡方法であって、
    前記映像から移動体を検出して前記検出位置情報を出力するステップと、
    前記検出位置情報に含まれる誤検出情報を排除して、前記移動体の移動経路として最適化された確定動線を生成するステップと、
    前記検出位置情報による略最新の検出位置と前記確定動線の終点との間の未確定区間を補間する暫定動線を生成するステップと、
    前記確定動線および前記暫定動線を統合した統合動線に関する前記動線情報を取得するステップと、
    を有することを特徴とする移動体追跡方法。