JP2015070581A - 移動経路推定装置、移動経路推定方法およびコンピュータプログラム - Google Patents

移動経路推定装置、移動経路推定方法およびコンピュータプログラム Download PDF

Info

Publication number
JP2015070581A
JP2015070581A JP2013205929A JP2013205929A JP2015070581A JP 2015070581 A JP2015070581 A JP 2015070581A JP 2013205929 A JP2013205929 A JP 2013205929A JP 2013205929 A JP2013205929 A JP 2013205929A JP 2015070581 A JP2015070581 A JP 2015070581A
Authority
JP
Japan
Prior art keywords
person
camera
monitoring camera
movement
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013205929A
Other languages
English (en)
Inventor
広行 小原
Hiroyuki Obara
広行 小原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013205929A priority Critical patent/JP2015070581A/ja
Publication of JP2015070581A publication Critical patent/JP2015070581A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】ある監視カメラの映像から特定された人物の追跡の対象にする次の監視カメラを選択し該特定人物の移動経路を推定することを図る。
【解決手段】人物テンプレート画像を使用して監視カメラの映像から人物及び該人物の特徴量を抽出する人物特徴量抽出部5と、抽出された人物及び該人物の特徴量を人物DB12に登録する人物DB登録部6と、抽出された人物の特徴量に該当する特定人物の移動方向及び該移動方向への移動速度を推定する移動推定部7と、推定された特定人物の移動方向及び該移動方向への移動速度に基づいて、該特定人物が撮影されていると推定される次の監視カメラを抽出するカメラ候補抽出部8と、を備え、人物DB登録部6は、特定人物が抽出された映像を撮影した監視カメラを特定するカメラ識別情報を特定人物の撮影時刻の順序に関連付けて人物DB12に格納する。
【選択図】図1

Description

本発明は、移動経路推定装置、移動経路推定方法およびコンピュータプログラムに関する。
従来、監視カメラで撮影された映像から人物の動きを検知することにより、その人物の移動経路を抽出又は推定するための技術が提案されている。例えば、特許文献1に記載の従来技術では、監視映像から移動している物体を検出後、その物体から楕円形の輪郭を有する部分を顔画像として検出し、その顔画像の中心位置を時間的に辿ることにより、その人物の移動経路を抽出している。
特許文献2に記載の従来技術では、複数の監視カメラで撮影された映像、及び入退室装置又は入退室センサの情報を基に、特定人物が次の隣接カメラまで移動した時の平均移動時間を予想することにより、その人物の移動経路を推定している。特許文献3に記載の従来技術では、監視対象空間に複数のカメラ、及び個人認証装置又はドア開閉センサを設置し、画像認識技術を用いて各カメラの映像から移動体及びその特徴量情報(例えば、人物の下半身と上半身の最頻輝度値)を抽出し、センサ情報等を組み合わせることにより、各カメラの映像から得られた移動体の特徴量の距離的な近さを用いて移動体の移動経路を推定している。
特許文献4に記載の従来技術では、人により操作されて発報を行う発報装置を起点に、監視カメラの映像を基に発報装置に一番近い移動体物体を発報者又は被害者と断定し、発報者に接近する移動体物体を被疑者(注目物体)とみなし、隣接する防犯監視システムの映像間で追跡情報(被疑者の位置、移動速度、移動方向又は形状の特徴等)を交換することにより、その被疑者(注目物体)の逃走経路を検出している。
再公表WO2006/025185号公報 特開2009−017416号公報 特開2006−146378号公報 特開2003−109155号公報
しかし、上述した従来技術では以下に示す課題がある。
特許文献1に記載の従来技術では、監視映像から検出された移動している人物の顔画像を検出できない場合には、当該人物を特定できないので見逃してしまう恐れがある。特許文献2及び3に記載の従来技術では、監視対象の敷地内又は建物内などの限られた範囲に設置されている監視カメラの映像又は各種センサ情報を基に移動体の移動経路を推定しているために、監視対象者が敷地外又は建物外に移動した場合の移動経路を特定することは困難である。
特許文献4に記載の従来技術では、既存の防犯監視システムが存在する箇所は限られているため、被疑者の逃走経路が途中で中断される可能性が高い。また、隣接する防犯監視システムの映像間で追跡情報を交換するが、隣接するどの防犯監視システムを被疑者の追跡対象の防犯監視システムに選択するのかが示されていない。
本発明は、このような事情を考慮してなされたもので、一般に街中に設置されている複数の監視カメラを利用でき、監視カメラの映像から精度よく人物を特定でき、ある監視カメラの映像から特定された人物の追跡の対象にする次の監視カメラを選択し該特定人物の移動経路を推定できる移動経路推定装置、移動経路推定方法およびコンピュータプログラムを提供することを課題とする。
(1)本発明に係る移動経路推定装置は、人物テンプレート画像を使用して監視カメラの映像から人物及び該人物の特徴量を抽出する人物特徴量抽出部と、前記抽出された人物及び該人物の特徴量を人物データベースに登録する人物データベース登録部と、前記抽出された人物の特徴量に該当する特定人物の移動方向及び該移動方向への移動速度を推定する移動推定部と、前記推定された特定人物の移動方向及び該移動方向への移動速度に基づいて、該特定人物が撮影されていると推定される次の監視カメラを抽出するカメラ候補抽出部と、を備え、前記人物データベース登録部は、前記特定人物が抽出された映像を撮影した監視カメラを特定するカメラ識別情報を前記特定人物の撮影時刻の順序に関連付けて前記人物データベースに格納する、ことを特徴とする。
(2)本発明に係る移動経路推定装置においては、上記(1)の移動経路推定装置において、初期カメラ指定情報で指定される監視カメラを中心にして、該周囲に設置されている監視カメラの位置をカメラ配置情報にマッピングするカメラ配置情報生成部をさらに備えたことを特徴とする。
(3)本発明に係る移動経路推定装置においては、上記(1)又は(2)の移動経路推定装置において、前記人物テンプレート画像として、監視カメラの設置角度に応じて垂直方向に圧縮された人物テンプレート画像を含むことを特徴とする。
(4)本発明に係る移動経路推定装置においては、上記(1)から(3)のいずれかの移動経路推定装置において、前記人物テンプレート画像として、同一人物の人物テンプレート画像に対して、各々異なる大きさの複数の人物テンプレート画像を含み、前記カメラ候補抽出部は、前記各々異なる大きさの複数の人物テンプレート画像を使用して抽出される人物の遠近感に基づいて、前記次の監視カメラの探索範囲を変化させる、ことを特徴とする。
(5)本発明に係る移動経路推定装置においては、上記(1)から(4)のいずれかの移動経路推定装置において、前記カメラ候補抽出部は、前記特定人物が抽出された映像を撮影した監視カメラと該監視カメラの近傍にある監視カメラとの間の設置距離に基づいて、前記次の監視カメラの探索範囲を変化させる、ことを特徴とする。
(6)本発明に係る移動経路推定装置においては、上記(1)から(5)のいずれかの移動経路推定装置において、前記特定人物が抽出された映像を撮影した監視カメラを特定するカメラ識別情報と該監視カメラによる前記特定人物の撮影時刻の情報とに基づいて、前記特定人物の移動経路を地図上にマッピングする移動経路推定部をさらに備えたことを特徴とする。
(7)本発明に係る移動経路推定装置においては、上記(1)から(6)のいずれかの移動経路推定装置において、監視カメラによって撮影されている静的な物体の情報を使用して該監視カメラの設置当時からの設置角度又は撮影方向のずれを補正するカメラ情報補正部をさらに備えたことを特徴とする。
(8)本発明に係る移動経路推定方法は、人物テンプレート画像を使用して監視カメラの映像から人物及び該人物の特徴量を抽出する人物特徴量抽出ステップと、前記抽出された人物及び該人物の特徴量を人物データベースに登録する人物データベース登録ステップと、前記抽出された人物の特徴量に該当する特定人物の移動方向及び該移動方向への移動速度を推定する移動推定ステップと、前記推定された特定人物の移動方向及び該移動方向への移動速度に基づいて、該特定人物が撮影されていると推定される次の監視カメラを抽出するカメラ候補抽出ステップと、前記特定人物が抽出された映像を撮影した監視カメラを特定するカメラ識別情報を前記特定人物の撮影時刻の順序に関連付けて前記人物データベースに格納するステップと、を含むことを特徴とする。
(9)本発明に係るコンピュータプログラムは、コンピュータに、人物テンプレート画像を使用して監視カメラの映像から人物及び該人物の特徴量を抽出する人物特徴量抽出ステップと、前記抽出された人物及び該人物の特徴量を人物データベースに登録する人物データベース登録ステップと、前記抽出された人物の特徴量に該当する特定人物の移動方向及び該移動方向への移動速度を推定する移動推定ステップと、前記推定された特定人物の移動方向及び該移動方向への移動速度に基づいて、該特定人物が撮影されていると推定される次の監視カメラを抽出するカメラ候補抽出ステップと、前記特定人物が抽出された映像を撮影した監視カメラを特定するカメラ識別情報を前記特定人物の撮影時刻の順序に関連付けて前記人物データベースに格納するステップと、を実行させるためのコンピュータプログラムであることを特徴とする。
本発明によれば、一般に街中に設置されている複数の監視カメラを利用できる。また、監視カメラの映像から精度よく人物を特定できる。また、ある監視カメラの映像から特定された人物の追跡の対象にする次の監視カメラを選択し該特定人物の移動経路を推定できる、という効果が得られる。
本発明の第1実施形態に係る移動経路推定装置1の構成を示すブロック図である。 本発明の第1実施形態に係る移動経路推定システムの概略構成を示す図である。 本発明の第1実施形態に係る移動経路推定処理の全体のフローチャートである。 複数の監視カメラCAMの配置例を示す図である。 本発明の第1実施形態に係るカメラ配置情報の構成例を示す図である。 監視カメラCAM(C)の設置状態図である。 監視カメラCAM(C)の対角線画角と焦点距離との関係図である。 監視カメラCAM(C)の横から見たフレーム図である。 監視カメラCAM(C)の上から見たフレーム図である。 監視カメラCAM(C)の横から見たフレームと実フレームとの関係図である。 監視カメラCAM(C)と実フレームとの関係図である。 本発明の第1実施形態に係る人物DB登録処理(ステップS2)のフローチャートである。 本発明の第1実施形態に係る人物テンプレート画像の例を示す図である。 本発明の第1実施形態に係る人物テンプレート画像の例を示す図である。 本発明の第1実施形態に係る人物テンプレート画像の例を示す図である。 本発明の第1実施形態に係る人物DB12の構成例を示す図である。 本発明の第1実施形態に係る監視カメラCAM(C)の実フレーム上に人物Xの移動経路をマッピングした説明図である。 本発明の第1実施形態に係る監視カメラCAM(C)のフレーム上に人物Xの移動経路をマッピングした説明図である。 本発明の第1実施形態に係る監視カメラCAM(C)の実フレーム上に人物Xの移動経路をマッピングした説明図である。 本発明の第1実施形態に係る監視カメラCAM(C)のフレーム上に人物Xの移動経路をマッピングした説明図である。 本発明の第1実施形態に係る監視カメラ候補抽出処理(ステップS4)のフローチャートである。 本発明の第1実施形態に係る監視カメラ候補抽出処理における方向の条件(1)を説明するための図である。 本発明の第1実施形態に係る監視カメラ候補抽出処理における距離の条件(2)、(3)を説明するための図である。 本発明の第1実施形態に係る特定人物の人物DB登録処理(ステップS5)のフローチャートである。 本発明の第2実施形態に係る人物テンプレート画像の例を示す図である。 本発明の第3実施形態に係る監視カメラ候補抽出処理における方向の条件(1a)を説明するための図である。 本発明の第3実施形態に係る監視カメラ候補抽出処理における距離の条件(2)、(3)を説明するための図である。 本発明の第3実施形態に係る監視カメラ候補抽出処理における方向の条件(1a)を説明するための他の図である。 本発明の第3実施形態に係る監視カメラ候補抽出処理における距離の条件(2)、(3)を説明するための他の図である。 本発明の第3実施形態に係る監視カメラ候補抽出処理における方向の条件の説明図である。 本発明の第3実施形態に係る監視カメラ候補抽出処理における方向の条件の説明図である。 本発明の第3実施形態に係る監視カメラ候補抽出処理における方向の条件の説明図である。 本発明の第3実施形態に係る監視カメラ候補抽出処理における方向の条件の説明図である。 本発明の第4実施形態に係る移動経路推定装置1の構成を示すブロック図である。 本発明の第5実施形態に係る移動経路推定装置1の構成を示すブロック図である。 本発明の第5実施形態に係る移動経路推定情報生成処理のフローチャートである。 本発明の第5実施形態に係る移動経路推定情報の構成例を示す図である。 本発明の第6実施形態に係る移動経路推定装置1の構成を示すブロック図である。 監視カメラCAM(C)の設置角度のずれと看板の関係を説明するための図である。 監視カメラCAM(C)の設置角度のずれによる実フレーム上の看板の見え方のずれを説明するための図である。 監視カメラCAM(C)の設置角度のずれの補正を説明するための図である。 監視カメラCAM(C)の撮影方向のずれによる看板の中心位置の見え方のずれを説明するための図である。 監視カメラCAM(C)を上から見た場合の撮影方向のずれの補正を説明するための図である。 監視カメラCAM(C),(C’)を上から見た場合の撮影方向のずれの補正を説明するための図である。
以下、図面を参照し、本発明の実施形態について説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る移動経路推定装置1の構成を示すブロック図である。図1において、移動経路推定装置1は、入力部2と出力部3とカメラ配置情報生成部4と人物特徴量抽出部5と人物データベース(人物DB)登録部6と移動推定部7とカメラ候補抽出部8とデータ記憶部9とカメラ配置情報記憶部10と人物テンプレート画像データベース(人物テンプレート画像DB)11と人物データベース(人物DB)12とを備える。
図2に示されるように、移動経路推定装置1には、複数の監視カメラCAMでそれぞれに撮影された複数のカメラ映像データが入力される。カメラ映像データは、時系列に沿った映像データであって撮影日時の情報を有する。監視カメラCAMとしては、一般に街中に設定されている監視カメラを利用する。カメラ映像データは、通信ネットワークを介してオンラインで移動経路推定装置1に入力されてもよく、又は、記録媒体等を介してオフラインで移動経路推定装置1に入力されてもよい。また、移動経路推定装置1には、カメラ情報および初期情報が入力される。カメラ情報は、各監視カメラCAMの情報である。初期情報は、移動経路の推定を行うための初期値の情報である。移動経路推定装置1は、それら入力データを使用して移動経路推定処理を行い、移動経路推定処理の結果である移動経路推定情報を出力する。
以下、第1実施形態に係る移動経路推定装置1の動作を説明する。なお、以下の説明では、監視カメラのことを単にカメラと称する場合がある。
図3は、第1実施形態に係る移動経路推定処理の全体のフローチャートである。移動経路推定装置1は、カメラ映像データ、カメラ情報および初期情報が入力されると、図3の移動経路推定処理を開始する。入力部2は、入力されたカメラ映像データ、カメラ情報および初期情報をデータ記憶部9に格納する。
(ステップS1;カメラ配置情報生成処理)
カメラ配置情報生成部4は、カメラ情報および初期情報を使用してカメラ配置情報を生成する。図4は、複数の監視カメラCAMの配置例を示す図である。初期情報には、事件等が発生した場所にある監視カメラCAM(C)を、移動経路推定処理において最初に使用するカメラ映像データの監視カメラCAMに指定する初期カメラ指定情報が含まれる。なお、監視カメラCAM(C)という表記において、カッコ内のCはカメラの識別子(カメラID)である。
カメラ配置情報生成部4は、初期カメラ指定情報で指定される監視カメラCAM(C)を中心にして、該周囲に設置されている監視カメラCAMの位置を順番にカメラ配置情報にマッピングする。
図5は、第1実施形態に係るカメラ配置情報の構成例を示す図である。図5において、カメラ配置情報は、監視カメラCAMのカメラID毎に、X−Y座標上にマッピングされた座標(X,Y)と、標準時刻からの撮影時刻のずれ(±秒)とを有する。この撮影時刻のずれは、各監視カメラCAMの撮影時刻が同期されていないことを考慮し、各監視カメラCAMのカメラ映像データの時刻の同期を取るために使用される。各監視カメラCAMの位置の情報と、標準時刻からの撮影時刻のずれの情報は、カメラ情報に含まれる。以下の説明では、各カメラ映像データの撮影時刻の値を利用する際に、カメラ配置情報の撮影時刻のずれに基づいて該ずれを補正して利用するものとする。
なお、各監視カメラCAMが通信ネットワーク上に接続される場合、各監視カメラCAMの撮影時刻は自動的に補正されることが考えられる。さらには、各監視カメラCAMの撮影時刻が自動的に補正された後、カメラ映像データがリアルタイムでクラウド上に自動的にアップロードされ、移動経路推定装置1でリアルタイム処理されることも可能となる。
図6は監視カメラCAM(C)の設置状態図である。監視カメラCAM(C)の設置角度Θ°、地上面からの高さhに応じて、監視カメラCAM(C)が撮影できる範囲が決まる。
図7は、監視カメラCAM(C)の対角線画角と焦点距離との関係図である。監視カメラCAM(C)のレンズで見える範囲はイメージサークルと呼ばれ、映像フィルムの撮像素子が長方形のため、レンズで見える範囲が長方形(以下、「フレーム」と称する)となる。そのフレームの高さをH、幅をW、対角線をDとする。また、監視カメラCAM(C)のレンズの焦点距離をf、対角線画角を2O°とする。映像フィルムの種類に応じてフレームのサイズが決まり、そのフレームサイズ及び監視カメラCAM(C)の焦点距離fに応じて対角線画角2O°が決まる。また、監視カメラCAM(C)のレンズ位置を挟んで、フレームと実際の被写体の大きさを反映したフレーム(以下、「実フレーム」と称する)が対峙する。その実フレームの高さをH’、幅をW’とする。
図8は、監視カメラCAM(C)の横から見たフレーム図である。図9は、監視カメラCAM(C)の上から見たフレーム図である。監視カメラCAM(C)の垂直画角2P°、水平画角2Q°は対角線画角2O°と同様に、焦点距離fに応じて決まる。具体的には、焦点距離fが短くなると、レンズは広角となり、対角線画角2O°、垂直画角2P°及び水平画角2Q°は大きくなる。逆に、焦点距離fが長くなると、レンズは望遠となり、対角線画角2O°、垂直画角2P°及び水平画角2Q°は小さくなる。
図10は、監視カメラCAM(C)の横から見たフレームと実フレームとの関係図である。ここでは、監視カメラCAM(C)は設置角度Θ°で設置され、かつ実フレームが地上面で交わる箇所に焦点を合わせて撮影すると仮定する。また、フレームの高さHと実フレームの高さH’との関係は相似関係にある。このため、式(1)となる。
Figure 2015070581
図11は、監視カメラCAM(C)と実フレームとの関係図である。監視カメラCAM(C)の撮影方向をR°とすると、監視カメラCAM(C)のフレームは監視カメラCAM(C)の撮影方向R°に対して垂直方向に設置される。また、監視カメラCAM(C)のフレームと実フレームは相似関係にあるため、フレームの幅Wと実フレームの幅W’との比率はフレームの高さHと実フレームの高さH’との比率と同一となり、該比率「W’/W」は式(2)となる。
Figure 2015070581
カメラ配置情報生成部4は、上記監視カメラCAM(C)のフレームと実フレームとの関係を示す情報、監視カメラCAM(C)と実フレームとの関係を示す情報を、カメラ配置情報に含める。
(ステップS2;人物DB登録処理)
人物特徴量抽出部5は、移動経路推定処理において最初に使用する監視カメラCAM(C)のカメラ映像データのIフレーム映像に人物テンプレートを当てはめ、人物テンプレートに該当する人物Xと該人物Xの特徴量を抽出する。そして、人物DB登録部6は、人物DB12に対して人物Xを該特徴量と共に登録する。人物DB12には、人物Xを示す人物ID「ID」に関連付けて人物Xの特徴量が格納される。
図12は、第1実施形態に係る人物DB登録処理(ステップS2)のフローチャートである。初めに変数K、L、M、Nは0に初期化される。
(ステップS201)
人物特徴量抽出部5は、監視カメラCAM(C)のカメラ映像データの最初のIフレーム映像(L=0)から順番に、予め用意した人物テンプレート画像を当てはめ、人物テンプレート画像に当てはまる人物すべてを抽出する。人物テンプレート画像は、人物テンプレート画像DB11に格納されている。
図13、図14、図15は、第1実施形態に係る人物テンプレート画像の例を示す図である。
図13には、顔画像の人物テンプレート画像の例が示されている。顔画像の人物テンプレート画像として、正面の顔画像、右横向きの顔画像、左横向きの顔画像、後向きの顔画像が用意されている。さらに、図13(1)真正面から見た顔画像と、図13(2)斜め上から見た顔画像とが用意されている。
図14、図15には、体型画像の人物テンプレート画像の例が示されている。体型画像の人物テンプレート画像として、標準の体型、太り気味の体型、やせ気味の体型、小柄な体型、大柄な体型が用意されている。さらに、図14(1)真正面から見た体型画像と、図14(2)斜め上から見た体型画像とが用意されている。またさらに、図15(3)真正面から見た体型画像として、正面の体型画像、右横向きの体型画像、左横向きの体型画像、後向きの体型画像が用意されている。またさらに、図15(4)斜め上から見た体型画像として、正面の体型画像、右横向きの体型画像、左横向きの体型画像、後向きの体型画像が用意されている。なお、図15には、標準の体型のみを示しているが、太り気味の体型、やせ気味の体型、小柄な体型、大柄な体型についても同様に用意される。
図13、図14、図15に示されるように、顔画像だけではなく、体型画像の人物テンプレート画像を使用して人物の抽出を行うことにより、監視カメラCAMのカメラ映像データから精度よく人物を特定できる。さらに正面や横向き、後向きなどの異なる向きの人物テンプレート画像や、真正面から見た場合や斜め上から見た場合などの異なる方向から見た人物テンプレート画像を使用して人物の抽出を行うことにより、監視カメラCAMのカメラ映像データから人物を特定する際の精度をさらに高めることができる。
例えば、監視カメラCAM(C)の設置角度Θ°により、人物画像が垂直方向に圧縮されて撮影される可能性がある。このため、監視カメラCAM(C)の設置角度Θ°に応じた人物テンプレート画像(真正面から見た場合や斜め上から見た場合などの異なる方向から見た人物テンプレート画像)を準備することにより、人物抽出の精度を向上させることが可能となる。例えば、監視カメラCAM(C)の設置角度Θ°は0°から90°までの範囲となるため、人物テンプレート画像の垂直方向の圧縮率を「Θ°/90°」として人物テンプレート画像を生成する。これにより、人物テンプレート画像による人物の抽出精度を向上させることが可能となる。
(ステップS202)
ステップS201において、人物テンプレート画像に当てはまる人物を抽出できた場合にはステップS203に進み、一方、人物テンプレート画像に当てはまる人物を抽出できなかった場合にはステップS209に進む。
(ステップS203)
人物特徴量抽出部5は、ステップS201で抽出された人物の特徴量を抽出する。人物の特徴量としては、顔かたち、体型、皮膚の色、上下の服装の色、眼鏡の有無、眼鏡の種類(例えば、サングラスか否か)、覆面の有無(例えば、帽子/目隠し帽/マスク)、髭の有無、髪の特徴量(髪の色、髪の長さ)などである。
ステップS203において、人物の特徴量を抽出できた場合にはステップS204に進み、一方、人物の特徴量を抽出できなかった場合にはステップS207に進む。
(ステップS204)
人物DB登録部6は、新規に抽出された人物の特徴量が人物DB12に既に登録されている人物Xの全ての特徴量と一致しているかを判断する。この結果、ステップS203で抽出された人物の特徴量が人物DB12に既に登録されている人物Xの全ての特徴量と一致している場合にはステップS205に進み、一方、一致していない場合にはステップS208に進む。
(ステップS205)
人物DB登録部6は、人物Xの新規に抽出された特徴量を人物ID「ID」に関連付けて人物DB12に格納する。
(ステップS206)
人物DB登録部6は、人物Xの特定に使用された人物テンプレート画像の中心位置Pと撮影時刻Tを人物ID「ID」及び監視カメラCAMのID「C」に関連付けて人物DB12に格納する。そして、人物Xの番号Kに1加算しステップS209へ進む。
図16は、第1実施形態に係る人物DB12の構成例を示す図である。人物DB12には、人物Xを示す人物ID「ID」に関連付けて、人物Xの特徴量と、人物Xの特定に使用された人物テンプレート画像の中心位置Pと撮影時刻Tとが格納される。人物テンプレート画像として、顔画像と体型画像の両方が人物DB12に登録されている場合、人物テンプレート画像には体型画像を適用するものとする。
また、人物DB12には、人物Xの人物ID「ID」に関連付けて、該人物Xが抽出されたカメラ映像データを撮影した監視カメラCAMのカメラIDが該人物Xの撮影時刻の順序で格納される(「撮影されているカメラIDの時系列」)。なお、「撮影されているカメラIDの時系列」において最初のカメラIDは、初期の監視カメラCAM(C)のカメラID「C」である。
(ステップS207)
人物DB登録部6は、変数Nに1を加算し、人物DB12に新規人物Xのテンプレート情報のみを人物ID「ID」に関連付けて人物DB12に格納する。この後、ステップS206に進む。
(ステップS208)
人物DB登録部6は、変数Nに1を加算し、人物DB12に新規人物Xの特徴量を人物ID「ID」に関連付けて人物DB12に格納する。この後、ステップS206に進む。
(ステップS209)
人物DB登録部6は、変数Lに1を加算する。
(ステップS210)
人物DB登録部6は、Iフレーム映像が最後のIフレームであるかを判断する。この結果、最後のIフレームである場合には図12の処理を終了し、そうではない場合にはステップS201に戻る。
このようにして、人物DB12には、登録済みの人物と一致すれば該登録済み人物Xの人物ID「ID」に、登録済みの人物と一致しなければ新規の人物「XN+1」の人物ID「IDN+1」に各々の特徴量が格納される。
以上が人物DB登録処理(ステップS2)の説明である。
(ステップS3;移動推定処理)
移動推定部7は、監視カメラCAM(C)のカメラ映像データから得られた人物Xについて、移動方向U(X)°と移動速度V(X)を推定する。
図17は、第1実施形態に係る監視カメラCAM(C)の実フレーム上に人物Xの移動経路をマッピングした説明図である。図17は、人物Xが実フレーム上を右から左に移動する場合である。図17において、監視カメラCAM(C)のカメラ映像データから抽出された人物Xの撮影時刻T(K=0,1,2)の人物テンプレート画像の中心位置P(K=0,1,2)を実フレームにマッピングし、その中心位置P(K=0,1,2)の線形近似曲線を引く。監視カメラCAM(C)の場合、線形近似曲線のX軸成分に投影した方向(即ち、フレーム幅の方向)が人物Xの移動方向U(X)°となる。そして、「U(X)°>R°」であるので、「U(X)°=R°+90°」となる。
図18は、第1実施形態に係る監視カメラCAM(C)のフレーム上に人物Xの移動経路をマッピングした説明図である。図18は、人物Xがフレーム上を右から左に移動する場合である。図18において、監視カメラCAM(C)のフレーム上で、中心位置PとPとの間のX軸方向の距離をx、Y軸方向の距離をyとすると、監視カメラCAM(C)の人物Xの移動方向への移動速度V(X)は実フレームサイズへの補正を加えると、式(3)となる。
Figure 2015070581
図19は、第1実施形態に係る監視カメラCAM(C)の実フレーム上に人物Xの移動経路をマッピングした説明図である。図19は、人物Xが実フレーム上を左から右に移動する場合である。図19において、監視カメラCAM(C)の場合、線形近似曲線のX軸成分に投影した方向(即ち、フレーム幅の方向)が人物Xの移動方向U(X)°となる。そして、「U(X)°<R°」であるので、「U(X)°=R°−90°」となる。
図20は、第1実施形態に係る監視カメラCAM(C)のフレーム上に人物Xの移動経路をマッピングした説明図である。図20は、人物Xがフレーム上を左から右に移動する場合である。図20において、監視カメラCAM(C)のフレーム上で、中心位置PとPとの間のX軸方向の距離をx、Y軸方向の距離をyとすると、監視カメラCAM(C)の人物Xの移動方向への移動速度V(X)は実フレームサイズへの補正を加えると、上記式(3)となる。
上記により、人物Xの移動方向U(X)°と移動方向U(X)°への移動速度V(X)は、以下の三つの場合分け(1)、(2)、(3)により算出できる。なお、撮影時刻Tは撮影時刻の中で最も古い時刻を示し、撮影時刻TMAXは撮影時刻の中で最も新しい時刻を示す。
(1)「U(X)°>R°」の場合(人物Xがフレーム上を右から左に移動する場合)。
移動方向U(X)°は「U(X)°=R°+90°」である。
移動方向U(X)°への移動速度V(X)は式(4)である。
(2)「U(X)°=R°」の場合(人物Xが、フレーム上を手前側もしくは奥側に移動する場合、又は止まっている場合)。
移動方向U(X)°は「U(X)°=R°」である。
移動方向U(X)°への移動速度V(X)は式(4)である。
(3)「U(X)°<R°」の場合(人物Xがフレーム上を左から右に移動する場合)。
移動方向U(X)°は「U(X)°=R°−90°」である。
移動方向U(X)°への移動速度V(X)は式(4)である。
Figure 2015070581
以上が移動推定処理(ステップS3)の説明である。
(ステップS4;監視カメラ候補抽出処理)
カメラ候補抽出部8は、監視カメラCAM(C)のカメラ映像データから得られた人物Xについて、当該人物Xが時系列に沿って撮影されていると推定される次の監視カメラCAM(CM+1)を抽出する。
図21は、第1実施形態に係る監視カメラ候補抽出処理(ステップS4)のフローチャートである。この監視カメラ候補抽出処理では、ステップS3の移動推定処理で得られた人物Xの移動方向U(X)°と移動方向U(X)°への移動速度V(X)を使用する。
(ステップS401)
カメラ候補抽出部8は、「人物Xの移動方向U(X)°>監視カメラCAM(C)の方向R°」であるかを判断する。この結果、「人物Xの移動方向U(X)°>監視カメラCAM(C)の方向R°」である場合にはステップS402に進み、そうではない場合にはステップS406に進む。
(ステップS402)
カメラ候補抽出部8は、「人物Xの移動方向U(X)°=R°+90°」を使用する。
(ステップS403)
カメラ候補抽出部8は、「U(X)°−a°≦A°≦U(X)°+a°」を満足する監視カメラCAM(CM+1)があるかを判断する。但し、a°は監視カメラCAM(CM+1)を抽出する際の探索方向を示す角度(固定値)である。ここでは、a°は15°とする。また、A°は最適な監視カメラCAM(CM+1)が存在する所定角度である。
ステップS403において、該当する監視カメラCAM(CM+1)がある場合にはステップS404に進み、一方、該当する監視カメラCAM(CM+1)がない場合にはステップS409に進む。
(ステップS404)
カメラ候補抽出部8は、監視カメラCAM(C)と監視カメラCAM(CM+1)との間の距離Zが一番短く、かつ、「Z≦V(X)×Tfix」を満足する監視カメラCAM(CM+1)があるかを判断する。但し、Tfixは監視カメラCAM(CM+1)に到達するまでの時間であり、所定の固定値である。
ステップS404において、該当する監視カメラCAM(CM+1)がある場合にはステップS405に進み、一方、該当する監視カメラCAM(CM+1)がない場合にはステップS409に進む。
(ステップS405)
カメラ候補抽出部8は、監視カメラCAM(CM+1)を、人物Xの次の探索に使用するカメラ映像データを撮影した監視カメラCAMとする。そして、変数Mに1を加算する。この後、図3のステップS5に進む。
(ステップS406)
カメラ候補抽出部8は、「人物Xの移動方向U(X)°=監視カメラCAM(C)の方向R°」であるかを判断する。この結果、「人物Xの移動方向U(X)°=監視カメラCAM(C)の方向R°」である場合にはステップS407に進み、そうではない場合にはステップS408に進む。
(ステップS407)
カメラ候補抽出部8は、「人物Xの移動方向U(X)°=R°」を使用する。この後、ステップS403へ進む。
(ステップS408)
カメラ候補抽出部8は、「人物Xの移動方向U(X)°=R°−90°」を使用する。この後、ステップS403へ進む。
(ステップS409)
カメラ候補抽出部8は、a°に15°を加算する。これにより、監視カメラCAM(CM+1)の探索範囲を広げる。
(ステップS410)
カメラ候補抽出部8は、「a°≦180°」を判断する。この結果、「a°≦180°」である場合にはステップS403に戻る。一方、「a°≦180°」でない場合には図3のステップS6に進む。
上述した監視カメラ候補抽出処理では、ステップS3の移動推定処理で得られた人物Xの移動方向U(X)°と移動方向U(X)°への移動速度V(X)を使用して、以下の3つの条件(1)、(2)、(3)を全て満足する次の最適な監視カメラCAM(CM+1)を抽出している。
方向の条件(1);「U(X)°−a°≦A°≦U(X)°+a°」を満足すること。
距離の条件(2);条件(1)により抽出された次の監視カメラCAM(CM+1)までの距離Zが最短であること。
距離の条件(3);「Z≦V(X)×Tfix」を満足すること。
図22は、第1実施形態に係る監視カメラ候補抽出処理における方向の条件(1)を説明するための図である。図23は、第1実施形態に係る監視カメラ候補抽出処理における距離の条件(2)、(3)を説明するための図である。図22、図23は、人物Xがフレーム上を右から左に移動する場合である。
図22において、方向の条件(1)を満足する監視カメラは、監視カメラCAM(C)、(C)、(C18)、(C19)である。図23において、それら監視カメラCAM(C)、(C)、(C18)、(C19)のうち、距離の条件(2)、(3)を満足するのは、監視カメラCAM(C)である。これにより、監視カメラCAM(C)が、人物Xの次の探索に使用するカメラ映像データを撮影した監視カメラCAMとして抽出される。
なお、上記した距離の条件(3)を設けることにより、監視カメラCAM(C)から、ある一定距離以上、離れた監視カメラを監視カメラCAM(CM+1)の抽出対象から排除することができるので、効率的な処理が可能となる。
以上が監視カメラ候補抽出処理(ステップS4)の説明である。
(ステップS5;特定人物の人物DB登録処理)
ステップS5では、ステップS2で抽出された人物のうち、注目したい特定人物Xのみを対象に人物DB登録処理を実施する。
図24は、第1実施形態に係る特定人物の人物DB登録処理(ステップS5)のフローチャートである。初めに変数K、Lは0に初期化される。なお、ステップS4の監視カメラ候補抽出処理で抽出された監視カメラCAMが、特定人物の人物DB登録処理(ステップS5)では監視カメラCAM(C)である。
(ステップS501)
人物特徴量抽出部5は、監視カメラCAM(C)のカメラ映像データにおいて、特定人物Xが抽出された前の監視カメラCAMのカメラ映像データの最後の撮影時刻以降のIフレーム映像(L=0)から順番に、人物テンプレート画像DB11の人物テンプレート画像を当てはめ、人物テンプレート画像に当てはまる人物を抽出する。
(ステップS502)
ステップS501において、人物テンプレート画像に当てはまる人物を抽出できた場合にはステップS503に進み、一方、人物テンプレート画像に当てはまる人物を抽出できなかった場合にはステップS507に進む。
(ステップS503)
人物特徴量抽出部5は、ステップS501で抽出された人物の特徴量を抽出する。この人物の特徴量としては、ステップS203と同様のものである。
ステップS503において、人物の特徴量を抽出できた場合にはステップS504に進み、一方、人物の特徴量を抽出できなかった場合にはステップS507に進む。
(ステップS504)
人物DB登録部6は、ステップS503で抽出された特徴量が人物DB12内の特定人物Xの特徴量と一致しているかを判断する。この結果、一致している場合にはステップS505に進み、一方、一致していない場合にはステップS507に進む。
(ステップS505)
人物DB登録部6は、ステップS503で抽出された特徴量のうち、特定人物Xの新規に抽出された特徴量を人物ID「ID」に関連付けて人物DB12に格納する。
(ステップS506)
人物DB登録部6は、特定人物Xの抽出に使用された人物テンプレート画像の中心位置Pと撮影時刻Tを人物ID「ID」及び監視カメラCAMのID「C」に関連付けて人物DB12に格納する。また、人物DB登録部6は、人物DB12に対して、「撮影されているカメラIDの時系列」の情報を更新する。そして、人物Xの番号Kに1を加算しステップS507へ進む。
(ステップS507)
人物DB登録部6は、変数Lに1を加算する。
(ステップS508)
人物DB登録部6は、Iフレーム映像が最後のIフレームであるかを判断する。この結果、最後のIフレームである場合には図24の処理を終了し、そうではない場合にはステップS501に戻る。
このようにして、特定人物Xのみの人物DB12への登録が行われる。
以上が特定人物の人物DB登録処理(ステップS5)の説明である。
(ステップS6;移動経路推定情報の出力処理)
出力部3は移動経路推定情報を出力する。この移動経路推定情報は、特定人物Xが抽出されたカメラ映像データを撮影した監視カメラCAMを特定する情報を、特定人物Xが抽出された時系列の順番で有する。この移動経路推定情報によれば、特定人物Xが撮影された監視カメラCAM(撮影範囲)を時系列に沿って特定することができる。これにより、特定人物Xの移動経路を推定できる。
なお、上述した実施形態1では人物を対象にして移動経路を推定しているが、自動車等の移動体を対象に移動経路を推定しても良い。
[第2実施形態]
第2実施形態は、第1実施形態に係る人物テンプレート画像の変形例である。図25は、第2実施形態に係る人物テンプレート画像の例を示す図である。図25に示されるように、同一人物の人物テンプレート画像に対して、各々異なる大きさ(大、標準(中)、小)の複数の人物テンプレート画像をそれぞれ準備する。これにより、同一人物が監視カメラCAMから遠ざかったり又は監視カメラCAMに近づいたりすることを考慮して、人物の抽出を行うことができる。つまり、同一人物であっても、監視カメラCAMから遠ざかった場合にはより小さい人物テンプレート画像により人物の抽出を行うことができ、一方、監視カメラCAMに近づいた場合にはより大きい人物テンプレート画像により人物の抽出を行うことができる。これにより、人物の遠近感を抽出することが可能となる。
[第3実施形態]
第3実施形態は第2実施形態に係る監視カメラ候補抽出処理の他の実施例である。第3実施形態では、第2実施形態に係る人物テンプレート画像を使用し、同一人物の人物テンプレート画像の大小から、映像の遠近法に基づき人物Xの奥行方向の移動を推定する。これにより、次の監視カメラCAM(CM+1)の探索範囲を第1実施形態よりも狭めることが可能となる。この結果、確度高く、人物Xが撮影された監視カメラCAM(CM+1)を効率良く抽出できるので、移動経路推定処理の全体の効率化につながる。
上述した図18において、撮影時刻TからTにかけては、人物Xに当てはまる人物テンプレート画像の大きさが大、標準(中)、小に変化している。このことから、映像の遠近法に基づき、該人物Xが監視カメラCAM(C)の「手前方向から奥方向へ」移動していることが分かる。この移動方向の情報に基づいて、第3実施形態では、次の監視カメラCAM(CM+1)の探索範囲を第1実施形態よりも狭める。
図26は、第3実施形態に係る監視カメラ候補抽出処理における方向の条件(1a)を説明するための図である。図27は、第3実施形態に係る監視カメラ候補抽出処理における距離の条件(2)、(3)を説明するための図である。図26、図27は、人物Xがフレーム上を右から左に移動する場合である。
上述した第1実施形態に係る図22では監視カメラCAM(C)から見た、次の最適な監視カメラ候補の探索範囲は「U(X)°±a°」となる。これに対して、図26では、人物Xが監視カメラCAM(C)の「手前方向から奥方向へ」移動していることから、次の最適な監視カメラ候補の探索範囲を「U(X)°−a°」に狭めることができる。つまり、第3実施形態では、次の最適な監視カメラ候補の探索範囲が第1実施形態の半分になる。
これにより、第1実施形態に係る図22では方向の条件(1)を満足する監視カメラは監視カメラCAM(C)、(C)、(C18)、(C19)であるが、第3実施形態に係る図26では方向の条件(1a)を満足する監視カメラは監視カメラCAM(C)、(C19)となる。このように、第3実施形態によれば、第1実施形態よりも、次の最適な監視カメラ候補の台数が減少するので、これ以降の処理量を削減でき、処理の効率化につながる。
なお、図27に示される距離の条件(2)、(3)は第1実施形態と同じである。
図28は、第3実施形態に係る監視カメラ候補抽出処理における方向の条件(1a)を説明するための他の図である。図29は、第3実施形態に係る監視カメラ候補抽出処理における距離の条件(2)、(3)を説明するための他の図である。図28、図29は、人物Xがフレーム上を左から右に移動する場合である。
上述した図20において、撮影時刻TからTにかけては、人物Xに当てはまる人物テンプレート画像の大きさが小、標準(中)、大に変化している。このことから、映像の遠近法に基づき、該人物Xが監視カメラCAM(C)の「奥方向から手前方向へ」移動していることが分かる。この移動方向の情報によって、第3実施形態では、次の監視カメラCAM(CM+1)の探索範囲を第1実施形態よりも狭める。上述した第1実施形態では、該監視カメラCAM(C)から見た、次の最適な監視カメラ候補の探索範囲は「U(X)°±a°」となる。
これに対して、図28では、人物Xが監視カメラCAM(C)の「奥方向から手前方向へ」移動していることから、次の最適な監視カメラ候補の探索範囲を「U(X)°−a°」に狭めることができる。つまり、第3実施形態では、次の最適な監視カメラ候補の探索範囲が第1実施形態の半分になる。
これにより、第1実施形態では方向の条件(1)を満足する監視カメラは監視カメラCAM(C19)、(C20)となるが、第3実施形態では図28に示されるように方向の条件(1a)を満足する監視カメラは監視カメラCAM(C19)のみとなる。このように、第3実施形態によれば、第1実施形態よりも、次の最適な監視カメラ候補の台数が減少するので、これ以降の処理量を削減でき、処理の効率化につながる。
なお、図29に示される距離の条件(2)、(3)は第1実施形態と同じである。
上記により、第3実施形態に係る監視カメラ候補抽出処理では、方向の条件(1a)は、以下の三つの場合分け(1a−1)、(1a−2)、(1a−3)となる。図30、図31、図32、図33は第3実施形態に係る監視カメラ候補抽出処理における方向の条件の説明図である。なお、撮影時刻Tは撮影時刻の中で最も古い時刻を示し、撮影時刻TMAXは撮影時刻の中で最も新しい時刻を示す。
<方向の条件(1a―1)>「U(X)°>R°」の場合(人物Xがフレーム上を右から左に移動する場合)において。
(1a−1−1)「撮影時刻Tの人物テンプレート画像の大きさ>撮影時刻TMAXの人物テンプレート画像の大きさ」の場合(人物Xが監視カメラCAM(C)の「手前側から奥側へ」移動する場合)には、
「U(X)°−a°≦A°≦U(X)°」
となる(図30参照)。
(1a−1−2)「撮影時刻Tの人物テンプレート画像の大きさ=撮影時刻TMAXの人物テンプレート画像の大きさ」の場合(人物Xが監視カメラCAM(C)に対して「ほぼ平行に」移動する場合)には、
「U(X)°−a°≦A°≦U(X)°+a°」
となる(人物Xが±a°のいずれの方向にも移動の可能性あり)。
(1a−1−3)「撮影時刻Tの人物テンプレート画像の大きさ<撮影時刻TMAXの人物テンプレート画像の大きさ」の場合(人物Xが監視カメラCAM(C)の「奥側から手前側へ」移動する場合)には、
「U(X)°≦A°≦U(X)°+a°」
となる(図31参照)。
<方向の条件(1a―2)>「U(X)°=R°」の場合(人物Xが、フレーム上を手前側もしくは奥側に移動する、又は止まっている場合)において。
(1a−2−1)「撮影時刻Tの人物テンプレート画像の大きさ>撮影時刻TMAXの人物テンプレート画像の大きさ」の場合(人物Xが監視カメラCAM(C)の「手前側から奥側へ」移動する場合、つまり監視カメラCAM(C)の方向Rと同じ方向に移動する場合)には、
「U(X)°=R°」、「U(X)°−a°≦A°≦U(X)°+a°」
となる(人物Xが±a°のいずれの方向にも移動の可能性あり)。
(1a−2−2)「撮影時刻Tの人物テンプレート画像の大きさ=撮影時刻TMAXの人物テンプレート画像の大きさ」の場合(人物Xが監視カメラCAM(C)に対して止まっている場合)には、ステップS6へ進む。
(1a−2−3)「撮影時刻Tの人物テンプレート画像の大きさ<撮影時刻TMAXの人物テンプレート画像の大きさ」の場合(人物Xが監視カメラCAM(C)の「奥側から手前側へ」移動する場合、つまり監視カメラCAM(C)の方向Rと逆方向に移動する場合)には、
「U(X)°=R°+180°」、「U(X)°−a°≦A°≦U(X)°+a°」
となる(人物Xが±a°のいずれの方向にも移動の可能性あり)。
<方向の条件(1a―3)>「U(X)°<R°」の場合(人物Xがフレーム上を左から右に移動する場合)において。
(1a−3−1)「撮影時刻Tの人物テンプレート画像の大きさ>撮影時刻TMAXの人物テンプレート画像の大きさ」の場合(人物Xが監視カメラCAM(C)の「手前側から奥側へ」移動する場合)には、
「U(X)°≦A°≦U(X)°+a°」
となる(図32参照)。
(1a−3−2)「撮影時刻Tの人物テンプレート画像の大きさ=撮影時刻TMAXの人物テンプレート画像の大きさ」の場合(人物Xが監視カメラCAM(C)に対して「ほぼ平行に」移動する場合)には、
「U(X)°−a°≦A°≦U(X)°+a°」
となる(人物Xが±a°のいずれの方向にも移動の可能性あり)。
(1a−3−3)「撮影時刻Tの人物テンプレート画像の大きさ<撮影時刻TMAXの人物テンプレート画像の大きさ」の場合(人物Xが監視カメラCAM(C)の「奥側から手前側へ」移動する場合)には、
「U(X)°−a°≦A°≦U(X)°」
となる(図33参照)。
[第4実施形態]
第4実施形態は、第1実施形態の変形例である。図34は、本発明の第4実施形態に係る移動経路推定装置1の構成を示すブロック図である。図34において、図1の各部に対応する部分には同一の符号を付している。図34に示される第4実施形態に係る移動経路推定装置1は、図1の構成に対してさらに隣接カメラ平均到達時間計測部30を備える。
第4実施形態では、監視カメラ候補抽出処理において、監視カメラCAM(C)のカメラ映像データから得られた人物Xについて、当該人物Xが時系列に沿って撮影されていると推定される次の監視カメラCAM(CM+1)を推定する際に、監視カメラCAM(C)とその近傍にある監視カメラCAMとの間の距離に基づいて、次の監視カメラCAM(CM+1)の探索範囲を変化させる。これにより、人物Xが確度高く撮影された監視カメラCAM(CM+1)を効率良く抽出することを図り、移動経路推定処理の全体の効率化に寄与する。
隣接カメラ平均到達時間計測部30は、監視カメラCAM(C)と、該監視カメラCAM(C)に隣接する各隣接カメラCAMとの距離Zintを計測する。但し、人物DB12において、人物Xの人物ID「ID」に関連付けて格納されている「撮影されているカメラIDの時系列」に含まれるカメラIDの監視カメラCAMは、当該距離の計測の対象に含めない。
次いで、隣接カメラ平均到達時間計測部30は、各隣接カメラCAMとの距離Zintのうち距離の短い方から所定個(例えば10個)の距離Zintを選択し、選択した所定個の距離Zintの平均値(以下、「平均距離Zave」と称する)を計算する。次いで、隣接カメラ平均到達時間計測部30は、平均距離Zaveを人間の平均歩行速度(約1.3m/s)で割ることにより、隣接カメラ平均到達時間Taveを計算する。
仮に、人物Xが人間の平均歩行速度よりも速く移動する場合、隣接監視カメラへの到達時間は隣接カメラ平均到達時間Taveよりも短くなることが想定される。このため、第4実施形態では、距離の条件(3)を「Z≦V(X)×Tave」を満足すること、とする。これにより、第4実施形態によれば、監視カメラCAMが遠隔にあることにより人物Xが撮影されていない可能性が高い監視カメラCAMを、次の監視カメラCAM(CM+1)に選択することを防止できるので、これ以降の処理量を削減でき、処理の効率化につながる。
なお、第4実施形態に第2実施形態、第3実施形態をさらに適用してもよい。
[第5実施形態]
第5実施形態は、第1実施形態の変形例である。図35は、本発明の第5実施形態に係る移動経路推定装置1の構成を示すブロック図である。図35において、図1の各部に対応する部分には同一の符号を付している。図35に示される第5実施形態に係る移動経路推定装置1は、図1の構成に対してさらに地図データベース40と移動経路推定部41を備える。
第5実施形態では、移動経路推定情報の出力処理(ステップS6)において、抽出カメラ時系列情報に基づいて、特定人物Xの移動経路を地図上にマッピングする。抽出カメラ時系列情報は、特定人物Xが抽出されたカメラ映像データを撮影した監視カメラCAMを特定する情報であって、特定人物Xが抽出された時系列の順番を有する。
地図データベース40は、道路や建物の位置を示す地図データを格納する。移動経路推定部41は、抽出カメラ時系列情報に基づいて、地図データの地図上に、特定人物Xが抽出された時系列の順番で、抽出カメラ時系列情報に含まれる各監視カメラCAMの位置を対応付ける。さらに、移動経路推定部41は、各監視カメラCAM間の移動経路として、地図上の道路を対応付ける。この対応付けされた情報は、移動経路推定情報として出力部3から出力される。
図36は、本発明の第5実施形態に係る移動経路推定情報生成処理のフローチャートである。
(ステップS601)移動経路推定部41は、人物DB12内に、特定人物Xの人物ID「ID」に関連付けて格納されている「撮影されているカメラIDの時系列(抽出カメラ時系列情報)」が存在するかを確認する。この結果、存在する場合にはステップS602に進み、存在しない場合にはステップS603に進む。
(ステップS602)移動経路推定部41は、特定人物Xに関する「撮影されているカメラIDの時系列」に基づいて、時系列に沿って監視カメラCAMの位置と地図上の位置とを対応付ける。さらに、移動経路推定部41は、各監視カメラCAM間の移動経路として、地図上の道路を対応付ける。これにより、特定人物Xに関する移動経路推定情報が生成される。
(ステップS603)移動経路推定部41は、特定人物Xに関する「撮影されているカメラIDの時系列」が存在しないので、該特定人物Xに関する移動経路無しとして図36の処理を終了する。
図37は、本発明の第5実施形態に係る移動経路推定情報の構成例を示す図である。図37の移動経路推定情報には、特定人物Xを撮影した各監視カメラCAM(C)、(C)、(C19)間の移動経路の推定結果が、特定人物Xを撮影した時系列の順番で地図上に示されている。この移動経路推定情報によれば、特定人物Xの移動経路を地図上で認識できる。
なお、第5実施形態に第2実施形態、第3実施形態、第4実施形態をさらに適用してもよい。
[第6実施形態]
第6実施形態は、第1実施形態の変形例である。図38は、本発明の第6実施形態に係る移動経路推定装置1の構成を示すブロック図である。図38において、図1の各部に対応する部分には同一の符号を付している。図38に示される第6実施形態に係る移動経路推定装置1は、図1の構成に対してさらにカメラ情報補正部50を備える。
第6実施形態では、監視カメラCAM(C)の設置角度Θ°又はその撮影方向R°が、風雪又は手動制御等の影響により、設置当時の設置角度又は撮影方向からずれている場合を想定する。このため、カメラ情報補正部50は、監視カメラCAM(C)で撮影されている静的な物体を利用することにより、設置当時からの設置角度又は撮影方向のずれを補正する。これにより、人物抽出精度の向上や確度の高い監視カメラ候補を効率良く抽出することを図る。
図39は、監視カメラCAM(C)の設置角度のずれと看板の関係を説明するための図である。設置当時の監視カメラCAM(C)の設置角度をΘ°、実フレームをF、現在の監視カメラCAM(C’)の設置角度をΘ’°、実フレームをF’とする。また、ここでは静的な物体として看板Aを利用し、その看板Aの中心位置をBとする。
図40は、監視カメラCAM(C)の設置角度のずれによる実フレーム上の看板の見え方のずれを説明するための図である。設置当時の監視カメラCAM(C)の設置角度Θ°と現在の監視カメラCAM(C’)の設置角度Θ’°との差ΔΘ°が設置角度のずれとなる。
図41は、監視カメラCAM(C)の設置角度のずれの補正を説明するための図である。図41(1)において、設置当時の監視カメラCAM(C)の実フレームF上の看板Aの幅をxΘ、高さをyΘとする。図41(2)において、現在の監視カメラCAM(C’)の実フレームF’上の看板A’の幅をx’Θ、高さをy’Θとする。
監視カメラCAM(C)の設置角度が変化した場合、実フレームF及びF’の大きさ、及び実フレーム上での被写体の幅xΘ及びx’Θは変化しないが、監視カメラからの高さ方向の圧縮率が異なるため、実フレーム上での被写体の高さyΘ及びy’Θが変化する。そこで、設置当時と現在の両方の監視カメラの実フレーム上に撮影されている看板のテンプレート画像のサイズを比較することにより、高さ方向の圧縮率の差が監視カメラの設置角度のずれとなる。例えば、監視カメラCAMの設置角度Θ°は0°から90°までの範囲となるため、看板Aの高さ方向の圧縮率を「Θ/90°」として看板Aのテンプレート画像を生成し、マッチングが取れたテンプレート画像に関するΘが現在の監視カメラCAM(C’)の設置角度Θ’°となる。
図42は、監視カメラCAM(C)の撮影方向のずれによる看板の中心位置の見え方のずれを説明するための図である。設置当時の監視カメラCAM(C)の撮影方向をR°、その実フレームをF、現在の監視カメラCAM(C’)の撮影方向をR’°、その実フレームをF’とする。また、静的な物体として看板Aを利用し、その看板の中心位置をBとする。なお、看板Aは設置当時の監視カメラCAM(C)の撮影方向R°の真ん中に位置するものとする。
図43は、監視カメラCAM(C)を上から見た場合の撮影方向のずれの補正を説明するための図である。設置当時の監視カメラCAM(C)の撮影方向R°と現在の監視カメラCAM(C’)の撮影方向R’°との差ΔR°が撮影方向のずれとなる。また、現在の監視カメラCAM(C’)の実フレームF’上での看板Aの中心位置をB’、実フレームF’上で設置当時の監視カメラCAM(C)から見た時にあるべき看板Aの中心位置をBとする。この場合、撮影方向の差ΔR°は監視カメラを中心とした看板Aの中心位置BとB’との間の角度に一致する。
図44は、監視カメラCAM(C),(C’)を上から見た場合の撮影方向のずれの補正を説明するための図である。現在の監視カメラCAM(C’)の実フレームF’と、現在の監視カメラCAM(C’)と看板Aの中心位置Bとの間の直線が交わる点をD’とする。また、現在の監視カメラCAM(C’)の実フレームF’と、現在の監視カメラCAM(C’)と看板Aの中心位置B’との間の直線が交わる点をDとする。
看板Aの中心位置Bは現在の監視カメラCAM(C’)の撮影方向R’°にあるため、現在の監視カメラCAM(C’)と看板Aの中心位置Bとの間の直線は実フレームF’と直交する。そして、交点DとD’との間の距離DD’は、X軸方向の距離をx、Y軸方向の距離をyとすると、実フレームサイズへの補正を加えることにより、式(5)となる。
Figure 2015070581
また、現在の監視カメラCAM(C’)と交点D’との間の距離をf’とすると、現在の監視カメラCAM(C’)の焦点距離fと距離f’との比率は、設置当時の監視カメラCAM(C)の実フレームFの幅Wと現在の監視カメラCAM(C’)の実フレームF’の幅W’との比率と相似関係にある。このため距離f’は式(6)となる。
Figure 2015070581
これにより、設置当時の監視カメラCAM(C)の撮影方向R°と現在の監視カメラCAM(C’)の撮影方向R’°との差ΔR°は、式(7)となる。よって、図44の例の場合、「R’°=R°−ΔR°」となる。
Figure 2015070581
なお、第6実施形態に第2実施形態、第3実施形態、第4実施形態、第5実施形態をさらに適用してもよい。
上述した実施形態によれば、以下に示す効果が得られる。
(1)街中にある複数の監視カメラの映像を使用して、特定人物と特定人物の特徴量を抽出し、それら抽出された情報を基に特定人物の移動経路を簡易にかつ効率良く推定することができる。
(2)人物の特徴量を抽出する際に、人物テンプレート画像として顔画像又は体型画像だけでなく、斜め上から見た時の大きさの異なる人物テンプレート画像を合わせて用意することにより、監視カメラの設置角度により人物画像が垂直方向に圧縮されて撮影される可能性も考慮できるので、人物の特徴量の抽出精度を向上させることができる。
(3)人物の抽出に使用された人物テンプレート画像の大小の情報を使用することにより映像の遠近法に基づいて人物の奥行の移動方向を推定し、該推定結果に基づいて、次の監視カメラ候補の探索範囲を狭めることにより、確度の高い監視カメラ候補を効率良く抽出でき、移動経路推定処理の全体の効率化を図ることができる。
(4)監視カメラとその近傍にある監視カメラとの間の設置距離に応じて次の監視カメラ候補の探索距離を変化させることにより、確度の高い監視カメラ候補を効率良く抽出でき、移動経路推定処理の全体の効率化を図ることができる。
(5)監視カメラに撮影されている静的な物体を利用することにより監視カメラの設置当時からの設置角度又は撮影方向のずれを補正し、人物抽出精度の向上や確度の高い監視カメラ候補を効率良く抽出することが可能となる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、人物DB12、人物テンプレート画像DB11は、移動経路推定装置1とは独立のデータベース装置に設けてもよい。
また、上述した移動経路推定装置1を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disk)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1…移動経路推定装置、2…入力部、3…出力部、4…カメラ配置情報生成部、5…人物特徴量抽出部、6…人物データベース(人物DB)登録部、7…移動推定部、8…カメラ候補抽出部、9…データ記憶部、10…カメラ配置情報記憶部、11…人物テンプレート画像データベース、12…人物データベース、30…隣接カメラ平均到達時間計測部、40…地図データベース、41…移動経路推定部、50…カメラ情報補正部、CAM…監視カメラ

Claims (9)

  1. 人物テンプレート画像を使用して監視カメラの映像から人物及び該人物の特徴量を抽出する人物特徴量抽出部と、
    前記抽出された人物及び該人物の特徴量を人物データベースに登録する人物データベース登録部と、
    前記抽出された人物の特徴量に該当する特定人物の移動方向及び該移動方向への移動速度を推定する移動推定部と、
    前記推定された特定人物の移動方向及び該移動方向への移動速度に基づいて、該特定人物が撮影されていると推定される次の監視カメラを抽出するカメラ候補抽出部と、を備え、
    前記人物データベース登録部は、前記特定人物が抽出された映像を撮影した監視カメラを特定するカメラ識別情報を前記特定人物の撮影時刻の順序に関連付けて前記人物データベースに格納する、
    ことを特徴とする移動経路推定装置。
  2. 初期カメラ指定情報で指定される監視カメラを中心にして、該周囲に設置されている監視カメラの位置をカメラ配置情報にマッピングするカメラ配置情報生成部をさらに備えたことを特徴とする請求項1に記載の移動経路推定装置。
  3. 前記人物テンプレート画像として、監視カメラの設置角度に応じて垂直方向に圧縮された人物テンプレート画像を含むことを特徴とする請求項1又は2に記載の移動経路推定装置。
  4. 前記人物テンプレート画像として、同一人物の人物テンプレート画像に対して、各々異なる大きさの複数の人物テンプレート画像を含み、
    前記カメラ候補抽出部は、前記各々異なる大きさの複数の人物テンプレート画像を使用して抽出される人物の遠近感に基づいて、前記次の監視カメラの探索範囲を変化させる、
    ことを特徴とする請求項1から3のいずれか1項に記載の移動経路推定装置。
  5. 前記カメラ候補抽出部は、前記特定人物が抽出された映像を撮影した監視カメラと該監視カメラの近傍にある監視カメラとの間の設置距離に基づいて、前記次の監視カメラの探索範囲を変化させる、
    ことを特徴とする請求項1から4のいずれか1項に記載の移動経路推定装置。
  6. 前記特定人物が抽出された映像を撮影した監視カメラを特定するカメラ識別情報と該監視カメラによる前記特定人物の撮影時刻の情報とに基づいて、前記特定人物の移動経路を地図上にマッピングする移動経路推定部をさらに備えたことを特徴とする請求項1から5のいずれか1項に記載の移動経路推定装置。
  7. 監視カメラによって撮影されている静的な物体の情報を使用して該監視カメラの設置当時からの設置角度又は撮影方向のずれを補正するカメラ情報補正部をさらに備えたことを特徴とする請求項1から6のいずれか1項に記載の移動経路推定装置。
  8. 人物テンプレート画像を使用して監視カメラの映像から人物及び該人物の特徴量を抽出する人物特徴量抽出ステップと、
    前記抽出された人物及び該人物の特徴量を人物データベースに登録する人物データベース登録ステップと、
    前記抽出された人物の特徴量に該当する特定人物の移動方向及び該移動方向への移動速度を推定する移動推定ステップと、
    前記推定された特定人物の移動方向及び該移動方向への移動速度に基づいて、該特定人物が撮影されていると推定される次の監視カメラを抽出するカメラ候補抽出ステップと、
    前記特定人物が抽出された映像を撮影した監視カメラを特定するカメラ識別情報を前記特定人物の撮影時刻の順序に関連付けて前記人物データベースに格納するステップと、
    を含むことを特徴とする移動経路推定方法。
  9. コンピュータに、
    人物テンプレート画像を使用して監視カメラの映像から人物及び該人物の特徴量を抽出する人物特徴量抽出ステップと、
    前記抽出された人物及び該人物の特徴量を人物データベースに登録する人物データベース登録ステップと、
    前記抽出された人物の特徴量に該当する特定人物の移動方向及び該移動方向への移動速度を推定する移動推定ステップと、
    前記推定された特定人物の移動方向及び該移動方向への移動速度に基づいて、該特定人物が撮影されていると推定される次の監視カメラを抽出するカメラ候補抽出ステップと、
    前記特定人物が抽出された映像を撮影した監視カメラを特定するカメラ識別情報を前記特定人物の撮影時刻の順序に関連付けて前記人物データベースに格納するステップと、
    を実行させるためのコンピュータプログラム。
JP2013205929A 2013-09-30 2013-09-30 移動経路推定装置、移動経路推定方法およびコンピュータプログラム Pending JP2015070581A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013205929A JP2015070581A (ja) 2013-09-30 2013-09-30 移動経路推定装置、移動経路推定方法およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013205929A JP2015070581A (ja) 2013-09-30 2013-09-30 移動経路推定装置、移動経路推定方法およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2015070581A true JP2015070581A (ja) 2015-04-13

Family

ID=52836831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013205929A Pending JP2015070581A (ja) 2013-09-30 2013-09-30 移動経路推定装置、移動経路推定方法およびコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP2015070581A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109558A (ja) * 2017-01-04 2018-07-12 株式会社東芝 回転ずれ量検出装置、物体検知センサ、回転ずれ量検出システム、回転ずれ量検出方法及び回転ずれ量検出プログラム
JPWO2021014938A1 (ja) * 2019-07-22 2021-01-28
CN114582028A (zh) * 2022-05-05 2022-06-03 风云张家口信息技术系统有限公司 滑雪场管理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109558A (ja) * 2017-01-04 2018-07-12 株式会社東芝 回転ずれ量検出装置、物体検知センサ、回転ずれ量検出システム、回転ずれ量検出方法及び回転ずれ量検出プログラム
JPWO2021014938A1 (ja) * 2019-07-22 2021-01-28
JP7129652B2 (ja) 2019-07-22 2022-09-02 パナソニックIpマネジメント株式会社 歩行機能評価装置、歩行機能評価システム、歩行機能評価方法、プログラム、及び、認知機能評価装置
CN114582028A (zh) * 2022-05-05 2022-06-03 风云张家口信息技术系统有限公司 滑雪场管理方法及系统

Similar Documents

Publication Publication Date Title
JP7480823B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP4717760B2 (ja) 物体認識装置および映像物体測位装置
CN101833896B (zh) 基于增强现实的地理信息指引方法与系统
KR101329111B1 (ko) 실내 네비게이션 시스템 및 방법
CN108335337B (zh) 一种正射影像图的生成方法及装置
JP5554726B2 (ja) データ関連付けのための方法と装置
EP2450832A1 (en) Image processing apparatus and image processing method
JP2016029564A (ja) 対象検出方法及び対象検出装置
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
WO2022227761A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2009140402A (ja) 情報表示装置、情報表示方法、情報表示プログラム及び情報表示プログラムを記録した記録媒体
JP2015070581A (ja) 移動経路推定装置、移動経路推定方法およびコンピュータプログラム
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
JP6749498B2 (ja) 撮影対象追跡装置及び撮影対象追跡方法
CN111783849B (zh) 一种室内定位方法、装置、电子设备及存储介质
KR101990823B1 (ko) 얼굴정보를 이용한 위치 추정 및 신원 관리 방법, 프로그램 및 장치
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
JP6154759B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム
JP2006309450A (ja) 画像認識装置及び画像認識方法
Neves et al. A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology
JP7102383B2 (ja) 路面画像管理システム及びその路面画像管理方法
JP2018116147A (ja) 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム