JP2017174273A - 動線生成装置及びプログラム - Google Patents

Abstract

【課題】動線が途切れやすい領域を考慮せずに動体の動線を生成する場合に比べて、精度良く動体の動線を生成する。
【解決手段】動線生成装置は、複数の時点の各時点に撮像装置により撮像された画像を取得し、１又は複数の人を検出する（Ｓ２１，Ｓ２２）。動線生成装置は、マルコフ連鎖モンテカルロ法によるランダムサンプリングを行って、複数の時点の各時点の画像から検出した動体の組み合わせを変化させることで、複数通りの動線を抽出し、抽出した動線毎に、人の動線としての確からしさを示す尤度を計算する（Ｓ２３〜Ｓ２６）。この際、動線生成装置は、動線の始点又は終点が消失領域から離れるほど尤度が小さくなる計算式に基づいて、尤度を計算する。消失領域は、撮像画像において動線が消失しすい領域で、例えば、出入口付近や柱等の構造物が撮像されている領域である。動線生成装置は、計算した尤度に基づいて、動線を確定させる（Ｓ２７）。
【選択図】図８

Description

本発明は、動線生成装置及びプログラムに関する。

商業施設等における空間を撮像し、その撮像した画像を用いて、人の動線を解析したり、来訪者の人数を計数したりする技術が知られている。非特許文献１の技術では、動画像を構成する画像（静止画像）の各々から人が存在する領域を検出し、マルコフ連鎖モンテカルロ法によるランダムサンプリングを行って、人毎の動線を抽出する。そして、非特許文献１の技術では、動線毎に人の動線としての確からしさを示す尤度を計算し、更に、複数の動線の尤度の積を計算して、当該積が最も大きい動線を、最終的に人の動線として確定させる。

Stable Multi-Target Tracking in Real-Time Surveillance Video、［online］、［平成２８年３月８日検索］、インターネット（URL: http://www.robots.ox.ac.uk/~lav/Papers/benfold_reid_cvpr2011/benfold_reid_cvpr2011.html）

人間を含む物体が移動する様子を撮影した画像から、物体の移動の軌跡（動線）を特定する際に、撮像した画像に含まれるノイズやその他の原因により、ひと続きであるべき動線が途中で途切れてしまい（消失してしまい）、本来の動線を生成できない場合がある。
そこで、本発明の目的は、動線が途切れやすい領域を考慮せずに動体の動線を生成する場合に比べて、精度良く動体の動線を生成することである。

本発明の請求項１に係る動線生成装置は、複数の時点の各時点に撮像装置により撮像された画像を取得する取得部と、前記複数の時点の各時点の前記画像から、１又は複数の動体を検出する検出部と、検出された前記１又は複数の動体毎の動線を抽出する抽出部と、前記撮像装置が撮像する画像において動線が消失しやすい領域を設定する設定部と、抽出された前記動体毎の動線の確からしさを示す尤度を計算する計算部であって、当該動線の始点又は終点が前記領域から離れるほど前記尤度が小さくなる計算式に基づいて、前記尤度を計算する計算部と計算された前記尤度に基づいて、前記１又は複数の動体の動線を確定させる確定部とを備える。

本発明の請求項２に係る動線生成装置は、請求項１に係る構成において、前記抽出部は、前記複数の時点の各時点の画像から検出された動体の組み合わせを変化させることで、複数通りの前記動線を抽出し、前記確定部は、前記複数通りの前記動線のうち、抽出された前記１又は複数の動線の尤度の積が最大である前記動線に確定させることを特徴とする。

本発明の請求項３に係る動線生成装置は、請求項１又は請求項２に係る構成において、前記設定部は、確定させた前記１又は複数の動体の動線の始点又は終点の分布に基づいて、前記領域を設定することを特徴とする。

本発明の請求項４に係る動線生成装置は、請求項１から請求項３のいずれか１項に係る構成において、前記設定部は、前記領域を指定する操作に基づいて、前記領域を設定することを特徴とする。

本発明の請求項５に係るプログラムは、コンピュータに、複数の時点の各時点に撮像装置により撮像された画像を取得するステップと、前記複数の時点の各時点の前記画像から、１又は複数の動体を検出するステップと、検出された前記１又は複数の動体毎の動線を抽出するステップと、前記撮像装置が撮像する画像において動線が消失しやすい領域を設定するステップと、抽出された前記動体毎の動線の確からしさを示す尤度を計算するステップであって、当該動線の始点又は終点が前記領域から離れるほど前記尤度が小さくなる計算式に基づいて、前記尤度を計算するステップと計算された前記尤度に基づいて、前記１又は複数の動体の動線を確定させるステップとを実行させるためのプログラムである。

請求項１，５に係る発明によれば、動線が途切れやすい領域を考慮せずに動体の動線を生成する場合に比べて、精度良く動体の動線を生成することができる。
請求項２に係る発明によれば、１又は複数の動体の尤度の積に基づかないで動線を確定させる場合に比べて、複数の動体が存在する場合でも精度良く動線を生成することができる。
請求項３に係る発明によれば、撮像される空間に応じた動線が消失しやすい領域を、自動設定することができる。
請求項４に係る発明によれば、動線を生成する処理を行わなくとも、動線が消失しやすい領域を設定することができる。

人の移動の様子を示す図。 撮像画像からの人の検出、及び人の移動の動線の抽出に係る処理の説明図。 人の移動の動線の抽出に係る処理の説明図。 本発明の一実施形態に係る動線生成装置の構成を示すブロック図。 同実施形態に係る動線生成装置が実行する消失領域の設定に係る処理を示すフローチャート。 同実施形態に係る消失領域の設定に係る処理の具体例を示す図。 同実施形態に係る消失領域の設定に係る処理の具体例を示す図。 同実施形態に係る動線生成装置が消失領域に基づいて実行する動線を生成する処理を示すフローチャート。 同実施形態に係る消失領域に基づく動線を生成する処理の具体例を示す図。 本発明の一変形例に係る動線生成装置が実行する消失領域の設定に係る処理を示すフローチャート。

本発明は、商業施設等の空間を撮像した画像に基づいて、当該空間に存在する動体の動線を生成する発明である。以下、動体が人である場合を説明するが、本発明は、人以外の動体（例えば動物）の動線の生成に適用されてもよい。

次に、本実施形態に係る動線を生成する処理の概要を説明する。
図１は、或る空間に存在する人Ｈの移動の様子を示す図である。図１には、時刻Ｔ１，Ｔ２，Ｔ３の各時点において人Ｈが存在する位置を、上方から見た図が示されている。図２は、人Ｈが存在する空間を撮像した画像からの人の検出、及び人の動線の抽出に係る処理を説明する図である。図２には、時刻Ｔ１，Ｔ２，Ｔ３の各時点に撮像された、撮像画像ＩＭ１，ＩＭ２，ＩＭ３が示されている。撮像画像は、動画像を構成する１コマ（１フレーム）の静止画像であるものとする。
本実施形態の動線を生成する処理は、「人の検出」と、「動線の抽出」と、「動線毎の尤度の計算」と、「動線尤度の計算」とに大別される。

第１に、撮像時点の時系列の順番に従って、撮像画像から人が検出される。ここでは、まず、撮像画像ＩＭ１から人が検出される。人の検出は、背景差分法やＨＯＧ（Histograms of Oriented Gradients）特徴量を用いる方法等の、公知のアルゴリズムに従って行われるとよい。撮像画像ＩＭ１からは、人領域Ａ１が検出される。人領域は、本実施形態では、人を撮像した領域の外接矩形によって特定される。人領域Ａ１の大きさは、Ｄ₁である。人領域の大きさは、例えば、人領域の面積によって特定されるが、一辺の長さや対角線の長さ等によって特定されてもよい。人領域Ａ１の位置に基づいて、時刻Ｔ１における人Ｈの位置Ｐ１が特定される。人の位置は、本実施形態では人の頭部の重心とするが、人領域内の別の位置としてもよい。

次に、撮像画像ＩＭ２から人が検出される。撮像画像ＩＭ２からは、人領域Ａ２が検出される。人領域Ａ２の大きさは、Ｄ₂である。また、人領域Ａ２の位置に基づいて、時刻Ｔ２における人Ｈの位置Ｐ２が特定される。次に、撮像画像ＩＭ３から人が検出される。撮像画像ＩＭ３からは、人領域Ａ３が検出される。人領域Ａ３の大きさは、Ｄ₃である。また、人領域Ａ３の位置に基づいて、時刻Ｔ３における人Ｈの位置Ｐ３が特定される。ここでは、位置Ｐ１は動線Ｍの始点に対応し、位置Ｐ１は動線Ｍの終点に対応する。

第２に、撮像画像の人が検出された領域に基づいて、当該人の動線が抽出される。動線は、複数の時点の各時点の撮像画像から検出された人領域の組み合わせによって特定される。ここでは、位置Ｐ１，Ｐ２，Ｐ３が、撮像時点の時系列の順番に線で結ばれることで、人Ｈの動線Ｍが抽出される。

第３に、動線毎の尤度の計算が行われる。動線の尤度は、抽出された動線の人の動線としての確からしさを示す値である。尤度Ｌ_T（Ｄ）は、例えば、下記の計算式（１）に基づいて計算される。

計算式（１）において、「ｎ」は自然数で、一の動線を構成する人領域の数によって特定される。動線Ｍの場合、ｎ＝３である。「ＬＤ_i（Ｄ_i）」（ｉは自然数）は、人領域Ａｉの大きさＤｉを変数として含む関数である。人領域の大きさは、人体の大きさに応じた或る範囲内に収まると考えられる。即ち、検出された人領域の大きさは、確かに人が検出されたのか、又はノイズ等が誤って人として検出されたのかを判断する指標となる。

具体的には、ｉ＝１である場合のＬＤ_i（Ｄ_i）、つまり、「ＬＤ₁（Ｄ₁）」は、人領域Ａ１の大きさＤ₁を変数として含む関数である。ＬＤ₁（Ｄ₁）は、大きさＤ₁が人の大きさを示すものとして確からしいほど大きな値をとり、逆であるほど小さな値をとる。ここでは、０≦ＬＤ₁（Ｄ₁）≦１の条件を満たす。ＬＤ₁（Ｄ₁）は、一次関数、二次以上の関数、又はその他の関数であってもよい。

ｉ≧２である場合のＬＤ_i（Ｄ_i）は、人領域Ａｉの大きさＤ_iと、検出された人領域Ａｉと人領域Ａｉ−１との位置関係に応じた値を変数として含む関数である。位置関係は、例えば、人領域Ａｉと人領域Ａｉ−１との距離、及び人領域Ａｉと人領域Ａｉ−１との一方から他方を見た方向によって特定される。ｉ≧２である場合のＬＤ_i（Ｄ_i）は、大きさＤ_iの人の大きさを示すものとして確からしさと、人領域Ａｉと人領域Ａｉ−１との位置関係の人の移動を示すものとしての確からしさとに応じた値をとる。ここでは、０≦ＬＤ_i（Ｄ_i）≦１の条件を満たす。ｉ≧２である場合のＬＤ_j（Ｄ_i）は、一次関数、二次以上の関数、又はその他の関数であってもよい。

第４に、動線尤度の計算が行われる。尤度Ｌ_T（Ｄ）は、一つの動線の確からしさを示すが、撮像画像からは複数の動線が抽出される場合がある。この複数の動線は、典型的には複数人の動線を示すが、場合によっては、撮像画像に含まれるノイズが動線として抽出される場合もある。よって、撮像画像から抽出された１又は複数の動線の全体としての確からしさを示す値として、動線尤度が計算される。動線尤度は、具体的には、１又は複数の動線の尤度Ｌ_T（Ｄ）の積である。抽出された動線が１つの場合は、動線尤度は尤度Ｌ_T（Ｄ）に等しい。動線尤度の値が大きいほど、抽出された１又は複数の動線がより確からしいこと意味する。

本実施形態において、「動線の抽出」は、マルコフ連鎖モンテカルロ法によるランダムサンプリングにより行われる。具体的には、動線は、複数の時点の各時点の撮像画像から検出された人領域の組み合わせを、乱数を用いてランダムに変化させることで、複数通り抽出される。ここで、人領域Ａｉが、図３の上段の図に示すとおりに抽出された場合を考える。この図において、１つの矩形が１つの人領域Ａｉを表している。この場合、図３に示す「動線の抽出結果 その１」、「動線の抽出結果 その２」、・・・のように、人領域の組み合わせが異なる複数通りの動線（図３の破線参照）が抽出されることとなる。

「動線毎の尤度の計算」、及び「動線尤度の計算」は、この複数通りの動線毎に行われる。具体的には、或る動線の抽出結果について動線尤度が計算されると、それよりも先に計算された別の動線の抽出結果についての動線尤度のうち、最大の動線尤度と比較される。そして、動線尤度がより高い一方の動線の抽出結果が選択される。そして、この選択した動線の抽出結果のうちの、少なくとも一部の動線を構成する人領域を、ランダムに変化させて、動線尤度が改めて計算される。計算された動線尤度は、その時点で最大の動線尤度と比較され、動線尤度がより高い一方の動線の抽出結果が選択される。この処理が規定回数繰り返し実行されて、最終的に動線尤度が最も高い動線の抽出結果が、撮像画像から抽出された１又は複数の動線として確定（判定）される。

しかし、単にこの方法を採用しただけでは、撮像画像に含まれるノイズやその他の原因により、ひと続きであるべき動線が途中で途切れてしまい（消失してしまい）、本来の動線が生成されない場合がある。この問題を解決するための構成を、本実施形態の動線生成装置は備えている。

図４は、本実施形態の動線生成装置１の構成を示すブロック図である。動線生成装置１は、制御部１０と、操作部２０と、インタフェース３０と、通信部４０と、表示部５０と、消失点データ記憶部６０と、消失領域データ記憶部７０と、動線データ記憶部８０とを備える。
制御部１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を有するプロセッサを備える。ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、動線生成装置１の各部を制御する。

操作部２０は、例えばタッチセンサ又は物理キーを備え、ユーザにより行われた操作を受け付ける。インタフェース３０は、撮像装置１００と接続するインタフェースである。撮像装置１００は、動線を生成する対象の空間を撮像するように設置されている。撮像装置１００は、撮像により得られた撮像画像を、例えばその撮像順に従って（フレームの順番で）、インタフェース３０に出力する。通信部４０は、例えばモデムを備え、インターネット等の通信回線に接続して通信を行う。表示部５０は、例えば液晶ディスプレイを備え、表示面に画像を表示する。

消失点データ記憶部６０、消失領域データ記憶部７０、及び動線データ記憶部８０は、１又は複数の記憶装置（例えばハードディスク装置）によって構成される。
消失点データ記憶部６０は、消失点データを記憶する。消失点データは、撮像画像において動線が消失した位置を示すデータで、具体的には、当該動線の始点又は終点の位置を示すデータである。

消失領域データ記憶部７０は、消失領域を表す消失領域データを記憶する。消失領域データは、撮像装置１００に固有のデータで、撮像装置１００の撮像画像において動線が消失しやすい領域（以下「消失領域」という。）を示すデータである。

動線データ記憶部８０は、確定した動線を表す動線データを記憶する。この動線データは、来訪者の人数の計数やその他の目的で用いられる。

制御部１０は、取得部１１と、検出部１２と、抽出部１３と、計算部１４と、確定部１５と、設定部１６とに相当する機能を実現する。計算部１４は、更に、第１尤度計算部１４１と、第２尤度計算部１４２とを含む。
取得部１１は、撮像装置１００により複数の時点の各時点に撮像された撮像画像を、インタフェース３０を介して取得する。検出部１２は、取得した複数の時点の各時点の撮像画像から、１又は複数の人の検出を行う。抽出部１３は、検出された人が存在する領域である人領域に基づいて、１又は複数の人毎の動線を抽出する。抽出部１３は、マルコフ連鎖モンテカルロ法によるランダムサンプリングを行って、人領域の組み合わせを変化させて、複数通りの動線を抽出するものとする。

計算部１４は、抽出された動線毎の尤度Ｌ_T（Ｄ）を計算する。第１尤度計算部１４１は、計算式（１）に基づいて尤度Ｌ_T（Ｄ）を計算する。第２尤度計算部１４２は、計算式（１）ではなく、動線の始点又は終点が消失領域から離れるほど尤度Ｌ_T（Ｄ）が小さくなる計算式（後述する計算式（２））に基づいて、尤度Ｌ_T（Ｄ）を計算する。

確定部１５は、計算部１４により計算された尤度Ｌ_T（Ｄ）に基づいて、１又は複数の人の動線を確定させる。確定部１５は、抽出された複数通りの動線の各々について、尤度Ｌ_T（Ｄ）の積により動線尤度を計算し、当該動線尤度が最大となった動線に確定させる。確定部１５は、確定させた動線を示す動線データを、動線データ記憶部８０に記憶させる。また、確定部１５は、確定させた動線の始点及び終点に基づいて、消失点データを、消失点データ記憶部６０に記録する。

設定部１６は、撮像装置１００の撮像画像における消失領域を設定する。設定部１６は、消失点データ記憶部６０に記憶された消失点データに基づいて、当該撮像画像における消失点の分布を特定し、この分布に基づいて消失領域を設定する。設定部１６は、この消失領域を示す消失領域データを、消失領域データ記憶部７０に記録する。第２尤度計算部１４２は、消失領域データ記憶部７０に記憶された消失領域データに基づいて、尤度Ｌ_T（Ｄ）を計算することとなる。

図５は、動線生成装置１が実行する消失領域の設定に係る処理である。図６及び図７は、消失領域の設定に係る処理の具体例を示す図である。
制御部１０は、撮像装置１００からの撮像画像を、インタフェース３０を介して取得する（ステップＳ１）。図６の上段には、或る空間を上方から斜め下方向に撮像した場合の撮像画像ＩＭが示されている。撮像画像ＩＭには、人の動線に与え得る構造物として、壁Ｗ１，Ｗ２、柱Ｏｂ１，Ｏｂ２，Ｏｂ３が含まれている。以下、撮像時点を特に区別せず、撮像装置１００の撮像画像を「撮像画像ＩＭ」と総称する。

次に、制御部１０は、ステップＳ１で取得した複数の時点の各時点の撮像画像から人を検出する（ステップＳ２）。次に、制御部１０は、検出した人が存在する人領域に基づいて、人毎の動線を抽出する（ステップＳ３）。ここでは、図６の下段の図に示すように、人Ｈ１の動線Ｍ１と、人Ｈ２の動線Ｍ２とが抽出されたものとする。

次に、制御部１０は、計算式（１）に基づいて、抽出した動線毎の尤度Ｌ_T（Ｄ）を計算する（ステップＳ４）。図６の下段の図の場合、制御部１０は、動線Ｍ１の尤度Ｌ_T（Ｄ）と、動線Ｍ２の尤度Ｌ_T（Ｄ）とを計算する。次に、制御部１０は、抽出した１又は複数の動線の尤度Ｌ_T（Ｄ）の積を計算することで、動線尤度を計算する（ステップＳ５）。図６の下段の図の場合、制御部１０は、動線Ｍ１の尤度Ｌ_T（Ｄ）と、動線Ｍ２の尤度Ｌ_T（Ｄ）との積を、動線尤度として計算する。

次に、制御部１０は、規定数の動線について動線尤度を計算したかを判定する（ステップＳ６）。規定数は、予め決められた数で、例えば「１０００」である。ステップＳ６で「ＮＯ」と判定した場合、制御部１０は、ステップＳ３の処理に戻る。そして、制御部１０は、人領域の組み合わせを変化させて、別の動線を抽出する。そして、制御部１０は、計算式（１）に基づく尤度Ｌ_T（Ｄ）の計算、及び動線尤度を行う。ステップＳ３〜Ｓ６の処理は、前述したマルコフ連鎖モンテカルロ法によるランダムサンプリングにより行われる。

規定数の動線について動線尤度を計算すると、制御部１０は、ステップＳ６で「ＹＥＳ」と判定する。次に、制御部１０は、その時点で最大の動線尤度となった動線を、人の動線を示すものとして確定させる（ステップＳ７）。ここでは、人Ｈ１の動線Ｍ１と、人Ｈ２の動線Ｍ２とに確定されたものとする。

次に、制御部１０は、確定させた動線の始点及び終点に基づいて、消失点データを、消失点データ記憶部６０に記録する（ステップＳ８）。制御部１０は、ここでは、図７の上段の図に示すように、動線Ｍ１の始点である位置Ｐ１１及び終点である位置Ｐ１２、並びに動線Ｍ２の始点である位置Ｐ２１及び終点である位置Ｐ２２を消失点として、消失点データを記録する。

次に、制御部１０は、規定数の消失点データが消失点データ記憶部６０に記憶されたかどうかを判定する（ステップＳ９）。規定数は、予め決められた数で、例えば「１０００」である。ステップＳ９「ＮＯ」と判定した場合、制御部１０は、図５の処理を終了する。
動線生成装置１では、ステップＳ１〜Ｓ８の処理を繰り返し実行することで、消失データを、消失点データ記憶部６０に記録（蓄積）していく。

消失点データ記憶部６０に記憶された消失点データの数が増大して規定数に達すると、制御部１０は、ステップＳ９で「ＹＥＳ」と判定し、ステップＳ１０の処理に進む。次に、制御部１０は、消失点データ記憶部６０に記憶された消失点データに基づいて、消失点の分布を特定する（ステップＳ１０）。ここでは、制御部１０は、撮像画像上にプロットした消失点に基づいてクラスタリングを行い、消失点の密度が相対的に領域を特定する。クラスタリングのアルゴリズムは、例えばＫ平均法、最小平均分散法、又は最短距離法であるが、特に問わないものとする。

次に、制御部１０は、特定した消失点の分布に基づいて、撮像画像において動線が消失しやすい領域を、消失領域として設定する（ステップＳ１１）。ステップＳ１１では、制御部１０は、設定した消失領域を示す消失領域データを、消失領域データ記憶部７０に記録する。

ここで、撮像画像ＩＭにおいて、図７の中段の図に示すように消失点が分布する場合を考える。この図において、各「○」印が消失点を示す。この場合、制御部１０は、例えば図７の下段の図に示すように、消失領域Ｃ１，Ｃ２，Ｃ３を設定する。消失点は、出入口付近や、柱Ｏｂ１，Ｏｂ２，Ｏｂ３の背後のような物陰が存在する場所付近で、高頻度で現れるはずである。言い換えれば、撮像画像ＩＭの中心付近の領域のように、出入口付近でもなく、物陰も存在しない場所付近の領域には、消失点はあまり現れない。図７の中段の図に示すように、少数ではあるものの、このような場所に現れている消失点は、撮像画像に含まれるノイズ等を原因としており、人の本来の動線の始点又は終点を示している可能性は低い。この理由により、制御部１０は、消失点が全く存在しない領域に加え、消失点の密度が一定値未満の領域を、消失領域に含めないようにしている。
以上が、消失領域の設定に係る制御部１０の処理の説明である。

図８は、動線生成装置１が実行する消失領域に基づいて行う動線の生成に係る処理を示すフローチャートである。
制御部１０は、撮像装置１００からの撮像画像を、インタフェース３０を介して取得する（ステップＳ２１）。次に、制御部１０は、ステップＳ１で取得した複数の時点の各時点の撮像画像から人を検出する（ステップＳ２２）。次に、制御部１０は、検出した人が存在する人領域に基づいて、人毎の動線を抽出する（ステップＳ２３）。ステップＳ２１〜Ｓ２３の各処理は、ステップＳ１〜Ｓ３の各処理と同じである。

次に、制御部１０は、下記の計算式（２）に基づいて、動線毎の尤度Ｌ_T（Ｄ）を計算する（ステップＳ２４）。

計算式（２）は、計算式（１）の「ＬＤ₁（Ｄ₁）」を、「Ｌ'Ｄ₁（Ｄ₁）」に置き換えた計算式に等しい。「Ｌ'Ｄ₁（Ｄ₁）」は、計算式（１）で用いられていた関数ＬＤ₁（Ｄ₁）に、関数Ｌ_V（Ｄ₁）を乗じた関数である。「Ｌ_V（Ｄ₁）」は、動線の始点が、当該始点から最も近い消失領域内の点（例えば重心）から近い場合ほど大きな値をとり、遠い場合ほど小さな値をとる。Ｌ_V（Ｄ₁）は、例えば、平均μ_j、分散σ_j ²の正規分布（Normal distribution）に従う関数である。ただし、Ｌ_V（Ｄ₁）は、これに限られず、例えば一次関数、二次以上の関数、又はその他の関数であってもよい。

次に、制御部１０は、計算した尤度Ｌ_T（Ｄ）の積により動線尤度を計算する（ステップＳ２５）。次に、制御部１０は、規定数の動線について動線尤度を計算したかどうかを判定する（ステップＳ２６）。ステップＳ２６で「ＮＯ」と判定すると、制御部１０は、ステップＳ２３の処理に戻る。ステップＳ２６で「ＹＥＳ」と判定すると、制御部１０は、その時点で最大の動線尤度となった動線を、人の動線を示すものとして確定させる（ステップＳ２７）。ステップＳ２５〜Ｓ２７の各処理は、ステップＳ５〜Ｓ７の各処理と同じである。

ところで、或る動線について計算式（２）により計算される尤度Ｌ_T（Ｄ）と、計算式（１）により計算される尤度Ｌ_T（Ｄ）とを比較した場合、当該動線の始点が消失領域から離れている場合ほど、計算式（２）により計算される尤度Ｌ_T（Ｄ）が、計算式（１）により計算される尤度Ｌ_T（Ｄ）と比較して小さな値を示す。このため、始点が消失領域から離れている動線が抽出された場合には、動線尤度も小さくなり、最終的に人の動線を示すものとして確定される可能性も低くなる。

ここで、ステップＳ２３において、図９の上段の図に示す動線Ｍ２１，Ｍ３１が抽出された場合を考える。動線Ｍ２１は、位置Ｐ２１と位置Ｐ２２とを結ぶ動線である。動線Ｍ３１は、位置Ｐ３１と、位置Ｐ３２と、位置Ｐ３３とを結ぶ動線である。計算式（１）に基づく計算によると、最終的に、動線Ｍ２１，Ｍ３１に確定される可能性がある。しかし、計算式（２）に基づく計算によると、動線Ｍ３１の始点である位置Ｐ３１が、消失領域Ｃ１から比較的離れている。よって、動線Ｍ２１，Ｍ３１は、本来の動線を示していない可能性がある。

これに対し、図９の下段の図に示す場合、位置Ｐ２１と、Ｐ２２と、Ｐ３１と、Ｐ３２と、Ｐ３３とを結ぶ動線Ｍ２２が抽出されている。計算式（２）に基づく計算によると、図９の下段の図に示す動線が抽出された場合の動線尤度が、図９の上段の図に示す場合よりも高くなる可能性がある。その理由は、動線Ｍ３１の始点である位置Ｐ２１が、消失領域Ｃ１内に位置するからである。このように消失領域に始点が含まれる動線は、人の本来の動線である可能性が比較的高いと考えられる。計算式（２）に基づく計算によると、計算式（１）に基づく計算に比べて、動線Ｍ２１，Ｍ３１ではなく、動線Ｍ２２に確定される可能性が高くなり、より人の動線として確からしい動線に確定されやすくなる。
以上が、消失領域に基づいて行う動線の生成に係る制御部１０の処理の説明である。

以上説明したとおり、動線生成装置１によれば、動線が途切れやすい領域を考慮せずに動体の動線を生成する場合に比べて、動体の動線が精度良く生成される。また、動線生成装置１は、実際に動線を生成した結果に基づいて、空間に応じた消失領域を設定する。このため、消失領域の設定に関するユーザの操作の負担は問題とならない。更に、動線生成装置１は、消失点に基づき消失領域を設定するので、撮像対象の空間において出入口や構造物の存在を認識する必要もない。

本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
動線生成装置１は、ユーザの操作によって指定された消失領域を設定してもよい。図１０は、動線生成装置１が実行する消失領域の設定に係る処理を示すフローチャートである。
制御部１０は、撮像装置１００からの撮像画像を、インタフェース３０を介して取得し、この撮像画像を表示部５０に表示させる（ステップＳ３１）。表示部５０に表示される撮像画像は、例えば、図６の上段の図に示す撮像画像ＩＭと同じである。

次に、制御部１０は、表示部５０に撮像画像を表示させた状態で、消失領域を指定するユーザの操作を、操作部２０を介して受け付ける（ステップＳ３２）。ユーザは、表示部５０に表示された画像を視認し、操作部２０を操作することで、消失領域を指定する。そして、制御部１０は、操作部２０により指定された消失領域を設定する（ステップＳ３３）。即ち、制御部１０は、ユーザの操作に応じた消失領域データを、消失領域データ記憶部７０に記録する。

ユーザが消失領域を指定する構成とすることで、動線生成装置１は、実際に動線を生成した結果を用いずに、消失領域を設定する。よって、動線生成装置１は、消失領域に基づく動線の生成を速やかに開始し得る。
動線生成装置１は、モードに応じて消失領域の設定の方法を選択してもよい。

動線生成装置１は、魚眼カメラ等の広角カメラの撮像画像、つまり撮像レンズに起因する歪みを含む撮像画像に基づいて、動線を生成してもよい。本発明において、撮像装置の特性は特に問わない。

動線生成装置１は、マルコフ連鎖モンテカルロ法によるランダムサンプリングを行わないで、動線を抽出してもよい。
計算式（２）は、動線の尤度の計算式の一例に過ぎない。動線生成装置１は、消失領域からの距離が大きくなるほど尤度が低くなる計算式に基づいて、尤度を計算すればよい。また、計算式（２）では、動線の始点と消失領域との距離に応じた尤度が計算されるが、動線生成装置１は、終点と消失領域との距離に応じた尤度、又は始点及び終点の各々と消失領域との距離に応じた尤度を計算してもよい。
動線生成装置１は、確定させた動線を示す動線データを、動線データ記憶部８０に記録にさせることに代えて又は加えて、表示、送信、印刷その他の方法により出力してもよい。
動線生成装置１のハードウェア構成や機能構成は、上述した実施形態で説明した構成に限られない。

上述した実施形態の動線生成装置１の制御部１０が実現する各機能は、１又は複数のハードウェア回路により実現されてもよいし、１又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。また、制御部１０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、コンピュータが行う動線生成方法として把握し得る。

１…動線生成装置、１０…制御部、１１…取得部、１２…検出部、１３…抽出部、１４…計算部、１４１…第１尤度計算部、１４２…第２尤度計算部、１５…確定部、１６…設定部、２０…操作部、３０…インタフェース、４０…通信部、５０…表示部、６０…消失点データ記憶部、７０…消失領域データ記憶部、８０…動線データ記憶部。

Claims (5)

1. 複数の時点の各時点に撮像装置により撮像された画像を取得する取得部と、
   前記複数の時点の各時点の前記画像から、１又は複数の動体を検出する検出部と、
   検出された前記１又は複数の動体毎の動線を抽出する抽出部と、
   前記撮像装置が撮像する画像において動線が消失しやすい領域を設定する設定部と、
   抽出された前記動体毎の動線の確からしさを示す尤度を計算する計算部であって、当該動線の始点又は終点が前記領域から離れるほど前記尤度が小さくなる計算式に基づいて、前記尤度を計算する計算部と
   計算された前記尤度に基づいて、前記１又は複数の動体の動線を確定させる確定部と
   を備える動線生成装置。
2. 前記抽出部は、
   前記複数の時点の各時点の画像から検出された動体の組み合わせを変化させることで、複数通りの前記動線を抽出し、
   前記確定部は、
   前記複数通りの前記動線のうち、抽出された前記１又は複数の動線の尤度の積が最大である前記動線に確定させる
   ことを特徴とする請求項１に記載の動線生成装置。
3. 前記設定部は、
   確定させた前記１又は複数の動体の動線の始点又は終点の分布に基づいて、前記領域を設定する
   ことを特徴とする請求項１又は請求項２に記載の動線生成装置。
4. 前記設定部は、
   前記領域を指定する操作に基づいて、前記領域を設定する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の動線生成装置。
5. コンピュータに、
   複数の時点の各時点に撮像装置により撮像された画像を取得するステップと、
   前記複数の時点の各時点の前記画像から、１又は複数の動体を検出するステップと、
   検出された前記１又は複数の動体毎の動線を抽出するステップと、
   前記撮像装置が撮像する画像において動線が消失しやすい領域を設定するステップと、
   抽出された前記動体毎の動線の確からしさを示す尤度を計算するステップであって、当該動線の始点又は終点が前記領域から離れるほど前記尤度が小さくなる計算式に基づいて、前記尤度を計算するステップと
   計算された前記尤度に基づいて、前記１又は複数の動体の動線を確定させるステップと
   を実行させるためのプログラム。

Images