JP2018073129A - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】複数の撮像装置で追跡対象を追跡する際に撮像装置をまたいで追跡することができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供する。【解決手段】複数の撮像装置で撮像されたそれぞれの映像データからフレームを取得する取得部と、取得部により取得されたフレームから、追跡対象を検出する検出部と、検出部によって、複数の撮像装置のうち、２以上の撮像装置で撮像されたそれぞれのフレームから追跡対象が検出された場合、その追跡対象の追跡処理の対象として２以上の撮像装置のうちいずれかを決定する決定部と、を備える。【選択図】図４

Description

本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。

工場内を走る搬送車、現場で働く作業者、および、商業施設内を歩き回る来店客等の人および物の動きを「動線」として見える化を行う取り組みが世の中で広まっている。動線を取得する技術としては、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の位置情報を利用するもの、超音波の送信機を追跡の対象に付与して受信機で位置を特定するもの、および、ビーコンを設置し発信したＩＤをスマートフォンで受信して位置を補足するもの等の技術がある。ただし、これらの技術で追跡を実施するには、追跡の対象物に、無線ＬＡＮまたは超音波の送信機等の端末を持たせることが条件となる。また、追跡対象に、何らかの端末を持たせずに、動線を取得する方法としては、カメラで撮影した映像に映っている追跡対象を画像処理技術で追跡し位置を特定する技術が既に知られている。

このように、映像に写っている追跡対象を画像処理技術によって追跡して動線を得る技術として、追跡対象を撮像した映像のフレームを読み込むフレーム読込手段と、フレーム読込手段により読み込まれたフレームに、追跡対象に対する追跡対象領域を設定する追跡対象領域設定手段と、フレーム読込手段により読み込まれた複数のフレーム間において追跡対象領域を追跡する追跡手段と、追跡手段の追跡結果に基づき、追跡対象の動作軌跡を描画する描画手段と、描画手段により描画された動作軌跡を表示装置に表示させる表示制御手段と、を有する軌跡描画装置が開示されている（特許文献１参照）。

しかしながら、特許文献１に記載された技術では、広範囲の動線を取得しようとした際、カメラ一個では、障害物で追跡対象が隠れたり、画角の制限により追跡対象が映らなかったりするため、複数カメラを配置することが必須となる。この場合、あるカメラで追跡していた追跡対象が、別のカメラに映ったときに、カメラをまたいで継続的に追跡することができないという問題があった。

本発明は、上記に鑑みてなされたものであって、複数の撮像装置で追跡対象を追跡する際に撮像装置をまたいで追跡することができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数の撮像装置で撮像されたそれぞれの映像データからフレームを取得する取得部と、前記取得部により取得された前記フレームから、追跡対象を検出する検出部と、前記検出部によって、前記複数の撮像装置のうち、２以上の撮像装置で撮像されたそれぞれの前記フレームから前記追跡対象が検出された場合、該追跡対象の追跡処理の対象として前記２以上の撮像装置のうちいずれかを決定する決定部と、を備えたことを特徴とする。

本発明によれば、複数の撮像装置で追跡対象を追跡する際に撮像装置をまたいで追跡することができる。

図１は、第１の実施の形態に係る画像処理システムの全体構成の一例を示す図である。 図２は、第１の実施の形態に係る画像処理システムの複数の撮像装置を生産現場に配置した場合の一例を示す図である。 図３は、第１の実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図４は、第１の実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。 図５は、第１の実施の形態に係る情報処理装置の色登録処理の流れの一例を示すフローチャートである。 図６は、第１の実施の形態に係る情報処理装置の表示部に表示される追跡画面において映像が表示されている状態の一例を示す図である。 図７は、第１の実施の形態に係る情報処理装置において追跡対象の色を登録する操作について説明する図である。 図８は、第１の実施の形態に係る情報処理装置の表示部に表示される追跡画面において各撮像装置の映像がすべて表示された状態の一例を示す図である。 図９は、特定の撮像装置の映像のフレームで追跡対象が検出された場合の一例を示す図である。 図１０は、特定の撮像装置の映像のフレームで検出された追跡対象がフレームの端まで移動した状態を示す図である。 図１１は、特定の撮像装置の映像のフレームで検出された追跡対象がフレームから消失した状態を示す図である。 図１２は、特定の撮像装置の映像のフレームから消失した追跡対象が別の撮像装置の映像のフレームで検出された状態を示す図である。 図１３は、別の撮像装置の映像のフレームで検出された追跡対象を追跡している状態を示す図である。 図１４は、別の撮像装置の映像のフレームで検出された追跡対象を追跡しているときに、さらに別の撮像装置の映像のフレームで追跡対象が検出された状態を示す図である。 図１５は、２つの撮像装置の映像のフレームで検出された追跡対象のうちどちらを追跡するかを決定する動作を説明する図である。 図１６は、第１の実施の形態に係る情報処理装置の追跡処理の流れの一例を示すフローチャートである。 図１７は、第２の実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。 図１８は、特定の撮像装置の映像のフレームで追跡対象が検出された場合の一例を示す図である。 図１９は、特定の撮像装置の映像のフレームで検出された追跡対象がキャッチウィンドウまで移動した状態を示す図である。 図２０は、特定の撮像装置の映像のフレームで検出された追跡対象がキャッチウィンドウから消失した状態を示す図である。 図２１は、特定の撮像装置の映像のフレームのキャッチウィンドウから消失した追跡対象が別の撮像装置の映像のフレームで検出された状態を示す図である。 図２２は、特定の撮像装置の映像のフレームで検出された追跡対象がキャッチウィンドウに達する前まで移動した状態を示す図である。 図２３は、特定の撮像装置の映像のフレームで検出された追跡対象がキャッチウィンドウに達する前で消失した状態を示す図である。 図２４は、特定の撮像装置の映像のフレームのキャッチウィンドウ外で消失した追跡対象が再び同じ撮像装置のフレームで検出された状態を示す図である。 図２５は、特定の撮像装置の映像のフレームのキャッチウィンドウ外で消失した追跡対象が別の撮像装置の映像のフレームで検出された状態を示す図である。 図２６は、第２の実施の形態に係る情報処理装置の追跡処理の流れの一例を示すフローチャートである。

以下に、図面を参照しながら、本発明に係る画像処理装置、画像処理システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

［第１の実施の形態］
（画像処理システムの全体構成）
図１は、第１の実施の形態に係る画像処理システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の画像処理システム１の全体構成について説明する。

図１に示すように、本実施の形態の画像処理システム１は、撮像装置２ａ〜２ｄと、情報処理装置３と、ハブ４と、を含む。

撮像装置２ａ〜２ｄは、被写体から光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレーム（画像データ）で構成された動画（例えば、１０［ＦＰＳ］、２５［ＦＰＳ］等）である映像データを生成するビデオカメラである。例えば、撮像装置２ａ〜２ｄは、製品を生産する生産設備または生産ライン等で作業する作業者を撮像して映像データを生成する。

なお、撮像装置２ａ〜２ｄを区別なく呼称する場合、または総称する場合、単に「撮像装置２」というものとする。また、図１では、画像処理システム１は、４台の撮像装置２を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置２を含む構成であってもよい。

情報処理装置３は、撮像装置２によって撮像された映像データに基づいて画像処理を実行する画像処理装置として機能するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）またワークステーション等である。また、情報処理装置３は、生産設備等の外部機器１０と、例えば、フィールドバス規格による通信が可能となるように接続している。

ハブ４は、撮像装置２ａ〜２ｄを情報処理装置３と接続するためのＥｔｈｅｒｎｅｔ（登録商標）規格に対応した集線装置である。ハブ４は、例えば、Ｅｔｈｅｒｎｅｔ規格に対応している場合、撮像装置２ａ〜２ｄと、情報処理装置３とはＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルによりデータ通信が行われる。この場合、撮像装置２ａ〜２ｄおよび情報処理装置３は、ＴＣＰ／ＩＰのプロトコルにより通信するためのＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレスを有し、かつプライベートＩＰアドレス等のＩＰアドレスが割り当てられている。

なお、図１に示すハブ４は、ＴＣＰ／ＩＰのプロトコルによる通信を中継する例を示したが、これに限定されるものではない。例えば、情報処理装置３側にＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）端子またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを有し、複数の撮像装置２がＶＧＡケーブルまたはＵＳＢケーブルを介してハブ４に集線されて情報処理装置３に接続される形態等であってもよい。

また、各撮像装置２は、ハブ４を介して情報処理装置３に接続される構成について説明したが、これに限定されるものではなく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、専用回線またはインターネット等のネットワークを介して接続される構成としてもよい。

図２は、第１の実施の形態に係る画像処理システムの複数の撮像装置を生産現場に配置した場合の一例を示す図である。図２を参照しながら、画像処理システム１の複数の撮像装置２が生産現場に配置された状態を説明する。

図２に示す生産現場は、工程が「１」〜「１６」まであるものとする。この生産現場の各工程での作業者の動線を分析する場合、複数の撮像装置２によって各工程を撮像できるように網羅的に配置する必要がある。例えば、図２に示す例では、９台の撮像装置２（撮像装置２＿１〜２＿９）を生産現場に配置して各工程が網羅的に撮像できるようにしている。例えば、撮像装置２＿１は、工程「１」のエリアを撮像できるように配置され、撮像装置２＿２は、工程「２」〜「４」の各エリアを撮像できるように配置され、撮像装置２＿３は、工程「５」および「６」の各エリアを撮像できるように配置されている。また、撮像装置２＿４は、工程「７」〜「９」の各エリアを撮像できるように配置され、撮像装置２＿５は、工程「１０」および「１１」の各エリアを撮像できるように配され、撮像装置２＿６は、工程「１２」のエリアを撮像できるように配置されている。さらに、撮像装置２＿７は、工程「１３」および「１５」の各エリアを撮像できるように配置され、撮像装置２＿８は、工程「１４」のエリアを撮像できるように配置され、撮像装置２＿９は、工程「１６」のエリアを撮像できるように配置されている。

なお、以下の説明では、図１に示したように、撮像装置２が４台接続された構成を例として説明する。

（情報処理装置のハードウェア構成）
図３は、第１の実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図３を参照しながら、本実施の形態の情報処理装置３のハードウェア構成の一例について説明する。

図３に示すように、情報処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、外部記憶装置１０４と、ディスプレイ１０５と、ネットワークＩ／Ｆ１０６と、キーボード１０７と、マウス１０８と、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１０９と、外部機器Ｉ／Ｆ１１１と、を備えている。

ＣＰＵ１０１は、情報処理装置３全体の動作を制御する装置である。ＲＯＭ１０２は、情報処理装置３用のＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）およびファームウェア等のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。

外部記憶装置１０４は、撮像装置２により撮像された映像データ、設定情報、および後述する追跡結果情報等の各種データを記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。

ディスプレイ１０５は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置３による画像判定動作を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ１０５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）または有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。なお、ディスプレイ１０５は、例えば、情報処理装置３の本体に対して、ＶＧＡケーブルまたはＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル等によって接続されたり、または、Ｅｔｈｅｒｎｅｔケーブルによって接続される。

ネットワークＩ／Ｆ１０６は、ハブ４に接続してデータ通信するためのインターフェースである。ネットワークＩ／Ｆ１０６は、例えば、ＴＣＰ／ＩＰのプロトコルで通信可能にするＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。具体的には、情報処理装置３は、撮像装置２から、ハブ４およびネットワークＩ／Ｆ１０６を介して、映像データを取得する。

キーボード１０７は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の設定等を行う入力装置である。マウス１０８は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の設定等を行うための入力装置である。

ＤＶＤドライブ１０９は、着脱自在な記憶媒体の一例としてのＤＶＤ１１０に対するデータの読み出し、書き込みおよび削除を制御する装置である。

外部機器Ｉ／Ｆ１１１は、外部機器１０と接続してデータ通信をするためのインターフェースである。外部機器Ｉ／Ｆ１１１は、例えば、フィールドバス規格により通信可能にするインターフェースカードである。具体的には、情報処理装置３は、外部機器１０と、外部機器Ｉ／Ｆ１１１を介してデータ通信を行う。

上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、ディスプレイ１０５、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８、ＤＶＤドライブ１０９、および外部機器Ｉ／Ｆ１１１は、アドレスバスおよびデータバス等のバス１１３によって互いに通信可能に接続されている。なお、ディスプレイ１０５が、Ｅｔｈｅｒｎｅｔケーブルによって接続される場合には、ネットワークＩ／Ｆ１０６に接続されることになり、この場合、ＴＣＰ／ＩＰ等のプロトコルによりデータ通信が行われる。

（情報処理装置のブロック構成）
図４は、第１の実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図４を参照しながら、情報処理装置３のブロック構成について説明する。

図４に示すように、情報処理装置３は、映像受信部３０１と、入力部３０２と、設定部３０３と、記憶部３０４と、再生部３０５と、取得部３０６と、指定部３０７と、登録部３０８と、検出部３０９と、算出部３１０と、決定部３１１と、軌跡生成部３１２（軌跡表示部）と、管理部３１３と、表示制御部３１４と、表示部３１５と、を備えている。なお、図４においては、説明を簡略化するため、ハブ４の図示を省略して説明する。

映像受信部３０１は、ハブ４を介して、撮像装置２から映像データを受信する機能部である。映像受信部３０１は、受信した映像データを記憶部３０４に記憶させる。映像受信部３０１は、図３に示すネットワークＩ／Ｆ１０６によって実現される。

入力部３０２は、情報処理装置３に色登録処理、および追跡対象の追跡処理等を実行させるための操作入力を行う装置である。入力部３０２は、図３に示すキーボード１０７およびマウス１０８によって実現される。

設定部３０３は、ユーザにより操作される入力部３０２からの操作信号に従って、各種設定情報を設定して記憶部３０４に記憶させる機能部である。設定部３０３は、例えば、後述するように登録部３０８により登録された基準色を中心とする所定範囲を示す情報（以下、「追跡パラメータ」という場合がある）を設定し、設定した追跡パラメータを、記憶部３０４に記憶させる。ここで、基準色を中心とする所定範囲は、基準色がＲＧＢ色空間で表される場合、基準色のＲ値に所定量を加算した上限値、および所定量を減算した下限値が設定されることによって、基準色のＲ値を中心とする所定範囲が定まる。基準色のＧ値およびＢ値についても、同様である。なお、所定量は、Ｒ値、Ｇ値およびＢ値それぞれ別々の値が設定されるものとしてもよい。設定部３０３は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

記憶部３０４は、映像受信部３０１により受信された映像データ、設定情報、および後述する追跡結果情報等の各種データを記憶する機能部である。記憶部３０４は、映像受信部３０１により受信された映像データが、どの撮像装置２により生成された映像データであるかを識別して記憶する。記憶部３０４は、例えば、図３に示すＲＡＭ１０３または外部記憶装置１０４によって実現される。なお、図４に示すように、記憶部３０４は、情報処理装置３に含まれるものとしているが、これに限定されるものではなく、例えば、外付けの外部記憶装置であってもよく、または、サーバ装置等の外部機器に備えられているものとしてもよい。

再生部３０５は、ユーザにより操作される入力部３０２からの操作信号に従って、記憶部３０４から取得した映像データを表示制御部３１４に送り、表示制御部３１４に対して映像データを表示部３１５に再生表示させる機能部である。具体的には、再生部３０５は、例えば、後述する図６に示すように、表示部３１５に表示される追跡画面４００の個別表示部４０１に映像データを再生表示させる。再生部３０５は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

取得部３０６は、記憶部３０４に記憶された映像データから、追跡対象の追跡処理の対象となるフレームを取得する機能部である。取得部３０６は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

指定部３０７は、ユーザにより操作される入力部３０２からの操作信号に従って、表示部３１５で映像データを表示する表示領域（例えば、後述する図６に示す個別表示部４０１）において、追跡対象の追跡処理で使用する特徴情報としての色を特定するための指定領域（例えば、後述する図７に示す指定領域５５０）を指定する機能部である。指定部３０７は、指定した指定領域の情報を、撮像装置２ごとに関連付けて記憶部３０４に記憶させる。指定部３０７は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

登録部３０８は、指定部３０７により指定された指定領域の色を示す画素値に基づいて、基準色を特定し、特定した基準色の情報を記憶部３０４に記憶（登録）する機能部である。ここで、個別表示部４０１に表示される映像データのフレームの画素値は、例えば、ＲＧＢ色空間、またはＨＳＶ色空間等に基づいた色を示す情報である。具体的には、登録部３０８は、例えば、指定領域に含まれる画素の画素値の平均値を算出し、その平均値を基準色として特定する。なお、登録部３０８は、指定領域の中央の画素の画素値を基準色として特定してもよい。登録部３０８は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

検出部３０９は、追跡対象の追跡処理の対象となるフレームにおいて、登録部３０８により登録された基準色（設定部３０３により設定された追跡パラメータ）に基づいて、追跡対象を検出する機能部である。具体的には、検出部３０９は、追跡対象の追跡処理の対象となるフレームについて、抽出処理、二値化処理、およびラベリング処理等の処理を実行し、上述した基準色を中心とする所定範囲（以下、「基準色範囲」という場合がある）に入る色の画素を含むブロックに対応する領域を追跡対象として検出する。検出部３０９は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

なお、検出部３０９は、基準色範囲に入る色の画素を含むブロックに対応する領域を追跡対象として検出しているが、これに限定されるものではない。例えば、登録部３０８は、指定部３０７により指定された指定領域内に存在する形状を特定し、特定した形状の情報（特徴情報の一例）を記憶部３０４に記憶（登録）し、検出部３０９は、登録された形状と類似または一致する形状を、追跡対象として検出するものとしてもよい。

また、検出部３０９は、映像データのフレームごとに追跡対象を検出することに限定されるものではなく、例えば、所定時間ごとに取得部３０６により取得されたフレームにおいて追跡対象を検出するものとしてもよい。また、フレームごとに追跡対象を検出する場合、そのフレームレートを設定可能としてもよく、所定時間ごとに検出する場合、その所定時間を設定可能とするものとしてもよい。

算出部３１０は、追跡対象が２以上の撮像装置のフレームで検出された場合、各フレームでの追跡対象の単位時間（例えば、フレーム間の時間）あたりの移動量および追跡対象の面積を算出し、面積に対する移動量の割合を算出する機能部である。算出部３１０は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

決定部３１１は、追跡対象が２以上の撮像装置のフレームで検出された場合、各フレームで算出部３１０により算出された追跡対象の面積に対する移動量の割合に基づいて、追跡対象の追跡処理を行うフレーム（撮像装置２）を決定する機能部である。具体的には、決定部３１１は、算出部３１０により算出された割合のうち最も大きい割合に対応するフレームを、追跡対象の追跡処理のフレームとして決定する。これによって、フレームに写っている追跡対象の移動量が長く、かつ、面積が小さいことによってさらに移動量が長くなることが期待されるフレームを、追跡処理のフレームとして決定するので、動線の情報量が多くなり、追跡対象の動線の分析精度を向上させることができる。決定部３１１は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

なお、決定部３１１は、上述のように、追跡対象の面積に対する移動量の割合に基づいて、追跡対象の追跡処理を行うフレーム（撮像装置２）を決定するものとしているが、これに限定されるものではない。例えば、決定部３１１は、追跡対象の移動量に基づいて、追跡対象の追跡処理を行うフレーム（撮像装置２）を決定するものとしてもよい。これは、追跡対象の動線を分析する場合に、動線の長さを長く記録したい場合等に有効となる。あるいは、決定部３１１は、追跡対象の面積に基づいて、追跡対象の追跡処理を行うフレーム（撮像装置２）を決定するものとしてもよい。これは、追跡対象の動線を分析する場合に、追跡対象が大きく写っているフレームの撮像装置２に決定して、追跡対象の細かい動線を記録したい場合等に有効である。また、追跡対象の動線を分析する場合に、追跡対象が小さく写っているフレームの撮像装置２に決定して、追跡対象の全体的な動きを記憶したい場合等に有効である。

軌跡生成部３１２は、追跡対象の軌跡を示すプロットまたは軌跡線（動線）を生成し、表示制御部３１４に、追跡画面４００において再生表示している映像データにプロットまたは軌跡線（動線）を重畳して表示させる機能部である。具体的には、軌跡生成部３１２は、軌跡線（動線）を表示させる場合には、記憶部３０４から読み出した映像データのフレームのうち、あるフレームで検出された追跡対象の中心点と、次のフレームで検出された追跡対象の中心点とを線で結んでいき、その線を軌跡線（動線）として映像データに重畳して表示させる。また、軌跡生成部３１２は、プロットを表示させる場合には、記憶部３０４から読み出した映像データの各フレームで検出された追跡対象の中心点の位置にプロットを映像データに重畳して表示させる。なお、軌跡生成部３１２は、追跡対象の中心点ではなく、少なくとも追跡対象に含まれるいずれかの点（画素）を結んで軌跡線（動線）、またはプロットを生成するものとしてもよい。軌跡生成部３１２は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

管理部３１３は、ユーザにより操作される入力部３０２からの操作信号に従って、追跡画面４００に表示されている映像データについて、登録部３０８により登録された基準色によって特定される追跡対象の追跡処理を開始または停止させる機能部である。また、管理部３１３は、情報処理装置３の全体の動作の管理を行う。管理部３１３は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

表示制御部３１４は、表示部３１５の表示動作を制御する機能部である。具体的には、表示制御部３１４は、再生部３０５により取得された映像データ、設定部３０３により設定された設定情報、および、指定部３０７により指定された指定領域等を、表示部３１５に表示させる。表示制御部３１４は、図３に示すＣＰＵ１０１により実行されるプログラム（ドライバ）によって実現される。

表示部３１５は、表示制御部３１４の制御に従って各種データを表示する表示装置である。表示部３１５は、本実施の形態では特に、図３に示すＣＰＵ１０１により実行されるプログラム（アプリケーション）の機能により、後述する追跡画面４００等を表示する。表示部３１５は、図３に示すディスプレイ１０５によって実現される。

なお、図４に示した映像受信部３０１、設定部３０３、再生部３０５、取得部３０６、指定部３０７、登録部３０８、検出部３０９、算出部３１０、決定部３１１、軌跡生成部３１２、管理部３１３および表示制御部３１４の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。

また、図４に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図４で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図４の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、以降の説明の簡略化のため、表示制御部３１４が、受け取ったデータを表示部３１５に表示させるという表現を、単に、そのデータを表示制御部３１４に送った機能部が、表示部３１５（または、表示部３１５が表示する画面）に表示させると表現するものとする。例えば、再生部３０５が、映像データを表示制御部３１４に送り、表示制御部３１４に対して映像データを表示部３１５に再生表示させる場合、単に、再生部３０５が、映像データを表示部３１５に再生表示させると表現するものとする。

（色登録処理）
図５は、第１の実施の形態に係る情報処理装置の色登録処理の流れの一例を示すフローチャートである。図６は、第１の実施の形態に係る情報処理装置の表示部に表示される追跡画面において映像が表示されている状態の一例を示す図である。図７は、第１の実施の形態に係る情報処理装置において追跡対象の色を登録する操作について説明する図である。図５〜図７を参照しながら、本実施の形態に係る情報処理装置３の色登録処理の流れについて説明する。

まず、色登録処理の流れを説明するにあたって、図６を参照しながら、追跡画面４００の構成について説明する。追跡画面４００は、色登録処理により特徴情報である色を登録し、個別表示部４０１、または、後述の図８に示す全体表示部４０２に再生表示される特定の追跡対象の追跡処理を行うための画面である。追跡画面４００は、図６に示すように、個別表示部４０１（表示領域）と、カメラ選択タブ４０１ａと、映像操作ボタン部４０３と、シークバー４０４と、スライダ４０５と、拡大縮小ボタン部４０６と、スパン変更ボタン部４０７と、時刻表示部４０８と、登録ボタン４０９と、追跡開始ボタン４１０と、追跡停止ボタン４１１と、表示切替ボタン４１２と、を含む。

個別表示部４０１は、ユーザにより操作される入力部３０２からの操作信号に従って、再生部３０５によって記憶部３０４から取得された映像データを再生表示される表示部である。図６の例では、記憶部３０４は、ユーザによる入力部３０２の操作により、「２」のカメラ選択タブ４０１ａが選択操作されると、撮像装置２ｂにより撮像された映像データを個別表示部４０１に再生表示させる。

カメラ選択タブ４０１ａは、ユーザが再生表示を所望する撮像装置２ａ〜２ｄの映像データのうちいずれの映像データを個別表示部４０１に表示させるのかを選択する操作部である。例えば、撮像装置２ａ〜２ｄによって撮像された映像データは、それぞれ「１」〜「４」に対応付けられており、図６の例では、「２」すなわち撮像装置２ｂの映像データが選択された例を示している。

映像操作ボタン部４０３は、ユーザによる入力部３０２の操作により、個別表示部４０１での映像データの再生、早戻し、早送り、停止および一時停止を行うボタン群である。シークバー４０４は、その上に配置されるスライダ４０５の位置により、個別表示部４０１に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダ４０５は、個別表示部４０１に再生表示されている映像データの撮像時刻（表示されているフレームが撮像された時刻）に対応したシークバー４０４上の位置にスライドする形状体かつ操作部である。逆に、スライダ４０５は、ユーザによる入力部３０２の操作によってスライドされると、再生部３０５によって、スライダ４０５が存在するシークバー４０４上の位置に対応した撮像時刻の映像データのフレームが個別表示部４０１に表示される。

拡大縮小ボタン部４０６は、ユーザによる入力部３０２の操作により、再生部３０５によって、個別表示部４０１に再生表示されている映像データが拡大表示または縮小表示されるボタン群である。例えば、拡大縮小ボタン部４０６のうち拡大ボタンを押下するごとに、所定の拡大率で映像データが拡大表示される。例えば、通常の表示状態を１００％として、１２０％、１４０％、・・・のように拡大表示される。

スパン変更ボタン部４０７は、ユーザによる入力部３０２の操作により、再生部３０５によって、シークバー４０４の表示スパンが拡大または縮小されるボタン群である。なお、シークバー４０４の表示スパンを拡大または表示するのは再生部３０５である必要はなく、異なる機能部が担うものとしてもよい。

時刻表示部４０８は、再生部３０５によって、個別表示部４０１に再生表示されている映像データの撮像日付および撮像時刻を表示する表示領域である。

登録ボタン４０９は、指定部３０７により指定された指定領域について、登録部３０８に基準色を特定し、特定した基準色の情報を登録（記憶部３０４に記憶）させるボタンである。

追跡開始ボタン４１０は、ユーザによる入力部３０２の操作によって押下されると、管理部３１３に、個別表示部４０１に再生表示されている映像データにおいて、基準色によって特定される追跡対象の追跡処理を開始させるボタンである。追跡停止ボタン４１１は、ユーザによる入力部３０２の操作によって押下されると、管理部３１３に対して、個別表示部４０１に再生表示されている映像データに対して行われている追跡対象の追跡処理を停止させるボタンである。

次に、色登録処理の具体的な流れを説明する。図６に示す追跡画面４００は、再生部３０５により撮像装置２ｂに対応する映像データが再生表示されている状態を示している。

＜ステップＳ１１＞
まず、個別表示部４０１において映像データの再生表示中に、色登録処理を所望する画像の部分が表示されているタイミングで、ユーザによる入力部３０２の操作によって映像操作ボタン部４０３の一時停止ボタンが押下されると、再生部３０５は、個別表示部４０１に再生表示されている映像データを一時停止させる。図６に示すように、一時停止した映像データのフレームには、作業者５００が写っている。そして、取得部３０６は、一時停止した映像データから個別表示部４０１に表示されているフレームを取得する。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
ここで、本実施の形態に係る情報処理装置３が個別表示部４０１に表示されているフレームにおける追跡の対象の一例として、図７に示すように、作業者５００の追跡対象５０１であるものとする。追跡対象５０１は、作業者５００が着用している上着の一部であり、特定の色を有するものとする。

ユーザによる入力部３０２の操作（例えば、マウス１０８のドラッグ操作）に従って、指定部３０７は、取得部３０６により取得されたフレーム、すなわち、個別表示部４０１に表示されているフレームにおいて、図７に示すように、追跡対象の追跡処理で使用する特徴情報としての色を特定するために、追跡対象５０１において指定領域５５０を指定する。

なお、指定部３０７による指定領域の指定は、拡大縮小ボタン部４０６の拡大ボタンまたは縮小ボタンにより、個別表示部４０１に表示されているフレームを拡大または縮小した状態で行うことができるようにしてもよい。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
ユーザによる入力部３０２の操作による登録ボタン４０９の押下によって、登録部３０８は、指定部３０７により指定された指定領域５５０に基づいて、基準色を特定し、特定した基準色の情報を記憶部３０４に記憶（登録）する。具体的には、登録部３０８は、例えば、指定領域５５０に含まれる画素の画素値の平均値を算出し、その平均値を基準色として特定する。

そして、設定部３０３は、登録部３０８により登録された基準色を中心とする所定範囲を示す情報を追跡パラメータとして設定し、設定した対追跡パラメータを、記憶部３０４に記憶させる。この追跡パラメータが設定されることによって、基準色範囲が定まる。

以上のステップＳ１１〜Ｓ１３によって、色登録処理（基準色の特定および登録）および追跡パラメータの設定が実行される。なお、上述の図５で示した色登録処理のフローは一例であり、その他の方法によって、基準色の特定、および追跡パラメータの設定が行われるものとしてもよい。

（追跡対象の追跡処理の概要）
図８は、第１の実施の形態に係る情報処理装置の表示部に表示される追跡画面において各撮像装置の映像がすべて表示された状態の一例を示す図である。図９は、特定の撮像装置の映像のフレームで追跡対象が検出された場合の一例を示す図である。図１０は、特定の撮像装置の映像のフレームで検出された追跡対象がフレームの端まで移動した状態を示す図である。図１１は、特定の撮像装置の映像のフレームで検出された追跡対象がフレームから消失した状態を示す図である。図１２は、特定の撮像装置の映像のフレームから消失した追跡対象が別の撮像装置の映像のフレームで検出された状態を示す図である。図１３は、別の撮像装置の映像のフレームで検出された追跡対象を追跡している状態を示す図である。図１４は、別の撮像装置の映像のフレームで検出された追跡対象を追跡しているときに、さらに別の撮像装置の映像のフレームで追跡対象が検出された状態を示す図である。図１５は、２つの撮像装置の映像のフレームで検出された追跡対象のうちどちらを追跡するかを決定する動作を説明する図である。図９〜図１５を参照しながら、本実施の形態に係る情報処理装置３による追跡対象の追跡処理の概要について説明する。

まず、ユーザによる入力部３０２の操作による表示切替ボタン４１２の押下によって、再生部３０５は、カメラ選択タブ４０１ａで選択された撮像装置２の映像データを個別表示部４０１に表示させている状態から、図８に示すように、すべての撮像装置２（撮像装置２ａ〜２ｄ）の映像データをそれぞれ、全体表示部４０２の個別表示部４０２ａ〜４０２ｄに表示させる。また、ユーザが入力部３０２の操作により表示切替ボタン４１２を再び押下すると、図６に示す個別表示部４０１での映像データの表示に切り替わる。

なお、予め、上述の色登録処理により、基準色が登録されているものとする。そして、全体表示部４０２において再生部３０５による映像データの再生表示中に、追跡対象の追跡処理を所望するフレームが表示されているタイミングで、ユーザによる入力部３０２の操作によって追跡開始ボタン４１０が押下されると、再生部３０５により表示されたフレームから、管理部３１３によって追跡対象の追跡処理が開始される。なお、再生部３０５によって全体表示部４０２の個別表示部４０２ａ〜４０２ｄにそれぞれ再生表示される映像データは、撮像装置２から受信したリアルタイムの映像データであってもよく、または、記憶部３０４に記憶された過去の映像データであってもよい。

また、軌跡生成部３１２は、検出部３０９により検出された追跡対象にプロットを重畳して表示させるものとして説明する。

図９に示す全体表示部４０２では、撮像装置２ａの映像データのフレームを表示する個別表示部４０２ａにおいて、作業者５１０が着用している追跡対象となる上着（以下、単に「追跡対象」と称する場合がある）が、時刻「２０１６／８／５ １３：１０：００」に検出部３０９により検出された状態を示している。軌跡生成部３１２は、図９に示すように、個別表示部４０２ａにおいて、検出部３０９により検出された追跡対象の位置にプロット６０１を重畳して表示させる。管理部３１３は、検出部３０９により検出された追跡対象の情報を、フレームおよび撮像装置と関連付けて、記憶部３０４に記憶させる。例えば、管理部３１３は、追跡対象の座標と、撮像装置の識別情報（例えば、図９では撮像装置２ａを示す識別情報）と、フレーム番号と、時刻情報と、を関連付けた情報を記憶部３０４に記憶させる。なお、管理部３１３による追跡対象の情報として記憶する情報は上述の内容に限定されるものではない。

図１０では、検出部３０９が、個別表示部４０２ａにおいて、追跡対象の検出（追跡）を継続し、時刻「２０１６／８／５ １３：１０：１０」に個別表示部４０２ａの端の位置で追跡対象を検出した状態を示している。軌跡生成部３１２は、図１０に示すように、個別表示部４０２ａにおいて、検出部３０９により検出された追跡対象の位置にプロットの重畳表示を継続し、時刻「２０１６／８／５ １３：１０：１０」に、検出部３０９により検出された追跡対象の位置にプロット６０２を重畳して表示させる。管理部３１３は、上述と同様に、検出部３０９により検出された追跡対象の情報を、フレームおよび撮像装置と関連付けて、記憶部３０４に記憶させる。

図１１では、検出部３０９が、個別表示部４０２ａにおいて、時刻「２０１６／８／５ １３：１０：１１」に追跡対象を検出できなかった状態、すなわち、追跡対象が消失した状態を示している。この場合、管理部３１３は、追跡対象の情報に含まれる追跡対象の座標として、時刻「２０１６／８／５ １３：１０：１０」に記憶した座標と同一の座標を、記憶部３０４に記憶する。すなわち、追跡対象が消失した時点以降の追跡対象が位置する座標を、追跡対象が消失する直前で検出された座標とみなして記憶する。

図１２では、検出部３０９が、撮像装置２ｂの映像データのフレームを表示する個別表示部４０２ｂにおいて、時刻「２０１６／８／５ １３：１０：１５」に、新たに追跡対象を検出した状態を示している。軌跡生成部３１２は、図１２に示すように、個別表示部４０２ｂにおいて、検出部３０９により検出された追跡対象の位置にプロット６１１を重畳して表示させる。この場合、管理部３１３は、個別表示部４０２ｂにおける追跡対象の座標と、撮像装置の識別情報（例えば、図１２では撮像装置２ｂを示す識別情報）と、フレーム番号と、時刻情報と、を関連付けた情報を記憶部３０４に記憶させる。検出部３０９は、以後、個別表示部４０２ｂにおいて、追跡対象の検出（追跡）を継続する。すなわち、追跡対象が個別表示部４０２ｂで新たに検出されるまでは、個別表示部４０２ａで消失した位置の座標を記憶し、追跡対象が個別表示部４０２ｂで新たに検出された時点以降は、個別表示部４０２ｂで検出された位置の座標を記憶する。

図１３では、検出部３０９が、個別表示部４０２ｂにおいて、追跡対象の検出（追跡）を継続し、時刻「２０１６／８／５ １３：１０：２０」に個別表示部４０２ｂの端の位置で追跡対象を検出した状態を示している。軌跡生成部３１２は、図１３に示すように、個別表示部４０２ｂにおいて、検出部３０９により検出された追跡対象の位置にプロットの重畳表示を継続し、時刻「２０１６／８／５ １３：１０：２０」に、検出部３０９により検出された追跡対象の位置にプロット６１２を重畳して表示させる。管理部３１３は、上述と同様に、検出部３０９により検出された追跡対象の情報を、フレームおよび撮像装置と関連付けて、記憶部３０４に記憶させる。

図１４では、検出部３０９が、時刻「２０１６／８／５ １３：１０：２１」に、個別表示部４０２ｂにおいて、個別表示部４０２ｂの端の位置で追跡対象を検出したのと同時に、撮像装置２ｄの映像データのフレームを表示する個別表示部４０２ｄにおいて、新たに追跡対象を検出した状態を示している。軌跡生成部３１２は、図１４に示すように、時刻「２０１６／８／５ １３：１０：２１」に、個別表示部４０２ｂにおいて、検出部３０９により検出された追跡対象の位置にプロット６１３を重畳して表示させ、個別表示部４０２ｄにおいて、検出部３０９により検出された追跡対象の位置にプロット６２１を重畳して表示させる。この場合、管理部３１３は、個別表示部４０２ｂにおいて検出部３０９により検出された追跡対象の情報を、フレームおよび撮像装置と関連付けて、記憶部３０４に記憶させる。この時点では、管理部３１３は、個別表示部４０２ｄにおいて検出部３０９により検出された追跡対象の情報を、記憶部３０４に記憶させない。すなわち、この時点では、検出部３０９が追跡対象を検出する対象は個別表示部４０２ｂであり、個別表示部４０２ｄには切り替えない。

図１５では、検出部３０９は、時刻「２０１６／８／５ １３：１０：２２」に、個別表示部４０２ｂにおいて、プロット６１３の位置から上方の位置で追跡対象を検出し、個別表示部４０２ｄにおいて、プロット６２１の位置から上方の位置で追跡対象を検出した状態を示している。軌跡生成部３１２は、図１５に示すように、時刻「２０１６／８／５ １３：１０：２２」に、個別表示部４０２ｂにおいて、検出部３０９により検出された追跡対象の位置にプロット６１４を重畳して表示させ、個別表示部４０２ｄにおいて、検出部３０９により検出された追跡対象の位置にプロット６２２を重畳して表示させる。このとき、算出部３１０は、個別表示部４０２ｂおよび個別表示部４０２ｄの各フレームでの追跡対象の単位時間（この場合、フレーム間の時間）あたりの移動量および追跡対象の面積を算出し、面積に対する移動量の割合を算出する。具体的には、算出部３１０は、まず、個別表示部４０２ｂにおいてプロット６１４に位置する追跡対象の面積Ａ２、および、個別表示部４０２ｄにおいてプロット６２２に位置する追跡対象の面積Ａ４を、それぞれ算出する。次に、算出部３１０は、個別表示部４０２ｂにおいて単位時間あたりに追跡対象が移動した移動量Ｄ２（プロット６１３からプロット６１４までの移動量）、および、個別表示部４０２ｄにおいて単位時間あたりに追跡対象が移動した移動量Ｄ４（プロット６２１からプロット６２２までの移動量）を、それぞれ算出する。そして、算出部３１０は、面積Ａ２に対する移動量Ｄ２の割合（Ｄ２／Ａ２）、および、面積Ａ４に対する移動量Ｄ４の割合（Ｄ４／Ａ４）を算出する。

そして、決定部３１１は、個別表示部４０２ｂおよび個別表示部４０２ｄの各フレームで算出部３１０により算出された追跡対象の面積に対する移動量の割合に基づいて、追跡対象の追跡処理を行うフレーム（撮像装置２）を決定する。具体的には、決定部３１１は、算出部３１０により算出された割合（Ｄ２／Ａ２）および割合（Ｄ４／Ａ４）のうち大きい方の割合に対応する撮像装置のフレームを、追跡対象の追跡処理のフレームとして決定する。例えば、図１５の例では、決定部３１１は、割合（Ｄ２／Ａ２）および割合（Ｄ４／Ａ４）のうち、割合（Ｄ４／Ａ４）が大きいと判断した場合、撮像装置２ｄのフレームを追跡処理のフレームに決定し、以後、検出部３０９は、個別表示部４０２ｄにおいて追跡対象の検出（追跡）を継続する。すなわち、検出部３０９によって複数のフレーム（図１５の例では、撮像装置２ｂおよび撮像装置２ｄのフレーム）で追跡対象が検出された場合、いずれか１つの撮像装置のフレームにおいて追跡対象の追跡を継続する。この場合、管理部３１３は、個別表示部４０２ｄにおいて検出部３０９により検出された追跡対象の情報を、フレームおよび撮像装置と関連付けて、記憶部３０４に記憶させる。なお、決定部３１１は、算出部３１０により算出された移動量Ｄ２および移動量Ｄ４に基づいて、追跡対象の追跡処理のフレーム（撮像装置２）を決定してもよく、または、算出部３１０により算出された面積Ａ２および面積Ａ４に基づいて、追跡対象の追跡処理のフレーム（撮像装置２）を決定してもよい。

（追跡対象の追跡処理の具体的な流れ）
図１６は、第１の実施の形態に係る情報処理装置の追跡処理の流れの一例を示すフローチャートである。図１６を参照しながら、本実施の形態に係る情報処理装置３の追跡対象の追跡処理の流れについて説明する。なお、予め、上述の色登録処理により、基準色が登録されているものとする。そして、全体表示部４０２において再生部３０５による映像データの再生表示中に、追跡対象の追跡処理を所望するフレームが表示されているタイミングで、ユーザによる入力部３０２の操作によって追跡開始ボタン４１０が押下されると、再生部３０５により表示されたフレームから、管理部３１３によって追跡対象の追跡処理が開始される。なお、再生部３０５によって全体表示部４０２の個別表示部４０２ａ〜４０２ｄにそれぞれ再生表示される映像データは、撮像装置２から受信したリアルタイムの映像データであってもよく、または、記憶部３０４に記憶された過去の映像データであってもよい。

＜ステップＳ２１＞
取得部３０６は、複数の撮像装置２の映像データから、追跡対象の追跡処理の対象となるフレーム（現フレーム）をそれぞれ取得する。フレームが取得できた場合（ステップＳ２１：Ｙｅｓ）、ステップＳ２２へ移行し、フレームが取得できない場合（ステップＳ２１：Ｎｏ）、終了する。

＜ステップＳ２２＞
検出部３０９によって、現フレームより１つ前のフレーム（以下、「前フレーム」と称する）で追跡対象が検出されている場合（ステップＳ２２：Ｙｅｓ）、ステップＳ２３へ移行し、検出されてない場合（ステップＳ２２：Ｎｏ）、ステップＳ２７へ移行する。

＜ステップＳ２３＞
検出部３０９により追跡対象が検出された前フレームに対応する現フレームにおいて、同じ追跡対象が検出された場合（ステップＳ２３：Ｙｅｓ）、ステップＳ２４へ移行する。この場合、前フレームおよび現フレームの双方で追跡対象が検出されたことになる。そして、軌跡生成部３１２は、現フレームを表示している個別表示部（個別表示部４０２ａ〜４０２ｄのいずれか）において、検出部３０９により検出された追跡対象の位置にプロットを重畳して表示させる。一方、追跡対象が検出されない場合（ステップＳ２３：Ｎｏ）、ステップＳ２８へ移行する。この場合、前フレームでは追跡対象が検出されたが、現フレームで検出されなかったので、追跡対象が消失したことになる。

＜ステップＳ２４＞
ステップＳ２１において、取得部３０６により取得された他の撮像装置２の映像データのフレームから、検出部３０９によって追跡対象が検出された場合（ステップＳ２４：Ｙｅｓ）、ステップＳ２５へ移行する。この場合、前フレームおよび現フレームの双方で追跡対象が検出されていると共に、前フレームおよび現フレームに対応する撮像装置２とは異なる他の撮像装置２のフレームで追跡対象が検出されたことになる。一方、追跡対象が検出されない場合（ステップＳ２４：Ｎｏ）、ステップＳ２６へ移行する。この場合、前フレームおよび現フレームに対応する撮像装置２でのみ追跡対象が検出されたので、引き続き、追跡対象の追跡処理の対象となるのは当該撮像装置２のフレームとなる。

＜ステップＳ２５＞
検出部３０９は、同じタイミングで、２つの撮像装置２のフレームで同一の追跡対象を検出している。したがって、算出部３１０は、２つ撮像装置２の各フレームでの追跡対象の単位時間（この場合、フレーム間の時間）あたりの移動量および追跡対象の面積を算出し、面積に対する移動量の割合を算出する。そして、決定部３１１は、２つ撮像装置２の各フレームで算出部３１０により算出された追跡対象の面積に対する移動量の割合に基づいて、追跡対象の追跡処理を行う最適なフレーム（撮像装置２）を決定する。そして、ステップＳ２６へ移行する。なお、決定部３１１は、２つ撮像装置２の各フレームで、算出部３１０により算出された追跡対象の移動量に基づいて、追跡対象の追跡処理を行う最適なフレーム（撮像装置２）を決定してもよく、または、算出部３１０により算出された追跡対象の面積に基づいて、追跡対象の追跡処理を行う最適なフレーム（撮像装置２）を決定してもよい。

＜ステップＳ２６＞
管理部３１３は、検出部３０９により検出された追跡対象の情報を、現在、追跡処理の対象となっているフレームおよび撮像装置２と関連付けて、記憶部３０４に記憶させる。例えば、管理部３１３は、現在、追跡処理の対象となっているフレームでの追跡対象の座標と、当該フレームに対応する撮像装置２の識別情報と、フレーム番号と、時刻情報と、を関連付けた情報を記憶部３０４に記憶させる。この場合、例えば、今まで追跡処理の対象となっていた撮像装置２から他の撮像装置２へ切り替わった場合でも、同一の追跡対象の情報として、同一のデータ（ファイル等）に記憶部３０４に記憶させることによって、複数の撮像装置２による同一の追跡対象の追跡処理の結果を示す情報として管理することができる。そして、取得部３０６により取得された現フレームに関連する追跡対象の追跡処理を終了する。

＜ステップＳ２７＞
検出部３０９により追跡対象が検出されていない前フレームに対応する現フレームにおいて、追跡対象が検出された場合（ステップＳ２７：Ｙｅｓ）、ステップＳ２６へ移行する。この場合、前フレームでは追跡対象が検出されていないが、現フレームで検出されたので、追跡対象が新たに検出されたことになる。そして、軌跡生成部３１２は、現フレームを表示している個別表示部（個別表示部４０２ａ〜４０２ｄのいずれか）において、検出部３０９により検出された追跡対象の位置にプロットを重畳して表示させる。また、決定部３１１は、現フレームに対応する撮像装置２を追跡対象の追跡処理を行う撮像装置２として決定する。一方、追跡対象が検出されない場合（ステップＳ２７：Ｎｏ）、ステップＳ３０へ移行する。この場合、前フレームおよび現フレームの双方で追跡対象が検出されていないことになる。

＜ステップＳ２８＞
ステップＳ２１において、取得部３０６により取得された他の撮像装置２の映像データのフレームから、検出部３０９によって追跡対象が検出された場合（ステップＳ２８：Ｙｅｓ）、ステップＳ３１へ移行する。この場合、前フレームで追跡対象が検出され、現フレームでは追跡対象が検出されなかったので、追跡対象が消失したことになるが、他の撮像装置２のフレームで追跡対象が検出されたことになる。一方、追跡対象が検出されない場合（ステップＳ２８：Ｎｏ）、ステップＳ２９へ移行する。この場合、前フレームで追跡対象が検出されていたが、現フレームでは追跡対象が検出されず、かつ、他の撮像装置２のフレームでも追跡対象が検出されなかったことになる。

＜ステップＳ２９＞
管理部３１３は、追跡対象の情報に含まれる追跡対象の座標として、前フレームで検出された追跡対象の座標と同一の座標を、現フレームに対応する座標として記憶部３０４に記憶する。すなわち、追跡対象が消失した時点以降の追跡対象が位置する座標を、追跡対象が消失する直前で検出された座標とみなして記憶する。これによって、追跡対象がすべての撮像装置２のフレームから消失しても、いずれかの撮像装置２のフレームで再び検出するまで、追跡対象が消失する直前で検出された座標の記憶を継続するので、複数の撮像装置２間での追跡対象の追跡の連携を取ることができる。そして、取得部３０６により取得された現フレームに関連する追跡対象の追跡処理を終了する。

＜ステップＳ３０＞
ステップＳ２１において、取得部３０６により取得された他の撮像装置２の映像データのフレームから、検出部３０９によって追跡対象が検出された場合（ステップＳ３０：Ｙｅｓ）、ステップＳ３１へ移行する。この場合、前フレームおよび現フレームの双方で追跡対象が検出されなかったが、前フレームおよび現フレームに対応する撮像装置２とは異なる他の撮像装置２のフレームで追跡対象が検出されたことになる。一方、追跡対象が検出されない場合（ステップＳ３０：Ｎｏ）、ステップＳ３３へ移行する。この場合、前フレームおよび現フレームの双方で追跡対象が検出されなかったと共に、前フレームおよび現フレームに対応する撮像装置２とは異なる他の撮像装置２のフレームでも追跡対象が検出されなかったことになる。

＜ステップＳ３１＞
決定部３１１は、検出部３０９により現フレームでは追跡対象が検出されず、現フレームに対応する撮像装置２とは異なる他の撮像装置２のフレームで追跡対象が検出されたので、当該他の撮像装置２を追跡対象の追跡処理を行う撮像装置２として決定し、現フレームに対応する撮像装置２から切り替える。そして、ステップＳ３２へ移行する。

＜ステップＳ３２＞
管理部３１３は、検出部３０９により検出された追跡対象の情報を、現在、追跡処理の対象となっているフレームおよび撮像装置と関連付けて、記憶部３０４に記憶させる。例えば、管理部３１３は、現在、追跡処理の対象となっているフレームでの追跡対象の座標と、当該フレームに対応する撮像装置の識別情報と、フレーム番号と、時刻情報と、を関連付けた情報を記憶部３０４に記憶させる。この場合、例えば、今まで追跡処理の対象となっていた撮像装置２から他の撮像装置２へ切り替わったとしても、同一の追跡対象の情報として、同一のデータ（ファイル等）に記憶部３０４に記憶させることによって、複数の撮像装置２による同一の追跡対象の追跡処理の結果を示す情報として管理することができる。そして、取得部３０６により取得された現フレームに関連する追跡対象の追跡処理を終了する。

＜ステップＳ３３＞
検出部３０９により前フレームより以前のフレームにおいて、追跡対象が検出されていた場合（ステップＳ３３：Ｙｅｓ）、ステップＳ３４へ移行する。この場合、前フレームおよび現フレームの双方で追跡対象が検出されていないが、前フレームより以前のフレームで追跡対象が検出されていることになる。一方、追跡対象が検出されない場合（ステップＳ３３：Ｎｏ）、取得部３０６により取得された現フレームに関連する追跡対象の追跡処理を終了する。この場合、前フレーム、現フレーム、および前フレームより以前のフレームのいずれにおいても追跡対象が検出されず、かつ、前フレームおよび現フレームに対応する撮像装置２とは異なる他の撮像装置２のフレームでも追跡対象が検出されなかったことになる。

＜ステップＳ３４＞
管理部３１３は、追跡対象の情報に含まれる追跡対象の座標として、前フレームより以前のフレームで検出された追跡対象の座標と同一の座標を、現フレームに対応する座標として記憶部３０４に記憶する。すなわち、追跡対象が消失した時点以降の追跡対象が位置する座標を、追跡対象が消失する直前で検出された座標とみなして記憶する。これによって、追跡対象がすべての撮像装置２のフレームから消失しても、いずれかの撮像装置２のフレームで再び検出するまで、追跡対象が消失する直前で検出された座標の記憶を継続するので、複数の撮像装置２間での追跡対象の追跡の連携を取ることができる。そして、取得部３０６により取得された現フレームに関連する追跡対象の追跡処理を終了する。

以上のステップＳ２１〜Ｓ３４の処理が繰り返されることによって、追跡対象の追跡処理が行われる。なお、図１６に示すフローチャートは、追跡対象の追跡処理の流れの一例を示したものであり、上述の追跡処理の作用および効果を有する処理であればどのような流れであってもよい。

以上のように、本実施の形態に係る情報処理装置３は、複数の撮像装置２で撮像された映像データのフレームにおいて、予め登録している特徴情報に基づく追跡対象を検出して追跡し、１の撮像装置２のフレームで追跡していた追跡対象が、別の撮像装置２のフレームでも検出された場合、検出された追跡対象の状態に基づいて、２つの撮像装置２のうちいずれかの撮像装置２を追跡処理の対象として決定するものとしている。これによって、複数の撮像装置で追跡対象を追跡する際に撮像装置をまたいで追跡することができる。

また、すべての撮像装置２のフレームから追跡対象が消失した時点以降の追跡対象が位置する座標を、追跡対象が消失する直前で検出された座標とみなして記憶するものとしている。これによって、追跡対象がすべての撮像装置２のフレームから消失しても、いずれかの撮像装置２のフレームで再び検出するまで、追跡対象が消失する直前で検出された座標の記憶を継続するので、複数の撮像装置２間での追跡対象の追跡の連携を取ることができる。

また、本実施の形態に係る情報処理装置３の決定部３１１は、追跡対象が２以上の撮像装置のフレームで検出された場合、各フレームで算出部３１０により算出された追跡対象の面積に対する移動量の割合に基づいて、追跡対象の追跡処理を行うフレーム（撮像装置２）を決定するものとしている。具体的には、決定部３１１は、算出部３１０により算出された割合のうち最も大きい割合に対応するフレームを、追跡対象の追跡処理のフレームとして決定する。これによって、フレームに写っている追跡対象の移動量が長く、かつ、面積が小さいことによってさらに移動量が長くなることが期待されるフレームを、追跡処理のフレームとして決定するので、動線の情報量が多くなり、追跡対象の動線の分析精度を向上させることができる。

また、決定部３１１によって、今まで追跡処理の対象となっていた撮像装置２から他の撮像装置２へ切り替えられた場合でも、同一の追跡対象の情報として、同一のデータ（ファイル等）に記憶部３０４に記憶させる。これによって、複数の撮像装置２による同一の追跡対象の追跡処理の結果を示す情報として管理することができる。

なお、上述のように、検出部３０９により、２つの撮像装置２のフレームで同一の検出対象が検出された場合、決定部３１１は、所定の方法によって、追跡対象の追跡処理を行う最適なフレーム（撮像装置２）を決定するものとしているが、これに限定されるものではない。例えば、最初に追跡対象が検出されたフレームに対応する撮像装置２を優先して、追跡処理の対象とし、当該撮像装置２のフレームから追跡対象が消失した場合、他の撮像装置２に追跡処理の対象として切り替えるものとしてもよい。これによって、一度、追跡対象が検出された場合、消失するまでそのフレームの撮像装置２から他の撮像装置２へ切り替わることがないため、追跡対象の動線の分析において、全体的な動線の把握が可能となると共に、追跡処理の対象となる撮像装置２の切り替わりの頻度を抑制することができる。

また、本実施の形態では、２つの撮像装置２のフレームで追跡対象が同一のタイミングで検出された場合の動作を説明したが、３つ以上の撮像装置２のフレームで同一のタイミングで検出された場合についても、決定部３１１により同様の方法で追跡処理の対象となるフレーム（撮像装置２）を決定することができる。

［第２の実施の形態］
第２の実施の形態に係る情報処理装置について、第１の実施の形態に係る情報処理装置３と相違する点を中心に説明する。第２の実施の形態に係る情報処理装置では、フレームを表示する表示領域の外周部分の所定領域を設け、追跡対象が消失する直前にこの所定領域に存在していたか否かによって処理を分岐する動作について説明する。なお、本実施の形態に係る画像処理システムの構成、ならびに、情報処理装置のハードウェア構成、および色登録処理の動作は、上述の第１の実施の形態で説明したそれぞれの構成および動作と同様である。

（情報処理装置のブロック構成）
図１７は、第２の実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図１７を参照しながら、情報処理装置３ａのブロック構成について説明する。

図１７に示すように、情報処理装置３ａは、映像受信部３０１と、入力部３０２と、設定部３０３ａと、記憶部３０４と、再生部３０５と、取得部３０６と、指定部３０７と、登録部３０８と、検出部３０９と、算出部３１０と、決定部３１１と、軌跡生成部３１２（軌跡表示部）と、管理部３１３と、表示制御部３１４と、表示部３１５と、判定部３１６と、を備えている。なお、本実施の形態において、映像受信部３０１、入力部３０２、記憶部３０４、再生部３０５、取得部３０６、指定部３０７、登録部３０８、検出部３０９、算出部３１０、決定部３１１、軌跡生成部３１２、管理部３１３、表示制御部３１４および表示部３１５の機能は、それぞれ第１の実施の形態で説明した機能と同様である。また、図１７においては、説明を簡略化するため、ハブ４の図示を省略して説明する。

設定部３０３ａは、ユーザにより操作される入力部３０２からの操作信号に従って、各種設定情報を設定して記憶部３０４に記憶させる機能部である。設定部３０３ａは、例えば、後述するように登録部３０８により登録された基準色を中心とする所定範囲を示す情報（追跡パラメータ）、および、後述するキャッチウィンドウの幅等を設定し、設定した追跡パラメータおよび幅の情報を、記憶部３０４に記憶させる。設定部３０３ａは、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

判定部３１６は、追跡対象がフレームから消失した場合に、消失する直前で検出された追跡対象の座標が、キャッチウィンドウ内に存在するか否かを判定する機能部である。判定部３１６は、図３に示すＣＰＵ１０１により実行されるプログラムによって実現される。

なお、図１７に示した映像受信部３０１、設定部３０３ａ、再生部３０５、取得部３０６、指定部３０７、登録部３０８、検出部３０９、算出部３１０、決定部３１１、軌跡生成部３１２、管理部３１３、表示制御部３１４および判定部３１６の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣまたはＦＰＧＡ等のハードウェア回路によって実現されてもよい。

また、図１７に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図１７で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図１７の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（追跡対象の追跡処理の概要）
図１８は、特定の撮像装置の映像のフレームで追跡対象が検出された場合の一例を示す図である。図１９は、特定の撮像装置の映像のフレームで検出された追跡対象がキャッチウィンドウまで移動した状態を示す図である。図２０は、特定の撮像装置の映像のフレームで検出された追跡対象がキャッチウィンドウから消失した状態を示す図である。図２１は、特定の撮像装置の映像のフレームのキャッチウィンドウから消失した追跡対象が別の撮像装置の映像のフレームで検出された状態を示す図である。図２２は、特定の撮像装置の映像のフレームで検出された追跡対象がキャッチウィンドウに達する前まで移動した状態を示す図である。図２３は、特定の撮像装置の映像のフレームで検出された追跡対象がキャッチウィンドウに達する前で消失した状態を示す図である。図２４は、特定の撮像装置の映像のフレームのキャッチウィンドウ外で消失した追跡対象が再び同じ撮像装置のフレームで検出された状態を示す図である。図２５は、特定の撮像装置の映像のフレームのキャッチウィンドウ外で消失した追跡対象が別の撮像装置の映像のフレームで検出された状態を示す図である。図１８〜図２５を参照しながら、本実施の形態に係る情報処理装置３ａによる追跡対象の追跡処理の概要について説明する。

まず、ユーザによる入力部３０２の操作による表示切替ボタン４１２の押下によって、再生部３０５は、カメラ選択タブ４０１ａで選択された撮像装置２の映像データを個別表示部４０１に表示させている状態から、上述の図８に示すように、すべての撮像装置２（撮像装置２ａ〜２ｄ）の映像データをそれぞれ、全体表示部４０２の個別表示部４０２ａ〜４０２ｄに表示させる。また、ユーザが入力部３０２の操作により表示切替ボタン４１２を再び押下すると、図６に示す個別表示部４０１での映像データの表示に切り替わる。

なお、予め、上述の色登録処理により、基準色が登録されているものとする。そして、全体表示部４０２において再生部３０５による映像データの再生表示中に、追跡対象の追跡処理を所望するフレームが表示されているタイミングで、ユーザによる入力部３０２の操作によって追跡開始ボタン４１０が押下されると、再生部３０５により表示されたフレームから、管理部３１３によって追跡対象の追跡処理が開始される。なお、再生部３０５によって全体表示部４０２の個別表示部４０２ａ〜４０２ｄにそれぞれ再生表示される映像データは、撮像装置２から受信したリアルタイムの映像データであってもよく、または、記憶部３０４に記憶された過去の映像データであってもよい。

また、軌跡生成部３１２は、検出部３０９により検出された追跡対象にプロットを重畳して表示させるものとして説明する。また、図１８に示すように、個別表示部４０２ａには、その表示領域の外周部分にキャッチウィンドウ４５２と称する所定領域が設定されているものとする。ただし、キャッチウィンドウは、個別表示部４０２ａのみではなく、個別表示部４０２ｂ〜４０２ｄにもそれぞれ設定されているものとする。このキャッチウィンドウの機能は後述するが、キャッチウィンドウの幅は、上述のように設定部３０３ａによって、任意に設定変更ができる。例えば、フレームにおいて追跡対象の単位時間当たりの移動量が大きい場合には、キャッチウィンドウの幅を広めに設定するものとすればよい。

図１８に示す全体表示部４０２では、撮像装置２ａの映像データのフレームを表示する個別表示部４０２ａにおいて、作業者５２０が着用している追跡対象となる上着（追跡対象）が、時刻「２０１６／８／１０ １３：１０：００」に検出部３０９により検出された状態を示している。軌跡生成部３１２は、図１８に示すように、個別表示部４０２ａにおいて、検出部３０９により検出された追跡対象の位置にプロット６３１を重畳して表示させる。管理部３１３は、検出部３０９により検出された追跡対象の情報を、フレームおよび撮像装置２と関連付けて、記憶部３０４に記憶させる。例えば、管理部３１３は、追跡対象の座標と、撮像装置の識別情報（例えば、図１８では撮像装置２ａを示す識別情報）と、フレーム番号と、時刻情報と、を関連付けた情報を記憶部３０４に記憶させる。なお、管理部３１３による追跡対象の情報として記憶する情報は上述の内容に限定されるものではない。

図１９では、検出部３０９が、個別表示部４０２ａにおいて、追跡対象の検出（追跡）を継続し、時刻「２０１６／８／１０ １３：１０：１０」に個別表示部４０２ａの端の位置で追跡対象を検出した状態を示している。軌跡生成部３１２は、図１９に示すように、個別表示部４０２ａにおいて、検出部３０９により検出された追跡対象の位置にプロットの重畳表示を継続し、時刻「２０１６／８／１０ １３：１０：１０」に、検出部３０９により検出された追跡対象の位置にプロット６３２を重畳して表示させる。管理部３１３は、上述と同様に、検出部３０９により検出された追跡対象の情報を、フレームおよび撮像装置と関連付けて、記憶部３０４に記憶させる。

図２０では、検出部３０９が、個別表示部４０２ａにおいて、時刻「２０１６／８／１０ １３：１０：１１」に追跡対象を検出できなかった状態、すなわち、追跡対象が消失した状態を示している。この場合、判定部３１６は、追跡対象が消失する直前で検出された追跡対象の座標（プロット６３２の座標）が、キャッチウィンドウ４５２内にあるか否かを判定し、図２０の例では、プロット６３２の座標が、キャッチウィンドウ４５２内にあるものと判定する。この場合、管理部３１３は、追跡対象が個別表示部４０２ａから出て行ったものと判断し、いずれかの撮像装置２のフレームで検出部３０９により再び検出されるまで、追跡対象の座標を記憶部３０４に記憶させない。このように、個別表示部４０２ａの外周部分に設定されたキャッチウィンドウ４５２を用いることによって、追跡対象の消失が、個別表示部４０２ａの端の部分で発生したか否かを判断することができ、追跡対象が個別表示部４０２ａから実際に出て行ったか否かの判断の精度を向上させることができる。

図２１では、検出部３０９が、撮像装置２ｂの映像データのフレームを表示する個別表示部４０２ｂにおいて、時刻「２０１６／８／１０ １３：１０：１５」に、新たに追跡対象を検出した状態を示している。軌跡生成部３１２は、図２１に示すように、個別表示部４０２ｂにおいて、検出部３０９により検出された追跡対象の位置にプロット６４１を重畳して表示させる。この場合、管理部３１３は、個別表示部４０２ｂにおける追跡対象の座標と、撮像装置の識別情報（例えば、図１２では撮像装置２ｂを示す識別情報）と、フレーム番号と、時刻情報と、を関連付けた情報を記憶部３０４に記憶させる。検出部３０９は、以後、個別表示部４０２ｂにおいて、追跡対象の検出（追跡）を継続する。すなわち、追跡対象が個別表示部４０２ａで消失してから、個別表示部４０２ｂで新たに検出されるまでは、追跡対象の位置の座標を記憶しないものとし、追跡対象が個別表示部４０２ｂで新たに検出された時点以降は、個別表示部４０２ｂで検出された位置の座標の記憶を開始する。

図２２では、検出部３０９が、図１８の状態から、個別表示部４０２ａにおいて、追跡対象の検出（追跡）を継続し、時刻「２０１６／８／１０ １３：１０：１０」に個別表示部４０２ａの特定の位置まで追跡対象を検出した状態を示している。軌跡生成部３１２は、図２２に示すように、個別表示部４０２ａにおいて、検出部３０９により検出された追跡対象の位置にプロットの重畳表示を継続し、時刻「２０１６／８／１０ １３：１０：１０」に、検出部３０９により検出された追跡対象の位置にプロット６３３を重畳して表示させる。管理部３１３は、上述と同様に、検出部３０９により検出された追跡対象の情報を、フレームおよび撮像装置と関連付けて、記憶部３０４に記憶させる。

図２３では、検出部３０９が、個別表示部４０２ａにおいて、時刻「２０１６／８／１０ １３：１０：１１」に追跡対象を検出できなかった状態、すなわち、追跡対象が消失した状態を示している。この場合、判定部３１６は、追跡対象が消失する直前で検出された追跡対象の座標（プロット６３３の座標）が、キャッチウィンドウ４５２内にあるか否かを判定し、図２３の例では、プロット６３３の座標が、キャッチウィンドウ４５２外（すなわち、キャッチウィンドウ４５２の内側）にあるものと判定する。この場合、管理部３１３は、追跡対象が個別表示部４０２ａ内に未だ存在するものと判断し、いずれかの撮像装置２のフレームで検出部３０９により再び検出されるまで、追跡対象の情報に含まれる追跡対象の座標として、時刻「２０１６／８／１０ １３：１０：１０」に記憶した座標と同一の座標を、記憶部３０４に記憶する。すなわち、追跡対象が消失した時点以降の追跡対象が位置する座標を、追跡対象が消失する直前で検出された座標とみなして記憶する。このように、個別表示部４０２ａの外周部分に設定されたキャッチウィンドウ４５２を用いることによって、追跡対象の消失が、個別表示部４０２ａの内側寄りの部分で発生したか否かを判断することができ、追跡対象が個別表示部４０２ａ内の物体に隠れて消失した等の判断の精度を向上させることができる。

図２４では、検出部３０９が、個別表示部４０２ａにおいて、時刻「２０１６／８／１０ １３：１０：１５」に、再び追跡対象を検出した状態を示している。軌跡生成部３１２は、図２４に示すように、個別表示部４０２ａにおいて、検出部３０９により検出された追跡対象の位置にプロット６３４を重畳して表示させる。管理部３１３は、上述と同様に、検出部３０９により検出された追跡対象の情報を、フレームおよび撮像装置と関連付けて、記憶部３０４に記憶させる。すなわち、追跡対象が個別表示部４０２ａで新たに検出されるまでは、個別表示部４０２ａで消失した追跡対象の位置の座標を記憶せず、追跡対象が個別表示部４０２ａで再び検出された時点以降は、個別表示部４０２ａで検出された位置の座標の記憶を再開する。

図２５では、検出部３０９が、図２３の状態から、撮像装置２ｂの映像データのフレームを表示する個別表示部４０２ｂにおいて、時刻「２０１６／８／１０ １３：１０：１５」に、新たに追跡対象を検出した状態を示している。軌跡生成部３１２は、図２５に示すように、個別表示部４０２ｂにおいて、検出部３０９により検出された追跡対象の位置にプロット６５１を重畳して表示させる。この場合、管理部３１３は、個別表示部４０２ｂにおける追跡対象の座標と、撮像装置の識別情報（例えば、図２５では撮像装置２ｂを示す識別情報）と、フレーム番号と、時刻情報と、を関連付けた情報を記憶部３０４に記憶させる。検出部３０９は、以後、個別表示部４０２ｂにおいて、追跡対象の検出（追跡）を継続する。すなわち、追跡対象が個別表示部４０２ａで消失してから、個別表示部４０２ｂで新たに検出されるまでは、消失する直前の追跡対象の位置の座標の記憶を継続し、追跡対象が個別表示部４０２ｂで新たに検出された時点以降は、個別表示部４０２ｂで検出された位置の座標の記憶を開始する。

なお、個別表示部４０２ａ〜４０２ｄのフレームのうち、複数のフレームで追跡対象が検出された場合に、どのフレーム（撮像装置２）を追跡処理の対象として決定するかについての動作は、第１の実施の形態で説明した決定部３１１の決定動作と同様である。

（追跡対象の追跡処理の具体的な流れ）
図２６は、第２の実施の形態に係る情報処理装置の追跡処理の流れの一例を示すフローチャートである。図２６を参照しながら、本実施の形態に係る情報処理装置３ａの追跡対象の追跡処理の流れについて説明する。なお、予め、上述の色登録処理により、基準色が登録されているものとする。そして、全体表示部４０２において再生部３０５による映像データの再生表示中に、追跡対象の追跡処理を所望するフレームが表示されているタイミングで、ユーザによる入力部３０２の操作によって追跡開始ボタン４１０が押下されると、再生部３０５により表示されたフレームから、管理部３１３によって追跡対象の追跡処理が開始される。なお、再生部３０５によって全体表示部４０２の個別表示部４０２ａ〜４０２ｄにそれぞれ再生表示される映像データは、撮像装置２から受信したリアルタイムの映像データであってもよく、または、記憶部３０４に記憶された過去の映像データであってもよい。

＜ステップＳ４１〜Ｓ４７＞
ステップＳ４１〜Ｓ４７の処理は、それぞれ、第１の実施形態の図１６で示したステップＳ２１〜Ｓ２７の処理と同様である。ただし、ステップＳ４３において、検出部３０９により追跡対象が検出された前フレームに対応する現フレームにおいて、同じ追跡対象が検出されない場合（ステップＳ４３：Ｎｏ）、ステップＳ４８へ移行する。この場合、前フレームでは追跡対象が検出されたが、現フレームで検出されなかったので、追跡対象が消失したことになる。また、ステップＳ４７において、検出部３０９により追跡対象が検出されていない前フレームに対応する現フレームにおいて、追跡対象が検出されない場合（ステップＳ４７：Ｎｏ）、ステップＳ５２へ移行する。この場合、前フレームおよび現フレームの双方で追跡対象が検出されていないことになる。

＜ステップＳ４８＞
ステップＳ４１において、取得部３０６により取得された他の撮像装置２の映像データのフレームから、検出部３０９によって追跡対象が検出された場合（ステップＳ４８：Ｙｅｓ）、ステップＳ５３へ移行する。この場合、前フレームで追跡対象が検出され、現フレームでは追跡対象が検出されなかったので、追跡対象が消失したことになるが、他の撮像装置２のフレームで追跡対象が検出されたことになる。一方、追跡対象が検出されない場合（ステップＳ４８：Ｎｏ）、ステップＳ４９へ移行する。この場合、前フレームで追跡対象が検出されていたが、現フレームでは追跡対象が検出されず（消失し）、かつ、他の撮像装置２のフレームでも追跡対象が検出されなかったことになる。

＜ステップＳ４９＞
判定部３１６は、追跡対象が消失する直前で検出された追跡対象の座標が、追跡対象が消失したフレームに設定されたキャッチウィンドウ内にあるか否かを判定する。追跡対象の座標がキャッチウィンドウ内にある場合、すなわち、追跡対象がキャッチウィンドウ内で消失した場合（ステップＳ４９：Ｙｅｓ）、ステップＳ５１へ移行する。一方、追跡対象の座標がキャッチウィンドウ内にない場合、すなわち、追跡対象がキャッチウィンドウ外（キャッチウィンドウの内側）で消失した場合（ステップＳ４９：Ｎｏ）、ステップＳ５０へ移行する。

＜ステップＳ５０＞
管理部３１３は、現フレーム内に追跡対象が存在するものと判断し、追跡対象の情報に含まれる追跡対象の座標として、前フレームで検出された追跡対象の座標と同一の座標を、現フレームに対応する座標として記憶部３０４に記憶する。すなわち、現フレーム内に追跡対象が存在するものと判断して、追跡対象が消失した時点以降の追跡対象が位置する座標を、追跡対象が消失する直前で検出された座標とみなして記憶する。これによって、追跡対象がすべての撮像装置２のフレームから消失しても、いずれかの撮像装置２のフレームで再び検出するまで、追跡対象が消失する直前で検出された座標の記憶を継続するので、複数の撮像装置２間での追跡対象の追跡の連携を取ることができる。また、現フレームのキャッチウィンドウ外（キャッチウィンドウの内側）で消失したことにより、追跡対象が現フレーム内の物体に隠れて消失した等の判断の精度を向上させることができる。そして、取得部３０６により取得された現フレームに関連する追跡対象の追跡処理を終了する。

＜ステップＳ５１＞
管理部３１３は、追跡対象が現フレームから出て行ったものと判断し、追跡対象の情報（座標等）を記憶部３０４に記憶させない。このように、個別表示部（個別表示部４０２ａ〜４０２ｄ）の外周部分に設定されたキャッチウィンドウを用いることによって、追跡対象の消失が、個別表示部の端の部分で発生したか否かを判断することができ、追跡対象が個別表示部（ここでは、現フレーム）から実際に出て行ったか否かの判断の精度を向上させることができる。そして、取得部３０６により取得された現フレームに関連する追跡対象の追跡処理を終了する。

＜ステップＳ５２〜Ｓ５４＞
ステップＳ５２〜Ｓ５４の処理は、それぞれ、第１の実施形態の図１６で示したステップＳ３０〜Ｓ３２の処理と同様である。

＜ステップＳ５５＞
検出部３０９により前フレームより以前のフレームのキャッチウィンドウ外において、追跡対象が検出されていた場合（ステップＳ５５：Ｙｅｓ）、ステップＳ５６へ移行する。この場合、前フレームおよび現フレームの双方で追跡対象が検出されていないが、前フレームより以前のフレームのキャッチウィンドウ外で追跡対象が検出されていることになる。一方、追跡対象が検出されない場合（ステップＳ５５：Ｎｏ）、取得部３０６により取得された現フレームに関連する追跡対象の追跡処理を終了する。この場合、前フレームおよび現フレームのいずれにおいても追跡対象が検出されず、前フレームより以前のフレームにおいて少なくともキャッチウィンドウ内での追跡対象の検出がなされず、かつ、前フレームおよび現フレームに対応する撮像装置２とは異なる他の撮像装置２のフレームでも追跡対象が検出されなかったことになる。

＜ステップＳ５６＞
管理部３１３は、追跡対象の情報に含まれる追跡対象の座標として、前フレームより以前のフレームのキャッチウィンドウ外で検出された追跡対象の座標と同一の座標を、現フレームに対応する座標として記憶部３０４に記憶する。すなわち、追跡対象が消失した時点以降の追跡対象が位置する座標を、追跡対象が消失する直前で検出された座標とみなして記憶する。これによって、追跡対象がすべての撮像装置２のフレームから消失しても、いずれかの撮像装置２のフレームで再び検出するまで、追跡対象が消失する直前で検出された座標の記憶を継続するので、複数の撮像装置２間での追跡対象の追跡の連携を取ることができる。そして、取得部３０６により取得された現フレームに関連する追跡対象の追跡処理を終了する。

以上のステップＳ４１〜Ｓ５６の処理が繰り返されることによって、追跡対象の追跡処理が行われる。なお、図２６に示すフローチャートは、追跡対象の追跡処理の流れの一例を示したものであり、上述の追跡処理の作用および効果を有する処理であればどのような流れであってもよい。

以上のように、本実施の形態に係る情報処理装置３ａは、第１の実施の形態に係る情報処理装置３と同様の効果を奏することに加え、フレームの表示領域（上述の例では、個別表示部４０２ａ〜４０２ｄ）の外周部分にキャッチウィンドウを設定するものとしている。これによって、追跡対象がキャッチウィンドウ内で消失した場合は、追跡対象がフレームから出て行ったとみなすことができ、キャッチウィンドウ外（キャッチウィンドウの内側）で消失した場合は、追跡対象がフレーム内に存在するとみなすことができる。したがって、複数の撮像装置２のフレームに写らない追跡対象の動線を精度よく認識して分析したい場合に、追跡対象がフレームから出て行ったか否かを精度よく判断することができる。

なお、各実施の形態の設定部３０３（３０３ａ）、再生部３０５、取得部３０６、指定部３０７、登録部３０８、検出部３０９、算出部３１０、決定部３１１、軌跡生成部３１２、管理部３１３、表示制御部３１４および判定部３１６の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、各実施の形態の情報処理装置３（３ａ）で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、各実施の形態の情報処理装置３（３ａ）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、各実施の形態の情報処理装置３（３ａ）で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各実施の形態の情報処理装置３（３ａ）で実行されるプログラムは、上述した各機能部の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述のＲＯＭからプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。

１ 画像処理システム
２、２ａ〜２ｄ 撮像装置
２＿１〜２＿９ 撮像装置
３、３ａ 情報処理装置
４ ハブ
１０ 外部機器
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ ディスプレイ
１０６ ネットワークＩ／Ｆ
１０７ キーボード
１０８ マウス
１０９ ＤＶＤドライブ
１１０ ＤＶＤ
１１１ 外部機器Ｉ／Ｆ
１１３ バス
３０１ 映像受信部
３０２ 入力部
３０３、３０３ａ 設定部
３０４ 記憶部
３０５ 再生部
３０６ 取得部
３０７ 指定部
３０８ 登録部
３０９ 検出部
３１０ 算出部
３１１ 決定部
３１２ 軌跡生成部
３１３ 管理部
３１４ 表示制御部
３１５ 表示部
３１６ 判定部
４００ 追跡画面
４０１ 個別表示部
４０１ａ カメラ選択タブ
４０２ 全体表示部
４０２ａ〜４０２ｄ 個別表示部
４０３ 映像操作ボタン部
４０４ シークバー
４０５ スライダ
４０６ 拡大縮小ボタン部
４０７ スパン変更ボタン部
４０８ 時刻表示部
４０９ 登録ボタン
４１０ 追跡開始ボタン
４１１ 追跡停止ボタン
４１２ 表示切替ボタン
４５２ キャッチウィンドウ
５００ 作業者
５０１ 追跡対象
５１０、５２０ 作業者
５５０ 指定領域
６０１、６０２、６１１〜６１４、６２１、６２２ プロット
６３１〜６３４、６４１、６５１ プロット

特開２０１６−０４２３０６号公報

Claims (17)

1. 複数の撮像装置で撮像されたそれぞれの映像データからフレームを取得する取得部と、
   前記取得部により取得された前記フレームから、追跡対象を検出する検出部と、
   前記検出部によって、前記複数の撮像装置のうち、２以上の撮像装置で撮像されたそれぞれの前記フレームから前記追跡対象が検出された場合、該追跡対象の追跡処理の対象として前記２以上の撮像装置のうちいずれかを決定する決定部と、
   を備えた画像処理装置。
2. 前記決定部は、前記検出部によって前記追跡対象が検出されたそれぞれの前記フレームにおける該追跡対象の面積および移動量の少なくともいずれか一方に基づいて、前記追跡処理の対象として前記２以上の撮像装置のうちいずれかを決定する請求項１に記載の画像処理装置。
3. 前記決定部は、前記追跡対象の前記面積に対する前記移動量の割合に基づいて、前記追跡処理の対象として前記２以上の撮像装置のうちいずれかを決定する請求項２に記載の画像処理装置。
4. 前記決定部は、前記２以上の撮像装置のうち、前記検出部により前記フレームから最初に前記追跡対象が検出された撮像装置を、前記追跡処理の対象として決定する請求項１に記載の画像処理装置。
5. 前記追跡処理の対象となっている前記撮像装置により撮像された前記フレームにおいて、前記検出部により検出された前記追跡対象の位置情報を記憶装置に記憶させる管理部を、さらに備えた請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記管理部は、前記追跡処理の対象となっている前記撮像装置により撮像された第１フレームにおいて前記検出部により前記追跡対象が検出されなかった場合、前記第１フレームより前のフレームであって該追跡対象が検出された第２フレームでの該追跡対象の位置情報を、前記第１フレームでの該追跡対象の位置情報として前記記憶装置に記憶させる請求項５に記載の画像処理装置。
7. 前記管理部は、前記追跡処理の対象となっている前記撮像装置により撮像された前記フレームが表示されている表示装置の所定の表示領域において、外周部分の所定領域であるキャッチウィンドウ内で前記検出部により前記追跡対象が消失したことが検出された場合、該追跡対象の該フレームにおける位置情報を前記記憶装置に記憶させない請求項５に記載の画像処理装置。
8. 前記管理部は、前記追跡処理の対象となっている前記撮像装置により撮像された前記フレームが表示されている表示装置の所定の表示領域において、外周部分の所定領域であるキャッチウィンドウ外で前記検出部により前記追跡対象が消失したことが検出された場合、該追跡対象の該フレームにおける位置情報として、該追跡対象が消失した位置の情報を前記記憶装置に記憶させる請求項５に記載の画像処理装置。
9. 前記管理部は、前記決定部によって前記複数の撮像装置のうち前記追跡処理の対象となる撮像装置が切り替えられた場合においても、同一の前記追跡対象の位置情報を同一のデータファイルとして前記記憶装置に記憶させる請求項５〜８のいずれか一項に記載の画像処理装置。
10. 前記複数の撮像装置で撮像されたそれぞれの前記映像データを表示装置の所定の表示領域に再生表示させる再生部と、
    前記追跡処理の対象である前記撮像装置により撮像された前記映像データであって前記再生部により再生表示されている該映像データに重畳して、該映像データの前記フレームで前記検出部により検出された前記追跡対象の軌跡を表示させる軌跡表示部と、
    をさらに備えた請求項１〜９のいずれか一項に記載の画像処理装置。
11. 前記検出部は、予め登録された前記追跡対象についての特徴情報に基づいて、該追跡対象を検出する請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 前記検出部は、前記特徴情報としての前記追跡対象が有する色に基づいて、該追跡対象を検出する請求項１１に記載の画像処理装置。
13. 前記検出部は、前記特徴情報としての前記追跡対象が有する形状に基づいて、該追跡対象を検出する請求項１１に記載の画像処理装置。
14. 前記フレームにおいて前記追跡対象についての前記特徴情報を規定するための指定領域を指定する指定部と、
    前記指定領域に基づいて前記特徴情報を登録する登録部と、
    をさらに備えた請求項１１〜１３のいずれか一項に記載の画像処理装置。
15. 前記複数の撮像装置と、
    請求項１〜１４のいずれか一項に記載の画像処理装置と、
    を備えた画像処理システム。
16. 複数の撮像装置で撮像されたそれぞれの映像データからフレームを取得する取得ステップと、
    取得した前記フレームから、追跡対象を検出する検出ステップと、
    前記複数の撮像装置のうち、２以上の撮像装置で撮像されたそれぞれの前記フレームから前記追跡対象を検出した場合、該追跡対象の追跡処理の対象として前記２以上の撮像装置のうちいずれかを決定する決定ステップと、
    を有する画像処理方法。
17. コンピュータに、
    複数の撮像装置で撮像されたそれぞれの映像データからフレームを取得する取得処理と、
    取得した前記フレームから、追跡対象を検出する検出処理と、
    前記複数の撮像装置のうち、２以上の撮像装置で撮像されたそれぞれの前記フレームから前記追跡対象を検出した場合、該追跡対象の追跡処理の対象として前記２以上の撮像装置のうちいずれかを決定する決定処理と、
    を実行させるためのプログラム。

Images