JP2018077637A - 情報処理装置、情報処理システム、情報処理方法およびプログラム - Google Patents

Abstract

【課題】取得した動線から作業領域を決定することができる情報処理装置、情報処理システム、情報処理方法およびプログラムを提供する。【解決手段】所定単位の一連の作業である定型作業における追跡対象の位置情報を含む複数の追跡結果情報を取得する第１取得部と、第１取得部によって取得された複数の追跡結果情報の追跡対象の位置情報が示すポイントの移動距離に基づいて、停滞しているポイント群である停滞部分を抽出する第１抽出部と、各追跡結果情報に対応する停滞部分に基づく所定のポイントを拡大した拡大領域を得る拡大部と、拡大部により得られた複数の拡大領域のうち少なくともいずれかが重なる領域に基づいて作業領域を決定する第１決定部と、を備える。【選択図】図３

Description

本発明は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。

製品の生産現場では、人が介在する工程において、作業者の歩行および動作等の動きを定量的に捉え、いかに素早く分析および改善に繋げるかが課題となっている。人の動きを定量化する技術としては、人の動きを「動線」として「見える化」を行う取り組みが世の中で広まっている。動線を取得する技術としては、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の位置情報を利用するもの、超音波の送信機を追跡の対象に付与して受信機で位置を特定するもの、および、ビーコン等を発信するＩＤをスマートフォンで受信して位置を捕捉するもの等の技術がある。ただし、これらの技術で追跡を実施するには、追跡対象物に無線ＬＡＮ、もしくは超音波発信等の端末、またはＩＤを持たせる必要がある。また、追跡対象に、何らかの端末を持たせずに、動線を取得する方法としては、カメラで撮影した映像に映っている追跡対象を画像処理技術で追跡し位置を特定する技術が既に知られている。動線の座標を取得後、座標に合わせて、映像に動線を重畳させたり、どの作業工程でどの程度の時間だけ作業をしていたかの繰り返し作業（定型作業）を分析することによって、作業の改善を進めることができる。

このような、動線を描画して作業者の作業等を分析するための技術として、追跡対象を撮影した映像のフレームを読み込むフレーム読込手段と、フレーム読込手段により読み込まれたフレームに、追跡対象に対する追跡対象領域を設定する追跡対象領域設定手段と、フレーム読込手段により読み込まれた複数のフレーム間において追跡対象領域を追跡する追跡手段と、追跡手段の追跡結果に基づき、追跡対象の動作軌跡を描画する描画手段と、描画手段により描画された動作軌跡を表示装置に表示させる表示制御手段と、を有する軌跡描画装置の技術が開示されている（特許文献１参照）。

しかしながら、特許文献１に記載された技術では、一連の繰り返し作業（定型作業）を示す動線のうち、どの部分が特定の作業を行う作業領域に相当するのかについては、いったん動線を描画させて、その動線を見ながら手動で作業領域を設定することしかできないという問題があった。

本発明は、上記に鑑みてなされたものであって、取得した動線から作業領域を決定することができる情報処理装置、情報処理システム、情報処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、所定単位の一連の作業である定型作業における追跡対象の位置情報を含む複数の追跡結果情報を取得する第１取得部と、前記第１取得部によって取得された前記複数の追跡結果情報の前記追跡対象の位置情報が示すポイントの移動距離に基づいて、停滞しているポイント群である停滞部分を抽出する第１抽出部と、前記各追跡結果情報に対応する前記停滞部分に基づく所定のポイントを拡大した拡大領域を得る拡大部と、前記拡大部により得られた複数の前記拡大領域のうち少なくともいずれかが重なる領域に基づいて作業領域を決定する第１決定部と、を備えたことを特徴とする。

本発明によれば、取得した動線から作業領域を決定することができる。

図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。 図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図３は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。 図４は、実施の形態に係る情報処理装置の色登録処理の流れの一例を示すフローチャートである。 図５は、実施の形態に係る情報処理装置の表示部に表示される追跡画面において映像が表示されている状態の一例を示す図である。 図６は、実施の形態に係る情報処理装置において追跡対象の色を登録する操作について説明する図である。 図７は、実施の形態に係る情報処理装置において追跡対象を追跡する追跡処理を説明する図である。 図８は、実施の形態に係る情報処理装置の追跡処理で検出した追跡対象の情報を示す追跡結果データの一例を示す図である。 図９は、実施の形態に係る情報処理装置の定型作業領域の決定処理の流れの一例を示すフローチャートである。 図１０は、実施の形態に係る情報処理装置において定型作業領域を求めるために用いる定型作業の複数の動線の一例を示す図である。 図１１は、定型作業領域を求めるために用いる定型作業の複数の動線を太線化した状態の一例を示す図である。 図１２は、抽出された領域が連続していることの一例を示す図である。 図１３は、抽出された領域が連続していることの一例を示す図である。 図１４は、実施の形態に係る情報処理装置において定型作業領域を決定する動作を説明する図である。 図１５は、実施の形態に係る情報処理装置の作業領域の決定処理の流れの一例を示すフローチャートである。 図１６は、停滞領域および突発的行動領域の一例を示す図である。 図１７は、実施の形態に係る情報処理装置において作業領域を決定する動作を説明する図である。 図１８は、実施の形態に係る情報処理装置において決定された作業領域および移動領域の一例を示す図である。

以下に、図面を参照しながら、本発明に係る情報処理装置、情報処理システム、情報処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（画像処理システムの全体構成）
図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の画像処理システム１の全体構成について説明する。

図１に示すように、本実施の形態の画像処理システム１は、撮像装置２ａ〜２ｄと、情報処理装置３と、ハブ４と、外部機器１０と、を含む。

撮像装置２ａ〜２ｄは、被写体から光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレーム（画像データ）で構成された動画（例えば、１０［ＦＰＳ］、２５［ＦＰＳ］等）である映像データを生成するビデオカメラである。例えば、撮像装置２ａ〜２ｄは、製品を生産する生産設備または生産ライン等で作業する作業者を撮像して映像データを生成する。

なお、撮像装置２ａ〜２ｄを区別なく呼称する場合、または総称する場合、単に「撮像装置２」というものとする。また、図１では、画像処理システム１は、４台の撮像装置２を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置２を含む構成であってもよい。

情報処理装置３は、各撮像装置２によって撮像された映像データに基づいて画像処理を実行する画像処理装置として機能するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）またワークステーション等である。情報処理装置３は、画像処理の対象となる映像データおよび画像処理した結果情報（位置情報等）を、通信ケーブルまたはネットワークを介して外部機器１０へ送信する。また、情報処理装置３は、過去に撮像された映像データおよびその映像データが画像処理された結果情報を、通信ケーブルまたはネットワークを介して外部機器１０から受信する。したがって、情報処理装置３は、通信ケーブルまたはネットワークを介して、外部機器１０と通信可能となっている。

ハブ４は、撮像装置２ａ〜２ｄを情報処理装置３と接続するためのＥｔｈｅｒｎｅｔ（登録商標）規格に対応した集線装置である。ハブ４は、例えば、Ｅｔｈｅｒｎｅｔ規格に対応している場合、撮像装置２ａ〜２ｄと、情報処理装置３とはＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルによりデータ通信が行われる。この場合、撮像装置２ａ〜２ｄおよび情報処理装置３は、ＴＣＰ／ＩＰのプロトコルにより通信するためのＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレスを有し、かつプライベートＩＰアドレス等のＩＰアドレスが割り当てられている。

なお、図１に示すハブ４は、ＴＣＰ／ＩＰのプロトコルによる通信を中継する例を示したが、これに限定されるものではない。例えば、情報処理装置３側にＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）端子またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを有し、複数の撮像装置２がＶＧＡケーブルまたはＵＳＢケーブルを介してハブ４に集線されて情報処理装置３に接続される形態等であってもよい。

また、各撮像装置２は、ハブ４を介して情報処理装置３に接続される構成について説明したが、これに限定されるものではなく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、専用回線またはインターネット等のネットワークを介して情報処理装置３と通信する構成としてもよい。

外部機器１０は、各撮像装置２により撮像された映像データ、および、映像データにおける人物（作業者）の位置を示す位置情報等の画像処理の結果情報を記憶する外部記憶装置、またはデータベースサーバ等である。

なお、上述したように、映像データを収集する撮像装置２の台数に限定はないが、以下の説明では、図１に示したように、撮像装置２が４台接続された構成を例として説明する。

（情報処理装置のハードウェア構成）
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施の形態の情報処理装置３のハードウェア構成の一例について説明する。

図２に示すように、情報処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、外部記憶装置１０４と、ディスプレイ１０５と、ネットワークＩ／Ｆ１０６と、キーボード１０７と、マウス１０８と、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１０９と、外部機器Ｉ／Ｆ１１１と、スピーカ１１２と、を備えている。

ＣＰＵ１０１は、情報処理装置３全体の動作を制御する装置である。ＲＯＭ１０２は、情報処理装置３用のＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）およびファームウェア等のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。

外部記憶装置１０４は、撮像装置２および外部機器１０から受信した映像データ、画像処理の結果情報（位置情報等）、および設定情報等の各種データを記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。

ディスプレイ１０５は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置３による画像処理を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ１０５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。なお、ディスプレイ１０５は、例えば、情報処理装置３の本体に対して、ＶＧＡケーブルまたはＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル等によって接続されたり、または、Ｅｔｈｅｒｎｅｔケーブルによって接続される。

ネットワークＩ／Ｆ１０６は、ハブ４に接続してデータ通信するためのインターフェースである。ネットワークＩ／Ｆ１０６は、例えば、ＴＣＰ／ＩＰのプロトコルで通信可能にするＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。具体的には、情報処理装置３は、撮像装置２から、ネットワークＩ／Ｆ１０６を介して、映像データを受信する。

キーボード１０７は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の設定等を行う入力装置である。マウス１０８は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の設定等を行うための入力装置である。

ＤＶＤドライブ１０９は、着脱自在な記憶媒体の一例としてのＤＶＤ１１０に対するデータの読み出し、書き込みおよび削除を制御する装置である。

外部機器Ｉ／Ｆ１１１は、外部の装置（例えば、外部機器１０）等と接続してデータ通信をするためのインターフェースである。外部機器Ｉ／Ｆ１１１は、例えば、ＴＣＰ／ＩＰのプロトコルで通信可能にするＮＩＣ、または、ＵＳＢインターフェースカードである。具体的には、情報処理装置３は、外部機器１０と、外部機器Ｉ／Ｆ１１１を介してデータ通信を行う。

スピーカ１１２は、後述する作業時間等に対する異常判定において異常と判定された場合等に音声で通知する音声出力装置である。

上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、ディスプレイ１０５、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８、ＤＶＤドライブ１０９、外部機器Ｉ／Ｆ１１１、およびスピーカ１１２は、アドレスバスおよびデータバス等のバス１１３によって互いに通信可能に接続されている。なお、ディスプレイ１０５が、Ｅｔｈｅｒｎｅｔケーブルによって接続される場合には、ネットワークＩ／Ｆ１０６に接続されることになり、この場合、ＴＣＰ／ＩＰ等のプロトコルによりデータ通信が行われる。

（画像処理システムのブロック構成）
図３は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図３を参照しながら、情報処理装置３のブロック構成について説明する。なお、図３においては、説明を簡略化するため、ハブ４の図示を省略して説明する。

図３に示すように、情報処理装置３は、映像受信部３０１と、入力部３０２と、設定部３０３と、記憶部３０４と、再生部３０５と、第１取得部３０６と、指定部３０７と、登録部３０８と、検出部３０９と、軌跡出力部３１０（動線生成部）と、データ通信部３２１と、太線化部３２２と、定型抽出部３２３（第２抽出部）と、連続判定部３２４（第１判定部）と、定型決定部３２５（第２決定部）と、停滞抽出部３２６（第１抽出部）と、代表点特定部３２７（特定部）と、拡大部３２８と、工程抽出部３２９と、工程決定部３３０（第１決定部）と、移動決定部３３１（第３決定部）と、第２取得部３４１と、領域判定部３４２（第２判定部）と、計測部３４３と、時間判定部３４４（第３判定部）と、通知部３４５と、管理部３５１（変更部、生成部）と、表示制御部３５２と、表示部３５３と、を有する。

映像受信部３０１は、ハブ４を介して、撮像装置２から映像データを受信する機能部である。映像受信部３０１は、受信した映像データを記憶部３０４に記憶させ、または、データ通信部３２１を介して、外部機器１０に送信する。映像受信部３０１は、図２に示すネットワークＩ／Ｆ１０６によって実現される。

入力部３０２は、情報処理装置３に対して、色登録処理、追跡対象の追跡処理、および後述する定型作業エリアおよび作業エリアの決定処理等を実行させるための操作入力を行う装置である。入力部３０２は、図２に示すキーボード１０７およびマウス１０８によって実現される。

設定部３０３は、ユーザにより操作される入力部３０２からの操作信号に従って、各種設定情報を設定して記憶部３０４に記憶させる機能部である。設定部３０３は、例えば、後述するように登録部３０８により登録された基準色を中心とする所定範囲を示す情報（以下、「追跡パラメータ」という場合がある）を設定し、設定した追跡パラメータを、記憶部３０４に記憶させる。ここで、基準色を中心とする所定範囲は、基準色がＲＧＢ色空間で表される場合、基準色のＲ値に所定量を加算した上限値、および所定量を減算した下限値が設定されることによって、基準色のＲ値を中心とする所定範囲が定まる。基準色のＧ値およびＢ値についても、同様である。なお、所定量は、Ｒ値、Ｇ値およびＢ値それぞれ別々の値が設定されるものとしてもよい。設定部３０３は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

記憶部３０４は、映像受信部３０１により受信された映像データ、設定情報、および後述する追跡処理により得られた位置情報等の各種データを記憶する機能部である。記憶部３０４は、映像受信部３０１により受信された映像データが、どの撮像装置２により生成された映像データであるかを識別して記憶する。記憶部３０４は、例えば、図２に示すＲＡＭ１０３または外部記憶装置１０４によって実現される。

再生部３０５は、ユーザにより操作される入力部３０２からの操作信号に従って、映像受信部３０１により受信され、データ通信部３２１により受信され、または記憶部３０４から取得した映像データを表示制御部３５２に送り、表示制御部３５２に対して、映像データを表示部３５３に再生表示させる機能部である。具体的には、再生部３０５は、例えば、後述する図５に示すように、表示部３５３に表示される追跡画面４００の個別表示部４０１に映像データを再生表示させる。再生部３０５は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

第１取得部３０６は、映像受信部３０１により受信され、データ通信部３２１により受信され、または記憶部３０４に記憶された映像データからフレームを取得する機能部である。第１取得部３０６は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

指定部３０７は、ユーザにより操作される入力部３０２からの操作信号に従って、表示部３５３における映像データを表示する表示領域（例えば、後述する図５に示す個別表示部４０１）において、追跡対象の追跡処理で使用する特徴情報としての色を特定するための指定領域（例えば、後述する図６に示す指定領域５５０）を指定する機能部である。指定部３０７は、指定した指定領域の情報を、撮像装置２ごとに関連付けて記憶部３０４に記憶させる。指定部３０７は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

登録部３０８は、指定部３０７により指定された指定領域の色を示す画素値に基づいて、基準色を特定し、特定した基準色の情報を記憶部３０４に記憶（登録）する機能部である。ここで、個別表示部４０１に表示される映像データのフレームの画素値は、例えば、ＲＧＢ色空間、またはＨＳＶ色空間等に基づいた色を示す情報である。具体的には、登録部３０８は、例えば、指定領域に含まれる画素の画素値の平均値を算出し、その平均値を基準色として特定する。なお、登録部３０８は、指定領域の中央の画素の画素値を基準色として特定してもよい。登録部３０８は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

検出部３０９は、追跡対象の追跡処理の対象となるフレームにおいて、登録部３０８により登録された基準色（設定部３０３により設定された追跡パラメータ）に基づいて、追跡対象を検出する機能部である。具体的には、検出部３０９は、追跡対象の追跡処理の対象となるフレームについて、抽出処理、二値化処理、およびラベリング処理等の処理を実行し、上述した基準色を中心とする所定範囲（以下、「基準色範囲」という場合がある）に入る色の画素を含むブロックに対応する領域を追跡対象として検出する。検出部３０９は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

なお、検出部３０９は、基準色範囲に入る色の画素を含むブロックに対応する領域を追跡対象として検出しているが、これに限定されるものではない。例えば、登録部３０８は、指定部３０７により指定された指定領域内に存在する形状を特定し、特定した形状の情報（特徴情報の一例）を記憶部３０４に記憶（登録）し、検出部３０９は、登録された形状と同一または類似の形状を、追跡対象として検出するものとしてもよい。

また、検出部３０９は、映像データのフレームごとに追跡対象を検出する動作に限定されるものではなく、例えば、所定時間ごとに第１取得部３０６により取得されたフレームにおいて追跡対象を検出するものとしてもよい。また、フレームごとに追跡対象を検出する場合、そのフレームレートを設定可能としてもよく、所定時間ごとに検出する場合、その所定時間を設定可能とするものとしてもよい。

軌跡出力部３１０は、追跡対象の軌跡を示す軌跡線（動線）を生成し、表示制御部３５２に、再生表示している映像データに軌跡線（動線）を重畳して表示させる機能部である。軌跡出力部３１０は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

データ通信部３２１は、外部機器１０との間で、映像データおよび位置情報等を含む追跡結果情報（後述）等を送受信する機能部である。データ通信部３２１は、映像データおよび追跡結果情報等を受信した場合、これらの情報を記憶部３０４に記憶させるものとしてもよい。データ通信部３２１は、図２に示すネットワークＩ／Ｆ１０６によって実現される。

太線化部３２２は、後述する定型作業領域の決定処理において、表示部３５３に表示されている動線を太線化する機能部である。太線化部３２２は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

定型抽出部３２３は、太線化部３２２により太線化された動線が所定数以上重なっている領域を抽出する機能部である。定型抽出部３２３は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

連続判定部３２４は、定型抽出部３２３によって抽出された領域が連続しているか否か判定する機能部である。連続判定部３２４は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

定型決定部３２５は、連続判定部３２４により連続していると判定された領域を定型作業領域に決定する機能部である。定型決定部３２５は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

停滞抽出部３２６は、動線に含まれる各座標を示すポイント群であって、追跡対象が停滞していると判断されるポイント群（停滞部分）を抽出する機能部である。停滞抽出部３２６は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

代表点特定部３２７は、定型作業領域の決定処理の対象となる複数の各動線において、停滞抽出部３２６により抽出された停滞部分を構成するポイントから代表のポイント（代表点）を特定する機能部である。代表点特定部３２７は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

拡大部３２８は、代表点特定部３２７により特定された代表点を拡大する機能部である。拡大部３２８は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

工程抽出部３２９は、拡大部３２８によって拡大された代表点が所定数以上重なっている領域を抽出する機能部である。工程抽出部３２９は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

工程決定部３３０は、工程抽出部３２９により抽出された領域を矩形で囲んで、定型作業の中で作業者が停滞して作業を行う工程の領域（作業領域）として決定する機能部である。工程決定部３３０は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

移動決定部３３１は、定型決定部３２５により決定された定型作業領域から、工程決定部３３０により決定された作業領域と重なる領域を除いた領域を、移動領域に決定する機能部である。移動決定部３３１は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

第２取得部３４１は、映像受信部３０１により受信された映像データからフレームを取得する機能部である。すなわち、第２取得部３４１は、リアルタイムの映像データのフレームを取得する。ただし、第２取得部３４１が取得する映像データのフレームは、リアルタイムのものではなく、記憶部３０４または外部機器１０に記憶された過去の映像データのフレームであってもよい。第２取得部３４１は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

領域判定部３４２は、作業者等の追跡対象が、作業領域内または移動領域内に存在するか否かを判定する機能部である。領域判定部３４２は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

計測部３４３は、作業者等の追跡対象が領域判定部３４２によって、作業領域内または移動領域内に存在すると判定された場合、それぞれ作業時間または移動時間を計測する機能部である。また、計測部３４３は、所定時間において、追跡対象が作業領域内に存在した作業時間の最大値、最小値および平均値を算出する。このように、特定の作業者について作業時間の最大値、最小値、および平均値を算出することによって、その作業者の作業のむら、効率性、および作業能力等の分析を行うことが可能となる。なお、計測部３４３は、追跡対象が移動領域から外れた時間を計測するものとしてもよい。計測部３４３は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

時間判定部３４４は、計測部３４３により計測された作業時間が、所定範囲内であるか否かを判定する機能部である。なお、時間判定部３４４は、計測部３４３により追跡対象が移動領域から外れた時間が計測される場合、その時間が所定時間以上であるか否かを判定するものとしてもよい。また、上述の所定範囲は、設定部３０３により設定された範囲でもよく、または、上述の停滞抽出部３２６により抽出された停滞部分を構成するポイントの数によって求まる時間に基づく範囲としてもよい。時間判定部３４４は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

通知部３４５は、時間判定部３４４により作業時間が所定範囲外であると判定された場合、異常である旨を通知する機能部である。これによって、特定の作業者の作業領域における作業について何らかの問題があり、改善対象の作業として特定することができる。なお、通知部３４５は、時間判定部３４４により追跡対象が移動領域から外れた時間が所定時間以上であるか否か判定される場合、所定時間以上と判定されたとき、その旨を通知するものとしてもよい。これによって、作業を行う工程ではない移動中に何らかの突発的な行動が生じた等の旨を認識することができる。通知部３４５は、図２に示すスピーカ１１２によって実現される。なお、通知部３４５は、スピーカ１１２により実現されることに限定されるものではなく、例えば、表示部３５３に上述の通知内容を表示、または、メールにより所定の宛先に上述の通知内容を送信する機能等によって実現されるものとしてもよい。

管理部３５１は、例えば、ユーザにより操作される入力部３０２からの操作信号に従って、追跡画面４００に表示されている映像データについて、登録部３０８により登録された基準色によって特定される追跡対象の追跡処理を開始または停止させる機能部である。また、管理部３５１は、情報処理装置３の全体の動作の管理（例えば、各種情報の記憶部３０４への記憶）を行う。管理部３５１は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

表示制御部３５２は、表示部３５３の表示動作を制御する機能部である。具体的には、表示制御部３５２は、映像データ、設定部３０３により設定された設定情報、および、指定部３０７により指定された指定領域等を、表示部３５３に表示させる。表示制御部３５２は、図２に示すＣＰＵ１０１により実行されるプログラム（ドライバ）によって実現される。

表示部３５３は、表示制御部３５２の制御に従って各種データを表示する表示装置である。表示部３５３は、図２に示すＣＰＵ１０１により実行されるプログラム（アプリケーション）の機能により、例えば、後述する追跡画面４００等を表示する。表示部３５３は、図２に示すディスプレイ１０５によって実現される。

なお、図３に示した情報処理装置３の設定部３０３、再生部３０５、第１取得部３０６、指定部３０７、登録部３０８、検出部３０９、軌跡出力部３１０、データ通信部３２１、太線化部３２２、定型抽出部３２３、連続判定部３２４、定型決定部３２５、停滞抽出部３２６、代表点特定部３２７、拡大部３２８、工程抽出部３２９、工程決定部３３０、移動決定部３３１、第２取得部３４１、領域判定部３４２、計測部３４３、時間判定部３４４、管理部３５１、および表示制御部３５２の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。

また、図３に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、以降の説明の簡略化のため、表示制御部３５２が、受け取ったデータを表示部３５３に表示させるという表現を、単に、そのデータを表示制御部３５２に送った機能部が、表示部３５３（または、表示部３５３が表示する画面）に表示させると表現するものとする。例えば、再生部３０５が、映像データを表示制御部３５２に送り、表示制御部３５２に対して映像データを表示部３５３に再生表示させる場合、単に、再生部３０５が、映像データを表示部３５３に再生表示させると表現するものとする。

（色登録処理）
図４は、実施の形態に係る情報処理装置の色登録処理の流れの一例を示すフローチャートである。図５は、実施の形態に係る情報処理装置の表示部に表示される追跡画面において映像が表示されている状態の一例を示す図である。図６は、実施の形態に係る情報処理装置において追跡対象の色を登録する操作について説明する図である。図４〜図６を参照しながら、本実施の形態に係る情報処理装置３の色登録処理の流れについて説明する。

まず、色登録処理の流れを説明するにあたって、図５を参照しながら、追跡画面４００の構成について説明する。追跡画面４００は、色登録処理により特徴情報である色を登録し、個別表示部４０１に再生表示される映像において、特定の追跡対象の追跡処理を行うための画面である。追跡画面４００は、図５に示すように、個別表示部４０１と、カメラ選択タブ４０１ａと、映像操作ボタン部４０３と、シークバー４０４と、スライダ４０５と、拡大縮小ボタン部４０６と、スパン変更ボタン部４０７と、時刻表示部４０８と、登録ボタン４０９と、追跡開始ボタン４１０と、追跡停止ボタン４１１と、を含む。

個別表示部４０１は、ユーザにより操作される入力部３０２からの操作信号に従って、再生部３０５によって、映像受信部３０１により受信され、データ通信部３２１により受信され、または記憶部３０４から取得した映像データが再生表示される表示部である。図５の例では、再生部３０５は、ユーザによる入力部３０２の操作により、「２」のカメラ選択タブ４０１ａが選択操作されると、撮像装置２ｂにより撮像された映像データを記憶部３０４から取得して個別表示部４０１に再生表示させる。

カメラ選択タブ４０１ａは、ユーザが再生表示を所望する撮像装置２ａ〜２ｄの映像データのうちいずれの映像データを個別表示部４０１に表示させるのかを選択する操作部である。例えば、撮像装置２ａ〜２ｄによって撮像された映像データは、それぞれ「１」〜「４」に対応付けられており、図５の例では、「２」すなわち撮像装置２ｂの映像データが選択された例を示している。

映像操作ボタン部４０３は、ユーザによる入力部３０２の操作により、個別表示部４０１での映像データの再生、早戻し、早送り、停止および一時停止を行うボタン群である。シークバー４０４は、その上に配置されるスライダ４０５の位置により、個別表示部４０１に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダ４０５は、個別表示部４０１に再生表示されている映像データの撮像時刻（表示されているフレームが撮像された時刻）に対応したシークバー４０４上の位置にスライドする形状体かつ操作部である。逆に、スライダ４０５は、ユーザによる入力部３０２の操作によってスライドされると、再生部３０５によって、スライダ４０５が存在するシークバー４０４上の位置に対応した撮像時刻の映像データのフレームが個別表示部４０１に表示される。

拡大縮小ボタン部４０６は、ユーザによる入力部３０２の操作により、再生部３０５によって、個別表示部４０１に再生表示されている映像データが拡大表示または縮小表示されるボタン群である。例えば、拡大縮小ボタン部４０６のうち拡大ボタンを押下するごとに、所定の拡大率で映像データが拡大表示される。例えば、通常の表示状態を１００％として、１２０％、１４０％、・・・のように拡大表示される。

スパン変更ボタン部４０７は、ユーザによる入力部３０２の操作により、再生部３０５によって、シークバー４０４の表示スパンが拡大または縮小されるボタン群である。なお、シークバー４０４の表示スパンを拡大または縮小するのは再生部３０５である必要はなく、異なる機能部が担うものとしてもよい。

時刻表示部４０８は、再生部３０５によって、個別表示部４０１に再生表示されている映像データの撮像日付および撮像時刻を表示する表示領域である。

登録ボタン４０９は、指定部３０７により指定された指定領域について、登録部３０８に基準色を特定し、特定した基準色の情報を登録（記憶部３０４に記憶）させるボタンである。

追跡開始ボタン４１０は、ユーザによる入力部３０２の操作によって押下されると、管理部３５１に、個別表示部４０１に再生表示されている映像データにおいて、基準色によって特定される追跡対象の追跡処理を開始させるボタンである。追跡停止ボタン４１１は、ユーザによる入力部３０２の操作によって押下されると、管理部３５１に対して、個別表示部４０１に再生表示されている映像データに対して行われている追跡対象の追跡処理を停止させるボタンである。

次に、色登録処理の具体的な流れを説明する。図５に示す追跡画面４００は、再生部３０５により撮像装置２ｂに対応する映像データが再生表示されている状態を示している。

＜ステップＳ１１＞
まず、個別表示部４０１において映像データの再生表示中に、色登録処理を所望する画像の部分が表示されているタイミングで、ユーザによる入力部３０２の操作によって映像操作ボタン部４０３の一時停止ボタンが押下されると、再生部３０５は、個別表示部４０１に再生表示されている映像データを一時停止させる。図５に示すように、一時停止した映像データのフレームには、作業者５００が写っている。そして、第１取得部３０６は、一時停止した映像データから個別表示部４０１に表示されているフレームを取得する。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
ここで、本実施の形態に係る情報処理装置３が個別表示部４０１に表示されているフレームにおける追跡の対象が、図６に示す作業者５００の追跡対象５０１であるものとする。追跡対象５０１は、作業者５００が着用している上着の一部であり、特定の色を有するものとする。

指定部３０７は、ユーザによる入力部３０２の操作（例えば、マウス１０８のドラッグ操作）に従って、第１取得部３０６により取得されたフレーム、すなわち、個別表示部４０１に表示されているフレームにおいて、図６に示すように、追跡対象の追跡処理で使用する特徴情報としての色を特定するために、追跡対象５０１において指定領域５５０を指定する。

なお、指定部３０７による指定領域の指定は、拡大縮小ボタン部４０６の拡大ボタンまたは縮小ボタンにより、個別表示部４０１に表示されているフレームを拡大または縮小した状態で行うことができるようにしてもよい。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
登録部３０８は、ユーザによる入力部３０２の操作による登録ボタン４０９の押下によって、指定部３０７により指定された指定領域５５０に基づいて、基準色を特定し、特定した基準色の情報を記憶部３０４に記憶（登録）する。具体的には、登録部３０８は、例えば、指定領域５５０に含まれる画素の画素値の平均値を算出し、その平均値を基準色として特定する。

そして、設定部３０３は、登録部３０８により登録された基準色を中心とする所定範囲を示す情報を追跡パラメータとして設定し、設定した追跡パラメータを、記憶部３０４に記憶させる。この追跡パラメータが設定されることによって、基準色範囲が定まる。

以上のステップＳ１１〜Ｓ１３によって、色登録処理（基準色の特定および登録）および追跡パラメータの設定が実行される。なお、上述の図４で示した色登録処理のフローは一例であり、その他の方法によって、基準色の特定、および追跡パラメータの設定が行われるものとしてもよい。

（追跡対象の追跡処理の概要）
図７は、実施の形態に係る情報処理装置において追跡対象を追跡する追跡処理を説明する図である。図８は、実施の形態に係る情報処理装置の追跡処理で検出した追跡対象の情報を示す追跡結果データの一例を示す図である。図７および図８を参照しながら、本実施の形態に係る情報処理装置３による追跡対象の追跡処理の概要について説明する。なお、予め、上述の色登録処理により、基準色が登録されているものとする。そして、個別表示部４０１での再生部３０５による映像データの再生表示中に、追跡対象の追跡処理を所望するフレームが表示されているタイミングで、ユーザによる入力部３０２の操作によって追跡開始ボタン４１０が押下されると、再生部３０５により表示されたフレームから、管理部３５１によって追跡対象の追跡処理が開始される。なお、再生部３０５によって個別表示部４０１に再生表示される映像データは、撮像装置２から映像受信部３０１を介して受信したリアルタイムの映像データであってもよく、または、記憶部３０４に記憶され、または、データ通信部３２１を介して外部機器１０から受信した過去の映像データであってもよい。

第１取得部３０６は、再生部３０５により再生表示されている映像データのフレームを取得する。なお、第１取得部３０６により取得される２つ目以降のフレームは、追跡処理が終了したフレームの次のフレームに限定されるものではなく、所定時間後に対応するフレームを取得するものとしてもよい。すなわち、追跡処理は、処理が開始された映像データのフレーム以降、フレーム毎に実行されることに限定せず、所定時間ごとのフレームに対して実行するものとしてもよい。

次に、検出部３０９は、第１取得部３０６により取得されたフレームにおいて、登録部３０８により登録された基準色（設定部３０３により設定された追跡パラメータ）に基づいて、追跡対象を検出する。具体的には、検出部３０９は、当該フレームについて、抽出処理、二値化処理、およびラベリング処理等の処理を実行し、上述した基準色を中心とする基準色範囲に入る色の画素を含むブロックに対応する領域を追跡対象（図７に示す追跡対象５０１）として検出する。そして、管理部３５１は、図８に示す追跡結果データ１０００（追跡結果情報）のように、検出された追跡対象の情報として、撮像された場所と、撮像された日付と、撮像された時刻と、追跡対象の中心座標（ｘ座標およびｙ座標）と、が関連付けられた情報を、記憶部３０４に記憶させる。例えば、図８に示す追跡結果データ１０００の例では、撮像された場所「ａｒｅａ００１」、日付「２０１６−０４−０２」、および時刻「１０：２３：４５．２」に対応する追跡対象の中心座標のうちｘ座標が「０．８３」であり、ｙ座標が「０．４１」であることを示している。なお、中心座標を表す形式はどのような形式でもよく、図８に示す追跡結果データ１０００のように正規化した値であってもよく、または、フレームが横１９２０ピクセル、縦１０８０ピクセルの画像であれば、正規化された（ｘ，ｙ）＝（０．８３，０．４１）は、（ｘ，ｙ）＝（１５９３，４４２）と表すものとしてもよい。

なお、追跡結果データ１０００は、ＣＳＶ（Ｃｏｍｍａ−Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）形式のファイルとして示しているが、これに限定されるものではなく、撮像された場所と、撮像された日付と、撮像された時刻と、追跡対象の中心座標（ｘ座標およびｙ座標）と、を関連付ける情報であればどのような形式の情報であってもよい。

次に、軌跡出力部３１０は、記憶部３０４に記憶された追跡結果データ１０００から現在のフレームに対応する追跡対象の中心座標と、現在のフレームの前のフレームに対応する追跡対象の中心座標と、を読み出す。そして、軌跡出力部３１０は、現在のフレームに対応する追跡対象の中心点と、現在のフレームの前のフレームに対応する追跡対象の中心点とを結ぶ動線（軌跡線）を生成し、個別表示部４０１に表示されている現在のフレームに重畳して表示させる。この場合、軌跡出力部３１０は、追跡処理開始後のフレームから、現在のフレームの前のフレームまでについて生成した動線も同様に、現在のフレームに重畳して表示させる。これによって、個別表示部４０１には、図７に示すように、映像データに重畳して、追跡処理開始後からの追跡対象の軌跡を示す動線８００が表示されることになる。なお、追跡結果情報（例えば、図８に示す追跡結果データ１０００）の記憶のみを目的とするのであれば、軌跡出力部３１０は、追跡画面４００の個別表示部４０１において、動線８００を必ずしも表示させる必要はない。

以上のような動作によって、追跡対象の追跡処理が行われる。なお、上述の追跡対象の追跡処理は、映像データのフレームから追跡対象を検出することによって、追跡対象の位置情報を含む追跡結果情報を生成するものとしているが、これに限定されるものではない。例えば、追跡対象に無線ＬＡＮもしくは超音波発信の端末、またはＩＤを持たせることによって、これらの位置情報を受信する装置を用いて、追跡対象を検出した日付および時刻、ならびに位置情報等を得ることによって、追跡結果情報を生成するものとしてもよい。

（定型作業領域の決定処理）
図９は、実施の形態に係る情報処理装置の定型作業領域の決定処理の流れの一例を示すフローチャートである。図１０は、実施の形態に係る情報処理装置において定型作業領域を求めるために用いる定型作業の複数の動線の一例を示す図である。図１１は、定型作業領域を求めるために用いる定型作業の複数の動線を太線化した状態の一例を示す図である。図１２および図１３は、それぞれ、抽出された領域が連続していることの一例を示す図である。図１４は、実施の形態に係る情報処理装置において定型作業領域を決定する動作を説明する図である。図９〜図１４を参照しながら、本実施の形態に係る情報処理装置３による定型作業領域の決定処理について説明する。

＜ステップＳ２１＞
第１取得部３０６は、映像受信部３０１により受信され、データ通信部３２１により受信され、または記憶部３０４に記憶された複数の映像データに対応するそれぞれの追跡結果情報を取得する。そして、ステップＳ２２へ移行する。

＜ステップＳ２２＞
軌跡出力部３１０は、第１取得部３０６により取得されたそれぞれの追跡結果情報に基づいて、追跡結果情報が示すポイント（追跡対象の座標）を時系列に結んで、動線を表示部３５３に表示させる。ここでは、第１取得部３０６は、３つの追跡結果情報を取得し、軌跡出力部３１０は、３つの追跡結果情報に基づいて、３つの動線を表示させたものとして説明する。ここで、図１０に、軌跡出力部３１０によりポイントが時系列に結ばれた３つの動線（動線８１１〜８１３）を示す。動線８１１〜８１３は、それぞれ、所定単位の目的を達成するための一連の作業である定型作業の動線を示している。そして、ステップＳ２３へ移行する。

＜ステップＳ２３＞
太線化部３２２は、軌跡出力部３１０により表示された動線を太線化する。ここで、図１１に、動線８１１〜８１３が、太線化部３２２によりそれぞれ太線化され、太線化動線８１１ａ〜８１３ａが得られた例を示す。なお、太線化部３２２がどれくらいの幅で動線を太線化するかについては、設定部３０３により設定可能であるものとしてもよい。そして、ステップＳ２４へ移行する。

＜ステップＳ２４＞
定型抽出部３２３は、太線化部３２２により太線化された動線が所定数α以上重なっている領域を抽出する。ここで、図１１に示す例では、所定数αは２であるものとし、定型抽出部３２３は、太線化動線８１１ａ〜８１３ａのうち、２以上が重なっている領域を抽出する。なお、所定数αについては、設定部３０３により設定可能であるものとしてもよい。そして、ステップＳ２５へ移行する。

＜ステップＳ２５＞
連続判定部３２４は、定型抽出部３２３によって抽出された領域が連続しているか否か判定する。ここで、抽出された領域が連続しているとは、例えば、図１２に示すように、領域が環状に構成されている、または、図１３に示すように、領域の両端が、表示部３５３に動線が表示された表示領域の各辺に位置している状態を示すものとする。連続判定部３２４による判定の結果、抽出された領域が連続している場合（ステップＳ２５：Ｙｅｓ）、ステップＳ２６へ移行し、連続していない場合（ステップＳ２５：Ｎｏ）、ステップＳ２７へ移行する。

＜ステップＳ２６＞
定型決定部３２５は、連続判定部３２４により連続していると判定された領域を定型作業領域に決定する。ここで、動線８１１〜８１３の例では、図１４に示すように、太線化動線８１１ａ〜８１３ａのうち２以上が重なっている領域が定型抽出部３２３により抽出され、定型決定部３２５は、抽出された領域を定型作業領域８２０として決定する。そして、定型作業領域の決定処理を終了する。

＜ステップＳ２７＞
管理部３５１は、所定数αを１だけデクリメントする。そして、ステップＳ２８へ移行する。

＜ステップＳ２８＞
管理部３５１は、所定数αが１でないか否かを判定する。α≠１の場合（ステップＳ２８：Ｙｅｓ）、ステップＳ２４へ戻り、定型抽出部３２３が抽出する領域の重なっている数を１減らした状態で、再度、重なっている領域を抽出する。α＝１の場合（ステップＳ２８：Ｎｏ）、ステップＳ２９へ移行する。

＜ステップＳ２９＞
定型決定部３２５は、α＝１の場合、複数の太線化動線で共通する領域として１だけ重なる領域を定型作業領域とするのは信頼性が低くなるものと判断し、定型作業領域を決定できないものとする。そして、定型作業領域の決定処理を終了する。

以上のステップＳ２１〜Ｓ２９の処理によって、定型作業領域の決定処理が行われる。すなわち、モデルとなる動線（図１０の例では、動線８１１〜８１３）を利用して、定型作業が行われる領域である定型作業領域を決定する。

（作業領域の決定処理）
図１５は、実施の形態に係る情報処理装置の作業領域の決定処理の流れの一例を示すフローチャートである。図１６は、停滞領域および突発的行動領域の一例を示す図である。図１７は、実施の形態に係る情報処理装置において作業領域を決定する動作を説明する図である。図１８は、実施の形態に係る情報処理装置において決定された作業領域および移動領域の一例を示す図である。図１５〜図１８を参照しながら、本実施の形態に係る情報処理装置３による作業領域の決定処理について説明する。

＜ステップＳ４１＞
第１取得部３０６は、映像受信部３０１により受信され、データ通信部３２１により受信され、または記憶部３０４に記憶された複数の映像データに対応するそれぞれの追跡結果情報を取得する。そして、ステップＳ４２へ移行する。

＜ステップＳ４２＞
停滞抽出部３２６は、第１取得部３０６により取得された追跡結果情報に基づく各動線に含まれる各座標を示すポイント群であって、追跡対象が停滞していると判断されるポイント群（停滞部分）を抽出する。ここでは、図１０と同様に、第１取得部３０６は、３つの追跡結果情報を取得し、停滞抽出部３２６が停滞部分を抽出する対象の動線を、動線８１１〜８１３として説明する。停滞抽出部３２６は、例えば、特定の追跡結果情報で示されるｎ番目のポイントと、（ｎ＋１）番目のポイントとの距離を算出し、予め設定された所定値未満であれば、（ｎ＋１）番目のポイントは停滞しているポイントと判断する。そして、停滞抽出部３２６は、引き続き、（ｎ＋２）番目のポイント、（ｎ＋３）番目のポイント、・・・について停滞しているポイントか否かを判断していき、（ｎ＋ｍ）番目のポイントと、（ｎ＋ｍ＋１）番目のポイントとの距離が所定値以上となった場合、（ｎ＋１）番目〜（ｎ＋ｍ）番目のｍ個のポイント群が停滞しているポイント群（停滞部分）と判断する。このようにして、停滞抽出部３２６により停滞部分が抽出された例を図１６に示す。動線８１１〜８１３については、停滞抽出部３２６によって、停滞領域８３１〜８３３に含まれるポイント群が停滞部分として抽出されたものとする。また、動線８１３のうち、突発的行動領域８３５は、本来の定型作業とは異なる作業者の突発的な行動を示している。そして、ステップＳ４３へ移行する。

＜ステップＳ４３＞
代表点特定部３２７は、複数の各動線において、停滞抽出部３２６により抽出された停滞部分を構成するポイントから代表のポイント（代表点）を特定する。具体的には、代表点特定部３２７は、図１６において、例えば、動線８１１を構成するポイントのうち、停滞領域８３１〜８３３にそれぞれ含まれる停滞しているポイント群の座標の平均値で定まる座標を代表点として特定する。すなわち、動線８１１では、停滞領域８３１〜８３３にそれぞれ含まれる停滞しているポイント群ごとに代表点が特定され、その結果、３つの代表点が特定される。動線８１２、８１３についても同様であり、動線８１１〜８１３全体では、９つの代表点が特定されることになる。そして、ステップＳ４４へ移行する。

＜ステップＳ４４＞
拡大部３２８は、代表点特定部３２７により特定された代表点に対応する距離（移動距離）を求める。例えば、上述した（ｎ＋１）番目のポイントに対応する距離を、ｎ番目のポイントと、（ｎ＋１）番目のポイントとの距離であるものとすると、（ｎ＋１）番目〜（ｎ＋ｍ）番目のｍ個のポイント群の代表点に対応する距離は、ポイント群を構成するポイントにそれぞれ対応する距離の平均値であるものとする。すなわち、（ｎ＋１）番目〜（ｎ＋ｍ）番目のポイントにそれぞれ対応する距離の平均値が、（ｎ＋１）番目〜（ｎ＋ｍ）番目のポイント群の代表点に対応する距離であるものとする。

そして、拡大部３２８は、代表点に対応する距離（移動距離）に応じて、代表点を中心に円を拡大する。例えば、拡大部３２８は、代表点に対応する距離が小さいほど、停滞具合も大きいものとして、円を大きく拡大させる。ここで、図１７に、停滞領域８３１〜８３３にそれぞれ対応する代表点を中心に円を拡大した状態を示す。動線８１１については、停滞領域８３１に対応する停滞部分の代表点を円に拡大したものが拡大領域８４１ａ、停滞領域８３２に対応する停滞部分の代表点を円に拡大したものが拡大領域８４１ｂ、そして、停滞領域８３３に対応する停滞部分の代表点を円に拡大したものが拡大領域８４１ｃである。動線８１２については、停滞領域８３１に対応する停滞部分の代表点を円に拡大したものが拡大領域８４２ａ、停滞領域８３２に対応する停滞部分の代表点を円に拡大したものが拡大領域８４２ｂ、そして、停滞領域８３３に対応する停滞部分の代表点を円に拡大したものが拡大領域８４２ｃである。動線８１３については、停滞領域８３３に対応する停滞部分の代表点を円に拡大したものが拡大領域８４３ａ、停滞領域８３２に対応する停滞部分の代表点を円に拡大したものが拡大領域８４３ｂ、そして、停滞領域８３３に対応する停滞部分の代表点を円に拡大したものが拡大領域８４３ｃである。なお、拡大部３２８が拡大する形状は円に限定されるものではなく、その他の形状に拡大するものとしてもよい。

そして、ステップＳ４５へ移行する。

＜ステップＳ４５＞
工程抽出部３２９は、拡大部３２８によって拡大された代表点が所定数以上重なっている領域を抽出する。ここで、図１７に示す例では、所定数は２であるものとし、工程抽出部３２９は、拡大領域が２以上重なっている領域を抽出する。具体的には、工程抽出部３２９は、停滞領域８３１に対応する拡大領域８４１ａ〜８４３ａのうち２以上重なっている領域である重なり領域８５０ａを抽出する。また、工程抽出部３２９は、停滞領域８３２に対応する拡大領域８４１ｂ〜８４３ｂのうち２以上重なっている領域である重なり領域８５０ｂを抽出する。そして、工程抽出部３２９は、停滞領域８３３に対応する拡大領域８４１ｃ〜８４３ｃのうち２以上重なっている領域である重なり領域８５０ｃを抽出する。なお、所定数については、設定部３０３により設定可能であるものとしてもよい。また、所定数は、停滞領域ごとに異なる数であってもよい。そして、ステップＳ４６へ移行する。

＜ステップＳ４６＞
工程決定部３３０は、工程抽出部３２９により抽出された領域（図１７の例では、重なり領域８５０ａ〜８５０ｃ）を矩形で囲むことにより、定型作業の中で作業者が停滞して作業を行う工程の領域（作業領域）として決定する。なお、工程抽出部３２９により抽出された領域を矩形で囲むことは必須の処理ではないが、矩形で囲んで作業領域を線分で囲まれた多角形の領域とすることによって、上述したように、領域判定部３４２により追跡対象が作業領域内に存在するか否かの判定処理のアルゴリズムを簡易に構成することができる。図１７に示す例では、工程決定部３３０は、重なり領域８５０ａ〜８５０ｃをそれぞれ矩形で囲むことにより、図１８に示すように、多角形状の作業領域８６０ａ〜８６０ｃを決定する。

さらに、移動決定部３３１は、定型決定部３２５により決定された定型作業領域から、工程決定部３３０により決定された作業領域と重なる領域を除いた領域を、作業領域間を移動する領域である移動領域に決定する。図１８に示す例では、移動決定部３３１は、定型決定部３２５で決定された定型作業領域８２０から、工程決定部３３０により決定された作業領域８６０ａ〜８６０ｃと重なる領域を除いた領域を、移動領域に決定する。すなわち、工程決定部３３０は、図１８において、移動領域８７１〜８７３をそれぞれ決定する。

また、移動決定部３３１は、決定した多角形上の移動領域において、各頂点の角度が所定の閾値未満、または所定の閾値以上である場合、すなわち、移動領域が示す作業者の移動方向の曲がりが大きい場合、当該頂点と、対向する頂点のうち最も近い頂点とを結ぶ。具体的には、図１８に示すように、移動決定部３３１は、移動領域８７１において、頂点８８１の角度が所定の閾値未満であると判断し、頂点８８１に対向する頂点のうち最も近い頂点とを結んで区切り線８７１ａを形成する。同様に、移動決定部３３１は、移動領域８７３において、頂点８８３の角度が所定の閾値未満であると判断し、頂点８８３に対向する頂点のうち最も近い頂点とを結んで区切り線８７３ａを形成する。このように、移動領域に区切り線を形成することによって、移動領域において作業者の移動方向の曲がり具合が大きい部分を示すことができる。曲がり具合が大きいということは、通常の工程間の移動中に何らかの変則的な行動が発生した可能性があり、区切り線を形成することによって、その変則的な行動が発生した可能性がある部分を示すことができ、定型作業の改善に寄与することができる。そして、作業領域の決定処理を終了する。

以上のステップＳ４１〜Ｓ４６の処理によって、作業領域の決定処理が行われる。すなわち、モデルとなる動線（図１０の例では、動線８１１〜８１３）を利用して、定型作業の中で作業者が停滞して作業を行う工程の領域である作業領域を決定する。

以上のように、取得した追跡対象の動線の情報（追跡結果情報）を利用し、動線を構成するポイントのうち停滞部分を抽出し、停滞部分を構成する特定のポイントを拡大し、その拡大領域が所定数以上重なった領域に基づいて作業領域を決定するものとしている。これによって、いったん動線を描画させて、その動線を見ながら手動で作業領域を設定する必要がなく、取得した動線から直接、作業領域を決定することができる。また、これによって、自動で作業領域を決定することができるので、定型作業の改善の迅速化に寄与することができる。

なお、図１５に示すフローチャートでは、代表点特定部３２７によって、停滞抽出部３２６により抽出された停滞部分を構成するポイントから代表点が特定され、拡大部３２８によって、代表点が拡大されて拡大領域を得るものとしているが、これに限定されるものではない。すなわち、停滞抽出部３２６により抽出された停滞部分を構成するポイントのすべてを拡大して、所定数以上重なっている領域を抽出して、その領域に基づいて作業領域を決定するものとしてもよい。

また、上述の図７および図８で示した追跡対象の追跡処理（追跡結果情報の生成）、図９および図１５等で示した定型作業領域および作業領域の決定処理、ならびに、第２取得部３４１により取得されたリアルタイムの映像データに対する領域判定部３４２、計測部３４３、時間判定部３４４および通知部３４５の機能に基づいた作業者の作業の異常判定処理は、情報処理装置３がすべて担うものとして説明したが、これに限定されるものではない。すなわち、これらの処理を、別々の装置で分散して処理するものとしてもよい。例えば、追跡対象の追跡処理は、情報処理装置３とは異なる装置で行い、情報処理装置３は、定型作業領域および作業領域の決定処理、および作業者の作業の異常判定処理を行うものとしてもよい。

なお、上述の実施の形態の設定部３０３、再生部３０５、第１取得部３０６、指定部３０７、登録部３０８、検出部３０９、軌跡出力部３１０、データ通信部３２１、太線化部３２２、定型抽出部３２３、連続判定部３２４、定型決定部３２５、停滞抽出部３２６、代表点特定部３２７、拡大部３２８、工程抽出部３２９、工程決定部３３０、移動決定部３３１、第２取得部３４１、領域判定部３４２、計測部３４３、時間判定部３４４、管理部３５１、および表示制御部３５２の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態の情報処理装置３で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態の情報処理装置３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態の情報処理装置３で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態の情報処理装置３で実行されるプログラムは、上述した各機能部の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述のＲＯＭからプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。

１ 画像処理システム
２、２ａ〜２ｄ 撮像装置
３ 情報処理装置
４ ハブ
１０ 外部機器
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ ディスプレイ
１０６ ネットワークＩ／Ｆ
１０７ キーボード
１０８ マウス
１０９ ＤＶＤドライブ
１１０ ＤＶＤ
１１１ 外部機器Ｉ／Ｆ
１１２ スピーカ
１１３ バス
３０１ 映像受信部
３０２ 入力部
３０３ 設定部
３０４ 記憶部
３０５ 再生部
３０６ 第１取得部
３０７ 指定部
３０８ 登録部
３０９ 検出部
３１０ 軌跡出力部
３２１ データ通信部
３２２ 太線化部
３２３ 定型抽出部
３２４ 連続判定部
３２５ 定型決定部
３２６ 停滞抽出部
３２７ 代表点特定部
３２８ 拡大部
３２９ 工程抽出部
３３０ 工程決定部
３３１ 移動決定部
３４１ 第２取得部
３４２ 領域判定部
３４３ 計測部
３４４ 時間判定部
３４５ 通知部
３５１ 管理部
３５２ 表示制御部
３５３ 表示部
４００ 追跡画面
４０１ 個別表示部
４０１ａ カメラ選択タブ
４０３ 映像操作ボタン部
４０４ シークバー
４０５ スライダ
４０６ 拡大縮小ボタン部
４０７ スパン変更ボタン部
４０８ 時刻表示部
４０９ 登録ボタン
４１０ 追跡開始ボタン
４１１ 追跡停止ボタン
５００ 作業者
５０１ 追跡対象
５５０ 指定領域
８００ 動線
８１１〜８１３ 動線
８１１ａ〜８１３ａ 太線化動線
８２０ 定型作業領域
８３１〜８３３ 停滞領域
８３５ 突発的行動領域
８４１ａ〜８４３ａ、８４１ｂ〜８４３ｂ、８４１ｃ〜８４３ｃ 拡大領域
８５０ａ〜８５０ｃ 重なり領域
８６０ａ〜８６０ｃ 作業領域
８７１〜８７３ 移動領域
８７１ａ、８７３ａ 区切り線
８８１、８８３ 頂点
１０００ 追跡結果データ

特開２０１６−０４２３０６号公報

Claims (11)

1. 所定単位の一連の作業である定型作業における追跡対象の位置情報を含む複数の追跡結果情報を取得する第１取得部と、
   前記第１取得部によって取得された前記複数の追跡結果情報の前記追跡対象の位置情報が示すポイントの移動距離に基づいて、停滞しているポイント群である停滞部分を抽出する第１抽出部と、
   前記各追跡結果情報に対応する前記停滞部分に基づく所定のポイントを拡大した拡大領域を得る拡大部と、
   前記拡大部により得られた複数の前記拡大領域のうち少なくともいずれかが重なる領域に基づいて作業領域を決定する第１決定部と、
   を備えた情報処理装置。
2. 前記第１抽出部により抽出された、前記各追跡結果情報に対応する前記停滞部分が含むポイントの位置に基づいて特定の位置のポイントである代表点を特定する特定部を、さらに備え、
   前記拡大部は、前記各停滞部分に対応する前記代表点を拡大した前記拡大領域を得る請求項１に記載の情報処理装置。
3. 前記拡大部は、前記各追跡結果情報に対応する前記停滞部分に含まれるポイントを拡大して前記拡大領域を得る請求項１に記載の情報処理装置。
4. 前記第１取得部により取得された前記複数の追跡結果情報それぞれにおいて、前記追跡対象の位置情報を示すポイントを結合して動線にする動線生成部と、
   前記動線を所定の幅に太線化する太線化部と、
   前記太線化部により太線化された前記動線が所定数以上重なっている領域を抽出する第２抽出部と、
   前記第２抽出部により抽出された領域が連続しているか否かを判定する第１判定部と、
   前記第１判定部により連続していると判定された領域を、前記定型作業が行われる領域である定型作業領域に決定する第２決定部と、
   をさらに備えた請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記第１判定部によって、前記第２抽出部により抽出された領域が連続していないと判定された場合、前記所定数を減じる変更部を、さらに備え、
   前記第２抽出部は、前記太線化部により太線化された前記動線が、前記変更部により減じられた前記所定数以上重なっている領域を抽出する請求項４に記載の情報処理装置。
6. 前記第２決定部により決定された前記定型作業領域から、前記第１決定部により決定された前記作業領域と重なる領域を除いた領域を、前記作業領域間を移動する領域である移動領域に決定する第３決定部を、さらに備えた請求項４または５に記載の情報処理装置。
7. 追跡対象が前記作業領域に存在するか否かを判定する第２判定部と、
   前記第２判定部により該追跡対象が前記作業領域に存在すると判定された場合、該作業領域に存在する時間としての作業時間を計測して、前記作業時間の最大値、最小値、および平均値のうち少なくともいずれか１つを算出する計測部と、
   を備えた請求項１〜６のいずれか一項に記載の情報処理装置。
8. 前記計測部により計測された前記作業時間が所定範囲内であるか否かを判定する第３判定部と、
   前記第３判定部によって前記作業時間が前記所定範囲内でないと判定された場合、その判定結果を通知する通知部と、
   をさらに備えた請求項７に記載の情報処理装置。
9. １以上の撮像装置と、
   請求項１〜８のいずれか一項に記載の情報処理装置と、
   を備え、
   前記情報処理装置は、
   前記１以上の撮像装置で撮像されたそれぞれの映像データからフレームを取得する第２取得部と、
   前記第２取得部により取得された前記フレームから、追跡対象を検出する検出部と、
   前記検出部による該追跡対象の検出結果から該追跡対象の位置情報を含む前記追跡結果情報を生成する生成部と、
   をさらに備えた情報処理システム。
10. 所定単位の一連の作業である定型作業における追跡対象の位置情報を含む複数の追跡結果情報を取得する取得ステップと、
    取得した前記複数の追跡結果情報の前記追跡対象の位置情報が示すポイントの移動距離に基づいて、停滞しているポイント群である停滞部分を抽出する抽出ステップと、
    前記各追跡結果情報に対応する前記停滞部分に基づく所定のポイントを拡大した拡大領域を得る拡大ステップと、
    複数の前記拡大領域のうち少なくともいずれかが重なる領域に基づいて作業領域を決定する決定ステップと、
    を有する情報処理方法。
11. 所定単位の一連の作業である定型作業における追跡対象の位置情報を含む複数の追跡結果情報を取得する取得処理と、
    取得した前記複数の追跡結果情報の前記追跡対象の位置情報が示すポイントの移動距離に基づいて、停滞しているポイント群である停滞部分を抽出する抽出処理と、
    前記各追跡結果情報に対応する前記停滞部分に基づく所定のポイントを拡大した拡大領域を得る拡大処理と、
    複数の前記拡大領域のうち少なくともいずれかが重なる領域に基づいて作業領域を決定する決定処理と、
    を実行させるためのプログラム。

Images