JP2016042306A - 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム - Google Patents

Abstract

【課題】
作業者の動作軌跡を描画することで、映像を再生することなく、作業手順等の作業者の動作を分析できるようにする。
【解決手段】
設定情報取得部３５２は、モニタ５００に表示させたフレームから、ユーザにより追跡対象領域が選択されると、当該領域を追跡対象情報として取得し、追跡対象情報記憶部３５４に記憶する。追跡対象追跡部３５３は、追跡対象情報記憶部３５４に記憶された追跡対象情報、及び所定の追跡手法により生成した確率分布画像に基づき、追跡対象物体を追跡し、追跡結果データを追跡結果データ記憶部３５６に記憶する。グラフ生成部３５９は、追跡結果データ記憶部３５６に記憶された追跡結果データのフレーム毎に色情報を関連付け、時間的に１つ前に位置するフレームの中心座標から、その次のフレームの中心座標に線を引く。この処理を追跡結果データが取得できなくなるまで、繰り返し実行する。
【選択図】図２

Description

本発明は、追跡対象物体を追跡し、その追跡結果を動作軌跡として描画する軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラムに関する。

従来から、工場等の製造現場における作業を分析するために、その作業を撮影装置により撮影し、その撮影された映像より、例えば、作業に要する時間を計測し、作業者の作業効率等を計算することが知られている。

特許文献１には、製造現場における作業を改善するための定量的評価を行うことを目的として、予め設定した複数の領域に作業者が存在（即ち、作業）している時間に関する情報を用いて、各領域に対応する作業工程の作業状況を示す作業効率情報を取得する作業分析装置が記載されている。

特許文献１に記載された作業分析装置では、各領域に対応する作業工程の作業時間を取得することはできるが、各領域において作業者がどのように動作（即ち、作業）していたかを分析するためには、改めて映像を再生して確認しなければならない。
即ち、例えば作業者の作業等を分析するためには、改めて映像を再生しなければならず、余分な作業時間が必要になる。

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、作業者の動作軌跡を描画することで、映像を再生することなく、作業者の作業等を分析できるようにすることである。

本発明は、追跡対象を撮影した映像のフレームを読み込むフレーム読込手段と、前記フレーム読込手段により読み込まれたフレームに、前記追跡対象に対する追跡対象領域を設定する追跡対象領域設定手段と、前記フレーム読込手段により読み込まれた複数のフレーム間において前記追跡対象領域を追跡する追跡手段と、前記追跡手段の追跡結果に基づき、前記追跡対象の動作軌跡を描画する描画手段と、前記描画手段により描画された動作軌跡を表示装置に表示させる表示制御手段と、を有する軌跡描画装置に関する。

本発明によれば、作業者の動作軌跡を描画することで、映像を再生することなく、作業者の作業等を分析することができる。

本発明の実施形態に係る軌跡描画装置の概略ブロック図である。 本発明の実施形態に係る軌跡描画装置の機能ブロック図である。 本発明の実施形態に係る軌跡描画装置により追跡対象物体を追跡し、追跡結果を記憶するまでの処理手順を示すフロー図である。 映像データ記憶部から取得されるフレームを示す図である。 追跡対象情報記憶部に記憶される追跡対象情報を示す図である。 フレームに追跡対象情報を重畳して表示させた図である。 動作領域情報記憶部に記憶される動作領域情報を示す図である。 フレームに動作領域情報を重畳して表示させた図である。 追跡結果データ記憶部に記憶される追跡結果データを示す図である。 追跡結果データ記憶部に記憶される、動作領域情報が関連付けられた追跡結果データを示す図である。 本発明の実施形態に係る軌跡描画装置により動作軌跡を描画する処理手順を示すフロー図である。 追跡対象物体に関する動作軌跡を示す図である。 フレームに色を割り当てるプログラムの一例を示す図である。 本発明の実施形態に係る軌跡描画装置により動作領域を描画する処理手順を示すフロー図である。 動作領域特定部により特定された動作領域の時間変化を示す図である。 本発明の実施形態に係る軌跡描画装置により描画した動作軌跡から映像を再生する処理手順を示すフロー図である。 フレームを特定する際に表示される時刻情報を示す図である。 追跡対象物体に関する動作軌跡及び動作領域を分割表示させた例を示す図である。 作業者の作業の分析例を示す図である。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の実施形態に係る軌跡描画装置の概略ブロック図である。
軌跡描画装置３００は、撮影装置１００、外部記憶装置２００、入力装置４００、表示装置５００及び外部接続機器６００と接続することで、軌跡描画システムを構成する。

撮影装置１００は、被写対象を撮影するための、例えば、ビデオカメラ、ＩＰ（Internet Protocol）カメラ、ｗｅｂカメラ等であり、軌跡描画装置３００にストリーミング映像を提供する。

撮影装置１００は、撮影時刻を管理する時刻管理部（不図示）と、撮影装置１００に固有なＩＤ（識別情報）を保持する固有ＩＤ部（不図示）とを備え、映像を撮影する際に、撮影時刻と固有ＩＤをメタ情報として映像データに関連付ける。
映像データは、装置間を接続するネットワークデバイスとして機能するハブ（ＨＵＢ）１３０を介して、撮影装置１００を軌跡描画装置３００に接続することで、軌跡描画装置３００内部の映像データ記憶部３５０（図２）に記憶される。
なお、撮影装置１００は、軌跡描画装置３００内部の映像データ記憶部３５０（図２）とは別の、外部の映像記憶手段としても機能し、撮影装置１００自体において撮影時の映像データを記憶することもできる。したがって、撮影装置１００に記憶した映像データを、軌跡描画装置３００に転送することもできる。
また、図１では、撮影装置として１００Ａ〜１００Ｄの４台を、軌跡描画装置３００に接続しているが、軌跡描画装置３００に接続される撮影装置１００の数は、これに限定されない。

外部記憶装置２００は、ハードディスク等の大容量記憶装置であり、撮影装置１００以外の撮影装置により撮影された映像データを記憶する。
また、撮影装置１００以外の撮影装置で撮影し、その撮影装置自体に映像データを記憶させる場合、その撮影装置を外部記憶装置２００とすることもできる。この場合、その撮影装置のメモリカードをメモリスロット３２０（図２）に挿入することで、またＵＳＢ（Universal Serial Bus）ケーブルをＵＳＢ等接続インタフェース（Ｉ／Ｆ）３３０（図２）に接続することで、映像データを転送することができる。

軌跡描画装置３００は、ユーザにより設定された追跡対象情報（即ち、追跡対象とする物体に関する情報）に基づき、追跡対象物体を追跡し、その追跡結果から追跡対象物体の動作軌跡を描画する。
また、軌跡描画装置３００は、追跡結果から、追跡対象物体の動作領域の特定及び移動量の計算も付属的に実行する。
なお、軌跡描画装置３００は、ＬＡＮ（Local Area Network）やインターネット等のネットワークに接続することもできる。また、軌跡描画装置３００には、軌跡の描画等を実行する上で必要なソフトウェアがインストールされている。

入力装置４００は、例えば、キーボード、マウス等であり、ユーザが軌跡描画装置３００に対して種々の操作を行うための装置である。
表示装置（以下、モニタという）５００は、例えば、液晶表示装置等である。モニタ５００は、現在、軌跡描画装置３００に接続されている撮影装置１００により撮影されている映像、及び／又は軌跡描画装置３００内の映像データ記憶部３５０（図２）に記憶されている映像、追跡対象物体の動作軌跡及び動作領域を重畳させた映像、並びに軌跡描画装置３００にインストールされたソフトウェアの操作画面等を表示する。

外部接続機器６００は、例えば、ＰＣ（Personal Computer）、タブレット、スマートフォン等である。
また、外部接続機器６００は、ＬＡＮケーブル等の有線、又は、Ｗｉ−Ｆｉ（Wireless Fidelity）等の無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線で、軌跡描画装置３００に接続される。
なお、外部接続機器６００のディスプレイ、又はスクリーンの表示仕様は、モニタ５００の表示仕様と同様である。

図２は、本発明の実施形態に係る軌跡描画装置３００の機能ブロック図である。
軌跡描画装置３００は、映像データ等の入出力機能として、外部映像入力部３１０、メモリスロット３２０、ＵＳＢ等接続インタフェース３３０、ユーザインタフェース３４０、外部映像出力部３７０、ＬＡＮポート３８０、無線インタフェース３９０を備え、また軌跡描画機能として、軌跡描画装置３００内部に、映像データ記憶部３５０、時刻管理部３５１、設定情報取得部３５２、追跡対象追跡部３５３、追跡対象情報記憶部３５４、動作領域情報記憶部３５５、追跡結果データ記憶部３５６、動作領域特定部３５７、移動量計算部３５８、グラフ生成部３５９、表示制御部３６０を備える。
なお、以上の各部のうち、時刻管理部３５１、設定情報取得部３５２、追跡対象追跡部３５３、動作領域特定部３５７、移動量計算部３５８、グラフ生成部３５９は、軌跡描画装置３００のコンピュータにプログラムを読み取らせることにより生成される機能実現手段である。

外部映像入力部３１０は、軌跡描画装置３００と撮影装置１００とを接続するためのインタフェースである。
メモリスロット３２０は、撮影装置１００以外の撮影装置により撮影された映像データを記憶したメモリカードを挿入し、映像データを転送するためのスロットである。

ＵＳＢ等接続インタフェース３３０は、キーボード、マウス等の入力装置４００をＵＳＢケーブルで接続するためのインタフェースであり、ユーザによる軌跡描画装置３００の操作を可能にする。また、ユーザは、ＵＳＢ等接続インタフェース３３０に、外部記憶装置２００をＵＳＢケーブルで接続することにより、外部記憶装置２００に記憶された映像データを軌跡描画装置３００に転送することができる。
ユーザインタフェース３４０は、軌跡描画装置３００の電源操作、動作軌跡に関する表示制御等、ユーザが軌跡描画装置３００に対して直接、操作するためのインタフェースである。

映像データ記憶部３５０は、軌跡描画装置３００内部の映像記憶手段であり、撮影装置１００で撮影され、外部映像入力部３１０より入力された映像データをフレーム単位で記憶する。
また、映像データ記憶部３５０は、外部記憶装置２００よりメモリスロット３２０、又はＵＳＢ等接続インタフェース３３０を介して転送される映像データも、同様にフレーム単位で記憶する。
なお、映像データ記憶部３５０は、複数の撮影装置１００（１００Ａ〜１００Ｄ）で撮影された映像を記憶する場合、撮影時刻等の時刻で時間的に同期させた上で、映像データを記憶する。

時刻管理部３５１は、軌跡描画装置３００内の時刻を管理し、撮影装置１００で撮影され、軌跡描画装置３００に記憶される映像データに関連付ける時刻情報、また映像データを同期させるときに用いられる時刻情報を管理する。
なお、データ通信上の遅延等により、軌跡描画装置３００内の時刻管理部３５１で管理される時刻で映像データの同期を上手く取ることができない場合には、撮影装置１００に備えられた時刻管理部において管理され、映像データに関連付けられた時刻より映像データの同期を取ることもできる。

設定情報取得部３５２は、動作軌跡を描画する上で必要な情報（条件）を取得する。
例えば、追跡対象として選択された物体の領域（以下、追跡対象領域）、また、その追跡対象とする物体の動作が予定される領域（以下、動作領域）等を、設定情報取得部３５２は設定情報として取得する。

追跡対象追跡部３５３は、設定情報取得部３５２において設定された追跡対象情報（即ち、追跡対象として設定する物体の領域）に基づき、追跡対象物体を追跡する。
なお、本実施形態においては、追跡手法としてＣａｍＳｈｉｆｔ法を用いる。
ＣａｍＳｈｉｆｔ法は、（i）追跡対象を領域として選択し、(ii）追跡対象領域における色相値のヒストグラムを作成し、（iii）確率分布画像を生成し、(iｖ）追跡対象領域における重心を計算し、さらに（ｖ）追跡対象領域を更新することで、追跡対象物体を追跡する。
また、追跡手法としては、必ずしもＣａｍＳｈｉｆｔ法には限定されず、例えば、テンプレートマッチング法、動きベクトルによる検出方法等を用いてもよい。

追跡対象情報記憶部３５４は、設定情報取得部３５２において設定された追跡対象情報を記憶する。
具体的には、ユーザにより設定された追跡対象領域の中心座標、中心座標における画素値、大きさ等を追跡対象情報として記憶する。
なお、ユーザは、１つの映像データに対して、追跡対象領域を複数選択することもできる。この場合、追跡対象情報記憶部３５４には、複数の追跡対象領域に関するデータが関連付けて記憶される。

動作領域情報記憶部３５５は、設定情報取得部３５２において設定された動作領域情報を記憶する。
即ち、動作領域情報記憶部３５５は、ユーザにより選択された動作領域を記憶する。ユーザは、動作領域として、四角形（長方形）、円、楕円、歪多角形等で動作領域を選択することができる。
追跡結果データ記憶部３５６は、追跡対象追跡部３５３における追跡結果を、追跡結果データとして記憶する。

動作領域特定部３５７は、動作領域情報記憶部３５５に記憶されている動作領域情報、及び追跡結果データ記憶部３５６に記憶されている追跡結果データに基づき、追跡対象物体（即ち、追跡対象領域の中心座標）がどの動作領域に属しているか特定する。
領域の特定については、所定の内外判定方法を用いる。例えば、追跡対象領域の中心座標が動作領域を構成する各辺の全てから内側方向に位置しているものと判定されると、追跡結果はその領域内に位置するものとして特定される。
なお、動作領域特定部３５７は、動作領域を特定すると、特定した動作領域をフレームに関連付けて、追跡結果データ記憶部３５６に記憶する。

移動量計算部３５８は、追跡対象物体の移動量（より具体的には、追跡対象領域の中心座標の移動量）を計算する。
追跡対象領域の中心座標は、後述の図９に示すように、直交座標系で示されることから、移動量計算部３５８は、以下のように、移動量を計算する。

上式において、「ｄ」は移動量、また「ｉ」はフレーム番号を示している。
移動量計算部３５８は、フレーム番号０からフレーム番号ｎまで順々に中心座標を読み込み、上式に従って、移動量を計算する。
なお、移動量計算部３５８は、複数の撮影装置１００により撮影し、同期して記憶した映像を用いることで、より正確な移動量を計算することができる。即ち、例えば、奥行き方向（ｚ軸方向）を撮影した映像を別に用いることで、奥行き方向の移動量も計算することができる。

グラフ生成部３５９は、本発明の描画手段に対応し、追跡結果データ記憶部３５６に記憶されている追跡結果データに基づき、グラフを生成する。
具体的には、グラフ生成部３５９は、例えば、追跡結果データにフレーム単位で色情報を関連付け、追跡対象物体の動作軌跡及び動作領域等をグラフ化する。

表示制御部３６０は、例えば、グラフ生成部３５９により生成されたグラフ（追跡対象物体の動作軌跡、動作領域）等をモニタ５００、又は外部接続機器６００の表示領域に表示させる。
また、表示制御部３６０は、複数の撮影装置１００Ａ〜１００Ｄで撮影された複数の映像を一つの表示画面を分割してそれぞれ表示させることができる。この場合、複数の撮影装置１００Ａ〜１００Ｄにより同時刻において撮影された複数の映像（具体的には、映像データ記憶部３５０において同期させて記憶した映像）を、一つの表示画面に分割して表示し、それらの映像を表示画面上で一画面に結合して表示させることもできる。これにより、追跡対象物体の動作範囲が広範囲に及ぶ場合であっても、画質を落とすことなく、追跡対象物体を正確かつ容易に追跡することができる。
なお、表示対象とする映像の数が表示画面において分割表示可能な数の上限を上回る場合、表示制御部３６０は、スクロール機能を用いて、全ての映像を表示させることもできる。

また、表示制御部３６０は、異なる撮影時刻、また異なる撮影装置（１００Ａ〜１００Ｄ）で撮影された複数の映像を、その映像の数に応じて、モニタ５００、又は外部接続機器６００の表示領域に、表示画面を分割して表示することもできる。
例えば、異なる作業者が実施した同一の作業を撮影した映像が複数、映像データ記憶部３５０に記憶されている場合、それらの映像に関して、表示画面を分割して表示させることもできる。これにより、作業者間における作業を、同時に比較することができる。

外部映像出力部３７０は、軌跡描画装置３００と表示装置５００とを接続するためのインタフェースである。
ＬＡＮポート３８０は、軌跡描画装置３００と外部接続機器６００とをＬＡＮケーブル等の有線通信手段により接続するためのインタフェースである。
無線インタフェース３９０は、軌跡描画装置３００と外部接続機器６００とをＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信手段により接続するためのインタフェースである。

図３は、本発明の実施形態に係る軌跡描画装置３００により追跡対象物体を追跡し、追跡結果を記憶するまでの処理手順を説明するためのフロー図である。
表示制御部３６０は、映像データ記憶部３５０より時間的に最初に位置するフレームを読み込む（Ｓ１０１）。
表示制御部３６０は、読み込んだフレームをモニタ５００、又は外部接続機器６００の表示領域に表示させる（Ｓ１０２）。
なお、ステップＳ１０１において、表示制御部３６０により読み込まれるフレームは、映像データの時間的に最初に位置するフレームとする必要はなく、ユーザにより設定された時刻におけるフレームとすることもできる。
また、ステップＳ１０２において、表示制御部３６０により表示させるフレームについては、後述の図４を用いて例示する。

そして、モニタ５００等に表示させたフレームから、ユーザにより追跡対象とする物体が領域（即ち、追跡対象領域）として選択されると、設定情報取得部３５２は、当該領域を追跡対象情報として取得する（Ｓ１０３）。
設定情報取得部３５２は、取得した追跡対象情報を追跡対象情報記憶部３５４に記憶する（Ｓ１０４）。
表示制御部３６０は、ステップＳ１０２において表示させたフレームに、追跡対象領域を重畳して表示させ、ユーザに確認を促す（Ｓ１０５）。
なお、ステップＳ１０４において、追跡対象情報記憶部３５４に記憶される追跡対象情報は図５に、また、ステップＳ１０５において、モニタ５００等に表示させる追跡対象領域を重畳させたフレームは図６に例示する。

追跡対象領域を確認した結果として、ユーザにより追跡対象領域の変更（即ち、修正）が選択され（Ｓ１０５ 「変更」）、追跡対象領域が変更されると、設定情報取得部３５２は、当該領域を追跡対象情報として取得し（Ｓ１０３）、追跡対象情報記憶部３５４に記憶する（Ｓ１０４）。
表示制御部３６０は、ステップＳ１０２において表示させたフレームに、変更された追跡対象領域を重畳して表示させ、再度、ユーザに確認を促す（Ｓ１０５）。
このように、軌跡描画装置３００は、ユーザにより追跡対象情報（即ち、追跡対象領域）が確定されるまで（Ｓ１０５ 「確定」）、ステップＳ１０３からＳ１０５までの処理を繰り返し実行する。

追跡対象情報が確定された後に（Ｓ１０５ 「確定」）、ユーザにより動作領域が選択されると、設定情報取得部３５２は、当該動作領域を動作領域情報として取得する（Ｓ１０６）。
設定情報取得部３５２は、取得した動作領域情報を動作領域情報記憶部３５５に記憶する（Ｓ１０７）。
表示制御部３６０は、ステップ１０２において表示させたフレームに、選択された動作領域を重畳して表示させ、ユーザに確認を促す（Ｓ１０８）。
なお、ステップＳ１０７において、動作領域情報記憶部３５５に記憶される動作領域情報は図７に、また、ステップＳ１０８において、モニタ５００等に表示させる動作領域を重畳させたフレームは図８に例示する。

動作領域を確認した結果として、ユーザにより領域の変更（即ち、修正）が選択され（Ｓ１０８ 「変更」）、ユーザにより動作領域が変更されると、設定情報取得部３５２は、当該領域を動作領域情報として取得し（Ｓ１０６）、動作領域情報記憶部３５５に記憶する（Ｓ１０７）。
表示制御部３６０は、ステップＳ１０２において表示させたフレームに、変更された動作領域を重畳して表示させ、再度、ユーザに確認を促す（Ｓ１０８）。
このように、軌跡描画装置３００は、ユーザにより動作領域が確定されるまで（Ｓ１０８ 「確定」）、ステップＳ１０６からＳ１０８までの処理を繰り返し実行する。

追跡対象情報及び動作領域情報が確定された後に（Ｓ１０５ 「確定」、Ｓ１０８ 「確定」）、ユーザから追跡開始指示を受けると（Ｓ１０９ Ｙｅｓ）、追跡対象追跡部３５３は、追跡に関連する処理（Ｓ１１０〜Ｓ１１６）を開始する。
即ち、追跡対象追跡部３５３は、フレームをカウントアップし（Ｓ１１０）、ステップＳ１０１において読み込んだフレームの次に位置するフレームを読み込むことができるか否かを判定する（Ｓ１１１）。

そして、映像データ記憶部３５０に読み込み可能なフレームが記憶されていると判定すると（Ｓ１１１ Ｙｅｓ）、追跡対象追跡部３５３は、フレームを読み込む（Ｓ１１２）。
追跡対象追跡部３５３は、追跡対象情報記憶部３５４に記憶された追跡対象情報、及びＣａｍＳｈｉｆｔ法により生成した確率分布画像に基づき、追跡対象物体を追跡する（Ｓ１１３）。

追跡対象追跡部３５３は、ステップＳ１１３の追跡処理を完了すると、追跡結果データを追跡結果データ記憶部３５６に記憶する（Ｓ１１４）。
動作領域特定部３５７は、追跡結果データが追跡結果データ記憶部３５６に記憶されると、動作領域情報記憶部３５５に記憶された動作領域情報に基づき、追跡対象物体がどの動作領域内にあるか特定する（Ｓ１１５）。
動作領域特定部３５７は、特定した動作領域を、動作領域情報として、追跡結果データに関連付けて追跡結果データ記憶部３５６に記憶する（Ｓ１１６）。
なお、ステップＳ１１４において、追跡結果データ記憶部３５６に記憶される追跡結果データは図９に、また、ステップＳ１１６において、追跡結果データ記憶部３５６において追跡結果データに関連付けて記憶される領域データは図１０に例示する。

軌跡描画装置３００は、ステップＳ１１６の処理を完了すると、フレームをカウントアップさせ、再度、ステップＳ１１１からＳ１１６までの処理を実行する。
これらのステップＳ１１１からＳ１１６までの処理は、ステップＳ１１１において映像データ記憶部３５０からフレームを読み込むことができなくなるまで（Ｓ１１１ Ｎｏ）、繰り返し実行される。

なお、図３のフロー図では、動作領域情報が動作領域情報記憶部３５５に記憶されることを前提に（Ｓ１０７）、追跡処理が開始される手順になっているが、動作領域の選択（Ｓ１０６）及び動作領域情報の記憶（Ｓ１０７）は、追跡処理（具体的には、ステップＳ１１３及びＳ１１４における処理）が終了した後に実行してもよい。
即ち、動作領域の特定（Ｓ１１５）は、追跡処理（Ｓ１１３、Ｓ１１４）が終了した後でも実行することができる。

図４は、表示制御部３６０により、映像データ記憶部３５０から取得されるフレームを示す図である。
図４では、一例として、工場における作業者を撮影した映像から取得されるフレームを示している。
ユーザは、入力装置４００を用いて、表示されたフレームより追跡対象物体（ここでは、作業者）を所定の領域として選択する。
なお、本実施形態では、追跡対象領域を楕円形状として説明するが、追跡対象領域としては、四角形、円、歪多角形等で選択することもできる。

設定情報取得部３５２は、ユーザにより追跡対象領域が選択されると、当該領域を追跡対象情報として取得し、追跡対象情報記憶部３５４に記憶する。
図５は、追跡対象情報記憶部３５４に記憶される追跡対象情報を示す図である。
図５に示すように、設定情報取得部３５２は、ユーザが入力装置４００を用いて選択した追跡対象領域より中心座標、大きさ、色に関するデータを取得し、追跡対象情報として追跡対象情報記憶部３５４に記憶する。

表示制御部３６０は、追跡対象情報記憶部３５４に記憶された追跡対象情報に基づき、映像データ記憶部３５０から取得されるフレームに、追跡対象領域を重畳して表示させる。
図６は、表示制御部３６０により、フレームに追跡対象領域を重畳して表示させた図である。
本実施形態では、図６に示すように、作業者を追跡対象物体として、追跡対象領域を楕円形状で選択（設定）している。
追跡対象領域はモニタ５００等に表示されることから、ユーザは容易に追跡対象領域を確認することができる。ユーザは、追跡対象領域を確認した後、追跡対象領域を再度、変更することもできる。

次に、ユーザは、図４に示すフレームにおいて、動作領域（以下、作業領域ともいう）を選択することができる。
動作領域については、追跡対象領域と同様に、円、楕円、四角形、歪多角形等で選択することができる。
本実施形態では、動作領域として３つの領域を、四角形で選択して説明する。

設定情報取得部３５２は、ユーザにより動作領域が選択されると、当該領域を動作領域情報として取得し、動作領域情報記憶部３５５に記憶する。
図７は、動作領域情報記憶部３５５に記憶される動作領域情報を示す図である。
図７に示すように、設定情報取得部３５２は、ユーザが入力装置４００を用いて選択した領域より領域の形状、頂点座標（ｖ１、ｖ２、ｖ３、ｖ４）に関するデータを取得し、動作領域情報として動作領域情報記憶部３５５に記憶する。
なお、設定情報取得部３５２は、１つ領域が確定された時点で、動作領域に番号（ＩＤ）を割り当て、領域毎に動作領域情報記憶部３５５に記憶する。
また、動作領域情報記憶部３５５に記憶されるデータ構成は、ユーザにより設定される動作領域の形状に依存する。例えば、ユーザが動作領域を円状に選択すると、動作領域情報記憶部３５５には、円の中心座標、また円の半径が記憶されることになる。

表示制御部３６０は、動作領域情報記憶部３５５に記憶された動作領域情報に基づき、映像データ記憶部３５０から取得されるフレームに、動作領域を重畳して表示させる。
図８は、表示制御部３６０により、フレームに動作領域を重畳して表示させた図である。
本実施形態では、図８に示すように、動作領域１、２、及び３を四角形で選択（設定）している。
動作領域はモニタ５００等に表示されることから、ユーザは容易に動作領域を確認することができる。また、ユーザは、動作領域を確認した後、動作領域を再度、変更することもできる。

追跡対象追跡部３５３は、追跡対象情報が追跡対象情報記憶部３５４に記憶されていることを前提に、ユーザから追跡開始の指示を受けると、追跡を開始し、追跡結果を追跡結果データ記憶部３５６に記憶する。
図９は、追跡結果データ記憶部３５６に記憶される追跡結果データを示す図である。
追跡結果データは、図９に示すように、フレーム番号、時間、追跡対象領域の中心座標により構成される。

動作領域特定部３５７は、追跡結果が追跡結果データ記憶部３５６に記憶されると、作業者がどの動作領域内で作業しているかを特定する。そして、動作領域特定部３５７は、特定した動作領域を、動作領域情報として追跡結果データに関連付けて記憶する。
図１０は、追跡結果データ記憶部３５６に記憶される、動作領域情報が関連付けられた追跡結果データを示す図である。
図１０に示すように、動作領域に関するデータが、追跡結果データに関連付けられる。

図１１は、本発明の実施形態に係る軌跡描画装置３００により動作軌跡を描画する処理手順を説明するためのフロー図である。
グラフ生成部３５９は、追跡結果データ記憶部３５６に取得可能な追跡結果データがあるか否かを判定する（Ｓ２０１）。
追跡結果データがあると判定すると（Ｓ２０１ Ｙｅｓ）、グラフ生成部３５９は、追跡結果データを取得する（Ｓ２０２）。

グラフ生成部３５９は、取得した追跡結果データのフレーム毎に、色情報（例えば、ＲＧＢ値等）を関連付ける（Ｓ２０３）。
グラフ生成部３５９は、関連付けた色情報により、時間的に１つ前に位置するフレームの追跡結果データの中心座標から、ステップ２０２において取得した追跡結果データの中心座標に線を引く（Ｓ２０４）。
グラフ生成部３５９は、ステップＳ２０１からＳ２０４までの処理が終了すると、フレームをカウントアップし（Ｓ２０５）、再度、ステップＳ２０１からＳ２０５までの処理を実行する。

グラフ生成部３５９は、以上のステップＳ２０１からＳ２０５までの処理を、ステップＳ２０１において追跡結果データが取得できなくなるまで（Ｓ２０１ Ｎｏ）、繰り返し実行する。
そして、ステップＳ２０１において追跡結果データが取得できなくなると、グラフ生成部３５９は、ステップＳ２０２において取得した追跡結果データの中心座標、及び追跡対象領域の大きさに基づき、フレーム上に楕円を描図する（Ｓ２０６）。

図１２は、追跡対象物体に関する動作軌跡を示す図である。
図１２に示すように、フレーム毎に、所定の色（ＲＧＢ値）が割り当てられ（関連付けられ）、グラフ生成部３５９により動作軌跡が描図される。
図中において、「円（○）」は赤色（Ｒ）、「四角形（□）」は緑色（Ｇ）、「三角形（△）」は青色（Ｂ）を示しており、「円（赤色）」から「四角形（緑色）」に変化させるまでの、「十角形」、「九角形」、「八角形」、「七角形」、「六角形」、「五角形」は、赤色から緑色に変化させるまでの中間の色を示している。例えば、「十角形」では朱色、「九角形」では橙色、「八角形」では茶色、「七角形」では黄土色、「六角形」では黄色、「五角形」では黄緑色等を示している。また、「□（緑色）」から「△（青色）」に変化させる場合も、同様に中間色（例えば、青緑色、水色等）を経由させる。

グラフ生成部３５９は、フレーム番号０を「円（赤色）」、フレーム番号１を「十角形（朱色）」、フレーム番号２を「九角形（橙色）」と順々に割り当て、追跡結果データの中心座標から、次の追跡結果データの中心座標に動作軌跡を描図する。
そして、追跡結果データ記憶部３５６に記憶されている追跡結果データを最後まで取得すると、追跡対象情報の中心座標、及び大きさに基づき、追跡対象領域を楕円で描図する。

なお、図１２では、説明の便宜上、フレームに割り当てる色を約２０種類に設定しているが、グラフ生成部３５９は、フレームの数（即ち、映像データの容量）に応じて、フレームに割り当てる色の種類の数を調整した上で、フレームに色を割り当てる。
即ち、グラフ生成部３５９は、フレームの数と、フレームに割り当てる色の種類の数を同程度に調整した上で、フレームに色を割り当てる。

図１３は、フレームに色を割り当てるプログラムの一例を示す図である。
図１３に示すプログラムでは、２５５×６種類の色を、追跡結果データ記憶部３５６に記憶される追跡結果データ（即ち、フレーム）に順々に割り当てている。

図１３に示すプログラムにおいて、変数「ｒ」は「赤色」、変数「ｇ」は「緑色」、変数「ｂ」は「青色」、また変数「ｎｕｍ」は「フレーム番号を２５５×６で除算したときの余り」を示しており、グラフ生成部３５９は、その余りの大きさにより分岐させ、割り当てる色を決定している。
また、図１３のプログラムでは、フレーム番号の小さい方から昇順に、割り当てる色を赤色から緑色、緑色から青色、さらに青色から赤色に変移させている。
グラフ生成部３５９は、フレーム番号を除算するときの割る数、また分岐の数を変更することで、色の割り当て方を調整する。
なお、フレームに割り当てる色の種類として、２４ビットカラーの場合には最大で２５６×２５６×２５６種類、また３２ビットカラーの場合には最大で２５６×２５６×２５６×２５６種類を予定することができる。
また、フレームに割り当てる色は本発明のフレーム特定情報に対応しており、フレーム特定情報には、図９に示す時間（即ち、撮影時刻）を用いることもできる。この場合、動作軌跡上に撮影時刻が描画される。

図１４は、本発明の実施形態に係る軌跡描画装置３００により動作領域を描画する処理手順を説明するためのフロー図である。
グラフ生成部３５９は、追跡結果データ記憶部３５６に取得可能な、動作領域が関連付けられた追跡結果データがあるか否かを判定する（Ｓ３０１）。
追跡結果データがあると判定すると（Ｓ３０１ Ｙｅｓ）、グラフ生成部３５９は、動作領域情報が関連付けられた追跡結果データを取得する（Ｓ３０２）。

グラフ生成部３５９は、取得した追跡結果データのフレーム毎に、色情報を関連付ける（Ｓ３０３）。
グラフ生成部３５９は、関連付けた色情報により、グラフ上の該当する動作領域に描図する（Ｓ３０４）。
グラフ生成部３５９は、ステップ３０１からＳ３０４までの処理が終了すると、フレームをカウントアップし（Ｓ３０５）、再度、ステップＳ３０１から処理を実行する。

グラフ生成部３５９は、以上のステップＳ３０１からＳ３０５までの処理を、ステップＳ３０１において、動作領域情報が関連付けられた追跡結果データが取得できなくなるまで（Ｓ３０１ Ｎｏ）、繰り返し実行する。
そして、ステップＳ３０１において、動作領域情報が関連付けられた追跡結果データが取得できなくなると、グラフ生成部３５９は、動作領域を描図する処理を終了する。

図１５は、動作領域特定部３５７により特定された動作領域の時間変化を示す図である。
図１５に示すように、縦方向に動作領域、横方向に時間が設定され、グラフ生成部３５９は、フレーム毎に割り当てた所定の色で、特定された動作領域に描図していく。
なお、色の割り当て方は、図１２と同様に実行される。

図１０を参照すると、フレーム番号０から１まで、即ち、０秒から３０秒までは動作領域１内で作業者が作業を行っていることから、グラフ生成部３５９は、フレーム番号０に「円（赤色）」を割り当て、動作領域１に描図する。次に、フレーム番号１から２まで、即ち、３０秒から６０までは動作領域２内で作業者が作業を行っていることから、グラフ生成部３５９は、フレーム番号１に「十角形（朱色）」を割り当て、動作領域２に描図する。
このように、図１４に示すフローの処理手順に従って、グラフ生成部３５９は、動作領域特定部３５７により特定された動作領域を、描図していく。
また、ユーザは、図１５において描図された動作領域から所定の位置を選択すると、選択された位置から映像を再生することができる。この処理については、図１８を用いて後述する。

図１６は、本発明の実施形態に係る軌跡描画装置３００により描画した動作軌跡から映像を再生する処理手順を説明するためのフロー図である。
ユーザは、図１２に示す動作軌跡の所定の位置を選択することで、その時点からの映像を確認することができる。

ユーザが、入力装置４００により、モニタ５００に表示された動作軌跡の所定の位置を選択すると（Ｓ４０１）、軌跡描画装置３００は、図１６に示す処理を開始する。
設定情報取得部３５２は、ユーザにより選択された位置に関する座標情報を取得する（Ｓ４０２）。

表示制御部３６０は、追跡結果データ記憶部３５６に記憶される追跡結果データから、設定情報取得部３５２により取得された座標情報に基づき、モニタ５００に表示させるフレームを取得する（Ｓ４０３）。
但し、図１２において示される動作軌跡が、所定の位置において交差する場合があり（即ち、同じ中心座標を有するフレーム（データレコード）が複数、存在する場合があり）、その場合、表示制御部３６０はフレームを特定することができない。

そこで、表示制御部３６０は、フレームを特定することができるか否か（即ち、ステップＳ４０３において取得されたフレームの数が単数であるか否か）を判定する（Ｓ４０４）。
表示制御部３６０は、ステップＳ４０４においてフレームを特定することができない（即ち、ステップＳ４０３において取得されたフレームの数が複数である）と判定すると（Ｓ４０４ Ｎｏ）、各フレームの時間情報をモニタ５００に表示させる（Ｓ４０５）（図１７）。

そして、ユーザによりフレームの時間情報に基づき、フレームが選択されると（Ｓ４０６）、表示制御部３６０は、選択（特定）されたフレームをモニタ５００に表示させる（Ｓ４０７）。
また、表示制御部３６０は、ステップＳ４０４においてフレームを特定することが可能である（即ち、ステップＳ４０３において取得されたフレームの数が単数である）と判定した場合も（Ｓ４０４ Ｙｅｓ）、同様に、特定されたフレームをモニタ５００に表示させる（Ｓ４０７）。
なお、本実施形態においては、ステップＳ４０４において表示制御部３６０がフレームを特定することができない場合（Ｓ４０４ Ｎｏ）、表示制御部３６０は各フレームの時間情報を表示することとしているが（Ｓ４０５）、表示仕様は必ずしもこれに限定されず、例えば、フレーム番号を表示してもよく、また、（図１６のフロー図には図示していないが）選択対象とするフレームの全てを読み込み、そのフレームの数に応じて表示画面を分割してフレームを一時的に表示させてもよい。

表示制御部３６０は、特定されたフレームをモニタ５００に表示させた後において、ユーザにより再生指示を受けると（Ｓ４０８ Ｙｅｓ）、映像データを再生する（Ｓ４０９）。
なお、ステップＳ４０１においてユーザにより選択された位置が図９に示される追跡結果データのいずれの中心座標とも適合しない場合、表示制御部３６０は、ステップＳ４０７において、中心座標がユーザにより選択された位置から最も近くに位置するフレームを選択し、表示させる。

図１７は、フレームを特定する際に表示される時刻情報を示す図である。
図１７に示すように、ユーザにより選択された位置（ｘ=４５、ｙ＝４０）は、図９に示される追跡結果データより、フレーム番号７及び１０の２つのフレームと適合する。
そこで、表示制御部３６０は、図１７に示すように、時間情報をモニタ５００に表示させ、ユーザに映像再生の開始時点の選択を促す。

図１８は、追跡対象物体に関する動作軌跡及び動作領域を分割表示させた例である。
図１８では、撮影装置１００Ｂ（Ｃａｍｅｒａ：２）で撮影された映像に作業者の動作軌跡を重畳させた映像と、動作領域の時間変化を示すグラフを分割表示させている。

動作軌跡を重畳させた映像と、動作領域の時間変化を示すグラフは、時間的に同期させることが可能であり、その場合、軌跡上の所定の位置を選択することで、その選択した位置における動作領域を、動作領域の時間変化を示すグラフで確認することができる。
また、逆に、動作領域の時間変化を示すグラフから、所定の位置を選択することで、その選択した位置における動作軌跡を、動作規制を重畳させた映像より確認することができる。

例えば、作業工程上、動作領域３に進入することが予定されない場合、管理者は、動作領域の時間変化を示すグラフより、動作領域３における動作（グラフ上のデータ）を選択することで、その時点からの映像を再生することができる。これにより、管理者は、作業者の作業手順を確認することができる。
なお、図１８は、動作領域３における動作を管理者が選択した場合を、その例として示している。

図１９は、作業者の作業の分析例を示す図である。
図１９では、撮影装置１００Ｂ（Ｃａｍｅｒａ：２）で撮影された映像と、動作領域１を退出してから進入するまでの時間を示すグラフを分割表示させている。

また、図１９には、正常時のタクト（タクトタイム；工程作業時間）を示すグラフと、作業者Ａのタクトを示すグラフを、上下に表示させている。
グラフの横軸は動作領域１に進入した回数、また、グラフの縦軸は動作領域１を退出してから進入するまでの時間を示している。
なお、図１９に示すグラフは、動作領域情報が関連付けられた追跡結果データ（図１０）に基づき、グラフ生成部３５９により生成される。また、分割表示させる映像は、撮影装置１００Ｂにより作業者Ａの作業を撮影した映像である。

管理者は、正常時のタクトを示すグラフと、作業者Ａのタクトを示すグラフとを比較し、問題があると思われるポイントを選択する。
図１９に示す例では、１０回目に作業領域１に進入するまでの時間が非常に長くかかっている。
そこで、管理者は、９回目に作業領域１に進入した位置をグラフ上で選択することで、その時点からの、撮影装置１００Ｂで撮影された映像を再生表示することができる。
また、この場合、動作軌跡を映像に重畳させて表示させることもできる。これにより、作業者Ａの作業の遅延要因を特定することができる。
なお、図１９に示す動作領域１を退出してから進入するまでの時間（即ち、移動時間）を示すグラフは、移動時間を表す画像の一例である。

以上、説明したように、本発明の実施形態に係る軌跡描画装置によれば、作業者の動作軌跡を描画することで、映像を再生することなく、作業者の作業を分析することができる。
また、作業者が作業を予定する動作領域を予め設定しておくことで、作業者が各動作領域における作業時間を計測し、作業効率を計算することができる。
さらに、作業者の移動距離（作業距離）から、所定時間における移動距離、また総移動距離を計算することができる。

１００…撮影装置、２００…外部記憶装置、３００…軌跡描画装置、３１０…外部映像入力部、３２０…メモリスロット、３３０…ＵＳＢ等接続インタフェース、３４０…ユーザインタフェース、３５０…映像データ記憶部、３５１…時刻管理部、３５２…設定情報取得部、３５３…追跡対象追跡部、３５４…追跡対象情報記憶部、３５５…動作領域情報記憶部、３５６…追跡結果データ記憶部、３５７…動作領域特定部、３５８…移動量計算部、３５９…グラフ生成部、３６０…表示制御部、３７０…外部映像出力部、３８０…ＬＡＮポート、３９０…無線インタフェース、４００…入力装置、５００…表示装置、６００…外部接続機器。

特許公開２０１２−００３６４９号公報

Claims (12)

1. 追跡対象を撮影した映像のフレームを読み込むフレーム読込手段と、
   前記フレーム読込手段により読み込まれたフレームに、前記追跡対象に対する追跡対象領域を設定する追跡対象領域設定手段と、
   前記フレーム読込手段により読み込まれた複数のフレーム間において前記追跡対象領域を追跡する追跡手段と、
   前記追跡手段の追跡結果に基づき、前記追跡対象の動作軌跡を描画する描画手段と、
   前記描画手段により描画された動作軌跡を表示装置に表示させる表示制御手段と、
   を有する軌跡描画装置。
2. 請求項１に記載された軌跡描画装置において、
   前記描画手段が、前記追跡対象の動作軌跡に加え、フレーム特定情報を描画する軌跡描画装置。
3. 請求項２に記載された軌跡描画装置において、
   前記フレーム特定情報が所定の色である軌跡描画装置。
4. 請求項２に記載された軌跡描画装置において、
   前記フレーム特定情報が撮影時刻である軌跡描画装置。
5. 請求項１ないし４のいずれかに記載された軌跡描画装置において、
   前記フレーム読込手段により読み込まれたフレームにおいて動作領域を設定する動作領域設定手段と、
   前記動作領域設定手段により設定された動作領域と、前記追跡手段の追跡結果に基づき前記追跡対象の動作領域を特定する動作領域特定手段と、
   を有する軌跡描画装置。
6. 請求項５に記載された軌跡描画装置において、
   前記描画手段は、前記追跡手段の追跡結果に基づき前記設定された動作領域間における前記追跡対象の移動時間を計算し、計算した移動時間を表す画像を描画する軌跡描画装置。
7. 請求項１ないし４のいずれかに記載された軌跡描画装置において、
   前記追跡手段の追跡結果に基づき、前記追跡対象の移動量を計算する移動量計算手段を有する軌跡描画装置。
8. 請求項１ないし４のいずれかに記載された軌跡描画装置において、
   前記表示制御手段が、前記表示装置に表示させた動作軌跡上の任意の位置がユーザにより選択されると、選択された位置に対応するフレームを取得し、前記表示装置に表示させる軌跡描画装置。
9. 請求項１ないし８のいずれかに記載された軌跡描画装置において、
   前記表示制御手段が、複数の撮影装置で撮影した複数の画像を分割した表示画面にそれぞれ表示するように制御する軌跡描画装置。
10. 請求項１に記載された軌跡描画装置における軌跡描画方法であって、
    追跡対象を撮影した映像のフレームを読み込むフレーム読込工程と、
    前記フレーム読込工程において読み込まれたフレームに、前記追跡対象に対する追跡対象領域を設定する追跡対象領域設定工程と、
    前記フレーム読込工程において読み込まれた複数のフレーム間において前記追跡対象領域を追跡する追跡工程と、
    前記追跡工程の追跡結果に基づき、前記追跡対象の動作軌跡を描画する描画工程と、
    前記描画工程において描画された動作軌跡を表示装置に表示させる表示制御工程と、
    を有する軌跡描画装置における軌跡描画方法。
11. 請求項１ないし９のいずれかに記載された軌跡描画装置と、
    前記軌跡描画装置において記憶する映像を撮影する撮影装置と、
    前記軌跡描画装置により描画された動作軌跡を表示する表示装置と、
    前記軌跡描画装置に軌跡を描画する、所定の条件を入力する入力装置と、
    を有する軌跡描画システム。
12. コンピュータを、請求項１に記載された軌跡描画装置の各手段として機能させるためのプログラム。

Images