JP2009015809A - 動作解析装置 - Google Patents

Abstract

【課題】所定の動作を撮影した動画を利用し、その動作を解析する動作解析装置を提供する。
【解決手段】所定の動作を撮影した動画を読み込む動画読込部と、動画読込部で読み込んだ動画上で、動作を行う主体の一部に対して、動作を追跡するための追跡オブジェクトを設定する設定部と、動画読込部で読み込んだ動画上の動作に基づいて、設定部で設定した追跡オブジェクトを追跡する追跡部と、追跡部が追跡の結果取得した追跡データに基づいて、動作を解析する動作解析部と、を有する。
【選択図】図１

Description

本発明は、作業者などによって行われる所定の動作を解析する動作解析装置に関する。

例えば、工場などでは、組立作業者などが行う作業動作の無駄の発見に多くの時間を費やしている。通常、動作の無駄の発見には、組立作業者の動作をビデオで撮影し、後でそのビデオを作業指導者などが注視して、無駄な動作を見つけるといった業務を行う。このような業務には、かなりの時間がかかり、作業指導者の大きな負担になっている。

また、例えば、工場などでは、品質保証が大きな問題となっており、特定の部品の付け忘れなどが発生しないように十分な注意が施されている。通常はセンサなどを活用して、組立作業者が特定の部品を取った際にビープ音を鳴らすなどの処理を行っている。しかし、この処理にはセンサの取り付けやそれに伴う各種設定が必要であり、コストがかかり柔軟性も乏しくなる。

このような現状から、所定の動作を解析するための動作解析技術が利用されつつある。

本発明に関連する動作解析技術の例として以下のものがある。
作業員の要部および頭の三次元データと作業対象物の特徴点の三次元データを取得し、要部にかかる負担を求め、人体負担に対応付けて人体との相対的な位置関係を表示する「動作解析装置」がある（例えば、特許文献１参照）。
データを選択するためのデータ選択手段、データを登録するためのデータ登録手段、観察者対象に関するデータを演算処理するためのデータ処理演算手段、観察対象者に関する情報を登録したシステムデータベース、解析情報を登録する解析情報データベースを備え、高度な動作解析を可能とする「観察対象者の動作解析システム」がある（例えば、特許文献２参照）。
特開２００１−１０１４２２号公報 特開２００５−２１１１０５号公報

上記特許文献１，２を含め、従来では、動作の改善や品質保障を目的とした動作解析技術は複数開示されているが、動作を撮影した動画を利用し、その動画に基づいて動作解析を行う動作解析技術は発明されていない。

本発明は、上記事情に鑑みてなされたものであり、所定の動作を撮影した動画を利用し、その動作を解析する動作解析装置を提供することを目的とする。

かかる目的を達成するために、本発明の第１の動作解析装置は、所定の動作を撮影した動画を読み込む動画読込部と、動画読込部で読み込んだ動画上で、動作を行う主体の一部に対して、動作を追跡するための追跡オブジェクトを設定する設定部と、動画読込部で読み込んだ動画上の動作に基づいて、設定部で設定した追跡オブジェクトを追跡する追跡部と、追跡部が追跡の結果取得した追跡データに基づいて、動作を解析する動作解析部と、を有することを特徴とする。

本発明の第２の動作解析装置は、本発明の第１の動作解析装置において、設定部では、利用者が動画を実際に見て調整しながら、追跡オブジェクトを追跡するための閾値、フィルターのパラメタ及び色を設定できることを特徴とする。

本発明の第３の動作解析装置は、本発明の第２の動作解析装置において、設定部は、追跡部が追跡オブジェクトを追跡するための閾値、フィルターのパラメタ及び色の設定を所定の記憶手段に蓄積することを特徴とする。

本発明の第４の動作解析装置は、本発明の第１から第３のいずれか１つの動作解析装置において、追跡部は、設定部でなされた設定に基づいて追跡オブジェクトを追跡し、動画のフレーム上の座標をデータとして取得することを特徴とする。

本発明の第５の動作解析装置は、本発明の第４の動作解析装置において、追跡部は、追跡の結果取得した追跡データを所定の記憶手段に蓄積することを特徴とする。

本発明の第６の動作解析装置は、本発明の第１から第５のいずれか１つの動作解析装置において、追跡部による追跡オブジェクトの追跡にあたり、動画のフレーム全体を対象として追跡オブジェクトの位置を検出するアルゴリズムと、処理を最適化するために、直前の動画のフレーム上の追跡オブジェクトの位置の近傍を優先して検出するアルゴリズムのうちいずれかを利用者が選択できることを特徴とする。

本発明の第７の動作解析装置は、本発明の第１から第６のいずれか１つの動作解析装置において、動作解析部は、追跡部が追跡の結果取得した追跡データに基づいて、追跡オブジェクトが動いた時間や回数、追跡オブジェクトが動いていない時間帯を解析し、追跡オブジェクトがホーム位置にある、追跡オブジェクトがホーム位置から離れた位置にある、追跡オブジェクトが動画外にある、の３通りにセグメンテーションすることを特徴とする。

本発明の第８の動作解析装置は、本発明の第１から第７のいずれか１つの動作解析装置において、追跡部が追跡の結果取得した追跡データに基づいて、動作のうち特定の動作を解析する特定動作解析部を有することを特徴とする。

本発明の第９の動作解析装置は、本発明の第８の動作解析装置において、特定動作解析部は、追跡部が追跡の結果取得した追跡データに基づいて、追跡オブジェクト自体、あるいは、追跡オブジェクトの近傍が、動画上の所定領域に入ったかどうかを解析することを特徴とする。

本発明の第１０の動作解析装置は、本発明の第１から第９のいずれか１つの動作解析装置において、動作解析部及び特定動作解析部のうち少なくとも１つによる解析結果を所定の媒体に印刷する印刷部を有することを特徴とする。

本発明の第１１の動作解析装置は、本発明の第６の動作解析装置において、動作解析部は、３通りのセグメンテーションのうちの追跡オブジェクトがホーム位置から離れた位置にある際に、追跡オブジェクトの軌跡に大きな速度変化が２回起きることを利用し、２回の大きな速度変化の間を、所定の動作が行われたタイミングであると判断することを特徴とする。

本発明の第１２の動作解析装置は、本発明の第９から第１１のいずれか１つの動作解析装置において、特定動作解析部は、動画上の所定領域が複数設定され、設定された複数の所定領域毎に所定の意味付けを対応させる設定がされた場合、追跡オブジェクト自体、あるいは、追跡オブジェクトの近傍が、設定された複数の所定領域のうちの一の領域に入った際に、設定に基づいて一の領域に対応する意味付けを判断し、意味付けに関する動作を行ったと同定することを特徴とする。

本発明の第１３の動作解析装置は、本発明の第９から第１２のいずれか１つの動作解析装置において、動作解析部は、動画上の動作をセグメント分けし、セグメント分けされた各動作内容を特定したセグメントデータを少なくとも２以上用いて、セグメント分けされた各動作内容のそれぞれについて、所要時間の長さを比較することを特徴とする。

本発明の第１４の動作解析装置は、本発明の第１から第１３のいずれか１つの動作解析装置において、動作解析部は、動画読込部で読み込まれる動画をリアルタイムに解析し、現在どの作業が行われているかを特定し、現在の作業の進捗状況を把握して、現在の作業が遅れている場合は作業マニュアルの再生速度を遅くし、現在の作業が進んでいる場合は作業マニュアルの再生速度を速くすることで、作業マニュアルを作業の進捗状況に同期させることを特徴とする。

本発明によれば、動作を撮影した動画に基づいて、動作を追跡・解析することにより、動作の無駄の発見支援や、特定部品の取得の確認による品質向上を実現することが可能となる。

以下、本発明を実施するための最良の形態について添付図面を参照して詳細に説明する。

〈動作解析装置の概要〉
本発明の動作解析装置は、動画に基づいて動作を解析することを特徴とし、以下の機能を備える。
〈１〉手首や頭などにマーカーを付けた作業者が動作を行った動画上において、マーカーを追跡することで、マーカーを付けた手首や頭を動かした時間や回数を提示し、動きの様子を可視化し、無駄な動作の発見を容易にする機能。
〈２〉作業台上の特定の部品箱にマーカー及びその近傍の指などが入ったかどうかを判定することで、部品の付け忘れが発生したか否かを提示する機能。

〈動作解析装置の構成〉
本発明の動作解析装置の構成について説明する。図１は、本発明の動作解析装置の構成を示すブロック図である。本発明の動作解析装置の適用例としては、パーソナルコンピュータ等の情報処理装置が挙げられる。
ビデオカメラ等の動画撮影手段より組立作業者（以下の説明では、解析対象の動作を行う主体の例として、「複数の部品を組み立てて、装置・機器を製作する作業を行う者」とするが、これに限られない）の動作を撮影した映像は、エンコード手段によりエンコードされビデオデータ（動画データ。以下、動画ともいう）となる。なお、組立作業者は、体の一部（例えば、手首や頭など）に、手首や頭などの動きを追跡するためのマーカーを付けて動作を行うものとする。

動画読込部１は、エンコードされたビデオデータを読み込み、記憶手段であるビデオＤＢ（データベース）７に蓄積（書き込み）する。

マーカー検出設定部２は、動画読込部１で読み込んだ動画（ビデオデータ）上で、動作を行う主体である組立作業者の体の一部（手首や頭など）自体、あるいは、組立作業者の体の一部（手首や頭など）に付けられたマーカーに対して、動作を追跡するための追跡オブジェクトを設定する設定部である。マーカー検出設定部２は、まず、ビデオＤＢ７に蓄積されたビデオデータをビデオＤＢ７から読み出し、画面表示する（図６参照）。そして、動作解析を行う者（利用者、ユーザ）は、表示されたビデオデータを見て、ビデオデータ上において、追跡オブジェクト（組立作業者の体の一部のうちの任意の部分、又は、組立作業者の体の一部に付けられた複数のマーカーのうちの任意のもの）を指定する。また、利用者は、表示されたビデオデータを見て調整しながら、画像解析用の閾値（図７参照）、フィルターのパラメタ及び色（図８参照）などの設定を行う。この設定の内容を含むパラメタ情報は、パラメタファイル（図３参照）としてパラメタＤＢ８に蓄積（書き込み）可能であるので、別のビデオデータの解析に再利用することが可能である。

マーカー追跡部３は、動画読込部１で読み込んだ動画（ビデオデータ）上の動作に基づいて、マーカー検出設定部２で設定した追跡オブジェクトを追跡する追跡部である。マーカー追跡部３は、まず、ビデオＤＢ７に蓄積されたビデオデータと、パラメタＤＢ８に蓄積されたパラメタファイルを読み込む。そして、読み込んだパラメタファイルに基づいて、動画解析により追跡オブジェクト（例えば、マーカー）の追跡を行う（図９、図１０参照）。そして、追跡によって取得（生成）した情報（フレーム番号、マーカーのＸ座標、マーカーのＹ座標）を、追跡情報（マーカー追跡部３の追跡結果を含む情報。図４参照）として、解析データＤＢ９に蓄積（書き込み）する。

なお、マーカー追跡部３による追跡オブジェクトの追跡にあたり、動画のフレーム全体を対象として追跡オブジェクトの位置を検出するアルゴリズムと、処理を最適化するために、直前の動画のフレーム上の追跡オブジェクトの位置の近傍を優先して検出するアルゴリズムとのうちいずれかを、利用者は選択できる。

動作解析部４は、マーカー追跡部３が取得した追跡結果（追跡情報）に基づいて、追跡オブジェクトが動いた時間や回数、前記追跡オブジェクトが動いていない時間帯を解析し、動画上の動作を解析する。動作解析部４は、まず、解析データＤＢ９に蓄積された追跡情報を読み込む。そして、読み込んだ追跡情報と動画上の動作に基づいて、動作を可視化し、手を伸ばした時間や回数、特定の部品を取った時間や回数などを抽出する。また、動作解析部４は、動作の解析にあたり、「追跡オブジェクトがホーム位置にある」、「追跡オブジェクトがホーム位置から離れた位置にある」、「追跡オブジェクトが動画外にある」、の３通りにセグメンテーションする。そして、解析結果を、解析情報（動作解析部４の解析結果を含む情報。図５、図１１〜図１３参照）として、解析データＤＢ９に蓄積（書き込み）する。

特定動作解析部５は、マーカー追跡部３が取得したデータに基づいて、動作のうち特定の動作、例えば、追跡オブジェクト自体、あるいは、追跡オブジェクトの近傍が、動画上の所定の領域に入ったかどうかの動作を解析する。特定動作解析部５は、まず、動画上において、特定の部分領域（特殊な部品の置かれている場所など。以下、特殊部分領域ともいう）を設定する。次に、解析データＤＢ９に蓄積された追跡情報（追跡結果）を読み込む。そして、読み込んだ追跡情報と動画上の動作に基づいて、マーカー及びマーカーの近傍（指など）が、設定した特定の部分領域（特殊部分領域）に入ったかどうか（あるいは、近づいたかどうか）を解析する。そして、解析結果を、解析情報（特定動作解析部５の解析結果を含む情報。図５、図１１〜図１３参照）として、解析データＤＢ９に蓄積（書き込み）する。

印刷部６は、解析データＤＢ９に蓄積された解析結果（動作解析部４及び特定動作解析部５のうち少なくとも１つの解析結果を含む情報）を紙などの媒体に印刷して出力する。

なお、上記６つの処理部（動画読込部１、マーカー検出設定部２、マーカー追跡部３、動作解析部４、特定動作解析部５、印刷部６）は、バッチ的に順を追って動作する場合と、既存のパラメタ設定ファイルを活用し、動画を読み込みながらほぼリアルタイムに動作する場合とがある。

また、図１には図示していないが、本発明の動作解析装置は、ビデオデータ（動画）や解析結果などを画面表示する表示部を有するものとする。

〈動作解析装置の動作〉
以上のように構成された本発明の動作解析装置の動作について説明する。図２は、本発明の動作解析装置の動作を示すフロー図である。なお、本発明の動作解析装置の動作は、図２の右側のフローに示す「動画読み込み、動作追跡」と、図２の左側のフローに示す「動作解析」と、に分けられる。

まず、図２の右側のフローに示す「動画読み込み、動作追跡」について説明する。
マーカー検出設定部２は、組立作業者が組立作業を行っている動作を撮影した動画（ビデオデータ）をビデオＤＢ７から読み込む（ステップＳ１）。表示部は、その動画の先頭フレームを表示する（ステップＳ２）。

ここで、利用者は、表示された動画の動作を解析するにあたり、既存のパラメタファイル（過去に設定したパラメタファイル）を利用するか否かを選択する（ステップＳ３）。既存のパラメタファイルを利用するという選択がされた場合（ステップＳ３／ＹＥＳ）、マーカー検出設定部２は、パラメタＤＢ８から図３に示すような所定のパラメタファイルを読み込み（ステップＳ４）、ステップＳ８へ進む。

既存のパラメタファイルを利用しない、すなわち、新たに設定を行うという選択がされた場合（ステップＳ３／ＮＯ）、追跡オブジェクト（例として、作業員の手首に付けられるマーカーとする）の設定（ステップＳ５）及びマーカー追跡のための閾値の設定（ステップＳ６）が、利用者により行われる。マーカー検出設定部２は、利用者の入力操作に基づいて、マーカーの設定（ステップＳ５）及び閾値の設定（ステップＳ６）を行う。

図６〜８は、マーカー検出設定部で行われる設定時の表示画面の例である。
利用者は、図６に示す表示画面を通して、マーカーの指定を行う。図６では、例として、動画上の組立作業者（真上から撮影されている）の右手に付けられたマーカーを追跡オブジェクトとして設定した様子を示している。

図７では、表示画面の左下に表示されている“Get Threshold bounds"ボタンを押下することにより、適切な閾値が自動的に抽出される。なお、この閾値は利用者が自ら調整することもできる。図７は、利用者が指定した閾値をテストしている時の画面の例である。この結果を見ながら閾値をさらに調整することができる。

図８は、フィルター、相関関数の設定時の画面の例である。図８の画面では、メリディアンフィルターを利用している。

このように、ステップＳ５及びステップＳ６で行われた設定を示す値などのパラメタ情報は、例えば図３に示すようなパラメタファイルとして、パラメタＤＢ８に蓄積される（ステップＳ７）。蓄積されたパラメタファイルは、再利用が可能である。

そして、マーカー追跡部３が、マーカーの追跡を開始する。具体的には、パラメタファイルに基づいて、表示画面に表示される動画のフレームごとにマーカーを検出する。まずは、先頭フレームのマーカーの位置を検出する（ステップＳ８）。図９、１０は、マーカー追跡時の表示画面の例である。図９、１０では、組立作業者の両手首に付けられたマーカーが追加オブジェクトとして設定され、動作中に追跡されている例である。なお、図９の表示画面の左下に表示されている“Optimized Algorithm”をチェックすることで（図１０参照）、マーカー追跡のための領域を直前のフレームのマーカー近傍とすることができ、処理時間を短縮できる。

ここで、画面上におけるマーカーの位置が、予め設定された、画面上における特定の部分領域（特殊部分領域）に近い場合（ステップＳ９／ＹＥＳ）、マーカー追跡部３は、マーカー近傍（例えば、指など）の位置（座標）を検出し（ステップＳ１０）、検出したＸ，Ｙ座標及びフレーム番号を、追跡情報（追跡データ）として解析データＤＢ９に書き込む（ステップＳ１１）。

一方、画面上におけるマーカーの位置が、予め設定された、画面上における特定の部分領域（特殊部分領域）に近くない場合（ステップＳ９／ＮＯ）、マーカー追跡部３は、マーカーの位置を、追跡情報（追跡データ）として解析データＤＢ９に書き込む（ステップＳ１１）。

解析データＤＢ９に書き込まれる追跡情報の例を図４に示す。図４に示すように、追跡情報は、フレーム毎に座標が管理されている。

追跡情報の書き込みが終わったら、次のフレームに進む。次のフレームが無い場合（ステップＳ１２／ＮＯ）は一連の動作を終了し、次のフレームが有る場合（ステップＳ１２／ＹＥＳ）、そのフレームにおけるマーカーを検出する（ステップＳ８）。その後は、上記ステップＳ９〜Ｓ１２と同様である。

次に、図２の左側のフローに示す「動作解析」について説明する。
動作解析部４は、解析データＤＢ９に蓄積された追跡情報を読み込む（ステップＳ２１）。そして、読み込んだ追跡情報と動画上の動作に基づいて、動作の速度を検出し（ステップＳ２２）、マーカーを付けた手を伸ばした時間や回数などを検出し（ステップＳ２３）、サムネール（図１３に示す複数の長方形がサムネール。これらサムネールは、例えば図６、９、１０に示すような動作を示す画像を縮小したもの）を抽出し（ステップＳ２４）、解析結果を、解析情報として解析データＤＢ９に書き込む（ステップＳ２５）。なお、解析データＤＢ９に書き込む解析情報は、図５に示すような形態でもよいし、図１１〜図１３に示すような形態（グラフ化した形態）でもよい。

動作解析部４では、「マーカーがホーム位置にある（組立作業において、手元で部品を組み立てている）」、「マーカーが離れた位置にある（組立作業において、手元から離れた場所にある部品箱から部品を取るために手を伸ばしている）」を動画上で探索し、その結果を可視化する。

図１１〜１３は、動作解析部４の解析結果を可視化した画面の例である。
図１１は、解析結果に基づいて、マーカーのスピードを示したグラフである。スピードが大きい部分が手を伸ばしたところであると判断する。ピークのばらつきを排除し、孤立しているピークを削除するために、一次のMedianフィルターによりピークを滑らかにしている。また小さいピークを無視するために、ピークキャンセルの処理を行う。
この後に、図１２に示すように、上述した動作のセグメンテーションが行われる。
図１３は、マーカーの座標値とマーカーが大きく動いた（手を伸ばした）場所のフレームでデータ（動画中の動作の画像）をサムネールで示したものである。

動作解析部４による解析の後、特定動作解析部５は、特定動作の解析を行う。動画上において特殊部分領域を設定し（ステップＳ２６）、マーカー及びマーカー近傍（例えば指など）が特殊部分領域に入ったことを検出（解析）し（ステップＳ２７）、その解析結果を解析情報として解析データＤＢ９へ書き込む（ステップＳ２８）。なお、解析データＤＢ９に書き込む解析情報は、上記動作解析部４の解析情報と同様に、図５に示すような形態でもよいし、図１１〜図１３に示すような形態（グラフ化した形態）でもよい。

その後、利用者により解析情報の印刷指示を受け付けた場合（ステップＳ２９／ＹＥＳ）、解析情報（解析結果）を紙などの媒体に印刷する（ステップＳ３０）。なお、解析情報は、印刷以外にも、ネットワーク等を介して、指定された宛先の装置・機器へ送信するなどしてもよい。

なお、上記図２の「動作解析」の説明では、動作解析部４の解析と、特定動作解析部５の解析とを連続して両方行う場合を説明したが、どちらか１つの解析を行うだけでもよい。

以上説明したように、本実施例の動作解析装置によれば、動作を撮影した動画に基づいて、自動で動作を追跡・解析することにより、動作の無駄の発見支援や、特定部品の取得の確認による品質向上を実現することが可能となる。

また、本実施例の動作解析装置によれば、動画上で追跡オブジェクトを指定可能とすることにより、ユーザの希望する追跡オブジェクトの追跡が可能となる。また、追跡オブジェクトの設定の際、追跡オブジェクトに係る各種パラメタ値を実際の動画上で調整しながら設定できることにより、追跡精度をより向上できる。また、設定の内容を設定情報（パラメタ情報）として保存することにより、同じ条件で撮影した動画を解析する際に、追跡オブジェクトを再設定することなく処理を開始できる。

また、本実施例の動作解析装置によれば、追跡オブジェクトのフレームごとの座標値の集合は、追跡オブジェクトの動きを解析するための元データとなる。また、動画上のマーカー位置を検出するにあたり、直前のフレームのマーカー近傍を優先して検出することで、処理速度を向上できる。

また、本実施例の動作解析装置によれば、追跡オブジェクト（マーカー）の動く速度や座標値などを解析することにより、動作中における手を伸ばした時間や伸ばした方向を知ることが可能となる。また、手を伸ばさずに動作を行っている時間なども知ることができる。従って、利用者は動作の流れを知ることが可能となり、無駄な動作が多い部分を推測することが可能となる。

また、本実施例の動作解析装置によれば、動画上に映されている、例えば特定部品の箱を特定領域として指定し、追跡オブジェクト（マーカー及びマーカー近傍）がその特定領域に入ったか否かを検出することにより、映像を直に見ることなく、作業者が特定部品を取ったか否かを確認できる。従って、例えば付け忘れの多い部品の欠品を防止することが可能となる。

また、本実施例の動作解析装置によれば、解析結果を可視化して印刷することで、動作の状況を記録したり、他者へ伝達したりすることが容易となる。

上記実施例１で説明したたように、動作解析部４は、動作の解析にあたり、「追跡オブジェクトがホーム位置にある」、「追跡オブジェクトがホーム位置から離れた位置にある」、「追跡オブジェクトが動画外にある」、の３通りにセグメンテーションするが、これら３通りのうち「追跡オブジェクトがホーム位置から離れた位置にある（追跡オブジェクトがホーム位置から大きく移動する）」場合には、追跡オブジェクト（マーカー）の軌跡において、大きな速度変化が２回起きる。本実施例では、この２回の大きな速度変化を利用する。

動作解析部４は、図１６のグラフ（図１２の中央に示すグラフを拡大したもの。縦軸はマーカーの速度を示す）において、ピークが２つ続くところ（二つの大きな速度の変化の山）の谷間を、所定の動作（ここでは、例として、部品を取得する動作）のタイミングであると判断する。

動作解析部４は、図１６の速度グラフに基づいて加速度を計算し、加速度が正から０になり、負に切り替わってから、速度が０になる箇所を、部品を取得した場所の候補とする。この加速度が０になった箇所をフレーム番号で記録しておく。この候補部分から、加速度が正の値で推移し、０になって、負に変化したときに、加速度０になったときのフレーム番号と、先に記録したフレーム番号との差の値が所定の範囲のときに、部品を取得した候補を部品取得したと同定する。

上記動作解析部４の動作について、図１８のフローチャートを参照して、さらに詳細に説明する。
次のフレームを現フレームとして解析する（ステップＳ４１）。例えば図１６の速度グラフに基づいて加速度を計算する（ステップＳ４２）。計算結果に基づいて、加速度が負から正に変わったかを判断する（ステップＳ４３）。

加速度が負から正に変わっていない場合（ステップＳ４３／ＮＯ）、ステップＳ４６へ進む。一方、加速度が負から正に変わった場合は（ステップＳ４３／ＹＥＳ）、速度の値が十分小さいかどうかを判断する（ステップＳ４４）。

速度の値が十分小さくない場合（ステップＳ４４／ＮＯ）、ステップＳ４１へ戻る。一方、速度の値が十分小さい場合（ステップＳ４４／ＹＥＳ）、加速度の正負の切り替えの前後で、最も０に近いところを部品の取得候補とし、候補のフレームの番号をメモリ１（図１には図示せず）に記憶する（ステップＳ４５）。その後、ステップＳ４１へ戻る。

そして、ステップＳ４３の判断において、加速度が負から正に変わっていない場合は（ステップＳ４３／ＮＯ）、ステップＳ４６において、加速度が正から負に変わったかをどうかを判断する（ステップＳ４６）。

加速度が正から負に変わっていない場合は（ステップＳ４６／ＮＯ）、ステップＳ４１へ戻る。一方、加速度が正から負に変わった場合は（ステップＳ４６／ＹＥＳ）、速度の値が十分小さいかどうかを判断する（ステップＳ４７）。

速度の値が十分小さくない場合（ステップＳ４７／ＮＯ）、ステップＳ４１へ戻る。一方、速度の値が十分小さい場合（ステップＳ４７／ＹＥＳ）、メモリ２の値と、現フレームの番号を比較し（ステップ４８）、メモリ２の番号と現フレームの番号が近いかどうかを判断する（ステップＳ４９）。

メモリ２の番号と現フレームの番号が近い場合（ステップＳ４９／ＹＥＳ）、メモリ１に値が入っていたら、現フレームの番号の位置を部品取得位置と同定し（ステップＳ５０）、ステップＳ４１へ戻る。一方、メモリ２の番号と現フレームの番号が近くない場合（ステップＳ４９／ＮＯ）、メモリ１の記憶内容をクリアし（ステップＳ５１）、現フレームの番号をメモリ２に記憶し（ステップＳ５２）、ステップＳ４１へ戻る。

以上のことから、上記実施例１のように、部品のある領域にマーカーの軌跡が入ったかどうかだけに基づいて、部品を取得したかどうかを判定する方法では精度が低いが、本実施例のように、追跡オブジェクトの速度変化において、ピークが２回続くことを利用することで、部品を取得した場所の候補とする精度が上がる。

上記実施例１で説明したたように、特定動作解析部５は、動画上において、特定の部分領域（特殊な部品の置かれている場所など。特殊部分領域）を設定するが、この特定の部分領域を、ユーザの指示に基づいて、図１４に示すように矩形または多角形で指定（設定）するようにしてもよい。

また、特定動作解析部５は、ユーザの指示に基づいて、特定の部分領域を複数指定（設定）するようにしてもよい。例えば、複数種類の部品がそれぞれ別々の部品箱等に入っている場合は、それら複数の部品箱を、特定の部分領域として複数指定（設定）する。この場合、ユーザの指示に基づいて、特定の部分領域と、その特定の部分領域にある部品箱の部品とを対応させた対応表（どの領域にどの部品があるかを示す表）も設定し、一時的に記憶しておく。

上記実施例１で説明したように、特定動作解析部５は、マーカーを基準として手（指）の位置を推定し、特定の部分領域に入ったかどうかを解析する。そして、特定の部分領域に手が入って部品をとる動作があった場合、上記対応表に基づいて、手が入った特定の部分領域にある部品の取得タイミングと同定する。

上記実施例２で本実施例を適用する場合は、２ピーク解析結果で同定された部品取得タイミング（図１６に示す谷間のタイミング）の時に、手が特定の部分領域に入ったかのチェックを行い、手が入っていれば、上記対応表に基づいて、その特定の部分領域に対応する部品を取ったと判断する。

以上のことから、本実施例では、部品取得動作の解析精度を高めることができる。

本実施例では、上記動作解析部４に、動画上の作業者の動作についてセグメンテーション（セグメント分け）し、作業者同士のセグメントデータを比較解析する機能（比較解析機能）を持たせる。この機能により、作業者の動作の比較解析を行う。

まず、例えば、作業者Ａが所定の作業を行う場合、図１５の作業名に示すように、その作業をセグメント分けし、それぞれのセグメントの動作内容を特定し、セグメントデータとして保存する。同様に、別の作業者Ｂが作業者Ａと同じ作業を行う場合、図１５の作業名に示すように、その作業をセグメント分けし、それぞれのセグメントの動作内容を特定し、セグメントデータとして保存する。その後、作業者Ａのセグメントデータと、作業者Ｂのセグメントデータとを比較する。この比較は、セグメント毎に、時間の長さを比較する。よって、セグメント分けされた動作内容のそれぞれについて、各作業者の所要時間を比較することができる。なお、本実施例では、作業者Ａと作業者Ｂとを比較するようにしたが、比較対象は２以上であってもよい。

これにより、例えばベテランとそうでない作業者との作業時間（幅＝フレーム数）を比較し、どの作業がどのくらい遅いのかを自動的に計算することができる。この結果を利用して、ベテランとそうでない作業者との作業時間を比較分析することができる。そして、比較分析の結果、例えば、ベテランと比べてｘ％以上長くかかっている作業については、作業リスト表示の際にその部分を色分けするなどして表示部に表示する。この作業リストの表示例を図１５に示す。

なお、本実施例では、上記比較解析機能を動作解析部４に持たせるようにしたが、上記比較解析機能を専用に行う手段（部）を図１に備えるようにしてもよい。

以上のことから、本実施例では、どの作業が不慣れか、あるいは、効率的な動作ができていないかを知ることができる。

従来の紙や電子マニュアル（作業マニュアル）では、作業者が作業中にページをめくる必要があり、手間がかかったが、本実施例では、作業マニュアルを作業者の作業ペースにあわせて自動制御する。すなわち、本実施例では、上記動作解析部４に、マルチメディアを利用した作業マニュアル（音声や画面表示によって作業の手順などを説明するためのマニュアル。以下、単に「作業マニュアル」という）を利用し、作業者が所定の作業を行う際に、例えば作業者が部品を取るタイミングをチェックして、次に表示する作業マニュアルを作業者の動作にシンクロさせる機能を持たせる。

動作解析部４は、動画読込部１で読み込まれる動画をリアルタイムに解析し、作業者が現在どの作業を行っているか（例えば、どの部品を取っているのか）を特定し、現在の作業の進捗状況を把握して、作業が遅れ気味であれば、作業マニュアルの再生速度を遅くし、逆に、進み気味であれば、作業マニュアルの再生速度を速くすることで、作業者の作業（の進捗状況）と同期させる。

なお、本実施例では、上記マニュアル同期（シンクロ）機能を動作解析部４に持たせるようにしたが、上記マニュアル同期（シンクロ）機能を専用に行う手段（部）を図１に備えるようにしてもよい。

以上のことから、本実施例では、作業者は、作業中に自分でマニュアルの再生を制御する必要がなく、いつでも次に行う作業に関連するページを確認できる。

図１７に示すように、本発明の動作解析装置１０とは別に、上記実施例４で説明した比較解析機能を専用に行う作業比較装置２０、および、上記実施例５で説明したマニュアル同期（シンクロ）機能を専用に行うマルチメディア組立マニュアル装置３０を構成し、それぞれの装置を接続することにより、動作解析システムとして上記各機能を実現するようにしてもよい。この構成の場合、図１５に示す作業名リストや作業マニュアルは、動作解析装置１０の表示部に表示してもよいし、あるいは、この表示部とは別に用意したモニタ４０に表示するようにしてもよい。

以上、本発明の各実施例について説明したが、上記各実施例の説明に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。また、上記各実施例は、任意に組み合わせて実現することが可能である。

例えば、上記で説明した本発明の動作解析装置における動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。

なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。

あるいは、プログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。

このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

また、上記で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

本発明は、人間等が行う作業などの動作を解析するための、装置・機器、システム、方法、プログラムに適用できる。

本発明の動作解析装置の構成を示すブロック図である。 本発明の動作解析装置の動作を示すフローチャートである。 本発明の動作解析装置のマーカー検出設定部で設定されたパラメタファイルの例を示す図である。 本発明の動作解析装置のマーカー追跡部で取得された追跡情報（追跡結果）の例を示す図である。 本発明の動作解析装置の動作解析部で解析された解析情報（解析結果）の例を示す図である。 本発明の動作解析装置のマーカー検出設定部でマーカーの指定を行う際の画面表示の例を示す図である。 本発明の動作解析装置のマーカー検出設定部で閾値の調整を行う際の画面表示の例を示す図である。 本発明の動作解析装置のマーカー検出設定部でフィルターおよび相関関数の設定を行う際の画面表示の例を示す図である。 本発明の動作解析装置のマーカー追跡部によるマーカー追跡の様子の一例を示す図である。 本発明の動作解析装置のマーカー追跡部によるマーカー追跡の様子の一例を示す図である。 本発明の動作解析装置の動作解析部で解析された解析情報（解析結果）を可視化した画面表示の一例を示す図である。 本発明の動作解析装置の動作解析部で解析された解析情報（解析結果）を可視化した画面表示の一例を示す図である。 本発明の動作解析装置の動作解析部で解析された解析情報（解析結果）を可視化した画面表示の一例を示す図である。 本発明の実施例３に係り、特定の部分領域を矩形で指定（設定）した例を示す図である。 本発明の実施例４に係り、作業名リストの表示例を示す図である。 本発明の実施例２に係り、二つの速度ピークによる部品取得の同定を説明するためのグラフである。 本発明の実施例６に係り、動作解析システムの構成を示すブロック図である。 本発明の実施例２に係り、二つの速度ピークによる部品取得の同定動作を示すフローチャートである。

符号の説明

１ 動画読込部
２ マーカー検出設定部（設定部）
３ マーカー追跡部（追跡部）
４ 動作解析部
５ 特定動作解析部
６ 印刷部
７ ビデオＤＢ（データベース、記憶手段）
８ パラメタＤＢ（データベース、記憶手段）
９ 解析データＤＢ（データベース、記憶手段）
１０ 動作解析装置
２０ 作業比較装置
３０ マルチメディア組立マニュアル装置
４０ モニタ

Claims (14)

1. 所定の動作を撮影した動画を読み込む動画読込部と、
   前記動画読込部で読み込んだ動画上で、前記動作を行う主体の一部に対して、前記動作を追跡するための追跡オブジェクトを設定する設定部と、
   前記動画読込部で読み込んだ動画上の前記動作に基づいて、前記設定部で設定した前記追跡オブジェクトを追跡する追跡部と、
   前記追跡部が追跡の結果取得した追跡データに基づいて、前記動作を解析する動作解析部と、
   を有することを特徴とする動作解析装置。
2. 前記設定部では、
   利用者が前記動画を実際に見て調整しながら、前記追跡オブジェクトを追跡するための閾値、フィルターのパラメタ及び色を設定できることを特徴とする請求項１記載の動作解析装置。
3. 前記設定部は、
   前記追跡部が前記追跡オブジェクトを追跡するための閾値、フィルターのパラメタ及び色の設定を所定の記憶手段に蓄積することを特徴とする請求項２記載の動作解析装置。
4. 前記追跡部は、
   前記設定部でなされた設定に基づいて前記追跡オブジェクトを追跡し、前記動画のフレーム上の座標をデータとして取得することを特徴とする請求項１から３のいずれか１項に記載の動作解析装置。
5. 前記追跡部は、
   前記追跡の結果取得した追跡データを所定の記憶手段に蓄積することを特徴とする請求項４記載の動作解析装置。
6. 前記追跡部による前記追跡オブジェクトの追跡にあたり、前記動画のフレーム全体を対象として前記追跡オブジェクトの位置を検出するアルゴリズムと、処理を最適化するために、直前の前記動画のフレーム上の前記追跡オブジェクトの位置の近傍を優先して検出するアルゴリズムのうちいずれかを利用者が選択できることを特徴とする請求項１から５のいずれか１項に記載の動作解析装置。
7. 前記動作解析部は、
   前記追跡部が追跡の結果取得した追跡データに基づいて、前記追跡オブジェクトが動いた時間や回数、前記追跡オブジェクトが動いていない時間帯を解析し、
   前記追跡オブジェクトがホーム位置にある、前記追跡オブジェクトが前記ホーム位置から離れた位置にある、前記追跡オブジェクトが前記動画外にある、の３通りにセグメンテーションすることを特徴とする請求項１から６のいずれか１項に記載の動作解析装置。
8. 前記追跡部が追跡の結果取得した追跡データに基づいて、前記動作のうち特定の動作を解析する特定動作解析部を有することを特徴とする請求項１から７のいずれか１項に記載の動作解析装置。
9. 前記特定動作解析部は、
   前記追跡部が追跡の結果取得した追跡データに基づいて、前記追跡オブジェクト自体、あるいは、前記追跡オブジェクトの近傍が、前記動画上の所定領域に入ったかどうかを解析することを特徴とする請求項８記載の動作解析装置。
10. 前記動作解析部及び前記特定動作解析部のうち少なくとも１つによる解析結果を所定の媒体に印刷する印刷部を有することを特徴とする請求項１から９のいずれか１項に記載の動作解析装置。
11. 前記動作解析部は、
    前記３通りのセグメンテーションのうちの前記追跡オブジェクトが前記ホーム位置から離れた位置にある際に、前記追跡オブジェクトの軌跡に大きな速度変化が２回起きることを利用し、前記２回の大きな速度変化の間を、所定の動作が行われたタイミングであると判断することを特徴とする請求項６記載の動作解析装置。
12. 前記特定動作解析部は、
    前記動画上の所定領域が複数設定され、
    前記設定された複数の所定領域毎に所定の意味付けを対応させる設定がされた場合、
    前記追跡オブジェクト自体、あるいは、前記追跡オブジェクトの近傍が、前記設定された複数の所定領域のうちの一の領域に入った際に、前記設定に基づいて前記一の領域に対応する意味付けを判断し、前記意味付けに関する動作を行ったと同定することを特徴とする請求項９から１１のいずれか１項に記載の動作解析装置。
13. 前記動作解析部は、
    前記動画上の動作をセグメント分けし、セグメント分けされた各動作内容を特定したセグメントデータを少なくとも２以上用いて、セグメント分けされた各動作内容のそれぞれについて、所要時間の長さを比較することを特徴とする請求項９から１２のいずれか１項に記載の動作解析装置。
14. 前記動作解析部は、
    前記動画読込部で読み込まれる動画をリアルタイムに解析し、現在どの作業が行われているかを特定し、現在の作業の進捗状況を把握して、該現在の作業が遅れている場合は作業マニュアルの再生速度を遅くし、該現在の作業が進んでいる場合は該作業マニュアルの再生速度を速くすることで、前記作業マニュアルを前記作業の進捗状況に同期させることを特徴とする請求項１から１３のいずれか１項に記載の動作解析装置。

Images