JP2009032033A

JP2009032033A - 動作境界検出方法および作業分析システム

Info

Publication number: JP2009032033A
Application number: JP2007195351A
Authority: JP
Inventors: Kengo Ichimura; 研吾市村; Yoshizo Tokawa; 吉造東川; Toyoo Iida; 豊男飯田
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2007-07-27
Filing date: 2007-07-27
Publication date: 2009-02-12

Abstract

【課題】動作の大きさや速度が様々な動作の境界を精度よく検出できるようにする。
【解決手段】移動距離に基づく動作境界の検出と、移動角度に基づく動作境界の検出と、情報量に基づく動作境界の検出と、固有空間に基づく動作境界の検出とを組み合わせて、比較的大きな動作の境界、比較的小さな繰り返し動作の境界、動作の大きさや動作方向によらない動作の境界を検出できるようにしている。
【選択図】図４

Description

本発明は、画像等を用いて、組立や加工等の作業工程を分析する際に、作業者の作業動作の境界を検出するのに好適な動作境界検出方法、および、それを用いた作業分析システムに関する。

生産性向上や安全監視のために、組立て・加工を行う作業者の作業を分析し、作業時間計測や特定動作の検出をする試みがある。このような分析は、近年の生産性向上、省エネルギー、労働安全衛生の観点から重視されつつある。

このような作業の計測は、従来計測者がストップウォッチを使って計測してきたが、近年、カメラで撮影した画像から作業者の動作を検出する方法や、各種センサを用いて動作を計測する手法が研究されている。

これらの手法では、予め基準となる作業動作を基準パタンとして登録し、実際の作業動作のパタンと前記基準パタンとのパタンマッチングを行って作業種類の識別、作業時間の計測を行っている。

パタンマッチングは非常に計算コストがかかる方法であるため、予め作業動作の境界候補を簡易な方法で検出（プリセグメント）し、その結果を利用してパタンマッチングをし、作業時間を計測するのが効率的である。

従来、手の動作速度とその極小点、手の形状の変化に基づいて、手話動作の単語の境界を検出する技術が提案されている（例えば、特許文献１参照）。
特許第３５５４５７１号

上記特許文献１では、データグローブを使用して手の形状の変化を検出しているが、実際の生産現場においては、作業者が装着できるマーカの数や位置には、制約があるために、計測できる位置精度は、あまり高くなく、手の形状の変化まで捉えることは困難である。

また、上記特許文献１では、手の動作速度の極小点を、手話動作の境界候補としているが、生産現場における作業者の作業動作の速度や動作の大きさは、手話動作とは異なり、作業内容に応じて様々であることから、例えば、小さな動きを見落とす虞があるといった難点がある。

更に、作業者の作業に対する不慣れや迷いなどによって、実際は、作業動作の境界ではないにも拘らず、動作速度の極小点が発生し、作業動作の境界であると誤って検出する虞もある。

本発明は、このような実情に鑑みて為されたものであって、動作の大きさや速度が様々な動作の境界を精度よく検出できるようにすることを目的とする。

（１）本発明の動作境界検出方法は、人の動作の境界を検出する方法であって、前記動作の位置および速度の時系列信号を取得する取得ステップと、前記速度の連続する極小点に対応する位置の間の移動距離が、閾値を越える前記連続する極小点を動作境界として検出する移動距離に基づく検出ステップと、前記速度の三つの連続する極小点に対応する三つの位置から求められる二つの移動方向のなす角度が、一定範囲にある前記三つの連続する極小点の二番目の極小点を動作境界として検出する移動角度に基づく検出ステップとを備えている。

人の動作とは、人の動きをいい、好ましくは、生産現場などにおける作業者の組立てや加工などの各種作業の動作をいう。

動作の境界とは、或る動作から次の動作への境界をいい、或る動作の終了点あるいは次の動作の開始点に対応するものである。

この動作の境界は、動作によっては、必ずしも明確でない場合があるとともに、作業動作を分析するような用途では、ユーザ自身が、作業動作の境界として任意に指定したいような場合もある。したがって、本発明方法によって検出される動作境界を、そのまま動作境界としてもよいが、動作境界の候補として利用し、ユーザが、最終的に動作境界を決定するようにしてもよい。

本発明の動作境界検出方法によると、移動距離に基づく検出ステップによって、比較的大きな動作の境界を検出できる一方、移動角度に基づく検出ステップによって、例えば、組立工程で高い頻度で出現するような移動角度が小さく、かつ、比較的小さな繰り返し動作の境界を検出することができる。

（２）本発明の動作境界検出方法の一つの実施形態では、前記速度の時系列信号に対して、着目時刻に応じて複数の信号区間を設定し、設定した前記信号区間の情報量を評価値とし、該評価値の極値が所定の閾値を越えた前記着目時刻を動作境界として検出する情報量に基づく検出ステップを、更に備えている。

着目時刻とは、速度の時系列信号において、動作の境界であるか否かを判定する対象として着目している時刻をいう。

情報量としては、例えば、ＫＬ（カルバック・ライブラー）情報量を用いるのが好ましく、複数の各信号区間は、等しい時間幅であるのが好ましい。

この実施形態によると、移動距離および移動角度による動作境界の検出に加えて、速度の時系列信号の情報量に基づいて、時系列信号波形の変化点を、動作境界として検出するので、動作の大きさや動作方向によらず、動作の境界を検出することができ、これによって、動作境界の見落としの少ない高精度な動作境界の検出が可能となる。

（３）本発明の動作境界検出方法の他の実施形態では、前記速度の時系列信号の、着目時刻を含む評価対象区間から得られるベクトルの長さと、該ベクトルを、前記着目時刻よりも前の区間から得られるベクトルに基づく固有空間に射影したベクトルの長さとの差を評価値とし、前記評価値の極値が、所定の閾値を越えた前記着目時刻を動作境界として検出する固有空間に基づく検出ステップを、更に備えている。

この実施形態によると、移動距離および移動角度による動作境界の検出に加えて、固有空間を利用して、速度の時系列波形の変化点を、動作境界として検出するので、動作の大きさや動作方向によらず、動作の境界を検出することができ、これによって、動作境界の見落としの少ない高精度な動作境界の検出が可能となる。

（４）本発明の動作境界検出方法の更に他の実施形態では、前記取得ステップは、マーカを装着した前記人の動作をカメラで撮影し、撮影した画像データから動作の位置および速度の時系列データを取得するものであり、検出される前記動作境界が、前記画像データのフレーム情報に対応するものである。

マーカは、作業者の作業によって動作変位がえられる箇所、例えば、手首などに装着されるのが好ましい。

一台のカメラによって、マーカを装着した作業者を撮影して、作業者の動作位置を、例えば、Ｘ，Ｙ方向の二次元の座標位置で取得し、その座標位置に基づいて、動作速度を取得することができる。なお、カメラを複数台として三次元で位置を取得するようにしてもよい。

この実施形態によると、マーカを装着した作業者を撮影した画像データから作業者の動作の位置および速度の時系列データを取得することができる。

（５）本発明の動作境界検出方法の他の実施形態では、前記移動距離に基づく検出ステップおよび前記移動角度に基づく検出ステップの少なくともいずれか一方の検出ステップは、前記速度の極小点を確定するための前処理ステップを含み、該前処理ステップは、前記時系列信号の極小点と、該極小点を挟む隣接する二つの極大点との関係に基づいて、極小点を選択する選択ステップと、前記速度の時系列信号を平滑して得られる極小点の時間軸上の位置を、前記選択ステップで選択された極小点の位置で補正して前記速度の極小点を確定する補正ステップとを含んでいる。

この実施形態によると、時系列信号を平滑して極小点を検出するので、計測ノイズ等を除去することができる一方、平滑による時間的なずれを、平滑していない時系列信号の極小点によって、補正するので、動作境界となる極小点を、精度よく検出できる。

（６）上記（５）の実施形態では、前記選択ステップにおいては、前記極小点の速度が閾値以下であって、かつ、前記極小点と隣接する二つの前記極大点双方との速度差が閾値以下のときには、極小点として選択せず、また、前記極小点の速度が前記閾値以上であって、かつ、前記極小点と隣接する二つの前記極大点の少なくとも一方との速度差が閾値以下のときには、極小点として選択しないようにしている。

この実施形態によると、極小点の速度および極小点と隣接する二つの極大点との速度差を利用して、計測ノイズや人の動きの迷いやブレによる極小点、すなわち、動作の境界ではない偽の極小点を除外することができ、これによって、動作境界を精度よく検出できる。

（７）上記（２）の実施形態では、前記情報量に基づく検出ステップにおいて、前記情報量の評価値の極値が、前記速度の時系列信号の極値に一致するように、前記複数の信号区間を設定するようにしている。

この実施形態によると、情報量の評価値の極値が、速度の時系列信号の極値に一致するように、情報量を算出するための複数の信号区間を切り出すので、情報量に基づいて検出される動作境界が、速度の極小点に一致することになる。

（８）上記（２）または（７）の実施形態では、前記情報量に基づく検出ステップでは、第１の情報量と第２の情報量とを加算した情報量を、着目時刻の情報量の評価値とするものであって、前記第１の情報量が、着目時刻を含む第１信号区間と、前記着目時刻より後の第２信号区間とに基づく情報量であり、前記第２の情報量が、前記第１信号区間を前にずらした信号区間であって、かつ、前記着目時刻を含む第３信号区間と、前記着目時刻よりも前の第４信号区間とに基づく情報量である。

第１信号区間は、着目時刻を、信号区間の略中央に位置するように設定し、第２信号区間は、着目時刻よりも後の区間であって、上述のフレーム情報の１フレーム分が、第１信号区間と重なるように設定するのが好ましい。

また、第３信号区間は、第１信号区間とほぼ同じ信号区間であって、前記着目時刻を、信号区間の略中央に位置するように設定し、第４信号区間は、着目時刻よりも前の区間であって、１フレーム分が、第３信号区間と重なるように設定するのが好ましい。

略中央とは、中央、あるいは、奇数、偶数フレームに応じて、中央から１フレームずれる場合を含むものである。

この実施形態によると、第１，第２信号区間に基づく第１の情報量と、第３，第４信号区間に基づく第２の情報量とを加算した情報量によって、時系列信号波形の変化点を、動作境界として検出することができる。

（９）本発明の分析システムは、人の作業動作の境界を検出して作業を分析する作業分析システムであって、作業動作の位置および速度の時系列信号を取得する取得手段と、前記位置および前記速度の時系列信号に基づいて、作業動作の境界を検出する動作境界検出手段と、前記動作境界検出手段によって検出される作業動作の境界を用いて作業を特定して分析する分析手段とを備え、前記動作境界検出手段は、前記速度の連続する極小点に対応する位置の間の移動距離が、閾値を越える前記連続する極小点を作業動作の境界として検出する移動距離に基づく検出部と、前記速度の三つの連続する極小点に対応する三つの位置から求められる二つの移動方向のなす角度が、一定範囲にある前記三つの連続する極小点の二番目の極小点を作業動作の境界として検出する移動角度に基づく検出部とを備えている。

本発明の分析システムによれば、動作境界検出手段によって、比較的大きな動作の境界を検出できるとともに、例えば、組立工程で高い頻度で出現する、移動角度が小さく、かつ、比較的小さな繰り返し動作の境界を検出することができ、分析手段では、検出した動作境界を利用して作業を分析することができる。

（１０）本発明の作業分析システムの一つの実施形態では、前記動作境界検出手段は、前記速度の時系列信号に対して、着目時刻に応じて複数の信号区間を設定し、設定した前記信号区間の情報量を評価値とし、該評価値の極値が所定の閾値を越えた前記着目時刻を作業動作の境界として検出する情報量に基づく検出部を、更に備えている。

この実施形態によると、速度の時系列信号の情報量に基づいて、時系列信号波形の変化点を、動作境界として検出するので、動作の大きさや動作方向によらず、動作の境界を検出することができ、分析手段では、検出した動作境界を利用して作業を分析することができる。

（１１）本発明の作業分析システムの他の実施形態では、前記動作境界検出手段は、前記速度の時系列信号の、着目時刻を含む評価対象区間から得られるベクトルの長さと、該ベクトルを、前記着目時刻よりも前の区間から得られるベクトルに基づく固有空間に射影したベクトルの長さとの差を評価値とし、前記評価値の極値が、所定の閾値を越えた前記着目時刻を作業動作の境界として検出する固有空間に基づく検出部を、更に備えている。
この実施形態によると、固有空間を利用して、速度の時系列波形の変化点を、動作境界として検出するので、動作の大きさや動作方向によらず、動作の境界を検出することができ、分析手段では、検出した動作境界を利用して作業動作を分析することができる。

（１２）本発明の分析システムの更に他の実施形態では、前記取得手段は、前記人に装着されるマーカと、前記マーカを撮影するカメラと、該カメラからの画像データに基づいて、前記位置を演算するとともに、前記速度を演算する演算手段とを備え、前記分析手段は、作業内容に応じた基準パタンが格納される基準パタン格納部と、前記カメラからの画像データに基づくパタンと前記基準パタンとのパタンマッチングによって作業内容を特定する作業識別部と、特定された作業内容の少なくとも作業時間を演算する演算部とを備え、前記作業識別部は、前記作業動作の境界を始点または終点として前記パタンマッチングを行うものである。

この実施形態によれば、作業識別部では、基準パタンとのパタンマッチングによって作業を特定する際に、検出された作業動作の境界を始点あるいは終点としてパタンマッチングを行うので、作業動作の境界を利用しない場合に比べて、パタンマッチングの回数を減らして効率的に作業を特定することができる。

（１３）上記（１２）の実施形態では、前記作業識別部は、前記パタンマッチングによって特定される作業内容の始点および終点の少なくとも一方を、前記作業動作の境界に基づいて補正してもよい。

作業時間は、作業者の個人差などによって変動するので、基準パタンとのパタンマッチングによって特定される作業の始点や終了点は、実際の作業の始点や終了点からずれる場合があるが、この実施形態によると、実際の作業動作から検出される作業動作の境界を利用して、そのずれを補正して正確な作業時間を算出するといったことが可能になる。

（１４）上記（１２）または（１３）の実施形態では、前記分析手段は、前記カメラからの画像データを再生表示する表示部と、前記表示部の再生画像から前記基準パタンとして登録すべき基準作業を指定入力する入力部とを備え、前記入力部は、前記作業動作の境界を、前記再生画像の検索情報として利用可能である。

この実施形態によると、パタンマッチングに用いる基準パタンとして登録する基準作業を、再生画像から検索する際に、作業動作の境界を、その検索のインデックスとして利用し、作業動作の境界まで再生画像を早送りすることができるので、再生画像をコマ送りして基準作業を検索するのに比べて、効率的に基準パタンを登録することができる。

（１５）本発明の作業分析システムの他の実施形態では、前記分析手段は、安全に関わる作業動作の境界が検出されるか否かに基づいて、安全状態を判定するものである。

この実施形態では、安全確認作業などの安全に関る作業動作の境界が検出されないときには、必要な安全確認作業等が行われていないと判定し、警告するなどの適宜の措置をとることができる。

本発明によれば、移動距離に基づいて動作の境界を検出するとともに、移動角度に基づいて動作の境界を検出するので、比較的大きな動作の境界を検出できる一方、比較的小さな繰り返し動作の境界を精度よく検出することができる。また、検出される動作の境界を利用して、作業を特定して作業時間を計測したり、安全に関わるような作業の抜けが生じていないかを分析することができる。

以下、図面によって本発明の実施形態について説明する。

図１は、本発明に係る作業分析システムの全体構成を示すブロック図であり、この実施形態は、ビデオ画像を用いて、生産工程の作業時間を分析するシステムの構成例を示している。

この作業分析システムは、予め作業時間を分析する準備を行うための構築系Ａと、実際に作業工程を分析するための運用系Ｂとを備えるとともに、双方の系Ａ，Ｂに共通に用いられる構成を備えている。

構築系Ａは、実際に作業工程を分析する運用時において、作業内容（作業の種類）を、パタンマッチングによって特定するのに必要な基準パタンを予め登録するものであり、運用系Ｂは、実際に作業工程の作業内容を、前記基準パタンを用いたパタンマッチングによって特定し、例えば、その作業時間等を算出して作業を分析するものである。

この図１において、１は、加工や組立などの作業を担う作業者（人）であり、作業時間を分析する計測対象となる。

この作業者１は、カメラ２の視界に入る腕の一部、例えば、手首に、作業位置を識別できるようにマーカ３として、色つきのリストバンドや、色つきの手袋を装着している。また、マーカ３として、特殊な反射テープを用いる場合もある。マーカ３の種類、個数、装着位置などは、生産工程の状況や分析内容などに応じて適宜選択すればよい。

カメラ２は、例えば、図２（ａ）に示すように、作業者１の作業動作を撮影し、図２（ｂ）に示すように連続したフレームからなる動画像を記録するためのものである。

カメラ２で撮影した動画データは、コンピュータ上で扱える形式の画像データに変換され、図１に示す画像データ蓄積部４に蓄積される。この画像データ蓄積部４には、計測対象となる作業工程の作業時間に相当する分の画像データが蓄積される。

画像データ蓄積部４の画像データは、座標データ変換部５によって、作業者１の手の動きを、図２（ａ）のＸ，Ｙ方向の座標位置で表したＸ，Ｙの座標データと、例えば、図２（ｃ）に示すような座標データを微分（差分）した速度データとに変換する。この変換は、マーカの個数だけ、この例では、右手の手首と左手の手首との２個について行う。

座標データ蓄積部６は、座標データ変換部５で変換した座標データ等を格納する。

７は、本発明に係る動作境界検出部であり、この動作境界検出部７は、座標データ蓄積部６の座標データ等から、作業者１の作業動作の境界となる画像のフレームＮＯ．（時間）を検出して出力する。この動作境界検出部７における検出動作の詳細は、後述する。この動作境界検出部７の機能は、構築系Ａ、運用系Ｂ共通である。

８は、操作表示Ｉ／Ｆであり、このシステムを運用するユーザが、操作するための入出力装置であり、具体的には、コンピュータに接続されたキーボード、マウスおよびディスプレイなどである。

この操作表示Ｉ／Ｆ８において、構築時には、画像データ蓄積部４に記録した画像データを再生・表示し、その再生画像に基づいて、運用時のパタンマッチングの基準となる基準パタンに対応する基準作業の切り出し、登録を指示する。

この操作表示Ｉ／Ｆ８においては、構築時に、後述のように動作境界検出部７による動作境界の検出結果を利用した画像の再生が可能であり、具体的には、検出された動作境界まで再生フレームをスキップすることで、１コマずつコマ送りするのに比べて、効率的にパタンマッチングの基準となる基準作業の開始フレームと終了フレームとを探索することができる。

また、この操作表示Ｉ／Ｆ８において、作業工程を分析する運用時には、分析のための操作と、動画像の再生・表示、分析結果の表示を行う。分析結果は、作業ごとの平均作業時間、最大作業時間、最小作業時間、などの統計情報として表示することが可能である。

構築時における操作表示Ｉ／Ｆ８からの指示に基づいて、基準作業登録部９では、基準パタンとして指示された基準作業の開始から終了までのフレーム区間の時系列のＸ，Ｙ座標の値を、作業内容を示す作業ＩＤと対応付けて基準パタンとして基準パタン格納部１０に登録する。

構築系Ａでは、上述のように、作業者１を撮影した画像データから、分析対象となる作業を特定するための基準パタンを切り出して基準パタン格納部１０に予め登録する。

実際の作業工程の分析を行う運用系Ｂの作業識別部１１は、運用時に、分析対象の画像データから変換した座標データを、基準パタンを用いてパタンマッチングする。このパタンマッチングにより、作業内容(作業ＩＤ)を特定し、作業の開始/終了時間を特定する。

パタンマッチングの際には、運用系Ｂの動作境界検出部７が出力する動作境界を、パタンマッチングの起点または終点として利用することにより、パタンマッチングの回数を減らすことができる。

また、基準パタンを用いたパタンマッチングによって特定される作業の開始/終了時間は、運用系Ｂの動作境界検出部７が出力する動作境界を利用して補正することができる。

これにより、例えば、作業者の個人差などに起因して、実際の作業時間がばらつき、基準パタンを用いたパタンマッチングによって得られる作業時間が、実際の作業時間からずれても、実際の作業から検出される動作境界を利用して、そのずれを補正することにより、作業の開始/終了時間を精度よく検出できることになる。

作業識別部１１が出力する作業ＩＤごとの作業開始/終了時間に基づいて、統計情報計算部１２では、作業ＩＤごとの作業開始/終了時間を、記録されているすべての画像データに対して集計し、作業時間の統計情報を出力する。

統計情報は様々な形態が可能である。例えば、平均作業時間、最大作業時間、最小作業時間や作業時間の分散などである。ここで計算した結果は、分析結果として操作/表示ＩＦ８に表示する。

上述の構築系Ａ、運用系Ｂ、および、座標データ変換部５等は、コンピュータによって構成される。

次に、構築系および運用系における処理の手順を、図３のフローチャートに基づいて説明する。

図３（ａ）は、基準パタンを登録するための構築系の処理の手順を説明するためのフローチャートである。

先ず、作業工程の画像を記録する（ステップｎ３−１）。

このステップｎ３−１では、マーカ３を装着した状態の作業者１の作業中の画像を記録する。記録は、分析の目的にあわせた期間行われる。例えば、ロット単位や直単位などである。

次に、画像データからマーカ３の座標データに変換する（ステップｎ３−２）。このステップｎ３−２では、記録画像を解析し、マーカ３の位置を画像のＸ，Ｙ座標に変換する。また、リストバンドや手袋を用いる場合は、映像上からマーカ３の色を抽出し、色の重心位置をマーカ３のＸ，Ｙ座標として抽出する。また、前フレームとの位置の差から、マーカの速度を計算する。抽出した座標および速度は、「座標データ」として座標データ蓄積部６に保存する。

次に、作業動作の境界を検出する（ステップｎ３−３）。

このステップｎ３−３では、座標データから動作境界となるフレームＮＯ．を検出する。作業動作の境界は、複数あるため、「座標データ」中のすべての動作の境界を、後述のようにして検出する。

次に、検出された動作境界のフレームＮｏに基づいて、動作境界の位置まで画像を早送りし、表示する（ステップｎ３−４）。すなわち、画像を１コマ１コマ送る必要がなく、動作境界の画像までスキップさせることができる。

なお、複数の動作境界に跨がるような作業もあるが、かかる作業は、ユーザの設定によって、一つの作業として指定することもできるし、複数の作業として指定することもできる。

例えば、ワークを取って装着するまでを一つの作業として指定してもよいし、ワークを取るまでの作業と、取ったワークを装着するまでの作業との二つの作業として指定してもよい。

このステップｎ３−４では、ユーザが、操作表示Ｉ/Ｆ８を操作し、再生画像に基づいて、パタンマッチングの基準パタンとして登録すべき基準作業を探索して選択する。選択した基準作業に対応する基準パタンのデータ自体は、座標データの内の時系列のＸ，Ｙ座標の値であるが、そのときの動作が基準パタンに相応しいかは、上述のように再生画像によって確認することになる。

相応しい基準パタンを決定するには、まず、画像データを早送りし、動作境界近辺でコマ送りしながら、相応しい作業動作の開始フレームＮｏ．と終了フレームＮｏとを探索することになるが、非常に手間がかかる。

そこで、動作境界として検出したフレームＮｏをインデックスとして動画像を早送して、基準作業の開始フレームＮｏ．と終了フレームＮｏ．を選択すれば、非常に効率よく選択できる。

次に、ユーザが、基準作業を選択し、基準パタンとして登録する（ステップｎ３−５）。

上記ステップｎ３−４で選択決定した基準作業の開始フレームＮｏ．と終了フレームＮｏ．との間の座標データである時系列のＸ，Ｙ座標の値を、作業ＩＤ（作業の種類を識別するＩＤ）と対応付けて、基準パタン格納部１０に保存する。

上記ステップｎ３−４，ｎ３−５を分析対象となるすべての作業に対して実施する。

これによって、分析したい作業工程に対する、すべての「基準パタン」の登録が完成することにより、構築系は終了する。

次に、運用系では、図３（ｂ）に示すように、先ず、構築時と同様に、分析すべき作業工程の画像を記録する（ステップｎ３−６）。

このステップｎ３−６では、構築時と同様に、マーカ３を装着した状態の作業者１の作業中の画像を記録する。

次に、構築時と同様に、画像データからマーカの座標データに変換し（ステップｎ３−７）、構築時と同様に、動作境界を検出する（ステップｎ３−８）。

次に、パタンマッチングにより作業を識別する（ステップｎ３−９）。

本ステップでは、運用系Ｂの動作境界検出部７で検出したすべての動作境界を対象にしており、動作境界を開始点または終了点と仮定して作業ＩＤ毎にパタンマッチングを行い、それぞれの作業に対応する開始、終了時刻（補正前）を出力する。

通常、一つの作業には、複数の作業動作が含まれるために、一つの作業内に複数の動作境界が発生し、動作境界の検出が、過検出となる。このため、パタンマッチングの評価値が一定の閾値以下の場合は、開始点、または、終了点と仮定した動作境界は無視する。

また、基準パタンとのパタンマッチングによって、作業を識別するのであるが、分析対象となる実際の作業では、作業者の個人差などに起因して、基準パタンに比べて作業時間に伸びや縮みが生じる。

このため、一つの基準パタンに対応する作業（時系列座標）が見つかった場合で、基準パタンの開始点または終了点が、検出した動作境界に一致しない場合で、かつ、一致しない側の最近傍の動作境界との差（フレーム数）が一定の閾値以下の場合には、動作境界に対応するフレームＮｏ．を補正値として採用する。

すなわち、パタンマッチングによって特定された作業の開始点あるいは終了点を、検出した動作境界のフレームＮｏ．で補正して、作業者の個人差などに起因する作業時間の伸び縮みを補正するのである。

座標データ蓄積部６の「座標データ」に含まれているすべての座標データに対して、パタンマッチングを実行し、パタンマッチングで検出した基準パタンの作業ＩＤと動作境界から得た、作業の開始/終了時刻（フレームＮＯ．から換算）を一時記憶領域に保存する。

次に、作業の開始/終了時間を計算する（ステップｎ３−１０）。

上記ステップｎ３−９で一時記憶して保存したＩＤと作業の開始/終了時間を集計する。具体的には、同一作業ＩＤに対する、作業時間の平均、分散、最大、最小を計算する。時間は、１つの作業に要したフレーム数と画像のフレームレート（標準で３０フレーム/秒）から算出する。

次に、統計情報を出力する（ステップｎ３−１１）。

上記ステップｎ３−１０で集計した作業情報（平均、分散、最大、最小）などを操作表示Ｉ/Ｆ８に表示する。

表示した情報から、作業時間の大きい作業、作業時間のばらつきの大きい作業が改善対象であると読み取ることができる。

次に、動作境界検出部７の詳細を、図４のブロック図に基づいて説明する。

この実施形態の動作境界検出部７は、以下の４つの各検出手法をそれぞれ用いた第１〜第４の検出部７−１〜７−４から構成されている。

すなわち、動作境界検出部７は、移動距離に基づく検出手法を用いた第１の検出部７−１と、移動角度に基づく検出手法を用いた第２の検出部７−２と、情報量に基づく検出手法を用いた第３の検出部７−３と、固有空間に基づく検出手法を用いた第４の検出部７−４とを備えており、第１，第２の検出部７−１，７−２の検出結果を論理和し、更に、第３の検出部７−３の検出結果および第４の検出部７−４の検出結果を論理和するようにしている。各検出部７−１〜７−４からの検出結果は、動作境界のフレームＮｏとして出力され、それらのフレームＮｏを、同一フレームＮｏが重複しないように論理和する。

各検出部７−１〜７−４の各検出手法には、それぞれ、以下のような特徴がある。

１）移動距離に基づく検出手法：
比較的大きな動作の境界を安定して検出できるため、主要な動作の境界を検出する。

２）移動角度に基づく検出手法：
比較的小さな動きでも、往復動作の動作境界を検出する。

３）情報量に基づく検出手法：
微小な動きを移動方向に依存せず、高感度に検出する。

４）固有空間に基づく検出手法：
早い動き、遅い動きが混在していても、高感度に検出する。

情報量に基づく検出手法と固有空間に基づく検出手法とは、作業内容によっては、やや過検出になることがあるため、作業の内容や質に応じて、論理和をとることを止めてもよい。

すなわち、本発明の他の実施形態として、情報量に基づく検出手法を用いる第３の検出部７−３および固有空間に基づく検出手法を用いる第４の検出部７−４の少なくともいずれか一方を省略してもよい。

次に、それぞれの検出手法を説明する。

先ず、第１の検出部７−１による移動距離に基づく検出手法について説明する。

図５は、移動距離に基づく検出手法の概念を示しており、同図（ａ）は手首に装着されたマーカ３の移動の速度波形を示し、同図（ｂ）は、マーカ３のＸ，Ｙ座標における位置を示している。

一般に、組立て系作業では、作業の境界で、速度が極小を示すことが多い。このため、２つの速度極小（ｔ１，ｔ２）間を結んだＸ，Ｙ座標における直線距離Ｄが一定以上であれば、１つの動作とみなすことができる。図５の例では、速度の極小を示すフレームＮＯ．ｔ１とフレームＮｏ．ｔ２とを動作の境界として検出したことになる。

単純に速度の極小を利用すると、計測ノイズや速度の揺らぎの影響を受けるため、この実施形態では、次に説明する方法で動作境界を検出している。

図６は、この検出方法の手順を示すフローチャートである。

先ず、マーカ３の位置座標を取得する（ステップｎ６−１）。このステップｎ６−１では、座標データからマーカ３の位置座標の時系列データを取得する。

次に、マーカ３の速度を算出する（ステップｎ６−２）。このステップｎ６−２では、座標データから、時系列の速度データを生成する。速度はＸ方向とＹ方向との合成速度である。

つまり、時刻ｎ（フレームＮｏ．ｎ）における速度Ｖ（ｎ）は、次式で示される。

次に、算出した速度を移動平均して平滑化する（ステップｎ６−３）。速度に変換したデータには、動作の境界に対応した速度の極小（以下「ボトム」ともいう）以外に、座標変換時のノイズや、人の動きのブレに基づく微小なボトムが多数存在する。

速度データを移動平均することにより、動作の境界に関係のない微小なボトムを排除することができる。

そこで、移動平均した速度データのボトムを検出し、ボトム候補１とする（ステップｎ６−４）。すなわち、移動平均した速度データから、速度が極小となる点を検出し、ボトム候補１とする。

フレームＮｏ. ｎがボトムとなるのは、その時刻ｎにおける速度Ｖ（ｎ）が、次の式を満足するときである。

Ｖ（ｎ−１）＞Ｖ（ｎ）＜Ｖ（ｎ＋１）
ボトム候補１は、ノイズ等は除去されるけれども、移動平均によって、時間の精度が低下している。

そこで、時間が正確なボトム候補を得るために、ステップｎ６−２で算出した平滑していない速度からピークとボトムとを検出する（ステップｎ６−５）。このステップｎ６−５では、移動平均することなく、速度データから直接速度の極大（ピーク）とボトムになる点を検出する。

フレームＮｏ．ｎがピークとなるのは、その時刻ｎにおける速度Ｖ（ｎ）が次の式を満足するときである。

Ｖ（ｎ−１）＜Ｖ（ｎ）＞Ｖ（ｎ＋１）
次に、検出したボトムに対して隣接する２つのピークとの関係が、次の条件を満たすボトムをボトム候補２とする（ステップｎ６−６）。

図７は、このボトム候補２の判定条件を説明するための速度波形の一部を示す図である。同図において、Ｂ１は、判定の対象となる検出されたボトムであり、Ｐ１，Ｐ２は、判定に用いる隣接する２つのピークである。

このステップｎ６−６では、１つの着目するボトムＢ１に対して、そのボトムＢ１がノイズであるか否かを、隣接するピークＰ１，Ｐ２との関係から判定する。

具体的には、次の条件のボトムは、ノイズと判断して、動作境界候補から除外する。

ａ）判定対象のボトムＢ１の速度が、閾値λ１以下（動き小）の場合であり、かつ、２つの隣接するピークＰ１，Ｐ２双方と判定対象ボトムＢ１との速度差が閾値λ２以下なら候補としない。

ｂ）判定対象のボトムＢ１の速度が、λ１以上（動き大）であり、かつ、２つの隣接するピークＰ１，Ｐ２の少なくとも一方と判定対象ボトムＢ１との速度差が、閾値λ２以下なら候補としない。

上記２つの条件に該当するボトムは、計測ノイズ、または、人の動きの迷いやブレとみなして除外する。

上記２つの条件に該当しないボトムを、ボトム候補２として保持する。

図７の例では、判定対象のボトムＢ１は、速度がλ１以上（動き大）であり、
２つの隣接するピークＰ１，Ｐ２と判定対象ボトムＢ１との速度差が、閾値λ２以上であるので、上記二つの条件に該当せず、ボトム候補２となる。

次に、ボトム候補１のフレームＮｏ．を、最も近いボトム候補２のフレームＮｏ．で補正する（ステップｎ６−７）。

ボトム候補１のボトムは、上述のように平滑化のために時間的正確性が低下している一方、ボトム候補２は、時間は正確だが、多くのノイズを含んでいる可能性がある。

そこで、図８に示すように、同図（ａ）のボトム候補１の検出時間（フレームＮｏ．)を、同図（ｂ）の最近傍のボトム候補２に対応させ、同図（ｂ）に示すように、対応するボトム候補２の検出時間（フレーム番号）に補正する。

これによって、検出時間（フレーム番号）が補正されたボトム候補１は、平滑によってノイズ的なボトムが排除され、更に、ボトム候補２を利用して時間精度を高めた動作境界となる。

次に、ボトム間の移動距離が閾値以上のボトム発生位置を保持する（ステップｎ６−８）。

このステップｎ６−８では、上記ステップｎ６−７で検出したボトムの内、図５に示すように、ボトム間の距離が閾値以上になる組のボトムを動作境界として保持する。

図９は、計測した速度波形の一例を示しており、図１０は、移動距離に基づく検出手法によって動作境界として検出されたボトムに、「＋」のマークを付したものである。

次に、移動角度に基づく検出手法について説明する。

図１１は、移動角度に基づく検出手法の概念を示すものであり、同図（ａ）は手首に装着されたマーカ３の移動の速度波形を示し、同図（ｂ）は、マーカ３のＸ，Ｙ座標における位置および方向ベクトルを示している。

移動距離に基づく検出手法は、物を取る、運ぶなどの比較的大きな動作の境界候補を安定して検出できるが、電動ドライバによるねじ締め作業のような、動作の小さい繰り返し作業を検出できないことがある。

このような作業は、ねじを取る−締め付けるといった狭い範囲での繰り返し動作であることが多い。

そこで、図１１に示すように、３つの速度ボトムｔ１，ｔ２，ｔ３に着目し、ボトムとボトムとを結ぶ移動ベクトルの角度θが一定範囲であるものを検出する。例えば、狭い範囲での往復運動であれば、θを１２０〜１８０ｄｅｇ程度に設定すればよい。

次に、図１２のフローチャートに基づいて、動作を説明する。

この図１２のステップｎ１２−１からステップｎ１２−７は、上述の移動速度に基づく検出方法の図６のステップｎ６−１からステップｎ６−７と基本的に同様であって、上述の図７のボトム候補２を検出するための閾値λ１，λ２が異なるのみであるので、その説明は省略する。

ステップｎ１２−７で検出したボトムについて、フレームＮｏ．の昇順に３つのボトム（ｔ１，ｔ２，ｔ３）を選択し、ボトムｔ１とｔ２、および、ボトムｔ２とｔ３の座標データから、方向ベクトルを生成する。

図１１に示すように、生成した方向ベクトルの形成する角度θが、閾値で規定される一定範囲内であれば、ｔ２のフレームＮｏ．を動作境界として保持する（ステップｎ１２−８）。

図１３は、上述の図９の速度波形に対して、移動角度に基づく検出手法を用いて検出した結果を示す図である。

この図１３に示されるように、細かい動きの動作境界を得ることができる。

すなわち、比較的速度の遅い小さな動作も検出できる。

次に、情報量に基づく検出手法について説明する。

情報量に基づく検出手法では、動作の境界候補を、時系列波形の構造変化として検出する。

速度の時系列データｘ（ｎ）の短時間フレームｌ内のデータは、ＡＲモデル（自己回帰モデル）表現を用いて次式のように表現することができる。

なお、短時間フレームとは、複数フレームのかたまりをいい、分析対象の作業が何フレーム分連続するか、および、１秒当たり何フレーム撮像するか（フレームレート）に応じて選択すればよく、例えば、１０フレーム程度としてもよい。

ここで、ｘ（ｎ）：時系列データ（マーカの合成速度）
ｎ：時刻（フレーム番号）
Ｍ：ＡＲモデルの次数
ａ_ｍ，ｌ：短時間フレームｌにおけるｍ次のＡＲ係数
ｅ_ｌ（ｎ）：予測誤差
図１４（ａ）に示す時系列の波形である速度データを、フレーム幅ｗで、図１４（ｂ）および図１５に示すように、着目フレームｎ（着目時刻）を含んでそれ以前の事前区間短時間フレーム、および、着目フレームｎを含んでそれ以降の事後区間短時間フレームでそれぞれ切り出し、それぞれをＡＲモデルに当てはめると、それぞれをモデル化することができる。

両者に違いがなければ、ＡＲモデル、および、モデル化誤差も似たものになる。もし、両者に違いがあれば、ＡＲモデルやモデル化誤差は異なるものになる。

このことを利用し、事前区間短時間フレームと事後区間短時間フレームとを、図１４（ｂ）に示すように、時間軸方向に１フレームずつ、ずらしながら両者のＡＲモデルを比較することにより、速度の時系列波形の構造変化点を検出することができる。

本手法では、モデルパラメータの近さを表す規範には、図１４（ｃ）に示すKullback-Leibler情報量(ＫＬ情報量)を用いる。ＫＬ情報量は、２つの確率密度関数を比較するための尺度のひとつである。この尺度によりＡＲモデルのパラメータの近さを評価することができる。

次に、情報量の計算方法について説明する。

ここで、ｆ_ｋ−１を事前区間短時間フレーム、ｆ_ｋを事後区間短時間フレームとしてＡＲモデルでモデル化し、ｆ_ｋ−１を基準としてＫＬ情報量で両者の近さを比較するとＫＬ情報量は、次式で表現できる。

ここで、Ｅ［・］は期待値を示し

を示す。

ここで、Ｒ：相関行列
ｒ：相関係数
（σ_ｋ）^２：事後短時間フレーム区間の予測誤差分散
（σ_ｋ−１）^２：事前短時間フレーム区間の予測誤差分散
なお、上記式の＿（アンダーバー）は、スカラ値でないベクトルであることを示している。

一方、ｆ_ｋを基準とした場合のＫＬ情報量Ｉ［ｆ_ｋ，ｆ_ｋ−１］は、次式となる。

ここで、ｆ_ｋ−１を基準とした［ｆ_ｋ−１，ｆ_ｋ］を第１ＫＬ情報量、ｆ_ｋを基準としたＩ［ｆ_ｋ，ｆ_ｋ−１］を第２ＫＬ情報量と呼ぶことにする。

詳細な導出過程は、以下の文献に記載がある。

Shunichiro Oe, Soeda Takashi and Nakamizo Takayoshi : A Method of Predicting Failure or Life for Stochastic Systems by Using Autoregressive Models, International Journal of Systems Science, Vol.11, No.10, pp.1177-1188, 1980.
Leak detection for transport pipelines based on autoregressive modeling
Wang, G.; Dong, D.; Fang, C.
Instrumentation and Measurement, IEEE Transactions on
Volume 42, Issue 1, Date: Feb 1993, Pages: 68 - 71
次に、第１ＫＬ情報量と第２ＫＬ情報量との関係について説明する。

第１ＫＬ情報量と第２ＫＬ情報量とは、Ｉ［ｆ_ｋ−１，ｆ_ｋ］≠Ｉ［ｆ_ｋ，ｆ_ｋ−１］のため、一方のみでは、時系列波形の変化を感度よく捉えることができない。

図１６（ａ）は、模擬の速度波形としてｓｉｎｃ関数を用いて、上述の図１５に示すように、着目フレームｎを、事前短時間フレームと事後短時間フレームとの境界として切り出し、第１ＫＬ情報量と第２ＫＬ情報量とを計算した場合の情報量のピークを示す図である。

この図１６（ａ）に示すように、第１，第２のＫＬ情報量のピークが、ｓｉｎｃ関数の変化点であるピークやボトムから約ｗ／２ずれた位置に出現し、第１，第２のＫＬ情報量のピークを用いて速度波形のボトムを検出するのが困難である。

このため、この実施形態では、或るフレームｎに着目した場合、その着目フレームに対する情報量は以下の手順で求める。

１）或るフレームｎに対するＫＬ情報量を計算する場合、図１７に示す範囲を第１ＫＬ情報量、第２ＫＬ情報量の計算範囲として切り出す。

２）第１ＫＬ情報量と第２ＫＬ情報量とを加算した結果を総合的な評価指標にする。

上述の図１５では、着目するフレームｎを含んでそれ以前の事前区間短時間フレーム、および、着目するフレームｎを含んでそれ以降の事後区間短時間フレームを、それぞれフレーム幅ｗで切り出し、事前区間を基準としたＫＬ情報量を第１ＫＬ情報量とし、事後区間を基準としたＫＬ情報量を第２ＫＬ情報としたのに対して、図１７では、第１ＫＬ情報量用の事前区間短時間フレームと事後区間短時間フレームとを、フレーム幅ｗで切り出すとともに、第２ＫＬ情報量用の事前区間短時間フレームと事後区間短時間フレームとを、区間幅ｗで切り出すようにしている。

すなわち、第１ＫＬ情報量用の事前短時間フレームは、着目するフレームｎ（着目時刻）を略中央にしたフレーム幅ｗのフレーム区間であり、第１ＫＬ情報量用の事後短時間フレームは、事前短時間フレームと１フレームだけ重なるように後にずらしたフレーム区間である。

また、第２ＫＬ情報量用の事後短時間フレームは、第１ＫＬ情報量用の事前短時間フレームを、１フレーム前にずらしたフレーム幅ｗのフレーム区間であり、第２ＫＬ情報量用の事前短時間フレームは、事後短時間フレームと１フレームだけ重なるように前にずらしたフレーム区間である。

上記処理により、図１６（ｂ）の実線で示すように、第１ＫＬ情報量と第２ＫＬ情報量とを加算した総合情報量のピークが、ｓｉｎｃ関数のピークあるいはボトムに一致し、感度よく検出することができる。

動作境界は速度のボトムになることが多いため、第１ＫＬ情報量と第２ＫＬ情報量を加算し、総合評価値のピーク値を選択すればよいことがわかる。

次に、情報量に基づく検出方法の動作を図１８のフローチャートに基づいて説明する。
先ず、マーカの位置座標を取得する（ステップｎ１８−１）。このステップｎ１８−１では、「座標データ」からマーカの位置座標である時系列データを取得する。

次に、マーカの速度を算出する（ステップｎ１８−２）。このステップｎ１８−２では、座標データから、時系列の速度データを生成する。速度は、Ｘ方向とＹ方向の合成速度である。

次に、図１４（ｂ）に示すように、事前短時間フレームと事後短時間フレームとを、１フレームずつずらしながら、以下のステップｎ１８−４〜ステップｎ１８−８を繰り返す。

ステップｎ１８−４では、事前区間の短時間フレーム切り出す。

すなわち、フレームｎに着目し、図１７に示すように、第１ＫＬ情報量用と第２ＫＬ情報量用の事前短時間フレームをそれぞれ切り出す。

次に、事後区間の短時間フレーム切り出す（ステップｎ１８−５）。すなわち、フレームｎに着目し、図１７に示すように、第１ＫＬ情報量用と第２ＫＬ情報量用の事後短時間フレームを切り出す。

次に、事前区間のモデルパラメータを算出する（ステップｎ１８−６）。このステップｎ１８−６では、上記ステップｎ１８−４で切りだした第１ＫＬ情報量用と第２ＫＬ情報量用の事前短時間フレームに関して、ＡＲ係数を求める。ＡＲ係数はｂｕｒｇ法などの周知の方法で計算する。

次に、事後区間のモデルパラメータを算出する（ステップｎ１８−７）。このステップｎ１８−７では、上記ステップｎ１８−５で切りだした第１ＫＬ情報量用と第２ＫＬ情報量用の事後短時間フレームに関して、同様にＡＲ係数を求める。

次に、ＫＬ情報量を演算し、フレームＮｏ．ｎの変化度ＲＣを演算する（ステップｎ１８−８）。このステップｎ１８−８では、上記式（２），（３）を用いて、位置ｎの変化度ＲＣを以下のように求める。

ＲＣ（ｎ）＝Ｉ［ｆ_ｋ−１，ｆ_ｋ］＋Ｉ［ｆ_ｋ，ｆ_ｋ−１］
次に、ＲＣがピーク、かつ、ＲＣ＞閾値となるフレームＮｏ．を動作境界として保持する（ステップｎ１８−９）。このステップｎ１８−９では、ステップｎ１８−８で計算したＲＣ（ｎ）のうち、ピークとなる点を選択する。ここでは、ＲＣ（ｎ−１）≦ＲＣ（ｎ）＞ＲＣ（ｎ＋１）または、ＲＣ（ｎ−１）＜ＲＣ（ｎ）≧ＲＣ（ｎ＋１）となる点を頂点とする。

次に、頂点となるＲＣ（ｎ）のうち、ＲＣ（ｎ）が閾値以上となるフレームＮｏ．を境界候補として保持する。

上記ステップにより、比較的動きが小さい場合でも、高感度に動作境界を検出することができる。

ただし、この方法では、速度のボトムだけでなく、速度のピークも検出するため、過検出となる。

速度のピークを無視したい場合は、検出結果から、速度が一定以上のフレームを削除すればよい。

図１９に情報量に基づく検出結果の例を示す。なお、速度のピークは、動作境界から除外される。

次に、固有空間に基づく検出手法について説明する。

固有空間に基づく検出手法では、動作の境界を時系列波形の構造変化として検出する。
速度の時系列データから作成した、基準行列を特異値分解することによって得た基準パターン(過去の傾向)とテストベクトル（現在の傾向）の変化をノルム差によって定量化し、変化度として出力する。

図２０に基づいて、固有空間に基づく検出手法の概要について説明する。

図２０（ａ）の速度の時系列データのフレームｎに着目する場合、図２０（ｂ）に黒色で示す着目フレームｎを含む現在の状態を示すテストベクトル

と、図２０（ｂ）に示すように、それ以前の過去の傾向を含む基準行列

とを比較することにより、現在のテストベクトルが過去とどの程度異なるかを指標化することができる。

なお、上記式（４），（５）において、
ｘ（ｎ）：時系列データ（マーカの合成速度）
ｗ：分析フレーム数
ｋ：基準行列の列数
また、下付きの添え字Ｔは、テスト（評価）対象を示す識別子であり、上付きの添え字Ｔは、転置を示している。

具体的には次のような手順を取る。

ここで、

である。

なお、上記式のσは、上記式（２），（３）と異なり、特異値であり、下付きの添え字Ｂは、基準（過去のデータ）を示す識別子である。

このとき、特異値が大きいものほど代表的な成分とみなせるので、特異値の大きなものからｌ個（ｌ≦ｒ）選び、対応する左特異ベクトルを用いて以下に示すような行列を作成する。

この行列を、時刻ｎに対する固有空間とする。

ｌの値は任意であるが、以下に示すような累積寄与率を参考にしてもよい。

もし、基準行列の区間とテストベクトルの区間が類似している場合、テストベクトルと、固有空間に射影されたテストベクトルの長さは類似していると考えることができる。

そこで、射影前、射影後のテストベクトルのノルム差を、フレームｎにおける変化度の指標ＲＣ_Ｄ（ｎ）として定義すれば、テストベクトルが、過去の状態とどの程度異なるかを評価することができる。

動作境界では、境界の前後で時系列の状態が変化するため、上記評価式で変化を捕捉することができる。

なお、特異値分解については、例えば、下記の公知文献等がある。

V. Moskvina and A. Zhigljavsky. (2003) Change-point detection algorithm
based on the singular-spectrum analysis,
Communication in Statistics: Simulation & Computation, 32, 319-352
井出剛, 井上恵介, 非線形変換を利用した時系列データからの知識発見,
Proceedings of the Fourth Data Mining Workshop (The Japan Society for
Software Science and Technology, Tokyo, 2004),
ISSN 1341-870X, No.29, 2004, pp.1-8.
次に、固有空間に基づく検出方法の動作を図２１のフローチャートに基づいて説明する。

先ず、マーカの位置座標を取得する（ステップｎ２１−１）。このステップｎ２１−１では、「座標データ」からマーカの位置座標の時系列データを取得する。

次に、マーカ速度を算出する（ステップｎ２１−２）。このステップｎ２１−２では、座標データから、速度データ（時系列）を生成する。速度はＸ方向とＹ方向の合成速度である。

次に、図２０（ｂ）に示すように、テストベクトルと基準ベクトルを１フレームづつずらして、以下のステップｎ２１−４〜ステップｎ２１−８を繰り返す。

ステップｎ２１−４では、基準行列を取得する。このステップｎ２１−４では、フレームｎに着目し、上述の式（５）示すように、基準行列を作成する。

次に、テストベクトル取得する（ステップｎ２１−５）。このステップｎ２１−５では、フレームｎに着目し、上述の式（４）に示すように、テストベクトルを切り出す。

次に、特異値分解を行う（ステップｎ２１−６）。このステップｎ２１−６では、上記式（６）の基準の共分散行列を特異値分解し、上記式（７）の左特異行列を得る。

次に、ユーザに指定された寄与率または、主成分数までの上記式（１０）の特異行列を作成する。

次に、上記式（１２）を利用して、フレームＮｏ．ｎの評価値ＲＣ_Ｄ（ｎ）を計算する（ステップｎ２１−７）。

次に、ＲＣ_Ｄがピーク、かつ、ＲＣ_Ｄ＞閾値となるフレームＮｏ．を動作境界として保持する（ステップｎ２１−８）。このステップｎ２１−８では、上記ステップｎ２１−７で計算したＲＣ_Ｄ（ｎ）のうち、ピークとなる点を選択する。ここでは、ＲＣ_Ｄ（ｎ−１）≦ＲＣ_Ｄ（ｎ）＞ＲＣ_Ｄ（ｎ＋１）または、ＲＣ_Ｄ（ｎ−１）＜ＲＣ_Ｄ（ｎ）≧ＲＣ_Ｄ（ｎ＋１）となる点を頂点とする。

次に、頂点となるＲＣ_Ｄ（ｎ）のうち、ＲＣ_Ｄ（ｎ）が閾値以上となるフレームＮｏ．を動作の境界として保持する。

上記ステップにより、動作速度が早いもの遅いものが混在しても、高感度に動作境界候補を検出することができる。

図２２に固有空間に基づく検出結果の例を示す。なお、速度のピークは、動作境界から除外される。

図２３は、上述の各検出手法を組み合わせた動作境界検出のフローチャートである。

先ず、移動距離に基づき動作境界を検出し(ステップｎ２３−１)、移動角度に基づき動作境界を検出し(ステップｎ２３−２)、分析区間の情報量に基づいて動作境界を検出し(ステップｎ２３−３)、分析区間の固有空間に基づいて動作境界を検出し（ステップｎ２３−４)、分析結果を総合する(ステップｎ２３−５)。この分析結果の総合では、移動距離に基づく検出結果と移動角度に基づく検出結果との論理和をとり（ステップｎ２３−５−１）、更に、情報量に基づく検出結果と論理和をとり（ステップｎ２３−５−２）、固有空間に基づく検出結果と論理和をとって動作境界候補を決定する（ステップｎ２３−５−３）。

上述のように、速度の極小点を動作の境界として検出するので、動作の切れ目とならない箇所、すなわち、速度が低下しない箇所に、作業の境界を設定することができない場合がある。

例えば、図２４（ａ）に示すように、作業者１が、ワーク１３を右から左に移動するまでを作業Ｓ１、ワーク１３から手を離し別の部品を取るまでを別作業Ｓ２とする場合、同図（ｂ）に示す速度波形には、作業の境界に目立った速度変化が現れないことがある。

上記作業の時間を計測する用途で、動作境界を作業境界候補として提示しても、用途に合わないケースがある。

このような場合の対応を図２５および図２６を用いて説明する。

図２５は基準作業登録時を、図２６は運用時の状態をそれぞれ示している。

図２５の基準作業登録時には、検出した動作境界を早送りのインデックスとして画像を再生する。ユーザが、同図（ｂ）に示す速度の極小点に対応する動作の境界候補ｂｋ〜ｂｋ＋１間を、１つの作業として定義することが適当でないと考える場合には、ユーザが適当と考える作業の開始または終了位置（図では作業Ａの終了位置）を任意場所に指定する（図中Ｔｂの位置）。

作業登録時に、作業の開始ｂｋから指定された終了Ｔｂまでの間の波形を、同図（ｅ）に示すように基準パタンとして登録するだけでなく、オフセット情報として前後の動作境界からのフレーム数ｏｆｓｔｂｋ,ｏｆｓｔｂｋ＋１を基準パタンとセットで登録する。

すなわち、図２５では、前の動作境界ｂｋから指定した終了時点Ｔｂまでのフレーム数を、オフセットフレーム情報ｏｆｓｅｔｂｋとして、また、指定した終了時点Ｔｂから後の動作境界であるｂｋ＋１までのフレーム数を、オフセットフレーム情報ｏｆｓｅｔｂｋ＋１として登録する。

図２６は、運用時を示している。一般に、人の動作にはバラつきがある。図２６では、同図（ａ）の一点鎖線で示す基準パタン登録時より、実線で示す計測時は、素早く動いた例を示している。

まず、動作境界検出で検出した位置を起点/または終点としてパタンマッチングを行う。図では、動作境界の起点Ｔｊを基準としてパタンマッチングを行い、Ｔｎ＋ｎが動作の終点として検出される。

図（ｂ）からわかるように、素早く動いた場合、作業の終了時刻のずれが生じる。

このずれを補正するために、基準パタン登録時に保存したオフセット情報を利用する。

具体的には、検出した動作境界候補ＴｊとＴｎ＋ｍ間を、オフセット情報ｏｆｓｔｂｋ：ｏｆｓｔｂｋ＋１＝ｄ１：ｄ２と同じ比率になるように分割し、分割点Ｔｎ＋ｋを補正後の作業終了時刻とする。

上記の処理により、作業の境界が動作の境界にない場合でも、作業の開始/終了時刻が正確に推定できる。

なお、登録時よりもゆっくり動いた場合でも、同様なずれが発生し、同様に補正される。

図２７は、この登録時と運用時のフローチャートを示しており、上述の図３に対応する部分には、同一の符号を付している。

登録時には、ステップｎ３−５において、表示位置から境界位置を補正するか否か選択し（ステップｎ３−５−１）、ユーザが位置を補正することを選択した場合には（ステップｎ３−５−２）、ユーザの指定に応じて、オフセットフレーム情報を保存し（ステップｎ３−５−３）、基準作業を登録する（ステップｎ３−５−４）。

一方、運用時には、ステップｎ３−９のパタンマッチングにおいて、オフセット情報があるか否かを判断し（ステップｎ３−９−２）、オフセット情報がある場合には、境界候補を、オフセット比に比例した位置に補正し（ステップｎ３−９−３）、開始終了位置を保存する（ステップｎ３−９−５）。

(その他の実施形態)
上述の実施形態では、動作の境界を検出して作業工程の分析を行ったけれども、本発明の他の実施形態として、作業安全を確保するのに用いることもできる。

例えば、プレス（圧縮、圧延）、レーザや熱処理などの危険な工程が組立て・加工作業にある場合、作業安全を確保するために、危険領域に対するインターロックスイッチや、蓋（扉）などが設けられている。

また、安全状態であることを確認後、危険が伴う加工工程の操作を行う手順が設けられていることが一般的である。

しかしながら、作業者の不注意・なれ（怠慢）・疲労などにより、安全確認が不十分であったり、不安全な状態で加工作業が開始され、重大な事故につながる場合がある。

安全確認の意思を持ったボタンの押し込みや指先確認などを想像すれば判るように、確実な安全装置の操作や安全確認がされた場合、人の動作には明確な動作の境界が観察できる。

もし、安全確認必要な作業の前後で、明確な動作の境界が検出できなくなった場合、作業者の安全確認、安全のための操作が不十分になったと判定できる。このことを利用して、作業者の安全状態をモニタする。

次に、本実施例での動作を、上述の実施形態と異なる部分のみ説明する。

具体的な違いは、図１の作業識別部１１の図３（ｂ）のステップｎ３−９の処理だけである。

検出した動作境界を開始点または終了点と仮定し、基準パタン格納部１０に格納しているすべての作業に対してパタンマッチングを実行し、最も一致度の高い作業ＩＤを選択して作業を検出する。

正常時には、図２８（ａ）に示すように、登録されている作業順序、すなわち、作業１→作業２→作業３→作業４→作業５…の順序で、作業が検出される。

これに対して、作業に抜けがあった場合には、その作業に対応する動作境界が検出されず、作業の抜けを判定することができる。

抜けた作業が安全確認作業、または、安全確保のための作業であった場合、明確な動作境界が出現しておらず、確実な安全確保ができていない恐れがある。

そこで、抜けている回数が所定の回数を超えた場合、不安全状態として、警告を出力する。

例えば、図２８（ｂ）に示すように、例えば、安全確認に関る作業３が明確に行われず、作業３に伴う動作境界が明確に検出できず、このため、後続の作業４を検出できず、先に、作業５が検出されてしまうことになる。これによって、作業の抜けを判定することができる。

なお、検出できなかった作業４は、作業順序から想定できる区間、図２８（ｂ）では、作業３と作業５の間で探索し、作業４を検出する。

本発明は、作業工程の分析などに有用である。

本発明の作業分析システムの概略構成を示すブロック図である。カメラによる撮影画像および動作の速度波形を示す図である。構築系および運用系の処理手順を示すフローチャートである。図１の動作境界検出部の構成図である。移動距離に基づく動作境界の検出の概要を説明するための図である。移動距離に基づく動作境界の検出動作の説明に供するフローチャートである。速度の極小点と隣接する二つの極大点との関係を説明するための波形図である。極小点の候補およびその補正を説明するための速度の波形図である。計測した速度波形の一例を示す図である。移動距離に基づく動作境界の検出結果を示す波形図である。移動角度による動作境界の検出の概要を説明するための図である。移動角度に基づく動作境界の検出動作の説明に供するフローチャートである。移動角度に基づく動作境界の検出結果を示す波形図である。情報量に基づく動作境界の検出の概要を説明するための図である。信号区間の設定を示す図である。模擬の速度波形とそれに基づく情報量との関係を示す図である。実施形態の信号区間の設定を示す図である。情報量に基づく動作境界の検出動作の説明に供するフローチャートである。情報量に基づく動作境界の検出結果を示す波形図である。固有空間に基づく動作境界の検出の概要を説明するための図である。固有空間に基づく動作境界の検出動作の説明に供するフローチャートである。固有空間に基づく動作境界の検出結果を示す波形図である。実施形態の検出動作の説明に供するフローチャートである。速度が極小とならない動作境界を説明するための図である。基準パタンの登録時（構築時）の状態を示す図である。計測時（運用時）の状態を示す図である。図２５および図２６の動作説明に供するフローチャートである。他の実施形態を説明するための図である。

符号の説明

１作業者
２カメラ
４画像データ蓄積部
７動作境界検出部
８基準パタン格納部
１１作業識別部

Claims

人の動作の境界を検出する方法であって、
前記動作の位置および速度の時系列信号を取得する取得ステップと、
前記速度の連続する極小点に対応する位置の間の移動距離が、閾値を越える前記連続する極小点を動作境界として検出する移動距離に基づく検出ステップと、
前記速度の三つの連続する極小点に対応する三つの位置から求められる二つの移動方向のなす角度が、一定範囲にある前記三つの連続する極小点の二番目の極小点を動作境界として検出する移動角度に基づく検出ステップと、
を備えることを特徴とする動作境界検出方法。
前記速度の時系列信号に対して、着目時刻に応じて複数の信号区間を設定し、設定した前記信号区間の情報量を評価値とし、該評価値の極値が所定の閾値を越えた前記着目時刻を動作境界として検出する情報量に基づく検出ステップを、更に備える請求項１に記載の動作境界検出方法。
前記速度の時系列信号の、着目時刻を含む評価対象区間から得られるベクトルの長さと、該ベクトルを、前記着目時刻よりも前の区間から得られるベクトルに基づく固有空間に射影したベクトルの長さとの差を評価値とし、前記評価値の極値が、所定の閾値を越えた前記着目時刻を動作境界として検出する固有空間に基づく検出ステップを、更に備える請求項１または２に記載の動作境界検出方法。
前記取得ステップは、マーカを装着した前記人の動作をカメラで撮影し、撮影した画像データから動作の位置および速度の時系列データを取得するものであり、
検出される前記動作境界が、前記画像データのフレーム情報に対応する請求項１〜３のいずれか一項に記載の動作境界検出方法。
前記移動距離に基づく検出ステップおよび前記移動角度に基づく検出ステップの少なくともいずれか一方の検出ステップは、前記速度の極小点を確定するための前処理ステップを含み、
該前処理ステップは、前記時系列信号の極小点と、該極小点を挟む隣接する二つの極大点との関係に基づいて、極小点を選択する選択ステップと、前記速度の時系列信号を平滑して得られる極小点の時間軸上の位置を、前記選択ステップで選択された極小点の位置で補正して前記速度の極小点を確定する補正ステップとを含む請求項１〜４のいずれか一項に記載の動作境界検出方法。
前記選択ステップでは、前記極小点の速度が閾値以下であって、かつ、前記極小点と隣接する二つの前記極大点双方との速度差が閾値以下のときには、極小点として選択せず、また、前記極小点の速度が前記閾値以上であって、かつ、前記極小点と隣接する二つの前記極大点の少なくとも一方との速度差が閾値以下のときには、極小点として選択しない請求項５に記載の動作境界検出方法。
前記情報量に基づく検出ステップでは、前記情報量の評価値の極値が、前記速度の時系列信号の極値に一致するように、前記複数の信号区間を設定する請求項２に記載の動作境界検出方法。
前記情報量に基づく検出ステップでは、第１の情報量と第２の情報量とを加算した情報量を、着目時刻の情報量の評価値とするものであって、
前記第１の情報量が、着目時刻を含む第１信号区間と、前記着目時刻より後の第２信号区間とに基づく情報量であり、
前記第２の情報量が、前記第１信号区間を前にずらした信号区間であって、かつ、前記着目時刻を含む第３信号区間と、前記着目時刻よりも前の第４信号区間とに基づく情報量である請求項２または７に記載の動作境界検出方法。
人の作業動作の境界を検出して作業を分析する作業分析システムであって、
作業動作の位置および速度の時系列信号を取得する取得手段と、
前記位置および前記速度の時系列信号に基づいて、作業動作の境界を検出する動作境界検出手段と、
前記動作境界検出手段によって検出される作業動作の境界を用いて作業を特定して分析する分析手段とを備え、
前記動作境界検出手段は、前記速度の連続する極小点に対応する位置の間の移動距離が、閾値を越える前記連続する極小点を作業動作の境界として検出する移動距離に基づく検出部と、前記速度の三つの連続する極小点に対応する三つの位置から求められる二つの移動方向のなす角度が、一定範囲にある前記三つの連続する極小点の二番目の極小点を作業動作の境界として検出する移動角度に基づく検出部とを備えることを特徴とする作業分析システム。
前記動作境界検出手段は、前記速度の時系列信号に対して、着目時刻に応じて複数の信号区間を設定し、設定した前記信号区間の情報量を評価値とし、該評価値の極値が所定の閾値を越えた前記着目時刻を作業動作の境界として検出する情報量に基づく検出部を、更に備える請求項９に記載の作業分析システム。
前記動作境界検出手段は、前記速度の時系列信号の、着目時刻を含む評価対象区間から得られるベクトルの長さと、該ベクトルを、前記着目時刻よりも前の区間から得られるベクトルに基づく固有空間に射影したベクトルの長さとの差を評価値とし、前記評価値の極値が、所定の閾値を越えた前記着目時刻を作業動作の境界として検出する固有空間に基づく検出部を、更に備える請求項９または１０に記載の作業分析システム。
前記取得手段は、前記人に装着されるマーカと、前記マーカを撮影するカメラと、該カメラからの画像データに基づいて、前記位置を演算するとともに、前記速度を演算する演算手段とを備え、
前記分析手段は、作業に応じた基準パタンが格納される基準パタン格納部と、前記カメラからの画像データに基づくパタンと前記基準パタンとのパタンマッチングによって作業を特定する作業識別部と、特定された作業の少なくとも作業時間を演算する演算部とを備え、
前記作業識別部は、前記作業動作の境界を始点または終点として前記パタンマッチングを行う請求項９〜１１のいずれか一項に記載の作業分析システム。
前記作業識別部は、前記パタンマッチングによって特定される作業の始点および終点の少なくとも一方を、前記作業動作の境界に基づいて補正する請求項１２に記載の作業分析システム。
前記分析手段は、前記カメラからの画像データを再生表示する表示部と、前記表示部の再生画像から前記基準パタンとして登録すべき基準作業を指定入力する入力部とを備え、
前記入力部は、前記作業動作の境界を、前記再生画像の検索情報として利用可能である請求項１２または１３に記載の作業分析システム。
前記分析手段は、安全に関わる作業動作の境界が検出されるか否かに基づいて、安全状態を判定する請求項９〜１４のいずれか一項に記載の作業分析システム。