JP2023028120A - 作業支援システムおよび作業支援方法 - Google Patents

Abstract

【課題】繰り返し作業における動作のバラツキを把握し、作業効率や作業精度の低下を招くことのないように、作業者の作業を支援することが可能な作業支援システムを提供する。【解決手段】作業支援システム１０００は、作業者の所定部位のセンサデータと、作業の工程又は手順を定めた作業シーケンス情報とを用いて、作業シーケンス情報に対応付けた比較作業データを出力する区間分割部１００と、作業対象の位置や作業者の位置を定めた参照エリア情報と撮像データとに基づいて、習熟度を判定する作業者の識別エリアを選定し、識別エリアにいる作業者と当該作業者の所定部位の比較作業データとを対応付ける識別エリア選定部２００と、作業者の習熟度を判定するための基準センサデータと作業シーケンス情報とを用いて、作業の工程または手順における繰り返し動作のバラツキの差に基づく作業者の習熟度を判定し、結果を提示するバラツキ計算部３００と、を有する。【選択図】図１

Description

本発明は、作業支援システムおよび作業支援方法に関する。

従来から、ワーク等の作業対象に対する作業者の作業を支援する様々な技術がある。例えば、特許文献１には、「作業時間習熟度は、画像撮影装置１１と作業映像分析装置２１から得たデータに基づいて作業者要因でない無効作業を除去した実作業時間と、予め標準作業時間ＤＢ２２に記憶した標準作業時間とを比較して算定し、品質習熟度は、組立工程品質不良入力部３１で製造中に組立及び検査工程で発生した作業者要因の品質不良発生回数を入力し、最終工程品質不良入力部３４で最終検査工程で発生した作業者要因の品質不良発生回数を入力し、この結果から算定する。更に総合作業習熟度は、作業時間習熟度と品質習熟度の合計から算定する」技術が開示されている。

また、例えば、特許文献２には、「習熟度評価装置１００の分散算出部１０３は、訓練者が動作を複数回試行したときの当該訓練者の３次元姿勢を示す３次元姿勢データを、所定の部位の位置の変化に基づいて動作のフェイズに分割し、フェイズ毎に、複数回試行の３次元姿勢データにおけるフェイズの継続時間を正規化し、正規化された３次元姿勢データを所定間隔でリサンプリングする。分散算出部１０３は、複数回試行の３次元姿勢データにおけるフェイズ毎の継続時間の分散と、リサンプリングされた３次元姿勢データから得られる所定の部位のフェイズ毎の軌跡のばらつきと、フェイズ毎にリサンプリングされた３次元姿勢データをならべた姿勢行列から得られる姿勢のばらつきと、のうち１以上から複数試行間の動作の分散を定量的に表す値を計算する。習熟度算出部１０４は、動作の分散を表す値に基づいて習熟度を算出する」技術が開示されている。

特開２００４－０８６３２２号公報 特開２０１５－１５０２２６号公報

上記特許文献１では、作業時間、不良発生回数から習熟度を判定しているが、作業者が作業対象に作用する部位の動作のバラツキから、作業者の習熟度を判定することについては言及されていない。また、上記特許文献２では、３次元データの時系列の分散から習熟度を判定しているが、作業者が作業対象に作用する部位の動作を繰り返したときの動作のバラツキを考慮する点については開示されていない。

例えば、作業者が作業対象となるワークである鉄板に対して、繰り返し、作業の段取りを行うための棚やテーブルからある工具を取り、ある部品を手動でねじ止めする場合を考える。熟練者は、工具を取って部品をねじ止めするという一連の動作を、繰り返し同じ時間、同じ位置（例えば、同じテンポ、同じ手の位置）で行う一方、熟練者でない作業者は、その動作に時間的、空間的なバラツキが生じることが多い。このような、繰り返し作業における動作のバラツキにより、作業効率や作業精度の低下を招いてしまう。そのため、繰り返し作業における動作のバラツキを把握し、作業効率や作業精度の低下を招くことのないように、作業者の作業を支援することが重要となっている。

本発明は、繰り返し作業における動作のバラツキを把握し、作業効率や作業精度の低下を招くことのないように、作業者の作業を支援することが可能な作業支援システムおよび作業支援方法を提供することを目的とする。

上記課題を解決し、目的を達成するために、本発明にかかる作業支援システムは、繰り返し動作を含む、作業対象に対する作業を行う作業者を撮像した撮像データを解析して得られた前記作業者の所定部位のセンサデータと、前記作業の工程または手順を定めた作業シーケンス情報とを用いて、前記センサデータを前記作業の工程または手順に対応付けた比較作業データを出力する区間分割部と、前記作業対象の位置であるワーク位置や前記作業者が作業を行う作業位置を定めた参照エリア情報と前記撮像データとに基づいて、習熟度を判定する対象となる作業者の識別エリアを選定し、選定した前記識別エリアにいる作業者と当該作業者の所定部位の前記比較作業データとを対応付ける識別エリア選定部と、前記作業者の習熟度を判定するための基準となる基準センサデータと前記作業シーケンス情報とを用いて定められた、前記基準センサデータを前記作業の工程または手順に対応付けた参照作業データと、選定された前記識別エリアにいる作業者の前記比較作業データと、前記作業シーケンス情報とを用いて、前記作業の工程または手順における繰り返し動作のバラツキの差に基づく前記作業者の習熟度を判定し、当該判定の結果を提示するバラツキ計算部と、を有することを特徴とする作業支援システムとして構成される。

本発明によれば、繰り返し作業における動作のバラツキを把握し、作業効率や作業精度の低下を招くことのないように、作業者の作業を支援することができる。

作業支援システムの構成例を示す図である。 コンピュータ概略を示す図である。 センサにより撮像された画像や映像を含む撮像データの一例を示す図である。 センサデータの一例を示す図である。 比較作業データの一例を示す図である。 作業シーケンス情報（作業工程）の一例を示す図である。 作業シーケンス情報（作業手順）の一例を示す図である。 参照エリア情報の一例を示す図である。 特定参照エリア情報の一例を示す図である。 時間比較バラツキデータの一例を示す図である。 関節位置比較バラツキデータの一例を示す図である。 習熟度判定結果画面の一例を示す図である。 バラツキ判定結果詳細画面の一例を示す図である。 習熟度判定処理の処理手順を示すフローチャートである。 作業支援システムの構成例を示す図である（実施例２）。 比較作業データの一例を示す図である（実施例２）。 作業シーケンス情報の一例を示す図である（実施例２）。 習熟度判定結果画面の一例を示す図である（実施例２）。 習熟度判定処理の処理手順を示すフローチャートである（実施例２）。

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

以下の説明では、「データベース」、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いた場合、これらについてはお互いに置換が可能である。

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））を含んでいてもよい。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

図１は、本実施例における作業支援システム１０００の構成例を示す図である。図１に示すように、作業支援システム１０００は、作業者が行う作業の作業工程や作業手順に関するデータである作業シーケンス情報６０１を用いて、カメラ等のセンサＳから出力された撮像データに含まれる作業者が作業対象に作用する部位（例えば、関節位置）のセンサデータを、作業工程または作業手順に分割した時系列の作業データである比較作業データ５０１として出力する区間分割部１００と、作業工程や作業手順ごとに作業対象の位置であるワーク位置や作業者が作業を行う作業位置を定めた参照エリア情報７０１を用いて、作業者が作業対象に作用する部位をフィルタリングし、作業者を識別するための識別エリアを選定する識別エリア選定部２００と、上記センサＳから出力された過去の時系列の作業データである参照作業データが作業工程または作業手順に分割された分割済み参照作業データ５０１Ａと上記比較作業データ５０１とに基づいて、各作業工程や各作業手順の繰り返し動作における作業時間のバラツキおよび作業対象に作用する部位のバラツキを計算し、各作業工程や各作業手順のそれぞれについて、当該バラツキに基づく習熟度と作業の改善点とを、ディスプレイ等の表示装置Ｄに出力するバラツキ計算部３００と、これらの各部を制御する作業シーケンスコントローラ４００と、を有する。作業支援システム１０００が有するこれらの各部が行う具体的な処理や、使用するデータの具体的な構成については後述する。

センサＳと作業支援システム１０００とは、一般的な通信ネットワークを介して接続される。また、表示装置Ｄと作業支援システム１０００とは、一般的な通信ネットワークを介して、あるいは所定規格の種々ケーブルにより接続される。また、以下では、１つの作業工程が１または複数の作業手順から構成される前提で説明しているが、１つの作業手順が１または複数の作業工程から構成されてもよい。

図１に示した作業支援システム１０００は、例えば、図２（コンピュータ概略図）に示すような、ＣＰＵ１６０１と、メモリ１６０２と、ＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)等の外部記憶装置１６０３と、ＣＤ(Ｃｏｍｐａｃｔ Ｄｉｓｋ)やＵＳＢメモリ等の可搬性を有する記憶媒体１６０８に対して情報を読み書きする読書装置１６０７と、キーボードやマウス等の入力装置１６０６と、ディスプレイ等の出力装置１６０５と、通信ネットワークに接続するためのＮＩＣ(Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ)等の通信装置１６０４と、これらを連結するシステムバス等の内部通信線(システムバスという)１６０９と、を備えた一般的なコンピュータ１６００により実現できる。

上記システムに記憶され、あるいは処理に用いられる様々なデータは、ＣＰＵ１６０１がメモリ１６０２または外部記憶装置１６０３から読み出して利用することにより実現可能である。また、上記システムが有する各機能部（例えば、区間分割部１００、識別エリア選定部２００、バラツキ計算部３００、作業シーケンスコントローラ４００）は、ＣＰＵ１６０１が外部記憶装置１６０３に記憶されている所定のプログラムをメモリ１６０２にロードして実行することにより実現可能である。

上述した所定のプログラムは、読書装置１６０７を介して記憶媒体１６０８から、あるいは、通信装置１６０４を介してネットワークから、外部記憶装置１６０３に記憶(ダウンロード)され、それから、メモリ１６０２上にロードされて、ＣＰＵ１６０１により実行されるようにしてもよい。また、読書装置１６０７を介して、記憶媒体１６０８から、あるいは通信装置１６０４を介してネットワークから、メモリ１６０２上に直接ロードされ、ＣＰＵ１６０１により実行されるようにしてもよい。

以下では、作業支援システム１０００が、ある１つのコンピュータにより構成される場合を例示するが、これらの機能の全部または一部が、クラウドのような１または複数のコンピュータに分散して設けられ、ネットワークを介して互いに通信することにより同様の機能を実現してもよい。

図３は、センサＳにより撮像された画像や映像を含む撮像データの一例を示す図である。図３に示すように、撮像データ３０１には、作業者が作業対象であるワークに対して作業する様子が記録されている。例えば、図３では、複数の作業者Ｗ１、Ｗ２、Ｗ３がセンサＳの撮像範囲内で作業を行っている。このうち、作業者Ｗ２は、ワークテーブルＴ１に置かれた作業対象であるワークＷＫに対して作業を行っている。また、当該撮像データ３０１には、ワークＷＫに対する作業に用いられる工具ＴＯが、段取りテーブルＴ２に置かれている。作業者Ｗ２は、複数の工具ＴＯのなかから、作業工程にあった工具を取って作業を行う。撮像データ３０１における作業者Ｗ１、Ｗ３は、ワークＷＫに対する作業に関与しない作業者である。区間分割部１００は、撮像データ３０１を、従来から知られている画像解析などの様々な技術を用いることにより、撮像データ３０１に含まれる作業対象に作用する作業者の様々な部位についてのセンサデータを取得する。

図４は、センサデータの一例を示す図である。センサデータは、後述する比較作業データ５０１が作業工程または作業手順に分割される前のデータである。図４に示すように、センサデータ４０１は、作業対象に作用する様々な部位（例えば、手の関節、肘の関節）のセンサ値を含む時系列の作業データとして出力されている。本実施例では、作業者の作業対象に作用する部位として関節部位を例示しているが、これに限らず、上腕や前腕、大腿や下腿など、他の部位を作業者の作業対象に作用する部位としてもよい。

図４では、例えば、図３に示した作業者Ｗ２が、手、肘、肩の関節を動かして作業対象であるワークＷＫに対して作業を行ったときのセンサデータを示している。この場合、手のセンサデータ４０１ａ、肘のセンサデータ４０１ｂ、肩のセンサデータ４０１ｃが、横軸を時刻ｔ、縦軸をセンサ値としたグラフにプロットされている。このように、センサデータには、作業対象に作用する部位についてのセンサ値が時系列に記憶されている。当該センサデータは、撮像データ３０１に含まれる作業者のそれぞれについて出力される。

図５は、比較作業データの一例を示す図である。比較作業データは、上述したセンサデータ４０１を作業工程または作業手順に分割した後のデータである。図５に示すように、比較作業データ５０１は、センサデータ４０１と作業シーケンス情報６０１とが対応付けられている。図５では、例えば、比較作業データ５０１として、作業工程Ｐ１～Ｐ９に区切られたセンサデータ４０１が記憶されている。このように、比較作業データ５０１には、センサデータ４０１と、上記作業シーケンス情報６０１とが対応付けて記憶されている。

図６Ａ、６Ｂは、作業シーケンス情報６０１の一例を示す図である。作業シーケンス情報６０１には、作業工程ごとに、標準作業時間が定められた作業工程シーケンス情報と、各作業工程に含まれる手順について、標準手順時間が定められた作業手順シーケンス情報とが含まれる。

図６Ａに示すように、作業工程シーケンス情報６０１Ａでは、作業工程ごとに、標準作業時間および工程内容が定められている。区間分割部１００は、作業工程シーケンス情報６０１Ａとセンサデータ４０１を重ね合わせることにより、標準的な作業時間に対応する各作業工程におけるセンサ値の推移を検出することができる。図６では、例えば、作業工程０の標準作業時間は１８分（作業開始の起点時刻０：００から１８分後の作業終了の終点時刻０：１８）であり、当該標準作業工程または標準作業手順に対応するセンサ値の推移を検出することができる。また、図６Ａに示すように、標準作業時間に対応付けて、どのような作業を行うのかを示す工程内容が対応付けて記憶されている。例えば、作業工程０では、作業ａ０、ｂ０が行われることを示している。

また、図６Ｂに示すように、作業手順シーケンス情報６０１Ｂでは、それぞれの作業工程について、作業手順ごとに、標準手順時間が定められている。例えば、区間分割部１００は、作業手順シーケンス情報６０１Ｂとセンサデータ４０１を重ね合わせることにより、それぞれの作業工程を構成するそれぞれの作業手順について、標準的な作業手順におけるセンサ値の推移を検出することができる。図６では、例えば、作業工程０を構成する手順は、手順Ａ～手順Ｋまで存在し、手順Ａの標準手順時間は２分（作業開始の起点時刻０：００から２分後の作業終了の終点時刻０：０２）であり、当該標準手順区間に対応するセンサ値の推移を検出することができる。また、図６Ｂに示すように、標準作業時間に対応付けて、どのような作業を行うのかを示す手順内容が対応付けて記憶されている。例えば、作業手順Ａでは、手順ａ０、ｂ０が行われることを示している。

なお、後述するように、識別エリア選定部２００は、上記比較作業データ５０１と、参照エリア情報７０１とを取得し、作業者を識別するための識別エリアを選定する。より具体的には、識別エリア選定部２００は、区間分割部１００により作成された、撮像データ３０１に含まれる作業者Ｗ１、Ｗ２、Ｗ３のそれぞれについての比較作業データ５０１を取得する。さらに、識別エリア選定部２００は、撮像データ３０１と参照エリア情報７０１とを比較し、両者のうち重複する範囲を識別エリアとして選定し、選定された当該識別エリアに含まれる作業者（本例では作業者Ｗ２）についての比較作業データ５０１を、作業者用の習熟度判定対象のデータとする。

さらに、識別エリア選定部２００は、リファレンスとしてあらかじめ記憶された分割済み参照作業データ５０１Ａと、参照エリア情報７０１とを取得し、作業者を識別するための識別エリアを選定する。より具体的には、識別エリア選定部２００は、区間分割部１００により作成された、過去の撮像データ３０１に含まれる熟練者についての参照作業データ５０１Ａを取得する。さらに、識別エリア選定部２００は、過去の撮像データ３０１と参照エリア情報７０１とを比較し、両者のうち重複する範囲を識別エリアとして選定し、選定された当該識別エリアに含まれる熟練者についての参照作業データ５０１Ａを、熟練者用の習熟度判定対象のデータとする。

なお、分割済み参照作業データ５０１Ａは、あらかじめ定められた熟練者の過去の比較作業データ５０１から得られたリファレンス用の作業データを、作業工程または作業手順に対応付けたデータである。分割済み参照作業データ５０１Ａは、作業工程または作業手順に分割された比較作業データ５０１と同様の構成をしているため、ここでは具体的な説明は省略している。

本実施例では、熟練者の分割済み参照作業データ５０１Ａを用いることとしているが、これにかえて、作業者自身の分割済み参照作業データ５０１Ａを用いてもよい。この場合、分割済み参照作業データ５０１Ａとして同じ作業者の過去の比較作業データ５０１を用いる場合は、習熟度判定対象となる作業者が、過去の作業データと比べてどの程度成長し、繰り返し動作のバラツキがなくなっているのかを、習熟度判定結果画面により確認することができるようになる。熟練者の分割済み参照作業データ５０１Ａを用いるか、あるいは作業者自身の分割済み参照作業データ５０１Ａを用いるかについては、ユーザにより指定されてよい。

ここで、繰り返し動作について説明する。繰り返し動作とは、ある作業工程において同じ作業手順が複数回連続して行われるときの動作、あるいはある作業手順において同じ作業が複数回連続して行われるときの動作等、時間的または／および空間的に同じ動作が繰り返されるときのその動作をあらわす。例えば、作業の段取りを行うための棚やテーブルから工具を取って部品をねじ止めするという一連の動作が繰り返される場合を考える。この場合、作業者の位置、工具の位置、部品の位置の間の空間において、数秒ごとに、工具を取って部品をねじ止めする動作が行われるため、その動作は繰り返し動作であるといえる。

図６Ａ、６Ｂに示した作業シーケンス情報６０１には、上述した繰り返し動作が含まれる。例えば、作業者が作業対象となるワークである鉄板に対して、繰り返し、作業の段取りを行うための棚やテーブルからある工具を取り、ある部品を手動でねじ止めする手順を１つの手順とする場合、その手順が複数回連続して行われる（例えば、図６Ｂに示す手順Ｅと手順Ｆの２回の手順）。このような手順においては、熟練者の場合は、工具を取って部品をねじ止めするという一連の動作を、繰り返し同じ時間、同じ位置（例えば、同じテンポ、同じ手の位置）で行うため、それぞれの動作における時間的、空間的なバラツキは一定の基準以下となることが多い。一方、熟練者でない作業者は、熟練者と比べて、無駄な動作を行う等して、その動作に時間的、空間的なバラツキが生じる。このような、作業における繰り返し動作のバラツキが大きくなるほど、作業効率や作業精度が低下を招いてしまう。

本実施例では、単に、ある作業工程や作業手順における作業者の動作のバラツキだけではなく、このような繰り返し動作におけるバラツキを把握し、作業効率や作業精度が低下を招くことのないように、作業者の作業を支援している。どのような動作を繰り返し動作とするのかについては、あらかじめ定められる。例えば、図６Ｂでは、作業手順ＥとＦが同じ手順であり、２回繰り返されることを表している。以下では作業手順について例示するが、作業工程が繰り返される場合も同様に考えることができる。

図７は、参照エリア情報７０１の一例を示す図である。図７に示すように、参照エリア情報７０１では、作業工程や作業手順ごとに、作業対象の位置であるワーク位置や作業者が作業を行う作業位置があらかじめ定められている。図７では、一例として、作業工程０において、作業者が作業を行う範囲は、ある撮像データの撮像範囲において定められた座標上の範囲（ｘ，ｙ）＝（３００～４５０，１５０～４００）の範囲であることを示している。識別エリア選定部２００は、図３に示した撮像データ３０１と、作業工程や作業手順のそれぞれについて定められた上記参照エリア情報７０１とを比較し、当該参照エリア情報７０１に含まれる作業者を、習熟度判定の対象となる作業者であると特定する。識別エリア選定部２００は、特定した上記作業者について、区間分割部１００により取得されたセンサデータに対応する部位（例えば、関節位置）を、参照エリア情報７０１に含まれる作業者Ｗ２に対応付ける。図７では、作業対象に作用する作業者Ｗ２の部位７０２として、頭頂部、左右の手、肘、肩、腰、膝、足首をはじめとする各部位が、対応付けられている。

このように、識別エリア選定部２００は、撮像データ３０１の撮像範囲内に含まれる作業者のうち、上記参照エリア情報７０１として定められた各作業工程の作業を行う範囲を、その作業工程の作業を行う識別エリアとして選定する。図７では、作業者Ｗ１、Ｗ２、Ｗ３のうち、作業者Ｗ２がいる座標上の範囲（ｘ，ｙ）＝（３００～４５０，１５０～４００）が作業工程０の作業を行う範囲が識別エリアとして選定され、当該範囲の画像が出力されていることがわかる。

さらに、識別エリア選定部２００は、識別エリアに含まれる作業者の作業対象に作用する部位のうち、ワークＷＫ、ワークテーブルＴ１、Ｔ２との位置関係が所定の関係（例えば、作業者との距離が一定の距離となる１メートル以内である関係）にある上記部位を、直接的にワークＷＫに対して作用する部位であるとして特定する。以下、具体的に説明する。

図８は、図７に示した部位７０２のうち、ワークＷＫ、あるいはワークテーブルＴ１に一定の距離にある部位である左右の手、肘、肩、腰の各部位が、直接的にワークＷＫに作用する部位であるとして特定された後の特定参照エリア情報８０１の一例を示す図である。図８では、作業者の作業対象に作用する部位のうち、ワークＷＫ、ワークテーブルＴ１、Ｔ２との位置関係が一定以上近い部位を、直接的にワークＷＫに作用する部位であるとして特定されていることがわかる。

上記部位の特定は、例えば、作業者Ｗ２が作業を行う際に動作させる部位が一定の移動量以上変化している場合に、上記直接的にワークＷＫに作用する部位を特定してもよい。例えば、図８において、作業者Ｗ２が作業工程０の作業を行うために、動作Ｍ１、Ｍ２を行ったとする。この場合、頭頂部、膝、足首などの部位よりも、左右の手、肘、肩、腰の動作が大きく、その移動量が一定の閾値以上となっている場合、当該部位を、上記直接的にワークＷＫに作用する部位であるとして特定することができる。

図７、８では、撮像データ３０１に含まれ、かつ識別エリアに含まれる作業者について説明したが、熟練者の場合も同様に考えることができる。すなわち、識別エリア選定部２００は、上述したように、過去の撮像データ３０１に含まれ、かつ識別エリアに含まれる熟練者について、直接的にワークＷＫに作用する部位であるとして特定する。

図７に示した参照エリア情報７０１および図８に示した特定参照エリア情報８０１は、図５に示した比較作業データ５０１や分割済み参照作業データ５０１Ａに対応付けて蓄積される。このような対応付けや蓄積は、識別エリア選定部２００により行われる。このように、識別エリア選定部２００は、参照エリア情報７０１を読み出して、撮像データの中から、作業工程ごとに作業者が作業を行う識別エリアを選定するとともに、選定した識別エリアで作業を行う作業者について、ワークに直接的に作用する部位を習熟度判定対象とする部位として特定する。識別エリア選定部２００は、参照作業データ５０１Ａに含まれる熟練者についても、上記識別エリアの選定や上記習熟度判定対象とする部位の特定を、作業者の場合と同様に行う。

このように、識別エリア選定部２００は、バラツキを計算する対象となる作業者を含む識別エリアを選定したうえで、さらに、その識別エリアに含まれる作業者の関節部位のうち、作業対象に直接的に作用する部位を習熟度判定対象とする部位を特定するので、後述するバラツキ計算部３００が、ＤＴＷ（Dynamic Time Warping）をはじめとする従来から知られている様々なアルゴリズムを用いて、バラツキを計算する際のノイズを低減することができる。換言すれば、作業者の全身と熟練者の全身とを比較すると、作業には関係がない部位の動作が含まれてしまうことでノイズが多く、精度が低下してしまう。そのため、本実施例では、上記のような習熟度判定のための部位を限定することで高精度化を図っている。すなわち、従来の画像解析では作業者の全身を撮像しているため、必ず着目すべきポイントと、そうではないポイントが生じることによる精度の低下が生じるが、本システムではそのような課題を解決することができる。例えば、前段取り動作、部品を取りに行く動作、カシメ動作、後段取り動作など、作業手順書には着目すべきポイントがあり、そのポイント付近のブレを評価することで、作業者の部位（例えば、頭、腰、肘などの、作業とは関係ない部位のバラツキを習熟度評価に組み込んでしまうことによる精度劣化を防ぐことができる。

そして、後述するように、バラツキ計算部３００は、選定された識別エリアに含まれる作業者（本例では作業者Ｗ２）についての比較作業データ５０１および熟練者についての分割済み参照作業データ５０１Ａと、作業シーケンス情報６０１とを用いて、各作業工程や各作業手順における繰り返し動作のバラツキを比較することで作業者の習熟度を判定している。

図９は、バラツキ計算部３００が計算する作業時間のバラツキ（時間比較バラツキデータ）の一例を示す図である。図９では、図５に示した作業工程または作業手順の記載を省略している。

図９において、時間比較バラツキデータ９０１では、図４に示した部位４０１ｃの繰り返し動作を含む作業をしたときの位置変動（この場合は、肩の位置変動）に時間的なバラツキがあることを示している。具体的には、作業者の部位４０１ｃの比較作業データ９０１ｃ（図面下側のグラフ）では、ある工程において手順Ｅ、Ｆから手順Ｇまでの作業で繰り返し動作をしたときに要した時間は作業時間ＴＷ１である。一方、熟練者の部位４０１ｃの比較作業データ９０１ｃ’（図面上側のグラフ）では、分割済み参照作業データ５０１Ａでは、ある工程において手順Ｅ、Ｆから手順Ｇまでの作業で繰り返し動作をしたときに要した時間は作業時間ＴＷ２として記録されている。したがって、両者には作業時間の比較による時間的なバラツキの差ΔＴ１があることを示している。このことは、例えば、比較作業データ９０１ｃのほうがより繰り返し動作に時間がかかっており、繰り返し動作のうちのそれぞれの動作に無駄が生じている可能性があることを示している。バラツキ計算部３００は、時間比較バラツキデータを、ＤＴＷをはじめとする従来から知られている様々なアルゴリズムを用いて時間軸方向に伸縮させる等して、上記時間的なバラツキの差をスコアリングする。図９では、ある作業手順について時間比較バラツキデータを算出したが、作業工程についても同様に考えることができる。

このように、バラツキ計算部３００は、作業者の比較作業データにおいて、当該作業者が行う繰り返し動作におけるそれぞれの動作の作業時間のバラつき(時間方向のバラツキ)を算出するとともに、熟練者の分割済み参照作業データにおいて、当該熟練者が行う繰り返し動作におけるそれぞれの動作の作業時間のバラつき(時間方向のバラツキ)を算出する。そして、バラツキ計算部３００は、両者の時間的なバラツキの差をスコアとして算出する。このようなスコアが算出され、後述するように画面上でユーザに提示されることにより、ユーザは、作業者の段取り不足や、動作の順番が定まってないことで試行錯誤が入っている、あるいは動作の途中で細かいミスがありリトライしている等の、時間的なバラツキの差を生じさせている理由を推認することができる。

図１０は、バラツキ計算部３００が計算する作業対象に作用する部位のバラツキ（関節位置比較バラツキデータ）の一例を示す図である。図１０では、図９で説明した場合と同様、作業工程または作業手順の記載を省略している。

図１０において、関節部位比バラツキデータ１００１では、図４に示した部位４０１ｃの繰り返し動作を含む作業をしたときの位置変動（この場合は、肩の位置変動）に空間的なバラツキがあることを示している。具体的には、部位４０１ｃの比較作業データ１００１ｃ（図面下側のグラフ）と比較作業データ１００１ｃ’（図面上側のグラフ）とにおいて、ある工程における波形がマッチングした時間幅で関節位置変動を比較する。図１０では、比較作業データ１００１ｃにおけるある時間幅の波形ＴＷ３と、比較作業データ１００１ｃ’におけるある時間幅の波形ＴＷ４とが一致している。当該時間幅は、例えば、図６Ｂに示した繰り返し動作である手順Ｅ、Ｆの時間幅と同じ時間幅であるため、ＴＷ３、ＴＷ４では繰り返し動作である手順Ｅ、Ｆが行われていることがわかる。すなわち、関節部位比較バラツキデータ１００１では、同じ時間幅で記録された繰り返し動作である手順Ｅ、Ｆにおいて、関節位置を用いて両者の作業位置を比較した場合、ある時点における時間幅ΔＴ２の間だけ部位４０１ｃの位置のズレ、すなわち空間的なバラツキがあることを示している。したがって、この例では、手順Ｅ、Ｆという繰り返し動作を行った場合、作業者Ｗ２のほうが熟練者よりも繰り返し動作がΔＴ２の時間だけ位置にズレがあるといえる。バラツキ計算部３００は、図９に示した場合と同様、関節位置比較バラツキデータを、ＤＴＷをはじめとする従来から知られている様々なアルゴリズムを用いて、上記空間的なバラツキの差をスコアリングする。図１０では、ある作業手順について関節位置比較バラツキデータを算出したが、図９の場合と同様、作業工程についても同様に考えることができる。

このように、バラツキ計算部３００は、作業者の比較作業データにおいて、当該作業者が行う繰り返し動作におけるそれぞれの動作の作業者や作業者の部位の動きのバラつき(空間方向のバラツキ)を算出するとともに、熟練者の分割済み参照作業データにおいて、当該熟練者が行う繰り返し動作におけるそれぞれの動作の作業者や作業者の部位の動きのバラつき（空間方向のバラツキ）を算出する。そして、バラツキ計算部３００は、両者の空間的なバラツキの差をスコアとして算出する。このようなスコアが算出され、後述するように画面上でユーザに提示されることにより、作業者の段取り不足や、動作の順番が定まってないことで試行錯誤が入っている、あるいは動作の途中で細かいミスがあり普段と違う動きをして製造している等の、空間的なバラツキの差を生じさせている理由を推認することができる。

なお、空間方向のバラつきの差を求める考え方は、例えば、ＤＴＷでマッチングした波形同士で関節角の座標位置の差分を計算し、マッチング結果から座標のずれを計算すればよい。このようなマッチング結果から座標のずれを計算する利点は、両データの波形の位相や比較範囲のスタート座標や作業速度に差があったとしても、同一作業であれば時間的な差を吸収して関節位置ずれを生成することができることである。

図９、１０において説明したように、バラツキ計算部３００は、ある作業工程や作業手順における繰り返し動作を含む作業をしたときのバラツキを示す時間比較バラツキデータ、関節位置比較バラツキデータを計算し、作業者と熟練者との間でのバラツキの差をスコアリングした習熟度判定結果をディスプレイ等の表示装置に表示する。バラツキ計算部３００は、図６Ａ、６Ｂに示した作業シーケンス情報６０１を参照し、繰り返し動作が行われる作業工程や作業手順を、習熟度判定結果に対応付けて出力する。以降説明するように、上記習熟度判定結果をユーザに提示することにより、作業工程や作業手順のどこに着目して作業改善すべきかのポイントを、作業手順書の作業内容からピックアップした個所で選別し、指し示すことができる。

図１１は、バラツキ計算部３００がディスプレイ等の表示装置に表示する習熟度判定結果画面の一例を示す図である。図１１に示す習熟度判定結果画面１１０１では、図９に示した時間比較バラツキデータ９０１における習熟度の判定結果を表示する時間バラツキ判定結果表示領域１１０２と、図１０に示した関節部位比較バラツキデータ１００１における習熟度の判定結果を表示する関節部位バラツキ判定結果表示領域１１０３とが含まれている。

より具体的には、時間バラツキ判定結果表示領域１１０２では、作業者が行う作業の作業工程Ｐ１～Ｐ９のそれぞれについて、時間的なバラツキの差に基づく習熟度の判定結果が表示されている。この例では、熟練者と作業者との間で作業時間のバラツキの差が大きい（すなわち未熟である）ほど濃く、バラツキの差が小さい（すなわち熟練である）ほど薄く色彩表示される。例えば、作業工程Ｐ１では、熟練者と作業者との間での作業時間のバラツキの差が、作業工程Ｐ６における熟練者と作業者との間での作業時間のバラツキの差よりも小さいため、薄く色彩表示されていることがわかる。このため、ユーザは、一見して、作業工程Ｐ６における作業者の習熟度が低いと判断することができる。また、例えば、図１１では、習熟度の判定結果が時系列に表示されているため、例えば、後半の作業工程ほど濃く表示されている場合には、作業者の疲労に起因する作業遅延の増加が当該バラツキの差の要因であると推測することができる。

同様に、関節部位バラツキ判定結果表示領域１１０３では、作業者が行う作業の作業工程Ｐ１～Ｐ９のそれぞれについて、空間的なバラツキの差に基づく習熟度の判定結果が表示されている。この例では、熟練者と作業者との間で関節位置のバラツキの差が大きい（すなわち未熟である）ほど濃く、バラツキの差が小さい（すなわち熟練である）ほど薄く色彩表示される。例えば、作業工程Ｐ１では、熟練者と作業者との間での関節位置のバラツキの差が、作業工程Ｐ２における熟練者と作業者との間での関節位置のバラツキの差よりも小さいため、薄く色彩表示されていることがわかる。ユーザは、一見して、作業工程Ｐ２における作業者の習熟度が低いと判断することができる。また、例えば、図１１では、習熟度の判定結果が時系列に表示されているため、例えば、後半の作業工程ほど濃く表示されている場合には、作業者の疲労に起因する作業精度の低下が当該バラツキの差の要因であると推測することができる。

さらには、ユーザは、時間バラツキ判定結果表示領域１１０２と関節部位バラツキ判定結果表示領域１１０３との関係性を確認して種々の分析を行うことができる。例えば、時間バラツキ判定結果表示領域１１０２に表示された作業工程Ｐ２では、熟練者との作業時間のバラツキの差が小さい一方、同じ作業工程Ｐ２の関節部位バラツキ判定結果表示領域１１０３では熟練者との関節位置のバラツキの差が大きいため、作業の精度が低いことがわかる。また、時間バラツキ判定結果表示領域１１０２に表示された作業工程Ｐ６では、熟練者との作業時間のバラツキの差が大きい一方、同じ作業工程Ｐ６の関節部位バラツキ判定結果表示領域１１０３では熟練者との関節位置のバラツキの差が小さいため、作業の精度が高かったことがわかる。このように、各作業工程や作業手順における作業遅延と作業精度との相関関係を容易に把握することができる。さらに、図１１に示した習熟度判定結果画面に表示された各領域で表示される作業工程の詳細を確認することができる。詳細を確認するための画面については後述する。

さらに、バラツキ計算部３００は、作業工程や作業手順に繰り返し動作が含まれることを示す繰り返し動作表示領域１１０４、１１０５を、作業工程や作業手順に対応付けて表示する。図１１では、バラツキ計算部３００は、作業工程Ｐ２には、繰り返し動作を含む作業手順が含まれ、その回数は２回であることを示す「ＲＰ２」を、繰り返し動作表示領域１１０４、１１０５に表示している。このように、バラツキ計算部３００は、繰り返し動作表示領域１１０４、１１０５に作業工程や作業手順に繰り返し動作が含まれることを示す情報を表示することで、ユーザは一見してバラツキの理由を推認することができる。どの作業工程や作業手順に繰り返し動作が含まれるかについては、例えば、バラツキ計算部３００が、図６に示した図６Ａ、６Ｂに示した作業シーケンス情報６０１を参照して判定すればよい。

図１２は、図１１に示した習熟度判定結果画面の詳細を示すバラツキ判定結果詳細画面の一例を示す図である。習熟度判定結果画面１１０１の各表示領域に表示された作業工程や作業手順がユーザによって選択されることにより、バラツキ計算部３００は、バラツキ判定結果詳細画面をディスプレイ等の表示装置に表示する。以下では、一例として、特定参照エリア情報８０１の画像が表示される場合を例示しているが、参照エリア情報７０１が表示されてもよい。

図１２に示すバラツキ判定結果詳細画面１２０１では、一例として、時間バラツキ判定結果表示領域１１０２および関節部位バラツキ判定結果表示領域１１０３に表示された作業工程Ｐ６における習熟度判定結果の詳細画面を例示している。図１２では、分割済み参照作業データ５０１Ａに対応付けて記憶されている特定参照エリア情報８０１の画像や映像を表示する参照用特定参照エリア情報表示領域１２０２が表示されている。スライドバーＢ１は、当該画像や映像が撮像された時刻を変化させることができる調整バーである。例えば、ユーザがスライドバーＢ１の右端矢印をクリックすると、バラツキ計算部３００は、未来方向に熟練者が作業する画像や映像を再生する。これにより、ユーザは、将来にわたり時々刻々と変化する熟練者が作業する画像や映像を目視により確認することができる。ユーザがスライドバーＢ１の左端矢印をクリックすると、バラツキ計算部３００は、過去方向に熟練者が作業する画像や映像を再生する。これにより、ユーザは、過去にわたり時々刻々と変化する熟練者が作業する画像や映像を目視により確認することができる。特に、繰り返し動作については、例えば、同じテンポ、同じ手の位置で同じ動作を繰り返し行うので、上記画像や映像を再生することにより、繰り返し動作における各動作にどのようなバラツキがあるのかを容易に把握することができる。

また、図１２では、比較作業データ５０１に対応付けて記憶されている特定参照エリア情報８０１の画像や映像を表示する特定参照エリア情報表示領域１２０３が表示される。スライドバーＢ２は、当該画像や映像が撮像された時刻を変化させることができる調整バーである。例えば、ユーザがスライドバーＢ２の右端矢印をクリックすると、バラツキ計算部３００は、未来方向に作業者が作業する画像や映像を再生する。これにより、ユーザは、将来にわたり時々刻々と変化する作業者が作業する画像や映像を目視により確認することができる。ユーザがスライドバーＢ２の左端矢印をクリックすると、バラツキ計算部３００は、過去方向に作業者が作業する画像や映像を再生する。これにより、ユーザは、過去にわたり時々刻々と変化する作業者が作業する画像や映像を目視により確認することができる。特に、繰り返し動作については、参照用特定参照エリア情報表示領域１２０２の場合と同様、繰り返し動作における各動作にどのようなバラツキがあるのかを容易に把握することができる。そして、ユーザは、参照用特定参照エリア情報表示領域１２０２と特定参照エリア情報表示領域１２０３とを見比べることで、そのバラツキの差を確認することができる。

また、バラツキ計算部３００は、参照エリア情報表示領域１２０３に、参照用特定参照エリア情報表示領域１２０２の画像と比較して、画像上のどの範囲が異なっているのかを示す差異範囲Ｄを表示する。さらに、バラツキ計算部３００は、当該差異範囲Ｄに含まれる関節部位を、熟練者に対して習熟度が一定の閾値以上低い関節部位であるとしてマーキングしたマーキング部位Ｍを表示する。例えば、バラツキ計算部３００は、参照エリア情報表示領域１２０３に表示した画像と、参照用特定参照エリア情報表示領域１２０２に表示した画像について、同じ時刻において同じ関節部位（例えば、手、肘）の画像上の位置を比較して差異範囲Ｄを特定する。そして、その差異範囲Ｄに含まれる関節部位のうち、一定の閾値以上習熟度が低い部位（例えば、熟練者と作業者との間で位置が一定以上バラツキの差が大きい部位）を、上記マーキング部位Ｍとして表示する。図１２では、作業者Ｗ２の手および肘の関節部位がマーキング部位Ｍとして強調表示されていることがわかる。

このように、バラツキ判定結果詳細画面１２０１では、参照用特定参照エリア情報表示領域１２０２と参照エリア情報表示領域１２０３とが一画面に表示され、両者の画像における差異がマーキング部位Ｍとして表示される。したがって、ユーザは、どの作業工程や作業手順で作業者の作業が熟練者の作業と異なるのかを一見して把握することができる。特に、繰り返し動作については、繰り返し動作における各動作のバラツキを生じさせている部位を容易に把握することができる。

さらに、バラツキ判定結果詳細画面１２０１では、比較作業データ５０１が分割済み参照作業データ５０１Ａに対してどの程度時間的に遅延（あるいは加速）しているのかを時系列に示す遅延状況グラフ表示領域１２０４が表示されている。遅延状況グラフ表示領域１２０４に示すように、横軸に時刻、縦軸に遅延状況である差分をとり、時刻ごとに、比較作業データ５０１と分割済み参照作業データ５０１Ａとの間の時間的な差分の変化が表示されている。この例では、ある作業手順や作業工程のある時間帯ｔ１－ｔ２において、作業が継続して遅延している状況であることを示している。このように、バラツキ計算部３００は、比較作業データ５０１と分割済み参照作業データ５０１Ａとの間の時間的な差分を算出し、算出した当該差分を作業の遅延状況として遅延状況グラフ表示領域１２０４に表示するので、ユーザは、熟練者に対する作業者の作業の遅延の推移を一見して把握することができる。

また、バラツキ判定結果詳細画面１２０１では、比較作業データ５０１が分割済み参照作業データ５０１Ａに対してどの程度、部位の位置にバラツキがあるのかを時系列に示すバラツキ状況グラフ表示領域１２０５が表示されている。バラツキ状況グラフ表示領域１２０５に示すように、横軸に時刻、縦軸に関節位置の差分をとり、時刻ごとに、比較作業データ５０１と分割済み参照作業データ５０１Ａとの間の空間的な差分の変化が表示されている。この例では、ある関節位置（指関節）が、ある時刻ｔ３、ｔ４において関節位置のばらつきが大きくなっていることを示している。このように、バラツキ計算部３００は、時刻ごとの比較作業データ５０１と分割済み参照作業データ５０１Ａとの間の空間的な差分を算出し、算出した当該差分を作業の位置のバラツキ度合いとしてバラツキ状況グラフ表示領域１２０５に表示するので、ユーザは、熟練者に対する作業者の部位の位置のバラツキの推移を一見して把握することができる。

このように、バラツキ判定結果詳細画面１２０１では、遅延状況グラフ表示領域１２０４とバラツキ状況グラフ表示領域１２０５とが一画面に表示される。したがって、ユーザは、ある作業業工程や作業手順における時間的なバラツキの差および空間的なバラツキの差を一見して把握することができる。さらに、上述した参照用特定参照エリア情報表示領域１２０２と参照エリア情報表示領域１２０３とともに、遅延状況グラフ表示領域１２０４とバラツキ状況グラフ表示領域１２０５とが一画面に表示されることで、ユーザは容易にこれらの相関関係を把握することができる。

また、作業者の作業工程や作業手順に繰り返し動作が含まれる場合には、ユーザは、バラツキ判定結果詳細画面１２０の参照用特定参照エリア情報表示領域１２０２と参照エリア情報表示領域１２０３とを比較しながら見比べることで、繰り返し動作にどのようなバラツキが発生しているのかを容易に把握することができる。例えば、作業工程Ｐ２に、２回の繰り返し動作が含まれる場合、作業者Ｗ２による１回目と２回目の動作の遅延状況や、１回目と２回目の動作における部位のバラツキの推移などを詳細に確認することができる。

続いて、作業支援システム１０００で行われる処理について説明する。図１３は、作業支援システム１０００で行われる処理(習熟度判定処理)の処理手順を示すフローチャートである。習熟度判定処理では、まず、区間分割部１００が、カメラ等のセンサＳから出力された撮像データ３０１を受信し、受信した撮像データ３０１に含まれる作業者についてのセンサデータ４０１を取得する（Ｓ１３０１）。区間分割部１００は、取得したセンサデータ４０１と、図６Ａ、６Ｂに示した作業シーケンス情報６０１とを対応付けた比較作業データ５０１を出力する（Ｓ１３０２）。

続いて、識別エリア選定部２００は、比較作業データ５０１、参照エリア情報７０１を用いて、作業者を識別するための識別エリアを選定するとともに、分割済み参照作業データ５０１Ａ、参照エリア情報７０１を用いて、熟練者を識別するための識別エリアを選定する（Ｓ１３０３）。識別エリア選定部２００は、選定した識別エリアで作業を行う作業者および熟練者について、ワークに直接的に作用する部位を習熟度判定対象とする部位として特定する（Ｓ１３０４）。

バラツキ計算部３００は、選定された識別エリアに含まれる作業者についての比較作業データ５０１、選定された識別エリアに含まれる熟練者についての分割済み参照作業データ５０１Ａ、作業シーケンス情報６０１を用いて、各作業工程や作業手順におけるバラツキの差、これらに含まれる繰り返し動作のバラツキの差に基づいて、熟練者に対する作業者の習熟度を判定し（Ｓ１３０５）、図１１に示した習熟度判定結果画面を表示する（Ｓ１３０６）。すなわち、上記識別エリア選定部２００は、選定した上記識別エリアにいる作業者の所定部位のうち、上記作業対象との位置関係が所定の関係にある部位を、上記作業対象に対して直接的に作用する部位として特定し、上記バラツキ計算部３００は、特定された上記直接的に作用する部位について、上記繰り返し動作のバラツキの差に基づく上記作業者の習熟度を判定し、当該判定の結果を提示する。

このように、本実施例では、繰り返し動作を含む、作業対象に対する作業を行う作業者を撮像した撮像データ３０１を解析して得られた上記作業者の所定部位（例えば、関節部位）のセンサデータ４０１と、上記作業の工程または手順を定めた作業シーケンス情報６０１とを用いて、上記センサデータ４０１を上記作業の工程または手順に対応付けた比較作業データ５０１を出力する区間分割部１００と、上記作業対象の位置であるワーク位置や上記作業者が作業を行う作業位置を定めた参照エリア情報７０１と上記撮像データ３０１とに基づいて、習熟度を判定する対象となる作業者の識別エリアを選定し、選定した上記識別エリアにいる作業者と当該作業者の所定部位の上記比較作業データとを対応付ける識別エリア選定部２００と、上記作業者の習熟度を判定するための基準となる基準センサデータ（例えば、熟練者のセンサデータ３０１）と上記作業シーケンス情報６０１とを用いて定められた、上記基準センサデータを上記作業の工程または手順に対応付けた参照作業データ（例えば、熟練者の分割済み参照作業データ５０１Ａ）と、選定された上記識別エリアにいる作業者の上記比較作業データ５０１と、上記作業シーケンス情報６０１とを用いて、上記作業の工程または手順における繰り返し動作のバラツキの差に基づく上記作業者の習熟度を判定し、当該判定の結果を提示するバラツキ計算部３００とを有する。

したがって、熟練者に対する作業者の各作業工程や作業手順における動作のバラツキの差だけでなく、繰り返し作業における動作のバラツキの差を把握し、作業効率や作業精度の低下を招くことのないように、作業者の作業を支援することができる。すなわち、撮像部で取得した撮像データ３０１と、作業工程や作業手順を示す作業シーケンス情報６０１とに基づき、作業者の識別エリアを選択し、前記識別エリア内の作業者の繰り返し動作に関する関節位置のバラツキ度合いの差から習熟度を判定し、その判定結果を、作業シーケンス情報で定められた作業を特定したうえで改善点として出力するので、上記のような支援が可能となる。従来、組図などの作業工程や作業手順にかかわる部品や製品の位置と作業者の動作との関係性、すなわち、作業者が作業工程や作業手順に従って作業を行う作業対象の位置と作業者の動作との関係性を考慮して、作業者の習熟度が判定されていなかったが、本システムによれば、上述の通り、繰り返し作業を含め、作業工程や作業手順における動作のバラツキを考慮した作業支援が可能となる。

実施例１では、作業工程や作業工程に含まれる作業手順があらかじめ定められ、これらの作業工程や作業手順における動作、繰り返し動作のバラツキの差を計算してスコアリングすることにより習熟度を判定し、その結果をユーザに提示することとした。しかし、動作のバラツキは、必ずしも明示的に作業工程や作業手順に含まれるものだけであるとは限らない。例えば、工具を取って部品をねじ止めするという一連の動作を繰り返す場合、熟練者と熟練者ではない作業者とでは、工具を取る前の準備の際の動作（例えば、作業前に複数の工具を同じ方向に並べて置く動作）の違いにより、その後の動作にバラツキを生じさせる場合もある。そこで、以下では、作業工程や作業手順に含まれる動作だけではなく、それらの作業工程や作業手順の間に行われる準備のための動作であるアプローチ動作における習熟度を判定することにより、ユーザに対して、より一層、動作のバラツキについての客観的な判断材料を提示することができるようにする。上述したように、アプローチ動作は、作業に入るための準備の際の動作であるが、当該アプローチ動作には、実施例１の場合と同様、繰り返し作業が含まれてもよい。例えば、作業前に複数の工具を同じ方向に並べて置く動作が繰り返し行われる場合、その動作は繰り返し動作を含むアプローチ動作であるといえる。

実施例２における作業支援システム２０００は、実施例１における比較作業データ５０１、分割済み参照作業データ５０１Ａ、作業シーケンス情報６０１とは異なる比較作業データ２００１、分割済み参照作業データ２００１Ａ、作業シーケンス情報２００２を有している点で、実施例１における作業支援システム１０００とは異なっている。したがって、以下では、実施例１とは異なるこれらの点について主に説明し、他の構成要素には同一の符号を付してその説明を省略している。

図１４は、本実施例における作業支援システム２０００の構成例を示す図である。図１４に示すように、作業支援システム２０００は、実施例１とは異なる比較作業データ２００１、分割済み参照作業データ２００１Ａ、作業シーケンス情報２００２を有している。

図１５は、作業工程または作業手順に分割された比較作業データ２００１の一例を示す図である。図１５に示すように、比較作業データ２００１は、センサデータ４０１に、作業者が行う作業の作業工程および作業時間に関するデータである作業シーケンス情報２００２を対応付けたデータである。図１５における比較作業データ２００１では、実施例１の場合と異なり、ある作業工程や作業手順とその次の作業工程や作業手順との間、あらかじめ定められた予備時間が含まれている。例えば、図１５では、作業工程Ｐ１とＰ２との間に予備時間Ｐ１２、作業工程Ｐ５とＰ６との間に予備時間Ｐ５６が含まれていることを示している。このように、比較作業データ２００１として、予備時間Ｐ１２および予備時間Ｐ５６を含め、作業工程Ｐ１～Ｐ９の区間に区切られたセンサデータ４０１が記憶され、比較作業データ２００１には、当該センサデータ４０１と、上記作業シーケンス情報２００２とが対応付けて記憶されている。なお、分割済み参照作業データ２００１Ａは、実施例１の場合と同様、作業工程または作業手順に分割された比較作業データ２００１と同様の構成をしているため、ここでは具体的な説明は省略している。図１５では、作業工程間に予備時間がある場合を例示したが、作業手順間に予備時間がある場合についても同様に考えてよい。

図１６は、作業シーケンス情報２００２の一例を示す図である。作業シーケンス情報２００２には、作業工程ごとに、標準作業時間が定められた作業工程シーケンス情報と、各作業工程に含まれる手順について、標準手順時間が定められた作業手順シーケンス情報とが含まれる。

図１６に示すように、作業工程シーケンス情報２００２Ａでは、作業工程ごとに、標準作業時間が定められている。区間分割部１００は、作業工程シーケンス情報２００２Ａとセンサデータ４０１を重ね合わせることにより、標準的な作業時間に対応する各作業工程におけるセンサ値の推移を検出することができる。図１６では、実施例１の場合と異なり、作業工程１と作業工程２の間では２分の予備時間Ｐ１２があり、作業工程５と作業工程６の間では２分の予備時間Ｐ５６があることを示している。すなわち、前の作業工程の終点時刻と次の工程の起点時刻との差が予備時間となることを示している。区間分割部１００は、予備時間においても、各作業工程と同様にセンサ値の推移を検出する。このような予備時間に、例えば、作業前に複数の工具を同じ方向に並べて置くといった、作業に入る前の準備の際の動作が行われる。以下では図示を省略するが、作業手順シーケンス情報２００２Ｂについても、作業工程シーケンス情報２００２Ａの場合と同様に、作業手順間の予備時間について同様に考えてよい。

図１７は、バラツキ計算部３００がディスプレイ等の表示装置に表示する習熟度判定結果画面の一例を示す図である。図１７に示す習熟度判定結果画面１７０１では、図９に示した時間比較バラツキデータ９０１における時間バラツキ判定結果表示領域１１０２と同様の時間バラツキ判定結果表示領域１７０２、図１０に示した関節部位比較バラツキデータ１００１における関節部位バラツキ判定結果表示領域１１０３と同様の関節部位バラツキ判定結果表示領域１７０３が含まれている。

図１７では、実施例１の場合と異なり、予備時間Ｐ１２、予備時間Ｐ５６における時間のバラツキの差、関節部位バラツキの差が表示されている。予備時間Ｐ１２、予備時間Ｐ５６のいずれもバラツキの差が大きいため濃い色彩で表示されていることがわかる。このように、本実施例では、作業工程Ｐ１とＰ２の間、作業工程Ｐ５とＰ６との間の予備時間で行われる動作であるアプローチ動作、アプローチ動作に繰り返し動作が含まれる場合にはその繰り返し動作についても、習熟度の判定結果が表示される。したがって、作業工程シーケンス情報６０１に明示的に工程内容や手順内容が定められていない予備時間で行われるこれらの動作についても習熟度が判定され、その結果が表示される。図１７では、バラツキ計算部３００は、アプローチ動作であることが目視できるように、繰り返し動作（ＲＰ２）の場合と同様に、アプローチ動作（ＡＰ１２）が表示している。

バラツキ計算部３００は、作業工程や作業手順の間の予備時間にアプローチ動作が含まれることを示すアプローチ動作表示領域１７０４、１７０５を、上記予備時間に対応付けて表示する。図１７では、バラツキ計算部３００は、作業工程Ｐ１とＰ２の間の予備時間には、アプローチ動作が含まれることを示す「ＡＰ１２」を、アプローチ動作表示領域１７０４、１７０５に表示している。作業工程Ｐ５とＰ６の間の予備時間であるアプローチ動作「ＡＰ５６」についても同様に表示されている。アプローチ動作に繰り返し動作が含まれる場合には、これらを並べて表示させればよい。このように、バラツキ計算部３００が、アプローチ動作表示領域１７０４、１７０５に作業工程や作業手順の間に行われるアプローチ動作が含まれることを示す情報を表示することで、ユーザは、具体的な作業内容が定められていない予備時間における動作にバラツキの差があることを、一見して確認することができる。以下では図示を省略しているが、上記予備時間におけるアプローチ動作についても、実施例１の場合と同様に、図１２に示したようなバラツキ判定結果詳細画面１２０１が表示される。

図１８は、作業支援システム２０００で行われる処理(習熟度判定処理)の処理手順を示すフローチャートである。本実施例における習熟度判定処理では、実施例１の場合と同様に、Ｓ１３０１～Ｓ１３０４までの処理が行われる。その後、バラツキ計算部３００は、選定された識別エリアに含まれる作業者についての比較作業データ５０１、選定された識別エリアに含まれる熟練者についての分割済み参照作業データ５０１Ａ、作業シーケンス情報２００２を用いて、作業工程や作業手順の間に予備時間があるか否かを判定する（Ｓ１８０１）。例えば、バラツキ計算部３００は、作業シーケンス情報２００２を参照し、各作業工程あるいは各作業手順の間で不連続となる時間があるか否かを判定することにより、それらの作業工程あるいは作業手順の間に予備時間の有無を判定する。

バラツキ計算部３００は、各作業工程あるいは各作業手順の間で不連続となる時間があり、それらの作業工程あるいは作業手順の間に予備時間があると判定した場合（Ｓ１８０１；Ｙｅｓ）、予備時間のアプローチ動作におけるバラツキの差、アプローチ動作に含まれる繰り返し動作におけるバラツキの差、および各作業工程や作業手順におけるバラツキの差、これらに含まれる繰り返し動作のバラツキの差に基づいて、熟練者に対する作業者の習熟度を判定する（Ｓ１８０２）。

一方、バラツキ計算部３００は、各作業工程あるいは各作業手順の間で不連続となる時間がなく、それらの作業工程あるいは作業手順の間に予備時間がないと判定した場合（Ｓ１８０１；Ｎｏ）、実施例１におけるＳ１３０５と同様の処理を行う。

バラツキ計算部３００は、Ｓ１８０２またはＳ１３０５において判定された結果を、図１７に示した習熟度判定結果画面として表示する（Ｓ１８０３）。

すなわち、上記識別エリア選定部２００は、選定した上記識別エリアにいる作業者の所定部位のうち、上記作業対象との位置関係が所定の関係にある部位を、上記作業対象に対して直接的に作用する部位として特定し、上記バラツキ計算部３００は、特定された上記直接的に作用する部位について、上記アプローチ動作のバラツキの差に基づく上記作業者の習熟度を判定し、当該判定の結果を提示する。

このように、本実施例では、上記区間分割部１００は、上記作業の工程または手順の間の予備時間を含む上記作業シーケンス情報２００２と上記センサデータ４０１とを用いて、上記比較作業データ２００１を出力し、上記識別エリア選定部２００は、上記作業者の習熟度を判定するための基準となる基準センサデータ（例えば、熟練者のセンサデータ３０１）と上記予備時間を含む上記作業シーケンス情報２００２とを用いて定められた上記参照作業データ２００１Ａを用いて、上記予備時間において上記作業者により行われる、上記作業の工程または手順の間に行われる準備のためのアプローチ動作のバラツキの差に基づく上記作業者の習熟度を判定し、当該判定の結果を提示する。

したがって、作業工程や作業手順の間に行われるアプローチ動作がある場合でも、アプローチ動作の習熟度の判定結果を提示することができる。例えば、工具を取って部品をねじ止めするという一連の動作を繰り返す場合において、「部品をねじ止めする」という工程が作業シーケンス情報に定められている一方、その前の作業工程や作業手順との間で不連続となる時間がある場合には、その時間は準備時間であると判断し、そのときのアプローチ動作（例えば、作業前に複数の工具を同じ方向に並べて置くといった、工具を取る前の準備の際の動作）、さらにはその繰り返し動作についても、作業者の習熟度を判定し、その判定結果を出力する。したがって、作業工程あるいは作業手順として定められた作業を行うための準備時間におけるアプローチ動作についても、作業者の習熟度や熟練者との動作の差を把握することができる。

以上、各実施例について説明したが、以下に示すように、種々の変形が可能である。例えば、上記実施例では、熟練者の分割済み参照作業データ５０１Ａを、作業者の習熟度を判定するためのリファレンスデータとして用いた。しかし、熟練者と作業者とでは体系や骨格が異なるため、より精度を向上させるために、熟練者の分割済み参照作業データ５０１Ａと、作業者の比較作業データ５０１を比較する前に、骨格補正を行ったうえで、両者を比較してもよい。例えば、区間分割部１００は、撮像データ３０１に含まれる作業者を画像解析して得られた骨格と、過去の撮像データ３０１に含まれる熟練者を画像解析して得られた骨格とを比較し、同じ関節位置の差の大きさに応じて画像や映像を拡大または縮小させる度合いを算出する。エリア選定部２００は、算出された上記拡大または縮小させる度合いに応じて、識別エリアに含まれる作業者の関節部位の位置を補正し、さらに当該補正後の位置にある関節部位のうち、作業対象に直接的に作用する部位を習熟度判定対象とする部位として特定する。すなわち、上記区間分割部１００は、上記作業者の習熟度を判定するための基準となる基準センサデータ（例えば、熟練者のセンサデータ３０１）の解析元となる撮像データ３０１に含まれる熟練者の所定部位の位置を、上記撮像データ３０１を解析して得られた上記作業者の所定部位の位置に補正し、上記バラツキ計算部３００は、上記補正した後の上記基準センサデータと上記作業シーケンス情報２００２とを用いて定められた上記参照作業データ２００１Ａを用いて、上記作業の工程または手順における繰り返し動作のバラツキの差に基づく上記作業者の習熟度を判定し、当該判定の結果を提示する。これにより、熟練者と作業者との骨格の違いを考慮して習熟度判定のための部位を特定し、習熟度の判定結果を提示できる。

さらに、上述した各実施例では、熟練者の分割済み参照作業データ５０１Ａは、あらかじめ過去のある時点の熟練者の作業データである前提で説明した。しかし、将来にわたって同じ熟練者が作業者よりも長けているとは限らない。したがって、バラツキ計算部３００は、図１３のＳ１３０５、図１８のＳ１８０２やＳ１３０５において判定した習熟度が、作業者のほうが優れている（例えば、バラツキの差のスコアがマイナスである）場合には、その作業者の比較作業データ５０１を、新たな熟練者の分割済み参照作業データ５０１Ａとして登録してもよい。すなわち、上記バラツキ計算部３００は、上記バラツキの差に基づく上記作業者の習熟度を判定した結果、当該作業者のほうが熟練者の習熟度よりも優れている場合、当該優れていると判定した作業者の比較作業データ５０１を、新たな上記参照作業データ５０１Ａとして登録する。これにより、作業者の作業レベルが熟練者の作業レベルを超えた場合、当該作業者の比較作業データをリファレンスデータとして自動的に登録することができる。

また、上述した各実施例では、熟練者の分割済み参照作業データ５０１Ａは、あらかじめ過去のある時点の熟練者の作業データである前提で説明した。しかし、必ずしも一人の熟練者が全ての作業工程や作業手順について長けているとは限らず、ある作業は熟練者Ａが長けており、別の作業は熟練者Ｂが長けているといった場合もある。したがって、バラツキ計算部３００は、図１３のＳ１３０５、図１８のＳ１８０２やＳ１３０５において判定した習熟度から、どの作業工程や作業手順が作業者のほうが優れている（例えば、バラツキの差のスコアがマイナスである）のかを判定し、当該優れていると判定した作業工程や作業手順についてのデータを用いて、分割済み参照作業データ５０１Ａのうち当該優れていると判定した作業工程や作業手順についてのデータを更新する。上記バラツキ計算部３００は、上記バラツキの差に基づく上記作業者の習熟度を判定した結果、当該作業者のほうが熟練者の習熟度よりも優れている場合、当該優れていると判定した作業工程や作業手順についてのデータ（例えば、図５や図１５に含まれる作業工程Ｐ２のデータ）を用いて、上記参照作業データのうち当該優れていると判定した作業工程や作業手順についてのデータ（例えば、作業工程Ｐ２に対応するデータ）を更新する。これにより、作業者の作業レベルが熟練者の作業レベルを超えた場合、作業工程や作業手順ごとにデータが更新され、例えば、作業時間が最短となる新たなリファレンスデータを自動的に登録することができる。

さらに、バラツキ計算部３００は、作業者の比較作業データ５０１に対応する作業工程や作業手順が、熟練者の分割済み参照作業データ５０１Ａに対応する作業工程や作業手順の作業時間が、ＭＯＤＡＰＴＳ（modular arrangement of predetermined timestandards）法により算出したＭＯＤ値に対して所定の範囲（例えば、±２０％）に収まっている場合に、当該作業者の比較作業データ５０１を、熟練者の分割済み参照作業データ５０１Ａとして登録してもよい。すなわち、上記バラツキ計算部３００は、上記バラツキの差に基づく上記作業者の習熟度を判定した結果、ＭＯＤＡＰＴＳ法により算出した、当該作業者の比較作業データ５０１に対応する作業工程や作業手順の作業時間が、ＭＯＤ値の所定の範囲に収まっている場合に、当該作業者の比較作業データ５０１を、熟練者の参照作業データ５０１Ａとして登録してもよい。この場合、熟練者の分割済み参照作業データ５０１Ａを、ＰＴＳ法で算出した作業時間のデータに漸近させることができる。

なお、上記各実施例では、ワークテーブルやワークの位置が固定されている場合を例示したが、ライン生産において、これらの位置が所定の範囲（例えば、３メートル四方）に位置する、というように、その範囲がある程度定められている場合にも、上述した各実施例と同様の考え方で適用することができる。

１０００、２０００ 作業支援システム
１００ 区間分割部
２００ 識別エリア選定部
３００ バラツキ計算部
４００ 作業シーケンスコントローラ
５０１、２００１ 比較作業データ
５０１Ａ、２００１Ａ 分割済み参照作業データ
６０１、２００２ 作業シーケンス情報
７０１ 参照エリア情報

Claims (9)

1. 繰り返し動作を含む、作業対象に対する作業を行う作業者を撮像した撮像データを解析して得られた前記作業者の所定部位のセンサデータと、前記作業の工程または手順を定めた作業シーケンス情報とを用いて、前記センサデータを前記作業の工程または手順に対応付けた比較作業データを出力する区間分割部と、
   前記作業対象の位置であるワーク位置や前記作業者が作業を行う作業位置を定めた参照エリア情報と前記撮像データとに基づいて、習熟度を判定する対象となる作業者の識別エリアを選定し、選定した前記識別エリアにいる作業者と当該作業者の所定部位の前記比較作業データとを対応付ける識別エリア選定部と、
   前記作業者の習熟度を判定するための基準となる基準センサデータと前記作業シーケンス情報とを用いて定められた、前記基準センサデータを前記作業の工程または手順に対応付けた参照作業データと、選定された前記識別エリアにいる作業者の前記比較作業データと、前記作業シーケンス情報とを用いて、前記作業の工程または手順における繰り返し動作のバラツキの差に基づく前記作業者の習熟度を判定し、当該判定の結果を提示するバラツキ計算部と、
   を有することを特徴とする作業支援システム。
2. 前記区間分割部は、前記作業の工程または手順の間の予備時間を含む前記作業シーケンス情報と前記センサデータとを用いて、前記比較作業データを出力し、
   前記識別エリア選定部は、前記基準センサデータと前記予備時間を含む前記作業シーケンス情報とを用いて定められた前記参照作業データを用いて、前記予備時間において前記作業者により行われる、前記作業の工程または手順の間に行われる準備のためのアプローチ動作のバラツキの差に基づく前記作業者の習熟度を判定し、当該判定の結果を提示する、
   ことを特徴とする請求項１に記載の作業支援システム。
3. 前記識別エリア選定部は、選定した前記識別エリアにいる作業者の所定部位のうち、前記作業対象との位置関係が所定の関係にある部位を、前記作業対象に対して直接的に作用する部位として特定し、
   前記バラツキ計算部は、特定された前記直接的に作用する部位について、前記繰り返し動作のバラツキの差に基づく前記作業者の習熟度を判定し、当該判定の結果を提示する、
   ことを特徴とする請求項１に記載の作業支援システム。
4. 前記識別エリア選定部は、選定した前記識別エリアにいる作業者の所定部位のうち、前記作業対象との位置関係が所定の関係にある部位を、前記作業対象に対して直接的に作用する部位として特定し、
   前記バラツキ計算部は、特定された前記直接的に作用する部位について、前記アプローチ動作のバラツキの差に基づく前記作業者の習熟度を判定し、当該判定の結果を提示する、
   ことを特徴とする請求項２に記載の作業支援システム。
5. 前記区間分割部は、前記基準センサデータの解析元となる撮像データに含まれる熟練者の所定部位の位置を、前記撮像データを解析して得られた前記作業者の所定部位の位置に補正し、
   前記バラツキ計算部は、前記補正した後の前記基準センサデータと前記作業シーケンス情報とを用いて定められた前記参照作業データを用いて、前記作業の工程または手順における繰り返し動作のバラツキの差に基づく前記作業者の習熟度を判定し、当該判定の結果を提示する、
   ことを特徴とする請求項１に記載の作業支援システム。
6. 前記バラツキ計算部は、前記バラツキの差に基づく前記作業者の習熟度を判定した結果、当該作業者のほうが熟練者の習熟度よりも優れている場合、当該優れていると判定した作業工程や作業手順についてのデータを用いて、前記参照作業データのうち当該優れていると判定した作業工程や作業手順についてのデータを更新する、
   ことを特徴とする請求項１に記載の作業支援システム。
7. 前記バラツキ計算部は、前記バラツキの差に基づく前記作業者の習熟度を判定した結果、当該作業者のほうが熟練者の習熟度よりも優れている場合、当該優れていると判定した作業者の比較作業データを、新たな前記参照作業データとして登録する、
   ことを特徴とする請求項１に記載の作業支援システム。
8. 前記バラツキ計算部は、前記バラツキの差に基づく前記作業者の習熟度を判定した結果、ＭＯＤＡＰＴＳ法により算出した、当該作業者の比較作業データに対応する作業工程や作業手順の作業時間が、ＭＯＤ値の所定の範囲に収まっている場合に、当該作業者の比較作業データを、熟練者の参照作業データとして登録する、
   ことを特徴とする請求項１に記載の作業支援システム。
9. コンピュータにより行われる、作業者の作業を支援する作業支援方法であって、
   区間分割部が、繰り返し動作を含む、作業対象に対する作業を行う作業者を撮像した撮像データを解析して得られた前記作業者の所定部位のセンサデータと、前記作業の工程または手順を定めた作業シーケンス情報とを用いて、前記センサデータを前記作業の工程または手順に対応付けた比較作業データを出力し、
   識別エリア選定部が、前記作業対象の位置であるワーク位置や前記作業者が作業を行う作業位置を定めた参照エリア情報と前記撮像データとに基づいて、習熟度を判定する対象となる作業者の識別エリアを選定し、選定した前記識別エリアにいる作業者と当該作業者の所定部位の前記比較作業データとを対応付け、
   バラツキ計算部が、前記作業者の習熟度を判定するための基準となる基準センサデータと前記作業シーケンス情報とを用いて定められた、前記基準センサデータを前記作業の工程または手順に対応付けた参照作業データと、選定された前記識別エリアにいる作業者の前記比較作業データと、前記作業シーケンス情報とを用いて、前記作業の工程または手順における繰り返し動作のバラツキの差に基づく前記作業者の習熟度を判定し、当該判定の結果を提示する、
   を有することを特徴とする作業支援方法。

Images