JP2019159885A - 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム - Google Patents

動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム Download PDF

Info

Publication number
JP2019159885A
JP2019159885A JP2018046488A JP2018046488A JP2019159885A JP 2019159885 A JP2019159885 A JP 2019159885A JP 2018046488 A JP2018046488 A JP 2018046488A JP 2018046488 A JP2018046488 A JP 2018046488A JP 2019159885 A JP2019159885 A JP 2019159885A
Authority
JP
Japan
Prior art keywords
motion
information
unit
worker
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018046488A
Other languages
English (en)
Other versions
JP6928880B2 (ja
Inventor
修一 後藤
Shuichi Goto
修一 後藤
浩臣 音田
Hiroomi Onda
浩臣 音田
直浩 河合
Naohiro Kawai
直浩 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018046488A priority Critical patent/JP6928880B2/ja
Publication of JP2019159885A publication Critical patent/JP2019159885A/ja
Application granted granted Critical
Publication of JP6928880B2 publication Critical patent/JP6928880B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】どのような要素動作についてどのような種類の動作が実行されたかを容易に確認することができる動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムを提供する。【解決手段】動作分析装置は、作業者の動作を示す時系列情報を取得する取得部と、時系列情報を、作業者により実行された複数の要素動作に対応する複数の部分情報に分類する第1分類部と、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部と、を備える。【選択図】図1

Description

本開示は、動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムに関する。
従来、製品の製造ラインに1又は複数のカメラを設置して、作業者の動作を画像や動画で記録することがある。また、撮影した画像や動画について画像認識処理を行って、作業者の動作を解析する場合がある。
下記特許文献1には、作業者の動作を撮影するカメラと、カメラが撮影した動画を分析して、作業者が行った動作を検査する動作検査装置とを含み、動作検査装置は、製品を製造する作業者が行った動作をデジタル的に記録した作業者動作データを生成した後、パターンマッチングを用いて、基準となる動作をデジタル的に記録した基準動作パターンと作業者動作データを比較し、基準動作データに適合する作業者動作データの区間をすべて特定する処理を実行する、作業動作検査システムが記載されている。
また、下記特許文献2には、動作解析対象の運動を撮像した動画像データから抽出した局所的な動き情報の統計量に基づき第一段階の特徴データを算出し、第一段階の特徴データの時系列変化から動画像データを分割し、分割した第一段階の特徴データから分割区間毎に第二段階の時系列特徴データを算出すること及び分割区間毎に算出した第二段階の時系列特徴データに基づきその分割区間を分類することのうち少なくともいずれか一方に基づき分割区間列データを獲得し、獲得した分割区間列データに基づき動作解析対象の動作を解析する動作解析方法が記載されている。
特開2016−42332号公報 特開2009−205282号公報
製造ラインで様々な作業が行われる場合に、作業者が特定の動作を実行した場面を確認したい場合がある。このような要求に応えるために、製造ラインに1又は複数のカメラを設置して、作業者の動作を動画により継続的に撮影することがある。例えば、特許文献1に記載の技術によれば、基準動作データに適合する作業者動作データの区間をすべて特定することができ、ミス等の望ましくない動作が行われた作業者動作データの区間を特定することができる。また、特許文献2に記載の技術によれば、動画を分割して、分割区間に関する対象の動作を解析することができる。
しかしながら、仮に、製造ラインに1又は複数のカメラ等のセンサを設置して、作業者の動作を示す時系列情報を取得したとしても、作業者により行われる要素動作の種類が増えると、ミス動作等が実行された区間が特定されても、どのような要素動作に関する区間が特定されたのかが分かりづらくなり、どのような要素動作についてミスが生じたのかが分かりづらくなる。また、各要素動作について、複数種類のミス動作が行われることがあるため、単に区間が特定されても、どのような種類のミス動作が行われたのかがデータの内容を確認するまで明らかでなく、対策を効率的に立てることが困難となる。このような事情は、ミス動作だけでなく、標準的な動作が実行された区間を特定する場合にも当てはまる。すなわち、作業者により行われる要素動作の種類が増えると、標準的な動作が実行された区間が特定されても、どのような要素動作について標準的な動作が行われたのかが分かりづらくなる。また、単に区間が特定されても、どのような種類の標準的な動作が行われたのかがデータの内容を確認するまで明らかでない。
そこで、本発明は、どのような要素動作についてどのような種類の動作が実行されたかを容易に確認することができる動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムを提供する。
本開示の一態様に係る分析装置は、作業者の動作を示す時系列情報を取得する取得部と、時系列情報を、作業者により実行された複数の要素動作に対応する複数の部分情報に分類する第1分類部と、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部と、を備える。ここで、作業者の動作を示す時系列情報は、連続的に又は間欠的に取得される情報であってよく、数値情報や画像情報を含んでよい。また、第1分類部は、時系列情報を複数の部分情報に分割してもよいし、複数の部分情報を示すタグやフラグを対象となる時系列情報に付与し、当該タグやフラグに基づいて分類することで、時系列情報を複数の部分情報に分類してもよい。また、第2分類部は、部分情報を複数のグループに分割してもよいし、複数のグループを示すタグやフラグを部分情報に対して付与することで、部分情報を複数のグループのいずれかに分類してもよい。第2分類部は、部分情報を、重複しないように複数のグループのいずれかに分類してもよいし、部分情報を、重複を許して複数のグループに分類してもよい。
この態様によれば、第1分類部によって、時系列情報を、それぞれが複数の要素動作のいずれかに対応する複数の部分情報に分類し、第2分類部によって、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類することで、どのような要素動作についてどのような種類の動作が実行されたかを容易に確認することができる。また、第1分類部及び第2分類部により異なる観点で分類を行うことで、よりノイズの少ない分類を行うことができる。
上記態様において、複数のグループのうちいずれかを選択する選択部をさらに備え、1又は複数の基準は、第1基準と、第1基準と異なる第2基準とを含み、第2分類部は、少なくとも一つの部分情報を、第1基準により複数のグループのいずれかに分類し、選択部により選択されたグループに含まれる部分情報を、第2基準により複数のグループのいずれかに分類してもよい。
この態様によれば、第2分類部によって、第1基準及び第2基準という異なる観点で分類を行うことで、どのような要素動作についてどのような種類の動作が実行されたかをより詳細に確認することができる。
上記態様において、選択部は、複数のグループのうち、入力部による入力に応じたグループ又は所定の条件を満たすグループを選択してもよい。ここで、所定の条件は、第1基準について設定された閾値に関する条件であってよい。
この態様によれば、少なくとも一つの部分情報を第1基準により複数のグループのいずれかに分類し、入力に応じたグループ又は所定の条件を満たすグループを選択して、選択されたグループに含まれる部分情報を第2基準により複数のグループのいずれかに分類することで、第1基準により分類された複数のグループのうち特に注目するグループについて、より詳細な分類を行うことができる。
上記態様において、時系列情報は、作業者の動作を示す座標値を含む動作情報を含み、第1分類部は、動作情報と、作業者の動作について比較の基準となる基準動作を示す座標値を含む基準動作情報との比較に基づいて、動作情報を複数の部分情報に分類してもよい。ここで、作業者の動作を示す座標値は、作業者の動作に伴って位置が変化する部分の座標値であってよく、当該部分は、作業者の動作を特徴付ける部分であってよい。より具体的には、作業者の動作を示す座標値は、作業者の複数の関節の座標値であったり、作業者の指先や頭部の座標値であったり、作業者によって把持された道具や作業者に装着された物の座標値であったりしてよい。
この態様によれば、作業者の動作を示す座標値を含む動作情報と、基準動作を示す座標値を示す基準動作情報との比較を行うことで、複数の部分情報がより正確に複数の要素動作に対応するように、時系列情報を分類することができる。
上記態様において、時系列情報は、作業者の動作を示す座標値を含む動作情報と対応付けられ、作業者を撮影した動画を含み、選択部により選択されたグループに含まれる動作情報に対応付けられた動画から、少なくとも一つの動画を抽出する抽出部をさらに備えてもよい。
この態様によれば、第1基準により分類された複数のグループのうち特に注目するグループに含まれる動作情報に対応付けられた動画を抽出することができ、実際にどのような動作が行われたのかを確認することができる。
上記態様において、抽出部は、第2分類部による分類に用いた基準の空間における、選択されたグループに含まれる動作情報の重心に基づいて、動画を抽出してもよい。
この態様によれば、第1基準により分類された複数のグループのうち特に注目するグループに含まれる動作情報について、代表的な動作情報に基づいて動画を抽出することができ、注目するグループにおいて典型的にどのような動作が行われたのかを確認することができる。
上記態様において、抽出部は、入力部による入力に基づいて、動画を抽出してもよい。
この態様によれば、第1基準により分類された複数のグループのうち特に注目するグループに含まれる動作情報について、ユーザによる入力に基づいて動画を抽出することができ、実際にどのような動作が行われたのかを注目するグループに含まれる動作情報それぞれについて個別に確認することができる。
上記態様において、選択部により選択されたグループの種類に基づいて、抽出された動画の再生範囲を決定する決定部をさらに備えてもよい。
この態様によれば、第1基準により分類された複数のグループのうち特に注目するグループの種類に基づいて、動画の再生範囲を決定することで、注目する動作が行われている場面を容易に確認できるように、動画を再生することができる。
上記態様において、第1基準は、作業者の動作の実行時間に関する基準を含んでもよい。
この態様によれば、作業者の動作の実行時間が短過ぎたり、長過ぎたりする場合を標準外のグループに分類することができ、どのような種類の動作が実行されたかを実行時間の観点で確認することができる。
上記態様において、第1基準は、作業者の動作とともに移動する特定の部位の移動軌跡の長さに関する基準を含んでもよい。ここで、特定の部位は、作業者の動作に伴って位置が変化する部位であってよく、当該部位は、作業者の動作を特徴付ける部位であってよい。より具体的には、特定の部位は、作業者の複数の関節であったり、作業者の指先や頭部であったり、作業者によって把持された道具や作業者に装着された物であったりしてよい。
この態様によれば、作業者の動作の移動軌跡が短過ぎたり、長過ぎたりする場合を標準外のグループに分類することができ、どのような種類の動作が実行されたかを移動軌跡の観点で確認することができる。
本開示の他の態様に係る動作分析方法は、作業者の動作を示す時系列情報を取得することと、時系列情報を、作業者により実行された複数の要素動作に対応する複数の部分情報に分類することと、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類することと、を含む。
この態様によれば、時系列情報を、それぞれが複数の要素動作のいずれかに対応する複数の部分情報に分類し、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類することで、どのような要素動作についてどのような種類の動作が実行されたかを容易に確認することができる。また、異なる観点で2種類の分類を行うことで、よりノイズの少ない分類を行うことができる。
本開示の他の態様に係る動作分析プログラムは、動作分析装置に備えられた演算部を、作業者の動作を示す時系列情報を取得する取得部、時系列情報を、作業者により実行された複数の要素動作に対応する複数の部分情報に分類する第1分類部、及び少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部、として動作させる。
この態様によれば、第1分類部によって、時系列情報を、それぞれが複数の要素動作のいずれかに対応する複数の部分情報に分類し、第2分類部によって、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類することで、どのような要素動作についてどのような種類の動作が実行されたかを容易に確認することができる。また、第1分類部及び第2分類部により異なる観点で分類を行うことで、よりノイズの少ない分類を行うことができる。
本開示の他の態様に係る動作分析システムは、作業者の動作を示す座標値を含む動作情報を測定する測定部と、動作情報と対応付けられた、作業者の動画を撮影する撮影部と、動作情報と、作業者の動作について比較の基準となる基準動作を示す座標値を含む基準動作情報との比較に基づいて、動作情報を複数の部分情報に分類する第1分類部と、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部と、複数のグループのうちいずれかを選択する選択部と、選択部により選択されたグループに含まれる動作情報に対応付けられた動画から、少なくとも一つの動画を抽出する抽出部と、抽出された動画を表示する表示部と、を備える。
この態様によれば、第1分類部によって、時系列情報を、それぞれが複数の要素動作のいずれかに対応する複数の部分情報に分類し、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類することで、どのような要素動作についてどのような種類の動作が実行されたかを容易に確認することができる。また、第1基準により分類された複数のグループのうち特に注目するグループに含まれる動作情報に対応付けられた動画を抽出することができ、実際にどのような動作が行われたのかを確認することができる。
本発明によれば、どのような要素動作についてどのような種類の動作が実行されたかを容易に確認することができる動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムが提供される。
本発明の実施形態に係る動作分析システムの概要を例示する図である。 本実施形態に係る動作分析システムの機能ブロックを例示する図である。 本実施形態に係る動作分析装置の物理的構成を例示する図である。 本実施形態に係る動作分析システムにより測定される動作情報の第1例を示す図である。 本実施形態に係る動作分析システムにより測定される動作情報の第2例を示す図である。 本実施形態に係る動作分析システムにより測定される動作情報の第3例を示す図である。 本実施形態に係る動作分析システムにより測定される動作情報の第4例を示す図である。 本実施形態に係る動作分析システムにより測定される動作情報の第5例を示す図である。 本実施形態に係る動作分析システムにより実行される分類処理の第1例のフローチャートである。 本実施形態に係る動作分析システムにより分類されたグループの第1例を示す図である。 本実施形態に係る動作分析システムにより実行される分類処理の第2例のフローチャートである。 本実施形態に係る動作分析システムにより分類されたグループの第2例を示す図である。 本実施形態に係る動作分析システムにより決定される動画の再生範囲の第1例を示す図である。 本実施形態に係る動作分析システムにより決定される動画の再生範囲の第2例を示す図である。 本実施形態に係る動作分析システムにより決定される動画の再生範囲の第3例を示す図である。 本実施形態に係る動作分析システムにより表示される画面の一例である。 本実施形態に係る動作分析システムにより分類されたグループの第3例を示す図である。 本実施形態に係る動作分析システムにより分類されたグループの第4例を示す図である。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」と表記する。)を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
§1 適用例
まず、図1を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る動作分析システム100は、作業者の動作を示す座標値を含む動作情報を測定する測定部30と、動作情報と対応付けられた、作業者の動画を撮影する第1撮影部20a、第2撮影部20b及び第3撮影部20cと、を備える。本実施形態に係る動作分析システム100は、製造ライン全体を含む作業領域Rにおいて作業者が行う動作を分析するものであるが、作業領域Rは、任意の領域であってよく、例えば所定の工程が行われる領域であったり、所定の要素動作が行われる領域であったりしてよい。ここで、要素動作とは、作業者により実行される一単位の動作であり、例えば、部品のピッキング、部品の配置、部品の固定、製品の梱包、ネジ締め、検品といった動作を含む。
本例では、第1作業者A1及び第2作業者A2が、作業領域Rにおいて、予め定められた動作を行う場合について説明する。第1作業者A1は、例えば指でネジを掴み、部品のネジ穴にネジを入れ、ドライバーでネジ締めを行うといった動作を実行し、第2作業者A2は、例えばネジ止めされた部品の検品といった動作を実行してよい。もっとも、作業者は、作業領域Rに限らない任意の場所で、任意の動作を行ってもよい。
動作分析システム100は、動作分析装置10を含む。動作分析装置10は、作業者の動作を示す時系列情報を取得する取得部と、時系列情報を、作業者により実行された複数の要素動作に対応する複数の部分情報に分類する第1分類部と、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部と、を備える。ここで、作業者の動作を示す時系列情報は、作業者の動作を示す座標値を含む動作情報と、動作情報と対応付けられた、作業者を撮影した動画とを含んでよい。時系列情報は、第1分類部によって、複数の要素動作に対応する複数の部分情報に分類される。そして、部分情報は、第2分類部によって、複数のグループのいずれかに分類される。例えば、第1分類部は、時系列情報を、それぞれが複数の要素動作のいずれかに対応する複数の部分情報に分割し、第2分類部は、少なくとも一つの部分情報を、1又は複数の基準により複数のグループにクラスタリングしてよい。
より具体的には、第1分類部は、時系列情報に含まれる動作情報と、作業者の動作について比較の基準となる基準動作を示す座標値を含む基準動作情報との比較に基づいて、動作情報を複数の部分情報に分類してよい。ここで、基準動作は、作業者が従うべき標準的な動作であってもよいし、作業者のミス動作や標準外の動作であってもよい。例えば、作業者の動作が、部品のネジ締めと検品である場合、第1分類部は、動作情報を、部品のネジ締めに関する要素動作に対応する部分情報と、検品に関する要素動作に対応する部分情報とに分類してよい。また、第1分類部は、作業者の動作を時系列順に示す座標値を含む動作情報の特定の区間と、基準動作を時系列順に示す座標値を含む基準動作情報との乖離度を算出し、乖離度が小さい基準動作情報を特定して、動作情報の当該区間を、特定された基準動作情報が表す要素動作に対応する部分情報として分類してよい。
また、第2分類部は、少なくとも一つの部分情報を、第1基準により複数のグループのいずれかに分類してよい。ここで、第1基準は、作業者の動作の実行時間に関する基準であったり、作業者の動作とともに移動する特定の部位の移動軌跡の長さに関する基準であったり、作業者の動作の内容に関する基準であったりしてよい。より具体的には、部分情報が部品のネジ締めに関する要素動作に対応する場合、第1基準は、例えば、ネジ締め動作の実行時間に関する基準であったり、作業者の手、作業者により把持されたドライバー又は作業者により把持されたネジ等の特定の部位の移動軌跡の長さに関する基準であったりしてよい。これにより、作業者の動作の実行時間が短過ぎたり、長過ぎたりする場合を標準外のグループに分類することができ、どのような種類の動作が実行されたかを実行時間の観点で確認することができる。また、作業者の動作の移動軌跡が短過ぎたり、長過ぎたりする場合を標準外のグループに分類することができ、どのような種類の動作が実行されたかを移動軌跡の観点で確認することができる。
さらに、第2分類部は、第1基準により分類された複数のグループのうち、選択されたグループに含まれる部分情報を、第1基準と異なる第2基準により複数のグループのいずれかに分類してよい。ここで、第2基準は、第1基準として用いられていない基準であり、作業者の動作の実行時間に関する基準であったり、作業者の動作とともに移動する特定の部位の移動軌跡の長さに関する基準であったり、作業者の動作の内容に関する基準であったりしてよい。より具体的には、選択されたグループに含まれる部分情報が、部品のネジ締めに関する要素動作に対応し、実行時間が比較的長いグループである場合、第2基準は、例えば、作業者がネジをネジ穴に入れる際に標準より長い時間を要したのか、作業者がネジを落として拾ったために標準より長い時間を要したのかを分類する基準であってよい。このように、第2分類部によって、第1基準及び第2基準という異なる観点で分類を行うことで、どのような要素動作についてどのような種類の動作が実行されたかをより詳細に確認することができる。
動作分析装置10は、選択されたグループに含まれる動作情報に対応付けられた動画から、少なくとも一つの動画を抽出して、表示部10fに表示してもよい。ここで、選択されたグループの種類に基づいて、抽出された動画の再生範囲を決定してもよい。例えば、選択されたグループに含まれる部分情報が、予定されていない動作に対応する場合、当該予定されていない動作及びその前後の動作を含むように、動画の再生範囲を決定してよい。このように、第1基準により分類された複数のグループのうち特に注目するグループに含まれる動作情報に対応付けられた動画を抽出することができ、実際にどのような動作が行われたのかを確認することができる。また、第1基準により分類された複数のグループのうち特に注目するグループの種類に基づいて、動画の再生範囲を決定することで、注目する動作が行われている場面を容易に確認できるように、動画を再生することができる。
本実施形態に係る動作分析装置10によれば、第1分類部によって、時系列情報を、それぞれが複数の要素動作のいずれかに対応する複数の部分情報に分類し、第2分類部によって、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類することで、どのような要素動作についてどのような種類の動作が実行されたかを容易に確認することができる。また、第1分類部及び第2分類部により異なる観点で分類を行うことで、よりノイズの少ない分類を行うことができる。これにより、作業者により行われる要素動作の種類が増えた場合であっても、どのような要素動作に関する区間が特定されたのかが明らかとなり、各要素動作について、標準的な動作や複数種類のミス動作等の動作の種類が明らかとなる。このため、作業者の動作の分析に要する演算負荷を大幅に減らすことができ、ミス動作を防止する対策の立案や効率的な動作手順の検討等をより効率的に行うことができる。
例えば、第1分類部によって、時系列情報に含まれる動作情報を基準動作情報と比較して複数の部分情報に分類し、第2分類部によって、部分情報を標準的な動作のグループと標準的ではない動作のグループとに分類することで、作業者がどの程度の割合で標準的な動作を実行しているのかを確認することができる。これにより、短期的には、標準的ではない動作が実行されたことを早期に検出し、例えば製造ラインにおいて不良品が製造されるおそれを低減することができる。仮に、標準的ではない動作が行われたが、良品が製造された場合であっても、問題が発生する兆候を捉え、その後の確認作業を効率化できるという点で技術的意義がある。このようなメリットは、動作分析システム100を用いる場合にリアルタイムに得られるメリットである。
また、長期的には、作業者の習熟支援に用いたり、基準動作の改善を検討する材料を提供したりすることができる。例えば、多くの作業者が標準的でない動作を行う要素動作を特定して、当該要素動作に関する基準動作を改良することが考えられる。このようなメリットは、動作分析システム100を継続的に用いる場合に得られるメリットであり、非リアルタイムに得られるメリットである。
§2 構成例
[機能構成]
次に、図2を用いて、本実施形態に係る動作分析システム100の機能構成の一例を説明する。動作分析システム100は、第1撮影部20a、第2撮影部20b、第3撮影部20c、測定部30及び動作分析装置10を備える。そして、動作分析装置10は、第1取得部11、第2取得部12、第3取得部13、記憶部14、第1分類部15、第2分類部16、選択部17、抽出部18、決定部19、入力部10e及び表示部10fを備える。
<撮影部>
第1撮影部20a、第2撮影部20b及び第3撮影部20cは、それぞれ汎用のカメラによって構成されてよく、作業領域Rにおいて第1作業者A1及び第2作業者A2が動作を実行している場面を含む動画を撮影してよい。第1撮影部20a、第2撮影部20b及び第3撮影部20cは、それぞれ作業領域Rの一部を撮影してよく、作業領域Rよりも狭い領域の動画を撮影してよい。具体的には、第1作業者A1及び第2作業者A2により実行される動作を、特定の領域に注目して撮影した動画であってよい。第1撮影部20a、第2撮影部20b及び第3撮影部20cは、例えば、第1作業者A1及び第2作業者A2の手元をクローズアップした動画を撮影してよい。
また、第1撮影部20a、第2撮影部20b及び第3撮影部20cは、作業領域Rを構成する複数の部分をそれぞれ撮影した複数の動画を撮影してよい。例えば、第1撮影部20aは、主に第1作業者A1が動作を実行している動画を撮影し、第3撮影部20cは、主に第2作業者A2が動作を実行している動画を撮影し、第2撮影部20bは、第1作業者A1が動作を実行している動画及び第2作業者A2が動作を実行している動画の両方を撮影してよい。また、第1撮影部20a、第2撮影部20b及び第3撮影部20cは、作業領域Rにおける複数の位置でそれぞれ異なる工程が実行される動画を撮影してよい。
<測定部>
測定部30は、モーションキャプチャにより構成されてよく、ある作業領域Rにおいて実行された第1作業者A1及び第2作業者A2の動作を示す座標値を含む動作情報を測定してよい。測定部30の構成は任意であるが、例えば、第1作業者A1及び第2作業者A2にパターン光を投影して、パターン光が投影された状態の第1作業者A1及び第2作業者A2の動画を撮影し、撮影した動画に基づいて、第1作業者A1及び第2作業者A2の複数の関節の座標値を測定するものであってよい。また、測定部30は、複数の作業者に関する複数の動作情報を測定する場合、動作情報に作業者を識別する情報を付加してもよい。なお、測定部30は、第1作業者A1及び第2作業者A2の複数の関節の座標値以外を測定するものであってもよく、例えば、第1作業者A1及び第2作業者A2の指先や頭部、作業者によって把持された道具や作業者に装着された物等、必ずしも関節ではない特定の部位の座標値を測定するものであってもよく、関節の座標値及び関節以外の代表的な位置の座標値を測定するものであってもよい。また、測定部30は、第1作業者A1及び第2作業者A2が装着したトラッカーの位置の座標値を測定するものであってもよい。また、測定部30は、第1作業者A1及び第2作業者A2の動画を解析して、動画に基づいて作業者の動作を示す座標値を含む動作情報を測定するものであってもよい。
動作分析システム100には、複数の測定部30が含まれてもよい。複数の測定部30によって、複数の作業者の動作情報を測定する場合、同一の作業者の動作情報が重複して測定されることがあり得るが、動作情報に作業者を識別する情報を付加して、重複を取り除いたり、異なる測定部30により測定された動作情報を合成したりしてもよい。
測定部30は、第1作業者A1及び第2作業者A2が動作を実行している動画を撮影する第4撮影部を兼ねてもよい。第4撮影部は、作業領域R全体の動画を撮影してよい。すなわち、第4撮影部は、第1作業者A1及び第2作業者A2が動作を実行している様子を、第1作業者A1及び第2作業者A2が両方含まれるように撮影してよい。一方、第1撮影部20a、第2撮影部20b及び第3撮影部20cは、第1作業者A1及び第2作業者A2の一方が含まれるように、第1作業者A1及び第2作業者A2が動作を実行している動画を撮影してよい。
<動作分析装置>
第1取得部11は、第1作業者A1及び第2作業者A2の動作を示す座標値を含む動作情報を、測定部30から取得してよい。第1取得部11により取得された動作情報は、記憶部14に伝送され、動作情報履歴14bとして記憶される。動作分析システム100が複数の測定部30を含む場合、第1取得部11は、複数の測定部30それぞれから動作情報を取得してよく、いずれの測定部30から取得した動作情報であるかを識別する情報を付加して、動作情報を記憶部14に伝送してもよい。なお、動作情報は、例えば、作業者の動作を示す座標値を1秒間隔で測定した情報であってよい。
第2取得部12は、第1作業者A1及び第2作業者A2が動作を実行している動画を、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30(第4撮影部)から取得してよい。第2取得部12により取得された動画は、記憶部14に伝送され、動作情報と対応付けられて動画履歴14aとして記憶される。第2取得部12は、複数の撮影部のうちいずれの撮影部から取得した動画であるかを識別する情報を付加して、動画を記憶部14に伝送してもよい。
第3取得部13は、作業者の動作について比較の基準となる基準動作を示す座標値を含む基準動作情報を、測定部30から取得してよい。第3取得部13により取得された基準動作情報は、記憶部14に伝送され、基準動作情報14cとして記憶される。なお、第3取得部13は、既に記憶された動作情報履歴14bのうち、ユーザにより指定された動作情報を、基準動作情報として取得して、基準動作であることを示す情報を付加して記憶部14に記憶してもよい。基準動作情報は、例えば、作業者が従うべき標準的な動作が実行された場合における作業者の動作を示す座標値を1秒間隔で測定した情報であってよい。また、第3取得部13は、後述する通信部10dにより接続されるインターネット等を介して、他の装置から基準動作情報を取得してもよい。
記憶部14は、動画履歴14a、動作情報履歴14b及び基準動作情報14cを記憶してよい。記憶部14は、これら以外に、第2分類部によって用いられる閾値を記憶してもよい。また、動画履歴14aと動作情報履歴14bとは、測定された時刻に基づいて互いに関連付けられて記憶されてよい。
第1分類部15は、時系列情報を、作業者により実行された複数の要素動作に対応する複数の部分情報に分類してよい。ここで、時系列情報は、作業者の動作を示す座標値を含む動作情報と、動作情報と対応付けられ、作業者を撮影した動画とを含んでよい。第1分類部15は、動作情報と、基準動作情報との比較に基づいて、動作情報を複数の部分情報に分類してよい。基準動作情報は、複数の要素動作毎に用意されていてよく、第1分類部15は、動作情報がいずれの要素動作の基準動作情報と近似するかを判定し、動作情報を、複数の要素動作に対応する複数の部分情報に分類してよい。
第1分類部15は、例えば、動作情報に含まれる各時刻における座標値と、基準動作情報に含まれる開始座標値との差を算出して、座標値の差が閾値以下となる動作情報の時刻を開始時刻と特定してよい。そして、動作情報に含まれる各時刻の座標値と、基準動作情報に含まれる終了座標値との差を算出して、座標値の差が閾値以下となる動作情報の時刻を終了時刻と特定してよい。その後、第1分類部15は、動作情報のうち特定された開始時刻から終了時刻までの座標値を切り出す。この際、切り出される行数は、基準動作情報の行数と必ずしも一致しない。そこで、第1分類部15は、動作情報から切り出した動作情報の行数が、基準動作情報の行数と一致するように補間又は間引きしてよい。なお、補間や間引きの方法は任意であるが、例えば、補間を行う場合には、前後の行の平均値で補間してよいし、間引きを行う場合は、座標値の変化が比較的少ない行を間引くこととしてよい。第1分類部15は、次に、補間又は間引きした動作情報の座標値と、基準動作情報の座標値との乖離度を算出してよい。ここでいう乖離度は、作業者の動作が、比較の基準となる基準動作からどの程度ずれているかを示す数値である。乖離度は、関節毎に算出してもよく、複数の関節を組み合わせた単位(右手など)で算出してもよい。例えば、関節毎の乖離度は、ある時刻に関する関節の3次元座標値について、動作情報の座標値(x、y、z)と、基準動作情報の座標値(X,Y,Z)との差を二乗して平方根をとり、((x−X)+(y−Y)+(z−Z)1/2という値を求め、この値を全ての時間にわたって総和することで算出してよい。もっとも、乖離度は他の値によって算出してもよい。第1分類部15は、動作情報と、複数の基準動作情報とを比較して、それぞれ乖離度を算出し、乖離度に基づいて、動作情報を複数の部分情報に分類してよい。ここで、第1分類部15は、動作情報のうち切り出された部分に対して最も乖離度が小さい基準動作情報を特定し、動作情報のうち切り出された部分を、特定された基準動作情報が表す要素動作に対応する部分情報として分類してよい。また、第1分類部15は、いずれの基準動作情報に対しても乖離度が閾値以上となる動作情報の部分について、いずれの要素動作にも対応しない部分情報として分類してよい。なお、第1分類部15は、時系列情報を複数の部分情報に分割してもよいし、複数の部分情報を示すタグやフラグを時系列情報に対して付与することで、時系列情報を複数の部分情報に分類してもよい。
このように、作業者の動作を示す座標値を含む動作情報と、基準動作を示す座標値を示す基準動作情報との比較を行うことで、複数の部分情報がより正確に複数の要素動作に対応するように、時系列情報を分類することができる。
第2分類部16は、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類してよい。ここで、1又は複数の基準は、第1基準と、第1基準と異なる第2基準とを含んでよい。この場合、第2分類部16は、少なくとも一つの部分情報を、第1基準により複数のグループのいずれかに分類し、選択部17により選択されたグループに含まれる部分情報を、第2基準により複数のグループのいずれかに分類してよい。なお、第2分類部16は、部分情報を複数のグループに分割してもよいし、複数のグループを示すタグやフラグを部分情報に対して付与することで、部分情報を複数のグループのいずれかに分類してもよい。また、第2分類部16は、部分情報を、重複しないように複数のグループのいずれかに分類してもよいし、部分情報を、重複を許して複数のグループに分類してもよい。
第2分類部16は、第1分類部15によって分類された複数の部分情報のうち少なくとも一つの部分情報を、作業者の動作に関する第1基準により複数のグループのいずれかに分類し、複数のグループのうち選択されたグループに含まれる部分情報を、作業者の動作に関し、第1基準とは異なる第2基準により複数のグループのいずれかに分類してよい。このように、第2分類部16によって、第1基準及び第2基準という異なる観点で分類を行うことで、どのような要素動作についてどのような種類の動作が実行されたかをより詳細に確認することができる。
第1基準は、作業者の動作の実行時間に関する基準を含んでよい。この場合、第2分類部16は、複数の部分情報のうち少なくとも一つの部分情報について、作業者の動作の実行時間に関するヒストグラムを作成し、例えば、上位10%のグループと、下位10%のグループと、その他80%のグループとに分類してよい。ここで、上位10%のグループは、作業時間が長過ぎると考えられるグループであり、不要な作業を行ったり、作業を間違えてやり直したりしている可能性のあるグループである。また、下位10%のグループは、作業時間が短過ぎると考えられるグループであり、作業を飛ばしたり、異なる作業を行っていたりする可能性のあるグループである。また、その他80%のグループは、少なくとも作業時間の観点では標準的な動作を行っていると考えられるグループである。このように、動作の実行時間に関する基準により部分情報を分類することで、作業者の動作の実行時間が短過ぎたり、長過ぎたりする場合を標準外のグループに分類することができ、どのような種類の動作が実行されたかを実行時間の観点で確認することができる。
また、第1基準は、作業者の動作とともに移動する特定の部位の移動軌跡の長さに関する基準を含んでよい。この場合、第2分類部16は、複数の部分情報のうち少なくとも一つの部分情報について、特定の部位の移動軌跡の長さに関するヒストグラムを作成し、例えば、上位10%のグループと、下位10%のグループと、その他80%のグループとに分類してよい。ここで、上位10%のグループは、特定の部位の移動軌跡が長過ぎると考えられるグループであり、不要な作業を行ったり、作業を間違えてやり直したりしている可能性のあるグループである。また、下位10%のグループは、特定の部位の移動軌跡が短過ぎると考えられるグループであり、作業を飛ばしたり、異なる作業を行っていたりする可能性のあるグループである。また、その他80%のグループは、少なくとも特定の部位の移動軌跡の観点では標準的な動作を行っていると考えられるグループである。このように、特定の部位の移動軌跡に関する基準により部分情報を分類することで、作業者の動作の移動軌跡が短過ぎたり、長過ぎたりする場合を標準外のグループに分類することができ、どのような種類の動作が実行されたかを移動軌跡の観点で確認することができる。
選択部17は、第2分類部16により分類された複数のグループのうちいずれかを選択してよい。選択部17は、複数のグループのうち、入力部10eによる入力に応じたグループ又は所定の条件を満たすグループを選択してよい。ここで、入力部10eによる入力は、動作分析装置10のユーザから受け付けた入力であってよい。また、所定の条件は、第1基準について設定された閾値との比較に関する条件であってよい。例えば、第1基準が作業者の動作の実行時間に関する基準である場合、動作の実行時間の下限を定める閾値より実行時間が短いか否かという条件であったり、動作の実行時間の上限を定める閾値より実行時間が長いか否かという条件であったりしてよい。また、例えば、第1基準が作業者の動作とともに移動する特定の部位の移動軌跡の長さに関する基準である場合、移動軌跡の長さの下限を定める閾値より移動軌跡が短いか否かという条件であったり、移動軌跡の長さの上限を定める閾値より移動軌跡が長いか否かという条件であったりしてよい。このように、少なくとも一つの部分情報を第1基準により複数のグループのいずれかに分類し、入力に応じたグループ又は所定の条件を満たすグループを選択して、選択されたグループに含まれる部分情報を第2基準により複数のグループのいずれかに分類することで、第1基準により分類された複数のグループのうち特に注目するグループについて、より詳細な分類を行うことができる。
抽出部18は、選択部17により選択されたグループに含まれる動作情報に対応付けられた動画から、少なくとも一つの動画を抽出してよい。ここで、動画の抽出は、記憶部14の動画履歴14aから行われてよい。これにより、第1基準により分類された複数のグループのうち特に注目するグループに含まれる動作情報に対応付けられた動画を抽出することができ、実際にどのような動作が行われたのかを確認することができる。
抽出部18は、第2分類部16による分類に用いた基準の空間における、選択されたグループに含まれる動作情報の重心に基づいて、動画を抽出してもよい。例えば、第2分類部16によって、動作の実行時間に関する基準及び特定の部位の移動軌跡の長さに関する基準により部分情報を複数のグループのいずれかに分類した場合、動作の実行時間及び移動軌跡の長さに関する2次元空間上に複数のグループに含まれる動作情報をプロットすることができる。この場合、抽出部18は、選択されたグループに含まれる動作情報の2次元空間における重心を算出し、例えば、重心に最も近い動作情報に対応付けられた動画を抽出してよい。これにより、第1基準により分類された複数のグループのうち特に注目するグループに含まれる動作情報について、代表的な動作情報に基づいて動画を抽出することができ、注目するグループにおいて典型的にどのような動作が行われたのかを確認することができる。
抽出部18は、入力部10eによる入力に基づいて、動画を抽出してもよい。例えば、選択部17により選択されたグループに含まれる動作情報について、さらに入力部10eによる入力を受け付けて、選択された動作情報に対応付けられた動画を抽出してよい。これにより、第1基準により分類された複数のグループのうち特に注目するグループに含まれる動作情報について、ユーザによる入力に基づいて動画を抽出することができ、実際にどのような動作が行われたのかを注目するグループに含まれる動作情報それぞれについて個別に確認することができる。
決定部19は、選択部17により選択されたグループの種類に基づいて、抽出された動画の再生範囲を決定してよい。ここで、グループの種類とは、グループに含まれる部分情報により表される作業者の動作の種類であってよい。例えば、グループに含まれる部分情報が、ある要素動作について標準的な動作を表すものであれば、当該グループの種類は、「標準」であってよい。この場合、決定部19は、作業者が当該要素動作を実行している場面を含むように、動画の再生範囲を決定してよい。また、例えば、グループに含まれる部分情報が、ある要素動作について標準外の動作を表すものであれば、当該グループの種類は、「標準外」であってよい。この場合、決定部19は、作業者が標準外の動作を実行している場面を含むように、動画の再生範囲を決定してよい。なお、動作分析装置10は、グループの種類と動画の再生範囲との対応付けを定めた対応テーブルを記憶部14に記憶してよく、決定部19は、対応テーブルを参照して、選択部17により選択されたグループの種類に対応する動画の再生範囲を決定してよい。決定部19による動画の再生範囲の決定については、図4〜8を用いてより詳細に説明する。このように、第1基準により分類された複数のグループのうち特に注目するグループの種類に基づいて、動画の再生範囲を決定することで、注目する動作が行われている場面を容易に確認できるように、動画を再生することができる。
[ハードウェア構成]
次に、図3を用いて、本実施形態に係る動作分析装置10のハードウェア構成の一例を説明する。動作分析装置10は、演算装置に相当するCPU(Central Processing Unit)10aと、記憶部14に相当するRAM(Random Access Memory)10bと、記憶部14に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では動作分析装置10が一台のコンピュータで構成される場合について説明するが、動作分析装置10は、複数のコンピュータを用いて実現されてもよい。
CPU10aは、RAM10b又はROM10cに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。CPU10aは、時系列情報を、作業者により実行された複数の要素動作に対応する複数の部分情報に分類し、少なくとも一つの部分情報を、作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類するプログラム(動作分析プログラム)を実行する演算装置である。CPU10aは、入力部10eや通信部10dから種々の入力データを受け取り、入力データの演算結果を表示部10fに表示したり、RAM10bやROM10cに格納したりする。
RAM10bは、記憶部14のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。RAM10bは、CPU10aが実行する動作分析プログラムや、動画履歴14a、動作情報履歴14b及び基準動作情報14cといったデータを記憶する。
ROM10cは、記憶部14のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ROM10cは、例えば動作分析プログラムや、書き換えが行われないデータを記憶する。
通信部10dは、動作分析装置10を外部機器に接続するインターフェースである。通信部10dは、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30と例えばLAN(Local Area Network)により接続されて、第1撮影部20a、第2撮影部20b及び第3撮影部20cから動画を受信し、測定部30から動画及び動作情報を受信してよい。また、通信部10dは、インターネットに接続されて、インターネットを介して動画を受信したり、動作情報を受信したりしてもよい。また、通信部10dは、インターネットを介して、撮影された動画のうち、抽出部18により抽出された動画を、外部機器に送信してもよい。
入力部10eは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルを含んでよい。
表示部10fは、CPU10aによる演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部10fに表示される画面の例については、後に詳細に説明する。
動作分析プログラムは、RAM10bやROM10c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部10dにより接続される通信ネットワークを介して提供されてもよい。動作分析装置10では、CPU10aが動作分析プログラムを実行することにより、図2を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、動作分析装置10は、CPU10aとRAM10bやROM10cが一体化したLSI(Large-Scale Integration)を備えていてもよい。
§3 動作例
図4は、本実施形態に係る動作分析システム100により測定される動作情報の第1例D1を示す図である。同図では、縦軸に作業者の特定の部位の位置又は速度を示し、横軸に時刻を示している。ここで、作業者の特定の部位は、例えば手であってよい。なお、グラフは例示であり、実際に測定される動作情報を簡略化したものである。
動作情報の第1例D1は、作業者がある要素動作について標準的な動作を行った場合の動作情報の例を示している。この場合、作業者は、特定の部位の位置又は速度を、時刻「0.0」の初期位置(初期速度)から、時刻「1.0」のときにマイナス側に動かし、その後時刻「2.0」のときに初期位置(初期速度)に戻して、そのまま時刻「5.0」までほぼ同じ位置(速度)を保っている。なお、特定の部位の位置又は速度は、特定の方向に関する位置又は速度であってよく、図5〜8に示す動作情報の他の例についても同様である。
図5は、本実施形態に係る動作分析システム100により測定される動作情報の第2例D2を示す図である。同図においても、縦軸に作業者の特定の部位の位置又は速度を示し、横軸に時刻を示している。
動作情報の第2例D2は、作業者がある要素動作について標準外の動作を行った場合の動作情報の例を示しており、より具体的には、余計な動作(ムダ動作)を行った場合の動作情報の例を示している。この場合、作業者は、特定の部位の位置又は速度を、時刻「0.0」の初期位置(初期速度)から、時刻「1.0」のときにマイナス側に動かし、その後時刻「2.0」のときに初期位置(初期速度)に戻らずに異なる位置(速度)に動かし、時刻「3.0」のときに初期位置(初期速度)に戻して、時刻「5.0」まで同じ位置(速度)を保っている。ここで、時刻「2.0」から「3.0」の間に行われた動作は、標準的な動作(図4参照)と比べると、余計な動作となっている。
図6は、本実施形態に係る動作分析システム100により測定される動作情報の第3例D3を示す図である。同図においても、縦軸に作業者の特定の部位の位置又は速度を示し、横軸に時刻を示している。
動作情報の第3例D3は、作業者がある要素動作について標準外の動作を行った場合の動作情報の例を示しており、より具体的には、作業飛ばし(作業し忘れ)を行った場合の動作情報の例を示している。この場合、作業者は、特定の部位の位置又は速度を、時刻「0.0」の初期位置(初期速度)から動かさず、そのまま時刻「5.0」まで同じ位置(速度)を保っている。すなわち、標準的には時刻「1.0」から「2.0」の間に行うべき動作が行われていない。
図7は、本実施形態に係る動作分析システム100により測定される動作情報の第4例D4を示す図である。同図においても、縦軸に作業者の特定の部位の位置又は速度を示し、横軸に時刻を示している。
動作情報の第4例D4は、作業者がある要素動作について標準外の動作を行った場合の動作情報の例を示しており、より具体的には、動作のやり直しを行った場合の動作情報の例を示している。この場合、作業者は、特定の部位の位置又は速度を、時刻「0.0」の初期位置(初期速度)から、時刻「1.0」のときにマイナス側に動かし、その後時刻「2.0」のときに初期位置(初期速度)に戻し、さらに時刻「3.0」のときにマイナス側に動かし、その後時刻「4.0」のときに初期位置(初期速度)に戻して、その後時刻「5.0」まで同じ位置(速度)を保っている。ここで、時刻「3.0」から「4.0」の間に行われた動作は、時刻「1.0」から「2.0」の間に行われた動作と同じ動作であり、動作のやり直しが生じている。
図8は、本実施形態に係る動作分析システム100により測定される動作情報の第5例D5を示す図である。同図においても、縦軸に作業者の特定の部位の位置又は速度を示し、横軸に時刻を示している。
動作情報の第5例D5は、作業者がある要素動作について標準外の動作を行った場合の動作情報の例を示しており、より具体的には、異なる作業(作業間違い)を行った場合の動作情報の例を示している。この場合、作業者は、特定の部位の位置又は速度を、時刻「0.0」の初期位置(初期速度)から時刻「0.5」付近でプラス側に動かし、その後時刻「1.0」の時に初期位置(初期速度)まで戻して、そのまま時刻「5.0」まで同じ位置(速度)を保っている。すなわち、標準的には時刻「1.0」から「2.0」の間に行うべき動作が行われておらず、時刻「0.5」から「1.0」の間に異なる動作が行われている。
図9は、本実施形態に係る動作分析システム100により実行される分類処理の第1例のフローチャートである。はじめに、測定部30は、作業者の動作を示す座標値を含む動作情報を測定する(S10)。測定された動作情報は、記憶部14に動作情報履歴14bとして記憶されてよい。
次に、動作分析装置10は、第1分類部15により、動作情報と基準動作情報との比較に基づいて、動作情報を複数の部分情報に分類する(S11)。続いて、動作分析装置10は、第2分類部16により、少なくとも一つの部分情報を、1又は複数の基準により複数のグループのいずれかに分類する(S12)。ここで、1又は複数の基準による分類は、それぞれ独立に行われてもよいし、ある基準による分類を他の基準による分類で細分化してもよい。
動作分析装置10は、複数のグループが所定の条件を満たすか判定する(S13)。そして、動作分析装置10は、表示部10fにより、複数のグループの度数及び判定結果を表示する(S14)。以上により、分類処理の第1例が終了する。
図10は、本実施形態に係る動作分析システム100により分類されたグループG1の第1例を示す図である。同図では、第2分類部16により分類された複数のグループG1を、縦軸に度数を示し、横軸に第2分類部16による分類に用いられた第1基準である動作の実行時間を示して、ヒストグラムによって複数のグループG1の分布を示している。また、同図では、時系列情報に含まれる動作情報を第1分類部15によって複数の部分情報に分類し、「ネジ締め」の要素動作に対応する部分情報を、第2分類部16によって複数のグループG1に分類した場合を示している。また、第2分類部16による分類は、作業者の動作の実行時間に関する第1基準によって行われている。同図では、作業者の動作の実行時間に関する第1基準を、部分情報を特徴付ける「特徴量」と示している。
同図では、横軸の実行時間について、第1閾値と第2閾値とを示している。第1閾値は、作業の標準的な実行時間の下限値であり、第1閾値よりも実行時間が短いグループは、作業時間が短いグループとしてハッチングにより強調表示されている。また、第2閾値は、作業の標準的な実行時間の上限値であり、第2閾値よりも実行時間が長いグループは、作業時間が長いグループとしてハッチングにより強調表示されている。
動作分析装置10は、選択部17によって、複数のグループG1のうち、入力部10eによる入力に応じたグループ又は所定の条件を満たすグループを選択してよい。図10では、ユーザが入力部10eを用いて第2閾値以上となる一つのグループを選択している場合を示している。この場合、選択部17は、入力部10eによる入力に応じたグループを選択してよい。もっとも、選択部17は、入力部10eによる入力がなくても、例えば、第1閾値以下のグループを所定の条件を満たすグループとして選択したり、第2閾値以上のグループを所定の条件を満たすグループとして選択したりしてよい。選択部17により選択されるグループは、複数であってもよい。
図11は、本実施形態に係る動作分析システム100により実行される分類処理の第2例のフローチャートである。分類処理の第2例は、分類処理の第1例と並行して行われてよい。動作分析システム100は、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30(第4撮影部)によって、動作情報に対応付けられた作業者の動画を撮影する(S20)。撮影された動画は、同時に測定された動作情報と対応付けられて、記憶部14に動画履歴14aとして記憶されてよい。なお、動作分析システム100は、動画の撮影と並行して、測定部30により動作情報を測定してよい。
その後、動作分析装置10は、第1分類部15によって動作情報を複数の部分情報に分類し、第2分類部16によって、少なくとも一つの部分情報を、第1基準により複数のグループのいずれかに分類して、ヒストグラムを表示する。そして、動作分析装置10は、選択部17により、第1基準により分類された複数のグループのうち、入力部10eによる入力に応じたグループ又は所定の条件を満たすグループを選択する(S21)。
動作分析装置10は、第2分類部16によって、選択されたグループに含まれる部分情報を、第2基準により複数のグループのいずれかに分類する(S22)。そして、表示部10fによって、第2基準により分類された複数のグループの度数を表示する(S23)。
さらに、動作分析装置10は、選択部17によって、第2基準により分類された複数のグループから、入力部10eによる入力に応じたグループを選択する(S24)。そして、動作分析装置10は、抽出部18によって、選択されたグループに含まれる動作情報に対応付けられた動画から、少なくとも一つの動画を抽出する(S25)。
動作分析装置10は、決定部19により、選択されたグループの種類に基づいて、抽出された動画の再生範囲を決定する(S26)。以上で分類処理の第2例が終了する。
図12は、本実施形態に係る動作分析システム100により分類されたグループG2の第2例を示す図である。
同図では、図10で示す複数のグループG1のうち、入力部10eによる入力に応じて選択された第9グループ(図10のヒストグラムにおいて作業時間が短い順に数えて9番目のグループ)について、縦軸に度数を示し、横軸に動作の種類を示して、ヒストグラムによって複数のグループG2の分布を示している。また、同図では、複数のグループG2のうち、入力部10eによる入力に応じて選択されたグループに含まれる動作情報に対応付けられた動画のリストL1を示している。
複数のグループG2は、「作業飛ばし」の度数が最も高く、次に「ネジ締直し」の度数が高くなっている。このように、第1分類部15により分類された「ネジ締め」という要素動作に対応する動作情報について、第2分類部16によって作業時間が長過ぎる動作情報を分類し、さらに、第2分類部16によって、作業時間が長すぎる動作情報の動作の内容を分類することができる。これにより、どのような要素動作についてどのような種類の動作が実行されたかを容易に確認することができる。
動画のリストL1は、開始日時、終了日時及び特徴量の項目を含む。具体的に一例を挙げると、開始日時が「2017/11/6 9:35」、終了日時が「2017/11/6 9:36」の場合、特徴量は「F1である。ここで、特徴量は、第2分類部16による分類に用いた第1基準に関する量であってよく、例えば作業者の動作の実行時間であったり、作業者の動作とともに移動する特定の部位の移動軌跡の長さであったりしてよい。本例では、入力部10eによって、開始日時が「2017/11/8 11:10」、終了日時が「2017/11/8 11:11」、特徴量が「F3」である動画が選択されている。抽出部18は、選択された動画を記憶部14から抽出し、表示部10fに表示してよい。また、決定部19は、選択されたグループの種類に基づいて、抽出された動画の再生範囲を決定してよい。
図13は、本実施形態に係る動作分析システム100により決定される動画の再生範囲の第1例を示す図である。第1例は、選択されたグループが、標準外の動作情報を含むグループであり、選択されたグループの種類が、余計な作業を行ったという種類の場合である。このようなグループの種類は、図5に示したように、動作情報の波形が、標準的に行われるべき動作の波形に加えて他の動作の波形を含んでいるか否かによって分類できる。
選択されたグループの種類が、余計な作業を行ったという種類の場合、標準的に行われるべき「作業1」、「作業2」及び「作業3」の他に、「作業2」と「作業3」の間に「作業X」が行われている。この「作業X」が余計な作業であるため、決定部19は、「作業X」が実行される様子が確認できるように、「作業2」の後半から始まり、「作業X」の全体を含み、「作業3」の前半で終わるように、動画の再生範囲を決定してよい。
図14は、本実施形態に係る動作分析システム100により決定される動画の再生範囲の第2例を示す図である。第2例は、選択されたグループが、標準外の動作情報を含むグループであり、選択されたグループの種類が、間違った作業を行ったという種類の場合である。このようなグループの種類は、図8に示したように、動作情報の波形が、標準的に行われるべき動作の波形を含まず、他の動作の波形を含んでいるか否かによって分類できる。
選択されたグループの種類が、間違った作業を行ったという種類の場合、標準的に行われるべき「作業1」、「作業2」及び「作業3」ではなく、「作業1」と「作業3」の間に「作業2´」が行われている。この「作業2´」が間違った作業であるため、決定部19は、「作業2´」が実行される様子が確認できるように、「作業2´」の全体を含むように、動画の再生範囲を決定してよい。
図15は、本実施形態に係る動作分析システム100により決定される動画の再生範囲の第3例を示す図である。
第3例は、選択されたグループが、標準外の動作情報を含むグループであり、選択されたグループの種類が、作業飛ばしを行ったという種類の場合である。このようなグループの種類は、図6に示したように、動作情報の波形が、標準的に行われるべき動作の波形を含まず、他の波形も含まないか否かによって分類できる。
選択されたグループの種類が、作業飛ばしを行ったという種類の場合、標準的に行われるべき「作業1」、「作業2」及び「作業3」のうち、「作業2」が飛ばされている。この場合、決定部19は、「作業2」が飛ばされている様子が確認できるように、「作業1」の途中から始まり、「作業3」の途中で終わるように、動画の再生範囲を決定してよい。
図16は、本実施形態に係る動作分析システム100により表示される画面DPの一例である。画面DPは、図12に示した動画リストL1において、入力部10eによる入力に応じて選択され、抽出された動画を表示部10fに表示した場合の例である。
画面DPは、概要DP1、全体動画DP2及び手元動画DP3を含む。概要DP1は、抽出された動作情報の概要を示す情報である。概要DP1には、抽出された動作情報が示す動作が「標準外動作」であり、開始時刻が「2017/11/8 11:10」、すなわち2017年11月8日の午前11時10分であり、終了時刻が「2017/11/8 11:11」、すなわち2017年11月8日の午前11時11分であり、抽出された動作情報が示す工程は「梱包工程」であり、所要時間は「1min」(1分)であることが示されている。なお、概要DP1には、抽出された動作情報が示す工程の名称ではなく、抽出された動作情報が示す工程を識別する情報を示してもよい。例えば、各工程に付与された通し番号等のIDを示すこととしてもよい。
全体動画DP2は、測定部30(第4撮影部)により作業領域R全体を撮影した第1動画であり、動画画面の右下に開始時刻として「2017/11/8 11:10」が示されている。全体動画DP2により、複数の作業者が動作を実行している様子を全体的に把握することができる。また、全体動画DP2には、測定部30により検出された複数の作業者の関節の位置を骨格モデルによって示している。これにより、複数の作業者の関節の座標が妥当な位置で測定されていることが確認できる。
手元動画DP3は、本例の場合、第3撮影部20cにより作業領域Rより狭い領域を撮影した第2動画であり、動画画面の右下に開始時刻として「2017/11/8 11:10」が示されている。作業者の手元をクローズアップした手元動画DP3により、作業者が実際に行った動作の詳細を確認することができる。
このように、全体動画DP2及び手元動画DP3を表示することで、特定の動作の全体的な様子と、詳細とを併せて確認することができる。また、特定の動作が行われた位置及び時刻を確認したり、複数の作業者の連携を確認したりすることができる。
図17は、本実施形態に係る動作分析システム100により分類されたグループの第3例を示す図である。同図では、縦軸に作業時間(作業者の動作の実行時間)を示し、横軸に軌跡長(作業者の動作とともに移動する特定の部位の移動軌跡の長さ)を示して、複数のグループが両軸の空間でどのように分布しているかを示している。同図で示す複数のグループは、ネジ締めの要素動作に対応する部分情報を、第2分類部16によって、作業者の動作の実行時間に関する基準及び作業者の動作とともに移動する特定の部位の移動軌跡の長さに関する基準により複数のグループのいずれかに分類した結果を示している。
図17には、標準的な動作を表すグループC1と、標準外の動作を表すグループC11,C12,C13,C14とを示している。標準的な動作を表すグループC1は、動作の実行時間及び移動軌跡の長さが中程度であり、グラフの中央付近に位置している。一方、標準外の動作を表すグループC11,C12,C13,C14は、動作の実行時間及び移動軌跡の長さの少なくともいずれかについて、長過ぎたり短過ぎたりしており、グラフの端に位置している。
標準外の動作を表すグループC11は、「ネジ穴にネジがはまらずもたついた」場合の動作情報を含むグループであり、軌跡長は標準的な動作を表すグループC1と同程度であるが、動作の実行時間が標準的な動作を表すグループC1よりも長い。
標準外の動作を表すグループC12は、「ネジを落として拾った」場合の動作情報を含むグループであり、動作の実行時間及び軌跡長の両方が、標準的な動作を表すグループC1よりも長い。
標準外の動作を表すグループC13は、「ネジを締め忘れた」場合の動作情報を含むグループであり、軌跡長が標準的な動作を表すグループC1よりも短く、動作の実行時間が標準的な動作を表すグループC1よりも短い。
標準外の動作を表すグループC14は、「ネジ締めが不十分だった」場合の動作情報を含むグループであり、軌跡長は標準的な動作を表すグループC1と同定であるが、動作の実行時間が標準的な動作を表すグループC1よりも短い。
例えば、特定の部位の移動軌跡の長さに関する基準のみにより、ネジ締めの要素動作に対応する部分情報を分類した場合、標準的な動作を表すグループC1と、グループC11と、グループC14とが区別されない。このように、一つの基準により部分情報を分類しても、標準的な動作に対応する動作情報と、標準外の動作に対応する動作情報とを区別して分類することができない場合がある。また、動作の実行時間に関する基準のみにより、ネジ締めの要素動作に対応する部分情報を分類した場合、グループC11とグループC12が区別されず、グループC13とグループC14が区別されない。このように、一つの基準により部分情報を分類しても、異なる種類の標準外の動作に対応する動作情報を区別して分類することができない場合がある。本実施形態に係る第2分類部16のように、複数の基準により、要素動作に対応する部分情報を複数のグループのいずれかに分類することで、標準的な動作に対応する動作情報と、標準外の動作に対応する動作情報とを区別して分類することができ、さらに、異なる種類の標準外の動作に対応する動作情報を区別して分類することができる。
図18は、本実施形態に係る動作分析システム100により分類されたグループの第4例を示す図である。同図では、縦軸に作業時間(作業者の動作の実行時間)を示し、横軸に軌跡長(作業者の動作とともに移動する特定の部位の移動軌跡の長さ)を示して、複数のグループが両軸の空間でどのように分布しているかを示している。同図で示す複数のグループは、検品の要素動作に対応する部分情報を、第2分類部16によって、作業者の動作の実行時間に関する基準及び作業者の動作とともに移動する特定の部位の移動軌跡の長さに関する基準により複数のグループのいずれかに分類した結果を示している。
図18には、標準的な動作を表すグループC2と、標準外の動作を表すグループC21,C22,C23,C24とを示している。標準的な動作を表すグループC2は、動作の実行時間及び移動軌跡の長さが中程度であり、グラフの中央付近に位置している。一方、標準外の動作を表すグループC21,C22,C23,C24は、動作の実行時間及び移動軌跡の長さの少なくともいずれかについて、長過ぎたり短過ぎたりしており、グラフの端に位置している。
標準外の動作を表すグループC21について、グループC21に含まれる動作情報pをプロットし、動作情報pの分布を混合正規分布で近似した場合における平均(重心)Cと、長軸の標準偏差σ1と、短軸の標準偏差σ2とを示している。抽出部18は、第2分類部16による分類に用いた基準の空間における、選択されたグループに含まれる動作情報pの重心Cに基づいて、動画を抽出してよい。例えば、選択部17によりグループC21が選択された場合、抽出部18は、二重丸で図示した、重心Cに最も近い動作情報S1に対応する動画を抽出してよい。重心Cに最も近い動作情報S1に対応する動画を抽出することで、グループC21に含まれる平均的な動作を確認することができる。
また、抽出部18は、第2分類部16による分類に用いた基準の空間における、選択されたグループに含まれる動作情報pの分散(標準偏差)σ1,σ2に基づいて、動画を抽出してよい。例えば、選択部17によりグループC21が選択された場合、抽出部18は、グループC21の長軸の両端に位置する二重丸で図示した動作情報S2及び動作情報S3に対応する動画を抽出してよい。このように、分散(標準偏差)σ1,σ2に基づいて、平均Cからσ1又はσ2程度離れた動作情報S2,S3に対応する動画を抽出することで、グループC21に含まれる様々な態様の動作を確認することができる。
標準外の動作を表すグループC22は、「一度確認した箇所を再度確認した」場合の動作情報を含むグループであり、動作の実行時間及び軌跡長の両方が、標準的な動作を表すグループC2よりも長い。一度確認した箇所を重複して確認する場合、動作の実行時間及び軌跡長は、重複して確認した分長くなる。
標準外の動作を表すグループC23は、「確認箇所を飛ばした」場合の動作情報を含むグループであり、軌跡長が標準的な動作を表すグループC2よりも短く、動作の実行時間が標準的な動作を表すグループC1よりも短い。確認箇所を飛ばした場合、実行されない動作があるため、動作の実行時間及び軌跡長は、実行されなかった動作の分短くなる。
標準外の動作を表すグループC24は、「全箇所を確認したが確認時間が不十分だった」場合の動作情報を含むグループであり、軌跡長は標準的な動作を表すグループC2と同程度であるが、動作の実行時間が標準的な動作を表すグループC2よりも短い。全箇所を確認したが確認時間が不十分だった場合、実行されなかった動作は無いため動作の軌跡長は標準的だが、確認時間が不十分のため動作の実行時間が短くなる。
例えば、特定の部位の移動軌跡の長さに関する基準のみにより、検品の要素動作に対応する部分情報を分類した場合、標準的な動作を表すグループC2と、グループC21の一部と、グループC22の一部と、グループC24とが区別されない。また、動作の実行時間に関する基準のみにより、検品の要素動作に対応する部分情報を分類した場合、グループC21とグループC22の一部が区別されず、グループC23とグループC24が区別されない。このような場合であっても、本実施形態に係る第2分類部16のように、複数の基準により、要素動作に対応する部分情報を複数のグループのいずれかに分類することで、標準的な動作に対応する動作情報と、標準外の動作に対応する動作情報とを区別して分類することができ、さらに、異なる種類の標準外の動作に対応する動作情報を区別して分類することができる。例えば、動作の実行時間に関する基準のみでなく、動作の軌跡長に関する基準をも用いて、検品の要素動作に対応する部分情報を分類することで、「確認箇所を飛ばした」場合と、「全箇所を確認したが確認時間が不十分だった」場合とを区別して分類することができ、確認箇所の見落としについて対策を講じる必要があるのか、確認時間の徹底について対策を講じる必要があるのかといった詳細な分析を行うことができる。また、例えば、動作の軌跡長に関する基準のみでなく、動作の実行時間に関する基準をも用いて、検品の要素動作に対応する部分情報を分類することで、「一度確認した箇所を再度確認した」場合と、「全箇所を確認したが確認時間が不十分だった」場合とを区別して分類することができ、重複した確認を誘発するような作業手順になっていないか、確認時間の徹底について対策を講じる必要があるのかといった詳細な分析を行うことができる。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。
[付記1]
作業者の動作を示す時系列情報を取得する取得部(11)と、
前記時系列情報を、前記作業者により実行された複数の要素動作に対応する複数の部分情報に分類する第1分類部(15)と、
少なくとも一つの前記部分情報を、前記作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部(16)と、
を備える動作分析装置(10)。
[付記2]
前記複数のグループのうちいずれかを選択する選択部(17)をさらに備え、
前記1又は複数の基準は、第1基準と、前記第1基準と異なる第2基準とを含み、
前記第2分類部(16)は、少なくとも一つの前記部分情報を、前記第1基準により複数のグループのいずれかに分類し、前記選択部(17)により選択されたグループに含まれる前記部分情報を、前記第2基準により複数のグループのいずれかに分類する、
付記1に記載の動作分析装置(10)。
[付記3]
前記選択部(17)は、前記複数のグループのうち、入力部(10e)による入力に応じたグループ又は所定の条件を満たすグループを選択する、
付記2に記載の動作分析装置(10)。
[付記4]
前記時系列情報は、前記作業者の動作を示す座標値を含む動作情報を含み、
前記第1分類部(15)は、前記動作情報と、前記作業者の動作について比較の基準となる基準動作を示す座標値を含む基準動作情報との比較に基づいて、前記動作情報を前記複数の部分情報に分類する、
付記2又は3に記載の動作分析装置(10)。
[付記5]
前記時系列情報は、前記作業者の動作を示す座標値を含む動作情報と対応付けられ、前記作業者を撮影した動画を含み、
前記選択部(17)により選択されたグループに含まれる前記動作情報に対応付けられた前記動画から、少なくとも一つの動画を抽出する抽出部(18)をさらに備える、
付記2から4のいずれか一項に記載の動作分析装置(10)。
[付記6]
前記抽出部(18)は、前記第2分類部(16)による分類に用いた基準の空間における、選択された前記グループに含まれる前記動作情報の重心に基づいて、前記動画を抽出する、
付記5に記載の動作分析装置(10)。
[付記7]
前記抽出部(18)は、入力部(10e)による入力に基づいて、前記動画を抽出する、
付記6に記載の動作分析装置(10)。
[付記8]
前記選択部(17)により選択されたグループの種類に基づいて、抽出された前記動画の再生範囲を決定する決定部(19)をさらに備える、
付記6又は7に記載の動作分析装置(10)。
[付記9]
前記第1基準は、前記作業者の動作の実行時間に関する基準を含む、
付記2から8のいずれか一項に記載の動作分析装置(10)。
[付記10]
前記第1基準は、前記作業者の動作とともに移動する特定の部位の移動軌跡の長さに関する基準を含む、
付記2から9のいずれか一項に記載の動作分析装置(10)。
[付記11]
作業者の動作を示す時系列情報を取得することと、
前記時系列情報を、前記作業者により実行された複数の要素動作に対応する複数の部分情報に分類することと、
少なくとも一つの前記部分情報を、前記作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類することと、
を含む動作分析方法。
[付記12]
動作分析装置に備えられた演算部を、
作業者の動作を示す時系列情報を取得する取得部(11)、
前記時系列情報を、前記作業者により実行された複数の要素動作に対応する複数の部分情報に分類する第1分類部(15)、及び
少なくとも一つの前記部分情報を、前記作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部(16)、
として機能させる動作分析プログラム。
[付記13]
作業者の動作を示す座標値を含む動作情報を測定する測定部(30)と、
前記動作情報と対応付けられた、前記作業者の動画を撮影する撮影部(20a,20b,20c)と、
前記動作情報と、前記作業者の動作について比較の基準となる基準動作を示す座標値を含む基準動作情報との比較に基づいて、前記動作情報を複数の部分情報に分類する第1分類部(15)と、
少なくとも一つの前記部分情報を、前記作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部(16)と、
前記複数のグループのうちいずれかを選択する選択部(17)と、
前記選択部(17)により選択されたグループに含まれる前記動作情報に対応付けられた前記動画から、少なくとも一つの動画を抽出する抽出部(18)と、
抽出された前記動画を表示する表示部(10f)と、
を備える動作分析システム(1)。
[付記14]
前記時系列情報は、前記作業者の動作を示す座標値を含む動作情報を含み、
前記第1分類部(15)は、前記動作情報と、前記作業者の動作について比較の基準となる基準動作を示す座標値を含む基準動作情報との比較に基づいて、前記動作情報を前記複数の部分情報に分類する、
付記1に記載の動作分析装置(10)。
[付記15]
前記時系列情報は、前記作業者の動作を示す座標値を含む動作情報と対応付けられ、前記作業者を撮影した動画を含み、
前記選択部(17)により選択されたグループに含まれる前記動作情報に対応付けられた前記動画から、少なくとも一つの動画を抽出する抽出部(18)をさらに備える、
付記1又は14に記載の動作分析装置(10)。
[付記16]
前記抽出部(18)は、前記第2分類部(16)による分類に用いた基準の空間における、選択された前記グループに含まれる前記動作情報の重心に基づいて、前記動画を抽出する、
付記15に記載の動作分析装置(10)。
[付記17]
前記抽出部(18)は、入力部(10e)による入力に基づいて、前記動画を抽出する、
付記16に記載の動作分析装置(10)。
[付記18]
前記選択部(17)により選択されたグループの種類に基づいて、抽出された前記動画の再生範囲を決定する決定部(19)をさらに備える、
付記16又は17に記載の動作分析装置(10)。
10…動作分析装置、10a…CPU、10b…RAM、10c…ROM、10d…通信部、10e…入力部、10f…表示部、11…第1取得部、12…第2取得部、13…第3取得部、14…記憶部、14a…動画履歴、14b…動作情報履歴、14c…基準動作情報、15…第1分類部、16…第2分類部、17…選択部、18…抽出部、19…決定部、20a…第1撮影部、20b…第2撮影部、20c…第3撮影部、30…測定部、100…動作分析システム、C1,C2…標準的な動作を表すグループ、C11,C12,C13,C14,C21,C22,C23,C24…標準外の動作を表すグループ、D1…動作情報の第1例、D2…動作情報の第2例、D3…動作情報の第3例、D4…動作情報の第4例、D5…動作情報の第5例、G1…グループの第1例、G2…グループの第2例、L1…動画リスト、DP…画面、DP1…概要、DP2…全体動画、DP3…手元動画、R…作業領域

Claims (13)

  1. 作業者の動作を示す時系列情報を取得する取得部と、
    前記時系列情報を、前記作業者により実行された複数の要素動作に対応する複数の部分情報に分類する第1分類部と、
    少なくとも一つの前記部分情報を、前記作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部と、
    を備える動作分析装置。
  2. 前記複数のグループのうちいずれかを選択する選択部をさらに備え、
    前記1又は複数の基準は、第1基準と、前記第1基準と異なる第2基準とを含み、
    前記第2分類部は、少なくとも一つの前記部分情報を、前記第1基準により複数のグループのいずれかに分類し、前記選択部により選択されたグループに含まれる前記部分情報を、前記第2基準により複数のグループのいずれかに分類する、
    請求項1に記載の動作分析装置。
  3. 前記選択部は、前記複数のグループのうち、入力部による入力に応じたグループ又は所定の条件を満たすグループを選択する、
    請求項2に記載の動作分析装置。
  4. 前記時系列情報は、前記作業者の動作を示す座標値を含む動作情報を含み、
    前記第1分類部は、前記動作情報と、前記作業者の動作について比較の基準となる基準動作を示す座標値を含む基準動作情報との比較に基づいて、前記動作情報を前記複数の部分情報に分類する、
    請求項2又は3に記載の動作分析装置。
  5. 前記時系列情報は、前記作業者の動作を示す座標値を含む動作情報と対応付けられ、前記作業者を撮影した動画を含み、
    前記選択部により選択されたグループに含まれる前記動作情報に対応付けられた前記動画から、少なくとも一つの動画を抽出する抽出部をさらに備える、
    請求項2から4のいずれか一項に記載の動作分析装置。
  6. 前記抽出部は、前記第2分類部による分類に用いた基準の空間における、選択された前記グループに含まれる前記動作情報の重心に基づいて、前記動画を抽出する、
    請求項5に記載の動作分析装置。
  7. 前記抽出部は、入力部による入力に基づいて、前記動画を抽出する、
    請求項6に記載の動作分析装置。
  8. 前記選択部により選択されたグループの種類に基づいて、抽出された前記動画の再生範囲を決定する決定部をさらに備える、
    請求項6又は7に記載の動作分析装置。
  9. 前記第1基準は、前記作業者の動作の実行時間に関する基準を含む、
    請求項2から8のいずれか一項に記載の動作分析装置。
  10. 前記第1基準は、前記作業者の動作とともに移動する特定の部位の移動軌跡の長さに関する基準を含む、
    請求項2から9のいずれか一項に記載の動作分析装置。
  11. 作業者の動作を示す時系列情報を取得することと、
    前記時系列情報を、前記作業者により実行された複数の要素動作に対応する複数の部分情報に分類することと、
    少なくとも一つの前記部分情報を、前記作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類することと、
    を含む動作分析方法。
  12. 動作分析装置に備えられた演算部を、
    作業者の動作を示す時系列情報を取得する取得部、
    前記時系列情報を、前記作業者により実行された複数の要素動作に対応する複数の部分情報に分類する第1分類部、及び
    少なくとも一つの前記部分情報を、前記作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部、
    として機能させる動作分析プログラム。
  13. 作業者の動作を示す座標値を含む動作情報を測定する測定部と、
    前記動作情報と対応付けられた、前記作業者の動画を撮影する撮影部と、
    前記動作情報と、前記作業者の動作について比較の基準となる基準動作を示す座標値を含む基準動作情報との比較に基づいて、前記動作情報を複数の部分情報に分類する第1分類部と、
    少なくとも一つの前記部分情報を、前記作業者の動作に関する1又は複数の基準により複数のグループのいずれかに分類する第2分類部と、
    前記複数のグループのうちいずれかを選択する選択部と、
    前記選択部により選択されたグループに含まれる前記動作情報に対応付けられた前記動画から、少なくとも一つの動画を抽出する抽出部と、
    抽出された前記動画を表示する表示部と、
    を備える動作分析システム。
JP2018046488A 2018-03-14 2018-03-14 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム Active JP6928880B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018046488A JP6928880B2 (ja) 2018-03-14 2018-03-14 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018046488A JP6928880B2 (ja) 2018-03-14 2018-03-14 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Publications (2)

Publication Number Publication Date
JP2019159885A true JP2019159885A (ja) 2019-09-19
JP6928880B2 JP6928880B2 (ja) 2021-09-01

Family

ID=67996260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018046488A Active JP6928880B2 (ja) 2018-03-14 2018-03-14 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Country Status (1)

Country Link
JP (1) JP6928880B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131446A1 (ja) * 2019-12-24 2021-07-01 オムロン株式会社 解析装置、解析方法、及び解析プログラム
JP7362037B2 (ja) 2019-11-05 2023-10-17 オムロン株式会社 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム
JP7385825B2 (ja) 2019-11-07 2023-11-24 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202255A (ja) * 2004-12-24 2006-08-03 Omron Corp 工程改善支援システム
JP2007102644A (ja) * 2005-10-06 2007-04-19 Omron Corp 生産管理装置、生産管理方法、生産管理プログラム、生産管理プログラムを記録した記録媒体、および生産システム
JP2008077424A (ja) * 2006-09-21 2008-04-03 Toshiba Corp 作業分析システム及び方法
JP2015228123A (ja) * 2014-05-30 2015-12-17 富士電機株式会社 作業分析システム、作業分析方法、及び作業分析プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202255A (ja) * 2004-12-24 2006-08-03 Omron Corp 工程改善支援システム
JP2007102644A (ja) * 2005-10-06 2007-04-19 Omron Corp 生産管理装置、生産管理方法、生産管理プログラム、生産管理プログラムを記録した記録媒体、および生産システム
JP2008077424A (ja) * 2006-09-21 2008-04-03 Toshiba Corp 作業分析システム及び方法
JP2015228123A (ja) * 2014-05-30 2015-12-17 富士電機株式会社 作業分析システム、作業分析方法、及び作業分析プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7362037B2 (ja) 2019-11-05 2023-10-17 オムロン株式会社 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム
JP7385825B2 (ja) 2019-11-07 2023-11-24 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム
WO2021131446A1 (ja) * 2019-12-24 2021-07-01 オムロン株式会社 解析装置、解析方法、及び解析プログラム
JP7400449B2 (ja) 2019-12-24 2023-12-19 オムロン株式会社 解析装置、解析方法、及び解析プログラム

Also Published As

Publication number Publication date
JP6928880B2 (ja) 2021-09-01

Similar Documents

Publication Publication Date Title
US20230044842A1 (en) Work analyzing device and work analyzing method
JP2008108008A (ja) 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
JP6783713B2 (ja) 人行動推定システム
JP6903142B2 (ja) 異常検出装置、異常検出方法及びプログラム
JP6997013B2 (ja) 作業動作解析システム及び作業動作解析方法
JP2019159885A (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
WO2019138877A1 (ja) 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム
JP2008077424A (ja) 作業分析システム及び方法
US11138805B2 (en) Quantitative quality assurance for mixed reality
JP6841608B2 (ja) 振る舞い検知システム
JP7393720B2 (ja) 技能評価装置、技能評価方法及び技能評価プログラム
JP2009032033A (ja) 動作境界検出方法および作業分析システム
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
JP7139987B2 (ja) 工程情報取得システム、工程情報取得方法、および工程情報取得プログラム
JP7004218B2 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
JP2021163293A (ja) 作業分析装置及び作業分析プログラム
JP2007048232A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP7484569B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5966701B2 (ja) 情報処理装置及びプログラム
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法
JP7376446B2 (ja) 作業分析プログラム、および、作業分析装置
JP2021056671A (ja) 作業状態判別装置、作業状態判別方法およびプログラム
EP4354388A1 (en) Task analysis device and method
WO2024029411A1 (ja) 作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラム
WO2023181804A1 (ja) 作業分析装置および作業分析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210721

R150 Certificate of patent or registration of utility model

Ref document number: 6928880

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150