JP2019200241A - 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム - Google Patents

動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム Download PDF

Info

Publication number
JP2019200241A
JP2019200241A JP2018093277A JP2018093277A JP2019200241A JP 2019200241 A JP2019200241 A JP 2019200241A JP 2018093277 A JP2018093277 A JP 2018093277A JP 2018093277 A JP2018093277 A JP 2018093277A JP 2019200241 A JP2019200241 A JP 2019200241A
Authority
JP
Japan
Prior art keywords
information
motion
unit
classification
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018093277A
Other languages
English (en)
Other versions
JP7004218B2 (ja
Inventor
浩臣 音田
Hiroomi Onda
浩臣 音田
修一 後藤
Shuichi Goto
修一 後藤
直浩 河合
Naohiro Kawai
直浩 河合
佐々木 純
Jun Sasaki
純 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018093277A priority Critical patent/JP7004218B2/ja
Priority to CN201910279426.8A priority patent/CN110490034B/zh
Priority to EP19169417.3A priority patent/EP3570210B1/en
Priority to US16/387,656 priority patent/US10964005B2/en
Publication of JP2019200241A publication Critical patent/JP2019200241A/ja
Application granted granted Critical
Publication of JP7004218B2 publication Critical patent/JP7004218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】より良い精度で対象者の動作を分析することができる動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムを提供する。【解決手段】動作分析装置は、複数の対象者の動作を示す複数の動作情報を取得する取得部と、複数の動作情報を複数のグループのいずれかに分類する分類部と、複数のグループのいずれかのグループに分類された動作情報に基づいて、対象者の動作を分析する分析部と、を備え、複数の動作情報は、複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、分類部は、複数の動作情報を、それぞれに含まれる骨格情報を用いて分類する。【選択図】図1

Description

本開示は、動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムに関する。
従来、対象者の動作をカメラで撮影して画像処理を行ったり、対象者の動作をモーションキャプチャで測定して測定された信号について信号処理を行ったりして、対象者の動作を分析する場合がある。
例えば、下記特許文献1には、動作を検知するセンサの検出値を特定する検出情報及び当該検出情報に対応する動作を特定する動作辞書情報と、動作の時系列における組み合わせを特定する組み合わせ情報及び当該組み合わせ情報に対応する作業を特定する作業辞書情報と、を記憶する記憶部及び制御部を備える作業情報処理装置が記載されている。ここで、制御部は、作業者が有するセンサで検出された検出値に対応する動作を動作辞書情報から特定する処理と、特定した動作の時系列における組み合わせを特定し、特定した組み合わせに対応する作業を作業辞書情報から特定する処理と、作業者毎に、動作と、作業と、を時系列において特定する作業情報を生成する処理と、を行う。
特開2009−122302号公報
例えば製造ラインで様々な作業が行われる場合に、対象者の習熟度を評価したり、対象者が標準外の動作を行っていないか確認したりしたい場合がある。このような要求に応えるために、製造ラインにカメラやセンサを設置して、対象者の動作を継続的に測定することがある。例えば、特許文献1に記載の技術によれば、予め記憶された動作辞書情報及び作業辞書情報を用いて、作業者の動作及び対応する作業を作業者毎に特定している。
しかしながら、人の動作には個人差があるため、複数の対象者の動作を示す情報を測定したとしても、それらの情報を辞書情報等の画一的な情報に基づいて分析するのでは、正しい分析が行えなかったり、精度の低い分析になってしまったりすることがある。このような課題は、製造ラインにおける作業のみならず、スポーツにおける動作等、人が任意の動作を行う場合にも生じ得る。
そこで、本発明は、より良い精度で対象者の動作を分析することができる動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムを提供する。
本開示の一態様に係る分析装置は、複数の対象者の動作を示す複数の動作情報を取得する取得部と、複数の動作情報を複数のグループのいずれかに分類する分類部と、複数のグループのいずれかのグループに分類された動作情報に基づいて、対象者の動作を分析する分析部と、を備え、複数の動作情報は、複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、分類部は、複数の動作情報を、それぞれに含まれる骨格情報を用いて分類する。ここで、動作情報は、カメラによって撮影された対象者を含む静止画又は動画であってよい。また、動作情報は、対象者の画像そのものではなく、モーションキャプチャ等を用いて対象者の骨格等の身体的特徴をモデル化した情報であってもよい。動作情報は、例えば、対象者の動作の遷移を示す時系列情報であるが、必ずしも時系列情報である必要はない。対象者の骨格と関連付けられた身体の複数の部位は、対象者の関節、頭、肩、腰等の任意の部位であってよい。対象者の骨格と関連付けられた身体の複数の部位は、必ずしも骨と直接関連する身体の複数の部位でなくてもよく、指先、鼻頭及び耳たぶのように、骨格によって位置が定まる身体の複数の部位であってよい。すなわち、骨格情報は、骨と直接関連する身体の複数の部位の位置を示す情報や、骨格によって位置が定まる身体の複数の部位の位置を示す情報を含んでよい。
この態様によれば、複数の動作情報を、骨格情報を用いて分類し、その分類結果に基づいて動作の分析が行われる。これにより、骨格等の身体的特徴に応じた分析を対象者に対して実行することができる。従って、対象者を身体的特徴によらず画一的に分析する場合に比べ、対象者の動作をより良い精度で分析することができる。
上記態様において、分類部は、複数の動作情報のうちいずれかの動作情報に含まれる骨格情報と、複数の動作情報のうち他のいずれかの動作情報に含まれる骨格情報との差異に基づき、複数の動作情報を複数のグループのいずれかに分類してもよい。ここで、骨格情報の差異とは、骨格情報により示される対象者の身体の複数の部位の位置の差異であってよい。より具体的には、ある対象者の動作情報に含まれる骨格情報と、他の対象者の動作情報に含まれる骨格情報との差異とは、ある対象者の身体の複数の部位の位置と、それらの部位に対応する他の対象者の身体の複数の部位の位置の差異であってよい。
この態様によれば、骨格情報の差異に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者の体格差に基づいて動作情報をグループ分けすることができ、体格が類似する対象者の動作情報を一つのグループに分類することができる。これにより、体格が類似する対象者の動作を比較して、対象者の動作を分析することができる。
上記態様において、分類部は、複数の動作情報を、それぞれに含まれる骨格情報と所定の基準情報との差異に基づき、複数のグループのいずれかに分類してもよい。ここで、所定の基準情報とは、身体の複数の部位の位置と比較可能な情報であり、例えば作業領域の範囲を示す情報であってよい。
この態様によれば、骨格情報と所定の基準情報との差異に基づき、複数の動作情報を複数のグループのいずれかに分類することで、基準情報に基づいて動作情報をグループ分けすることができ、基準情報に関して類似する性質を有する対象者の動作情報を一つのグループに分類することができる。これにより、基準情報に関して類似する性質を有する対象者の動作を比較して、対象者の動作を分析することができる。
上記態様において、骨格情報は、複数の部位に対応する複数のノードの座標値を含み、分類部は、座標値に基づいて算出される複数のノードの間の距離に関する分類により、複数の動作情報を複数のグループのいずれかに分類してもよい。ここで、複数のノードは、対象者の骨格と関連付けられた身体の複数の部位に対応するスケルトンモデルのノードであってよく、複数のノードの間の距離は、スケルトンモデルのエッジの長さであってよい。ここで、スケルトンモデルは、対象者の体格の概形を複数のエッジ及び複数のノードにより示すモデルであってよい。そして、複数のエッジは、対象者の骨格の概形を示し、複数のノードは、複数のエッジの端点及び連結点を示してよい。
この態様によれば、複数のノードの間の距離に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者の体格差に基づいて動作情報をグループ分けすることができ、体格が類似する対象者を一つのグループに分類することができる。これにより、体格が類似する対象者の動作を比較して、対象者の動作を分析することができる。
上記態様において、分類部は、複数のノードのうち隣り合う2つのノードの間の距離に関する分類により、複数の動作情報を複数のグループのいずれかに分類してもよい。
この態様によれば、複数のノードのうち隣り合う2つのノードの間の距離に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者に固有の長さに基づいて動作情報をグループ分けすることができ、対象者の身体的特徴をより正確に捉えて、対象者の動作を分析することができる。
上記態様において、分類部は、複数のノードのうち隣り合う2つのノードの間の距離と、複数のノードのうち他の隣り合う2つのノードの間の距離との比に関する分類により、動作情報を複数のグループのいずれかに分類してもよい。
この態様によれば、複数のノードのうち隣り合う2つのノードの間の距離と、他の隣り合う2つのノードの間の距離との比に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者に固有であり、単位系に依存しない量に基づいて動作情報をグループ分けすることができ、対象者の身体的特徴をより正確に捉えて、対象者の動作を分析することができる。
上記態様において、分類部は、複数のノードの間の距離と、複数の動作情報とともに取得部により取得される基準距離との比に関する分類により、動作情報を複数のグループのいずれかに分類してもよい。ここで、基準距離は、隣り合う2つのノードの間の距離と比較可能な距離であってよく、例えば、作業者により用いられる特定の治具の長さであったり、作業領域に設けられた特定のマーカの長さであったりしてよい。
この態様によれば、複数のノードのうち隣り合う2つのノードの間の距離と、基準距離との比に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者に固有であり、単位系に依存しない量に基づいて動作情報をグループ分けすることができ、対象者の身体的特徴をより正確に捉えて、対象者の動作を分析することができる。
上記態様において、座標値は、3次元座標値を含み、分類部は、3次元座標値に基づいて算出される複数のノードの間の距離に関する分類により、複数の動作情報を複数のグループのいずれかに分類してもよい。
この態様によれば、3次元座標値に基づいて算出される複数のノードの間の距離に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者の体格差に基づく動作情報のグループ分けをより正確に行うことができ、体格が類似する対象者の動作を比較して、対象者の動作をより正確に分析することができる。
上記態様において、座標値は、測定された時刻に関連付けられ、分類部は、異なる時刻に測定された複数の座標値に基づいて算出される複数のノードの間の距離の平均に関する分類により、複数の動作情報を複数のグループのいずれかに分類してもよい。
この態様によれば、異なる時刻に測定された複数のノードの間の距離の平均に基づき、複数の動作情報を複数のグループのいずれかに分類することで、ノードの座標値の測定における誤差の影響を低減して動作情報をグループ分けすることができ、体格が類似する対象者の動作を比較して、対象者の動作をより正確に分析することができる。
上記態様において、複数の部位のうち、分類部による分類に用いる複数の部位を選択する選択部をさらに備えてもよい。
この態様によれば、対象者の身体的特徴をより良く表す複数の部位を選択することができ、対象者の身体的特徴をより正確に捉えるように動作情報をグループ分けして、より良い精度で対象者の動作を分析することができる。
上記態様において、選択部は、複数の対象者に共通して取得された部位であるか否かに基づいて、分類部による分類に用いる複数の部位を選択してもよい。
この態様によれば、複数の対象者に共通して取得された部位を、分類部による分類に用いる部位として選択することで、複数の対象者の身体的特徴を共通の部位により分類することができ、対象者の身体的特徴をより正確に捉えるように動作情報をグループ分けして、より良い精度で対象者の動作を分析することができる。
上記態様において、選択部は、複数の部位のうち隣り合う2つの部位の間の距離と、複数の部位のうち他の隣り合う2つの部位の間の距離との比較に基づいて、分類部による分類に用いる部位を選択してもよい。
この態様によれば、複数の部位のうち隣り合う2つの部位の間の距離と、他の隣り合う2つの部位の間の距離との比較によって、位置の測定における相対誤差がより小さくなるように分類部による分類に用いる部位を選択することができ、対象者の身体的特徴をより正確に捉えるように動作情報をグループ分けして、より良い精度で対象者の動作を分析することができる。
上記態様において、選択部は、分析部による分析結果に基づいて、対象者に対応するコンテンツを選択してよい。ここで、コンテンツは、動画、画像又はテキスト等の任意の情報であってよく、例えば、動作の手本となる動画であったり、動作を円滑にする道具に関する情報であったりしてよい。
この態様によれば、分析結果に基づいて、対象者が参考とすべき道具に関するコンテンツを推薦したり、対象者が参考とすべきが動作に関するコンテンツを推薦したりして、対象者の動作の改善を促すことができる。
上記態様において、分析部は、動作情報に基づいて算出され、対象者の動作の特徴を表す特徴量に基づいて、対象者の動作に関する異常の有無を分析してもよい。ここで、対象者の動作の特徴を表す特徴量は、対象者の動作を特徴付ける数値であってよく、例えば、動作時間であったり、動作における対象者の特定の部位の軌跡の長さであったりしてよい。ここで、動作時間は、対象者が動作を開始してから終了するまでの時間の長さであってよい。
この態様によれば、対象者の体格を考慮して対象者の動作情報をグループ分けし、同じグループに属する対象者の動作の特徴を表す特徴量を比較することで、対象者の動作が、類似する体格の他の対象者の動作と比較して異常であるか否かを分析することができ、より良い精度で対象者の動作に関する異常の有無を分析することができる。
上記態様において、分析部は、動作情報に基づいて算出され、対象者の動作の特徴を表す特徴量に基づいて、対象者の動作の習熟度を分析してもよい。ここで、対象者の動作の習熟度は、対象者が所定の動作をより早く、より正確に実行することができるか評価する指標であってよく、例えば、所定の動作を実行した回数に対する動作時間の減少の傾きであってよい。また、習熟度は、単に動作時間であってもよい。
この態様によれば、対象者の体格を考慮して対象者の動作をグループ分けし、同じグループに属する対象者の動作の特徴を表す特徴量を抽出して、体格が類似する対象者に関する動作の習熟度を分析することができ、より良い精度で対象者の動作の習熟度を分析することができる。
上記態様において、特徴量は、対象者の特定の部位の軌跡の長さ及び対象者の動作時間の少なくともいずれかを含んでよい。
この態様によれば、対象者の体格を考慮して対象者の動作をグループ分けし、同じグループに属する対象者の特定の部位の軌跡の長さ及び対象者の動作時間の少なくともいずれかを比較することで、より良い精度で対象者の動作を分析することができる。
本開示の他の態様に係る動作分析方法は、複数の対象者の動作を示す複数の動作情報を取得することと、複数の動作情報を複数のグループのいずれかに分類することと、複数のグループのうちいずれかのグループに分類された動作情報に基づいて、対象者の動作を分析することと、を含み、複数の動作情報は、複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、分類することは、複数の動作情報を、それぞれに含まれる骨格情報を用いて分類することを含む。
この態様によれば、複数の動作情報を、骨格情報を用いて分類し、その分類結果に基づいて動作の分析がお行われる。これにより、骨格等の身体的特徴に応じた分析を対象者に対して実行することができる。従って、対象者を身体的特徴によらず画一的に分析する場合に比べ、対象者の動作をより良い精度で分析することができる。
本開示の他の態様に係る動作分析プログラムは、動作分析装置に備えられた演算部を、複数の対象者の動作を示す複数の動作情報を取得する取得部、複数の動作情報を複数のグループのいずれかに分類する分類部、及び複数のグループのいずれかのグループに分類された動作情報に基づいて、対象者の動作を分析する分析部、として動作させ、複数の動作情報は、複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、分類部は、複数の動作情報を、それぞれに含まれる骨格情報を用いて分類する。
この態様によれば、複数の動作情報を、骨格情報を用いて分類し、その分類結果に基づいて動作の分析がお行われる。これにより、骨格等の身体的特徴に応じた分析を対象者に対して実行することができる。従って、対象者を身体的特徴によらず画一的に分析する場合に比べ、対象者の動作をより良い精度で分析することができる。
本開示の他の態様に係る動作分析システムは、複数の対象者の動作を示す複数の動作情報を測定する測定部と、複数の動作情報を複数のグループのいずれかに分類する分類部と、複数のグループのうちいずれかのグループに分類された動作情報に基づいて、対象者の動作を分析する分析部と、分析部による分析結果を表示する表示部と、を備え、複数の動作情報は、複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、分類部は、複数の動作情報を、それぞれに含まれる骨格情報を用いて分類する。
この態様によれば、複数の動作情報を、骨格情報を用いて分類し、その分類結果に基づいて動作の分析がお行われる。これにより、骨格等の身体的特徴に応じた分析を対象者に対して実行することができる。従って、対象者を身体的特徴によらず画一的に分析する場合に比べ、対象者の動作をより良い精度で分析することができる。
本発明によれば、より良い精度で対象者の動作を分析することができる動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムが提供される。
本発明の実施形態に係る動作分析システムの概要を示す図である。 本実施形態に係る動作分析装置の主な機能ブロックを示す図である。 本実施形態に係る動作分析装置により実行される分析処理の第1例のフローチャートである。 本実施形態に係る動作分析システムの機能ブロックを示す図である。 本実施形態に係る動作分析装置の物理的構成を示す図である。 本実施形態に係る動作分析システムにより測定される動作情報の一例を示す図である。 複数の作業者の作業時間のヒストグラムの一例を示す図である。 本実施形態に係る動作分析装置により分析された複数の作業者の作業時間のヒストグラムの一例を示す図である。 本実施形態に係る動作分析システムにより実行される分析処理の第2例のフローチャートである。 本実施形態に係る動作分析システムにより実行される分析処理の第3例のフローチャートである。 複数の作業者に関する動作情報が測定された時刻と動作時間の関係の一例を示す図である。 本実施形態に係る動作分析装置により分析された、複数の作業者の同一又は同種の作業に関する動作情報が測定された時刻と動作時間の関係の一例を示す図である。 本実施形態に係る動作分析システムにより実行される分析処理の第4例のフローチャートである。 本実施形態に係る動作分析装置により複数のグループに分類された複数の対象者に関する動作情報の一例を示す図である。 本実施形態に係る動作分析システムにより実行される分類処理の一例のフローチャートである。 本実施形態の第1変形例に係る動作分析システムの機能ブロックを示す図である。 本実施形態の第1変形例に係る動作分析システムにより実行される分析処理の一例のフローチャートである。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」と表記する。)を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
§1 適用例
まず、図1から図3を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る動作分析システム100の概要を示す図である。動作分析システム100は、動作分析装置10を備え、動作分析装置10は、対象者の動作を分析するための情報処理装置である。ここで、対象者は、分析の対象となる者であり、分析毎に異なり得る。例えば、動作分析装置10によって、生産現場における作業者の動作を分析する場合、対象者は作業者である。本実施形態では、動作分析装置10によって、生産現場における作業者の動作を分析する場合について説明する。もっとも、動作分析の対象となる対象者は、生産現場における作業者以外の者であってもよく、スポーツを行う者であったり、任意の動作を行う者であったりしてよい。対象者は、腕、足、指等の身体の特定の部位を欠損した者を含んでもよい。
本実施形態に係る動作分析システム100は、第1作業者A1及び第2作業者A2の動作を示す動作情報を測定する測定部30と、動作情報の一種である動画を撮影する第1撮影部20a、第2撮影部20b及び第3撮影部20cと、を備える。動作情報は、第1作業者A1及び第2作業者A2の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含んでよい。ここで、対象者の骨格と関連付けられた身体の複数の部位は、対象者の関節、頭、肩、腰等の任意の部位であってよい。ただし、対象者の骨格と関連付けられた身体の複数の部位は、必ずしも骨と直接関連する身体の複数の部位でなくてもよく、指先、鼻頭及び耳たぶのように、骨格によって位置が定まる身体の複数の部位であってよい。すなわち、骨格情報は、骨と直接関連する身体の複数の部位の位置を示す情報や、骨格によって位置が定まる身体の複数の部位の位置を示す情報を含んでよい。測定部30は、モーションキャプチャにより構成されてよく、作業領域Rにおいて実行された第1作業者A1及び第2作業者A2の骨格と関連付けられた身体の複数の部位に対応する複数のノードの座標値を含む動作情報を測定してよい。また、第1撮影部20a、第2撮影部20b及び第3撮影部20cは、それぞれ汎用のカメラによって構成されてよく、作業領域Rにおいて第1作業者A1及び第2作業者A2が動作を実行している場面を含む動画を撮影してよい。動作情報は、第1作業者A1及び第2作業者A2の身体的特徴を表す部位(関節、頭、肩、腰等)に対応する複数のノードの座標値を含む情報であってよいし、第1作業者A1及び第2作業者A2の骨格と関連付けられた身体の複数の部位の位置を示す動画であってもよい。
動作情報は、第1撮影部20a、第2撮影部20b及び第3撮影部20c等のカメラによって撮影された対象者を含む静止画又は動画であってよい。また、動作情報は、対象者の画像そのものではなく、測定部30等のモーションキャプチャを用いて対象者の骨格等の身体的特徴をモデル化した情報であってもよい。動作情報は、例えば、対象者の動作の遷移を示す時系列情報であるが、必ずしも時系列情報である必要はない。
本実施形態に係る動作分析システム100は、製造ライン全体を含む作業領域Rにおいて対象者が行う動作を分析するものであるが、作業領域Rは、任意の領域であってよく、例えば所定の工程が行われる領域であったり、所定の要素動作が行われる領域であったりしてよい。ここで、要素動作とは、対象者により実行される一単位の動作であり、例えば、部品のピッキング、部品の配置、部品の固定、製品の梱包、ネジ締め、検品といった動作を含む。
図2は、本実施形態に係る動作分析装置10の主な機能ブロックを示す図である。本実施形態に係る動作分析装置10は、主として、複数の対象者の動作を示す複数の動作情報を取得する取得部11と、複数の動作情報を複数のグループのいずれかに分類する分類部15と、複数のグループのいずれかのグループに分類された動作情報に基づいて、対象者の動作を分析する分析部16と、備える。
図3は、本実施形態に係る動作分析装置10により実行される分析処理の第1例のフローチャートである。動作分析装置10の取得部11は、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30から、動作情報を取得する(S10)。取得部11は、第1撮影部20a、第2撮影部20b及び第3撮影部20cから、動作情報として動画を取得してよい。また、取得部11は、測定部30から、動作情報として、対象者の身体の複数の部位に対応する複数のノードの座標値を取得してよい。取得部11は、複数の動作情報を一度に取得してもよいし、複数の動作情報をそれぞれ異なるタイミングで取得してもよい。
動作分析装置10の分類部15は、複数の動作情報を複数のグループのいずれかに分類する(S11)。ここで、分類部15は、複数の動作情報を、それぞれに含まれる骨格情報を用いて分類してよい。すなわち、複数のグループは、対象者をその身体的特徴によって分類するものである。例えば、分類部15は、複数の動作情報を用いることで、複数の対象者をその骨格に基づいて分類する。より具体的には、分類部15は、骨格情報により示される身体の複数の部位の位置に基づいて、複数の動作情報を、対象者のおおよその体格を表す複数のグループのいずれかに分類してよい。例えば、分類部15は、複数の動作情報を、大柄な対象者のグループと、小柄な対象者のグループとに分類してよい。
動作分析装置10の分析部16は、複数のグループのいずれかのグループに分類された動作情報に基づいて、対象者の動作を分析する(S12)。例えば、分析部16は、大柄な対象者又は小柄な対象者のグループに分類された動作情報に基づいて、対象者が動作を完了するまでに要した動作時間を分析し、標準外の動作が行われたか分析したり、動作の習熟度を分析したりしてよい。分析部16は、分類部15により分類されたグループ毎に、分析方法を変えたり、分析に用いる基準を変えたりしてもよい。なお、分析部16が分析対象とするグループは、複数のグループのうち特定のグループであってもよいし、全てのグループであってもよい。分析部16は、分析結果を示す情報を表示部や他の装置に出力してよい。
本実施形態に係る動作分析装置10は、骨格情報を用いて動作情報を分類し、その分類結果に基づいて動作の分析を実行する。これにより、動作分析装置10は、骨格等の身体的特徴に応じた分析を対象者に対して実行することができる。従って、動作分析装置10によれば、対象者を身体的特徴によらず画一的に分析する場合に比べ、対象者の動作をより良い精度で分析することができる。例えば、大柄な対象者と小柄な対象者とでは動作の傾向に違いがあることがあり、大柄な対象者と小柄な対象者の動作情報が混在している場合に、対象者の動作を画一的な基準によって分析すると、正しい分析が行えなかったり、精度の低い分析になってしまったりすることがある。この点、本実施形態に係る動作分析装置10によれば、対象者の動作情報を、大柄な対象者のグループと、小柄な対象者のグループとに分類して、それぞれのグループに分類された動作情報に基づいて動作を分析することができ、大柄な対象者に関する動作の分析と、小柄な対象者に関する動作の分析とをそれぞれ実行して、対象者の動作をより良い精度で分析することができる。
また、例えば、身体の特定の部位を欠損している対象者と健常な対象者とでは実行し得る動作に違いがあることがあり、身体の特定の部位を欠損している対象者と健常な対象者の動作情報が混在している場合に、対象者の動作を画一的な基準によって分析すると、正しい分析が行えなかったり、精度の低い分析になってしまったりすることがある。この点、本実施形態に係る動作分析装置10によれば、対象者の動作情報を、身体の特定の部位を欠損している対象者のグループと、健常な対象者のグループとに分類して、それぞれのグループに分類された動作情報に基づいて動作を分析することができ、身体の特定の部位を欠損している対象者に関する動作の分析と、健常な対象者に関する動作の分析とをそれぞれ実行して、対象者の動作をより良い精度で分析することができる。
§2 構成例
[機能構成]
次に、図4を用いて、本実施形態に係る動作分析システム100の機能構成の一例を説明する。動作分析システム100は、第1撮影部20a、第2撮影部20b、第3撮影部20c、測定部30及び動作分析装置10を備える。そして、動作分析装置10は、第1取得部11、第2取得部12、第3取得部13、記憶部14、分類部15、分析部16、選択部17、入力部10e及び表示部10fを備える。
<撮影部>
第1撮影部20a、第2撮影部20b及び第3撮影部20cは、それぞれ汎用のカメラによって構成されてよく、作業領域Rにおいて第1作業者A1及び第2作業者A2が動作を実行している場面を含む動画を撮影してよい。動画は、動作情報の一例であり、対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報を含む。動画は、そのまま動作情報として用いられてもよいし、動画に基づいて作業者の骨格と関連付けられた身体の複数の部位の位置を解析するために用いられてもよい。第1撮影部20a、第2撮影部20b及び第3撮影部20cは、それぞれ作業領域Rの一部を撮影してよく、作業領域Rよりも狭い領域の動画を撮影してよい。具体的には、第1作業者A1及び第2作業者A2により実行される動作を、特定の領域に注目して撮影した動画であってよい。第1撮影部20a、第2撮影部20b及び第3撮影部20cは、例えば、第1作業者A1及び第2作業者A2の手元をクローズアップした動画を撮影してよい。
また、第1撮影部20a、第2撮影部20b及び第3撮影部20cは、作業領域Rを構成する複数の部分をそれぞれ撮影した複数の動画を撮影してよい。例えば、第1撮影部20aは、主に第1作業者A1が動作を実行している動画を撮影し、第3撮影部20cは、主に第2作業者A2が動作を実行している動画を撮影し、第2撮影部20bは、第1作業者A1が動作を実行している動画及び第2作業者A2が動作を実行している動画の両方を撮影してよい。また、第1撮影部20a、第2撮影部20b及び第3撮影部20cは、作業領域Rにおける複数の位置でそれぞれ異なる工程が実行される動画を撮影してよい。
<測定部>
測定部30は、モーションキャプチャにより構成されてよく、ある作業領域Rにおいて実行された第1作業者A1及び第2作業者A2の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報を含む動作情報を測定してよい。測定部30は、複数の作業者の動作情報を測定してよく、単一ユニットであってもよいし、複数ユニットを含んでもよい。測定部30の構成は任意であるが、例えば、第1作業者A1及び第2作業者A2にパターン光を投影して、パターン光が投影された状態の第1作業者A1及び第2作業者A2の動画を撮影し、撮影した動画に基づいて、第1作業者A1及び第2作業者A2の複数の骨格と関連付けられた身体の複数の部位の座標値を測定するものであってよい。また、測定部30は、複数の作業者に関する複数の動作情報を測定する場合、動作情報に作業者を識別する情報を付加してもよい。測定部30は、第1作業者A1及び第2作業者A2の関節、頭、肩、腰等の任意の部位の座標値を測定するものであってよい。また、測定部30は、第1作業者A1及び第2作業者A2が装着したトラッカーの位置の座標値を測定するものであってもよい。また、測定部30は、第1作業者A1及び第2作業者A2の動画を解析して、動画に基づいて作業者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報を含む動作情報を測定するものであってもよい。
動作分析システム100には、複数の測定部30が含まれてもよい。複数の測定部30によって、複数の作業者の動作情報を測定する場合、同一の作業者の動作情報が重複して測定されることがあり得るが、動作情報に作業者を識別する情報を付加して、重複を取り除いたり、異なる測定部30により測定された動作情報を合成したりしてもよい。なお、複数の測定部30によって複数の作業者の動作情報を測定する場合、各測定部30によって一人の作業者の動作情報を測定することとしてもよい。
測定部30は、第1作業者A1及び第2作業者A2が動作を実行している動画を撮影する第4撮影部を兼ねてもよい。第4撮影部は、作業領域R全体の動画を撮影してよい。すなわち、第4撮影部は、第1作業者A1及び第2作業者A2が動作を実行している様子を、第1作業者A1及び第2作業者A2が両方含まれるように撮影してよい。一方、第1撮影部20a、第2撮影部20b及び第3撮影部20cは、第1作業者A1及び第2作業者A2の一方が含まれるように、第1作業者A1及び第2作業者A2が動作を実行している動画を撮影してよい。
<動作分析装置>
第1取得部11は、第1作業者A1及び第2作業者A2の動作情報を、測定部30から取得してよい。第1取得部11により取得された動作情報は、記憶部14に伝送され、動作情報履歴14aとして記憶される。動作分析システム100が複数の測定部30を含む場合、第1取得部11は、複数の測定部30それぞれから動作情報を取得してよく、いずれの測定部30から取得した動作情報であるかを識別する情報を付加して、動作情報を記憶部14に伝送してもよい。なお、動作情報は、例えば、作業者の骨格と関連付けられた身体の複数の部位の位置を示す座標値を1秒間隔で測定した情報であってよい。
第2取得部12は、第1作業者A1及び第2作業者A2が動作を実行している動画を、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30(第4撮影部)から取得してよい。第2取得部12により取得された動画は、記憶部14に伝送され、動作情報履歴14aとして記憶される。第2取得部12は、複数の撮影部のうちいずれの撮影部から取得した動画であるかを識別する情報を付加して、動画を記憶部14に伝送してもよい。
記憶部14は、動作情報履歴14aを記憶してよい。動作情報履歴14aは、測定部30により測定された対象者の身体の複数の部位の座標値の履歴や、第1撮影部20a、第2撮影部20b及び第3撮影部20cにより撮影された対象者の動画の履歴を含んでよい。
分類部15は、複数の動作情報を複数のグループのいずれかに分類してよい。分類部15は、複数の動作情報を、それぞれに含まれる骨格情報を用いて分類してよい。分類部15は、複数の動作情報のうちいずれかの動作情報に含まれる骨格情報と、複数の動作情報のうち他のいずれかの動作情報に含まれる骨格情報との差異に基づき、複数の動作情報を複数のグループのいずれかに分類してもよい。ここで、骨格情報の差異とは、骨格情報により示される対象者の身体の複数の部位の位置の差異であってよい。また、複数の対象者として、身体の特定の部位を欠損した者が含まれる場合、骨格情報の差異は、骨格情報により示される対象者の身体の複数の部位の有無であってよい。
このように、骨格情報の差異に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者の体格差に基づいて動作情報をグループ分けすることができ、体格が類似する対象者の動作情報を一つのグループに分類することができる。これにより、体格が類似する対象者の動作を比較して、対象者の動作を分析することができる。
分類部15は、複数の動作情報を、それぞれに含まれる骨格情報と所定の基準情報との差異に基づき、複数のグループのいずれかに分類してもよい。ここで、所定の基準情報とは、身体の複数の部位の位置と比較可能な情報であり、例えば作業領域の範囲を示す情報であってよい。分類部15は、例えば、骨格情報により示される対象者の身体の複数の部位の位置が、複数の作業領域のいずれの範囲内にあるかによって、複数の動作情報を複数のグループのいずれかに分類してもよい。
このように、骨格情報と所定の基準情報との差異に基づき、複数の動作情報を複数のグループのいずれかに分類することで、基準情報に基づいて動作情報をグループ分けすることができ、基準情報に関して類似する性質を有する対象者の動作情報を一つのグループに分類することができる。これにより、基準情報に関して類似する性質を有する対象者の動作を比較して、対象者の動作を分析することができる。例えば、基準情報が複数の作業領域の範囲を示す情報である場合、対象者の動作情報を、複数の作業領域のいずれの範囲内で行われた動作であるかによって複数のグループに分類し、作業領域毎に対象者の動作を分析することができる。
分析部16は、複数のグループのいずれかのグループに分類された動作情報に基づいて、対象者の動作を分析する。分析部16は、動作情報に基づいて算出され、対象者の動作の特徴を表す特徴量に基づいて、対象者の動作に関する異常の有無を分析してよい。ここで、対象者の動作の特徴を表す特徴量は、対象者の動作を特徴付ける数値であってよく、対象者の特定の部位の軌跡の長さ及び対象者の動作時間の少なくともいずれかを含んでよい。ここで、動作時間は、対象者が動作を開始してから終了するまでの時間の長さであってよい。
このように、対象者の体格を考慮して対象者の動作情報をグループ分けし、同じグループに属する対象者の動作の特徴を表す特徴量を比較することで、対象者の動作が、類似する体格の他の対象者の動作と比較して異常であるか否かを分析することができ、より良い精度で対象者の動作に関する異常の有無を分析することができる。
また、特徴量が、対象者の特定の部位の軌跡の長さ及び対象者の動作時間の少なくともいずれかを含むことで、対象者の体格を考慮して対象者の動作をグループ分けし、同じグループに属する対象者の特定の部位の軌跡の長さ及び対象者の動作時間の少なくともいずれかを比較することができ、より良い精度で対象者の動作を分析することができる。
分析部16は、動作情報に基づいて算出され、対象者の動作の特徴を表す特徴量に基づいて、対象者の動作の習熟度を分析してもよい。対象者の動作の習熟度は、対象者が所定の動作をより早く、より正確に実行することができるか評価する指標であってよく、例えば、所定の動作を実行した回数に対する動作時間の減少の傾きであってよい。また、習熟度は、単に動作時間であってもよい。
このように、対象者の体格を考慮して対象者の動作をグループ分けし、同じグループに属する対象者の動作の特徴を表す特徴量を抽出して、体格が類似する対象者に関する動作の習熟度を分析することができ、より良い精度で対象者の動作の習熟度を分析することができる。
選択部17は、対象者の骨格と関連付けられた身体の複数の部位のうち、分類部15による分類に用いる複数の部位を選択する。選択部17は、動作情報履歴14aに含まれる骨格情報の履歴に基づいて、分類部15による分類に用いる複数の部位を選択してもよい。また、選択部17は、入力部10eの入力に基づいて、分類部15による分類に用いる複数の部位を選択してもよい。
選択部17によって、対象者の身体的特徴をより良く表す複数の部位を選択することができ、対象者の身体的特徴をより正確に捉えるように動作情報をグループ分けして、より良い精度で対象者の動作を分析することができる。
選択部17は、複数の対象者に共通して取得された部位であるか否かに基づいて、分類部15による分類に用いる複数の部位を選択してもよい。例えば、骨格情報が複数の関節の位置を示すものであり、複数の対象者に共通して特定の関節の位置が取得できており、他の関節の位置は、対象者によって取得できていたり、取得できていなかったりする場合、選択部17は、複数の対象者について共通して取得された特定の関節を、分類部15による分類に用いる部位として選択してよい。
このように、複数の対象者に共通して取得された部位を、分類部15による分類に用いる部位として選択することで、複数の対象者の身体的特徴を共通の部位により分類することができ、対象者の身体的特徴をより正確に捉えるように動作情報をグループ分けして、より良い精度で対象者の動作を分析することができる。
選択部17は、複数の部位のうち隣り合う2つの部位の間の距離と、複数の部位のうち他の隣り合う2つの部位の間の距離との比較に基づいて、分類部15による分類に用いる部位を選択してもよい。例えば、肘と手首は、隣り合う2つの部位であり、肘と肩は、他の隣り合う2つの部位である。選択部17は、例えば、肘と手首の間の距離と、肘と肩の間の距離とを比較して、より距離の長い2つの部位を、分類部15による分類に用いる部位を選択してもよい。より距離の長い隣り合う2つの部位を選択することで、位置の測定における相対誤差がより小さい部位を選択することができる。
このように、複数の部位のうち隣り合う2つの部位の間の距離と、他の隣り合う2つの部位の間の距離との比較によって、位置の測定における相対誤差がより小さくなるように分類部15による分類に用いる部位を選択することができ、対象者の身体的特徴をより正確に捉えるように動作情報をグループ分けして、より良い精度で対象者の動作を分析することができる。
[ハードウェア構成]
次に、図5を用いて、本実施形態に係る動作分析装置10のハードウェア構成の一例を説明する。動作分析装置10は、演算装置に相当するCPU(Central Processing Unit)10aと、記憶部14に相当するRAM(Random Access Memory)10bと、記憶部14に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では動作分析装置10が一台のコンピュータで構成される場合について説明するが、動作分析装置10は、複数のコンピュータを用いて実現されてもよい。
CPU10aは、RAM10b又はROM10cに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。CPU10aは、複数の動作情報を、それぞれに含まれる骨格情報を用いて複数のグループのいずれかに分類し、複数のグループのいずれかのグループに分類された動作情報に基づいて、対象者の動作を分析するプログラム(動作分析プログラム)を実行する演算装置である。CPU10aは、入力部10eや通信部10dから種々の入力データを受け取り、入力データの演算結果を表示部10fに表示したり、RAM10bやROM10cに格納したりする。
RAM10bは、記憶部14のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。RAM10bは、CPU10aが実行する動作分析プログラムや、動作情報履歴14aといったデータを記憶する。
ROM10cは、記憶部14のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ROM10cは、例えば動作分析プログラムや、書き換えが行われないデータを記憶する。
通信部10dは、動作分析装置10を外部機器に接続するインターフェースである。通信部10dは、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30と例えばLAN(Local Area Network)により接続されて、第1撮影部20a、第2撮影部20b及び第3撮影部20cから動画を受信し、測定部30から動画及び動作情報を受信してよい。また、通信部10dは、インターネットに接続されて、インターネットを介して動画を受信したり、動作情報を受信したりしてもよい。また、通信部10dは、分析部16による分析結果を外部機器に送信してもよい。
入力部10eは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルを含んでよい。
表示部10fは、CPU10aによる演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部10fは、分析部16による分析結果を表示してよい。
動作分析プログラムは、RAM10bやROM10c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部10dにより接続される通信ネットワークを介して提供されてもよい。動作分析装置10では、CPU10aが動作分析プログラムを実行することにより、図4を用いて説明した第1取得部11a、第2取得部11b、第3取得部11c、分類部15、分析部16及び選択部17により実現される動作を含む様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、動作分析装置10は、CPU10aとRAM10bやROM10cが一体化したLSI(Large-Scale Integration)を備えていてもよい。
§3 動作例
図6は、本実施形態に係る動作分析システム100により測定される動作情報の一例を示す図である。同図では、測定部30により撮影された画像P1と、測定部30により測定された骨格情報とを示している。骨格情報は、対象者の身体の複数の部位に対応する複数のノードの座標値を含んでよい。複数のノードは、対象者の骨格と関連付けられた身体の複数の部位に対応するスケルトンモデルのノードであってよく、複数のノードの間の距離は、スケルトンモデルのエッジの長さであってよい。ここで、スケルトンモデルは、対象者の体格の概形を複数のエッジ及び複数のノードにより示すモデルであってよく、複数のエッジにより対象者の骨格の概形が示され、複数のノードにより複数のエッジの端点及び連結点が示されてよい。本例では、対象者の身体の複数の部位に対応する複数のノードを白色で塗りつぶした円で示しており、ノード間のエッジを白線で示している。
本例の骨格情報は、肘に対応する第1ノードN1の座標値と、手首に対応する第2ノードN2の座標値と、親指の第2関節に対応する第3ノードN3の座標値と、親指の先端に対応する第4ノードN4の座標値とを含む。なお、骨格情報は、他のノード(例えば右腕のノード)をさらに含んでよい。
分類部15は、複数のノードの座標値に基づいて算出される複数のノードの間の距離に関する分類により、複数の動作情報を複数のグループのいずれかに分類してよい。分類部15は、例えば、複数の対象者について、第1ノードN1と第3ノードN3との間の距離を算出し、複数の動作情報を、第1ノードN1と第3ノードN3との間の距離が比較的大きいグループと、第1ノードN1と第3ノードN3との間の距離が比較的小さいグループとに分類してもよい。分類部15は、第1ノードN1と第3ノードN3のように、隣り合わない2つのノードの間の距離に関する分類により、複数の動作情報を複数のグループのいずれかに分類してもよい。
このように、複数のノードの間の距離に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者の体格差に基づいて動作情報をグループ分けすることができ、体格が類似する対象者を一つのグループに分類することができる。これにより、体格が類似する対象者の動作を比較して、対象者の動作を分析することができる。
分類部15は、複数のノードのうち隣り合う2つのノードの間の距離に関する分類により、複数の動作情報を複数のグループのいずれかに分類してもよい。本例の場合、第1ノードN1と第2ノードN2は、隣り合う2つのノードであり、第1ノードN1と第2ノードN2の間の距離はL1である。また、第3ノードN3と第4ノードN4は隣り合う2つのノードであり、第3ノードN3と第4ノードN4との間の距離はL2である。分類部15は、第1ノードN1と第2ノードN2との間の距離を算出し、複数の動作情報を、第1ノードN1と第2ノードN2との間の距離が比較的大きいグループと、第1ノードN1と第2ノードN2との間の距離が比較的小さいグループとに分類してもよい。同様に、分類部15は、第3ノードN3と第4ノードN4との間の距離を算出し、複数の動作情報を、第3ノードN3と第4ノードN4との間の距離が比較的大きいグループと、第3ノードN3と第4ノードN4との間の距離が比較的小さいグループとに分類してもよい。
このように、複数のノードのうち隣り合う2つのノードの間の距離に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者に固有の長さに基づいて動作情報をグループ分けすることができ、対象者の身体的特徴をより正確に捉えて、対象者の動作を分析することができる。
また、分類部15は、複数のノードのうち隣り合う2つのノードの間の距離と、複数のノードのうち他の隣り合う2つのノードの間の距離との比に関する分類により、動作情報を複数のグループのいずれかに分類してもよい。分類部15は、例えば、第1ノードN1と第2ノードN2の間の距離L1と、第3ノードN3と第4ノードN4との間の距離L2との比L1/L2(又はL2/L1)を算出し、複数の動作情報を、比L1/L2が比較的大きいグループと、比L1/L2が比較的小さいグループとに分類してもよい。
複数のノードのうち隣り合う2つのノードの間の距離と、他の隣り合う2つのノードの間の距離との比に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者に固有であり、単位系に依存しない量に基づいて動作情報をグループ分けすることができ、対象者の身体的特徴をより正確に捉えて、対象者の動作を分析することができる。
分類部15は、複数のノードの間の距離と、複数の動作情報とともに第1取得部11aにより取得される基準距離との比に関する分類により、動作情報を複数のグループのいずれかに分類してもよい。ここで、基準距離は、隣り合う2つのノードの間の距離と比較可能な距離であり、例えば、作業者により用いられる特定の治具の長さであったり、作業領域に設けられた特定のマーカの長さであったりしてよい。分類部15は、例えば、第1ノードN1と第2ノードN2の間の距離L1と、基準距離L3との比L1/L3(又はL3/L1)を算出し、複数の動作情報を、比L1/L3が比較的大きいグループと、比L1/L3が比較的小さいグループとに分類してもよい。
複数のノードのうち隣り合う2つのノードの間の距離と、基準距離との比に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者に固有であり、単位系に依存しない量に基づいて動作情報をグループ分けすることができ、対象者の身体的特徴をより正確に捉えて、対象者の動作を分析することができる。
骨格情報に含まれる複数のノードの座標値は、3次元座標値を含んでよい。その場合、分類部15は、3次元座標値に基づいて算出される複数のノードの間の距離に関する分類により、複数の動作情報を複数のグループのいずれかに分類してよい。例えば、第1ノードN1の3次元座標値が(x1、y1、z1)であり、第2ノードN2の3次元座標値が(x2、y2、z2)である場合、分類部15は、((x1−x2)+(y1−y2)+(z1−z2)1/2によって、第1ノードN1と第2ノードN2との間の距離を算出してよい。そして、分類部15は、複数の動作情報を、第1ノードN1と第2ノードN2との間の距離が比較的大きいグループと、第1ノードN1と第2ノードN2との間の距離が比較的小さいグループとに分類してもよい。複数のノードの3次元座標値は、モーションキャプチャ等によって測定したり、ステレオカメラによって測定したりして、第1取得部11a又は第2取得部11bによって取得してよい。
3次元座標値に基づいて算出される複数のノードの間の距離に基づき、複数の動作情報を複数のグループのいずれかに分類することで、対象者の体格差に基づく動作情報のグループ分けをより正確に行うことができ、体格が類似する対象者の動作を比較して、対象者の動作をより正確に分析することができる。
骨格情報に含まれる複数のノードの座標値は、測定された時刻に関連付けられていてよい。その場合、分類部15は、異なる時刻に測定された複数の座標値に基づいて算出される複数のノードの間の距離の平均に関する分類により、複数の動作情報を複数のグループのいずれかに分類してよい。例えば、分類部15は、ある対象者について複数の異なる時刻に測定された第1ノードN1の座標値と第2ノードN2の座標値とから、複数の異なる時刻における第1ノードN1と第2ノードN2との間の距離を算出して、その平均を算出してよい。そして、分類部15は、複数の動作情報を、第1ノードN1と第2ノードN2との間の距離の平均が比較的大きいグループと、第1ノードN1と第2ノードN2との間の距離の平均が比較的小さいグループとに分類してもよい。
異なる時刻に測定された複数のノードの間の距離の平均に基づき、複数の動作情報を複数のグループのいずれかに分類することで、ノードの座標値の測定における誤差の影響を低減して動作情報をグループ分けすることができ、体格が類似する対象者の動作を比較して、対象者の動作をより正確に分析することができる。
図7は、複数の作業者の作業時間のヒストグラムG1の一例を示す図である。ヒストグラムG1は、横軸に作業時間を秒(s)の単位で示し、縦軸に度数を示すものである。ヒストグラムG1は、複数の作業者が同じ作業を行った場合の作業時間の発生頻度を示している。ヒストグラムG1は、作業時間が5秒である第1データD1の度数が11回で最多である。また、ヒストグラムG1は、作業時間が9秒であり、度数が1回である第2データD2を含む。
ヒストグラムG1は、第1データD1を平均とする正規分布で近似することができる。ここで、第2データD2の作業時間は、平均よりもある程度長いものの、標準外であると判断できるほどに特異な値とはいえない。
図8は、本実施形態に係る動作分析装置10により分析された複数の作業者の作業時間のヒストグラムG2の一例を示す図である。ヒストグラムG2は、図7に示したヒストグラムG1と同じデータに基づき、分類部15によって動作情報を2つのグループに分類し、分析部16によって2つのグループそれぞれについて動作時間の発生頻度を分析した結果を示している。ヒストグラムG2は、横軸に作業時間を秒(s)の単位で示し、縦軸に度数を示すものである。分析部16は、動作情報に基づいて動作時間を算出し、2つのグループについて1秒毎に区切った動作時間の発生回数を集計して、ヒストグラムG2を出力する。ここで、動作時間は、対象者の動作の特徴を表す特徴量の一例である。ヒストグラムG2は、複数の作業者が同じ作業を行った場合の作業時間の発生頻度を示しており、分類部15により第1グループに分類された動作情報に基づきプロットされた度数を右斜め縞のハッチングで示しており、分類部15により第2グループに分類された動作情報に基づきプロットされた度数を左斜め縞のハッチングで示している。
ヒストグラムG2では、作業時間が5秒であり、度数の合計が11回である第1データD1が、第1グループの第1データD1aと、第2グループの第1データD1bとに分解されている。作業時間が5秒である第1グループの第1データD1aは、度数が4回であり、作業時間が5秒である第2グループの第1データD1bは、度数が7回である。
ヒストグラムG2のうち、横縞のハッチングで示した第1グループの度数は、第1グループの第1データD1aの周りに分布しており、作業時間が7秒及び8秒の場合に0回であり、第2データD2を外れ値として含んでいる。この場合、分析部16は、第1グループの第2データD2は、標準外であると判定して、この場合の作業者の動作に異常が有ったと分析する。分析部16は、異常と判定される第2データD2を、破線で示した円Sで囲って強調表示してよい。なお、強調表示の態様は任意であり、第2データを目に付きやすい色で表示したり、異常が有る旨を示す文字を付加したりしてもよい。
このように、本実施形態に係る動作分析装置10によれば、対象者の動作情報を複数のグループに分類して、それぞれのグループに分類された動作情報に基づいて動作を分析することで、複数の動作情報をまとめて分析していた場合には明らかでなかった動作の傾向を見出すことができ、対象者の動作をより良い精度で分析することができる。
図9は、本実施形態に係る動作分析システム100により実行される分析処理の第2例のフローチャートである。はじめに、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30は、複数の対象者の骨格情報を含む複数の動作情報を測定する(S20)。
動作分析装置10の選択部17は、骨格情報に含まれる複数のノードのうち分類に用いるノードを選択する(S21)。その後、分類部15は、ノードの3次元座標値に基づいて、選択されたノード間の距離の時間平均を算出する(S22)。なお、ノード間の距離の時間平均は、異なる時刻に測定されたノードの3次元座標値に基づいて算出される選択されたノード間の距離の平均であってよい。
動作分析装置10の分類部15は、算出された距離の時間平均により骨格情報を分類し、動作情報を複数のグループのいずれかに分類する(S23)。そして、動作分析装置10の分析部16は、複数のグループについて、動作の特徴量に基づいて動作に関する異常の有無を分析する(S24)。最後に、動作分析装置10は、複数のグループの度数及び異常の有無を表示部10fに表示する(S25)。なお、複数のグループの度数及び異常の有無は、外部機器に送信されてもよい。また、分析部16による分析結果は、複数のグループの度数及び異常の有無以外の情報を含んでもよい。
図10は、本実施形態に係る動作分析システム100により実行される分析処理の第3例のフローチャートである。はじめに、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30は、複数の対象者の骨格情報を含む複数の動作情報を測定する(S30)。
動作分析装置10の選択部17は、骨格情報に含まれる複数のノードのうち分類に用いる第1隣接ノード及び第2隣接ノードを選択する(S31)。ここで、第1隣接ノードは、骨格情報に含まれる複数のノードのうち隣り合う2つのノードであり、第2隣接ノードは、骨格情報に含まれる複数のノードのうち他の隣り合う2つのノードである。
その後、分類部15は、第1隣接ノードの3次元座標値に基づいて、第1隣接ノード間の距離を算出し(S32)、第2隣接ノードの3次元座標値に基づいて、第2隣接ノード間の距離を算出する(S33)。
動作分析装置10の分類部15は、算出された第1隣接ノード間の距離と第2隣接ノード間の距離との比により骨格情報を分類し、動作情報を複数のグループのいずれかに分類する(S34)。なお、分類部15は、第1隣接ノード間の距離又は第2隣接ノード間の距離と、複数の動作情報とともに取得される基準距離との比により骨格情報を分類し、動作情報を複数のグループのいずれかに分類してもよい。
そして、動作分析装置10の分析部16は、複数のグループについて、動作の特徴量に基づいて動作に関する異常の有無を分析する(S35)。最後に、動作分析装置10は、複数のグループの度数及び異常の有無を表示部10fに表示する(S36)。なお、複数のグループの度数及び異常の有無は、外部機器に送信されてもよい。また、分析部16による分析結果は、複数のグループの度数及び異常の有無以外の情報を含んでもよい。
図11は、複数の作業者に関する動作情報が測定された時刻と動作時間の関係の一例を示す図である。同図では、複数の作業者が同一又は同種の作業を行った場合における動作時間を縦軸に示し、動作情報が測定された時刻を横軸に示して、動作時間の分布S1を示している。動作時間の分布S1は、様々な動作時間と様々な測定時刻とに散らばって記録されており、特別な傾向は見出せない。
図12は、本実施形態に係る動作分析装置10により分析された、複数の作業者の同一又は同種の作業に関する動作情報が測定された時刻と動作時間の関係を示す図である。同図では、複数の作業者が同一又は同種の作業を行った場合における動作時間を縦軸に示し、動作情報が測定された時刻を横軸に示して、動作時間の分布S1及び分布S2を示している。動作時間の分布S1は、分類部15によって第1グループに分類された動作時間の分布であり、動作時間の分布S2は、分類部15によって第2グループに分類された動作時間の分布である。同図では、第1グループに属する動作情報を丸印P1でプロットし、第2グループに属する動作情報を星印P2でプロットしている。なお、第2グループは、特定の作業者の動作情報のみを含むグループであってよい。分析部16は、動作情報に基づいて動作時間を算出し、特定の作業者(第2グループ)に関する動作時間と測定時刻の関係を星印P2でプロットし、他の作業者(第1グループ)に関する動作時間と測定時刻の関係を丸印P1でプロットして、動作時間の分布S1及び分布S2を出力する。ここで、動作時間は、対象者の動作の特徴を表す特徴量の一例である。
分析部16は、星印P2で示した特定の作業者の動作時間と測定時刻との関係を分析し、分析結果に係るグラフLを出力してよい。本例では、分析部16は、星印P2で示した特定の作業者の動作時間と測定時刻との関係を線形回帰モデルにより分析し、線形のグラフLを出力している。もっとも、分析部16は、任意のモデルを用いて、対象者の動作の特徴を表す任意の特徴量を分析してよい。
分析部16は、作業者が同じ動作を繰り返す過程で動作時間が変化する傾向に基づいて、対象者の動作の習熟度を分析してよい。より具体的には、分析部16は、作業者が同じ動作を繰り返す過程で動作時間が減少していき、対象者がその動作に習熟していく過程を分析してよい。本例の場合、分析部16は、グラフLを出力して、グラフLの傾きに基づいて、対象者の動作の習熟度を分析してよい。
図11に示す動作時間の分布S1のみからは、作業者が同じ動作を繰り返す過程で動作時間が変化する傾向を読み取ることはできないが、本実施形態に係る動作分析装置10によれば、特定の作業者(第2グループ)の動作時間を抽出し、作業者が同じ動作を繰り返す過程で動作時間が変化する傾向を明らかにして、対象者の動作の習熟度を分析することができる。このように、分類部15によって動作情報を分類し、体格の異なる作業者について測定された動作情報を区別することで、複数の作業者の動作情報をまとめて分析する場合には把握が困難だった作業の習熟度を分析することができる。
図13は、本実施形態に係る動作分析システム100により実行される分析処理の第4例のフローチャートである。はじめに、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30は、複数の対象者の骨格情報を含む複数の動作情報を測定する(S40)。
動作分析装置10の選択部17は、骨格情報に含まれる複数のノードのうち分類に用いるノードを選択する(S41)。その後、分類部15は、ノードの3次元座標値に基づいて、選択されたノード間の距離を算出する(S42)。なお、分類部15は、ノードの3次元座標値に基づいて、選択されたノード間の距離の時間平均を算出してもよい。
動作分析装置10の分類部15は、算出された距離により骨格情報を分類し、動作情報を複数のグループのいずれかに分類する(S43)。そして、動作分析装置10の分析部16は、特定のグループについて、動作情報に基づいて動作時間を算出し(S44)、動作時間に基づいて、特定のグループに属する対象者の動作の習熟度を分析する(S45)。最後に、動作分析装置10は、習熟度を表すグラフを表示部10fに表示する(S46)。なお、習熟度を表すグラフは、外部機器に送信されてもよい。また、分析部16による分析結果は、習熟度を表す数値を含んでもよい。
図14は、本実施形態に係る動作分析装置10により複数のグループに分類された複数の対象者に関する動作情報の一例を示す図である。同図では、横軸に第1隣接ノード間の距離を示し、縦軸に第2隣接ノード間の距離を示して、分類部15によって、第1隣接ノード間の距離及び第2隣接ノード間の距離により複数の動作情報を分類した結果を示している。ここで、第1隣接ノードは、骨格情報に含まれる複数のノードのうち隣り合う2つのノードであり、第2隣接ノードは、骨格情報に含まれる複数のノードのうち他の隣り合う2つのノードである。また、同図に示す複数の点は、それぞれ動作情報を表す。
分類部15は、第1隣接ノード間の距離及び第2隣接ノード間の距離に関する分類により、複数の動作情報を第1グループC1、第2グループC2及び第3グループC3のいずれかに分類する。分類部15による分類によって、複数の動作情報が複数のグループに適切に分類されていることが読み取れる。
仮に、第1隣接ノード間の距離のみに関する分類により、複数の動作情報を複数のグループのいずれかに分類する場合、第2グループC2と第3グループC3を異なるグループとして区別することは困難となる。また、第2隣接ノード間の距離のみに関する分類により、複数の動作情報を複数のグループのいずれかに分類する場合、第1グループC1と第2グループC2を異なるグループとして区別することは困難となる。本実施形態に係る動作分析装置10は、分類部15によって、骨格情報に含まれる複数のノードのうち隣り合う2つのノードの間の距離と、骨格情報に含まれる複数のノードのうち他の隣り合う2つのノードの間の距離とを用いて、複数の動作情報を複数のグループのいずれかに分類することで、複数の動作情報をより詳細に分類することができる。複数の動作情報をより詳細に分類できることで、対象者の身体的特徴をより正確に捉えて、対象者の動作を分析することができる。
なお、本例では第1隣接ノード間の距離及び第2隣接ノード間の距離により複数の動作情報を分類する場合について説明したが、分類部15は、任意の数の隣接ノード間の距離により複数の動作情報を分類してもよい。また、分類部15は、第1隣接ノード間の距離と第2隣接ノード間の距離との比と、第1隣接ノード間の距離と第3隣接ノード間の距離との比とにより複数の動作情報を分類してもよい。また、分類部15は、第1隣接ノード間の距離と基準距離との比と、第2隣接ノード間の距離と基準距離との比とにより複数の動作情報を分類してもよい。さらに、分類部15は、第1隣接ノード間の距離と第2隣接ノード間の距離との比と、第1隣接ノード間の距離と基準距離との比とにより複数の動作情報を分類してもよい。
図15は、本実施形態に係る動作分析装置10により実行される分類処理の一例のフローチャートである。はじめに、第1撮影部20a、第2撮影部20b、第3撮影部20c及び測定部30は、複数の対象者の骨格情報を含む複数の動作情報を測定する(S50)。
動作分析装置10の選択部17は、骨格情報に含まれる複数のノードのうち分類に用いる第1隣接ノード及び第2隣接ノードを選択する(S51)。ここで、第1隣接ノードは、骨格情報に含まれる複数のノードのうち隣り合う2つのノードであり、第2隣接ノードは、骨格情報に含まれる複数のノードのうち他の隣り合う2つのノードである。
その後、分類部15は、第1隣接ノードの3次元座標値に基づいて、第1隣接ノード間の距離を算出し(S52)、第2隣接ノードの3次元座標値に基づいて、第2隣接ノード間の距離を算出する(S53)。
動作分析装置10の分類部15は、算出された距離により骨格情報を分類し、動作情報を複数のグループのいずれかに分類する(S54)。なお、分類部15は、k−means法等の任意のアルゴリズムを用いて動作情報を複数のグループのいずれかに分類してよい。
最後に、動作分析装置10は、分類部15による分類結果を表示部10fに表示する(S55)。なお、分類結果は、外部機器に送信されてもよい。
§4 変形例
図16は、本実施形態の変形例に係る動作分析装置10Aの機能ブロックを示す図である。本変形例に係る動作分析装置10Aは、記憶部14にコンテンツ14bが記憶され、選択部17は、分析部16による分析結果に基づいて、対象者に対応するコンテンツ14bを選択してよい点で、本実施形態に係る動作分析装置10と相違する。その他の構成について、本変形例に係る動作分析装置10Aは、本実施形態に係る動作分析装置10と同様の構成を備える。
コンテンツ14bは、動画、画像又はテキスト等の任意の情報であってよく、例えば、動作の手本となる動画であったり、動作を円滑にする道具に関する情報であったりしてよい。
例えば、分析部16による分析結果が、対象者の動作に関する異常の有無を分析した結果である場合、選択部17は、コンテンツ14bとして、異常が有ると分析された動作について手本となる動画を選択してよい。また、例えば、分析部16による分析結果が、対象者の動作の習熟度を分析した結果である場合、選択部17は、コンテンツ14bとして、習熟度に応じて内容が異なる手本となる動画を選択したり、習熟度に応じて異なる治具や道具に関する情報を選択したりしてよい。
このように、分析結果に基づいて、対象者が参考とすべき道具に関するコンテンツを推薦したり、対象者が参考とすべきが動作に関するコンテンツを推薦したりして、対象者の動作の改善を促すことができる。
なお、選択部17は、分析部16による分析結果に基づいて、コンテンツ14bとして、標準的でない動作を実行している動画を選択したり、不適切な道具に関する情報を選択したりしてもよい。これにより、どのようなミス事例が生じているかを啓蒙することができ、ミスが発生することを防止できる。
図17は、本実施形態の変形例に係る動作分析装置10Aにより実行される分析処理の一例のフローチャートである。同図に示す処理は、分析部16による分析結果が得られた後に実行される。
動作分析装置10の選択部17は、分析部16による分析結果に対象者の異常な動作に関する情報が含まれる場合(S60:YES)、記憶部14を検索し、異常が有った動作に関する手本動画を選択する(S61)。そして、動作分析装置10は、表示部10fに選択された手本動画を表示する(S62)。なお、選択された手本動画は、外部機器に送信されてもよい。
動作分析装置10の選択部17は、分析部16による分析結果に対象者の動作の習熟度に関する情報が含まれる場合(S63:YES)、記憶部14を検索し、習熟度に応じた手本動画及び治具に関する情報を選択する(S64)。そして、動作分析装置10は、表示部10fに選択された手本動画及び治具に関する情報を表示する(S65)。なお、選択された手本動画及び治具に関する情報は、外部機器に送信されてもよい。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。
[付記1]
複数の対象者の動作を示す複数の動作情報を取得する取得部(11)と、
前記複数の動作情報を複数のグループのいずれかに分類する分類部(15)と、
前記複数のグループのいずれかのグループに分類された前記動作情報に基づいて、前記対象者の動作を分析する分析部(16)と、を備え、
前記複数の動作情報は、前記複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、
前記分類部(15)は、前記複数の動作情報を、それぞれに含まれる前記骨格情報を用いて分類する、
動作分析装置(10)。
[付記2]
前記分類部(15)は、前記複数の動作情報のうちいずれかの動作情報に含まれる前記骨格情報と、前記複数の動作情報のうち他のいずれかの動作情報に含まれる前記骨格情報との差異に基づき、前記複数の動作情報を前記複数のグループのいずれかに分類する、
付記1に記載の動作分析装置(10)。
[付記3]
前記分類部(15)は、前記複数の動作情報を、それぞれに含まれる前記骨格情報と所定の基準情報との差異に基づき、前記複数のグループのいずれかに分類する、
付記1に記載の動作分析装置(10)。
[付記4]
前記骨格情報は、前記複数の部位に対応する複数のノードの座標値を含み、
前記分類部(15)は、前記座標値に基づいて算出される前記複数のノードの間の距離に関する分類により、前記複数の動作情報を前記複数のグループのいずれかに分類する、
付記1から3のいずれか一項に記載の動作分析装置(10)。
[付記5]
前記分類部(15)は、前記複数のノードのうち隣り合う2つのノードの間の距離に関する分類により、前記複数の動作情報を前記複数のグループのいずれかに分類する、
付記4に記載の動作分析装置(10)。
[付記6]
前記分類部(15)は、前記複数のノードのうち隣り合う2つのノードの間の距離と、前記複数のノードのうち他の隣り合う2つのノードの間の距離との比に関する分類により、前記動作情報を前記複数のグループのいずれかに分類する、
付記4又は5に記載の動作分析装置(10)。
[付記7]
前記分類部(15)は、前記複数のノードの間の距離と、前記複数の動作情報とともに前記取得部(11)により取得される基準距離との比に関する分類により、前記動作情報を前記複数のグループのいずれかに分類する、
付記4から6のいずれか一項に記載の動作分析装置(10)。
[付記8]
前記座標値は、3次元座標値を含み、
前記分類部(15)は、前記3次元座標値に基づいて算出される前記複数のノードの間の距離に関する分類により、前記複数の動作情報を前記複数のグループのいずれかに分類する、
付記4から7のいずれか一項に記載の動作分析装置(10)。
[付記9]
前記座標値は、測定された時刻に関連付けられ、
前記分類部(15)は、異なる時刻に測定された複数の前記座標値に基づいて算出される前記複数のノードの間の距離の平均に関する分類により、前記複数の動作情報を前記複数のグループのいずれかに分類する、
付記4から8のいずれか一項に記載の動作分析装置(10)。
[付記10]
前記複数の部位のうち、前記分類部(15)による分類に用いる複数の部位を選択する選択部(17)をさらに備える、
付記1から9のいずれか一項に記載の動作分析装置(10)。
[付記11]
前記選択部(17)は、前記複数の対象者に共通して取得された部位であるか否かに基づいて、前記分類部(15)による分類に用いる複数の部位を選択する、
付記10に記載の動作分析装置(10)。
[付記12]
前記選択部(17)は、前記複数の部位のうち隣り合う2つの部位の間の距離と、前記複数の部位のうち他の隣り合う2つの部位の間の距離との比較に基づいて、前記分類部(15)による分類に用いる部位を選択する、
付記10に記載の動作分析装置(10)。
[付記13]
前記選択部(17)は、前記分析部(16)による分析結果に基づいて、前記対象者に対応するコンテンツを選択する、
付記10から12のいずれか一項に記載の動作分析装置(10)。
[付記14]
前記分析部(16)は、前記動作情報に基づいて算出され、前記対象者の動作の特徴を表す特徴量に基づいて、前記対象者の動作に関する異常の有無を分析する、
付記1から13のいずれか一項に記載の動作分析装置(10)。
[付記15]
前記分析部(16)は、前記動作情報に基づいて算出され、前記対象者の動作の特徴を表す特徴量に基づいて、前記対象者の動作の習熟度を分析する、
付記1から14のいずれか一項に記載の動作分析装置(10)。
[付記16]
前記特徴量は、前記対象者の特定の部位の軌跡の長さ及び前記対象者の動作時間の少なくともいずれかを含む、
付記14又は15に記載の動作分析装置(10)。
[付記17]
複数の対象者の動作を示す複数の動作情報を取得することと、
前記複数の動作情報を複数のグループのいずれかに分類することと、
前記複数のグループのうちいずれかのグループに分類された前記動作情報に基づいて、前記対象者の動作を分析することと、を含み、
前記複数の動作情報は、前記複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、
前記分類することは、前記複数の動作情報を、それぞれに含まれる前記骨格情報を用いて分類することを含む、
動作分析方法。
[付記18]
動作分析装置(10)に備えられた演算部を、
複数の対象者の動作を示す複数の動作情報を取得する取得部(11)、
前記複数の動作情報を複数のグループのいずれかに分類する分類部(15)、及び
前記複数のグループのいずれかのグループに分類された前記動作情報に基づいて、前記対象者の動作を分析する分析部(16)、として動作させ、
前記複数の動作情報は、前記複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、
前記分類部(15)は、前記複数の動作情報を、それぞれに含まれる前記骨格情報を用いて分類する、
動作分析プログラム。
[付記19]
複数の対象者の動作を示す複数の動作情報を測定する測定部(30)と、
前記複数の動作情報を複数のグループのいずれかに分類する分類部(15)と、
前記複数のグループのうちいずれかのグループに分類された前記動作情報に基づいて、前記対象者の動作を分析する分析部(16)と、
前記分析部(16)による分析結果を表示する表示部(10f)と、を備え、
前記複数の動作情報は、前記複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、
前記分類部(15)は、前記複数の動作情報を、それぞれに含まれる前記骨格情報を用いて分類する、
動作分析システム。
10…動作分析装置、10A…変形例に係る動作分析装置、10a…CPU、10b…RAM、10c…ROM、10d…通信部、10e…入力部、10f…表示部、11…取得部、11a…第1取得部、11b…第2取得部、11c…第3取得部、14…記憶部、14a…動作情報履歴、14b…コンテンツ、15…分類部、16…分析部、17…選択部、20a…第1撮影部、20b…第2撮影部、20c…第3撮影部、30…測定部、100…動作分析システム、A1…第1作業者、A2…第2作業者、C1…第1グループ、C2…第2グループ、C3…第3グループ、D1…第1データ、D1a…第1グループの第1データ、D1b…第2グループの第1データ、D2…第2データ、G1…作業時間のヒストグラム、G2…分析結果に係るヒストグラム、L…分析結果に係るグラフ、L1…第1隣接ノード間の距離、L2…第2隣接ノード間の距離、N1…第1ノード、N2…第2ノード、N3…第3ノード、N4…第4ノード、P1…動作情報の例、R…作業領域、S…円、S1…動作時間の分布、S2…第3作業者の動作時間

Claims (19)

  1. 複数の対象者の動作を示す複数の動作情報を取得する取得部と、
    前記複数の動作情報を複数のグループのいずれかに分類する分類部と、
    前記複数のグループのいずれかのグループに分類された前記動作情報に基づいて、前記対象者の動作を分析する分析部と、を備え、
    前記複数の動作情報は、前記複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、
    前記分類部は、前記複数の動作情報を、それぞれに含まれる前記骨格情報を用いて分類する、
    動作分析装置。
  2. 前記分類部は、前記複数の動作情報のうちいずれかの動作情報に含まれる前記骨格情報と、前記複数の動作情報のうち他のいずれかの動作情報に含まれる前記骨格情報との差異に基づき、前記複数の動作情報を前記複数のグループのいずれかに分類する、
    請求項1に記載の動作分析装置。
  3. 前記分類部は、前記複数の動作情報を、それぞれに含まれる前記骨格情報と所定の基準情報との差異に基づき、前記複数のグループのいずれかに分類する、
    請求項1に記載の動作分析装置。
  4. 前記骨格情報は、前記複数の部位に対応する複数のノードの座標値を含み、
    前記分類部は、前記座標値に基づいて算出される前記複数のノードの間の距離に関する分類により、前記複数の動作情報を前記複数のグループのいずれかに分類する、
    請求項1から3のいずれか一項に記載の動作分析装置。
  5. 前記分類部は、前記複数のノードのうち隣り合う2つのノードの間の距離に関する分類により、前記複数の動作情報を前記複数のグループのいずれかに分類する、
    請求項4に記載の動作分析装置。
  6. 前記分類部は、前記複数のノードのうち隣り合う2つのノードの間の距離と、前記複数のノードのうち他の隣り合う2つのノードの間の距離との比に関する分類により、前記動作情報を前記複数のグループのいずれかに分類する、
    請求項4又は5に記載の動作分析装置。
  7. 前記分類部は、前記複数のノードの間の距離と、前記複数の動作情報とともに前記取得部により取得される基準距離との比に関する分類により、前記動作情報を前記複数のグループのいずれかに分類する、
    請求項4から6のいずれか一項に記載の動作分析装置。
  8. 前記座標値は、3次元座標値を含み、
    前記分類部は、前記3次元座標値に基づいて算出される前記複数のノードの間の距離に関する分類により、前記複数の動作情報を前記複数のグループのいずれかに分類する、
    請求項4から7のいずれか一項に記載の動作分析装置。
  9. 前記座標値は、測定された時刻に関連付けられ、
    前記分類部は、異なる時刻に測定された複数の前記座標値に基づいて算出される前記複数のノードの間の距離の平均に関する分類により、前記複数の動作情報を前記複数のグループのいずれかに分類する、
    請求項4から8のいずれか一項に記載の動作分析装置。
  10. 前記複数の部位のうち、前記分類部による分類に用いる複数の部位を選択する選択部をさらに備える、
    請求項1から9のいずれか一項に記載の動作分析装置。
  11. 前記選択部は、前記複数の対象者に共通して取得された部位であるか否かに基づいて、前記分類部による分類に用いる複数の部位を選択する、
    請求項10に記載の動作分析装置。
  12. 前記選択部は、前記複数の部位のうち隣り合う2つの部位の間の距離と、前記複数の部位のうち他の隣り合う2つの部位の間の距離との比較に基づいて、前記分類部による分類に用いる部位を選択する、
    請求項10に記載の動作分析装置。
  13. 前記選択部は、前記分析部による分析結果に基づいて、前記対象者に対応するコンテンツを選択する、
    請求項10から12のいずれか一項に記載の動作分析装置。
  14. 前記分析部は、前記動作情報に基づいて算出され、前記対象者の動作の特徴を表す特徴量に基づいて、前記対象者の動作に関する異常の有無を分析する、
    請求項1から13のいずれか一項に記載の動作分析装置。
  15. 前記分析部は、前記動作情報に基づいて算出され、前記対象者の動作の特徴を表す特徴量に基づいて、前記対象者の動作の習熟度を分析する、
    請求項1から14のいずれか一項に記載の動作分析装置。
  16. 前記特徴量は、前記対象者の特定の部位の軌跡の長さ及び前記対象者の動作時間の少なくともいずれかを含む、
    請求項14又は15に記載の動作分析装置。
  17. 複数の対象者の動作を示す複数の動作情報を取得することと、
    前記複数の動作情報を複数のグループのいずれかに分類することと、
    前記複数のグループのうちいずれかのグループに分類された前記動作情報に基づいて、前記対象者の動作を分析することと、を含み、
    前記複数の動作情報は、前記複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、
    前記分類することは、前記複数の動作情報を、それぞれに含まれる前記骨格情報を用いて分類することを含む、
    動作分析方法。
  18. 動作分析装置に備えられた演算部を、
    複数の対象者の動作を示す複数の動作情報を取得する取得部、
    前記複数の動作情報を複数のグループのいずれかに分類する分類部、及び
    前記複数のグループのいずれかのグループに分類された前記動作情報に基づいて、前記対象者の動作を分析する分析部、として動作させ、
    前記複数の動作情報は、前記複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、
    前記分類部は、前記複数の動作情報を、それぞれに含まれる前記骨格情報を用いて分類する、
    動作分析プログラム。
  19. 複数の対象者の動作を示す複数の動作情報を測定する測定部と、
    前記複数の動作情報を複数のグループのいずれかに分類する分類部と、
    前記複数のグループのうちいずれかのグループに分類された前記動作情報に基づいて、前記対象者の動作を分析する分析部と、
    前記分析部による分析結果を表示する表示部と、を備え、
    前記複数の動作情報は、前記複数の対象者の骨格と関連付けられた身体の複数の部位の位置を示す骨格情報をそれぞれ含み、
    前記分類部は、前記複数の動作情報を、それぞれに含まれる前記骨格情報を用いて分類する、
    動作分析システム。
JP2018093277A 2018-05-14 2018-05-14 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム Active JP7004218B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018093277A JP7004218B2 (ja) 2018-05-14 2018-05-14 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
CN201910279426.8A CN110490034B (zh) 2018-05-14 2019-04-09 动作分析装置、动作分析方法、记录介质和动作分析系统
EP19169417.3A EP3570210B1 (en) 2018-05-14 2019-04-16 Operation analysis apparatus, operation analysis method, operation analysis program, and operation analysis system
US16/387,656 US10964005B2 (en) 2018-05-14 2019-04-18 Operation analysis apparatus, operation analysis method, operation analysis program, and operation analysis system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018093277A JP7004218B2 (ja) 2018-05-14 2018-05-14 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Publications (2)

Publication Number Publication Date
JP2019200241A true JP2019200241A (ja) 2019-11-21
JP7004218B2 JP7004218B2 (ja) 2022-01-21

Family

ID=66217734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018093277A Active JP7004218B2 (ja) 2018-05-14 2018-05-14 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Country Status (4)

Country Link
US (1) US10964005B2 (ja)
EP (1) EP3570210B1 (ja)
JP (1) JP7004218B2 (ja)
CN (1) CN110490034B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145727A1 (ja) * 2022-01-28 2023-08-03 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、情報分析システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022006708A (ja) * 2020-06-24 2022-01-13 オムロン株式会社 動作認識システム、方法及びプログラム
CN113111844B (zh) * 2021-04-28 2022-02-15 中德(珠海)人工智能研究院有限公司 一种作业姿态评估方法、装置、本地终端及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252650A (ja) * 2003-02-19 2004-09-09 Matsushita Electric Ind Co Ltd 注文受付装置
JP2008178605A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Works Ltd 背面形状分類判定方法及び背面形状分類判定装置
JP2009122302A (ja) * 2007-11-14 2009-06-04 Hitachi Ltd 作業情報処理装置、プログラム及び作業情報処理方法
JP2012079348A (ja) * 2012-01-23 2012-04-19 Mitsubishi Electric Information Systems Corp 人物特定装置、人物特定方法及び人物特定プログラム
US20150092978A1 (en) * 2013-09-27 2015-04-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
JP2016214499A (ja) * 2015-05-19 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2017150293A1 (ja) * 2016-03-04 2017-09-08 新日鉄住金ソリューションズ株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
JP5434569B2 (ja) * 2009-12-22 2014-03-05 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
US9355305B2 (en) * 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
US9468502B2 (en) * 2012-08-31 2016-10-18 Smith & Nephew, Inc. Patient specific implant positioning
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
JP6194777B2 (ja) * 2013-11-29 2017-09-13 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
GB201417535D0 (en) * 2014-10-03 2014-11-19 Microsoft Corp Adapting encoding properties
CN106794371B (zh) * 2014-10-10 2019-09-03 富士通株式会社 技能判定方法、技能判定装置以及服务器
CN107203756B (zh) * 2016-06-06 2020-08-28 亮风台(上海)信息科技有限公司 一种识别手势的方法与设备
CN106228109A (zh) * 2016-07-08 2016-12-14 天津大学 一种基于骨骼运动轨迹的动作识别方法
CN107392131A (zh) * 2017-07-14 2017-11-24 天津大学 一种基于人体骨骼节点距离的动作识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252650A (ja) * 2003-02-19 2004-09-09 Matsushita Electric Ind Co Ltd 注文受付装置
JP2008178605A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Works Ltd 背面形状分類判定方法及び背面形状分類判定装置
JP2009122302A (ja) * 2007-11-14 2009-06-04 Hitachi Ltd 作業情報処理装置、プログラム及び作業情報処理方法
JP2012079348A (ja) * 2012-01-23 2012-04-19 Mitsubishi Electric Information Systems Corp 人物特定装置、人物特定方法及び人物特定プログラム
US20150092978A1 (en) * 2013-09-27 2015-04-02 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
JP2016214499A (ja) * 2015-05-19 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2017150293A1 (ja) * 2016-03-04 2017-09-08 新日鉄住金ソリューションズ株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145727A1 (ja) * 2022-01-28 2023-08-03 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、情報分析システム

Also Published As

Publication number Publication date
US10964005B2 (en) 2021-03-30
EP3570210A1 (en) 2019-11-20
EP3570210B1 (en) 2024-04-10
CN110490034B (zh) 2023-05-12
JP7004218B2 (ja) 2022-01-21
CN110490034A (zh) 2019-11-22
US20190347779A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
MassirisFernández et al. Ergonomic risk assessment based on computer vision and machine learning
US11763603B2 (en) Physical activity quantification and monitoring
Micallef et al. Towards perceptual optimization of the visual design of scatterplots
Diego-Mas et al. Using Kinect™ sensor in observational methods for assessing postures at work
JP6740033B2 (ja) 情報処理装置、計測システム、情報処理方法及びプログラム
JP7004218B2 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
WO2009147904A1 (ja) 手指形状推定装置、手指形状の推定方法及びプログラム
US11547324B2 (en) System and method for human motion detection and tracking
JP6629556B2 (ja) 工程編成支援装置、工程編成支援方法
US11700450B2 (en) Motion analysis device, motion analysis method for improving motions of operator
US20200000414A1 (en) Monitors for movements of workers
CN113728394A (zh) 身体活动执行和训练的评分度量
JP2019125023A (ja) 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
US11776419B2 (en) Skill evaluation device, skill evaluation method, and storage medium
US11138805B2 (en) Quantitative quality assurance for mixed reality
CN111989040A (zh) 行走形态显示方法、行走形态显示系统以及行走形态分析装置
JP6928880B2 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
KR20160076488A (ko) 근골격계 질환의 발생가능성의 판단 장치 및 방법
JP2009032033A (ja) 動作境界検出方法および作業分析システム
JP7236694B2 (ja) 情報処理方法、及び情報処理システム
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
Jayawardena et al. Automated filtering of eye gaze metrics from dynamic areas of interest
US20200065631A1 (en) Produce Assessment System
JP6779413B2 (ja) 作業分析装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211215

R150 Certificate of patent or registration of utility model

Ref document number: 7004218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150