JP2019053368A

JP2019053368A - 作業判別システム、学習装置、及び学習方法

Info

Publication number: JP2019053368A
Application number: JP2017175415A
Authority: JP
Inventors: 徹矢崎; Toru Yazaki; 植松　裕; Yutaka Uematsu; 裕植松; 俊明高井; Toshiaki Takai; 玉木　剛; Takeshi Tamaki; 剛玉木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2017-09-13
Filing date: 2017-09-13
Publication date: 2019-04-04
Anticipated expiration: 2037-09-13
Also published as: US20190080262A1; JP6779848B2

Abstract

【課題】作業者の作業を高い精度で判別できる学習データを、より短時間で生成する。【解決手段】作業判別システム１０は、作業中の作業者に装着されたセンサから、前記作業者の生体信号を取得する生体信号取得部と、取得された前記作業者の生体信号の特徴量を演算する特徴量演算部と、演算された前記作業者の生体信号の特徴量と、予め生成されている学習データとの比較結果に基づいて、前記作業者の作業を判別する作業判別部と、前記学習データを生成する学習装置と、を備える。学習装置は、各作業者にそれぞれ対応する筋骨格モデルを生成モデル生成部と、筋骨格モデルに対して判別対象の作業を再現させて模擬生体信号を生成作業状態再現部と、模擬生体信号の特徴量を演算し、前記作業者それぞれに対して、判別対象の作業と、模擬生体信号の特徴量分布とを対応付けることにより学習データを生成する学習データ生成部と、を備える。【選択図】図１

Description

本発明は、作業判別システム、学習装置、及び学習方法に関する。

従来、様々な製品の生産現場において、生産品質の向上、生産計画（リソース配分）の最適化、作業者の安全性向上等を目的として、作業者が生産工程のうちのどの作業を行っているのかをモニタリングできる様々な技術が提案されている。

特許文献１には、「プリセットモデル部４１と、ユーザモデル部５１と、情報取得部２１と、情報取得部２１によって取得される所定の情報から特徴情報を抽出する特徴量抽出部３４と、特徴情報と、プリセットモデル部４１に記憶される各プリセットモデル情報との類似度を含む類似度情報に基づいて特徴情報の使用可否を判定し、特徴情報が使用可能であるとき、特徴情報からユーザモデル情報を作成するモデル作成部１３４と、特徴情報と、少なくともユーザモデル情報とに基づいて行動認識する行動認識部３５と、を有する」行動判定装置１が開示されている。

特開２０１７−７３０７６号公報

上記した特許文献１に記載の発明のように、各ユーザ（作業者）それぞれに対してユーザモデル情報（学習データ）を生成するようにすれば、各作業者の作業を正確に判別することが可能になる。ただし、学習データを生成するには、作業毎に一定の学習時間を要する。例えば、ネジ締め等の単純作業でもあってもその学習には数１０秒を要し、複雑な作業ではその学習に数分を要する。さらに、実際の生産工程は数百の作業から成るので、各作業者それぞれに対してラベル付けされた学習データを生成するには、膨大な時間を要することになる。

本発明はこのような状況に鑑みてなされたものであり、作業者の作業を高い精度で判別できる学習データを、より短時間で生成できるようにすることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る作業判別システムは、作業中の作業者に装着されたセンサから、前記作業者の生体信号を取得する生体信号取得部と、取得された前記作業者の生体信号の特徴量を演算する特徴量演算部と、演算された前記作業者の生体信号の特徴量と、予め生成されている学習データとの比較結果に基づいて、前記作業者の作業を判別する作業判別部と、前記学習データを生成する学習部と、を備え、前記学習部は、各作業者にそれぞれ対応する筋骨格モデルを生成し、前記筋骨格モデルに対して判別対象の作業を再現させて模擬生体信号を生成し、前記模擬生体信号の特徴量を演算し、前記各作業者それぞれに対して、判別対象の作業と、前記模擬生体信号の特徴量分布とを対応付けることにより前記学習データを生成することを特徴とする。

本発明によれば、作業者の作業を高い精度で判別できる学習データを、より短時間で生成することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る第１の実施形態である作業判別システムの構成例を示すブロック図である。筋電センサの一例を示す図である。センサテーブルの一例を示す図である。筋電センサの電極と筋束との対応関係の具体例を示す図である。筋活動データに基づく模擬筋電信号の生成を説明するための図である。作業判別システムの処理の一例を説明するフローチャートである。学習データ生成処理の一例を説明するフローチャートである。作業判別処理の一例を説明するフローチャートである。本発明に係る第２の実施形態である作業判別システムの構成例を示すブロック図である。本発明に係る第３の実施形態である作業判別システムの構成例を示すブロック図である。本発明に係る第４の実施形態である作業判別システムの構成例を示すブロック図である。コンピュータの構成例を示すブロック図である。

以下、本発明に係る複数の実施の形態を図面に基づいて説明する。なお、各実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａより成る」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

＜本発明に係る第１の実施の形態である作業判別システムの構成例＞
図１は、本発明に係る第１の実施の形態である作業判別システムの構成例を示すブロック図である。

第１の実施の形態である作業判別システム１０は、生体信号取得部１１、特徴量演算部１２、作業判別部１３、提示部１４、及び学習装置２１を有する。

生体信号取得部１１は、作業者に装着された１以上の筋電センサ（本発明のセンサに相当する）３０（図２）と所定の無線通信規格に従って通信し、筋電センサ３０が作業者から取得した筋電信号（本発明の生体信号に相当する）を受信して特徴量演算部１２に供給する。ここで、筋電信号とは、筋肉を動かすときに神経を流れる微弱な電気信号を指す。

特徴量演算部１２は、生体信号取得部１１から供給される筋電信号の区切りと区切りの間の区間毎に、所定の特徴量演算方法によって該筋電信号の特徴量を演算して作業判別部１３に通知する。ここで、筋電信号の区切りとは、例えば、作業者の作業が止まることにより、筋電信号のレベルが所定の閾値以下となったり、変化しなかったりする状態を指す。なお、所定の時間毎（数秒〜数１０秒程度）に筋電信号の特徴量を演算するようにしてもよい。

所定の特徴量演算方法については既存の任意の方法を適用できる。特徴量演算方法には、例えば、エンベローブ検出、主成分分析等が含まれていてもよい。

作業判別部１３は、特徴量演算部１２から通知される筋電信号の特徴量と、予め生成されて学習装置２１（学習データＤＢ２６）に保持されている学習データとを比較する。また、作業判別部１３は、学習データとの比較結果に基づいて作業者が実行している作業を判別する。具体的には、作業判別部１３は、筋電信号の特徴量と、学習データのうちの、筋電センサ３０が装着された作業者に関連付けられた１以上の特徴量分布のすべてとを比較する。そして、例えば、筋電信号の特徴量に最も近い特徴量分布に対応する作業を、作業者が実行している作業と判断する。さらに、作業判別部１３は、その判別結果を提示部１４に通知する。

提示部１４は、作業判別部１３から通知される判別結果（作業者が実行している作業を表す情報）を、例えば、作業者の作業を監視する監視者等が用いる端末に出力したり、作業判別システム１０に備えられたディスプレイ（いずれも不図示）に表示したりすることにより提示する。

なお、生体信号取得部１１から提示部１４までの動作は、作業者の作業と同時にリアルタイムで行うことが可能である。ただし、作業者から筋電センサ３０が取得した筋電信号を記録しておき、作業者の作業が終了した後、記録した筋電信号に基づいて作業者が実行した作業を判別、提示するようにしてもよい。

学習装置２１は、作業判別部１３によって、筋電信号の特徴量と比較される学習データを予め生成し、機械学習のトレーニングを行う。ここで、学習データとは、各作業者それぞれに対して、判別対象の作業と、模擬筋電信号の特徴量分布とが対応付けられたものを指す（詳細後述）。

学習装置２１は、モデル生成部２２、作業状態再現部２３、学習データ生成部２４、センサテーブル２５、及び学習データＤＢ（データベース）２６を有する。

モデル生成部２２は、外部から作業判別システム１０に供給される作業情報に合わせて、後述する作業状態再現部２３にて作業を再現し得る筋骨格モデルを生成する。

また、モデル生成部２２は、外部から作業判別システム１０に供給される、各作業者の身体情報に基づき、筋骨格モデルを各作業者それぞれに対応するように補正する。例えば、生成した筋骨格モデルよりも身体情報が表す作業者の身長が高い場合には、身長の比に合わせて筋骨格モデルを伸ばす補正を行ったりする。さらに、モデル生成部２２は、作業情報と、各作業者それぞれに対応して補正した筋骨格モデルとを作業状態再現部２３に供給する。

ここで、作業情報は、例えば、任意の人物が判別対象の作業を行っている様子をモーションキャプチャによって取得したものであり、該任意の人物の体に装着した複数のマーカの時系列の３次元座標から成る。なお、判別対象の作業を行う任意の人物は誰でもよく、例えば、複数存在している作業者の中から選んでもよい。また、作業情報は、モーションキャプチャに限らず、測距や画像処理等によってマーカを用いることなく取得したものでもよい。さらに、作業情報を姿勢情報や動作情報等と称してもよい。

なお、同じ作業に対応する複数の作業情報を学習装置２１に供給するようにすれば、学習データのトレーニングをより進めることができ、学習データを用いた判別精度を高めることができる。

身体情報は、各作業者の身体的特徴を表す身長、体重、性別、筋量、脂肪率、及び骨格情報のうちの少なくとも一つを含んでいるものとする。

筋骨格モデルは、例えば、人体を構成する骨、関節、及び骨格筋の仮想的なモデルデータであり、コンピュータ上で処理可能である。筋骨格モデルに所定の動作をシミュレーションさせることにより、例えば、各骨格筋の動きを表す筋活動データ、骨や関節等の部位の動き、加速度、角速度等を取得することができる。さらに、骨、関節、及び骨格筋に掛かる負荷を表す人体負荷データを取得することができる。

作業状態再現部２３は、モデル生成部２２から供給された各作業者それぞれに対応した筋骨格モデルに、作業情報に対応した作業を再現させる、すなわち、筋骨格モデルに作業のシミュレーションを行わせることにより、筋骨格モデルにおける骨格筋の動きを表す筋活動データ（本発明の筋骨格モデル出力データに相当する）を生成して学習データ生成部２４に供給する。

上述したように、筋活動データは、筋骨格モデルを構成する骨格筋の動きを表すものである。一方、筋電センサ３０が検出する筋電信号は、骨格筋を動かすために神経に生じる微弱な電気信号を指すものなので、両者は異なるが互いに高い相関がある。

そこで、本実施の形態では、筋活動データに所定の演算を行った結果を、模擬的な筋電信号と見做して扱うことにする。以下、筋活動データに基づく模擬的な筋電信号を模擬筋電信号（本発明の模擬生体信号に相当する）と称する。

また、作業状態再現部２３は、モデル生成部２２から供給された各作業者それぞれに対応した筋骨格モデルに、作業情報に対応した作業をシミュレーションさせることにより、筋骨格モデルにおける骨、関節、及び骨格筋に対する負荷を表す人体負荷データを生成することもできる。

学習データ生成部２４は、センサテーブル２５を参照することにより、作業状態再現部２３から供給される筋活動データに基づいて模擬筋電信号を生成する（詳細は後述する）。また、学習データ生成部２４は、上述した特徴量演算部１２と同一の特徴量演算方法により、生成した模擬筋電信号の特徴量を演算する。さらに、学習データ生成部２４は、機械学習やディープラーニング等により、各作業者それぞれに対して、判別対象の作業と、模擬筋電信号の特徴量分布とを対応付けた学習データを生成して学習データＤＢ２６に保持させる。

センサテーブル２５には、作業者に装着される各筋電センサ３０に対し、その装着位置と、筋電センサ３０に設けられている複数の電極と、各電極が筋電信号を検出可能な骨格筋との対応付けが記述されている（図３を参照して詳述する）。

学習データＤＢ２６は、学習データ生成部２４によって生成された学習データを保持し、保持する学習データを作業判別部１３に参照させる。

＜筋電センサ３０の構成例＞
次に、図２は、各作業者に装着される筋電センサ３０を示す図である。同図の（Ａ）は筋電センサ３０の外観図の一例であり、同図の（Ｂ）は筋電センサ３０の本体部３１の展開図の一例であり、同図の（Ｃ）は筋電センサ３０の装着例を示している。

同図の（Ａ）に示されるように、筋電センサ３０は、環状に形成された本体部３１と、本体部３１の内側（作業者に触れる側）に等間隔に設けられた複数の電極３２（同図の場合、電極３２１〜３２７）と、本体部３１の内部に設けられた通信部３４と、本体部３１の外側に設けられた通知部３５と、を有する。

本体部３１は、作業者の腕等に密着して装着されるように形成される。なお、本体部３１は、同図の（Ａ）に示される例のように、環状の一部が欠けていてもよい。

電極３２は、同図の（Ｂ）に示されるように、作業者の肌に接する接触部３３ａ，３３ｂ，３３ｃから成る。接触部３３ａ〜３３ｃのうち、接触部３３ｃは基準電位であり、電極３２は、接触部３３ａと３３ｂの電位差を筋電信号として検出する。

通信部３４は、所定の無線通信規格に従って生体信号取得部１１と通信し、各電極３２によって検出された筋電信号を送信する。

通知部３５は、例えば、光、音、文字、アイコン等により、筋電センサ３０の作動状況を表す情報、作業の安全性の判断結果等をユーザである作業者に通知する。通知部３５が本体部３１の外側に設けられていることにより、ユーザである作業者は、筋電センサ３０を正しい向き（例えば、筋電センサ３０を手首に装着する場合、通知部３５が手の甲側にくるように装着する等）で装着することができる。

なお、筋電センサ３０に加速度や角速度を検知する動き検知部３６を設けてもよい。その場合、検知された加速度や角速度を、通信部３４を介して生体信号取得部１１に送信するようにし、特徴量演算部１２にて加速度や角速度の特徴量を演算するようにする。一方、学習装置２１においては、作業状態再現部２３が、作業を再現させた筋骨格モデルから加速度や角速度を演算するようにし、学習データ生成部２４が加速度や角速度の特徴量を演算して学習データに含めるようにし、加速度や角速度の特徴量も作業の判別に用いるようにしてもよい。

作業者に対しては、１または複数の筋電センサ３０が装着される。同図の（Ｃ）に示された例では、作業者の手首に筋電センサ３０１が、前腕中央部に筋電センサ３０２が、上腕下部に筋電センサ３０３が装着された状態を示している。なお、筋電センサ３０の装着位置は、同図の（Ｃ）の例に限るものではない。例えば、筋電センサ３０を作業者の脚部に装着するようにしてもよい。

次に、図３は、センサテーブル２５の一例を示す図である。センサテーブル２５には、作業者に装着される各筋電センサ３０のＩＤ（識別情報）に、その装着位置と、電極番号と、人体及び筋骨格モデルにおける骨格筋を表す筋番号とが対応付けて記録されている。なお、異なる複数の電極３２に対して同一の筋番号が対応付けられていてもよい。その場合、該骨格筋からの筋電信号が異なる複数の電極３２によって検出されることを意味する。

図３の例では、例えば、ＩＤ＝Ｌ１１の筋電センサ３０は、左手首に装着され、該筋電センサ３０に設けられている複数の電極３２のうちの電極番号Ｐ０１の電極３２（電極３２１に相当）は、筋束番号ＭＦ１０１，ＭＦ１０２の筋束から筋電信号を検出できることを示している。同様に、該筋電センサ３０に設けられている複数の電極３２のうちの電極番号Ｐ０２の電極３２（電極３２２に相当）は、筋束番号ＭＦ１０２，ＭＦ１０３の骨格筋から筋電信号を検出できることを示している。

以下、ＩＤ＝Ｌ１１の筋電センサ３０を筋電センサＬ１１とも称する。ＩＤ＝Ｌ１２等の筋電センサ３０についても同様とする。また、電極番号Ｐ０１の電極３２を電極Ｐ０１とも称する。電極番号Ｐ０２〜Ｐ０７の電極３２についても同様とする。さらに、骨格筋番号ＭＦ１０１の骨格筋を骨格筋ＭＦ１０１とも称する。骨格筋番号ＭＦ１０２等の骨格筋についても同様とする。

また同様に、筋電センサＬ１２の電極Ｐ０１は、骨格筋ＭＦ１５１，ＭＦ１５２から筋電信号を検出できることを示している。同様に、該筋電センサＬ１２の電極Ｐ０２は、骨格筋ＭＦ１５３，ＭＦ１５４から筋電信号を検出できることを示している。

図４は、電極Ｐ０１と骨格筋ＭＦ１５１、ＭＦ１５２との対応関係、及び電極Ｐ０２と骨格筋ＭＦ１５３、ＭＦ１５４との対応関係を具体的に示す図である。

すなわち、作業者の左前腕中央部に装着された筋電センサＬ１２の電極Ｐ０１は骨格筋ＭＦ１５１，ＭＦ１５２から筋電信号を検出できる。また、電極Ｐ０２は骨格筋ＭＦ１５３，ＭＦ１５４から筋電信号を検出できる。

図５は、図４の具体例に対応する、学習データ生成部２４による筋活動データに基づいて模擬筋電信号を生成する処理を説明するための図である。同図の（Ａ）は、筋骨格モデルに作業を再現させて得られる筋活動データであり、同図の（Ｂ）は、筋活動データに基づいて生成された模擬筋電信号を示している。

すなわち、学習データ生成部２４は、作業者の左前腕中央部に装着された筋電センサＬ１２の電極Ｐ０１によって実際に検出される筋電信号に対応する模擬筋電信号を、筋活動データのうちの骨格筋ＭＦ１５１，ＭＦ１５２に対応する成分それぞれに所定の重み係数を乗算してから加算する重み付け加算によって生成する。また、学習データ生成部２４は、筋電センサＬ１２の電極Ｐ０２によって実際に検出される筋電信号に対応する模擬筋電信号を、筋活動データのうちの骨格筋ＭＦ１５３，ＭＦ１５４に対応する成分それぞれに所定の重み係数を乗算してから加算する重み付け加算によって生成する。

なお、筋活動データに基づいて模擬筋電信号を生成する際に用いる重み付け係数は予め決められているが、重み付け係数は、ユーザが変更したり、筋電信号の実測値に基づいて補正したりするようにしてもよい（本発明に係る第２の実施の形態として後述する）。

＜第１の実施の形態である作業判別システム１０の動作＞
図６は、第１の実施の形態である作業判別システム１０の動作を説明するフローチャートである。

すなわち、作業判別システム１０の動作は、先に、学習装置２１が学習データを生成、保持する学習データ生成処理（ステップＳ１０）を実行し、次に、生体信号取得部１１〜提示部１４が作業判別処理（ステップＳ１１）を実行する。なお、学習データ生成処理が少なくとも１回実行された後は、学習データ生成処理を経ることなく作業判別処理のみを実行することができる。

ステップＳ１０の学習データ生成処理について詳述する。図７は、学習データ生成処理を説明するフローチャートである。学習データ生成処理は、例えば、ユーザからの開始コマンドに応じて開始される。

始めに、モデル生成部２２は、外部から学習装置２１に対して供給された作業情報と身体情報を受け付ける（ステップＳ２１）。次に、モデル生成部２２は、外部からの作業情報に合わせて、筋骨格モデルを生成する（ステップＳ２２）。次に、モデル生成部２２は、各作業者の身体情報に基づき、生成した筋骨格モデルを補正して、各作業者それぞれに対応する筋骨格モデルを生成し、生成した各作業者それぞれに対応した筋骨格モデルと作業情報とを作業状態再現部２３に供給する（ステップＳ２３）。

次に、作業状態再現部２３は、モデル生成部２２から供給された各作業者それぞれに対応した筋骨格モデルに、作業情報に対応した作業を再現させることにより、筋活動データを生成して学習データ生成部２４に供給する（ステップＳ２４）。

次に、学習データ生成部２４は、作業者毎に、センサテーブル２５を参照することにより、作業状態再現部２３から供給された筋活動データのうちの筋電センサ３０の装着位置に対応する成分を抽出して重み付け加算することにより模擬筋電信号を生成する（ステップＳ２５）。次に、学習データ生成部２４は、生成した模擬筋電信号の特徴量を演算する（ステップＳ２６）。次に、学習データ生成部２４は、各作業者それぞれに対して、判別対象の作業と、模擬筋電信号の特徴量分布とを対応付けた学習データを生成してトレーニングを行い学習データＤＢ２６に保持させる（ステップＳ２７）。以上で、学習データ生成処理は終了される。

以上説明した学習データ生成処理によれば、各作業者が作業情報を提供しなくても、各作業者にそれぞれ対応する学習モデルを生成することができる。したがって、各作業者が作業情報を提供する場合に比較して、より少ない時間で学習データを生成することできる。また、作業情報に対して、ユーザ等がラベル付けを行う必要なく学習データを生成することができる。

以上のようにして学習データが生成され、学習データＤＢ２６に保持された後、ステップＳ１１の作業判別処理の実行が可能となる。

次に、図８は、作業判別処理を説明するフローチャートである。作業判別処理は、例えば、ユーザからの開始コマンドに応じて開始される。

始めに、作業者に装着されている筋電センサ３０が、筋電信号のセンシングと送信を開始する。生体信号取得部１１は、筋電センサ３０から順次送信される筋電信号を受信して特徴量演算部１２に供給する（ステップＳ３１）。

特徴量演算部１２は、生体信号取得部１１から順次入力される筋電信号の区切りを検出するまで待機して筋電信号を蓄積する（ステップＳ３２でＮＯ）。ここで、筋電信号の区切りとは、作業者が作業を止めることにより、筋電信号のレベルが所定の閾値以下となった状態、または、筋電信号が所定時間変化しない状態を指すものとする。筋電信号の区切りを検出した場合（ステップＳ３２でＹＥＳ）、特徴量演算部１２は、検出した区切りまでの区間に蓄積した筋電信号の特徴量を演算して作業判別部１３に通知する。さらに、特徴量演算部１２は、特徴量を演算した筋電信号をクリアする（ステップＳ３３）。

次に、作業判別部１３は、特徴量演算部１２から通知された筋電信号の特徴量と、学習データＤＢ２６に保持されている学習データとを比較し、その比較結果に基づいて作業者が実行している作業を判別し、その判別結果を提示部１４に通知する（ステップＳ３４）。

次に、提示部１４は、作業判別部１３から通知される判別結果（作業者が実行している作業を表す情報）を、例えば、作業者の作業を監視する監視者等が操作する端末のディスプレイ（不図示）に表示することにより提示する（ステップＳ３５）。

この後、筋電センサ３０を装着している作業者が作業を行っている間、処理はステップＳ３２に戻されて、ステップＳ３２〜Ｓ３５が繰り返し実行される。

以上説明した作業判別処理によれば、各作業者にそれぞれ対応する学習モデルを用いて作業者が実行している作業を判別するので、各作業者に共通の学習モデルを用いて作業を判別する場合に比較して、より高い判別精度を実現することが可能となる。

なお、上述した作業判別処理では、筋電信号の区切りを検出し、検出した区切りと区切りの間の区間毎に特徴量を演算して作業を判別するようにしたが、連続する複数の区間それぞれにおける筋電信号の特徴量の組み合わせに基づき、作業を判別するようにしてもよい。

また、所定の時間毎に筋電信号の特徴量を演算し、作業を判別するようにしたり、連続した複数の所定の時間毎の筋電信号の特徴量の組み合わせに基づいて、作業を判別したりするようにしてもよい。また、作業者を撮像した動画像から大まかな作業区切りを見つけた後に、筋電信号の特徴量に基づいて作業を判別するようにしてもよい。

＜本発明に係る第２の実施の形態である作業判別システムの構成例＞
次に、図９は、本発明に係る第２の実施の形態である作業判別システムの構成例を示すブロック図である。

第２の実施の形態である作業判別システム５０は、図１に示された作業判別システム１０の学習装置２１に補正部５１を追加したものである。なお、作業判別システム５０を構成する要素のうち、第１の実施の形態である作業判別システム１０の要素と共通するものについては、同一の符号を付し、その説明は省略する。

補正部５１は、作業者が所定の単純な動作（例えば、肘を曲げる等）を行ったときの筋電信号を特徴量演算部１２から取得する。また、補正部５１は、該作業者に対応する筋骨格モデルに該所定の単純な動作を再現したときに得られる筋活動データに基づく模擬筋電信号を学習データ生成部２４から取得する。さらに補正部５１は、筋電信号と模擬筋電信号の差が所定の閾値以下となるように、模擬筋電信号を生成する際に用いる重み付け係数を変更する。なお、該模擬筋電信号は、作業状態再現部２３及び学習データ生成部２４が補正用に予め生成し、学習データ生成部２４が保持しているものとする。

さらに、補正部５１は、学習データ生成部２４に対して、変更した重み付け係数を用いて模擬筋電信号を生成させ、その特徴量を再演算させて、機械学習用の学習データを補正、更新させる。

作業判別システム５０においては、学習データ生成処理によって学習データを生成した後、作業判別処理を行う前に、補正部５１が上述した処理を実行するようにする。

作業判別システム５０によれば、学習データを補正することにより、例えば、筋電センサ３０の装着位置のズレや、筋電センサ３０の電極３２の肌に対する接触具合等の影響を低減することができ、この後に実行する作業判別処理の判別精度を向上させることができる。

＜本発明に係る第３の実施の形態である作業判別システムの構成例＞
次に、図１０は、本発明に係る第３の実施の形態である作業判別システムの構成例を示すブロック図である。

第３の実施の形態である作業判別システム６０は、図１に示された作業判別システム１０の学習装置２１に作業情報拡張部６１を追加したものである。なお、作業判別システム６０を構成する要素のうち、第１の実施の形態である作業判別システム１０の要素と共通するものについては、同一の符号を付し、その説明は省略する。

作業判別システム６０においては、外部から学習装置２１に供給される作業情報が作業情報拡張部６１にも供給される。作業情報拡張部６１は、供給された作業情報（例えば、任意の人物の体に装着した複数のマーカの時系列の３次元座標）の時間、及び３次元座標の少なくとも一方を所定の変動幅で変化させることにより、外部からの作業情報に基づき、同一の作業に対応する複数の作業情報を生成する。具体的には、例えば、同一のネジ締めの作業であっても、要する時間を変化させたり、関節の位置や手の角度等を若干変化させたりして、１つの作業情報から複数の作業情報を生成する。また、作業情報拡張部６１は、生成した、同一の作業に対応する複数の作業情報を作業状態再現部２３に供給する。

作業状態再現部２３では、作業情報拡張部６１から供給される、同一の作業に対応する複数の作業情報にそれぞれに対応する作業を筋骨格モデルに再現させることにより、複数の筋活動データを生成して学習データ生成部２４に供給することができる。これにより、学習データ生成部２４に供給される筋活動データの数が増加することになる。

したがって、作業判別システム６０によれば、外部から同一の作業に対応する複数の作業情報を供給することなく、同一の作業に対応する作業情報の数を増やして学習データ生成部２４に供給することができるので、より多くの学習データを生成できる。よって、その結果得られた学習データを用いた作業判別処理の判別精度を向上させることができる。

＜本発明に係る第４の実施の形態である作業判別システムの構成例＞
次に、図１１は、本発明に係る第４の実施の形態である作業判別システムの構成例を示すブロック図である。

第４の実施の形態である作業判別システム７０は、図１に示された作業判別システム１０の学習装置２１に安全性判断部７１を追加したものである。なお、作業判別システム７０を構成する要素のうち、第１の実施の形態である作業判別システム１０の要素と共通するものについては、同一の符号を付しているので、その説明は省略する。

作業判別システム７０において、作業状態再現部２３は、各作業者それぞれに対応した筋骨格モデルに、作業情報に対応した作業を再現させることにより、筋骨格モデルにおける各骨、各関節、各筋束に対する負荷を表す人体負荷データを生成する。さらに、作業状態再現部２３は、生成した人体負荷データを安全性判断部７１に供給する。

安全性判断部７１は、作業状態再現部２３から供給される人体負荷データに基づき、作業情報に対応した作業を作業者が実行した場合における安全性を判断し、判断結果を学習データ生成部２４に通知する。

なお、安全性判断部７１における安全性の判断結果には、例えば、「この作業は１時間以上継続せず、休憩をはさんでください」、「この作業は腰を痛める恐れがあります」等の当該作業を実行する場合の注意事項等が含まれているものとする。

学習データ生成部２４は、生成した学習データに、安全性判断部７１による安全性の判断結果も対応付けて記録するようにする。そして、作業判別処理により作業者が行っている作業が判別されたとき、作業判別部１３は、作業の判別結果とともに安全性の判断結果も提示部１４に通知するようにする。提示部１４は、作業の判別結果とともに安全性の判断結果を、例えば、ディスプレイに表示することにより提示するようにする。さらに、作業判別部１３が、安全性の判断結果を、生体信号取得部１１を介して作業者が装着している筋電センサ３０に送信するようにし、筋電センサ３０の通知部３５が光、音、文字、アイコン等により作業者に注意喚起を行うようにしてもよい。

作業判別システム７０によれば、作業者が行っている作業を判別できるだけでなく、該作業の安全性も判断し、判断結果を作業者等に通知できるので、作業の効率化だけでなく、作業者の安全性も確保することが可能となる。

なお、上述した本発明の第１〜第４の実施の形態は、適宜、組み合わせることができる。

ところで、上述した本発明の実施の形態である作業判別システム１０等は、ハードウェアにより構成することもできるし、ソフトウェアにより実現することもできる。作業判別システム１０等をソフトウェアにより実現する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図１２は、作業判別システム１０等をプログラムにより実現するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ２００において、ＣＰＵ（Central Processing Unit）２０１，ＲＯＭ（Read Only Memory）２０２，ＲＡＭ（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォン等より成る。出力部２０７は、ディスプレイ、スピーカ等より成る。記憶部２０８は、ハードディスクや不揮発性のメモリ等より成る。通信部２０９は、ネットワークインタフェース等より成る。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、作業判別システム１０等が実現される。

具体的には、作業判別システム１０の生体信号取得部１１は、例えば、通信部２０９を介して筋電センサ３０と通信できる。また、提示部１４は、出力部２０７や通信部２０９を介して、作業の判別結果を提示する端末やディスプレイに判別結果を出力できる。学習装置２１は、入力部２０６、通信部２０９、ドライブ２１０等を介して、作業情報や身体情報を取得できる。

コンピュータ２００（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ(Solid State Drive)等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、作業判別システム、学習装置及び学習方法だけでなく、学習装置で実行されるコンピュータ読み取り可能なプログラム、作業判別システムによる作業判別方法等の様々な態様で提供することができる。

１０・・・作業判別システム、１１・・・生体信号取得部、１２・・・特徴量演算部、１３・・・作業判別部、１４・・・提示部、２１・・・学習装置、２２・・・モデル生成部、２３・・・作業状態再現部、２４・・・学習データ生成部、２５・・・センサテーブル、２６・・・学習データＤＢ、３０・・・筋電センサ、３１・・・本体部、３２・・・電極、３４・・・通信部、３５・・・通知部、３６・・・動き検知部、５０・・・作業判別システム、５１・・・補正部、６０・・・作業判別システム、６１・・・作業情報拡張部、７０・・・作業判別システム、７１・・・安全性判断部、２００・・・コンピュータ、２０１・・・ＣＰＵ

Claims

作業中の作業者に装着されたセンサから、前記作業者の生体信号を取得する生体信号取得部と、
取得された前記作業者の生体信号の特徴量を演算する特徴量演算部と、
演算された前記作業者の生体信号の特徴量と、予め生成されている学習データとの比較結果に基づいて、前記作業者の作業を判別する作業判別部と、
前記学習データを生成する学習部と、
を備え、
前記学習部は、各作業者にそれぞれ対応する筋骨格モデルを生成し、前記筋骨格モデルに対して判別対象の作業を再現させて模擬生体信号を生成し、前記模擬生体信号の特徴量を演算し、前記各作業者それぞれに対して、判別対象の作業と、前記模擬生体信号の特徴量分布とを対応付けることにより前記学習データを生成する
ことを特徴とする作業判別システム。
請求項１に記載の作業判別システムであって、
前記学習部は、
判別対象の作業を表す作業情報と、各作業者の身体情報とに基づいて前記筋骨格モデルを生成するモデル生成部と、
生成された前記筋骨格モデルに対して前記作業情報に対応する作業を再現させて筋骨格モデル出力データを生成する作業状態再現部と、
生成された前記筋骨格モデル出力データを用いて前記模擬生体信号を生成し、前記模擬生体信号の特徴量を演算し、前記各作業者それぞれに対して、判別対象の作業と、前記模擬生体信号の特徴量分布とを対応付けることにより前記学習データを生成する学習データ生成部と、
を有する
ことを特徴とする作業判別システム。
請求項２に記載の作業判別システムであって、
前記学習データ生成部は、生成された前記筋骨格モデル出力データの前記センサの装着位置に対応する成分を抽出して所定の演算を行うことにより、前記模擬生体信号を生成する
ことを特徴とする作業判別システム。
請求項２に記載の作業判別システムであって、
前記学習データ生成部は、生成された前記筋骨格モデル出力データのうちの前記センサの装着位置に対応する成分を抽出して重み付け加算を行うことにより、前記模擬生体信号を生成する
ことを特徴とする作業判別システム。
請求項２に記載の作業判別システムであって、
前記生体信号は、筋電信号であり、
前記筋骨格モデル出力データは、筋活動データである
ことを特徴とする作業判別システム。
請求項２に記載の作業判別システムであって、
前記身体情報には、身長、体重、性別、筋量、脂肪率、及び骨格情報のうちの少なくとも一つが含まれる
ことを特徴とする作業判別システム。
請求項２に記載の作業判別システムであって、
前記モデル生成部は、判別対象の作業を実行している任意の人物からモーションキャプチャにより取得された前記作業情報と、各作業者の前記身体情報とに基づいて前記筋骨格モデルとして筋骨格モデルを生成する
ことを特徴とする作業判別システム。
請求項２に記載の作業判別システムであって、
前記学習部は、
作業中の前記作業者に装着されている前記センサによって検出された前記作業者の生体信号と、予め生成されている前記模擬生体信号との比較結果に基づき、予め生成されている前記学習データを補正する補正部と、
を有する
ことを特徴とする作業判別システム。
請求項２に記載の作業判別システムであって、
前記学習部は、
入力された前記作業情報に所定の変動幅を設ける作業情報拡張部と、を有し、
前記作業状態再現部は、生成された前記筋骨格モデルに対して変動幅を設けた前記作業情報に対応する作業を再現させて筋骨格モデル出力データを生成する
ことを特徴とする作業判別システム。
請求項１に記載の作業判別システムであって、
前記作業判別部による判別結果を提示する提示部を備える
ことを特徴とする作業判別システム。
請求項２に記載の作業判別システムであって、
前記作業状態再現部は、生成された前記筋骨格モデルに対して前記作業情報に対応する作業を再現させて人体負荷データも生成し、
前記学習部は、
前記人体負荷データに基づき、前記作業情報に対応する作業の安全性を判断する安全性判断部と、
を有する
ことを特徴とする作業判別システム。
請求項１１に記載の作業判別システムであって、
前記作業判別部による判別結果を提示するとともに前記安全性判断部の判断結果を提示する提示部を備える
ことを特徴とする作業判別システム。
請求項１に記載の作業判別システムであって、
前記センサは、
本体部と、
前記本体部に等間隔に配置された複数の電極と、
を有する
ことを特徴とする作業判別システム。
請求項１に記載の作業判別システムであって、
前記センサは、加速度、及び角速度の少なくとも一方を検出し、
前記特徴量演算部は、検出された前記加速度、及び前記角速度の少なくとも一方の特徴量を演算し、
前記作業判別部は、演算された前記作業者の生体信号の特徴量に加え、演算された前記加速度、及び前記角速度の少なくとも一方の特徴量と、予め生成されている学習データとの比較結果に基づいて、前記作業者の作業を判別する
ことを特徴とする作業判別システム。
各作業者にそれぞれ対応する筋骨格モデルを生成するモデル生成部と、
生成された前記筋骨格モデルに対して判別対象の作業を再現させて筋骨格モデル出力データを生成する作業状態再現部と、
生成された前記筋骨格モデル出力データを用いて模擬生体信号を生成し、前記模擬生体信号の特徴量を演算し、前記各作業者それぞれに対して、判別対象の作業と、前記模擬生体信号の特徴量分布とを対応付けることにより学習データを生成する学習データ生成部と、
備えることを特徴とする学習装置。
学習装置の学習方法において、
前記学習装置により実行される、
各作業者にそれぞれ対応する筋骨格モデルを生成するモデル生成ステップと、
生成された前記筋骨格モデルに対して判別対象の作業を再現させて筋骨格モデル出力データを生成する作業状態再現ステップと、
生成された前記筋骨格モデル出力データを用いて模擬生体信号を生成し、前記模擬生体信号の特徴量を演算し、前記各作業者それぞれに対して、判別対象の作業と、前記模擬生体信号の特徴量分布とを対応付けることにより学習データを生成する学習データ生成ステップと、
含むことを特徴とする学習方法。