JP2022150491A - 作業支援システム - Google Patents

Abstract

【課題】作業者の複数の身体部位の姿勢と負荷情報に応じて、どの身体部位にどの程度の身体負荷が掛かっているのかを認識する技術を提供する。【解決手段】身体動作計測用のセンサおよび荷重計測用のセンサを身に着けた作業者から、動作データおよび荷重データを取得する通信部と、取得された動作データから測定対象の複数の身体部位の姿勢を表現する特徴量を抽出する姿勢推定部と、取得された荷重データからユーザの身体に掛かる荷重を推定する荷重推定部と、抽出した測定対象の複数の身体部位の姿勢を表現する特徴量から、評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)を推定し、推定した評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)と、推定したユーザの身体に掛かる荷重から、評価対象の身体部位に掛かる身体負荷を推定、評価する部位負荷推定部とを備えて作業支援システムを構成する。【選択図】図１

Description

本発明は、人間の動作の品質、例えば作業者の作業姿勢を改善する技術や、安全衛生の維持、例えば作業環境や作業方法を改善する技術に関する。

作業の安全や効率を図るために、例えば作業者に掛かる身体負荷を認識し、負荷に応じて作業者に適切な行動を取らせたい場合がある。

特許文献１には、「作業者の骨格および骨格筋の少なくとも一方に作用する負荷に関する負荷情報を受け付ける負荷受付部と、負荷情報と作業者の作業内容とを対応付ける作業内容特定部とを備える。または、作業管理装置であって、作業者の姿勢情報を受け付ける姿勢受付部と、姿勢情報と作業者の作業内容とを対応付ける作業内容特定部と、を備える」ことを特徴とする作業内容記録装置について開示がある。

従来例の技術では、例えば作業者の特定の身体部位に関する作業負荷を認識する場合、対象の身体部位に関して作業姿勢を推定し、負荷情報と合わせて作業負荷を認識することになる。しかしながら、対象の身体部位に掛かる身体負荷は、対象の身体部位の姿勢のみによらず他の身体部位の姿勢にも依存することがあるため、正確に身体負荷を認識することができないという課題がある。

国際公開第２０１７／０３９０１８号

従来、作業者の特定の身体部位の姿勢および負荷情報に応じて対象の身体部位に掛かる負荷を認識しようとする試みはなされていた。しかし、例えば、対象の身体部位の姿勢及び負荷情報が同一だったとしても、対象部位に掛かる身体負荷は他の身体部位の姿勢に影響を受けるため、正しく身体負荷を認識することが困難だった。すなわち、作業者の全身の複数の身体部位の姿勢に応じた正しい(精度のよい)身体負荷を認識することが困難だった。

そこで、作業者の複数の身体部位の姿勢と負荷情報に応じて、どの身体部位にどの程度の身体負荷が掛かっているのかを認識する技術が求められる。

本発明は、全身の身体動作計測用のセンサおよび荷重計測用のセンサを身に着けた作業者に対し、各センサからのデータを取得して、作業者の複数の身体部位の姿勢と作業者に掛かる負荷情報に基づいて、評価対象の身体部位に掛かる身体負荷を評価して、作業者に対して、高負荷警告情報および作業改善情報を提示する動作評価システムを提供することを目的とする。

本発明の作業支援システムの好ましい例では、身体動作計測用のセンサおよび荷重計測用のセンサを身に着けた作業者から、動作データおよび荷重データを取得する通信部と、取得された動作データから測定対象の複数の身体部位の姿勢を表現する特徴量を抽出する姿勢推定部と、取得された荷重データからユーザの身体に掛かる荷重を推定する荷重推定部と、抽出した測定対象の複数の身体部位の姿勢を表現する特徴量から、評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)を推定し、推定した評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)と、推定したユーザの身体に掛かる荷重から、評価対象の身体部位に掛かる身体負荷を推定、評価する部位負荷推定部とを備えて構成する。

また、本発明の他の特徴として、前記作業支援システムにおいて、情報生成部を更に備え、情報生成部が、前記部位負荷推定部によって抽出された負荷情報を元に、現時刻の作業による身体負荷が高いことを警告する高負荷警告情報、および作業改善を促す作業改善情報を生成して、情報提示装置に送信する。

また、本発明の更に他の特徴として、前記作業支援システムにおいて、前記部位負荷推定部が、評価対象の身体部位に掛かる身体負荷を推定することに加えて、評価対象の身体部位の身体負荷についてどの身体部位がどの程度寄与しているかを寄与率で推定し、前記情報生成部が、各身体部位の寄与率の大きさを考慮することで、評価対象の身体部位の身体負荷を高くしている原因を特定して、ユーザの姿勢に応じて身体部位の姿勢や荷重の大きさについて情報提示を行う。

また、本発明の更に他の特徴として、前記作業支援システムにおいて、前記部位負荷推定部が、事前に計測したユーザの身体的特徴（各身体部位の長さ）、前記姿勢推定部で抽出された測定対象の身体部位の姿勢を表現する特徴量、および前記荷重推定部が推定したユーザの身体に掛かる荷重に基づいて、評価対象の身体部位に掛かるモーメント力を計算し、モーメント力に比例する値を評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)と推定する。

ユーザの複数の身体部位の姿勢と荷重情報に応じて、特定の身体部位に掛かる身体負荷を認識することで、より正確にユーザに掛かる負荷を認識することが可能になる。

実施例１乃至４の動作評価システムの全体ブロック図である。 ユーザがセンサを装着した例を示す模式図である。 上腕状態推定部の動作概念図である。 荷重データ処理部の動作概念図である 実施例１において作業負荷を推定する動作の概念図である。 各身体部位の姿勢を組み合わせて、特定（評価対象）の身体部位に対する負荷の掛かりやすさを推定する方法の一例を示す図である。 特定（評価対象）の身体部位に対する負荷の掛かりやすさと推定された荷重に基づき、特定の身体部位に掛かる負荷を推定する方法の一例を示す図である。 情報処理装置が、ユーザの作業時にユーザに装着したセンサから情報を取得して、高負荷警告情報（作業改善提案情報）を生成する一つの手法を示すフロー図である。 情報提示装置の出力部に表示される情報を説明する概念図である。 実施例３における情報処理装置が、ユーザの作業時にユーザに装着したセンサから情報を取得して、高負荷警告情報および作業改善情報（作業改善提案情報）を生成する一つの手法を示すフロー図である。 実施例３において情報提示装置の出力部に表示される情報を説明する概念図１である。 実施例３において情報提示装置の出力部に表示される情報を説明する概念図２である。 実施例４において腰の位置から前腕部までの距離Ｌに基づいて腰への負荷の掛かりやすさを評価する方法の一例を説明する図である。 実施例５における動作評価システムの全体ブロック図である。

実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。

ここで、「動作」とは工業、農業等における作業一般、あるいは、舞踊、体操、楽器演奏等、所定目的のために人が体を動かして行なう動作一般をいうものとする。また、動作のどこに負荷が掛かっているかを具体的に特定するためには、特定のタイミングにおけるユーザの体の特定の部分の姿勢および荷重を評価することが望ましい。

このような技術は、例えば作業支援システムまたは教育システムとして利用することができる。作業支援システムは、例えば、保守作業の研修で利用することができる。教育システムは、例えば、ダンス、ヨガのポーズの練習に利用することができる。

≪１．システム全体構成≫
図１は、実施例１の動作評価システムの全体ブロック図である。動作評価システム１はセンサ部１１０と、情報処理装置１２０、情報提示装置１３０を含む。センサ部１１０、情報処理装置１２０、情報提示装置１３０は、有線または無線のネットワーク（図示せず）により互いに通信が可能である。
センサ部１１０は、姿勢センサ１１１と荷重センサ１１３と通信部１１２、１１４を含む。姿勢センサ１１１は例えば、ユーザの体に装着できるウェアラブルなセンサである。また、荷重センサ１１３も例えば、ユーザの身体に装着できるウェアラブルなセンサである。

図２は、ユーザ２１０が姿勢センサ１１１および荷重センサ１１３を装着した例を示す模式図である。姿勢センサ１１１は、例えばセンサハブ２２０に直接あるいは他のセンサを経由して接続される。センサとセンサハブの接続は有線でも無線でもよい。センサハブ２２０に送られた動作データ１４０は、通信部１１２を介して例えば無線で情報処理装置１２０に送信される。姿勢センサ１１１およびセンサハブ２２０は、バッテリー等（図示せず）で給電することができる。なお、図２の姿勢センサ１１１の配置は一例であり、図２のように全身の各部にセンサを装着してもよいし、評価しようとする動作に応じて、上半身のみ、下半身のみなど体の一部のみとしても良い。

姿勢センサ１１１の種類や装着箇所は、評価しようとする動作に応じて、公知のセンサから１または複数種類を選択すればよい。ユーザ２１０の体の動きを直接評価しようとする場合には、ユーザ２１０の身体の各部の位置や動きを測定できるものが望ましい。例えば、加速度センサや位置センサである。その他、ジャイロ、地磁気、映像、音声、筋電、角速度などのセンサでも良い。また、ユーザ２１０に反射マーカを装着し、ビデオカメラ等で撮影して身体の各部の位置や動きを測定してもよい。姿勢センサ１１１で取得した動作データ１４０は、情報処理装置１２０に送られる。以下では、センサとして加速度センサの例で説明する。

荷重センサ１１３は、例えばセンサハブ２２１に直接あるいは他のセンサを経由して接続される。一例として、荷重センサ１１３はユーザ２１０の靴の中に設置され、ユーザの足裏に掛かる圧力を計測する１ないしは複数の圧力センサとする。荷重センサとセンサハブの接続は有線でも無線でもよい。センサハブ２２１に送られた荷重データ１４１は、通信部１１４を介して例えば無線で情報処理装置１２０に送信される。荷重センサ１１３およびセンサハブ２２１は、バッテリー等（図示せず）で給電することができる。なお、図２の荷重センサ１１３の配置は一例であり、図２のように両足裏に荷重センサを装着してもよいし、評価しようとする動作に応じて、上半身のみ、下半身のみなど体の一部のみとしても良い。また、荷重センサ１１３のセンサの種類も一例であり、例えば筋電センサなどを用いて装着した身体部位の筋肉に掛かる荷重情報を取得しても良い。

なお、本明細書内では、荷重を、ユーザ２１０に対して外部から加えられる力の大きさとして定義する。例えば、ユーザ２１０が何かを把持した際にユーザ２１０の身体に外部から掛かる荷重（把持した物体の重量）は、本明細書における荷重である。あるいは、ユーザ２１０が外部の物体に対して力をかけて作業する、例えば重量物を押すといった作業においても、ユーザ２１０は重量物を押すために前方に向けて力を入れるが、ユーザ２１０は踏ん張ることで地面から床からの反力としてその分の力を受けており、この反力も本明細書における荷重の一つである。

なお、通信部１１２、および１１４は、姿勢センサ１１１と荷重センサ１１３それぞれに付帯するものとして記載しているが、姿勢センサ１１１と荷重センサ１１３の両方が単一の通信部を共有しても構わない。また、センサハブ２２０およびセンサハブ２２１は姿勢センサ１１１と荷重センサ１１３それぞれに付帯するものとして記載しているが、姿勢センサ１１１と荷重センサ１１３の両方が単一のセンサハブを共有してもかまわない。

情報処理装置１２０は、一般的なサーバで構成することができる。サーバの周知のハードウェア構成として、入力装置、出力装置、処理装置、および記憶装置を含むものとする。本実施例では、計算や制御等の各機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウェアと協働して実現されることとし、図１に各機能ブロックを示している。サーバなどが実行するプログラム、その機能、あるいはその機能を実現する手段を、「機能」、「手段」、「部」、「ユニット」、「モジュール」等と呼ぶ場合がある。

以上の構成は、単体のサーバで構成してもよいし、各機能部が複数のサーバに分かれて構成されてもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された他のコンピュータで構成されてもよい。また本実施例中、ソフトウェアで構成した機能と同等の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアでも実現できる。後述のニューラルネットワークの実装は、ＦＰＧＡ等で行なわれることもある。

情報処理装置１２０は、通信部１２１、姿勢推定部１２２、荷重推定部１２３、部位負荷推定部１２４、情報生成部１２５、および制御部１２６を含む。

通信部１２１は、センサ部１１０の通信部１１２、１１４から送信される動作データ１４０、および荷重データ１４１を受信する。また、情報提示装置１３０に対して、作業改善提案情報１５０を送信する。

姿勢推定部１２２は、姿勢センサ１１１から得られた動作データ１４０からユーザ２１０の複数の身体部位の姿勢を表現する所望の特徴量を抽出する。荷重推定部１２３は、荷重センサ１１３から得られた荷重データ１４１からユーザ２１０に掛かる荷重情報を抽出する。部位負荷推定部１２４は、姿勢推定部１２２で推定されたユーザ２１０の複数の身体部位の姿勢を表現する特徴量、および荷重推定部１２３で推定された荷重情報に基づき、ユーザ２１０の作業姿勢に応じて各身体部位に掛かる作業負荷を推定する。本実施例では、姿勢推定部１２２や荷重推定部１２３、部位負荷推定部１２４は、例えばニューラルネットワークを用いて構成することができる。

情報生成部１２５は、部位負荷推定部１２４で推定した各身体部位に掛かる作業負荷をもとに、ユーザ２１０に指摘するための、作業改善提案情報１５０を生成する。作業改善提案情報１５０は、通信部１２１から情報提示装置１３０に送信される。制御部１２６は情報処理装置１２０の動作全体のシーケンスを制御する。

情報提示装置１３０も情報処理装置の一種である。例えば、ユーザ２１０が携帯できる携帯情報端末を利用することができるが、これに限らない。一般的なハードウェア構成として、入力装置、出力装置、処理装置、および記憶装置を含むが、ユーザ２１０に情報を知らせるだけであれば、情報処理装置１２０から情報を受け取るための通信部１３１と、全体の制御部１３２、および情報を表示する出力部１３３を備えればよい。あるいは情報を紙媒体で印刷できる装置でもよい。出力部１３３は例えば、液晶ディスプレイ、スピーカー、あるいはバイブレータである。

≪２．姿勢推定部≫
図３は姿勢推定部１２２の機能を説明するための概念図である。姿勢推定部１２２は、作業時におけるユーザ２１０について複数の身体部位の姿勢を表現するための特徴量を抽出する。評価する身体部位は、負荷の評価の目的に応じて複数をシステムの設計者等が定義する。特徴量としては、例えば、肘の曲げ角度、腰の高さや曲げ角度、頭の向き、足の開き角度などを表す物理量に対応しており、複数の身体部位について任意に一つないしは複数のものを定義することができる。これらの特徴量は、ユーザの身体の可動部の状態、例えば各関節の動きの特徴に対応付けられる。

所望の特徴量を抽出するために、必要な物理量を持つ動作データを取得する姿勢センサ１１１を、ユーザ２１０に装着する。そして、姿勢センサ１１１の任意の一つまたは複数から取得した動作データ１４０を用いる。以下では、加速度センサを用いて肘の曲げ角度を推定する例を説明する。

図３では、姿勢センサ１１１から上腕の回転角度を抽出するため、姿勢推定部１２２が備える（左）上腕状態推定部３０１が示されている。各姿勢センサ１１１は、例えば三軸の加速度センサであり、各姿勢センサの位置での加速度が出力される。図３に示すように、ユーザ２１０の左腕に装着された３つの姿勢センサ１１１から、上腕の前後方向への回転角度が推定されて、時系列データとして取得される。上腕の回転角度以外の特徴量を抽出したい場合には、同様に、腰の高さ抽出部、頭の向き抽出部等を、姿勢推定部１２２に追加すればよい。上腕状態推定部３０１は、例えばディープニューラルネットワーク（ＤＮＮ）で構成し、公知の教師有り学習で学習させておけばよい。

上腕状態推定部３０１は、ＤＮＮではなく、姿勢センサ１１１の加速度データから通常の計算によって推定することもできる。例えば肘の曲げ角度を加速度から推定する場合には、ユーザ２１０の初期状態を取得して利用する。このために、予めユーザ２１０に所定の姿勢（例えば直立姿勢）を取らせたり、別途姿勢センサ１１１の位置を検出するなどを行なう。あるいは、姿勢センサ１１１として、加速度センサの代わりに位置センサを用いても良い。以上のように、センサの種類は、推定したい特徴量に応じて自由に選択することができる。

システムの運用時には、抽出した特徴量は、その種類ごとに時系列データとして記憶装置に格納しておく。

≪３．荷重推定部≫
荷重推定部１２３は、荷重センサ１１３からの荷重データ１４１を入力として、ユーザに掛かる荷重を推定する。
図４は荷重推定部１２３の機能を説明するための概念図である。荷重推定部１２３は、作業時におけるユーザ２１０について、作業時に身体に掛かる荷重を推定する。荷重を推定するために、必要な物理量を持つ荷重データを取得する荷重センサ１１３を、ユーザ２１０に装着する。そして、荷重センサ１１３の任意の一つまたは複数から取得した荷重データ１４１を用いる。以下では、一例として圧力センサを用いて荷重を推定する例を説明するが、センサの種類は圧力センサに限るものではなく、筋電位を計測するセンサなど、同様の効果が得られる他のセンサを用いても良い。また、センサを取り付ける位置も図４に示すように靴の中に限るものではなく、同様の効果が得られる他の身体部位に取り付けても構わない。

図４では、荷重センサ１１３から荷重を推定するため、荷重推定部１２３が備える荷重データ処理部４０１が示されている。図４に示すように、ユーザ２１０の両足の靴の中に装着された２つの荷重センサ１１３から、ユーザ２１０の身体に掛かる荷重が推定されて、時系列データとして取得される。荷重データ処理部４０１は、例えばディープニューラルネットワーク（ＤＮＮ）で構成し、公知の教師有り学習で学習させておけばよい。

荷重データ処理部４０１は、ＤＮＮではなく、荷重センサ１１３の圧力データから通常の計算によって推定することもできる。荷重を圧力データから推定する場合には、ユーザ２１０の初期状態を取得して利用する。このために、予めユーザ２１０に所定の姿勢（例えば直立姿勢）を取らせたり、別途所定の重量の物体を把持させたときに生じる圧力データの変化を記録しておいても良い。

システムの運用時には、推定した荷重は時系列データとして記憶装置に格納しておく。

≪４．部位負荷推定部≫
図５、図６および図７は、部位負荷推定部１２４における作業負荷推定方法の一例を示すものである。図５(a)、(b)、(c)では、作業負荷推定の一例として重量物を運搬するユーザ２１０が描かれている。また、本実施例では、姿勢推定部１２２で推定する、ユーザの姿勢を表現する特徴量として、腰の曲げ角度と（右）上腕部の前後方向への回転角度を推定し、荷重としてユーザ２１０の把持する重量物の重さ（６ｋｇ）を推定する。また、本実施例では腰に掛かる負荷を推定するものとするが、これはあくまで一例であり、負荷を推定する対象の身体部位として任意の身体部位を選択してもよい。また、同時に複数部位の身体負荷を推定してもかまわない。

図６は、腰への負荷の掛かりやすさを推定する方法の一例を示す。姿勢推定部１２２で推定された腰の曲げ角度および上腕部の前後方向への回転角度に基づき、腰への負荷の掛かりやすさ（以下、腰の荷重スコアと呼ぶ）を計算するためのテーブルが示されている（姿勢推定部１２２で推定した特徴量から計算した腰への負荷の掛かりやすさと、荷重推定部１２３で推定した荷重とを掛け合わせて、腰への負荷を評価する。）図５、６に示すように、上肢（手・指～肘～肩を含む部分）が伸展している姿勢のときほど、腕に把持している重量物が腰に与える負荷の影響は大きくなるため、腰の曲げ角度５０２および上腕部の回転角度５０１が増加するほどに腰への負荷の掛かりやすさが高まり、対応する荷重スコアが増加するようになっている。（姿勢推定部１２２で推定するユーザの姿勢を表現する特徴量、および荷重推定部１２３が推定するユーザの身体に掛かる荷重は、共に物理量表現であるが、実施例１で部位負荷推定部１２４が身体部位への負荷の掛かりやすさを推定する荷重スコアは、多くの人の知見、感覚のアンケートに基づいてクラス分けが定義された標準指標表現である。）

具体的には、図５（a）の姿勢では腰の曲げ角度５０２はほぼ0度であり、上腕の回転角度５０１が40度程度であるから、図６の表より腰の荷重スコアは2となる。一方、図５（b）の姿勢では、上腕の回転角度は同様に40度程度であるものの、腰の曲げ角度が45度程度あることから腰の荷重スコアは4となる。最後に、図５（c）の姿勢では、図５（a）と同様腰の曲げ角度はほぼ0度であるものの、上腕を90度以上回転させて重量物を高所に持ち上げていることから、腰の荷重スコアは4となる。このように、特定の身体部位（本実施例では腰）に対する負荷の掛かりやすさは、特定の身体部位そのものの姿勢だけでなく、他の身体部位の姿勢にも影響を受けることがあり、複数の身体部位の姿勢を推定することにより、興味のある身体部位への負荷の掛かりやすさをより正確に推定することが可能となる。

なお、これはあくまで一例であり、腰の曲げ角度および上腕の回転角度と対応する荷重スコアは図６に示されるものでなくてもよい。また、複数の身体部位について荷重スコアを定義し、それらの組み合わせとしてより大きな身体部位間の影響を考慮した荷重スコアを定義しても良い。例えば、腰と上腕部それぞれに荷重スコアを定義し、それらを組み合わせることで腰に掛かる負荷の掛かりやすさを荷重スコアを用いて定義してもよい。

なお、これらはあくまで一例であり、身体部位の組み合わせ方や、それらの組み合わせによって定義される荷重スコアは図６に示されるものでなくても良く、例えばRULA
(Rapid Upper Limb Assessment)と呼ばれる評価方法に定義されているような組み合わせと荷重スコアであっても良い。

なお、荷重スコアを推定する方法は上記のような対応表を用いる方法に限るものではなく、例えば腰への負荷の掛かりやすさを示す指標と推定された荷重に基づき、機械学習を用いて自動的に作業負荷を推定するなど、同様の効果が得られる方法であっても良い。

最後に、荷重スコアと荷重推定部１２３で推定した荷重から、腰に掛かる負荷を推定、評価する。図７は、腰に掛かる負荷を評価する方法の一例を示したものである。腰への負荷の掛かりやすさを示す腰の荷重スコアと、荷重推定部１２３において推定された荷重に基づき、腰への負荷の大きさ（以下、腰の負荷スコアと呼ぶ）を計算するためのテーブルが示されている。図７に示すように、腰の荷重スコアが高く、推定された荷重も大きいほど腰に掛かる負荷の評価も大きくなるようになっている。例えば、図５（a）、（b）、（c）の姿勢について図７のテーブルを用いて腰に掛かる負荷を評価すると、順に４、６、６、となる。（実施例１で部位負荷推定部１２４が評価対象の身体部位に掛かる負荷を推定する負荷スコアは、荷重スコアと同様に、多くの人の知見、感覚のアンケートに基づいてクラス分けが定義された標準指標表現である。）

なお、これはあくまで一例であり、腰の荷重スコアおよび推定された荷重に対応する負荷スコアは図７に示される方法でなくてもよく、同等の効果を得られる他の手法でも構わない。

このようにして部位負荷推定部１２４は、姿勢推定部１２２で推定されたユーザ２１０の複数の身体部位の姿勢を表現する特徴量、および荷重推定部１２３で推定されたユーザ２１０の身体に掛かる荷重に基づき、特定の身体部位に掛かる身体負荷を推定、評価する。以上の分析を行った部位負荷推定部１２４は、推定した身体負荷情報を情報生成部１２５に送信する。

≪５．実施例の効果≫
以上説明した実施例によれば、作業を実施するユーザの複数の身体部位の作業姿勢を推定し、同時にユーザに掛かる荷重を推定することで、ユーザの特定の身体部位に掛かる負荷をより正確に推定することが可能になる。これにより、ユーザの特定の身体部位に高い負荷が掛かっていることを正確に把握し、ユーザの安全と健康を守り作業を改善することが可能となる。

実施例１では、腰に掛かる負荷の大きさを正確に評価する方法について記載した。この評価結果を用いることで、ユーザに種々の有益な情報を提供することが可能となる。

図１に示す情報処理装置１２０の情報生成部１２５は、部位負荷推定部１２４から受信した、評価対象の身体部位に掛かる負荷情報を元にユーザ２１０に通知すべき内容を判定し、予め記憶しておいたグラフィックデータや音声データ等を元に、ユーザに提示する作業改善提案情報１５０を生成する。

図８は、情報処理装置１２０が、ユーザの作業時にユーザに装着したセンサから情報を取得して、作業改善提案情報１５０を生成する一つの手法をフロー図にしたものである。

情報処理装置１２０の制御部１２６の制御に従い、所定のサンプリング周期ごとに処理が起動され、ステップＳ１０１において、通信部１２１がユーザの着衣に装着した姿勢センサ、及び靴に装着した荷重センサから動作データ、及び荷重データを取得する。

ステップＳ１０２において、姿勢推定部１２２は、取得された動作データから測定対象の身体部位の姿勢を表現する特徴量を抽出する。

ステップＳ１０３においてＳ１０２と同時に、荷重推定部１２３は、取得された荷重データからユーザの身体に掛かる荷重を推定する。

ステップＳ１０４において、部位負荷推定部１２４は、Ｓ１０２で抽出した測定対象の身体部位の姿勢を表現する特徴量から、評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)を推定し、推定した評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)と、Ｓ１０３で推定したユーザの身体に掛かる荷重から、評価対象の身体部位に掛かる身体負荷を推定、評価する。

ステップＳ１０５において、情報生成部１２５は、評価対象の身体部位に掛かる身体負荷の値が一定値を上回っているかを判定する。もし身体負荷値が一定値を超えていた場合、Ｓ１０６へ移行する。もし身体負荷値が一定値を超えていない場合は、ユーザの作業による身体負荷は正常と判定して処理を終了する。

ステップＳ１０６において、情報生成部１２５は、高負荷警告情報（作業改善提案情報１５０）を生成して、通信部１２１を介して情報提示装置１３０へ送信する。

なお、高負荷警告情報は、現時刻の作業による身体負荷が高く、何かしらの改善すべき点があることを伝えることだけを目的とした、数秒の警告音や振動など極めて簡便な情報としても良い。あるいは、ユーザの注意を引き、かつより改善すべき内容がわかるように、グラフィックデータや音声での指示などより複雑な情報としても良い。

また、情報生成部１２５における高負荷警告情報（作業改善提案情報１５０）の生成方法はあくまで一例であり、時系列処理やディープラーニングを用いた手法などを用いて推定された身体負荷に基づいてユーザに掛かる危険を検出するなど、同等の効果を得られる方法であっても構わない。

本実施例では、ユーザの動作データを取得し、複数の身体部位に関して作業姿勢を推定する。また、荷重データを取得し、ユーザの身体に掛かる荷重を推定する。これらを組み合わせ用いることで、ユーザの複数の身体部位の姿勢に基づいてより正確に身体負荷を推定することが可能となる。また、これによりユーザに対する危険の通知などをより的確に行うことが可能となる。

図９は情報提示装置１３０の出力部１３３の一例である液晶ディスプレイに表示される情報を説明する概念図である。ユーザの理解を助けるために、人型のモデルを用いて作業中の姿勢に関する警告を表示する。図９の例では、部位負荷推定部１２４からの情報に基づいて、コンピュータグラフィックス（ＣＧ）により、腰の負荷に関して警告９０１を提示し、ユーザの注意を促している。また、ユーザの理解を助けるために、テキストや音声を出力９０２したり、振動（ユーザが携帯する携帯端末を振動させる）を用いたりしても良い。テキストや音声、振動のパターンの生成方法は機械学習を用いたキャプショニング（例えば、評価対象の身体部位に掛かる負荷値が高い場合には該当身体部位に掛かる負荷が高い旨の説明文を出力する。）や音声合成技術、あるいは予め用意したパターンを用いた表示により可能である。また、動画ＣＧ等を用いると効果的である。

以上説明した実施例によれば、ユーザの特定の身体部位に高い負荷が掛かっている際にユーザに危険性を通知することが可能になる。これによりユーザは自らの身体に起こりうる危険を即座に把握することが可能となるため、ユーザの安全と健康を守り、作業を改善することが可能となる。

実施例２では、情報処理装置１２０の情報生成部１２５において高負荷警告情報を生成し、情報提示装置に送信していた。他の例として、部位負荷推定部１２４で負荷スコアを計算する際の例えば腰の曲げ角度（第１の測定対象の身体部位の姿勢を表現する特徴量）、上腕の角度（第２の測定対象の身体部位の姿勢を表現する特徴量）、推定された荷重それぞれの寄与率を考慮し、寄与率に応じて高負荷警告情報に加えて作業改善情報を生成し、情報提示装置に送信しても良い。

図１０は、情報生成部１２５で高負荷警告情報と同時に作業改善情報を抽出し、情報提示装置に送信する一つの手法をフロー図にしたものである。

ステップＳ１０１からステップＳ１０４までは、図８のＳ１０１からＳ１０４と同処理であるため説明を省略する。

ステップＳ１０７で、情報生成部１２５は、推定された評価対象の身体部位に掛かる負荷スコア（身体負荷の値）が一定値を上回っているかを判定する。もし負荷スコア（身体負荷の値）が一定値を超えていた場合、Ｓ１０８へ移行する。もし負荷スコア（身体負荷の値）が一定値を超えていない場合は、ユーザの作業による負荷スコア（身体負荷の値）は正常と判定して処理を終了する。

ステップＳ１０８において、部位負荷推定部１２４は、負荷スコアに対する腰の曲げ角度（第１の測定対象の身体部位の姿勢を表現する特徴量）、上腕の回転角度（第２の測定対象の身体部位の姿勢を表現する特徴量）、推定された荷重の寄与率を計算する。

なお、一例として、寄与率の計算はそれぞれの身体部位の姿勢の評価や荷重の評価が取りうる最大の評価に対する実際の評価の割合として求めても良い。例えば、図５（b）の姿勢であれば、図６に示す腰の曲げ角度の評価は４段階あり、３番目の評価であることから３×１００／４＝７５％の寄与率と計算でき、同様に上腕の寄与率は５０％、荷重の寄与率は７５％（図７に示す荷重の評価は４段階あり、その中の３番目の評価であることから）と計算できる。このとき、寄与率の高いものが負荷スコアの支配的な要因であるとし、図５（ｂ）の姿勢の負荷スコアが高くなった主たる要因は腰の曲げ角度および荷重であると認識する。また、図５（ｃ）の姿勢の場合は、同様に腰の曲げ角度の寄与率が２５％、上腕部の寄与率は１００％、荷重の寄与率は７５％と計算できる。
なお、寄与率の計算の方法はあくまで一例であり、同様の効果が得られる他の手法でも構わない。

その後、ステップＳ１０９において、情報生成部１２５は高負荷警告情報および作業改善情報（作業改善提案情報１５０）を生成して、通信部１２１を介して情報提示装置１３０へ送信する。

図１１、１２は、高負荷警告情報および作業改善情報に基づいて情報提示装置１３０の出力部１３３の一例である液晶ディスプレイに表示される情報を説明する概念図である。ユーザの理解を助けるために、人型のモデルを用いて作業中の姿勢に関する警告を表示する。図１１の例では、図５（ｂ）の姿勢に対する情報提示が行われており、部位負荷推定部１２４からの情報に基づいて、コンピュータグラフィックス（ＣＧ）により、腰の負荷に関して警告１１０１を提示し、ユーザの注意を促している。また、腰の曲げ角度および荷重の寄与率が高いことから、腰の姿勢に対する注意や対象物の重量に対する注意１１０２を促している。一方、図１２の例では、図５（ｃ）の姿勢に対する情報提示が行われており、部位負荷推定部１２４からの情報に基づいて、コンピュータグラフィックス（ＣＧ）により、腰の負荷に関して警告１２０１を提示し、ユーザの注意を促している。また、上腕の寄与率が高いことから、上腕部の姿勢に対する注意１２０２を促している。また、ユーザの理解を助けるために、テキストや音声を出力したり、振動を用いたりしても良い。テキストや音声、振動のパターンの生成方法は機械学習を用いたキャプショニングや音声合成技術、あるいは予め用意したパターンを用いた表示により可能である。また、動画ＣＧ等を用いると効果的である。

これにより、ユーザに掛かる負荷の大きさを認識するだけでなく、どこに負荷が大きくなっている原因があるかをユーザが把握することができ、ユーザの健康と安全を守り、作業を改善することが可能になる。

実施例１では、腰への負荷の掛かりやすさを評価する方法として、腰の曲げ角度と上腕の回転角度に基づいたスコアで評価していた。他の例として、例えば、予め腰から肩までの距離Ｌ１、上腕部の腕の長さＬ２、前腕部の腕の長さＬ３を定義して、腰の曲げ角度と上腕部、および前腕部の回転角度を計測し、腰の位置から前腕部までの距離を計算することによって、腰から前腕部までの距離に応じて腰への負荷の掛かりやすさが増すような指標となる荷重スコアを評価方法として用いても良い。

図１３は、腰の位置から前腕部までの距離を計算する方法の一例を示したものである。予め腰Ｐ１から肩Ｐ２までの距離Ｌ１、上腕部(Ｐ２－Ｐ３)の腕の長さＬ２、前腕部(Ｐ３－Ｐ４)の腕の長さＬ３は定義されているものとする。なお、各身体部位の長さを定義する際は、事前にユーザ２１０の各身体部位の長さを直接計測しても良いし、平均的な体格の統計データなどから引用するなどしても良い。姿勢推定部１２２において腰の曲げ角度θ_１、上腕の回転角度θ_２、前腕部の回転角度θ_３を推定したとき、腰の位置Ｐ１から前腕部の位置Ｐ４までの距離Ｌは幾何学上の計算によって容易に求めることが可能である。

このように腰の位置から前腕部までの距離Ｌに基づいて腰への負荷の掛かりやすさを評価することにより、より連続的かつ細かく腰への負荷の掛かりやすさを評価することが可能になり、ユーザに掛かる負荷の大きさを正確に認識することが可能になる。

また、これに合わせて、部位負荷推定部１２４において腰に掛かる負荷の大きさを推定する際、腰から前腕部までの距離と推定された荷重を掛け合わせることによって、腰に掛かるモーメント力の大きさを計算し、モーメント力に比例する値を荷重スコアとして用いても良い。

なお、本実施例では腰に掛かる負荷を推定するものとするが、これはあくまで一例であり、負荷を推定する対象の身体部位として任意の身体部位を選択してもよい。また、同時に複数部位の身体負荷を推定してもかまわない。また、評価対象の身体部位を評価するために評価する他の身体部位は上腕部および前腕部に限るものではなく、必要に応じて他の身体部位の姿勢を推定し、評価に用いても構わない。

実施例１、２、３、４では、情報処理装置１２０で生成したデータを作業者に提供し、作業者の安全や健康を確保し、作業方法の改善を可能にしていた。他の実施例として、例えば情報処理装置１２０で利用した姿勢データや荷重データや生成した高負荷警告情報などを別途管理システムに送信し、管理システム内でデータを解析するなど活用しても良い。

図１４は、本実施例の動作評価システム２の全体ブロック図である。情報処理装置１２０で処理された姿勢特徴量や荷重、生成された高負荷警告情報、作業改善情報などを含む作業データ１４１０が、図示しないネットワークを介して、外部に接続された管理システム１４００に送信される。

管理システム１４００では、受信した作業データ１４１０に対して、作業データ解析部１４０２で解析する。例えば、予め同じ作業の作業データを作業データデータベース（ＤＢ）１４０４に保存しておき、新しく得られた作業データと比較することにより、以前と比較して作業姿勢が異なって身体負荷が高いといったことや、荷重が大きく異なることで身体負荷が高いといったことを検出する。このような違いが検出された場合、別途管理者が実際の作業内容を確認することにより、なぜ身体負荷が高まったのかを把握することができ、作業方法の改善につなげることができる。

なお、作業データの比較には、時系列データのパターンマッチング処理など公知の処理方法を用いても良い。また、身体負荷の違いの原因を把握する際には、実施例３に記載の寄与率を活用しても良いし、同様の効果が得られる他の手法でも構わない。

また、予め作業データＤＢ１４０４に保存するデータは、必ずしも同一のユーザで記録したものでなくても良い。同一のユーザである場合は、上記の手法によって異なるタイミングでの作業データの違いを検出することが可能となる。一方、異なるユーザである場合は、上記の手法でユーザ間の作業方法の違いなどが検出可能となる。ユーザ間の作業方法の違いが検出された場合は、別途管理者からユーザに対しより良い作業方法を提示することが可能となる。

なお、本実施例では情報処理装置１２０と管理システム１４００を異なるシステムとして記載しているが、必ずしもそれぞれが独立した計算機である必要はなく、同一の計算機内に実装されても良い。

これにより、異なるタイミングの同一ユーザの作業方法に違いがあるかといったことや、異なるユーザ間で作業方法に違いがあるかといったことが検出可能になり、違いに基づいてユーザに適宜情報提供を行うことにより、ユーザの作業方法を改善することが可能になる。

１：実施例１乃至４の動作評価システム、
２：実施例５の動作評価システム、
１１０：センサ部、
１１１：姿勢センサ、
１１２、１１４：通信部、
１１３：荷重センサ、
１２０：情報処理装置、
１２１：通信部、
１２２：姿勢推定部、
１２３：荷重推定部、
１２４：部位負荷推定部、
１２５：情報生成部、
１２６：制御部、
１３０：情報提示装置、
１３１：通信部、
１３２：制御部、
１３３：出力部、
１４０：動作データ、
１４１：荷重データ、
１５０：作業改善提案情報、
２１０：ユーザ、
２２０、２２１：センサハブ、
３０１：上腕状態推定部、
４０１：荷重データ処理部、
５０１：上腕部の回転角度、
５０２：腰の曲げ角度、
９０１、１１０１、１２０１：腰の負荷に関して警告、
９０２：テキストや音声を出力、
１１０２：腰の姿勢に対する注意や対象物の重量に対する注意、
１２０２：上腕部の姿勢に対する注意、
１４００：管理システム、
１４０１：通信部、
１４０２：作業データ解析部、
１４０３：制御部、
１４０４：作業データデータベース（ＤＢ）
１４１０：作業データ、
Ｐ１：腰の位置、
Ｐ２：肩の位置、
Ｐ４：前腕部の位置、
Ｌ１：腰Ｐ１から肩Ｐ２までの距離、
Ｌ２：上腕部(Ｐ２－Ｐ３)の腕の長さ、
Ｌ３：前腕部(Ｐ３－Ｐ４)の腕の長さ、
θ_１:腰の曲げ角度、
θ_２：上腕の回転角度、
θ_３：前腕部の回転角度、

Claims (9)

1. 身体動作計測用のセンサおよび荷重計測用のセンサを身に着けた作業者から、動作データおよび荷重データを取得する通信部と、
   取得された動作データから測定対象の複数の身体部位の姿勢を表現する特徴量を抽出する姿勢推定部と、
   取得された荷重データからユーザの身体に掛かる荷重を推定する荷重推定部と、
   抽出した測定対象の複数の身体部位の姿勢を表現する特徴量から、評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)を推定し、推定した評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)と、推定したユーザの身体に掛かる荷重から、評価対象の身体部位に掛かる身体負荷を推定、評価する部位負荷推定部と、
   を備えることを特徴とする作業支援システム。
2. 請求項１に記載の作業支援システムにおいて、情報生成部を更に備え、
   情報生成部が、前記部位負荷推定部によって抽出された負荷情報を元に、現時刻の作業による身体負荷が高いことを警告する高負荷警告情報、および作業改善を促す作業改善情報を生成して、情報提示装置に送信することを特徴とする。
3. 請求項１に記載の作業支援システムにおいて、
   前記部位負荷推定部が、評価対象の身体部位に掛かる身体負荷を推定することに加えて、評価対象の身体部位の身体負荷についてどの身体部位がどの程度寄与しているかを寄与率で推定し、
   前記情報生成部が、各身体部位の寄与率の大きさを考慮することで、評価対象の身体部位の身体負荷を高くしている原因を特定して、ユーザの姿勢に応じて身体部位の姿勢や荷重の大きさについて情報提示を行うことを特徴とする。
4. 請求項１に記載の作業支援システムにおいて、
   前記部位負荷推定部が、事前に計測したユーザの身体的特徴（各身体部位の長さ）、前記姿勢推定部で抽出された測定対象の身体部位の姿勢を表現する特徴量、および前記荷重推定部が推定したユーザの身体に掛かる荷重に基づいて、評価対象の身体部位に掛かるモーメント力を計算し、モーメント力に比例する値を評価対象の身体部位への負荷の掛かりやすさ(荷重スコア)と推定することを特徴とする。
5. 請求項１に記載の作業支援システムにおいて、前記姿勢推定部が抽出した姿勢特徴量、前記荷重推定部が推定した荷重、および前記情報生成部が生成した高負荷警告情報、作業改善情報などを含む作業データを受信し処理する管理システムを更に備え、
   管理システムが、受信した作業データと、予めデータベースに保存しておいた作業データと比較して、作業姿勢の相違により、または荷重の相違により身体負荷が高まることを検出して、身体負荷の高まりの原因を解析して、作業方法の改善につなげることを特徴とする。
6. 前記姿勢推定部は、測定対象の各身体部位に対して、作業者の該当身体部位に着けた一つ以上の身体動作計測用のセンサの出力を入力として、該当身体部位の姿勢を表現する特徴量を出力とする、事前に教師有り学習で学習させておいたディープニューラルネットワーク（ＤＮＮ）を構成していることを特徴とする請求項１に記載の作業支援システム。
7. 前記荷重推定部は、作業者の両足の靴の中に装着された２つの荷重計測用のセンサの出力を入力として、作業者の身体に掛かる荷重を出力とする、事前に教師有り学習で学習させておいたディープニューラルネットワーク（ＤＮＮ）を構成していることを特徴とする請求項１に記載の作業支援システム。
8. 前記情報生成部は、部位負荷推定部からの情報に基づいて、情報提示装置の出力部に、人型のモデルを用いて作業中の評価対象の身体部位に高い負荷が掛かっている旨の警告マークをモデル上に表示する高負荷警告情報を生成して、情報提示装置に送信することを特徴とする請求項２に記載の作業支援システム。
9. 前記情報生成部は、部位負荷推定部からの情報に基づいて、情報提示装置の出力部に、人型のモデルを用いて評価対象の身体部位の姿勢に対する注意や対象物の重量に対する注意をテキストや音声を出力する作業改善情報を生成して、情報提示装置に送信することを特徴とする請求項２に記載の作業支援システム。

Images