JP2021056922A - 人動作支援システム及びその方法 - Google Patents

Abstract

【課題】人の画像が得られない場合でも人の骨格推定を行い、かつ人の細部の動作を把握することで、適切に動作支援を行う。【解決手段】人の画像を取得する第１の端末と、人の動作情報を取得する第２の端末と、第１の端末および第２の端末と通信可能に接続されるサーバを有するシステムであって、サーバは、第１の端末により取得される画像情報を基に人の骨格の推定を行う骨格推定部と、第２の端末から取得される人の細部の動作情報を用いて、骨格推定部により推定される前記骨格情報を補正する骨格補正部と、を有する。【選択図】図４

Description

本発明は、人動作支援システム及びその方法に係り、特に現場で作業を行う作業員の作業支援を行う作業支援システム及び作業支援方法に関する。

近年、工場や各種製造施設等の様々な作業現場において、作業者が、製品の品質を保つために必要な動作として定義された動作（以下「標準動作」という)と異なる動作（以下「逸脱動作」という）を行い、その結果生じる作業ミスや品質の低下が問題となっている。その対策として、作業現場に設置したカメラで作業者の映像を取得して、映像中の作業者の動きから逸脱動作を自動的に検知し、作業者に所持させた携帯機器(ウェアラブルデバイス、スマートフォン、タブレット等)に対して正しい動作になるよう作業指示を提供し、作業者を支援するシステムが提案されている。

また、作業者に所持させた携帯機器の各種センサから姿勢情報を推定し、正しい動作になるよう作業者の携帯機器に提供する仕組みも存在する。例えば、特許文献１には、作業者の行動を解析する装置と生産ラインとが複数のタイムスタンプを併せて使うことにより、作業者が作業した時間での作業解析を行う作業動作認識システムが開示されている。このシステムでは、解析部が、複数のタイムスタンプが示す時刻を用いて特定された範囲について、複数のカメラから取得される複数の画像内の作業者の姿勢情報に基づき、人作業を解析している。

また、非特許文献１には、機械学習技術により、一人称視点の映像から全身の骨格情報を推定するシステムが開示されている。作業者の頭部に取り付けられたカメラから取得される一人称カメラ映像と同時に習得されたモーションキャプチャーの変化を教師データとして訓練された深層学習モデルにより生成される特徴量に基づき、作業者の全身の骨格を推定する手段を備える。

特開2017−156978公報

「Ego−Pose Estimation and Forecasting as Real−Time PD Control」7 June, 2019

現場の作業には、作業者が物陰に入る作業や広範囲の移動を伴うものがある。例えば、施設に設置したカメラの死角になる場所に作業者が居るときには作業者の画像が取得できない。そこで、作業者の姿勢を適切に補正することができるように作業者の骨格推定の方法を工夫することが必要となる。

特許文献１には、施設のカメラが取得した画像データと生産ラインのタイムスタンプ情報に基づき、作業者の行動開始時間及び行動終了時間と、生産ラインの稼働開始時間及び稼働終了時間を対応付けることで、作業者の行動を解析することが記載されている。しかし、カメラの死角に作業者が移動した場合に、作業者の姿勢を補正する方法については何ら開示されていない。

また、非特許文献１では、予め用意された作業者の頭部に取り付けられる一人称カメラ映像とそれに対応づいたモーションキャプチャーの変化を学習データセットとして得られる、一人称視点カメラ映像から人の姿勢を推定するモデルに基づいて、体全体の骨格を推定するが、解像度の点から手先の動作と体全体の動作を同時に認識することは難しい。製品製造の現場において作業者の手元の動きは品質保証上重要であるので、全身の骨格を推定しつつ手元の動作も認識できるよう工夫する必要がある。

そこで、本発明の目的は、人の画像が得られない場合でも人の骨格推定を行い、かつ人の細部の動作を把握することで、適切に動作支援を行うことが可能な人動作支援システムおよびその方法を提供することにある。

本発明に係る人動作支援システムの好ましい一例は、人の画像を取得する第１の端末と、人の動作情報を取得する第２の端末と、前記第１の端末および前記第２の端末と通信可能に接続されるサーバを有する人動作支援システムであって、前記第１の端末により取得される画像情報を基に人の骨格の推定を行う骨格推定部と、前記第２の端末から取得される人の細部の動作情報を用いて、前記骨格推定部により推定される前記骨格情報を補正する骨格補正部と、を有する人動作支援システム、として構成される。

好ましい一例では、上記人動作支援システムは、人の細部の動作情報を管理する細部情報ＤＢと、
前記第２の端末により取得される手の動作情報について、前記細部情報ＤＢを参照して人の細部の動作を推定する細部動作推定部と、
前記骨格補正部により補正された骨格情報と、前記細部動作推定部により推定された細部の動作を用いて、予め学習された機械学習モデルを用いて行動認識を行い、該行動認識が予め定められた動作に対して一定の範囲かを認識する動作認識部と、
前記動作認識部に認識される動作が所定の範囲外にある場合、人の動作を修正するための動作指示を生成する動作指示生成部と、を有する人動作支援システム、として構成される。
本発明はまた、上記人動作支援システムにおける人動作支援方法として把握される。

本発明によれば、人の画像が得られない場合でも人の骨格推定を行い、かつ人の細部の動作を把握することで、適切に動作支援を行うことが可能となる。

実施例１による作業支援システムの構成図である。 施設端末の構成図である。 作業者端末の構成図である。 作業支援システムのサーバの構成図である。 作業支援システムの全体処理フローチャート図である。 骨格情報補正処理を示すフローチャート図である。 作業指示生成部４７０による処理動作を示すフローチャート図である。 実施例２による作業支援システムのサーバの構成図である。 作業工程管理ＤＢ９００の構成を示す図である。 可能姿勢ＤＢ１０００の構成を示す図である。 手先情報ＤＢ１１００の構成を示す図である。 作業指示ＤＢ１２００の構成を示す図である。 逸脱動作実績ＤＢ１３０２の構成を示す図である。 実施例３による作業支援システムの構成図である。 実施例３における監督者端末の構成図である。

好ましい実施形態による人動作支援システムは、現場の作業者の作業を支援する作業支援システムの例である。この作業支援システムは、現場の施設に設置され、作業者の画像を取得する施設端末（第１の端末）と、作業者に装着され、作業者の細部例えば手先情報を取得する作業者端末（第２の端末）と、施設端末および作業者端末と通信可能に接続されるサーバを有して構成される。サーバは、作業者が作業を行う際に取るべき骨格情報を管理する可能姿勢データベース（ＤＢ）と、作業者が作業を行う際に取るべき手先情報を管理する手先情報ＤＢとを有し、作業者が作業を行う際、施設端末が取得した画像情報から作業者の骨格を推定し、前記可能姿勢ＤＢに基づき作業姿勢情報を判定し、作業者端末から取得した手先情報に基づき手先動作を推定し、前記作業姿勢情報に前記手先情報を対応付けて作業者の全身骨格情報を補正し、作業者が標準動作に修正する情報である作業指示情報を生成する。作業者端末は例えば表示部等の出力部を有し、生成された作業指示情報に基づく作業指示を出力部に出力する。

以下、図面を用いて、好ましい実施形態について説明する。

図１は作業支援システムの全体を示す構成図である。
作業支援システム１０は、１又は複数の施設端末２０と、１又は複数の作業者端末３０と、サーバ４０が、通信ネットワーク５０を介して接続して構成される。ここで、施設端末２０は作業場所となる施設に設置される端末である。この施設端末２０は施設に固定して設置されているので固定端末と呼んでもよい。また、施設に関する種々のセンサ情報を取得する機能を有するのでセンサ端末と呼んでもよい。施設内に作業者が居る場合には、センサ情報には作業者の検知が含まれる。

作業者端末３０は作業者に装着される、例えばウェアラブル端末である。施設端末２０が固定端末であるのに対して、作業者端末２０は、移動可能な作業者に装着されるので移動端末と呼んでもよい。また、この作業者端末２０も作業者の動作を含む種々のセンサ情報を取得する機能を有するのでセンサ端末と呼んでもよい。

サーバ４０は、プログラムの実行により種々のデータ処理するデータ処理装置であり、データ処理結果は作業者端末３０や他の必要とする装置（不図示）へ提供される。通信ネットワーク５０は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、公衆通信網（公衆データ通信網、公衆電話網等）、専用線等による無線方式または有線方式の通信手段である。

図２を参照して、施設端末２０の構成について説明する。
施設端末２０は、施設等の場所の環境情報や状態情報を取得するセンサ類２１０と、データ処理する処理部２２０と、センサ類２１０で計測されたセンサ情報をサーバ４０へ送信する通信部２３０を有して構成される。なお、ハードウェアとしては、プログラムを実行して所定の機能を実現するプロセッサと、データやプログラムを記憶するメモリ等の記憶部を備える。ここで、センサ類２１０としては、施設の天井に固定されて施設内の映像を取得するカメラや、施設の所定の場所に固定された赤外線センサ等のセンサが含まれる。処理部２２０は、センサ類２１０による検知のタイミングを制御し、センサ類２１０で検知されたセンサ情報を送信用の所定のフォーマットに変換する、等の処理を行う。

図３を参照して、作業者端末３０の構成について説明する。
作業者端末３０は、作業者に関わる種々の状態や動作の情報を取得するセンサ類３１０と、データ処理する処理部３２０と、通信部３３０と、サーバ４０から送信される指示を含む種々の情報を表示する表示部３４０を有して構成される。なお、ハードウェアとしては、プログラムを実行して所定の機能を実現するプロセッサと、データやプログラムを記憶するメモリ等の記憶部を備える。

センサ類３１０は、例えば作業者の眼鏡に取り付けられた一人称視点カメラや、加速度センサ、ジャイロセンサ、地磁気センサ、マイク等が含まれる。一人称視点カメラは作業者の見ている視点からの映像を取得する。加速度センサ、ジャイロセンサ、地磁気センサ、マイクは、作業者の頭部の加速度、角速度、作業に伴って生じる音、等を取得する。

通信部３３０は、センサ類３１０で取得したセンサ情報をサーバ４０に送信し、及びサーバ４０からの指示例えばサーバ４０の逸脱動作認識の結果に基づいて作業指示生成部４７０で生成される作業指示を受信する。表示部３４０は、通信部３２０を介して受信される、サーバ４０からの作業指示を表示する。

表示部３４０は、例えば、マイクロディスプレイや有機ＥＬ（EL: Electro Luminescence）、ＬＥＤ（Light Emitting Diode）等を用いて構成された表示器である。表示部３４０は好ましくは、ＡＲ（Augmented Reality：拡張現実）機能を備えており、２次元又は３次元で表された現実の風景（例えば作業者が現在眺めている現場の風景）に仮想的な映像を重ねて表示することができる。例えば、ハーフミラーを利用して虚像を形成する虚像投影方式、人の目の水晶体を利用して網膜に直接結像させる網膜投影方式等の方式により、現実の風景に仮想的な映像を重ねて表示する。作業者端末３０の一例として、眼鏡型のウェアラブルデバイス（ＨＭＤ（Head Mounted Display））がある。なお、作業者端末３０は、作業指示を音声で出力するためのスピーカやイヤホン（音声出力部）を更に備えてもよい。もちろん、表示部（表示出力部）に代えて音声のみの出力部を有してもよい。

次に、図４を参照して、サーバ４０の機能について説明する。
サーバ４０は、通信部４１０、全身骨格推定部４２０、手先動作推定部４５０、判定部４３０、全身骨格補正部４６０、逸脱動作認識部４４０、作業指示生成部４７０、全身骨格データベース（以下単にＤＢと略す）４８０、作業工程管理ＤＢ９００、可能姿勢ＤＢ１０００、手先情報ＤＢ１１００、作業指示ＤＢ１２００を有して構成される。なお、ハードウェアとしては、プログラムを実行して所定の機能を実現するプロセッサと、データやプログラムを記憶するメモリやハードディスク等の記憶部を備え、プロセッサがプログラムを実行することで、上記各機能部が実現される。また、上記各ＤＢは記憶部に形成される。

まず、サーバ４０が有する各ＤＢの構成について説明する。
図１０は可能姿勢ＤＢ１０００を示す。
可能姿勢ＤＢ１０００は、腕、脚、胴体、首、頭部など各骨格位置と身体の重心からの相対距離と人間がとることのできる標準的な姿勢との対応付けを管理する。具体的には、可能姿勢ＤＢ１０００は、人間の標準的な姿勢を識別する姿勢ＩＤ１００１aと、各姿勢名を表す姿勢名１００１ｂと、各姿勢における人間の標準的な姿勢を説明する身体の各部位の身体の重心からの距離を３次元で表す相対位置１００１ｃを記憶する。相対位置１００１ｃとしては例えば、右腕相対位置、左腕相対位置１００１等の複数の情報が含まれる。なお、可能姿勢ＤＢ１０００には上記の項目の他に、予め機械学習の手法で学習された、身体の各部位の相対位置を入力として、人間が該当姿勢を取りうるかを判定するモデルを格納してもよい。

図１１は手先情報ＤＢ１１００を示す。
手先情報ＤＢ１１００は、作業者端末３０のセンサ類３１０から取得される作業者の見ている映像、作業者の頭部の加速度、角速度、作業に伴って生じる音などのセンサ情報と、それらのセンサ情報に対応する手先動作との関係を管理する。具体的には、手先情報ＤＢ１１００は、手先動作を識別する手先動作ＩＤ１１０１aと、各手先動作の動作名を表す手先動作名１１０２ｂと、各手先動作に対応するセンサ情報１１０３ｃから成る。図示の例のように、手先動作に関するセンサ情報として、ジャイロ、加速度があげられる。なお、手先情報ＤＢ１１００には、作業者端末３０のセンサ類３１０から得られるセンサ情報を基に作業者が手元でどういった行動が行われているかを推測する予め訓練された機械学習モデルが格納されてもよい。

図９は作業工程管理ＤＢ９００を示す。
作業工程管理ＤＢ９００は、例えば、作業者が行う作業の手順や、各手順に対応する適正姿勢、手元の動作等によって表される作業の標準動作を管理する。具体的には、作業工程管理ＤＢ９００は、作業を識別する作業ＩＤ９０１aと、作業に要する標準作業時間を表す標準作業時間９０１ｂと、各作業に対して適切な作業姿勢を表す適切全身姿勢９０１ｃと、各作業に対して適切な手元の動作を表す適切手元動作９０１ｄと、作業者の適正な位置を表す適正作業エリア９０１eを記憶する。

図１２は作業指示ＤＢ１２００を示す。
作業指示ＤＢ１２００は、作業者の状態と作業指示の関係を管理する。具体的には、作業指示ＤＢ１２００は、作業指示を識別する作業指示ＩＤ１２０１aと、作業者の現在の行動や逸脱動作状態を表す作業者状態１２０１ｂと、作業者が適切な作業を行えるための指示内容を格納する作業指示内容１２０１ｃと、作業指示をどのような方法で作業者に通達するかを表す指示方法１２０１ｄを記憶する。

全身骨格ＤＢ４８０は、施設端末２０のセンサ類２１０から得られる映像や作業者の位置情報を基に現在、作業者がどういった姿勢をとっているのかを推測する予め訓練された機械学習モデルが格納される。この機械学習モデルは通常のスケルトン推定を想定しており、例えば人が写っている画像データに対して、人手でアノテーションされた骨格（スケルトン情報）や関節情報を教師データとして与える機械学習モデルを用いる。

次に、サーバ４０の各機能部について説明する。
通信部４１０は、施設端末２０及び作業者端末３０のセンサ類２１０、３１０が検知したセンサ情報を受信、及びサーバから作業者端末３０へ送信される作業指示等の送信を行う。センサ情報には、例えば作業者の見ている一人称映像、作業者の頭部の加速度、角速度、作業に伴って生じる音、作業者の位置情報、等が含まれる。

全身骨格推定部４２０は、施設端末２０のセンサ類２１０が取得したセンサ情報（映像やセンサ検知情報が含まれる）を基に作業者の全身の骨格を推定する。骨格の推定は機械学習で訓練済みの姿勢推定のアルゴリズムを用いる。このアルゴリズムは例えば、人が映った入力画像と、その教師データとして入力画像中に映る人の骨格情報を教師データとして用いて訓練することにより、人が映った入力画像に対して、人物の骨格情報を推定する機械学習アルゴリズムである。

判定部４３０は、全身骨格推定部４２０で推定された骨格が正しく推定されているか否かを可能姿勢ＤＢ１０００の情報を参照ながら判定する。具体的には、全身骨格推定部４２０で推定された身体の各部位の身体の重心に対する相対座標と、可能姿勢ＤＢ４２０に登録済みの各姿勢の相対座標の差分をとり、この差分の最小値が所定の値を超えた場合に、姿勢が正しく推定されていないと判定する。所定の値は、予め設定しておいたものでよい、或いは判定を繰り替えうちに何らかの機械学習によって更新してもよい。

全身骨格補正部４６０は、全身骨格推定部４２０で推定された骨格情報を、作業者端末３０から得た情報を基に補正する。全身骨格推定部４２０で推定された骨格とは、判定部４３０で正しく推定された骨格を意味する。また、補正とは、部位の情報を他の情報に置換すること、または他の情報に修正すること、或いは足りない情報を補間すること、等を含む。作業者が施設端末２０によるセンサ情報取得の死角に隠れた場合、作業者が施設端末２０の死角に隠れる直前の動きや骨格情報、作業者端末３０から受信した作業者の見ている一人称映像、作業者の頭部の加速度、角速度などを教師データとして、全身の骨格の変化を機械学習の手法で推定して、死角に隠れた後の骨格を補正する。また、推定された骨格情報を、可能姿勢ＤＢ１０００に登録されている各姿勢における人間の標準的な姿勢を説明する身体の各部位の身体の重心からの距離（相対位置１００１ｃ）と比較して、差分が最小になる標準姿勢に補正する。

手先動作推定部４５０は、作業者端末３０から取得される、作業者の見ている一人称映像、作業者の頭部の加速度、角速度等の情報を基に、作業者が手元でどのような動作を行っているのかを推定する。手先情報ＤＢ１１００に登録された各作業に対応するジャイロや加速度を、作業者端末３０から受信する上記情報を参照しながら、両者の差分が最も小さい作業の動作を行っているものと推定する。また、差分が予め定義された閾値よりも大きい場合は、どの手先動作にも属さない「その他」動作とする。この閾値は機械学習の手法により更新されてもよい。

逸脱動作認識部４４０は、全身骨格推定部４２０で推定された全身骨格情報または全身骨格補正部４６０で補正された全身骨格情報と、手先動作推定部４５０で推定された手先の動作を用いて、予め学習された機械学習モデルで行動認識を行い、その行動認識結果と、現在の時刻、作業工程と作業工程管理ＤＢ９００に予め登録された動作が一致するか、また標準作業時間を予め定めた許容誤差時間以内で行っているかによって、逸脱動作認識を行う。

ここで、行動認識とは、ディープラーニングによる行動認識を想定しており、学習データセットは「行動名がアノテーションされている動画片」と想定していす。例えば、ねじを巻いている動画片とねじを巻いている、というアノテーション、金づちを振るという動画片と金づちを振る、というアノテーション、などの組をディープラーニングで学習することを想定している。行動認識結果とは、例えば、現在時刻で「ねじを巻いている」のか、「なにもしていない」のか、「金づちを打っている」のか、「ものを拾ろっている」のか、「器具を操作しているのか」、などの情報である。

作業指示生成部４７０は、逸脱動作認識部４４０で行われた行動認識の結果および逸脱動作認識の結果と作業指示ＤＢ１２００の内容とを比較し、最も近い作業状態に対応する作業指示を作業指示ＤＢ１２００の作業指示内容１２０１ｃから選定して、作業者支援のための作業指示を生成する。

次に、図５を参照して、作業支援システムにおける処理動作について説明する。
まず、施設端末２０のセンサ類２１０が、作業者の見ている映像、作業者の頭部の加速度、角速度、作業に伴って生じる音等のセンサ情報を取得する（Ｓ５０１）。同様に、作業者端末３０のセンサ類３１０が映像を含むセンサ情報を取得する（Ｓ５０２）。

取得されたセンサ情報は、施設端末２０で取得されたセンサ情報は通信部２３０から、及び作業者端末３０で取得されたセンサ情報は通信部３３０からそれぞれサーバ４０へ送信される。サーバ４０の通信部４１０は、各端末から送信されたセンサ情報を受信する（Ｓ５０３）。なお、図示していないが、受信したセンサ情報は一旦、記憶部に格納される。

次に、全身骨格推定部４２０が、受信したセンサ情報を基に、作業者の全身の骨格の推定を行う（Ｓ５０４）。具体的には、作業者端末３０のセンサ類３１０で取得された映像を含むセンサ情報の入力に対して、人間の骨格情報を教師データとしてあらかじめ訓練された機械学習モデルを用いて全身骨格を推定する。この機械学習モデルは、全身骨格ＤＢ４８０に保管される。

次に、手先動作推定部４５０が、受信したセンサ情報を基に、手先動作を推定する（Ｓ５０５）。例えば、ある時刻において作業者端末３０が取得して、通信部４１０で受信したセンサ情報が、ジャイロ(1.3, 2.1, 1.2)、加速度(3.0, 3.6, 2.1)であった場合、これらの情報をキーにして手先情報ＤＢ１１００にある手先動作名１１０２ｂを検索する。

この検索は、センサ情報であるジャイロと加速度の各値と、手先情報ＤＢ１１００内のジャイロと加速度との差分が最小になる手先動作ＩＤ１１０１ａを探索する方法で実行される。この場合、||をベクトル値の絶対値を計算する記号として、
作業ＩＤ1との差分=|(1.3, 2.1, 1.2)- (2.1,3.5,3.3)|+| (3.0, 3.6, 2.1)- (1.2,1.0,3.3)|=6.02
作業ＩＤ2との差分=|(1.3, 2.1, 1.2)- (1.4,2.3,1.0)|+| (3.0, 3.6, 2.1)- (3.3,3.1,2.3)|=0.91
作業ＩＤ3との差分=|(1.3, 2.1, 1.2)- (3.2,1.3,4.0)|+| (3.0, 3.6, 2.1)- (2.2,1.0,2.0)|=6.2
作業ＩＤ4との差分=|(1.3, 2.1, 1.2)- (0.0,0.0,0.0)|+| (3.0, 3.6, 2.1)- (0.3,0.0,0.0)|=7.7
と計算を行う。その結果、最も小さい差分の手先動作ＩＤ１１０１ａに対応する手先動作名１１０２ｂを、作業者が行っている手元の動作と判定する。

次に、全身骨格補正部４６０が、処理Ｓ５０４、Ｓ５０５により推定された骨格情報を適宜補正する（Ｓ５０６）。この補正処理の１つには、作業者が死角に居る期間の作業者の骨格情報を、既得の骨格情報を用いて補正する処理が含まれる。この処理については図６を参照して後述する。

その後、逸脱動作認識部４４０が、処理Ｓ５０４で得られた全身骨格推定結果と処理Ｓ５０５で得られた手先動作の推定結果を用いて、逸脱動作の認識を行う（Ｓ５０７）。逸脱動作の認識は、作業工程管理ＤＢ９００を参照しながら、予め学習された機械学習モデルを用いて行われる。例えば、機械学習による行動認識の結果として、「かがみながら拭く」という結果が３０秒間続いたとする。この場合、作業ＩＤ１に対応する許容誤差時間が２０秒であれば逸脱動作として認定しないが、許容誤差時間が１０秒であれば、当該時刻の作業者の行動を逸脱動作として検知する。例えば、機械学習による行動認識の結果として、「直立して閉める」という結果が２０秒続いた後に、機械学習による行動認識の結果として、「かがみながら拭く」という結果が得られたとする。このとき、作業工程管理ＤＢ９００を参照すると、「直立して閉める」という作業は作業ＩＤ２に対応するが、その次の作業は「移動」（作業ＩＤ３）であるから、次の作業が間違っていることになる。そこで、逸脱動作認識部４４０はこの動作を逸脱動作と認識する。

次に、作業指示生成部４７０が、逸脱動作認識処理Ｓ５０７により得られた逸脱動作認識の結果に基づいて、作業指示ＤＢ１２００を参照しながら、作業者が適切な作業を行うための作業指示情報を生成する（Ｓ５０８）。例えば、逸脱動作有りと認識した場合には、作業者に適切な作業動作を行わせる（戻させる）ための表示や音声を含む作業指示情報を生成する。なお、この処理動作の詳細については、図８を参照して後述する。

次に、通信部４１０が、処理Ｓ５０８で生成された作業指示情報を作業者端末３０へ送信する（Ｓ５０９）。
作業者端末３０では、通信部３２０を介して作業指示情報を受信して（Ｓ５０９）、処理部３２０が、作業指示情報を基に、作業者が標準動作で作業するための適切な作業指示の表示を生成して表示部３３０に表示する（Ｓ５１０）。この作業指示の表示については後述する。なお、音声による作業指示がある場合には、表示部に作業指示を表示する他に、作業者端末３０が有するスピーカに音声出力する。

その後、処理部３２０は、作業者の作業が標準動作に到達したか、を判断する。これは、行動認識の結果と作業工程管理ＤＢ９００の内容を比較することで標準動作に達したか否かを判断する。例えば、作業工程管理ＤＢ９００の作業工程が「作業ＩＤ１→作業ＩＤ２→作業ＩＤ３」とすると、直前までの行動認識の結果が作業ＩＤ２であれば、次の時刻での行動認識の結果が作業ＩＤ３でなければならない。このとき、行動認識結果が作業ＩＤ３であれば、この時の行動は標準動作である。作業ＩＤ２の次の行動認識を行うことで標準動作に到達したか否かを判定する。

この判断の結果、標準動作に到達していなければ（Ｓ５１１：ＮＯ）、Ｓ５０１に戻り、標準動作に到達したと判断した場合（Ｓ５１１：ＹＥＳ）、この作業支援処理Ｓ５００を終了する。

次に、図６を参照して、骨格情報補正処理Ｓ５０６について説明する。
全身骨格補正部４６０は、以下の動作を伴って骨格情報の補正処理を行う。
まず、施設端末２０のセンサ類２１０が取得した情報を基に人認識機能を用いて、作業者が施設端末２０の死角にいるかを判定する（Ｓ６０１）。人認証機能とは、施設端末２０が取得したカメラ画像から画像内の色情報を抽出して、事前に定義した人と人以外の色情報（例えば背景画像）を比較して、画像内に人が映っているか否かを判断する機能である。人が死角に居る場合には、背景画像内に人が映っていない。

処理Ｓ６０１の結果、作業者が死角にいると判断した場合（Ｓ６０１：ＹＥＳ）、全身骨格補正部４６０は、現在時刻以前のフレームの骨格推定の結果を用いて、現在の骨格の推定を行う（Ｓ６０２）。この骨格の推定は、主に骨格の補完の処理である。骨格の推定結果が適切か否かは、可能姿勢ＤＢ１０００の内容と照合することで、判断できる。

次に、推定された骨格について、作業者端末３０から得られた情報を基に骨格の補正を行う（Ｓ６０３）。この補正は、作業者端末３０から得られた手先動作に関するセンサ情報を用いて、処理Ｓ６０２で推定された骨格を微調整するものである。この処理により、作業者の細部の動作を把握することができる。
骨格の修正の処理Ｓ６０３が終わったら、および処理Ｓ６０１において作業者が死角にいないと判定された場合（Ｓ６０１：ＮＯ）、骨格情報の補正処理を終了する。

次に、図７を参照して、作業指示情報の生成処理Ｓ５０８について説明する。
作業指示生成部４７０は、逸脱動作認識部４４０の結果と可能姿勢ＤＢ９００とを参照しながら、作業指示情報を生成する。

まず、Ｓ７０１において、不適切な領域に侵入したかを判定する。例えば、逸脱動作認識部４４０が、作業者が作業工程管理ＤＢ９００に登録された適正な作業エリア９０１ｅ以外の異なる作業エリアに侵入したと判定した場合（Ｓ７０１：ＹＥＳ）にＳ７０２に進み、そのように判定しなかった場合（Ｓ７０１：ＮＯ）にはＳ７０３に進む。

Ｓ７０２では、作業指示ＤＢ１２００の作業指示ＩＤ３に基づいた作業指示１２０１ｃを生成して、その後、この作業指示生成の処理を終了する。

Ｓ７０３では、逸脱動作認識部４４０が、作業工程管理ＤＢで作業者が直前に行った作業の次に登録されている作業以外の作業を検知した場合（Ｓ７０３：ＹＥＳ）にＳ７０４に進み、作業者が直前に行った作業の次に登録されている作業以外の作業を検知しなかった場合（すなわち作業の次の動作を検知した場合）（Ｓ７０３：ＮＯ）はＳ７０５に進む。Ｓ７０４では、作業指示ＤＢ１２００の作業指示ＩＤ１とＩＤ２に基づいた指示を生成して、その後、作業指示生成の処理を終了する。

Ｓ７０５では、作業工程管理ＤＢ９００に登録された標準作業時間よりも短い時間で作業完遂を検知した場合（Ｓ７０５：ＹＥＳ）にＳ７０６に進み、それ以外の場合（Ｓ７０５：ＮＯ）はＳ７０７に進む。Ｓ７０６では作業指示ＤＢ１２００の作業指示ＩＤ４に基づいた作業指示が生成される。
Ｓ７０７では、作業指示ＤＢ１２００の作業指示ＩＤ５に基づいた指示が生成される。

上記したように、実施例１によれば、現場の作業者に作業を支援する情報を提供することができ、作業者が逸脱動作を行った場合であっても効率よく適切に標準動作に修正して作業を進めさせることが可能となる。

図８および図１３を参照して、実施例２について説明する。
実施例２は、逸脱動作に関する情報をログとして記憶部に記憶する例である。この情報は、例えば後に作業者が同様な逸脱動作を行わないようにするための、教育用或いは解析用の情報として利用することができる。

図８において、実施例１に示した作業支援システムに、実績記録部１３０１と、逸脱動作実績ＤＢ１３０２が追加される。逸脱動作認識部４４０が逸脱動作を検知した場合に、逸脱動作を検知した時刻や逸脱動作時における作業者の姿勢、作業者が何を見ていたか等に関する情報を、実績記録部１３０１が逸脱動作実績ＤＢ１３０２に記憶する。

図１３に、逸脱動作実績ＤＢ１３０２の構成を示す。逸脱動作実績ＤＢ１３０２は、逸脱動作を起こした作業者名を示す作業者名１４０１aと、逸脱動作時の動作を示す姿勢１４０１ｂと、本来のあるべき姿勢１４０１ｃと、逸脱動作の開始時刻と終了時刻を示す逸脱動作開始・終了時刻１４０１ｄと、作業者端末３０が取得した、逸脱動作時の一人称映像である作業者の手元画像１４０１e、の各情報を記憶する。作業者の手元画像はカラー（Ｒ,Ｇ,Ｂ）である。

実施例３による作業支援システムを図１４に示す。実施例３では、実施例１に示した、作業支援システム１０に監督者端末１５０（第３の端末）が追加される。
図１５に示すように、監督者端末１５０は、ハードウェアとしては、プログラムを実行して所定の機能を実現する処理部１５０１と、ネットワーク５０を介してサーバ４０および作業者端末３０と通信する通信部１５０２と、表示部１５０３と、入力部１５０４とを有する。図示以外に、データやプログラムを記憶するメモリ等の記憶部（不図示）を有している。

ここで、通信部１５０２は、サーバ４０が処理する、各作業者が行っている作業工程や逸脱動作の有無に関するデータを受信し、さらに１又は複数の作業者端末３０から作業動画等を受信する。処理部１５０１は、プログラムを実行することで、作業者端末３０を使用する作業者の作業状況を処理して表示部１５０３に表示する処理を行う。さらに、入力部１５０４から監督者により入力される指示を、通信部１５０２を介してサーバ４０または作業者端末３０へ送信する。

例えば、処理部１５０１は、受信部１５０２を介して受け取った１または複数の作業者の作業状況をリアルタイムに表示部１５０３に表示する制御を行う。作業状況とは、作業者が現在どの作業工程を行っているのか、逸脱動作の有無、作業者端末３０から取得される映像などの情報を含む。作業監督者は、表示部１５０３に表示される作業者の作業状況を確認することができる。その確認状況に応じて、入力部１５０４より指示を入力して、その指示を作業者端末３０へ送信して表示部３４０に表示させることで、作業者の異常動作を未然に防ぐことが可能になる。

実施例１に示した作業支援システムでは、サーバ４０が図４に示した処理機能を有している。実施例４はその代替例であり、サーバ４０が有する処理機能の一部または全部を、作業者端末３０または監督者端末１５０に持たせることが可能である。

各作業者の行う作業が逸脱動作をしているか否かが主な目的であるので、一例では、サーバ４０が有する全ての処理機能を作業者端末３０の処理部３２０で行わせて、その処理結果を作業者端末３０の表示部３４０に表示する。

また他の例として、サーバ４０が有する全ての処理機能を監督者端末１５０の処理部１５０１で行わせることが可能である。この場合、監督者端末１５０は、複数の作業者端末３０からの情報を収集して、図５の処理結果を複数の作業者端末３０に提供して、それぞれの表示部３４０に表示させることができる。

実施例１では、施設に設置された第１の端末と、作業者に装着した第２の端末を用いて、作業者の作業動作の改善するための作業支援システムを構築している。他の適用例は、実施例１のような施設における作業者の作業支援に限らず、固定的な第１の端末の検知情報と、人に装着した第２の端末の検知情報を用いて、人の動作を適正に補正するシステムに適用することができる。例えば、リハビリ患者の人体動作と手足の細部の動作を検知、補正する場合や、運動選手の体の動作と手足の動作を検知、補正する場合等に適用可能であろう。

この場合、実施例１における手先情報ＤＢ１１０は、手足の情報を管理する細部情報ＤＢとして、また手先動作推定部４５０は細部動作推定部として構成することが可能である。
また、実施例１または実施例３における、第２の端末または第３の端末が有する表示部を、システム構成上、第２の端末または第３の端末から分離して別に構築することが可能である。別に構築された表示器は通信手段を有して、上記サーバ又は第２の端末または第３の端末と通信可能な、例えばタブレット端末である。

また、実施例１では、第１の端末は作業場所となる施設に設置され、第２の端末は作業者に装着される、としている。代案によれば、第１の端末は屋外や路上、交差点等に設置された画像センサでよく、この画像センサを利用して屋外等にいる人の画像を取得することができる。また、第２の端末は必ずしも人に装着される端末に限らない。例えば、人の近隣に配置されて、人の手足の細部の動作が取得できればよい。

以上、幾つかの実施例を説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、ある実施例の構成の一部を他の実施例の構成に置き換えてもよいし、ある実施例の構成に他の実施例の構成を加えてもよい。また各実施例の構成の一部について、他の構成の追加、削除、又は置換をしてもよい。

上記実施例では、作業者が、第１の端末により検知の死角に入ったときの、人の骨格及び指動作の推定、補正を行う作業支援システムを開示する。他の例によれば、人が死角に入ったか否かに拘わらず、システム上の不都合によって第１の端末で人の画像が取得できない場合に、上記実施例を適用することが可能である。

１０…作業支援システム ２０…施設端末 ３０…作業者端末
４０…サーバ
２１０、３１０…センサ類 ２２０…処理部 ３２０…処理部
２３０…送信部 ３３０…通信部 ３４０…表示部
４１０…通信部 ４２０…全身骨格推定部
４３０…判定部 ４４０…逸脱動作認識部
４５０…手先動作推定部 ４６０…全身骨格補正部
４５０…手積動作推定部 ４８０…全身骨格ＤＢ
４７０…作業指示生成部 ９００…作業工程管理ＤＢ
１２００…作業指示ＤＢ １１００…手先情報ＤＢ

Claims (12)

1. 人の画像を取得する第１の端末と、人の動作情報を取得する第２の端末と、前記第１の端末および前記第２の端末と通信可能に接続されるサーバを有する人動作支援システムであって、
   前記第１の端末により取得される画像情報を基に人の骨格の推定を行う骨格推定部と、
   前記第２の端末から取得される人の細部の動作情報を用いて、前記骨格推定部により推定される前記骨格情報を補正する骨格補正部と、を有する
   ことを特徴とする人動作支援システム。
2. 人の細部の動作情報を管理する細部情報ＤＢと、
   前記第２の端末により取得される手の動作情報について、前記細部情報ＤＢを参照して人の細部の動作を推定する細部動作推定部と、
   前記骨格補正部により補正された骨格情報と、前記細部動作推定部により推定された細部の動作を用いて、予め学習された機械学習モデルを用いて行動認識を行い、該行動認識が予め定められた動作に対して一定の範囲かを認識する動作認識部と、
   前記動作認識部に認識される動作が所定の範囲外にある場合、人の動作を修正するための動作指示を生成する動作指示生成部と、を有する
   ことを特徴とする、請求項１の人動作支援システム。
3. 前記第１の端末は人が行動する場所に設置された端末であって、人の画像を検知する画像センサを有し、
   前記第２の端末は人に装着される端末であって、人の手または足の動作を検知するセンサと、前記動作指示生成部により生成される動作指示を出力する出力部を有する、
   請求項２の人動作支援システム。
4. 人の標準的な姿勢に関する骨格情報を管理する可能姿勢データベース（ＤＢ）と、
   前記可能姿勢ＤＢを参照して、該骨格推定部により推定される骨格の推定の妥当性を判定する判定部と、を有し、
   前記骨格補正部は、前記判定部で正しく推定された骨格について前記骨格情報を補正する、
   ことを特徴とする、請求項１の人動作支援システム。
5. 前記骨格補正部は、前記第２の端末から取得される手の動作情報を用いて、前記骨格の部位の情報を他の情報に置換すること、または他の情報に修正すること、或いは足りない情報を補間することで、前記骨格情報を補正する、請求項１の人動作支援システム。
6. 作業者が行う作業の手順と、各手順に対応する適正姿勢と、手元の動作によって表される作業の標準動作を管理する作業工程管理ＤＢと、
   作業者の状態に対応する作業指示を管理する作業指示ＤＢと、を有し、
   前記認識部は、前記作業工程管理ＤＢを参照して、前記行動認識が予め定められた動作に対して逸脱しているかを判断し、
   前記動作指示生成部は、前記認識部による認識結果に従って、前記作業指示ＤＢから前記動作指示としての前記作業指示を生成する
   請求項２の人動作支援システムを用いた作業支援システム。
7. 前記サーバが、前記骨格推定部と、前記骨格補正部と、前記細部情報ＤＢと、前記動作認識部と、前記動作指示生成部とを有する
   請求項２の人動作支援システム。
8. 前記第２の端末が、前記骨格推定部と、前記骨格補正部と、前記細部情報ＤＢと、前記動作認識部と、前記動作指示生成部と、前記出力部とを有する
   請求項３の人動作支援システム。
9. 前記サーバと前記第２の端末に接続される第３の端末を有し、
   前記第３の端末は、前記動作指示生成部から送信される前記動作指示を受信する通信部と、
   表示部と、
   入力部と、
   前記通信部を介して受信される前記動作指示を前記表示部に表示させ、かつ前記入力部より入力される指示を前記通信部を介して前記第２の端末へ送信する処理部と、を有する
   請求項２の人動作支援システム。
10. 前記動作認識部による動作の認識の結果、少なくとも、前記一定の範囲内と認識できなかった動作を検知した時刻、姿勢、前記第２の端末が検知した人の細部の画像を記憶する動作実績ＤＢを有する、
    請求項１の人動作支援システム。
11. 第１の端末および第２の端末と通信可能に接続されるサーバを有するシステムにおける人動作支援方法であって、
    第１の端末が人の画像を取得するステップと、
    第２の端末が人の動作情報を取得するステップと、
    骨格推定部が、前記第１の端末により取得される画像情報を基に人の骨格の推定を行う骨格推定ステップと、
    骨格補正部が、前記第２の端末から取得される人の細部の動作情報を用いて、前記骨格推定ステップにおいて推定される前記骨格情報を補正する骨格補正ステップと、を有する
    ことを特徴とする人動作支援方法。
12. 人の細部の動作情報を管理する細部情報ＤＢを記憶部に用意するステップと、
    細部動作推定部が、前記第２の端末により取得される手の動作情報について、前記細部情報ＤＢを参照して人の細部の動作を推定するステップと、
    動作認識部が、前記骨格補正ステップにおいて補正された骨格情報と、前記細部動作推定ステップにおいて推定された細部の動作を用いて、予め学習された機械学習モデルを用いて行動認識を行い、該行動認識が予め定められた動作に対して一定の範囲かを認識する動作認識ステップと、
    動作指示生成部が、前記動作認識ステップおいて認識される動作が所定の範囲外にある場合、人の動作を修正するための動作指示を生成する動作指示生成ステップと、を有する
    ことを特徴とする、請求項１１の人動作支援方法。

Images