JP2023019009A - 作業状況分析システム及び作業状況分析方法 - Google Patents

Abstract

【課題】取扱うデータ量を抑えつつ、作業者の作業が適切か否かを自動的に判定可能な作業状況分析システム及び作業状況分析方法を提供する。【解決手段】作業状況分析システム１において、通信装置２１は、作業者の作業状況を撮影した撮影データを取得する。処理装置２２は、作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行って構築された作業推定モデルを有し、撮影データに基づく静止画を作業推定モデルに入力してそれぞれの静止画が示す作業を推定し、作業の推定結果を時系列で並べた第１作業推定データを作成する。さらに、第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成し、作成した第２作業推定データに基づいて作業の順序を推定する。そして、推定した作業の順序に基づき、作業者が行った作業の順序が適切か否かを判定する。【選択図】図１

Description

本発明は、主として、作業者の作業状況を分析する作業状況分析システムに関する。

特許文献１は、作業場の正確な作業記録情報を作成する現場作業実施状況管理装置を開示する。具体的には、現場作業実施状況管理装置は、作業データ取得部と、作業場所情報取得部と、作業時刻情報取得部と、撮像部と、を備える。作業データ取得部は、作業者の装着具等に設けられており、作業に関するデータを取得する。作業場所情報取得部は、外部のサーバと通信を行うことにより、作業の実施場所を取得する。作業時刻取得部は、外部のサーバと通信を行うことにより、作業の実施時刻を取得する。撮像部は、作業に関する映像情報を取得する。現場作業実施状況管理装置は、撮像部が取得した映像情報をベースとし、作業データ取得部、作業場所情報取得部、作業時刻情報取得部によって取得された情報を追加していくことにより、書式の異なる複数の情報の集合体を、１つの作業に対応させて作業記録情報を作成する。

特開２００８－８４０６８号公報

特許文献１が開示する方法では、作業者による作業が適切か否かを装置側で判定できないため、管理者が映像等に基づいて判定する必要がある。また、作業に関する映像情報はデータ量が大きいため取扱いが困難となり易い。

本発明は以上の事情に鑑みてされたものであり、その主要な目的は、取扱うデータ量を抑えつつ、作業者の作業が適切か否かを自動的に判定可能な作業状況分析システムを提供することにある。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

本発明の第１の観点によれば、以下の構成の作業状況分析システムが提供される。即ち、作業状況分析システムは、通信装置と、処理装置と、を備える。前記通信装置は、作業者の作業状況を撮影した撮影データを取得する。前記処理装置は、前記撮影データに基づいて作業状況を分析する。前記処理装置は、作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルを有している。前記処理装置は、前記通信装置が取得した前記撮影データに基づく静止画を前記作業推定モデルに入力することにより、それぞれの静止画が示す作業を推定し、作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行う。前記処理装置は、前記第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行う。前記処理装置は、前記第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行う。前記処理装置は、前記作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行う。

本発明の第２の観点によれば、以下の作業状況分析方法が提供される。即ち、作業者の作業状況を撮影した撮影データを取得する。作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルに対して、前記撮影データに基づく静止画を入力することにより、静止画が示す作業を推定する。作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行う。前記第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行う。前記第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行う。前記作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行う。

これにより、作業者が行った作業を作業推定モデルを用いて推定するため、高い精度で作業者の作業の順序を判定できる。特に、動画ではなく静止画を入力とすることにより、機械学習に必要なデータ量及び作業推定モデルのデータ量を小さくすることができる。

本発明によれば、取扱うデータ量を抑えつつ、作業者の作業が適切か否かを自動的に判定可能な作業状況分析システムを実現できる。

本発明の一実施形態に係る作業状況分析システムの構成を示すブロック図。 工程毎に作業推定モデルを構築する処理を示す図。 距離学習を行って教師データを分類したマッピング結果と、実際の作業を分類したマッピング結果とを概念的に示す図。 撮影装置が取得した動画に基づいて作業状況を判定する処理を示す図。 作業漏れが発生したことを検出する例を示す図。 作業時間の超過が発生したことを検出する例を示す図。 作業が正常であることを検出する例を示す図。

次に、図面を参照して本発明の実施形態を説明する。図１に示す作業状況分析システム１は、作業者が行った作業が適切か否かを自動的に判定するシステムである。

作業状況分析システム１は、例えば、工場内で製品を製造又はメンテナンスするための作業、具体的には、組立て、塗装、洗浄、分解、潤滑剤の塗布等に適用可能である。作業状況分析システム１は、工場内での作業に限られず、人、ロボット、又は工作機械等が行うあらゆる作業に適用可能である。

本実施形態の作業は、図１に示すように、工程Ａ、工程Ｂ、工程Ｃの３段階に分かれており、各工程に１又は複数の作業が含まれる。例えば工程Ａが第１部品へのグリス塗布である場合、第１部品の第１箇所へのグリス塗布が作業Ａ－１であり、第１部品の第２箇所へのグリス塗布が作業Ａ－２である。

作業状況分析システム１は、撮影装置１１と、映像管理装置１２と、コンピュータ１３と、を備える。

撮影装置１１は、ビデオカメラである。撮影装置１１は、レンズが作業場を向くように配置されており、作業を行う作業者を撮影して動画を生成する。撮影装置１１は、生成した動画（撮影データ）を映像管理装置１２に送信する。図１には、作業場及び撮影装置１１が１つずつ表示されている。これに代えて、複数の作業場にそれぞれ撮影装置１１が配置されてもよい。撮影装置１１は、ビデオカメラに限られず、静止画（撮影データ）を撮影するカメラであってもよい。

映像管理装置１２は、ＰＣ等の情報処理装置である。映像管理装置１２は、撮影装置１１から受信した動画に関する処理を行う。映像管理装置１２は、例えば、撮影装置１１から受信した動画を保存し、更に、この動画を複数枚の静止画に変換する処理を行う。映像管理装置１２は、複数枚の静止画をコンピュータ１３に送信する。

コンピュータ１３は、ＰＣ、サーバ、又はワークステーション等の情報処理装置である。コンピュータ１３は、通信装置２１と、処理装置２２と、表示装置２３と、を備える。通信装置２１は、有線通信や無線通信を行う通信モジュール等である。通信装置２１は、外部機器と通信可能である。通信装置２１は、例えば、映像管理装置１２と通信してデータをやり取りしたり、外部のサーバと通信してデータをやり取りしたり、ネットワークを介してシステムの管理者の端末とデータをやり取りしたりすることができる。処理装置２２は、ＣＰＵ等の演算装置と、ＨＤＤ又はＳＳＤ等の記憶装置と、を備える。演算装置は、記憶装置に記憶されたプログラムを実行することにより、撮影装置１１または映像管理装置１２から受信した静止画に基づいて、作業者が行った作業が適切か否かを判定する処理を実行する。表示装置２３は、液晶又は有機ＥＬなどのディスプレイであり、分析システム１に関する情報を表示可能である。分析システム１に関する情報とは、例えば、現在の分析システム１の稼動状況及び異常発生状況等である。

処理装置２２は、作業推定モデルを有している。作業推定モデルとは、機械学習により構築されたモデルであり、作業状況の静止画を入力として、作業者の作業内容を出力するモデルである。

次に、図２及び図３を参照して、作業推定モデルを構築する処理を説明する。

本実施形態では、工程毎に作業推定モデルを構築する。初めに、工程Ａを行う作業者及び作業場を撮影して動画を生成する。作業者の様々な動作を学習させるために、複数の動画を生成することが好ましい。動画の生成は撮影装置１１を用いて行ってもよいし、別の撮影装置を用いて行ってもよい。

次に、動画に基づいて学習用データを生成する。図２に示すように、学習用データは、複数枚の静止画で構成されたデータであり、静止画が示す作業が関連付けられている。例えば動画を見て作業Ａ－１が行われている時間帯を指定することで、この時間帯の動画を所定の時間間隔で静止画として切り出すことにより、作業Ａ－１に関する学習用データを生成できる。同様に、作業Ａ－２が行われている時間帯、その他の作業が行われている時間帯について指定することで、工程Ａに関する学習用データを生成できる。その他の作業とは、作業Ａ－１及び作業Ａ－２以外の作業であり、工程Ａにおいて通常発生し得る作業である。例えば、作業Ａ－１が終わった後に作業者が作業Ａ－２の準備をする作業である。

次に、生成した学習用データを機械学習用のコンピュータに入力して機械学習を行わせることにより、工程Ａの作業推定モデルが構築される。機械学習用のコンピュータはコンピュータ１３と同じであってもよいし、異なっていてもよい。本実施形態の機械学習は教師あり学習であり、上述した学習データが教師データである。機械学習モデルの形式は限定しないが、例えば、一般的な構成のニューラルネットワークを用いたモデルを用いることができる。

作業推定モデルは、学習用データに基づいて工程Ａの各作業を行う際における状況、具体的には作業者の位置・姿勢、ワークの位置・姿勢、工具の位置・姿勢等に関する特徴及び傾向を分析して構築されている。

より具体的には、作業推定モデルは、それぞれの作業の特徴に基づいて距離学習を行うことにより構築されている。距離学習とは、学習用データをカテゴリ毎の（本実施形態では工程毎の）特徴に応じて仮想座標上にプロットしてカテゴリ毎に範囲を定める手法である。仮想座標はデータの特徴に応じて位置が定まるものであり、特徴が互いに類似するデータは仮想座標上で近い位置にプロットされる。つまり、図３に示すように、同じ作業を示すデータは仮想座標上において一定の範囲にプロットされる。

以上により工程Ａの作業推定モデルを構築できる。同様の方法により、工程Ｂ及び工程Ｃの作業推定モデルを構築できる。本実施形態では工程毎に作業推定モデルを作成するが、複数の工程を包括する作業推定モデルを構築してもよい。

作業推定モデルを用いて未知のデータ（具体的には、作業が不明な静止画）の作業を推定する場合、初めに作業推定モデルに該当の静止画を入力する。作業推定モデルは、この静止画の特徴を分析し、この静止画の仮想座標上での位置を特定する。例えば、静止画が作業Ａ－１の範囲の中心又はその近傍に位置している場合、作業推定モデルは、推定結果として作業Ａ－１の確率が非常に高いことを出力する。静止画が作業Ａ－１の範囲の中心に近いほど、作業Ａ－１の確率が大きくなる。

一方、静止画が作業Ａ－１の範囲と作業Ａ－２の範囲の間にあるような場合、作業Ａ－１の確率と作業Ａ－２の確率の差は小さくなる。このように、作業推定モデルが出力する推定結果が作業Ａ－１の可能性と作業Ａ－２の可能性の両方を示唆する場合、処理装置２２は、静止画が示す作業がその他の作業と判定する。具体的には、最も確率が高い推定結果と、２番目に確率が高い推定結果と、の差が閾値未満である場合、処理装置２２は、その他の作業と判定する。なぜなら、仮想座標上で最も近い作業（確率が最も高い作業）と推定した場合、作業の推定をミスする可能性があり、その結果、作業状況の判定ミスが生じ得るからである。さらに、このような場合は、必要に応じて追加学習を行うことが好ましい。追加学習とは、何れの作業の範囲内にも位置しないデータを用いて、追加の機械学習を行うことにより、作業推定モデルを更新する処理である。追加学習を行うことにより、各作業が示す範囲が修正されるので、作業の推定精度を向上させることができる。

次に、図４を参照して、作業者が行った作業が適切か否かを作業推定モデルを用いて判定する方法について説明する。

撮影装置１１は、作業を行う作業者を撮影して動画を生成して映像管理装置１２に送信する。撮影装置１１の向き及び撮影範囲は、学習用データの生成時と同じであることが好ましい。

次に、映像管理装置１２は、撮影装置１１から受信した動画に画像抽出処理を行って複数の静止画を生成する。画像抽出処理は、動画を所定の時間間隔で切り出して静止画を生成する処理である。静止画を生成する時間間隔は一定値であってもよいし、状況に応じて時間間隔を変化させてもよい。例えば、動画に写る作業者及び周囲の状況の変化が小さい場合は、通常時と比較して時間間隔を長くしてもよい。また、撮影装置１１は、前記時間間隔でコンピュータ１３に静止画を送信してもよい。つまり、この場合は画像抽出処理を省略できる。

また、映像管理装置１２は、静止画に撮影時刻及び工程を関連付けてコンピュータ１３に送信する。例えば、作業者が工程Ａを行っている間に撮影した動画に基づく静止画には、撮影時刻及び工程Ａを関連付けてコンピュータ１３に送信する。

映像管理装置１２が工程を特定する方法は様々であるが、例えば以下のように工程を特定できる。例えば、ある作業場で工程Ａのみが行われる場合、映像管理装置１２は、この作業場に配置された撮影装置１１の動画に基づく静止画に工程Ａを関連付ける。あるいは、ある作業場で工程Ａと工程Ｂが行われる場合、映像管理装置１２は、予め定められたスケジュール又は作業指示装置のタイムスタンプ等に基づいて、動画に基づく静止画に工程Ａ又は工程Ｂを関連付ける。なお、全ての工程を包括する作業推定モデルを作成する場合は、工程の関連付けは不要となる。

次に、コンピュータ１３の処理装置２２は、受信した複数の静止画及び関連する撮影時刻及び工程に基づいて、第１推定処理を行う。第１推定処理は、受信した静止画を作業推定モデルに入力して、静止画が示す作業の推定結果を得る処理である。また、静止画には撮影時刻及び工程が関連付けられている。処理装置２２は、静止画に関連付けられた工程に応じた作業推定モデルに静止画を入力する。具体的には、処理装置２２は、静止画に工程Ａが関連付けられている場合、工程Ａの作業推定モデルに静止画を入力する。なお、映像管理装置１２が静止画に工程を関連付ける処理に代えて、コンピュータ１３が作業推定モデルに基づいて静止画に関連する作業を推定し、この作業推定結果に応じて、静止画に適用する作業推定モデルを切り替えてもよい。

処理装置２２は、作業推定モデルの推定結果と、静止画に関連付けられた撮影時刻と、に基づいて図４に示す第１作業推定データを作成する。第１作業推定データは、撮影時刻に応じて、作業者の作業の推定結果をプロットしたものである。図４に示す例では、第１作業推定データを分かり易くするために１作業あたりのプロット数を５個前後で示しているが、実際にはより多くのプロット数が必要となる可能性が高い。

次に、処理装置２２は、第２推定処理を行う。第２推定処理は、第１作業推定データを修正する処理である。静止画毎の推定結果には推定ミスが含まれることがある。例えば、図４に示す第１作業推定データのうち、鎖線の四角で囲った箇所は、推定ミスである。一般的に、作業者がある作業を行っている時間帯において、一瞬だけ別の作業を行うということは想定できない。

処理装置２２は、例えば以下の処理を行う。初めに、処理装置２２は、任意の作業を選択し、この作業の連続プロット数が閾値以下の箇所を特定する。例えば、処理装置２２は、作業Ａ－２を選択し、作業Ａ－２の連続プロット数が１の箇所（３プロット目）を特定する。次に、処理装置２２は、同じプロットの推定結果が連続するように、特定したプロットを別の作業に修正する。図４に示す例では、３プロット目の前後の推定結果が作業Ａ－１であるため、作業Ａ－２を作業Ａ－１に修正する。処理装置２２は、この処理を全ての作業に対して行う。これにより、同じ作業の推定結果が連続するようになる。なお、処理装置２２は、修正が必要か否かを検討した結果、修正が不要と判定した場合は修正を行わない。

なお、上述した処理は一例であり、同じ作業の推定結果が連続するようになるのであれば、別の処理を行ってもよい。例えば、処理装置２２は、任意の作業を選択し、この作業の割合が閾値以上の時間帯を特定する。例えば、処理装置２２は、作業Ａ－１を選択し、作業Ａ－１の割合が閾値以上の時間帯を特定する。図４に示す例では、１つ目から５つ目のプロットのうち４つが作業Ａ－１であるため、１つ目から５つ目のプロットを特定する。次に、処理装置２２は、特定した時間帯において、最初に選択した作業とは異なる推定結果を特定し、この推定結果を最初に選択した作業に修正する。図４に示す例では、３つ目のプロットが作業Ａ－２であるため、これを作業Ａ－１に修正する。これにより、同じ作業の推定結果が連続するようになる。

次に、処理装置２２は、第２作業推定データに基づいて作業順推定処理及び作業時間推定処理を行う。作業順推定処理は、作業者が行った作業の順序を推定する処理である。第２作業推定データでは、同じ作業の推定結果が連続しているため、この一連の推定結果が示す作業を並べることにより、作業者が行った作業の順序を推定できる。

作業時間推定処理は、作業者が行った作業毎の作業時間を推定する処理である。第２作業推定データでは、同じ作業の推定結果が連続しているため、この作業の連続プロット数及び静止画の撮影時刻の間隔に基づいて、作業毎の作業時間を推定できる。

処理装置２２は、作業順推定処理及び作業時間推定処理を行って、図４に示す判定用データを作成する。判定用データは、作業者が行った作業を作業順に並べるとともに、それぞれの作業の作業時間を記述したデータである。処理装置２２は、判定用データに基づいて、作業者が行った作業が適切か否かを判定する。

処理装置２２は、作業者が行った作業が適切でないと判定した場合、その旨を上位の制御装置又は管理者の端末等に通知する。更に、処理装置２２は、作業者が具体的に行った作業内容を管理者に確認させるために、作業が適切でないと判定した時間帯の静止画又は動画を管理者が確認できるようにする。具体的には、処理装置２２は、作業が適切でないと判定した時間帯の静止画又は動画を管理者の端末に送信してもよいし、又は、この静止画又は動画をサーバに保存してサーバにアクセスするためのリンク情報を管理者の端末に送信してもよい。

次に、図５から図７を参照して、作業者が行った作業が適切か否かを判定する具体例について説明する。

図５から図７には、第２作業推定データ、基準データ、判定用データ、及び判定結果がそれぞれ記載されている。基準データとは、作業者が行った作業が適切か否かを判定するための基準を示すデータである。基準データの手順及び作業内容には、作業の適切な順序が記載されている。最小時間は、それぞれの作業に設定された最小時間である。最大時間は、それぞれの作業に設定された最大時間である。つまり、それぞれの作業が最小時間未満であるか、最大時間を超過する場合、作業者の行った作業が適切でないと判定される。図５から図７に示す例では、基準データがそれぞれ１つであるが、例えば作業順序の変更が許容される場合は、基準データが複数あってもよい。具体的には、図５に示す例において、作業Ａ－１と作業Ａ－２の作業順序の変更が許容される場合、作業Ａ－１を先にした基準データと、作業Ａ－２を先にした基準データと、を用いる。そして、作業者が行った作業が、少なくとも１つの基準データを満たす場合、その作業が適切であると判定される。

図５には、作業漏れが発生したときのそれぞれのデータが記載されている。基準データの手順４，５，６には、それぞれ作業Ａ－１、作業Ａ－２、その他が記載されている。しかし、判定用データには、作業Ａ－１の次がその他になっており、手順５の作業Ａ－２が抜けている。この場合、処理装置２２は、作業漏れが発生したと判定する。なお、作業漏れが発生した場合、製品の品質に関係するため、優先レベルが「高」に設定されている。優先レベルが「高」である場合、上述した上位の制御装置又は管理者の端末等への通知が即座に行われる。この通知には、作業者の作業が適切でないと判定した原因である「作業漏れ」が発生している旨が含まれる。

図６には、時間超過が発生したときのそれぞれのデータが記載されている。基準データの手順５には、作業Ａ－２の最大時間が「５秒」であることが記載されている。しかし、判定用データには、手順５の作業時間が「６秒」であることが記載されている。この場合、処理装置２２は、時間超過が発生していると判定する。なお、図６に示す作業Ａ－１及び作業Ａ－２は、時間超過が発生しても製品の品質に影響がない作業であるため、時間超過の優先レベルが「中」に設定されている。そのため、処理装置２２は、上位の制御装置又は管理者の端末等への通知を即座には実行せず、所定の通知タイミングでまとめて通知する。ただし、時間超過が発生した場合に製品の品質に影響がある作業については、時間超過の優先レベルが「高」に設定される。この場合、時間超過が発生すると、処理装置２２は、上位の制御装置又は管理者の端末等に即座に通知を行う。この通知には、作業者の作業が適切でないと判定した原因である「時間超過」が発生している旨が含まれる。

図７には、作業者の行った作業が適切である場合のそれぞれのデータが記載されている。図７の判定用データの作業の順序、作業時間は何れも基準データを満たす。従って、処理装置２２は、作業者の行った作業が適切であると判定する。

このように、上述した処理を行うことにより、作業者が行った作業が適切か否かを自動的に判定できる。更に、適切でないと判定した場合、適切でないと判定した原因（即ち、基準データを満たさない項目）も併せて管理者に通知することができる。また、動画を学習してモデルを作成して動画に基づいて判定を行うシステムと比較して、取り扱うデータ量を抑えることができる。

処理装置２２は、作業者の行った作業が適切か否かに関係なく、判定用データを処理装置２２又は外部のサーバに記憶する。これにより、作業者の作業を記録することができる。なお、判定用データに加えて作業推定モデルに入力した静止画を記憶してもよい。静止画は動画と比較してデータ量が小さいため、記憶するデータ量を抑えることができる。また、作業が適切でないと判定した場合のみ、判定用データ、動画、又は静止画を記憶することで、記憶するデータ量を抑えることもできる。

以上に説明したように、本実施形態の作業状況分析システム１は、通信装置２１と、処理装置２２と、を備え、以下の作業状況分析方法を行う。通信装置２１は、作業者の作業状況を撮影した撮影データを取得する。処理装置２２は、撮影データに基づいて作業状況を分析する。処理装置２２は、作業者の作業を撮影した静止画と静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルを有している。処理装置２２は、通信装置２１が取得した撮影データに基づく静止画を作業推定モデルに入力することにより、それぞれの静止画が示す作業を推定し、作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行う。処理装置２２は、第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行う。処理装置２２は、第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行う。処理装置２２は、作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行う。

これにより、作業者が行った作業を作業推定モデルを用いて推定するため、高い精度で作業者の作業の順序を判定できる。特に、動画ではなく静止画を入力とすることにより、機械学習に必要なデータ量及び作業推定モデルのデータ量を小さくすることができる。

本実施形態の作業状況分析システム１において、第１作業推定データにおいて同じ作業の推定結果の連続数が閾値以下である場合、推定結果を別の作業に修正することにより、同じ作業の推定結果を連続させる。

作業者が行う作業が一瞬だけ変化することは通常はあり得ないため、作業の推定ミスを修正できる。

本実施形態の作業状況分析システム１において、処理装置２２は、第２作業推定データに基づいて、作業毎の作業時間を推定する作業時間推定処理を行う。処理装置２２は、作業時間推定処理で推定した作業毎の作業時間と、予め定められた作業毎の作業時間と、を比較することにより作業者が行った作業の作業時間が適切か否かを判定する。

これにより、作業の順序に加え作業時間が適切か否かを判定できる。従って、例えばある作業の作業時間が基準時間を大幅に超えている場合、その原因を特定して解消することにより、作業効率を向上できる。

本実施形態の作業状況分析システム１において、処理装置２２は、作業時間推定処理で推定した作業毎の作業時間が、予め定められた作業毎の作業時間の最小時間以上であって最大時間以下である場合に、作業の作業時間が適切であると判定する。

これにより、作業時間が適切か否かを柔軟に判定できる。

本実施形態の作業状況分析システム１において、処理装置２２は、通信装置２１が取得した撮影データに基づく静止画を入力とする作業推定モデルの推定結果が事前に学習した何れの作業にも分類できない場合は、その他の作業に該当すると判定する。

仮に、静止画を入力として作業推定モデルが出力した推定結果のうち確率が最も高い作業を推定結果として取り扱う場合、誤判定になる可能性がある。このような場合、必要に応じて追加学習することにより、作業の推定精度を更に高くすることができる。

本実施形態の作業状況分析システム１において、処理装置２２は、作業者が行った作業が適切か否かを判定し、適切でないと判定した場合は、適切でないと判定した原因を通知する。

これにより、管理者は、適切でないと判定した原因を考慮して、作業者の作業を確認できる。そのため、作業者の作業を確認する手間を軽減できる。

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

映像管理装置１２が行う処理を撮影装置１１又はコンピュータ１３が代わりに行い、映像管理装置１２を省略してもよい。

撮影装置１１とコンピュータ１３は同じ工場内に設けられる必要はなく、コンピュータ１３が工場から離れた施設に設けられてもよい。

上記実施形態では、処理装置２２は、作業順推定処理と作業時間推定処理の両方を行うが、作業時間推定処理を省略してもよい。

１ 作業状況分析システム
１１ 撮影装置
１２ 映像管理装置
１３ コンピュータ
２１ 通信装置
２２ 処理装置
２３ 表示装置

Claims (7)

1. 作業者の作業状況を撮影した撮影データを取得する通信装置と、
   前記撮影データに基づいて作業状況を分析する処理装置と、
   を備え、
   前記処理装置は、作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルを有しており、
   前記処理装置は、前記通信装置が取得した前記撮影データに基づく静止画を前記作業推定モデルに入力することにより、それぞれの静止画が示す作業を推定し、作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行い、
   前記処理装置は、前記第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行い、
   前記処理装置は、前記第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行い、
   前記処理装置は、前記作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行うことを特徴とする作業状況分析システム。
2. 請求項１に記載の作業状況分析システムであって、
   第１作業推定データにおいて同じ作業の推定結果の連続数が閾値以下である場合、当該推定結果を別の作業に修正することにより、同じ作業の推定結果を連続させることを特徴とする作業状況分析システム。
3. 請求項１又は２に記載の作業状況分析システムであって、
   前記処理装置は、前記第２作業推定データに基づいて、作業毎の作業時間を推定する作業時間推定処理を行い、
   前記処理装置は、前記作業時間推定処理で推定した作業毎の作業時間と、予め定められた作業毎の作業時間と、を比較することにより作業者が行った作業の作業時間が適切か否かを判定することを特徴とする作業状況分析システム。
4. 請求項３に記載の作業状況分析システムであって、
   前記処理装置は、前記作業時間推定処理で推定した作業毎の作業時間が、予め定められた作業毎の作業時間の最小時間以上であって最大時間以下である場合に、当該作業の作業時間が適切であると判定することを特徴とする作業状況分析システム。
5. 請求項１から４までの何れか一項に記載の作業状況分析システムであって、
   前記処理装置は、前記通信装置が取得した前記撮影データに基づく静止画を入力とする前記作業推定モデルの推定結果が事前に学習した何れの作業にも分類できない場合は、その他の作業に該当すると判定することを特徴とする作業状況分析システム。
6. 請求項１から５までの何れか一項に記載の作業状況分析システムであって、
   前記処理装置は、作業者が行った作業が適切か否かを判定し、適切でないと判定した場合は、適切でないと判定した原因を通知することを特徴とする作業状況分析システム。
7. 作業者の作業状況を撮影した撮影データを取得し、
   作業者の作業を撮影した静止画と当該静止画が示す作業を教師データとして入力して機械学習を行うことで構築された作業推定モデルに対して、前記撮影データに基づく静止画を入力することにより、静止画が示す作業を推定し、
   作業の推定結果を時系列で並べた第１作業推定データを作成する第１作業推定処理を行い、
   前記第１作業推定データに対して、同じ作業の推定結果が連続するように推定結果を修正して第２作業推定データを作成する第２作業推定処理を行い、
   前記第２作業推定データに基づいて作業の順序を推定する作業順推定処理を行い、
   前記作業順推定処理で推定した作業の順序と、予め定められた作業の順序に関する基準と、を比較することにより作業者が行った作業の順序が適切か否かを判定する判定処理を行うことを特徴とする作業状況分析方法。

Images