JP2023140047A - 作業分析装置および作業分析方法 - Google Patents

Abstract

【課題】作業者の作業状況を分析した分析結果が長時間に及ぶ場合でも、ユーザが、その長時間に及ぶ分析結果を効率よく確認できるようにする。【解決手段】作業者の作業の様子を撮影した映像に基づいて、作業者が取り扱う対象物体を認識すると共に、作業者の作業を構成する行動を認識して、対象物体の認識結果と行動の認識結果とを含む分析結果情報を取得し、第１の期間を対象にした分析結果情報を可視化した第１の分析結果表示情報の表示部（全体分析結果表示部１０８）と、第１の期間に含まれる第２の期間を対象にして第１の分析結果表示情報より時間軸を拡大して分析結果情報を可視化した第２の分析結果表示情報の表示部（詳細分析結果表示部１０７）とを出力する。【選択図】図６

Description

本発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析結果情報を出力する処理をプロセッサにより実行する作業分析装置および作業分析方法に関するものである。

工場では、作業者の作業状況を分析して、その分析結果に基づいて、作業の手順などを見直すことで、作業効率の向上を図ることができる。このため、作業者の作業状況に関する分析を効率的に行える技術が望まれる。さらに、作業者の作業状況に関する分析結果情報をわかりやすくユーザに提示できる技術が望まれる。

このような要望に関係する技術として、従来、作業者が作業している様子をカメラで撮影して、その映像から作業者の作業状況を分析して、工程ごとの作業の実施状況を可視化したガントチャートや、作業者の様子が撮影された映像を、ユーザに提示する技術が知られている（特許文献１参照）。

特開２０１９－１６２２６号公報

従来の技術では、ユーザが、ガントチャートと映像とを比較しながら閲覧することで、各工程における作業者の作業状況を比較的容易に把握することができる。一方、作業者の様子が撮影された映像が長時間に及ぶ場合、作業者の作業状況を分析した分析結果も長時間に及ぶ。このため、長時間に及ぶ分析結果を効率よく確認できることが望まれる。しかしながら、従来の技術は、このような要望に対して何ら配慮されないものであった。

そこで、本発明は、作業者の作業状況を分析した分析結果が長時間に及ぶ場合でも、その長時間に及ぶ分析結果をユーザが効率よく確認できるようになる作業分析装置および作業分析方法を提供することを主な目的とする。

本発明の作業分析装置は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析結果情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像に基づいて、作業者が取り扱う対象物体を認識すると共に、作業者の作業を構成する行動を認識して、前記対象物体の認識結果と前記行動の認識結果とを含む前記分析結果情報を取得し、第１の期間を対象にした前記分析結果情報を可視化した第１の分析結果表示情報と、前記第１の期間に含まれる第２の期間を対象にして前記第１の分析結果表示情報より時間軸を拡大して前記分析結果情報を可視化した第２の分析結果表示情報とを出力する構成とする。

また、本発明の作業分析方法は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析結果情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像に基づいて、作業者が取り扱う対象物体を認識すると共に、作業者の作業を構成する行動を認識して、前記対象物体の認識結果と前記行動の認識結果とを含む前記分析結果情報を取得し、第１の期間を対象にした前記分析結果情報を可視化した第１の分析結果表示情報と、前記第１の期間に含まれる第２の期間を対象にして前記第１の分析結果表示情報より時間軸を拡大して前記分析結果情報を可視化した第２の分析結果表示情報とを出力する構成とする。

本発明によれば、ユーザが、第１の分析結果表示情報を閲覧することで、長い期間を対象にした作業者の作業状況を俯瞰的に確認することができる。また、ユーザが、第２の分析結果表示情報を閲覧することで、作業者の作業状況を詳細に確認することができる。これにより、作業者の作業状況を分析した分析結果が長時間に及ぶ場合でも、その長時間に及ぶ分析結果をユーザが効率よく確認できるようになる。

本実施形態に係る作業分析システムの全体構成図 サーバの概略構成を示すブロック図 サーバで行われる分析処理の内容を示すブロック図 サーバで行われる作業サイクル検出処理の状況を示す説明図 サーバで行われる分析結果可視化処理の内容を示すブロック図 管理者端末に表示される分析結果表示画面を示す説明図 分析結果表示画面の工程選択部、対象期間指定部、作業映像表示部、再生操作部、および作業サイクル選択部を示す説明図 分析結果表示画面の詳細分析結果表示部を示す説明図 作業ミス（異常）が発生した場合における詳細分析結果表示部の要部を示す説明図 作業ミス（異常）が発生した場合における詳細分析結果表示部の要部を示す説明図 詳細分析結果表示部の別例を示す説明図 分析結果表示画面の全体分析結果表示部を示す説明図 全体分析結果表示部の別例を示す説明図

前記課題を解決するためになされた第１の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析結果情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像に基づいて、作業者が取り扱う対象物体を認識すると共に、作業者の作業を構成する行動を認識して、前記対象物体の認識結果と前記行動の認識結果とを含む前記分析結果情報を取得し、第１の期間を対象にした前記分析結果情報を可視化した第１の分析結果表示情報と、前記第１の期間に含まれる第２の期間を対象にして前記第１の分析結果表示情報より時間軸を拡大して前記分析結果情報を可視化した第２の分析結果表示情報とを出力する構成とする。

これによると、ユーザが、第１の分析結果表示情報を閲覧することで、長い期間を対象にした作業者の作業状況を俯瞰的に確認することができる。また、ユーザが、第２の分析結果表示情報を閲覧することで、作業者の作業状況を詳細に確認することができる。これにより、作業者の作業状況を分析した分析結果が長時間に及ぶ場合でも、その長時間に及ぶ分析結果をユーザが効率よく確認できるようになる。

また、第２の発明は、前記プロセッサは、前記映像を、前記分析結果表示情報に対応付けられた状態で再生可能に出力する構成とする。

これによると、ユーザが、分析結果表示情報と映像とを比較しながら閲覧することで、作業者の作業状況を容易に把握することができる。この場合、作業者の詳細な作業状況を提示する第２の分析結果表示情報に映像が対応付けられることで、第２の期間に含まれる映像が再生されるようにしてもよい。また、例えば、第２の分析結果表示情報上に、現在の再生位置を示すタイムラインカーソルが表示されるようにしてもよい。

また、第３の発明は、前記第１の期間は、作業者の作業が実施された全期間から抽出された対象期間の全体であり、前記第２の期間は、前記対象期間の一部である構成とする。

これによると、ユーザが、対象期間の全体を対象にして作業者の作業状況を俯瞰的に確認すると共に、対象期間の一部を対象にして作業者の作業状況を詳細に確認することができる。この場合、第１の期間および第２の期間は、ユーザの操作により任意に指定されるものとしてもよい。

また、第４の発明は、前記プロセッサは、前記第１の期間に含まれる複数の規定期間のいずれかを選択するユーザの操作に応じて、選択された規定期間を前記第２の期間に設定して前記第２の分析結果表示情報を出力する構成とする。

これによると、規定期間ごとの分析結果情報を第２の分析結果表示情報により容易に確認することができる。この場合、例えば、規定期間は、所定の一連の行動で構成される作業サイクルであり、作業サイクルを選択するユーザの操作に応じて、選択された作業サイクルを第２の期間として第２の分析結果表示情報が出力されるものとしてもよい。

また、第５の発明は、前記プロセッサは、前記第１の分析結果表示情報における時間軸上で前記第２の期間を任意に指定するユーザの操作に応じて、指定された前記第２の期間を対象にした前記第２の分析結果表示情報を出力する構成とする。

これによると、ユーザが、広い第１の期間を対象にした第１の分析結果表示情報における時間軸上で、第２の分析結果表示情報の第２の期間を適切に指定することができる。この場合、例えば、第１の分析結果表示情報における時間軸を可視化したスライダーバーで第２の期間が指定されるものとしてもよい。

また、第６の発明は、前記プロセッサは、作業者の作業状況に関する異常を検知すると、その異常検知結果に関する情報を含む前記分析結果表示情報を出力する構成とする。

これによると、ユーザが、作業者の作業状況に関する異常を容易に確認することができる。この場合、例えば、所定の一連の行動で構成される作業サイクルにおける行動の過不足、行動の順番、および作業サイクルの時間長に関する異常が検知されるものとしてもよい。

また、第７の発明は、前記第２の分析結果表示情報は、前記異常検知結果に関する表示情報として、前記対象物体の表示欄の強調表示と、前記異常に関係する行動を示すマークの表示と、前記異常の内容を表す文字の表示との少なくともいずれかを含む構成とする。

これによると、ユーザが、作業者の作業状況に関する異常をより一層容易に確認することができる。特に、時間軸が短時間になる第２の分析結果表示情報では、行動単位で異常検知結果が表示されることで、ユーザが、異常の状況を詳細に確認することができる。

また、第８の発明は、前記第１の分析結果表示情報は、前記異常検知結果に関する表示情報として、前記第１の期間に含まれる規定期間で集計された統計情報の表示を含む構成とする。

これによると、ユーザが、作業者の作業状況に関する異常をより一層容易に確認することができる。特に、時間軸が長時間になる第１の分析結果表示情報では、規定期間で集計された統計情報が表示されることで、ユーザが、異常の状況を容易に確認することができる。例えば、第１の期間に含まれる複数の作業サイクルごとに異常の検知回数が集計されて、作業サイクルごとの異常の検知回数が提示されるものとしてもよい。

また、第９の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析結果情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像に基づいて、作業者が取り扱う対象物体を認識すると共に、作業者の作業を構成する行動を認識して、前記対象物体の認識結果と前記行動の認識結果とを含む前記分析結果情報を取得し、第１の期間を対象にした前記分析結果情報を可視化した第１の分析結果表示情報と、前記第１の期間に含まれる第２の期間を対象にして前記第１の分析結果表示情報より時間軸を拡大して前記分析結果情報を可視化した第２の分析結果表示情報とを出力する構成とする。

これによると、第１の発明と同様に、作業者の作業状況を分析した分析結果が長時間に及ぶ場合でも、その長時間に及ぶ分析結果をユーザが効率よく確認できるようになる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る作業分析システムの全体構成図である。

本システムは、工場などにおける作業者の作業状況を分析して、その分析結果をユーザに提示するものである。本システムは、カメラ１と、レコーダ２と、サーバ３（作業分析装置）と、管理者端末４とを備えている。

カメラ１は、作業者が持ち場で作業を行う様子を撮影する。

レコーダ２は、カメラ１から出力される映像を録画する。

サーバ３は、レコーダ２から映像を取得して、その映像に基づいて、作業者の作業状況を分析する作業分析を行い、その分析結果を出力する。サーバ３は、施設（工場など）に設置され、その施設を対象にして作業分析を行う。また、サーバ３は、クラウドコンピュータとして構成され、複数の施設を対象にして作業分析を行うものでもよい。

管理者端末４は、システム管理者や作業管理者（ユーザ）が使用するものであり、ＰＣやタブレット端末などで構成される。管理者端末４では、サーバ３で行われる処理に関する各種の設定の操作をシステム管理者が行う。また、管理者端末４では、サーバ３から出力される分析結果を表示して作業管理者が閲覧する。

次に、サーバ３の概略構成について説明する。図２は、サーバ３の概略構成を示すブロック図である。

サーバ３は、映像入力部１１と、画面出力部１２と、記憶部１３と、プロセッサ１４と、を備えている。

映像入力部１１では、レコーダ２で録画された映像が入力される。

画面出力部１２では、プロセッサ１４で生成した分析結果表示画面が出力され、管理者端末４に分析結果表示画面（図６参照）が表示される。

記憶部１３は、プロセッサ１４で実行されるプログラムなどを記憶する。また、記憶部１３は、レコーダ２から取得した分析用の映像を記憶する。また、記憶部１３は、プロセッサ１４で用いられる物体行動認識モデル（物体行動推定モデル）、プロセッサ１４で生成した分析結果映像、および分析結果情報を記憶する。

プロセッサ１４は、記憶部１３に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ１４が、分析処理Ｐ１、および分析結果可視化処理Ｐ２などを行う。

分析処理Ｐ１では、プロセッサ１４が、作業者が作業を行う様子を撮影した映像に基づいて作業者の作業状況を分析して分析結果情報を生成する。

分析結果可視化処理Ｐ２では、プロセッサ１４が、分析処理Ｐ１で取得した分析結果情報を可視化してユーザに提示する。本実施形態では、分析結果表示画面（図６参照）を生成する。

次に、サーバ３で行われる分析処理Ｐ１について説明する。図３は、分析処理Ｐ１の内容を示すブロック図である。

サーバ３では、プロセッサ１４が、分析処理Ｐ１を行う。分析処理Ｐ１には、映像取得処理Ｐ１１と、物体行動認識処理Ｐ１２と、分析結果映像生成処理Ｐ１３と、作業サイクル検出処理Ｐ１４と、異常検知処理Ｐ１５と、出力処理Ｐ１６とが含まれる。

映像取得処理Ｐ１１では、プロセッサ１４が、分析対象とする映像を記憶部１３から取得する。

物体行動認識処理Ｐ１２では、プロセッサ１４が、分析対象とする映像から物体（人物、部品および作業ツール）の種別を認識する物体認識を行うと共に、人物の行動の種別を認識する行動認識（行動推定）を行う。行動認識では、人物の動きと人物が接触した物体の種別とから人物の行動を認識する。物体行動認識処理Ｐ１２では、認識結果情報として、行動に付与された行動ｉｄと、行動に関連する物体（対象物体）の種別と、行動の開始時刻および終了時刻とを取得する。物体行動認識処理Ｐ１２では、ディープラーニングなどの機械学習により構築された物体行動認識モデル（機械学習モデル）を用いることができる。

分析結果映像生成処理Ｐ１３では、プロセッサ１４が、認識結果情報が付加された分析結果映像を生成する。具体的には、物体行動認識処理Ｐ１２で認識された物体（人物、部品、作業ツール）を取り囲む矩形枠と、認識された物体の種別を表す文字と、認識された行動の種別を表す文字とを、分析対象となる元の映像上に重畳して、分析結果映像を生成する。

作業サイクル検出処理Ｐ１４では、プロセッサ１４が、物体行動認識処理Ｐ１２で認識された作業者の行動の中から、所定の一連の行動で構成される作業サイクル（規定期間）を検出する。作業サイクル検出処理Ｐ１４では、作業サイクルの検出結果情報として、作業サイクルに付与されたサイクルｉｄと、作業サイクルの開始時刻および終了時刻とを取得する。

異常検知処理Ｐ１５では、プロセッサ１４が、作業者の作業手順と正規の作業手順とを比較して、作業ミス（作業の異常）を検知する。具体的には、プロセッサ１４が、対象とする作業サイクルに関して、作業者が実施した行動と、正規の作業手順に含まれる行動とを比較して、作業ミスを検知する。作業ミスには、例えば、行動が過剰な状態、行動が不足する状態、行動の順番の入れ替わりがある状態などがある。なお、行動が過剰な状態とは、本来実施されるべきでないタイミングで行動が余分に実施された状態である。行動が不足する状態とは、本来実施されるべき行動が実施されていない状態である。

また、異常検知処理Ｐ１５では、プロセッサ１４が、１つの作業サイクルに関する作業者の作業時間を標準時間と比較して、作業サイクルの異常を検知する。具体的には、例えば、何らかのトラブルによりラインが一時的に停止した場合のように、作業サイクルの時間が標準時間より所定限度以上に長い場合に、作業サイクルの異常と判定される。また、例えば、作業サイクルが途中で取りやめになった場合のように、作業サイクルの時間が標準時間より所定限度以上に短い場合に、作業サイクルの異常と判定される。

出力処理Ｐ１６では、プロセッサ１４が、物体行動認識処理Ｐ１２で取得した作業者の行動に関する情報（行動の種別、開始時刻および終了時刻など）、作業サイクル検出処理Ｐ１４で取得した作業サイクルに関する情報（開始時刻および終了時刻など）、および異常検知処理Ｐ１５の検知結果の情報（作業の異常（作業ミス）、作業サイクルの異常）を、分析結果情報として出力する。分析結果情報は記憶部１３に保存される。

次に、サーバ３で行われる作業サイクル検出処理Ｐ１４について説明する。図４は、作業サイクル検出処理Ｐ１４の状況を示す説明図である。

サーバ３では、所定の一連の行動で構成される作業サイクルを検出する作業サイクル検出処理Ｐ１４が行われる。具体的には、プロセッサ１４が、認識された行動の中から、作業サイクルの開始タイミングを規定するトリガ行動を検出し、そのトリガ行動が検出されたタイミングを作業サイクルの開始タイミングとし、次のトリガ行動の直前の行動が検出されたタイミングを作業サイクルの終了タイミングとする。

図４は、１つの作業サイクルに含まれる行動の一例である。この場合、まず、図４（Ａ）に示すように、作業者が本体を手で把持する行動をとる。次に、図４（Ｂ）に示すように、作業者がドライバを手で把持する行動をとる。次に、図４（Ｃ）に示すように、作業者がネジを部品箱から取り出す行動をとる。次に、図４（Ｄ）に示すように、作業者がネジを締める行動をとる。次に、図４（Ｅ）に示すように、作業者が本体を運ぶ行動をとる。次に、図４（Ｆ）に示すように、作業者が本体を手で把持する行動をとる。

ここで、図４（Ａ），（Ｆ）に示すように、作業者が本体を手で把持する行動が、作業サイクルの開始タイミングを規定するトリガ行動となり、そのトリガ行動が開始されたタイミングが作業サイクルの開始タイミングとなる。また、次のトリガ行動の直前の行動が終了したタイミングが作業サイクルの終了タイミングとなる。

また、認識された各行動に関して、認識結果情報として、行動に付与された行動ｉｄと、行動に関連する物体（対象物体）の種別と、行動の開始時刻および終了時刻とを含む行動情報が取得される。また、作業サイクルの検出結果情報として、作業サイクルに付与されたサイクルｉｄと、作業サイクルの開始時刻および終了時刻とを含む作業サイクル情報が取得される。

次に、サーバ３で行われる分析結果可視化処理Ｐ２について説明する。図５は、分析結果可視化処理Ｐ２の内容を示すブロック図である。

サーバ３では、プロセッサ１４が、分析結果可視化処理Ｐ２を行う。分析結果可視化処理Ｐ２には、映像取得処理Ｐ２１と、分析結果取得処理Ｐ２２と、画面生成処理Ｐ２３とが含まれる。

映像取得処理Ｐ２１では、プロセッサ１４が、分析結果映像を記憶部１３から取得する。分析結果映像は、認識された物体（人物、部品、作業ツール）を取り囲む矩形枠と、認識された物体の種別を表す文字と、認識された行動の種別を表す文字とが、分析対象となる元の映像上に重畳されたものである。

分析結果取得処理Ｐ２２では、プロセッサ１４が、分析結果情報を記憶部１３から取得する。分析結果情報は、作業者の行動に関する情報（行動の種別、開始時刻および終了時刻など）、作業サイクルに関する情報（開始時刻および終了時刻など）、および異常検知結果の情報（作業の異常（作業ミス）、作業サイクルの異常）である。

画面生成処理Ｐ２３では、プロセッサ１４が、分析結果情報を可視化した分析結果表示画面（図６参照）を生成する。この分析結果表示画面は、画面出力部１２から管理者端末４に出力され、管理者端末４に分析結果表示画面が表示される。本実施形態では、分析結果表示画面に、分析結果情報を可視化して表示すると共に分析結果映像を表示する。

次に、管理者端末４に表示される分析結果表示画面について説明する。図６は、分析結果表示画面を示す説明図である。図７は、分析結果表示画面の工程選択部１０２、対象期間指定部１０３、作業映像表示部１０４、再生操作部１０５、および作業サイクル選択部１０６を示す説明図である。図８は、分析結果表示画面の詳細分析結果表示部１０７を示す説明図である。図９，図１０は、作業ミス（異常）が発生した場合における詳細分析結果表示部１０７の要部を示す説明図である。図１１は、詳細分析結果表示部１０７の別例を示す説明図である。図１２は、分析結果表示画面の全体分析結果表示部１０８を示す説明図である。図１３は、全体分析結果表示部１０８の別例を示す説明図である。

図６に示すように、管理者端末４では、分析結果表示画面１０１が表示される。分析結果表示画面１０１には、工程選択部１０２と、対象期間指定部１０３と、作業映像表示部１０４と、再生操作部１０５と、作業サイクル選択部１０６と、詳細分析結果表示部１０７（第２の分析結果表示情報の表示部）と、全体分析結果表示部１０８（第１の分析結果表示情報の表示部）とが設けられている。

図７に示すように、工程選択部１０２には、工程（ピッキング、プレス、溶接、組立、検査）ごとのボタン１１１が設けられている。ユーザが、ボタン１１１を操作していずれかの工程を選択すると、選択された工程に関する分析結果が分析結果表示画面１０１に表示される。

対象期間指定部１０３では、ユーザが、分析結果を表示させる対象期間（第１の期間）に関する情報として、日付および時間（開始時刻および終了時刻）を文字で入力することができる。なお、対象期間指定部１０３では、レコーダ２に映像が蓄積された期間、すなわち、映像に基づく作業分析結果を得ることができる期間に含まれる任意の期間をユーザが指定することができる。

作業映像表示部１０４には、分析結果映像１２１が表示される。分析結果映像１２１では、作業者が作業を行う様子を撮影した映像上に、認識された物体（人物、部品、作業ツール）を取り囲む矩形枠１２２と、認識された物体の種別を表す文字１２３と、認識された行動の種別を表す文字１２４とが重畳表示される。本例では、人物を表す矩形枠１２２および文字１２３と、ドライバを表す矩形枠１２２および文字１２３と、ネジ締めの行動を表す文字１２４とが表示される。

再生操作部１０５には、再生と一時停止とを兼用するボタン１３１と、倍速のボタン１３２とが設けられている。

作業サイクル選択部１０６には、各作業サイクル（１～６）のボタン１４１と、前スキップのボタン１４２と、後スキップのボタン１４３とが設けられている。ユーザが、ボタン１４１を操作して作業サイクルを選択すると、選択された作業サイクルに関する分析結果が、作業映像表示部１０４、および詳細分析結果表示部１０７に表示される。ユーザが、前スキップのボタン１４２を操作すると、次の作業サイクルの最初に進む。ユーザが、後スキップのボタン１４３を操作すると、現在表示中の作業サイクルの最初に戻る。

図８に示すように、詳細分析結果表示部１０７には、第１の行動一覧表示部２０１が設けられている。第１の行動一覧表示部２０１は、各物体に関連する行動の状況に関する短期的な分析結果を可視化してユーザに提示するものである。第１の行動一覧表示部２０１では、作業者の行動に関連する物体ごとに行動表示欄２０２が縦方向に並べて設けられている。本例では、作業者の行動に関連する物体として、部品（本体、＃１の部品、＃２の部品、および＃３の部品）、および作業ツール（ドライバ、ピンセット、およびマーカ）ごとに行動表示欄２０２が設けられている。

行動表示欄２０２には、行動バー２０３が描画されている。行動バー２０３は、行動が行われた期間を表す画像である。すなわち、行動表示欄２０２では、横方向が時刻を表す時間軸となり、行動バー２０３は、行動が実施された期間に対応する範囲に描画される。これにより、物体の種別ごとに行動の実施状況が時系列で表現される。

行動バー２０３は、行動種別、具体的には、部品や作業ツールを手に把持する行動、ドライバでネジを締める行動などに応じて、表示形態が異なる。本例では、行動バー２０３に描画される網掛けの模様（描画パターン）が行動種別に応じて異なる。なお、行動バー２０３の塗り潰しの色が行動種別に応じて異なるようにしてもよい。

また、第１の行動一覧表示部２０１では、作業サイクル選択部１０６で作業サイクルが選択された場合には、その選択された１つの作業サイクルの全期間の分析結果が表示される。また、全体分析結果表示部１０８で任意の期間が指定された場合には、その指定された期間の分析結果が第１の行動一覧表示部２０１に表示される。

また、第１の行動一覧表示部２０１では、作業映像表示部１０４に表示された分析結果映像１２１の現在の再生位置（再生時刻）を示すタイムラインカーソル２０４が表示される。タイムラインカーソル２０４は、作業映像表示部１０４の分析結果映像１２１の再生時刻が進むのに応じて横方向（時間軸方向）に移動する。

また、詳細分析結果表示部１０７には、時間表示部２０５が設けられている。時間表示部２０５には、第１の行動一覧表示部２０１に表示された分析結果の範囲（表示期間）の開始時刻、終了時刻、時間長さが表示される。ここで、作業サイクル選択部１０６で作業サイクルが選択されることで、１つの作業サイクルの全期間が第１の行動一覧表示部２０１に表示されている状態では、表示された時間長さが、選択された作業サイクルの作業時間を表す。

また、詳細分析結果表示部１０７では、作業ミス（異常）が検知された場合に、検知された作業ミスに関係する物体（工具、部品）に関する行動表示欄２０２が強調表示（ハイライト）される。具体的には、該当する行動表示欄２０２の背景の表示形態（例えば、塗り潰しの色、網掛けの模様など）が変化する。なお、作業ミス（異常）には、行動が過剰な状態、行動が不足する状態、行動の順番の入れ替わりがある状態などがある。

また、詳細分析結果表示部１０７では、作業ミス（異常）が検知された場合に、アラートマーク２０６が表示される。アラートマーク２０６は、検知された作業ミスに関係する物体に関する行動表示欄２０２において、作業ミスに関係する行動の実施タイミングに対応する位置に表示される。例えば、行動が不足する場合には、その行動が実施されるべき位置にアラートマーク２０６が表示される。また、行動が余分である場合には、その余分な行動が実施された位置にアラートマーク２０６が表示される。

なお、アラートマーク２０６の代わりに、あるいはアラートマーク２０６に加えて、作業ミスに関係する行動バー２０３の表示形態が変化することで強調表示されてもよい。例えば、行動バー２０３の枠線が点線で描画されたり、行動バー２０３の透明度が変更されたりしてもよい。

ここで、図９（Ａ－１），（Ａ－２）は、＃３の部品に関連する行動の例である。この場合、部品ハンドリング作業が、部品を手で把持する行動で構成される。図９（Ａ－２）に示す作業者の作業手順では、図９（Ａ－１）に示す正規の作業手順と比較して、部品を手で把持する行動が１回過剰であり、ここが作業ミス（異常）として検知されて、アラートマーク２０６が表示される。

図９（Ｂ－１），（Ｂ－２）は、ドライバに関連する行動の例である。この場合、ネジ締め作業が、ドライバを手で把持する行動と、ネジを部品箱から取り出す行動と、ネジを締める行動とで構成され、ネジを部品箱から取り出す行動、およびネジを締める行動は、３回繰り返される。図９（Ｂ－２）に示す作業者の作業手順では、図９（Ｂ－１）に示す正規の作業手順と比較して、ネジを部品箱から取り出す行動が１回少なく、ここが作業ミス（異常）として検知されて、アラートマーク２０６が表示される。

図１０（Ａ－１），（Ａ－２）は、マーカに関連する行動の例である。この場合、マーキング作業が、マーカを手で把持する行動と、キャップを開ける行動と、マークを付ける行動と、キャップを閉める行動とで構成される。図１０（Ａ－２）に示す作業者の作業手順では、図１０（Ａ－１）に示す正規の作業手順と比較して、キャップを閉める行動が不足しており、ここが作業ミス（異常）として検知されて、アラートマーク２０６が表示される。

また、図１１に示すように、詳細分析結果表示部１０７では、作業ミス（異常）が検知された場合に、異常内容表示部２１１が表示されようにしてもよい。異常内容表示部２１１には、検知された作業ミスの内容を表す文字が表示される。ここでは、＃３の部品に関連する行動が１回過剰であることと、ドライバに関連する行動としてのねじ締めが１回少ないことと、マーカに関連する行動としてのキャップの閉め忘れが発生していることとが表示される。

図１２に示すように、全体分析結果表示部１０８には、第２の行動一覧表示部３０１が設けられている。第２の行動一覧表示部３０１は、各物体に関連する行動の状況に関する長期的な分析結果を可視化してユーザに提示するものである。第２の行動一覧表示部３０１では、第１の行動一覧表示部２０１と同様に、作業者の行動に関連する物体ごとに行動表示欄３０２が縦方向に並べて設けられている。行動表示欄３０２には、第１の行動一覧表示部２０１と同様に、行動バー３０３が描画されている。

第２の行動一覧表示部３０１では、対象期間指定部１０３で指定された期間（対象期間）の分析結果が表示される。

また、全体分析結果表示部１０８には、スライダーバー３０４が設けられている。スライダーバー３０４では、ユーザが、左右のスライダー３０５を操作することで、詳細分析結果表示部１０７に表示させる分析結果に関して任意の期間を指定することができる。ここで、左側のスライダー３０５は開始時刻を規定し、右側のスライダー３０５は終了時刻を規定する。これにより、全体分析結果表示部１０８において期間が指定されることで、その指定された期間の分析結果が、時間軸方向に拡大された状態で詳細分析結果表示部１０７に表示される。

なお、作業サイクル選択部１０６において、ユーザが、作業サイクルを選択する操作を行うと、選択された作業サイクルの期間（開始時刻および終了時刻）に対応するように左右のスライダー３０５が移動すると共に、選択された作業サイクルの分析結果が詳細分析結果表示部１０７に表示される。

また、全体分析結果表示部１０８では、作業ミス（異常）が検知された場合に、回数マーク３０６が表示される。回数マーク３０６は、１つの作業サイクルにおける作業ミス（異常）の検知回数を表す。回数マーク３０６は、作業ミスが検知された作業サイクルの表示領域に表示される。本例では、＃１の作業サイクルにおいて作業ミスが１回検出され、＃４の作業サイクルにおいて作業ミスが３回検出されている。

また、全体分析結果表示部１０８では、作業サイクルの異常が検知された場合に、その異常が検知された作業サイクルが強調表示（ハイライト）される。具体的には、該当する作業サイクルの期間に矩形画像３０７が表示される。矩形画像３０７は、例えば、塗り潰しの色や網掛けの模様などで強調表示される。本例では、＃４の作業サイクルの異常が検知されている。なお、作業サイクルの異常とは、具体的には、作業サイクルの時間が標準時間より所定限度以上に長い場合や、作業サイクルの時間が標準時間より所定限度以上に短い場合である。

また、図１３に示すように、全体分析結果表示部１０８では、スライダーバー３０４で指定された期間、すなわち、詳細分析結果表示部１０７に分析結果が表示された期間が強調表示（ハイライト）される。具体的には、該当する期間に矩形画像３１１が表示される。矩形画像３１１は、例えば、塗り潰しの色や網掛けの模様などで強調表示される。矩形画像３１１は、異常が検知された作業サイクルを強調表示する矩形画像３０７と識別できるように、矩形画像３０７と異なる表示形態で表示される。本例では、＃５の作業サイクルが選択されて、＃５の作業サイクルに矩形画像３１１が表示されている。

このように本実施形態では、ユーザは、対象期間指定部１０３により、全体分析結果表示部１０８に表示させる分析結果の期間（対象期間、第１の期間）を任意に指定することができる。また、ユーザは、スライダーバー３０４により、詳細分析結果表示部１０７に表示させる分析結果の期間（対象期間の一部、第２の期間）を任意に指定することができる。また、ユーザは、作業サイクル選択部１０６により、１つの作業サイクルに関する分析結果を詳細分析結果表示部１０７に表示させることができる。

全体分析結果表示部１０８の対象となる第１の期間は、作業者の作業が実施された全期間から抽出された対象期間の全体であり、詳細分析結果表示部１０７の対象となる第２の期間は、対象期間の一部である。すなわち、詳細分析結果表示部１０７と全体分析結果表示部１０８とでは時間軸のスケールが異なり、全体分析結果表示部１０８に表示された分析結果の一部が、時間軸方向に拡大された状態で詳細分析結果表示部１０７に表示される。これにより、ユーザが、第１の分析結果表示情報を閲覧することで、広い期間を対象にした作業者の作業状況を俯瞰的に確認することができる。また、ユーザが、第２の分析結果表示情報を閲覧することで、作業者の作業状況を詳細に確認することができる。

具体的な手順としては、例えば、ユーザが、まず、作業サイクル選択部１０６により、１つの作業サイクルに関する分析結果を詳細分析結果表示部１０７に表示させて閲覧し、必要であれば、スライダーバー３０４により、詳細分析結果表示部１０７に表示させる分析結果の期間を調整することで、様々な範囲の分析結果を閲覧することができる。例えば、ユーザは、スライダーバー３０４により、１つの作業サイクル内の注目する任意の範囲の分析結果だけを詳細分析結果表示部１０７に表示させることができる。また、ユーザは、スライダーバー３０４により、２つ以上の作業サイクルに跨がる範囲の分析結果を詳細分析結果表示部１０７に表示させることができる。なお、作業状況の分析として、工場での各工程での作業を対象に説明したが、工場以外での作業、すなわち、各種施設内で定期的に発生する作業（例えば、商品の搬入・搬出作業、清掃作業、巡回警備作業）にも適用することが可能である。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係る作業分析装置および作業分析方法は、作業者の作業状況を分析した分析結果が長時間に及ぶ場合でも、その長時間に及ぶ分析結果をユーザが効率よく確認できるようになる効果を有し、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析結果情報を出力する処理をプロセッサにより実行する作業分析装置および作業分析方法などとして有用である。

１ カメラ
２ レコーダ
３ サーバ（作業分析装置）
４ 管理者端末
１１ 映像入力部
１２ 画面出力部
１３ メモリ
１４ プロセッサ
１０１ 分析結果表示画面
１０２ 工程選択部
１０３ 対象期間指定部
１０４ 作業映像表示部
１０５ 再生操作部
１０６ 作業サイクル選択部
１０７ 詳細分析結果表示部
１０８ 全体分析結果表示部
１４１ 作業サイクルを選択するボタン
２０１ 第１の行動一覧表示部
２０２ 行動表示欄
２０３ 行動バー
２０４ タイムラインカーソル
２０６ アラートマーク
２１１ 異常内容表示部
３０１ 第２の行動一覧表示部
３０２ 行動表示欄
３０３ 行動バー
３０４ スライダーバー
３０５ スライダー
３０６ 回数マーク

Claims (9)

1. 作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析結果情報を出力する処理をプロセッサにより実行する作業分析装置であって、
   前記プロセッサは、
   前記映像に基づいて、作業者が取り扱う対象物体を認識すると共に、作業者の作業を構成する行動を認識して、前記対象物体の認識結果と前記行動の認識結果とを含む前記分析結果情報を取得し、
   第１の期間を対象にした前記分析結果情報を可視化した第１の分析結果表示情報と、前記第１の期間に含まれる第２の期間を対象にして前記第１の分析結果表示情報より時間軸を拡大して前記分析結果情報を可視化した第２の分析結果表示情報とを出力することを特徴とする作業分析装置。
2. 前記プロセッサは、
   前記映像を、前記分析結果表示情報に対応付けられた状態で再生可能に出力することを特徴とする請求項１に記載の作業分析装置。
3. 前記第１の期間は、作業者の作業が実施された全期間から抽出された対象期間の全体であり、
   前記第２の期間は、前記対象期間の一部であることを特徴とする請求項１に記載の作業分析装置。
4. 前記プロセッサは、
   前記第１の期間に含まれる複数の規定期間のいずれかを選択するユーザの操作に応じて、選択された規定期間を前記第２の期間に設定して前記第２の分析結果表示情報を出力することを特徴とする請求項１に記載の作業分析装置。
5. 前記プロセッサは、
   前記第１の分析結果表示情報における時間軸上で前記第２の期間を任意に指定するユーザの操作に応じて、指定された前記第２の期間を対象にした前記第２の分析結果表示情報を出力することを特徴とする請求項１に記載の作業分析装置。
6. 前記プロセッサは、
   作業者の作業状況に関する異常を検知すると、その異常検知結果に関する情報を含む前記分析結果表示情報を出力することを特徴とする請求項１に記載の作業分析装置。
7. 前記第２の分析結果表示情報は、前記異常検知結果に関する表示情報として、
   前記対象物体の表示欄の強調表示と、
   前記異常に関係する行動を示すマークの表示と、
   前記異常の内容を表す文字の表示との少なくともいずれかを含むことを特徴とする請求項６に記載の作業分析装置。
8. 前記第１の分析結果表示情報は、前記異常検知結果に関する表示情報として、
   前記第１の期間に含まれる規定期間で集計された統計情報の表示を含むことを特徴とする請求項６に記載の作業分析装置。
9. 作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析結果情報を出力する処理をプロセッサにより実行する作業分析方法であって、
   前記映像に基づいて、作業者が取り扱う対象物体を認識すると共に、作業者の作業を構成する行動を認識して、前記対象物体の認識結果と前記行動の認識結果とを含む前記分析結果情報を取得し、
   第１の期間を対象にした前記分析結果情報を可視化した第１の分析結果表示情報と、前記第１の期間に含まれる第２の期間を対象にして前記第１の分析結果表示情報より時間軸を拡大して前記分析結果情報を可視化した第２の分析結果表示情報とを出力することを特徴とする作業分析方法。

Images