JP2021047659A

JP2021047659A - 作業関与状況評価装置、作業関与状況評価方法及びプログラム

Info

Publication number: JP2021047659A
Application number: JP2019169975A
Authority: JP
Inventors: 恵介野田; Keisuke Noda
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2019-09-19
Filing date: 2019-09-19
Publication date: 2021-03-25
Anticipated expiration: 2039-09-19
Also published as: JP7427894B2

Abstract

【課題】作業者の作業状況を客観的に取得することが可能な作業関与状況評価装置、作業関与状況評価方法及びプログラムを提供する。【解決手段】作業関与状況評価装置は、画像形成装置に係る作業を行う作業者を観察した観察データを取得する状況取得部と、取得した観察データを解析する解析部と、解析の結果に基づいて、作業の内容に応じた作業者の作業に対する意識的な関与状況を評価する評価部と、を備える。【選択図】図６

Description

この発明は、作業関与状況評価装置、作業関与状況評価方法及びプログラムに関する。

撮影画像などの人間の生体データから人間の表情や状態を判断する技術がある。特許文献１では、画像コンテンツを視聴中のユーザーの生体データを用いて当該画像コンテンツの客観評価を行う技術が開示されている。

一方で、人間の労働を伴う作業において、近年各所で作業の効率化に対する要求が高まっている。

特開２００６−１２１７１号公報

各種画像形成（印刷）媒体を生成して頒布する印刷業者において、画像形成装置により行われる画像形成動作に付随する調整、検査及び保守などの各種作業には依然として多くの人手間を要している。一方で、これらの作業のクオリティは、各印刷業者のノウハウなどに応じた特色となる部分でもあり、必ずしも全ての作業に対して画一的な自動化が望まれているわけでもない。したがって、これらに対応するためには、作業者の作業状況を客観的に知得する必要があるという課題がある。

この発明の目的は、作業者の作業状況を客観的に取得することの可能な作業関与状況評価装置、作業関与状況評価方法及びプログラムを提供することにある。

上記目的を達成するため、請求項１記載の発明は、
画像形成装置に係る作業を行う作業者を観察した観察データを取得する状況取得部と、
取得した前記観察データを解析する解析部と、
前記解析の結果に基づいて、前記作業の内容に応じた前記作業者の当該作業に対する意識的な関与状況を評価する評価部と、
を備えることを特徴とする作業関与状況評価装置である。

また、請求項２記載の発明は、請求項１記載の作業関与状況評価装置において、
前記評価部は、前記観察データから前記作業の内容及び前記関与状況に係る評価値を推定し、前記作業の内容と前記関与状況とを対応付ける
ことを特徴とする。

また、請求項３記載の発明は、請求項２記載の作業関与状況評価装置において、
前記評価値には、前記作業者の思考度合が含まれることを特徴とする。

また、請求項４記載の発明は、請求項２又は３記載の作業関与状況評価装置において、
前記評価値には、前記作業者の集中度が含まれることを特徴とする。

また、請求項５記載の発明は、請求項１〜４のいずれか一項に記載の作業関与状況評価装置において、
前記状況取得部は、前記作業者を撮影する撮影部からのデータを取得し、
前記解析部は、前記撮影部による撮影画像に基づいて前記作業者の表情を解析し、
前記評価部は、前記表情に基づいて前記作業の内容ごとに前記関与状況を評価する
ことを特徴とする。

また、請求項６記載の発明は、請求項５記載の作業関与状況評価装置において、
前記解析部は、前記撮影画像から前記作業者の顔における所定の第１特徴点を特定して、
前記評価部は、前記作業の内容ごとに定められた前記第１特徴点の特性に係る第１自己組織化マップにおける前記表情の特性の分布に応じて、前記作業の内容ごとに前記関与状況を評価する
ことを特徴とする。

また、請求項７記載の発明は、請求項６記載の作業関与状況評価装置において、
前記解析部は、前記作業の内容ごとに前記第１特徴点により前記第１自己組織化マップを生成することを特徴とする。

また、請求項８記載の発明は、請求項５〜７のいずれか一項に記載の作業関与状況評価装置において、
前記解析部は、前記撮影画像に基づいて前記作業者の姿勢を解析し、当該姿勢の変化の状況に基づいて前記作業の内容を識別することを特徴とする。

また、請求項９記載の発明は、請求項８記載の作業関与状況評価装置において、
前記解析部は、前記撮影画像から前記作業者の姿勢に係る所定の第２特徴点を特定して、前記作業者の動作に応じた前記第２特徴点の位置の時間変化に基づいて前記作業の内容を識別することを特徴とする。

また、請求項１０記載の発明は、請求項９記載の作業関与状況評価装置において、
前記解析部は、前記第２特徴点の特性に係る第２自己組織化マップにおける所定時間幅の特性値の配列に基づいて前記動作を規定することを特徴とする。

また、請求項１１記載の発明は、請求項１０記載の作業関与状況評価装置において、
前記解析部は、前記第２特徴点により前記第２自己組織化マップを生成することを特徴とする。

また、請求項１２記載の発明は、請求項１０又は１１記載の作業関与状況評価装置において、
前記解析部は、前記所定時間幅の前記特性値の配列の特性に係る第３自己組織化マップにおける前記動作の特性の分布に応じて、前記作業の内容を識別することを特徴とする。

また、請求項１３記載の発明は、請求項１２記載の作業関与状況評価装置において、
前記解析部は、前記所定時間幅の前記特性値の配列により前記第３自己組織化マップを生成することを特徴とする。

また、請求項１４記載の発明は、請求項９〜１３のいずれか一項に記載の作業関与状況評価装置において、
前記解析部は、前記動作の所定の基準以上の変化に基づいて前記作業の内容が変化したタイミングを特定することを特徴とする。

また、請求項１５記載の発明は、請求項１４記載の作業関与状況評価装置において、
前記解析部は、特定された前記タイミングに応じて区分された動作区間ごとの前記動作の特性の分布に応じて、当該動作区間を作業内容ごとにグループ分けすることを特徴とする。

また、請求項１６記載の発明は、請求項５〜１５のいずれか一項に記載の作業関与状況評価装置において、
前記状況取得部は、前記画像形成装置から当該画像形成装置に対する入力操作の内容を取得し、
前記解析部は、取得した前記入力操作の内容を前記撮影画像と対応付けて、前記入力操作の分類に基づいて前記作業の内容ごとに前記撮影画像をグループ化することを特徴とする。

また、請求項１７記載の発明は、請求項１〜１６のいずれか一項に記載の作業関与状況評価装置において、
前記作業者を撮影する撮影部を備え、
前記状況取得部は、前記撮影部の撮影データを前記観察データとして取得する
ことを特徴とする。

また、請求項１８記載の発明は、
画像形成装置に係る作業を行う作業者を観察した観察データを取得する状況取得ステップ、
取得した前記観察データを解析する解析ステップ、
前記解析の結果に基づいて、前記作業の内容に応じた前記作業者の当該作業に対する意識的な関与状況を評価する評価ステップ、
を含むことを特徴とする作業関与状況評価方法である。

また、請求項１９記載の発明は、
コンピューターを、
画像形成装置に係る作業を行う作業者を観察した観察データを取得する状況取得手段と、
取得した前記観察データを解析する解析手段と、
前記解析の結果に基づいて、前記作業の内容に応じた前記作業者の当該作業に対する意識的な関与状況を評価する評価手段、
として機能させることを特徴とするプログラムである。

本発明に従うと、作業者の作業状況を客観的に取得することができるという効果がある。

コンピューターの機能構成を示すブロック図である。撮影データからの姿勢及び表情に係る特徴量の抽出について説明する図である。作業状態判別動作の流れについて説明する図である。動作特性点配列における作業の区分及び分類について説明する図である。作業者の作業への意識的な関与状況に応じた特性点の分布を模式的に示す図である。作業ごとに集中度と思考度を示した図の模式的な例である。関与状況評価処理の制御手順を示すフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本実施形態の作業関与状況評価装置であるコンピューター１００の機能構成を示すブロック図である。

コンピューター１００は、通常のＰＣ（Personal Computer）であってよく、制御部１０（状況取得部、解析部、評価部）と、記憶部２０と、通信部３０と、入出力インターフェイス（Ｉ／Ｆ）４０と、表示部５０と、操作受付部６０などを備える。

制御部１０は、コンピューター１００の動作を統括制御する。制御部１０は、ＣＰＵ１１（Central Processing Unit）と、メモリー１２などを備える。ＣＰＵ１１は、プログラム２１などを読み込んで実行して各種演算処理を行い、各部の動作制御を行う。メモリー１２は、ＣＰＵ１１に作業用のメモリー空間を提供し、一時データなどを記憶する。メモリー１２は、揮発性メモリー、例えばＲＡＭ（Random Access Memory）を有する。

記憶部２０は、各種データを記憶保持する。各種データには、プログラム２１、並びに画像形成装置８１、生体センサー８２及び撮影装置８３からの取得データ２２が含まれる。記憶部２０は、フラッシュメモリーなどの不揮発性メモリー及び／又はＨＤＤ（Hard Disk Drive）などを有する。プログラム２１は、後述の関与状況評価処理に係るプログラムを含む。関与状況評価処理に係るプログラムは、機械学習モデル２１１を含む。

通信部３０は、所定の通信規格に従ってネットワークを介した外部との通信を制御する。通信部３０は、例えば、ＬＡＮや無線ＬＡＮなどによる通信を制御することができる。ここでは、通信部３０は、コンピューター１００と、画像形成装置８１及び生体センサー８２との間での通信を制御している。

入出力Ｉ／Ｆ４０は、周辺機器との接続端子を有し、当該周辺機器とのデータの送受信を制御する。接続端子としては、例えば、ＵＳＢ（Universal Serial Bus）端子などが挙げられる。ここでは、入出力Ｉ／Ｆ４０には、表示部５０及び操作受付部６０に加えて撮影装置８３が接続されている。

表示部５０は、表示画面を有し、入出力Ｉ／Ｆ４０を介して接続されて、制御部１０の制御に基づく表示動作を表示画面に行わせる。また、表示部５０は、ＬＥＤランプなどを有してステータスの表示を行ってもよい。

操作受付部６０は、ポインティングデバイスやキーボードなどを有し、外部からの入力操作を受け付けて、入出力Ｉ／Ｆ４０を介して制御部１０に受け付け内容に応じた信号を出力する。また、操作受付部６０は、表示画面と重なって位置するタッチパネルを有し、タッチ操作を受け付けることが可能であってもよい。

画像形成装置８１は、媒体に対して画像データに応じた画像の形成（印刷）を行う。画像形成装置８１の種別は特には限られないが、例えば、電子写真方式での画像形成を行う。画像形成装置８１は、画像形成動作に係る構成に加えて表示部及び操作受付部を備え、当該操作受付部への入力操作により、作業者が手動での設定や調整などを行うことができる。

生体センサー８２は、画像形成装置８１による画像形成を行わせる作業者の生体情報を計測して出力する。生体センサー８２の計測内容は、脈拍、血圧、脳波などの周知のもののうち一部又は全部である。

撮影装置８３（撮影部）は、画像形成装置８１の作業者を動画撮影するカメラである。撮影装置８３は、作業者の表情及び姿勢を撮影可能であり、必要に応じて複数の撮影装置を有していてもよい。撮影データは適宜なフォーマットで入出力Ｉ／Ｆ４０を介して記憶部２０に直接送られてもよい。撮影装置８３は、コンピューター１００の一部であってもよい。撮影装置８３は、通常は、可視光帯域で撮影を行うが、後述の特徴点を検出可能であれば、又は当該特徴点を検出するためのマーカーなどを別途設ける場合には、特徴点位置（マーカー位置）を検出可能な波長に感度を有するセンサーカメラであってもよい。

ここでは、画像形成装置８１の操作情報、並びに生体センサー８２及び撮影装置８３の取得データ（まとめて、作業者を観察した観察データ）は、コンピューター１００にリアルタイムで入力される必要はないが、後にタイミングの対応付けが可能なように適宜時刻情報などが付加される。

次に、本実施形態のコンピューター１００による作業状態判別動作について説明する。
コンピューター１００では、上記画像形成装置８１に係る作業を行う作業者についての上記取得データを解析して、当該作業者の作業内容と当該作業に対する意識的な関与状況（思考状況）とを対応付ける。作業内容としては、例えば、画像形成装置８１への媒体の補充、色材容器の交換といった保守作業、記録媒体の種別の選択設定、ソートやステープルなどの設定、形成された画像の不良確認（検品）、テスト画像の形成（試し刷り）時などにおける濃度、色調や光沢などの画質に係る検査及び調整などが挙げられる。各作業では、それぞれ特定のパターンで姿勢（特に、手足の位置、関節の曲がり具合など）が変化することから、作業者の姿勢の時系列データ（変化の状況。すなわち動作）から作業内容（その相違）を識別、分類することができる。

これらの各作業の中には、特に深い思考を必要とせずにルーチンワークとして可能なもの、単純であるが作業への集中が必要なもの、経験などに基づいて最適な条件などを思考する必要があるものなどが含まれ得る。作業者の表情を解析して集中の度合（集中度）や思考の度合（思考度）などを推定する技術については、数多くの発表がなされており、撮影画像に対して適宜なモデルに従った解析処理及び判断を行うことで、作業者の作業に対する意識的な関与状況を推定することができる。

図２は、撮影データからの姿勢及び表情に係る特徴量の抽出について説明する図である。
図２（ａ）に示すように、姿勢は、例えば、作業者の手、脚、首などの関節及び頭部（目、耳、鼻など）に係る複数の特徴点（例えば、×印で示した１８点。第２特徴点）を特定することで、その位置関係によって定められる。姿勢を示す特徴点の時系列内での変化（第２特徴点の位置の時間変化）のパターン（動作）が作業ごとに類型化されることで、作業者の作業の種別が識別される。

図２（ｂ）に示すように、表情は、例えば、顔の特に眉、目、鼻及び口の特徴点（所定の第１特徴点）の位置関係によって定められる。ここでは、それぞれ破線で囲ったように、眉頭と目の両端を結ぶ面積、左右の目の上半分及び下半分の各面積、鼻孔部分の面積、及び口の上半分及び下半分の各面積の組み合わせなどによって表情を特定するが、これには限られない。表情の短時間での変化は無意識に起こるものが多く、特にこのような変化は、作業に対する集中の度合や思考している状況などを反映する。すなわち、撮影画像から作業時の表情の変化特性を解析することで、作業者が取り組んでいる作業に対する集中度及び思考の度合（まとめて関与状況に係る評価値）が定量的に算出される。

図３は、作業状態判別動作の流れについて説明する図である。
撮影装置８３による作業者の撮影画像（動画撮影データの各フレームデータ）が取得されると、まず、画像から作業者及びその顔の認識処理がなされて、当該作業者の上記特徴点が特定される。また、これまでに取得された特徴点も参照しながら各特徴量が算出される（ＰＲ１：後述の関与状況評価処理の（以下同）ステップＳ１０１、Ｓ１０２に対応）。

姿勢の特徴点、特徴量から動作の特性を示すデータを取得する（ＰＲ２）。姿勢の特徴点、特徴量は、低次元（ここでは２次元）の潜在空間にマッピング（写像）されて、当該潜在空間内の特性点（姿勢特性点）に変換される（ＰＲ２１：ステップＳ１０５に対応）。変換には、機械学習モデル２１１を学習させた学習済モデルが用いられる。ここでは、機械学習モデル２１１には、自己組織化マップ（Self-Organizing Map：ＳＯＭ）を生成するニューラルネットワークが利用される。例えば、特徴量として、各特徴点の今回の位置、前回の位置、位置の変化量、所定の設定期間内での座標範囲（最大値及び最小値）などを入力データとした学習により、自己組織化マップである第１学習済モデルＳＯＭ１（第２自己組織化マップ）が生成される。この第１学習済モデルＳＯＭ１への解析対象区間の特徴に係る入力データを低次元（例えば、２次元）の潜在空間にマッピング（写像）して、当該低次元の特性点（姿勢特性点）に変換する。次いで、姿勢のマッピングデータであるこの姿勢特性点の所定時間幅の配列を単位動作とした（動作を規定して）入力データを低次元（２次元）の特性点（動作特性点）に変換する（ＰＲ２２；ステップＳ１０６に対応）。単位動作の時間幅（ウィンドウ）は、各作業の通常の所要時間より短く、例えば、２秒間である。この変換にも、姿勢特性点を入力とした学習により生成された自己組織化マップである第２学習済モデルＳＯＭ２（第３自己組織化マップ）が用いられる。

各２秒間の動作特性を示すマッピングデータ（動作特性データ）は、第２学習済モデルＳＯＭ２の潜在空間における特性点の座標（ここでは２次元Ｘ，Ｙ座標）で示される。この座標の時系列変化に基づいて、解析対象区間の動作特性データの配列における作業の切り替わりが特定される（ＰＲ３：ステップＳ１０７に対応）。また、区分された各作業における動作特性の類似度に基づいて、各作業の異同が判断される。なお、作業の異同は、撮影画像データに基づく識別だけではなく、画像形成装置８１から取得された各画像データの取得タイミングにおけるユーザーの当該画像形成装置８１に対する操作内容などによっても判断されてよい。また、作業工程中に単一の目的に係る複数の異なる動きの処理が含まれる場合（例えば、試し刷りの画質検査を目的として、画像が形成された媒体を取り出す処理、複数の媒体を並べる処理、媒体表面を検査する処理、検査結果に応じた調整の入力操作を行う処理など）については、各処理が各々別個の作業として分離して処理されてもよいし、一連の単一作業として扱われるように動作群の分離基準などが定められてもよい。

なお、この分類では、作業者が具体的に何をしているかまでは特定できないので、例えば、類型化された各パターンの画像を作業者や担当者などに視聴させて作業名を操作受付部６０により入力操作させることで、その内容により具体的なラベル付けが行われてもよい。また、撮影画像中の各パターンの出現タイミングを画像形成装置８１から取得された当該画像形成装置８１の操作受付部による入力操作の受付内容と対応付けることで、実際の操作内容を特定することができる。また、実際の作業工程上ではありえない順序で作業が分類されている場合や、撮影画像からでは判別できない複数の処理を含む場合などには、当該作業部分を上記視聴内容に含め、又は入力操作の受付内容（分類）に基づいて作業内容を特定し、正しい作業内容に修正されてよい。上述の一連の複数の処理についても別個の作業として特定されたものをまとめるように修正されてもよい。

表情の特徴量は、上記区分された作業ごとにそれぞれ低次元（２次元）の特性点（表情特性点）に変換される（ＰＲ４：ステップＳ１１１、Ｓ１１２に対応）。この特性点の変換も学習により得られた自己組織化マップである第３学習済モデルＳＯＭ３（第１自己組織化マップ）により行われる。第３学習済モデルＳＯＭ３は、作業ごとに各々生成され、同一の表情であっても作業ごとに異なる表情特性点に変換される場合がある。作業ごとに得られた（定められた）表情の特性点の第１自己組織化マップの潜在空間上における位置（特性）の分布などに基づいて、作業者の集中度及び思考度合が算出される（ＰＲ５；ステップＳ１１３〜Ｓ１１５に対応）。算出方法については後述する。作業ごとに集中度及び思考度合を配列することで、相対的に作業者がどの作業に対して意識的な関与をしているか、すなわち、集中し、及び／又は作業内容について思考しているかが特定される（ＰＲ６：ステップＳ１１６に対応）。

第１学習済モデルＳＯＭ１は、取得された画像データのうち作業者が写っている部分の中から、例えば動作単位（２秒単位）でランダムに抽出された適宜な数のデータに基づいて収束するまで行われるバッチ学習により得られればよい。第２学習済モデルＳＯＭ２は、第１学習済モデルＳＯＭ１の学習生成により最終的に得られる出力データを用いて行われた学習により得られればよい。第３学習済モデルＳＯＭ３は、第１学習済モデルＳＯＭ１に対する解析対象区間の姿勢の特徴点データの入力に応じて第２学習済モデルＳＯＭ２から出力される動作特性点により作業が区分された後、当該解析対象区間の表情の特徴点のデータにより、作業ごとに行われる学習により得られればよい。また、第１学習済モデルＳＯＭ１及び第２学習済モデルＳＯＭ２は、独立な機械学習モデルから得られなくてもよく、統合された３階層の機械学習モデルにおける一部ずつであってもよい。

また、生体センサー８２から各種計測データが取得される場合には、これらも表情と同様に関与状況の算出に用いられてよい。例えば、脳波（α波の強さなど）、血圧や脈拍の上り具合などが集中度の算出に考慮されてもよい。

図４は、動作特性点配列における作業の区分及び分類について説明する図である。
動作に係る第２学習済モデルＳＯＭ２の潜在空間（２次元空間）における動作特性点を時系列順に配列すると、作業の切り替わり時には、特性点の座標が大きく変化する。そこで、動作特性点の座標がマッピング空間における所定の基準距離Ｌａ（ユークリッド距離）以上変化した場合にこのタイミングで動作群（動作区間）が切り替わるものと判別する。なお、動作群の中には、休憩や他の雑務などのいずれの作業にも属さないものがあってもよい。

図４（ａ）に示すように、タイミングｔ１−１における座標ｆｉ（ｔ１−１）とタイミングｔ１における座標ｆｉ（ｔ１）は、基準距離Ｌａ内にあり、同一の動作群に属する。タイミングｔ１＋１における座標ｆｉ（ｔ１＋１）は、座標ｆｉ（ｔ１）から基準距離Ｌａ以上離れているので、座標ｆｉ（ｔ１）と座標ｆｉ（ｔ１＋１）は、異なる動作群に属するものとして区分される。同様に、タイミングｔ２における座標ｆｉ（ｔ２）とタイミングｔ２＋１における座標ｆｉ（ｔ２＋１）が大きく離れて動作群が切り替わる。なお、ここで示している特性点の点数や配置は、説明のためのものであり、実際の特定の作業時間、作業内容及びその変換結果を反映したものではない。また、基準距離Ｌａは、例えば、ＰＲ２で得られた動作特性点の配列における隣り合うデータ間の距離の平均値などとされてよい。

図４（ｂ）に示すように、タイミングｔ１、ｔ２でそれぞれ動作群が切り替わり、その前後で異なる動作群Ａ〜Ｃに区分される。

区分された動作群は、作業内容に応じてラベル付け（グループ分け）がなされる。異なる動作群であっても同一の作業内容であると推測される場合には同一のラベルが付される。例えば、図４（ｃ）に示すように、動作群Ｇ１の各動作の特性点（白丸）について、動作に係る潜在空間における座標から所定の基準距離Ｌｂ内にある他の動作のラベル（未定を含む）をそれぞれ計数し最も多いものをその動作に対応するラベルとして仮付けする。例えば、特性点Ｐ１から基準距離Ｌｂの範囲には、黒四角で示される特定ラベルの点が４点と、動作群Ｇ１のラベル未定の点２点とが含まれるので、黒四角に対応するラベルが仮付けされる。動作群Ｇ１内の各点に仮付けされたラベルのうち、最も回数が多かったものが動作群Ｇ１のラベルとして決定される。動作群Ｇ２では、特性点Ｐ２から基準距離Ｌｂ内には黒三角で示される特定ラベルの点が近接して存在するものの、他の特性点については動作群Ｇ２の点以外と近接していないので、動作群Ｇ２には既定の作業に係るラベルとは別個の新ラベルが付される。

次に、集中度と思考度の算出について説明する。作業者が作業に集中している場合や思考している場合には、表情の変化に特定の特徴が生じることが知られている。一方、人間が思考している場合、表情は、作業中の平均的な表情と比較して、特異な表情となることが知られている。

図５（ａ）は、作業者が作業に集中している場合の特性点の分布を模式的に示す図である。集中時の特性点は、短期間で周期的に表情が変化することが知られている。すなわち、各単位動作の間の表情に係る特性点は、周期的な変化に応じた狭い範囲に集中することになる。したがって、例えば、潜在空間を適宜なサイズで分割し、一部の分割エリアにおける特性点の出現頻度の突出度合が集中度として算出される。

図５（ｂ）は、作業者が作業中になんらかの思考している場合の特性点の分布の特徴を模式的に示す図である。思考時の特性点は、作業中の表情に対して特徴的な変化が生じた状態が維持されることが知られている。すなわち、ある作業中の単位動作の間の表情に係る特性点の分布において、思考時の分布は平均的な分布から外れる傾向がある。作業ごとに表情に係る特性点の分布を正規化して（すなわち、各分割エリアの出現率を）求め、単位動作における特性点の分布（各分割エリアの出現率）との差分を求めると、思考している時間の比率が高くなるに従って当該差分の値がゼロでない分割エリアが多く現れる。この平均的な分布と単位動作の間の分布との差の大きさ、例えば、各分割エリアにおける差分の合計値や平均値などが思考度として算出される。

以上のように、動作単位ごとに集中度及び思考度が算出されると、作業ごとにこれら集中度及び思考度の代表値、例えば平均値や分散値などが算出されて、作業に対する作業者の意識的な関与の度合（関与状況）が得られる。これらの絶対値又は相対値に基づいて、一連の作業工程において作業者（作業者の属する集団など）が作業に対してかける手間の度合の大小が定量的に評価される。

図６は、作業ごとに集中度と思考度を示した図の模式的な例である。作業Ｊ１は、集中度も思考度も低い作業であって、単純なルーチン作業などが多くあてはまる。作業Ｊ２は集中度が高い一方で思考度が低い作業である。すなわち、例えば、作業自体は定型的だが、作業者の手間がかかる作業などである。作業Ｊ３は、思考度も集中度も高い作業である。例えば、過去の経験などを想起、照合したり、多くの事項を組み合わせたり、新たなアイディアを想起しながらクリエイティブな作業を行ったりする場合などが考えられる。すなわち、作業Ｊ３は、作業者（作業者の属する集団）にとって重要かつ作業者の能力が生かせる作業と判断され得る。作業Ｊ２は、重要な作業であるが、上記集団にとって自動化して作業者の手間を削減し、生産効率を改善すべき作業であるか、又は、作業Ｊ３と同様に作業者の経験などを生かしてもらって集団の画像形成出力にとって強みとすべき内容なのかは当該集団によって異なる場合がある。これらの結果を画像形成装置８１の管理者などに提示することで、画像形成装置８１を所持する集団／者における改善点や力の入れどころなどの知得、整理が可能となる。あるいは、予め集中度と思考度合の基準値や基準条件を定めておくことで、これらの基準に合致する作業を速やかに提示することが可能になる。

図７は、本実施形態のコンピューター１００による関与状況評価処理の制御部１０による制御手順を示すフローチャートである。この処理は、ユーザーによる操作受付部６０への入力操作などに応じて開始されればよい。

制御部１０（ＣＰＵ１１）は、撮影画像データを取得して先頭から読みだして、順に作業者の認識処理を行い、作業者が映っている部分を抽出（映っていない部分を省略）する（ステップＳ１０１；状況取得ステップ、状況取得手段）。制御部１０は、作業者が映っている部分の撮影画像（各フレーム画像）からそれぞれ作業者の顔を認識して、姿勢及び表情に係る特徴点を特定する。また、制御部１０は、特定された特徴点により、処理に必要な特徴量を算出する（ステップＳ１０２）。

制御部１０は、姿勢に係る特徴点及び特徴量のデータを適宜抽出し、機械学習モデル２１１に入力して学習（自己組織化）させ、第１学習済モデルＳＯＭ１を生成する（ステップＳ１０３）。制御部１０は、生成された第１学習済モデルＳＯＭ１から出力される特性点（姿勢特性点座標）を単位動作分ごとにグループ化して機械学習モデルに入力して、学習（自己組織化）させて第２学習済モデルＳＯＭ２を生成する（ステップＳ１０４）。

制御部１０は、解析対象区間（作業者が映っている部分全てでもよい）の姿勢に係る特徴データを第１学習済モデルＳＯＭ１に入力して、マッピング先の潜在空間における姿勢特性点（特性値）の座標を出力させる（ステップＳ１０５）。制御部１０は、単位動作分の時間幅の姿勢特性点データを第２学習済モデルＳＯＭ２入力して、マッピング先の潜在空間における動作特性点（特性値）の座標を出力させる（ステップＳ１０６）。

制御部１０は、動作特性点の時間配列データの座標位置を順に比較し、動作群の区分（区切り位置）を特定する（ステップＳ１０７）。制御部１０は、各動作群に属する動作特性点の座標分布に基づいて、動作群を作業ごとにラベル付けする（ステップＳ１０８）。また、制御部１０は、所定回数の動作群が含まれるラベルを作業として特定し、作業の流れに基づいて作業工程を特定する（ステップＳ１０９）。制御部１０は、操作受付部６０が受け付けた入力操作などに基づいて各作業の具体的な内容をラベルに対して付す（ステップＳ１１０）。

制御部１０は、解析対象区間の表情に係る特徴量を区分された作業ごとに異なる機械学習モデルに入力して学習（自己組織化）させ、各々第３学習済モデルＳＯＭ３を生成する（ステップＳ１１１）。制御部１０は、表情特徴量データを当該表情特徴量データが属する作業に対応する第３学習済モデルＳＯＭ３に入力し、マッピングされた表情特性点（特性値）に変換して出力させる（ステップＳ１１２）。制御部１０は、単位動作ごとに表情特性点の分布に基づいて集中度を算出する（ステップＳ１１３）。制御部１０は、作業単位で表情特性点の潜在空間における所定の分割エリアごとの出現分布（平均出現率に正規化）を求める（ステップＳ１１４）。制御部は、単位動作ごとに表情特性点の出現分布を求め、当該出現分布を作業単位の出現分布（平均出現率）との差分に基づいて思考度を算出する（ステップＳ１１５）。
以上のうち、ステップＳ１０２〜Ｓ１１２の処理が、本実施形態の作業関与状況評価方法における解析ステップ、及び本実施形態のプログラムにおける解析手段を構成する。

制御部１０は、作業ごとに、動作単位で求められた集中度及び思考度の代表値（平均値など）を求めて、作業と集中度及び思考度の対応関係を得る。制御部１０は、各作業の集中度及び思考度の分布に基づいて、作業者が意識して関与している度合の高い作業種別を特定する（ステップＳ１１６）。
ステップＳ１１３〜Ｓ１１６の処理が、本実施形態の作業関与状況評価方法における評価ステップ、及び本実施形態のプログラムにおける評価手段を構成する。
そして、制御部１０は、関与状況評価処理を終了する。

ステップＳ１１６の終了後、制御部１０は、処理を終了する前に、図６に示したようなグラフや上記特定結果などは、表示部５０に表示出力させてもよく、あるいは、同様のフォーマットで電子文書（ＰＤＦなど）を生成してもよい。このときに、取得結果に応じた簡単なコメントが自動挿入されてもよい。また、図６に示したグラフに加えて又は代えて、作業の流れの中での（すなわち時間軸に沿って）集中度及び思考度合の変化を表示させることとしてもよい。また、その中で作業者が意識して関与している度合の高い作業部分をハイライト表示などにより強調してもよい。さらに、処理内で生成された各学習済モデルＳＯＭ１〜ＳＯＭ３が、他のコンピューターなどで利用可能とするためなどに併せて出力されてもよい。

以上のように、作業関与状況評価装置の実施形態であるコンピューター１００は、制御部１０を備える。制御部１０は、状況取得部として、画像形成装置８１に係る作業を行う作業者を観察した観察データ（撮影データ）を取得し、解析部として、取得した観察データを解析し、評価部として、解析の結果に基づいて、作業の内容に応じた作業者の当該作業に対する意識的な関与状況、すなわち、集中度及び思考の度合を評価する。
このように、画像形成装置８１に係る作業者の各作業に応じた意識的な関与の度合を定量評価することで、作業者がどの作業に対して意識して関与し、形成画像のクオリティに影響しているか、また、その貢献の度合に作業者の創造性や独自性が貢献しているかを判断することができる。これにより、画像形成装置８１の処理に対してどの作業において作業者の動作を尊重し生かしつつ、どの作業においてより自動化が望まれるかといった評価が可能となる。したがって、画像形成の効率及び生産性を向上させつつ、形成画像のクオリティに係る独自性や長所をより効果的に生かすことができる。

また、制御部１０は、評価部として、観察データから作業の内容及び関与状況に係る評価値を推定し、作業の内容と関与状況とを対応付ける。すなわち、観察データから複数の異なる作業間での差異の識別と、作業内容に応じた関与状況とをそれぞれ対応付けて得ることができるので、コンピューター１００は、ユーザーに大きな手間をかけずに作業に応じた評価を適切に行うことができる。

また、評価値には、作業者の思考度合が含まれる。単純作業ではなく、作業者が頭を使いながら行う作業がクオリティ上作業者ならではの独自性、特に長所となりやすい部分なので、このような作業を定量的に評価することが、当該作業者の作業の向上に効果的である。

また、評価値には、作業者の集中度が含まれる。集中を要する作業は、かけた手間がクオリティの高低に影響しやすい。一方で、ユーザーの思考を必要としない場合は、自動化が望める部分ともなり得る。したがって、このような評価軸を含むことで、作業者にとっても評価を行う者にとっても有益な情報を提供することができる。

また、制御部１０は、状況取得部として、作業者を撮影する撮影装置８３からの撮影画像のデータを取得し、解析部として、撮影装置８３による撮影画像に基づいて作業者の表情を解析し、評価部として、表情に基づいて作業の内容ごとに関与状況を評価する。
すなわち、作業者の表情、特に無意識に生じる細かい表情の変化から作業への意識的な関与の度合を求めるので、ユーザーの申告などによらず、客観的な評価を適切に行うことができる。また、撮影画像を用いるので、作業者に直接計測装置を取り付ける必要がなく、負担をかけない。

また、制御部１０は、解析部として、撮影画像から作業者の顔における所定の第１特徴点を特定し、評価部として、作業の内容ごとに定められた第３学習済モデルＳＯＭ３の第１自己組織化マップにおける表情の特性の分布に応じて、作業の内容ごとに関与状況を評価する。
すなわち作業者の顔における特定の点（眉、目、鼻、口など）の位置関係及びその変化をＳＯＭにより分類するので、教師データを必要とせずに多くの撮影データから作業者に応じた適切な分類を適切に行うことが可能になる。

また、制御部１０は、解析部として、作業の内容ごとに顔における上記第１特徴点により、表情に関する第３学習済モデルＳＯＭ３の第１自己組織化マップを生成する。すなわち、コンピューター１００で直接第３学習済モデルＳＯＭ３を生成して、これを利用して意識的な関与状況の評価を行うので、解析対象区間の観察データと同様の観察データでもれなく適切に学習された学習済モデルＳＯＭ３を用いて精度よく評価がなされる。

また、制御部１０は、解析部として、撮影画像に基づいて作業者の姿勢を解析し、当該姿勢の変化の状況に基づいて作業の内容を識別する。画像形成装置８１の動作に係る各種作業では、作業内容に応じた種々の特徴的な動きが生じるので、これらを姿勢の変化に基づいて識別することで、撮影データから関与状況と作業内容とをいずれも特定することができ、処理の手間を低減させることができる。

また、制御部１０は、解析部として、撮影画像から作業者の姿勢に係る所定の第２特徴点を特定して、作業者の動作に応じた第２特徴点の位置の時間変化に基づいて作業の内容を識別する。すなわち、姿勢の特定が、関節位置などの限定的な特徴点の特定により行われるので、当該特徴点の特定さえ行われれば姿勢の特定が複雑になりすぎず、シンプルかつ適切に姿勢の特定を行うことが可能になる。

また、制御部１０は解析部として、第２特徴点の特性に係る第１学習済モデルＳＯＭ１の第２自己組織化マップにおける所定時間幅の特性点の配列に基づいて動作を規定する。すなわち、各撮影画像から姿勢を特定し、当該姿勢の連続的変化により動作を規定するので、階層的な処理により複雑になりすぎずに、適切に動作を特定することができる。

また、制御部１０は、解析部として、姿勢に関する上記第２特徴点により第１学習済モデルＳＯＭ１の第２自己組織化マップを生成する。すなわち、コンピューター１００で直接第１学習済モデルＳＯＭ１を生成して、これを利用して姿勢の特徴を特性点に変換し、作業の区分につなげるので、同一の作業者のデータで学習させやすく、当該作業者の癖などを反映した学習がなされ得る。

また、制御部１０は、解析部として、所定時間幅（例えば、２秒）の姿勢特性点（特性値）の配列の特性（動作の特性）に係る第２学習済モデルＳＯＭ２の第３自己組織化マップにおける動作の特性の分布に応じて、作業の内容を識別する。このように、動作の識別についてもＳＯＭの出力を用いることで、教師データなし学習で時間幅のそれぞれにおける動作の分類を適切に可能とすることができる。また、第１学習済モデルＳＯＭ１と第２学習済モデルＳＯＭ２とを階層的に配置することで、撮影画像データから時系列に沿った動作の特定、識別に係る処理へ容易につなげることができる。

また、制御部１０は、解析部として、所定時間幅（例えば、２秒）の姿勢特性点（特性値）の配列の特性（動作の特性）に係る第２学習済モデルＳＯＭ２の第３自己組織化マップを生成する。すなわち、コンピューター１００で直接第２学習済モデルＳＯＭ２を生成して、これを利用して作業の区分を行うので、同一の作業者のデータで学習させやすく、当該作業者の癖などを反映した学習がなされ得る。

また、制御部１０は、解析部として、動作の所定の基準以上の変化に基づいて作業の内容が変化したタイミングを特定する。すなわち、所定幅を単位として特定された動作（単位動作）は、当該動作の連続性及び変化に基づいて作業単位に分離される。すなわち、具体的な動作の変化の中で作業の切り替わりが判断されるので、複雑な処理が必要なく、容易に作業の分離がなされる。

また、制御部１０は、解析部として、特定された作業の切り替わりのタイミングに応じて区分された動作群ごとの動作の特性の分布に応じて、当該動作群を作業内容ごとにグループ分けする。すなわち、上記動作の特性の不連続による区分では、同一の作業が繰り返される場合などの相違が判断されないので、動作の特性（第２学習済モデルＳＯＭ２の出力）に応じて同一の作業をグループ化することができる。これにより、作業に応じた意識的な関与状況の判断の対応付けを適切に行うことができる。

また、制御部１０は、状況取得部として、画像形成装置８１から当該画像形成装置８１に対する入力操作の内容を取得し、解析部として、取得した入力操作の内容を撮影画像と対応付けて、入力操作の分類に基づいて作業の内容ごとに撮影画像をグループ化する。撮影画像から入力操作の内容を、特にタッチパネルのように画面上の同一位置でも表示内容に応じて操作内容が異なる場合に、識別するのは難しいので、入力操作の内容を直接取得することで、より正確かつ具体的に細かく作業内容を識別、分類することが可能になる。操作履歴の取得自体には新たなハードウェア構成を必要としないので、余計な準備や手間をかけずに作業の分類精度を向上させることができる。

また、コンピューター１００は、作業者を撮影する撮影装置８３を備え、制御部１０は、撮影装置８３の撮影データを観察データとして取得してもよい。撮影装置、すなわち撮影カメラ自体はコンピューターと別個の構成であってもよいが、セットで提供することで、評価のために必要な準備の負担を増大させない。

また、本実施形態の作業関与状況評価方法は、画像形成装置８１に係る作業を行う作業者を観察した観察データを取得する状況取得ステップ、取得した観察データを解析する解析ステップ、解析の結果に基づいて、作業の内容に応じた作業者の当該作業に対する意識的な関与状況を評価する評価ステップ、を含む。このように、作業に係る観察データの解析により、作業に対する手間（関与状況）を客観的に評価することができる。よって、人手間をかけることによるクオリティへの影響（貢献）を考慮しつつ、画像形成の生産性や効率の向上に係る計画の作成に貢献することができる。

また、上記作業関与状況評価方法に係るプログラム２１をコンピューター１００にインストールしてソフトウェア的に実行することで、各種観察データが得られれば、その他に特殊な処理構成を必要とせずに各作業に対する人手間のかけ具合、特に、作業者の意識的な関与状況を客観的に考慮することができる。これにより、作業者の負担の低減と作業者の労力に応じたクオリティの向上とを適切に判断する材料を得ることができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、第１学習済モデルＳＯＭ１の学習データはランダムに選択されて、学習終了後に解析対象のデータを改めて入力することとしたが、撮影データ全体を解析する場合には、学習終了と同時に出力データ（マッピングデータ）が得られ、再度の入力処理を行わなくてもよい。また、上記実施の形態では、第３学習済モデルＳＯＭ３は、作業の区分がなされた解析対象区間の表情の特徴点データにより生成され、同データの第３学習済モデルＳＯＭ３からの出力により集中度及び思考度合の算出がなされたが、解析対象区間とは異なる区間の学習データが第１学習済モデルＳＯＭ１及び第２学習済モデルＳＯＭ２により作業区分されて、当該学習データが作業ごとに学習済モデルＳＯＭ３の生成に用いられてもよい。その後、解析対象区間のデータが第１学習済モデルＳＯＭ１及び第２学習済モデルＳＯＭ２により別途作業区分され、作業ごとに作成済みの第３学習済モデルＳＯＭ３に入力されて評価が行われる。あるいは、作業ごとに第３学習済モデルＳＯＭ３を生成しない場合には、第１学習済モデルＳＯＭ１の生成と第３学習済モデルＳＯＭ３の生成とが並列に行われてもよい。

また、上記実施の形態では、自己組織化マップを用いて作業の識別及び関与状況の推測が行われたが、入力操作内容などを教師データとして作業内容の学習を行うことが可能な場合には、機械学習モデル２１１は、各学習済モデルＳＯＭ１〜ＳＯＭ３の一部又は全部の代わりに教師あり学習を用いた各種学習アルゴリズムによる学習済モデルを生成してもよい。また、生体センサー８２などの観察データから直接関与状況が推測可能な場合には、機械学習モデルを用いた関与状況の推測が行われなくてもよいし、他の適したアルゴリズムの機械学習モデルが用いられてもよい。

また、集中度や思考度合に加えて、意識状況（精神活動）全般に係る他の指標、例えば、覚醒度合や、脳波のβ波などを利用して感情の起伏、特にイラつきなどを意識的な関与状況の評価に含めてもよい。

また、上記実施の形態では、コンピューター１００が単独で撮影データの取得、学習済モデルＳＯＭ１〜ＳＯＭ３の生成及び意識的な関与状況の評価を行うこととしたが、複数台の画像形成装置に対応する複数のコンピューターや複数の作業者がいる場合に、一部のコンピューターの取得データ又は複数のコンピューターの取得データの組み合わせによりいずれかのコンピューター又は他のサーバー装置で学習済モデルＳＯＭ１〜ＳＯＭ３が生成されて各コンピューターに提供されてもよい。すなわち、この場合には、全てのコンピューターで学習済モデルＳＯＭ１〜ＳＯＭ３を生成する処理が行われなくてもよい。

また、作業内容の識別には、作業者の姿勢だけでなく所在位置、すなわち、撮影画像内における位置座標などが用いられてもよい。また、この場合には画像形成装置８１の各構成との位置関係も考慮されてもよい。

また、上記実施の形態では、観察データとして、撮影データを主な判断材料とする場合を例に挙げて説明したが、生体センサー８２の計測データ（例えば、上記の脳波などに加え、体の各位置やその動きの情報などを取得可能なセンサーを用いる場合など）を主な判断材料としてもよく、さらに、これら生体センサー８２の計測データにより関与状況と姿勢などの変化（作業内容）とが識別可能であれば、撮影データを用いなくてもよい。また、これら生体センサー８２の計測データにおける特徴量に基づいてＳＯＭが生成されて、当該ＳＯＭが作業の区分及び／又は意識的な関与状況の評価に用いられてもよい。この場合、生体センサー８２の計測データにより得られる特徴量に応じて、姿勢、動作及び表情の３階層以外の学習済モデルＳＯＭが生成されてもよく、また、その代わりに上記３階層の学習済モデルＳＯＭの一部が生成されなくてもよい。例えば、生体センサー８２の計測データなどに基づいて姿勢の評価を行わずに直接動作（作業）の特性を取得し、これにより作業を区分できる場合には、姿勢に係るＳＯＭが省略されてもよい。あるいは、３階層以外の学習済モデルＳＯＭ及び／又は画像形成装置８１への入力操作に係る取得データなどに基づいて、３階層の学習済モデルＳＯＭの生成順が変更されてもよい。反対に、生体センサー８２や画像形成装置８１の入力操作情報などを用いずに撮影データのみにより意識的な関与状況の評価がなされてもよい。

また、上記実施の形態では、各作業への意識的な関与の度合を各々独立に推定することとしたが、複数の一連の作業の流れの中での関与の度合の変化パターンに特徴がある場合には、関連性を考慮しながら各作業の重要性を判定してもよい。また、作業手順に応じて意識的な関与の度合に差が生じるような場合には、作業の効率性や創造性の効果的な向上などについての判定を含めてもよい。また、同じ流れの中でも意識的な関与の度合にばらつきがある場合には、実際の処理内容（例えば、同一の作業でも、思考を必要とする状況が発生する場合と発生しない場合とがあるなど）と対応付けてもよい。単純な平均化処理では埋もれてしまうような頻度での高度な思考であっても、上記各処理によって注目が可能となる。

また、以上の説明では、本発明に係る制御部１０の処理動作に係るプログラム２１のコンピューター読み取り可能な媒体として不揮発性メモリー及び／又はＨＤＤなどの補助記憶装置を有する記憶部２０を例に挙げて説明したが、これに限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ−ＲＯＭやＤＶＤディスクなどの可搬型記憶媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

１０制御部
１１ＣＰＵ
１２メモリー
２０記憶部
２１プログラム
２１１機械学習モデル
２２取得データ
３０通信部
４０入出力Ｉ／Ｆ
５０表示部
６０操作受付部
８１画像形成装置
８２生体センサー
８３撮影装置
１００コンピューター
ＳＯＭ１第１学習済モデル
ＳＯＭ２第２学習済モデル
ＳＯＭ３第３学習済モデル

Claims

画像形成装置に係る作業を行う作業者を観察した観察データを取得する状況取得部と、
取得した前記観察データを解析する解析部と、
前記解析の結果に基づいて、前記作業の内容に応じた前記作業者の当該作業に対する意識的な関与状況を評価する評価部と、
を備えることを特徴とする作業関与状況評価装置。
前記評価部は、前記観察データから前記作業の内容及び前記関与状況に係る評価値を推定し、前記作業の内容と前記関与状況とを対応付けることを特徴とする請求項１記載の作業関与状況評価装置。
前記評価値には、前記作業者の思考度合が含まれることを特徴とする請求項２記載の作業関与状況評価装置。
前記評価値には、前記作業者の集中度が含まれることを特徴とする請求項２又は３記載の作業関与状況評価装置。
前記状況取得部は、前記作業者を撮影する撮影部からのデータを取得し、
前記解析部は、前記撮影部による撮影画像に基づいて前記作業者の表情を解析し、
前記評価部は、前記表情に基づいて前記作業の内容ごとに前記関与状況を評価する
ことを特徴とする請求項１〜４のいずれか一項に記載の作業関与状況評価装置。
前記解析部は、前記撮影画像から前記作業者の顔における所定の第１特徴点を特定して、
前記評価部は、前記作業の内容ごとに定められた前記第１特徴点の特性に係る第１自己組織化マップにおける前記表情の特性の分布に応じて、前記作業の内容ごとに前記関与状況を評価する
ことを特徴とする請求項５記載の作業関与状況評価装置。
前記解析部は、前記作業の内容ごとに前記第１特徴点により前記第１自己組織化マップを生成することを特徴とする請求項６記載の作業関与状況評価装置。
前記解析部は、前記撮影画像に基づいて前記作業者の姿勢を解析し、当該姿勢の変化の状況に基づいて前記作業の内容を識別することを特徴とする請求項５〜７のいずれか一項に記載の作業関与状況評価装置。
前記解析部は、前記撮影画像から前記作業者の姿勢に係る所定の第２特徴点を特定して、前記作業者の動作に応じた前記第２特徴点の位置の時間変化に基づいて前記作業の内容を識別することを特徴とする請求項８記載の作業関与状況評価装置。
前記解析部は、前記第２特徴点の特性に係る第２自己組織化マップにおける所定時間幅の特性値の配列に基づいて前記動作を規定することを特徴とする請求項９記載の作業関与状況評価装置。
前記解析部は、前記第２特徴点により前記第２自己組織化マップを生成することを特徴とする請求項１０記載の作業関与状況評価装置。
前記解析部は、前記所定時間幅の前記特性値の配列の特性に係る第３自己組織化マップにおける前記動作の特性の分布に応じて、前記作業の内容を識別することを特徴とする請求項１０又は１１記載の作業関与状況評価装置。
前記解析部は、前記所定時間幅の前記特性値の配列により前記第３自己組織化マップを生成することを特徴とする請求項１２記載の作業関与状況評価装置。
前記解析部は、前記動作の所定の基準以上の変化に基づいて前記作業の内容が変化したタイミングを特定することを特徴とする請求項９〜１３のいずれか一項に記載の作業関与状況評価装置。
前記解析部は、特定された前記タイミングに応じて区分された動作区間ごとの前記動作の特性の分布に応じて、当該動作区間を作業内容ごとにグループ分けすることを特徴とする請求項１４記載の作業関与状況評価装置。
前記状況取得部は、前記画像形成装置から当該画像形成装置に対する入力操作の内容を取得し、
前記解析部は、取得した前記入力操作の内容を前記撮影画像と対応付けて、前記入力操作の分類に基づいて前記作業の内容ごとに前記撮影画像をグループ化することを特徴とする請求項５〜１５のいずれか一項に記載の作業関与状況評価装置。
前記作業者を撮影する撮影部を備え、
前記状況取得部は、前記撮影部の撮影データを前記観察データとして取得する
ことを特徴とする請求項１〜１６のいずれか一項に記載の作業関与状況評価装置。
画像形成装置に係る作業を行う作業者を観察した観察データを取得する状況取得ステップ、
取得した前記観察データを解析する解析ステップ、
前記解析の結果に基づいて、前記作業の内容に応じた前記作業者の当該作業に対する意識的な関与状況を評価する評価ステップ、
を含むことを特徴とする作業関与状況評価方法。
コンピューターを、
画像形成装置に係る作業を行う作業者を観察した観察データを取得する状況取得手段と、
取得した前記観察データを解析する解析手段と、
前記解析の結果に基づいて、前記作業の内容に応じた前記作業者の当該作業に対する意識的な関与状況を評価する評価手段、
として機能させることを特徴とするプログラム。