JP2018142258A - 生産管理装置、方法およびプログラム - Google Patents

Abstract

【課題】管理者の経験や勘に頼ることなく作業者に対し常に適切な介入を行えるようにし、これにより生産性の安定した改善・向上を可能にする。
【解決手段】作業中の作業者ＷＫ１，ＷＫ２，ＷＫ３の生体計測データおよび動きの計測データを一次指標として、この一次指標と別途生成した学習データとをもとに作業者の感情と認知能力をそれぞれ推定し、さらにこの推定した感情と認知能力を二次指標として、この二次指標と別途生成した関係式とに基づいて作業者の生産能力を推定する。そして、この生産能力の推定値の変化量を介入条件を規定するしきい値と比較し、生産能力の推定値の変化量がしきい値を超えていると判定された場合に、その時点で作業者に対し介入を行うようにしたものである。
【選択図】図４

Description

この発明は、作業者が作業を行う工程を有する生産ラインで使用される生産管理装置、方法およびプログラムに関する。

生産ライン等の各種設備において、設備の動作異常を早期に検出することは、稼働効率の低下を未然に防ぐ上できわめて重要である。そこで、例えば複数のセンサから設備の動作状態を表す測定データを取得し、取得した測定データを事前に生成しておいた学習データに照会することで、設備の動作異常の予兆を検出するシステムが提案されている（例えば特許文献１を参照）。

一方、作業者が作業を行う工程を有する生産ラインにおいては、生産性、つまり品質と生産量に影響を与える要因として、「4M（Machine、Method、Material、Man）」があることが知られている。このうち、Machine、MethodおよびMaterialの3Mについては、これまでも改善、改良を重ねることで生産性の向上が図られてきた。しかし、“Man”は、作業者の習熟度や適性、心身状態等に依存する。このため、一般には管理者が作業者の心身状態を例えば目視観察し、作業者に対し適切な介入を行うことで、生産性を維持・向上させる対策が採られている。

特許第５５３００１９号公報

ところが、管理者が作業者の心身状態を目視観察する手法では、生産性に影響する作業者の心身状態を的確に把握できるかどうかが管理者の経験や勘に依存するため、作業者の心身状態を常に的確に把握できるとは限らない。また、作業者の心身状態の変化を把握できても、いつどのような内容の介入を行うかが管理者の判断に委ねられる。このため、常に適切な介入を行えるとは限らず、生産性の安定した改善・向上が見込めなかった。

この発明は上記事情に着目してなされたもので、管理者の経験や勘に頼ることなく作業者に対し常に適切な介入を行えるようにし、これにより生産性の安定した改善・向上を可能にした生産管理装置、方法およびプログラムを提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、作業者が作業を行う工程を有する生産ラインを管理する生産管理装置または生産管理方法にあって、作業中の作業者の活動状態を表す情報を取得する活動状態取得部または過程と、前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力を推定する第１の推定部または過程と、前記推定された感情および認知能力の少なくとも一方を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の生産能力との関係性を表す第２の学習データとに基づいて、前記作業者の生産能力を推定する第２の推定部または過程と、前記第２の推定部による生産能力の推定結果と予め設定した介入条件とに基づいて、前記作業者に対する介入のタイミングと内容を決定する介入決定部または過程とを具備するものである。

この発明の第２の態様は、前記介入決定部が、前記第２の推定部による生産能力の推定結果が第１の条件に満たないと判定されたタイミングで、前記作業者に対し第１の内容の介入を行うことを決定する第１の決定部と、前記第１の内容の介入を行った後に、前記第２の推定部による生産能力の推定結果が第２の条件に満たないと判定されたタイミングで、前記作業者に対し前記第１の内容とは異なる第２の内容の介入を行うことを決定する第２の決定部とを備えるようにしたものである。

この発明の第３の態様は、前記第１の決定部が前記第１の介入の内容として前記作業者に対し視覚的または聴覚的な刺激を与えることを決定し、前記第２の決定部が前記第２の介入の内容として前記作業者に対し触覚的な刺激を与えることを決定するようにしたものである。

この発明の第４の態様は、前記介入決定部が、前記第１または第２の内容の介入を行った後に、前記第２の推定部による生産能力の推定結果が第３の条件に満たないと判定されたタイミングで、前記作業者に対し作業の中断を指示する第３の決定部を、さらに備えるようにしたものである。

この発明の第１の態様によれば、作業中の作業者の活動状態を示す情報を一次指標として、この一次指標と別途生成された第１および第２の学習データとをもとに作業者の感情と認知能力がそれぞれ推定され、さらにこの推定された感情と認知能力を二次指標として、この二次指標と別途生成された第２の学習データとに基づいて作業者の生産能力が推定される。そして、生産能力の推定値と予め設定した介入条件とに基づいて作業者に対する介入のタイミングと内容が決定される。このため、管理者の経験や勘に頼ることなく、作業者に対し常に適切なタイミングで適切な内容の介入が行えるようになり、これにより生産性の安定した改善・向上が可能となる。

この発明の第２の態様によれば、作業者の生産能力の推定結果が第１の条件に満たないと判定されたタイミングで上記作業者に対し第１の内容の介入が行われ、当該第１の内容の介入が行われた後、作業者の生産能力の推定結果が第２の条件に満たないと判定されたタイミングで、上記作業者に対し上記第１の内容とは異なる第２の内容の介入が行われる。このため、作業者の生産能力の推定結果に応じて段階的に複数回の介入が行われることになり、作業者の生産能力を効果的に回復させることが可能となる。

この発明の第３の態様によれば、１回目の介入では作業者に対し視覚的または聴覚的な刺激が与えられ、２回目の介入では作業者に対し触覚的な刺激が与えられる。このため、作業者に対し段階的に徐々に強い内容の介入が行われることになり、これにより介入による作業者の心理的な悪影響を抑制しつつ生産能力を回復させることが可能となる。

この発明の第４の態様によれば、第１または第２の内容の介入が行われた後、作業者の生産能力の推定結果が第３の条件に満たないと判定されたタイミングで、作業者に対し作業の中断が指示される。このため、例えば体調が悪化した作業者を適切なタイミングで休息させることができ、これにより作業員の健康と製品の品質の両方を効果的に維持させることが可能となる。

すなわちこの発明によれば、管理者の経験や勘に頼ることなく作業者に対し常に適切な介入を行うことが可能となり、これにより生産性を安定的に改善・向上させることが可能な生産管理装置、方法およびプログラムを提供することができる。

この発明の一実施形態に係る生産管理システムの概略構成図。 図１に示したシステムで使用される感情入力デバイスおよび計測デバイスの一例を示す図。 図１に示したシステムで使用される他の計測デバイスを示す図。 図１に示したシステムに設けられる生産管理装置の機能構成を示すブロック図。 図４に示した生産管理装置により実行される感情学習処理の処理手順と処理内容を示すフローチャート。 図４に示した生産管理装置により実行される認知能力学習処理の処理手順と処理内容を示すフローチャート。 図５に示した感情学習モードにおける感情学習データ生成・記憶処理の手順と処理手順の前半部分を示すフローチャート。 図５に示した感情学習モードにおける感情学習データ生成・記憶処理の手順と処理手順の後半部分を示すフローチャート。 図６に示した認知能力の学習処理における学習データ生成・記憶処理の手順と処理手順の前半部分を示すフローチャート。 認知能力推定処理の説明に使用する作業工程の一例を示す図。 図４に示した生産管理装置において実行される生産管理処理の手順と処理内容を示すフローチャート。 図１１に示した処理手順のうち感情推定処理の手順と処理内容を示すフローチャート。 図１１に示した処理手順のうち認知能力推定処理の手順と処理内容を示すフローチャート。 図１１に示した処理手順のうち介入制御の処理手順と処理内容を示すフローチャート。 図１４に示した介入制御の第１の実施例を説明するための図。 図１４に示した介入制御の第２の実施例を説明するための図。 図２に示した感情入力デバイスにおいて入力される感情情報の定義を説明するための図。 図１に示したシステムの感情入力デバイスを用いた感情情報の入力結果の一例を示す図。 図１に示したシステムの感情入力デバイスにおいて入力された感情情報をクラス分けした図。 図１に示したシステムの感情入力デバイスにおいて入力された感情情報の変化量を示す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（原理）
生産ラインの生産性に影響を与える要因には、「4M(Machine、Method、Material、Man)」がある。このうち“Man”が生産性に及ぼす要因として、本実施形態では脳神経活動に基づく感情と認知能力を定義する。感情は、例えば人の作業に対するやる気および気分（快／不快）であり、時間又は日単位の比較的短期間において変動する。認知能力は、例えば人の作業に対する注意力や判断力に影響し、年又は月単位の比較的長期間で変動する人のベースラインの能力である。

本実施形態では、脳神経活動と相関を有する人の活動状態を表す情報、例えば生体情報および動きの情報を一次指標とし、この活動状態を表す情報と、作業者自身が入力する感情の正解値とから感情を推定する。活動状態を表す情報としては、例えば心電、皮膚電位、モーションおよび活動量等の生体情報や行動情報が用いられる。

認知能力は、人の活動状態を表す情報のうち、注意力や判断力が反映される例えば目の動きと手の動きの各特徴量を一次指標とし、この目の動きと手の動きの特徴量と、認知能力の正解値とから認知能力を推定する。目の動きを表す特徴量としては、例えば視線の移動速度、注視位置座標とその注視時間、瞬きの回数、瞳孔サイズの変化がある。手の動きを表す特徴量としては例えば３軸加速度がある。

本実施形態では、先ず作業者ごとに上記感情と認知能力についてそれぞれ事前に学習データを生成する。これらの学習データは、上記した正解値と一次指標とをもとに生成する。そして、作業中に作業者の活動状態の変化を計測し、その計測データを一次指標とし、当該一次指標と上記学習データとをもとに作業者の感情および認知能力の変化をそれぞれ推定する。

さらに、作業者ごとに、感情および認知能力の変化と作業者の生産能力の変化との相関を表す関係式を、生産能力を推定するための学習データとして予め生成しておく。そして、上記推定された作業者の感情および認知能力の変化を二次指標とし、この二次指標と上記関係式とに基づいて、作業者の現在または今後の生産能力の変化を推定する。

生産能力を表す情報は、一般に品質と生産個数により定義されるが、本実施形態ではより具体的に習熟度を表す情報と、作業ミスの発生度合いを表す情報とにより表す。習熟度を表す情報は、例えば標準的な作業時間と実際の作業時間との差で表される。作業ミスの発生度合いを表す情報は、例えば平均的な作業時間に対する実際の作業時間のばらつきとして表される。

本実施形態では、作業者ごとに、作業中に上記作業時間と実際の作業時間との差の情報、および平均的な作業時間に対する実際の作業時間のばらつきを表す情報を、それぞれ生産能力を表す情報として推定し、この推定された生産能力を表す情報と、予め設定した介入条件とに基づいて、作業者に対する介入タイミングと介入の内容を決定する。

（構成）
この発明の一実施形態に係る生産管理システムは、セル生産システムからなる。セル生産システムとは、製品を生産する工程を複数に分ける。そして、生産ライン上にこれらの工程に対応するセルと呼ばれる作業エリアを設け、これらのセルにおいてそれぞれ作業者が割り当てられた工程の作業を行うシステムである。

図１はセル生産システムの一例を示すもので、Ｕ字型をなす生産ラインＣＳを備えている。生産ラインＣＳは、例えば製品の流れの方向に工程の異なる３つのセルＣ１，Ｃ２，Ｃ３を有し、これらのセルＣ１，Ｃ２，Ｃ３にはそれぞれ作業者ＷＫ１，ＷＫ２，ＷＫ３が配置される。また生産ラインＣＳ全体の作業を監視するために、熟練者であるリーダＷＲが配置される。リーダＷＲはスマートフォンやタブレット型端末等の携帯型情報端末ＴＭを所持する。携帯型情報端末ＴＭは、リーダＷＲに対し生産作業の管理のための情報を表示するために使用される。

生産ラインＣＳの最上流の位置には、部品供給装置ＤＳおよび部品供給コントローラＤＣが配置されている。部品供給装置ＤＳは、部品供給コントローラＤＣから送られる供給指示に従い、製造に必要な複数種類の部品を、指示された速度でラインＣＳに供給する。また生産ラインＣＳの任意のセルＣ１には協調ロボットＲＢが配置されている。協調ロボットＲＢは、部品供給コントローラＤＣからの指示に従い、部品の供給速度に協調して製品Ｂ１への部品の組み付け作業等を行う。

生産ラインＣＳの各セルＣ１，Ｃ２，Ｃ３には、それぞれモニタＭＯ１，ＭＯ２，ＭＯ３が配置されている。これらのモニタＭＯ１，ＭＯ２，ＭＯ３は、それぞれ作業者ＷＫ１，ＷＫ２，ＷＫ３に対し、個々の作業に関する指示情報や介入の一形態に相当する介入メッセージ等を提示するために用いられる。

また生産ラインＣＳの上方空間には作業監視カメラＣＭが配置されている。作業監視カメラＣＭは、各セルＣ１，Ｃ２，Ｃ３において作業者ＷＫ１，ＷＫ２，ＷＫ３による製品Ｂ１，Ｂ２，Ｂ３の生産作業の結果を監視するための映像を撮像する。この生産作業の結果は、認知推定用の学習データを生成する際に、正解値として用いられる。

ところで、作業者ＷＫ１，ＷＫ２，ＷＫ３の感情および認知能力を推定するために、作業者ＷＫ１，ＷＫ２，ＷＫ３にはそれぞれ入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３が設けられる。入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３は、感情の正解値を入力する手段として用いる感情入力デバイス２と、感情および認知能力を推定する際の一次指標となる作業者の活動状態を計測する計測デバイス３および視線監視カメラ４を備えている。

感情入力デバイス２は、例えば図２に示すようにスマートフォンまたはタブレット型端末からなり、アプリケーションプログラムの制御の下で感情入力画面を表示する。感情入力画面は、感情の活性度（Arousal）を縦軸にとり、活性度の強度（Valence）を横軸にとることで、感情を二次元座標平面で表したものである。上記感情入力画面上において、作業者が自身のその時の感情に対応する位置をプロットすると、感情入力デバイス２はこのプロットされた位置座標を作業者の感情を表す情報として認識する。

なお、上記感情をArousalとValenceとからなる二次元座標平面で表す手法は、ラッセルの円環モデルとして知られている。図１７にその概要を示す。図１８は感情入力デバイス２による時間帯別の感情の入力結果の一例を示したもので、活性度（Arousal）により「やる気」のあるなしとその程度が表され、活性度の強度（Valence）により「気分」の快（ワクワク）／不快（イライラ）とその程度が表される。

感情入力デバイス２は、上記感情を表す情報として検出した位置座標を、ArousalとValenceとで表される二次元座標平面の象限とArousalおよびValenceの各値に変換する。そして、この変換後のデータに入力日時を表すタイムスタンプデータを付与し、これを感情入力データ（以後スケールデータと呼ぶ）として、無線インタフェースを使用することによりネットワークＮＷを介して生産管理装置１へ送信する。

計測デバイス３は、例えばウェアラブル端末に内蔵され、図３に示すように作業者の手首に装着される。なお、計測デバイス３はウェアラブル端末に内蔵する以外に、衣服やベルト、ヘルメット等に装着するものであってもよい。計測デバイス３は、人の感情および認知能力と相関を持つ人の活動状態を表す情報を計測する。人の活動状態を表す情報には生体情報と動きを表す情報が含まれる。生体情報および動きを表す情報を計測するために、計測デバイス３は複数種類の生体センサおよび動きセンサを内蔵する。これらの生体センサおよび動きセンサは、例えば、心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘを計測するセンサを含む。

心電センサは、予め設定した周期或いは任意のタイミングで作業者の心電Ｈの波形データを計測し、その計測データを出力する。皮膚電位センサは、例えばポリグラフ計からなり、上記予め設定した周期或いは任意のタイミングで作業者の皮膚電位Ｇを計測し、その計測データを出力する。モーションＢＭを計測するセンサとしては、例えば３軸加速度センサが用いられ、作業者の手の動きを表す３軸加速度の計測データを出力する。活動量Ｅｘを計測するセンサとしては活動量計が用いられ、身体活動の強度（メッツ）と、身体活動の量（エクササイズ）を表す計測データを出力する。なお、生体センサとしては、他に筋電を計測する筋電センサ等も利用可能である。

視線監視カメラ４は小型イメージセンサからなり、例えば図３に示すように作業者ＷＫ１，ＷＫ２，ＷＫ３の帽子に取り付けられるか、またはメガネやゴーグルのフレームに装着される。視線監視カメラ４は、作業者の目の動き（眼球運動ＥＭ）を撮像し、その撮像画像データを計測データの１つとして生産管理装置１へ送信する。

なお、計測デバイス３および視線監視カメラ４は、上記各計測データを送信する際に、計測日時を表すタイムスタンプデータを付与し、この計測データを無線インタフェースを用いてネットワークＮＷ経由で生産管理装置１へ送信する。

無線インタフェースとしては、例えば、無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）等の小電力型無線データ通信規格を採用した無線インタフェースが使用される。なお、感情入力デバイス２とネットワークＮＷとの間を接続するインタフェースとしては、公衆移動通信ネットワークやＵＳＢ（Universal Serial Bus）等の有線信号ケーブルを使用してもよい。

また、作業者ＷＫ１，ＷＫ２，ＷＫ３に対し触覚を用いた介入を行うために、作業者ＷＫ１，ＷＫ２，ＷＫ３にはそれぞれ刺激付与装置ＡＣ１，ＡＣ２，ＡＣ３が設けられている。刺激付与装置ＡＣ１，ＡＣ２，ＡＣ３は、例えばバイブレータを備えたもので、後述する生産管理装置１から送信される駆動信号に応じて振動を発生する。

次に、生産管理装置１の構成について説明する。図４はその機能構成を示すブロック図である。生産管理装置１は、例えばパーソナルコンピュータまたはサーバコンピュータからなり、制御ユニット１１と、記憶ユニット１２と、インタフェースユニット１３とを備えている。

インタフェースユニット１３は、ネットワークＮＷにより規定された通信プロトコルに従ってデータ通信を行うもので、上記入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３から送信された各計測データをネットワークＮＷを介して受信する。またインタフェースユニット１３は、制御ユニット１１から出力された表示データを携帯型情報端末ＴＭおよび各モニタＭＯ１，ＭＯ２，ＭＯ３へ送信すると共に、制御ユニット１１から出力された生産ラインＣＳの制御指示コマンドを部品供給コントローラＤＣへ送信する。なお、インタフェースユニット１３はマンマシンインタフェース機能も備える。このマンマシンインタフェース機能は、キーボードやマウス等の入力デバイスから出力された入力データを受信すると共に、制御ユニット１１から出力された表示データを図示しないディスプレイへ出力し表示させる。

記憶ユニット１２は、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書き込み読み出しが可能な不揮発性メモリを使用したもので、本実施形態を実施する上で必要な記憶領域として、センシングデータ記憶部１２１と、学習データ記憶部１２２と、介入履歴記憶部１２３とを備えている。

センシングデータ記憶部１２１は、上記入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３から送信される各データ、つまり感情入力デバイス２において入力された作業者の感情を表すスケールデータと、計測デバイス３の各センサにより計測された各計測データと、視線監視カメラ４から出力される画像データを、送信元の作業者ＷＫ１，ＷＫ２，ＷＫ３の識別情報と紐付けて記憶するために使用される。またセンシングデータ記憶部１２１は、上記作業監視カメラＣＭから送信される、製品に対する作業の結果を撮像した画像データを記憶するためにも使用される。

学習データ記憶部１２２は、制御ユニット１１により作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに生成される、感情の推定に使用する学習データ、認知能力の推定に使用する学習データ、および生産能力の推定に使用する学習データをそれぞれ記憶するために使用される。

介入履歴記憶部１２３は、制御ユニット１１により作業者ＷＫ１，ＷＫ２，ＷＫ３に対する介入が行われた場合に、その介入の結果を表す情報、つまり介入タイミングと介入内容を表す情報を介入履歴として記憶するために使用される。

制御ユニット１１は、ＣＰＵ（Central Processing Unit）および作業用メモリを有し、本実施形態を実施する上で必要な制御機能として、センシングデータ取得制御部１１１と、特徴量抽出部１１２と、生産能力推定部１１３と、介入制御部１１４と、学習データ生成部１１５とを備えている。これらの制御機能はいずれも、図示しないプログラムメモリに格納されたアプリケーションプログラムを上記ＣＰＵに実行させることにより実現される。

センシングデータ取得制御部１１１は、上記入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３から送信される各データ、つまり感情入力デバイス２から出力されるスケールデータ、計測デバイス３から出力される計測データ、および視線監視カメラ４から出力される画像データをインタフェースユニット１３を介して取得し、取得した各データをセンシングデータ記憶部１２１に記憶させる処理を行う。またセンシングデータ取得制御部１１１は、作業監視カメラＣＭから送信される、各作業者ＷＫ１，ＷＫ２，ＷＫ３による作業結果を撮像した作業監視画像データについても、インタフェースユニット１３を介して取得してセンシングデータ記憶部１２１に記憶させる。

特徴量抽出部１１２は、学習モードにおいて、時系列上の異なる複数の時間位置に設定されるウィンドウごとに、上記センシングデータ記憶部１２１から上記ウィンドウに含まれるスケールデータ、各計測データおよび画像データを作業者ＷＫ１，ＷＫ２，ＷＫ３別に読み込む。そして、読み込んだスケールデータ、各計測データおよび画像データのそれぞれについて、それぞれ特徴量を抽出してその変化量を算出し、その算出結果を学習データ生成部１１５に渡す。

なお、ウィンドウは所定の単位時間幅を有し、時系列上で隣り合うウィンドウ同士が互いに重ならないように上記単位時間幅ずつシフトすることにより設定されるか、または時系列上で隣り合うウィンドウ同士が部分的に重なるように上記単位時間幅より短い時間ずつ順次シフトすることにより設定される。また、ウィンドウの単位時間幅は所定の範囲で一定量ずつ可変可能である。

学習データ生成部１１５は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記特徴量抽出部１１２により抽出されたスケールデータのArousalおよびValence別の特徴量の変化量を正解値（教師データ）とし、各計測データの特徴量の変化量を変数として、重回帰分析を行うことで、感情と各計測データの特徴量との関係性を表す第１の回帰式をArousalおよびValence別に生成する。そして、生成した各回帰式を、どの時間位置のウィンドウであるかを示すウィンドウ識別情報と対応付けて、感情の推定に使用する学習データとして学習データ記憶部１２２に記憶させる。

また学習データ生成部１１５は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、作業監視カメラＣＭの撮像画像データから抽出された作業結果を表すデータを正解値とし、目の動きを示すデータおよび手の動きを示すデータをそれぞれ変数として、重回帰分析を行う。目の動きを表すデータは、特徴量抽出部１１２により、視線監視カメラ４の撮像画像データから抽出される。また、手の動きを表すデータは、特徴量抽出部１１２により、計測デバイス３に含まれる３軸加速度センサの計測データから抽出される。かくして学習データ生成部１１５は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、認知能力と、目の動きおよび手の動きとの関係性を表す第２の回帰式を生成する。そして、生成した第２の回帰式を、認知能力を推定するための学習データとして学習データ記憶部１２２に記憶させる。

さらに学習データ生成部１１５は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記推定された感情および認知能力の変化を二次指標として、この二次指標と作業者の生産能力の変化との相関を表す関係式を生成する。そして、生成した関係式を、生産能力を推定するための学習データとして学習データ記憶部１２２に記憶させる。

具体的には、生産能力を表す情報として、習熟度を表す情報と、作業ミスの発生度合いを表す情報を定義する。習熟度を表す情報は、例えば標準的な作業時間と実際の作業時間との差の情報として表される。また作業ミスの発生度合いを表す情報は、例えば平均的な作業時間に対する実際の作業時間のばらつきを示す情報として表される。学習データ生成部１１５は、上記習熟度を表す情報、および作業ミスの発生度合いを表す情報の各々について、これらの情報を上記感情および認知能力の変化の推定値から推定するための関係式を生成し、学習データ記憶部１２２に記憶させる。

また特徴量抽出部１１２は、生産能力の推定モードにおいて、時系列上の異なる複数の時間位置に設定されるウィンドウごとに、上記センシングデータ記憶部１２１から上記ウィンドウに含まれる各計測データおよび画像データを作業者ＷＫ１，ＷＫ２，ＷＫ３別に読み込む。そして、読み込んだ各計測データおよび画像データからそれぞれ感情および認知能力を推定するための特徴量の変化を抽出し、この特徴量の変化を生産能力推定部１１３に渡す。

生産能力推定部１１３は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記特徴量抽出部１１２から上記抽出された感情および認知能力を推定するための特徴量の変化を受け取ると共に、上記学習データ記憶部１２２から上記感情を推定するための第１の回帰式と、認知能力を推定するための第２の回帰式を読み込む。そして、上記特徴量抽出部１１２から受け取った特徴量の変化と、上記第１および第２の回帰式とを用いて、感情および認知能力の変化をそれぞれ推定する処理を行う。

また生産能力推定部１１３は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記学習データ記憶部１２２から生産能力を推定するための関係式を読み込む。そして、上記感情および認知能力の変化の各推定値と、上記読み込んだ関係式とを用いて、作業者ＷＫ１，ＷＫ２，ＷＫ３の生産能力をそれぞれ推定する。具体的には、習熟度を表す、標準的な作業時間と実際の作業時間との差の情報と、作業ミスの発生度合いを表す、平均的な作業時間に対する実際の作業時間のばらつきを推定する処理を行う。

介入制御部１１４は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記生産能力推定部１１３による生産能力の推定結果を予め定めた介入条件と比較し、その比較結果に基づいて、作業者ＷＫ１，ＷＫ２，ＷＫ３に対する介入タイミングと介入の内容を決定する。

介入の内容としては、例えば、視覚的または聴覚的な手法を用いて作業者に刺激を与えるものと、触覚的な手法を用いて作業者に刺激を与えるものと、作業者に作業の中断（休息）を指示するものがある。介入制御部１１４は、介入の回数に応じて上記介入の内容を選択し、モニタＭＯ１，ＭＯ２，ＭＯ３に介入内容を表すメッセージを表示させたり、刺激付与装置ＡＣ１，ＡＣ２，ＡＣ３を駆動して振動を発生させる処理を行う。

なお、モニタＭＯ１，ＭＯ２，ＭＯ３に介入内容を表すメッセージを表示させる代わり、或いはそれに加えて、合成音声からなるメッセージやチャイムを発生させるようにしてもよい。

（動作）
次に、以上のように構成された生産管理装置１の動作を、システム全体の動作と共に説明する。
（１）学習データの生成
作業者ＷＫ１，ＷＫ２，ＷＫ３の生産能力の推定に先立ち、生産管理装置１は先ず作業者ＷＫ１，ＷＫ２，ＷＫ３ごとにその生産能力の推定に使用する学習データを以下のように生成する。

（１−１）感情推定に使用する学習データの生成
生産管理装置１は、先ず作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに感情推定に使用する学習データを以下のように生成する。図５はその処理手順と処理内容を示すフローチャートである。

すなわち、作業者ＷＫ１，ＷＫ２，ＷＫ３にそれぞれ実際に作業をしてもらいながら、所定の時間間隔又は任意のタイミングでその時々の作業者自身の感情を、感情入力デバイス２により入力してもらう。

感情入力デバイス２は、先に述べたように感情を活性度（Arousal）とその強度（Valence）とからなる二次元座標平面で表したもので、作業者ＷＫ１，ＷＫ２，ＷＫ３がプロットした二次元座標平面における座標値を検出する。また、このとき感情入力デバイス２は、上記二次元座標平面を図１９に示すように４つの象限“１”，“２”，“３”，“４”に分け、さらにArousalおよびValenceの各軸の値を図２０に示すように交点を０として、−１００〜＋１００により表している。感情入力デバイス２は、上記検出した座標値を、上記象限を表す情報と、上記ArousalおよびValenceの各軸の値に変換する。そして、この変換後の情報に、入力日時を表すタイムスタンプデータと作業者ＷＫ１，ＷＫ２，ＷＫ３の識別情報（作業者ＩＤ）を付加し、これをスケールデータとして生産管理装置１へ送信する。

また、それと並行して計測デバイス３では、上記作業中の作業者ＷＫ１，ＷＫ２，ＷＫ３の心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘが一定の時間間隔で計測される。そして、その各計測データが、計測時刻を表すタイムスタンプデータと作業者ＷＫ１，ＷＫ２，ＷＫ３の作業者ＩＤと共に生産管理装置１へ送信される。さらに、作業者ＷＫ１，ＷＫ２，ＷＫ３の目の動きを表す眼球運動ＥＭが視線監視カメラ４により撮像される。そして、その画像データが、タイムスタンプデータと作業者ＷＫ１，ＷＫ２，ＷＫ３の識別情報（作業者ＩＤ）と共に生産管理装置１へ送信される。

生産管理装置１は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記感情入力デバイス２から送信されるスケールデータを、ステップＳ１１により、センシングデータ取得制御部１１１の制御の下でインタフェースユニット１３を介して受信し、この受信したスケールデータをセンシングデータ記憶部１２１に記憶させる。

またそれと共に、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記計測デバイス３から送信される各計測データおよび視線監視カメラ４から送信される画像データを、ステップＳ１２により、センシングデータ取得制御部１１１の制御の下でインタフェースユニット１３を介して受信し、この受信した各計測データおよび画像データをセンシングデータ記憶部１２１に記憶させる。

上記スケールデータと各計測データおよび画像データが一定期間分（例えば１日分又は１週間分）蓄積されると、生産管理装置１はステップＳ１３により、特徴量抽出部１１２および学習データ生成部１１５の制御の下で、感情推定用の学習データの生成処理を以下のように実行する。図７および図８はその処理手順と処理内容を示すフローチャートである。

すなわち、先ずステップＳ１３１によりウィンドウＷｉ（ｉ＝１，２，３，…）の単位時間幅を初期値に設定し、ステップＳ１３２によりｉ＝１番目のウィンドウを選択する。次に特徴量抽出部１１２が、ステップＳ１３３により、上記１番目のウィンドウの期間に含まれる複数のスケールデータを上記センシングデータ記憶部１２１から読み込み、ステップＳ１３４によりArousalおよびValence別にその特徴量の変化量を算出する。

例えば、いま図１８に示すように１つのウィンドウの期間内にスケールデータＫ１，Ｋ２が入力された場合には、象限が“３”→“４”、Arousal＋２０、Valence＋５０のように変化量が算出される。なお、象限が“３”→“２”のように対角状に変化した場合にも、ArousalおよびValence別にその特徴量の変化量を算出すればよい。

特徴量抽出部１１２は、続いてステップＳ１３５により、上記１番目のウィンドウの期間に計測された各計測データと画像データ、つまり心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘの各計測データと、眼球運動ＥＭを表す画像データを、上記センシングデータ記憶部１２１から読み込む。そして、ステップＳ１３６においてこれらの計測データおよび画像データから特徴量を抽出する。

例えば、心電Ｈの特徴量としては、心拍の間隔（R-R Interval：RRI ）、当該RRI のパワースペクトルの高周波成分（HF）および低周波成分（LF）を抽出する。皮膚電位Ｇの特徴量としては、皮膚電気抵抗（Galvanic Skin Response：GSR）を抽出する。モーションＢＭの特徴量としては、例えば手の動きの方向とその速度を抽出する。手の動きの方向とその速度は、例えば３軸加速度センサにより計測される３軸加速度から算出される。活動量Ｅｘの特徴量は、身体活動の強度（METs）とエクササイズ（EX）により表される。エクササイズ（EX）は、身体活動の強度（METs）×身体活動の実施時間により算出される。眼球運動ＥＭの特徴量としては、例えば視線の移動速度、注視位置座標とその注視時間、瞬きの回数、瞳孔サイズの変化を抽出する。

そして特徴量抽出部１１２は、上記抽出された心電Ｈ、皮膚電位Ｇ、モーションＢＭ、活動量Ｅｘおよび眼球運動ＥＭの各特徴量の、上記ウィンドウの期間内における変化量をそれぞれ算出する。

次に学習データ生成部１１５は、ステップＳ１３７において、上記ステップＳ１３４で算出されたスケールデータの特徴量の変化量と、上記ステップＳ１３６により算出された各計測データおよび画像データの特徴量の変化量とに基づいて、ArousalおよびValence別に学習データを生成する。

例えば、スケールデータのArousalおよびValence別の特徴量の変化量を教師データとし、各計測データおよび画像データの特徴量の変化量を一次指標となる独立変数として、重回帰分析を行う。そして、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、感情の変化と、各計測データおよび画像データの特徴量の変化との関係性を表す回帰式をArousalおよびValence別に生成する。

以下にｉ番目のウィンドウに対応する回帰式を示す。
ＸＡ^i ＝ｆ（α1Ｈi ，α2Ｇi ，α3ＥＭi ，α4ＢＭi ，α5Ｅｘi ）
ＸＶ^i ＝ｆ（α1Ｈi ，α2Ｇi ，α3ＥＭi ，α4ＢＭi ，α5Ｅｘi ） …(1)
但し、ＸＡ^i ，ＸＶ^i はArousalおよびValenceの変化の推定値、α1，α2，α3 ，α4，α5 はそれぞれ計測データＨi ，Ｇi ，ＥＭi ，ＢＭi ，Ｅｘの特徴量に対する重み付け係数、ｆは一次指標である計測データＨi ，Ｇi ，ＥＭi ，ＢＭi ，Ｅｘの特徴量から得られる指標の総合計を示す。重み付け係数は、例えば学習段階で得られる母集団データの中の比率などを考慮して加重平均などにより設定してもよい。なお、ＸＡ^iおよびＸＶ^i の“^”は、「ハット」と読み、本来はＸＡ、ＸＶの頭部に記述される記号である。

学習データ生成部１１５は、上記生成されたｉ番目のウィンドウに対応するArousalおよびValenceの回帰式を、ステップＳ１３８により学習データ記憶部１２２に保存する。そして、ステップＳ１３９により、すべてのウィンドウＷｉについて回帰式の生成処理が終了したか否かを判定し、未選択のウィンドウが残っていればステップＳ１３２に戻り、次の未選択のウィンドウを選択してステップＳ１３３〜Ｓ１３９による一連の感情推定用の学習データの生成処理を繰り返す。

また、特徴量抽出部１１２および学習データ生成部１１５は、ウィンドウの単位時間幅とシフト量の最適値を決定するために、ウィンドウの単位時間幅を一定量ずつ可変すると共に、ウィンドウの時系列方向へのシフト量を一定量ずつ可変する。そして、そのすべての組み合わせの中で、回帰式により得られる感情推定値と、感情入力デバイス２により入力された感情情報の正解値との差分が最も小さい組み合わせを選択し、この選択したウィンドウの単位時間幅とシフト量、およびこの組み合わせのときに生成された回帰式を感情推定用として設定する。

以上の最適なウィンドウを選択する処理の一例を以下に説明する。図８はその処理手順と処理内容を示すフローチャートである。
すなわち、学習データ生成部１１５は、ステップＳ１４１により、ウィンドウＷｉごとに生成された各回帰式をもとに感情の推定値ＸＡ^i ，ＸＶ^iをそれぞれ算出し、算出されたすべてのＸＡ^i ，ＸＶ^iの合計ＸＡ^，ＸＶ^を算出する。そして、ステップＳ１４２により、感情入力デバイス２により入力された感情情報の真値の合計ＸＡ，ＸＶと、上記感情の推定値の合計ＸＡ^，ＸＶ^との差分を
Σ（ＸＡ−ＸＡ^），Σ（ＸＶ−ＸＶ^）
により算出し、その算出結果を学習データ記憶部１２２に保存する。なお、図８では図示の簡単のためΣ（ＸＡ−ＸＡ^）のみを代表して示している。

学習データ生成部１１５は、次にステップＳ１４３において、ウィンドウの単位時間幅とシフト量の可変を終了したか否か、つまりウィンドウの単位時間幅とシフト量のすべての組み合わせについて回帰式の生成処理を終了したか否かを判定する。この判定の結果、まだ終了していなければ、ステップＳ１４４によりウィンドウＷｉの単位時間幅とシフト量を一定量可変し、図７に示すステップＳ１３２に戻る。そして、ステップＳ１３２〜Ｓ１４３による処理を実行する。以後、ウィンドウの単位時間幅とシフト量のすべての組み合わせについて回帰式の生成処理が終了するまで、上記ステップＳ１３２〜Ｓ１４４による処理を繰り返す。

そして、ウィンドウの単位時間幅とシフト量のすべての組み合わせについて回帰式の生成処理が終了すると、学習データ生成部１１５はステップＳ１４５に移行し、上記ウィンドウの単位時間幅とシフト量のすべての組み合わせについて計算された、感情情報の真値の合計ＸＡ，ＸＶと、上記感情の推定値の合計ＸＡ^，ＸＶ^との差分をΣ（ＸＡ−ＸＡ^），Σ（ＸＶ−ＸＶ^）を比較する。そして、Σ（ＸＡ−ＸＡ^），Σ（ＸＶ−ＸＶ^）がいずれも最小となるウィンドウの単位時間幅とシフト量の組み合わせを選択する。

学習データ生成部１１５は、続いてステップＳ１４６において、上記選択されたウィンドウの単位時間幅とシフト量の組み合わせを特徴量抽出部１１２に設定すると共に、ステップＳ１４７において上記選択した組み合わせに対応する回帰式を学習データ記憶部１２２に記憶させる。かくして、感情推定に使用する学習データの生成を終了する。

（１−２）認知能力の推定に使用する学習データの生成
次に学習データ生成部１１５は、認知能力の推定に使用する学習データを以下のように生成する。図６はその処理手順と処理内容を示すフローチャートである。

すなわち、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、計測デバイス３の３軸加速度センサにより手の動きを示すモーションＢＭが計測され、その計測データが生産管理装置１へ送信される。またそれと共に、視線監視カメラ４により作業中の目の動きを示す眼球運動ＥＭが撮像され、その撮像画像データが生産管理装置１へ送信される。

生産管理装置１は、センシングデータ取得制御部１１１の制御の下で、ステップＳ１４により、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記計測デバイス３から送信される手の動きを示すモーションＢＭの計測データと、視線監視カメラ４から送信される眼球運動ＥＭを示す画像データを、インタフェースユニット１３を介して受信し、この受信した各計測データおよび画像データをセンシングデータ記憶部１２１に記憶させる。なお、上記モーションＢＭの計測データおよび眼球運動ＥＭの画像データは、先に述べた感情推定用の学習データを生成する処理の過程で得られたデータをそのまま利用してもよい。

また生産ラインＣＳの各セルＣ１，Ｃ２，Ｃ３では、作業者ＷＫ１，ＷＫ２，ＷＫ３による作業結果が作業監視カメラＣＭにより撮像され、その画像データが生産管理装置１へ送信される。生産管理装置１は、センシングデータ取得制御部１１１の制御の下で、ステップＳ１５により、上記作業監視カメラＣＭから送信される画像データをインタフェースユニット１３を介して受信し、この受信した画像データをセンシングデータ記憶部１２１に記憶させる。

生産管理装置１は、続いてステップＳ１６において、特徴量抽出部１１２および学習データ生成部１１５の制御の下で、以下のように認知能力推定用の学習データを生成する。図９はその処理手順と処理内容を示すフローチャートである。

すなわち、先ずステップＳ１６１により任意の作業時間帯（例えば日または週単位）を選択する。そしてステップＳ１６２において、特徴量抽出部１１２がセンシングデータ記憶部１２１から上記作業結果を表す画像データを読み込み、ステップＳ１６３において、上記読み込んだ作業結果を表す画像データから、例えばパターン認識技術を用いて作業の成否を表す特徴量を抽出する。この特徴量は、例えば上記一定期間に発生した作業ミスの回数または発生率により表される。特徴量抽出部１１２は、上記抽出した特徴量を認知能力の正解値とする。

続いて特徴量抽出部１１２は、ステップＳ１６４において、上記計測デバイス３の３軸加速度センサにより得られた計測データを読み込み、ステップＳ１６５において、当該読み込んだ計測データから作業者の手の動きを表す特徴量を抽出する。またそれと共に、ステップＳ１６４において、視線監視カメラ４により得られた画像データを読み込み、ステップＳ１６５において、当該読み込んだ画像データから作業者の目の動きを表す特徴量（眼球運動ＥＭ）を抽出する。このとき、抽出対象となる眼球運動ＥＭは、先に記したように、例えば視線の移動速度、注視位置座標とその注視時間、瞬きの回数、瞳孔サイズの変化により表される。なお、上記モーションＢＭおよび眼球運動ＥＭの各特徴量は、先に述べた感情推定用の学習データを生成する処理の過程で抽出されたものをそのまま利用することもできる。

次に学習データ生成部１１５は、ステップＳ１６６において、上記作業の成否を表す特徴量を正解値（教師データ）とし、上記手の動きを表す特徴量と眼球運動ＥＭを表す特徴量を変数として、重回帰分析により回帰式を生成する。そして、生成した回帰式を、認知能力を推定するための学習データとして学習データ記憶部１２２に記憶させる。以下に認知能力推定に使用する回帰式の一例を示す。
Ｙ^i ＝ｆ（β1 ＥＭi ，β2 ＢＭi ） …(2)
但し、Ｙ^iは認知能力の変化の推定値、β1 ，β2 はそれぞれ眼球運動ＥＭi およびモーションＢＭiの各特徴量に対する重み付け係数、ｆは一次指標である眼球運動ＥＭi およびモーションＢＭiの特徴量から得られる指標の総合計を示す。重み付け係数は、例えば学習段階で得られる母集団データの中の比率などを考慮して加重平均などにより設定してもよい。

学習データ生成部１１５は、すべての作業時間帯に対し上記回帰式の生成処理を終了したか否かをステップＳ１６７で判定し、未選択の作業時間帯が残っていればステップＳ１６１に戻って上記回帰式の生成処理を繰り返す。一方、すべての作業時間帯について回帰式の生成が終了すると、ステップＳ１６８において、各作業時間帯に対し生成された回帰式を、作業時間帯を表す情報と対応付けて学習データ記憶部１２２に記憶させる。

（１−３）生産能力の推定に使用する学習データの生成
作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、感情推定用の学習データと、認知能力推定用の学習データの生成が終了すると、学習データ生成部１１５は生産能力の推定に使用する学習データを以下のように生成する。

すなわち、学習データ生成部１１５は、生産能力を表す情報として、習熟度を表す情報と作業ミスの発生度合いを表す情報を定義する。習熟度を表す情報は、例えば標準的な作業時間と実際の作業時間との差として表される。作業ミスの発生度合いを表す情報は、平均的な作業時間に対する実際の作業時間のばらつきとして表される。

学習データ生成部１１５は、上記感情の推定値および認知能力の推定値を二次指標とし、過去と現在の二次指標の差の大きさから作業者の習熟度を推定する関係式を生成する。以下にこの関係性の一例を示す。

すなわち、現在における感情の推定値をｘ1 、認知能力の推定値をｙ1 とし、過去における感情の推定値の平均をＸ2 、認知能力の推定値をＹ2 とし、さらに感情および認知能力に対する重み係数をそれぞれγa1 ，γa2 とすると、習熟度QualityＡは、
QualityＡ＝√｛（γa1 （Ｘ2 −ｘ1 ））² ｝
＋√｛（γa2 （Ｙ2 −ｙ1 ））² ｝ …(3)
と表される。

また学習データ生成部１１５は、上記感情の推定値および認知能力の推定値を二次指標とし、過去から現在までの二次指標のばらつきから作業者の作業ミスの発生度合いを推定する関係式を生成する。以下にこの関係性の一例を示す。

すなわち、現在における感情の推定値をｘ1 、認知能力の推定値をｙ1 とし、過去における感情の推定値をＸ1 、認知能力の推定値をＹ1 とし、さらに感情および認知能力に対する重み係数をそれぞれγb1 ，γb2 とすると、作業ミスの発生度合いQualityＢは
QualityＢ＝γb1 √｛（（Ｘ1 −ｘ1 ）／Σ（Ｘ−ｘi ））² ｝
＋γb2 √｛（（Ｙ1 −ｙ1 ）／Σ（Ｙ−ｙi ））² ｝ (4)
と表される。

なお、上記重み係数γa1 ，γa2 ，γb1 ，γb2 は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、例えば重回帰分析により求めるか、或いは作業者ＷＫ１，ＷＫ２，ＷＫ３に対するアンケート調査により決定することができる。

（２）生産能力の推定
上記生産能力推定用の学習データの生成が終了すると、生産管理装置１はこの学習データを用いて、以後作業中の作業者ＷＫ１，ＷＫ２，ＷＫ３の生産能力を以下のように推定する。図１１はその推定処理の手順と処理内容を示すフローチャートである。

（２−１）作業者のセンシングデータの収集
作業開始指示コマンドの入力をステップＳ２１で検出すると、生産管理装置１はステップＳ２２において、事前に指定入力された生産量指示情報（例えば１００個／日）に応じて部品供給コントローラＤＣに対し部品供給速度を初期指定する。そうすると、部品供給コントローラＤＣの指示に従い、部品供給装置ＤＳが製造対象の製品に対応する部品群を指示された速度で生産ラインＣＳに供給する。この部品群の供給を受けて、作業者ＷＫ１，ＷＫ２，ＷＫ３はそれぞれ割り当てられたセルにおいて製品を生産するための作業を開始する。

上記作業中において、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに設けられた入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３では、計測デバイス３により所定の時間間隔又はタイミングにおいて作業者の心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘが計測され、その計測データが生産管理装置１へ送信される。また、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとにその目の動きを示す眼球運動ＥＭが視線監視カメラ４により撮像され、その撮像画像データが生産管理装置１へ送信される。

これに対し生産管理装置１は、上記入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３から送信される各計測データおよび画像データを、センシングデータ取得制御部１１１の制御の下で、ステップＳ２３によりインタフェースユニット１３を介して受信する。そして、受信した各データをセンシングデータ記憶部１２１に記憶させる。

（２−２）作業者の感情の推定
次に生産管理装置１は、予め設定した一定時間（例えば１時間）が経過したことをステップＳ２４で判定すると、先ずステップＳ２５により作業者ＷＫ１，ＷＫ２，ＷＫ３の一人を選択する。そして、特徴量抽出部１１２が、上記選択した作業者に紐付けられた各計測データおよび画像データをセンシングデータ記憶部１２１から読み込み、この各計測データおよび画像データからそれぞれ特徴量を抽出する。

例えば、心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘの各計測データと、眼球運動ＥＭを撮像した画像データから、それぞれ感情の変化と相関のある心電Ｈi 、皮膚電位Ｇi 、モーションＢＭi 、活動量Ｅｘi および眼球運動ＥＭi の各特徴量を抽出する。またそれと共に、モーションＢＭの計測データと眼球運動ＥＭの画像データから、認知能力の変化と相関のある特徴量を抽出する。なお、ここで抽出される各特徴量は、先に述べた学習データの生成処理において抽出されるものと同じであるため、ここでの説明は省略する。

続いて生産管理装置１は、生産能力推定部１１３の制御の下で、先ずステップＳ２６により作業者の感情の変化を推定する。図１２はその処理手順と処理内容を示すフローチャートである。

すなわち、生産能力推定部１１３は、先ずステップＳ２６１により上記特徴量抽出部１１２から感情の推定に使用する各特徴量を受け取ると共に、ステップＳ２６２により上記一定時間の時間帯に対応する感情推定用のArousalおよびValence別の回帰式（(1)式）を、学習データ記憶部１２２から読み込む。続いてステップＳ２６３において、上記感情の推定に使用する各特徴量と、上記ArousalおよびValence別の回帰式に基づいて、上記作業者の上記一定時間の時間帯における感情変化の推定値ＸＡ^i ，ＸＶ^iを算出する。

（２−３）作業者の認知能力の推定
次に生産管理装置１は、特徴量抽出部１１２により、上記一定時間に計測されたモーションＢＭi の計測データと、眼球運動ＥＭi を撮像した画像データから、それぞれ認知能力と相関のある特徴量を抽出する。

次に生産管理装置１は、生産能力推定部１１３の制御の下で、先ずステップＳ２６により作業者の認知能力を推定する。図１３はその処理手順と処理内容を示すフローチャートである。

すなわち、生産能力推定部１１３は、先ずステップＳ２７１により上記特徴量抽出部１１２から、上記一定時間の時間帯に対応する認知能力の推定に使用する眼球運動ＥＭi およびモーションＢＭiの各特徴量を受け取る。またそれと共にステップＳ２７２において、上記一定時間の時間帯に対応する認知能力推定用の回帰式（(2)式）を学習データ記憶部１２２から読み込む。そしてステップＳ２７３において、上記認知能力の推定に使用する眼球運動ＥＭi およびモーションＢＭiの各特徴量と、上記認知能力推定用の回帰式とに基づいて、上記作業者の認知能力の推定値Ｙ^iを算出する。

（２−４）生産能力の推定
次に生産管理装置１は、生産能力推定部１１３の制御の下、ステップＳ２８において、上記算出された感情変化の推定値および認知能力の推定値と、学習データ記憶部１２２に記憶された生産能力推定用の関係式（(3)および(4)式）に基づいて、以下のように作業者の生産能力を推定する。

すなわち、先ず図１４に示すステップＳ２８１において、前述の関係式（(3)式）を用いて、標準的な作業時間と実際の作業時間との差を算出し、この作業時間差を作業者の習熟度QualityＡを表す情報として出力する。次にステップＳ２８２において、前述の関係式（(4)式）を用いて、平均的な作業時間に対する実際の作業時間のばらつきを算出し、その算出値を作業者の作業ミスの発生度合いを表すQualityＢを表す情報として出力する。

そして、上記算出された習熟度QualityＡと、作業ミスの発生度合いを表すQualityＢとを加算し、その加算値を作業者の生産能力の推定値Ｐとする。なお、上記習熟度QualityＡと作業ミスの発生度合いを表すQualityＢとを加算する際には、単純加算でもよいが、生産能力に占める両者の重要度合いに応じて重みを付けるとよい。

（３）作業者の生産能力の推定結果に応じた作業者に対する介入制御
生産管理装置１は、上記生産能力の推定結果が得られると、続いてステップＳ２９により、介入制御部１１４の制御の下で、上記作業者の生産能力の推定結果に応じた作業者ＷＫ１，ＷＫ２，ＷＫ３に対する介入制御を以下のように実行する。

すなわち、介入制御部１１４は、先ず図１４のステップＳ２９１において、上記ステップＳ２８により算出された生産能力の推定値の変化量ΔＰi を求める。この変化量ΔＰiは、例えば作業者ごとに個別に設定されるか或いは全作業者に対し一律に設定される生産能力の目標値に対する変化量として求められる。そして、この変化量ΔＰi を介入条件として予め設定した生産能力の許容量を示すしきい値ｔｈi と比較する。上記許容量を示すしきい値ｔｈiは、例えば作業者ごとに個別に設定してもよく、また全作業者に対し共通に設定してもよい。なお、変化量ΔＰi およびしきい値ｔｈi のi は介入の回数を示す整数値である。

上記比較の結果、生産能力の推定値が減少方向に変化し、かつその変化量ΔＰiがしきい値ｔｈi を超えたとする。この場合介入制御部１１４は、１回目の介入が既に実施済か否かをステップＳ２９２で判定し、未実施であればステップＳ２９３において、上記変化量ΔＰiがしきい値ｔｈi を超えたことが検出されたタイミングで介入制御の実施を決定し実行する。

例えば図１５または図１６に示すように、作業中に作業者ＷＫ１の生産能力の推定値Ｐが低下し、その低下量ΔＰ0 が第１のしきい値ｔｈ0 を超えると、その時点ｔ１で１回目の介入の実施が決定され実行される。この１回目の介入では、例えば作業者ＷＫ１のモチベーションを向上させることを目的とする内容の表示メッセージが生成され、当該表示メッセージが当該作業者ＷＫ１に対向配置されたモニタＭＯ１に表示される。なお、このとき表示メッセージを表示させる代わりに、或いはそれに加えて、同様の内容の音声メッセージを図示しない作業者ＷＫ１向けのスピーカやヘッドフォンから拡声出力させるようにしてもよい。

上記１回目の介入の実行後において、介入制御部１１４は引き続き生産能力の推定値の変化量ΔＰ1 を第２のしきい値ｔｈ1 と比較する処理を繰り返し実行する。なお、上記１回目の介入の実行後に使用される第２のしきい値ｔｈ1 は、上記１回目の介入を実行する前の第１のしきい値ｔｈ0より大きな値に設定される。

そして、上記比較の結果、例えば図１５に示すように作業者ＷＫ１の生産能力の推定値Ｐがさらに低下し、その低下量ΔＰ1 が第２のしきい値ｔｈ1 を超えたとする。この場合、介入制御部１１４は２回目の介入が実施済か否かをステップＳ２９４で判定し、未実施であればステップＳ２９５において、上記変化量ΔＰ1が第２のしきい値ｔｈ1 を超えたことが検出されたタイミングｔ２で第２の介入制御の実行を決定する。

この２回目の介入制御では、例えば作業者ＷＫ１に生産効率の回復を強く要求するための表示メッセージが生成され、当該表示メッセージが当該作業者ＷＫ１に対向配置されたモニタＭＯ１に表示される。またそれと共に、作業者ＷＫ１が所持する刺激付与装置ＡＣ１を駆動して作業者ＷＫ１に対し振動を与える。なお、この場合も、表示メッセージを表示させる代わりに、或いはそれに加えて、同様の内容の音声メッセージを図示しない作業者ＷＫ１向けのスピーカやヘッドフォンから拡声出力させるようにしてもよい。

一方、上記１回目の介入により作業者ＷＫ１が奮起し、例えば図１６に示すように生産能力が回復したとする。この場合、作業者ＷＫ１の生産能力の推定値Ｐの変化量ΔＰ1 は第２のしきい値ｔｈ1 を超えないため、２回目の介入は行われない。

上記第２回目の介入が行われた後も、介入制御部１１４は引き続き生産能力の推定値の変化量ΔＰ2 を第３のしきい値ｔｈ2 と比較する処理を実行する。なお、上記２回目の介入の実行後に使用される第３のしきい値ｔｈ2 は、上記２回目の介入を実行する前に使用した第２のしきい値ｔｈ1より大きな値に設定される。

そして上記比較の結果、例えば図１５に示すように作業者ＷＫ１の生産能力の推定値Ｐがさらに低下し、その低下量ΔＰ2 が第３のしきい値ｔｈ2 を超えたとする。この場合、介入制御部１１４は即時ステップＳ２９６に移行し、上記変化量ΔＰ2が第３のしきい値ｔｈ2 を超えたことが検出されたタイミングｔ３で第３の介入制御の実行を決定し実行する。

例えば、この場合は生産能力の回復が望めないと判断し、作業者ＷＫ１に作業を中断して休息を促す表示メッセージを生成してモニタＭＯ１に表示させると共に、リーダＷＲの携帯型情報端末ＴＭに対し作業者の配置転換か交替を指示するメッセージを送信し表示させる。

生産管理装置１は、以上述べた一人の作業者ＷＫ１に対する感情の推定から介入制御までの一連の処理を終了すると、ステップＳ３０において全作業者に対する処理が終了したか否かを判定する。そして、未選択の作業者が残っていれば、ステップＳ２５に戻って上記ステップＳ２５〜Ｓ２９による上記した一連の処理を繰り返し実行する。

これに対し、全作業者ＷＫ１，ＷＫ２，ＷＫ３に対する上記一連の処理が終了した場合には、生産管理装置１はステップＳ３１において、例えば生産ラインＣＳの運転終了時刻になったか否かを判定する。そして、終了時刻になった場合には、ステップＳ３２により生産ラインＣＳを停止させる。

なお、上記介入制御が実行された場合、介入制御部１１４では介入の内容および実行日時を表す情報が生成され、作業者ＩＤと関連付けられて制御履歴記憶部１２３に記憶される。この制御履歴記憶部１２３に記憶された介入制御履歴を表す情報は、例えば作業者ＷＫ１，ＷＫ２，ＷＫ３の健康管理や生産結果の評価等に使用される。

（一実施形態の効果）
以上詳述したように一実施形態では、作業中の作業者ＷＫ１，ＷＫ２，ＷＫ３の生体計測データおよび動きの計測データを一次指標として、この一次指標と別途生成した学習データとをもとに作業者の感情と認知能力をそれぞれ推定し、さらにこの推定した感情と認知能力を二次指標として、この二次指標と別途生成した関係式とに基づいて作業者の生産能力を推定する。そして、この生産能力の推定値の変化量を介入条件を規定するしきい値と比較し、生産能力の推定値の変化量がしきい値を超えていると判定された場合に、その時点で作業者に対し介入を行うようにしている。

従って、管理者の経験や勘に頼ることなく、作業者に対し常に適切なタイミングで適切な内容の介入を行うことが可能となり、これにより生産性を安定的に改善・向上させることが可能となる。

また、上記介入制御を、作業者の生産能力の推定値の変化量を監視しながら段階的に複数回行い、しかも各段階の介入の内容が徐々に強い内容になるように設定している。このため、作業者の心身状態をポジティブな状態に維持させつつ生産能力を効果的に回復させることが可能となる。

さらに、第１または第２の内容の介入が行われた後、作業者の生産能力の推定値の変化量が第３のしきい値を超えていると判定されたタイミングで、作業者に対し作業の中断が指示される。このため、例えば体調が悪化した作業者を適切なタイミングで休息させることができ、これにより作業員の健康と製品の品質の両方を効果的に維持することが可能となる。

さらに、感情の変化を、ArousalとValenceとから構成される二次元座標平面の象限と、ArousalおよびValenceの各変化量により表すようにしているので、感情の変化を簡単かつ的確に推定することができる。

さらに、作業監視カメラＣＭにより撮像された画像データから抽出した作業の成否を表す特徴量を正解値（教師データ）とし、上記手の動きを表す特徴量と眼球運動ＥＭを表す特徴量を変数として、認知能力推定用の学習データを生成するようにしたので、作業者の生産作業に対する認知能力をより正確に推定することが可能となる。

例えば、いま作業者が部品間の接続作業を行っており、その作業結果を表す画像データが図１０に示すようなものだったとする。この例では、リード線７３による端子５３と端子６３との間の接続が不完全で、かつ端子５８と端子６８との間が未接続のまま作業が終了している。本実施形態では、この作業の成否を表す特徴量を作業者の認知能力を表す教師データとし、同一時間帯に並行して得られる作業者と認知能力と関連性を持つ一次指標、つまり作業者の手の動きを表す特徴量と目の動きを表す特徴量（眼球運動ＥＭ）を変数として、認知能力を推定するための関係式を生成する。この関係式を用いて作業者の認知能力を推定することで、上記した手の動きを表す特徴量と目の動きを表す特徴量を含む測定データが得られた場合に、当該作業者は図１０に示したような作業ミスを起こす可能性があると推定することが可能となる。

さらに、作業者の生産能力を表す情報として、標準的な作業時間と実際の作業時間との差として表される習熟度と、平均的な作業時間に対する実際の作業時間のばらつきとして表される作業ミスの発生度合いを定義し、この習熟度と作業ミスの発生度合いの各々について学習データを用意し、作業者の生産能力を推定するようにしている。このため、作業者の生産能力を、生産現場の評価指標に対応して正確に推定することが可能となる。

［その他の実施形態］
前記一実施形態では、介入を３段階に分けて実施する場合を例にとって説明したが、１段階または２段階でもよく、４段階以上でもよい。また一実施形態では、生産能力の推定値の変化量ΔＰi を、作業者ごとに個別に設定されるか或いは全作業者に対し共通に設定される生産能力の目標値に対する変化量として求めるようにしたが、２回目以降の介入においては、前回の介入時における生産能力の推定値に対する変化量を求めるようにしてもよい。また介入を段階的に複数回に亘り実行する際に、介入の内容を固定するようにしてもよい。

さらに、上記介入条件は作業者の基礎的な生産能力に応じて個別に設定することが好ましく、作業者の習熟度の推定結果から基礎的な生産能力の変化を検出し、その検出結果に応じて介入条件を更新するようにしてもよい。また介入の回数や介入の内容についても、作業者ごとにその基礎的な生産能力に応じて個別に設定するとよい。

また、人の感情と生体情報および行動情報との関係性は、月日や曜日、季節、環境の変化等により変化する場合がある。そこで、感情推定に使用する学習データは、定期的又は必要時に更新することが望ましい。生産能力推定部１１３により得られた感情の推定値を感情の正解値と比較してその差を算出し、算出された差が予め設定された正解値の範囲を超える場合には、学習データ記憶部１２２に記憶されている学習データを更新する処理を行うとよい。この場合、上記正解値は感情の推定値の変化の傾向から推定することができる。または、被験者が定期的に感情入力デバイス２により感情の正解値を入力し、この入力された値を使用してもよい。

同様に、生産能力推定部１１３により得られた認知能力の推定値を認知能力の正解値と比較してその差を算出し、算出された差が予め設定された正解値の範囲を超える場合には、学習データ記憶部１２２に記憶されている学習データを更新する処理を行うとよい。この場合、上記正解値は認知能力の推定値の変化の傾向から推定することができる。

また、感情および認知能力と生産能力との関係性を表す関係式についても、生産能力の推定結果に基づいて修正するとよい。この場合も、上記正解値は認知能力の推定値の変化の傾向から推定することができる。

一実施形態では、作業者の感情を表す情報を、スマートフォンまたはタブレット型端末からなる感情入力デバイス２を用いて生産管理装置１に入力する場合を例にとって説明した。しかし、これに限定されるものではなく、例えば作業者がアンケート用紙等の紙媒体に記載した自身の感情情報をスキャナ等を用いて読み取り、その情報を生産管理装置１に入力するようにしてもよい。

さらに、作業者の顔の表情等をカメラ等により検出し、この顔表情の検出情報を感情を表す情報として生産管理装置１に入力するようにしてもよい。またさらに、作業者の音声をマイクロフォンにより検出し、その検出情報を感情を表す情報として生産管理装置１に入力するようにしてもよい。また、不特定多数の人の感情を表す情報をアンケート等により収集して、収集した情報の平均等を母集団データとして個人の感情情報を補正するようにしてもよい。その他、人の感情を表す情報を生産管理装置１に入力するための手法については、如何なる手法を用いてもよい。

また一実施形態では、作業者の感情を表す情報を、感情の活性度（Arousal）とその強度（Valence）とにより２次元平面で表した場合を例にとって説明した。しかし、これについても他の表現手法を採用してもよい。

さらに一実施形態では、作業者の活動状態を表す情報として、心電Ｈ、皮膚電位Ｇ、眼球運動ＥＭ、モーションＢＭおよび活動量Ｅｘの各計測データを生産管理装置１に入力し、これらをすべて用いて感情を推定するようにした。しかし、それに限らず、上記各計測データのうちの少なくとも１つの計測データを用いて感情を推定するようにしてもよい。例えば、心電Ｈは生体情報の中でも感情に対する寄与率が高いので、心電Ｈの計測データのみを用いて感情を推定することは十分に可能である。なお、ここに例示した生体情報以外の他の生体情報を用いてもよいことは言うまでもない。

また、認知能力を推定する際に一次指標として用いる測定データについても、手の動きと目の動き以外の測定データを使用してもよい。

その他、生産ラインＣＳのセルの数や各セルで生産する製品の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

上記実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。
（付記１）
作業者が作業を行う工程を有する生産ラインを管理する生産管理装置であって、ハードウェアプロセッサを有し、
前記ハードウェアプロセッサは、
作業中の前記作業者の活動状態を表す情報を取得し、
前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力を推定し、
前記推定された感情および認知能力を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の生産能力との関係性を表す第２の学習データとに基づいて、前記作業者の生産能力を推定し、
前記第２の推定部による生産能力の推定結果と予め設定した介入条件とに基づいて、前記作業者に対する介入のタイミングと内容を決定するように構成された生産管理装置。

（付記２）
ハードウェアプロセッサを備える装置が実行する生産管理方法であって、
前記ハードウェアプロセッサが、作業中の前記作業者の活動状態を表す情報を取得する過程と、
前記ハードウェアプロセッサが、前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力を推定する過程と、
前記ハードウェアプロセッサが、前記推定された感情および認知能力を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の生産能力との関係性を表す第２の学習データとに基づいて、前記作業者の生産能力を推定する過程と、
前記ハードウェアプロセッサが、前記第２の推定部による生産能力の推定結果と予め設定した介入条件とに基づいて、前記作業者に対する介入のタイミングと内容を決定する過程と
を具備する生産管理方法。

ＣＳ…生産ライン、Ｂ１，Ｂ２，Ｂ３…製品、Ｃ１，Ｃ２，Ｃ３…セル、ＷＲ…リーダ、ＷＫ１，ＷＫ２，ＷＫ３…作業者、ＭＯ１，ＭＯ２，ＭＯ３…モニタ、ＴＭ…携帯型情報端末、ＤＣ…部品供給コントローラ、ＤＳ…部品供給装置、ＲＢ…協調ロボット、ＣＭ…作業監視カメラ、ＮＷ…ネットワーク、ＳＳ１，ＳＳ２，ＳＳ３…入力・計測装置、ＡＣ１，ＡＣ２，ＡＣ３…刺激付与装置、１…生産管理装置、２…感情入力デバイス、３…計測デバイス、４…視線監視カメラ、１１…制御ユニット、１１１…センシングデータ取得制御部、１１２…特徴量抽出部、１１３…生産能力推定部、１１４…介入制御部、１１５…学習データ生成部、１２…記憶ユニット、１２１…センシングデータ記憶部、１２２…学習データ記憶部、１２３…介入履歴記憶部、１３…インタフェースユニット。

Claims (6)

1. 作業者が作業を行う工程を有する生産ラインを管理する生産管理装置であって、
   作業中の前記作業者の活動状態を表す情報を取得する活動状態取得部と、
   前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力を推定する第１の推定部と、
   前記推定された感情および認知能力を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の生産能力との関係性を表す第２の学習データとに基づいて、前記作業者の生産能力を推定する第２の推定部と、
   前記第２の推定部による生産能力の推定結果と予め設定した介入条件とに基づいて、前記作業者に対する介入のタイミングと内容を決定する介入決定部と
   を具備する生産管理装置。
2. 前記介入決定部は、
   前記第２の推定部による生産能力の推定結果が第１の条件に満たないと判定されたタイミングで、前記作業者に対し第１の内容の介入を行うことを決定する第１の決定部と、
   前記第１の内容の介入を行った後に、前記第２の推定部による生産能力の推定結果が第２の条件に満たないと判定されたタイミングで、前記作業者に対し前記第１の内容とは異なる第２の内容の介入を行うことを決定する第２の決定部と
   を備える請求項１に記載の生産管理装置。
3. 前記第１の決定部は、第１の内容の介入として、前記作業者に対し視覚的または聴覚的な刺激を与えることを決定し、
   前記第２の決定部は、第２の介入として、前記作業者に対し触覚的な刺激を与えることを決定する請求項２に記載の生産管理装置。
4. 前記介入決定部は、
   前記第１または第２の内容の介入を行った後に、前記第２の推定部による生産能力の推定結果が第３の条件に満たないと判定されたタイミングで、前記作業者に対し作業の中断を指示することを決定する第３の決定部を、
   さらに備える請求項２または３に記載の生産管理装置。
5. 作業者が作業を行う工程を有する生産ラインを管理する生産管理装置が実行する生産管理方法であって、
   前記生産管理装置が、作業中の前記作業者の活動状態を表す情報を取得する過程と、
   前記生産管理装置が、前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力を推定する過程と、
   前記生産管理装置が、前記推定された感情および認知能力を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の生産能力との関係性を表す第２の学習データとに基づいて、前記作業者の生産能力を推定する過程と、
   前記生産管理装置が、前記第２の推定部による生産能力の推定結果と予め設定した介入条件とに基づいて、前記作業者に対する介入のタイミングと内容を決定する過程と
   を具備する生産管理方法。
6. 請求項１乃至４のいずれかに記載の生産管理装置が備える各部としてプロセッサを機能させる生産管理プログラム。