JP2021056671A - 作業状態判別装置、作業状態判別方法およびプログラム - Google Patents

Abstract

【課題】生産現場における作業者の作業状態の不具合および改善点を容易に把握できる情報を報知する。【解決手段】作業状態判別装置は、作業者検知部３１と、作業状態分析部３２と、作業状態データベース３４と、作業状態判別部３５と、報知部と、備える。作業者検知部３１は、製品の製造工程の作業状態を撮像した映像を取得し、取得した映像内に作業者を検知する。作業状態分析部３２は、映像の予め定められた領域における検知された作業者の画像から作業状態の指標を求める。作業状態データベース３４は、標準作業状態の指標を格納する。作業状態判別部３５は、作業状態の指標を標準作業状態の指標と照合して作業状態の適否を判別する。報知部は、作業状態の適否を判別した結果を報知する。【選択図】図３

Description

本発明は、作業状態判別装置、作業状態判別方法およびプログラムに関する。

生産現場では、生産設備と作業者とが協働し、生産活動が行われている。ここでは、生産設備の性能、効率等だけでなく、作業者の活動も生産現場の生産性に影響を与える。従来、作業者の活動を記録、分析するために、観測者が作業者を生産現場で観測するＩＥ（Ｉｎｄｕｓｔｒｉａｌ Ｅｎｇｉｎｅｅｒｉｎｇ）手法が利用されてきた。ＩＥ手法の例としては、非特許文献１に開示された、観測者が作業者の活動をビデオ機材で連続的に撮影記録し、作業順序のあり方および動作一つ一つについて分析するビデオ動作分析法、非特許文献２に開示された、人、機械の稼働状態および仕事の種類などを瞬間的に観測し、各観測項目の時間構成を分析するワーク・サンプリング法などがある。

しかし、これらのＩＥ手法では、観測者の観測に費やされる労力が大きく、より詳細に正確に大量に作業者の活動を記録することが困難である。この問題に対して、特許文献１に開示された、カメラ映像から作業者とその位置を特定して記録する方法、特許文献２に開示された、カメラ映像から作業者とその位置を特定して、作業効率を記録する方法などが提案されている。

特開２０１１−１７５３８４号公報 特開２０１２−３６４９号公報

平野裕之著、「新作業研究−現代モノづくりの基本技術−」、日刊工業新聞社、２００４年１月１５日発行（７３ページから７７ページ） 藤田彰久著、「新版ＩＥの基礎」、建帛社、平成１１年９月１日発行（１９９ページから２３０ページ）

生産現場における作業者の活動の改善を効果的に進めるには、データ取得、分析にかかるコストを小さくしつつ、不具合および改善点を迅速に発見し、改善のサイクルを多数回繰り返す必要がある。特許文献１、特許文献２に開示された手法では、不具合および改善点を発見するためのデータが提供されるが、提供されたデータから不具合および改善点を抽出するための分析をユーザが行う必要がある。

本発明は、上記事由に鑑みてなされたものであり、生産現場における作業者の作業状態の不具合および改善点を容易に把握できる情報を報知できる作業状態判別装置、作業状態判別方法およびプログラムを提供することを目的とする。

上記の目的を達成するため、本発明の作業状態判別装置は、作業者検知部と、作業状態分析部と、作業状態データベースと、作業状態判別部と、報知部と、備える。作業者検知部は、製造工程の作業状態を撮像した映像を取得し、取得した映像内に作業者を検知する。作業状態分析部は、映像の予め定められた領域における検知された作業者の画像から作業状態の指標を求める。作業状態データベースは、標準作業状態の指標を格納する。作業状態判別部は、作業状態の指標を標準作業状態の指標と照合して作業状態の適否を判別する。報知部は、作業状態の適否を判別した結果を報知する。

本発明では、作業状態の指標を標準作業状態の指標と照合して作業状態の適否の判別結果をユーザに報知する。従って、本発明によれば、生産現場における作業者の作業状態の不具合および改善点をユーザが容易に把握できる。

本発明の実施の形態１による作業状態判別装置の構成図 図１に示す作業状態判別装置のハードウェア構成図 図２に示す制御部の機能構成を示す図 図１に示す撮像装置が撮像した画像および認識結果を示す図 図４に示す作業者の位置情報から作業エリア内の作業者数をカウントする図 図５より標準作業者数を表に例示する図 図６の元となる学習データの作業者数の推移を等高線で例示する図 図１に示す作業状態判別装置の標準状態学習処理のフローチャート 図１に示す作業状態判別装置の作業状態判別処理のフローチャート 図１に示す作業状態判別装置の作業者数の推移の一例を示す図 本発明の実施の形態２による作業状態判別装置が作業状態の適否を判別する生産装置の一例を示す図 図１１の生産装置に設定される作業エリアの一例を示す図 図１２に設定された作業エリアで作業者が作業する一例を示す図 図１３に示す作業者の作業者位置の推移の一例を示す図 図１４に示す作業者位置推移より作業時間を算出する一例を示す図 図１４に示す作業時間より算出された作業時間平均および作業時間標準偏差の一例を示す図 実施の形態２による作業状態判別装置の標準状態学習処理のフローチャート 実施の形態２による作業状態判別装置の作業状態判別処理のフローチャート 図１８に示す作業状態指標判別処理のフローチャート 本発明の実施の形態３による作業状態判別装置が作業状態の適否を判別する生産装置の一例を示す図 図２０に示す生産装置に設けられた作業エリアの一例を示す図 図２０に示す作業者位置から算出した作業エリア別の作業者数の推移の一例を示す図 実施の形態３による作業状態判別装置の作業状態判別処理のフローチャート 図２３に示す作業状態指標判別処理のフローチャート

以下、実施の形態に係る作業状態判別装置と作業状態判別方法とを、図面を参照しつつ説明する。本実施の形態の作業状態判別装置は、作業エリアを映した映像から、適正な作業状態（以下、標準作業状態と呼ぶ）における予め指定された指標を学習し、学習した指標と現在の映像から取得した作業状態の指標とを比較して、その作業エリアでの作業状態の適否を判別し、判別結果をユーザに報知する。

以下の実施の形態において、同一の構成要素および処理には同一の符号を付す。また、構成要素に付される「第１の」など、順序を表す文字は、適宜、省略される。

［実施の形態１］
以下、実施の形態１に係る作業状態判別装置を説明する。

実施の形態１の作業状態判別装置は、標準作業状態として各単位時間における作業エリアの適正な作業者数である標準作業者数を学習し、学習した標準作業者数と撮像された作業エリアの映像から検知される作業者数とを比較することにより、作業エリアの作業状態の適否を判別し、ユーザに報知する。本実施の形態は、作業状態の指標が、作業エリア内に存在する作業者数の例である。

（作業状態判別装置１０の構成）
図１に示すように、作業状態判別装置１０は、作業者が作業を行う作業エリア１００での適正な作業者数を標準作業状態として学習し、また、学習した適正な作業者数と作業エリア１００の撮像された映像から検知された現在の作業者数とを比較し、作業状態の適否の判別を行う。作業状態判別装置１０は、判別の結果をユーザの認識しやすい形態で報知部である出力装置、本実施の形態ではディスプレイ５５に出力し、ユーザに報知する。

作業エリア１００では、図１において作業者２０１，２０２として示される作業者２００が必要に応じて滞在し、作業対象であるワーク３００を製造、あるいは加工する工程が行われる。

図２に示すように、作業状態判別装置１０は、撮像された映像から作業状態の適否の判別を行う制御部２０、作業エリア１００の映像を撮像し、作業状態の適否の判別をユーザに報知する入出力装置５０、を備える。

制御部２０は、制御処理を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、制御処理用のプログラムが記憶されたプログラムメモリ２２、制御処理時に一時的にデータを記憶するワークメモリ２３、データの加工を行う主メモリ２４、これらを相互に接続するデータバス２５を有する。制御部２０は、プログラムメモリ２２に記憶されたプログラムを実行することにより、図３に示す、後述する作業者検知部３１、作業状態分析部３２、作業状態学習部３３、作業状態データベース３４、作業状態判別部３５、の各機能を実現する。また、後述する作業状態学習処理１および作業状態判別処理１を実行する。

ＣＰＵ２１は、プログラムメモリ２２に記憶されたプログラムを実行することにより、制御処理を行う。具体的には、ＣＰＵ２１は、撮像装置５１からインターフェース４０を介して受信した信号および情報に基づいて、作業エリア１００の適正な作業状態を示す指標、本実施の形態では作業者数を学習および判別する。

また、ＣＰＵ２１は、作業エリア１００の作業状態の適否を判別した結果を、インターフェース４０を介してディスプレイ５５に表示する。

プログラムメモリ２２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を備え、ＣＰＵ２１が実行するプログラムを記憶する。プログラムメモリ２２には、撮像映像から作業者２００を検知し、作業者２００の位置を特定し、撮像時刻を付し、作業状態の適否を判別する作業状態判別プログラムが格納されている。ここで「作業」とは、作業者２００のあらかじめ定められた作業を指すものとし、「位置」とは、作業者２００が活動を行う作業エリア１００内の場所を指すものとする。

ワークメモリ２３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備え、ＣＰＵ２１が演算処理するために一時的にデータを移すためのメモリである。

主メモリ２４は、各種データベース、作業状態データが記録されるストレージを含み、ＩＭＤＢ（Ｉｎ−Ｍｅｍｏｒｙ ＤａｔａＢａｓｅ）のＲＡＭを備える。

以上が制御部２０の構成の説明である。続いて、インターフェース４０、入出力装置５０の説明を行う。

インターフェース４０は、制御部２０のデータバス２５と入出力装置５０とを有線および／または無線で接続する。

入出力装置５０は、撮像装置５１、撮像時刻の特定のためのタイマ５２、後述する学習期間の設定を行うキーボード５３、撮像範囲の指定を行うマウス５４、等の入力装置と、出力装置であるディスプレイ５５、を備える。

撮像装置５１は、デジタルビデオカメラを備え、作業エリア１００を撮像する。撮像装置５１は、定点に設置されている。撮像装置５１は、撮像した映像を制御部２０に送信する。

タイマ５２は、映像が撮像された時刻を特定するために使用される。撮像された映像には、タイマ５２で測定した時刻が付される。

キーボード５３およびマウス５４は、作業エリア１００の範囲の指定に使用される。また、キーボード５３およびマウス５４は、学習期間の設定、学習内容の修正、撮像装置５１の撮像範囲の設定および修正、標準作業状態を示す指標を直接入力する場合等に入力部として使用される。

ディスプレイ５５は、液晶ディスプレイであり、制御部２０で判別した作業状態判別の結果、撮像装置５１で撮像した作業エリア１００の映像等を表示する。

次に、制御部２０の機能的構成について説明する。制御部２０は、図３に示す、作業者の有無を検知する作業者検知部３１、作業状態を示す指標を作業状態分析部３２、標準作業状態を示す指標を学習する作業状態学習部３３、作業状態を示す指標を記憶する作業状態データベース３４、作業状態を示す指標の適否の判別を行う作業状態判別部３５、の各機能を実現する。これにより、制御部２０は、作業エリア１００の標準作業状態を示す指標の学習、作業エリア１００の作業状態を示す指標の適否の判別、判別結果の報知等を行う。また、制御部２０は、作業エリア１００の作業状態を示す指標の学習、および作業エリア１００の作業状態を示す指標の適否の判別を平行して処理する。

作業者検知部３１は、撮像された映像内で、作業者２００の画像の有無を検知し、検知した作業者２００の位置を判別する。図４に示すように、作業者検知部３１は、撮像装置５１から取得した映像に、左上を原点とし、右向き１ピクセルと下向き１ピクセルとを基底とする座標系を設定する。作業者検知部３１は、映像に映っている作業者２０１，２０２とその位置とを検知し、検知した作業者２０１，２０２を長方形のカーソルで囲んでディスプレイ５５に表示する。検知方法としては、Ｄａｌａｎ．Ｎ，Ｔｒｉｇｇｓ．Ｂの” Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ，”ＩＥＥＥ ＣＶＰＲ，ｐｐ８８６−８９３（２００５）に開示されたＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を用いたものがあるが、作業者２０１，２０２とその位置とを検知できるものであればこれに限らない。作業者２００の中心を作業者２００の座標基準とし、この座標基準の座標が作業者２００の位置座標として使用される。作業者２００が検知された場合、作業者検知部３１は、日時と作業者２００の位置座標とを対応させた表Ｇを生成し、作業エリア１００の映像Ｖ１の横に表示する。本実施の形態の場合、撮像された映像内に２人の作業者が検知されているので、２行のレコードが出力される。撮像装置５１は、作業エリア１００の映像Ｖ１を撮像し続け、作業者検知部３１は、本実施の形態において、撮像された映像から作業者検知結果を１分毎に表Ｇに出力する。

図３に戻り、作業状態分析部３２は、作業者検知部３１が映像Ｖ１内に作業者２００を検知した場合に、映像Ｖ１内の作業者２００の作業状態を分析する。本実施の形態では、作業状態を分析するとは、映像Ｖ１内の作業者２００の数をカウントすることである。図５に示すように、作業状態分析部３２は、作業者認識結果の表Ｇにおける各時刻のレコード数から、作業エリア１００に存在した作業者数をカウントし、作業状態を示す表ＺのＣｏｕｎｔ列に記録する。表Ｇにおいて，２０１９年２月２６日１６時００分には、作業者認識結果に２つのレコードが存在するので、表ＺのＣｏｕｎｔ列に２を記録する。２０１９年２月２６日１６時０５分には、１つのレコードが存在するので、作業状態のＣｏｕｎｔ列に１を記録する。２０１９年２月２６日１６時０３分には、作業者認識結果にレコードが存在しないので、表ＺのＣｏｕｎｔ列に０を記録する。このように、作業者認識結果を用いることで、各時刻に何人の作業者が作業エリア１００に存在したのかを作業状態の表Ｚとして記録する。表Ｚより、図６に示すように、作業状態分析部３２の出力結果を時間帯別の標準作業者数を示す表にすることができる。このように、作業エリア１００の作業者数を特徴量として、作業状態を自動的に取得することができる。

図３に戻り、作業状態学習部３３は、作業状態分析部３２が分析した各作業状態を示す指標を学習し、作業状態データベース３４に記憶する。本実施の形態では、図６に示すように、予め定められた期間、本実施の形態では直近の１０日分の期間における作業エリア１００の時間帯別の作業者数を元にした標準作業者数を学習する。図７は、作業状態学習部３３が、標準作業状態を示す指標を学習する時に生成する時間帯別作業者数分布の図である。図７をユーザが確認することにより、学習データをユーザがチェックすることができ、ユーザは除外すべき学習データを見つけることができる。

図３に戻り、作業状態データベース３４は、作業状態学習部３３が学習した各作業状態を示す指標を記憶する。具体的には、本実施の形態では、作業状態データベース３４には、学習した時間帯別の標準作業者数が記憶されている。記憶した作業状態を示す指標が明らかに不自然な数値である場合、ユーザは、不自然な作業状態を示す指標の数値を削除あるいは修正することができる。これにより、点検作業、集団病欠の発生等による作業者数の突発的な変化の影響を除外することができる。

作業状態判別部３５は、作業状態データベース３４に記憶された、映像Ｖ１が撮像された時刻に対応する作業状態を参照して、映像Ｖ１内の作業者２００の作業状態を判別する。

（実施の形態１の標準状態学習処理１および作業状態判別処理１）
以下、実施の形態１での標準状態学習処理１および作業状態判別処理１について、図面を参照して説明する。

（標準状態学習処理１）
以下、図８を用いて、標準状態を示す指標として作業エリア１００における時間帯別の標準作業者数を学習する、標準状態学習処理１を説明する。

まず、ユーザは、撮像装置５１にワーク３００廻りを映した映像を撮像させ、ディスプレイ５５に表示された映像内に作業エリア１００を設定する。また、ユーザは、標準作業者数を学習する期間を設定する。本実施の形態では、学習する期間は１０日とする（ステップＳ１）。

制御部２０は、撮像装置５１に、設定された作業エリア１００の映像Ｖ１を撮像させる。作業者検知部３１は、撮像装置５１から映像Ｖ１を取得する（ステップＳ２）。

作業者検知部３１は、映像Ｖ１内に作業者２００が存在するか否かを判別し（ステップＳ３）、作業者２００を検知した場合（ステップＳ３：Ｙｅｓ）、作業者検知結果を表Ｇに出力し、作業状態分析部３２は、表Ｇのレコード数から映像Ｖ１内の作業者数Ｎをカウントして表Ｚに記録する（ステップＳ４）。

作業者検知部３１は、作業者２００を検知しなかった場合（ステップＳ３：Ｎｏ）、作業者検知結果を表Ｇに出力せず、作業状態分析部３２は、表Ｇのレコードが無いことから映像Ｖ１内の作業者数０を表ＺのＣｏｕｎｔ欄に記録する（ステップＳ５）。

ステップＳ４およびステップＳ５からステップＳ６に進み、作業状態分析部３２は、表Ｚにおける、映像Ｖ１の撮像日時と関連付けられた、映像Ｖ１内の作業者数を作業状態データベース３４に記録する（ステップＳ６）。

ステップＳ７に進み、学習期間の１０日が経過した場合（ステップＳ７：Ｙｅｓ）、作業状態学習部３３は、作業状態データベース３４に記憶された学習期間における映像Ｖ１の撮像日時と作業者数とから、１時間毎の各時間帯において最も確率の高い作業者数を時間帯別の標準作業者数として学習する。また、作業状態学習部３３は、時間帯別の標準作業者数を作業状態データベース３４に記録し（ステップＳ８）、標準状態学習処理１は終了する。

学習期間の１０日が経過していない場合（ステップＳ７：Ｎｏ）、ステップＳ２に戻る。

（作業状態判別処理１）
以下、図９を用いて、作業エリア１００の作業状態の適否を判別する作業状態判別処理１を説明する。

まず、図９に示すように、作業状態学習処理１と同様に、ステップＳ２〜Ｓ５で、作業エリア１００の映像Ｖ１を撮像し、映像Ｖ１内の作業者２００を検知し、映像Ｖ１内の作業者数をカウントして表ＺのＣｏｕｎｔ列に記録する。

作業状態判別部３５は、映像Ｖ１が撮像された時刻と同じ時刻の標準作業者数を作業状態データベース３４から呼び出す（ステップＳ１６）。作業状態判別部３５は、作業状態分析部３２によりＣｏｕｎｔ列に記録された数値である映像Ｖ１の作業者数と標準作業者数とを比較する（ステップＳ１７）。比較した両者が等しい場合（ステップＳ１７：Ｙｅｓ）、作業状態判別部３５は、映像Ｖ１が撮像された時刻における作業エリア１００の作業状態は作業者数適正であると判別する（ステップＳ１８）。比較した両者が等しくない場合（ステップＳ１７：Ｎｏ）、ステップＳ１９へ進む。

作業状態判別部３５は、作業者数が標準作業者数より小さいか否かを判別する（ステップＳ１９）。作業者数が標準作業者数より小さい場合（ステップＳ１９：Ｙｅｓ）、作業状態判別部３５は、映像Ｖ１が撮像された時刻における作業エリア１００の作業状態は作業者数過少であると判別する（ステップＳ２０）。作業者数が映像Ｖ１の撮像された時刻における標準作業者数より小さくない場合（ステップＳ１９：Ｎｏ）、作業状態判別部３５は、映像Ｖ１が撮像された時刻における作業エリア１００の作業状態は作業者数過剰であると判別する（ステップＳ２１）。

図１０は、実施の形態１における作業状況の判別結果を例示する図である。折れ線グラフは、作業エリア１００に存在する作業者数を表す。図中に示す時刻である１６時台における時間帯別の標準作業者数は、２人である。従って、折れ線グラフのうち作業者数が２人の箇所は作業者数適正であるとディスプレイ５５に表示され、２人未満であれば作業者数過少と表示され、２人を超える場合は作業者数過剰であると表示される（ステップＳ２２）。

作業状態判別処理１を終了する場合（ステップＳ２３：Ｙｅｓ）、終了し、終了しない場合（ステップＳ２３：Ｎｏ）、ステップＳ２に戻る。

以上説明したように、本実施の形態によれば、生産現場の特定の領域である作業エリア１００における作業者数を自動的にカウントすることができる。また、作業エリア１００における時間帯別の標準作業者数を学習することができる。さらに、学習した時間帯別の標準作業者数とカウントした作業者数とを比較することにより、作業エリア１００における作業者数の適否を自動的に判別できる。従って、ユーザは、判別結果を見て、作業エリア１００の作業者数を増減させることにより、生産現場の作業状態を改善することができる。

［実施の形態２］
以下、実施の形態２に係る、１つの工程を終える毎に作業者が作業エリアを移動して次の工程の作業を行うサイクル作業の作業時間を算出する作業状態判別装置の説明を行う。本実施の形態においては、作業状態の指標は、各作業エリアにおける作業時間に相当する。図１１に示すように、本実施の形態では、生産装置４０１，４０２，４０３，４０４が並設されており、図１３では作業者２１１，２１２として示される作業者２００は、ワークを生産装置４０１，４０２，４０３，４０４の順に仕掛けて作業を行う。また、作業状態を判別する作業エリアは、実施の形態１の作業エリア１００に代えて、図１２に示す作業エリア１１１，１１２，１１３，１１４となる。作業エリア１１１，１１２，１１３，１１４には、それぞれ生産装置４０１，４０２，４０３，４０４が設けられている。なお、実施の形態２において、実施の形態１と同じ構成の作業状態判別装置１０を備える。本実施の形態においては、後述する標準状態学習処理２および作業状態判別処理２が実行される。

実施の形態２の作業状態判別装置１０は、各作業エリア１１１，１１２，１１３，１１４における作業者の作業時間を一定期間、本実施の形態では、１０日間測定する。作業状態判別装置１０は、測定した作業時間から作業時間平均μおよび作業時間標準偏差σを算出する。作業状態判別装置１０は、測定したそれぞれの作業時間、作業時間平均μおよび作業時間標準偏差σを用いて、映像Ｖ２に撮像された各作業エリアでの作業状態の適否を判別し、ユーザに報知する。

図１２に示すように、実施の形態２では、第１の作業エリア１１１、第２の作業エリア１１２、第３の作業エリア１１３および第４の作業エリア１１４での作業を作業状態の適否を判別する対象とする。

作業エリア１１１，１１２，１１３，１１４は、並設されており、この順番に図示しないワークを各エリア内に設置された生産装置４０１，４０２，４０３，４０４の順に仕掛けることにより、作業エリア１１１，１１２，１１３，１１４での作業を完了する。

本実施の形態において、作業状態判別装置１０の制御部２０が実現する機能を、以下、説明する。

作業者検知部３１は、図１３に示す映像Ｖ２を取得した場合、作業者２１１は作業エリア１１１に存在し、作業者２１２は作業エリア１１４に存在すると、判別する。作業者２１１と作業者２１２の区別は、図示しないが、帽子、背中等に撮像装置５１で識別可能な番号、色、或いは模様等の識別標識を付すことによって行う。

作業状態分析部３２は、図１４に示すように、作業者位置推移の分析結果を出力する。作業状態分析部３２は、時刻毎に、各作業者がどの作業エリアに滞在していたかを記録し、時系列に図中にプロットすることによって、作業者２００がどのように移動したかの推移を推定することができる。作業者２１１は、作業エリア１１１→作業エリア１１２→作業エリア１１３→作業エリア１１４の順に移動し、作業者２１２は、作業エリア１１４→作業エリア１１１→作業エリア１１２→作業エリア１１３の順に移動していると推定される。

図１５は、実施の形態２における、作業状態学習処理２において取得される作業時間を例示する図である。作業者位置推移の分析時に作成された折れ線グラフがＸ軸と平行になっている部分が作業時間に該当する。作業者２００は、１つのエリアに一定時間滞在し、生産装置を使用して作業を行った後、次のエリアでの作業を行う。図１５において、作業エリア１１１での作業は２回あり、作業時間はいずれも３分である。作業エリア１１２でも２回あり、作業時間は２分と３分である。作業エリア１１３では１回で、作業時間は５分である。このような記録を一定期間継続することにより、各作業エリアでの作業時間分布を統計的に知ることができる。

図１６は、実施の形態２における、作業状態データベース３４に格納されているデータを例示している。作業状態分析部３２によって記録された作業エリア毎の作業時間から、各作業エリアの特徴量を抽出して作業状態データベース３４に格納される。本実施の形態においては、作業時間の長短とばらつきを把握するために、各作業時間の平均と標準偏差とを算出し、格納する。

（標準状態学習処理２）
図１７は、実施の形態２にて行われる、標準状態学習処理２のフローチャートである。撮像装置５１に撮像された各作業エリアの映像から各作業エリアでの作業時間平均μおよび作業時間標準偏差σを取得するための処理である。作業時間平均μおよび作業時間標準偏差σを用いて、後述する作業状態判別処理２にて作業状態を示す指標の適否を判別する。

まず、ユーザは、生産装置４０１，４０２，４０３，４０４廻りを映した映像を撮像させ、ディスプレイ５５に表示された、図１１に示す生産装置４０１，４０２，４０３，４０４を映した映像Ｖ２内に、作業エリア１１１，１１２，１１３，１１４を設定する。また、ユーザは、各作業エリアでの作業時間平均μおよび作業時間標準偏差σを算出するための作業時間を学習する期間を設定する。本実施の形態では、学習する期間は、１０日とする（ステップＳ３１）。

制御部２０は、撮像装置５１に、作業エリア１１１，１１２，１１３，１１４を撮像させる。作業者検知部３１は、撮像装置５１から映像Ｖ２を取得する（ステップＳ３２）。

作業者検知部３１は、作業エリア１１１について作業者２００の検知を行う（ステップＳ３３）。

作業者検知部３１は、映像Ｖ２の作業エリア１１１に作業者２００が存在するか否かを判別し（ステップＳ３４）、作業者２００を検知した場合（ステップＳ３４：Ｙｅｓ）、作業状態分析部３２は、映像Ｖ２内の作業エリア１１１に作業者２００がいると判別し（ステップＳ３５）、これを映像Ｖ２が撮像された日時とともに作業状態データベース３４に記録する（ステップＳ３７）。また、作業者２００が、作業者２１１であるか作業者２１２であるかを識別標識にて確認を行う。

作業者検知部３１が映像Ｖ２の作業エリア１１１内に作業者２００を検知しなかった場合（ステップＳ３４：Ｎｏ）、作業状態分析部３２は、映像Ｖ２内の作業エリア１１１に作業者がいないと判別し（ステップＳ３６）、これを映像Ｖ２が撮像された日時とともに作業状態データベース３４に記録する（ステップＳ３７）。

ステップＳ３８に進み、作業者検知部３１は、作業者２００の有無を判別しているのが作業エリア１１４でない場合（ステップＳ３８：Ｎｏ）、作業者２００の有無を検知する対象のエリアを隣の作業エリアに移す（ステップＳ３９）。

ステップＳ３４に戻り、作業者検知部３１は、作業エリア１１２内に作業者２００が存在するか否かを判別する。その後、ステップＳ３８：Ｎｏ、ステップＳ３９まで作業エリア１１１での処理と同様の処理を行い、ステップＳ３４に戻る。

作業者検知部３１は、作業エリア１１３内に作業者２００が存在するか否かを判別する。その後、ステップＳ３８：Ｎｏ、ステップＳ３９まで作業エリア１１１と同様の処理を行い、ステップＳ３４に戻る。

作業者検知部３１は、作業エリア１１４内に作業者２００が存在するか否かを判別する。その後、ステップＳ３７まで作業エリア１１１と同様の処理を行う。

ステップＳ３８にて、作業者検知部３１は、作業者２００の有無を判別しているのが作業エリア１１４である場合（ステップＳ３８：Ｙｅｓ）、ステップＳ４０に進む。

学習期間の１０日が経過した場合（ステップＳ４０：Ｙｅｓ）、作業状態学習部３３は、作業状態データベース３４に記憶された学習期間における映像Ｖ２の各作業エリアの撮像日時と作業時間とから、図１４に例示する作業者位置推移のグラフを生成する。図１４より、作業状態学習部３３は、各作業エリアの作業時間を算出し、作業時間から作業時間平均μおよび作業時間標準偏差σを算出する。作業状態学習部３３は、作業時間、作業時間平均μおよび作業時間標準偏差σを作業状態データベース３４に記録する（ステップＳ４１）。記録後、標準状態学習処理２は終了する。学習期間の１０日が経過していない場合（ステップＳ４０：Ｎｏ）、ステップＳ３２に戻る。

（作業状態判別処理２）
次に、図１８を参照して、本実施の形態における作業状態判別処理２を説明する。
作業状態判別処理２を開始すると、図１７に示す標準状態学習処理２と同様に、作業エリア１１１〜１１４を撮像して、映像Ｖ２を取得し、映像Ｖ２の作業エリア１１１〜１１４内の作業者２００を検知し、表Ｚに登録し、作業状態データベース３４に記録する（ステップＳ３２〜Ｓ３７、Ｓ３８：Ｎｏ、Ｓ３９）。

ステップＳ３８において、作業エリア１１４の作業者２００の判別を行っている場合（ステップＳ３８：Ｙｅｓ）、作業状態判別部３５は、後述する作業状態指標判別１を行う（ステップＳ５９）。

作業状態判別を行った後、ステップＳ６０に進み、作業状態判別処理２を終了する場合（ステップＳ６０：Ｙｅｓ）、終了する。作業状態判別処理２を終了しない場合（ステップＳ６０：Ｎｏ）、ステップＳ３２に戻る。

以下、図１９を用いて、作業状態判別処理２のステップＳ５９で行われる作業状態指標判別１のフローを説明する。

まず、作業状態分析部３２は、映像Ｖ２が撮像された時刻に作業者２００の移動があったか否かを判別する（ステップＳ７１）。作業者２００の移動がない場合（ステップＳ７１：Ｎｏ）、作業状態指標判別１を終了する。

映像Ｖ２が撮像された時刻に作業者２００の移動があった場合（ステップＳ７１：Ｙｅｓ）、作業状態分析部３２は、作業者２００が移動する直前にいた作業エリアでの作業時間を推定する（ステップＳ７２）。

作業状態判別部３５は、作業者２００が移動する直前にいた作業エリアの作業時間平均μおよび作業時間標準偏差σを作業状態データベース３４から呼び出す（ステップＳ７３）。

ステップＳ７４に進み、作業状態判別部３５は、当該作業エリアの作業時間平均μおよび作業時間標準偏差σを以下の式（１）に適用して、当該作業エリアの作業状態の適否を判別する（ステップＳ７４）。
｜作業時間−μ｜＜σ・・・（１）

式（１）を満たす場合（ステップＳ７４：Ｙｅｓ）、作業状態判別部３５は、当該作業エリアの作業状態は作業時間適正であったと判別し（ステップＳ７５）、判別結果をディスプレイ５５に表示し、ユーザに報知して（ステップＳ７９）、終了する。

式（１）を満たさない場合（ステップＳ７４：Ｎｏ）、ステップＳ７６へ進む。

作業状態判別部３５は、当該作業エリアの作業時間平均μおよび作業時間標準偏差σを以下の式（２）に適用して、当該作業エリアの作業状態の適否を判別する（ステップＳ７６）。
作業時間≧μ＋σ・・・（２）

作業時間が作業時間平均μと作業時間標準偏差σとを加算した値以上である場合（ステップＳ７６：Ｙｅｓ）、作業状態判別部３５は、当該作業エリアの作業状態は作業時間超過であると判別し（ステップＳ７７）、判別結果をディスプレイ５５に表示し、ユーザに報知して（ステップＳ７９）、終了する。

作業時間が作業時間平均μと作業時間標準偏差σとを加算した値以上でない場合（ステップＳ７６：Ｎｏ）、作業状態判別部３５は、作業時間が短すぎるため、当該作業エリアの作業状態は作業飛ばしであると判別し（ステップＳ７８）、判別結果をディスプレイ５５に表示し、ユーザに報知して（ステップＳ７９）、終了する。

以上説明したように、本実施の形態によれば、生産現場における複数の作業エリアの作業時間を測定し、測定した作業時間の分布の特徴量として作業時間平均μおよび作業時間標準偏差σを算出し、式（１）および式（２）を使用して、作業時間適正、作業時間超過、作業飛ばしといった状態をユーザに報知することができる。これにより、ユーザは、作業状態の改善の着眼点を得ることができる。また、作業時間分布を用いて作業状態の作業時間閾値を定めることによって、作業状態が適正であるか否かを判別し、検知することができる。

［実施の形態３］
以下、実施の形態３に係る作業状態判別装置を説明する。本実施の形態における作業状態判別装置は、図２０に示す大型のワーク３５０を対象とする生産現場に使用され、作業状態を示す指標はのべ作業工数の例である。本実施の形態においては、作業状態の適否を判別する作業エリアは、図２１に示す作業エリア１２１，１２２，１２３となる。本実施の形態においては、後述する作業状態判別処理３が行われる。

実施の形態３の作業状態判別装置は、標準作業状態として各作業エリアにおける作業人数×時間の合計から求められる、のべ作業工数を算出する。工期が長期間に及ぶ製品、および作業エリアが広範囲に及ぶ製品に対して、正しいのべ作業工数を算出することが従来は困難であったが、作業状態判別装置により、生産技術者による観測を伴うことなく、のべ作業工数算出を実現できる。算出したのべ作業工数を、予め作業状態データベース３４に入力した予定されたのべ作業工数と対比し、作業状態の適否を判別することができる。

本実施の形態の作業状態判別装置１０は、大型のワーク３５０に対して複数人の作業者が様々な箇所からアプローチしながら加工・組立作業を行う生産現場に適用される。作業状態判別装置１０は、作業エリア１２１、作業エリア１２２、作業エリア１２３での作業を作業状態判別の対象とする。

図２１は、実施の形態３における、作業状態判別装置１０の撮像装置５１により撮像した映像Ｖ３に作業エリア１２１，１２２，１２３を重畳させた図である。本実施の形態においては、図２１では作業者２２１，２２２，２２３，２２４として示される作業者２００がワーク３５０に対して実施する加工・組立作業の種別に応じて作業エリア１２１，１２２，１２３を設定し、それぞれの作業エリアに対してのべ作業工数を算出する。作業エリア１２１では１人、作業エリア１２２では２人、作業エリア１２３では０人が作業を行っている。なお、作業者２２４は、映像Ｖ３に映っているが、いずれの作業エリア内にも入っていないので、この映像が撮像された時刻においては作業工数に算入されない。

図２２は、実施の形態３における、作業エリア別の作業者数推移を例示する図である。撮像装置５１により撮像された映像Ｖ３から、各作業エリアにおける作業者２００の人数を記録して時系列にプロットしたものである。ここで、時刻ｔにおける作業エリア１２１内の作業者数をｐ_１２１［ｔ］とする。ワークの加工・組立に着手してから完了するまでの期間を分析対象期間Ｔとすると、対象期間における作業エリア１２１ののべ作業工数は、下式で算出することができる。
Σ_ｔ∈Ｔｐ_１２０［ｔ］（人・単位時間）・・・（３）

同様に、作業エリア１２２、作業エリア１２３についても、撮像された映像Ｖ３において指定した任意の作業エリアにおけるのべ作業工数を算出できる。これにより、ワーク３５０全体に対するのべ作業工数Ｙを算出できる。

（作業状態判別処理３）
図２３は、実施の形態３にて行われる、作業状態判別処理３のフローチャートである。映像Ｖ３から算出したのべ作業工数Ｙと作業状態データベース３４に格納された予定しているワーク３５０全体ののべ作業工数Ｐとを比較して、ワーク３５０を対象とする作業状態を判別する。

ユーザは、予め作業状態データベース３４に、予定しているワーク３５０全体ののべ作業工数Ｐを入力しておく。

タイマ５２のｔ＝０とする（ステップＳ９０）。ｔ＝Ｔとなったときに、後述する作業状態指標判別２が実行される。本実施の形態では、Ｔ＝１０日とする。制御部２０は、撮像装置５１に、作業エリア１２１，１２２，１２３の映像Ｖ３を撮像させる。作業者検知部３１は、撮像装置５１から映像Ｖ３を取得する（ステップＳ９１）。

作業エリア１２１について作業者２００の検知を行う（ステップＳ９２）。

作業者検知部３１は、映像Ｖ３の作業エリア１２１内に作業者２００が存在するか否かを判別し（ステップＳ９３）、作業者２００を検知した場合（ステップＳ９３：Ｙｅｓ）、作業状態分析部３２は、映像Ｖ３内の作業エリア１２１内の作業者数を、実施の形態１と同様に、図５に例示する表ＺのＣｏｕｎｔ欄に記録し（ステップＳ９４）、これを映像Ｖ３が撮像された日時とともに作業状態データベース３４に記録する（ステップＳ９６）。

作業者２００を検知しなかった場合（ステップＳ９３：Ｎｏ）、作業状態分析部３２は、映像Ｖ３内の作業エリア１２１内の作業者数０を、表ＺのＣｏｕｎｔ欄に記録し（ステップＳ９５）、これを映像Ｖ３が撮像された日時とともに作業状態データベース３４に記録する（ステップＳ９６）。

ステップＳ９７に進み、作業者検知部３１は、作業者２００の有無を判別しているのが作業エリア１２３でない場合（ステップＳ９７：Ｎｏ）、次の作業エリアについて作業者２００の検知を行う。作業者２００の有無を判別しているのが作業エリア１２１であれば次に作業エリア１２２で検知を行い、作業者２００の有無を判別しているのが作業エリア１２２であれば次に作業エリア１２３で検知を行う（ステップＳ９８）。

作業者２００の有無を判別しているのが作業エリア１２１である場合、ステップＳ９３に戻り、作業者検知部３１は、作業エリア１２２内に作業者２００が存在するか否かを判別する。その後、ステップＳ９７：Ｎｏ、ステップＳ９８まで作業エリア１２１と同様の処理を行う。

作業者２００の有無を判別しているのが作業エリア１２２である場合、ステップＳ９３に戻り、作業者検知部３１は、作業エリア１２３内に作業者２００が存在するか否かを判別する。その後、ステップＳ９７まで作業エリア１２１と同様の処理を行う。

ステップＳ９７にて、作業者２００の有無を判別しているのが作業エリア１２３である場合（ステップＳ９７：Ｙｅｓ）、ステップＳ９９に進む。

ｔ＝Ｔ、すなわち１０日でない場合（ステップＳ９９：Ｎｏ）、ステップＳ９１に戻る。

ｔ＝Ｔである場合（ステップＳ９９：Ｙｅｓ）、ステップＳ１００に進み、作業状態指標判別２を実行し、その後終了する。

以下、図２４を用いて、作業状態判別処理３のステップＳ１００で行われる作業状態指標判別２を説明する。

まず、作業状態分析部３２は、作業エリア１２１，１２２，１２３でののべ作業工数Ｙを、上式（３）を使用して算出する（ステップＳ１０１）。

作業状態判別部３５は、ユーザが予め設定した予定しているワーク３５０全体ののべ作業工数Ｐを作業状態データベース３４から呼び出す（ステップＳ１０２）。

ステップＳ１０３に進み、作業状態判別部３５は、のべ作業工数Ｙとのべ作業工数Ｐを比較する。Ｐ＝Ｙである場合（ステップＳ１０３：Ｙｅｓ）、のべ作業工数適正であると判別し（ステップＳ１０４）、ユーザに報知し（ステップＳ１０８）、終了する。

Ｐ＝Ｙでない場合（ステップＳ１０３：Ｎｏ）、ステップ１０５に進む。Ｐ＜Ｙである場合（ステップＳ１０５：Ｙｅｓ）、のべ作業工数Ｐを超過していると判別し（ステップＳ１０６）、ユーザに報知し（ステップＳ１０８）、終了する。

Ｐ＜Ｙでない場合（ステップＳ１０５：Ｎｏ）、のべ作業工数Ｐ内であると判別し（ステップＳ１０７）、ユーザに報知し（ステップＳ１０８）、終了する。

以上説明したように、本実施の形態によれば、撮像した映像Ｖ３から、作業者２００ののべ滞在時間に基づいて作業エリア１２１，１２２，１２３それぞれののべ作業工数を算出することができる。これにより、工期が長期間におよぶ製品、作業エリアが広範囲におよぶ製品等に対して、生産技術者による観測、判断を必要とせず、作業状態判別装置１０によって、のべ作業工数を算出できる。算出したのべ作業工数Ｙと予定ののべ作業工数Ｐとを比較することによってユーザは作業状況の適否を知ることができ、作業状態の改善の着眼点を得ることができる。

［変形例］
また、上記実施の形態２では、作業エリアの数は４つ設定したが、作業エリアの数はこれに限られず、２以上の任意の数の作業エリアを設定することができる。実施の形態１，３に設定される作業エリアの数も、１以上の任意の数を設定することができる。

上記実施の形態では、作業状態の判別結果をディスプレイ５５に表示してユーザに報知したが、発報部の一例として、信号灯、音声等で発報することによりユーザに報知してもよい。

また、上記実施の形態１では、撮像された映像から作業状態学習部３３が標準作業者数を学習し、実施の形態２では、撮像された映像から作業状態学習部３３が作業平均時間μおよび作業時間標準偏差σを学習したが、これらの数値は学習によらず、ユーザが任意に設定することもできる。上記実施の形態３では、予定ののべ作業工数Ｐをユーザが任意に設定したが、上記実施の形態１および２のように、映像から学習して設定してもよい。

上記実施の形態においては、学習の期間と学習の結果を用いて作業を実際に評価する期間を明確に区分したが、評価しながら学習を継続する構成としてもよい。

作業状況を示す指標は、上述の作業者数、作業時間、作業工数に限定されず、作業の種類に応じて適宜選定される。

また、作業状態判別装置１０の各種機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現されてもよい。この場合、ソフトウェアまたはファームウェアは、プログラムとして記述され、プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｃ）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、前述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）とアプリケーションとの分担、またはＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを記録媒体に格納してもよい。

さらに、搬送波に各プログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（ＢＢＳ，Ｂｕｌｌｅｔｉｎ Ｂｏａｒｄ Ｓｙｓｔｅｍ）に当該プログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前述の処理を実行できる構成としてもよい。

本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態、その変形等は、発明の範囲、要旨等に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 作業状態判別装置、２０ 制御部、２１ ＣＰＵ、２２ プログラムメモリ、２３ ワークメモリ、２４ 主メモリ、２５ データバス、３１ 作業者検知部、３２ 作業状態分析部、３３ 作業状態学習部、３４ 作業状態データベース、３５ 作業状態判別部、４０ インターフェース、５０ 入出力装置、５１ 撮像装置、５２ タイマ、５３ キーボード、５４ マウス、５５ ディスプレイ、１００，１１１，１１２，１１３，１１４，１２１，１２２，１２３ 作業エリア、２００，２０１，２０２，２１１，２１２，２２１，２２２，２２３，２２４ 作業者、３００，３５０ ワーク、４０１，４０２，４０３，４０４ 生産装置。

Claims (10)

1. 製造工程の作業状態を撮像した映像を取得し、取得した映像内に作業者を検知する作業者検知部と、
   前記映像の予め定められた領域における検知された作業者の画像から作業状態の指標を求める作業状態分析部と、
   標準作業状態の指標を格納する作業状態データベースと、
   前記作業状態の指標を前記標準作業状態の指標と照合して前記作業状態の適否を判別する作業状態判別部と、
   前記作業状態の適否を判別した結果を報知する報知部と、
   を備える作業状態判別装置。
2. 前記作業状態の指標は作業者数であり、前記標準作業状態の指標は標準作業の作業者数である、
   請求項１に記載の作業状態判別装置。
3. 前記作業状態の指標は前記作業者の作業時間であり、前記標準作業状態の指標は標準作業時間の作業時間平均および標準偏差である、
   請求項１に記載の作業状態判別装置。
4. 前記作業状態の指標は前記作業者ののべ滞在時間に作業者数を乗算したのべ作業工数であり、前記標準作業状態の指標は予め入力されたのべ作業工数である、
   請求項１に記載の作業状態判別装置。
5. 作業状態学習部をさらに備え、
   前記作業状態学習部は、予め定められた期間における前記映像から検知された前記作業者の画像に基づいて前記標準作業状態の指標を学習する、
   請求項１から４のいずれか１項に記載の作業状態判別装置。
6. 入力部をさらに備え、
   前記入力部によって前記標準作業状態が修正される、
   請求項１から５のいずれか１項に記載の作業状態判別装置。
7. 発報部をさらに備え、
   前記発報部は、前記作業状態判別部が判別した結果を音声または信号灯により発報する、
   請求項１から６のいずれか１項に記載の作業状態判別装置。
8. 前記標準作業状態の指標を、予め定められた期間における前記作業者の人数に基づいて生成される等高線図により表す、
   請求項２に記載の作業状態判別装置。
9. 製品の製造工程の作業状態を撮像した映像内に作業者を検知し、
   前記映像の予め定められた領域における作業者の画像に基づいて作業状態の指標を算出し、
   標準作業状態の指標を格納し、
   前記作業状態の指標を前記標準作業状態の指標と照合して前記作業状態の適否を判別し、
   前記作業状態の適否を判別した結果を報知する、
   作業状態判別方法。
10. コンピュータに、
    作業状態を撮像した映像内に作業者を検知する処理、
    前記映像の予め定められた領域における作業者の画像に基づいて前記作業状態の指標を算出する処理、
    標準作業状態の指標を格納する処理、
    前記作業状態の指標を前記標準作業状態の指標と照合して前記作業状態の適否を判別する処理、
    前記作業状態の適否を判別した結果を報知する処理、
    を実行させるプログラム。

Images