JP2018136749A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】定常時の作業時間を正確に求めることを目的とする。
【解決手段】撮影装置により撮影された画像から対象物体を検知する第１の検知手段と、画像から対象物体に対する作業者の作業を検知する第２の検知手段と、対象物体に対する作業者の作業の１サイクルの作業時間を第１の作業時間として取得する第１の取得手段と、１サイクルの作業において作業不良が発生した場合のやり直しの作業の作業時間を第２の作業時間として取得する第２の取得手段と、第１の作業時間と、第２の作業時間と、を識別可能にした作業の記録データを記録する記録手段と、を有する。
【選択図】図４

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

主に工場等の生産現場において、作業者の作業時間を計測するために、様々な手段を用いた計測手法が提案されている。特許文献１では、スイッチ又はセンサで作業対象の部品の受け渡しを検知し作業時間の計測を行っている。

特開２００８−５９３２２号公報

作業時間の変動や異常を分析して工程管理や作業者の評価等生産管理に利用する場合、正常に作業を完遂した場合と作業不良が発生した場合との作業時間の差異が重要な指標となる。それゆえ、正常時の作業時間を分析する過程において、作業漏れや修正作業によって生じる作業時間の揺らぎをノイズとして除去することが不可欠となる。先行技術は、こうした点が考慮されておらず、計測した作業時間を生産管理に利用する上で問題があった。
本発明は、定常時の作業時間を正確に求めることを目的とする。

本発明は、撮影装置により撮影された画像から対象物体を検知する第１の検知手段と、前記画像から前記対象物体に対する作業者の作業を検知する第２の検知手段と、前記対象物体に対する作業者の前記作業の１サイクルの作業時間を第１の作業時間として取得する第１の取得手段と、前記１サイクルの作業において作業不良が発生した場合のやり直しの作業の作業時間を第２の作業時間として取得する第２の取得手段と、前記第１の作業時間と、前記第２の作業時間と、を識別可能にした作業の記録データを記録する記録手段と、を有する。

本発明によれば、定常時の作業時間を正確に求めることができる。

実施形態１の撮影対象となる状況を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 実施形態１のサーバ装置のソフトウェアの機能構成の一例を示す図である。 実施形態１の情報処理の一例を示すフローチャートである。 実施形態１の記録データの一例を示す図である。 検査処理の一例を示すフローチャートである。 終了判定処理の一例を示すフローチャートである。 終了判定処理を説明するための図である。 記録データをグラフ化した一例を示す図である。 実施形態２のサーバ装置のソフトウェアの機能構成の一例を示す図である。 実施形態３の記録データの一例を示す図である。 実施形態３のサーバ装置のソフトウェアの機能構成の一例を示す図である。 実施形態４の情報処理の一例を示すフローチャートである。 計測区間分割処理の一例を示すフローチャートである。 作業対象物体の外見の変化の一例を示す図である。 オクルージョン処理の一例を示すフローチャートである。 作業対象範囲を作業場の上部から撮影した一例を示す図である。 実施形態５の撮影対象となる状況を示す図である。 実施形態６の撮影対象となる状況を示す図である。 実施形態６のサーバ装置のソフトウェアの機能構成の一例を示す図である。 実施形態６の情報処理の一例を示すフローチャートである。 実施形態７の撮影対象となる状況を示す図である。 実施形態７の情報処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
カメラ等の撮影装置から取得された映像データ中の特定のエリアに入った物体に対して作業者が何らかの作用を及ぼしている時間をサーバ装置が計測する処理について説明する。
図１は、実施形態１の撮影対象となる状況を示す図である。
第１の作業対象物体１０１に対して第１の作業者１０２が組立等、何らかの作用、つまり作業を行っており、この状況をカメラ１０３が撮影し、サーバ装置１０４で処理が行われる。

図２は、サーバ装置１０４のハードウェア構成の一例を示す図である。
ＣＰＵ２０１は、サーバ装置１０４全体の制御を行う。ＣＰＵ２０１が、ＲＡＭ２０６、ＲＯＭ２０７、記憶装置２０５に格納されているプログラムに基づき処理を実行することによって、後述するサーバ装置１０４の図３、図１０、図１２、図２０ソフトウェアの機能構成が実現される。また、ＣＰＵ２０１が、ＲＡＭ２０６、ＲＯＭ２０７、記憶装置２０５に格納されているプログラムに基づき処理を実行することによって、後述する図４、図６、図７、図１３、図１４、図１６、図２１、図２３のフローチャートの処理が実現される。
入力装置２０２は、ボタン群等のユーザインターフェースであり、ユーザが操作することで各種の入力をサーバ装置１０４に対して行うことができる。出力装置２０３は、液晶画面やスピーカ等により構成されており、ＣＰＵ２０１による処理結果を表示したり音声出力したりすることができる。なお、入力装置２０２によるユーザインターフェース機能と出力装置２０３による表示機能とを組み合わせてタッチパネル画面を構成してもよい。
通信装置２０４は、サーバ外部からのデータの入出力を受け付けるためのＵＳＢポート、ＬＡＮポート等のインターフェースにより構成されている。映像データを取得するためのカメラ１０３や、映像データを記録したメディア、本装置により計測された作業時間を記録するためのメディア等が通信装置２０４に接続され、処理対象データの入出力が行われる。
記憶装置２０５は、ハードディスクドライブ装置やフラッシュメモリ等により構成されている。記憶装置２０５には、ＯＳ（オペレーティングシステム）のプログラムや、後述する処理に係るプログラム、データが保存されている。以降の説明において、処理に用いる映像データや計測された作業時間データの登録先は記憶装置２０５となる。記憶装置２０５に保存されているプログラムやデータは、ＣＰＵ２０１による制御に従って適宜、ＲＡＭ２０６にロードされ、ＣＰＵ２０１による処理対象となる。
ＲＡＭ２０６は、記憶装置２０５からロードされたプログラムやデータを格納するためのエリアを有する。更にＲＡＭ２０６は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０６は、各種のエリアを適宜提供することができる。
ＲＯＭ２０７には、サーバ装置１０４の設定データや起動プログラム等、書き換え不要なプログラムやデータが保存されている。ＣＰＵ２０１、入力装置２０２、出力装置２０３、通信装置２０４、記憶装置２０５、ＲＡＭ２０６、ＲＯＭ２０７は何れもバス（ＢＵＳ）２０８に接続されている。

図３は、実施形態１のサーバ装置１０４のソフトウェアの機能構成の一例を示す図である。
物体検知部３０１は、映像内の特定のエリアに作業対象物体が存在しているかどうかの判定を行う。サーバ装置１０４は、この検知された作業対象物体に対する作業時間の計測を行う。
作業検知部３０２は、物体検知部３０１で検知された作業対象物体に対して作業者が何らかの作用を与えているかどうかを検知する。ここで作業者による作用とは、例えば、作業対象物体にネジを取りつけて絞める、拭きとり掃除を行う、束線を取り付ける、電流の導通チェックを行う等、物品の組立等生産現場で行われる動作のこと指す。
計測部３０３は、作業検知部３０２で検知された作業者による作業の開始から終了までの時間、つまり作業時間の計測を行う。
作業時間記録部３０４は、計測部３０３で計測した作業者による作業時間の記録、集計を行う。集計の仕方は、複数存在するが、本実施形態では後に示すように予め決められた作業区間ごとに集計するものとする。
物体追跡部３０５は、物体検知部３０１で検知した作業対象物体の追跡を行う。この追跡は、物体検知部３０１の検知対象となっている範囲から外れた後も、画像内に作業対象物体が存在している限りは行われるものとする。
検査部３０６は、作業者による作業が正しく行われているかを検査する。本実施形態では、作業前後で作業対象物体の外観が変化することを前提として、検査部３０６は、作業対象物体の映像と正常に作業が施された物体の映像とを比較して、作業結果の正当性を判定する。
通知部３０７は、検査部３０６が検知した作業不良を作業者に通知する。

図４は、実施形態１の情報処理の一例を示すフローチャートである。以下では、説明の簡略化のため、ＣＰＵ２０１が情報処理を行うものとして説明を行う。
まず、Ｓ４０１において、サーバ装置１０４は、カメラ１０３によって取得され、送信された動画像を、通信装置２０４を通して受け付ける。サーバ装置１０４は、記憶装置２０５に記憶された撮影パラメータに従ってカメラ１０３を制御し、撮影を行う。サーバ装置１０４は、動画像を、ストリーミング形式で逐次処理する。又は、サーバ装置１０４は、動画像を、記憶装置２０５に記録し、一定時間ごとに処理を行ってもよい。
次にＳ４０２では、物体検知部３０１は、Ｓ４０１で取得した動画像に対して対象となる作業対象物体が存在しているかどうかを検知する。ここで対象となる作業対象物体は、予め記憶装置２０５に記憶されているものとする。記憶のされ方は検出ができる形式であれば制限はなく、例えば、作業対象物体そのものを一つ以上の角度から撮影した画像でもよいし、何らかの特徴量に変換したデータでもよい。物体検知部３０１は、作業対象物体が検知されたと判定した場合、Ｓ４０３に進む。また同時に、物体追跡部３０５による検知した作業対象物体の追跡を開始する。物体検知部３０１は、作業対象物体が検知されなかったと判定した場合、Ｓ４０４に進み、処理を次のフレームに進める。

Ｓ４０３では、作業検知部３０２は、Ｓ４０２で検知された作業対象物体に作業者が作業をしているかの検知を行う。ここで作業とは、作業者が作業対象物体に対して何らかの作用を及ぼしていること、例えば、作業対象物体のネジを締める、作業対象物体にカバーを取り付ける、作業対象物体を拭く等といったことを指す。また、より具体的にどのような作業が行われるかは、予め作業の手順を示したもの、例えば、どの部品や工具等がどのタイミングでどの位置に存在するかを入力することによって定義しておいてもよい。作業検知部３０２は、作業が開始されたと判定した場合、Ｓ４０５に進み、作業が開始されなかったと判定した場合、Ｓ４０４に進み、処理を次のフレームに進める。
Ｓ４０５では、計測部３０３は、作業時間の計測を開始する。計測部３０３は、作業時間の計測を、後のステップで作業が終了したと判定される、又は計測範囲の分割が行われるまで続ける。また、計測部３０３は、計測した作業時間を記憶装置２０５に記録する。記憶装置２０５に記憶する記録データの構成を図５（ａ）に示す。作業識別子７０１は、計測対象の作業を一意に特定する識別子である。作業時間７０２は、計測部３０３が計測した作業時間である。警告通知時間７０３は、作業開始から警告通知までの経過時間である。なお、１回の作業内で複数回の警告を行うことも可能であるが、本実施形態では説明を簡略化するため警告は１回だけ行うものとする。作業識別子は、作業識別情報の一例である。

計測が開始されると、フレームごとにＳ４０６の検査処理と、Ｓ４０７の終了判定処理とがそれぞれ行われる。この各ステップの詳細について以下に説明する。
Ｓ４０６での検査処理の詳細を示したものが図６である。図６の処理では、検査部３０６は、作業対象物体の外見に明らかな変化があった場合に、作業が実施されたと判定して、その作業内容の正当性を判定する。まず、Ｓ５０１では、検査部３０６は、変化の有無を判定し、変化があった場合は、Ｓ５０２に進む。Ｓ５０２では、検査部３０６は、判定の直前に行われていた作業を特定する。次に、Ｓ５０３では、検査部３０６は、前段で特定した作業が正常に終了した状態の作業対象物体の映像データを記憶装置２０５から取得する。続いてＳ５０４では、検査部３０６は、現フレームの映像データと記憶部から取得した映像データとを比較する。本実施形態では、検査部３０６は、傾きと大きさとを調整した作業対象物体の輪郭特徴量を比較する方法を用いることとするが、これに限定されるものではない。続くＳ５０５では、検査部３０６は、作業の正当性を判定する。輪郭特徴量の一致度が閾値を越えた場合、作業対象物体が期待する状態になっており、検査部３０６は、作業が正常に行われたと判定する。一方、輪郭特徴量の一致度が閾値を下回った場合、検査部３０６は、作業不良が発生しているものと判定する。そして、Ｓ５０６では、通知部３０７は、作業者に警告を通知する。続くＳ５０７では、計測部３０３は、Ｓ５０６で警告を通知した時刻と計測部３０３が計測中の作業時間とを対応付けて記憶装置２０５に記録する。図５（ｂ）に記録データの一例を示す。１行目のデータは警告通知を行わずに作業が完了した場合の記録である。３行目のデータは、全体の作業時間が１６分２２秒であり、作業開始から１２分４４秒後に警告を通知した場合のデータである。このデータでは、１２分４４秒から１６分２２秒までの間は、警告を受けた作業者が修正作業に費やした時間であると認識される。図５（ｂ）の記録データは、対象物体に対する作業者の作業の１サイクルの作業時間と、１サイクルの作業において作業不良が発生した場合のやり直しの作業の作業時間と、が識別可能にした作業の記録データの一例である。

Ｓ４０７での終了判定処理の詳細を示したものが図７である。図７では、作業の１サイクルが終了したかどうかの判定を行う。この判定では、生産現場等、作業内容が決まっている場所では、１サイクル終了時に作業対象物体は必ず次工程に渡されるので、終了時に作業対象物体の動く方向は一定である、ということを利用している。例えば、１サイクル終了時の様子を表わした図８では、この場所での作業が終了した作業対象物体１００１は、次工程があれば必ず図８の矢印方向に移動するということである。この判定をＳ４０７の処理で行う。
まずＳ６０１では、作業時間記録部３０４は、サイクルが既に終了していないかの判定を行う。これは、作業時間記録部３０４が記憶装置２０５に記録された直近の作業時間計測結果を参照し、現在時刻から一定の時間以内に記録された結果があればサイクル終了と記録されたものとして判定を行うものである。作業時間記録部３０４は、まだサイクルが終了していなければＳ６０２へ処理を移行し、既にサイクルが終了していればＳ４０７の処理は終了し、Ｓ４０８の処理に移行する。
Ｓ６０２では、物体追跡部３０５は、作業対象物体が画面範囲外、又は検知対象範囲外に移動したかの判定を行う。これは、物体追跡部３０５が作業対象物体を範囲の境界まで追跡した後追跡に失敗したかどうかで判定する。なお、判定の際に用いる境界を画面範囲とするか検知対象範囲とするかは予め設定されていてもよいし、ＣＰＵ２０１が入力装置２０２等を介したユーザの設定操作に応じて設定してもよい。物体追跡部３０５は、範囲外に出た場合には処理をＳ６０３に移行し、範囲内に作業対象物体が留まっている場合には処理をＳ６０５に移行する。Ｓ６０５では、作業時間記録部３０４は、まだサイクルが終了していないとして計測を継続することとして、Ｓ４０８へ処理を移行する。

Ｓ６０３では、物体追跡部３０５は、範囲外に出る直前までの作業対象物体の移動方向の判定を行う。物体追跡部３０５は、追跡の履歴を参照し、過去一定フレームにおいて予め決められた方向に作業対象物体が動いていれば、Ｓ６０４に移行し、そうでなければＳ６０５に移行する。判定に用いられる方向は記憶装置２０５に記録されており、予め設定されていてもよいし、ＣＰＵ２０１が入力装置２０２等を介したユーザの設定操作に応じて設定してもよいし、物体追跡部３０５等が今までの作業実績から統計的に求めてもよい。又は、物体追跡部３０５等が作業標準書等の作業内容を示した文書の情報を利用して決めてもよい。
Ｓ６０４では、１サイクルが終了したとして計測部３０３が作業時間の計測を止め、作業時間記録部３０４が記憶装置２０５にその計測結果を記録する。
Ｓ６０５では、作業時間記録部３０４は、まだサイクルが終了していないとして計測を継続することとして、Ｓ４０８へ処理を移行する。

Ｓ４０８では、作業時間記録部３０４は、作業の１サイクルが終了したかどうかの判定を行う。作業時間記録部３０４は、作業の１サイクルが終了したと判定すれば、図４に示す一連の動作を終了し、終了していないと判定すれば、処理をＳ４０９に移行し、次のフレームへと動画像を進め、Ｓ４０６に処理を戻す。
以上が作業時間計測処理の説明である。作業を１回行うごとに上記の処理が１回実行され、作業時間の記録データが記憶装置２０５に蓄積される。図５（ｂ）に記録データの例を示す。図５（ｂ）に示すように記録データには、正常に作業が完遂した場合、警告の通知を受けて作業者が作業をやり直した場合、警告の通知を受けても作業者がやり直しをしなかった場合等、様々な状況が含まれる。例えば、作業時間記録部３０４は、図５（ｂ）の記録データをグラフ化し、出力装置２０３等に表示する。グラフ化し、表示された画面の一例が図９である。図９の白抜きのグラフが警告通知前（通知無しを含む）の作業時間を示し、黒塗りのグラフが警告通知後に発生した作業時間を示す。図９の例では、警告通知後のやり直しの作業時間まで含めた作業時間の合計値は変動が大きく、反対に警告通知前の作業時間は比較的安定していることが簡単に読み取れる。

以上説明したように、本実施形態の処理によれば、作業不良が発生しているか否かを指標に作業時間を分類することが容易になる。それにより、作業不良の発生していない定常的な状態における作業時間の計測が安定して行えるようになり、作業時間を用いた工程管理や習熟度評価を実施する際に、精度の向上や作業の効率化を期待することができる。

＜実施形態２＞
本実施形態では、警告通知を行わなかった場合の作業時間の収束速度と、警告通知後に発生した作業時間の収束速度と、を比較し、両者に有意な差異が認められた場合に工程管理者に警告する処理を説明する。図１０は、実施形態２のサーバ装置１０４のソフトウェアの機能構成の一例を示す図である。図１０の構成は、図３に示す構成に、作業時間分析部３０８が加わっている。
作業時間分析部３０８は、図４で説明した作業時間の計測処理が終了すると、記憶装置２０５から作業時間の記録レコードを取得する。次に、作業時間分析部３０８は、警告通知を行わなかった場合の作業時間の収束速度（収束速度１）と、警告通知後に発生した作業時間の収束速度（収束速度２）と、を算出する。ここで、収束速度の算出には任意の方法を用いることができるが、以下の説明ではデータに当て嵌めた１次近似曲線の傾きを収束速度として用いる。作業時間分析部３０８は、収束速度１と収束速度２とを算出すると、両者を比較する。本実施形態では、閾値ｒに対し、
収束速度２／収束速度１ ＞ ｒ
を満たす場合、作業時間分析部３０８は、警告通知後に発生した作業時間は有意に収束が遅いと判定し、警告を発する。
以上が本実施形態の処理の説明である。
本実施形態の処理によれば、作業時間の収束が遅い作業の発見が容易になる。そのような作業は、作業者の習熟を妨げる問題を内包している可能性があるため、工程管理者が作業を修正することが必要である。修正対象の作業の発見を容易にすることで修正を促進し、作業不良の発生の抑制に効果が見込める。

＜実施形態３＞
本実施形態では、作業者のタスクを切り替えた直後に頻発する作業不良が作業時間の安定性に与える影響を低減する処理を説明する。図１１（ａ）は、実施形態３の作業時間の記録データの一例である。図５に示す構成に加えて、タスク切替後経過時間７０４を持つ。図１２は、実施形態３のサーバ装置１０４のソフトウェアの機能構成の一例を示す図である。図１２の構成は、図３に示す構成に、タスク切替後の経過時間を計測するためにタスク管理部３０９が加わる。図１１（ｂ）は、記録データの一例である。データの前半部分９１０は筺体組立１１タスクに関する記録であり、後半部分９１１はラベル貼付３４タスクに関する記録であることを示している。タスク管理部３０９は、筺体組立１１タスクの開始時にタスク切替後経過時間の計測を開始し、筺体組立１１タスクの終了時にタスク切替後経過時間を０に戻す。そして、タスク管理部３０９は、ラベル貼付３４タスクの開始後にタスク切替後経過時間の計測を再開する。
以上が本実施形態の処理の説明である。
タスクの切り替わりに伴って作業内容や作業対象物体が変更された際に、不慣れな作業者が起こす作業ミスにより作業時間が過度に長くなり分析の精度が劣化する恐れがある。
本実施形態の処理によれば、切替後の経過時間を記録することで、そのような作業ミスの発生しやすい期間を特定することが可能である。それにより、分析対象に含めたくない記録データを簡単に対象から外すことができ、分析精度の劣化を抑制する効果が期待できる。

＜実施形態４＞
図１３は、実施形態４の情報処理の一例を示すフローチャートである。
図１３では、図４のＳ４０６の処理に代えて、Ｓ４１０とＳ４１１との処理が実行される。
Ｓ４１０での処理の詳細を示したものが図１４である。本実施形態では、サーバ装置１０４は、作業対象物体の外見に明らかな変化があった場合に、その変化をキーとして作業時間計測の区間を区切るという処理を行う。外見の変化の例を示したものが図１５である。例えば、図１５（ａ）に示すように、作業対象物体１０１の向きが変化し、作業対象物体６０１のように置かれた場合が挙げられる。又は、図１５（ｂ）に示すように、作業対象物体１０１の上に別のパーツ６０２が取り付けられた場合も一例である。このような変化があった場合、物体検知部３０１は、計測区間の区切りを行う。より具体的に説明すると、Ｓ１３０１では、物体検知部３０１は、作業対象物体１０１の外見に変化があったかどうかを判定する。この際、記憶装置２０５には予め変化後の作業対象物体１０１を認識するための情報が登録されているものとする。この登録には、作業の定義と同様に部品や工具等に関するデータを利用してもよい。このステップで外見に変化があったと判定されると、Ｓ５０２に移行する。変化がないと判定された場合には、追加の処理を行うことなくＳ４０７へ移行する。
Ｓ１３０２では、計測部３０３は、現在計測されている区間の作業時間計測を終了する。終了した計測結果は、Ｓ１３０３において、作業時間記録部３０４によって記憶装置２０５に記録される。この際、記録される作業時間計測結果には、区間を区別できるような情報、例えば、区間を示すＩＤ番号等が付与される。
そしてＳ１３０４では、計測部３０３は、新たな区間の作業時間計測を開始する。この一連の処理を行った後、Ｓ４１１へと処理は移行する。なお、このＳ４１０全体は必ずしも必須の処理ではない。例えば、ユーザが作業時間の計測を区間ごとに区切ることを希望しない旨の設定を行っている場合、サーバ装置１０４は、設定に基づきＳ４１０の処理を省いてもよい。

次に、Ｓ４１１での処理の詳細を示したものが図１６である。ここでは、計測中に作業対象物体が何らかの他の物体で隠れてしまうことによってオクルージョンが発生し、物体検知部３０１によって作業対象物体を検知できなくなる場合についての処理を説明する。例えば、図１７は、作業対象範囲を作業場の上部から撮影した動画像の１フレームの例である。図１７では、作業員８０１が作業台８０３上に載っている作業対象物体８０２に対して作業を行っているが、作業員８０１が作業対象物体８０２に重なってしまい、作業対象物体８０２がカメラから見えない、つまりオクルージョンが発生している。この場合、このままでは作業が終了したために作業対象物体を検知できなくなったのか、又は一時的に検知できなくなっているだけなのかの判定ができない。そこで、サーバ装置１０４は、Ｓ４１１の処理を行う。
Ｓ１５０１では、物体検知部３０１は、既に前フレームまでに隠れが発生していないかを判定する。隠れが発生している場合には物体追跡部３０５が作業対象物体を追跡できなくなっているので、物体検知部３０１は、物体追跡部３０５による作業対象物体を追跡できなくなっているか否かの情報を基に判定を行う。物体検知部３０１は、隠れが発生していない場合にはＳ１５０２に、既に発生している場合にはＳ１５０４にそれぞれ進む。
Ｓ１５０２では、物体検知部３０１は、現在のフレームで隠れが発生したか否かの判定を行う。物体検知部３０１は、物体検知部３０１で作業対象物体が検知できなかった、又は物体追跡部３０５が作業対象物体の追跡に失敗した場合に隠れが発生したと判定する。物体検知部３０１は、隠れが発生していると判定した場合、Ｓ１５０３に進む。そして、物体追跡部３０５は、作業対象物体の追跡を中止する。
また、物体検知部３０１は、隠れが発生していない場合、オクルージョン処理を終了し、Ｓ４０７の処理に移行する。
Ｓ１５０３では、計測部３０３は、隠れが発生している時間の計測を開始する。そして、計測部３０３は、Ｓ４０８へと処理を移行する。

Ｓ１５０４では、物体検知部３０１は、作業対象物体の隠れが解消されたかの判定を行う。物体検知部３０１は、隠れが発生する前と同じ作業対象物体が再検知されれば隠れが解消されたと判定する。物体検知部３０１は、隠れが解消されていない場合には、図１６の処理を終了し、Ｓ４０８へ処理が移行し、隠れが解消された場合には、Ｓ１５０５に処理を移行する。
Ｓ１５０５では、計測部３０３は、隠れが発生している時間の計測を終了する。
Ｓ１５０６では、作業時間記録部３０４は、計測部３０３によって計測された時間と予め定められた閾値とを比較する。作業時間記録部３０４は、計測された時間が閾値よりも小さければ、隠れが発生している間も同一の作業サイクルが続いていると判定し、Ｓ１５０７へ移行して作業時間の計測を継続する。一方、作業時間記録部３０４は、計測された時間が閾値よりも大きければ、隠れが発生している間に今までの作業サイクルは終了したと判定し、Ｓ１５０８へ移行する。Ｓ１５０８では、計測部３０３が作業時間計測を終了し、作業時間記録部３０４が記憶装置２０５への計測結果の記録をそれぞれ行う。この際、計測部３０３は、新たなサイクルの作業時間計測を同時に開始してもよい。Ｓ１５０６で用いる閾値は、記憶装置２０５に記録されており、予め設定されていてもよいし、ＣＰＵ２０１が入力装置２０２等を介したユーザの設定操作に応じて設定してもよいし、計測部３０３等が今までの作業実績から統計的に求めてもよい。又は、計測部３０３等が作業標準書等の作業内容を示した文書の情報を利用して決めてもよい。図１６の処理が終了すると、Ｓ４０７へと処理が移行する。

本実施形態の処理によれば、ある決められた作業を撮影した動画像から、作業の開始と終了とを推定することができる。これにより、作業者に付加作業を行わせることなく作業時間の計測を行うことができる。

＜実施形態５＞
本実施形態では、複数の作業対象物体を扱う作業場所において、作業対象物体ごとに作業時間の計測結果の集計を行う処理を説明する。そして本実施形態では、物体検知部３０１の検知結果を利用して処理の制御を行う。
上述した実施形態等では、例えば、複数種類の作業対象物体を扱う場合でも、それらの間で分類を行うことなく作業時間が記録される。例えば、図１等の第１の作業対象物体１０１とは別に、図１８のように第２の作業対象物体１１０１を同じ場所で扱う場合、上述した実施形態等の処理では、計測結果は特に分類されることはない。しかし、生産現場等においては作業対象物体ごとに別々に作業時間の集計を行いたい場合もある。本実施形態では、物体検知部３０１が作業対象物体の認識を行うことを利用し、作業対象物体の種類を判別し、その結果を利用して作業対象物体の種類を区別できるように作業時間の計測を行う処理を説明する。

本実施形態では、Ｓ４０２では、物体検知部３０１は、複数の作業対象物体の識別を行い、計測結果において複数の作業対象物体の識別ができるように作業対象物体の種類を示す情報、例えば、ＩＤ番号を振り、計測結果と共に記憶装置２０５に記録する。これにより、例えば、作業時間記録部３０４等が、後に記憶装置２０５に記録された作業時間の計測結果を集計する際に、作業対象物体の種類を示す情報をキーとすることによって、作業対象物体ごとの集計を行うことができるようになる。物体検知部３０１は、例えば、対象物体の形状、大きさ等に基づき作業対象物体を識別してもよいし、作業対象物体に付されているマーク等に基づき作業対象物体を識別してもよい。
本実施形態によれば、複数の作業対象物体を対象に作業を行う場所において、各作業対象物体を区別して作業時間の計測を行うことができる。これにより、作業時間の集計を行う際に作業対象物体の種類ごとに作業時間の集計を行うことができる。

＜実施形態６＞
実施形態５では、複数の作業対象物体を作業対象とする場合を対象とした。しかし、あるときは第１の作業者１０２が作業しているが、図１９に示すように、別のときは第２の作業者１２０１が作業しているといった様に、作業者が複数存在する場合もある。例えば、元々の作業者が何らかの理由で休暇を取り代理の者が作業している場合や、最初から一定時間ごとに複数の作業者が交代しながら作業を行うように計画されていた、といったことがありうる。本実施形態では、図２０に示されるように、実施形態６のサーバ装置１０４のソフトウェアの機能構成には、実施形態１のサーバ装置１０４のソフトウェアの機能構成に比べて、作業者識別部３１０が更に含まれている。作業者識別部３１０は、作業者の識別を行う。作業時間記録部３０４は、作業者識別部３１０による作業者の識別の結果を利用して作業者を区別できるように作業時間の記録を行う。
より具体的に説明すると、作業者識別部３１０は、取得された動画像中に映っている作業者の識別を行う。作業者識別部３１０は、顔識別技術を用いて識別してもよいし、帽子や衣服等、作業者が身についているものに識別できるような情報を記入しておき、その情報を利用して識別してもよい。例えば、図１９の場合には、第２の作業者１２０１は被っている帽子１２０２に個人を識別できる記号が書かれているため、作業者識別部３１０は、この記号を利用して判別することができる。

次に、本実施形態における、サーバ装置１０４の情報処理について図２１のフローチャートを用いて説明する。図２１の処理は、図４の処理に比べて、Ｓ４０１の処理の後に、Ｓ４２０の処理が追加されている。
Ｓ４２０では、作業者識別部３１０は、作業者の識別を行う。この識別結果は、計測結果において作業者の識別ができるように作業者を示す情報、例えば、ＩＤ番号を振り、計測結果と共に記憶装置２０５に記録できるようにする。残りの処理は実施形態１と同様である。これにより、後に記憶装置２０５に記録された作業時間の計測結果を集計する際に、作業者を示す情報をキーとすることによって、作業者ごとの集計を行うことができるようになる。
本実施形態によれば、複数の人物が作業を行う場所において、各作業者を識別して作業時間の計測を行うことができる。これにより、作業時間の集計を行う際に作業対象物体の種類ごとに作業時間の集計を行うことができる。

＜実施形態７＞
本実施形態は、１つ以上の作業対象物体を扱う作業場所において、作業対象以外の物体が渡された場合に作業対象以外の物体に対する作業時間の計測を行わないようにするものである。そして本実施形態では、物体検知部３０１の検知結果を利用して処理の制御を行う。
実施形態４では、計測された作業時間は区別をするような処理をせず、また実施形態５では複数種類の作業対象物体を扱う作業場所を想定した処理を行った。しかし、必ずしも作業対象とされている物体のみが作業者に渡されるとは限らず、例えば、図２２のように誤って別の物体１４０１が作業者１０２に渡されてしまうことも想定される。このような場合に作業時間を計測してしまうと目的通りの集計を行うことができなくなり、またそもそも計画外の物体に対して作業をしてしまうことによりミスが発生してしまう。本実施形態では、物体検知部３０１が作業対象物体の認識を行うことを利用し、作業対象物体の種類を判別し、その結果を利用して処理対象以外の物体が渡された場合の対処を行う。

次に、本実施形態における、サーバ装置１０４の情報処理について図２３のフローチャートを用いて説明する。図２３の処理は、図４の処理に比べて、Ｓ４０２の処理で対象物体を検出したと判定された場合、Ｓ４３０において、物体検知部３０１が、対象物体の種類の識別を行い、対象物体が作業対象物体か否かを判定する。物体検知部３０１は、対象物体が作業対象物体であると判定した場合、Ｓ４０３に処理を進め、対象物体が作業対象物体でないと判定した場合、図２３に示す処理を終了する。物体検知部３０１は、例えば、対象物体の形状等に基づき対象物体を識別し、予め定められた作業対象物体か否かを判定してもよいし、作業対象物体に付されているマーク等があるか否かに基づき、作業対象物体か否かを判定してもよい。

本実施形態によれば、複数の物体を対象に作業を行う場所において、各物体を区別して作業時間の計測を行うことができる。これにより、作業対象ではない物体を渡された場合に、作業時間の集計を行なわないようにすることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述したソフトウェアの機能構成の一部、又は全てを、ハードウェアとしてサーバ装置１０４に実装してもよい。
また、上述した実施形態を任意に組み合わせて実施してもよい。例えば、上述した実施形態５及び６を組み合わせることによって、作業対象物体の種類と作業者とをそれぞれ識別して、作業時間の計測及び記録を行い、集計時にそれぞれ区別して集計することができる。
上述した各実施形態の処理によれば、定常時の作業時間を正確に求めることができる。

１０４ サーバ装置
２０１ ＣＰＵ
２０５ 記憶装置

Claims (14)

1. 撮影装置により撮影された画像から対象物体を検知する第１の検知手段と、
   前記画像から前記対象物体に対する作業者の作業を検知する第２の検知手段と、
   前記対象物体に対する作業者の前記作業の１サイクルの作業時間を第１の作業時間として取得する第１の取得手段と、
   前記１サイクルの作業において作業不良が発生した場合のやり直しの作業の作業時間を第２の作業時間として取得する第２の取得手段と、
   前記第１の作業時間と、前記第２の作業時間と、を識別可能にした作業の記録データを記録する記録手段と、
   を有する情報処理装置。
2. 前記記録データの分析の結果に基づき警告を行う警告手段を更に有する請求項１記載の情報処理装置。
3. 前記警告手段は、前記記録データの分析の結果、作業不良が発生しなかった場合の前記第１の作業時間の収束速度と前記第２の作業時間の収束速度との比が第１の閾値より大きい場合、警告を行う請求項２記載の情報処理装置。
4. 前記記録データは、作業を識別する作業識別情報と、前記１サイクルの作業の作業時間と、前記１サイクルの作業において作業不良が発生した場合の警告通知時間と、を含む請求項１乃至３何れか１項記載の情報処理装置。
5. 作業者が行う作業が切り替わってからの経過時間を取得する第３の取得手段を更に有し、
   前記記録手段は、前記第１の作業時間と、前記第２の作業時間と、前記経過時間と、を識別可能にした作業の記録データを記録する請求項１乃至３何れか１項記載の情報処理装置。
6. 前記記録データは、作業を識別する作業識別情報と、前記１サイクルの作業の作業時間と、前記１サイクルの作業において作業不良が発生した場合の警告通知時間と、前記経過時間と、を含む請求項５記載の情報処理装置。
7. 前記対象物体の外見に変化があった場合、前記記録手段は、区間を示す識別情報を付して前記記録データを記録する請求項１乃至６何れか１項記載の情報処理装置。
8. 前記対象物体が検知対象範囲外に出て、前記対象物体の移動方向が決まった方向であった場合、前記記録手段は、前記作業の１サイクルが終了したとして、前記作業の記録データを記録する請求項１乃至７何れか１項記載の情報処理装置。
9. 前記対象物体が他の物体により隠された時間が第２の閾値より大きい場合、前記記録手段は、前記作業の１サイクルが終了したと判定し、前記作業の１サイクルが終了したとして、前記作業の記録データを記録する請求項１乃至８何れか１項記載の情報処理装置。
10. 前記対象物体を識別する第１の識別手段を更に有し、
    前記記録手段は、前記対象物体ごとに、前記作業の記録データを記録する請求項１乃至９何れか１項記載の情報処理装置。
11. 前記作業者を識別する第２の識別手段を更に有し、
    前記記録手段は、前記作業者ごとに、前記作業の記録データを記録する請求項１乃至１０何れか１項記載の情報処理装置。
12. 前記第１の検知手段により検知された前記対象物体が作業対象物体か否かを判定する判定手段を更に有し、
    前記判定手段により前記対象物体が作業対象物体であると判定された場合、前記第１の取得手段は、前記第１の作業時間を取得し、前記第２の取得手段は、前記第２の作業時間を取得する請求項１乃至１１何れか１項記載の情報処理装置。
13. 情報処理装置が実行する情報処理方法であって、
    撮影装置により撮影された画像から対象物体を検知する第１の検知工程と、
    前記画像から前記対象物体に対する作業者の作業を検知する第２の検知工程と、
    前記対象物体に対する作業者の前記作業の１サイクルの作業時間を第１の作業時間として取得する第１の取得工程と、
    前記１サイクルの作業において作業不良が発生した場合のやり直しの作業の作業時間を第２の作業時間として取得する第２の取得工程と、
    前記第１の作業時間と、前記第２の作業時間と、を識別可能にした作業の記録データを記録する記録工程と、
    を含む情報処理方法。
14. コンピュータを、請求項１乃至１２何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。

Images