JP2021163293A - 作業分析装置及び作業分析プログラム - Google Patents

Abstract

【課題】単位作業を行ったタイミングを考慮することで、精度良く作業動画を区切ることができる構成を提供する。【解決手段】撮像部１３の撮像画像から作業者Ｍの骨格情報が抽出され、単位作業を行うための規定動作を行った際に撮像部１３の撮像画像から抽出されるべき骨格情報に関する情報が単位作業ごとに予め記憶部１２に記憶される。そして、記憶部１２に記憶される情報に基づいて、上記抽出結果から認識される作業者Ｍの動作が規定動作とみなされる規定動作認識状態であると判定されると、この規定動作認識状態と判定された際の抽出タイミングに応じて、撮像部１３により撮像された作業動画を単位作業ごとに区切るための区切情報が設定される。【選択図】図７

Description

本発明は、複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する作業分析装置及び作業分析プログラムに関するものである。

従来、製造現場では、例えばプリント基板や製造途中の装置等に対して、手作業で部品を組み付ける組み付け作業等が行われることがある。このような作業に関して作業効率の向上を図るために、繰り返される所定の作業を撮像して作業分析用の作業動画を生成し、この作業動画を解析等することで作業分析を行う手法が知られている。このような作業分析に関する技術として、例えば、下記特許文献１に開示される移動パターン特定装置が知られている。

この移動パターン特定装置では、作業者の右手及び左手にそれぞれ付されたマーカの移動軌跡を動画像データから標準時系列データとして求め、この標準時系列データの中から作業の区切りの候補とみなすことができる点が区切り候補点として抽出される。そして、区切り候補点の近傍の動画像データを見たユーザから入力される入力指示に応じて、区切り位置を示す区切り位置情報及び当該区切り位置に対応する区切り内容情報が特定されると、このように特定された情報に基づいて、作業の種類及び作業の開始時刻・終了時刻を特定することができる。

また、下記特許文献２に開示される画像抽出分析装置では、作業現場を撮像した動画像の中から指定された画像パターンを含む画像を抽出して、その繰り返し現れる時間間隔を算出し、その出現頻度が略同じとなる時間間隔ごとに当該時間間隔を基準にグループ分けしたヒストグラムが画面表示される。この表示に応じてユーザにより指定されたグループの画像及び時間間隔を画面表示することで、工程の区切りが動画像及び時間間隔とともに表示されることとなり、作業現場を撮像した動画像を順次的に見ることなしに各工程でどの作業に時間がかかっているかを容易に把握することができる。

また、下記特許文献３に開示される作業分析装置にてなされる作業分析処理では、読み込んだ分析対象の作業動画が、計測状態表示領域等とともに作業分析画面に再生表示される。そして、動画再生中に再生画面の一部をマウスでクリックする区切操作が作業者により行われると、その再生画面の一部の上に選択画面が表示される。この表示状態で、その選択画面に表示されるいずれかの属性情報をマウスでクリックする選択操作が作業者により行われると、区切操作により区切られる動画範囲について、選択操作により選択される属性情報を含む分析データが関連付けられて記録される。

特開２００８−１０８００８号公報 特開２００７−２４３８４６号公報 特開２０１７−１３４６６６号公報

ところで、例えば、部品箱に収容される部品を被組付部材に組み付けるような作業を分析対象とする場合、部品箱から部品を取り出したことを検出（判定）することで、この部品取り出しの検出タイミングを基準に作業動画を単位作業ごとに区切ることができる。しかしながら、例えば、撮像範囲内において部品箱が占める領域を監視領域としてこの監視領域に入った手が当該監視領域から出るタイミングで部品箱から部品を取り出したと判定する構成では、作業者の手が上記監視領域を通過するだけで、部品取り出しと誤判定される可能性がある。また、手が上記監視領域内に滞留する滞留時間を考慮することで単なる手の通過に起因する誤判定を抑制できたとしても、手が監視領域に出入りするタイミングだけで作業動画を区切るため、実際に部品を取り出したタイミングを考慮できないので、精度良く作業動画を区切ることができないという問題がある。同様に、部品を被組付部材の組付予定位置に組み付けたことを検出してこの検出タイミングを基準に作業動画を区切る場合でも、組付予定位置に対応する監視領域に手が出入りするタイミングだけで作業動画を区切る場合には、実際に部品を組付予定位置に組み付けたタイミングを考慮できないので、精度良く作業動画を区切ることができないという問題がある。

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、単位作業を行ったタイミングを考慮することで、精度良く作業動画を区切ることができる構成を提供することにある。

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する作業分析装置（１０）であって、
作業者（Ｍ）により繰り返しなされる前記所定の作業を撮像する撮像部（１３）と、
前記撮像部の撮像画像から前記作業者の骨格情報を抽出可能な抽出部（１１）と、
前記単位作業を行うための規定動作を行った際に前記撮像部の撮像画像から前記抽出部により抽出されるべき骨格情報に関する情報又は学習される所定の骨格動作パターンが前記単位作業ごとに予め記憶される記憶部と（１２）、
前記記憶部に記憶される情報に基づいて、前記抽出部の抽出結果から認識される前記作業者の動作が前記規定動作とみなされる規定動作認識状態であるか否かについて判定する判定部（１１）と、
前記判定部により前記規定動作認識状態と判定された際の抽出タイミングに応じて、前記撮像部により撮像された作業動画を前記単位作業ごとに区切るための区切情報を設定する区切情報設定部（１１）と、
を備えることを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

請求項１の発明では、撮像部の撮像画像から作業者の骨格情報が抽出部により抽出され、単位作業を行うための規定動作を行った際に撮像部の撮像画像から抽出部により抽出されるべき骨格情報に関する情報又は学習される所定の骨格動作パターンが単位作業ごとに予め記憶部に記憶される。そして、記憶部に記憶される情報に基づいて、抽出部の抽出結果から認識される作業者の動作が規定動作とみなされる規定動作認識状態であると判定部により判定されると、この規定動作認識状態と判定された際の抽出タイミングに応じて、撮像部により撮像された作業動画を単位作業ごとに区切るための区切情報が区切情報設定部により設定される。

これにより、作業者の骨格情報を利用して上記規定動作がなされているか判定できるので、単に手が監視領域に出入りするタイミングだけで作業動画を区切る場合と比較して、実際に単位作業を行ったタイミングを考慮できるので、精度良く作業動画を区切ることができる。

請求項２の発明では、判定部は、撮像部の連続撮像画像から抽出部によりそれぞれ抽出される抽出結果に基づいて、規定動作認識状態であるか否かについて判定する。これにより、１つの撮像画像から抽出される骨格情報では規定動作認識状態であるかについて正確に判断できないような場合でも、連続画像から抽出される骨格情報の遷移に応じて時系列的に動作を認識できるので、規定動作認識状態であるか否かについてより正確に判断することができる。

請求項３の発明では、作業者の骨格情報は、当該作業者の手指の骨格情報であり、手指の骨格情報は、他の部位の骨格情報と比較して単位作業時に大きく変化しやすいため、単位作業を行ったタイミングをより正確に把握できるので、区切情報の設定精度を向上させることができる。

請求項４の発明では、撮像部の撮像範囲内において規定動作が撮像される可能性のある監視領域に関する情報が、予め取得されて記憶部に記憶される。そして、判定部では、記憶部に記憶される情報に基づいて、抽出部の抽出結果から認識される作業者の動作が規定動作とみなされる状態であって、当該規定動作に対応して記憶部に記憶される情報から特定される監視領域内にて抽出部による抽出が行われている場合に、規定動作認識状態と判定される。

これにより、上記規定動作に似たような動作が撮像される場合でも、その動作が上記監視領域外でなされていれば誤って区切情報が設定されることもないので、区切情報の設定精度を向上させることができる。

請求項５の発明では、単位作業は、所定の部品箱から取り出した部品を被組付部材に組み付ける作業であり、規定動作には、部品箱から部品を取り出す動作と部品を被組付部材の組付予定位置に組み付ける動作とが含まれる。このように、所定の部品箱から取り出した部品を被組付部材に組み付けるような単位作業が繰り返し行われる場合であっても、作業者の骨格情報を利用することで、その作業動画を精度良く区切ることができる。

請求項６の発明では、区切情報設定部は、判定部により規定動作認識状態と判定された際の抽出タイミングであって、撮像部による撮像画像から部品が組付予定位置に組み付けた状態が確認された場合に、撮像部により撮像された作業動画を単位作業ごとに区切るための区切情報を設定する。これにより、部品を組付予定位置に組み付ける規定動作に似たような動作が撮像される場合でも、その組付予定位置に部品が実際に組み付けられていなければ誤って区切情報が設定されることもないので、区切情報の設定精度を向上させることができる。

請求項７の発明によれば、請求項１と同様の効果を奏する作業分析プログラムを実現できる。

第１実施形態に係る作業分析装置の概略構成を示す説明図である。 部品箱を撮像した撮像画像において、各マーカを利用して監視領域が設定された状態を説明する説明図である。 作業分析装置の電気的構成を例示するブロック図である。 図４（Ａ）は、ワークに対して部品が組み付けられる前の状態を各監視領域とともに示す説明図であり、図４（Ｂ）は、ワークに対して部品が組み付けられた後の状態を各監視領域とともに示す説明図である。 予め記憶部に記憶される規定骨格情報のイメージを説明する説明図である。 撮像画像から抽出された骨格情報を例示する説明図であり、図６（Ａ）は、部品に向けて移動させている手指の骨格情報を示し、図６（Ｂ）は、部品を取ろうとしている手指の骨格情報を示し、図６（Ｃ）は、部品を取った手指の骨格情報を示す。 第１実施形態において制御部にてなされる作業分析処理の流れを例示するフローチャートである。 各時刻で骨格情報を入力したＬＳＴＭから出力される出力結果を説明する説明図である。 チャンクごとに骨格情報を入力した所定の動作識別器から出力される出力結果を説明する説明図である。

［第１実施形態］
以下、本発明に係る作業分析装置及び作業分析プログラムを具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る作業分析装置１０は、図１に例示するように、作業台１等に設けられており、作業者Ｍにより複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する装置として構成されている。

組み付け作業が行われる作業台１には、プリント基板などの被組付部材（以下、単に、ワークＷともいう）が搬送されて配置される。この作業台１の棚２には、複数の部品箱３０が作業者Ｍから見て左右に並ぶように配置されており、各部品箱３０には、ワークＷに組み付けるための複数種類の部品２０がそれぞれ個別に貯留されている。本実施形態では、図２からわかるように、棚２上に４つの部品箱３０ａ〜３０ｄが並んで配置され、部品箱３０ａに部品２０ａが収容され、部品箱３０ｂに部品２０ｂが収容され、部品箱３０ｃに部品２０ｃが収容され、部品箱３０ｄに部品２０ｄが収容されている。

本実施形態では、各部品箱３０ａ〜３０ｄの上縁の四隅には、部品箱による部品の収容範囲を撮像画像から認識するためのマーカ３１ａ〜３１ｄが端子箱ごとに異なるように付されている。このため、撮像画像において、各マーカ３１ａを四隅とする範囲が後述する監視領域Ｐ１ａとして設定され、各マーカ３１ｂを四隅とする範囲が後述する監視領域Ｐ１ｂとして設定され、各マーカ３１ｃを四隅とする範囲が後述する監視領域Ｐ１ｃとして設定され、各マーカ３１ｄを四隅とする範囲が後述する監視領域Ｐ１ｄとして設定される。なお、本実施形態では、マーカ３１ａは黒丸状に形成され、マーカ３１ｂは、黒星状に形成され、マーカ３１ｃは、黒い菱形状に形成され、マーカ３１ｄは、アスタリスク形状に形成されているが、これに限らず、撮像画像から部品箱の四隅を認識可能な形状であればよい。また、図２では、後述する撮像部１３により撮像される画像のうち部品箱３０ａ〜３０ｄの近傍を拡大して示している。

作業分析装置１０は、図１及び図３に示すように、制御部１１、記憶部１２、撮像部１３、表示部１４、発光部１５、スピーカ１６、操作部１７、通信部１８などを備えている。制御部１１は、マイコンを主体として構成されて、作業分析装置１０の全体的制御や各種演算を行うものであり、例えば後述する作業分析処理を実行するように機能する。記憶部１２は、ＲＯＭ、ＲＡＭ、ＨＤＤ、不揮発性メモリなどの公知の記憶媒体によって構成されており、作業分析処理を実行するためのアプリケーションプログラム（以下、作業分析プログラムともいう）や所定のデータベース等が、制御部１１により利用可能に予め格納されている。

撮像部１３は、受光センサ（例えば、Ｃ−ＭＯＳエリアセンサ、ＣＣＤエリアセンサ等）を備えたカメラとして構成されている。本実施形態では、撮像部１３は、制御部１１や表示部１４等を備えた装置本体１０ａとは別体として構成されており、作業者Ｍの作業状態に加えて各部品箱３０ａ〜３０ｄ及びワークＷの状態を動画で撮像するように、作業台１の上部に配置されている。本実施形態では、撮像部１３は、例えば、３０フレーム／秒で動画（連続静止画）を撮像し、撮像した動画が制御部１１によって分析可能に記憶部１２に記憶されるように構成されている。

表示部１４は、例えば、液晶ディスプレイであって、制御部１１により制御されて、撮像部１３により撮像された撮像画像や所定の情報等が表示されるように構成されている。この表示部１４の表示画面が作業者Ｍによって視認されるように、装置本体１０ａが作業台１の背板等に取り付けられている。

発光部１５は、例えば、ＬＥＤであって、制御部１１により制御されて、発光色や点灯・点滅状態が制御されるように構成され、作業者Ｍによって視認容易な位置に配置されている。スピーカ１６は、公知のスピーカ等によって構成されており、制御部１１により制御されて、予め設定された音声やアラーム音等の各種通知音を放音するように構成されている。

操作部１７は、入力操作に応じた操作信号を制御部１１に対して出力する構成をなしており、制御部１１は、この操作信号を受けて入力操作に応じた処理を行うようになっている。通信部１８は、上位機器等の外部装置との間でデータ通信を行うための通信インタフェースとして構成されており、制御部１１と協働して通信処理を行うように構成されている。

次に、作業者Ｍにより、所定の作業手順に従って、複数の部品箱に収容された部品を順次ワークＷに組み付ける所定の作業が行われる際に、制御部１１にて実行される作業分析プログラムに基づいてなされる作業分析処理について説明する。

本実施形態では、分析対象の所定の作業として、図４（Ａ）の状態のワークＷに対して４種類の部品２０ａ〜２０ｄを順番に組み付けることで図４（Ｂ）の状態のワークＷとするための単位作業Ａ〜Ｄが採用されている。単位作業Ａは、部品箱３０ａから部品２０ａを取り出して、この部品２０ａをワークＷの組付予定位置Ｗａに組み付ける作業である。また、単位作業Ｂは、部品箱３０ｂから部品２０ｂを取り出して、この部品２０ｂをワークＷの組付予定位置Ｗｂに組み付ける作業である。また、単位作業Ｃは、部品箱３０ｃから部品２０ｃを取り出して、この部品２０ｃをワークＷの組付予定位置Ｗｃに組み付ける作業である。また、単位作業Ｄは、部品箱３０ｄから部品２０ｄを取り出して、この部品２０ｄをワークＷの組付予定位置Ｗｄに組み付ける作業である。本実施形態では、単位作業Ａ、単位作業Ｂ、単位作業Ｃ、単位作業Ｄの順で順次作業がなされるように所定の作業手順が決まっているものとする。

このため、図２及び図４に示すように、単位作業Ａの開始動作（部品箱３０ａから部品２０ａを取り出す動作）を検出するための第１の監視領域として、撮像部１３による撮像範囲のうち各マーカ３１ａを四隅とする範囲（部品箱３０ａに相当する範囲）が監視領域Ｐ１ａとして設定される。また、単位作業Ａの完了動作（部品２０ａをワークＷの組付予定位置Ｗａに組み付ける動作）を検出するための第２の監視領域として、撮像部１３による撮像範囲のうち組付予定位置Ｗａを中心とする範囲が監視領域Ｐ２ａとして設定される。また、単位作業Ｂの開始動作（部品箱３０ｂから部品２０ｂを取り出す動作）を検出するための第１の監視領域として、撮像部１３による撮像範囲のうち各マーカ３１ｂを四隅とする範囲（部品箱３０ｂに相当する範囲）が監視領域Ｐ１ｂとして設定される。また、単位作業Ｂの完了動作（部品２０ｂをワークＷの組付予定位置Ｗｂに組み付ける動作）を検出するための第２の監視領域として、撮像部１３による撮像範囲のうち組付予定位置Ｗｂを中心とする範囲が監視領域Ｐ２ｂとして設定される。また、単位作業Ｃの開始動作（部品箱３０ｃから部品２０ｃを取り出す動作）を検出するための第１の監視領域として、撮像部１３による撮像範囲のうち各マーカ３１ｃを四隅とする範囲（部品箱３０ｃに相当する範囲）が監視領域Ｐ１ｃとして設定される。また、単位作業Ｃの完了動作（部品２０ｃをワークＷの組付予定位置Ｗｃに組み付ける動作）を検出するための第２の監視領域として、撮像部１３による撮像範囲のうち組付予定位置Ｗｃを中心とする範囲が監視領域Ｐ２ｃとして設定される。また、単位作業Ｄの開始動作（部品箱３０ｄから部品２０ｄを取り出す動作）を検出するための第１の監視領域として、撮像部１３による撮像範囲のうち各マーカ３１ｄを四隅とする範囲（部品箱３０ｄに相当する範囲）が監視領域Ｐ１ｄとして設定される。また、単位作業Ｄの完了動作（部品２０ｄをワークＷの組付予定位置Ｗｄに組み付ける動作）を検出するための第２の監視領域として、撮像部１３による撮像範囲のうち組付予定位置Ｗｄを中心とする範囲が監視領域Ｐ２ｄとして設定される。

また、本実施形態における作業分析処理では、撮像部１３による作業動画を構成する各撮像画像から作業を行っている作業者Ｍの手指の骨格情報が抽出されて、この抽出された骨格情報から作業者Ｍの動作が認識（推定）される。そして、この認識された動作が上記単位作業を行うための規定動作（開始動作及び完了動作）とみなされる規定動作認識状態であるか否かについて判定され、規定動作認識状態であると判定された際の抽出タイミングで、上記作業動画を区切るための区切情報が設定される。これにより、実際に単位作業を行ったタイミングを考慮して、作業動画を単位作業ごとに区切ることができる。

このため、本実施形態では、各単位作業Ａ〜Ｄのそれぞれの開始動作及び完了動作を撮像した際に抽出されるべき骨格情報が規定骨格情報として予め記憶部１２に記憶される。そして、例えば、監視領域Ｐ１ａ内にて抽出された骨格情報から認識される動作が、記憶部１２に規定骨格情報が記憶される単位作業Ａの開始動作とみなされる規定動作認識状態であると判定されると、この規定動作認識状態と判定された際の抽出タイミング（上記骨格情報が抽出されたタイミング）で、上記作業動画を区切るための区切情報が設定される。

より具体的には、本実施形態では、同じ監視領域内において抽出された骨格情報と規定骨格情報との一致度が所定値以上となる場合に、上記規定動作認識状態と判定される。例えば、単位作業Ａの開始動作（部品箱３０ａから部品２０ａを取り出す動作）を撮像した際に抽出されるべき規定骨格情報が、図５に示すように予め記憶部１２に記憶されている場合に、図６（Ａ）に示すように、部品箱３０ａの部品２０ａに向けて移動させている手指の骨格情報が抽出されても、規定骨格情報との一致度が上記所定値以上とならないために、規定動作認識状態と判定されることはない。また、その後に、図６（Ｂ）に示すように、部品２０ａを取ろうとしている手指の骨格情報が抽出されても、規定骨格情報との一致度が上記所定値以上とならないために、規定動作認識状態と判定されることはない。その一方で、図６（Ｃ）に示すように、部品２０ａを取った手指の骨格情報が抽出されると、規定骨格情報との一致度が上記所定値以上となるために、規定動作認識状態と判定される。なお、図６では、便宜上、１つの部品２０ａを図示して、他の部品２０ａ及び部品箱３０ａの図示を省略している。

なお、上記規定骨格情報は、例えば、熟練者が各規定動作を繰り返し行う際の作業動画から手指の骨格情報を抽出した抽出結果に基づいて生成することができる。また、各監視領域Ｐ１ａ〜Ｐ１ｄは、上述したように各部品箱３０ａ〜３０ｄの上縁の四隅に付されたマーカ３１ａ〜３１ｄを利用することで、作業分析処理を実施するごとにその都度設定されることに限らず、各部品箱３０ａ〜３０ｄを個々に搖動等させた状態を連続撮像することで生じる画像差分に基づいて設定されてもよい。また、各監視領域Ｐ１ａ〜Ｐ１ｄは、決められた形状の各部品箱３０ａ〜３０ｄが決められた位置に配置されることを前提に、画像解析等を要することなく、規定範囲に設定されてもよい。

以下、制御部１１にてなされる作業分析処理について、図７に示すフローチャートを参照して具体的に詳述する。
操作部１７に対して所定の開始操作がなされることで、制御部１１により作業分析処理が開始されると、図７のステップＳ１０１に示す作業情報読込み処理がなされ、指定された所定の作業に関する作業情報（作業に使用する部品の種類や個数（既定数）やワークＷの種類及び監視領域に関する情報等）が記憶部１２から読み込まれる。なお、上記作業情報は、例えば、その製造ロットに関する作業手順等を記載した作業指示書等に付された情報コードや無線タグを読み取ることでその都度記憶部１２に記憶されてもよいし、操作部１７による入力操作等に応じて記憶部１２に記憶されてもよいし、予め、通信部１８を介して上位機器等から受信することで記憶部１２に記憶されてもよい。

上述のように作業情報が読み込まれると、ステップＳ１０３の監視領域設定処理がなされる。この処理では、撮像部１３により作業者Ｍの作業を作業動画として撮像する撮像処理がなされる状態での撮像画像において、１つの単位作業について、第１の監視領域及び第２の監視領域を設定するための処理がなされる。まず、１番目の単位作業となる単位作業Ａについて、撮像部１３の撮像画像から特定される各マーカ３１ａを四隅とする範囲が監視領域（第１の監視領域）Ｐ１ａとして設定され、撮像部１３による撮像範囲のうち組付予定位置Ｗａを中心とする範囲が監視領域（第２の監視領域）Ｐ２ａとして設定される。

上述のように第１の監視領域及び第２の監視領域が設定されると、ステップＳ１０５に示す判定処理にて、作業者Ｍの手の少なくとも一部が第１の監視領域に入ったか否かについて判定され、作業者Ｍの手が第１の監視領域に入っていない場合には、Ｎｏとの判定が繰り返される。

その後、作業者Ｍの手の少なくとも一部が第１の監視領域に入ると（Ｓ１０５でＹｅｓ）、ステップＳ１０７に示す骨格情報抽出処理がなされて、撮像部１３による撮像画像から上述のように作業者Ｍの手指の骨格情報が抽出される。この骨格情報抽出処理では、撮像部１３による撮像画像のうち上記第１の監視領域のみを対象として抽出処理を行ってもよい。これにより、撮像画像全体に対して抽出処理を行う場合と比較して、処理負荷の軽減や処理時間の短縮が図られることで抽出処理を効率よく行うことができる。なお、上記ステップＳ１０７の抽出処理を行う制御部１１は、「抽出部」の一例に相当し得る。

続いて、ステップＳ１０９の判定処理にて、抽出された骨格情報から認識された動作が上記規定動作とみなされる規定動作認識状態であるか否かについて判定される。ここで、上述した図６（Ａ）（Ｂ）のように、抽出された骨格情報と予め記憶部１２に記憶される規定骨格情報との一致度が上記所定値以上とならないために、規定動作認識状態でないと判定されると（Ｓ１０９でＮｏ）、所定時間後の撮像画像について、上記ステップＳ１０５に示す判定処理がなされる。なお、上記ステップＳ１０９の判定処理を行う制御部１１は、「判定部」の一例に相当し得る。

そして、部品箱３０ａの部品２０ａを取った際に、上述した図６（Ｃ）のように、抽出された骨格情報と予め記憶部１２に記憶される規定骨格情報との一致度が上記所定値以上となることで、規定動作認識状態であると判定される（Ｓ１０９でＹｅｓ）。

続いて、ステップＳ１１１に示す判定処理にて、作業者Ｍの手の少なくとも一部が第２の監視領域に入ったか否かについて判定され、作業者Ｍの手が第２の監視領域に入っていない場合には、Ｎｏとの判定が繰り返される。

その後、部品２０ａを取った作業者Ｍの手の少なくとも一部が第２の監視領域に入ると（Ｓ１１１でＹｅｓ）、ステップＳ１１３に示す骨格情報抽出処理がなされて、撮像部１３による撮像画像から作業者Ｍの手指の骨格情報が抽出される。この骨格情報抽出処理においても、上述したステップＳ１０７に示す骨格情報抽出処理と同様に、撮像部１３による撮像画像のうち上記第２の監視領域のみを対象として抽出処理を行うことで、処理負荷の軽減や処理時間の短縮が図られるため、抽出処理を効率よく行うことができる。なお、上記ステップＳ１１３の抽出処理を行う制御部１１は、「抽出部」の一例に相当し得る。

続いて、ステップＳ１１５の判定処理にて、抽出された骨格情報から認識された動作が規定動作として単位作業Ａの完了動作（部品２０ａをワークＷの組付予定位置Ｗａに組み付ける動作）とみなされる規定動作認識状態であるか否かについて判定される。ここで、抽出された骨格情報と単位作業Ａの完了動作に対応する規定骨格情報との一致度が上記所定値以上とならないために、規定動作認識状態でないと判定されると（Ｓ１１５でＮｏ）、所定時間後の撮像画像について、上記ステップＳ１１１に示す判定処理がなされる。なお、上記ステップＳ１１５の判定処理を行う制御部１１は、「判定部」の一例に相当し得る。

そして、部品２０ａをワークＷの組付予定位置Ｗａに組み付けた際に、抽出された骨格情報と予め記憶部１２に記憶される規定骨格情報との一致度が上記所定値以上となることで、規定動作認識状態であると判定されると（Ｓ１１５でＹｅｓ）。ステップＳ１１７の判定処理にて、組付予定位置に部品が組み付いている部品組み付け完了状態であるか否かについて判定される。ここで、規定動作認識状態であると判定されていても、実際に組付予定位置に部品が組み付いていない場合には、ステップＳ１１７にてＮｏと判定されて、所定時間後の撮像画像について、上記ステップＳ１１１に示す判定処理がなされる。

一方、規定動作認識状態であると判定された後に、実際に組付予定位置に部品が組み付いていることから部品組み付け完了状態であると判定されると（Ｓ１１７でＹｅｓ）、ステップＳ１１９に示す区切情報設定処理がなされる。この処理では、第１の監視領域に関して規定動作認識状態であると判定されたタイミング（開始動作の検出タイミング）と、第２の監視領域に関して規定動作認識状態であると判定されたタイミング（完了動作の検出タイミング）とを基準に、上記作業動画を区切るための区切情報がそれぞれ設定されて、記憶部１２に記憶される。なお、上記ステップＳ１１９の区切情報設定処理を行う制御部１１は、「区切情報設定部」の一例に相当し得る。

上述のように、単位作業Ａの開始動作と完了動作とでそれぞれ区切情報が設定されると、作業が終了していない場合には（Ｓ１２１でＮｏ）、監視対象が次の単位作業である単位作業Ｂに設定されて（Ｓ１２３）、この単位作業Ｂについて、ステップＳ１０３からの処理がなされる。この場合には、ステップＳ１０３にて、単位作業Ｂについて、撮像部１３の撮像画像から特定される各マーカ３１ｂを四隅とする範囲が監視領域（第１の監視領域）Ｐ１ｂとして設定され、撮像部１３による撮像範囲のうち組付予定位置Ｗｂを中心とする範囲が監視領域（第２の監視領域）Ｐ２ｂとして設定される。そして、部品箱３０ｂの部品２０ｂを取った際に、抽出された骨格情報と予め記憶部１２に記憶される規定骨格情報との一致度が上記所定値以上となることで規定動作認識状態であると判定されるとともに（Ｓ１０９でＹｅｓ）、その部品２０ｂをワークＷの組付予定位置Ｗｂに組み付けた際に、抽出された骨格情報と予め記憶部１２に記憶される規定骨格情報との一致度が上記所定値以上となることで規定動作認識状態であると判定される（Ｓ１１５でＹｅｓ）。その後に、部品組み付け完了状態であると判定されると（Ｓ１１７でＹｅｓ）、単位作業Ｂの開始動作と完了動作とでそれぞれ区切情報が設定されて記憶部１２に記憶される（Ｓ１１９）。

その後、同様にして、単位作業Ｃについて、監視領域Ｐ１ｃ，Ｐ２ｃがそれぞれ設定された後、部品箱３０ｃの部品２０ｃを取った際に、抽出された骨格情報と予め記憶部１２に記憶される規定骨格情報との一致度が上記所定値以上となることで規定動作認識状態であると判定されるとともに（Ｓ１０９でＹｅｓ）、その部品２０ｃをワークＷの組付予定位置Ｗｃに組み付けた際に、抽出された骨格情報と予め記憶部１２に記憶される規定骨格情報との一致度が上記所定値以上となることで規定動作認識状態であると判定される（Ｓ１１５でＹｅｓ）。その後に、部品組み付け完了状態であると判定されると（Ｓ１１７でＹｅｓ）、単位作業Ｃの開始動作と完了動作とでそれぞれ区切情報が設定されて記憶部１２に記憶される（Ｓ１１９）。

また、同様にして、単位作業Ｄについて、監視領域Ｐ１ｄ，Ｐ２ｄがそれぞれ設定された後、部品箱３０ｄの部品２０ｄを取った際に、抽出された骨格情報と予め記憶部１２に記憶される規定骨格情報との一致度が上記所定値以上となることで規定動作認識状態であると判定されるとともに（Ｓ１０９でＹｅｓ）、その部品２０ｄをワークＷの組付予定位置Ｗｄに組み付けた際に、抽出された骨格情報と予め記憶部１２に記憶される規定骨格情報との一致度が上記所定値以上となることで規定動作認識状態であると判定される（Ｓ１１５でＹｅｓ）。その後に、部品組み付け完了状態であると判定されると（Ｓ１１７でＹｅｓ）、単位作業Ｄの開始動作と完了動作とでそれぞれ区切情報が設定されて記憶部１２に記憶される（Ｓ１１９）。

このように、所定の作業として４つの単位作業Ａ〜Ｄに関する区切情報が設定された後も、さらに単位作業Ａ〜Ｄが繰り返しなされることで、順次、単位作業ごとに区切情報が設定されることとなる。このように、多数の単位作業について区切情報が設定されるので、区切情報を利用して区切った作業動画を分析等することで、作業の手順チェックやサイクル時間の計測等の作業を支援するためのデータを生成することができる。また、正しい作業が行われているか否かを判定するための判定用データ（アノテーションデータ）を自動で生成することができる。

以上説明したように、本実施形態に係る作業分析装置１０では、撮像部１３の撮像画像から作業者Ｍの骨格情報が抽出され、単位作業を行うための規定動作を行った際に撮像部１３の撮像画像から抽出されるべき骨格情報に関する情報が単位作業ごとに予め記憶部１２に記憶される。そして、記憶部１２に記憶される情報に基づいて、上記抽出結果から認識される作業者Ｍの動作が規定動作とみなされる規定動作認識状態であると判定されると、この規定動作認識状態と判定された際の抽出タイミングに応じて、撮像部１３により撮像された作業動画を単位作業ごとに区切るための区切情報が設定される。

これにより、作業者Ｍの骨格情報を利用して上記規定動作がなされているか判定できるので、単に手が監視領域（Ｐ１ａ〜Ｐ１ｄ，Ｐ２ａ〜Ｐ２ｄ）に出入りするタイミングだけで作業動画を区切る場合と比較して、実際に単位作業を行ったタイミングを考慮できるので、精度良く作業動画を区切ることができる。

特に、作業者Ｍの骨格情報は、当該作業者Ｍの手指の骨格情報であり、手指の骨格情報は、他の部位の骨格情報と比較して単位作業時に大きく変化しやすいため、単位作業を行ったタイミングをより正確に把握できるので、区切情報の設定精度を向上させることができる。

さらに、本実施形態では、撮像部１３の撮像範囲内において規定動作が撮像される可能性のある監視領域Ｐ１ａ〜Ｐ１ｄ，Ｐ２ａ〜Ｐ２ｄに関する情報が、予め取得されて記憶部１２に記憶される。そして、ステップＳ１０９の判定処理やステップＳ１１５の判定処理では、記憶部１２に記憶される情報に基づいて、抽出結果から認識される作業者Ｍの動作が規定動作とみなされる状態であって、当該規定動作に対応して記憶部１２に記憶される情報から特定される監視領域域（Ｐ１ａ〜Ｐ１ｄ，Ｐ２ａ〜Ｐ２ｄ）内にて抽出が行われている場合に、規定動作認識状態と判定される。

これにより、上記規定動作に似たような動作が撮像される場合でも、その動作が上記監視領域外でなされていれば誤って区切情報が設定されることもないので、区切情報の設定精度を向上させることができる。

また、本実施形態では、単位作業は、所定の部品箱（３０ａ〜３０ｄ）から取り出した部品（２０ａ〜２０ｄ）を被組付部材となるワークＷに組み付ける作業であり、規定動作には、部品箱から部品を取り出す開始動作と部品を被組付部材の組付予定位置に組み付ける完了動作とが含まれる。このように、所定の部品箱から取り出した部品を被組付部材に組み付けるような単位作業が繰り返し行われる場合であっても、作業者Ｍの骨格情報を利用することで、その作業動画を精度良く区切ることができる。

さらに、規定動作認識状態と判定された際の抽出タイミングであって、撮像部１３による撮像画像から部品が組付予定位置に組み付けた状態が確認された場合に（Ｓ１１７でＹｅｓ）、撮像部１３により撮像された作業動画を単位作業ごとに区切るための区切情報が設定される（Ｓ１１９）。これにより、部品を組付予定位置に組み付ける規定動作に似たような動作が撮像される場合でも、その組付予定位置に部品が実際に組み付けられていなければ誤って区切情報が設定されることもないので、区切情報の設定精度を向上させることができる。

［第２実施形態］
次に、第２実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第２実施形態では、制御部１１によりなされる作業分析処理において、撮像部１３の連続撮像画像からそれぞれ抽出される抽出結果に基づいて、規定動作認識状態であるか否かについて判定する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

上記第１実施形態では、１つの撮像画像単位で抽出された骨格情報と記憶部１２の規定骨格情報との一致度をみるため、撮像タイミングや部品及び被組付部材の種別、組付位置、撮像部１３と作業者Ｍとの位置関係等によっては、１つの撮像画像から骨格情報を正確に抽出できない場合がある。また、例えば、部品を取りに行く際の動作と取った部品を組み付けに行く際の動作とは、骨格の空間的な配置という側面から見ると酷似しているために、正確な判定が困難になる場合がある。

そこで、本実施形態における作業分析処理では、時系列的に動作を認識することで判定精度を高めるため、撮像部１３の連続撮像画像からそれぞれ抽出される抽出結果と上記規定動作に関して所定の骨格動作パターンを学習するための機械学習モデルとに基づいて、規定動作認識状態であるか否かについて判定する。具体的には、機械学習の一手法として、入力データに加えて前時刻までのモデルの内部状態を保持し時系列的な情報処理を可能とするＬＳＴＭ（Long short-term memory）を採用する。そして、記憶部１２に構築されるＬＳＴＭに対して各時刻で骨格情報（骨格の空間位置データ）を入力することで、そのＬＳＴＭから各時刻で前時刻までの骨格情報を内部状態によって考慮した出力が所定の骨格動作パターンとして得られ、この出力結果を利用して、規定動作認識状態であるか否かについて判定する。

図８は、各時刻で骨格情報を入力したＬＳＴＭから出力される出力結果を説明する説明図であり、部品を取る前の手指の骨格情報に対応する図８（Ａ）から部品を取った際の手指の骨格情報に対応する図８（Ｇ）まで所定時間単位で順にずらした際のそれぞれの出力結果を示している。

例えば、上記ステップＳ１０７の処理にて、図８（Ａ）に例示するような骨格情報が抽出されると、ステップＳ１０９の判定処理にて、抽出された骨格情報と前時刻までの骨格情報とをＬＳＴＭに入力することでそのＬＳＴＭから得られる出力値に基づいて、規定動作認識状態であるか否かについて判定される。

本実施形態では、ＬＳＴＭから得られる出力値として、抽出対象となる単位作業に関する開始動作及び完了動作とそれ以外の動作（無動作）との３つに関する動作識別結果の確率が出力される。このため、上記ステップＳ１０９の判定処理では、ＬＳＴＭからの出力値が開始動作に関する規定値以上であるか否かに基づいて、規定動作認識状態であるか否かについて判定される。

図８（Ａ）に例示するような骨格情報が抽出されている場合には、開始動作の確率が低いために、規定動作認識状態でないと判定される（Ｓ１０９でＮｏ）。また、図８（Ｂ）〜（Ｆ）に例示するような骨格情報が抽出されている場合には、開始動作の確率が徐々に高くなるが上記規定値以上とならないために、規定動作認識状態でないと判定される（Ｓ１０９でＮｏ）。そして、図８（Ｇ）に例示するような骨格情報が抽出されている場合には、開始動作の確率が上記規定値以上となることで、図８（Ｇ）の骨格情報を抽出した抽出タイミングにて、規定動作認識状態であると判定される（Ｓ１０９でＹｅｓ）。

同様に、上記ステップＳ１１５の判定処理では、ＬＳＴＭからの出力値が完了動作に関する規定値以上となった抽出タイミングで、規定動作認識状態であると判定される。

このように、本実施形態の作業分析処理におけるステップＳ１０９，Ｓ１１５の判定処理では、撮像部１３の連続撮像画像からそれぞれ抽出される抽出結果に基づいて、規定動作認識状態であるか否かについて判定される。これにより、１つの撮像画像から抽出される骨格情報では規定動作認識状態であるかについて正確に判断できないような場合でも、連続画像から抽出される骨格情報の遷移に応じて時系列的に動作を認識できるので、規定動作認識状態であるか否かについてより正確に判断することができる。

なお、連続撮像画像を利用する作業分析処理では、ＬＳＴＭを用いて規定動作認識状態であるか否かについて判定することに限らず、他の機械学習の手法を用いて規定動作認識状態であるか否かについて判定してもよい。具体的には、例えば、図９に例示するように、各時刻で得られた骨格情報（骨格の空間位置データ）を連続した複数時刻分でひとまとめのチャンクとして取り扱い、チャンクごとに所定の動作識別器（機械学習モデル）に入力することで得た出力値に基づいて、規定動作認識状態であるか否かについて判定する。その際、各時刻で得られた骨格情報を時刻単位で順にずらしていき都度チャンクを生成して上記機械学習モデルに入力することで、空間的かつ時間的な遷移を考慮した動作認識が可能となる。

図９の例では、時間ｔ１として１番目から５番目までの骨格情報をまとめたチャンクを上記動作識別器に入力した場合には、動作識別器から出力される開始動作の確率が低いために、規定動作認識状態でないと判定される（Ｓ１０９でＮｏ）。また、時間ｔ２として２番目から６番目までの骨格情報をまとめたチャンクを上記動作識別器に入力した場合でも、動作識別器から出力される開始動作の確率が低いために、規定動作認識状態でないと判定される（Ｓ１０９でＮｏ）。そして、時間ｔ３として３番目から７番目までの骨格情報をまとめたチャンクを上記動作識別器に入力した場合に、動作識別器から出力される開始動作の確率が上記規定値以上となることで、規定動作認識状態であると判定される（Ｓ１０９でＹｅｓ）。

同様に、上記ステップＳ１１５の判定処理では、骨格情報をまとめたチャンクを入力した上記動作識別器からの出力値が完了動作に関する規定値以上となった抽出タイミングで、規定動作認識状態であると判定される。

なお、本発明は上記各実施形態及び変形例等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）上記作業分析処理において、抽出対象となる作業者Ｍの骨格情報は、当該作業者Ｍの手指の骨格情報であることに限らず、作業者Ｍの他の部位の骨格情報、例えば、腕まで含めた骨格情報であってもよいし、両手の骨格情報であってもよい。

（２）上記作業分析処理では、第１の監視領域とすべき場所が変化しやすいような場合等には、上記ステップＳ１０５の判定処理を省略することで、第１の監視領域を考慮することなく、上記ステップＳ１０９の判定処理にて規定動作認識状態であるか否かについて判定してもよい。また、第２の監視領域とすべき場所が変化しやすいような場合等には、上記ステップＳ１１１の判定処理を省略することで、第２の監視領域を考慮することなく、上記ステップＳ１１５の判定処理にて規定動作認識状態であるか否かについて判定してもよい。

（３）作業分析処理は、撮像部１３により撮像される作業動画に対してリアルタイムで行われてもよいし、所定の作業が終了した後で行われてもよい。

（４）本発明における分析対象の所定の作業として、４つの単位作業Ａ〜Ｄからなる組み付け作業が採用されることに限らず、例えば、１つ〜３つの単位作業からなる組み付け作業が採用されてもよいし、５つ以上の単位作業からなる組み付け作業が採用されてもよい。

（５）監視対象となる単位作業は、部品箱から取り出した部品をプリント基板等のワークＷに対して組み付ける作業であることに限らず、例えば、多品種少量生産品の組み付けラインにおいて半完成品に対して部品を組み付ける作業であってもよい。また、監視対象となる単位作業は、例えば、被組付部材から部品を変形させたり取り外したりするような作業であってもよい。

１０…作業分析装置
１１…制御部（抽出部，判定部，区切情報設定部）
１２…記憶部
１３…撮像部
２０，２０ａ〜２０ｄ…部品
３０，３０ａ〜３０ｄ…部品箱
３１ａ〜３１ｄ…マーカ
Ｐ１ａ〜Ｐ１ｄ，Ｐ２ａ〜Ｐ２ｄ…監視領域
Ｗ…ワーク（被組付部材）
Ｗａ〜Ｗｄ…組付予定位置

Claims (7)

1. 複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する作業分析装置であって、
   作業者により繰り返しなされる前記所定の作業を撮像する撮像部と、
   前記撮像部の撮像画像から前記作業者の骨格情報を抽出可能な抽出部と、
   前記単位作業を行うための規定動作を行った際に前記撮像部の撮像画像から前記抽出部により抽出されるべき骨格情報に関する情報又は学習される所定の骨格動作パターンが前記単位作業ごとに予め記憶される記憶部と、
   前記記憶部に記憶される情報に基づいて、前記抽出部の抽出結果から認識される前記作業者の動作が前記規定動作とみなされる規定動作認識状態であるか否かについて判定する判定部と、
   前記判定部により前記規定動作認識状態と判定された際の抽出タイミングに応じて、前記撮像部により撮像された作業動画を前記単位作業ごとに区切るための区切情報を設定する区切情報設定部と、
   を備えることを特徴とする作業分析装置。
2. 前記判定部は、前記撮像部の連続撮像画像から前記抽出部によりそれぞれ抽出される抽出結果に基づいて、前記規定動作認識状態であるか否かについて判定することを特徴とする請求項１に記載の作業分析装置。
3. 前記作業者の骨格情報は、当該作業者の手指の骨格情報であることを特徴とする請求項１又は２に記載の作業分析装置。
4. 前記撮像部の撮像範囲内において前記規定動作が撮像される可能性のある監視領域に関する情報が、予め取得されて前記記憶部に記憶され、
   前記判定部は、前記記憶部に記憶される情報に基づいて、前記抽出部の抽出結果から認識される前記作業者の動作が前記規定動作とみなされる状態であって、当該規定動作に対応して前記記憶部に記憶される情報から特定される前記監視領域内にて前記抽出部による抽出が行われている場合に、前記規定動作認識状態と判定することを特徴とする請求項１〜３のいずれか一項に記載の作業分析装置。
5. 前記単位作業は、所定の部品箱から取り出した部品を被組付部材に組み付ける作業であり、
   前記規定動作には、前記部品箱から前記部品を取り出す動作と前記部品を前記被組付部材の組付予定位置に組み付ける動作とが含まれることを特徴とする請求項１〜４のいずれか一項に記載の作業分析装置。
6. 前記区切情報設定部は、前記判定部により前記規定動作認識状態と判定された際の抽出タイミングであって、前記撮像部による撮像画像から前記部品が前記組付予定位置に組み付けた状態が確認された場合に、前記撮像部により撮像された作業動画を前記単位作業ごとに区切るための区切情報を設定することを特徴とする請求項５に記載の作業分析装置。
7. 複数の単位作業が所定の順番で行われる所定の作業を繰り返し撮像して作業分析用の作業動画を生成する作業分析装置の制御部に、
   作業者により繰り返しなされる前記所定の作業を撮像部を利用して撮像する撮像処理と、
   前記撮像部の撮像画像から前記作業者の骨格情報を抽出する抽出処理と、
   記憶部に記憶される情報に基づいて、前記抽出処理の抽出結果から認識される前記作業者の動作が前記単位作業を行うための規定動作とみなされる規定動作認識状態であるか否かについて判定する判定処理と、
   前記判定処理により前記規定動作認識状態と判定された際の抽出タイミングに応じて、前記撮像部により撮像された作業動画を前記単位作業ごとに区切るための区切情報を設定する区切情報設定処理と、
   を実行させ、
   前記規定動作を行った際に前記撮像部の撮像画像から前記抽出処理により抽出されるべき骨格情報に関する情報が前記単位作業ごとに予め前記記憶部に記憶されていることを特徴とする作業分析プログラム。

Images