JP2021002136A - 作業支援装置、作業支援方法、および作業支援プログラム - Google Patents

Abstract

【課題】作業者がおこなう作業の識別精度の向上を図る作業支援装置、作業支援方法および作業支援プログラムを提供する。【解決手段】作業支援システム１において、作業支援装置１００は、工程ごとに作業順序を示す情報と、工程内の作業ごとに作業者１２０の作業領域を示す情報と、を記憶している。プロセッサは、作業順序を示す情報に基づいて、作業者１２０がすべき対象作業を特定する特定処理と、作業領域を示す情報に基づいて、特定処理によって特定された対象作業を作業者１２０が作業すべき対象領域を選定する選定処理と、選定処理によって選定された領域を撮像するカメラからの撮像データに基づいて、作業者１２０がおこなっている作業を識別する識別処理と、識別処理による識別結果に基づいて、作業者１２０が作業順序を逸脱しているか否かを判定する判定処理と、判定処理による判定結果を出力する出力処理と、を実行する。【選択図】図１

Description

本発明は、作業者がおこなう作業を支援する作業支援装置、作業支援方法、および作業支援プログラムに関する。

特許文献１は、作業者が作業の進捗を登録することなく、進捗を把握、管理する作業管理装置を開示する。この作業管理装置は、作業者の動作を検知するセンサと、前記センサが検知した前記動作の特徴量を抽出する特徴量抽出部と、前記動作の特徴量と作業と当該作業の標準時間とを対応づけたデータベースと、前記データベースを参照し前記特徴量抽出部が抽出した前記動作の特徴量に基づき前記作業者が行っている作業を識別する作業識別部と、前記作業識別部が識別した前記作業と前記データベースに登録されている前記標準時間とに応じて作業の進捗を推定する作業進捗推定部と、を備える。

特許文献２は、行われる作業工程に対応した作業指示書等の資料を出力する作業指示システムを開示する。この作業指示システムは、被写体を撮像する画像処理装置と前記画像処理装置に接続される出力装置とを有し、前記被写体を撮像して画像データを生成し、前記被写体に対して行われる作業工程に対応する判別データを取得し、前記作業工程を示す資料データを入力し、前記画像データ及び前記判別データに基づいて、前記被写体が、前記判別データが示す状態又は物体を含むかを判別し、前記判別によって特定される前記作業工程に対応する資料データを出力する。

特開２０１８‐１６３５５６号公報 特開２０１６‐２２１６７１号公報

しかしながら、特許文献１の作業管理装置の場合、作業者が異なる場合の作業者ごとの骨格の変化（特徴量の違い）や同一作業者でも日による腕の動き方の違い（動作特徴量のばらつき）により、作業者の動作の識別精度が悪化するという問題がある。

また、特許文献２の作業指示システムは、たとえば、ネジの増し締めなど、被写体の状態が変わらない人で作業を判別することができず、作業者の動作の識別精度が悪化するという問題がある。

このように、特許文献１および特許文献２は、単純に作業台全体や作業者全体をカメラで撮像し画像認識で識別するのみでは、特長量の個人差や作業日ごとに差により人作業識別の精度が低下する。

本発明は、上述した従来技術の問題点を解消するため、作業者がおこなう作業の識別精度の向上を図ることを目的とする。

本願において開示される発明の一側面となる作業支援装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する作業支援装置であって、前記記憶デバイスまたは前記作業支援装置がアクセス可能な他の記憶デバイスは、工程ごとに作業順序を示す情報と、前記工程内の作業ごとに作業者の作業領域を示す情報と、を記憶しており、前記プロセッサは、前記作業順序を示す情報に基づいて、作業者がすべき対象作業を特定する特定処理と、前記作業領域を示す情報に基づいて、前記特定処理によって特定された対象作業を前記作業者が作業すべき対象領域を選定する選定処理と、前記選定処理によって選定された領域を撮像するカメラからの撮像データに基づいて、前記作業者がおこなっている作業を識別する識別処理と、前記識別処理による識別結果に基づいて、作業者が作業順序を逸脱しているか否かを判定する判定処理と、前記判定処理による判定結果を出力する出力処理と、を実行することを特徴とする。

本発明の代表的な実施の形態によれば、作業者がおこなう作業の識別精度の向上を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

図１は、作業支援システムのシステム構成例を示す説明図である。 図２は、作業支援装置のハードウェア構成例を示すブロック図である。 図３は、作業対象ＤＢの記憶内容例を示す説明図である。 図４は、作業シーケンスＤＢの記憶内容例を示す説明図である。 図５は、作業エリアＤＢの記憶内容例を示す説明図である。 図６は、工程管理ＤＢの記憶内容例を示す説明図である。 図７は、工程管理ＤＢの更新状態を示す説明図である。 図８は、工程Ｐｉの作業Ｓ１の作業開始時の状態を示す説明図である。 図９は、工程Ｐｉの作業Ｓ１の作業完了時の状態を示す説明図である。 図１０は、工程Ｐｉの作業Ｓ２を示す説明図である。 図１１は、工程Ｐｉの作業Ｓ３の作業中の状態を示す説明図である。 図１２は、工程Ｐｉの作業Ｓ３の作業完了時の状態を示す説明図である。 図１３は、工程Ｐｉの作業エリアＡ３−１内での作業Ｓ３の既定順番を示す説明図である。 図１４は、工程Ｐｉの作業順序を表示する出力画面例を示す説明図である。 図１５は、作業者が入力デバイスで第３項目を選択した場合に表示される出力画面例を示す説明図である。 図１６は、進捗作業検知を示す出力画面例を示す説明図である。 図１７は、逸脱作業検知を示す出力画面例を示す説明図である。 図１８は、作業支援装置の機能的構成例を示すブロック図である。 図１９は、作業支援装置による作業支援処理手順例を示すフローチャートである。

＜作業支援システムの構成例＞
図１は、作業支援システムのシステム構成例を示す説明図である。作業支援システム１は、作業支援装置１００と、カメラ１０１と、ドライバカウンタ１０２と、電動ドライバ１０３と、読取装置１０４と、キーボード１０５と、ディスプレイ１０６と、を有する。

作業支援装置１００は、作業者１２０がおこなう作業を支援するコンピュータである。作業支援装置１００は、作業棚１０８に載置される。カメラ１０１は、作業支援装置１００に接続され、作業台１０７を撮像し、撮像した撮像データを作業支援装置１００に出力する。ドライバカウンタ１０２は、作業支援装置１００に接続され、電動ドライバ１０３ごとの使用回数を計数し、計数結果を作業支援装置１００に出力する。電動ドライバ１０３は、電動でネジを締緩する電動工具である。

電動ドライバ１０３は、ドライバカウンタ１０２に接続され、スクリューを回転させたときの回転方向を示す信号をドライバカウンタ１０２に出力する。これにより、ドライバカウンタ１０２は、電動ドライバ１０３ごとに、締め付けた回数と緩めた回数とを計数することができる。なお、作業支援システム１は、ドライバカウンタ１０２および電動ドライバ１０３を有することとしたが、非電動のドライバでもよい。

読取装置１０４は、作業支援装置１００に接続され、作業対象の一つである筐体１１０に貼付されたコードを読み取り、コードに織り込まれた数字列を作業支援装置１００に出力する。読取装置１０４は、バーコードを読み取るバーコードリーダでもよく二次元コードを読み取る二次元コードリーダでもよい。キーボード１０５は、作業支援装置１００に接続され、作業者１２０が作業支援装置１００に文字を入力したり、項目を選択したりするためのデバイスである。キーボード１０５の替わりにタッチパネルでもよい。ディスプレイ１０６は、作業支援装置１００に接続され、作業支援装置１００からのデータに基づく画面を表示する。

作業者１２０は、カメラ１０１により撮像されている状況下で、作業台１０７に筐体１１０を載置して、電動ドライバ１０３や読取装置１０４を用いながら作業をおこなう。本実施例では、作業対象としてサーバの組み立て作業を例に挙げて説明する。

＜作業支援装置１００のハードウェア構成例＞
図２は、作業支援装置１００のハードウェア構成例を示すブロック図である。作業支援装置１００は、プロセッサ２０１と、記憶デバイス２０２と、入力デバイス２０３と、出力デバイス２０４と、通信インターフェース（通信ＩＦ）２０５と、を有する。プロセッサ２０１、記憶デバイス２０２、入力デバイス２０３、出力デバイス２０４、および通信ＩＦ２０５は、バス２０６により接続される。プロセッサ２０１は、作業支援装置１００を制御する。記憶デバイス２０２は、プロセッサ２０１の作業エリアとなる。また、記憶デバイス２０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス２０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス２０３は、データを入力する。入力デバイス２０３としては、たとえば、キーボード１０５、マウス、タッチパネル、テンキー、スキャナ、カメラ１０１、ドライバカウンタ１０２、読取装置１０４がある。出力デバイス２０４は、データを出力する。出力デバイス２０４としては、たとえば、ディスプレイ１０６、プリンタがある。通信ＩＦ２０５は、ネットワークと接続し、データを送受信する。

＜データベース＞
つぎに、作業支援装置１００が有する作業対象ＤＢ、作業シーケンスＤＢ、作業エリアＤＢ、工程管理ＤＢについて説明する。なお、これらデータベースのうち少なくとも１つは、作業支援装置１００内ではなく、作業支援装置１００がアクセス可能な他のコンピュータに記憶されもよい。

図３は、作業対象ＤＢ３００の記憶内容例を示す説明図である。作業対象ＤＢ３００は、工具に関する情報を記憶するデータベースである。作業対象ＤＢ３００は、フィールドとして、作業対象ＩＤ３０１と、作業対象名称３０２と、画像データ３０３と、を有する。同一行の各フィールドの値が１つの工具のエントリを構成する。

作業対象ＩＤ３０１は、作業対象を一意に特定する識別情報である。作業対象とは、作業者１２０が作業するＣＰＵソケットやその構成部品などの物品のほか、作業者１２０が作業に用いる工具も含む。工具は、たとえば、上述した電動ドライバ１０３や読取装置１０４である。作業対象名称３０２は、作業対象ＩＤ３０１で特定された作業対象の名称である。画像データ３０３は、作業対象ＩＤ３０１で特定された作業対象の画像データである。画像データ３０３は、正面図、側面図など、異なる方向から撮像された複数の画像データでもよい。また、画像データ３０３は、３次元モデルでもよい。

図４は、作業シーケンスＤＢ４００の記憶内容例を示す説明図である。作業シーケンスＤＢ４００は、作業者１２０がおこなう工程ごとに作業順序を示す情報を記憶するデータベースである。作業シーケンスＤＢ４００は、一連の作業工程（以下、単に、工程）Ｐ１、Ｐ２、…、Ｐｉ、…、Ｐｎ（ｎは１以上の整数。ｉは１≦ｉ≦ｎ。）を記憶する。作業者１２０は、工程Ｐ１、Ｐ２、…、Ｐｉ、…、Ｐｎの順に作業しなければならない。

工程Ｐｉは、たとえば、ＣＰＵソケットを基板（マザーボード）に取り付ける一連の作業を示す。工程Ｐｉは、保護カバー取り外し（Ｓ１）、ＣＰＵソケットカバーを基板にセット（Ｓ２）、既定順番でネジを締結（Ｓ３）という作業順序を示す組図情報を含む。工程Ｐｉは、保護カバー取り外し（Ｓ１）、ソケットカバーを基板にセット（Ｓ２）、既定順番でネジを締結（Ｓ３）という作業順序で、ＣＰＵソケットを基板（マザーボード）に取り付ける工程である。

保護カバー取り外し（Ｓ１）は、たとえば、２個の保護カバーおよびソケットカバー（以降、カバー部材群）から保護カバーを取り外し、ソケットカバーを抜き出す作業である。ソケットカバーを基板にセット（Ｓ２）は、作業Ｓ１で抜き出された２個のソケットカバーをそれぞれ基板上の実装位置に装着する作業である。実装位置には、すでにＣＰＵソケットピンが取り付けられている。既定順番でネジを締結（Ｓ３）は、実装位置に装着されたＣＰＵソケットピンの各々についてソケットカバーを既定順番でネジ止めして、ＣＰＵソケットピンを基板に固定する作業である。

図５は、作業エリアＤＢ５００の記憶内容例を示す説明図である。作業エリアＤＢ５００は、工程Ｐｉ内の作業ごとに作業者１２０が作業すべき領域である作業エリアに関する情報を記憶するデータベースである。作業エリアＤＢ５００は、工程Ｐ１、Ｐ２、…、Ｐｉ、…、Ｐｎごとに作業エリアを記憶する。作業者１２０は、工程Ｐ１、Ｐ２、…、Ｐｉ、…、Ｐｎごとに、作業エリア内で作業しなければならない。

工程Ｐｉの各作業Ｓ１〜Ｓ３に対応する作業エリアＡ１〜Ａ３を例に挙げて説明する。作業エリアＡｊ（ｊは数字）は、作業Ｓｊで作業すべき領域である。作業エリアＡ１〜Ａ３は、作業台１０７の平面座標５０１上の座標位置により特定される。作業エリアＡ１は、作業者１２０がカバー部材群（ソケットカバーおよび保護カバー）から保護カバーを取り外す作業Ｓ１をおこなう領域である。

作業エリアＡ２は、作業者１２０が２個のソケットカバーをそれぞれ基板にセットする作業Ｓ２をおこなう領域である。作業エリアＡ３は、作業者１２０がＣＰＵソケットピンの各々に、ソケットカバーを基板にねじ止めする作業Ｓ３をおこなう領域である。なお、作業エリアＡ３は、作業エリアＡ３−１，Ａ３−２を含む。作業エリアＡ３−１は、１つ目のＣＰＵソケットピンに、ソケットカバーを基板にねじ止めする作業であり、作業エリアＡ３−２は、２つ目のＣＰＵソケットピンに、ソケットカバーを基板にねじ止めする作業である。

図６は、工程管理ＤＢ６００の記憶内容例を示す説明図である。工程管理ＤＢ６００は、工程Ｐ１、Ｐ２、…、Ｐｉ、…、Ｐｎを管理するデータベースである。工程管理ＤＢ６００は、フィールドとして、工程ＩＤ６０１と、工程名称６０２と、開始時刻６０３と、完了時刻６０４と、作業ＩＤ６０５と、逸脱６０６と、を有する。同一行の各フィールドの値が１つの工程Ｐｉのエントリを構成する。

工程ＩＤ６０１は、工程Ｐｉを一意に特定する識別情報である。工程名称６０２は、工程ＩＤ６０１で特定された工程Ｐｉの名称である。開始時刻６０３は、工程ＩＤ６０１で特定された工程Ｐｉが開始された時刻である。工程Ｐｉの開始前では、開始時刻６０３は記録されていない。完了時刻６０４は、工程ＩＤ６０１で特定された工程Ｐｉが完了した時刻である。工程Ｐｉの完了前では、完了時刻６０４は記録されていない。作業ＩＤ６０５は、工程ＩＤ６０１で特定された工程Ｐｉの現在作業中の作業Ｓｊを一意に特定する識別情報である。

逸脱６０６は、作業ＩＤ６０５で特定される作業Ｓｊが作業順序を逸脱したか否かを示す情報である。「Ｙｅｓ」であれば作業順序が逸脱されたことを示し、「Ｎｏ」であれば作業順序が進捗したことを示す。なお、作業順序の逸脱とは、たとえば、作業者１２０が作業Ｓ２を実行すべきであるにもかかわらず、作業Ｓ２を飛ばして作業Ｓ３を実行したりする作業Ｓｊ間の作業順序の間違いや、作業Ｓ３内でネジを締結する順序の間違いのように一作業Ｓｊ内で定められた作業順序の間違いがある。

図７は、工程管理ＤＢ６００の更新状態を示す説明図である。工程Ｐ１、Ｐ２は既に完了しているため、開始時刻６０３および完了時刻６０４が記録されている。また、作業ＩＤ６０５には、工程Ｐ１、Ｐ２各々の最終作業の作業ＩＤ６０５としてＳ２、Ｓ４が記録されている。また、正常に工程Ｐ１、Ｐ２が完了しているため、作業ＩＤ６０５で特定される最終作業Ｓ２、Ｓ４は作業順序を逸脱しておらず、逸脱６０６には「Ｎｏ」が記録される。

工程Ｐｉが現在作業中の作業工程である。開始時刻６０３の「１４：３５」は、工程Ｐｉ（すなわち作業Ｓ１）が開始された時刻である。工程Ｐｉはまだ完了していないため、完了時刻６０４は記録されていない。作業ＩＤ６０５には「Ｓ３」が記録されており、現在作業中の作業は作業Ｓ３であることが分かる。逸脱６０６には「Ｙｅｓ」が記録されており、作業Ｓ３で作業順序の逸脱があったことが分かる。

＜工程Ｐｉの作業順序例＞
つぎに、図８〜図１４を用いて、作業者１２０がおこなう工程Ｐｉの作業順序例について説明する。

図８は、工程Ｐｉの作業Ｓ１の作業開始時の状態を示す説明図である。作業台１０７には、筐体１１０が載置されており、筐体１１０内には基板８００が取り付けられている。基板８００には、ＣＰＵソケットピン９０１，９０２が実装位置８０１、８０２に取り付けられている。実装位置８０１の四隅にはネジ穴８１０ａ〜８１０ｄが形成され、実装位置８０２の四隅にはネジ穴８２０ａ〜８２０ｄが形成されている。作業エリアＡ１は、筐体１１０の右側であり、２つのカバー部材群８１１，８２１が載置されている。

カバー部材群８１１，８２１はそれぞれ、ソケットカバー８１２，８２２と、保護カバー８１３，８２３と、を有する。ソケットカバー８１２，８２２は、基板８００に装着されたＣＰＵソケットピン９０１，９０２に（図示されない）次の工程で装着されるＣＰＵ部品を基板８００に固定する金属部材である。保護カバー８１３，８２３は、ソケットカバー８１２，８２２の損傷を防ぐための樹脂製のカバーである。

作業支援装置１００は、カメラ１０１からの撮像データで作業エリアＡ１内の被写体として２個のカバー部材群８１１，８２１を検出した場合、工程Ｐｉの作業Ｓ１が開始されたと判断して、工程管理ＤＢ６００の工程Ｐｉのエントリに開始時刻６０３に当該検出時刻を記録する。

図９は、工程Ｐｉの作業Ｓ１の作業完了時の状態を示す説明図である。カバー部材群８１１、８２１から保護カバー８１３，８２３が外されると、ソケットカバー８１２，８２２が取り出される。この状態になれば、工程Ｐｉの作業は、作業Ｓ１から作業Ｓ２に進捗する。

なお、作業Ｓ１の逸脱は、図８および図９の保護カバー取り外し前後の画像データを比較するだけではない。作業支援装置１００は、カメラ１０１で撮像された保護カバー取り外し中の作業者１２０の手の動きや取り外された部品の有無など一連の作業動作を考慮して、作業Ｓ１の逸脱を判定する。

図１０は、工程Ｐｉの作業Ｓ２を示す説明図である。作業者１２０は、作業Ｓ１で取り出されたソケットカバー８１２，８２２を作業エリアＡ２内の実装位置８０１，８０２にそれぞれ取り付ける。具体的には、たとえば、作業者１２０は、電動ドライバ１０３を用いてソケットカバー８１２，８２２からそれぞれ、４つのネジ１１０１ａ〜１１０１ｄ、１１０２ａ〜１１０２ｄを取り外し、ＣＰＵソケットピン９０１，９０２を覆うように実装位置８０１，８０２上に載置する。これにより、工程Ｐｉの作業は、作業Ｓ２から作業Ｓ３に進捗する。

図１１は、工程Ｐｉの作業Ｓ３の作業中の状態を示す説明図である。図１１では、ソケットカバー８１２が作業エリアＡ３−１において基板８００に取り付けられＣＰＵソケットピン９０１が基板８００に固定され、かつ、作業エリアＡ３−２においてソケットカバー８２２がまだ取り付けられていない状態を示す。ソケットカバー８１２は、４つのネジ１１０１ａ〜１１０１ｄがソケットカバー８１２の穴（不図示）と連通する基板８００のネジ穴８１０ａ〜８１０ｄに螺合することで締結される。

４つのネジ１１０１ａ〜１１０１ｄの締結には既定順番があり、既定順番通りに締結されなかった場合、作業支援装置１００は、作業Ｓ３が作業順序を逸脱したと判定する。この場合、作業支援装置１００は、工程管理ＤＢ６００の工程Ｐｉのエントリの逸脱に「Ｙｅｓ」を記録する。作業者１２０は逸脱前の状態に戻す必要がある。作業支援装置１００は、カメラ１０１からの撮像データにより、逸脱前の状態に復元された場合に、作業Ｓ３の再実行を作業者１２０に指示する。

図１２は、工程Ｐｉの作業Ｓ３の作業完了時の状態を示す説明図である。図１２では、ソケットカバー８１２が作業エリアＡ３−１において基板８００に取り付けられＣＰＵソケットピン９０１が基板８００に固定され、かつ、ソケットカバー８２２が作業エリアＡ３−２において基板８００に取り付けられＣＰＵソケットピン９０２が基板８００に固定された状態を示す。ソケットカバー８２２は、４つのネジ１１０２ａ〜１１０２ｄがソケットカバー８２２の穴（不図示）と連通する基板８００のネジ穴８２０ａ〜８２０ｄに螺合することで締結される。

４つのネジ１１０２ａ〜１１０２ｄの締結には既定順番があり、既定順番通りに締結されなかった場合、作業支援装置１００は、作業Ｓ３が作業順序を逸脱したと判定する。この場合、作業支援装置１００は、工程管理ＤＢ６００の工程Ｐｉのエントリの逸脱６０６に「Ｙｅｓ」を記録する。作業者１２０は逸脱前の状態に戻す必要がある。作業支援装置１００は、カメラ１０１からの撮像データにより、逸脱前の状態に復元された場合に、作業Ｓ３の再実行を作業者１２０に指示する。

作業支援装置１００は、カメラ１０１からの撮像データで作業エリアＡ３内の被写体として基板８００に固定された２個のＣＰＵソケット８１１，８２１を検出した場合、工程Ｐｉの作業Ｓ３の作業が完了、すなわち、工程Ｐｉの作業が完了されたと判断して、工程管理ＤＢ６００の工程Ｐｉのエントリの逸脱６０６に「Ｎｏ」を記録し、工程管理ＤＢ６００の工程Ｐｉのエントリに完了時刻６０４に当該検出時刻を記録する。

＜１作業の既定順番＞
つぎに、１作業の既定順番について、工程Ｐｉの作業Ｓ３を例に挙げて説明する。

図１３は、工程Ｐｉの作業エリアＡ３−１内での作業Ｓ３の既定順番を示す説明図である。（１）〜（６）は、ＣＰＵソケットピン９０１を基板８００に固定させる場合の既定順番である。（０）は、既定順番（１）〜（６）の実行前の作業対象の状態を示し、（７）は、既定順番（１）〜（６）の実行後の作業対象の状態を示す。なお、図１３では、作業対象としてＣＰＵソケットピン９０１を例に挙げて説明するが、ＣＰＵソケットピン９０２についても同様である。

（０）（１）の前の状態であるため、基板８００には、ＣＰＵソケットピン９０１およびソケットカバー８１２が取り付けられているが、ネジ穴８１０ａ〜８１０ｄにはネジ１１０１ａ〜１１０１ｄは締められていない。作業者１２０は、まだ電動ドライバ１０３を用いていない。

（１）作業者１２０は、右下のネジ穴８１０ａにネジ１１０１ａを差し込み、電動ドライバ１０３で締め付ける。（２）作業者１２０は、ネジ穴８１０ａの対角線上に位置する左上のネジ穴８１０ｂにネジ１１０１ｂを差し込み、電動ドライバ１０３で締め付ける。（３）作業者１２０は、ネジ穴８１０ｂの右側に位置する右上のネジ穴８１０ｃにネジ１１０１ｃを差し込み、電動ドライバ１０３で締め付ける。（４）作業者１２０は、ネジ穴８１０ｃの対角線上に位置する左下のネジ穴８１０ｄにネジ１１０１ｄを差し込み、電動ドライバ１０３で締め付ける。

（５）作業者１２０は、右下のネジ穴８１０ａに螺合されたネジ１１０１ａを電動ドライバ１０３で締め増しする。（６）作業者１２０は、ネジ穴８１０ａの対角線上に位置する左上のネジ穴８１０ｂに螺合されたネジ１１０１ｂを電動ドライバ１０３で締め増しする。これにより、作業エリアＡ３−１内での作業Ｓ３が完了する。（７）作業Ｓ３が完了した状態である。

カメラ１０１は、上記（０）〜（７）の一連の作業を撮像し、撮像データを作業支援装置１００に出力する。作業支援装置１００は、カメラ１０１からの撮像データを画像認識して、既定順番（１）〜（６）を逸脱しているか否かを判定する。たとえば、（２）において、作業者１２０が、ネジ穴８１０ｂにネジ１１０１ｂを差し込まず、ネジ穴８１０ｃにネジ１１０１ｃを差し込み、電動ドライバ１０３で締め付けた場合、作業支援装置１００は、作業順序を逸脱したと判定する。そして、作業支援装置１００は、（１）の状態が完了した状態に作業者１２０が復元したことを確認して、再度（２）を逸脱するか否かを判定することになる。

このように、たとえば、作業支援装置１００は、上記（１）の作業前において、作業エリアＡ３−１に電動ドライバ１０３の画像データを検出し、上記（６）の作業後に、作業エリアＡ３−１に電動ドライバ１０３の画像データが検出されなくなる。このような電動ドライバ１０３や作業者１２０の手の時系列な存否により、ネジ締結の着手と完了という作業者１２０の作業を特定することができる。

＜出力画面例＞
つぎに、図１４〜図１７を用いて、ディスプレイ１０６に表示される出力画面例について説明する。なお、作業支援装置１００は、出力画面のデータをディスプレイ１０６ではなく、ディスプレイ１０６を有する他のコンピュータに送信してもよい。

図１４は、工程Ｐｉの作業順序を表示する出力画面例を示す説明図である。出力画面１４００は、作業支援装置１００が、作業者１２０が前の工程Ｐｉ−１の完了を特定した場合や、工程Ｐｉ−１の出力画面１４００において、「次図」を示す第１遷移ボタン１４０３が選択された場合に、ディスプレイ１０６に表示される。

第１表示領域１４０１は、現在の工程Ｐｉの文字列を表示する表示領域である。第１表示領域１４０１は、作業者１２０が入力デバイス２０３で選択可能な項目でもよい。たとえば、作業者１２０が入力デバイス２０３で第１表示領域１４０１を選択すると、工程管理ＤＢ６００の工程Ｐｉのエントリの開始時刻６０３に、第１表示領域１４０１が選択された時刻を記録してもよい。

第２表示領域１４０２は、現在の工程Ｐｉの作業Ｓ１〜Ｓ３の作業順序を表示する表示領域である。第２表示領域１４０２は、作業者１２０が入力デバイス２０３で選択可能な第１項目１４０２ａ，第２項目１４０２ｂ，第３項目１４０２ｃを含む。第１項目１４０２ａは作業Ｓ１を示す。第２項目１４０２ｂは作業Ｓ２を示す。第３項目１４０２ｃは作業Ｓ３を示す。作業支援装置１００は、現在作業中の作業Ｓｊの項目を強調表示してもよい。これにより、作業者１２０は、現在どの作業をすべきか、すなわち、作業順序を逸脱していないかを把握することができる。

第１遷移ボタン１４０３は、次の工程Ｐｉ＋１の作業順序を表示する出力画面１４００に遷移するためのボタンである。第２遷移ボタン１４０４は、前の工程Ｐｉ−１の作業順序を表示する出力画面１４００に遷移するためのボタンである。

図１５は、作業者１２０が入力デバイス２０３で第３項目１４０２ｃを選択した場合に表示される出力画面例を示す説明図である。出力画面１５００は、作業Ｓ１内の作業順序を図、画像、動画像で表示する。これにより、作業者１２０は、作業Ｓ３内の作業順序を視認することができる。終了ボタン１５０１は、作業者１２０が入力デバイス２０３で選択した場合に出力画面１５００を閉じるためのボタンである。なお、図１５では、第３項目１４０２ｃを選択した場合に表示される出力画面１５００について説明したが、第１項目１４０２ａや第２項目１４０２ｂを選択した場合も同様に作業Ｓ１，Ｓ２内の作業順序が表示される。

図１６は、進捗作業検知を示す出力画面例を示す説明図である。出力画面１６００は、作業順序が進捗した場合に表示されるポップアップ画面である。図１６の例では、出力画面１６００は、工程Ｐｉの作業Ｓ１の進捗（すなわち、完了）が検知された場合に表示される。遷移ボタン１６０１は、作業者１２０が入力デバイス２０３で選択可能なボタンである。遷移ボタン１６０１が選択されると、出力画面１６００が閉じ、出力画面１４００の第１項目１４０２ａの強調表示が解除され、第２項目１４０２ｂが強調表示される。

図１７は、逸脱作業検知を示す出力画面例を示す説明図である。出力画面１７００は、作業順序が逸脱した場合に表示されるポップアップ画面である。図１７の例では、出力画面１７００は、工程Ｐｉの作業Ｓ３の逸脱が検知された場合に表示される。復帰ボタン１７０１は、作業者１２０が入力デバイス２０３で選択可能なボタンである。作業者１２０は逸脱前の元の状態に復帰したあと、復帰ボタン１７０１が選択されると、出力画面１７００が閉じる。

＜作業支援装置１００の機能的構成例＞
図１８は、作業支援装置１００の機能的構成例を示すブロック図である。作業支援装置１００は、作業対象ＤＢ３００と、作業シーケンスＤＢ４００と、作業エリアＤＢ５００と、工程管理ＤＢ６００と、出力画面ＤＢ１８１０と、特定部１８０１と、選定部１８０２と、識別部１８０３と、判定部１８０４と、出力部１８０５と、を有する。出力画面ＤＢ１８１０は、図１４〜図１７に示したような出力画面１４００，１５００，１６００，１７００の画面データを記憶する。

作業対象ＤＢ３００、作業シーケンスＤＢ４００、作業エリアＤＢ５００、工程管理ＤＢ６００および出力画面ＤＢ１８１０は、具体的には、たとえば、図２に示した記憶デバイス２０２に記憶される。特定部１８０１〜出力部１８０５は、具体的には、たとえば、記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現される。

特定部１８０１は、カメラ１０１、ドライバカウンタ１０２、読取装置１０４、タッチパネルなどの各種センサ１８００に接続される。特定部１８０１は、作業シーケンスＤＢ４００に基づいて、作業者１２０がすべき対象作業を特定する。具体的には、たとえば、特定部１８０１は、１つ前の作業が完了すると、次の作業を作業者１２０がすべき対象作業として特定する。

より具体的には、たとえば、特定部１８０１は、判定部１８０４による判定結果が作業順序の進捗を示す場合、工程Ｐｉの作業Ｓ１が完了すると、次の作業Ｓ２を作業者１２０がすべき作業（以下、対象作業Ｓｊ）として特定する。また、特定部１８０１は、判定部１８０４による判定結果が作業順序の進捗を示す場合、工程Ｐｉの作業Ｓ３が完了すると、次の作業である工程Ｐｉ＋１の最初の作業Ｓ１を対象作業Ｓｊとして特定する。ただし、工程Ｐｉが最終工程Ｐｎである場合、次の作業である工程Ｐｉ＋１の最初の作業Ｓ１は存在しないため、特定部１８０１は、対象作業Ｓｊを特定しない。

選定部１８０２は、作業エリアＤＢ５００に基づいて、特定部１８０１によって特定された対象作業Ｓｊを作業者１２０が作業すべき領域（以下、対象作業エリアＡｊ）を選定する。具体的には、たとえば、選定部１８０２は、対象作業Ｓｊに対応する対象作業エリアＡｊを作業エリアＤＢ５００から選定する。たとえば、選定部１８０２は、対象作業Ｓ１であれば作業エリアＡ１、対象作業Ｓ２であれば作業エリアＡ２、対象作業Ｓ３であれば作業エリアＡ３を選定する。

識別部１８０３は、選定部１８０２によって選定された対象作業エリアＡｊを撮像するカメラ１０１からの撮像データに基づいて、作業者１２０がおこなっている作業を識別する。具体的には、たとえば、識別部１８０３は、対象作業エリアＡｊを包含する画角となるようにカメラ１０１の向きや焦点距離を制御する。具体的には、たとえば、対象作業エリアＡｊの撮像データが撮像領域全体に占める割合が、９０％以上あればよい。また、識別部１８０３は、カメラ１０１からの撮像データから、対象作業エリアＡｊに該当する領域の画像データを抽出する。この場合、カメラ１０１は作業台１０７の平面座標５０１で表される全体を常に撮像しておくのみとする。

識別部１８０３は、たとえば、作業対象ＤＢの画像データ３０３と作業対象名称３０２との組み合わせを訓練データとし、訓練データを畳み込みニューラルネットワークに与えることで学習モデルを生成する。識別部１８０３は、この学習モデルに作業者１２０が作業中の撮像データを与えて、撮像データ内の作業対象を特定し、特定した作業対象の組み合わせから、作業者１２０が対象作業Ｓｊを対象作業エリアＡｊでおこなっているかを作業Ｓｊ中に定期的に識別する。

たとえば、対象作業Ｓ１でかつ対象作業エリアＡ１である場合、カメラ１０１は対象作業エリアＡ１を撮像する。この場合、作業者１２０が誤って作業Ｓ２を作業エリアＡ２で行っているとすると、対象作業エリアＡ１では、作業Ｓ１が撮像されないことになる。したがって、識別部１８０３は、対象作業エリアＡ１でおこなわれている作業を識別できない。

また、対象作業Ｓ３でかつ対象作業エリアＡ３である場合、カメラ１０１は対象作業エリアＡ３を撮像する。この場合、識別部１８０３は、作業者１２０が電動ドライバ１０３を用いてソケットカバー８１２，８２２を基板８００にネジ止めしてＣＰＵソケットピン９０１，９０２を基板８００に固定していることを識別する。

また、識別部１８０３は、判定部１８０４による判定結果が作業順序の逸脱を示す場合、カメラ１０１からの撮像データを参照して、作業環境が逸脱前の元の状態に復元したか識別する。たとえば、工程Ｐｉにおいて、作業Ｓ１の次に作業Ｓ２を実行すべきにもかかわらず、作業Ｓ３を実行した場合には、識別部１８０３は、たとえば、図９に示したように、作業Ｓ２の開始前の状態（作業Ｓ１の完了後の状態）にまで作業対象が復元されているか識別する。撮像データが作業Ｓ１の完了後の状態を示している場合、識別部１８０３は作業対象が復元されたことを識別する。

また、工程Ｐｉの作業Ｓ３において既定順番を間違えた場合には、識別部１８０３は、作業Ｓ３の開始前の状態にまで作業対象が復元されているか識別する。たとえば、図１３に示したようには、（１）のあと、作業者１２０が（２）の作業でネジ１１０１ｂを締結せずに、（３）のように、ネジ１１０１ｃを締結した場合には、識別部１８０３は、カメラ１０１からの撮像データを参照して、（２）の作業前（（１）の完了後の状態）の状態に復元されているか識別する。すなわち、作業者１２０は、誤って締結したネジ１１０１ｃを外さなければならない。撮像データが（１）の完了後の状態を示している場合、識別部１８０３は作業対象が復元されたことを識別する。

判定部１８０４は、識別部１８０３によって識別された作業が対象作業Ｓｊであるか否かを判定する。具体的には、たとえば、判定部１８０４は、識別された作業が対象作業Ｓｊであれば、作業順序が進捗したと判定する（進捗判定）。具体的には、たとえば、判定部１８０４は、図１３に示したように、作業エリアＡ３−１で（０）〜（７）の順で作業Ｓ３が実行されると、識別部１８０３による（０）の識別結果と（１）の識別結果とを比較することで（１）で電動ドライバ１０３が出現したことが分かる。

また、識別部１８０３による（１）〜（６）の識別結果では、電動ドライバ１０３の位置が遷移するため、既定順番通りに作業Ｓ３が実行されたことが分かる。また、識別部１８０３による（６）の識別結果と（７）の識別結果とをひかくすることで（７）で電動ドライバ１０３が消失したことがわかる。このように、対象作業エリアＡｊでの工具の出現や消失という時系列な流れで作業を識別し作業順序の逸脱を判定することにより、作業間の作業順序の誤りや一作業内での手順の誤りを容易に検出することができる。

判定部１８０４は、識別された作業が対象作業Ｓｊでなければ、作業順序が逸脱したと判定する（逸脱判定）。たとえば、対象作業Ｓ１でかつ対象作業エリアＡ１である場合、識別部１８０３による識別結果が、上述したように、「対象作業エリアＡ１でおこなわれている作業を識別できない」である場合、判定部１８０４は、作業順序が逸脱したと判定する（逸脱判定）。このように、作業Ｓ１の開始直後から識別できないことがわかるため、判定部１８０４は、早急に作業順序の逸脱を判定することができる。一方、識別部１８０３による識別結果が作業Ｓ１通りである場合、判定部１８０４は、作業順序が進捗したと判定する。

また、たとえば、対象作業Ｓ３でかつ対象作業エリアＡ３である場合、識別部１８０３による識別結果が、図１３に示した通り、既定順番（１）〜（６）にしたがっている場合、識別結果は作業Ｓ３であるため、判定部１８０４は、作業順序が進捗したと判定する。一方、識別結果が既定順番（１）〜（６）にしたがっていない場合、判定部１８０４は、作業順序が逸脱したと判定する。

判定部１８０４は、識別部１８０３と同様、作業Ｓ３の開始から定期的に判定する。したがって、作業Ｓ３開始当初は、既定順番通りであっても途中で既定順番を間違えた場合、判定部１８０４は、作業順序が逸脱したと判定することができる。

出力部１８０５は、判定部１８０４による判定結果を出力する。具体的には、たとえば、出力部１８０５は、図１４〜図１７に示したような出力画面１４００，１５００，１６００，１７００をディスプレイ１０６に表示する。具体的には、たとえば、判定結果が進捗判定である場合、出力部１８０５は、図１６に示した出力画面１６００を後続作業指示としてディスプレイ１０６に表示する。また、判定結果が逸脱判定である場合、出力部１８０５は、図１７に示した出力画面１７００を作業順序の逸脱通知としてディスプレイ１０６に表示する。

また、出力部１８０５は、上述したように、対象作業Ｓｊを含む対象工程Ｐｉの開始時刻６０３から終了時刻までの作業時間を工程管理ＤＢ６００に記録する。具体的には、たとえば、出力部１８０５は、対象工程Ｐｉの最初の対象作業Ｓ１の開始時に開始時刻６０３を記録し、最後の対象作業Ｓ３の完了時に完了時刻６０４を記録する。

また、出力部１８０５は、対象作業Ｓｊが対象工程Ｐｉ内の最終作業Ｓ３でない場合、図１４において、対象作業Ｓｊの後続作業Ｓｊ＋１を特定する情報として、後続作業Ｓｊ＋１の項目を強調表示する。また、出力部１８０５は、対象作業Ｓｊが対象作業Ｓｊを含む対象工程Ｐｉ内の最終作業である場合、対象工程Ｐｉの後続工程Ｐｉ＋１を特定する情報として出力画面１４００を出力する。

＜作業支援処理手順例＞
図１９は、作業支援装置１００による作業支援処理手順例を示すフローチャートである。作業支援装置１００は、特定部１８０１により対象工程Ｐｉおよび対象作業Ｓｊを特定し（ステップＳ１９０１）、最終工程Ｐｎが終了したか否かを判断する（ステップＳ１９０２）。最終工程Ｐｎでない場合（ステップＳ１９０２：Ｎｏ）、作業支援装置１００は、選定部１８０２により、対象作業エリアを選定する（ステップＳ１９０３）。

作業支援装置１００は、識別部１８０３により、作業者１２０が行っている作業を識別し（ステップＳ１９０４）、識別結果により作業順序を逸脱しているか否かを判定する（ステップＳ１９０５）。判定結果が逸脱判定である場合（ステップＳ１９０５：逸脱）、作業支援装置１００は、出力部１８０５により、判定結果として出力画面１７００を出力する（ステップＳ１９０６）。そして、作業支援装置１００は、識別部１８０３により、対象作業Ｓｊ前の状態に復元したか識別する（ステップＳ１９０７）。復元されていない場合（ステップＳ１９０７：Ｎｏ）、ステップＳ１９０６に戻る。復元された場合（ステップＳ１９０７：Ｙｅｓ）、ステップＳ１９０４に戻り、作業支援装置１００は、識別部１８０３により、当該復元後に作業者１２０が行っている作業を識別する（ステップＳ１９０４）。

また、ステップＳ１９０５において、判定結果が進捗判定である場合（ステップＳ１９０５：進捗）、作業支援装置１００は、出力部１８０５により、出力画面１６００を出力し（ステップＳ）、ステップＳ１９０１に戻る。ステップＳ１９０２において最終工程Ｐｎが終了したと判断された場合（ステップＳ１９０２：Ｙｅｓ）、作業支援装置１００は、一連の処理を終了する。

（１）このように、本実施例にかかる作業支援装置１００は、作業シーケンスＤＢ４００に基づいて、作業者１２０がすべき対象作業Ｓｊを特定し、作業エリアＤＢ５００に基づいて、特定された対象作業Ｓｊを作業者１２０が作業すべき対象領域Ａｊを選定し、選定された対象領域Ａｊを撮像するカメラ１０１からの撮像データに基づいて、作業者１２０がおこなっている作業を識別し、識別された作業が前記対象作業であるか否かを判定し、判定結果を出力する。

したがって、工程Ｐｉの組図情報を参照して、カメラ１０１の画像認識対象を、特定した作業Ｓｊに対応する対象作業エリアＡｊに絞り込むことで、作業者１２０間の個人差による特徴量のバラつきの影響や、同一作業者１２０であっても作業日ごとの挙動の差による特徴量のばらつきの影響を抑制する。したがって、作業識別精度の高精度化を図ることができる。

（２）また、上記（１）において、作業支援装置１００は、判定結果と作業シーケンスＤＢ４００とに基づいて、対象作業Ｓｊを特定してもよい。これにより、判定結果が進捗判定である場合と逸脱判定である場合を区別して対象作業Ｓｊを特定することができる。したがって、対象作業Ｓｊの特定精度の向上を図ることができる。

（３−１）また、上記（１）において、作業支援装置１００は、カメラ１０１の撮像領域が対象作業エリアＡｊを包含する画角となるようにカメラ１０１を制御する。これにより、対象作業エリアＡｊ以外の撮像データを可能な限り除外することで、対象作業エリアＡｊ内での作業について画像認識精度の向上を図ることができる。

（３−２）また、上記（１）において、作業支援装置１００は、全撮像領域の撮像データから対象作業エリアＡｊの画像データを抽出し、抽出した画像データに基づいて、作業者１２０がおこなっている作業を識別してもよい。これにより、（３−１）のようなカメラ１０１の姿勢を制御する機構が不要となり、設備の簡便化を図ることができる。

（４）また、上記（１）において、作業支援装置１００は、カメラ１０１での撮像データに含まれる工具の画像データ３０３に基づいて、作業者１２０がおこなっている作業を識別する。これにより、工具を用いた作業と工具を用いない作業とを区別して識別することができる。

（５）また、上記（４）において、工具は、ドライバまたは読取装置１０４を含む。これにより、工具の種類により作業を識別することができる。

（６）また、上記（１）において、作業支援装置１００は、識別結果における工具の時系列な存否に基づいて、作業者１２０が作業順序を逸脱しているか否かを判定する。これにより、対象作業エリアＡｊでの工具の出現や消失という時系列な流れで作業を識別し作業順序の逸脱を判定するため、作業間の作業順序の誤りや一作業内での手順の誤りを容易に検出することができる。

（７）また、上記（６）において、識別結果における工具の時系列な位置に基づいて、作業者１２０が作業順序を逸脱しているか否かを判定する。これにより、対象作業エリアＡｊでの工具の出現や消失、位置変化という時系列な流れで作業を識別し作業順序の逸脱を判定するため、作業間の作業順序の誤りや一作業内での手順の誤りを容易に検出することができる。

（８）また、上記（１）において、作業支援装置１００は、作業者１２０が作業順序を逸脱していない場合、作業シーケンスＤＢ４００を参照して、後続作業指示を出力する。これにより、作業者１２０が対象作業Ｓｊを完了し、かつ、後続作業Ｓｊ＋１に移行すべきであるということを確認することができる。

（９）また、上記（８）において、作業支援装置１００は、対象作業Ｓｊを含む対象工程Ｐｉの開始時刻６０３から終了時刻までの作業時間を工程管理ＤＢ６００に記録する。これにより、工程Ｐｉについてどのくらい時間がかかったかを確認することができる。

（１０）また、上記（８）において、作業支援装置１００は、対象作業Ｓｊが対象作業Ｓｊを含む対象工程Ｐｉ内の最終作業でない場合、後続作業指示として、対象作業Ｓｊの後続作業Ｓｊ＋１を特定する情報を出力する。これにより、作業者１２０は、次にどの作業を実行すればよいか確認することができる。

（１１）また、上記（８）において、作業支援装置１００は、対象作業Ｓｊが対象作業Ｓｊを含む対象工程Ｐｉ内の最終作業である場合、後続作業指示として、対象工程Ｐｉの後続工程Ｐｉ＋１を特定する情報を出力する。これにより、作業者１２０は、次にどの工程を実行すればよいか確認することができる。

（１２）また、上記（１）において、作業支援装置１００は、作業者１２０が作業順序を逸脱している場合、作業順序の逸脱通知を出力する。これにより、作業者１２０は、作業単位で作業順序を逸脱したかを確認することができる。

（１３）また、上記（１１）において、作業支援装置１００は、逸脱通知が出力された場合、カメラ１０１によって撮像された対象作業エリアＡｊの新たな撮像データに基づいて、識別された作業前の状態に復元してから作業者１２０がおこなっている作業を識別する。これにより、作業者１２０が作業順序を逸脱した場合に、逸脱前の状態に復元してから再度適正な作業を開始させ、作業順序通りに作業するよう促すことができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

１８１０ 出力画面ＤＢ
３００ 作業対象ＤＢ
４００ 作業シーケンスＤＢ
５００ 作業エリアＤＢ
６００ 工程管理ＤＢ
１００ 作業支援装置
１０１ カメラ
１０２ ドライバカウンタ
１０３ 電動ドライバ
１０４ 読取装置
１０５ キーボード
１０６ ディスプレイ
１０７ 作業台
１０８ 作業棚
１２０ 作業者
１８０１ 特定部
１８０２ 選定部
１８０３ 識別部
１８０４ 判定部
１８０５ 出力部

Claims (15)

1. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する作業支援装置であって、
   前記記憶デバイスまたは前記作業支援装置がアクセス可能な他の記憶デバイスは、工程ごとに作業順序を示す情報と、前記工程内の作業ごとに作業者の作業領域を示す情報と、を記憶しており、
   前記プロセッサは、
   前記作業順序を示す情報に基づいて、作業者がすべき対象作業を特定する特定処理と、
   前記作業領域を示す情報に基づいて、前記特定処理によって特定された対象作業を前記作業者が作業すべき対象領域を選定する選定処理と、
   前記選定処理によって選定された領域を撮像するカメラからの撮像データに基づいて、前記作業者がおこなっている作業を識別する識別処理と、
   前記識別処理による識別結果に基づいて、作業者が作業順序を逸脱しているか否かを判定する判定処理と、
   前記判定処理による判定結果を出力する出力処理と、
   を実行することを特徴とする作業支援装置。
2. 請求項１に記載の作業支援装置であって、
   前記特定処理では、前記プロセッサは、前記判定結果と前記作業順序を示す情報とに基づいて、前記対象作業を特定する、
   ことを特徴とする作業支援装置。
3. 請求項１に記載の作業支援装置であって、
   前記識別処理では、前記プロセッサは、前記撮像データから前記対象領域の画像データを抽出し、抽出した前記画像データに基づいて、前記作業者がおこなっている作業を識別する、
   ことを特徴とする作業支援装置。
4. 請求項１に記載の作業支援装置であって、
   前記記憶デバイスは、前記作業者が前記作業に用いる工具ごとに画像データを記憶しており、
   前記識別処理では、前記プロセッサは、前記撮像データに含まれる工具の画像データに基づいて、前記作業者がおこなっている作業を識別する、
   ことを特徴とする作業支援装置。
5. 請求項４に記載の作業支援装置であって、
   前記工具は、ドライバまたは読取装置を含む、
   ことを特徴とする作業支援装置。
6. 請求項１に記載の作業支援装置であって、
   前記記憶デバイスまたは前記他の記憶デバイスは、前記作業者が前記作業に用いる工具ごとに画像データを記憶しており、
   前記判定処理では、前記プロセッサは、前記識別結果における前記工具の時系列な存否に基づいて、前記作業者が作業順序を逸脱しているか否かを判定する、
   ことを特徴とする作業支援装置。
7. 請求項６に記載の作業支援装置であって、
   前記判定処理では、前記プロセッサは、前記識別結果における前記工具の時系列な位置に基づいて、前記作業者が作業順序を逸脱しているか否かを判定する、
   ことを特徴とする作業支援装置。
8. 請求項１に記載の作業支援装置であって、
   前記出力処理では、前記プロセッサは、前記作業者が作業順序を逸脱していない場合、前記作業順序を示す情報を参照して、後続作業指示を出力する、
   ことを特徴とする作業支援装置。
9. 請求項８に記載の作業支援装置であって、
   前記出力処理では、前記プロセッサは、前記対象作業を含む対象工程の開始時刻から終了時刻までの作業時間を前記記憶デバイスまたは前記他の記憶デバイスに記録する、
   ことを特徴とする作業支援装置。
10. 請求項８に記載の作業支援装置であって、
    前記出力処理では、前記プロセッサは、前記対象作業が前記対象作業を含む対象工程内の最終作業でない場合、前記後続作業指示として、前記対象作業の後続作業を特定する情報を出力する、
    ことを特徴とする作業支援装置。
11. 請求項８に記載の作業支援装置であって、
    前記出力処理では、前記プロセッサは、前記対象作業が前記対象作業を含む対象工程内の最終作業である場合、前記後続作業指示として、前記対象工程の後続工程を特定する情報を出力する、
    ことを特徴とする作業支援装置。
12. 請求項１に記載の作業支援装置であって、
    前記出力処理では、前記プロセッサは、前記作業者が作業順序を逸脱している場合、前記作業順序の逸脱通知を出力する、
    ことを特徴とする作業支援装置。
13. 請求項１２に記載の作業支援装置であって、
    前記識別処理では、前記プロセッサは、前記逸脱通知が出力された場合、前記カメラによって撮像された前記対象領域の新たな撮像データに基づいて、前記識別された作業前の状態に復元してから前記作業者がおこなっている作業を識別する、
    ことを特徴とする作業支援装置。
14. プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する作業支援装置が実行する作業支援方法であって、
    前記記憶デバイスまたは前記作業支援装置がアクセス可能な他の記憶デバイスは、工程ごとに作業順序を示す情報と、前記工程内の作業ごとに作業者の作業領域を示す情報と、を記憶しており、
    前記プロセッサは、
    前記作業順序を示す情報に基づいて、作業者がすべき対象作業を特定する特定処理と、
    前記作業領域を示す情報に基づいて、前記特定処理によって特定された対象作業を前記作業者が作業すべき対象領域を選定する選定処理と、
    前記選定処理によって選定された領域を撮像するカメラからの撮像データに基づいて、前記作業者がおこなっている作業を識別する識別処理と、
    前記識別処理による識別結果に基づいて、作業者が作業順序を逸脱しているか否かを判定する判定処理と、
    前記判定処理による判定結果を出力する出力処理と、
    を実行することを特徴とする作業支援方法。
15. 記憶デバイスにアクセス可能なプロセッサに作業支援を実行させる作業支援プログラムであって、
    前記記憶デバイスは、工程ごとに作業順序を示す情報と、前記工程内の作業ごとに作業者の作業領域を示す情報と、を記憶しており、
    前記プロセッサに、
    前記作業順序を示す情報に基づいて、作業者がすべき対象作業を特定する特定処理と、
    前記作業領域を示す情報に基づいて、前記特定処理によって特定された対象作業を前記作業者が作業すべき対象領域を選定する選定処理と、
    前記選定処理によって選定された領域を撮像するカメラからの撮像データに基づいて、前記作業者がおこなっている作業を識別する識別処理と、
    前記識別処理による識別結果に基づいて、作業者が作業順序を逸脱しているか否かを判定する判定処理と、
    前記判定処理による判定結果を出力する出力処理と、
    を実行させることを特徴とする作業支援プログラム。