JP2016221671A - 作業指示システム、画像処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】行われる作業工程に対応した作業指示書等の資料を出力することを目的とする。【解決手段】被写体を撮像する画像処理装置と、前記画像処理装置に接続される出力装置とを有する作業指示システムが、前記被写体を撮像して画像データを生成し、前記被写体に対して行われる作業工程に対応する判別データを取得し、前記作業工程を示す資料データを入力し、前記画像データ及び前記判別データに基づいて、前記被写体が、前記判別データが示す状態又は物体を含むかを判別し、前記判別によって特定される前記作業工程に対応する資料データを出力することにより上記課題を解決する。【選択図】図１

Description

本発明は、作業指示システム、画像処理装置、情報処理方法及びプログラムに関する。

従来、機器の製造工程において作業者が行う作業を管理する方法が知られている。

また、作業の管理において、まず、作業者に、ヘッドセットを装着させる。次に、ヘッドセットに含まれるＰＨＳのボタンを作業者が操作すると、音声ガイドによる音声又は作業指示端末のディスプレイによる表示によって、作業者に指示を行う方法が知られている（例えば、特許文献１等）。

しかしながら、従来の方法では、工場等で製品に部品を組み付ける等の作業工程を行う作業員等（以下単に「作業員」という。）は、自身が行っている作業工程を自身で判断して知らせる必要がある。このため、例えば、作業員によって行われた作業工程が誤っていたり、又は作業員が作業工程を知らせる操作を行わなかったりすると、行われる作業工程に対応した作業指示書等の資料が出力されない場合がある。

本発明は、上記課題に鑑みてなされたものであり、行われる作業工程に対応した作業指示書等の資料を出力できる作業指示システムを提供することを目的とする。

一態様における、被写体を撮像する画像処理装置と、前記画像処理装置に接続される出力装置とを有する作業指示システムは、前記被写体を撮像して画像データを生成する撮像部と、前記被写体に対して行われる作業工程に対応する判別データを取得する取得部と、前記作業工程を示す資料データを入力する入力部と、前記画像データ及び前記判別データに基づいて、前記被写体が、前記判別データが示す状態又は物体を含むかを判別する判別部と、前記判別によって特定される前記作業工程に対応する資料データを出力する出力部とを含む。

本発明の各実施形態によれば、行われる作業工程に対応した作業指示書等の資料を出力できる。

実施形態に係る作業指示システムの使用例を示す全体構成図である。 実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。 実施形態に係る判別データの一例を示す図である。 実施形態に係る資料データの一例を示す図である。 実施形態に係る作業指示システムによる全体処理の処理結果の一例を示す図である。 実施形態に係る作業指示システムによって生成される作業記録データの一例を示す図である。 実施形態に係る作業時間を用いた分析の一例を示す図である。 実施形態に係る画像処理装置による複数の部品を使用する作業工程に対する判別の一例を示す図である。 実施形態に係る画像処理装置による部品に書き込まれている文字等の判別の一例を示す図である。 実施形態に係る作業指示システムの機能構成の一例を示す機能ブロック図である。 第２実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。 第２実施形態に係る資料データのデータ構成の一例を示す図である。 第３実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。 第４実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。 第６実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。 第６実施形態に係る作業指示システムによる作業箇所を強調する表示の一例を示す図である。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付し、重複した説明を省く。

＜第１実施形態＞
＜全体構成例＞
はじめに、本実施形態に係る作業指示システムを使用する使用例を示し、作業指示システムの全体構成例を説明する。

図１は、実施形態に係る作業指示システムの使用例を示す全体構成図である。具体的には、図１は、工場等で作業員ＷＫが部品を組み付ける作業工程等を作業台ＤＳ上で行う場合を示す。以下、図示するように、製品ＰＤの製造において、作業員ＷＫが、製品ＰＤに部品を組み付ける作業工程を行う例で説明する。この例では、作業工程において、作業員ＷＫは、製品ＰＤに対して、作業台ＤＳ上又は作業台ＤＳの近辺に置かれるケースＣＳに入れられる第１部品Ｐ１、第２部品Ｐ２及び第３部品Ｐ３をそれぞれ組み付けるとする。なお、部品は、例えば、電子回路基板等の電子部品、ネジ、ワッシャ、バネ若しくはスペーサ等の機構部品又はラベル等である。

作業指示システム１は、画像処理装置の例であるカメラ１０と、出力装置の例であるモニタ１１とを含む。また、カメラ１０と、モニタ１１とは、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル等で接続され、モニタ１１は、カメラ１０からの出力に基づいて、画像等を表示する。

カメラ１０は、作業台ＤＳ上のいわゆる作業スペースを撮像できるように設置される。具体的には、例えば、カメラ１０は、図示するように、作業台ＤＳに対して光軸が垂直となる角度に設置される。これは、作業員ＷＫが行う作業工程が撮像できるように、いわゆる見下ろしができる位置等にカメラを設置する設置例である。即ち、カメラ１０は、作業員ＷＫが製品ＰＤに対して作業工程を行う作業スペースＷＳが撮像できる位置に設置される。

また、モニタ１１は、図示するように、作業台ＤＳ上等に設置され、作業員ＷＫは、モニタ１１によって表示される資料等を見ることができる。

なお、カメラ１０には、図示するように、キーボード及びマウス等の入力装置がＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等によって接続されてもよい。即ち、作業員ＷＫは、入力装置を用いて、作業指示システム１に対して操作を行ってもよい。

また、カメラ１０には、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等が接続され、カメラ１０は、ネットワークに接続されてもよい。即ち、カメラ１０は、ネットワークを介してサーバ等の情報処理装置に接続され、カメラ１０は、ネットワークを介してサーバ等とデータを送受信してもよい。

なお、カメラ１０は、無線ＬＡＮ等でネットワークに接続されてもよい。

＜ハードウェア構成例＞
図２は、実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図示するように、カメラ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０Ｈ１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０Ｈ２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０Ｈ３と、入力Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ４と、出力Ｉ／Ｆ１０Ｈ５と、外部Ｉ／Ｆ１０Ｈ６と、通信Ｉ／Ｆ１０Ｈ７と、撮像素子１０Ｈ８とを有する。なお、カメラ１０が有する各ハードウェアは、バスＢで接続される。

ＣＰＵ１０Ｈ１は、カメラ１０が行う各種処理に係る演算及びデータの加工等を行う演算装置並びにカメラ１０が有する各ハードウェアを制御する制御装置である。なお、ＣＰＵ１０Ｈ１は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等でもよい。また、ＣＰＵ１０Ｈ１は、複数の演算装置及び制御装置であってもよい。

ＲＡＭ１０Ｈ２は、プログラム及びデータを記憶する、いわゆるメモリであり、主記憶装置の例である。一方、ＲＯＭ１０Ｈ３は、電源を切ってもプログラム及びデータを記憶することができる不揮発性のメモリ（記憶装置）である。なお、カメラ１０は、ハードディスク等の補助記憶装置を更に有してもよい。

入力Ｉ／Ｆ１０Ｈ４は、コネクタ及び処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等であり、入力Ｉ／Ｆ１０Ｈ４には、ケーブル等を介してキーボード又はマウス等の入力装置が接続される。

出力Ｉ／Ｆ１０Ｈ５は、コネクタ及び処理ＩＣ等であり、出力Ｉ／Ｆ１０Ｈ５には、ケーブル等を介してモニタ１１等の出力装置が接続される。なお、カメラ１０は、入力装置、出力装置又は入出力装置を有してもよい。

外部Ｉ／Ｆ１０Ｈ６は、記録媒体等の外部装置を接続させるコネクタ等である。例えば、記録媒体は、ＵＳＢメモリ、ＳＤ（登録商標）メモリカード、ＣＤ又はＤＶＤ等である。

通信Ｉ／Ｆ１０Ｈ７は、ネットワーク等を介して情報処理装置等とデータ通信を行うコネクタ又はアンテナ等のインタフェースである。

撮像素子１０Ｈ８は、撮像して画像データを生成する光学系及び画像処理ＩＣ等である。具体的には、光学系は、光学センサ、レンズ及びフィルタ等である。なお、撮像素子１０Ｈ８は、複数の光学系等を有する、いわゆるステレオカメラ等でもよい。

なお、作業指示システム１は、１以上の情報処理装置を更に有してもよい。即ち、カメラ１０は、いわゆるネットワークカメラ等であって、ネットワーク等を介して接続される情報処理装置にカメラ１０が画像データを送信し、情報処理装置が各種処理の全部又は一部を行ってもよい。なお、情報処理装置は、複数の装置で構成され、処理の一部又は全部が冗長、並列又は分散して行われる構成でもよい。

＜全体処理例＞
図３は、実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。図３では、作業員が第１作業工程と、第１作業工程の次に行われる第２作業工程とに対して作業指示システムが全体処理を行う例で説明する。なお、ステップＳ０１及びステップＳ０２は、全体処理において、いわゆる準備に係る処理であり、作業員が作業工程を行う前に行われる処理である。一方、ステップＳ０３以降は、作業員が作業工程を行っている間に行われる処理である。

＜判別データの取得例（ステップＳ０１）＞
カメラは、判別データを取得する。なお、判別データは、製品若しくは部品の色、種類、形状、製品若しくは部品が作業工程で組み付けられる数、組み付けられる位置又はこれらの組み合わせを示すデータである。

図４は、実施形態に係る判別データの一例を示す図である。例えば、板金ＰＡに対して第１ネジＰＢ１、第２ネジＰＢ２及び第３ネジＰＢ３の３つの部品をそれぞれ組み付ける作業工程である例で説明する。この例では、作業員は、図示する位置に第１ネジＰＢ１、第２ネジＰＢ２及び第３ネジＰＢ３の３つの部品をそれぞれ組み付ける。これに対して、カメラ１０は、使用されたそれぞれのネジが作業指示書が示す色、種類及び形状であるか否かを判別する。

例えば、色が判別される場合には、判別データは、作業指示書が示すネジの色を示す色名又はＲＧＢ値等である。また、種類又は形状が判別される場合には、判別データは、作業指示書のネジを示す画像又は３次元データ等である。さらに、組み付けられる数が判別される場合には、判別データは、ネジの数、即ち、「３」の値を示すデータである。さらにまた、組み付けられる位置が判別される場合には、判別データは、作業指示書の通りに組み付けられた部品の画像又はそれぞれのネジを組み付ける位置を示す座標データ等である。

また、判別される部品がラベルである場合には、判別データは、ラベルの色、ラベルの形状、ラベルに書き込まれている文字、数字、図形、記号、画像又はこれらの組み合わせを示すテキスト又は画像等のデータである。

＜資料データの入力例（ステップＳ０２）＞
図３に戻り、カメラは、資料データを入力する。なお、資料データは、各作業工程の作業指示書、即ち、各作業工程の作業内容、各作業工程で使用される製品又は部品を示す画像、各製品に部品を組み付けた状態を示す画像、各作業工程の作業順序又はこれらの組み合わせを示すデータである。また、資料データは、後段の処理で、モニタに出力されるデータである。

図５は、実施形態に係る資料データの一例を示す図である。以下、第１作業工程が第２部品Ｐ２を取り出す作業工程である例で説明する。この例では、資料データは、第２部品Ｐ２を取り出す作業工程に係る作業指示書を示す。具体的には、図示するように、作業指示書は、「第２部品Ｐ２を取り出す」等の文字等によって作業内容、第２部品Ｐ２が置かれる位置及び第２部品Ｐ２の外形を示す画像等の情報等を示す。

図５では、作業内容が、文字及び記号を表示する作業内容データＤ１によって表示される例である。また、図５では、第２部品Ｐ２が置かれる位置が、ケースＣＳを示す画像データＤ２によって表示される例である。さらに、図５では、第２部品Ｐ２の外形が、第２部品Ｐ２を示す画像データＤ３によって表示される例である。

なお、資料データは、各作業工程の内容によってそれぞれ異なる。したがって、資料データは、図５に示す構成に限られず、例えば、動画、音声又は設計図等が更に用いられてもよい。

＜第１作業工程の資料を出力する例（ステップＳ０３）＞
図３に戻り、カメラは、ステップＳ０２で入力された資料データのうち、第１作業工程を示す資料データをモニタに出力する。次に、モニタは、資料データに基づいて作業指示書等を表示する。

＜第１作業工程に係る被写体の撮像例（ステップＳ０４）＞
カメラは、作業スペースＷＳ（図１）上にある被写体を撮像し、画像データを生成する。

＜判別データに基づく判別例（ステップＳ０５）＞
カメラは、判別データに基づいて判別を行う。具体的には、判別は、パターンマッチング等の画像処理によって実現される。例えば、第１作業工程が第２部品を取り出す作業工程である例では、カメラは、作業員が手に持つ部品と、判別データが示す部品とが一致するか否かをパターンマッチングによって判別する。この例では、判別データは、例えば、第２部品を示す画像である。

具体的には、カメラは、作業員が手に持つ部品を撮像した画像データと、判別データとを比較して類似度が閾値以上の値となる場合には、取り出された部品が第２部品であると判別する。即ち、この場合には、カメラは、第２部品が作業員によって取り出されると、第１作業工程が完了したと判別する。

＜第１作業工程が完了したと判別されたか否かの判断例（ステップＳ０６）＞
カメラは、第１作業工程が完了したと判別されたか否かを判断する。具体的には、カメラは、第１作業工程で第２部品が取り出されると、ステップＳ０５では、第１作業工程が完了したと判別する。この場合には、カメラは、第１作業工程が完了したと判別されたと判断し（ステップＳ０６でＹＥＳ）、カメラは、ステップＳ０７に進む。

一方、第１作業工程で第２部品とは異なる第１部品等が取り出されると、ステップＳ０５では、カメラは、第１作業工程が完了していないと判別する。この場合には、カメラは、第１作業工程が完了していないと判別されたと判断し（ステップＳ０６でＮＯ）、カメラは、ステップＳ０９に進む。なお、ステップＳ０６において、カメラは、一定時間完了したと判別されない場合には、第１作業工程が完了していないと判別されたと判断してもよい（ステップＳ０６でＮＯ）。

第１作業工程でなんらかの作業工程が行われると、カメラは、ステップＳ０７乃至ステップＳ０９等のように、作業記録データを生成する。具体的には、第１作業工程で第２部品が取り出された場合には、行われた作業工程は、作業指示書が示す作業工程であり、即ち、正しい作業工程（以下「正しい作業工程」という。）である。一方、第１作業工程で第２部品とは異なる第１部品等が取り出された場合には、行われた作業工程は、作業指示書が示すのとは異なる作業工程、いわゆるポカミス等の誤った作業工程（以下「誤った作業工程」という。）である。

ステップＳ０５では、カメラは、正しい作業工程が行われたか誤った作業工程が行われたかを判別する。次に、正しい作業工程が行われた場合には（ステップＳ０６でＹＥＳ）、カメラは、ステップＳ０７及びステップＳ０８を行う。一方、誤った作業工程が行われた場合には（ステップＳ０６でＮＯ）、カメラは、ステップＳ０９を行う。

＜第１作業工程の作業時間を記憶する例（ステップＳ０７）＞
カメラは、第１作業工程の作業時間を記憶する。具体的には、第１作業工程の作業時間は、例えば、第１作業工程の資料が出力されて（ステップＳ０３）から第１作業工程が完了したと判別される（ステップＳ０５）までの時間である。即ち、カメラは、カウンタ又はタイマ等でステップＳ０３からステップＳ０５までの時間を計測して、計測された時間を第１作業工程の作業時間として記憶する。

各作業時間は、例えば、時間研究（ＪＩＳ Ｚ ８１４１：２００１）等で、作業工程を分析するために用いられる。具体的には、記憶される複数の作業時間を平均等して、各作業工程の標準時間が計算される。

また、各作業時間は、標準時間からカウントダウンする表示又は標準時間を１００％として経過時間のバー表示等に活用されてもよい。このように各作業時間が活用されると、作業員の進捗管理及び作業工程のペース把握を行うことができる。

＜画像データを記憶する例（ステップＳ０８）＞
カメラは、画像データを記憶する。即ち、カメラは、作業工程が行われた結果を画像として記憶する。これによって、カメラは、重要な作業工程等を画像で記録することができる。

＜第１作業工程を誤った旨を示すログを記憶する例（ステップＳ０９）＞
カメラは、第１作業工程を誤った旨を示すログを記憶する。例えば、ログとしてどのように誤ったかを示すため、誤って取り出された部品を示す画像データ等が記憶される。これによって、誤りやすい部品又は作業工程等を分析するデータを記憶することができる。

＜第２作業工程の資料を出力する例（ステップＳ１０）＞
カメラは、第１作業工程の次の作業工程となる第２作業工程を示す資料データをモニタに出力する。

なお、全体処理は、図３に示す処理に限られない。例えば、ステップＳ０１及びステップＳ０３は、逆の順序又はそれぞれ並行で行われてもよい。また、全体処理は、第１作業工程及び第２作業工程以外の作業工程を更に対象とし、３つ以上の作業工程を対象としてもよい。

＜処理結果例＞
図６は、実施形態に係る作業指示システムによる全体処理の処理結果の一例を示す図である。まず、カメラ１０は、作業工程が開始される前に、判別データを取得（図３のステップＳ０１）及び資料データを入力する（図３のステップＳ０２）。

作業工程が開始されると、カメラ１０は、例えば図６（Ａ）のように、モニタ１１に第１作業工程用資料データＤＤ１を出力する（図３のステップＳ０３）。第１作業工程用資料データＤＤ１には、図示するように、作業内容及び第２部品Ｐ２を示す画像等が含まれる。特に、第２部品Ｐ２を示す画像がモニタに表示されると、第２部品Ｐ２と似たような外形の部品が他にある場合でも、作業員ＷＫは、目視で確認しやすい。このため、カメラは、作業員ＷＫが誤って第２部品Ｐ２とは異なる部品を取り出してしまうのを少なくできる。即ち、それぞれの作業工程で用いられる部品が表示されると、作業員ＷＫは、作業工程で使用する部品を見ることができる。したがって、似ている部品がある場合でも、誤って似ている部品を作業員ＷＫが作業工程で使用するのを少なくできる。また、作業経験が少ない作業員等であっても、作業員は、作業工程で使用する部品を選ぶのに誤りを少なくできる。

また、第１作業工程用資料データＤＤ１は、第２部品Ｐ２が組み付けられた状態等の作業完了状態を示す画像を表示してもよい。即ち、第１作業工程用資料データＤＤ１は、第２部品Ｐ２が組み付けられたいわゆるアセンブリ図を表示してもよい。

よって、図６（Ａ）のように、第１作業工程用資料データＤＤ１が表示されると、作業員ＷＫは、モニタ１１を見て、第１作業工程がケースＣＳから第２部品Ｐ２を取り出す作業工程であることを知ることができる。したがって、作業員ＷＫは、ケースＣＳから第２部品Ｐ２を取り出す作業工程を行う。これに対して、カメラ１０は、作業工程が行われる様子を撮像する（図３のステップＳ０４）。なお、撮像された画像データは、例えば、図示するように、現行画像Ｉｍｇとして表示されてもよい。また、現行画像Ｉｍｇは、いわゆるリアルタイム表示が望ましい。

続いて、カメラ１０は、図６（Ｂ）のように、撮像した画像データに、判別データが示す部品が含まれているか否か判別する（図３のステップＳ０５）。この例では、判別データは、第２部品Ｐ２を示す画像データ等であるため、撮像した画像データに、被写体として第２部品Ｐ２が含まれている場合には、カメラ１０は、第２部品Ｐ２が取り出されたと判別する（図３のステップＳ０６でＹＥＳ）。

第２部品Ｐ２が作業員ＷＫによって取り出された場合には、第１作業工程が完了した場合であるため、カメラ１０は、作業記録データを生成する（図３のステップＳ０７及びステップＳ０８）。

次に、カメラ１０は、例えば図６（Ｃ）のように、モニタ１１に、第２作業工程用資料データＤＤ２を出力する（図３のステップＳ１０）。これに対して、第２作業工程用資料データＤＤ２が表示されると、作業員ＷＫは、モニタ１１を見て、第２作業工程が第１作業工程で取り出した第２部品Ｐ２を貼る作業工程であることを知ることができる。

以上のように、判別データに基づく判別によって、カメラ１０は、作業員ＷＫが行う各作業工程が正しい作業工程であるか誤った作業工程であるかを判別することができる。

なお、カメラ１０は、判別結果を出力してもよい。例えば、カメラ１０は、判別結果として、図示するように、表示される現行画像Ｉｍｇ上に、判別された第２部品Ｐ２を示すように囲み線Ｉｍｇ１を表示する。囲み線Ｉｍｇ１が表示されると、作業員ＷＫは、取り出した第２部品Ｐ２がカメラ１０によって判別され、正しい作業工程を行ったことがわかる。さらに、カメラ１０は、判別結果として、第２部品Ｐ２を判別すると、所定の音を出力してもよい。所定の音が出力されると、作業員ＷＫは、取り出した第２部品Ｐ２がカメラ１０によって判別され、正しい作業工程を行ったことがわかる。

また、第１作業工程が完了したと判別されないと、第２作業工程用資料データＤＤ２がモニタ１１に出力されないため、作業員ＷＫは、誤った作業工程を行った場合には、誤った作業工程を行ったことを知ることができる。

＜作業記録データ例＞
図７は、実施形態に係る作業指示システムによって生成される作業記録データの一例を示す図である。図示するように、作業記録データＤＷには、作業工程ごとにそれぞれデータが記憶される。具体的には、「作業工程」に対応して、「作業時間」が記憶される（図３のステップＳ０７）。これによって、各作業工程にかかるそれぞれの作業時間がわかる。例えば、図示するように、計測される作業時間は、作業時間を示す作業時間データＤＴとして、「作業工程」に対応して作業記録データＤＷに記憶される。

図８は、実施形態に係る作業時間を用いた分析の一例を示す図である。図示する分析図ＤＡは、各作業工程のそれぞれの作業時間を用いて分析した分析結果の一例である。図示するように、分析図ＤＡが用いられると、各作業時間のばらつき及び行われる作業工程のうち、最も作業時間のかかる作業工程（ボトルネック工程等）を特定する等の分析が行いやすくできる。なお、作業記録データＤＷの一部又は全部は、ネットワーク等を介して、サーバ等に送信されてもよい。

また、図７に示すように、作業記録データＤＷには、作業内容を示す「作業項目」、各作業工程が行われた日時を示す「日付」及び「時間」及び各作業工程を行った作業員の氏名を示す「担当者」等が記憶されてもよい。

なお、作業記録データＤＷは、図７に示す構成及び形式に限られない。例えば、各項目は、それぞれ別々のデータに記憶されてもよい。

さらに、図７に示すように、作業記録データＤＷには、画像データＤＩｍｇが記憶されてもよい（図３のステップＳ０８）。例えば、作業記録データＤＷには、画像データＤＩｍｇとして、図６に示す現行画像Ｉｍｇの画像データが記憶される。これによって、カメラは、各作業工程の作業結果を画像として記憶できる。

また、カメラは、被写体が有する文字、数字、図形、記号、バーコード、２次元コード、部品の形状又はこれらの組み合わせ等を認識して、部品を識別する識別データＤＳＮを作業記録データＤＷに記憶してもよい。なお、識別データＤＳＮは、各部品を特定できる番号等、いわゆるシリアルナンバ、製造番号又はＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）等である。例えば、カメラは、作業工程で対象となる製品又は部品に書き込まれているバーコードを読み取る。次に、カメラは、いわゆるバーコード認識を行うことによって、読み取ったバーコードに対応するシリアルナンバを取得して、シリアルナンバを示す識別データＤＳＮを生成する。さらに、カメラは、生成した識別データＤＳＮを作業記録データＤＷに記憶する。

なお、カメラは、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）等によって識別データＤＳＮを生成してもよい。

識別データＤＳＮを作業記録データＤＷに記憶することによって、作業指示システムでは、作業工程で用いられた部品を示すシリアルナンバ等が記録され、それぞれの製品に組み付けられた部品を特定できる。即ち、カメラがシリアルナンバ等を記録することによって、いわゆるトレーサビリティが実現できる。

また、作業工程では、複数の部品が使用される場合がある。この場合には、カメラは、各部品がそれぞれ組み付けられたか、各部品が作業指示書が示す順序で組み付けられたか及び各部品が作業指示書が示す位置に組み付けられたか等を判別してもよい。

図９は、実施形態に係る画像処理装置による複数の部品を使用する作業工程に対する判別の一例を示す図である。例えば、作業工程は、図示するように、製品ＰＤに対して、まず第２部品Ｐ２を組み付けて、次に、第１部品Ｐ１を組み付ける作業順序とする。

例えば、図９に示す作業工程では、第２部品Ｐ２及び第１部品Ｐ１が双方とも組み付けられたかがチェックされる。また、図９に示す作業工程では、第１部品Ｐ１より先に第２部品Ｐ２を組み付ける作業順序で作業工程が行われたかがチェックされる。さらに、図９に示す作業工程では、第１部品Ｐ１は、第２部品Ｐ２の上に重なる位置に組み付けられたかがチェックされる。

図３に示すステップＳ０５では、例えば、カメラは、まず、第２部品Ｐ２が組み付けられたかを判別する。次に、図３に示すステップＳ０５では、カメラは、第１部品Ｐ１が組み付けられたかを判別する。

このような判別とすると、例えば、作業員が誤って第２部品Ｐ２より先に第１部品Ｐ１を組み付けてしまった場合には、カメラは、誤った作業工程が行われたと判断する（図３のステップＳ０６でＮＯ）。これによって、カメラは、組み付ける順序が作業指示書の通りに行われたかをチェックすることができる。

また、このような判別では、カメラは、第１部品Ｐ１及び第２部品Ｐ２が双方とも含まれていると判別できないと、誤った作業工程が行われたと判断する（図３のステップＳ０６でＮＯ）。これによって、第２部品Ｐ２及び第１部品Ｐ１が双方とも組み付けられたかがチェックされ、例えば、作業員が誤って第２部品Ｐ２を組み付け忘れてしまう等のいわゆるポカミスを少なくできる。

さらに、このような判別では、カメラは、第２部品Ｐ２の上に重なる位置に第１部品Ｐ１が位置していると判別できないと、誤った作業工程が行われたと判断する（図３のステップＳ０６でＮＯ）。これによって、第１部品Ｐ１が第２部品Ｐ２の上に重なる位置に組み付けられたかがチェックされ、例えば、作業員が誤って第１部品Ｐ１の上に重なる位置に第２部品Ｐ２を組み付けてしまう等のいわゆるポカミスを少なくできる。

なお、カメラは、例えば、ネジの締め付け作業工程等をチェックしてもよい。この場合には、カメラは、ネジが組み付けられた位置及び組み付けられたネジの数等を判別する。ネジが組み付けられた位置がチェックされると、カメラは、作業指示書が示す位置にネジが組み付けられたかをチェックでき、誤って別の位置にネジが組み付けられる等のミスを少なくできる。また、ネジの数がチェックされると、カメラは、作業指示書が示す数のネジが組み付けられたかをチェックでき、誤ってネジが締め忘れている場合又は誤ってネジが多く組み付けられている場合等のミスを少なくできる。さらに、作業工程、部品及び製品は、他の種類でもよい。

また、判別では、部品に書き込まれている文字等が更に判別されてもよい。

図１０は、実施形態に係る画像処理装置による部品に書き込まれている文字等の判別の一例を示す図である。例えば、作業工程で、図示するような、第２部品Ｐ２と、第２部品Ｐ２とは異なる部品であって第２部品Ｐ２と同一又は類似の外形の類似部品Ｐ２１とがそれぞれ使用される例で説明する。また、図示するように、第２部品Ｐ２には、「ＡＡＡＡ」の第１文字ＣＨＡ１が書き込まれるとし、一方、類似部品Ｐ２１には、第１文字ＣＨＡ１とは異なる「ＢＢＢＢ」の第２文字ＣＨＡ２が書き込まれるとする。

この例では、カメラは、部品の外形等を判別し、部品に書き込まれている文字が第１文字ＣＨＡ１であるか否かを更に判別してもよい。図示するように、第２部品Ｐ２と、類似部品Ｐ２１とが双方とも作業工程で使用されると、作業員は、特に混同しやすく、取り出し作業工程等で誤った方を取り出してしまう等のミスを起こしやすい。これに対して、カメラが部品に書き込まれている文字等を判別すると、使用される部品が第２部品Ｐ２であるか類似部品Ｐ２１であるかがチェックされる。即ち、カメラが部品に書き込まれている文字等を判別すると、特に類似の部品等がある場合でも、誤った部品が使用されるのを少なくできる。

＜機能構成例＞
図１１は、実施形態に係る作業指示システムの機能構成の一例を示す機能ブロック図である。具体的には、作業指示システム１は、撮像部１Ｆ１と、取得部１Ｆ２と、入力部１Ｆ３と、判別部１Ｆ４と、出力部１Ｆ５と、認識部１Ｆ６とを含む。

撮像部１Ｆ１は、製品ＰＤ、第２部品Ｐ２等の部品又はこれらの周辺等を被写体として撮像し、画像データＤＩｍｇを生成する。なお、撮像部１Ｆ１は、例えば、撮像素子１０Ｈ８（図２）等によって実現される。

取得部１Ｆ２は、作業工程に対応する判別データＤＪを取得する。なお、取得部１Ｆ２は、入力Ｉ／Ｆ１０Ｈ４（図２）、外部Ｉ／Ｆ１０Ｈ６（図２）、通信Ｉ／Ｆ１０Ｈ７（図２）又は撮像素子１０Ｈ８等によって実現される。

入力部１Ｆ３は、作業工程に用いられる第１作業工程用資料データＤＤ１及び第２作業工程用資料データＤＤ２等の資料データを入力する。なお、入力部１Ｆ３は、入力Ｉ／Ｆ１０Ｈ４、外部Ｉ／Ｆ１０Ｈ６、通信Ｉ／Ｆ１０Ｈ７等によって実現される。

判別部１Ｆ４は、画像データＤＩｍｇが示す被写体が、判別データＤＪが示す状態又は物体を含むか等を判別する。なお、判別部１Ｆ４は、ＣＰＵ１０Ｈ１（図２）等によって実現される。

出力部１Ｆ５は、判別部１Ｆ４による判別によって特定される作業工程に対応する資料データを出力する。なお、出力部１Ｆ５は、出力Ｉ／Ｆ１０Ｈ５（図２）及びモニタ１１（図２）等によって実現される。

また、作業指示システム１は、図示するように、認識部１Ｆ６を更に含む機能構成でもよい。認識部１Ｆ６は、被写体が有する文字、数字、図形、記号、バーコード、２次元コード、前記部品の形状又はこれらの組み合わせを認識して、識別データＤＳＮを生成する。なお、認識部１Ｆ６は、ＣＰＵ１０Ｈ１等によって実現される。

さらに、作業指示システム１は、画像データＤＩｍｇ及び作業時間データＤＴ等を含む作業記録データＤＷを生成してもよい。

＜まとめ＞
以上の説明から明らかなように、本実施形態に係る作業指示システム１では、
・撮像部１Ｆ１は、第２部品Ｐ２等を被写体として画像データＤＩｍｇを生成する構成とした。
・取得部１Ｆ２は、カメラが部品等を判別するため、判別データＤＪを取得する構成とした。
・入力部１Ｆ３は、資料データを入力する構成とした。
・判別部１Ｆ４は、パターンマッチング等の画像処理により、撮像部１Ｆ１で撮像された被写体が取得部１Ｆ２によって取得される判別データＤＪが示す部品であるか等を判別する構成とした。
・出力部１Ｆ５は、判別部１Ｆ４が判別を行うと、図３に示すステップＳ０６のように、行われる作業工程が特定され、特定された作業工程に対応した資料データを出力する構成とした。

作業指示システム１は、取得部１Ｆ２によって、あらかじめ判別データＤＪを取得する。同様に、作業指示システム１は、入力部１Ｆ３によって、あらかじめ資料データを入力する。次に、作業工程が開始されると、作業指示システム１は、撮像部１Ｆ１によって、第２部品Ｐ２等の被写体を撮像し、画像データＤＩｍｇを生成する。

作業指示システム１は、判別データＤＪと、撮像される被写体とを比較して、作業工程において、正しい作業工程が行われたか誤った作業工程が行われたかを判別することができる。次に、誤った作業工程が行われた場合には、作業指示システム１は、誤った作業工程を作業員が修正するため、引き続き現行の作業工程が行われると特定できる（図３のステップＳ０６でＮＯ）。一方、正しい作業工程が行われた場合には、作業指示システム１は、作業員が次の作業工程を開始するため、次の作業工程が行われると特定できる（図３のステップＳ０６でＹＥＳ）。

このため、現行の作業工程が行われると特定されると、作業指示システム１は、現行の作業工程に対応した作業指示書等の資料を出力できる。一方、次の作業工程が行われると特定されると、作業指示システム１は、現行の作業工程に対応した作業指示書から切り替えて、次の作業工程に対応した作業指示書を出力できる。

したがって、作業指示システム１は、行われる作業工程に対応した作業指示書等の資料を出力できる。出力される資料によって、作業指示システム１は、作業員に、作業指示又は作業工程における注意点等を伝えることができる。このため、作業の熟練度が低い作業員等でも、作業工程を行いやすくすることができる。

また、作業指示システム１は、作業指示書等の資料をモニタ等で表示するため、作業指示システム１は、作業指示書等の資料をいわゆるペーパレス化することができる。

さらに、作業指示システム１では、チェックがカメラによって行われるため、いわゆるチェックシート等が使用されるチェックと比較して、チェックがペーパレス化できる。また、作業指示システム１では、チェックがカメラによって行われるため、チェックシートに記入する等のチェックを作業員が行ういわゆる検査工程等を削減できる。同様に、作業指示システム１では、チェックがカメラによって行われるため、作業工程を行った作業員とは別の作業員がチェックを行ういわゆるダブルチェックによる検査工程等を削減できる。

また、作業工程において誤った部品等が使用されるのを防ぐため、いわゆる配膳が行われる場合がある。この場合には、使用される部品のみがケース等に配置され、配置された部品がなくなると、部品がすべて組み付けられたとチェックされる。このためには、ケースに部品を仕分けする作業工程が新たに必要となることが多い。これに対して、本実施形態では、カメラが作業指示書の通りの部品が使用されているか等を判別するため、ケースに部品を仕分けする作業工程が少なくでき、工数を削減することができる。

さらに、作業指示システム１では、カメラを用いるため、電動ドライバ等の工具と接続してチェックを行うシステム等と比較して、ケーブルが少ない場合が多い。したがって、システム構築において、作業指示システム１は、配線等の作業を少なくできる。

また、作業指示システム１では、判別データを用いるため、電動ドライバ等の工具と接続してチェックを行うシステム等と比較して、チェックできる作業工程の種類が多い。さらに、電動ドライバ等の工具と接続してチェックを行うシステム等では、誤った部品が使われていないか等をチェックするのが難しい場合が多い。そのため、作業指示システム１は、多くの種類の作業工程をチェックできる。

＜第２実施形態＞
第２実施形態は、例えば、第１実施形態と同様の全体構成及びハードウェア構成となる作業指示システム等によって実現される。以下、第１実施形態と同様の全体構成及びハードウェア構成の例で説明し、重複する説明を省略する。第２実施形態は、第１実施形態と全体処理が異なる。

図１２は、第２実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。第１実施形態、すなわち、図３に示す全体処理と比較すると、図１２に示す全体処理には、ステップＳ２１及びステップＳ２２が加わる点が異なる。また、図３に示す全体処理におけるステップＳ０３と、図１２に示す全体処理におけるステップＳ０３とは処理内容が異なる。以下、異なる点を中心に説明する。

＜機種データの取得例（ステップＳ２１）＞
カメラは、機種データを取得する。なお、被写体の種類は、例えば、製品の機種等である。以下、被写体の種類が機種である例で説明する。まず、製品ＰＤ（図１）には、複数の機種があるとし、製品ＰＤの機種を特定できる文字、記号、番号又はこれらの組み合わせ等（以下「機種データ」という。）を示す文字、数字、図形、記号、バーコード、２次元コード又はこれらの組み合わせ等（以下「文字等」という。）が付けられる場合が多い。また、機種データは、製造番号等の一部であってもよい。例えば、製造番号の先頭の数文字から機種が特定できる場合には、機種データは、製造番号の先頭部分等である。そして、カメラは、文字等を撮像し、文字認識等によって機種データを取得する。

＜機種及び機種に対応する資料データの判定例（ステップＳ２２）＞
カメラは、機種及び機種に対応する資料データを判定する。まず、ステップＳ０２によって入力される資料データは、あらかじめ以下のようなデータ構成となるように生成されるとする。

図１３は、第２実施形態に係る資料データのデータ構成の一例を示す図である。例えば、図１２に示すステップＳ０３で出力される第１作業工程用資料データＤＤ１及び図１２に示すステップＳ１０で出力される第２作業工程用資料データＤＤ２等の資料データは、図示するように、機種ごとに、異なる資料データが入力される構成である。

具体的には、図示する例では、機種は、「製品ＩＤ」で特定される。また、この例では、機種データから「製品ＩＤ」が特定できるとする。つまり、まず、資料データは、機種が「Ａ」である製品及び機種が「Ｂ」である製品等の複数の機種に係るデータを有する。そして、製品ＰＤに付けられる製造番号等の文字等が読み取られると、製品ＰＤの機種が特定できる。次に、特定された機種に基づいて、カメラは、機種が「Ａ」である製品が作業対象であるか、又は機種が「Ｂ」である製品が作業対象であるか等が特定できる。

そして、各機種の製品は、複数の作業工程を経て、組み立てられるとする。図示する例では、機種が「Ａ」である製品は、「作業ＩＤ」が「Ａ１」である作業工程及び「作業ＩＤ」が「Ａ２」である作業工程等がそれぞれ行われて、組み立てられる。

さらに、図示するように、「作業ＩＤ」ごと、すなわち、作業工程ごとに、画像データ及び作業内容データ等が入力される。つまり、作業工程ごとに、図５に示すような資料データを出力するのに用いられる部品等を示す画像データＤ３、作業内容を説明するのに用いられる画像を示す画像データＤ２及び作業内容データを説明する文字等を示す作業内容データＤ１等が入力される。

また、作業工程ごとに、判別データＤＪが紐付けされる。なお、図４に示すような場合には、判別データＤＪは、画像データ又は座標データ等である。さらに、図１０に示すような判別を行う場合には、判別データＤＪに、部品に記載される文字等を示すデータが含まれてもよい。また、判別データＤＪと、資料データとは、１つのデータでも、別のデータでもよい。

なお、各データは、各作業工程で同一のデータが用いられる場合がある。例えば、「Ａ１」及び「Ａ２」で同一の部品が作業工程で用いられる場合には、画像データＤ３は、同一のデータが用いられる。このような場合には、データは、１つ入力され、複数の作業工程で共通して用いられてもよい。このようにすると、資料データのデータ容量を小さくすることができる。

そして、図１２に示すステップＳ２２では、カメラは、取得される機種データから機種を特定する。具体的には、図１３に示すデータ構成である場合には、カメラは、機種データから「製品ＩＤ」を特定する。次に、ステップＳ２２では、カメラは、特定される「製品ＩＤ」に対応する資料データを判定する、具体的には、図１３に示すデータ構成である場合には、カメラは、「製品ＩＤ」が「Ａ」の資料データであるか又は「製品ＩＤ」が「Ｂ」の資料データであるか等のように、機種に対応する資料データを判定する。

＜第１作業工程の資料データの出力例（ステップＳ０３）＞
図１２に戻り、ステップＳ０３では、カメラは、第１作業工程の資料データを出力する。ステップＳ０３では、カメラは、ステップＳ２２で判定される機種に対応する第１作業工程の資料データを出力する。具体的には、図１３に示すデータ構成であって、機種が「Ａ」と判定される場合には、カメラは、「作業ＩＤ」が「Ａ１」及び「Ａ２」等となる資料データのうちから第１作業工程の資料データを判別し、出力する。

図１２のような全体処理にすると、作業指示システムは、複数の機種があっても、機種等に応じた資料データを出力することができる。

＜第３実施形態＞
第３実施形態は、例えば、第１実施形態と同様の全体構成及びハードウェア構成となる作業指示システム等によって実現される。以下、第１実施形態と同様の全体構成及びハードウェア構成の例で説明し、重複する説明を省略する。第３実施形態は、第１実施形態と全体処理が異なる。

図１４は、第３実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。第１実施形態、すなわち、図３に示す全体処理と比較すると、図１４に示す全体処理には、ステップＳ３１が加わる点が異なる。以下、異なる点を中心に説明する。

＜修正作業工程の資料データの出力例（ステップＳ３１）＞
カメラは、修正作業工程の資料データを出力する。なお、修正作業工程は、前に行われた作業工程を修正し、製品等を第１作業工程が行われた後と同様の状態にする作業工程である。すなわち、まず、第１作業工程が行われるべき作業工程で誤った作業工程が行われると、カメラは、第１作業工程が完了していないと判別する（ステップＳ０６でＮＯ）。この状態では、誤った作業工程が行われたため、製品等は、第２作業工程に進むことができない状態となる。そこで、誤った作業工程後に、作業指示システムは、作業員に対して、修正作業工程の資料データを出力して、前に行われた誤った作業工程を修正する修正作業工程を行わせるようにする。このように、修正作業工程は、いわゆるＮＧ用の作業工程である。

修正作業工程が行われると、製品等は、第１作業工程が完了したと同じ状態となる。そのため、製品等は、次の作業工程となる第２作業工程に進むことができる（ステップＳ１０）。なお、修正作業工程では、第１作業工程が行われる場合と同様に、ステップＳ０４乃至ステップＳ０９等が行われてもよい。

第１作業工程が行われる場合において、誤った作業工程が行われる場合ある。このような場合において、再度、作業員が第１作業工程をやり直す場合より、修正作業工程を行う方が、次の第２作業工程に効率良く進むことができる場合がある。このような場合には、作業指示システムは、修正作業工程を行わせるようにする。このようにして、作業指示システムは、作業工程の効率を良くすることができる。

＜第４実施形態＞
第４実施形態は、例えば、第１実施形態と同様の全体構成及びハードウェア構成となる作業指示システム等によって実現される。以下、第１実施形態と同様の全体構成及びハードウェア構成の例で説明し、重複する説明を省略する。第４実施形態は、第１実施形態と全体処理が異なる。

製品等には、文字等を示すラベル又はシール等（以下「ラベル等」という。）の部品が組み付けられる場合がある。例えば、ラベル等の部品は、文字又は数字等によって製造番号等を示す。

複数のラベル等の部品を組み付ける作業工程がある場合等では、作業指示書等が示すラベル等の部品と異なるラベル等の部品が各作業工程で組み付けられたか否かをチェックできるのが望ましい。例えば、ラベル等の部品は、以下のような全体処理において、チェックされる。

図１５は、第４実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。第１実施形態、すなわち、図３に示す全体処理と比較すると、図１５に示す全体処理には、ステップＳ０４がステップＳ４１となる点が異なる。また、図３に示す全体処理と比較すると、図１５に示す全体処理は、ステップＳ０５の処理内容が異なる。以下、異なる点を中心に説明する。

＜部品チェックデータの入力例（ステップＳ４１）＞
カメラは、部品チェックデータを入力する。例えば、ラベル等の部品が、数字等によって製造番号等を示す場合には、作業員は、組み付けたラベル等に記載されている数字等の全部又は一部をキーボード等の入力装置を用いて作業指示システム等に入力する。そして、カメラは、入力装置を介して入力された数字等を示す部品チェックデータを生成する。このように、部品チェックデータは、作業工程によって、組み付けられたラベル等の部品に記載される製造番号等を示すデータである。なお、入力装置は、カメラ等であって、組み付けたラベル等が撮像されると、カメラは、撮像によって生成される画像データに含まれる数字等を文字認識して部品チェックデータを生成してもよい。また、ラベル等の部品がバーコード等を示す場合には、部品チェックデータは、いわゆるバーコードリーダ等の入力装置でスキャンされて生成されてもよい。

＜判別データに基づく判別例（ステップＳ０５）＞
カメラは、判別データに基づいて判別を行う。まず、カメラには、あらかじめ作業指示書に対応する数字等、すなわち、正しいラベル等の部品が示す数字等を示す判別データが入力される。そして、ステップＳ０６では、あらかじめ入力される判別データが示す数字等と、部品チェックデータが示す数字等とを比較する。

次に、カメラは、比較の結果、判別データが示す数字等と、部品チェックデータが示す数字等とが一致する場合には、カメラは、第１作業工程が完了したと判別する。一方、比較の結果、判別データが示す数字等と、部品チェックデータが示す数字等とが一致しない場合には、カメラは、第１作業工程が完了していないと判別する。

なお、ステップＳ０６に係る判断では、第１実施形態に係る第１作業工程が完了したと判別と、部品チェックデータを用いる判別とが組み合わせられてもよい。例えば、図３に示すように、まず、第１実施形態のステップＳ０４が行われ、画像データが生成される。

カメラは、画像データ及び判別データに基づいて判別を行う。具体的には、図３に示すように、画像データ及び判別データに基づく判別は、パターンマッチング等の画像処理によって実現される。

そして、部品チェックデータに基づく比較の結果、判別データが示す数字等と、部品チェックデータが示す数字等とが一致し、かつ、第２部品が作業員によって取り出されると、カメラは、第１作業工程が完了したと判別する。一方で、部品チェックデータに基づく比較の結果、判別データが示す数字等と、部品チェックデータが示す数字等とが一致しない、又は、第１作業工程で第２部品とは異なる第１部品等が取り出されると、カメラは、第１作業工程が完了していないと判別する。このように、カメラは、２つの判別結果を組み合わせて判別してもよい。

このように、作業工程では、数字等を示すラベル等の部品が組み付けられる場合がある。このような場合には、作業指示書が示すラベル等の部品が組み付けられているか否かをチェックする検査が行われるのが望ましい。

作業指示書が示すラベル等の部品が組み付けられているか否かは、ラベル等が示す数字等から判別される。このようにすると、作業指示システムは、誤ったラベル等が組み付けられて製品等が出荷されるのを少なくすることができる。

＜第５実施形態＞
第５実施形態は、例えば、第１実施形態と同様の全体構成及びハードウェア構成となる作業指示システム等によって実現される。以下、第１実施形態と同様の全体構成及びハードウェア構成の例で説明し、重複する説明を省略する。第５実施形態では、例えば、第１実施形態と同様の図３に示す全体処理が行われる。ただし、ステップＳ０４及びステップＳ０５の処理内容が異なる。以下、異なる点を中心に説明する。

例えば、取扱説明書若しくは保証書等の書類、製品の予備部品、出荷後にユーザ等が製品に組み付けるラベル等の部品又はこれらの組み合わせ（以下「同封品」という。）が製品と同封され、出荷される場合がある。作業指示システムは、同封品の向き、色、形、数量、順番又は同封品に記載されている文字若しくは絵等をチェックする検査を行うのが望ましい。なお、同封品の向き、色、形、数量、順番又は同封品に記載されている文字若しくは絵等は、作業指示書にあらかじめ定められてあるとし、これらは、判別データに入力されるとする。以下、第１作業工程では、同封品を梱包する作業が行われるとする。

＜第１作業工程に係る被写体の撮像例（ステップＳ０４）＞
図３に示すように、カメラは、作業スペースＷＳ（図１）上にある被写体を撮像し、画像データを生成する。第５実施形態では、被写体が同封品となる。なお、同封品が複数ある場合には、例えば、作業員は、梱包する順に、同封品をカメラによって撮像する。

＜判別データに基づく判別例（ステップＳ０５）＞
カメラは、判別データに基づいて判別を行う。具体的には、カメラは、画像データが示す同封品の向き、色又は形が、判別データが示す向き、色又は形と一致するか否かで判別する。また、同封品が書類であって、文字又は絵等が記載されている場合には、カメラは、記載されている文字又は絵等を認識して、判別データが示す文字又は絵等と一致するか否かで判別する。このようにして、カメラは、作業指示書が示す同封品が梱包されるか否かをチェックすることができる。

また、複数の同封品がある場合には、同封品が撮像された順番又はすべて一致するか等をチェックすると、カメラは、同封品が梱包される順番及び数量をチェックすることができる。

このように、作業工程では、同封品を梱包する場合がある。このような場合には、作業指示書が示す同封品の向き、色、形、数量、順番又は同封品に記載されている文字若しくは絵等をチェックする検査が行われるのが望ましい。

作業指示書が示す同封品の向き、色、形、数量、順番又は同封品に記載されている文字若しくは絵等の通りに同封品が梱包されるか否かは、同封品を撮像した画像データ等から判別される。このようにすると、作業指示システムは、誤った同封品が梱包されて出荷されるのを少なくすることができる。

＜第６実施形態＞
第６実施形態は、例えば、第１実施形態と同様の全体構成及びハードウェア構成となる作業指示システム等によって実現される。以下、第１実施形態と同様の全体構成及びハードウェア構成の例で説明し、重複する説明を省略する。第６実施形態では、図３に示す全体処理と比較すると、全体処理が異なる。以下、異なる点を中心に説明する。

図１６は、第６実施形態に係る作業指示システムによる全体処理の一例を示すフローチャートである。第１実施形態、すなわち、図３に示す全体処理と比較すると、図１６に示す全体処理には、ステップＳ６１が加わる点が異なる。

＜作業箇所の強調表示例（ステップＳ６１）＞
カメラは、作業箇所を強調する表示を行う。例えば、カメラは、以下のような表示をモニタに出力する。

図１７は、第６実施形態に係る作業指示システムによる作業箇所を強調する表示の一例を示す図である。以下、第１作業工程が、図示する第１作業工程用資料データＤＤ１が示すように、「トレイ」の４箇所に「ネジ」を組み付ける作業工程である例で説明する。まず、図１７に示すステップＳ０３によって、第１作業工程用資料データＤＤ１が、モニタ１１に表示される。

そして、モニタ１１には、図示するように、更に現行画像Ｉｍｇとが表示される。例えば、図示するように、現行画像Ｉｍｇに対して、作業対象となる箇所（以下「作業箇所」という。）を強調する強調表示ＨＬＡが行われる。例えば、図示するように、４箇所の「ネジ」を組み付ける作業箇所のうち、３箇所に対して「ネジ」の組み付けが終了した場合には、残りの１箇所（図示する現行画像Ｉｍｇの左上の箇所である。）が組み付け前である場合には、残りの１箇所が作業箇所となる。このような場合には、カメラは、現行画像Ｉｍｇにおいて、作業箇所が分かるように、例えば、作業箇所を囲み線で囲うため、囲み線の強調表示ＨＬＡを行う。なお、現行画像Ｉｍｇには、図１７に示すステップＳ０４で撮像される「トレイ」及び「ネジ」等の被写体が表示される。図示するように、現行画像Ｉｍｇは、例えば、撮像された画像上に強調表示ＨＬＡが行われた画像である。

また、モニタ１１には、いわゆる完成図ＩｍｇＦ等が表示されてもよい。図示するように、完成図ＩｍｇＦは、強調表示ＨＬＡで特定される作業箇所が、どのような状態となるとカメラに第１作業工程が完了と判別されるかを示す画像である。すなわち、作業員によって、強調表示ＨＬＡで特定される作業箇所が、完成図ＩｍｇＦが示すような状態にされると、第１作業工程は、完了する。図示する例では、作業箇所に「ネジ」が取り付けられると、作業箇所は、完成図ＩｍｇＦが示すような状態となり、第１作業工程は、完了する。

なお、強調表示ＨＬＡは、図示するように、囲み線で囲う表示に限られない。例えば、強調表示ＨＬＡは、作業箇所を拡大したり、点滅させたり、作業箇所以外の箇所をグレーアウトさせたりする表示等でもよい。

このように、作業指示システムが作業箇所を強調する出力を行うと、作業員は、どこが作業箇所であるかが分かりやすい。特に、図示するように、第１作業工程用資料データＤＤ１と併せて、現行画像Ｉｍｇ上に強調表示ＨＬＡが出力されると、作業員は、第１作業工程用資料データＤＤ１等と見比べるのが容易となり、作業内容等が分かりやすい。

なお、本発明に係る各処理の全部又は一部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃及びＪａｖａ（登録商標）等のレガシープログラミング言語等で記述されたコンピュータに実行させるためのプログラムによって実現されてもよい。なお、プログラミング言語は、オブジェクト指向プログラミング言語等でもよい。即ち、プログラムは、情報処理装置又は情報処理装置を含む情報処理システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

また、プログラムは、ＲＯＭ又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等のコンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらに、記録媒体は、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ等の光学ディスク、ＳＤ（登録商標）カード又はＭＯ等でもよく、電子媒体であればよい。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。

さらに、情報処理システムは、ネットワーク等によって相互に接続される２以上の情報処理装置を有し、各種処理の全部又は一部を複数の情報処理装置が分散、並列又は冗長してそれぞれ処理を行ってもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

１ 作業指示システム
１０ カメラ
１１ モニタ
Ｐ１ 第１部品
Ｐ２ 第２部品
Ｐ３ 第３部品
ＰＤ 製品
ＷＫ 作業員

特開２００２−３２８７１６号公報

Claims (18)

1. 被写体を撮像する画像処理装置と、前記画像処理装置に接続される出力装置とを有する作業指示システムであって、
   前記被写体を撮像して画像データを生成する撮像部と、
   前記被写体に対して行われる作業工程に対応する判別データを取得する取得部と、
   前記作業工程を示す資料データを入力する入力部と、
   前記画像データ及び前記判別データに基づいて、前記被写体が、前記判別データが示す状態又は物体を含むかを判別する判別部と、
   前記判別によって特定される前記作業工程に対応する資料データを出力する出力部と
   を含む作業指示システム。
2. 前記被写体には、前記作業工程によって部品が組み付けられる製品又は前記製品を構成する前記部品が含まれる請求項１に記載の作業指示システム。
3. 前記判別データは、前記製品若しくは前記部品の色、種類、形状、前記部品が前記作業工程で前記製品に組み付けられる数、前記部品が前記作業工程で前記製品に組み付けられる位置又はこれらの組み合わせを示すデータである請求項２に記載の作業指示システム。
4. 前記資料データは、前記作業工程の作業指示書、前記作業工程の作業内容、前記作業工程で使用される前記製品若しくは前記部品を示す画像、前記製品に前記部品を組み付けた状態を示す画像、前記作業工程の作業順序又はこれらの組み合わせを含むデータである請求項２又は３に記載の作業指示システム。
5. 前記判別部は、前記作業工程が前記作業指示書が示す作業工程であるか否かを判別する請求項４に記載の作業指示システム。
6. 前記被写体が有する文字、数字、図形、記号、バーコード、２次元コード、前記被写体の形状又はこれらの組み合わせを認識する認識部を更に含み、
   前記認識によって定まる前記被写体を識別する識別データと、前記作業工程とを対応させて記憶する請求項１乃至５のいずれか一項に記載の作業指示システム。
7. 前記識別データは、シリアルナンバ、製造番号又はＩＤである請求項６に記載の作業指示システム。
8. 前記作業工程が行われた作業時間を含む作業記録データを生成する請求項１乃至７のいずれか一項に記載の作業指示システム。
9. 前記作業工程で第１部品及び第２部品を含む複数の部品が使用される場合には、前記判別部は、前記第１部品及び前記第２部品がそれぞれ組み付けられたか否か、前記第１部品及び前記第２部品が組み付けられた順序、前記第１部品及び前記第２部品が組み付けられた位置又はこれらを組み合わせて判別する請求項１乃至８のいずれか一項に記載の作業指示システム。
10. 作業指示書が示す作業工程が行われたと判別されると、前記出力部は、前記作業工程の次の作業工程に対応する前記資料データを出力する請求項１乃至９のいずれか一項に記載の作業指示システム。
11. 前記被写体の種類を判定し、
    前記種類ごとに前記資料データが入力され、
    前記種類に基づいて、前記資料データが出力される請求項１乃至１０のいずれか一項に記載の作業指示システム。
12. 前記出力部は、前記判別に基づいて、前に行われた作業工程を修正する修正作業工程に対応する前記資料データを出力する請求項１乃至１１のいずれか一項に記載の作業指示システム。
13. 前記判別部は、前記判別データに基づいて、前記被写体の向き、色、形、数量、順番又は前記被写体に記載されている文字若しくは絵を判別する請求項１乃至１２のいずれか一項に記載の作業指示システム。
14. 前記出力部は、前記作業工程において作業対象となる箇所を強調して出力する請求項１乃至１３のいずれか一項に記載の作業指示システム。
15. 被写体を撮像する画像処理装置と、前記画像処理装置に接続される出力装置とを有する作業指示システムであって、
    前記被写体に組み付けられる部品を示す部品チェックデータを入力する第１入力部と、
    前記被写体に対して行われる作業工程に対応する判別データを取得する取得部と、
    前記作業工程に用いられる資料を示す資料データを入力する第２入力部と、
    前記部品チェックデータ及び前記判別データに基づいて、前記被写体が、前記判別データが示す物体を含むかを判別する判別部と、
    前記判別によって特定される前記作業工程に対応する資料データを出力する出力部と
    を含む作業指示システム。
16. 被写体を撮像する画像処理装置であって、
    前記被写体を撮像して画像データを生成する撮像部と、
    前記被写体に対して行われる作業工程に対応する判別データを取得する取得部と、
    前記作業工程に用いられる資料を示す資料データを入力する入力部と、
    前記画像データ及び前記判別データに基づいて、前記被写体が、前記判別データが示す状態又は物体を含むかを判別する判別部と、
    前記判別によって特定される前記作業工程に対応する資料データを出力する出力部と
    を含む画像処理装置。
17. 被写体を撮像する画像処理装置と、前記画像処理装置に接続される出力装置とを有する作業指示システムが行う情報処理方法であって、
    前記作業指示システムが、前記被写体を撮像して画像データを生成する撮像手順と、
    前記作業指示システムが、前記被写体に対して行われる作業工程に対応する判別データを取得する取得手順と、
    前記作業指示システムが、前記作業工程を示す資料データを入力する入力手順と、
    前記作業指示システムが、前記画像データ及び前記判別データに基づいて、前記被写体が、前記判別データが示す状態又は物体を含むかを判別する判別手順と、
    前記作業指示システムが、前記判別によって特定される前記作業工程に対応する資料データを出力する出力手順と
    を含む情報処理方法。
18. 被写体を撮像する画像処理装置と、前記画像処理装置に接続される出力装置とを有するコンピュータに実行させるためのプログラムであって、
    前記コンピュータが、前記被写体を撮像して画像データを生成する撮像手順と、
    前記コンピュータが、前記被写体に対して行われる作業工程に対応する判別データを取得する取得手順と、
    前記コンピュータが、前記作業工程を示す資料データを入力する入力手順と、
    前記コンピュータが、前記画像データ及び前記判別データに基づいて、前記被写体が、前記判別データが示す状態又は物体を含むかを判別する判別手順と、
    前記コンピュータが、前記判別によって特定される前記作業工程に対応する資料データを出力する出力手順と
    を実行させるためのプログラム。

Images