JP2013003773A - 画像判別装置、画像特定装置、この画像特定装置を備えた作業工程管理システム、および、プログラム - Google Patents

Abstract

【課題】画像の照合にかかる時間を可及的に短くし、かつ、適切に画像の照合をすることができる画像判別装置を提供する。
【解決手段】基準マスタ画像における特徴部位を指定する特徴指定部４４１と、マスタ画像において特徴部位を検出する特徴検出部４４２と、検出された特徴部位を基準マスタ画像における特徴部位に一致させるように、マスタ画像を変換する画像変換手段４４３と、撮像画像において特徴部位を検出する特徴検出部４４６と、検出された特徴部位を基準マスタ画像における特徴部位に一致させるように、撮像画像を変換する画像変換手段４４７と、変換後マスタ画像の指定色部分と変換後撮像画像の指定色部分とが一致するか否かを判別する判別部４４９とを備え、判別部４４９によって一致すると判別された場合に、撮像画像の被写体がマスタ画像の被写体と一致すると判別するようにした。
【選択図】図７

Description

本発明は、画像判別装置、画像特定装置、この画像特定装置を備えた作業工程管理システム、および、プログラムに関する。

従来、機械装置などの製造工程において、ネジの締め付けなどの工程が、作業をプログラミングされたロボットによって行われている。しかし、作業位置が作業対象物の内側部分にある場合（図１参照）や、作業対象物を所定の位置および方向に固定することが困難な場合、ロボットによって作業を行うことが困難となる。これらの場合には柔軟な作業動作による対応が要求されるので、作業者がその作業を行っている。作業者に作業を行わせる場合、作業者が各作業を常に正確かつ確実にできるとは限らず、作業ミスが起こり得る。このため、作業者による作業の場合、検品や品質検査を行なう必要がある。例えば、ネジの締付作業の場合、ネジの締め忘れや締付トルクの不足などのミスが発生しうるので、これらのミスを排除するために、作業位置の特定と締付トルクの検出を行う必要がある。従来、このような作業ミスを排除するための検査を効率よく行い、作業ミスによる不良品の製造を削減するために、各種の作業工程管理システムが開発されている。

例えば、作業者の特定の部位（例えば、目の上方など）に固定された撮像カメラで作業位置を撮像し、撮像された撮像画像と当該撮像カメラで予め撮像されたマスタ画像とを比較することで作業位置を特定する作業工程管理システムが開発されている。

特開２０１０−２２４７４９号公報

上記記載の作業工程管理システムにおいては、撮像画像を拡大／縮小、回転、平行移動などの画像変換手法により変換して、マスタ画像と照合するようにしている。しかしながら、画像変換の度合いを変化させながら各画像変換手法で変換するので、変換の度合いを小刻みに変化させた場合や変換の範囲を広くした場合、照合に時間がかかるという問題があった。また、逆に、変換の度合いを大きく変化させた場合や変換の範囲を狭くした場合、一致するマスタ画像を誤検出（未検出を含む）して、作業位置を正しく特定できない場合があるという問題があった。

また、撮像画像およびマスタ画像にはトルクレンチなどの工具の画像が含まれる。工具の表面は金属光沢があり、光の当たり具合によって色が変わる場合がある。したがって、同じ位置および方向で撮像した画像であっても、２つの画像における工具の色が異なる場合がある。この場合、当該２つの画像が同じ作業位置を撮像したものであると認識されず、作業位置を正しく特定できない場合があるという問題があった。

本発明は上記した事情のもとで考え出されたものであって、作業位置の特定にかかる時間を可及的に短くし、かつ、正しく作業位置を特定することができる作業工程管理システムを提供することをその目的としている。また、本発明は、作業工程管理システムに限らず、画像の照合にかかる時間を可及的に短くし、かつ、適切に画像の照合をすることができる画像判別装置および画像特定装置を提供することをその目的としている。

上記課題を解決するため、本発明では、次の技術的手段を講じている。

本発明の第１の側面によって提供される画像判別装置は、第１の画像の被写体が第２の画像の被写体と一致するか否かを判別する画像判別装置であって、第３の画像における特徴部位を指定する特徴指定手段と、前記第１の画像において前記特徴部位を検出する第１の特徴検出手段と、前記第１の特徴検出手段によって検出された特徴部位を前記第３の画像における特徴部位に一致させるように、前記第１の画像を第４の画像に変換する第１の画像変換手段と、前記第２の画像において前記特徴部位を検出する第２の特徴検出手段と、前記第２の特徴検出手段によって検出された特徴部位を前記第３の画像における特徴部位に一致させるように、前記第２の画像を第５の画像に変換する第２の画像変換手段と、前記第４の画像の指定色の部分と前記第５の画像の前記指定色の部分とが一致するか否かを判別する判別手段とを備えており、前記判別手段によって一致すると判別された場合に、前記第１の画像の被写体が前記第２の画像の被写体と一致すると判別する。

なお、本発明における「被写体」とは画像に写っている物体であり、被写体が複数の物体からなる場合も含まれる。これら複数の物体の位置関係が異なる場合、各物体が同じ物体であっても被写体は異なることになる。つまり、同じ物体がほぼ同じ位置関係に配置されている場合に、被写体が一致することになる。

本発明の第２の側面によって提供される画像判別装置は、第１の画像の被写体が第２の画像の被写体と一致するか否かを判別する画像判別装置であって、前記第２の画像における特徴部位を指定する特徴指定手段と、前記第１の画像において前記特徴部位を検出する特徴検出手段と、前記特徴検出手段によって検出された特徴部位を前記第２の画像における特徴部位に一致させるように、前記第１の画像を第３の画像に変換する画像変換手段と、前記第３の画像の指定色の部分と前記第２の画像の前記指定色の部分とが一致するか否かを判別する判別手段とを備えており、前記判別手段によって一致すると判別された場合に、前記第１の画像の被写体が前記第２の画像の被写体と一致すると判別する。

本発明の好ましい実施の形態においては、前記判別手段は、各画像の前記指定色の部分の中心位置の座標をそれぞれ算出し、算出された２つの座標間の距離が所定値以下である場合に一致すると判別する。

本発明の第３の側面によって提供される画像特定装置は、複数のマスタ画像を記憶する記憶手段と、本発明の第１または第２の側面によって提供される画像判別装置とを備えており、撮像された撮像画像の被写体が前記記憶手段に記憶された各マスタ画像の被写体と一致するか否かを前記画像判別装置に順次判別させ、前記画像判別装置によって被写体が前記撮像画像の被写体に一致すると判別されるマスタ画像を特定する。

本発明の第４の側面によって提供される作業工程管理システムは、複数の作業位置を有し、作業者によって各作業位置で所定の作業が行なわれる作業対象物に対して、前記作業者が前記作業を完了する毎に当該作業の作業位置を特定する作業工程管理システムであって、本発明の第３の側面によって提供される画像特定装置と、前記作業者の体勢が前記作業位置を見る体勢になると当該作業位置が撮像画面内に入る、前記作業者の所定の位置に固定された撮像手段と、前記作業者が前記作業対象物に対して作業を行なったとき、各作業位置で前記所定の作業を完了した後の所定のタイミングで前記撮像手段に撮像動作を行わせる撮像制御手段とを備え、予め作業者に前記作業対象物の各作業位置で前記所定の作業を行なわせて各作業の完了時に前記撮像手段により前記各作業位置をそれぞれ撮像した画像を前記マスタ画像とし、前記画像特定装置によって被写体が前記撮像手段で撮像された撮像画像の被写体と一致するとして特定されたマスタ画像に対応する作業位置を、当該作業の作業位置に特定する。

本発明の好ましい実施の形態においては、前記撮像手段は、前記作業者の目の近傍に、当該撮像手段の光軸方向が前記作業者が各作業位置で前記所定の作業をしているときの視線の方向とほぼ同一となる姿勢で固定されている。

本発明の好ましい実施の形態においては、前記作業は所定の工具を使用する作業であり、前記撮像制御手段は、前記工具に設けられ、前記作業の完了を検出すると、その検出信号を出力する検出手段と、前記検出手段から出力される検出信号に基づいて、前記撮像手段に撮像動作を行わせる制御手段とを含んでいる。

本発明の好ましい実施の形態においては、前記指定色は肌色である。

本発明の第５の側面によって提供されるプログラムは、コンピュータを、第１の画像の被写体が第２の画像の被写体と一致するか否かを判別する画像判別装置として機能させるためのプログラムであって、前記コンピュータを、第３の画像における特徴部位を指定する特徴指定手段と、前記第１の画像において前記特徴部位を検出する第１の特徴検出手段と、前記第１の特徴検出手段によって検出された特徴部位を前記第３の画像における特徴部位に一致させるように、前記第１の画像を第４の画像に変換する第１の画像変換手段と、前記第２の画像において前記特徴部位を検出する第２の特徴検出手段と、前記第２の特徴検出手段によって検出された特徴部位を前記第３の画像における特徴部位に一致させるように、前記第２の画像を第５の画像に変換する第２の画像変換手段と、前記第４の画像の指定色の部分と前記第５の画像の前記指定色の部分とが一致するか否かを判別する判別手段として機能させ、前記判別手段によって一致すると判別された場合に、前記第１の画像の被写体が前記第２の画像の被写体と一致すると判別することを特徴とする。

本発明によれば、特徴部位を第３の画像における特徴部位に一致させるように第１の画像および第２の画像が画像変換されて、変換後の第１の画像である第４の画像と変換後の第２の画像である第５の画像とが照合される。照合のために行われる第１の画像および第２の画像の変換処理はそれぞれ１回だけなので、照合にかかる時間を短くすることができる。また、第４の画像の指定色の部分と第５の画像の指定色の部分とが一致するか否かで、第１の画像が第２の画像と一致するか否かが判別される。したがって、指定色以外の部分が異なっていても、２つの画像を適切に照合することができる。また、当該照合方法を作業工程管理システムに採用した場合、作業位置の特定にかかる時間を可及的に短くし、かつ、正しく作業位置を特定することができる。

本発明のその他の特徴および利点は、添付図面を参照して以下に行う詳細な説明によって、より明らかとなろう。

第１実施形態に係る作業工程管理システムを説明するための図であり、作業者がワークの複数の作業位置でネジ締め作業を行っている状態を示している。 図１に示す作業工程管理システムのブロック図である。 作業時に撮像される画像を説明するための図である。 制御部が行う作業工程管理処理を説明するためのフローチャートである。 第１実施形態に係る特定処理（撮像画像を用いて作業位置を特定する処理）のうちマスタ画像の画像変換について説明するための図である。 第１実施形態に係る特定処理のうち撮像画像の画像変換について説明するための図である。 第１実施形態に係る特定処理部の内部構成を説明するためのブロック図である。 第１実施形態に係る特定準備処理（特定処理の準備のために特定処理部が行う処理）を説明するためのフローチャートである。 第１実施形態に係る特定処理を説明するためのフローチャートである。 第２実施形態に係る特定処理について説明するための図である。 第２実施形態に係る特定処理部の内部構成を説明するためのブロック図である。 第２実施形態に係る特定準備処理を説明するためのフローチャートである。 第２実施形態に係る特定処理を説明するためのフローチャートである。 第３実施形態に係る画像特定システムのブロック図である。

以下、本発明の実施の形態を、図面を参照して具体的に説明する。なお、本実施形態では、ネジの締付工程を管理する作業工程管理システムを例として説明する。

図１および図２は、本発明に係る画像特定装置を備える作業工程管理システムを説明するための図である。図１は、作業工程管理システム１を用いて作業者ＰがワークＷの複数の作業位置でネジ締め作業を行っている状態を示しており、図２は、作業工程管理システム１のブロック図を示している。この作業工程管理システム１は、ワークＷの各作業位置で確実にネジ締め作業が行われたか否かと、当該ネジ締め作業が適切に行われたか否かを確認するシステムである。作業工程管理システム１は、工具２、撮像カメラ３、および作業管理装置４を備えている。

工具２は、ネジの締付作業を行うための電動式のトルクドライバであり、制御ケーブル５により作業管理装置４と接続されている。トルクドライバにはトルクリミッタが内蔵され、トルクドライバに所定のトルクの負荷が掛かると、それを検出した信号が制御ケーブル５を介して作業管理装置４に出力される。トルクドライバのトルクリミット値は、ネジ締めが正常に行なわれたときのドライバのトルク値に設定されている。したがって、作業者Ｐが工具２で締付作業を行い、所定の方向にトルクリミット値のトルクが掛かったとき、工具２からその検出信号が、ネジ締め作業の完了信号として、作業管理装置４に入力される。以下、工具２から出力される検出信号を「作業完了信号」という。

工具２は、作業者Ｐが回転開始スイッチを押すと、ドライバの回転を開始するが、その回転開始からトルクがトルクリミット値に達するまでの時間を計時するタイマと、そのタイマで計時される計時時間が所定の時間より短い場合は、適切にネジの締め付けができていないと判定する判定回路を備えている。工具２は、判定回路で適切にネジの締め付けができていないと判定されると、作業完了信号に代えてエラー信号を作業管理装置４に入力する。

なお、工具２と作業管理装置４との接続は、作業の妨げとならないように、無線による接続としてもよい。また、適切にネジの締め付けができたか否かを作業管理装置４で判定するようにしてもよい。この場合は、作業管理装置４にタイマと判定回路を設け、工具２から回転開始スイッチが押された信号を作業管理装置４に入力し、当該作業管理装置４でその信号の入力から作業完了信号が入力されるまでの時間を計時し、その計時時間に基づいて適切にネジの締め付けができたか否かを判定するようにすればよい。また、本実施形態では、工具２を電動式のトルクドライバとしているが、手動式のトルクドライバとしてもよい。この場合は、作業者Ｐにスイッチなどを操作させて回転開始信号に相当する信号を生成し、作業管理装置４に入力させる必要がある。

撮像カメラ３は、作業者ＰがワークＷに対して作業をした作業位置を撮像するためのものであり、制御ケーブル６により作業管理装置４と接続されている。撮像カメラ３は作業者Ｐの特定の部位に固定されている。撮像カメラ３の作業者Ｐでの固定位置は、各作業位置で作業者Ｐがネジの締付作業を完了したときに撮像カメラ３の光軸方向Ｌ１が略作業位置の方向となる位置である。通常、作業者Ｐはネジの締付作業をするとき、ネジの締付位置（作業位置）を凝視しているから、作業位置に対する作業者Ｐの頭部の姿勢（特に、作業位置に対する作業者Ｐの目の周辺部位の位置関係）は安定していると考えられる。本実施形態では、図１に示すように、作業者Ｐの目の上方位置に撮像カメラ３を固定し、その光軸方向Ｌ１が作業者の視線方向Ｌ２とほぼ同じになるようにしている。これにより、作業者Ｐは、作業完了時に撮像カメラ３に作業位置を撮像させることを意識することなく、ネジの締付作業に集中することができる。

撮像カメラ３は、例えば、ヘッドランプのようにゴムバンドなどで固定されている。撮像カメラ３の作業者Ｐへの固定方法は、これに限定されるものではなく、撮像カメラ３が取り付けられたヘルメットを作業者Ｐに被らせるようにしてもよい。また、撮像カメラ３の固定位置は、目の上方位置に限定されるものではない。例えば、目の外側位置であってもよい。この場合は、例えば、撮像カメラ３が取り付けられた作業用のメガネやゴーグルを作業者Ｐに装着させるようにするとよい。なお、撮像カメラ３を作業者Ｐに取り付けるとき、作業者ＰにワークＷに対して作業姿勢を取らせ、その姿勢での撮像カメラ３の撮像画像を確認しながら、撮像カメラ３の固定位置を調整させるようにするとよい。

撮像カメラ３は、例えば、ＣＣＤ（charge-coupled Device）の撮像素子を備え、電子シャッタによって撮像（露出）の制御が行われる。撮像カメラ３にはオートフォーカス機能とオート露出機能とが設けられ、撮像直前に画面内の略中央で自動的に露出と焦点の調整が行われる。本実施形態においては、後述する特定処理で肌色認識を行う必要から、カラーＣＣＤを使用している。なお、画像の濃淡で肌色部分を認識する場合は、カラーＣＣＤより低価格なモノクロＣＣＤを使用することができる。なお、図１には示していないが、撮像カメラ３に照明装置を設け、その照明装置で作業位置を一定の明るさに照明するとよい。

作業者Ｐは作業位置を視認しながら作業を行うので、作業者Ｐに撮像カメラ３による作業位置の撮像を意識させることなく、作業完了時に撮像カメラ３により適切にワークＷ上の作業位置を撮像することができる。例えば、図３（ａ）に示すワークＷに４つのネジＮ１〜Ｎ４の締付作業をする場合、作業者Ｐは作業を行う各ネジを視認しながら作業する。したがって、ネジＮ１の締付作業を行ったときは同図（ｂ）の画像が撮像され、ネジＮ２の締付作業を行ったときは同図（ｃ）の画像が撮像され、ネジＮ３の締付作業を行ったときは同図（ｄ）の画像が撮像され、ネジＮ４の締付作業を行ったときは同図（ｅ）の画像が撮像される。なお、撮像カメラ３は、作業者Ｐの作業の邪魔にならず、作業完了時に作業位置を確実に撮像できればよいので、例えば、作業者Ｐの工具２を持つ腕に撮像カメラ３を装着してもよい。

撮像カメラ３の撮像動作は作業管理装置４によって制御され、撮像カメラ３は、作業管理装置４から撮像指示信号が入力されると、撮像動作を行い、その撮像画像の画像データ（以下、「撮像画像データ」という。）を作業管理装置４に転送する。なお、撮像カメラ３と作業管理装置４との接続は、作業の妨げとならないように、無線による接続としてもよい。

作業管理装置４は、作業工程管理システム１の制御を行うものである。作業管理装置４は、工具２から作業完了信号が入力されると、撮像カメラ３に撮像指示信号を出力し、撮像動作を行わせる。このとき、作業者ＰはワークＷの作業位置を見ており、撮像カメラ３の画面も作業者Ｐが見ている像とほぼ同じになるので、撮像カメラ３によりその作業位置が撮像される。作業管理装置４は、作業完了信号が入力されることによりネジの締付作業が適切に行われたことを認識し、そのときの撮像カメラ３の撮像画像に基づいて作業位置を特定する。作業管理装置４は、ワークＷ内の作業位置でのネジ締付作業が全て適切に行われた場合、そのワークＷのネジ締付作業工程が完了したと判断し、その判断結果を表示部４５（図２参照）に表示して作業者Ｐに知らせる。

作業管理装置４は、図２に示すように、制御部４１、作業管理部４２、マスタ画像記憶部４３、特定処理部４４、表示部４５、および操作部４６を備えている。

制御部４１は、作業工程管理システム１の動作を統括的に制御するものである。制御部４１は、工具２から作業完了信号が入力されると、それに応答して撮像カメラ３に撮像指示信号を出力する。撮像カメラ３がその撮像指示信号に基づいて撮像した画像のデータ（撮像画像データ）は、制御ケーブル６を介して作業管理装置４に転送され、特定処理部４４内の図示しないメモリに保存される。制御部４１は、特定処理部４４に処理開始の指示信号を出力し、特定処理部４４に後述する特定処理を行なわせる。

なお、本実施形態では、特定処理部４４により作業位置の特定ができなかった場合は、作業者Ｐにその旨を報知して、作業者Ｐにネジの締付作業のやり直しを促す構成としている。そして、作業者Ｐがネジの締付作業をやり直した場合は、特定処理部４４による作業位置の特定は行なわず、作業者Ｐに作業完了の情報を入力させるようにしている。これは、作業者Ｐに作業をやり直させた場合、作業者Ｐは作業完了時にその作業が指定されたとおりになっていることを確認すると考えられ、特定処理部４４により作業位置の特定を行なわせるまでもなく、作業者Ｐから作業完了の情報を入力させれば足りるとの考えに基づくものである。また、この方法を採用することにより、制御部４１に対して迅速に作業完了の情報を入力でき、処理の長時間化を回避できる、特定処理部４４で再度、作業位置が特定できなかった場合に作業者Ｐの判断と特定処理部４４の処理結果の矛盾により作業工程が停滞するという不都合を回避できる、などという効果もある。

また、制御部４１は、特定処理部４４から入力される処理結果の信号やユーザの操作によって操作部４６から入力される操作信号（作業完了の情報）に基づいて、作業管理部４２における作業工程の管理を制御する。具体的には、作業管理部４２は、作業工程の各作業位置のネジ締付作業が正常に完了したか否かをフラグによって管理しており、制御部４１は、作業管理部４２に対してそのフラグ（以下、「作業完了フラグ」という。）の設定を指示する。

また、制御部４１は、表示部４５に作業状況や作業者Ｐに対するメッセージを表示させる。作業状況やメッセージの表示とは、例えば、工具２からのエラー信号や特定処理部４４からのエラー信号に基づくエラー表示や作業者Ｐの作業のやり直しを促す表示や作業工程の完了を示す表示である。

作業管理部４２は、作業工程の各作業の状況を管理するものである。作業工程において作業を行なう必要がある作業位置には作業位置番号が付されている。作業管理部４２には作業位置番号ごとに上述の作業完了フラグが設けられている。作業完了フラグが「オン」（２値データでは、例えば、「１」）のとき、作業位置の作業は完了していることを示し、作業完了フラグが「オフ」（２値データでは、例えば、「０」）のとき、作業位置の作業は未完了であることを示す。制御部４１は、作業工程の開始時に作業管理部４２の全作業完了フラグを「オフ」に設定し、作業を完了した作業位置番号が特定処理部４４または操作部４６から入力された場合、その作業位置番号の作業完了フラグを「オン」に切り替える指令信号を作業管理部４２に出力する。作業管理部４２は、この指令信号により指定された作業位置番号の作業完了フラグを「オン」に切り替える。

マスタ画像記憶部４３は、マスタ画像のデータ（以下では、「マスタ画像データ」とする。）を記憶しておくものである。マスタ画像データは、特定処理部４４で作業位置を特定するために撮像画像データと比較されるための画像データであり、予め作業者ＰにワークＷでの作業工程の作業を行なわせ、そのワークＷの各作業位置を撮像カメラ３で撮像することで生成されて、作業位置番号と関連付けて記憶されている。例えば図３の例では、作業者ＰにワークＷに対してネジＮ１〜Ｎ４の締付作業を行なわせ、各作業位置で取得される同図（ｂ），（ｃ），（ｄ），（ｅ）の画像データがマスタ画像データとして記憶される。

本実施形態では、作業者ＰがワークＷの各作業位置で作業が完了する毎に、その作業位置を所定の位置から撮像カメラ３により撮像し、その撮像画像に対して、予め所定の位置から作業位置を撮像したマスタ画像との画像マッチングによる同定を行い、同定できたマスタ画像の作業位置番号から当該作業位置を特定している。本実施形態では、作業者Ｐが作業中に見ている作業位置と略同じような画像を得るために撮像カメラ３を作業者Ｐの目の近傍位置に取り付けているので、撮像画像と画像マッチングを行うためのマスタ画像も撮像画像と同様の方法で取得する必要がある。このため、作業者Ｐが実際に作業工程を行う前に、同一の作業工程を行なわせてワークＷの各作業位置の作業完了時における撮像画像データを取得し、その撮像画像データをマスタ画像データとするようにしている。以下、マスタ画像データを作成する作業をマスタリング作業という。

各作業位置における撮像画像の撮像位置および方向とマスタ画像の撮像位置および方向とが同一であれば、同一の作業位置における撮像画像とマスタ画像とは同一となる。しかし、撮像カメラ３は作業者Ｐに取り付けられており、繰り返されるワークＷの作業工程において、作業者Ｐが各作業位置で作業完了時に常に同一の体勢を取ることはできない。したがって、各作業位置における撮像位置および方向が変化するので、撮像画像とマスタ画像とは同一とならない。そこで、本実施形態では、撮像画像およびマスタ画像に対して、所定の基準に合わせるように拡大／縮小、回転、平行移動などの変換処理を施して、変換後の撮像画像と変換後のマスタ画像に基づいて画像マッチングを行うことで、同定の精度を高めるようにしている。

本実施形態では撮像画像およびマスタ画像に対して変換処理を施して画像マッチングを行うので、マスタリング作業における作業者Ｐと実際に作業工程を行う作業者Ｐとが異なっていても、体格差や姿勢の差による撮像位置および方向のズレをある程度排除することができる。しかし、工具２の持ち方などの作業者Ｐの癖に基づくズレ（作業位置と手との相対的な位置関係のズレなど）によって同定の精度が低くなることを避けるため、両作業者Ｐを同一にすることが望ましい。

特定処理部４４は、撮像カメラ３の撮像により得られた撮像画像データとマスタ画像記憶部４３に記憶されている各マスタ画像データとに基づいて画像マッチングを行って、撮像画像データがどの作業位置を撮像したものであるかを特定するものである。以下、この撮像画像データと各マスタ画像データとに基づいて画像マッチングを行って作業位置を特定する処理を「特定処理」という。特定処理部４４は、撮像画像データがどの作業位置を撮像したものであるかを特定できた場合、当該作業位置の作業位置番号を制御部４１に出力し、特定できなかった場合、作業位置番号に代えてエラー信号を出力する。なお、特定処理部４４が行なう特定処理についての詳細は後述する。

表示部４５は、作業状況や作業者Ｐに対するメッセージを表示するものであり、制御部４１によって制御される。制御部４１は、作業管理部４２の作業完了フラグの状態に応じて、作業工程の各作業の状況を表示部４５に表示させる。表示部４５は、各作業位置番号について、「作業完了」あるいは「作業未完了」の表示を、作業状況として表示する。また、制御部４１は、工具２からエラー信号が入力された場合、作業が不適切である旨のメッセージを表示部４５に表示させて作業者Ｐに当該作業のやり直しを促し、特定処理部４４からエラー信号が入力された場合、作業位置が特定できなかった旨のメッセージを表示部４５に表示させて作業者Ｐに作業位置の確認を行って操作部４６からその作業位置を入力するように促す。また、制御部４１は、作業管理部４２の作業完了フラグが全て「オン」になった場合、作業工程が全て完了した旨のメッセージを表示部４５に表示させて作業者ＰにワークＷを次の工程に進めるように促す。なお、表示部４５に表示されるメッセージに作業者Ｐが気付くように、音声報知部を設けて音声により報知するようにしてもよい。また、表示部４５は、作業者Ｐによる操作部４６の操作に基づいて、各マスタ画像および撮像画像を表示することができる。

操作部４６は、作業者Ｐが作業管理装置４を操作するためのものである。操作部４６には、作業工程の開始時に押圧されるためのスタートボタンと、特定処理部４４が作業位置を特定できなかった場合に作業者Ｐが作業位置番号を入力するためのテンキーなどが設けられている。また、操作部４６には、表示部４５に表示された画像で位置を示すカーソルを操作するための方向キーなども設けられている。

次に、作業工程管理システム１における処理手順を、図４に示すフローチャートを参照して説明する。

図４は、制御部４１が行う作業工程管理処理を説明するためのフローチャートである。当該処理は、作業者Ｐが操作部４６のスタートキーを押圧することにより、操作信号が制御部４１に入力されることで開始される。

まず、作業管理部４２に設定されている作業完了フラグがすべて「オフ」に初期化される（Ｓ１）。表示部４５には、すべての作業位置番号についての作業状況が「作業未完了」として表示される。

作業者Ｐは、工具２を用いて、ワークＷの決められた作業位置のネジ締付作業を行う。作業者Ｐがある作業位置のネジ締付作業を適切に完了した場合、工具２から制御部４１に作業完了信号が入力される。しかし、ネジ締付作業が適切に行われなかった場合（例えば、ネジが傾いたまま締められた場合など）、工具２から制御部４１にエラー信号が入力される。

制御部４１は、エラー信号が入力されたか否かを判別する（Ｓ２）。エラー信号が入力された場合（Ｓ２：ＹＥＳ）、表示部４５にネジ締付作業が不適切である旨のメッセージを表示させ（Ｓ３）、ステップＳ２に戻る。作業者Ｐは、このメッセージを見て、今行ったネジ締付作業を見直して再度、ネジ締付作業を行う。したがって、ネジ締付作業が不適切である場合は、表示部４５にその旨のメッセージが表示されるので、作業者Ｐは、表示部４５にその旨のメッセージが表示されなくなるまで、ネジ締付作業を繰り返すことになる。

エラー信号が入力されなかった場合（Ｓ２：ＮＯ）、制御部４１は、作業完了信号が入力されたか否かを判別する（Ｓ４）。作業完了信号が入力された場合（Ｓ４：ＹＥＳ）、撮像カメラ３に撮像指示信号を送信する（Ｓ５）。作業完了信号が入力されなかった場合（Ｓ４：ＮＯ）、ステップＳ２に戻る。すなわち、制御部４１は、ステップＳ２〜Ｓ４を繰り返して、作業完了信号が入力されるのを待つ。

撮像カメラ３は、撮像指示信号が入力されると、撮像動作を行い、その撮像動作で得られた撮像画像データを特定処理部４４に転送する。制御部４１は、特定処理部４４に特定処理を行わせる（Ｓ６）。特定処理の詳細は後述する。特定処理部４４は、特定処理を行い、作業位置を特定できた場合は作業位置番号を制御部４１に出力し、作業位置を特定できなかった場合はエラー信号を制御部４１に出力する。

制御部４１は、特定処理部４４からエラー信号が入力されたか否かを判別する（Ｓ７）。エラー信号が入力された場合（Ｓ７：ＹＥＳ）、表示部４５に作業位置を特定できなかった旨のメッセージを表示させる（Ｓ８）。作業者Ｐは、このメッセージを見て、作業位置を確認した後、現在作業を行った作業位置の番号を操作部４６から入力する。

なお、ステップＳ７においてエラー信号が入力された場合（Ｓ７：ＹＥＳ）、ステップＳ６に戻って再度特定処理を行わせるようにしてもよい。しかし、その場合は、所定回数特定処理を行っても作業位置を特定できないときに、ステップＳ８に進むようにする必要がある。本実施形態では、繰返し処理による作業工程の遅延化を防止するために、１度の特定処理で特定できない場合は作業者Ｐから作業位置の番号を入力させるようにしている。また、作業工程管理システム１は、作業者Ｐのうっかりミスを検知し、作業者Ｐに作業の適否を確認させてワークＷを次の工程に進ませることを主目的とするから、ステップＳ８のエラー表示後は作業者Ｐが作業の適否を確認すると考えられるので、敢えて特定処理を繰り返す必要性は少ないとも言える。

制御部４１は、操作部４６からの作業位置の番号の入力を待つ（Ｓ９）。作業位置の番号が入力されると（Ｓ９：ＹＥＳ）、作業管理部４２に当該作業位置番号の作業完了フラグを「オン」に切り替えさせる（Ｓ１１）。表示部４５には、当該作業位置番号についての作業状況が「作業完了」として表示される。

ステップＳ７でエラー信号が入力されなかった場合（Ｓ７：ＮＯ）、特定処理部４４から作業位置番号が入力されたか否かを判別する（Ｓ１０）。作業位置番号が入力された場合（Ｓ１０：ＹＥＳ）、作業管理部４２に当該作業位置番号の作業完了フラグを「オン」に切り替えさせる（Ｓ１１）。表示部４５には、当該作業位置番号についての作業状況が「作業完了」として表示される。作業位置番号が入力されなかった場合（Ｓ１０：ＮＯ）、ステップＳ７に戻る。すなわち、制御部４１は、ステップＳ７およびＳ１０を繰り返して、エラー信号または作業位置番号が入力されるのを待つ。

次に、制御部４１は、作業管理部４２の作業完了フラグがすべて「オン」になったか否かを判別する（Ｓ１２）。「オフ」になっている作業完了フラグがあった場合（Ｓ１２：ＮＯ）、ステップＳ２に戻り、次の作業完了信号を待つ。作業完了フラグがすべて「オン」になった場合（Ｓ１２：ＹＥＳ）、表示部４５に作業工程が全て完了した旨のメッセージを表示させて（Ｓ１３）、処理を終了する。作業者Ｐは、このメッセージを見て、ワークＷを次の工程に進める。

次に、特定処理部４４における特定処理について説明する。

特定処理は、作業工程で撮像された作業位置の撮像画像と略同一のマスタ画像を探し出し、そのマスタ画像の作業位置番号を撮像画像が撮像された作業位置として特定する処理である。実際に作業をする作業者Ｐがマスタリング作業を行った場合、撮像画像はマスタ画像を撮像したときとほぼ同じ位置から撮像されるので、両画像はほぼ同じ画像となる可能性が高い。しかし、作業者Ｐの作業完了時の体勢は常に同一とはならず、撮像位置および方向はその都度変化する。したがって、撮像画像とマスタ画像とが完全に同一とはならない。

そこで、本実施形態では、撮像画像およびマスタ画像に対して、所定の基準に合わせるように拡大／縮小、回転、平行移動などの変換処理を施して、変換後の撮像画像と変換後のマスタ画像に基づいて画像マッチングを行っている。具体的には、基準となるマスタ画像（以下では、「基準マスタ画像」とする。）を用意して、特徴的な部位（以下では、「特徴部位」とする。）を指定する。次に、撮像画像および各マスタ画像から当該特徴部位を検出する。検出された特徴部位を基準マスタ画像の特徴部位に一致させるように、撮像画像および各マスタ画像を画像変換する。変換後の撮像画像と変換後の各マスタ画像に基づいて画像マッチングを行う。

また、本実施形態では、変換後の撮像画像と変換後の各マスタ画像との画像マッチングを、画像中の特定色の領域の位置に基づいて行っている。具体的には、各画像中の肌色の領域を検出して、当該領域の中心座標をそれぞれ算出する。変換後の撮像画像の肌色領域の中心座標（以下では、「撮像画像検出座標」とする。）と変換後のマスタ画像の肌色領域の中心座標（以下では、「マスタ画像検出座標」とする。）との距離が所定値以下の場合、両者の肌色領域がほぼ一致すると判断して、撮像画像が当該マスタ画像と一致すると判断する。本実施形態では、撮像画像中には必ず作業者Ｐの手の画像が含まれるので、手の色である肌色の領域を検出するようにしている。なお、検出する領域の色は肌色に限定されず、作業時に使用する手袋の色としてもよいし、手や手袋、袖、工具２などの所定の位置に貼り付ける所定のマーカの色としてもよい。ただし、撮像時の光のあたり具合によって変化する色（例えば、工具２の金属光沢色など）は用いるべきではない。

図５および図６は、特定処理を説明するための図であり、図３（ａ）のワークＷの４つのネジＮ１〜Ｎ４の締付作業を例にして説明する。

図５（ａ）は、ワークＷのみを撮像した画像であり、基準マスタ画像として用いる画像を示している。また、図３（ｂ）〜（ｅ）は、それぞれネジＮ１〜Ｎ４の締付作業時に撮像した画像であり、マスタ画像として用いる画像を示している。図５（ａ）に示す基準マスタ画像では、ワークＷの左端部を特徴部位Ｆとして指定している。

図５（ｂ）〜（ｅ）は、図３（ｂ）〜（ｅ）に示すマスタ画像をそれぞれ画像変換した後の画像を示している。当該画像変換はワークＷの左端部の特徴部位Ｆが基準マスタ画像の特徴部位Ｆと一致するように各マスタ画像を変換するものであり、図５（ｂ）〜（ｅ）では平行移動変換のみがなされている。また、図５（ｂ）〜（ｅ）には、作業者Ｐの手を示す肌色領域の中心点Ｂ１〜Ｂ４がそれぞれ示されている。

図５（ｆ）は、同図（ｂ）〜（ｅ）の点Ｂ１〜Ｂ４を１つの画像に記載したものである。同図に示すように、点Ｂ１〜Ｂ４は、それぞれ異なる位置となっており、各作業時のワークＷに対する作業者Ｐの手の相対位置をそれぞれ示している。したがって、撮像画像に対して同様の画像変換を行って肌色領域の中心点ＢＳ（後述）を検出し、点ＢＳが点Ｂ１〜Ｂ４のいずれに近接するかを判断することによって、撮像画像がいずれの作業時に撮像されたものであるかを判断することができる。

図６（ａ）は、撮像画像を示しており、当該撮像画像がいずれの作業時のものであるかを特定する場合について説明する。

図６（ｂ）は、ワークＷの左端部の特徴部位Ｆが基準マスタ画像の特徴部位Ｆと一致するように、同図（ａ）に示す撮像画像を変換した後の画像を示している。同図（ｂ）では、画面の中心点を中心とした回転変換と縮小変換がなされている。また、同図（ｂ）には、作業者Ｐの手を示す肌色領域の中心点ＢＳが示されている。

図６（ｃ）は、図５（ｆ）に示す画像に点ＢＳを追加記載したものである。図６（ｃ）に示すように、点ＢＳは点Ｂ２に近接している。したがって、図６（ａ）に示す撮像画像は、図３（ｃ）に示すマスタ画像に対応するネジＮ２の締付作業時に撮像した画像と判断することができる。

本実施形態では、変換後の撮像画像の肌色領域の中心点（上記例では、点ＢＳ）が変換後の各マスタ画像の肌色領域の中心点（上記例では、点Ｂ１〜Ｂ４）のいずれに隣接するかを、中心点間の距離に基づいて判断している。すなわち、上記例の場合、点ＢＳと点Ｂｉ（ｉ＝１，２，３，４）との距離を算出して、算出された距離が所定値以下になる点Ｂｉに隣接すると判断する。なお、判断方法はこれに限られず、点ＢＳと全ての点Ｂｉとの距離を算出して、算出された距離が最小となる点Ｂｉに隣接すると判断するようにしてもよい。また、各作業位置のマスタ画像をそれぞれ複数ずつ用意して点Ｂｉをそれぞれ複数求めるようにして、複数の点Ｂｉに基づいて領域Ｂｉ’を設定し、点ＢＳが当該領域Ｂｉ’内に位置する場合に隣接すると判断するようにしてもよい（図６（ｄ）参照）。

図７は、特定処理を行う特定処理部４４の内部構成を説明するためのブロック図である。特定処理部４４は、特徴指定部４４１、特徴検出部４４２，４４６、画像変換部４４３，４４７、座標検出部４４４，４４８、記録部４４５、および判別部４４９を備えている。

特徴指定部４４１は、基準マスタ画像の特徴部位を指定するものである。特徴指定部４４１は、マスタ画像記憶部４３から基準マスタ画像の画像データを入力され、特徴部位のデータ（以下では、「特徴部位データ」とする。）を特徴検出部４４２，４４６に出力する。本実施形態においては、作業者Ｐが表示部４５に表示される基準マスタ画像上で操作部４６を操作してカーソルを移動させて、特徴部位を指定している。なお、特徴部位の指定方法はこれに限られず、周知のアルゴリズム（例えば、エッジ検出やＳＩＦＴ（Scale Invariant Feature Transform）特微量に基づく検出処理など）を用いて自動的に特徴部位を指定するようにしてもよい。また、本実施形態においてはマスタ画像とは別に基準マスタ画像を用意しているが、マスタ画像の中の１つを基準マスタ画像としてもよい。

特徴検出部４４２は、各マスタ画像から特徴部位を検出するものである。特徴検出部４４２は、特徴指定部４４１から特徴部位データを入力され、マスタ画像記憶部４３からマスタ画像データを入力されて、マスタ画像から特徴部位を検出し、マスタ画像の特徴部位を基準マスタ画像の特徴部位に一致させるための画像変換データを算出して画像変換部４４３に出力する。なお、特徴部位の検出および画像変換データの算出は、周知のアルゴリズム（例えば、ＩＣＰ（Iterative Closest Point）を用いた位置合わせや記述子を利用した対応づけ処理など）を用いている。

画像変換部４４３は、マスタ画像の画像変換を行うものである。画像変換部４４３は、特徴検出部４４２から入力される画像変換データを用いて、マスタ画像記憶部４３から入力されるマスタ画像データを画像変換し、変換されたマスタ画像データ（以下では、「変換後マスタ画像データ」とする。）を座標検出部４４４に出力する。

座標検出部４４４は、マスタ画像検出座標を検出するものである。座標検出部４４４は、画像変換部４４３から変換後マスタ画像データを入力されて、変換後のマスタ画像中の肌色の領域を検出し、当該領域の中心座標（マスタ画像検出座標）を算出して記録部４４５に出力する。なお、肌色の領域の検出および中心座標の算出は、周知のアルゴリズムを用いている。

記録部４４５は、マスタ画像検出座標を記録するものである。記録部４４５は、座標検出部４４４から入力されるマスタ画像検出座標をそれぞれマスタ画像の番号（作業位置番号）に対応付けて蓄積記録しておき、記録された各マスタ画像検出座標を順番に判別部４４９に出力する。

特徴検出部４４６は、撮像画像から特徴部位を検出するものである。特徴検出部４４６は、特徴指定部４４１から特徴部位データを入力され、撮像カメラ３から撮像画像データを入力されて（実際には一旦メモリに記憶される。）、撮像画像から特徴部位を検出し、撮像画像の特徴部位を基準マスタ画像の特徴部位に一致させるための画像変換データを算出して画像変換部４４７に出力する。

画像変換部４４７は、撮像画像の画像変換を行うものである。画像変換部４４７は、特徴検出部４４６から入力される画像変換データを用いて、撮像カメラ３から入力される撮像画像データを画像変換し、変換された撮像画像データ（以下では、「変換後撮像画像データ」とする。）を座標検出部４４８に出力する。

座標検出部４４８は、撮像画像検出座標を検出するものである。座標検出部４４８は、画像変換部４４７から変換後撮像画像データを入力されて、変換後の撮像画像中の肌色の領域を検出し、当該領域の中心座標（撮像画像検出座標）を算出して判別部４４９に出力する。

判別部４４９は、撮像画像検出座標とマスタ画像検出座標との距離が所定値以下であるか否かを判別するものである。判別部４４９は、座標検出部４４８から入力される撮像画像検出座標と記録部４４５から入力されるマスタ画像検出座標との距離を算出し、算出された距離が所定値以下である場合に対応するマスタ画像の番号（作業位置番号）を制御部４１に出力する。なお、判別部４４９は、撮像画像検出座標とマスタ画像検出座標との距離が所定値以下となるものがなかった場合には、エラー信号を制御部４１に出力する。

次に、図８および図９のフローチャートに基づいて、特定処理部４４が行う特定処理について説明する。

図８は、特定処理の準備のために特定処理部４４が行う処理（以下では、「特定準備処理」とする。）を説明するためのフローチャートである。特定準備処理は、マスタリング作業で撮像された各マスタ画像のマスタ画像検出座標を検出して、記録部４４５に蓄積記録するための処理である。特定準備処理は、マスタリング作業時に行われる処理であり、全てのマスタ画像の撮像が終了したときに開始される。なお、マスタ画像の撮像と並行して行うようにしてもよい。

まず、基準マスタ画像がマスタ画像記憶部４３から読み出され（Ｓ２１）、特徴部位が指定される（Ｓ２２）。次に、変数ｉが「１」に初期化される（Ｓ２３）。変数ｉは、各マスタ画像に対応する作業位置番号を指定するものである。

次に、作業位置番号ｉに対応するマスタ画像（以下の記載、図８、図１２および図１３では、「マスタ画像（ｉ）」とする。）がマスタ画像記憶部４３から読み出され（Ｓ２４）、マスタ画像（ｉ）から特徴部位が検出される（Ｓ２５）。次に、検出された特徴部位を基準マスタ画像の特徴部位に一致させるように、マスタ画像（ｉ）が画像変換され（Ｓ２６）、変換後マスタ画像（ｉ）の肌色領域の中心座標（マスタ画像（ｉ）検出座標）が検出される（Ｓ２７）。検出されたマスタ画像（ｉ）検出座標が記録部４４５に記録され（Ｓ２８）、変数ｉが「１」増加されて（Ｓ２９）、変数ｉが作業位置番号の最大値Ｎより大きいか否かが判別される（Ｓ３０）。変数ｉが最大値Ｎ以下の場合（Ｓ３０：ＮＯ）、ステップＳ２４に戻ってステップＳ２４〜Ｓ２９が行われ、変数ｉが最大値Ｎより大きい場合（Ｓ３０：ＹＥＳ）、特定準備処理が終了される。すなわち、マスタ画像（１）〜マスタ画像（Ｎ）の各マスタ画像検出座標が順に記録部４４５に記録される。

なお、特定準備処理をマスタ画像の撮像と並行して行う場合は、基準マスタ画像の撮像に続いてステップＳ２１〜Ｓ２３を行い、各マスタ画像の撮像毎にステップＳ２４〜Ｓ２９を行うようにすればよい。

図９は、特定処理を説明するためのフローチャートである。特定処理は、撮像カメラ３から撮像画像データが入力され、制御部４１から特定処理の指示が入力されることで開始される。

まず、撮像画像がメモリから読み出され（Ｓ４１）、撮像画像から特徴部位が検出される（Ｓ４２）。次に、検出された特徴部位を基準マスタ画像の特徴部位に一致させるように、撮像画像が画像変換され（Ｓ４３）、変換後撮像画像の肌色領域の中心座標（撮像画像検出座標）が検出される（Ｓ４４）。次に、変数ｉが「１」に初期化される（Ｓ４５）。

次に、マスタ画像（ｉ）検出座標が記録部４４５から読み出され（Ｓ４６）、撮像画像検出座標がマスタ画像（ｉ）検出座標に近接しているか否かが判別される（Ｓ４７）。当該判別は、撮像画像検出座標とマスタ画像（ｉ）検出座標との距離を算出し、当該距離が所定値以下であるか否かで判別される。近接していると判別された場合（Ｓ４７：ＹＥＳ）、作業位置番号ｉが制御部４１に出力されて（Ｓ５１）、特定処理が終了される。一方、近接していないと判別された場合（Ｓ４７：ＮＯ）、変数ｉが「１」増加されて（Ｓ４８）、変数ｉが作業位置番号の最大値Ｎより大きいか否かが判別される（Ｓ４９）。変数ｉが最大値Ｎ以下の場合（Ｓ４９：ＮＯ）、ステップＳ４６に戻ってステップＳ４６〜Ｓ４８が行われ、変数ｉが最大値Ｎより大きい場合（Ｓ４９：ＹＥＳ）、エラー信号が制御部４１に出力されて（Ｓ５０）、特定処理が終了される。すなわち、マスタ画像（１）検出座標〜マスタ画像（Ｎ）検出座標が順に読み出されて、撮像画像検出座標に近接するマスタ画像（ｉ）検出座標が見つかった場合に作業位置番号ｉが出力され、いずれも近接しない場合にエラー信号が出力される。

なお、すでに作業が完了した作業位置のマスタ画像との照合は行わなくてもよいので、作業管理部４２において作業完了フラグが「オフ」となっている作業位置番号のマスタ画像だけを用いて特定処理を行うようにしてもよい。この場合、ステップＳ４６でマスタ画像（ｉ）検出座標を読み出す前にｉ番目の作業位置に対応する作業完了フラグＦ（ｉ）が「オフ」になっているか否かを確認して、「オフ」になっている場合のみステップＳ４６〜Ｓ４７を行うようにすればよい。この場合、特定処理にかかる時間をさらに短縮することができる。

撮像画像検出座標とマスタ画像（ｉ）検出座標との距離をすべて算出し、最小の距離となるマスタ画像（ｉ）検出座標の番号ｉを出力する場合は、ステップＳ４７で判別する代わりに算出された距離の最小値を記録するようにして、ステップＳ５０の代わりに距離が最小値となるマスタ画像（ｉ）検出座標の番号ｉを出力するようにすればよい。この場合、エラー信号が出力されることがなく、いずれかの作業位置番号ｉが出力されることになる。

各作業位置のマスタ画像をそれぞれ複数ずつ用意してマスタ画像（ｉ）検出座標をそれぞれ複数求めて領域（ｉ）を設定し、撮像画像検出座標がいずれの領域（ｉ）に位置するかで番号ｉを出力する場合は、図８のステップＳ２４〜Ｓ２７を用意したマスタ画像の数だけ繰り返して領域（ｉ）の範囲を記録し、図９のステップＳ４６で領域（ｉ）の範囲を読み出して、ステップＳ４７で撮像画像検出座標が領域（ｉ）の範囲内にあるか否かを判別するようにすればよい。この場合、各作業位置のマスタ画像をそれぞれ複数ずつ用いて領域（ｉ）を設定するので、いずれかのマスタ画像が不適切であっても作業位置が誤検出されることを抑制することができる。また、複数の作業者Ｐがそれぞれ各作業位置のマスタ画像を撮像することで各作業位置のマスタ画像を複数ずつ用意するようにした場合、作業者Ｐの個別特性を緩和させた特定処理を行うことができる。したがって、いずれの作業者Ｐが作業を行った場合でも作業位置が誤検出されることを抑制することができる。

また、特定準備処理を特定処理に含めるようにしてもよい。すなわち、あらかじめマスタ画像検出座標を算出して記録部４４５に蓄積記録しておくのではなく、撮像画像が撮像される都度、各マスタ画像検出座標を算出するようにしてもよい。この場合、図８のフローチャートにおけるステップＳ２１〜Ｓ２２をあらかじめ行って基準マスタ画像の特徴部位を指定しておき、図９のフローチャートにおいてステップＳ４６の代わりに図８のステップＳ２４〜２７を行うようにすればよい。この場合、特定処理部４４に記録部４４５を設ける必要がない。

なお、上記処理を行うためのプログラムをコンピュータ読み取り可能に記録した記録媒体から汎用コンピュータに読み込んで、当該汎用コンピュータでそのプログラムを実行させることにより作業管理装置４を実現してもよい。

次に、作業工程管理システム１の作用について説明する。

本実施形態において、特定処理部４４は、作業完了信号に基づいて実際の作業工程における作業位置を撮像した撮像画像と予め各作業位置を撮像したマスタ画像とを照合して作業位置を特定する。撮像画像と各マスタ画像との照合は、基準マスタ画像の特徴部位に一致させるように撮像画像および各マスタ画像を画像変換し、変換後の撮像画像と変換後の各マスタ画像とを照合することで行われる。撮像画像および各マスタ画像の画像変換処理はそれぞれ１回だけなので、照合にかかる時間を短くすることができる。したがって、作業位置の特定にかかる時間を可及的に短くすることができる。

また、変換後の撮像画像の肌色部分の中心座標と変換後のマスタ画像の肌色部分の中心座標との距離に基づいて照合が行われる。したがって、両画像の肌色部分以外が異なっていても、撮像画像とマスタ画像の照合を適切に行うことができる。これにより、撮像画像およびマスタ画像に光の当たり方で色が異なって撮像される工具２の金属部分が含まれていても、適切に照合を行うことができ、正しく作業位置を特定することができる。

上記実施形態（以下では、「第１実施形態」とする。）においては、基準マスタ画像を基準として撮像画像およびマスタ画像を画像変換して照合する場合について説明したが、これに限られない。各マスタ画像を基準として撮像画像のみを画像変換して照合するようにしてもよい。以下に、図１０〜図１３を参照して、各マスタ画像を基準として撮像画像のみを画像変換して照合する場合を第２実施形態として説明する。なお、第２実施形態に係る作業工程管理システムは第１実施形態に係る作業工程管理システム１に対して特定処理部の内部構成が異なるだけである。作業工程管理システム全体のブロック図および作業工程管理処理のフローチャートは図２および図４と同様なので、これらの記載および説明を省略している。

図１０は、第２実施形態に係る特定処理を説明するための図であり、図３（ａ）のワークＷの４つのネジＮ１〜Ｎ４の締付作業を例にして説明する。

図１０（ａ）は、撮像画像を示しており、図６（ａ）と同じ図である。図１０（ｂ）〜（ｅ）は、それぞれ図３（ｂ）〜（ｅ）に示すマスタ画像のワークＷの左端部の特徴部位Ｆ（図３には図示していない。）に図１０（ａ）に示す撮像画像のワークＷの左端部の特徴部位Ｆを一致させるように、撮像画像を画像変換した後の画像を示している。各画像変換では、回転変換、縮小変換、および平行移動変換がなされている。また、図１０（ｂ）〜（ｅ）には、作業者Ｐの手を示す肌色領域の中心点ＢＳ（図において黒丸で示している。）が示されている。また、図１０（ｂ）〜（ｅ）には、それぞれ図３（ｂ）〜（ｅ）に示すマスタ画像における肌色領域の中心点Ｂ１'〜Ｂ４'（図において白丸で示している。）を示している。図１０（ｂ）〜（ｅ）に示すように、点Ｂ２'が点ＢＳに近接している。したがって、図１０（ａ）に示す撮像画像は、図３（ｃ）に示すマスタ画像に対応するネジＮ２の締付作業時に撮像した画像と判断することができる。

図１１は、第２実施形態に係る作業工程管理システムの特定処理部４４’の内部構成を説明するためのブロック図である。なお、同図において、上記第１実施形態（図７参照）と同一または類似の要素には、同一の符号を付している。第２実施形態に係る特定処理部４４’は、特徴検出部４４２および画像変換部４４３を有しない点と、特徴指定部４４１’が各マスタ画像の特徴部位を指定する点とで、第１実施形態に係る特定処理部４４と異なる。

特徴指定部４４１’は、各マスタ画像の特徴部位を指定するものである。特徴指定部４４１’は、マスタ画像記憶部４３から各マスタ画像の画像データを入力され、特徴部位データを特徴検出部４４６に出力する。なお、特徴部位は、作業者Ｐによる操作部４６の操作によって指定してもよいし、周知のアルゴリズムを用いて自動的に指定するようにしてもよい。座標検出部４４４は、マスタ画像記憶部４３から各マスタ画像の画像データを入力されて、マスタ画像中の肌色の領域を検出し、当該領域の中心座標（マスタ画像検出座標）を算出して記録部４４５に出力する。つまり、第２実施形態におけるマスタ画像検出座標は、画像変換しないマスタ画像に基づいて算出される（図１０（ｂ）のＢ１’など参照）。特徴検出部４４６は、撮像画像からマスタ画像の特徴部位を検出し、撮像画像の特徴部位をマスタ画像の特徴部位に一致させるための画像変換データを算出して画像変換部４４７に出力する。したがって、第２実施形態における撮像画像検出座標は、特徴部位をマスタ画像の特徴部位に一致させるように変換された撮像画像に基づいて算出される（図１０（ｂ）などのＢＳ参照）。

図１２は、第２実施形態に係る特定準備処理を説明するためのフローチャートである。第１実施形態に係る特定準備処理と同様の部分は省略して説明する。

まず、変数ｉが「１」に初期化される（Ｓ６１）。次に、マスタ画像（ｉ）がマスタ画像記憶部４３から読み出され（Ｓ６２）、特徴部位が指定されてメモリに記録される（Ｓ６３）。次に、マスタ画像（ｉ）検出座標が検出され（Ｓ６４）、記録部４４５に記録される（Ｓ６５）。次に、変数ｉが「１」増加されて（Ｓ６６）、変数ｉが作業位置番号の最大値Ｎより大きいか否かが判別される（Ｓ６７）。変数ｉが最大値Ｎ以下の場合（Ｓ６７：ＮＯ）、ステップＳ６２に戻ってステップＳ６２〜Ｓ６６が行われ、変数ｉが最大値Ｎより大きい場合（Ｓ６７：ＹＥＳ）、特定準備処理が終了される。すなわち、マスタ画像（１）〜マスタ画像（Ｎ）の特徴部位データがそれぞれメモリに記録され、各マスタ画像検出座標が順に記録部４４５に記録される。上述したように、マスタ画像検出座標は、画像変換しないマスタ画像に基づいて検出されている。

図１３は、第２実施形態に係る特定処理を説明するためのフローチャートである。第１実施形態に係る特定処理と同様の部分は省略して説明する。

まず、撮像画像が撮像カメラ３から読み出され（Ｓ８１）、変数ｉが「１」に初期化されて（Ｓ８２）、マスタ画像（ｉ）の特徴部位データがメモリから読み出される（Ｓ８３）。次に、撮像画像から特徴部位が検出され（Ｓ８４）、マスタ画像（ｉ）の特徴部位に一致させるように撮像画像が画像変換され（Ｓ８５）、変換後撮像画像の肌色領域の中心座標（撮像画像検出座標）が検出される（Ｓ８６）。次に、マスタ画像（ｉ）検出座標が記録部４４５から読み出され（Ｓ８７）、撮像画像検出座標がマスタ画像（ｉ）検出座標に近接しているか否かが判別される（Ｓ８８）。近接していると判別された場合（Ｓ８８：ＹＥＳ）、作業位置番号ｉが制御部４１に出力されて（Ｓ９２）、特定処理が終了される。一方、近接していないと判別された場合（Ｓ８８：ＮＯ）、変数ｉが「１」増加されて（Ｓ８９）、変数ｉが作業位置番号の最大値Ｎより大きいか否かが判別される（Ｓ９０）。変数ｉが最大値Ｎ以下の場合（Ｓ９０：ＮＯ）、ステップＳ８３に戻ってステップＳ８３〜Ｓ８９が行われ、変数ｉが最大値Ｎより大きい場合（Ｓ９０：ＹＥＳ）、エラー信号が制御部４１に出力されて（Ｓ９１）、特定処理が終了される。すなわち、マスタ画像（１）〜マスタ画像（Ｎ）の特徴部位データが順番に読み出されて、撮像画像が変換されて撮像画像検出座標が検出される。当該撮像画像検出座標が対応するマスタ画像（ｉ）検出座標に近接していた場合に作業位置番号ｉが出力され、いずれも近接しない場合にエラー信号が出力される。

第２実施形態においても、第１実施形態と同様に、作業位置の特定にかかる時間を可及的に短くすることができ、適切に照合を行って正しく作業位置を特定することができるという効果を奏することができる。さらに、マスタ画像を画像変換する工程を省略することができるので、画像変換による誤差の発生を抑制することができるという効果も奏する。なお、第２実施形態とは逆に、撮像画像の特徴部位を指定して、各マスタ画像を画像変換して照合するようにしてもよい。

上記第１および第２実施形態ではネジの締付作業の場合について説明したが、これに限られず、例えば、トルクレンチでボルトまたはナットを締める作業や、溶接機で溶接を行う作業や、ハンダ付け作業などでも本発明を適用することができる。また、道具を使用しない作業であっても、本発明を適用することができる。例えば、ボルトの締まり具合を点検する検査においても、作業者Ｐは作業位置を目視しながら行うので、別途設けたスイッチにより作業完了信号を作業管理装置４に入力するようにすれば、本発明を適用することができる。

また、本発明に係る画像特定装置は、作業工程管理システムに用いられる場合に限定されない。以下に、撮像画像とマスタ画像とを照合することで撮像された被写体を特定する画像特定システムを第３実施形態として説明する。

図１４は、第３実施形態に係る画像特定システムのブロック図である。画像特定システム１’は、撮像カメラ３’および画像特定装置４’を備えている。なお、同図において、上記第１実施形態（図２参照）と同一または類似の要素には同一の符号を付しており、詳細な説明を省略している。

撮像カメラ３’は、被写体を撮像するカメラであって、画像特定装置４’と接続されている。撮像カメラ３’は、作業者Ｐの特定の部位に固定されていてもよいし、動かない所定の位置に固定されていてもよい。本発明は、撮像カメラ３’が作業者Ｐに固定されるなど移動可能な場合で、撮像画像とマスタ画像とで被写体の位置や配置が一定しない場合でも、短時間で適切に被写体を特定できることが特徴であるが、撮像カメラ３’が所定の位置に固定されていて撮像画像とマスタ画像とで被写体の位置や配置が一定である場合でも、短時間で適切に被写体を特定することができる。なお、撮像のタイミングは、図示しないスイッチにより行うようにしてもよいし、一定のタイミング毎に撮像を行うようにしてもよい。

画像特定装置４’は、画像の特定を行う装置であり、制御部４１、マスタ画像記憶部４３、特定処理部４４、表示部４５、および操作部４６を備えている。制御部４１は、撮像カメラ３’から撮像画像データが入力されると特定処理部４４に特定処理を行わせ、処理結果を表示部４５に表示させる。特定処理部４４は、撮像カメラ３’から入力された撮像画像データとあらかじめ撮像カメラ３’で撮像されてマスタ画像記憶部４３に記憶されている各マスタ画像データとに基づいて、撮像画像の被写体がどのマスタ画像の被写体と同一であるかを特定するものである。特定処理部４４の内部構成は第１実施形態に係る特定処理部４４の内部構成（図７参照）と同様であり、特定処理部４４が行う処理は第１実施形態に係る特定処理部４４が行う処理（図８および図９参照）と同様である。なお、特定処理部４４を第２実施形態に係る特定処理部４４’（内部構成は図１１参照、行なう処理は図１２および図１３参照）としてもよい。

画像特定装置４’において、マスタ画像記憶部４３に記憶するマスタ画像を１つとした場合、撮像画像がマスタ画像と一致するか否かを判別する画像判別装置とすることができる。本発明に係る画像特定装置および画像判別装置は、検品システムや品質検査システム、分別システム、仕分けシステムなど様々なシステムに用いることができる。

本発明に係る画像判別装置、画像特定装置、この画像特定装置を備えた作業工程管理システム、および、プログラムは、上述した実施形態に限定されるものではない。本発明に係る画像判別装置、画像特定装置、この画像特定装置を備えた作業工程管理システム、および、プログラムの各部の具体的な構成は、種々に設計変更自在である。

１ 作業工程管理システム
１’ 画像特定システム
２ 工具（トルクドライバ，検出手段）
３，３’ 撮像カメラ（撮像手段）
４ 作業管理装置
４’ 画像特定装置
４１ 制御部（撮像制御手段）
４２ 作業管理部
４３ マスタ画像記憶部（記憶手段）
４４，４４’ 特定処理部（画像判別装置）
４４１，４４１’ 特徴指定部
４４２，４４６ 特徴検出部
４４３，４４７ 画像変換部
４４４，４４８ 座標検出部
４４５ 記録部
４４９ 判別部
４５ 表示部
４６ 操作部
５，６ 制御ケーブル
Ｐ 作業者
Ｗ ワーク
Ｎ，Ｎ１，Ｎ２，Ｎ３，Ｎ４ ネジ

Claims (9)

1. 第１の画像の被写体が第２の画像の被写体と一致するか否かを判別する画像判別装置であって、
   第３の画像における特徴部位を指定する特徴指定手段と、
   前記第１の画像において前記特徴部位を検出する第１の特徴検出手段と、
   前記第１の特徴検出手段によって検出された特徴部位を前記第３の画像における特徴部位に一致させるように、前記第１の画像を第４の画像に変換する第１の画像変換手段と、
   前記第２の画像において前記特徴部位を検出する第２の特徴検出手段と、
   前記第２の特徴検出手段によって検出された特徴部位を前記第３の画像における特徴部位に一致させるように、前記第２の画像を第５の画像に変換する第２の画像変換手段と、
   前記第４の画像の指定色の部分と前記第５の画像の前記指定色の部分とが一致するか否かを判別する判別手段と、
   を備えており、
   前記判別手段によって一致すると判別された場合に、前記第１の画像の被写体が前記第２の画像の被写体と一致すると判別する、画像判別装置。
2. 第１の画像の被写体が第２の画像の被写体と一致するか否かを判別する画像判別装置であって、
   前記第２の画像における特徴部位を指定する特徴指定手段と、
   前記第１の画像において前記特徴部位を検出する特徴検出手段と、
   前記特徴検出手段によって検出された特徴部位を前記第２の画像における特徴部位に一致させるように、前記第１の画像を第３の画像に変換する画像変換手段と、
   前記第３の画像の指定色の部分と前記第２の画像の前記指定色の部分とが一致するか否かを判別する判別手段と、
   を備えており、
   前記判別手段によって一致すると判別された場合に、前記第１の画像の被写体が前記第２の画像の被写体と一致すると判別する、画像判別装置。
3. 前記判別手段は、各画像の前記指定色の部分の中心位置の座標をそれぞれ算出し、算出された２つの座標間の距離が所定値以下である場合に一致すると判別する、
   請求項１または２に記載の画像判別装置。
4. 複数のマスタ画像を記憶する記憶手段と、
   請求項１ないし３のいずれかに記載の画像判別装置と、
   を備えており、
   撮像された撮像画像の被写体が前記記憶手段に記憶された各マスタ画像の被写体と一致するか否かを前記画像判別装置に順次判別させ、前記画像判別装置によって被写体が前記撮像画像の被写体に一致すると判別されるマスタ画像を特定する、画像特定装置。
5. 複数の作業位置を有し、作業者によって各作業位置で所定の作業が行なわれる作業対象物に対して、前記作業者が前記作業を完了する毎に当該作業の作業位置を特定する作業工程管理システムであって、
   請求項４に記載の画像特定装置と、
   前記作業者の体勢が前記作業位置を見る体勢になると当該作業位置が撮像画面内に入る、前記作業者の所定の位置に固定された撮像手段と、
   前記作業者が前記作業対象物に対して作業を行なったとき、各作業位置で前記所定の作業を完了した後の所定のタイミングで前記撮像手段に撮像動作を行わせる撮像制御手段と、
   を備え、
   予め作業者に前記作業対象物の各作業位置で前記所定の作業を行なわせて各作業の完了時に前記撮像手段により前記各作業位置をそれぞれ撮像した画像を前記マスタ画像とし、
   前記画像特定装置によって被写体が前記撮像手段で撮像された撮像画像の被写体と一致するとして特定されたマスタ画像に対応する作業位置を、当該作業の作業位置に特定する、
   作業工程管理システム。
6. 前記撮像手段は、前記作業者の目の近傍に、当該撮像手段の光軸方向が前記作業者が各作業位置で前記所定の作業をしているときの視線の方向とほぼ同一となる姿勢で固定されている、請求項５に記載の作業工程管理システム。
7. 前記作業は所定の工具を使用する作業であり、
   前記撮像制御手段は、
   前記工具に設けられ、前記作業の完了を検出すると、その検出信号を出力する検出手段と、
   前記検出手段から出力される検出信号に基づいて、前記撮像手段に撮像動作を行わせる制御手段と、
   を含んでいる、
   請求項５または６に記載の作業工程管理システム。
8. 前記指定色は肌色である、請求項５ないし７のいずれかに記載の作業工程管理システム。
9. コンピュータを、第１の画像の被写体が第２の画像の被写体と一致するか否かを判別する画像判別装置として機能させるためのプログラムであって、
   前記コンピュータを、
   第３の画像における特徴部位を指定する特徴指定手段と、
   前記第１の画像において前記特徴部位を検出する第１の特徴検出手段と、
   前記第１の特徴検出手段によって検出された特徴部位を前記第３の画像における特徴部位に一致させるように、前記第１の画像を第４の画像に変換する第１の画像変換手段と、
   前記第２の画像において前記特徴部位を検出する第２の特徴検出手段と、
   前記第２の特徴検出手段によって検出された特徴部位を前記第３の画像における特徴部位に一致させるように、前記第２の画像を第５の画像に変換する第２の画像変換手段と、
   前記第４の画像の指定色の部分と前記第５の画像の前記指定色の部分とが一致するか否かを判別する判別手段と、
   して機能させ、
   前記判別手段によって一致すると判別された場合に、前記第１の画像の被写体が前記第２の画像の被写体と一致すると判別する、
   ことを特徴とするプログラム。

Images