JP2004021278A - 画像識別処理装置 - Google Patents
画像識別処理装置 Download PDFInfo
- Publication number
- JP2004021278A JP2004021278A JP2002170989A JP2002170989A JP2004021278A JP 2004021278 A JP2004021278 A JP 2004021278A JP 2002170989 A JP2002170989 A JP 2002170989A JP 2002170989 A JP2002170989 A JP 2002170989A JP 2004021278 A JP2004021278 A JP 2004021278A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- rule
- image
- tool
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】画像識別処理装置を安価に構成するとともに、画像認識に要する処理時間も必要最低限のものにする。また誤認識を防止するためオペレータが手動でひとつひとつ確認する必要がないようにする。
【解決手段】識別対象の画像を予め基準画像110として登録するとともに、各基準画像対応に固有の識別ルール210を登録し、撮像画像を前記基準画像110及び識別ルール210に基づいて識別する構成とした。また識別ルール210を登録する際には、各画像が一意に識別可能かどうか予め確認を行ってから登録するようにした。
【選択図】 図1
【解決手段】識別対象の画像を予め基準画像110として登録するとともに、各基準画像対応に固有の識別ルール210を登録し、撮像画像を前記基準画像110及び識別ルール210に基づいて識別する構成とした。また識別ルール210を登録する際には、各画像が一意に識別可能かどうか予め確認を行ってから登録するようにした。
【選択図】 図1
Description
【0001】
【産業上の利用分野】
本発明は、工作機械で使用される工具の判別、加工ワークの判別等に使用される画像識別処理装置に関するものである。
【0002】
【従来の技術】
画像認識においては、基準画像を予め登録しておき、認識対象の画像と前記基準画像とを比較するパターンマッチング法等を用いて対象物の認識を行っている。
図12は従来の画像認識装置の説明図で、撮像した工具の画像50と、予め登録されている基準画像110とを、予め定められた識別ルール70により識別し、撮像した工具を認識する。
なお、図12に相当するものは、特開平9−85584号公報等に開示されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来の画像識別処理装置では正しく認識が行われなかった場合、より認識精度を向上させたり識別ルールを変更し、より高精度に認識するようにさせたりして対処しなければならなかった。
なお、認識精度を上げる為には、より高解像度の高価な画像処理装置を必要とし、また識別ルールを変更してより高精度に認識させる為には、認識処理に有する処理時間が大幅に増加する等の問題が生じる。
【0004】
本発明は上記のような問題を解決するためになされたもので、画像認識を認識対象の画像に合わせて最適に実施することにより、効率的に画像処理を実施する画像認識処理装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明に係る画像識別処理装置は上記課題を解決する為になされたもので、識別対象の画像を予め基準画像として登録する手段と、各基準画像対応に固有の識別ルールを登録する手段と、撮像画像を前記基準画像及び識別ルールに基づいて識別する手段とを備えてなるものである。
【0006】
また本発明に係る画像識別処理装置は、前記識別ルールを登録する際、該識別ルールに対応する基準画像が該識別ルールにより一意に識別可能かどうかを自動判定する手段を有するものである。
【0007】
また本発明に係る画像識別処理装置は、入力データを基に画像中の特徴を表す識別領域を指定し、前記撮像画像の判別時に前記指定された識別領域に対してのみ判別を行うルールを自動生成する手段を有するものである。
【0008】
また本発明に係る画像識別処理装置は、前記識別ルールをオペレータが編集することを可能とする手段を有するものである。
【0009】
また本発明に係る画像識別処理装置は、前記識別対象の画像を予め基準画像として登録する手段が、識別対象物が正常な状態での画像を基準画像として登録するものであるとともに、前記各基準画像対応に固有の識別ルールを登録する手段が、識別対象物が正常な状態での識別ルールを登録するものであり、且つ前記撮像画像を基準画像及び識別ルールに基づいて識別する手段が、前記対象物を撮像した画像を前記基準画像及び識別ルールに基づいて識別することにより、正しく識別できなかった場合には異常が発生したものとして判定するものである。
【0010】
【発明の実施の形態】
実施の形態1.
以下、本発明の実施の形態1を図1〜図8に基づいて説明する。
なお本実施の形態1では工作機械で使用される工具の認識について述べる。
また本実施の形態1では、予め全ての工具の画像を基準画像として複数登録しておくとともに、各基準画像を一意に識別可能となるように各基準画像対応に識別ルールをデータベースに格納しておき、そして認識対象工具を撮像し、認識対象工具がどのような工具であるかを前記基準画像及び識別ルールにより判定を行う例を説明する。
また本実施の形態1では、常に同じ位置で工具を撮像する為、同じ工具であれば認識対象工具と該認識対象工具に対応する基準画像とは必ず一致することを前提とする。なお、工具の撮像方法としては、特開平9−85584号公報に示されているように、常に一定の条件下で工具が撮像されるように実施すればよい。
【0011】
図1は画像認識の為の識別ルールの登録フローチャートである。
まず、工具を撮像する(ステップ S101)。図2がこの撮像の様子を示した説明図であり、工具20をカメラ10により予め定められた固定位置で撮像する。カメラ10で撮像した画像が撮像画像50である。
【0012】
次に、前記撮像画像50を基準画像として格納する(ステップ S102)。図3がこの基準画像を格納する様子を示した説明図であり、撮像した工具の画像50を画像データベース100内に基準画像110として格納する。
【0013】
次に、全ての工具を処理したかどうかを判別し(ステップ S103)、未処理の工具があれば未処理の工具に対して工具撮像(ステップ S101)を繰り返す。全ての工具の処理が終了していればステップS104を実行する。
【0014】
ステップS104では、識別ルールを設定しようとする工具の工具情報をオペレータが画面上(図示せず)から入力する。なお、工具情報とは例えば、工具名称・工具種類・工具長・工具径等工具の識別に必要な情報である。またこの工具情報は、NC加工プログラム、NCの工具パラメータ格納メモリ等より得てもよい。
【0015】
次に、工具の識別に必要な識別ルールを自動生成する(ステップ S105)。
図4がこの識別ルールを自動生成する様子を示した説明図であり、撮像画像50のうち対象工具の特徴を最も示す部位を、前記ステップS104で入力された情報を元に判別領域として指定し、予め定められた判別方法をもって工具を認識するルールを自動生成する。
即ち、工具種類や工具のフォルダー形状、工具の形状(工具長、工具径)からどの部分を判別すれば他の工具と識別できるかを予め定められた方法で識別するルールを自動生成する。図4の例では、工具の先端部分121と工具フォルダーの一部122を判別領域としてルールに登録する例を示している。
【0016】
図5は識別ルールをデータベースに格納する際の説明図である。
識別ルールデータベース200は、各基準画像対応に識別ルール210が格納されている。各識別ルール210の構造は、識別名称220と1つ以上の判別ルール230から構成されている。本実施の形態1の場合では、識別名称220は工具の名称である。判別ルール230とは、画像のどの部分(判別領域)をどの画像認識処理で行うかを定義したデータであり、一つの基準画像110に対して複数の判別ルール230を設定することが可能である。複数の判別ルール230を設定した場合には、全ての判別ルールが全て適合して初めて識別ルール210に適合したと判定される。
【0017】
次に、該識別ルールによって該基準画像が一意に識別可能かどうかを判別する(ステップ S106)。
図6がこの判別フローチャートである。まず、ルール番号を1に初期設定する(ステップ S201)。これは、識別ルール210の1番目から判定を開始することを示している。
【0018】
次に、ルール番号に対応する判別ルールを抽出する(ステップ S202)。これは、図5で言えばルール番号に対応した識別ルール210から、該識別ルール210に対応して格納されている1つ以上の判別ルール230をデータベースから取り出すことを意味する。
【0019】
次に画像番号を1に初期設定する(ステップ S203)。これは、基準画像110の1番目から判定を開始することを示している。
【0020】
次に、画像番号に対応する基準画像データを抽出する(ステップ S204)。これは、図3で言えば画像番号に対応した基準画像110を取り出すことを意味する。
【0021】
次に、判別ルールを1に初期設定する。(ステップ S205)。これは、1つの識別ルール210中には複数の判別ルール230を指定可能であるので、一番目の判別ルール230から判別を開始することを意味している。
【0022】
次に、基準画像110が該判別ルール230に適合しているかどうかを判定する(ステップ S206)。これは従来の画像処理と同様の画像判定である。この判定結果に応じて、該判別ルール230が適合していればステップS208を実行し、不適合であればステップS211を実行する(ステップ S207)。
【0023】
ステップS208では、該判別ルール230が最終判別ルールかどうか判定する。これは、該識別ルール210中に指定されている全ての判別ルール230を判別終了したかどうかを確認するものである。最終ルールでなければ、即ち、まだ判別を行っていない判別ルール230が存在していれば、ステップS209を実行し、全ての判別ルール230の判定が終了したならステップS210を実行する。
【0024】
ステップS209では、判別ルールの番号を1だけ増加させ、ステップS206を実行する。これは、該識別ルール210中に指定されている次の判別ルール230の判別を実行させるものである。
【0025】
ステップS210では、該基準画像が該識別ルールに適合したものとしてテンポラリィテーブル(図示せず)に登録する。
【0026】
ステップS211では、全ての基準画像110の判定が終了したかどうか判定し、まだ判定していない基準画像110があればステップS212を実行し、全ての基準画像の判定が終了していればステップS213を実行する。
【0027】
ステップS212では、画像番号を1だけ増加させ、ステップS204を実行する。これは、まだ判別を行っていない基準画像の判別を実行させるものである。
【0028】
ステップS213では、全ての識別ルール210の判定が終了したかどうか判定し、まだ判定していない識別ルール210があればステップS214を実行し、全ての識別ルール210の判定が終了していれば処理を終了する。
【0029】
ステップS214では、ルール番号を1だけ増加させ、ステップS202を実行する。これは、まだ判別を行っていない識別ルール210の判別を実行させるものである。
【0030】
図1に戻り、図6で示した識別ルールチェックを行い(ステップ S106)、各識別ルール210によって適合と判断された基準画像110が全て一つだけの場合、即ち、各識別ルール210が全て対応する基準画像110のみを適合とするルールとなっていれば識別ルール210は正しいと判断し(ステップ S107)、ステップS109を実行する。もし、ある識別ルール210が複数の基準画像110を適合と判断してしまった場合には、該識別ルール210では撮像画像50を一意に識別できないものと判断し、識別ルール210の修正を行う(ステップ S108)。
【0031】
図7は識別ルール210の修正を行う画面例であり、オペレータが識別ルール210をオペレーション画面300上で編集するものである。オペレーション画面300は、画像ウィンドウ310、識別ルール設定ウィンドウ320、判定ルール設定ウィンドウ330から構成されている。
【0032】
画像ウィンドウ310上には基準画像110が表示されており、この画面上で判別領域120をどの部分に設けるかをオペレータが指定する。
【0033】
識別ルール設定ウィンドウ320上には、識別名称220及び判別ルール230が表示されており、判別ルール230の編集、追加、削除を行うことが出来る。
【0034】
判定ルール設定ウィンドウ330上では、画像の識別方法340の指定及び各画像識別方法340に対応した識別パラメータ350の指定が行えるようになっている。図7の表示画面の例では、判別ルール2の編集を行っている様子が示されており、画像ウィンドウ310上で示されている判別領域120を判定ルール設定ウィンドウ330上で示されている各画像認識方法340のうち「2値特徴量」を用いて、「2値特徴量」に対応した認識パラメータ350である「重心」を求める方法で、2値化のための閾値を「121」にしている例を示している。
【0035】
図1に戻り、図7で示した識別ルールの編集機能を用いて識別ルールを修正後(ステップ S108)、ステップS106を再度実行する。
【0036】
ステップS109では、該識別ルール210を正式に識別ルールデータベース200に登録する。次に全ての工具に関して識別ルール210の登録が完了したかどうかを判別する(ステップ S110)。識別ルール210の登録が未完の工具があれば、ステップS104より再度次の工具の処理を行い、全工具の識別ルール登録が完了していれば処理を終了する。
【0037】
次に、使用工具を識別する方法を図8で説明する。
図8は、使用する可能性のある工具を、図1で示したように予め基準画像110と各工具の識別ルール210として登録しておき、実際に使用する工具を撮像し、この撮像した工具がどの工具に相当するか前記基準画像110及び識別ルール210を用いて識別する方法を示したものである。
【0038】
まず、ルール番号を1に初期設定する(ステップ S301)。これは、識別ルール210の1番目から判定を開始することを示している。
【0039】
次に、ルール番号に対応する判別ルール230を抽出する(ステップ S302)。これは、図5で言えばルール番号に対応した識別ルール210から、該識別ルール210に対応して格納されている1つ以上の判別ルール230をデータベースから取り出すことを意味する。
【0040】
次に、判別ルールを1に初期設定する。(ステップ S303)。これは、1つの識別ルール210中には複数の判別ルール230を指定可能であるので、一番目の判別ルール230から判別を開始することを意味している。
【0041】
次に、撮像画像50が該判別ルール230に適合しているかどうかを判定する(ステップ S304)。これは従来の画像処理と同様の画像判定である。この判定結果に応じて、該判別ルール230が適合していればステップS306を実行し、不適合であればステップS309を実行する(ステップ S305)。
【0042】
ステップS306では、該判別ルール230が最終判別ルールかどうか判定する。これは、該識別ルール210中に指定されている全ての判別ルール230を判別終了したかどうかを確認するものである。最終ルールでなければ、即ち、まだ判別を行っていない判別ルール230が存在していれば、ステップS307を実行し、全ての判別ルール230の判定が終了したならステップS308を実行する。
【0043】
ステップS307では、判別ルールの番号を1だけ増加させ、ステップS304を実行する。これは、該識別ルール210中に指定されている次の判別ルール230の判別を実行させるものである。
【0044】
ステップS308では、該撮像画像50が該識別ルール210に適合したものと判定し、該識別ルール210に相当する工具が使用される工具と判断する。
【0045】
ステップS309では、全ての識別ルール210の判定が終了したかどうか判定し、まだ判定していない識別ルール210があればステップS310を実行し、全ての識別ルール210の判定が終了していればステップS311を実行する。
【0046】
ステップS310では、ルール番号を1だけ増加させ、ステップS302を実行する。これは、まだ判別を行っていない識別ルール210の判別を実行させるものである。
【0047】
ステップS311では、該撮像画像50が適合する識別ルール210が存在しなかったものと判定し、該撮像画像50は認識不可能と判断する。
【0048】
実施の形態2.
次に、撮像した画像50を判別する別の例を図9で説明する。
図9の例では、使用する可能性のある工具を、図1で示したように基準画像110と各工具の識別ルール210として予め登録しておき、実際に使用する工具を撮像し、この撮像した工具が相当するはずの該識別ルール210に適合するかどうかを判定する方法を示したものである。これは、使用する工具が正しい工具であるかどうか画像認識を用いて確認する際に使用する。
【0049】
まず、ルール番号をnに初期設定する(ステップ S401)。これは、使用工具に相当する識別ルール210の判定を行うことを示している。即ち、使用工具が正しい工具であれば、必ず該識別ルール210に適合するはずであることを示している。
【0050】
次に、ルール番号に対応する判別ルール230を抽出する(ステップ S402)。これは、図5で言えばルール番号に対応した識別ルール210から、該識別ルール210に対応して格納されている1つ以上の判別ルール230をデータベースから取り出すことを意味する。
【0051】
次に、判別ルール230を1に初期設定する。(ステップ S403)。これは、1つの識別ルール210中には複数の判別ルール230を指定可能であるので、一番目の判別ルール230から判別を開始することを意味している。
【0052】
次に、撮像画像50が該判別ルール230に適合しているかどうかを判定する(ステップ S404)。これは従来の画像処理と同様の画像判定である。この判定結果に応じて、該判別ルール230が適合していればステップS406を実行し、不適合であればステップS409を実行する(ステップ S405)。
【0053】
ステップS406では、該判別ルール230が最終判別ルールかどうか判定する。これは、該識別ルール210中に指定されている全ての判別ルール230を判別終了したかどうかを確認するものである。最終ルールでなければ、即ち、まだ判別を行っていない判別ルール230が存在していれば、ステップS407を実行し、全ての判別ルール230の判定が終了したならステップS408を実行する。
【0054】
ステップS407では、判別ルールの番号を1だけ増加させ、ステップS404を実行する。これは、該識別ルール210中に指定されている次の判別ルール230の判別を実行させるものである。
【0055】
ステップS408では、該撮像画像50が該識別ルール210に適合したものと判定し、判定する工具は正しい工具が使用されているもの判断する。
【0056】
ステップS409では、該撮像画像50が対応する識別ルール210に適合しなかったものと判定し、判定する工具は正しい工具が使用されていないもの判断する。
【0057】
実施の形態3.
なお、上記実施の形態1,2では工具の判別に関する実施の形態を示したが、図10で示すように加工ワークの判別にも適用可能である。図10は旋削加工の例が示されており、装着されているワーク30が正しいワークかどうかの判定に使用できる。
【0058】
また、図9で示した実施の形態2の判定方法を用いれば、図11で示すように工具20に切り屑60が絡み付いた場合の検出にも適用可能である。正常な場合(切り屑60が絡み付いていない場合)の撮像画像50を基準画像110と識別ルール210として予め登録しておき、切り屑60が絡み付いていないかどうかの判定を判定時の撮像画像50を識別ルールに基づいて認識させることで、正しく認識できれば切り屑60は絡み付いていないと判断し、正しく認識できなければそれは切り屑60が絡み付いていると判断することで切り屑60の絡み付きを検出できる。
【0059】
実施の形態4.
さらに、本実施の形態では識別ルールはオペレータが自在に設定可能であるので、非常に似通った形状の対象物で、どうしても両者の識別が不可能な場合には、どちらかの対象物に特徴的な識別情報を付加し、この特徴的な識別情報を元に両者の識別を行うようにも出来る。例えば、撮像画像50だけでは識別が困難なほど似通った工具を識別する際、どちらかの工具のフォルダー部分に識別の為のシールを貼り、このシールの有無によって識別を行うルールを設定する等によりその対処が可能となる。
【0060】
【発明の効果】
以上説明したように本発明によれば、各基準画像夫々に対して最適な認識ルールを設定可能であるので、従来の全ての基準画像に対して同一の認識ルールを適用する方式と比べて、簡単な画像認識で容易に対象物を識別可能で、画像認識システムを安価に構成することが可能となり、画像認識に要する処理時間も必要最低限のものに留めることが可能となる。
【0061】
また、登録する識別ルールにより識別する対象物が必ず一意に認識可能かどうかの判定を自動で行えるので、確実に誤認識を防止することが可能となり、しかも誤認識を防止するためオペレータが手動でひとつひとつ確認する必要がなく、その確認作業が不要になる。
【0062】
また、入力データを基に画像中の特徴を表す識別領域を指定し、前記撮像画像の判別時に前記指定された識別領域に対してのみ判別を行うルールを自動生成するので、ルール生成が簡単であるとともに、確実に誤認識を防止することが可能となる。
【0063】
また、識別ルールをオペレータが編集可能であるので、非常に似通っており判別するのが通常のルールでは困難な対象物に関して、オペレータが両者の対象物の特徴部分を考慮して好適な識別ルールを設定することが可能となり、よって識別ルールを調整することで対象物の判別を可能にすることが出来る。さらに、どうしても判別が出来ないような場合には、いずれかの対象物に判別可能なような特徴を付加してしまうことで判別が可能となる。
【0064】
更にまた、識別対象物が正常な状態での画像を基準画像として登録するとともに、識別対象物が正常な状態での識別ルールを登録しておき、且つ前記対象物を撮像した画像を前記基準画像及び識別ルールに基づいて識別し、正しく識別できなかった場合には異常が発生したものとして判定するので、識別対象物の異常な状態が容易に検出可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る識別ルールの登録フローチャートである。
【図2】本発明の実施の形態1に係る工具の撮像に関する説明図である。
【図3】本発明の実施の形態1に係る撮像画像の格納に関する説明図である。
【図4】本発明の実施の形態1に係る判別領域の指定に関する説明図である。
【図5】本発明の実施の形態1に係る識別ルールの格納に関する説明図である。
【図6】本発明の実施の形態1に係る識別ルールの処理フローチャートである。
【図7】本発明の実施の形態1に係る識別ルールの設定に関する説明図である。
【図8】本発明の実施の形態1に係る工具の識別に関するフローチャートである。
【図9】本発明の実施の形態2に係る工具の判別に関するフローチャートである。
【図10】本発明の実施の形態3に係るワークの識別に関する説明図である。
【図11】本発明の実施の形態3に係る切り屑の巻き付きに関する説明図である。
【図12】従来の画像識別処理装置の説明図である。
【符号の説明】
10 カメラ、20 工具、30 ワーク、50 撮像画像、60 切り屑、70 識別ルール、100 画像データベース、110 基準画像、120 判別領域、121 工具先端の判別領域、122 工具フォルダー部分の判別領域、200 識別ルールデータベース、210 識別ルール、220 認識名称、230 判別ルール、300 オペレーション画面、310 画像ウィンドウ、320 識別ルール設定ウィンドウ、330 判別ルール設定ウィンドウ、340 画像認識方法、350 認識パラメータ。
【産業上の利用分野】
本発明は、工作機械で使用される工具の判別、加工ワークの判別等に使用される画像識別処理装置に関するものである。
【0002】
【従来の技術】
画像認識においては、基準画像を予め登録しておき、認識対象の画像と前記基準画像とを比較するパターンマッチング法等を用いて対象物の認識を行っている。
図12は従来の画像認識装置の説明図で、撮像した工具の画像50と、予め登録されている基準画像110とを、予め定められた識別ルール70により識別し、撮像した工具を認識する。
なお、図12に相当するものは、特開平9−85584号公報等に開示されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来の画像識別処理装置では正しく認識が行われなかった場合、より認識精度を向上させたり識別ルールを変更し、より高精度に認識するようにさせたりして対処しなければならなかった。
なお、認識精度を上げる為には、より高解像度の高価な画像処理装置を必要とし、また識別ルールを変更してより高精度に認識させる為には、認識処理に有する処理時間が大幅に増加する等の問題が生じる。
【0004】
本発明は上記のような問題を解決するためになされたもので、画像認識を認識対象の画像に合わせて最適に実施することにより、効率的に画像処理を実施する画像認識処理装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明に係る画像識別処理装置は上記課題を解決する為になされたもので、識別対象の画像を予め基準画像として登録する手段と、各基準画像対応に固有の識別ルールを登録する手段と、撮像画像を前記基準画像及び識別ルールに基づいて識別する手段とを備えてなるものである。
【0006】
また本発明に係る画像識別処理装置は、前記識別ルールを登録する際、該識別ルールに対応する基準画像が該識別ルールにより一意に識別可能かどうかを自動判定する手段を有するものである。
【0007】
また本発明に係る画像識別処理装置は、入力データを基に画像中の特徴を表す識別領域を指定し、前記撮像画像の判別時に前記指定された識別領域に対してのみ判別を行うルールを自動生成する手段を有するものである。
【0008】
また本発明に係る画像識別処理装置は、前記識別ルールをオペレータが編集することを可能とする手段を有するものである。
【0009】
また本発明に係る画像識別処理装置は、前記識別対象の画像を予め基準画像として登録する手段が、識別対象物が正常な状態での画像を基準画像として登録するものであるとともに、前記各基準画像対応に固有の識別ルールを登録する手段が、識別対象物が正常な状態での識別ルールを登録するものであり、且つ前記撮像画像を基準画像及び識別ルールに基づいて識別する手段が、前記対象物を撮像した画像を前記基準画像及び識別ルールに基づいて識別することにより、正しく識別できなかった場合には異常が発生したものとして判定するものである。
【0010】
【発明の実施の形態】
実施の形態1.
以下、本発明の実施の形態1を図1〜図8に基づいて説明する。
なお本実施の形態1では工作機械で使用される工具の認識について述べる。
また本実施の形態1では、予め全ての工具の画像を基準画像として複数登録しておくとともに、各基準画像を一意に識別可能となるように各基準画像対応に識別ルールをデータベースに格納しておき、そして認識対象工具を撮像し、認識対象工具がどのような工具であるかを前記基準画像及び識別ルールにより判定を行う例を説明する。
また本実施の形態1では、常に同じ位置で工具を撮像する為、同じ工具であれば認識対象工具と該認識対象工具に対応する基準画像とは必ず一致することを前提とする。なお、工具の撮像方法としては、特開平9−85584号公報に示されているように、常に一定の条件下で工具が撮像されるように実施すればよい。
【0011】
図1は画像認識の為の識別ルールの登録フローチャートである。
まず、工具を撮像する(ステップ S101)。図2がこの撮像の様子を示した説明図であり、工具20をカメラ10により予め定められた固定位置で撮像する。カメラ10で撮像した画像が撮像画像50である。
【0012】
次に、前記撮像画像50を基準画像として格納する(ステップ S102)。図3がこの基準画像を格納する様子を示した説明図であり、撮像した工具の画像50を画像データベース100内に基準画像110として格納する。
【0013】
次に、全ての工具を処理したかどうかを判別し(ステップ S103)、未処理の工具があれば未処理の工具に対して工具撮像(ステップ S101)を繰り返す。全ての工具の処理が終了していればステップS104を実行する。
【0014】
ステップS104では、識別ルールを設定しようとする工具の工具情報をオペレータが画面上(図示せず)から入力する。なお、工具情報とは例えば、工具名称・工具種類・工具長・工具径等工具の識別に必要な情報である。またこの工具情報は、NC加工プログラム、NCの工具パラメータ格納メモリ等より得てもよい。
【0015】
次に、工具の識別に必要な識別ルールを自動生成する(ステップ S105)。
図4がこの識別ルールを自動生成する様子を示した説明図であり、撮像画像50のうち対象工具の特徴を最も示す部位を、前記ステップS104で入力された情報を元に判別領域として指定し、予め定められた判別方法をもって工具を認識するルールを自動生成する。
即ち、工具種類や工具のフォルダー形状、工具の形状(工具長、工具径)からどの部分を判別すれば他の工具と識別できるかを予め定められた方法で識別するルールを自動生成する。図4の例では、工具の先端部分121と工具フォルダーの一部122を判別領域としてルールに登録する例を示している。
【0016】
図5は識別ルールをデータベースに格納する際の説明図である。
識別ルールデータベース200は、各基準画像対応に識別ルール210が格納されている。各識別ルール210の構造は、識別名称220と1つ以上の判別ルール230から構成されている。本実施の形態1の場合では、識別名称220は工具の名称である。判別ルール230とは、画像のどの部分(判別領域)をどの画像認識処理で行うかを定義したデータであり、一つの基準画像110に対して複数の判別ルール230を設定することが可能である。複数の判別ルール230を設定した場合には、全ての判別ルールが全て適合して初めて識別ルール210に適合したと判定される。
【0017】
次に、該識別ルールによって該基準画像が一意に識別可能かどうかを判別する(ステップ S106)。
図6がこの判別フローチャートである。まず、ルール番号を1に初期設定する(ステップ S201)。これは、識別ルール210の1番目から判定を開始することを示している。
【0018】
次に、ルール番号に対応する判別ルールを抽出する(ステップ S202)。これは、図5で言えばルール番号に対応した識別ルール210から、該識別ルール210に対応して格納されている1つ以上の判別ルール230をデータベースから取り出すことを意味する。
【0019】
次に画像番号を1に初期設定する(ステップ S203)。これは、基準画像110の1番目から判定を開始することを示している。
【0020】
次に、画像番号に対応する基準画像データを抽出する(ステップ S204)。これは、図3で言えば画像番号に対応した基準画像110を取り出すことを意味する。
【0021】
次に、判別ルールを1に初期設定する。(ステップ S205)。これは、1つの識別ルール210中には複数の判別ルール230を指定可能であるので、一番目の判別ルール230から判別を開始することを意味している。
【0022】
次に、基準画像110が該判別ルール230に適合しているかどうかを判定する(ステップ S206)。これは従来の画像処理と同様の画像判定である。この判定結果に応じて、該判別ルール230が適合していればステップS208を実行し、不適合であればステップS211を実行する(ステップ S207)。
【0023】
ステップS208では、該判別ルール230が最終判別ルールかどうか判定する。これは、該識別ルール210中に指定されている全ての判別ルール230を判別終了したかどうかを確認するものである。最終ルールでなければ、即ち、まだ判別を行っていない判別ルール230が存在していれば、ステップS209を実行し、全ての判別ルール230の判定が終了したならステップS210を実行する。
【0024】
ステップS209では、判別ルールの番号を1だけ増加させ、ステップS206を実行する。これは、該識別ルール210中に指定されている次の判別ルール230の判別を実行させるものである。
【0025】
ステップS210では、該基準画像が該識別ルールに適合したものとしてテンポラリィテーブル(図示せず)に登録する。
【0026】
ステップS211では、全ての基準画像110の判定が終了したかどうか判定し、まだ判定していない基準画像110があればステップS212を実行し、全ての基準画像の判定が終了していればステップS213を実行する。
【0027】
ステップS212では、画像番号を1だけ増加させ、ステップS204を実行する。これは、まだ判別を行っていない基準画像の判別を実行させるものである。
【0028】
ステップS213では、全ての識別ルール210の判定が終了したかどうか判定し、まだ判定していない識別ルール210があればステップS214を実行し、全ての識別ルール210の判定が終了していれば処理を終了する。
【0029】
ステップS214では、ルール番号を1だけ増加させ、ステップS202を実行する。これは、まだ判別を行っていない識別ルール210の判別を実行させるものである。
【0030】
図1に戻り、図6で示した識別ルールチェックを行い(ステップ S106)、各識別ルール210によって適合と判断された基準画像110が全て一つだけの場合、即ち、各識別ルール210が全て対応する基準画像110のみを適合とするルールとなっていれば識別ルール210は正しいと判断し(ステップ S107)、ステップS109を実行する。もし、ある識別ルール210が複数の基準画像110を適合と判断してしまった場合には、該識別ルール210では撮像画像50を一意に識別できないものと判断し、識別ルール210の修正を行う(ステップ S108)。
【0031】
図7は識別ルール210の修正を行う画面例であり、オペレータが識別ルール210をオペレーション画面300上で編集するものである。オペレーション画面300は、画像ウィンドウ310、識別ルール設定ウィンドウ320、判定ルール設定ウィンドウ330から構成されている。
【0032】
画像ウィンドウ310上には基準画像110が表示されており、この画面上で判別領域120をどの部分に設けるかをオペレータが指定する。
【0033】
識別ルール設定ウィンドウ320上には、識別名称220及び判別ルール230が表示されており、判別ルール230の編集、追加、削除を行うことが出来る。
【0034】
判定ルール設定ウィンドウ330上では、画像の識別方法340の指定及び各画像識別方法340に対応した識別パラメータ350の指定が行えるようになっている。図7の表示画面の例では、判別ルール2の編集を行っている様子が示されており、画像ウィンドウ310上で示されている判別領域120を判定ルール設定ウィンドウ330上で示されている各画像認識方法340のうち「2値特徴量」を用いて、「2値特徴量」に対応した認識パラメータ350である「重心」を求める方法で、2値化のための閾値を「121」にしている例を示している。
【0035】
図1に戻り、図7で示した識別ルールの編集機能を用いて識別ルールを修正後(ステップ S108)、ステップS106を再度実行する。
【0036】
ステップS109では、該識別ルール210を正式に識別ルールデータベース200に登録する。次に全ての工具に関して識別ルール210の登録が完了したかどうかを判別する(ステップ S110)。識別ルール210の登録が未完の工具があれば、ステップS104より再度次の工具の処理を行い、全工具の識別ルール登録が完了していれば処理を終了する。
【0037】
次に、使用工具を識別する方法を図8で説明する。
図8は、使用する可能性のある工具を、図1で示したように予め基準画像110と各工具の識別ルール210として登録しておき、実際に使用する工具を撮像し、この撮像した工具がどの工具に相当するか前記基準画像110及び識別ルール210を用いて識別する方法を示したものである。
【0038】
まず、ルール番号を1に初期設定する(ステップ S301)。これは、識別ルール210の1番目から判定を開始することを示している。
【0039】
次に、ルール番号に対応する判別ルール230を抽出する(ステップ S302)。これは、図5で言えばルール番号に対応した識別ルール210から、該識別ルール210に対応して格納されている1つ以上の判別ルール230をデータベースから取り出すことを意味する。
【0040】
次に、判別ルールを1に初期設定する。(ステップ S303)。これは、1つの識別ルール210中には複数の判別ルール230を指定可能であるので、一番目の判別ルール230から判別を開始することを意味している。
【0041】
次に、撮像画像50が該判別ルール230に適合しているかどうかを判定する(ステップ S304)。これは従来の画像処理と同様の画像判定である。この判定結果に応じて、該判別ルール230が適合していればステップS306を実行し、不適合であればステップS309を実行する(ステップ S305)。
【0042】
ステップS306では、該判別ルール230が最終判別ルールかどうか判定する。これは、該識別ルール210中に指定されている全ての判別ルール230を判別終了したかどうかを確認するものである。最終ルールでなければ、即ち、まだ判別を行っていない判別ルール230が存在していれば、ステップS307を実行し、全ての判別ルール230の判定が終了したならステップS308を実行する。
【0043】
ステップS307では、判別ルールの番号を1だけ増加させ、ステップS304を実行する。これは、該識別ルール210中に指定されている次の判別ルール230の判別を実行させるものである。
【0044】
ステップS308では、該撮像画像50が該識別ルール210に適合したものと判定し、該識別ルール210に相当する工具が使用される工具と判断する。
【0045】
ステップS309では、全ての識別ルール210の判定が終了したかどうか判定し、まだ判定していない識別ルール210があればステップS310を実行し、全ての識別ルール210の判定が終了していればステップS311を実行する。
【0046】
ステップS310では、ルール番号を1だけ増加させ、ステップS302を実行する。これは、まだ判別を行っていない識別ルール210の判別を実行させるものである。
【0047】
ステップS311では、該撮像画像50が適合する識別ルール210が存在しなかったものと判定し、該撮像画像50は認識不可能と判断する。
【0048】
実施の形態2.
次に、撮像した画像50を判別する別の例を図9で説明する。
図9の例では、使用する可能性のある工具を、図1で示したように基準画像110と各工具の識別ルール210として予め登録しておき、実際に使用する工具を撮像し、この撮像した工具が相当するはずの該識別ルール210に適合するかどうかを判定する方法を示したものである。これは、使用する工具が正しい工具であるかどうか画像認識を用いて確認する際に使用する。
【0049】
まず、ルール番号をnに初期設定する(ステップ S401)。これは、使用工具に相当する識別ルール210の判定を行うことを示している。即ち、使用工具が正しい工具であれば、必ず該識別ルール210に適合するはずであることを示している。
【0050】
次に、ルール番号に対応する判別ルール230を抽出する(ステップ S402)。これは、図5で言えばルール番号に対応した識別ルール210から、該識別ルール210に対応して格納されている1つ以上の判別ルール230をデータベースから取り出すことを意味する。
【0051】
次に、判別ルール230を1に初期設定する。(ステップ S403)。これは、1つの識別ルール210中には複数の判別ルール230を指定可能であるので、一番目の判別ルール230から判別を開始することを意味している。
【0052】
次に、撮像画像50が該判別ルール230に適合しているかどうかを判定する(ステップ S404)。これは従来の画像処理と同様の画像判定である。この判定結果に応じて、該判別ルール230が適合していればステップS406を実行し、不適合であればステップS409を実行する(ステップ S405)。
【0053】
ステップS406では、該判別ルール230が最終判別ルールかどうか判定する。これは、該識別ルール210中に指定されている全ての判別ルール230を判別終了したかどうかを確認するものである。最終ルールでなければ、即ち、まだ判別を行っていない判別ルール230が存在していれば、ステップS407を実行し、全ての判別ルール230の判定が終了したならステップS408を実行する。
【0054】
ステップS407では、判別ルールの番号を1だけ増加させ、ステップS404を実行する。これは、該識別ルール210中に指定されている次の判別ルール230の判別を実行させるものである。
【0055】
ステップS408では、該撮像画像50が該識別ルール210に適合したものと判定し、判定する工具は正しい工具が使用されているもの判断する。
【0056】
ステップS409では、該撮像画像50が対応する識別ルール210に適合しなかったものと判定し、判定する工具は正しい工具が使用されていないもの判断する。
【0057】
実施の形態3.
なお、上記実施の形態1,2では工具の判別に関する実施の形態を示したが、図10で示すように加工ワークの判別にも適用可能である。図10は旋削加工の例が示されており、装着されているワーク30が正しいワークかどうかの判定に使用できる。
【0058】
また、図9で示した実施の形態2の判定方法を用いれば、図11で示すように工具20に切り屑60が絡み付いた場合の検出にも適用可能である。正常な場合(切り屑60が絡み付いていない場合)の撮像画像50を基準画像110と識別ルール210として予め登録しておき、切り屑60が絡み付いていないかどうかの判定を判定時の撮像画像50を識別ルールに基づいて認識させることで、正しく認識できれば切り屑60は絡み付いていないと判断し、正しく認識できなければそれは切り屑60が絡み付いていると判断することで切り屑60の絡み付きを検出できる。
【0059】
実施の形態4.
さらに、本実施の形態では識別ルールはオペレータが自在に設定可能であるので、非常に似通った形状の対象物で、どうしても両者の識別が不可能な場合には、どちらかの対象物に特徴的な識別情報を付加し、この特徴的な識別情報を元に両者の識別を行うようにも出来る。例えば、撮像画像50だけでは識別が困難なほど似通った工具を識別する際、どちらかの工具のフォルダー部分に識別の為のシールを貼り、このシールの有無によって識別を行うルールを設定する等によりその対処が可能となる。
【0060】
【発明の効果】
以上説明したように本発明によれば、各基準画像夫々に対して最適な認識ルールを設定可能であるので、従来の全ての基準画像に対して同一の認識ルールを適用する方式と比べて、簡単な画像認識で容易に対象物を識別可能で、画像認識システムを安価に構成することが可能となり、画像認識に要する処理時間も必要最低限のものに留めることが可能となる。
【0061】
また、登録する識別ルールにより識別する対象物が必ず一意に認識可能かどうかの判定を自動で行えるので、確実に誤認識を防止することが可能となり、しかも誤認識を防止するためオペレータが手動でひとつひとつ確認する必要がなく、その確認作業が不要になる。
【0062】
また、入力データを基に画像中の特徴を表す識別領域を指定し、前記撮像画像の判別時に前記指定された識別領域に対してのみ判別を行うルールを自動生成するので、ルール生成が簡単であるとともに、確実に誤認識を防止することが可能となる。
【0063】
また、識別ルールをオペレータが編集可能であるので、非常に似通っており判別するのが通常のルールでは困難な対象物に関して、オペレータが両者の対象物の特徴部分を考慮して好適な識別ルールを設定することが可能となり、よって識別ルールを調整することで対象物の判別を可能にすることが出来る。さらに、どうしても判別が出来ないような場合には、いずれかの対象物に判別可能なような特徴を付加してしまうことで判別が可能となる。
【0064】
更にまた、識別対象物が正常な状態での画像を基準画像として登録するとともに、識別対象物が正常な状態での識別ルールを登録しておき、且つ前記対象物を撮像した画像を前記基準画像及び識別ルールに基づいて識別し、正しく識別できなかった場合には異常が発生したものとして判定するので、識別対象物の異常な状態が容易に検出可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る識別ルールの登録フローチャートである。
【図2】本発明の実施の形態1に係る工具の撮像に関する説明図である。
【図3】本発明の実施の形態1に係る撮像画像の格納に関する説明図である。
【図4】本発明の実施の形態1に係る判別領域の指定に関する説明図である。
【図5】本発明の実施の形態1に係る識別ルールの格納に関する説明図である。
【図6】本発明の実施の形態1に係る識別ルールの処理フローチャートである。
【図7】本発明の実施の形態1に係る識別ルールの設定に関する説明図である。
【図8】本発明の実施の形態1に係る工具の識別に関するフローチャートである。
【図9】本発明の実施の形態2に係る工具の判別に関するフローチャートである。
【図10】本発明の実施の形態3に係るワークの識別に関する説明図である。
【図11】本発明の実施の形態3に係る切り屑の巻き付きに関する説明図である。
【図12】従来の画像識別処理装置の説明図である。
【符号の説明】
10 カメラ、20 工具、30 ワーク、50 撮像画像、60 切り屑、70 識別ルール、100 画像データベース、110 基準画像、120 判別領域、121 工具先端の判別領域、122 工具フォルダー部分の判別領域、200 識別ルールデータベース、210 識別ルール、220 認識名称、230 判別ルール、300 オペレーション画面、310 画像ウィンドウ、320 識別ルール設定ウィンドウ、330 判別ルール設定ウィンドウ、340 画像認識方法、350 認識パラメータ。
Claims (5)
- 撮像画像を識別する画像識別処理装置において、識別対象の画像を予め基準画像として登録する手段と、各基準画像対応に固有の識別ルールを登録する手段と、撮像画像を前記基準画像及び識別ルールに基づいて識別する手段とを備えてなる画像識別処理装置。
- 前記識別ルールを登録する際、該識別ルールに対応する基準画像が該識別ルールにより一意に識別可能かどうかを自動判定する手段を有することを特徴とする請求項1に記載の画像識別処理装置。
- 入力データを基に画像中の特徴を表す識別領域を指定し、前記撮像画像の判別時に前記指定された識別領域に対してのみ判別を行うルールを自動生成する手段を有することを特徴とする請求項1に記載の画像識別処理装置。
- 前記識別ルールをオペレータが編集することを可能とする手段を有することを特徴とする請求項1に記載の画像識別処理装置。
- 前記識別対象の画像を予め基準画像として登録する手段が、識別対象物が正常な状態での画像を基準画像として登録するものであるとともに、前記各基準画像対応に固有の識別ルールを登録する手段が、識別対象物が正常な状態での識別ルールを登録するものであり、且つ前記撮像画像を基準画像及び識別ルールに基づいて識別する手段が、前記対象物を撮像した画像を前記基準画像及び識別ルールに基づいて識別することにより、正しく識別できなかった場合には異常が発生したものとして判定するものであることを特徴とする請求項1に記載の画像識別処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002170989A JP2004021278A (ja) | 2002-06-12 | 2002-06-12 | 画像識別処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002170989A JP2004021278A (ja) | 2002-06-12 | 2002-06-12 | 画像識別処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004021278A true JP2004021278A (ja) | 2004-01-22 |
Family
ID=31170959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002170989A Pending JP2004021278A (ja) | 2002-06-12 | 2002-06-12 | 画像識別処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004021278A (ja) |
-
2002
- 2002-06-12 JP JP2002170989A patent/JP2004021278A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112365461A (zh) | 紧固件松动识别方法、系统、终端及存储介质 | |
CN111931959B (zh) | 工件的返修控制方法、装置及可读存储介质 | |
CA2260510A1 (en) | Focused ion beam imaging method | |
JP2020082273A (ja) | 画像処理装置およびその制御方法、プログラム | |
JP5238465B2 (ja) | パターン形状の評価方法及びこれを利用したパターン形状の評価装置 | |
JP6877233B2 (ja) | ボルト位置の検出方法およびシステム | |
JP2004021278A (ja) | 画像識別処理装置 | |
CN111932610A (zh) | 用于电子元件加工的定位系统及方法 | |
JP2004268220A (ja) | 放電加工装置 | |
KR20220147443A (ko) | 임의 지지된 소부재 자동용접 방법 | |
JP2000180138A (ja) | キャリブレーションプレート及びこれを利用する視覚センサのキャリブレーション装置 | |
CN113906354A (zh) | 用于管理切削刀具的可追溯性的电子设备和方法 | |
JP2004325146A (ja) | 部品認識方法及び装置 | |
CN110836905A (zh) | 自动识别芯片物理缺陷的失效分析方法 | |
JP2006320962A (ja) | 溶接治具監視装置、画像処理装置およびプログラム | |
KR100479305B1 (ko) | 얼라인 마크 패턴인식방법 | |
WO2021075192A1 (ja) | 検査装置 | |
JP7337154B2 (ja) | 3次元モデル復元システム、3次元モデル復元方法、検査装置及びプログラム | |
JP2006234793A (ja) | 部品位置検出方法および装置 | |
EP3907029B1 (en) | A system, method and computer program product for decreasing the risk of erroneously handling of a tool in a machine operation | |
JP3765888B2 (ja) | 部品の位置検出方法 | |
JP6615162B2 (ja) | 後加工情報設定装置、加工制御装置、後加工情報設定方法及び加工制御方法 | |
JP2002190021A (ja) | 位置検出装置および方法 | |
JP6822207B2 (ja) | 検査装置 | |
KR20240099635A (ko) | 위치보정부가 구비된 물류로봇 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040707 |