JP2018005500A - 画像処理システム、画像処理方法、および画像処理プログラム - Google Patents

画像処理システム、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP2018005500A
JP2018005500A JP2016130484A JP2016130484A JP2018005500A JP 2018005500 A JP2018005500 A JP 2018005500A JP 2016130484 A JP2016130484 A JP 2016130484A JP 2016130484 A JP2016130484 A JP 2016130484A JP 2018005500 A JP2018005500 A JP 2018005500A
Authority
JP
Japan
Prior art keywords
image
learning
model
model image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016130484A
Other languages
English (en)
Other versions
JP6729081B2 (ja
Inventor
豊 木内
Yutaka Kiuchi
豊 木内
博幸 枦山
Hiroyuki Hazeyama
博幸 枦山
佳英 山本
Yoshihide Yamamoto
佳英 山本
洋史 山田
Yoji Yamada
洋史 山田
智大 荒野
Tomohiro Arano
智大 荒野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2016130484A priority Critical patent/JP6729081B2/ja
Publication of JP2018005500A publication Critical patent/JP2018005500A/ja
Application granted granted Critical
Publication of JP6729081B2 publication Critical patent/JP6729081B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】モデル画像の生成に用いる学習画像を選択することができる画像処理システムを提供する。【解決手段】検査対象物であるワークを撮像して得られた画像に基づいて当該ワークを検査するための画像処理システムは、当該ワークと同種類の物体を表わす複数の学習画像と、当該ワークの検査基準として複数の学習画像から生成されたモデル画像71とを格納するための記憶部と、複数の学習画像の各々の選択を受け付ける選択項目61Aを表示するための表示部120とを備える。表示部120は、選択項目61Aごとに、当該選択項目61Aで選択可能な学習画像の識別情報61B,61Cと、当該学習画像の選択可否を支援するための支援情報61D〜61Fとを並べて表示する。画像処理システムは、さらに、選択項目61Aにおいて選択された学習画像から比較対象としてモデル画像72を生成し、モデル画像71をモデル画像72に更新するための更新部を備える。【選択図】図4

Description

本開示は、検査対象物の検査基準となるモデル画像を生成するための技術に関する。
FA(Factory Automation)分野において、ワークなどの検査対象物を自動で検査するための技術が普及している。ワークの検査は、検査対象のワークを撮影して得られた検査用画像を、検査基準となるモデル画像と比較することで実現される。
モデル画像(テンプレート)を生成するための技術に関し、特開2010−276487号公報(特許文献1)は、「高いマッチング精度を安定して確保することが可能なテンプレートマッチング用テンプレート作成方法」を開示している。
特開2010−276487号公報
モデル画像は、検査対象物と同種類の物体を撮影して得られた画像から生成される。以下では、モデル画像の生成元となる画像を「学習画像」ともいう。特異な学習画像が学習対象に含まれると、検査基準として低品質なモデル画像が生成され、検査の精度が低下する。したがって、特異な学習画像を学習対象から省くために、モデル画像の生成に用いる学習画像を選択することが可能な技術が望まれている。
本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、モデル画像の生成に用いる学習画像を選択することが可能な画像処理システムを提供することである。他の局面における目的は、モデル画像の生成に用いる学習画像を選択することが可能な画像処理方法を提供することである。さらに他の局面における目的は、モデル画像の生成に用いる学習画像を選択することが可能な画像処理プログラムを提供することである。
ある局面に従うと、検査対象物を撮像して得られた画像に基づいて上記検査対象物を検査するための画像処理システムは、上記検査対象物と同種類の物体を表わす複数の学習画像と、上記検査対象物の検査基準として上記複数の学習画像から生成された第1モデル画像とを格納するための記憶部と、上記複数の学習画像の各々の選択を受け付ける選択項目を表示するための表示部とを備える。上記表示部は、上記選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示する。上記画像処理システムは、さらに、上記選択項目において選択された学習画像から上記画像との比較対象として第2モデル画像を生成し、上記第1モデル画像を上記第2モデル画像に更新するための更新部を備える。
好ましくは、上記表示部は、上記支援情報に対する所定のソートルールに従って、複数の上記支援情報の各々を、対応する上記選択項目および上記識別情報とともにソートした上で表示する。
好ましくは、上記表示部は、上記第1モデル画像と上記複数の学習画像の各々との第1類似度群、および上記第2モデル画像と上記複数の学習画像の各々との第2類似度群を、上記支援情報として表示する。
好ましくは、上記更新部は、上記選択項目に対する選択が更新される度に、当該選択項目において選択された学習画像から上記第2モデル画像を生成する。上記表示部は、上記第2モデル画像が生成される度に上記第2類似度群の表示を更新する。
好ましくは、上記表示部は、上記複数の学習画像の内から表示対象として選択された学習画像を上記支援情報として表示する。
好ましくは、上記表示部は、上記選択項目において選択されている学習画像を上記支援情報として表示する。
好ましくは、上記表示部は、上記第1モデル画像と、上記第2モデル画像とを並べて表示する。
好ましくは、上記更新部は、上記第1モデル画像の更新指示を受け付けたことに基づいて、上記第1モデル画像を上記第2モデル画像に更新する。
他の局面に従うと、検査対象物を撮像して得られた画像に基づいて上記検査対象物を検査するための画像処理方法は、上記検査対象物と同種類の物体を表わす複数の学習画像と、上記検査対象物の検査基準として上記複数の学習画像から生成された第1モデル画像とを準備するステップと、上記複数の学習画像の各々の選択を受け付ける選択項目を表示するとともに、当該選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示するステップと、上記選択項目において選択された学習画像から上記画像との比較対象として第2モデル画像を生成し、上記第1モデル画像を上記第2モデル画像に更新するステップとを備える。
他の局面に従うと、検査対象物を撮像して得られた画像に基づいて上記検査対象物を検査するための画像処理プログラムは、コンピュータに、上記検査対象物と同種類の物体を表わす複数の学習画像と、上記検査対象物の検査基準として上記複数の学習画像から生成された第1モデル画像とを準備するステップと、上記複数の学習画像の各々の選択を受け付ける選択項目を表示するとともに、当該選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示するステップと、上記選択項目において選択された学習画像から上記画像との比較対象として第2モデル画像を生成し、上記第1モデル画像を上記第2モデル画像に更新するステップとを実行させる。
ある局面において、モデル画像の生成に用いる学習画像を選択することができる。
本開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
実施の形態に従う画像処理システムの基本構成を示す模式図である。 モデル画像の学習過程を時系列に示す図である。 ユーザが学習画像を選択する過程を示す図である。 表示部に表示されているモデル登録画面を示す図である。 モデル登録画面の一例を示す図である。 ワークの検査処理を概略的に示す概念図である。 ワークのピン間の寸法検査の一例を示す図である。 ピンの長さに対する寸法検査を示す図である。 ワークの外観検査の結果を示す図である。 実施の形態に従うコントローラの機能構成の一例を示す図である。 実施の形態に従う画像処理システムが実行する学習処理を表わすフローチャートである。 実施の形態に従う画像処理システムが実行する検査処理を表わすフローチャートである。 実施の形態に従うコントローラのハードウェア構成を示す模式図である。
以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。
<A.画像処理システム1>
図1を参照して、本実施の形態に従う画像処理システム1の基本構成について説明する。図1は、本実施の形態に従う画像処理システム1の基本構成を示す模式図である。
図1に示されるように、画像処理システム1は、コントローラ100と、表示部120と、操作部122と、画像センサ134と、撮像部135とを含む。
コントローラ100は、画像処理システム1全体を制御する。コントローラ100には、表示部120および操作部122が接続され得る。表示部120は、画像を表示可能な液晶パネルなどで構成される。操作部122は、典型的には、タッチパネル、キーボード、マウスなどで構成される。
コントローラ100と画像センサ134とは、ネットワークを介して通信接続されている。コントローラ100と画像センサ134との間の通信は、無線通信で実現されてもよいし、有線通信で実現されてもよい。画像センサ134には、撮像部135が通信接続されている。画像センサ134と撮像部135との間の通信は、無線通信で実現されてもよいし、有線通信で実現されてもよい。
画像処理システム1では、コンベア123上を連続的に搬送されるワークWに対して所定の作業を行う。ワークWは、たとえば、複数のピンを有するコネクタである。図1には、ワークWを検査し、その検査結果に基づいて異常なワークWを排除する作業工程が示されている。
検査対象のワークWは、コンベア123によりステージS上に搬送される。ワークWは、ステージS上に配置されると、撮像部135に撮像される。このとき、好ましくは、ワークWは、治具(図示しない)などによりステージS上において整列された上で撮像される。画像センサ134は、当該撮像により得られた画像に対して画像処理を行うことで、ワークWの外観や寸法などを検査する。一例として、画像センサ134は、ワークWの検査基準となるモデル画像と、検査対象のワークWを撮像して得られた検査用画像とを比較することでワークWを検査する。画像センサ134による検査結果は、コントローラ100に送られ、表示部120などに表示される。
コントローラ100は、ワークWの検査完了後、ワークWを乗せた状態でステージSをコンベア127に隣接するように移動させる。その後、コントローラ100は、治具124を駆動し、ワークWをコンベア127に押し出す。これにより、ワークWは、コンベア127上を搬送される。
コントローラ100は、ワークWの検査結果に基づいて、排除機構125を駆動する。より具体的には、ワークWが異常であることを検査結果が示す場合、コントローラ100は、コンベア127からコンベア128にワークWを誘導するように排除機構125を駆動する。一方で、ワークWが正常であることを検査結果が示す場合、コントローラ100は、ワークWがコンベア128に排除されないように排除機構125を駆動する。これにより、正常なワークWはコンベア127上を搬送され、異常なワークWはコンベア128上を搬送される。
なお、図1の例では、ワークWとしてコネクタが示されているが、ワークWは、コネクタに限定されない。ワークWは、製品または半製品であり、たとえば、ハウジングであってもよいし、食料品であってもよい。
また、上述では、画像センサ134がワークWの検査を実施する例について説明を行ったが、ワークWの検査は、他の装置で実施されてもよい。たとえば、ワークWの検査は、コントローラ100で実施されてもよい。
<B.画像処理システム1の主要処理>
画像処理システム1は、主要な処理として、学習処理と、検査処理とを実行する。学習処理は、検査処理に先立って予め実行される。
学習処理において、画像処理システム1は、ワークの検査基準となるモデル画像を生成する。モデル画像は、検査対象物のワークと同種類のワークを予め撮影して得られた複数の学習画像から生成される。
検査処理において、画像処理システム1は、学習処理で生成されたモデル画像と、検査対象物のワークを撮影して得られた検査用画像とを比較し、モデル画像と検査用画像との類似度を算出する。当該類似度は、たとえば、検査用画像の画像情報(たとえば、画素値)とモデル画像の画像情報との相関値で表わされる。画像処理システム1は、当該類似度が予め定められた値よりも低い場合に、検査対象のワークに欠陥が有ると判断する。画像処理システム1は、当該類似度が予め定められた値以上である場合に、検査対象のワークに欠陥が無いと判断する。
以下では、学習処理と、検査処理とについて詳細に説明する。
<C.学習処理>
[C1.学習処理の流れ]
図2を参照して、画像処理システム1による学習処理の流れについて説明する。図2は、モデル画像の学習過程を時系列に示す図である。
学習処理においては、モデル画像の生成元となる画像29が予め準備される。準備される画像29は、1枚であってもよいし、複数枚であってもよい。画像29は、検査対象物と同種類のワークWを撮像して得られたものである。画像29は、上述の撮像部135(図1参照)がワークWを撮像することにより生成される。画像29は、撮像部135から画像センサ134(図1参照)に出力される。
画像センサ134は、画像29からワークWのピン部分29A〜29Eを切り出す。ピン部分29A〜29Eは、ユーザによって指定されてもよいし、画像処理などによって自動的に検知されてもよい。一例として、画像センサ134は、画像29に微分フィルタを重畳することでエッジを検知する。画像センサ134は、検知されたエッジ部分から所定の矩形領域を検知し、縦横比(すなわち、アスペクト比)が所定範囲内の矩形領域をピン部分29A〜29Eとして検知する。なお、ピン部分のモデル画像が過去に生成さている場合には、画像センサ134は、当該モデル画像を用いた所定の画像処理(たとえば、テンプレートマッチングなど)でピン部分29A〜29Eを検知してもよい。
図2には、画像29から切り出されたピン部分29A〜29Eが学習画像30として示されている。画像センサ134は、学習画像30からモデル画像31を生成する。一例として、画像センサ134は、学習画像30の平均画像をモデル画像31として生成する。より具体的には、画像センサ134は、各学習画像間の同一座標の画素値を平均する。これにより、モデル画像31が生成される。学習画像30の各々には、外乱の違いなど様々な環境変動が含まれているので、学習画像30が平均化されることで、ロバスト性の高いモデル画像31が生成される。
なお、上述の例では、学習画像30を加算平均することによりモデル画像31を生成する例について説明を行ったが、モデル画像31は、他の方法で生成されてもよい。たとえば、各学習画像を重み付けした上で学習画像を平均化する加重平均や、信頼性の低い学習画像を除外した上で学習画像を平均化する調整平均などにより、モデル画像31が生成されてもよい。
[C2.学習画像の選択]
学習対象のワークに欠陥が有る場合や、学習対象のワークの撮影環境が変動する場合には、意図する学習画像が得られないことがある。このような特異な学習画像が含まれている状態で学習処理が実行されると、検査基準として低品質なモデル画像が生成されてしまう。そこで、本実施の形態に従う画像処理システム1は、学習処理に用いる学習画像の選択を受け付け、選択された学習画像からモデル画像を生成する。これにより、特異な学習画像を除外することができ、検査基準として精度の高いモデル画像が生成される。
図3は、ユーザが学習画像を選択する過程を示す図である。図3には、学習候補としての学習画像30A〜30Nと、学習画像30A〜30Nの各々の選択を受け付ける選択項目31A〜31Nが示されている。選択項目31A〜31Nは、たとえば、画像選択を受け付けるチェックボックスやボタンなどである。図3(A)の例においては、学習画像30A〜30Nの全てが選択されている。
図3(A)に示されるように、画像処理システム1は、学習画像30A〜30Nからモデル画像32を生成する。その後、画像処理システム1は、学習画像30A〜30Nの各々についてモデル画像32との類似度を算出する。類似度は、たとえば、モデル画像の画像情報(たとえば、画素値)と、学習画像の画像情報(たとえば、画素値)との相関値で表わされる。当該相関値の算出方法として、たとえば、SSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)、またはZNCC(Zero-mean Normalized Cross-Correlation)などが採用される。
当該相関値は、モデル画像の生成元の学習画像の選択可否を支援するための情報(以下、「支援情報」ともいう。)として表示される。ユーザは、類似度が低い学習画像を確認することで、特異な学習画像を特定することができる。図3(A)の例では、欠陥を有する学習画像30Bの相関値が他の学習画像と比べて低いので、ユーザは、学習画像30Bを特異な学習画像として特定することができる。
ユーザは、相関値を確認した後に、学習画像30A〜30Nの内から学習対象を選択する。図3(B)の例では、ユーザは、選択項目31Bにおけるチェックを外すことで、学習画像30Bを学習対象から外す。選択項目31A〜31Nに対する選択が更新されると、画像処理システム1は、選択項目31A〜31Nにおいて選択された学習画像から新たなモデル画像33を生成する。その後、画像処理システム1は、学習画像30A〜30Nの各々についてモデル画像33との相関値を算出する。
以上のように、画像処理システム1は、学習画像の選択を受け付ける処理と、選択された学習画像からモデル画像を生成する処理と、生成されたモデル画像と各学習画像との相関値を支援情報として表示する処理とを繰り返す。これにより、ユーザは、モデル画像の良否を確認した上でモデル画像を登録することができる。
[C3.モデル登録画面]
図4を参照して、モデル画像を登録するためのモデル登録画面50について説明する。図4は、表示部120に表示されているモデル登録画面50を示す図である。
モデル登録画面50は、適切なモデル画像を登録するためのユーザーインターフェイスである。モデル登録画面50に対する選択操作や入力操作は、上述の操作部122(図1参照)によって実現される。
モデル登録画面50は、学習画像を読み込むための追加ボタン51を含む。追加ボタン51が押下されると、画像29から切り出されたワークWのピン部分29A〜29Eが学習候補としてリスト60に表示される。なお、当該ボタン操作に対して画像ファイルを指定するための画面が表示され、当該画面において指定された画像ファイルが学習候補としてリスト60に表示されてもよい。
表示部120は、リスト60において、学習画像の各々の選択を受け付ける選択項目61Aを表示する。図4の例では、選択項目61Aとしてチェックボックスが表示されている。選択されたチェックボックスにはチェックが表示される。選択されていないチェックボックスにチェックが表示されない。モデル登録画面50の全選択ボタン52が押下された場合には、選択項目61Aが一括で選択される。モデル登録画面50の解除ボタン53が押下された場合には、選択項目61Aにおける選択が一括で解除される。リスト60のいずれかの行が選択された状態でモデル登録画面50の削除ボタン54が押下された場合には、当該選択された行に対応する学習画像がリスト60から削除される。
表示部120は、さらに、選択項目61Aの各々で選択可能な学習画像の識別情報61B,61Cをリスト60に表示する。学習画像の識別情報としては、たとえば、各学習画像に付されたファイルID(Identification)、学習画像のファイル名、学習画像の格納先(たとえば、ファイルパス)、学習画像の登録日時などを含む。図4の例では、識別情報61Bとして学習画像のファイルIDが示されており、識別情報61Cとして学習画像の登録日時が示されている。選択項目61Aの各々と、識別情報61Bの各々と、識別情報61Cの各々とは、対応する学習画像ごとに並べて表示される。これにより、選択項目61Aと識別情報61B,61Cとの対応関係が明確になる。
表示部120は、さらに、学習画像の選択可否を支援するための支援情報61D〜61Fをリスト60に表示する。支援情報61Dの各々と、支援情報61Eの各々と、支援情報61Fの各々とは、対応する学習画像ごとに選択項目61Aに並べて表示される。これにより、選択項目61Aと支援情報61D〜61Fとの対応関係が明確になる。
支援情報61Dは、更新前のモデル画像と各学習画像との相関値(第1類似度群)を示す。支援情報61Eは、選択項目61Aで選択された学習画像から仮に生成されたモデル画像(第2モデル画像)と各学習画像との相関値(第2類似度群)を示す。支援情報61Fは、第1類似度群と第2類似度群との差を表わす。
以下では、現在登録されている既存のモデル画像を「更新前のモデル画像」(第1モデル画像)ともいう。選択項目61Aで選択された学習画像から仮に生成されたモデル画像を「仮のモデル画像」ともいう。ユーザがモデル画像の本登録操作を行うことで最終的に選択項目61Aで選択された学習画像から生成されたモデル画像を「更新後のモデル画像」ともいう。
好ましくは、画像処理システム1は、選択項目61Aに対する選択が更新される度に、当該選択項目61Aにおいて選択された学習画像から仮のモデル画像を生成する。画像処理システム1は、仮のモデル画像が生成される度に、仮のモデル画像に対する各学習画像の相関値(すなわち、支援情報61E)を更新する。より具体的には、画像処理システム1は、選択項目61Aに対する選択が更新されると、選択項目61Aにおいて選択された学習画像から仮のモデル画像を生成する。その後、画像処理システム1は、仮のモデル画像と各学習画像との相関値を算出し、当該相関値で支援情報61Eの表示欄を更新する。同時に、画像処理システム1は、仮のモデル画像を生成する前後での相関値の変化量を算出し、当該変化量で支援情報61Fを更新する。支援情報61E,61Fの表示が選択項目61Aに対する選択操作に連動することで、ユーザは、各学習画像の有効性を即時に判断することができる。
好ましくは、リスト60における各行の内、相関値が所定値よりも低い学習画像の行については、他の行とは異なる態様で表示される。一例として、相関値が所定値よりも低い学習画像の行においては、背景色が赤色や黄色などの注意喚起を促す色に変えられる。これにより、ユーザは、モデル画像との相関値が低い特異な学習画像を一見して発見することができる。
リスト60における各情報は、所定のソートルールに従って並び替えられる。一例として、項目欄62Bが押下されると、識別情報61Bに対する所定のソートルールに従って、リスト60内の各情報が行単位でソートされる。たとえば、項目欄62Bが押下されると、リスト60の各行は、学習画像に付されたIDの順にソートされる。項目欄62Bが押下される度に、降順のソートおよび昇順のソートが切り替えられる。
同様に、項目欄62Cが押下されると、識別情報61Cに対する所定のソートルールに従って、リスト60内の各情報が行単位でソートされる。たとえば、項目欄62Cが押下されると、リスト60の各行は、学習画像の登録日時の順にソートされる。項目欄62Cが押下される度に、降順のソートおよび昇順のソートが切り替えられる。
同様に、項目欄62Dが押下されると、支援情報61Dに対する所定のソートルールに従って、リスト60内の各情報が行単位でソートされる。すなわち、表示部120は、支援情報61Dに対する所定のソートルールに従って、支援情報61Dの各々を、対応する選択項目61Aおよび識別情報61B,61Cとともにソートした上で表示する。一例として、項目欄62Dが押下されると、リスト60の各行は、支援情報61Dに示される相関値の順にソートされる。項目欄62Dが押下される度に、降順のソートおよび昇順のソートが切り替えられる。支援情報61Dが相関値の順に表示されることで、ユーザは、相関値が低い特異な学習画像を容易に発見することができる。
同様に、項目欄62Eが押下されると、支援情報61Eに対する所定のソートルールに従って、リスト60内の各情報が行単位でソートされる。たとえば、項目欄62Eが押下されると、リスト60の各行は、支援情報61Eに示される相関値の順にソートされる。項目欄62Eが押下される度に、降順のソートおよび昇順のソートが切り替えられる。支援情報61Eが相関値の順に表示されることで、ユーザは、相関値が低い特異な学習画像を容易に発見することができる。
同様に、項目欄62Fが押下されると、支援情報61Fに対する所定のソートルールに従って、リスト60内の各情報が行単位でソートされる。たとえば、項目欄62Fが押下されると、リスト60の各行は、支援情報61Eに示される相関値の変化量の順にソートされる。項目欄62Fが押下される度に、降順のソートおよび昇順のソートが切り替えられる。支援情報61Fが相関値の変化量の順に表示されることで、ユーザは、更新前後のモデル画像の良否を容易に把握することができる。
表示部120は、さらに、学習画像の選択可否を支援するための支援情報として学習画像70を表示する。より具体的には、モデル登録画面50は、リスト60内において1つの学習画像を選択する操作を受け付ける。リスト60内のいずれかの行が選択されることで、表示対象の学習画像が選択される。図4の例では、リスト60の行68が選択されており、行68に対応する学習画像70が支援情報として表示されている。選択された学習画像が表示されることで、ユーザは、学習画像の良否を目視で確認することができる。好ましくは、リスト60において選択された行は、他の行とは異なる態様で表示される。
表示部120は、さらに、更新前のモデル画像71と、仮のモデル画像72とを並べて表示する。これにより、ユーザは、更新前のモデル画像71と、仮のモデル画像72とを見比べることができる。好ましくは、選択項目61Aに対する選択が更新される度に、当該選択項目61Aで選択された学習画像から仮のモデル画像72が生成され、仮のモデル画像72が生成される度にモデル画像72の表示が更新される。このように、モデル画像72の表示が選択項目61Aに対する選択操作に連動することで、ユーザは、モデル画像72の良否を容易に把握することができる。
表示部120は、さらに、モデル画像の良否を判断するための支援情報としてリスト80を表示する。リスト80は、更新前のモデル画像に対する評価結果81Aと、仮のモデル画像に対する評価結果81Bと、更新前のモデル画像と仮のモデル画像との評価結果81Cとを含む。評価結果81Aは、たとえば、支援情報61Dに示される相関値の最大値と最小値と平均値とを含む。評価結果81Bは、たとえば、支援情報61Eに示される相関値の最大値と最小値と平均値とを含む。評価結果81Cは、たとえば、支援情報61Fに示される相関値の最大値と最小値と平均値とを含む。なお、評価結果81A〜81Cして表示される項目は、相関値の最大値、最小値、平均値に限定されない。たとえば、評価結果81A〜81Cとして、相関値の標準偏差やその他の指標が表示されてもよい。
モデル登録画面50の登録ボタン91が押下されると、画像処理システム1は、モデル画像の本登録を実行する。すなわち、画像処理システム1は、仮に生成されているモデル画像を新たなモデル画像として本登録する。モデル登録画面50のOKボタン92が押下されると、画像処理システム1は、モデル画像の更新を反映した上でモデル登録画面50を閉じる。モデル登録画面50のキャンセルボタン93が押下されると、画像処理システム1は、モデル画像の更新を反映せずにモデル登録画面50を閉じる。
[C4.モデル登録画面の変形例]
図5を参照して、上述のモデル登録画面50の変形例であるモデル登録画面50Aについて説明する。図5は、モデル登録画面50Aの一例を示す図である。
上述の図4に示されるモデル登録画面50は、リスト60において選択された1つの学習画像70を支援情報として表示していた。これに対して、図5に示されるモデル登録画面50Aは、選択項目61Aで選択されている学習画像の全てまたは一部を支援情報として表示する。これらの学習画像は、一覧95に表示される。選択された学習画像が一覧として表示されることでユーザは、学習画像の内容を即時に把握することができる。
図5の例では、選択項目61Aで選択された「No1」の学習画像70Aが一覧95に表示されている。選択項目61Aで選択された「No3」の学習画像70Bが一覧95に表示されている。選択項目61Aで選択された「No4」の学習画像70Cが一覧95に表示されている。選択項目61Aで選択された「No5」の学習画像70Dが一覧95に表示されている。選択項目61Aで選択された「No6」の学習画像70Eが一覧95に表示されている。選択項目61Aで選択された「No7」の学習画像70Fが一覧95に表示されている。選択項目61Aで選択された「No9」の学習画像70Gが一覧95に表示されている。選択項目61Aで選択された「No10」の学習画像70Hが一覧95に表示されている。
好ましくは、選択項目61Aに対する学習画像の選択が更新される度に、一覧95に表示される学習画像が更新される。
一覧95は、学習画像の表示サイズを指定するためのコンボボックス96を含む。コンボボックス96が選択されると、複数の表示サイズがリストで展開される。展開された表示サイズから特定の表示サイズが選択されると、表示部120は、選択された表示サイズに従って学習画像70A〜70Hの表示サイズを変更する。選択された学習画像が任意のサイズで表示されることで、ユーザは、学習画像の確認を効率化することができる。
なお、上述では、選択項目61Aで選択された学習画像が一覧95に表示される例について説明を行ったが、リスト60に読み込まれた全ての学習画像が一覧95に表示されてもよい。
<D.検査処理>
[D1.検査処理の流れ]
図6を参照して、画像処理システム1による検査処理について説明する。図6は、ワークの検査処理を概略的に示す概念図である。
検査処理において、上述の撮像部135(図1参照)は、コンベア123(図1参照)を流れている検査対象のワークWを撮影する。その結果、検査用画像40が得られたとする。検査用画像40は、ワークWが撮像される度に画像センサ134(図1参照)に順次出力される。
画像センサ134は、上述の学習処理で生成されたモデル画像34を用いて、検査用画像40から、ワークWのピン部分40A〜40Eを探索する。より具体的には、画像センサ134は、検査用画像40内におけるモデル画像34の走査と、モデル画像34の拡大または縮小とを繰り返しながら、検査用画像40内の各領域についてモデル画像34との相関値を算出する。画像センサ134は、相関値が所定値よりも高い領域をピン部分40A〜40Eとして検知する。画像センサ134は、ピン部分40A〜40Eの検知結果に基づいてワークWを検査する。
[D2.ピン間の寸法検査]
ピン部分40A〜40Eの検知結果に基づいて、ワークWの様々な検査が実施される。一例として、コネクタのピン間の寸法が検査される。
図7は、ワークWのピン間の寸法検査の一例を示す図である。図7に示されるように、画像センサ134は、検査用画像40内のピン部分40A〜40Eの位置情報から、ピン部分40A〜40E間の距離X1〜X4を算出する。距離X1は、ピン部分40Aの所定位置(たとえば、中心)とピン部分40Bの所定位置(たとえば、中心)との間の距離を表わす。距離X2は、ピン部分40Bの所定位置(たとえば、中心)とピン部分40Cの所定位置(たとえば、中心)と間の距離を表わす。距離X3は、ピン部分40Cの所定位置(たとえば、中心)とピン部分40Dの所定位置(たとえば、中心)との間の距離を表わす。距離X4は、ピン部分40Dの所定位置(たとえば、中心)とピン部分40Eの所定位置(たとえば、中心)との間の距離を表わす。
ある局面において、画像センサ134は、距離X1〜X4のそれぞれが予め定められた許容範囲に収まっている場合に、ワークWの寸法に欠陥が無いと判断する。一方で、画像センサ134は、距離X1〜X4のいずれかが予め定められた許容範囲に収まっていない場合に、ワークWの寸法に欠陥が有ると判断する。
他の局面において、画像センサ134は、距離X1〜X4のばらつき度合い(たとえば、分散)が予め定められた許容範囲に収まっている場合に、ワークWの寸法に欠陥が無いと判断する。一方で、画像センサ134は、距離X1〜X4のばらつき度合いが予め定められた許容範囲に収まっていない場合に、ワークWの寸法に欠陥が有ると判断する。
[D3.ピンの長さに対する寸法検査]
上述のピン間の寸法検査の他にも、様々な検査が実施される。一例として、コネクタの各ピンの長さが検査される。
図8は、ピンの長さに対する寸法検査を示す図である。図8に示されるように、画像センサ134は、検査用画像40内のピン部分40A〜40Eの検知結果から、ワークWの各ピンの長さY1〜Y5を算出する。長さY1は、ピン部分40Aの長手方向の長さに相当する。長さY2は、ピン部分40Bの長手方向の長さに相当する。長さY3は、ピン部分40Cの長手方向の長さに相当する。長さY4は、ピン部分40Dの長手方向の長さに相当する。長さY5は、ピン部分40Eの長手方向の長さに相当する。なお、長さY1〜Y5は、ワークWのピン先のいずれかを基準位置として当該基準位置からピン先までの距離で表わされてもよい。
ある局面において、画像センサ134は、長さY1〜Y5が全て予め定められた許容範囲に収まっている場合に、ワークWの寸法に欠陥が無いと判断する。一方で、画像センサ134は、長さY1〜Y5のいずれかが予め定められた許容範囲に収まっていない場合に、ワークWの寸法に欠陥が有ると判断する。
他の局面において、画像センサ134は、長さY1〜Y5のばらつき度合い(たとえば、分散)が予め定められた許容範囲に収まっている場合に、ワークWの寸法に欠陥が無いと判断する。一方で、画像センサ134は、長さY1〜Y5のばらつき度合いが予め定められた許容範囲に収まっていない場合に、ワークWの寸法に欠陥が有ると判断する。
[D4.ピンの外観検査]
上述の寸法検査の他にも、様々な検査が実施される。一例として、ワークWの外観が検査される。
図9は、ワークWの外観検査の結果を示す図である。図9に示されるように、外観検査の結果は、たとえば、表示部120に表示される。画像センサ134は、モデル画像に対するピン部分40A〜40Eの各々の相関値に基づいて、ワークWに欠陥があるか否かを判断する。一例として、画像センサ134は、ピン部分40A〜40Eに対する各相関値が全て所定値以上である場合に、ワークWの外観に欠陥が無いと判断する。一方で、画像センサ134は、ピン部分40A〜40Eに対する相関値のいずれかが所定値よりも小さい場合に、ワークWの外観に欠陥が有ると判断する。図9の例では、ピン部分40Cに欠陥が有ると判断されている。
なお、外観検査に用いる指標は、モデル画像に対するピン部分40A〜40Eの相関値に限定されない。たとえば、外観検査に用いられる指標として、検査画像内の特定領域の色合い、特定色の面積、特定部品の位置や大きさ(幅)、特定位置近傍との画素値の比較結果などが採用されてもよい。
好ましくは、欠陥があるピン部分40Cは、他のピン部分40A,40B,40D,40Eとは異なる態様で表示される。
<E.機能構成>
図10を参照して、画像処理システム1を構成するコントローラ100の機能について説明する。図10は、コントローラ100の機能構成の一例を示す図である。
図10に示されるように、コントローラ100は、選択受付部152と、生成部154と、算出部156と、表示制御部158と、更新部160とを含む。
選択受付部152は、上述の操作部122(図1参照)から、モデル画像の生成に用いられる学習画像の選択操作を受け付ける。当該選択操作は、たとえば、上述のモデル登録画面50(図4参照)の選択項目61A(図4参照)において入力される。選択受付部152は、選択された学習画像を生成部154に出力する。
生成部154は、学習画像30から選択された学習画像を特定し、当該学習画像から仮のモデル画像33を生成する。好ましくは、生成部154は、選択受付部152が学習画像の選択操作を受け付ける度に仮のモデル画像33を生成する。モデル画像の生成方法は上述の通りである。
算出部156は、現在登録されている更新前のモデル画像32と学習画像30の各々との第1相関値群(第1類似度群)を算出するとともに、仮のモデル画像33と学習画像30の各々との第2相関値群(第2類似度群)を算出する。好ましくは、第2相関値群は、仮のモデル画像33が生成される度に算出される。第1相関値群および第2相関値群は、表示制御部158に出力される。
表示制御部158は、上述のモデル登録画面50の表示を制御する。一例として、表示制御部158は、算出部156によって出力された算出結果(すなわち、第1相関値群および第2相関値群)をモデル登録画面50に表示する。また、表示制御部158は、更新前のモデル画像32と仮のモデル画像33とを並べてモデル登録画面50に表示する。
更新部160は、仮のモデル画像33を本登録するための操作を受け付ける。更新部160は、更新前のモデル画像32を更新するための登録操作を受け付けたことに基づいて、更新前のモデル画像32をモデル画像33で更新する。これにより、モデル画像33が本登録される。
なお、選択受付部152、生成部154、算出部156、表示制御部158、および更新部160の全部または一部は、必ずしもコントローラ100に実装される必要はない。たとえば、これらの機能は、上述の画像センサ134(図1参照)などに実装されてもよい。
<F.フローチャート>
図11および図12を参照して、画像処理システム1の制御構造について説明する。図11は、画像処理システム1が実行する学習処理を表わすフローチャートである。図12は、画像処理システム1が実行する検査処理を表わすフローチャートである。
以下では、学習処理の制御フローおよび検査処理の制御フローについて順に説明する。
[F1.学習処理の制御フロー]
まず、図11を参照して、画像処理システム1による学習処理の制御フローについて説明する。
図11に示される処理は、たとえば、コントローラ100(図1参照)に備えられる後述の制御装置101(図13参照)がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、画像センサ134またはその他のハードウェアによって実行されてもよい。
ステップS10において、制御装置101は、上述のモデル登録画面50(図4参照)を開くための操作を受け付けたか否かを判断する。制御装置101は、モデル登録画面50を開くための操作を受け付けたと判断した場合(ステップS10においてYES)、制御をステップS12に切り替える。そうでない場合には(ステップS10においてNO)、制御装置101は、ステップS10の処理を再び実行する。
ステップS12において、制御装置101は、上述の表示部120(図1参照)にモデル登録画面50を表示する。
ステップS20において、制御装置101は、上述の選択受付部152(図10参照)として、学習画像の選択操作を受け付けたか否かを判断する。学習画像の選択操作は、上述したように、モデル登録画面50の選択項目61A(図4参照)に対して行われる。制御装置101は、学習画像の選択操作を受け付けたと判断した場合(ステップS12においてYES)、制御をステップS22に切り替える。そうでない場合には(ステップS12においてNO)、制御装置101は、制御をステップS30に切り替える。
ステップS22において、制御装置101は、上述の生成部154(図10参照)として、モデル登録画面50の選択項目61Aにおいて選択された学習画像から仮のモデル画像33を生成する。
ステップS24において、制御装置101は、上述の算出部156(図10参照)として、現在登録されている更新前のモデル画像と学習画像の各々との相関値を算出する。また、制御装置101は、算出部156として、ステップS22で生成された仮のモデル画像と学習画像の各々との相関値を算出する。
ステップS26において、制御装置101は、上述の表示制御部158(図10参照)として、モデル登録画面50の表示を更新する。一例として、制御装置101は、ステップS24での算出結果をモデル登録画面50に表示する。また、制御装置101は、現在登録されている更新前のモデル画像に並べて、ステップS22で生成された仮のモデル画像を表示する。
ステップS30において、制御装置101は、モデル画像の本登録操作を受け付けたか否かを判断する。一例として、制御装置101は、モデル登録画面50の登録ボタン91(図4参照)が押下された場合に、モデル画像の本登録操作を受け付ける。制御装置101は、モデル画像の本登録操作を受け付けたと判断した場合(ステップS30においてYES)、制御をステップS32に切り替える。そうでない場合には(ステップS30においてNO)、制御装置101は、制御をステップS20に戻す。
ステップS32において、制御装置101は、上述の更新部160(図10参照)として、現在登録されている更新前のモデル画像をステップS22で生成されたモデル画像に更新する。このとき、好ましくは、制御装置101は、ステップS22でモデル画像の生成に用いられた学習画像の識別情報を履歴情報に書き込む。生成元の学習画像の識別情報がモデル画像の更新の度に履歴情報に書き込まれることで、制御装置101は、現在のモデル画像を過去のモデル画像に戻すことが可能になる。
[F2.検査処理の制御フロー]
図12を参照して、画像処理システム1による検査処理の制御フローについて説明する 図12に示される処理は、たとえば、画像センサ134(図1参照)がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、コントローラ100またはその他のハードウェアによって実行されてもよい。以下では、ワークの一例として複数のピンを有するコネクタを例に挙げて検査フローの説明を行う。
ステップS110において、画像センサ134は、ワーク検査の開始操作を受け付けたか否かを判断する。画像センサ134は、ワーク検査の開始操作を受け付けたと判断した場合(ステップS110においてYES)、制御をステップS112に切り替える。そうでない場合には(ステップS110においてNO)、画像センサ134は、制御装置101は、ステップS110の処理を再び実行する。
ステップS112において、画像センサ134は、検査対象のコネクタを撮像し、検査用画像を取得する。当該検査用画像は、上述の撮像部135(図1参照)によって生成される。
ステップS114において、画像センサ134は、上述の学習処理で生成されたモデル画像を用いて、検査用画像からコネクタのピン部分を探索する。より具体的には、画像センサ134は、検査用画像内におけるモデル画像の走査と、モデル画像の拡大または縮小とを繰り返しながら、検査用画像内の各領域とモデル画像との相関値を算出する。画像センサ134は、相関値が所定値よりも高い領域を検査対象のピン部分として検知する。これにより、検査用画像内におけるピン部分の位置と、各位置におけるピン部分とモデル画像との相関値が検知結果として得られる。
ステップS116において、画像センサ134は、ステップS114での検知結果に基づいて、コネクタのピン間の寸法検査を実行する。当該寸法検査については図7で説明した通りである。
ステップS118において、画像センサ134は、ステップS114での検知結果に基づいて、コネクタのピンの長さに対する寸法検査を実行する。当該寸法検査については図8で説明した通りである。
ステップS120において、画像センサ134は、ステップS114での検知結果に基づいて、コネクタの外観検査を実行する。当該寸法検査については図9で説明した通りである。
ステップS130において、画像センサ134は、ワーク検査を終了するか否かを判断する。一例として、画像センサ134は、ワーク検査の終了操作を受け付けた場合に、ワーク検査を終了すると判断する。画像センサ134は、ワーク検査を終了すると判断した場合には(ステップS130においてYES)、ワークの検査処理を終了する。そうでない場合には(ステップS130においてNO)、画像センサ134は、制御をステップS112に戻す。
<G.コントローラ100のハードウェア構成>
図13を参照して、本実施の形態に従うコントローラ100のハードウェア構成について説明する。図13は、本実施の形態に従うコントローラ100のハードウェア構成を示す模式図である。
コントローラ100は、一例として、汎用的なコンピュータアーキテクチャに準じて構成されるコンピュータからなる。コントローラ100は、制御装置101と、主メモリ102と、通信インターフェイス103と、センサインターフェイス104と、操作インターフェイス105と、表示インターフェイス106と、光学ドライブ107と、記憶装置110(記憶部)とを含む。これらのコンポーネントは、内部バス119を介して互いに通信可能に接続されている。
制御装置101は、たとえば、少なくとも1つの集積回路によって構成される。集積回路は、たとえば、少なくとも1つのCPU(Central Processing Unit)、少なくとも1つのASIC(Application Specific Integrated Circuit)、少なくとも1つのFPGA(Field Programmable Gate Array)、またはそれらの組み合わせなどによって構成される。制御装置101は、記憶装置110に格納されている画像処理プログラム111を主メモリ102に展開して実行することで、上述の学習処理や検査処理などを実現する。主メモリ102は、揮発性メモリにより構成され、制御装置101によるプログラム実行に必要なワークメモリとして機能する。
通信インターフェイス103は、外部機器との間でネットワークを介してデータを遣り取りする。当該外部機器は、たとえば、上述の画像センサ134(図1参照)、サーバ、その他の通信機器などを含む。コントローラ100は、通信インターフェイス103を介して、本実施の形態に従う画像処理プログラム111をダウンロードできるように構成されてもよい。
センサインターフェイス104は、上述の画像センサ134と接続される。画像センサ134には、上述の撮像部135が接続され、センサインターフェイス104は、撮像部135の撮像により得られる画像信号を取り込むとともに、画像センサ134を介して撮像部135に撮像タイミングなどの指令を送る。
操作インターフェイス105は、操作部122に接続され、操作部122からのユーザ操作を示す信号を取り込む。操作部122は、典型的には、キーボード、マウス、タッチパネル、タッチパッドなどからなり、ユーザからの操作を受け付ける。
表示インターフェイス106は、表示部120と接続され、制御装置101などからの指令に従って、表示部120に対して、画像を表示するための画像信号を送出する。表示部120は、ディスプレイ、インジケータなどからなり、ユーザに対して各種情報を提示する。
光学ドライブ107は、光学ディスク107Aなどから、その中に格納されている各種プログラムを読み出して、記憶装置110にインストールする。記憶装置110は、たとえば、画像処理プログラム111などを格納する。
図13には、光学ドライブ107を介して必要なプログラムをコントローラ100にインストールする構成例を示すが、これに限られることなく、ネットワーク上のサーバ装置などからダウンロードするようにしてもよい。あるいは、コントローラ100上のプログラムは、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード、CF(Compact Flash)などの記憶媒体に書き込まれているプログラムによって書き換えられるように構成されもよい。
記憶装置110(記憶部)は、たとえば、ハードディスクや外付けの記憶媒体である。一例として、記憶装置110は、モデル画像の生成に用いられる学習画像30と、学習画像30から生成された更新前のモデル画像32と、学習画像30の一部または全部から生成された仮のモデル画像33と、本実施の形態に従う各種の処理を実現するための画像処理プログラム111とを格納する。
画像処理プログラム111は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従うコントローラ100の趣旨を逸脱するものではない。さらに、本実施の形態に従う画像処理プログラム111によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、コントローラ100とサーバとが協働して、本実施の形態に従う処理を実現するようにしてもよい。さらに、少なくとも1つのサーバが本実施の形態に従う処理を実現する、所謂クラウドサービスの形態でコントローラ100が構成されてもよい。
<H.利点>
以上のようにして、本実施の形態に従う画像処理システム1は、各学習画像の選択を受け付ける選択項目を表示するとともに、当該選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示する。画像処理システム1は、選択項目において選択された学習画像から新たなモデル画像を生成する。
ユーザは、学習画像の選択可否を支援するための支援情報を確認することで、学習対象から特異な学習画像を省くことができる。これにより、精度の高いモデル画像が生成されるので、検査の精度が改善される。また、精度の高いモデル画像が生成されることで、検査用画像とモデル画像とのマッチング処理時に生じ得る位置ずれなどを抑制することができる。
他の利点として、本実施の形態に従う画像処理システム1は、ロバスト性の高いモデル画像を生成できる。より具体的には、ロバスト性の高いモデル画像を生成するためには、撮影環境(たとえば、照明ムラなど)や製造環境(たとえば、加工法、金型、気温など)が異なる様々なワークの学習画像からモデル画像を作成する必要がある。このとき、本実施の形態に従う画像処理システム1においては、ユーザは、多種多様な学習画像からモデル画像の生成に有効な学習画像を選択することができる。これにより、よりロバスト性の高いモデル画像を生成することができる。
さらに他の利点として、本実施の形態に従う画像処理システム1は、モデル画像の生成に用いられた学習画像の履歴(たとえば、撮像日時や登録日時など)を表示するため、ユーザは、当該履歴を参照して学習画像を取捨選択することができる。
さらに他の利点として、ユーザは、生成されたモデル画像の有効性を確認できることができる。より具体的には、本実施の形態に従う画像処理システム1は、学習画像の選択によりモデル画像を生成する度に当該モデル画像の有効性を示す判断材料を表示する。当該判断材料として、たとえば、生成されたモデル画像に対する学習画像の相関値や、生成されたモデル画像自体が表示される。ユーザは、これらの判断材料を確認することで、モデル画像の有効性を確認することができる。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
1 画像処理システム、29 画像、29A〜29E,40A〜40E ピン部分、30,30A〜30N,70,70A〜70H 学習画像、31〜34,71,72 モデル画像、31A〜31N,61A 選択項目、40 検査用画像、50,50A モデル登録画面、51 追加ボタン、52 全選択ボタン、53 解除ボタン、54 削除ボタン、60,80 リスト、61B,61C 識別情報、61D〜61F 支援情報、62B〜62F 項目欄、68 行、81A〜81C 評価結果、91 登録ボタン、92 OKボタン、93 キャンセルボタン、95 一覧、96 コンボボックス、100 コントローラ、101 制御装置、102 主メモリ、103 通信インターフェイス、104 センサインターフェイス、105 操作インターフェイス、106 表示インターフェイス、107 光学ドライブ、107A 光学ディスク、110 記憶装置、111 画像処理プログラム、119 内部バス、120 表示部、122 操作部、123,127,128 コンベア、124 治具、125 排除機構、134 画像センサ、135 撮像部、152 選択受付部、154 生成部、156 算出部、158 表示制御部、160 更新部。

Claims (10)

  1. 検査対象物を撮像して得られた画像に基づいて前記検査対象物を検査するための画像処理システムであって、
    前記検査対象物と同種類の物体を表わす複数の学習画像と、前記検査対象物の検査基準として前記複数の学習画像から生成された第1モデル画像とを格納するための記憶部と、
    前記複数の学習画像の各々の選択を受け付ける選択項目を表示するための表示部とを備え、前記表示部は、前記選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示し、さらに、
    前記選択項目において選択された学習画像から前記画像との比較対象として第2モデル画像を生成し、前記第1モデル画像を前記第2モデル画像に更新するための更新部を備える、画像処理システム。
  2. 前記表示部は、前記支援情報に対する所定のソートルールに従って、複数の前記支援情報の各々を、対応する前記選択項目および前記識別情報とともにソートした上で表示する、請求項1に記載の画像処理システム。
  3. 前記表示部は、前記第1モデル画像と前記複数の学習画像の各々との第1類似度群、および前記第2モデル画像と前記複数の学習画像の各々との第2類似度群を、前記支援情報として表示する、請求項1または2に記載の画像処理システム。
  4. 前記更新部は、前記選択項目に対する選択が更新される度に、当該選択項目において選択された学習画像から前記第2モデル画像を生成し、
    前記表示部は、前記第2モデル画像が生成される度に前記第2類似度群の表示を更新する、請求項3に記載の画像処理システム。
  5. 前記表示部は、前記複数の学習画像の内から表示対象として選択された学習画像を前記支援情報として表示する、請求項1〜4のいずれか1項に記載の画像処理システム。
  6. 前記表示部は、前記選択項目において選択されている学習画像を前記支援情報として表示する、請求項1〜4のいずれか1項に記載の画像処理システム。
  7. 前記表示部は、前記第1モデル画像と、前記第2モデル画像とを並べて表示する、請求項1〜6のいずれか1項に記載の画像処理システム。
  8. 前記更新部は、前記第1モデル画像の更新指示を受け付けたことに基づいて、前記第1モデル画像を前記第2モデル画像に更新する、請求項1〜7のいずれか1項に記載の画像処理システム。
  9. 検査対象物を撮像して得られた画像に基づいて前記検査対象物を検査するための画像処理方法であって、
    前記検査対象物と同種類の物体を表わす複数の学習画像と、前記検査対象物の検査基準として前記複数の学習画像から生成された第1モデル画像とを準備するステップと、
    前記複数の学習画像の各々の選択を受け付ける選択項目を表示するとともに、当該選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示するステップと、
    前記選択項目において選択された学習画像から前記画像との比較対象として第2モデル画像を生成し、前記第1モデル画像を前記第2モデル画像に更新するステップとを備える、画像処理方法。
  10. 検査対象物を撮像して得られた画像に基づいて前記検査対象物を検査するための画像処理プログラムであって、
    前記画像処理プログラムは、コンピュータに、
    前記検査対象物と同種類の物体を表わす複数の学習画像と、前記検査対象物の検査基準として前記複数の学習画像から生成された第1モデル画像とを準備するステップと、
    前記複数の学習画像の各々の選択を受け付ける選択項目を表示するとともに、当該選択項目ごとに、当該選択項目で選択可能な学習画像の識別情報と、当該学習画像の選択可否を支援するための支援情報とを並べて表示するステップと、
    前記選択項目において選択された学習画像から前記画像との比較対象として第2モデル画像を生成し、前記第1モデル画像を前記第2モデル画像に更新するステップとを実行させる、画像処理プログラム。
JP2016130484A 2016-06-30 2016-06-30 画像処理システム、画像処理方法、および画像処理プログラム Active JP6729081B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016130484A JP6729081B2 (ja) 2016-06-30 2016-06-30 画像処理システム、画像処理方法、および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016130484A JP6729081B2 (ja) 2016-06-30 2016-06-30 画像処理システム、画像処理方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2018005500A true JP2018005500A (ja) 2018-01-11
JP6729081B2 JP6729081B2 (ja) 2020-07-22

Family

ID=60944946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016130484A Active JP6729081B2 (ja) 2016-06-30 2016-06-30 画像処理システム、画像処理方法、および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6729081B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975186B1 (ko) * 2018-07-04 2019-05-07 광운대학교 산학협력단 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법
JP2019190911A (ja) * 2018-04-20 2019-10-31 ファナック株式会社 検査装置
CN113125440A (zh) * 2019-12-30 2021-07-16 纬创资通股份有限公司 物件的瑕疵判断方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011141133A (ja) * 2010-01-05 2011-07-21 Hitachi High-Technologies Corp Semを用いた欠陥検査方法及び装置
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP2013065354A (ja) * 2012-12-27 2013-04-11 Omron Corp モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム
JP2013065809A (ja) * 2011-08-30 2013-04-11 Fujitsu Ltd 検査装置、検査方法及び検査プログラム
JP2015176272A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011141133A (ja) * 2010-01-05 2011-07-21 Hitachi High-Technologies Corp Semを用いた欠陥検査方法及び装置
WO2012073421A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
JP2013065809A (ja) * 2011-08-30 2013-04-11 Fujitsu Ltd 検査装置、検査方法及び検査プログラム
JP2013065354A (ja) * 2012-12-27 2013-04-11 Omron Corp モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム
JP2015176272A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019190911A (ja) * 2018-04-20 2019-10-31 ファナック株式会社 検査装置
US11282229B2 (en) 2018-04-20 2022-03-22 Fanuc Corporation Inspection apparatus
KR101975186B1 (ko) * 2018-07-04 2019-05-07 광운대학교 산학협력단 객체 검출을 위한 생성적 적대 신경망 기반의 데이터 생성 장치 및 방법
CN113125440A (zh) * 2019-12-30 2021-07-16 纬创资通股份有限公司 物件的瑕疵判断方法及装置

Also Published As

Publication number Publication date
JP6729081B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
JP6960980B2 (ja) 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定
JP5865707B2 (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
US20100226561A1 (en) Parameter determination assisting device and parameter determination assisting program
JP5415182B2 (ja) 画像処理装置及びプログラム作成支援装置並びに画像処理方法
KR101117472B1 (ko) 육안 검사장치와 육안 검사방법
EP3109826A2 (en) Using 3d vision for automated industrial inspection
JP7070153B2 (ja) 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム
JP6729081B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP2007114843A (ja) 良否判定装置
JP7054436B2 (ja) 検出システム、情報処理装置、評価方法及びプログラム
US11836911B2 (en) Image data management method, production apparatus, production system, image data management method for production system, and non-transitory computer-readable recording medium
US20160379351A1 (en) Using 3d vision for automated industrial inspection
JP2013224833A (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
WO2019131742A1 (ja) 検査処理装置、検査処理方法、およびプログラム
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
US6807288B2 (en) Image processing apparatus, image processing method, and recording medium recording image processing program
JP2007103645A (ja) パターン検査方法
JP7440823B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020003887A1 (ja) 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム
JP2018036279A5 (ja)
US10621455B2 (en) Image processing system, information processing device, information processing method, and information processing program
JP2007198968A (ja) 画像分類方法及び画像分類装置
JP2018091771A (ja) 検査方法、事前画像選別装置及び検査システム
JP5696194B2 (ja) プログラム作成支援装置及び画像処理装置
US11961218B2 (en) Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6729081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250