JP2017032340A - 三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体 - Google Patents

三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2017032340A
JP2017032340A JP2015150641A JP2015150641A JP2017032340A JP 2017032340 A JP2017032340 A JP 2017032340A JP 2015150641 A JP2015150641 A JP 2015150641A JP 2015150641 A JP2015150641 A JP 2015150641A JP 2017032340 A JP2017032340 A JP 2017032340A
Authority
JP
Japan
Prior art keywords
inspection
image
measurement
dimensional image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015150641A
Other languages
English (en)
Inventor
晋也 高橋
Shinya Takahashi
晋也 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2015150641A priority Critical patent/JP2017032340A/ja
Publication of JP2017032340A publication Critical patent/JP2017032340A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】検査対象物の高さを含む検査の判定結果の正確性を高める。【解決手段】基準対象物の高さ画像である検査基準画像に対して、検査対象物の高さに関する検査条件を設定するための検査設定手段251と、検査対象物をステージ140上に載置した状態で、該検査対象物を撮像した検査対象画像に対し、検査設定手段251で設定された検査条件を具備するかどうかの画像検査を行う画像検査手段216と、画像検査手段216に、画像検査の実行を指示するための検査指示手段253と、画像検査手段216の画像検査により得られた検査結果として、検査対象物が検査条件に合致している場合は、正常、検査対象物が検査条件に合致していない場合は、異常、検査対象物が検査条件に合致しているかどうかを判定できない場合は、検査不能のいずれかを表示し、さらに検査不能の表示は、該検査不能とされた要因に応じて異なる表示を行うための表示部400とを備える。【選択図】図1

Description

本発明は、三次元の検査対象物に対して高さ情報を含む所定の検査を行うための三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体に関する。
検査対象物の二次元画像を撮像して、予め設定された部位の寸法を測定し、所定の条件に合致するかどうかを判定して出力する画像検査装置が開発されている(例えば特許文献1)。このような画像検査装置は、例えば製品の製造時に、所定の寸法で製造されているかどうかを確認するための抜き取り検査や全量検査において、用いられている。
しかしながらこのような画像検査装置は、検査対象物の撮像して得られた二次元の平面画像に対して、寸法の測定を行っているため、高さの判定を行うことができなかった。
さらに、従来の画像検査装置では、検査結果としてOKかNGかの判定結果が表示されるものの、NGの場合は、検査対象物の寸法が規格外であったのか、あるいは画像が撮像できなかった、画像の寸法を検出できなかったなど、撮像した画像側に問題があったのかを判定することができなかった。場合によっては、検査対象物に異常はないものの、これを画像検査装置にセットする際のおき方などが原因でNGと判定されることもあり、本来OKとなるべき検査対象物がNGと誤って判定されることが起こり得るという問題があった。
特開平11−132740号公報 特開2010−169584号公報
本発明は、従来のこのような問題点に鑑みてなされたものである。本発明の目的の一は、検査対象物の高さを含む検査の判定結果の正確性を高めるようにした三次元画像検査装置、三次元画像検査方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体を提供することにある。
課題を解決するための手段及び発明の効果
上記の目的を達成するために、本発明の第1の側面に係る三次元画像検査装置によれば、検査対象物を撮像した、高さ情報を含む検査対象画像に対して所定の画像検査を実行するための画像検査装置であって、検査対象物を載置するためのステージと、前記ステージ上に載置された検査対象物のテクスチャ情報を有する二次元の光学画像であるテクスチャ画像を取得するためのテクスチャ画像取得手段と、前記ステージ上に載置された検査対象物の高さ情報を含む高さ画像を取得するための高さ画像取得手段と、検査対象物の検査条件を定めるために、検査の基準となる基準対象物を前記ステージ上に載置して、該位置を基準検査位置として撮像した、基準対象物の高さ画像である検査基準画像に対して、検査対象物の高さに関する検査条件を設定するための検査設定手段と、検査対象物を前記ステージ上の、前記基準検査位置を含む画像検査が実行可能な範囲に載置した状態で、該検査対象物を撮像した検査対象画像に対し、前記検査設定手段で設定された検査条件を具備するかどうかの画像検査を行う画像検査手段と、前記画像検査手段に、画像検査の実行を指示するための検査指示手段と、前記画像検査手段の画像検査により得られた検査結果として、検査対象物が検査条件に合致している場合は、正常、検査対象物が検査条件に合致していない場合は、異常、検査対象物が検査条件に合致しているかどうかを判定できない場合は、検査不能のいずれかを表示し、さらに検査不能の表示は、該検査不能とされた要因に応じて異なる表示を行うための表示部とを備えることができる。上記構成により、判定結果として検査対象物の正常、異常のみならず、検査が実行できなかった場合に検査不能を表示させることで、検査対象物の異常に起因しない検査の不備に対して、ユーザは必要な措置を講じることが可能となる。また検査不能とされた要因を表示させることで、検査を適切に行うために調整すべき箇所を特定し易くなり、再設定の手間を省力化できる。
また第2の側面に係る三次元画像検査装置によれば、前記画像検査手段が、検査対象画像に対して所定の計測を行うための計測手段であり、前記計測手段で計測された計測結果に基づいて、判定した結果を画像検査結果として、前記表示部に表示させることができる。
さらに第3の側面に係る三次元画像検査装置によれば、さらに検査対象画像中の、前記計測手段により計測を行う対象となる計測部位を、検査基準画像において指定するための計測部位指定手段と、検査対象物の計測部位の設計値又は許容される範囲の少なくともいずれかを指定するための設計値指定手段と、前記計測部位指定手段で指定された計測部位を、検査対象画像中から自動的に抽出するための計測部位抽出手段とを備え、前記画像検査手段が、前記計測部位抽出手段で抽出された計測部位を前記計測手段で計測した計測値が、前記設計値指定手段で指定された設計値又は許容される範囲で規定される公差の範囲内にあるか否かを判定し、前記画像検査手段が、判定結果として、計測値が公差の範囲内にあるときは、前記正常に対応する範囲内判定を、計測値が公差の範囲外にあるときは、前記異常に対応する範囲外判定を、出力可能に構成できる。
さらにまた第4の側面に係る三次元画像検査装置によれば、前記画像検査手段が、判定結果として、さらに、検査対象物の検査対象画像を取得できたものの、計測部位の計測値を取得できないため判定を実行することができなかった場合に、前記検査不能に対応する不能判定を、出力可能に構成できる。上記構成により、判定結果を参照して、不能判定ならば計測のやり直しが必要であり、範囲外判定ならば検査対象物の不良ということがユーザに判別可能となる。このように、不能判定を設けたことで、不良品でない可能性のある検査対象物を誤って破棄する事態を回避できる。
さらにまた第5の側面に係る三次元画像検査装置によれば、前記表示部は、前記画像検査手段の判定結果を表示可能で、かつ不能判定となった場合はその理由を表示可能としており、検査対象物の計測部位が複数ある場合に、各計測部位の判定結果と、計測可能であった場合の計測値を一覧表示可能とできる。上記構成により、不能判定となった検査対象物を一旦プールしておき、纏めて再検査や原因究明する際に、不能判定の理由を参照することが可能となる。
さらにまた第6の側面に係る三次元画像検査装置によれば、前記設計値指定手段で、許容される範囲として、設計値及び該設計値から許容される上限値及び下限値の公差を指定することができる。
さらにまた第7の側面に係る三次元画像検査装置によれば、前記表示部は、一覧表示において、範囲内判定又は範囲外判定の表示と共に、計測値と、計測値の設計値および公差との関係を示す相対関係図を表示可能とできる。
さらにまた第8の側面に係る三次元画像検査装置によれば、前記相対関係図が、設計値を公差で挟むようにゲージ状に表示されており、前記相対関係図が、範囲内判定の場合、公差で挟まれたゲージ内の対応する位置に、計測値を表示し、前記相対関係図が、範囲外判定の場合、公差で挟まれたゲージ外の延長線上の対応する位置に、計測値を表示するよう構成できる。
さらにまた第9の側面に係る三次元画像検査装置によれば、前記表示部は、複数の計測部位の判定結果の一覧表示の際には、不能判定となった理由を非表示とし、個別の計測部位の判定結果を表示する際に、不能判定となった理由を表示するよう構成できる。
さらにまた第10の側面に係る三次元画像検査装置によれば、前記表示部は、検査対象画像に、不能判定又はその理由を付加して表示可能としており、前記表示部は、検査対象物の断面形状を示すプロファイル画像を表示可能としており、該プロファイル画像に、不能判定又はその理由を付加して表示可能できる。
さらにまた第11の側面に係る三次元画像検査装置によれば、前記画像検査手段が、検査結果を判定不能とする際、前記表示部上に、該判定不能の表示と共に、該判定不能の要因と関連する画像を関連付けて表示させるよう構成できる。上記構成により、検査不能となった理由に応じて、該理由と関連する画像と関連付けて表示させることで、ユーザは検査不能の原因を特定しやすくなり、要因を取り除くような対策を講じ易くなる。
さらにまた第12の側面に係る三次元画像検査装置によれば、前記画像検査手段が検査対象画像の位置合わせを実行できない場合に、該検査対象画像のテクスチャ画像と共に検査不能を前記表示部に表示させ、検査対象画像の位置合わせを実行できたものの計測部位の計測が実行できない場合に、実行できなかった計測部位のプロファイル画像と共に検査不能を前記表示部に表示させるよう構成できる。
さらにまた第13の側面に係る三次元画像検査装置によれば、前記検査設定手段で複数の計測部位が指定された状態で、前記表示部が、複数設定された計測部位のそれぞれに対する判定結果を表示する個別判定表示欄と、すべての計測部位の判定結果から、総合の判定結果を表示させるための総合判定表示欄とを有することができる。
さらにまた第14の側面に係る三次元画像検査装置によれば、前記画像検査手段は、前記総合判定表示欄に、総合判定として、前記指定された複数の計測部位の内、前記計測手段で計測できなかった部位が一以上ある場合は、不能判定を、前記指定された複数の計測部位のすべてを測定でき、かつ計測値が公差の範囲外となったものが一以上ある場合は、範囲外判定を、前記指定された複数の計測部位のすべてを測定でき、かつすべての計測値が公差の範囲内である場合は、範囲内判定を、それぞれ表示させることができる。
さらにまた第15の側面に係る三次元画像検査装置によれば、前記画像検査部が不能判定と判定する際の要因が、検査対象画像に対する位置合わせの失敗、検査対象画像に対する画像処理においてエッジ抽出の失敗、検査対象画像中で計測部位に計測値が見出せない、の少なくともいずれかを含むことができる。
さらにまた第16の側面に係る三次元画像検査装置によれば、前記画像検査部が不能判定と判定する際の要因が、計測部位に計測値が見出せないことである場合とは、検査設定の際には、該計測部位に計測点を指定することができたが、検査の際に、計測部位の測定をすることができなかった場合とできる。
さらにまた第17の側面に係る三次元画像検査装置によれば、さらに、画像検査時に検査対象物の高さ情報を測定する基準となる平面を基準面として、基準対象物の検査基準画像中に設定するための基準面設定手段を備えることができる。
さらにまた第18の側面に係る三次元画像検査装置によれば、さらに前記画像検査手段の検査結果をデータファイルとして生成するデータファイル生成手段を備えることができる。
さらにまた第19の側面に係る三次元画像検査装置によれば、前記データファイル生成手段が、前記画像検査手段の検査結果が異常又は検査不能の場合に、データファイルを生成するよう構成できる。
さらにまた第20の側面に係る三次元画像検査装置によれば、前記光学撮像取得手段と高さ画像取得手段が、共通の撮像素子でもってテクスチャ画像の撮像と高さ画像の撮像を行うよう構成できる。上記構成により、共通の撮像素子でもって取得されるテクスチャ画像と高さ画像とで対応する画素の相関関係が容易に確定できるため、これらの画像から三次元合成画像に合成する処理を容易に行え、また三次元合成画像の各画素が有する高さ情報の誤差を少なくできる。
さらにまた第21の側面に係る三次元画像検査装置によれば、前記高さ画像取得手段が、検査対象物に対して斜め方向から測定光を投光して構造化照明を行うための測定光投光手段を含み、前記高さ画像取得手段が、前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を前記撮像素子で撮像し、前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得することができる。上記構成により、縞投影画像を用いて高さ情報を取得することが可能となる。
さらにまた第22の側面に係る三次元画像検査方法によれば、検査対象物を撮像した、高さ情報を含む検査対象画像に対して所定の画像検査を実行するための画像検査方法であって、検査の基準となる基準対象物をステージに載置し、該位置を基準検査位置として撮像した、該基準対象物の高さ情報を含む高さ画像に対して、検査対象物の高さに関する検査条件を設定する工程と、検査の対象となる検査対象物を前記ステージ上の、前記基準検査位置を含む画像検査が実行可能な範囲に載置し、該検査対象物のテクスチャ画像と高さ画像を撮像し、前記高さ画像を、検査対象画像として、該検査対象画像に対して、前記検査条件を具備するかどうかの画像検査を行う工程と、前記画像検査手段の画像検査により得られた検査結果として、検査対象物が検査条件に合致している場合は、正常、検査対象物が検査条件に合致していない場合は、異常、検査対象物が検査条件に合致しているかどうかを判定できない場合は、検査不能のいずれか、及び検査不能とされた場合は該検査不能とされた要因により異なる表示を表示部で表示させる工程とを含むことができる。これにより、判定結果として検査対象物の正常、異常のみならず、検査が実行できなかった場合に検査不能を表示させることで、検査対象物の異常に起因しない検査の不備に対して、ユーザは必要な措置を講じることが可能となる。
さらにまた第23の側面に係る三次元画像検査プログラムによれば、検査対象物を撮像した、高さ情報を含む検査対象画像に対して所定の画像検査を実行するための画像検査プログラムであって、検査の基準となる基準対象物をステージに載置し、該位置を基準検査位置として撮像した、該基準対象物の高さ情報を含む高さ画像に対して、検査対象物の高さに関する検査条件を設定する機能と、検査の対象となる検査対象物を前記ステージ上の、前記基準検査位置を含む画像検査が実行可能な範囲に載置し、該検査対象物の高さ画像を撮像し、前記高さ画像を、検査対象画像として、該検査対象画像に対して、前記検査条件を具備するかどうかの画像検査を行う機能と、検査対象画像に対して所定の計測を行う機能と、検査対象画像中の、前記計測手段により計測を行う対象となる計測部位を、検査基準画像において指定する機能と、検査対象物の計測部位の設計値又は許容される範囲の少なくともいずれかを指定する機能と、前記指定された計測部位を、検査対象画像中から自動的に抽出する機能と、前記抽出された計測部位を計測した計測値が、前記指定された設計値又は許容される範囲で規定される公差の範囲内にあるか否かを判定し、計測値が公差の範囲内にあるときは、範囲内判定を、計測値が公差の範囲外にあるときは、範囲外判定を、検査対象物の検査対象画像を取得できたものの、計測部位の計測値を取得できないため判定を実行することができないときは、不能判定を、判定結果として出力する機能と、前記不能判定の場合、該検査不能とされた要因を表示させる機能をコンピュータに実現させることができる。これにより、判定結果として検査対象物の正常、異常のみならず、検査が実行できなかった場合に検査不能を表示させることで、検査対象物の異常に起因しない検査の不備に対して、ユーザは必要な措置を講じることが可能となる。
また第24のコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納するものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray(登録商標)、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC、DSP)等のハードウエア、又はプログラムソフトウエアとハードウエアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
図1は本発明の実施の形態1に係る画像検査装置を示すブロック図である。 図2は図1の撮像手段の構成を示すブロック図である。 図3は図2において第一測定光投光部、第二測定光投光部を用いて測定画像を撮像する様子を示すブロック図である。 図4は図2においてテクスチャ画像を撮像する様子を示すブロック図である。 図5は図2において第一測定光投光部を用いて測定画像を撮像する様子を示すブロック図である。 図6は図2において第二測定光投光部を用いて測定画像を撮像する様子を示すブロック図である。 図7は変形例1に係る画像検査装置を示すブロック図である。 図8は実施の形態2に係る画像検査装置を示すブロック図である。 三次元画像検査プログラムの機能選択メニュー画面を示すイメージ図である。 図10は二次元の検査対象画像に対する画像検査の手順を示すフローチャートである。 三次元画像検査プログラムの検査設定画面を示すイメージ図である。 三次元画像検査プログラムの画像ビューワ画面で三次元合成画像を表示するイメージ図である。 三次元画像検査プログラムの検査条件詳細画面を示すイメージ図である。 三次元画像検査プログラムの自動位置合わせ設定画面を示すイメージ図である。 三次元画像検査プログラムの画像処理画面を示すイメージ図である。 三次元画像検査プログラムの基準面設定画面を示すイメージ図である。 三次元画像検査プログラムの計測設定画面を示すイメージ図である。 図17からプロファイル線を設定した状態を示すイメージ図である。 図18からプロファイルグラフを表示させた状態を示すイメージ図である。 三次元画像検査プログラムで複数の計測部位を設定した状態を示すイメージ図である。 図20に計測値等を指定した状態を示すイメージ図である。 三次元画像検査プログラムの工程情報設定画面を示すイメージ図である。 三次元画像検査プログラムの検査設定ファイル保存オプション設定画面を示すイメージ図である。 三次元画像検査プログラムの位置決め画像登録方法指定画面を示すイメージ図である。 三次元画像検査プログラムの位置決め画像登録画面を示すイメージ図である。 図25で位置決め画像を追加登録した状態を示すイメージ図である。 三次元画像検査プログラムの検査設定画面を示すイメージ図である。 三次元画像検査プログラムの画像検査実行画面を示すイメージ図である。 図27でステージ上に検査対象物を載置し、位置決め画像とが重ねて表示させた状態を示すイメージ図である。 図29で位置決め画像を切り替えた状態を示すイメージ図である。 図30から位置決めを行った状態を示すイメージ図である。 細長い検査対象物に位置決め画像を登録する例を示すイメージ図である。 位置決めに利用する部位と計測を行う部位とを異なる位置とした位置決め画像を示すイメージ図である。 三次元画像検査プログラムの検査設定ファイルの選択画面を示すイメージ図である。 図34から選択された検査設定ファイルが読み込まれた状態を示すイメージ図である。 三次元画像検査プログラムの画像検査結果表示画面を示すイメージ図である。 三次元画像検査プログラムの画像検査実行画面を示すイメージ図である。 図37で検査設定ファイルを選択した状態を示すイメージ図である。 図38でステージ上に検査対象物を載置し、位置決め画像とが重ねて表示させた状態を示すイメージ図である。 図39から位置決めを行った状態を示すイメージ図である。 変形例に係る三次元画像検査プログラムの位置決めインジケータを備える画像検査実行画面を示すイメージ図である。 図41で検査設定ファイルを選択した状態を示すイメージ図である。 図42でステージ上に検査対象物を載置した状態を示すイメージ図である。 図43から手動で位置決めを行った状態を示すイメージ図である。 三次元画像検査プログラムの判定結果がOKの画像検査結果表示画面を示すイメージ図である。 三次元画像検査プログラムの判定結果がFAILの画像検査結果表示画面を示すイメージ図である。 三次元画像検査プログラムの判定結果がFAILの画像検査結果表示画面を示すイメージ図である。 三次元画像検査プログラムの判定結果がFAILの検査条件詳細画面を示すイメージ図である。 三次元画像検査プログラムの判定結果がFAILの検査条件詳細画面を示すイメージ図である。 三次元画像検査プログラムの検索結果レポートを示すイメージ図である。 三次元画像検査プログラムの検索結果レポートを示すイメージ図である。 三次元画像検査プログラムの自動位置合わせ設定画面を示すイメージ図である。 図52で自動位置合わせ設定機能をONに切り替えた状態を示すイメージ図である。 三次元画像検査プログラムの自動位置合わせ設定画面を示すイメージ図である。 図54で位置合わせ画像をテクスチャ画像に切り替えた状態を示すイメージ図である。 三次元画像検査プログラムの詳細位置合わせ画面を示すイメージ図である。 三次元画像検査プログラムの自動位置合わせテスト画面を示すイメージ図である。 図57からテスト用データを読み込んだ状態を示すイメージ図である。 図58でテスト実行した結果を示すイメージ図である。 三次元画像検査プログラムの特徴のない領域をパターンマッチングの領域として設定した状態を示すイメージ図である。 図60でテスト実行した結果を示すイメージ図である。 三次元画像検査プログラムの検査設定画面を示すイメージ図である。 図62から「連結モード」欄を「オート」に切り替えた状態を示すイメージ図である。 図63から連結対象画像を追加した状態を示すイメージ図である。 図64からさらに連結対象画像を追加した状態を示すイメージ図である。 三次元画像検査プログラムの連結用位置決め画像登録画面を示すイメージ図である。 三次元画像検査プログラムの検査設定画面を示すイメージ図である。 三次元画像検査プログラムの画像連結設定画面を示すイメージ図である。 三次元画像検査プログラムの連結画像保存画面を示すイメージ図である。 図69の連結画像の保存時の画像サイズを変更する状態を示すイメージ図である。
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための三次元画像検査装置、三次元画像検査方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は三次元画像検査装置、三次元画像検査方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
本明細書において、テクスチャ画像とは、光学画像に代表される、テクスチャ情報を有する観察画像である。一方、「高さ画像」とは、距離画像等とも呼ばれるものであり、高さ情報を含む画像の意味で使用する。例えば、高さ情報を輝度や色度等に変換して二次元画像として表示した画像や、高さ情報をZ座標情報として三次元状に表示した画像が挙げられる。またこのような高さ画像にテクスチャ画像をテクスチャ情報として貼り付けた三次元の合成画像も、高さ画像に含む。また、本明細書において高さ画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。例えば、高さ画像の有する高さ情報を輝度等に変換して二次元画像として表示したものや、高さ情報をZ座標情報として三次元状に表示したものを含む。
さらに本明細書において検査対象物をステージ上に置く「姿勢」とは、検査対象物の回転角度を意味する。なお、検査対象物が円錐のような平面視において点対称の形状の場合は、回転角度に依らず同じ結果が得られるため、姿勢は規定する必要がない。
なお、以下の実施例では検査対象物の高さ情報を取得するため、構造化照明を検査対象物に対して照射して、検査対象物の表面で反射された反射光から得られる縞投影画像を用いた三角測距を用いた計測方法を用いた例を示している。ただ、本発明は検査対象物の高さ情報を取得するための原理や構成を、これに限らず、他の方法も適用することができる。
(実施例1)
三次元画像検査装置は、検査対象物の画像(検査対象画像)を撮像し、得られた検査対象画像に対して、予め検査対象物の基準品(基準対象物)の画像(検査基準画像)に対して設定された部位(計測部位)を計測して検査を行うための装置である。ここで本明細書においては、このような検査対象画像に対する所定の検査を「画像検査」と呼ぶ。特に、高さ情報を含めた画像検査を「三次元画像検査」とも呼ぶ。また本明細書において「検査」とは、検査対象物の寸法や角度などの計測結果に基づいて、これを所定の基準値と比較して良品又は不良品の判定を行う他、計測結果を表示部上に表示させたりデータとして出力させた上で、最終的な検査をユーザに委ねるような形態も「検査」に含む。さらに本明細書において「検査条件」には、画像検査の検査条件の他、画像検査の対象となる検査対象画像や、その基準となる検査基準画像を撮像するための撮像条件も含む。
またこの三次元画像検査装置は、検査対象画像の二次元の寸法のみならず、三次元の高さ計測も行うことができる。図1に、本発明の実施例1に係る三次元画像検査装置のブロック図を示す。この図に示す三次元画像検査装置500は、撮像手段100、制御手段200、光源部300及び表示部400を備える。この三次元画像検査装置は、光源部300で構造化照明を行い、縞投影画像を撮像して高さ情報を有する高さ画像を生成し、これに基づいて検査対象物Sの三次元寸法や形状を計測することができる。このような縞投影を用いた測定は、検査対象物SやレンズをZ方向に移動させることなく高さ測定ができるため、測定時間を短くできるという利点がある。
(撮像手段100)
図1の三次元画像検査装置500の撮像手段100の構成を図2のブロック図に示す。撮像手段100は、例えば顕微鏡であり、投光部110、受光部120、照明光出力部130、測定制御部150、及びこれらを収納する本体ケース101、並びにステージ140を備える。投光部110は、測定光源111、パターン生成部112及び複数のレンズ113、114、115を含む。受光部120は、カメラ121及び複数のレンズ122、123を含む。ステージ140上には、検査対象物Sが載置される。本体ケース101は、樹脂や金属製の筐体とする。
(投光部110)
投光部110は、ステージ140の斜め上方に配置される。この撮像手段100は、複数の投光部110を含んでもよい。図2の例においては、撮像手段100は2つの投光部110を含む。ここでは、第一の方向から検査対象物Sに対して第一測定光ML1を照射可能な第一測定光投光部110A(図2において右側)と、第一の方向とは異なる第二の方向から検査対象物Sに対して第二測定光ML2を照射可能な第二測定光投光部110B(図2において左側)を、それぞれ配置している。第一測定光投光部110A、第二測定光投光部110Bは受光部120の光軸を挟んで対称に配置される。なお投光部を3以上備えたり、あるいは投光部とステージを相対移動させて、共通の投光部を用いつつも、照明の方向を異ならせて投光させることも可能である。さらにこの例では投光部が投光する照明光の、垂直方向に対する照射角度を固定としているが、これを可変とすることもできる。
(測定光源111)
各第一測定光投光部110A、第二測定光投光部110Bは、それぞれ第一測定光源111A、第二測定光源111Bを備える。これら測定光源111A、111Bは、例えば白色光を出射するハロゲンランプである。測定光源111A、111Bは、白色光を出射する白色LED(発光ダイオード)や有機EL等の他の光源であってもよい。測定光源111A、111Bから出射された光(以下、「測定光」と呼ぶ。)は、レンズ113により適切に集光された後、パターン生成部112に入射される。
(パターン生成部112)
パターン生成部112は、測定光を検査対象物Sに対して投光させるよう、測定光源111から出射された光を反射させる。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された測定光は、複数のレンズ114、115により受光部120の観察・測定可能な視野よりも大きい径を有する光に変換された後、ステージ140上の検査対象物Sに照射される。
パターン生成部112は、測定光を検査対象物Sに投光させる投光状態と、測定光を検査対象物Sに投光させない非投光状態とを切り替え可能な部材である。このようなパターン生成部112には、例えばDMD(デジタルマイクロミラーデバイス)が好適に利用できる。DMDを用いたパターン生成部112は、投光状態として測定光を光路上に反射させる反射状態と、非投光状態として測定光を遮光させる遮光状態とを切り替え可能に、測定制御部150により制御できる。ここで、第一測定光投光部110A側に設けられた第一パターン生成部112A、及び第二測定光投光部110B側に設けられた第二パターン生成部112Bを、共に反射状態とした様子を図3に、また第一パターン生成部112A、第二パターン生成部112Bを共に遮光状態とした様子を図4に、さらに第一パターン生成部112Aを反射状態とし、第二パターン生成部112Bを遮光状態とした様子を図5に、さらにまた第一パターン生成部112Aを遮光状態とし、第二パターン生成部112Bを反射状態とした様子を図6に、それぞれ示す。
DMDは多数のマイクロミラー(微小鏡面)MMを平面上に配列した素子である。各マイクロミラーは、測定制御部150により個別にON状態、OFF状態を切り替えることができるので、多数のマイクロミラーのON状態、OFF状態を組み合わせて、所望の投影パターンを構成できる。これによって、三角測距に必要なパターンを生成して、検査対象物Sの測定が可能となる。このようにDMDは、測定時には測定用の周期的な投影パターンを検査対象物Sに投光する投影パターン光学系として機能する。またDMDは応答速度にも優れ、シャッターなどに比べ高速に動作させることができる利点も得られる。
(測定光の遮光状態)
さらにDMDは、各マイクロミラーをOFF状態とすれば、測定光MLが検査対象物Sに投光されない遮光状態を作り出すことができ、測定光源111を点灯させたままで事実上測定光MLを遮断できる。このため、テクスチャ画像を撮像する際に、測定光源111を消灯することなく、点灯状態を維持したままで測定光MLを遮断する状態を作り出すことが可能となる。このことは、撮像手段100を熱的に安定させた状態を維持しつつ、テクスチャ画像の撮像が可能なことを意味し、精度的に有利となる。このように撮像手段100は、ステージ上に載置された検査対象物のテクスチャ画像を取得するためのテクスチャ画像取得手段として機能する。
このようにして、測定光源111を点灯させたままで、測定画像の撮像とテクスチャ画像の撮像が可能となる。例えば、撮像手段でテクスチャ画像を撮像する場合は、観察用照明光源320をONさせると共に、図4に示すように第一パターン生成部112A及び第二パターン生成部112Bの両方を遮光状態とする。これによって観察用照明光源320を点灯させて照明光ILを検査対象物Sに照射させる一方、第一測定光源111Aを点灯させたまま、第一パターン生成部112Aが非投光状態として、第一測定光ML1が検査対象物Sに投光されない第一測定光非投光状態となる。また第二測定光源111Bも点灯させたままで、第二パターン生成部112Bを非投光状態として、第二測定光ML2が検査対象物Sに投光されない第二測定光非投光状態となる。これにより、測定光に邪魔されることなく撮像部でテクスチャ画像を撮像できる。
また第一測定光投光部110Aと第二測定光投光部110Bの両方から投光させた測定画像(第三測定画像)を撮像する場合は、図3に示すように第一パターン生成部112A及び第二パターン生成部112Bの両方を反射状態とし、かつ観察用照明光源320をOFFとする。すなわち、第一測定光源111Aを点灯させて、第一測定光ML1がレンズ113Aにより適切に集光された後、投光状態とされた第一パターン生成部112Aに入射され、所定の光路に向かって反射されて、複数のレンズ114A、115Aを経て適切な径に変換された後、ステージ140上の検査対象物Sに投光される第一測定光投光状態となる。また第二測定光源111Bについても同様に点灯されて、第二測定光ML2がレンズ113Bにより適切に集光された後、投光状態とされた第二パターン生成部112Bに入射され、所定の光路に向かって反射されて、複数のレンズ114B、115Bを経て適切な径に変換された後、検査対象物Sに投光される第二測定光投光状態となる。このような第一測定光投光状態、第二測定光投光状態となるよう、測定制御部150が制御する。なお、観察用照明光源320は消灯させるか、あるいはシャッターなどによって遮光させる。これによって、第一測定光ML1のみを投光させて第一測定画像を撮像手段で撮像できる。なお、第三測定画像は必ずしも測定に直接使用するものでなく、見え方の確認等の用途で適宜利用できる。
さらに第一測定光投光部110A側からの測定光のみで測定画像(第一測定画像)を撮像する場合は、図5に示すように第一パターン生成部112Aを反射状態とし、第二パターン生成部112Bを遮光状態とする。すなわち、第一測定光源111Aを点灯させたまま、第一パターン生成部112Aを投光状態として、第一測定光ML1が検査対象物Sに投光される第一測定光投光状態とし、かつ第二測定光源111Bを点灯させたまま、第二パターン生成部112Bを非投光状態として、第二測定光ML2が検査対象物Sに投光されない第二測定光非投光状態とするように、測定制御部150で制御する。
逆に第二測定光投光部110B側からの測定光のみで測定画像(第二測定画像)を撮像する場合は、図6に示すように第一パターン生成部112Aを遮光状態とし、第二パターン生成部112Bを反射状態とする。すなわち、第一測定光源111Aを点灯させたまま、第一パターン生成部112Aを非投光状態として、第一測定光ML1が検査対象物Sに投光されない第一測定光非投光状態とし、かつ第二測定光源111Bを点灯させたまま、第二パターン生成部112Bを投光状態として、第二測定光ML2が検査対象物Sに投光される第二測定光投光状態とするように、測定制御部150で制御する。なお、第一測定画像、第二測定画像のいずれの撮像に際しても、第三測定画像の場合と同様に観察用照明光源320は消灯させるか、あるいはシャッターなどによって遮光させる。
このようにして、テクスチャ画像の撮像時に測定光が干渉することなく、また測定画像の撮像時には、不要な方向からの測定光や照明光が干渉することなく、各画像を撮像できるようになり、高品質な測定画像を撮像して、計測の精度も向上できる。
なおDMDで測定光を遮断する遮光状態は、実質的に測定光を遮光できれば足りる。すなわち、DMDはマイクロミラーを数十万個から数百万個備えているので、例えば動作不良等の原因により一部のマイクロミラーがOFFしないとしても、他のマイクロミラーをOFF状態として測定光の大部分を遮断できれば足りる。このように測定光の遮光状態とは、測定光の光量が、照明光によるテクスチャ画像の撮像を実質的に妨げないレベルにまで低下させた状態を意味する。
また図4の例では、説明を判り易くするため、DMDの遮光状態において反射光をパターン生成部112から異なる方向に反射させた状態を示しているが、反射方向をDMD内部に設けられた光吸収体とすることで、本体ケース101内部に余計な測定光が照射される事態を回避できる。すなわちDMDの遮光状態とは、測定光をDMDから狙った方向(ここでは検査対象物Sの方向)とは異なる方向に反射させる場合、あるいはDMDに入射された測定光を事実上吸収する場合を含む。
なお以上の例ではパターン生成部112にDMDを用いた例を説明したが、本発明はパターン生成部112をDMDに限定するものでなく、他の部材を用いることもできる。例えば、パターン生成部112として、反射型の部材に代えて透過型の部材を用いて、測定光の透過量を調整してもよい。この場合は、パターン生成部112を測定光の光路上に配置して、測定光を透過させる投光状態と、測定光を遮光させる遮光状態とを切り替える。このようなパターン生成部112には、例えばLCD(液晶ディスプレイ)が利用できる。また、パターン生成部112としてその他LCOS(Liquid Crystal on Silicon:反射型液晶素子)やマスク等も利用できる。
さらに図2等の例では、測定光投光部を2つ備えた例を説明したが、本発明はこれに限らず、測定光投光部を3以上設けることも可能である。あるいは、測定光投光部を一のみとすることもできる。この場合は、測定光投光部の位置を移動可能とすることで、異なる方向から測定光を検査対象物Sに対して投光できる。
(受光部120)
受光部120は、ステージ140の上方に配置される。検査対象物Sによりステージ140の上方に反射された測定光は、受光部120の複数のレンズ122、123により集光、結像された後、カメラ121により受光される。
(カメラ121)
カメラ121は、例えば撮像素子121a及びレンズを含むCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施の形態では、撮像素子としてモノクロのCCDを採用し、後述する照明光出力部130をRGBにそれぞれ対応した照明を時分割で照射して撮像することにより、カラー画像を取得している。このような構成にすることにより、計測精度を低下させずに測定物のカラー画像を取得することができる。
ただ、撮像素子121aとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部130からRGBにそれぞれ対応した照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、「受光信号」と呼ぶ。)が測定制御部150に出力される。
このようにして撮像された検査対象物Sの画像は、レンズの特性によって、検査対象物Sに対して極めて正確な相似形を成している。またレンズの倍率を用いてキャリブレーションをすることで、画像上の寸法と実際の検査対象物S上の寸法を正確に関連付けることができる。
(測定制御部150)
測定制御部150には、図示しないA/D変換器(アナログ/デジタル変換器)及びFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、光源部300による制御に基づいて、測定制御部150のA/D変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次制御手段200に転送される。
(制御手段200)
図1に示すように、制御手段200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240及び操作部250を含む。制御手段200には、PC(パーソナルコンピュータ)等が利用できる。また、操作部250は、キーボード及びポインティングデバイスを含む。ポインティングデバイスとしては、マウス又はジョイスティック等が用いられる。また操作部250は、画像検査を行うために予め検査条件を設定するための検査設定手段251や、画像検査を行う対象領域である計測部位を指定するための計測部位指定手段252、画像検査手段216に画像検査の実行を指示するための検査指示手段253、検査対象物の計測部位の設計値又は許容される範囲の少なくともいずれかを指定するための設計値指定手段254としても機能する(詳細は後述)。
ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、三次元画像検査装置操作プログラム及び三次元画像計測プログラムが記憶される。また、記憶装置240は、測定制御部150から与えられる画素データ等の種々のデータを保存するために用いられる。さらに記憶装置は、測定画像を構成する画素毎に、輝度情報、高さ情報、属性情報を記憶する。
(CPU210)
CPU210は、測定制御部150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うと共に、画像データに基づく画像を表示部400に表示させる。さらにこのCPUは、後述する高さ画像取得手段228と、測定画像合成手段211と、誘導手段214と、警告手段215と、画像検査手段216と、位置演算手段217と、パターンマッチング手段221と、三次元画像合成手段213、位置決め判定手段218、判定出力手段222、画像連結手段219、基準面設定手段226、位置決め画像登録手段227、計測部位指定手段252で指定された計測部位を、検査対象画像中から自動的に抽出するための計測部位抽出手段225、検査結果をデータファイルとして生成するデータファイル生成手段229等の機能を実現することもできる。
ここで高さ画像取得手段228は、複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する。また測定画像合成手段211は、同じ検査対象物Sに対して、第一測定光投光部を用いて撮像した第一測定画像から計算した高さ画像と、第二測定光投光部を用いて撮像した第二測定画像から計算した高さ画像とを合成し、一の合成高さ画像を生成する。また誘導手段214は、検査設定手段251(詳細は後述)で設定されたステージ140上の基準検査位置に、検査対象物Sを載置させるようにユーザを誘導する。
(画像検査手段216)
画像検査手段216は、撮像手段100で撮像された検査対象物Sの画像に対して、所定の画像検査を実行する。この画像検査手段216は、検査対象画像に対して所定の計測を行うための計測手段216bを含むことができる。これにより、計測手段216bで計測された計測結果に基づいて画像検査を実行できる。例えば、検査対象物Sの所定部位の長さや角度といった計測を行った結果に基づいて、良品や不良などの判定といった検査を行うことが可能となる。計測手段216bが行う計測には、テクスチャ画像上で指定したプロファイル線を通り、画面に対して垂直な平面で切断した輪郭線を演算して、プロファイルグラフとして表示部400に表示させたり、プロファイルグラフで示す輪郭線から円や直線などを抽出して、それらの半径や距離を求めることができる。
位置演算手段217は、検査対象物Sを撮像手段100で正しく撮像可能なステージ140上の載置範囲を演算する。また警告手段215は、検査対象物Sの置かれた位置が位置演算手段217で演算された載置範囲に含まれていない場合に、ユーザに対して警告を表示させる。さらにパターンマッチング手段221は、撮像手段100で撮像したテクスチャ画像に対して、検査基準画像をサーチするパターンマッチングを行うための部材である。また位置決め判定手段218は、検査対象物をステージ上に載置する際、検査条件の設定時における基準対象物の基準検査位置から許容される範囲に載置されたか否かを判定し、判定結果を表示するための部材である。
三次元画像合成手段213は、観察用照明光源を用いて撮像したテクスチャ画像と、測定光投光手段を用いて撮像した測定画像に基づき生成された高さ画像とを合成して、三次元の合成画像STを生成する。すなわち、高さ画像が有する高さ情報でもって、テクスチャ画像で得られたテクスチャ情報に凹凸を持たせた立体的な画像を生成することができる。
なお、以上の測定画像合成手段211や三次元画像合成手段213等は、CPU210としているが、この構成に限らず、専用の部材で構成することもできる。
画像連結手段219は、視野の異なる画像同士を連結して、視野を拡大した連結画像を生成するための部材である。また基準面設定手段226は、画像検査時に検査対象物の高さ情報を測定する基準となる平面を基準面として、基準対象物の検査基準画像中に設定するための部材である。位置決め画像登録手段227は、基準検査位置で撮像されたテクスチャ画像を位置決め画像として登録する部材である。
(パターンマッチング手段221)
検査基準画像を検索するパターンマッチングは、三次元の画像に対して行うのでなく、二次元のテクスチャ画像または高さ画像に対して行うことで、三次元のパターンマッチングに要する膨大な計算量を大幅に簡略化して、迅速、軽負荷にて検査基準画像の位置合わせを行うことができる。
またパターンマッチング手段221は、テクスチャ画像または高さ画像の全体を用いて、検査対象物Sの画像をサーチするマッチングを行い、このマッチングされた位置及び姿勢に対して画像検査手段216が画像検査を実行するように構成してもよい。この方法であれば、テクスチャ画像の全体をサーチすることで、検査基準画像の位置合わせを確実に行うことができる。
一方で、テクスチャ画像または高さ画像の全体でなく、一部の特徴部分を用いて、検査対象物の画像をサーチするマッチングを行い、このマッチングされた位置及び姿勢に対して検査手段で検査を実行するよう構成してもよい。これにより、テクスチャ画像または高さ画像の全体をサーチしないで済むため、より短時間で検査基準画像のサーチを行うことができる(詳細は後述)。
このようにCPU210は、様々な機能を実現するための異なる手段を兼用している。ただ、一の部材で複数の手段を兼用する構成に限られず、各手段や機能を実現する部材を複数、又はそれぞれ別個に設けることも可能であることはいうまでもない。
(表示部400)
表示部400は、撮像手段100で取得された縞投影画像や、縞投影画像に基づいて高さ画像取得手段228で生成した高さ画像、あるいは撮像手段100で撮像されたテクスチャ画像を表示させるための部材である。表示部400は、例えばLCDパネル又は有機EL(エレクトロルミネッセンス)パネルにより構成される。さらに表示部にタッチパネルを利用することで、操作部と兼用することができる。
(ステージ140)
図2において、検査対象物Sが載置されるステージ140上の平面(以下、「載置面」と呼ぶ。)内で互いに直交する2方向をX方向及びY方向と定義し、それぞれ矢印X、Yで示す。ステージ140の載置面に対して直交する方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。
ステージ140は、X−Yステージ141、Zステージ142及びθステージ143を含む。X−Yステージ141は、X方向移動機構及びY方向移動機構を有する。Zステージ142は、Z方向移動機構を有する。θステージ143は、θ方向回転機構を有する。X−Yステージ141、Zステージ142及びθステージ143により、ステージ140が構成される。また、ステージ140は、載置面に検査対象物Sを固定する図示しない固定部材(クランプ)をさらに含む。ステージ140は、載置面に平行な軸を中心に回転可能な機構を有するチルトステージをさらに含んでもよい。
ユーザは、ステージ操作部144を手動で操作することにより、ステージ140の載置面を受光部120に対して相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。
ここで図2に示すように、左右の投光部110の中心軸と受光部120の中心軸は、ステージ140の焦点が最も合うピント平面で互いに交差するように、受光部120、投光部110、ステージ140の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部120の中心軸と一致しているため、θ方向にステージ140が回転した際に、検査対象物Sが視野から外れることなく、回転軸を中心に視野内で回転するようになっている。また、Z方向移動機構に対して、これらXYθ及びチルト移動機構は支持されている。すなわち、ステージをθ方向に回転させたり、チルトさせた状態であっても、受光部120の中心軸と、Z方向の移動軸にずれが生じない構成になっている。このようなステージ機構により、検査対象物Sの位置や姿勢を変化させた状態であっても、Z方向にステージ140を移動させて異なる焦点位置の画像を複数撮像して合成することが可能となる。
なお、本実施の形態ではステージを手動で移動させる構成について説明したが、自動でステージを移動させる駆動機構を設けることもできる。例えば、モータにより駆動可能な電動ステージを採用してもよい。変形例1として図7に示す三次元画像検査装置4100(後述)では、ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構として、ステッピングモータを利用している。ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構は、図7のステージ操作部144又はステージ駆動部145により駆動される。ステージ駆動部145は、制御手段200より与えられる駆動パルスに基づいて、ステージ140のステッピングモータに電流を供給することにより、ステージ140を受光部120に相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。ステージ駆動部145を駆動する駆動パルスは、CPU210により供給される。
(光源部300)
光源部300は、制御基板310及び観察用照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、制御手段200のCPU210からの指令に基づいて、投光部110、受光部120及び測定制御部150を制御する。なお、この構成は一例であり、他の構成としてもよい。例えば測定制御部150で投光部110や受光部120を制御したり、又は制御手段200で投光部110や受光部120を制御することとして、制御基板を省略してもよい。あるいはこの光源部300に、撮像手段100を駆動するための電源回路を設けることもできる。
(観察用照明光源320)
観察用照明光源320は、例えば赤色光、緑色光及び青色光を出射する3色のLEDを含む。各LEDから出射される光の輝度を制御することにより、観察用照明光源320から任意の色の光を発生することができる。観察用照明光源320から発生される照明光ILは、導光部材(ライトガイド)を通して撮像手段100の照明光出力部130から出力される。なお観察用照明光源には、LEDの他、半導体レーザ(LD)やハロゲンライト、HIDなど、他の光源を適宜利用することもできる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。
照明光出力部130から出力される照明光ILは、赤色光、緑色光及び青色光を時分割で切り替えて検査対象物Sに照射する。これにより、これらのRGB光でそれぞれ撮像されたテクスチャ画像を合成して、カラーのテクスチャ画像を得て、表示部400に表示させることができる。
このようにしてカラーのテクスチャ画像を表示させる際、照明光の色を切り替える切替周波数を、表示部400で表示内容を更新する(画面を書き換える)際のフレームレートと一致させると、フレームレートが低い場合(例えば数Hz程度)は、ちらつきが顕著となる。特に、RGBの原色によるカラー切り替えが目立つと、ユーザに不快感を与えることがある。そこで、RGBの照明光を切り替える切替周波数を、ユーザが人の目で認識できない程度の高速(例えば数百Hz)とすることで、このような問題を回避できる。照明光の色の切り替えは、照明光出力部130等により行われる。また、高速で照明光のRGBを切り替えつつも、実際に撮像手段100で検査対象物Sを撮像するタイミングは、表示部400の表示内容の更新のタイミングとする。すなわち、観察像の撮像のタイミングと照明光の切り替えのタイミングは完全に一致させる必要はなく、撮像素子によるRGBのテクスチャ画像の撮像が可能な程度に、いいかえると照明光のRGBの切り替え周期が撮像周期の倍数となるようにリンクさせることで対応できる。この方法であれば、照明光の切り替えのタイミングを高速化することができ、撮像素子121aで処理可能なフレームレートを向上させることなく、ユーザに与える不快感を低減できる。
図2の照明光出力部130は、円環形状を有し、受光部120を取り囲むようにステージ140の上方に配置される。これにより、影が発生しないように照明光出力部130から検査対象物Sにリング状に照明光が照射される。
また照明光出力部130は、このようなリング照明に加えて、透過照明や同軸落射照明を加えることもできる。図2の例では、透過照明手段をステージ140に設けている。透過照明手段は、ステージ140の下方から検査対象物Sを照明する。このためステージ140は、透過照明光源と、反射板と、照明用レンズ系を設けている。
なお、リング照明や透過照明は、適宜省略することも可能である。これらを省略する場合は、三次元測定用の照明すなわち投光部を用いて、二次元画像の撮像を行うこともできる。
図1の例では観察用照明光源320を本体ケース101に含めず、撮像手段100に対して外付けとして、光源部300に観察用照明光源320を配置している。このようにすることで、観察用照明光源320から供給される照明光の品質を向上し易くできる。例えば観察用照明光源320を構成するRGBの各LEDでは配光特性がそれぞれ異なることから、モノクロの撮像素子121aでRGBのテクスチャ画像をそれぞれ撮像した際、そのままでは視野内に照明色むらが発生する。そこで、それぞれのLEDの配光特性に合わせた専用光学系を個別に用意し、組み合わせることで配光特性の違いを吸収し、色むらのない均一な白色照明を作り出した上で撮像手段100に導入することができる。
また観察用照明光源320の発熱が、撮像手段100の光学系に影響を与える事態を回避できる。すなわち、光学系の部材の近傍に熱源があると、熱膨張によって寸法が狂い、測定精度の低下が生じることがあるが、発熱源である観察用照明光源を本体ケース101から排除したことで、このような観察用照明光源の発熱に起因する問題を回避できる。また、この結果として発熱量の大きい高出力の光源を観察用照明光源に利用できる利点も得られる。
(実施の形態2)
ただ、発熱量の小さい観察用照明光源を利用したり、あるいは相応の放熱機構を撮像手段側に設けるなどして、撮像手段側に観察用照明光源を設けることもできる。このような例を実施の形態2として図8に示す。この図に示す撮像手段100’は、観察用照明光源320’として、発熱量の少ない白色LEDを用いている。この例では複数の白色LED素子を、レンズ122の周囲にリング状に配置して環状の照明光を生成している。このような構成によって、光源部と撮像手段とを光学的に接続するための導光部材や、照明光出力部を不要とでき、構成を簡素化できる利点が得られる。
(三次元画像検査装置操作プログラムのGUIの例)
三次元画像検査装置は、制御手段200であるPCに三次元画像検査装置500を操作するための操作プログラムをインストールしている。表示部400には、三次元画像検査装置操作プログラムを操作するためのGUI(Graphical User Interface)が表示される。このようなGUI画面の一例を図9に示す。この三次元画像検査装置操作プログラムから、三次元画像検査装置を用いて検査対象物の画像検査を行うための検査設定や画像検査の実行等の操作を行える。また、三次元画像検査装置を用いて、検査対象物の観察(例えば計測)や解析を行うこともできる。図9は、このような機能の選択メニュー501となっており、検査設定機能、検査実行機能、観察機能、解析機能から、ユーザが所望の機能を選択する。ここでは、機能選択メニュー画面501右側の検査欄に設けられた「検査設定」ボタン502を押下すると、図11等の検査設定画面510に移行し、「検査実行」ボタン503を押下すると後述する図28等の画像検査実行画面630に移行する。また、画面左側に設けられた「観察」ボタン504を押下すると観察画面に移行する。さらに「解析」ボタン505を押下すると解析画面に移行する。
(テクスチャ画像を用いた画像検査)
以上の三次元画像検査装置は、このようにして検査対象物Sの検査対象画像を撮像すると共に、得られた検査対象画像に対して、予め検査対象物の基準品に対して設定された部位を計測して検査を行うことができる。このような画像検査は、二次元のテクスチャ画像に対しても、また三次元の高さ画像に対しても行うことができる。
次に、観察用照明光源320を用いて撮像した二次元のテクスチャ画像でもって、画像検査を行う手順を、図10のフローチャートに基づいて説明する。まず、検査条件を設定し(ステップS1001)、ユーザがステージ140上に検査対象物Sを置いて、検査対象物Sを撮像し(ステップS1002)、得られた検査対象画像に対して所定の画像検査を実行し(ステップS1003)、検査結果を表示する(ステップS1004)という手順となる。以下、各工程の詳細を説明する。
(検査条件の設定)
検査条件の設定工程では、画像検査の対象となる基準対象物を撮像して検査基準画像を取得し、この検査基準画像に対して検査条件を設定する。検査条件には、例えば検査実行時に検査対象物の高さ情報に関する計測を行うための検査対象領域として、計測部位を指定することが含まれる。
検査条件の設定は、例えば三次元画像検査プログラムの検査設定画面から行う。具体的には、図9の機能選択メニュー画面501から、画面右側の検査欄に設けられた「検査設定」ボタン502を押下すると、図11の検査設定画面510に移行する。この画面は検査設定画面510の一であり、ここでは画像検査の対象となる基準対象物を撮像する。具体的には、撮像条件として表示倍率や画面の明るさ等を設定する。またステージ上には、基準対象物を載置する。基準対象物は、製造公差のない、又は製造公差の基準となる基準品や、検査対象物の現物(合格品)等が利用できる。
検査設定画面510では、画像表示領域410と操作領域420が設けられている。図11の画像表示領域410では、画面右側の画像表示領域410に、ステージ上に載置された基準対象物の光学画像であるテクスチャ画像が表示されている。ステージ上で基準対象物を移動させたり回転させること、これに応じて画像表示領域410の表示内容が更新される。このように図11の画像表示領域410で表示される光学画像は、現在の基準対象物をリアルタイムで更新したライブ画像(動画)である。
また視野を変更する方法として、ステージ上に載置された基準対象物をユーザが手で直接動かす方法の他、ステージをXY方向やZ方向に移動させることでも対応できる。ステージの移動は、ユーザが手動で行う他、電動ステージ等、入力指示に従って自動で移動可能なステージを用意して実現することもできる。ステージに移動機構を備える場合の、ステージを移動させるためのステージ操作部の一形態として、図11の画面では「XYステージ」操作部520を別ウインドウで表示させており、この画面から各方向への移動ボタンを押下することで、ステージをXY方向に移動させることができる。また、画像表示領域410上で所望の位置をマウスなどのポインティングデバイスで指示することで、指定された位置が中心となるようにステージを移動させるように構成してもよい。
一方画面右側の操作領域420には、画像表示領域410で表示されているライブ画像の状態で、正式に撮像を行うための各種操作を行う部材が配置される。例えば、光学画像であるテクスチャ画像を撮像するための撮像条件や、高さ画像を撮像するための撮像条件を設定する。図11の例では、操作領域420に高さ画像撮像用の「3D測定」タブ511と、テクスチャ画像撮像用の「画像観察」タブ512が設けられており、これらを選択すると、選択された項目に応じた設定画面に切り替えられる。「3D測定」タブ511では、詳細な撮像条件を設定可能な「エキスパート」モードと、自動で撮像条件を設定する「One−shot 3D」モードを選択可能としており、ユーザは習熟度等に応じて好みのモードを選択する。「One−shot 3D」モードにおいては、フォーカスや画面の明るさ等を自動で設定する。
撮像条件の設定終了後に、操作領域420に設けられた画面右下の「測定」ボタン430を押下すると、検査基準画像が撮像される。この「測定」ボタン430は、画像検査の実行を指示する検査指示手段253の一形態である。なお、この例では「測定」ボタン430はソフトウェア的に構成されているが、これとは別に、あるいはこれに加えてハードウェアで測定ボタンや検査実行ボタンといった物理的な操作手段を設けてもよい。
検査基準画像は、光学画像であるテクスチャ画像の他、高さ画像、及びテクスチャ画像と高さ画像から合成された三次元合成画像の3種類が取得される。この例では、テクスチャ画像の撮像と高さ画像を生成する元となる縞投影画像の撮像には、共通の撮像素子(例えばC−MOSやCCD)を用いている。このため、共通の撮像素子でもって取得されるテクスチャ画像と高さ画像とで対応する画素の相関関係が容易に確定できるため、これらの画像から三次元合成画像に合成する処理を容易に行え、また三次元合成画像の各画素が有する高さ情報の誤差を少なくできる。
さらにテクスチャ画像と高さ画像とで対応する画素の相関関係を容易に確定できるので、テクスチャ画像同士を位置合わせすることで、これに対応する高さ画像のXY方向の位置合わせもなされる。よってユーザは高さ画像の位置合わせをZ方向のみ行えば足りる。なお上述したパターンサーチで、Z方向の位置合わせを自動で行うこともできる。
なお、この構成に限られず、検査基準画像は、テクスチャ画像のみ、あるいはテクスチャ画像に加えて高さ画像の2枚とすることもできる。検査基準画像が取得されると、自動的にビューワが起動して、得られた検査基準画像が表示部に表示される。図12に、一例として三次元合成画像を表示する画像ビューワ画面530を示す。ここで操作領域420に設けられた画像切り替えボタン531から、表示される検査基準画像を変更できる。具体的には、操作領域420に設けられた「3D」ボタン532を選択すると三次元合成画像が、「テクスチャ」ボタン533を選択するとテクスチャ画像が、「高さ」ボタン534を押下すると高さ画像が、それぞれ画像表示領域410に表示される。なお図12の例では、三次元合成画像のテクスチャ情報は非表示としているが、テクスチャ情報を表示させることも可能であることはいうまでもない。このように、各画像を参照して、検査基準画像として所望の画像が得られているかどうかを確認し、得られていない場合は再度、撮像条件を設定して検査基準画像の撮像を行う。一方、検査基準画像が得られている場合は、続いて他の検査設定を行う。具体的には、図12の画面から、「解析する」ボタン535を押下すると、図13の検査条件詳細画面540に移行する。
なお検査基準画像として、複数の異なる画像を登録することもできる。すなわち、倍率や視野の異なる複数の検査基準画像を取得し保存しておくことで、これらを呼び出して検査設定に利用することも可能である。図12の画面の例では、操作領域420に設けられた「保存」ボタン536を押下すると、検査基準画像データを名前を付けて保存することができる。
(自動位置合わせの設定)
このようにして検査基準画像を取得した上で、詳細な検査条件を順次設定していく。図13の検査条件詳細画面540では、上段を登録画像表示領域541とし、下段を計測表示領域542としている。登録画像表示領域541には、登録された画像が一覧表示される。図13の例では、得られた検査基準画像としてテクスチャ画像、高さ画像、三次元合成画像が並べて表示されている。登録画像表示領域541をスクロールさせることで、他の登録画像を表示させることができる。
また計測表示領域542には、後述する計測部位の設定や計測値を一覧表示する。さらに上段のツールバーには、各種の検査条件を設定するためのボタンが設けられている。まず、画像検査の実行時に検査対象画像とのパターンマッチングを行うための自動位置合わせの設定について説明する。ここで自動位置合わせとは、画像検査に際して、検査対象画像中から、検査基準画像が含まれている領域をパターンサーチにより自動的に探し出す作業である。具体的には、図13の検査条件詳細画面540から、「位置合わせ」ボタン543を押下すると、図14の自動位置合わせ設定画面550に移行する。図14の画面において、画像表示領域410中からユーザは、画像の位置合わせに適した所望の領域を指定する。この設定を行うことにより、検査対象物の位置ずれを自動的に補正することが可能となる。
この自動位置合わせの例では、パターンサーチを二段階で行っている。すなわち、一回目の自動位置合わせにより、大まかなターンサーチである程度の位置合わせを行う一方、僅かに位置ずれが生じた場合等のために、より二回目の位置合わせとして詳細なパターンサーチを行う。ここで、一回目のパターンサーチについては、検査対象画像の広い領域で行う分、精度を抑えて処理量を削減する一方、ある程度の位置決めがなされた時点で、より詳細なサーチに切り替えることで、狭い領域内での処理に限定して、処理量を低減し、処理の高速化と効率化を図ることができる。また必要に応じて、サーチの段階や範囲、精度を3回以上に分けたり、あるいは二回目の詳細なサーチを省略することもできる。なお、自動位置合わせの詳細設定については、後述する。
また、位置合わせの設定が適切かどうかを確認するために、他の画像に対して自動位置合わせが機能するか否かをテストする位置合わせテスト機能を備えてもよい。図14の例では、操作領域420の中段に設けた「テスト画面」ボタン551を押下することで、テスト画面に移行し、自動位置合わせの設定を確認することが可能となる。
なお、操作領域420において、表示中の画面で設定される項目の説明文を表示させることもできる。これにより、特に検査設定に不慣れなユーザに対し、現在行っている設定作業がどのような位置付けであるか等を告知することができ、設定ミスを低減したり、設定作業をスムーズに行えるなどの利点が得られる。図14の例では、自動位置合わせの設定の説明文552として「・一括解析の実行、・解析テンプレートの適用、・検査設定の作成 上記処理の実行時に、自動位置合わせの設定をしておくと、サンプルの位置ずれを補正することができます。」と説明される。
また図14の例では、テクスチャ画像に対して自動位置合わせ領域を指定しているが、高さ画像や三次元合成画像に対して自動位置合わせ領域を指定することも可能である。画像表示領域410における画像の切り替えは、ツールバーの左端に設けられた表示画像選択欄553から行う。
(画像処理)
次に、他の検査条件の設定項目として画像処理について説明する。図14の自動位置合わせ設定画面550で、設定終了後に「OK」ボタン554を押下すると、図13の検査条件詳細画面540に戻る。この画面から「画像処理」ボタン544を押下すると、図15に示す画像処理画面560に移行する。この画像処理画面560では、操作領域420の「画像処理ツール」選択欄561から選択した項目毎に、検査基準画像に対する画像処理を行える。選択可能な画像処理としては、基準面設定、面形状補正、反転、平滑化等が挙げられる。それぞれ「基準面設定」ボタン562、「面形状補正」ボタン563、「反転」ボタン564、「平滑化」ボタン565を押下して実行する。
(基準面設定)
例えば、「基準面設定」ボタン562を押下すると、図16の基準面設定画面570に移行し、高さ方向の基準となる面、即ち基準面を規定することが可能となる。なお基準面設定機能を担う基準面設定手段226は、CPU210等で実現される。基準面の選択は、画像表示領域410中から所望の領域を指定することで行う。設定された基準面は、基準高さ(例えば高さゼロ)として扱われる。ここで基準面となる領域を複数指定すると、指定された領域が同一の平面となるように検査基準画像の姿勢が補正される。即ち水平出しが可能となる。
また図16の基準面設定画面570は、傾きを自動的に補正する傾き補正機能も備えている。具体的には、画像表示領域410で表示されるテクスチャ画像に対して、基準となる平面に基づいて、この平面が水平となるように傾斜させた上で各種の計測などの処理を行う。基準となる平面の指定は、任意の領域を指定する他、所望の領域を観察画面上から指定し、該指定された領域が水平となるように傾きを調整することもできる。また領域を指定する場合、複数の領域を指定し、これら指定された複数の領域が同一平面上となるように調整したり、あるいは一の領域を指定し、この領域内の高さが平均となるように傾きを調整する等の方法が利用できる。このような傾き自動調整機能の実行の一例として、図16では操作領域410に検査対象物の上下に複数の領域を指定して、それらの領域の高さ情報について最小二乗法を用いて基準面とし、傾きを調整している。
また、図15の「画像処理ツール」選択欄561から「面形状補正」ボタン563を押下すると、指定された面形状を平面上となって表示されるような画像処理が行われる。具体的には、検査基準画像中で指定された曲面部分を、平面に変換するような画像処理が、検査基準画像の全体に渡って行われる。また「反転」ボタン564を押下すると、検査基準画像の凹凸の断面形状が反転して凸凹として表示されるような画像処理が行われる。さらに「平滑化」ボタン565を押下すると、凹凸の詳細な形状が平準化されたなだらかな面に変換されて表示される。またこのような変形を繰り返す中で、一つ前の変形に戻したり、すべての変形をキャンセルして元の画像を表示させることもできる。あるいは変形の履歴を表示させて参照することもできる。このようにして各種の画像処理の設定が終了すると、「OK」ボタン566を押下して、図13の検査条件詳細画面540に戻る。
(計測設定)
さらに図13の検査条件詳細画面540から、「プロファイル」ボタン545を押下すると、図17の計測設定画面580に移行する。この計測設定画面580は、画像検査を行う対象となる計測部位を指定するための計測部位指定手段252の一形態に該当する。図17の例では、画像表示領域410、操作領域420に加えて、プロファイル線の情報や計測結果を表示するプロファイル計測一覧表示領域440を設けている。ここではプロファイル計測一覧表示領域440を画像表示領域410の左側に、操作領域420を右側に、それぞれ設けた例を示しているが、この構成に限られず、任意の配置とできる。また画像表示領域410には、テクスチャ画像の他、高さ画像や断面形状を示すプロファイル画像を表示させることもできる。図17の例では、画像表示領域410を3分割して、後述するプロファイル線(計測線)を設定するためのプロファイル線表示欄410aと、高さ画像又は三次元合成画像といった高さ情報を有する画像を表示する高さ画像表示欄410bと、検査対象物の断面形状を示すプロファイル画像を表示するプロファイルグラフ表示欄410cを設けている。ここでは、プロファイルグラフ表示欄410cは、プロファイル線表示欄410aとは異なる段に配置されている。図17の例では、画像表示領域410の下段にプロファイルグラフ表示欄410cを、上段を分割して右側にプロファイル線表示欄410aを、左側に高さ画像表示欄410bを設けている。
プロファイル線表示欄410aでは、計測部位を指定する対象となる画像を表示する。プロファイル線表示欄410aに表示される画像は、テクスチャ画像や高さ画像、三次元合成画像等、切り替えることができる。図17の例では、テクスチャ画像を表示させている。
一方、操作領域420には、プロファイル線表示欄410aで表示される画像に対して、計測部位、すなわち位置やプロファイルを指定するための検査設定項目(プロファイルツール)を複数用意し、これらを選択するプロファイルツール選択欄420aと、このプロファイルツールで指定された計測部位に対して、具体的に計測すべき事項を指定する検査設定項目(計測ツール)を複数用意し、これらを選択する計測ツール選択欄420bが設けられている。ここでプロファイルツール選択欄420aは、プロファイル線表示欄410aと並べて配置し、計測ツール選択欄420bはプロファイルグラフ表示欄410cと並べて配置することで、各画像に対して対応するツールを隣接させ、ユーザがツールの選択に際して対応関係が明確となり、感覚的な操作が可能となる。
(プロファイルツール)
さらに操作領域420には、選択可能なツールが用途や目的に応じてタブで纏められており、タブを切り替えることで選択可能なツールの表示を切り替えることができる。図17の例では、プロファイルツールとして、「プロファイル線」タブ581、「補助ツール1」タブ582、「補助ツール2」タブ583を設けている。一例として「プロファイル線」タブ581に切り替えた状態を図18に示す。「プロファイル線」タブ581に用意されたツールは、指定された線(プロファイル線)における基準対象物や検査対象物の断面形状、即ちプロファイル形状をプロファイルグラフ表示欄410cに表示させるためのツールである。具体的には、2点指定、垂直線、水平線、直線、垂線、平行線、円、同心円、特定角、円弧、折れ線、あるいは指定された計測部位を削除するための「削除」といったツールが挙げられる。ユーザは所望のツールを選択した上で、プロファイル線表示欄410a上でマウスのクリック等により必要な事項を指定する。一例として図18の例では、直線ツール584を選択して、プロファイル線表示欄410aにおいて基準対象物の長手方向にプロファイル線PLを指定している。このようなプロファイル線PLの指定に応じて、該プロファイル線に沿った断面形状の輪郭線を計測手段216bで演算し、プロファイルグラフPGとしてプロファイルグラフ表示欄410cにおいて表示させる。プロファイルグラフPGは輪郭線のプロファイル画像をグラフ上に表示させたものである。またプロファイルグラフ上に、設計値を直線等で重ねて表示させてもよい。
さらにプロファイル形状を、プロファイル線表示欄410aにおいて重ねて表示させることもできる。図18の例では、プロファイル線表示欄410aの下方において、指定されたプロファイル線と平行に離間させて、このプロファイルに沿った断面形状PSを表示させている。これにより、プロファイル線表示欄410aでプロファイル形状PSを容易に確認できる。特に図18のように、プロファイルグラフ表示欄410cとプロファイル線表示欄410aとでスケールが違う場合(図18の例ではプロファイルグラフ表示欄410cの方が大きい)場合に、プロファイル線PLを指定したプロファイル線表示欄410a内で、同じスケールでプロファイル形状PSを重ねて表示させることで、ユーザは断面形状を把握し易いという利点が得られる。
またプロファイルツールの内、「補助ツール1」タブ582には、図17に示すように、点、線、円、円弧、平行線、特定角といった、プロファイル線表示欄410aに対して線や点、曲線等を描画するためのツールが設けられている。補助ツールは、補助線として利用できる。例えば平行な二面の距離を求めるため、各面に沿った線を補助線として引き、補助線同士の距離を求める等の用途に利用できる。補助線は、プロファイル線とは異なる色で表示させることで、プロファイル線と補助線とを区別できる。例えばプロファイル線を水色で、補助線を赤色で表示させる。またプロファイル線と補助線の太さを変化させることで、これらを区別するように構成してもよい。さらにプロファイル線を複数設定する場合は、プロファイル線毎に異なる色で着色することもできる。さらにまた、設定されたプロファイル線で得られるプロファイル画像にも、同様の色を着色してもよい。これにより各プロファイル線を区別すると共に、各プロファイル線と対応するプロファイル画像の対応関係を視覚的に容易に把握できるようになる。
(エッジ自動抽出機能)
さらにテクスチャ画像上でエッジを自動的に抽出するエッジ自動抽出機能を設けてもよい。エッジを検出することで、テクスチャ画像上での境界位置等の指定が容易に、かつ正確に行えるようになる。図17の例では「エッジ自動抽出」欄585を設けており、このチェックボックスをONすることでエッジ自動抽出機能を実行できる。
また、計測すべき寸法が二次元のテクスチャ画像上で設定可能な場合は、プロファイル線表示欄410aにおいて寸法の測定を行うよう構成してもよい。例えば平面視における縦横の長さなどは、高さ情報を用いることなく計測可能である。
(計測ツール)
さらに計測ツールは、プロファイルグラフ表示欄410cにおいて表示されたプロファイル画像に対して、指定された寸法を計測手段216bで計測する。計測ツールも、用途毎に「計測」タブ586と「補助ツール」タブ587を用意しており、各タブから所望の計測ツールを選択する。「計測」タブに586は、図18に示すように、平行線同士の間隔を計測する「線−線」ツール、任意の点から線までの垂線の距離を計測する「線−点」ツール、点同士の間隔を計測する「点−点」ツール、高さを測定する「高さ」ツール、円の中心同士の間隔を計測する「円−円」ツール、円の中心から線までの垂線の距離を計測する「円−線」ツール、円弧の半径を測定する「円弧R」ツール、交差する線同士の角度を計測する「角度」ツール、角度を計測する「角度R」ツール、断面積を演算する「断面積」ツール、断面の長さを計測する「断面長さ」ツール、指定された計測部位を削除する「削除」ツール等が設けられている。
(プロファイル計測一覧表示領域440)
一方、プロファイル計測一覧表示領域440には、プロファイル線表示欄410aで設定されたプロファイル線に関する情報を一覧表示させるプロファイル情報表示欄440aと、計測結果を一覧表示させる計測結果表示欄440bを設けている。プロファイル情報表示欄440aには、プロファイル線の種別やプロファイル名、色を表で示している。一方計測結果表示欄440bには、計測値と計測名が一覧表示される。
(検査条件の設定手順)
ここで検査条件として、基準対象物の高さを計測するよう設定する手順を図17〜図19に基づいて説明する。まず、図17に示すようにプロファイルツールの「補助ツール1」タブ582から「線」ツール588を選択し、さらに「エッジ自動抽出」欄585をONとして、プロファイル線表示欄410aにおいて、基準対象物の端面に補助線ALを設定する。図17においてプロファイル線表示欄410a上からマウスなどのポインティングデバイスで基準対象物の端面をクリックすると、自動的にエッジが検出されると共にスナップが効き、補助線ALが引かれて赤色で表示される。
次に図18に示すように、プロファイルツールの「プロファイル線」タブ581を選択し、「垂基線」ツール589を選択し、補助線ALと垂直なプロファイル線PLを基準対象物上に設定する。この結果、プロファイル線表示欄410a上にはプロファイル線PLが水色の太線で表示され、プロファイル線表示欄410aの下方にはこのプロファイル線PLに沿った断面形状PSが表示されると共に、プロファイルグラフ表示欄410cにもプロファイル画像が拡大して水色で表示される。このとき、プロファイル計測一覧表示領域440には、プロファイル情報表示欄440aに、プロファイル名として「垂基線1」、種類「垂基線」、色として水色が表示される。なおプロファイル名はユーザが自由に名前を変更できる。
さらに図19に示すように、計測ツールの「線−線」ツール591を選択して、プロファイルグラフ表示欄410cのプロファイル画像上で上面の線と、底面との高低差を指定する。プロファイル画像の上面の線は、指定された領域内で平滑化される。このとき、平滑化を行う平滑化領域SMAは、自動で設定される他、ユーザが指示、あるいは変更してもよい。図19の例では、平滑化領域SMAのウィンドウを構成する各辺にドラッグ用のハンドルが設けられており、ユーザはハンドルを操作することで平滑化領域SMAの縦横幅を容易に変更できる。
また、平滑化された直線は、延長されて補助線として赤色で表示される。同様に底面についても同様の平滑化処理が行われる。なお、基準高さからの距離として高さを計測することもできる。この場合は、「プロファイルの最下点を0と表示する」欄592のチェックボックスをONとする。このようにして得られた底面と上面との線間の距離を、計測手段216bで演算して、計測結果をプロファイルグラフ表示欄410cに表示させる。ここでプロファイル画像には計測結果と共に寸法線DMLを表示させることで、よりユーザに判り易い表示態様とできる。このとき、プロファイル計測一覧表示領域440には、計測結果表示欄440bに、計測部位の番号として「1」、計測名として「線−線1」、計測値として「7.216mm」が表示される。なお計測名はユーザが自由に名前を変更できる。また、プロファイル線や寸法値には、計測部位の番号を付記することで、複数のプロファイル線等が描かれている場合にこれらを区別し易くし、またプロファイル線と計測値との対応関係も容易に把握できる。
以上は、計測部位として基準対象物の高さを測定する手順を説明した。計測部位は一箇所に限られず、複数箇所設定することができる。計測部位の指定が終了すると、操作領域420に設けられた「OK」ボタン593を押下して図13の検査条件詳細画面540に戻る。検査条件詳細画面540では、画面下段の計測表示領域542に、以上のようにして設定された計測部位の設定や計測値が一覧表示される。また画面上段の登録画像表示領域541には、プロファイル線が設定された(プロファイル線表示領域と同様の)テクスチャ画像、三次元合成画像、プロファイルグラフが表示される。
一例として、複数の計測部位を設定した結果を、図20に示す。この図に示すように、登録画像表示領域541の内、テクスチャ画像には、設定された複数のプロファイル線がそれぞれ異なる色で表示されている。また計測表示領域542には、設定された各計測部位に関する(計測結果表示欄440bと同様の)情報が、一覧表示されている。
(設計値指定手段254)
この状態で、図21に示すようにユーザは計測表示領域542から、各計測部位で計測される計測値として本来あるべき設計値、及びこの値から外れて許容される上限である上限値、並びに許容される下限である下限値を指定する。ここで指定された上限値と下限値の範囲が公差となる。この計測表示領域542は、設計値や公差を指定するための設計値指定手段254として機能する。
なお、この例では設計値指定手段254から、設計値と、この設計値から外れても許容される上限値、及び下限値の3つの値を指定し、上限値と下限値の範囲を公差としている。ただし、本発明はこの構成に限られず、例えば設計値のみを設計値指定手段から入力させ、この設計値に対して既定の上限値、下限値を加味して公差を設定したり、あるいは上限値と下限値のみを設計値指定手段から入力させて、その中間値を設計値として扱う態様も含む。
このようにして設計値と公差が各計測部位について指定されると、各計測部位で計測され計測値が、指定された公差内にあるかどうかを画像検査手段216で判定可能となる。判定結果は、計測表示領域542において各計測部位毎に設けられた個別判定表示欄594にそれぞれ表示される。さらに、各計測部位での判定結果に基づいて、検査対象物全体としての判定結果も表示される。ここでは、画面の右上に設けられた総合判定表示欄595において、判定結果が表示される。ここでは検査条件の設定段階なので基準対象物に対する判定となり、個別判定表示欄594、総合判定表示欄595共、それぞれOKが表示されている。すなわち、ここでは基準対象物に対して画像検査の検査条件を設定したのであって、実際の画像検査の結果とは異なる。なお実際の検査対象物に対する画像検査の判定結果についての出力等については、画像検査の実行において後述する。
上記のように計測値は、高さの他、面積、角度、体積、面粗さ、反り、うねりなども寸法として計測可能である。また検査対象物の高さに関する検査条件の一例として、このような高さ、体積、反り、うねりなどが挙げられる。
(検査設定ファイル)
このようにして画像検査の検査条件の設定が完了すると、検査設定ファイルとして保存される。検査設定ファイルには、画像の撮像条件、位置決め用画像、解析条件、判定条件等を含めることができる。撮像条件には、撮像素子であるカメラの倍率、明るさ、カラー/モノクロ、ホワイトバランス、照明の明るさ、向き、照明方法(リング照明、透過照明、同軸落射照明等の別)、ステージが電動式の場合、電動Zステージの位置、電動XYステージの位置、位置決め画像(詳細は後述)がXY方向に連結されているか否か等が挙げられる。
また位置決め用画像と共に、複数の位置決め画像がある場合はその表示順番と各位置決め画像のステージのXYZ座標位置を保存できる。
解析条件には、自動位置合わせの設定(例えばパターンマッチングの設定(テクスチャ画像又は高さ画像のいずれで行うか、パターンマッチングを行う領域のXY座標位置やサイズ、サーチ範囲、登録画像等)、詳細位置合わせの設定)、画像処理設定(基準面の位置、ノイズ処理等)、高さ表示設定(高さ画像を等高線状に表示するスケールの種類やZ範囲)、計測設定(計測種別、エッジ抽出の位置・幅など)、計測値の単位や桁数の設定等が挙げられる。
さらに判定条件には、設計値、公差の上限値、公差の下限値、工程情報と保存オプション(後述)等が含まれる。また、複数の検査設定ファイルを1つに纏めて、画像検査を実行することも可能である。
(工程情報設定)
ここで、工程情報の設定について説明する。図21等の画面から「工程情報設定」ボタン596を押下すると図22の工程情報設定画面597が開く。この工程情報設定画面597では、検査設定ファイルに含めることのできる工程情報の詳細を設定できる。例えば、検査実行時に入力可能な項目と初期値、担当者名等を登録できる。さらに検査結果として表示される項目について、例えば品名、納品先、図番、工程、測定機器、備考等のテキスト情報を登録できる。
(保存オブション)
さらに図21等の画面から「保存オプション」ボタン598を押下すると、図23の検査設定ファイル保存オプション設定画面599が開く。この検査設定ファイル保存オプション設定画面599から、現在設定中の検査条件にて画像検査を実行した際に、データとして出力、保存される検査結果ファイルの設定を行うことができる。例えば検査結果レポートをファイルとして保存するオプション、テキストデータ(CSVファイル)として検査結果、高さデータの保存の有無等を設定できる。
また検査結果ファイルの生成条件設定欄601として、画像検査の判定結果(詳細は後述)がNG又はFAILのときだけ保存する、常に保存する、常に保存しないのいずれかをラジオボタンで選択できる。
さらに、画像ファイルも合わせて保存するかどうか、保存する画像ファイルの種別として、テクスチャ画像、高さ画像、3D(三次元合成画像)のそれぞれについて、保存するかしないか、また保存する場合のファイル形式を設定できる。
(位置決め画像登録手段227)
次に、位置決め画像の登録について説明する。位置決め画像とは、画像検査の実行時に、検査対象物をステージ上に置く際、画像検査を実行可能な位置及び姿勢となるように、表示部上に表示させておくことでユーザの参考に資するための画像である。例えば位置決め画像は、画像検査の実行時に、画像表示領域410においてライブ画像を表示させるライブ画像表示欄(後述する図28等)とは別に、位置決め画像表示欄632(後述する図28等)を設けて、常時位置決め画像を表示させたり、あるいはライブ画像表示欄634において、位置決め画像を半透明で重ねて表示させ、両者が一致するように検査対象物の位置(ステージのXY座標やθ)を調整することもできる。このような位置決め画像にはテクスチャ情報を有するテクスチャ画像が好適に利用できるが、高さ画像や三次元合成画像を位置決め画像として用いることもできる。このような位置決め画像の設定も、画像検査の検査条件の設定において重要な役割を果たす。
ここで、位置決め画像を登録する手順を、図11、図24〜図32に基づいて説明する。図11の検査設定画面510から、「位置決め設定」ボタンを押下すると、図24の位置決め画像登録方法指定画面610に移行する。この位置決め画像登録方法指定画面610は、位置決め画像登録手段227の一形態をなし、操作領域420において位置決め画像の登録方法指定欄611において、自動登録か手動登録かを選択する。図24の例では、「測定実行時の画像(1枚)を自動で登録」又は「複数箇所の画像を手動で登録」のいずれかをラジオボタンで選択する。自動登録を選択すると、検査条件の設定時に使用した基準対象物の画像一枚が、位置決め画像として登録される。具体的には、図11の画面で「測定」ボタン430を押下した際に表示領域で表示されているテクスチャ画像が位置決め用画像として撮影され、登録される。また、後述する連結機能を用いた位置決め画像の場合は、連結画像が位置決め画像として登録され、1枚目に撮像される位置でのテクスチャ画像が位置決め画像のサムネイルとして登録済み位置決め画像表示欄622に表示される。
一方、手動登録を選択すると、手動で任意の位置、倍率の画像を位置決め用画像として撮影、登録することができる。なお、位置決め作業が不要な場合、例えばステージ上に治具やガイドといった物理的な位置決め手段、あるいは位置決め用パターンを表示させて、このパターン上に置くよう誘導する場合、あるいは検査対象物の形状が点対称で、どの位置においても画像検査が実行可能といった場合には、位置決め画像の登録を省略することもできる。この場合は図24において、「毎回同じステージ位置で検査を行う(検査実行時はステージ位置の調整はできません)」欄612のチェックボックスをONとする。ここにチェックを入れると、検査実行時にステージのXYZ位置を動かすことができない設定となる。
ここでは、位置決め画像を手動登録する手順を説明する。図24の登録方法指定欄611において「複数箇所の画像を手動で登録」を選択すると、図25の位置決め画像登録画面620に移行する。位置決め画像登録画面620では、操作領域420に位置決め画像簡易表示欄621、登録済み位置決め画像表示欄622が設けられている。位置決め画像簡易表示欄621には、現在、画像表示領域410中で表示されるテクスチャ画像が表示される。この状態で「追加」ボタン623を押下すると、画像表示領域410で表示中のテクスチャ画像が位置決め画像として登録され、登録済み位置決め画像表示欄622に表示される。登録済み位置決め画像表示欄622では、登録された位置決め画像のサムネイル表示されると共に、撮像時の倍率も表示される。このように、低倍率で基準対象物の全体を撮像した広域画像を位置決め画像として登録しておくことで、画像検査時においてユーザの手動による位置決め作業を容易に行える利点が得られる。
また、位置決め画像を複数枚登録することもできる。例えば、位置決めに適した特徴的な、より細かい部位を参照して位置決めを行いたい場合は、基準となる部位の連結画像を位置決め画像として登録する。ここでは図25において、基準対象物の左下の円形状の窪みを位置決め画像として登録する場合を考える。まず、図25のツールバーに設けられた、「倍率切り替え」欄624で高倍率のカメラに切り替えて、「倍率」欄625で倍率をより高倍率に変更する。さらにステージを移動させて、拡大された領域が視野内に収まるように調整する。このようにして位置決め画像として相応しい所望の画像が表示部に表示されると、「追加」ボタン623を押下して、位置決め画像を追加登録する。追加された位置決め画像は、図26に示すように同様に登録済み位置決め画像表示欄622に追加されると共に、位置決め画像簡易表示欄621にも登録された追加の位置決め画像が表示される。
なお、複数枚の位置決め画像が登録されている場合は、画像検索の実行時に複数の位置決め画像をどのような順序で表示させるかが問題となる。一般には、まず低倍率で撮像した広域画像で大まかな位置決めを行い、次いで高倍率で撮像した画像で詳細な位置決めを行うことが好ましい。そこで登録済み位置決め画像表示欄622に登録された複数枚の位置決め画像が、画像検査の実行時に表示される順序を、任意に変更可能として、このような倍率や視野の変化に意味を持たせて、ユーザの手動による位置決め作業の効率化を図ることが可能となる。なお、位置決め画像が画像検査の実行時に位置決め画像表示欄で切り替えて表示される順序は、登録済み位置決め画像表示欄622に並んだ順番としている。すなわち登録済み位置決め画像表示欄622は、位置決め画像の登録順序表示手段としても機能する。また、表示される順序の変更は、登録済み位置決め画像表示欄622の下部に設けられた矢印や「選択した位置に移動」ボタン等を利用して行える。あるいは、位置決め画像のサムネイルをドラッグアンドドロップにより入れ替えることにより、順序を変更可能としてもよい。また、登録済み位置決め画像表示欄622の下段には、登録済みの位置決め画像を削除するボタンも設けられている。
このように、位置決め画像登録手段227でもって、位置決め画像の表示順序を任意に変更でき、また表示順序の情報も検査設定ファイルに保存できる。例えば、検査条件の設定時に撮像した順序と、画像検査の実行時に撮像する順序を、異ならせることもできる。これにより、画像検査の運用時には効率よく撮像、検査して、検査時間の短縮化を図ることが可能となる。
このようにして、すべての位置決め画像の登録が終了すると、「戻る」ボタン626を押下して、図27等の検査設定画面510に戻る。そして、上述した手順に従い、必要な検査条件をすべて設定した後、検査条件を検査設定ファイルとして、名前を付けて保存する。
(位置決め画像による位置決め作業)
このようにして位置決め画像が登録された検査条件が設定された状態で、実際に位置決めが可能かどうかを、画像検査を実行して確認することができる。具体的には、図9の機能選択メニュー画面501から「検査実行」ボタン503を押下する。すると図28のような画像検査実行画面630が表示されるので、まず、検査設定ファイルを選択する。具体的には、操作領域420に設けられた「検査設定ファイル」選択欄631から、先程保存した検査設定ファイルを選択する。これにより、検査設定ファイルに登録された情報が復元され、操作領域420の位置決め画像表示欄632には、一枚目に登録した位置決め画像が表示される。ここでは、位置決め画像表示欄632の右上に設けられた位置決め画像情報欄633において、「1枚/2枚」と表示され、登録された位置決め画像の総数と、現在表示されている位置決め画像の表示順序、すなわち何枚目にあたるかを表示している。また画像表示領域410は、ステージのライブ画像を表示するライブ画像表示欄634となる。さらに、ライブ画像表示欄634に位置決め画像POIが半透明で重ねて表示される。この状態でユーザが検査対象物をステージ上に載置すると、図29に示すように、ステージ上の検査対象物と、位置決め画像POIとが重ねて表示される。また位置決め画像表示欄632では位置決め画像のみが表示されている。この状態で、ユーザはステージの位置を調整して、あるいは検査対象物を置く位置を調整して、ライブ画像表示欄634で表示される画像が概ね重なって表示されるようにする。
ある程度の重なり状態が得られると、次の位置決め画像に切り替える。位置決め画像を切り替えるには、操作領域420に設けられた「次へ」ボタン635を押下する。これにより、図29の状態から、図30に示すように、位置決め画像表示欄632に表示される位置決め画像が、別の位置決め画像に切り替えられる。ここでは、倍率の大きい位置決め画像に変更される。また位置決め画像表示欄632の右上における位置決め画像情報欄633の表示も、「2枚/2枚」に更新される。加えて、画像表示領域410のライブ画像表示欄634における位置決め画像の半透明表示も、倍率の大きい位置決め画像に変更され、さらにステージのライブ画像も、変更された位置決め画像を撮像した際の撮像条件、例えば倍率やステージ上のXY座標が検査設定ファイルから読み出されて、ライブ画像の表示内容もこれらの撮像条件に応じて変更されたライブ画像に更新される。これにより、ユーザは拡大されて位置のずれが明確になった状態で、ステージを微調整させるなどして、図31に示すように、より正確に位置決めさせることが可能となる。このようにして、位置決めが可能であることが確認される。実際の画像検査に際しては、位置決めが完了すると、「測定」ボタン430を押下することで、設定された計測部位の計測や判定が実行される。
なお、以上の例では位置決め画像として倍率の異なるテクスチャ画像を用いた例を説明したが、この構成に限られず、倍率の等しいテクスチャ画像を位置決め画像に利用することもできる。例えば図32に示すように、細長い検査対象物ELSを画像検査する際、端縁の領域EDAをそれぞれ位置決め画像として登録する場合が考えられる。あるいは図33に示すように、検査対象物S1の位置決めに利用する部位PSAと、計測を行う部位MEAが異なる場合に、測定部位を設定する画像とは異なる画像を位置決め画像として登録することもできる。
(位置決めサポート機能)
このように、位置決め画像を画像表示領域410や操作領域420に表示させて、ユーザによる検査対象物の位置決め作業を補助することが可能となる。なお、「位置決めサポート表示」欄636をOFFに切り替えると、このような画像表示領域410における位置決め画像のオーバーレイ表示がOFFされ、ユーザは検査対象物のライブ画像のみを確認できるようになる。この場合でも、位置決め画像表示欄632には位置決め画像が表示されるので、これを参照しながらユーザは位置決め作業を行うことが可能となる。
(検査条件の変更)
一旦設定された検査条件を変更するには、一からすべての検査条件を作り直すだけでなく、必要に応じて既存の検査設定を部分的に変更することでも実現できる。検査条件を変更するには、図9の機能選択メニュー画面501から「設定編集」ボタン506を押下する。すると図34のような検査設定ファイルの選択画面640が表示されるので、変更したい検査設定ファイルを選択する。すると図35に示すように、選択された検査設定ファイルが読み込まれて検査条件詳細画面540が表示されるので、ここからユーザは必要な項目を変更する。
あるいは、後述する画像検査の実行中においても、検査条件の変更を行うことができる。具体的には、図36の画像検査結果表示画面650において、右下に設けられた「解析画面」ボタン651を押下すると、自動的に、現在の画像検査の検査条件として指定された検査設定ファイルが読み込まれて、上述した図35と同様の検査条件詳細画面540が呼び出される。これにより、画像検査の実行中であっても、容易に検査条件の設定画面を呼び出して、必要箇所を速やかに変更、修正できるので、判定結果等に応じて、検査条件を適宜修正することができ、使い勝手のよい画像検査の環境が実現される。
(画像検査)
以上のようにして画像検査の検査条件の設定がなされた状態で、検査対象物をステージ上に載置して、画像検査を実行する。この手順を、図9、図37〜図40に基づいて説明する。まず図9の機能選択メニュー画面501から「検査実行」ボタン503を押下する。すると図37のような画像検査実行画面630が表示されるので、まず、検査設定ファイルを選択する。具体的には、操作領域420に設けられた「検査設定ファイル」選択欄631から、予め設定、保存された検査設定ファイルを選択する。ここでは位置決め画像として図25に示したテクスチャ画像を1枚のみ登録した検査設定ファイルを選択すると、選択された検査設定ファイルに登録された情報が復元され、図38に示す画像検査実行画面630の操作領域420の位置決め画像表示欄632には、登録した位置決め画像が表示される。また画像表示領域410におけるライブ画像表示欄634には、ステージのライブ画像と共に、この位置決め画像POIが半透明で重ねて表示される。この状態でユーザが検査対象物をステージ上に載置すると、図39に示すように、ステージ上の検査対象物のテクスチャ画像TXIと、位置決め画像POIとが重ねて表示される。この状態で、ユーザはステージの位置を調整して、あるいは検査対象物を置く位置を調整して、図40に示すようにライブ画像表示欄634で表示される画像が概ね重なって表示されるようにする。なお、完全に画像が重なるように一致させる必要はなく、ある程度の位置合わせにより画像検査が実行可能となる。
(位置決め判定手段218)
さらに位置決めに際して、検査対象物をステージ上に載置する際、基準検査位置から許容される範囲に載置されたか否かを判定する位置決め判定手段218を備えることもできる。これにより、ある程度の位置決めがなされた時点で判定を実行する状態に至ったことをユーザに告知できるので、位置決めに割く時間を短くして効率よく画像検査を進めることが可能となる。ここで基準検査位置とは、基準対象画像を撮像した際の基準対象物のステージ上における位置である。
(位置決めインジケータ637)
また位置決め判定手段218は、検査対象物をステージ上に載置した現在の位置と、基準検査位置との一致度から、該位置で画像検査を実行した場合の精度を相対的な指標として表示可能な位置決めインジケータとすることもできる。また位置決めインジケータは、指標を連続的に表示可能な棒グラフ状に構成し、さらに画像検査が可能な値を閾値として表示することで、この閾値を超えておれば画像検査が安定的に実行可能であることをユーザに告知できる。この結果、ユーザは厳密な位置決め作業に拘泥されることなく、位置決めインジケータの指標が閾値以上となった時点で、検査指示手段253を操作するよう促される。いいかえると、位置決め作業を切り上げるよう促されるので、画像検査の作業時間の短縮化が期待される。
このような位置決めインジケータを用いた変形例を、図41〜図44に示す。この例では、図41に示す変形例に係る画像検査実行画面630Bが、図9の機能選択メニュー画面501から「検査実行」ボタン503を押下して呼び出される。図41の画像検査実行画面630Bでは、操作領域420の下段に位置決めインジケータ637を設けている。位置決めインジケータ637は横長の棒グラフ状に構成され、また画像検査を安定して実行可能な閾値638を赤線で示している。この状態で「検査設定ファイル」選択欄631から、予め設定、保存された検査設定ファイルを選択すると、図42に示すように、選択された検査設定ファイルに登録された位置決め画像が半透明で画像表示領域410に表示される。この状態で、ユーザが検査対象物をステージ上に載置すると、図43に示すように、ステージ上の検査対象物のテクスチャ画像TXIと、位置決め画像POIとが重ねて表示される。このとき、位置決めインジケータ637は、指標が閾値638に満たないことから、ユーザはステージを調整するなどして、位置合わせを行う。例えばステージをθ方向に回転させる等して、図44に示すように画像をある程度一致させると、位置決めインジケータ637が閾値638を超え、この状態で画像検査を実行可能であることをユーザは把握できる。よってユーザは「測定」ボタン430を押下して、画像検査を実行させることができる。
以上の例では、位置決め判定手段218として位置決めインジケータ637でアナログ的な表示を行う例を説明した。ただ本発明はこのようなアナログ的な表示例に限らず、位置決めの可不可をデジタル的に表示させた構成としてもよい。例えば位置決め判定手段218として、検査対象物Sがステージ140上に置かれた初期位置と、検査条件として設定された基準検査位置とを比較して、この初期位置で高さ情報が取得可能かどうかを判定し、その判定結果が高さ情報取得不可能である場合には、該判定結果に基づく所定の出力(例えば「位置OK」、「位置NG」等)を行うよう構成することもできる。
また、検査設定で設定された基準検査位置に検査対象物Sを載置させるように誘導する誘導機能を備えてもよい。一方で、例えばステージに、検査対象物を載置する際の位置合わせの基準となるガイド部材や、機械的に位置を規制するジグなどを配置することで、このような位置決め作業を不要として、位置決め画像を参照したりすることなく、検査対象物を検査条件の設定時と同じ位置におくことが可能となる。
(画像検査実行指示)
位置決めが終了すると、画像検査の実行を検査指示手段253で指示する。具体的には、検査指示手段253の一形態である「測定」ボタン430を押下する。これにより、検査対象物を撮像した検査対象画像として、テクスチャ画像および高さ画像が取得され、それらに基づき三次元合成画像が生成され、計測部位指定手段252で指定された計測部位を、計測部位抽出手段225が検査対象画像中から自動的に抽出して、計測手段216bにより、計測部位の計測値が計測され、検査結果が表示される。具体的には、図36に示す画像検査結果表示画面650のように、検査対象物のテクスチャ画像と三次元画像が表示され、さらに計測結果が計測結果表示領域652に一覧表示される。計測結果表示領域652には、各計測部位の個別判定表示領域653と、すべての計測部位の判定結果から、総合の判定結果を表示させるための総合判定表示領域654とが設けられている。
(判定結果)
ここで、判定結果の種別を説明する。画像検査手段216は、画像検査により得られた検査結果として、検査対象物が検査条件に合致している場合は「正常」、合致していない場合は「異常」、検査対象物が検査条件に合致しているかどうかを判定できない場合は「検査不能」を出力する。出力は、上述の通り表示部に表示させる他、データとしてファイルに書き出したり、信号として外部機器に出力(有線、無線を含む)することもできる。
ここで異常とは、計測自体は実行されているが、得られた計測値が後述する公差の範囲外であるような場合を示す。また検査不能とは、画像検査の判定を行えない場合を意味し、例えば計測部位の計測ができない場合、計測値自体が存在しない場合等が該当する。この点において、計測値が得られている「異常」とは異なる。このように、単に正常か異常かでなく、画像検査が実行できなかった場合に検査不能を表示させることで、検査対象物の異常に起因しない検査の不備、いいかえると検査対象物が正常であるにも拘わらず、何らかの事情で画像検査が行えなかった場合に、ユーザは必要な措置を講じることで、誤判定を低減することが可能となる。例えば、検査対象物のステージ上へのおき方を変えたり、照明光を調整する等の対策が考えられる。
上述の通り、検査条件の設定時において、設計値指定手段254で予め設計値、許容される範囲の上限値、下限値の3つの値が指定され、検査設定ファイルとして保存、記憶されている。この検査条件に従い、画像検査を実行する画像検査手段216は、計測値が、記憶された上限値と下限値の範囲内、すなわち公差の範囲内にあるか否かを判定する。ここで、計測値が公差の範囲内にあるときは、正常に対応する範囲内判定を、計測値が公差の範囲外にあるときは、異常に対応する範囲外判定を、検査対象画像を取得できたものの、計測部位の計測値を取得できないため判定を実行することができなかった場合に、検査不能に対応する不能判定を、判定結果として出力する。以下、本実施例では範囲内判定は「OK」、範囲外判定は「NG」、不能判定は「FAIL」と表示する。このようにすることで、判定結果を参照して、不能判定ならば計測のやり直しが必要であり、範囲外判定ならば検査対象物の不良ということがユーザに判別可能となる。このように、不能判定を設けたことで、不良品でない可能性のある検査対象物を誤って破棄する事態を回避できる。さらに画像検査手段216は、判定結果が検査不能となった場合に、検査不能とされた要因を出力可能としている。これにより、画像検査を適切に行うために検査条件等を調整すべき箇所を特定し易くなり、再設定の手間を省力化できる。
(不能判定)
ここで、画像検査結果の例を図45〜図49に示す。まず図45に示す画像検査結果表示画面650は、計測部位として指定された2箇所ともOKと判定された例を示している。この例では、計測結果表示領域652において、2つの個別判定表示領域653と、総合判定表示領域654のそれぞれにおいて、いずれもOKとの判定結果が表示されている。
次に図46に示す画像検査結果表示画面650では、2箇所の計測部位の内、計測部位1がFAIL、計測部位2がNGと、個別判定表示領域653においてそれぞれ判定されており、総合判定表示領域654においてはFAILとの判定結果が表示されている。FAILと判定された計測部位2の計測値は表示されておらず、計測自体に失敗したことが判る。一方計測部位1においては、計測値は表示されており、計測はなされたものの、数値が異常であることが判る。なお、個別判定結果としてFAILとNGが混在している場合、全体判定結果はNGとなる。すなわち全体判定結果においては、「検査不能」が「異常」よりも優先される。
また図47の例では、2箇所の計測部位がいずれもFAILと個別判定表示領域653で表示されており、総合判定結果もFAILと表示されている。さらに図47のテクスチャ画像上には、FAIL判定の要因を表示する要因表示欄655を設けている。ここでは要因表示欄655において、「位置合わせに失敗しました」とのメッセージが表示されている。このように、FAILすなわち計測値が計測できなかった原因が、位置合わせに失敗して計測部位を抽出できなかったことが、この画面から理解できる。
なお、「OK」と「NG」、「FAIL」とは表示色や表示態様を変化させることで、判定結果を視覚的にユーザに認識させることができる。例えば「OK」を緑色、「NG」と「FAIL」を赤色で表示させることで、容易にその意味をユーザは理解できる。また「NG」と「FAIL」をハイライト表示や点滅表示などとすることで注意を惹く態様で表示させてもよい。
さらに詳細な理由を調べたり、検査条件を調整してFAILにならないよう、すなわち画像検査が正しく実行できるように再設定するには、図48、図49の検査条件詳細画面540を表示させる。上述の通り、図46、図47の画像検査結果表示画面650から、右下に設けられた「解析画面」ボタン651を押下すると、現在の画像検査の検査条件として指定された検査設定ファイルが読み込まれて、図48、図49の検査条件詳細画面540がそれぞれ呼び出される。ここで、図48は、計測部位2については高さが計測されており、プロファイルグラフPGに寸法線DMLと数値も表示されているが、計測値が公差よりも大きいためNGとなったことが判る。一方、計測部位1については、プロファイルグラフPGに寸法線が表示されるものの、数値はなく、代わりに「計測できません」との要因メッセージCAMが表示されており、上端のエッジの抽出に失敗した結果、高さの計測ができなかったことが判る。このように、計測値が表示される部分に、数値に変えてエラーメッセージを表示させることで、どの計測部位がどのような理由で計測できなかったのかを視覚的に容易に把握できるように構成している。また、エッジ抽出に失敗する等してラインが引けないような場合は、このラインをハイライトして表示させ、検出に失敗した仮想線IMLであることを強調できる。この例では上端のエッジに相当する線を仮想線IMLとして太字の白色で表示し、未検出であることをユーザが認識できるようにしている。あるいはこれに代えて、又はこれに加えて、抽出できなかったラインに「抽出失敗」等の説明を付することで、一層判りやすくできる。
さらに図49の検査条件詳細画面540は、図47の画像検査結果表示画面650と対応しており、計測部位1、2共に、寸法線に「計測できません」と表示され、また未抽出の上端及び下端エッジに相当する各仮想線IMLをハイライト表示し、それぞれ「抽出失敗」との説明を付している。
なお、FAILすなわち不能判定と判定する際の要因には、検査対象画像の位置合わせの失敗、検査対象画像のエッジ抽出の失敗、検査対象画像中で計測部位に計測値が見出せないこと等が挙げられる。ここで計測部位に計測値が見出せないとは、検査設定の際には、その計測部位に計測すべき点(計測点)を指定できたものの、画像検査の実行時には、計測部位の計測をすることができなかったことを指す。
(相対関係図656)
また、画像検査の判定結果に加えて、計測された計測値と、設定された設計値や公差との関係を、相対関係図656として表示領域に表示させることもできる。この相対関係図656は、設計値を公差で挟むようにゲージ状に表示することが好ましい。ゲージは一端を下限値MIN、他端を上限値MAXに対応させ、またこの公差の範囲内に計測値VALを、長さと対応する位置に表示する。例えば図45に示すように判定結果がOKの場合は、相対関係図656として下限値MINと上限値MAXで規定される公差の範囲内に、設計値SETを表示させ、さらに計測値VALも、その値に応じた位置に表示させる。図45の例では、設計値SETを白抜きの丸で表示させ、計測値VALを緑色の点で表示させている。これにより、計測された値が設計値SETに対して相対的にどのような位置にあるかを視覚的に把握することができる。例えば計測部位1と2を比較した場合、計測部1の方が計測部位2よりも設計値SETから離れていることが判る。
一方、図46に示すNGの例では、公差の範囲内に計測値VALが収まらないため、ゲージの上限値MAXまた下限値MINから一方向に延長し、延長線上に計測値VALを表示させ、この計測値VALが公差からどのくらい離れているかを相対的に表示するようにしている。図46の計測部位2の例では、公差の上限よりも計測値VALが大きいため、公差の範囲外として右側に延長された線上の対応する位置に、計測値VALを点で表示させている。またゲージの内、公差にあたる部分を白で表示させ、他の部分を灰色とすることで、公差がどの部分にあたるかをイメージ的に表現している。なお、FAILについては計測値が得られていないので、このような相対関係図の表示を省略している。
さらに、相対関係図656における表示色を、判定結果の表示色と一致させることで、一層の視覚的な理解のし易さを図ることができる。図46の例では、計測値VALを赤色で表示させ、個別判定結果であるFAILの表示色である赤色と一致させ、正常でないことをアピールできる。一方、図45の例では計測値VALを緑色で表示させ、判定結果のOKの表示色である緑色と一致させている。
なお、上述した画像検査結果表示画面650の画面右下段に設けられた「NG項目を優先して表示する」チェックボックス657をONすることで、NGとなった計測部位が上位に表示されるように表示順序が入れ替えられる。
このようにして得られた判定結果に問題が無ければ「閉じる」ボタン658を押下して図38の画像検査実行画面630に戻る。この状態で、別の検査対象物を置き、検査指示し、検査結果を表示させる。以下、この操作を繰り返すことで、検査対象物の画像検査を行うことができる。
(検査結果レポート機能)
さらに、検査結果をレポート形式で出力することもできる。すなわち表示部に検査結果レポートを表示させ、あるいはこれに代えて又はこれに加えて、検査結果レポートをデータとして保存することもできる。検索結果レポートを表示部に表示させる例を図50、図51に示す。このように検査結果レポート660は、検査対象物の各種画像、計測部位、計測値、設計値と公差、個別判定結果及び総合判定結果を関連付けて表示させている。これを表示あるいは印刷させることで、画像検査の結果を一覧で視認性よく確認できる。例えば、製品のトレーサビリティの観点から、顧客先に製品の検査結果を書面で提出するよう求められた場合、この検査結果レポート機能を用いて簡単に解析レポートとして報告できる。
(データファイル生成手段229)
この三次元画像検査装置は、画像検査手段216の検査結果をデータファイルとして生成するデータファイル生成手段229を備えることができる。このようなデータファイルとしては、画像検査手段216による画像検査の実行時に生成される検査結果ファイルが挙げられる。検査結果ファイルには、画像の撮像条件、解析条件、判定条件、各計測部位の計測値や設定値、公差、個別判定結果、総合判定結果、検査者、日付、シリアル番号等の情報を含めることができる。
また検査結果ファイルを生成するタイミングについて、判定結果がOKの場合には生成せず、NGやFAILの場合にのみ生成するようにしてもよい。このような検査結果ファイルは、画像検査の結果を解析をする際に活用できる。特に異常な結果だけを残しておくことで、このデータファイルを読み込んで原因の究明等に役立てることができる。さらに、検査結果ファイルと共に、画像データも合わせて保存することもできる。画像データは、例えばテクスチャ画像、高さ画像、三次元合成画像等が挙げられる(位置決め画像)。これらの画像データは、検査結果ファイルに組み込んで保存することもでき、又は検査結果ファイルとは別個のデータとして保存することもできる。
(パターンマッチング)
この画像検査では上述の通り、検査対象画像に対して、パターンマッチングを利用した位置合わせを自動的に行う自動位置合わせ機能を備えている。パターンサーチは二段階で行い、最初に自動位置合わせをした後、詳細位置合わせを行う。ここで自動位置合わせは、正規化相関を利用し、詳細位置合わせでは幾何サーチを用いている。このように、正規化相関で、ある程度まで位置合わせを行いつつ、幾何サーチで詳細に合わせこむ手順としている。仮に幾何サーチですべての位置合わせを行う場合、計算量が増える上、サーチ対象の幾何パターンの指定が不適切な場合は、位置合わせができない懸念がある。一方、正規化相関のみですべての位置早生を行う場合は、画像同士の相関値で位置合わせを行うため、計算量が少なく、画像同士の位置合わせはしやすいものの、精度が低いという懸念がある。そこで、正規化相関である程度の段階まで位置合わせをしつつ、幾何サーチで詳細に位置合わせを行うようにしている。
ここで、画像検査実行時に自動位置合わせを行うための具体的な設定手順を、図13、図52〜図61に基づいて説明する。上述した図13の検査条件詳細画面540から、「位置合わせ」ボタン543を押下すると、図52の自動位置合わせ設定画面550に移行する。この状態で、「自動位置合わせ設定」欄555をOFFからONに切り替えると、図53に示すように「自動設定」ボタン556が押下可能となり、自動位置合わせの設定を行うことが可能となる。また画像表示領域410上でパターンマッチングに利用する領域を指定可能となる。この状態で「自動設定」ボタン556を押下すると、図54に示す自動位置合わせ詳細設定画面670に移行する。
図54の自動位置合わせ詳細設定画面670では、ユーザに対して自動位置合わせの設定手順を誘導するガイダンス機能を備えている。まず、操作領域420上において「位置合わせ画像選択」欄671で位置合わせ画像を選択させる。ここでは、高さ画像かテクスチャ画像のいずれかを選択させる。例えば図54の例では高さ画像を選択しているところ、テクスチャ画像を選択すると図55に示すように画像表示領域410で表示される画像が、ここでの選択に応じてテクスチャ画像に変更される。ユーザは、自動位置合わせの設定に適した画像を適宜選択できる。例えば形状が明確な画像であれば高さ画像を選択し、テクスチャが明確な画像であればテクスチャ画像を選択することができる。ここで、位置合わせ画像としてテクスチャ画像を選択した場合、テクスチャ画像で位置合わせした後、高さ画像が有する高さ情報で、テクスチャ画像全体をZ方向に平行移動させる。一方、高さ画像を選択した場合は、XY方向に位置合わせをした後、高さ画像の各XY座標が有する高さ情報でもってZ方向に位置合わせを行う。
次に「領域設定」欄672において、画像表示領域410中から、一回目のパターンマッチングを行うのに適した特徴的な部分を含むように領域を指定させる。さらに「回転サーチ範囲」欄673において、パターンマッチングで姿勢を回転させて回転サーチを行う際の角度範囲を制限するか否か、制限する場合の角度範囲を設定する。ここで「制限しない」を選択すると、回転サーチを360°の範囲で行う。また「制限する」で角度範囲を±0°に設定すると、回転サーチを行わないように設定できる。このような設定が終わると、「OK」ボタン674を押下して図53の自動位置合わせ設定画面550に戻る。
(詳細位置合わせ)
次に、図53の画面で「詳細位置合わせ」欄557の「設定」ボタン558を押下すると、図56の詳細位置合わせ画面680に移行する。詳細位置合わせ画面680では、二回目のパターンサーチの設定を行う。二回目のパターンサーチは幾何サーチであるため、サーチ対象の幾何パターンを指定する必要がある。よって図56の詳細位置合わせ画面680では、テクスチャ画像に対してエッジ抽出を行い、位置合わせに使用する適切な要素を選択し、2点または2直線で基点とその方向を決定する。ここでは、位置合わせに使用する線、円を作成する。操作領域420には、点や線、円、円弧、平行線、特定角、中点、交点、結合線、結合円、中線、垂基線などの幾何パターンを指定するための補助ツール681が設けられており、ユーザはこれらを用いて適切な幾何パターンを、画像表示領域410中で作成する。次に、位置を合わせる2点又は2直線を指定する。このため操作領域420には、位置合わせツール682として「2点」ボタン683と「2直線」ボタン684が設けられている。設定が終了すると「OK」ボタン685を押下して、図57の自動位置合わせテスト画面690に移行する。
自動位置合わせテスト画面690では、テスト用データに対して詳細位置合わせを試験的に行い、正しい設定がなされているかどうかを確認する。この画面では、画像表示領域410に、現在設定中の基準対象物(基準データ)のテクスチャ画像と、画面中央で切断した縦横のプロファイル画像が表示されている。ここで、操作領域420の「テスト用データ」選択欄691から、適切なテスト用データを選択する。テスト用データとして、検査対象物のサンプル等を予め登録しておく。テスト用データが選択されると、図58に示すように指定されたテスト用データの画像が読み込まれ、画像表示領域410においてテクスチャ画像とプロファイル画像が重ねて表示される。この状態で「テスト実行」ボタン692を押下し、詳細位置合わせを試験的に行う。この結果、図59に示すようにテスト用データと合致すれば、設定が正しくなされていることが判る。一方、例えば図60のような、特徴がない領域をパターンマッチングの領域として設定した場合、テスト実行を行っても図61のように一致せず、正しい設定がなされていないことが判る。
(Z方向の位置合わせ)
なお高さ方向(Z方向)の位置合わせは、位置合わせの際に、Z方向に平行移動させることで行う。また基準面の設定は、指定した領域全体が基準面となるように計算する。この計算には最小二乗法等が利用できる。ここでZ方向の傾きを調整する。位置合わせの段階で概ねの位置合わせをしているため、合致させやすい利点が得られる。
(画像連結機能)
以上説明した三次元画像検査装置が扱う画像(基準対象画像、検査対象画像)の内、テクスチャ画像は、テクスチャ画像取得手段により一回の撮像で取得される画像に限られない。テクスチャ画像取得手段で複数回に分けて撮像された、異なる部位を示すテクスチャ画像同士を連結して、大きなテクスチャ画像として連結画像を、基準対象画像や検査対象画像として利用することもできる。特に高倍率な光学画像等を撮像可能な三次元画像検査装置においては、低倍率なテクスチャ画像ではその能力を十分に発揮できないことがあり、高倍率で高精細なテクスチャ画像を画像連結機能で生成して、精度の高い画像検査を実現することができる。あるいは、高倍率の画像は視野が狭いため、異なる視野で撮像した画像同士を連結することで視野を拡大した連結画像を得ることもできる。このような画像連結機能を、図62〜図70に基づいて説明する。ここでは、検査条件設定時の基準対象画像として連結画像を登録する例について説明するが、画像検査実行時の検査対象画像に対しても手順は同様である。なお、画像連結機能はCPU210の画像連結手段219によって実現される。
まず図9の機能選択メニュー画面501から「設定編集」ボタン506を押下することで図62の検査設定画面510が呼び出される。この検査設定画面510の操作領域420の下段において、画像連結機能を実行する「連結モード」欄514が設けられている。この「連結モード」欄514で「OFF」を「オート」に切り替えることで、図63に示す連結モード設定画面700となり、連結モードが実行される。この連結モード設定画面700では操作領域420に連結領域表示欄701が設けられる。この状態で、画像表示領域410において表示されているテクスチャ画像を、連結したい部位や倍率に調整する。調整後に、「追加」ボタン702を押下すると、現在画像表示領域410で表示中のテクスチャ画像が連結対象画像として登録され、図64に示すように連結領域表示欄701に取り込まれると共に、この下段において登録済みの連結対象画像として幅、高さのサイズと枚数が表示される。さらに画像表示領域410の視野を移動させ、「追加」ボタン702を押下して2枚目の連結対象画像を登録する。これにより、図65に示すように連結領域表示欄701において、2枚の連結対象画像が連結された連結画像が表示される。
この状態で、図65の操作領域420の下段に設けられた「位置決め設定」ボタン703を押下すると、図66の連結用位置決め画像登録画面710に遷移する。この連結用位置決め画像登録画面710では、先に連結領域設定で登録した連結対象画像が予め登録されている。また、連結対象画像をさらに追加したり、あるいは削除することも可能である。この画面からユーザは複数箇所の画像を手動で登録していく。登録が終了すると、操作領域420の下段に設けられた「戻る」ボタン711を押下して、図67の検査設定画面510に戻る。この状態で、位置決め画像表示欄632に、所望の連結画像が得られていることを確認すると、「測定」ボタン430を押下して、登録された連結対象画像を順次撮像すると共に、これらを連結して連結画像を生成する。
なお、画像連結を行う場合には、検査設定ファイルに記録される連結条件として、連結データを測定するための条件、連結枚数(縦枚数、横枚数)、1枚毎の座標、除外領域(連結領域の中で一部だけ測定しない領域)、連結実行するための条件等の設定が含まれる。また間引き数は、連結時の重複量(のりしろ量)については、1枚毎の座標を元に並べることで自動的に算出される。
(間引き機能)
連結画像は、そのままではテクスチャ画像のデータサイズが大きくなる。そこで、必要に応じて画像データを小さくする。データサイズの縮小には、例えばデータを間引いたり圧縮したりする等、既存の方法が適宜利用できる。ここでは、データを間引く方法を採用している。また、このようなデータサイズ圧縮を、ユーザに対し確認又は促すように自動でメッセージが表示されるようにすることで、データサイズの肥大化を回避できる。図67の検査設定画面510の例では、「測定」ボタン430を押下して連結画像の生成を指示すると、連結された連結画像データのサイズを自動で設定するかどうかを確認するメッセージが自動的に表示される。これによりユーザは、間引き処理を自動で行うか、手動で行うかを選択できる。手動で行う場合は、「いいえ」を選択する。この場合は、測定後、すなわち連結画像を生成した後、図68に示すような画像連結設定画面720を表示させ、位置調整及び連結の実行を行う画面を表示させる。さらに図69の連結画像保存画面730において、「保存する画像サイズ」欄731から図70に示すように連結画像の保存時の画像のサイズを変更できる。これにより、画像データを間引いてサイズを小さくできる。また、図69において「連結結果を保存」ボタン732を押下すると、通常の検査条件の設定と同様、図13等に示した検査条件詳細画面540に戻る。
なお、連結画像の間引きなどのデータ圧縮は、画像データの保存時に行う他、生成時に行うこともできる。
以上、三次元画像検査装置として、縞投影画像を用いた例を説明した。ただ本発明は、高さ画像を取得する方法を、この方法に限定するものでなく、高さ情報を取得可能な既知の方法を適宜採用できる。例えば三角測量の原理を使用した方法としては、光切断方法、位相シフト法、空間コード化法、ランダムパターン投影法等が挙げられる。また三角測量の原理以外を用いた、非接触のアクティブな三次元計測方法としては、タイムオブフライト法、共焦点法等が利用できる。あるいは、非接触のパッシブな三次元計測方法としては、ステレオ法(キャリブレート済みステレオ法やフォトグラメトリ)、レンズ焦点法などの焦点法が挙げられる。
また、このような三次元計測の測定原理のいずれを採用するかによって、画像検査不能や計測不能(FAIL)となる理由も変化することがあるので、採用した測定原理に応じた要因を、適宜出力するように変更する。例えば縞投影の場合は、上述の通り、姿勢が悪い、照明光が影になっている、多重反射が発生している、あるいは検査対象物の材質に起因して、例えば反射率が低いといった要因が挙げられる。一方、光切断法では、上記と同様の要因が考えられる。
これに対して、光干渉法では、検査対象物の水平面からの傾きが異なると、斜面が測定できない、反射率が低い、表面の凹凸が激しいといった要因で、高さ情報を測定できないことが挙げられる。またステレオ法では、オクルージョン(見えない部分)が発生したり、検査対象物の表面の凹凸が少なく特徴が無い等の要因が挙げられる。さらにタイムオブフライト法では、ノイズの影響を受ける(分解能が粗い)といった要因が挙げられる。さらに共焦点法では、上述した光干渉法と同様、検査対象物の水平面からの傾きが異なると、斜面が測定できない、反射率が低い、表面の凹凸が激しいといった要因で高さ情報を計測できないことが考えられる。このように、高さ情報の測定に利用する測定原理に応じて、FAILとなる要因を表示させることで、ユーザに対し、採用した測定原理に適した対処法を提案できる。
なお、測定原理に依存しない要因、例えば位置合わせの失敗やエッジ抽出の失敗といった要因は、共通するので上記と同様に表示できる。
本発明の三次元画像検査装置及び画像撮像方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体は、検査対象物の高さを三角測距の原理を利用して測定する測定装置やデジタイザ、あるいはこれらの検査結果に基づいて、良品か不良品かを判定する検査装置として好適に利用できる。
100、100’…撮像手段
101…本体ケース
110…投光部;110A…第一測定光投光部;110B…第二測定光投光部
111…測定光源;111A…第一測定光源;111B…第二測定光源
112…パターン生成部
112A…第一パターン生成部;112B…第二パターン生成部
113〜115、113A〜115A、113B〜115B、122、123…レンズ
120…受光部
121…カメラ
121a…撮像素子
130…照明光出力部
140…ステージ
141…X−Yステージ
142…Zステージ
143…θステージ
144…ステージ操作部
145…ステージ駆動部
150…測定制御部
200…制御手段
210…CPU
211…測定画像合成手段
213…三次元画像合成手段
214…誘導手段
215…警告手段
216…画像検査手段;216b…計測手段
217…位置演算手段
218…位置決め判定手段
219…画像連結手段
220…ROM
221…パターンマッチング手段
222…判定出力手段
225…計測部位抽出手段
226…基準面設定手段
227…位置決め画像登録手段
228…高さ画像取得手段
229…データファイル生成手段
230…作業用メモリ
240…記憶装置
250…操作部
251…検査設定手段
252…計測部位指定手段
253…検査指示手段
254…設計値指定手段
300…光源部
310…制御基板
320、320’…観察用照明光源
400…表示部
410…画像表示領域;410a…プロファイル線表示欄;410b…高さ画像表示欄;410c…プロファイルグラフ表示欄
420…操作領域;420a…プロファイルツール選択欄;420b…計測ツール選択欄
430…「測定」ボタン
440…プロファイル計測一覧表示領域
440a…プロファイル情報表示欄;440b…計測結果表示欄
500、4100…三次元画像検査装置
501…機能選択メニュー画面
502…「検査設定」ボタン
503…「検査実行」ボタン
504…「観察」ボタン
505…「解析」ボタン
506…「設定編集」ボタン
510…検査設定画面
511…「3D測定」タブ
512…「画像観察」タブ
514…「連結モード」欄
520…「XYステージ」操作部
530…画像ビューワ画面
531…画像切り替えボタン
532…「3D」ボタン
533…「テクスチャ」ボタン
534…「高さ」ボタン
535…「解析する」ボタン
536…「保存」ボタン
540…検査条件詳細画面
541…登録画像表示領域
542…計測表示領域
543…「位置合わせ」ボタン
544…「画像処理」ボタン
545…「プロファイル」ボタン
550…自動位置合わせ設定画面
551…「テスト画面」ボタン
552…説明文
553…表示画像選択欄
554…「OK」ボタン
555…「自動位置合わせ設定」欄
556…「自動設定」ボタン
557…「詳細位置合わせ」欄
558…「設定」ボタン
560…画像処理画面
561…「画像処理ツール」選択欄
562…「基準面設定」ボタン
563…「面形状補正」ボタン
564…「反転」ボタン
565…「平滑化」ボタン
566…「OK」ボタン
570…基準面設定画面
580…計測設定画面
581…「プロファイル線」タブ
582…「補助ツール1」タブ
583…「補助ツール2」タブ
584…直線ツール
585…「エッジ自動抽出」欄
586…「計測」タブ
587…「補助ツール」タブ
588…「線」ツール
589…「垂基線」ツール
591…「線−線」ツール
592…「プロファイルの最下点を0と表示する」欄
593…「OK」ボタン
594…個別判定表示欄
595…総合判定表示欄
596…「工程情報設定」ボタン
597…工程情報設定画面
598…「保存オプション」ボタン
599…検査設定ファイル保存オプション設定画面
601…検査結果ファイルの生成条件設定欄
610…位置決め画像登録方法指定画面
611…位置決め画像の登録方法指定欄
612…「毎回同じステージ位置で検査を行う」欄
620…位置決め画像登録画面
621…位置決め画像簡易表示欄
622…登録済み位置決め画像表示欄
623…「追加」ボタン
624…「倍率切り替え」欄
625…「倍率」欄
626…「戻る」ボタン
630、630B…画像検査実行画面
631…「検査設定ファイル」選択欄
632…位置決め画像表示欄
633…位置決め画像情報欄
634…ライブ画像表示欄
635…「次へ」ボタン
636…「位置決めサポート表示」欄
637…位置決めインジケータ
638…閾値
640…検査設定ファイルの選択画面
650…画像検査結果表示画面
651…「解析画面」ボタン
652…計測結果表示領域
653…個別判定表示領域
654…総合判定表示領域
655…要因表示欄
656…相対関係図
657…「NG項目を優先して表示する」チェックボックス
658…「閉じる」ボタン
660…検査結果レポート
670…自動位置合わせ詳細設定画面
671…「位置合わせ画像選択」欄
672…「領域設定」欄
673…「回転サーチ範囲」欄
674…「OK」ボタン
680…詳細位置合わせ画面
681…補助ツール
682…位置合わせツール
683…「2点」ボタン
684…「2直線」ボタン
685…「OK」ボタン
690…自動位置合わせテスト画面
691…「テスト用データ」選択欄
692…「テスト実行」ボタン
700…連結モード設定画面
701…連結領域表示欄
702…「追加」ボタン
703…「位置決め設定」ボタン
710…連結用位置決め画像登録画面
711…「戻る」ボタン
720…画像連結設定画面
730…連結画像保存画面
731…「保存する画像サイズ」欄
732…「連結結果を保存」ボタン
S、S1…検査対象物
ML…測定光;ML1…第一測定光;ML2…第二測定光
IL…照明光
PL…プロファイル線
PG…プロファイルグラフ
PS…プロファイル形状(断面形状)
AL…補助線
SMA…平滑化領域
DML…寸法線
POI…位置決め画像
ELS…細長い検査対象物
EDA…端縁の領域
PSA…位置決めに利用する部位
MEA…計測を行う部位
TXI…テクスチャ画像
CAM…要因メッセージ
IML…仮想線
MIN…下限値
MAX…上限値
VAL…計測値
SET…設計値

Claims (24)

  1. 検査対象物を撮像した、高さ情報を含む検査対象画像に対して所定の画像検査を実行するための画像検査装置であって、
    検査対象物を載置するためのステージと、
    前記ステージ上に載置された検査対象物のテクスチャ情報を有する二次元の光学画像であるテクスチャ画像を取得するためのテクスチャ画像取得手段と、
    前記ステージ上に載置された検査対象物の高さ情報を含む高さ画像を取得するための高さ画像取得手段と、
    検査対象物の検査条件を定めるために、検査の基準となる基準対象物を前記ステージ上に載置して、該位置を基準検査位置として撮像した、基準対象物の高さ画像である検査基準画像に対して、検査対象物の高さに関する検査条件を設定するための検査設定手段と、
    検査対象物を前記ステージ上の、前記基準検査位置を含む画像検査が実行可能な範囲に載置した状態で、該検査対象物を撮像した検査対象画像に対し、前記検査設定手段で設定された検査条件を具備するかどうかの画像検査を行う画像検査手段と、
    前記画像検査手段に、画像検査の実行を指示するための検査指示手段と、
    前記画像検査手段の画像検査により得られた検査結果として、
    検査対象物が検査条件に合致している場合は、正常、
    検査対象物が検査条件に合致していない場合は、異常、
    検査対象物が検査条件に合致しているかどうかを判定できない場合は、検査不能
    のいずれかを表示し、
    さらに検査不能の表示は、該検査不能とされた要因に応じて異なる表示を行うための表示部と、
    を備える三次元画像検査装置。
  2. 請求項1に記載の三次元画像検査装置であって、
    前記画像検査手段が、検査対象画像に対して所定の計測を行うための計測手段であり、
    前記計測手段で計測された計測結果に基づいて、判定した結果を画像検査結果として、前記表示部に表示させてなることを特徴とする三次元画像検査装置。
  3. 請求項2に記載の三次元画像検査装置であって、さらに、
    検査対象画像中の、前記計測手段により計測を行う対象となる計測部位を、検査基準画像において指定するための計測部位指定手段と、
    検査対象物の計測部位の設計値又は許容される範囲の少なくともいずれかを指定するための設計値指定手段と、
    前記計測部位指定手段で指定された計測部位を、検査対象画像中から自動的に抽出するための計測部位抽出手段と、
    を備え、
    前記画像検査手段が、前記計測部位抽出手段で抽出された計測部位を前記計測手段で計測した計測値が、前記設計値指定手段で指定された設計値又は許容される範囲で規定される公差の範囲内にあるか否かを判定し、
    前記画像検査手段が、判定結果として、
    計測値が公差の範囲内にあるときは、前記正常に対応する範囲内判定を、
    計測値が公差の範囲外にあるときは、前記異常に対応する範囲外判定を、
    出力可能に構成してなる三次元画像検査装置。
  4. 請求項3に記載の三次元画像検査装置であって、
    前記画像検査手段が、判定結果として、さらに、
    検査対象物の検査対象画像を取得できたものの、計測部位の計測値を取得できないため判定を実行することができなかった場合に、前記検査不能に対応する不能判定を、
    出力可能に構成してなる三次元画像検査装置。
  5. 請求項4に記載の三次元画像検査装置であって、
    前記表示部は、前記画像検査手段の判定結果を表示可能で、かつ不能判定となった場合はその理由を表示可能としており、
    検査対象物の計測部位が複数ある場合に、各計測部位の判定結果と、計測可能であった場合の計測値を一覧表示可能としてなる三次元画像検査装置。
  6. 請求項5に記載の三次元画像検査装置であって、
    前記設計値指定手段で、許容される範囲として、設計値及び該設計値から許容される上限値及び下限値の公差を指定するよう構成してなる三次元画像検査装置。
  7. 請求項6に記載の三次元画像検査装置であって、
    前記表示部は、一覧表示において、範囲内判定又は範囲外判定の表示と共に、計測値と、計測値の設計値および公差との関係を示す相対関係図を表示可能としてなる三次元画像検査装置。
  8. 請求項7に記載の三次元画像検査装置であって、
    前記相対関係図が、設計値を公差で挟むようにゲージ状に表示されており、
    前記相対関係図が、範囲内判定の場合、公差で挟まれたゲージ内の対応する位置に、計測値を表示し、
    前記相対関係図が、範囲外判定の場合、公差で挟まれたゲージ外の延長線上の対応する位置に、計測値を表示するよう構成してなる三次元画像検査装置。
  9. 請求項5〜8のいずれか一項に記載の三次元画像検査装置であって、
    前記表示部は、
    複数の計測部位の判定結果の一覧表示の際には、不能判定となった理由を非表示とし、
    個別の計測部位の判定結果を表示する際に、不能判定となった理由を表示するよう構成してなる三次元画像検査装置。
  10. 請求項4〜9のいずれか一項に記載の三次元画像検査装置であって、
    前記表示部は、検査対象画像に、不能判定又はその理由を付加して表示可能としており、
    前記表示部は、検査対象物の断面形状を示すプロファイル画像を表示可能としており、
    該プロファイル画像に、不能判定又はその理由を付加して表示可能としてなる三次元画像検査装置。
  11. 請求項10に記載の三次元画像検査装置であって、
    前記画像検査手段が、検査結果を判定不能とする際、前記表示部上に、該判定不能の表示と共に、該判定不能の要因と関連する画像を関連付けて表示させるよう構成してなる三次元画像検査装置。
  12. 請求項11に記載の三次元画像検査装置であって、
    前記画像検査手段が
    検査対象画像の位置合わせを実行できない場合に、該検査対象画像のテクスチャ画像と共に検査不能を前記表示部に表示させ、
    検査対象画像の位置合わせを実行できたものの計測部位の計測が実行できない場合に、実行できなかった計測部位のプロファイル画像と共に検査不能を前記表示部に表示させるよう構成してなる三次元画像検査装置。
  13. 請求項4〜12のいずれか一項に記載の三次元画像検査装置であって、
    前記検査設定手段で複数の計測部位が指定された状態で、
    前記表示部が、
    複数設定された計測部位のそれぞれに対する判定結果を表示する個別判定表示欄と、
    すべての計測部位の判定結果から、総合の判定結果を表示させるための総合判定表示欄と、
    を有する三次元画像検査装置。
  14. 請求項13に記載の三次元画像検査装置であって、
    前記画像検査手段は、前記総合判定表示欄に、総合判定として、
    前記指定された複数の計測部位の内、前記計測手段で計測できなかった部位が一以上ある場合は、不能判定を、
    前記指定された複数の計測部位のすべてを測定でき、かつ計測値が公差の範囲外となったものが一以上ある場合は、範囲外判定を、
    前記指定された複数の計測部位のすべてを測定でき、かつすべての計測値が公差の範囲内である場合は、範囲内判定を、
    それぞれ表示させるよう構成してなる三次元画像検査装置。
  15. 請求項4〜14のいずれか一項に記載の三次元画像検査装置であって、
    前記画像検査部が不能判定と判定する際の要因が、
    検査対象画像に対する位置合わせの失敗、
    検査対象画像に対する画像処理においてエッジ抽出の失敗、
    検査対象画像中で計測部位に計測値が見出せない、
    の少なくともいずれかを含む三次元画像検査装置。
  16. 請求項15に記載の三次元画像検査装置であって、
    前記画像検査部が不能判定と判定する際の要因が、計測部位に計測値が見出せないことである場合は、
    検査設定の際には、該計測部位に計測点を指定することができたが、
    検査の際に、計測部位の測定をすることができなかった場合である三次元画像検査装置。
  17. 請求項1〜16のいずれか一項に記載の三次元画像検査装置であって、さらに、
    画像検査時に検査対象物の高さ情報を測定する基準となる平面を基準面として、基準対象物の検査基準画像中に設定するための基準面設定手段を備える三次元画像検査装置。
  18. 請求項1〜17のいずれか一項に記載の三次元画像検査装置であって、さらに、
    前記画像検査手段の検査結果をデータファイルとして生成するデータファイル生成手段を備える三次元画像検査装置。
  19. 請求項18に記載の三次元画像検査装置であって、
    前記データファイル生成手段が、前記画像検査手段の検査結果が異常又は検査不能の場合に、データファイルを生成するよう構成してなる三次元画像検査装置。
  20. 請求項1〜19のいずれか一項に記載の三次元画像検査装置であって、
    前記光学撮像取得手段と高さ画像取得手段が、共通の撮像素子でもってテクスチャ画像の撮像と高さ画像の撮像を行うよう構成してなる三次元画像検査装置。
  21. 請求項20に記載の三次元画像検査装置であって、
    前記高さ画像取得手段が、
    検査対象物に対して斜め方向から測定光を投光して構造化照明を行うための測定光投光手段
    を含み、
    前記高さ画像取得手段が、
    前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を前記撮像素子で撮像し、
    前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得してなる画像検査装置。
  22. 検査対象物を撮像した、高さ情報を含む検査対象画像に対して所定の画像検査を実行するための画像検査方法であって、
    検査の基準となる基準対象物をステージに載置し、該位置を基準検査位置として撮像した、該基準対象物の高さ情報を含む高さ画像に対して、検査対象物の高さに関する検査条件を設定する工程と、
    検査の対象となる検査対象物を前記ステージ上の、前記基準検査位置を含む画像検査が実行可能な範囲に載置し、
    該検査対象物のテクスチャ画像と高さ画像を撮像し、
    前記高さ画像を、検査対象画像として、該検査対象画像に対して、前記検査条件を具備するかどうかの画像検査を行う工程と、
    前記画像検査手段の画像検査により得られた検査結果として、
    検査対象物が検査条件に合致している場合は、正常、
    検査対象物が検査条件に合致していない場合は、異常、
    検査対象物が検査条件に合致しているかどうかを判定できない場合は、検査不能のいずれか、及び検査不能とされた場合は該検査不能とされた要因により異なる表示を表示部で表示させる工程と、
    を含む三次元画像検査方法。
  23. 検査対象物を撮像した、高さ情報を含む検査対象画像に対して所定の画像検査を実行するための画像検査プログラムであって、
    検査の基準となる基準対象物をステージに載置し、該位置を基準検査位置として撮像した、該基準対象物の高さ情報を含む高さ画像に対して、検査対象物の高さに関する検査条件を設定する機能と、
    検査の対象となる検査対象物を前記ステージ上の、前記基準検査位置を含む画像検査が実行可能な範囲に載置し、該検査対象物の高さ画像を撮像し、前記高さ画像を、検査対象画像として、該検査対象画像に対して、前記検査条件を具備するかどうかの画像検査を行う機能と、
    検査対象画像に対して所定の計測を行う機能と、
    検査対象画像中の、前記計測手段により計測を行う対象となる計測部位を、検査基準画像において指定する機能と、
    検査対象物の計測部位の設計値又は許容される範囲の少なくともいずれかを指定する機能と、
    前記指定された計測部位を、検査対象画像中から自動的に抽出する機能と、
    前記抽出された計測部位を計測した計測値が、前記指定された設計値又は許容される範囲で規定される公差の範囲内にあるか否かを判定し、
    計測値が公差の範囲内にあるときは、範囲内判定を、
    計測値が公差の範囲外にあるときは、範囲外判定を、
    検査対象物の検査対象画像を取得できたものの、計測部位の計測値を取得できないため判定を実行することができないときは、不能判定を、
    判定結果として出力する機能と、
    前記不能判定の場合、該検査不能とされた要因を表示させる機能
    をコンピュータに実現させる三次元画像検査プログラム。
  24. 請求項23に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体又は記録した機器。
JP2015150641A 2015-07-30 2015-07-30 三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体 Pending JP2017032340A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015150641A JP2017032340A (ja) 2015-07-30 2015-07-30 三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015150641A JP2017032340A (ja) 2015-07-30 2015-07-30 三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
JP2017032340A true JP2017032340A (ja) 2017-02-09

Family

ID=57988632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015150641A Pending JP2017032340A (ja) 2015-07-30 2015-07-30 三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP2017032340A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017027A1 (ja) * 2018-07-20 2020-01-23 株式会社Fuji 画像データ保存装置および画像データ保存方法
JP2020153681A (ja) * 2019-03-18 2020-09-24 株式会社キーエンス 画像測定装置
WO2021099883A1 (en) 2019-11-20 2021-05-27 Ricoh Company, Ltd. Shape measuring device, system with fabricating unit and shape measuring device, and method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020017027A1 (ja) * 2018-07-20 2020-01-23 株式会社Fuji 画像データ保存装置および画像データ保存方法
JPWO2020017027A1 (ja) * 2018-07-20 2021-06-24 株式会社Fuji 画像データ保存装置および画像データ保存方法
JP7061667B2 (ja) 2018-07-20 2022-04-28 株式会社Fuji 画像データ保存装置および画像データ保存方法
JP2020153681A (ja) * 2019-03-18 2020-09-24 株式会社キーエンス 画像測定装置
US20200302585A1 (en) * 2019-03-18 2020-09-24 Keyence Corporation Image Measuring Apparatus
JP7222764B2 (ja) 2019-03-18 2023-02-15 株式会社キーエンス 画像測定装置
US11776110B2 (en) * 2019-03-18 2023-10-03 Keyence Corporation Image measuring apparatus
WO2021099883A1 (en) 2019-11-20 2021-05-27 Ricoh Company, Ltd. Shape measuring device, system with fabricating unit and shape measuring device, and method

Similar Documents

Publication Publication Date Title
US9959451B2 (en) Image inspection device, image inspection method and image inspection program
US10508902B2 (en) Three-dimensional measurement device
US9970745B2 (en) Measurement target measuring program, measurement target measuring method, and magnifying observation device
US9291450B2 (en) Measurement microscope device, image generating method, measurement microscope device operation program, and computer-readable recording medium
US8514389B2 (en) Inspecting apparatus, three-dimensional profile measuring apparatus, and manufacturing method of structure
JP5365645B2 (ja) 基板検査装置および基板検査システムならびに基板検査結果の確認用画面の表示方法
JP6507653B2 (ja) 検査装置及び検査装置の制御方法
US10641598B2 (en) Height and dimension measuring device that measures a height and dimension of a measurement object disposed in a measurement region
JP5997989B2 (ja) 画像測定装置、その制御方法及び画像測定装置用のプログラム
JP6462823B2 (ja) 画像検査装置
TW201020511A (en) Method of measuring a three-dimensional shape
JP6230434B2 (ja) 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP2011526692A (ja) 厚さまたは表面形状の測定方法
JP6303867B2 (ja) 基板検査装置及びその制御方法
US11002535B2 (en) Shape measuring device and shape measuring method
JP2014109489A (ja) 計測顕微鏡装置及びこれを用いた画像撮像方法
JP2007327836A (ja) 外観検査装置及び方法
JP6694248B2 (ja) 三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP2017032340A (ja) 三次元画像検査装置、三次元画像検査方法及び三次元画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP2014109491A (ja) 計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体
JP2014109493A (ja) 計測顕微鏡装置、これを用いた計測方法及び操作プログラム並びにコンピュータで読み取り可能な記録媒体
JP2008068284A (ja) 欠陥修正装置、欠陥修正方法、及びパターン基板の製造方法
JP2017032360A (ja) 画像検査装置、画像検査方法および画像検査プログラム
JP2016070683A (ja) 画像処理装置、画像測定装置、画像処理方法、画像処理プログラムおよび構造物の製造方法
WO2011049190A1 (ja) 外観検査装置及び印刷半田検査装置