JP2020034484A - 画像検査装置 - Google Patents

画像検査装置 Download PDF

Info

Publication number
JP2020034484A
JP2020034484A JP2018162781A JP2018162781A JP2020034484A JP 2020034484 A JP2020034484 A JP 2020034484A JP 2018162781 A JP2018162781 A JP 2018162781A JP 2018162781 A JP2018162781 A JP 2018162781A JP 2020034484 A JP2020034484 A JP 2020034484A
Authority
JP
Japan
Prior art keywords
image
camera
work
overhead
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018162781A
Other languages
English (en)
Other versions
JP7154069B2 (ja
Inventor
高橋 浩史
Hiroshi Takahashi
浩史 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2018162781A priority Critical patent/JP7154069B2/ja
Priority to US16/527,080 priority patent/US11423528B2/en
Priority to DE102019212936.6A priority patent/DE102019212936A1/de
Publication of JP2020034484A publication Critical patent/JP2020034484A/ja
Application granted granted Critical
Publication of JP7154069B2 publication Critical patent/JP7154069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8861Determining coordinates of flaws
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

【課題】ユーザビリティをさらに改善した画像検査装置を提供する。【解決手段】画像検査装置はステージ12上に載置されたワークを撮像し、ワーク画像を生成する第一カメラ120と、第一カメラの撮像視野よりも広い撮像視野を有し、ステージ上に載置されたワークを撮像し、俯瞰画像を生成する第二カメラと110を有している。画像検査装置は俯瞰画像に基づいてステージ上におけるワークの位置を検出し、俯瞰画像から検出されたワークの位置に基づき第一カメラの撮像視野内またはその近傍にワークを位置させ、第一カメラにワークを撮像させてワーク画像を生成する。画像検査装置は第一カメラにより生成されたワーク画像におけるワークの詳細位置と姿勢を特定し、特定されたワークの詳細位置と姿勢に基づいてワーク画像におけるワークの検査箇所を決定し、所定の検査処理を実行する。【選択図】図2

Description

本発明はワークを撮像してワークを検査する画像検査装置に関する。
工場で製造された製品(ワーク)の所定箇所の寸法を測定することで、ワークが良品かどうかを検査する画像検査装置(画像測定装置)は、検査担当者の検査負担を大幅に軽減する。特許文献1によれば高倍率カメラと低倍率カメラとを有する画像測定装置が提案されている。
特開2018−081115号公報
ところで、画像測定装置に搭載されるカメラの倍率をさらに高くすることで、より小さなワークや、ワーク内のより小さな測定箇所も測定可能となる。その一方で、XYステージ上のどこにワークが載置されているかを探索する処理に時間がかかる。これは、カメラの倍率を高くすると、カメラの視野範囲が狭くなるからである。その結果、XYステージの全体を探索するための探索時間が数倍から数十倍に増加してしまい、画像測定装置のユーザビリティが低下する。そこで、本発明は、画像検査装置のユーザビリティをさらに改善することを目的とする。
本発明は、たとえば、
ワークが載置されるステージと、
前記ステージ上に載置された前記ワークを撮像し、ワーク画像を生成する第一カメラと、
前記第一カメラの撮像視野よりも広い撮像視野を有し、前記ステージ上に載置された前記ワークを撮像し、俯瞰画像を生成する第二カメラと、
前記俯瞰画像に基づいて前記ステージ上におけるワークの位置を検出する検出手段と、
前記第一カメラに対してXY方向に相対的に前記ステージを移動させる駆動手段と、
前記検出手段により前記俯瞰画像から検出された前記ワークの位置に基づき前記第一カメラの撮像視野内またはその近傍に前記ワークが位置するよう前記駆動手段を制御し、前記第一カメラに当該ワークを撮像させて前記ワーク画像を生成させる制御手段と、
前記第一カメラにより生成された前記ワーク画像における前記ワークの詳細位置と姿勢を特定する特定手段と、
前記特定手段により特定された前記ワークの詳細位置と姿勢に基づいて、前記ワーク画像における前記ワークの検査箇所を決定し、所定の検査処理を実行する検査手段と
を有することを特徴とする画像検査装置を提供する。
本発明によれば、ワークの全体を含む連結画像を生成されて表示されるため、画像検査装置のユーザビリティがさらに改善する。
画像測定装置の概略を示す図 測定ユニットの断面図 俯瞰カメラの配置を説明する図 俯瞰画像の生成方法を説明する図 連結画像を説明する図 俯瞰画像の応用例を説明する図 コントローラを説明する図 コントローラを説明する図 メインの処理を示すフローチャート 設定モードを示すフローチャート 連続測定モードを示すフローチャート 俯瞰画像の生成処理を示すフローチャート 測定箇所の設定方法を示す図 俯瞰画像の生成方法を説明する図 俯瞰画像の生成方法を説明する図
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
<画像測定装置1>
図1は画像測定装置1の一構成例を示した斜視図である。画像測定装置1は、ワークを撮像してワーク画像を生成し、ワーク画像内のワークの寸法を測定する装置である。図1において、画像測定装置1は、測定ユニット10、制御ユニット20、キーボード31およびポインティングデバイス32を有している。ワークは画像測定装置1により形状や寸法を測定される測定対象物である。
測定ユニット10は、ディスプレイ装置11、可動ステージ12、XY調整つまみ(不図示)、Z調整つまみ14b、電源スイッチ15および実行ボタン16を備えている。測定ユニット10は可動ステージ12上に載置されたワークに検出光を照射し、ワークの透過光またはワークからの反射光を受光してワーク画像を生成する。ワークは、可動ステージ12の検出エリア13内に載置される。測定ユニット10はワーク画像をディスプレイ装置11の表示画面18に表示する。
ディスプレイ装置11はワーク画像や測定結果、設定UI(ユーザーインターフェース)を表示画面18上に表示する表示装置である。ユーザはディスプレイ装置11に表示されたワーク画像を見ながらキーボード31およびポインティングデバイス32を操作することで、位置決めのための特徴箇所や寸法測定のための測定箇所などを設定する。可動ステージ12はワークを載置するための載置台である。検出エリア13は、透光性を有するガラスからなる領域である。可動ステージ12は、カメラの撮像軸に平行なZ軸方向と、撮像軸に垂直なX軸方向およびY軸方向に移動する。
XY調整つまみは、可動ステージ12をX軸方向またはY軸方向に移動させることにより、カメラに対する可動ステージ12の相対的な位置(X軸方向の位置とY軸方向の位置)を調整する。Z調整つまみ14bは、可動ステージ12をZ軸方向に移動させることにより、カメラに対する可動ステージ12の相対的な位置(Z軸方向の位置)を調整する。電源スイッチ15は、測定ユニット10および制御ユニット20の主電源をオン状態およびオフ状態間で切り替えるための操作部である。実行ボタン16は寸法測定を開始させるための操作部である。
制御ユニット20は、測定ユニット10による撮像や画面表示を制御し、ワーク画像を解析してワークの寸法を測定するコントローラである。制御ユニット20は、キーボード31およびポインティングデバイス32を接続されており、キーボード31およびポインティングデバイス32を通じてユーザ入力を受け付ける。キーボード31およびポインティングデバイス32は操作部30を形成している。制御ユニット20は、電源スイッチ15がオンに切り替えられると、測定ユニット10を起動する。制御ユニット20は、実行ボタン16が操作されると、予め用意された設定データにしたがって測定ユニット10を制御して、検出エリア13内でワークを探索し、ワークの寸法を測定する。
<測定ユニット10>
図2は測定ユニット10の構成例を模式的に示した断面図である。ここでは測定ユニット10が撮像軸と平行な垂直面(YZ平面)により切断した場合の切断面が示されている。測定ユニット10は、ディスプレイ装置11、可動ステージ12、筐体100、ステージ駆動部101、鏡筒部102、照明位置調整部103、カメラ110、120、同軸落射照明130、リング照明140および透過照明150を有している。
ステージ駆動部101、鏡筒部102、カメラ110、120、同軸落射照明130および透過照明150は、筐体100内に配置されている。ステージ駆動部101は、制御ユニット20からの駆動信号にしたがって可動ステージ12をX軸方向、Y軸方向またはZ軸方向に移動させ、カメラ110、120に対する可動ステージ12の位置を調整する。ワークは可動ステージ12に載置されているため、可動ステージ12の位置調整はワークの位置調整に相当する。
カメラ110は、カメラ120と比較して、撮像倍率の低い撮像装置である。カメラ110は、撮像素子111、結像レンズ112、絞り板113および受光レンズ114を有している。撮像素子111は、検出光を受光してワーク画像を生成する。撮像素子111は、受光面を下方に向けて配置されている。結像レンズ112は、検出光を撮像素子111上に結像させる光学部材である。絞り板113は、検出光の透過光量を制限する光学絞りであり、結像レンズ112と受光レンズ114との間に配置されている。受光レンズ114は、ワークからの検出光を集光する光学部材であり、可動ステージ12に対向させて配置されている。結像レンズ112、絞り板113および受光レンズ114は、上下方向に延びる中心軸を中心として配置されている。
カメラ120は、カメラ110と比較して、撮像倍率の高い撮像装置である。カメラ120は、撮像素子121、結像レンズ122、絞り板123、ハーフミラー124および受光レンズ114を有している。撮像素子121は、検出光を受光してワーク画像を生成する。撮像素子121は、受光面を水平方向に向けて配置されている。つまり、受光面と水平方向とは直交している。結像レンズ122は、検出光を撮像素子121上に結像させる光学部材である。絞り板123は、検出光の透過光量を制限する光学絞りであり、結像レンズ122及びハーフミラー124間に配置されている。受光レンズ114は、カメラ110と共通である。受光レンズ114を透過した検出光は、ハーフミラー124により水平方向に折り曲げられ、絞り板123および結像レンズ122を介して撮像素子121に結像する。
撮像素子111、121としては、たとえば、CCD(Charge Coupled Devices:電荷結合素子)およびCMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化物半導体)などのイメージセンサが用いられる。受光レンズ114としては、受光レンズ114とワークとの距離が変化しても、ワークの像の大きさを変化させない性質を有するテレセントリックレンズが用いられる。つまり、カメラ110、120の光学系はそれぞれテレセントリック性を有する。テレセントリック性の光学系で取得されるワーク画像におけるワークの歪は、非テレセントリック性の光学系で取得されるワーク画像におけるワークの歪と比較して、非常に小さい。そのため、精度良くワークが測定可能となる。
同軸落射照明130は可動ステージ12上のワークに照明光を上方から照射する照明装置である。同軸落射照明130の照射光の光軸は撮像軸に一致している。同軸落射照明130は、水平方向に照明光を出力するように配置された光源131と、光源131から出射された照明光を下方に折り曲げるハーフミラー132とを有している。同軸落射照明130の照明光はワーク表面の凹凸や模様を取得する際に有利である。
結像レンズ112、122、絞り板113、123、ハーフミラー124、132および受光レンズ114は、鏡筒部102内に配置されている。
透過照明150は、可動ステージ12上のワークに照明光を下方から照射する照明装置である。透過照明150は、光源151、ミラー152および集光レンズ153により構成される。光源151は、水平方向に向けて照明光を出力するように配置されている。光源151から出射された照明光は、ミラー152により反射され、集光レンズ153により集光される。照明光は、可動ステージ12を透過してワークに照射される。照明光の一部はワークにより遮断され、照明光の他の一部は受光レンズ114に入射する。透過照明150の照明光はワークの外形のエッジを取得する際に有利である。
リング照明140は、可動ステージ12上のワークに照明光を上方または側方から照射する照明装置である。リング照明140を形成する複数の光源は、カメラ110、120の撮像軸を取り囲むように配置されている。同軸落射照明130、リング照明140および透過照明150の各光源としては、LED(発光ダイオード)やハロゲンランプが用いられる。照明位置調整部103は、リング照明140をZ軸方向に移動させることにより、可動ステージ12に対するリング照明140の相対位置を調整する。
俯瞰カメラ17は可動ステージ12の俯瞰画像を取得するために使用される撮像装置である。俯瞰画像は可動ステージ12のほぼ全体を包含する画像である。俯瞰カメラ17の撮像視野は、カメラ110、120の撮像視野よりも広い。そのため、俯瞰カメラ17は、カメラ110、120と比較して、より広い範囲の画像を取得することに向いている。その一方で、俯瞰カメラ17のテレセントリック性は、カメラ110、120のテレセントリック性と比較して低い。そのため、俯瞰カメラ17は非テレセントリックカメラと呼ばれてもよい。俯瞰カメラ17により取得されるワーク画像においてワークの形状は歪むため、カメラ110、120と比較して、俯瞰カメラ17はワークの測定には向いていない。なお、光学系の視野は円形であり、視野内の被写体はイメージサークルとなって撮像素子上に結像する。一方で、撮像素子が撮像できる範囲は矩形である。つまり、撮像領域とは、イメージサークル内の一部の矩形領域である。ここでは、撮像素子の撮像領域に対応する可動ステージ12上における矩形の領域は撮像視野と呼ばれる。
<俯瞰カメラ>
図2が示すように、受光レンズ114およびリング照明140は可動ステージ12のかなりの部分を覆っている。そのため、俯瞰カメラ17は受光レンズ114およびリング照明140を避けた位置に配置される。俯瞰カメラ17は一つのカメラによって実現されてもよいが、複数のカメラによって実現されてもよい。
図3は測定ユニット10の正面側から俯瞰カメラ17を見たときの俯瞰カメラ17の配置を説明する図である。Wはワークを示している。この例では受光レンズ114の左側に俯瞰カメラ17Lが配置されており、受光レンズ114の右側に俯瞰カメラ17Rが配置されている。R1はカメラ110の視野範囲を示している。R2Lは俯瞰カメラ17Lの視野範囲を示している。R2Rは俯瞰カメラ17Rの視野範囲を示している。二つの俯瞰カメラ17R、17Lを採用することで可動ステージ12の大半の部分を一度に撮像可能となる。それでもなお、可動ステージ12上には、俯瞰カメラ17Lの視野範囲R2Lと、俯瞰カメラ17Lの視野範囲R2Lによってカバーしきれない死角範囲R3が生じてしまう。俯瞰カメラ17R、17Lの受光レンズをより広角までカバーするレンズに置換すれば、死角範囲R3が生じなくなる。しかし、このような広角レンズは高額である。俯瞰カメラ17Rと俯瞰カメラ17Lとを可動ステージ12からより遠くに配置することで視野範囲R2R、R2Lは広がるだろう。しかし、この場合、視野範囲R2R、R2Lがリング照明140によって制限を受けるだろう。そこで、本実施例では可動ステージ12の全体をカバーする俯瞰画像の作成方法が提案される。
図4は俯瞰画像の作成方法を説明する図である。制御ユニット20は、俯瞰カメラ17Lの撮像軸と俯瞰カメラ17Rの撮像軸との中心と、可動ステージ12の中心とが一致するように可動ステージ12を移動させ、俯瞰カメラ17L、17Rに撮像を実行させる。俯瞰画像41aは俯瞰カメラ17Lにより取得された画像である。俯瞰画像41bは俯瞰カメラ17Rにより取得された画像である。俯瞰カメラ17Rと俯瞰カメラ17Lとには死角範囲R3が存在するため、俯瞰画像41a、41bには死角範囲R3に位置するワークWの一部が写っていない。
制御ユニット20は、俯瞰カメラ17L(または俯瞰カメラ17R)の撮像軸と可動ステージ12の中心とが一致するように可動ステージ12を移動させ、俯瞰カメラ17L(または俯瞰カメラ17R)に撮像を実行させる。これにより俯瞰画像41cが生成される。俯瞰画像41cには、死角範囲R3に位置するワークWの一部が写っている。制御ユニット20は、俯瞰画像41a、41bと俯瞰画像41cとを結合することで、可動ステージ12の全体を含む俯瞰画像41dを生成する。なお、俯瞰画像41cの左部分は俯瞰画像41aと重複しているため、削除される。俯瞰画像41cの右部分は俯瞰画像41bと重複しているため、削除される。
なお、俯瞰画像41dの生成方法には種々のものがある。俯瞰画像の取得のスピードを重視する場合には、合成に使用される俯瞰画像の枚数を少なくすればよい。また、俯瞰画像の歪みを抑えることを重視する場合には、合成に使用される画像の枚数を増やせばよい。俯瞰画像は、後述の位置検出に使用される。そのため、歪みが大きいと、大まかな位置検出にすら支障がでてしまうことがある。よって、俯瞰画像の歪みは低減されてもよい。
<ワークの自動検出>
図5Aおよび図5Bはワークの自動検出を説明する図である。図5Aが示すように、一般に、可動ステージ12には1個のワークWが載置される。この場合、ユーザは可動ステージ12の中心付近にワークWを載置するため、制御ユニット20は可動ステージ12の中央を基準としてワークWを探索する。なお、可動ステージ12がホームポジションに位置しているときに、受光レンズ114の光軸は可動ステージ12の中心を通る。この例で制御ユニット20は低倍率のカメラ110で4枚のワーク画像を取得することで、可動ステージ12上におけるワークWの位置と姿勢(基準モデルに対する回転角度)とを取得できる。具体的には、制御ユニット20は低倍率画像43aを取得し、低倍率画像43aに存在するワークWを抽出し、ワークWの延出方向を解析する。ここで、ワークWの延出方向は、低倍率画像43aを解析し、所定の輝度値以下になる部分(いわゆる影となる部分)が延出する方向をワークWの延出方向としている。
低倍率画像43aは上辺、右辺、底辺および左辺を有している。このうち底辺にエッジが繋がっているため、制御ユニット20は、低倍率画像43aの下方向にワークWが存在すると判定する。制御ユニット20は、低倍率画像43aの下方向に位置する低倍率画像43bを取得できるよう可動ステージ12を移動させ、カメラ110に撮像を実行させる。これにより、低倍率画像43bが生成される。制御ユニット20は、低倍率画像43bにおいてワークWの延出方向を解析する。低倍率画像43bの右辺にワークWの輪郭が繋がっているため、制御ユニット20は、低倍率画像43bの右方向にワークWが存在すると判定する。なお、低倍率画像43bの上辺にもワークWの輪郭が繋がっているが、低倍率画像43bの上方向に位置する低倍率画像43aはすでに解析済みである。よって、低倍率画像43aは取得対象から除外される。制御ユニット20は、低倍率画像43bの右に位置する低倍率画像43cを取得できるよう可動ステージ12を移動させ、カメラ110に撮像を実行させる。これにより、低倍率画像43cが生成される。制御ユニット20は、低倍率画像43cにおいてワークWの延出方向を解析する。低倍率画像43cの上辺にワークWの輪郭が繋がっているため、制御ユニット20は、低倍率画像43cの上方向にワークWが存在すると判定する。制御ユニット20は、低倍率画像43cの上に位置する低倍率画像43dを取得できるよう可動ステージ12を移動させ、カメラ110に撮像を実行させる。制御ユニット20は、低倍率画像43aないし43dを連結して連結画像を生成し、連結画像においてワークWの輪郭が一つに繋がることを確認すると、連結画像の生成を終了する。設定モードにおいて制御ユニット20は連結画像に対する位置決め(パターンサーチ)の設定を受け付けたり、測定箇所の設定などを受け付けたりする。測定モードにおいて制御ユニット20は連結画像からワークWの位置と姿勢を検出する。制御ユニット20はワークWの位置と姿勢に基づき、ワークWにおける測定箇所を特定し、特定された測定箇所の測定を実行する。
上記段落においては、制御ユニット20が最初に低倍率画像43aを取得する際には、ワークWが画像内に含まれていることが前提とされている。後に詳述するように、実際には、ワーク探索動作である第一ステージ動作を実行した後で、上記段落において説明されたワークの全体(輪郭)を探索するための第二ステージ動作が行われる。
ところで、図5Bが示すように、実行ボタン16を一度押すだけで多数のワークW(W1〜W8)を測定できれば、ユーザの作業負担が軽減する。この場合、ワークWは可動ステージ12の中央以外の位置にも存在するため、中央以外の位置に存在するワークWを探索する処理が必要となる。仮に、低倍率画像43bで低倍率画像を取得しながら多数のワークWを探索すると多くの探索時間が必要となってしまう。そこで、制御ユニット20は、俯瞰画像41dを生成し、俯瞰画像41dを用いて多数のワークWの凡その位置を特定し、特定された位置を基準として低倍率画像を取得する。これにより、多数のワークWについての測定時間が大幅に短縮されるであろう。これらは、複数一括測定モードと呼ばれ、詳細は後述される。
<コントローラ>
図6Aは制御ユニット20に搭載さされるコントローラ60の機能を説明する図である。図6Bは俯瞰画像41を生成する際に必要となるオプションの機能を示している。コントローラ60はCPUなどにより構成され、測定ユニット10を制御する。CPUは中央演算処理装置の略称である。コントローラ60の機能の一部またはすべてはASICやFPGAなどのハードウエアによって実現されてもよい。ASICは特定用途集積回路の略称である。FPGAはフィールドプログラマブルゲートアレイの略称である。照明制御部81は制御ユニット20または測定ユニット10に搭載され、コントローラ60からの制御信号にしたがって同軸落射照明130、リング照明140および透過照明150を制御する。撮像制御部82は制御ユニット20または測定ユニット10に搭載され、コントローラ60からの制御信号にしたがって測定用のカメラ110、120および俯瞰カメラ17R、17Lを制御する。記憶装置70はメモリやハードディスクドライブなどを有し、設定データ71、低倍率画像43、俯瞰画像41などを記憶する。
設定部61は、キーボード31などから入力されるユーザ入力にしたがってワークWを測定するための設定データ71を作成する。設定データ71は、たとえば、ワークWのサーチ(位置決め)に関する設定情報や測定箇所に関する設定情報、良品閾値、撮像条件(撮像倍率や照明条件)などを含む。
測定制御部62は設定データ71にしたがって照明制御部81を通じていずれかの照明ユニットを点灯させたり、撮像制御部82を通じていずれかのカメラユニットに撮像を実行させたりする。
ワーク判定部63は、カメラ110、120により取得された画像からエッジを抽出し、エッジの有無を判定する。ワーク判定部63は、エッジの延出方向を求め、次に撮像を行うべき撮像位置の座標を決定する。画像連結部64は、ワークWのエッジを含む複数の低倍率画像43を連結し、連結画像42を生成する。
図6Bが示すように、俯瞰画像生成部65は俯瞰カメラ17R、17Lにより取得された俯瞰画像41a〜41cを連結して大きな俯瞰画像41dを生成する。座標変換部68は俯瞰画像41dにおけるワークWの座標をカメラ110の座標に変換する。校正部69は校正情報72を用いて俯瞰カメラ17の座標系を校正する。座標変換部68や校正部69は俯瞰画像生成部65の一部であってもよい。
サーチ部66は、設定データ71に基づき俯瞰画像41dや連結画像42からワークWの位置や姿勢を特定する。たとえば、サーチ部66は、設定データ71に基づき俯瞰画像41dからワークWの粗い位置を特定し、粗い位置に基づき取得された連結画像42から設定データ71に基づきワークWの詳細な位置と姿勢を特定する。
測定部67は設定データ71にしたがってワーク画像からワークWに関する各種の測定を実行する。ワーク画像は、連結画像42であってもよいし、ワークWの詳細な位置と姿勢に基づきカメラ120により取得された測定箇所付近の高倍率画像であってもよいし、低倍率画像であってもよい。測定部67は、測定結果と良品閾値とを比較し、ワークWが良品かどうかを判定(検査)してもよい。
表示制御部83は、コントローラ60の指示に従って設定データ71を作成するためのUIをディスプレイ装置11に表示したり、各種の画像を表示したり、測定結果(検査結果)を表示したりする。
<フローチャート>
図7は電源スイッチ15がオンに切り替えるとコントローラ60によって実行されるメインの処理を示すフローチャートである。
S701でコントローラ60は操作部30を通じてユーザにより設定モードが選択されたかどうかを判定する。設定モードが選択されていなければ、コントローラ60はS702をスキップしてS703に進む。一方、設定モードが選択されていれば、コントローラ60はS702に進む。
S702でコントローラ60(設定部61)は設定モードを実行する。設定モードの詳細は図8を用いて後述される。
S703でコントローラ60は操作部30を通じてユーザにより測定モードが選択されたかどうかを判定する。なお、測定モードは、単一のワークWを測定する単一測定モードと、複数のワークWを測定する複数一括測定モードとに分かれていてもよい。単一測定モードではワークWは可動ステージ12の中央付近に配置されることが多いため、測定ユニット10は可動ステージ12の中央からワークWのエッジの探索を開始する。一方、複数一括測定モードでは、図5Bに示すように、可動ステージ12の全体に複数のワークWが散らばっている可能性があるため、俯瞰画像を用いて各ワークのラフな位置が特定され、特定された位置においてワークWのエッジの探索が実行される。ここでは、説明の便宜上、測定モードとは連続測定モードであるものと仮定されている。測定モードが選択されていなければ、コントローラ60はS701に戻る。一方、測定モードが選択されていれば、コントローラ60はS704に進む。
S704でコントローラ60は実行ボタン16がユーザにより操作されたかどうかを判定する。実行ボタン16がユーザにより操作されると、コントローラ60はS705に進む。
S705でコントローラ60(測定制御部62)は連続測定モードを実行する。連続測定モードの詳細は図9を用いて後述される。
●設定モード
図8は設定モードを示すフローチャートである。S800はワークを探索するための第一ステージ動作である。S800はS801ないしS803を有する。S810はワークの全体(輪郭)を探索するための第二ステージ動作である。S810はS811ないしS817を有する。なお、第一ステージ動作および第二ステージ動作については、低倍率のカメラ110を用いて探索する例が説明される。しかし、高倍率のカメラ120を用いて探索が実行されてもよいし、低倍率のカメラ110と高倍率のカメラ120とを適宜に併用して探索が実行されてもよい。
S801でコントローラ60(測定制御部62)は所定シーケンスにしたがって可動ステージ12を移動する。一般に設定モードでは可動ステージ12の中央付近に良品(基準)のワークWが載置される。よって、コントローラ60は低倍率のカメラ110の撮像視野が可動ステージ12の中央付近のグリッドに位置するようステージ駆動部101を制御する。所定のシーケンスは、予め定められた複数のステージ座標位置へ順次、可動ステージ12を移動させるシーケンスである。所定シーケンスは、可動ステージ12の座標情報によって定義されており、記憶装置70に記憶されている。なお、撮像視野で撮像して得られる画像の形状は矩形であるため、可動ステージ12の全体は複数の矩形の画像によってカバー可能である。可動ステージ12の全体に対して複数の矩形の画像が配置された様子はあたかもグリッド状となる。よって、複数の矩形の画像の各座標はグリッドの座標として管理可能である。グリッドとは一般に格子点であるため、画像における四つの角がグリッドに相当する。なお、四つの角に囲まれた矩形は、狭義の意味での撮像視野である。よって、各撮像視野(撮像位置)は画像の左上角の座標に基づき特定されてもよい。あるいは、画像の中心座標が撮像位置として管理されてもよい。
S802でコントローラ60(測定制御部62)は撮像制御部82を通じてカメラ110に撮像を実行させ、低倍率画像43を取得する。低倍率画像43は記憶装置70に記憶される。なお、低倍率画像43は、制御ユニット20の記憶装置70されずに、測定ユニット10内にある記憶装置に記憶されて処理されてもよい。
S803でコントローラ60(ワーク判定部63)は低倍率画像43にエッジが存在するかどうかを判定する。低倍率画像43においてエッジとは隣接画素間での輝度値の変化が大きい部分である。低倍率画像43にエッジが存在しなければ、コントローラ60はS801に戻り、可動ステージ12を次のグリッドに移動させる。低倍率画像43にエッジが見つかると、コントローラ60はS811に進む。つまり、コントローラは、S800のワーク探索シーケンスをS810の輪郭探索シーケンスに切り替える。
S811でコントローラ60(測定制御部62)はワークWのエッジが強調されるように、撮像制御部82の動作条件と照明制御部81の動作条件とを調整する。これらの動作条件は撮像条件と呼ばれる。撮像条件には、たとえば、可動ステージ12のZ方向における位置(合焦位置)や照明モード(透過照明/同軸落射照明)、露光時間、照明光量などが含まれてもよい。なお、撮像条件を調整せずに、あらかじめ定められた条件で後のステップが実行されてもよい。
S812でコントローラ60(ワーク判定部63)はエッジの延出方向を求める。上述したように四辺のどの方向にエッジが接しているかに基づき延出方向が決定されてもよい。あるいはエッジのベクトルが演算されてもよい。
S813でコントローラ60(測定制御部62)は次の撮像座標を決定する。たとえば、測定制御部62はエッジの延出方向に存在する隣のグリッドの座標を求める。
S814でコントローラ60(測定制御部62)はエッジの延出方向に存在する隣のグリッドの座標をステージ駆動部101に設定し、可動ステージ12を移動させる。
S815でコントローラ60(測定制御部62)は撮像制御部82を通じてカメラ110に撮像を実行させ、低倍率画像43を取得する。低倍率画像43は記憶装置70に記憶される。
S816でコントローラ60(ワーク判定部63)は低倍率画像43からワークのエッジを抽出する。このように、ワーク判定部63はワークのエッジを判定する判定部として機能してもよい。
S817でコントローラ60(測定制御部62)は抽出されたエッジに基づき終了条件が満たされたかどうかを判定する。たとえば、ワーク判定部63は、ワークWの輪郭エッジがすべて抽出されたかどうかを判定する。あるいは、ワーク判定部63は、低倍率画像43から抽出されたエッジの延出方向を求め、延出方向に存在するグリッドがすでに低倍率画像43を取得されたグリッドである場合に、終了条件が満たされたと判定してもよい。終了条件が満たされていなければ、コントローラ60はS811に戻る(なお、変形例として、S812に戻るとしてもよい)。一方で、終了条件が満たされていれば、コントローラ60はS821に進む。
S821でコントローラ60(画像連結部64)は記憶装置70からワークWの低倍率画像43を読み出して連結し、一つの連結画像42を生成する。連結画像42も記憶装置70に記憶される。たとえば、図5Aに示したように四つの低倍率画像43a〜43dから連結画像42が生成される。
S822でコントローラ60(設定部61)は連結画像42をディスプレイ装置11に表示し、連結画像42に含まれるワークWに対して測定箇所などの設定を受け付ける。たとえば、設定部61は、パターンサーチのための特徴点の指定やある寸法(距離)を測定するための二つのエッジの指定などを受け付ける。なお、設定部61は、操作部30からのユーザ入力にしたがって特徴点やエッジを指定するための矩形や円形の指定領域を連結画像42に重ねて表示してもよい。図11が示すように、連結画像42においてワークWの長さDを測定するために二つの指定領域1101a、1101bが指定されてもよい。ここで長さDは指定領域1101a内のエッジから指定領域1101b内のエッジまでの距離として定義される。設定部61は、指定領域1101a、1101bの位置をステージ駆動部101に設定することで可動ステージ12を移動させ、カメラ120に1101a、1101b内の高倍率画像を取得させてもよい。設定部61は、高倍率画像を指定領域1101a、1101bに重ねて表示してもよい。つまり、低倍率画像の上に配置された指定領域内には高倍率画像が表示されてもよい。このように、指定領域1101a、1101bにはより詳細なワークWの画像が表示されてもよい。また、設定部61は、指定領域1101a、1101bごとに撮影条件(照明条件、倍率、フォーカスなど)を受け付けてもよい。つまり、指定領域1101a、1101bごとに撮影条件が異なってもよい。設定部61は、指定領域1101a、1101bから取得された画像を連結画像42に重ねて表示してもよい。たとえば、設定部61は、予め自動で取得された連結画像42を背景画像として、測定のために撮影条件を再設定されて取得された画像を重ねて表示してもよい。設定部61は、ユーザ入力にしたがって設定データ71を作成し、記憶装置70に記憶させる。
●測定モード
図9は連続測定モードを示すフローチャートである。すでに説明されたステップと同一または類似したステップには同一の参照符号が付与されている。ここでは俯瞰画像41を取得してワークWの位置と姿勢とをラフに特定するための俯瞰モード(S901ないしS903)が記載されているが、これは必須ではない。
S901でコントローラ60(測定制御部62)は設定データ71を参照し、俯瞰モードが有効に設定されているかどうかを判定する。図5Bに示したように、俯瞰モードは、多数のワークWを測定する際に有利なモードである。俯瞰モードが有効であれば、コントローラ60はS902に進む。俯瞰モードが有効でなければ、コントローラ60はS902およびS903をスキップしてS800に進む。
S902でコントローラ60(測定制御部62)は俯瞰画像を生成する。俯瞰画像41の生成処理の詳細は図10を用いて後述される。
S903でコントローラ60(測定制御部62)は俯瞰画像を用いてワークWの粗い位置を特定する。ワーク判定部63は俯瞰画像に含まれているワークを抽出し、ワークWの粗い位置を求める。ワーク位置の特定の方法には種々のものがある。第一の俯瞰画像を取得し、ステージをXまたはY方向に少し移動させ、第二の俯瞰画像を取得し、第一の俯瞰画像と第二の俯瞰画像との差分画像に基づき、ワークWの粗い位置を判定する方法が採用されてもよい。ワークWを載せる前の第一の俯瞰画像と載せた後の第二の俯瞰画像との差分画像に基づき、ワークWの粗い位置を判定する方法が採用されてもよい。その他、俯瞰画像に含まれているエッジを抽出し、抽出されたエッジに基づきワークワークWの粗い位置を求める方法が採用されてもよい。図5Bが示すように、ワーク判定部63は複数のワークWの輪郭エッジを抽出し、各輪郭エッジの重心位置をワークWの粗い位置として求めてもよい。また、予め操作部30を通じてワークWの個数が設定されていてもよい。ワーク判定部63は、ワークWの個数に応じて各ワークWの位置を求めてもよい。たとえば、四個のワークWが可動ステージ12に載置された場合、俯瞰画像41には四個の輪郭エッジが存在するはずである。よって、ワーク判定部63は個数に応じて輪郭エッジを抽出し、各輪郭エッジの位置を求めてもよい。ここで各ワークWの位置は俯瞰画像における位置である。俯瞰画像におけるワークWの位置は俯瞰カメラ17の座標系に存在する。よって、ワーク判定部63は、座標変換部68を用いて俯瞰カメラ17の座標系におけるワークWの位置をカメラ110の座標系における位置に変換してもよい。これにより、各ワークWの低倍率画像を取得しやすくなる。
S800からS913までの各工程は複数のワークWのそれぞれについて実行される。
S800でコントローラ60は第一ステージ動作を実行し、ワークWのエッジを検出する。第一ステージ動作は図8を用いてすでに説明されたとおりである。
S810でコントローラ60は第二ステージ動作を実行し、ワークWをカバーする複数の低倍率画像を生成する。第二ステージ動作は図8を用いてすでに説明されたとおりである。
S821でコントローラ60(画像連結部64)は複数の低倍率画像を連結して連結画像を生成する。連結画像は、複数の高倍率画像どうしを連結して生成されてもよい。
S911でコントローラ60(サーチ部66)は位置決めのための設定データ71に基づき連結画像内におけるワークWの詳細な位置と姿勢とを特定する。
S912でコントローラ60(測定部67)はワークWの位置と姿勢と、さらに測定箇所の設定データ71に基づき、連結画像における測定箇所を特定し、測定箇所を測定する。各測定箇所の位置は、ワークWにおける基準となる特徴点の位置に対して設定されている。よって、基準となる特徴点に対して、ワークWの姿勢に応じて各測定箇所の位置を回転させることで、連結画像における各測定箇所の位置が決定される。上述したように、測定精度を向上させるために、カメラ120により測定箇所についての高倍率画像が取得され、高倍率画像に基づき測定が実行されてもよい。
S913でコントローラ60(測定部67)はワークWの測定結果と、予め決定された良品の閾値(例:公差)とを比較し、ワークWが良品かどうかを判定する。測定部67は、測定に用いたワークWの画像とともに測定結果をディスプレイ装置11に表示してもよい。
●俯瞰画像の生成
図10は俯瞰画像の生成処理を示すフローチャートである。
S1001でコントローラ60(校正部69)は、記憶装置70に予め記憶されている校正情報72に基づき俯瞰カメラ17Rの座標系と俯瞰カメラ17Lの座標系を校正する。測定ユニット10に対する俯瞰カメラ17Rの取り付け位置と姿勢には個体差が生じる。測定ユニット10に対する俯瞰カメラ17Lの取り付け位置と姿勢には個体差が生じる。たとえば、俯瞰カメラ17R画像の辺とカメラ110により取得された画像の辺とが平行とならない可能性がある。したがって、工場における測定ユニット10の組み立て時に俯瞰カメラ17R、17Lの取り付け位置のずれ量と取り付け姿勢のずれ量とを計測し、計測結果に基づき校正情報72が作成され、記憶装置70のROMに格納される。この校正情報72に基づき俯瞰カメラ17Rの座標系を校正することで、俯瞰カメラ17Rの座標系における特定の位置を、カメラ110やカメラ120の座標系における特定の位置に正確に変換することが可能となる。同様に、校正情報72に基づき俯瞰カメラ17Lの座標系を校正することで、俯瞰カメラ17Lの座標系における特定の位置を、カメラ110やカメラ120の座標系における特定の位置に正確に変換することが可能となる。
S1002でコントローラ60(俯瞰画像生成部65)は、ステージ駆動部101に撮像位置を設定し、可動ステージ12を撮像位置に移動させる。たとえば、図4に示したように部分俯瞰画像である俯瞰画像41a、41bを取得できるように可動ステージ12が移動する。
S1003でコントローラ60(俯瞰画像生成部65)は、撮像制御部82を通じて俯瞰カメラ17R、17Lに撮像を実行させ、部分俯瞰画像を取得する。
S1004でコントローラ60(俯瞰画像生成部65)は、全体俯瞰画像である俯瞰画像41dを合成するために必要となるすべての俯瞰画像41a〜41cが取得されたかどうかを判定する。すべての俯瞰画像41a〜41cが取得されていれば、コントローラ60はS1005に進む。一方、すべての俯瞰画像41a〜41cが取得されていなければ、コントローラ60はS1002に戻る。たとえば、俯瞰画像41a、41bが取得されたが、俯瞰画像41cが取得されていない場合、コントローラ60はS1002に戻る。S1002で俯瞰画像41cの撮像位置へ可動ステージ12が移動する。S1003で俯瞰画像41cが取得される。
S1005でコントローラ60(俯瞰画像生成部65)は、複数の部分俯瞰画像を合成して全体俯瞰画像を生成する。図4に示した事例では俯瞰画像41a〜41cから俯瞰画像41dが生成される。
●俯瞰画像を用いた複数一括モード
図5Bに示すように、多数のワークW(W1〜W8)がステージ上に載置され、ユーザが一度実行ボタンをおすことで、多数のワークを測定することができる複数一括測定モードについてさらに説明する。
図5Bによれば可動ステージ12の全体に複数のワークW1〜W8が散らばって置かれている。コントローラ60(俯瞰画像生成部65)は、撮像制御部82を通じて俯瞰カメラ17R、17Lに撮像を実行させ、俯瞰画像を取得する。ワーク判定部63は、俯瞰画像を用いて各ワークW1〜W8のラフな座標位置(例えば、中心座標、重心座標等)を特定する。ワーク判定部63は、予め決められたルール(例えば、左上から右に向けてラスター状に順に、中心に近いワークから順に等)または、ユーザの入力、に従い、各ワークW1〜W8の座標位置を測定する。
ここでは、ワークW1、W2、W3...W8の順に座標位置が測定されていく場合について説明される。コントローラ60は、撮像制御部82を通じて俯瞰カメラ17R、17Lに撮像を実行させ、俯瞰画像が取得される。コントローラ60は、ワークW1、W2、W3...W8の座標位置を特定する。コントローラ60は、それぞれの座標位置を記憶する。これにより、コントローラ60は測定順序を決定する。ワークW1が最初に測定されるため、コントローラ60はワークW1の座標位置に向けて可動ステージ12を移動する。可動ステージ12がワークW1の座標位置に到着すると、コントローラ60は、ワークW1について、ワークW1を探索するための第一ステージ動作を実行する。その後、コントローラ60は、ワークW1の全体(輪郭)を探索するための第二ステージ動作を実行する。複数のワークのうち1つのワークW1に対して第2ステージ動作を経て測定が完了すると、コントローラ60は、次のワークの測定に移行する。次のワークはW2である。コントローラ60は、ワークW2の座標位置に向けて可動ステージ12を移動させ、ワークW2について、ワークW2を探索するための第一ステージ動作を実行する。されに、コントローラ60は、ワークW2の全体(輪郭)を探索するための第二ステージ動作を経て、ワークW2の測定を行う。以下同様にして、コントローラ60は、ワークW3、W4...W8の測定を行う。
このようにして、俯瞰カメラ17R、17Lを用いて、ワークW1〜W8の測定を一括して実行することが可能となる。
なお、ワークW1に到着した後に、ワークW1について、ワークW1を探索するための第一ステージ動作を実行せずに、コントローラ60は、ワークW1の全体(輪郭)を探索するための第二ステージ動作を実行してもよい。これは探索動作を行わなくともワークWがすでに見つかっているからである。たとえば、コントローラ60は、ワークW1がすでに見つかっている場合、第一ステージ動作を省略して第二ステージ動作を実行してもよい。
また、ワーク判定部63は、予め決められたルールまたは、ユーザの入力に従い、各ワークW1〜W8の座標位置を測定するものとして説明されたが、これは一例にすぎない。ワーク判定部63は、その都度(たとえば、各ワークW1〜W8の座標位置において)、移動距離が最短になるように移動ルートを算出して、各ワークW1〜W8の座標位置を測定しもよい。たとえば、ワーク判定部63は、あるワークWの座標位置を測定すると、そのワークWに対して最短距離にある他のワークWであって、まだ座標位置を測定されていない他のワークWを次の測定対象に決定してもよい。
<まとめ>
可動ステージ12はワークWが載置されるステージの一例である。カメラ110はステージ上における撮像視野内の画像を生成する撮像手段の一例である。ステージ駆動部101は撮像手段に対してXY方向に相対的にステージを移動させることで、ステージ上の撮像視野を切り替える駆動手段の一例である。なお、ステージ駆動部101はカメラ110、120を可動ステージ12に対して移動させてもよいし、可動ステージ12をカメラ110、120に対して移動してもよい。ワーク判定部63は撮像手段により生成された画像にワークが含まれるかを判定する判定手段の一例である。コントローラ60や測定制御部62は撮像手段、駆動手段および判定手段を制御する制御手段の一例である。S800に関して説明されたように測定制御部62は判定手段により画像にワークWが含まれないと判定された場合、予め定められたシーケンスに従って駆動手段を制御することでステージを移動させながら撮像手段に各撮像視野における画像を生成させ、各画像にワークが含まれるかを判定手段に判定させるワーク探索処理を繰り返す第一ステージ動作を実行する。S810に関して説明されたように測定制御部62は判定手段により画像にワークWが含まれると判定された場合、当該画像が取得されたステージ上の撮像視野の周囲に位置する複数の撮像視野のうち、ワークWが延出する方向に位置する一つ以上の撮像視野内の画像を撮像手段に生成させるよう駆動手段にステージを移動させる第二ステージ動作を実行する。測定制御部62は第一ステージ動作においてワークWを含む画像が見つかった場合、第一ステージ動作から第二ステージ動作に切り替える。画像連結部64は第二ステージ動作において生成された複数の画像を連結し、ワークWの全体を含む連結画像を生成する画像連結手段の一例である。このように、本発明によれば、カメラ110、120の撮像倍率が高く、カメラ110、120の撮像視野内にワークWが収まらないケースにおいて特に有用である。本発明によれば、カメラ110により取得された画像からワークWが検出され、ワークWに基づきワークWの全体を含む連結画像42が生成される。よって、画像測定装置1のユーザビリティがさらに改善する。
測定制御部62は、第一ステージ動作においてワークWを含む画像が見つかった場合、当該画像に基づいて撮像手段の撮像条件を調整し、第二ステージ動作において当該調整された撮像条件を使用してもよい。これによりワークWを抽出しやすくなるため、ワークWの全体をカバーする画像を生成しやすくなろう。
測定制御部62は、判定手段により、撮像視野内にワークの少なくとも一部が含まれないと判定された場合には、撮像手段の撮像条件に従って、所定のシーケンスに従って連結画像の生成を続けてもよい。たとえば、第一ステージ動作においてワークWがはじめて見つかるまではデフォルトの撮像条件が継続的に使用されてもよい。撮像条件は、撮像手段の光学系の合焦位置、光学倍率、絞り条件、照明条件および露光時間の少なくとも一つを含んでもよい。ワークWに対する合焦位置は、たとえば、可動ステージ12をカメラ110、120に対してZ方向に移動させることで、変更されてもよい。
測定制御部62は、ワークWの測定箇所を設定する設定モードと、当該設定モードにより設定された測定箇所に対して測定をおこなう測定モードとを有してもよい。画像連結部64は、設定モードにおいて連結画像42を生成してもよい。これによりユーザは連結画像42を用いてワークWの全体を確認しながら各種の設定をしやすくなろう。
透過照明150は透光性を有するステージの下方からワークWに光を照射する透過照明の一例である。同軸落射照明130はステージの上方からワークに光を照射する落射照明の一例である。画像連結部64は、落射照明により光を照射されたワークWの画像を連結することで連結画像42を生成してもよい。落射照明はワークWの表面の模様などをユーザが目視するのに役立つ。ワーク判定部63は、透過照明により光を照射されたワークWの画像にワークWが含まれるかを判定してもよい。透過照明はワークWのエッジを強調することに役立つ。
ディスプレイ装置11は、設定モードにおいて、連結画像42を表示する表示手段の一例である。操作部30は表示手段に表示された連結画像42に含まれているワークWに対して測定箇所となるエッジ抽出領域と画像の撮像条件の指定を受け付ける受付手段として機能してもよい。カメラ110の撮像条件とカメラ120の撮像条件とが異なっているため、撮像条件の指定は、カメラ110とカメラ120とのいずれかを指定することであってもよい。設定部61は、受付手段により受け付けられた撮像条件に基づき、測定箇所となるエッジを抽出するために必要となる画像の枚数を設定する設定手段として機能してもよい。
サーチ部66は、測定モードにおいて、連結画像42に対してパターンサーチを実行することで設定モードにおいて設定された測定箇所のステージ座標を特定してもよい。測定制御部62は、サーチ部66により特定されたステージ座標で、設定モードにおいて当該測定箇所に設定された撮像条件を使用して、当該測定箇所を撮像手段に再度撮像させてもよい。測定部67およびワーク判定部63は、当該再度撮像して生成された画像を用いて測定箇所のエッジを抽出してもよい。
ワーク判定部63は、画像における輝度値に基づき、ワークWの境界部をエッジとして判定してもよい。つまり、ワークWの輪郭がエッジとして抽出されてもよい。
記憶装置70はステージにおける各撮像視野のステージ座標に関する情報を記憶する記憶手段の一例である。測定制御部62は、第一ステージ動作において見つかったワークWの少なくとも一部を含む画像の撮像視野のステージ座標と、当該ワークWが延出する方向に関する情報と、記憶手段に記憶されている各撮像視野のステージ座標(例:グリッドの座標)に関する情報とに基づき、第二ステージ動作におけるステージの移動方向を決定してもよい。
測定制御部62は、第二ステージ動作において撮像手段による画像の生成と駆動手段によるステージの移動と並行して画像連結手段に連結画像を生成させてもよい。測定制御部62は、第二ステージ動作において撮像手段による複数の画像の生成が完了した後で画像連結手段に連結画像を生成させてもよい。
測定用のカメラ110、120は、ステージ上に載置されたワークを撮像し、ワーク画像を生成する第一カメラの一例である。俯瞰カメラ17は第一カメラの撮像視野よりも広い撮像視野を有し、ステージ上に載置されたワークを撮像し、俯瞰画像を生成する第二カメラの一例である。ワーク判定部63は俯瞰画像に基づいてステージ上におけるワークWの位置を検出する検出手段の一例である。ステージ駆動部101は第一カメラに対してXY方向に相対的にステージを移動させる駆動手段の一例である。測定制御部62は検出手段により俯瞰画像から検出されたワークWの位置に基づき第一カメラの撮像視野内またはその近傍にワークが位置するよう駆動手段を制御し、第一カメラに当該ワークを撮像させてワーク画像を生成させる。なお、第一カメラの撮像視野内またはその近傍にワークWが位置するとは、撮像視野内にワークWの全体もしくは少なくとも一部が収まることを意味する。なお、撮像視野内にワークWが位置していないものの、撮像視野内の近くにワークWが位置していてもよい。サーチ部66は、第一カメラにより生成されたワーク画像におけるワークの詳細位置と姿勢を特定する特定手段の一例である。測定部67は、特定手段により特定されたワークWの詳細位置と姿勢に基づいて、ワーク画像におけるワークWの検査箇所を決定し、所定の検査処理を実行する検査手段の一例である。測定箇所の指定領域1101a、1101bは検査箇所の一例である。このように俯瞰画像を用いてワークWの位置が求められるため、ワークWの位置がより短時間で決定される。たとえば、ワークWが可動ステージ12の中央に載置されていなくても、ワークWの位置が短時間で決定可能となる。また、可動ステージ12上に複数のワークWが載置されている場合、各ワークWの位置が短時間で決定可能となる。
座標変換部68は、第二カメラの座標系における座標を第一カメラの座標系における座標に変換する座標変換手段の一例である。座標変換部68は、検出手段により俯瞰画像から検出されたワークの位置の座標を、第一カメラの座標系における座標に変換してもよい。測定制御部62は、座標変換部68により取得された第一カメラの座標系におけるワークの位置に基づき駆動手段を制御してもよい。
図3が示すように、ステージ側から見て、第二カメラは、一つ以上の俯瞰カメラを有し、第一カメラの周辺部に設けられていてもよい。また、第二カメラは、第一俯瞰カメラと第二俯瞰カメラとを有していてもよい。ステージ側から見て、第一カメラは、第一俯瞰カメラと第二俯瞰カメラとの間に設けられていてもよい。さらに、第一俯瞰カメラの撮像視野と第二俯瞰カメラの撮像視野とは異なっていてもよい。記憶装置70は、画像検査装置に対する第一俯瞰カメラの取り付け位置と取り付け姿勢に関する情報と、画像検査装置に対する第二俯瞰カメラの取り付け位置と取り付け姿勢に関する情報とを記憶する記憶手段として機能してもよい。このような情報は校正情報72として記憶装置70に保持されていてもよい。校正部69は、第一俯瞰カメラの取り付け位置と取り付け姿勢に関する情報に基づき第一俯瞰カメラの座標系を校正し、第二俯瞰カメラの取り付け位置と取り付け姿勢に関する情報に基づき第二俯瞰カメラの座標系を校正する校正手段の一例である。
俯瞰画像生成部65は、第一俯瞰カメラにより取得された画像と第二俯瞰カメラにより取得された画像とを連結することでステージの全体を含む俯瞰画像を生成する生成手段の一例である。
測定制御部62は、第一俯瞰カメラにより取得された画像と第二俯瞰カメラにより取得された画像とを連結することでステージの全体を含む俯瞰画像が生成されるように、駆動手段を制御する。これにより、第一俯瞰カメラおよび第二俯瞰カメラに対してステージが相対的に移動する。
第二カメラのテレセントリック性は第一カメラのテレセントリック性よりも低くてもよい。つまり、第二カメラは俯瞰画像の作成に有利であってもよい。第一カメラはワークWの測定に有利であってもよい。
図3を用いて、2つの俯瞰カメラを用いて俯瞰画像を作成する方法が説明された。しかし、1つの俯瞰カメラを用いて俯瞰画像を作成することも可能である。この場合、俯瞰カメラに用いられる光学系として広角のレンズが採用される。
図4を用いて説明された俯瞰画像の作成方法では、俯瞰カメラ17Lの撮像軸と俯瞰カメラ17Rの撮像軸との中心と、可動ステージ12の中心とが一致するように可動ステージ12が移動し、俯瞰カメラ17L、17Rが撮像を実行する。俯瞰画像の作成方法はこれに限定されることはない。
・図12(A)が示すように、コントローラ60は可動ステージ12を移動させる。
・図12(B)が示すように、コントローラ60は俯瞰カメラ12Rに撮像を実行させることで、部分的な俯瞰画像41aを取得する。
・図12(C)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41bを取得する。
・図12(D)が示すようにコントローラ60は俯瞰画像41aと俯瞰画像41bとを合成することで可動ステージ12の全体を示す俯瞰画像41dを生成する。
上述したように俯瞰カメラ17L、17Rの光学系は広角レンズを採用しているため、撮像視野の中心部と比較して撮像視野の周辺部では歪曲が大きくなる。そこで、俯瞰カメラ17L、17Rの撮像視野の中心部付近のみから俯瞰顔図が生成されてもよい。
・図13(A)が示すように、コントローラ60は可動ステージ12を移動させ、俯瞰カメラ12Rに撮像を実行させることで、部分的な俯瞰画像41aを取得する。
・図13(B)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Rに撮像を実行させることで、部分的な俯瞰画像41bを取得する。
・図13(C)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41cを取得する。
・図13(D)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41eを取得する。
・図13(E)が示すように、コントローラ60は可動ステージ12を左方向に移動させ、俯瞰カメラ12Lに撮像を実行させることで、部分的な俯瞰画像41fを取得する。
・図13(F)が示すようにコントローラ60は俯瞰画像41a、41b、41c、41d、41e、41fを合成することで可動ステージ12の全体を示す俯瞰画像41dを生成する。

Claims (10)

  1. ワークが載置されるステージと、
    前記ステージ上に載置された前記ワークを撮像し、ワーク画像を生成する第一カメラと、
    前記第一カメラの撮像視野よりも広い撮像視野を有し、前記ステージ上に載置された前記ワークを撮像し、俯瞰画像を生成する第二カメラと、
    前記俯瞰画像に基づいて前記ステージ上におけるワークの位置を検出する検出手段と、
    前記第一カメラに対してXY方向に相対的に前記ステージを移動させる駆動手段と、
    前記検出手段により前記俯瞰画像から検出された前記ワークの位置に基づき前記第一カメラの撮像視野内またはその近傍に前記ワークが位置するよう前記駆動手段を制御し、前記第一カメラに当該ワークを撮像させて前記ワーク画像を生成させる制御手段と、
    前記第一カメラにより生成された前記ワーク画像における前記ワークの詳細位置と姿勢を特定する特定手段と、
    前記特定手段により特定された前記ワークの詳細位置と姿勢に基づいて、前記ワーク画像における前記ワークの検査箇所を決定し、所定の検査処理を実行する検査手段と
    を有することを特徴とする画像検査装置。
  2. 前記第二カメラの座標系における座標を前記第一カメラの座標系における座標に変換する座標変換手段をさらに有し、
    前記座標変換手段は、前記検出手段により前記俯瞰画像から検出された前記ワークの位置の座標を、前記第一カメラの座標系における座標に変換し、
    前記制御手段は、前記座標変換手段により取得された前記第一カメラの座標系における前記ワークの位置に基づき前記駆動手段を制御することを特徴とする請求項1に記載の画像検査装置。
  3. 前記第二カメラは、第一俯瞰カメラと第二俯瞰カメラとを有し、
    前記ステージ側から見て、前記第一カメラは、前記第一俯瞰カメラと前記第二俯瞰カメラとの間に設けられていることを特徴とする請求項1または2に記載の画像検査装置。
  4. 前記第一俯瞰カメラの撮像視野と前記第二俯瞰カメラの撮像視野とは異なっていることを特徴とする請求項3に記載の画像検査装置。
  5. 前記画像検査装置に対する前記第一俯瞰カメラの取り付け位置と取り付け姿勢に関する情報と、前記画像検査装置に対する前記第二俯瞰カメラの取り付け位置と取り付け姿勢に関する情報とを記憶する記憶手段と、
    前記第一俯瞰カメラの取り付け位置と取り付け姿勢に関する情報に基づき前記第一俯瞰カメラの座標系を校正し、前記第二俯瞰カメラの取り付け位置と取り付け姿勢に関する情報に基づき前記第二俯瞰カメラの座標系を校正する校正手段と、
    をさらに有することを特徴とする請求項3または4に記載の画像検査装置。
  6. 前記第一俯瞰カメラにより取得された画像と前記第二俯瞰カメラにより取得された画像とを連結することで前記ステージの全体を含む俯瞰画像を生成する生成手段をさらに有することを特徴とする請求項3ないし5のいずれか一項に記載の画像検査装置。
  7. 前記制御手段は、前記第一俯瞰カメラにより取得された画像と前記第二俯瞰カメラにより取得された画像とを連結することで前記ステージの全体を含む俯瞰画像が生成されるように、前記駆動手段を制御することで、前記第一俯瞰カメラおよび前記第二俯瞰カメラに対して前記ステージを相対的に移動させることを特徴とする請求項6に記載の画像検査装置。
  8. 前記第二カメラのテレセントリック性は前記第一カメラのテレセントリック性よりも低いことを特徴とする請求項1ないし7のいずれか一項に記載の画像検査装置。
  9. 前記ステージ側から見て、前記第二カメラは、一つ以上の俯瞰カメラを有し、前記第一カメラの周辺部に設けられていることを特徴とする請求項1ないし8のいずれか一項に記載の画像検査装置。
  10. ワークが載置されるステージと、
    前記ステージ上に載置された前記ワークを撮像し、ワーク画像を生成する第一カメラと、
    前記第一カメラの撮像視野よりも広い撮像視野を有し、前記ステージ上に載置された前記ワークを撮像し、俯瞰画像を生成する第二カメラと、を有する画像検査装置の制御方法であって、
    前記第二カメラにより前記ステージ上を撮像することで俯瞰画像を生成することと、
    前記俯瞰画像に基づいて前記ステージ上におけるワークの位置を検出することと、
    前記俯瞰画像から検出された前記ワークの位置に基づき前記第一カメラの撮像視野内またはその近傍に前記ワークが位置するよう前記ステージを前記第一カメラに対して相対的に移動させ、前記第一カメラに当該ワークを撮像させて前記ワーク画像を生成させることと、
    前記第一カメラにより生成された前記ワーク画像における前記ワークの詳細位置と姿勢を特定することと、
    前記特定された前記ワークの詳細位置と姿勢に基づいて、前記ワーク画像における前記ワークの検査箇所を決定し、所定の検査処理を実行することと
    を有することを特徴とする画像検査装置の制御方法。
JP2018162781A 2018-08-31 2018-08-31 画像検査装置 Active JP7154069B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018162781A JP7154069B2 (ja) 2018-08-31 2018-08-31 画像検査装置
US16/527,080 US11423528B2 (en) 2018-08-31 2019-07-31 Image inspection apparatus
DE102019212936.6A DE102019212936A1 (de) 2018-08-31 2019-08-28 Bildprüfvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018162781A JP7154069B2 (ja) 2018-08-31 2018-08-31 画像検査装置

Publications (2)

Publication Number Publication Date
JP2020034484A true JP2020034484A (ja) 2020-03-05
JP7154069B2 JP7154069B2 (ja) 2022-10-17

Family

ID=69527010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018162781A Active JP7154069B2 (ja) 2018-08-31 2018-08-31 画像検査装置

Country Status (3)

Country Link
US (1) US11423528B2 (ja)
JP (1) JP7154069B2 (ja)
DE (1) DE102019212936A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7222764B2 (ja) 2019-03-18 2023-02-15 株式会社キーエンス 画像測定装置
JP7252018B2 (ja) 2019-03-18 2023-04-04 株式会社キーエンス 画像測定装置
CN111879774B (zh) * 2020-08-03 2023-07-21 广州星际悦动股份有限公司 刷头磨圆率测试方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63236340A (ja) * 1987-03-24 1988-10-03 Nec Corp ワイヤボンデイング装置
JP2012032344A (ja) * 2010-08-02 2012-02-16 Keyence Corp 画像測定装置、画像測定方法及び画像測定装置用のプログラム
US20170032311A1 (en) * 2014-06-13 2017-02-02 Xerox Corporation Store shelf imaging system and method
JP2017032361A (ja) * 2015-07-30 2017-02-09 株式会社キーエンス 画像検査装置、画像検査方法および画像検査プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5095644B2 (ja) 2009-01-23 2012-12-12 株式会社キーエンス 画像計測装置及びコンピュータプログラム
US20120327215A1 (en) * 2009-09-22 2012-12-27 Case Steven K High speed optical sensor inspection system
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
JP6421722B2 (ja) * 2015-08-07 2018-11-14 オムロン株式会社 画像処理装置、校正方法および校正プログラム
JP6663807B2 (ja) 2016-07-04 2020-03-13 株式会社キーエンス 画像測定装置
JP6663808B2 (ja) 2016-07-04 2020-03-13 株式会社キーエンス 画像測定装置
JP6522181B2 (ja) 2018-02-09 2019-05-29 株式会社キーエンス 画像測定器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63236340A (ja) * 1987-03-24 1988-10-03 Nec Corp ワイヤボンデイング装置
JP2012032344A (ja) * 2010-08-02 2012-02-16 Keyence Corp 画像測定装置、画像測定方法及び画像測定装置用のプログラム
US20170032311A1 (en) * 2014-06-13 2017-02-02 Xerox Corporation Store shelf imaging system and method
JP2017032361A (ja) * 2015-07-30 2017-02-09 株式会社キーエンス 画像検査装置、画像検査方法および画像検査プログラム

Also Published As

Publication number Publication date
DE102019212936A1 (de) 2020-03-05
US20200074618A1 (en) 2020-03-05
JP7154069B2 (ja) 2022-10-17
US11423528B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
JP5547105B2 (ja) 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
US9341465B2 (en) Dimension measuring apparatus, dimension measuring method, and program for dimension measuring apparatus
US10088301B2 (en) Image measurement device
JP5997989B2 (ja) 画像測定装置、その制御方法及び画像測定装置用のプログラム
US10088302B2 (en) Image measurement device
US9772480B2 (en) Image measurement device
US10142621B2 (en) Mass production MTF testing machine
JP7154069B2 (ja) 画像検査装置
JP7152223B2 (ja) 画像測定装置
WO2014136490A1 (ja) 形状検査方法およびその装置
JP2012037257A (ja) 測定設定データ作成装置、測定設定データ作成方法及び測定設定データ作成装置用のプログラム
US20150241680A1 (en) Image Measurement Device
JP2016048195A (ja) 画像測定器
US20200302642A1 (en) Image Measuring Apparatus
JP7154084B2 (ja) 三次元形状測定装置および三次元形状測定プログラム
US20220358678A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
JP2018165730A (ja) 画像測定器
US20220124253A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
JP7222765B2 (ja) 画像測定装置
CN115150545B (zh) 获取三维测量点的测量系统
JPH11271033A (ja) 三次元形状物体撮像装置
JP2023047715A (ja) 撮像システム、撮像方法及びプログラム
JP2023116923A (ja) 検査装置及び検査方法
CN114543697A (zh) 测量设备、控制设备和控制方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221004

R150 Certificate of patent or registration of utility model

Ref document number: 7154069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150