JP2020085678A - 検査システム、検査方法およびプログラム - Google Patents

検査システム、検査方法およびプログラム Download PDF

Info

Publication number
JP2020085678A
JP2020085678A JP2018221070A JP2018221070A JP2020085678A JP 2020085678 A JP2020085678 A JP 2020085678A JP 2018221070 A JP2018221070 A JP 2018221070A JP 2018221070 A JP2018221070 A JP 2018221070A JP 2020085678 A JP2020085678 A JP 2020085678A
Authority
JP
Japan
Prior art keywords
inspection
image
unit
focus
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018221070A
Other languages
English (en)
Other versions
JP7047725B2 (ja
Inventor
佑二 山内
Yuji Yamauchi
佑二 山内
加藤 豊
Yutaka Kato
豊 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018221070A priority Critical patent/JP7047725B2/ja
Priority to PCT/JP2019/044387 priority patent/WO2020110711A1/ja
Publication of JP2020085678A publication Critical patent/JP2020085678A/ja
Application granted granted Critical
Publication of JP7047725B2 publication Critical patent/JP7047725B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Focusing (AREA)

Abstract

【課題】対象物の不良の見逃しのリスクを低減できる検査システムを提供する。【解決手段】検査システムは、焦点位置が可変である光学系と、光学系を介して対象物からの光を受けることによって画像を生成する撮像素子と、焦点位置を調節するフォーカス調節部と、フォーカス調節部によって焦点位置が調節されたときに生成された検査画像のうちの第1領域に基づいて対象物を検査し、検査結果を出力する検査部と、検査画像のうちの第2領域に基づいて、対象物の検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力する評価部とを備える。【選択図】図1

Description

本技術は、検査システム、検査方法およびプログラムに関する。
特開2018−84701号公報(特許文献1)には、被写体像のコントラスト評価値に基づいてフォーカスレンズの合焦位置を探索するオートフォーカス機能を有する焦点調節装置が開示されている。さらに、特許文献1には、このような焦点調節装置が検査のための産業用機器に適用されることが開示されている。
特開2018−84701号公報 国際公開第17/056557号 特開2010−78681号公報 特開平10−170817号公報
撮像された画像を用いて検査を行なう場合、対象物の検査対象箇所に合焦した画像を得る必要がある。しかしながら、対象物の状態によって、対象物の検査対象箇所とは異なる箇所に合焦した画像が得られる可能性がある。例えば、対象物のサイズの個体差によって、対象物の検査対象箇所から焦点がずれる場合がある。あるいは、対象物を搬送する搬送装置の状態によって、対象物の検査対象箇所から焦点がずれる場合がある。このような場合、対象物が不良であるにも関わらず、検査対象箇所とは異なる箇所に合焦した画像であるため、検査対象箇所の不良を認識できず、当該不良を見逃してしまう。
本発明は、上記の問題を鑑みてなされたものであり、その目的は、対象物の不良の見逃しのリスクを低減できる検査システム、検査方法およびプログラムを提供することである。
本開示の一例によれば、検査システムは、焦点位置が可変である光学系と、光学系を介して対象物からの光を受けることによって画像を生成する撮像素子と、焦点位置を調節するフォーカス調節部と、検査部と、評価部とを備える。検査部は、フォーカス調節部によって焦点位置が調節されたときに生成された検査画像のうちの第1領域に基づいて対象物を検査し、検査結果を出力する。評価部は、検査画像のうちの第2領域に基づいて、対象物の検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力する。
この開示によれば、第1領域とは別の第2領域に基づいて、検査対象箇所に対する合焦の信頼性が評価される。そのため、例えば、検査の対象となる第1領域のコントラストが低い場合であっても、第1領域とは別の第2領域に基づいて、検査対象箇所に対する合焦の信頼性を評価できる。そして、評価結果に基づいて、焦点位置がずれていることに起因して精度良く検査できていないことが認識可能となる。その結果、検査対象箇所とは異なる箇所に合焦した画像に基づく検査によって不良の対象物を良品として見逃すリスクを低減できる。
上述の開示において、検査システムは、予め生成された基準画像中の対象物の位置姿勢に対する検査画像中の対象物の位置姿勢の偏差に基づいて、検査画像に対する第1領域および第2領域の相対位置姿勢を補正する補正部をさらに備える。
この開示によれば、検査画像中の対象物の位置姿勢に変動が生じたとしても、検査精度および信頼性の評価精度の低下を抑制できる。
上述の開示において、検査システムは、検査結果が予め定められた第1基準を満たし、かつ、評価結果が予め定められた第2基準を満たす場合に、対象物が良品であると判定する判定部をさらに備える。
この開示によれば、対象物の所望の箇所とは異なる箇所に合焦した画像に基づく検査によって不良の対象物を良品として見逃すリスクを低減しやすくなる。
上述の開示において、補正部は、基準画像と検査画像との相関演算により得られる相関値に基づいて偏差を求める。検査システムは、さらに、検査結果が予め定められた第1基準を満たし、かつ、評価結果が予め定められた第2基準を満たし、かつ、相関値が予め定められた第3基準を満たす場合に、対象物が良品であると判定する判定部をさらに備える。
この開示によれば、対象物を正常に撮像できていないにもかかわらず、不良の対象物を良品として見逃すリスクをさらに低減することができる。
上述の開示において、評価結果は、検査画像のうちの第2領域における合焦度に基づいて算出される評価値を含む。これにより、評価値を確認することにより、合焦の度合いを容易に認識できる。
上述の開示において、検査システムは、対象物に合焦する焦点位置である合焦位置を探索する探索部をさらに備える。検査画像は、フォーカス調節部によって焦点位置が合焦位置に調節されたときに生成される。これにより、評価結果を確認することにより、探索部による合焦位置の探索が適切に実行されないことに起因して精度良く検査できていないことを認識できる。
本開示の一例によれば、焦点位置が可変である光学系と、光学系を介して対象物からの光を受けることによって画像を生成する撮像素子と、焦点位置を調節するフォーカス調節部とを備える検査システムにおける検査方法は、フォーカス調節部によって焦点位置が調節されたときに生成された検査画像のうちの第1領域に基づいて対象物を検査し、検査結果を出力するステップと、検査画像のうちの第2領域に基づいて、対象物の検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力するステップとを備える。
本開示の一例によれば、プログラムは、上記の検査方法をコンピュータに実行させるためのプログラムである。これらの開示によっても、対象物の不良の見逃しのリスクを低減できる。
本発明によれば、対象物の不良の見逃しのリスクを低減できる。
実施の形態に係る検査システムの1つの適用例を示す模式図である。 検査システムに備えられる撮像装置の内部構成の一例を示す図である。 オートフォーカスを説明するための模式図である。 焦点位置が可変のレンズモジュールの一例を示す図である。 焦点位置が可変のレンズモジュールの別の例を示す図である。 実施の形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 画像処理装置の機能構成の一例を示す図である。 撮像装置によるワークWの撮像を模式的に示した図である。 検査領域および信頼性評価領域の設定画面の一例を示す図である。 検査領域および信頼性評価領域の設定画面の別の例を示す図である。 合焦度波形の一例を示す図である。 実施の形態に係る検査システムの検査処理の流れの一例を示すフローチャートである。 変形例1に係る検査システムを示す模式図である。 検査領域、信頼性評価領域およびモデル領域の設定画面の一例を示す図である。 補正部の処理を説明する図である。 変形例1に係る検査システムの検査処理の流れを示すフローチャートである。 変形例3に係る検査システムの検査処理の流れを示すフローチャートである。
以下、図面を参照しつつ、本発明に従う実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。
§1 適用例
まず、図1および図2を参照して、本発明が適用される場面の一例について説明する。図1は、実施の形態に係る検査システムの1つの適用例を示す模式図である。図2は、検査システムに備えられる撮像装置の内部構成の一例を示す図である。
図1に示すように、本実施の形態に係る検査システム1は、たとえば外観検査システムとして実現される。検査システム1は、たとえば工業製品の生産ラインなどにおいて、ステージ90上に載置された対象物(ワークW)上の検査対象箇所を撮像し、得られた画像を用いて、ワークWの外観検査を行う。外観検査では、ワークWの傷、汚れ、異物の有無、寸法などが検査される。
ステージ90上に載置されたワークWの外観検査が完了すると、次のワーク(図示せず)がステージ90上に搬送される。ワークWの撮像の際、ワークWは、ステージ90上の所定位置に所定姿勢で静止してもよい。あるいは、ワークWがステージ90上を移動しながら、ワークWが撮像されてもよい。
図1に示すように、検査システム1は、基本的な構成要素として、撮像装置10と、画像処理装置20とを備える。この実施の形態では、検査システム1は、さらに、PLC(Programmable Logic Controller)30と、入力装置40と、表示装置50とを備える。
撮像装置10は、画像処理装置20に接続される。撮像装置10は、画像処理装置20からの指令に従って、撮像視野に存在する被写体(ワークW)を撮像して、ワークWの像を含む画像データを生成する。撮像装置10と画像処理装置20とは一体化されていてもよい。
図2に示されるように、撮像装置10は、照明部11と、レンズモジュール12と、撮像素子13と、撮像素子制御部14と、レンズ制御部16と、レジスタ15,17と、通信I/F(インターフェース)部18とを含む。
照明部11は、ワークWに対して光を照射する。照明部11から照射された光は、ワークWの表面で反射し、レンズモジュール12に入射する。照明部11は省略されてもよい。
レンズモジュール12は、ワークWからの光を撮像素子13の撮像面13a上に結像させるための光学系である。レンズモジュール12の焦点位置は、所定の可動範囲内で可変である。焦点位置とは、光軸に平行な入射光線が光軸と交わる点の位置である。
レンズモジュール12は、レンズ12aと、レンズ群12bと、レンズ12cと、可動部12dと、フォーカス調節部12eとを有する。レンズ12aは、レンズモジュール12の焦点位置を変化させるためのレンズである。フォーカス調節部12eは、レンズ12aを制御して、レンズモジュール12の焦点位置を調節する。
レンズ群12bは、焦点距離を変更するためのレンズ群である。焦点距離が変更されることにより、ズーム倍率が制御される。レンズ群12bは、可動部12dに設置され、光軸方向に沿って可動する。レンズ12cは、撮像装置10内の予め定められた位置に固定されるレンズである。
レンズ制御部16は、レジスタ17が記憶する命令に従った焦点位置になるようにフォーカス調節部12eを制御する。
レンズ制御部16は、ワークWのうち撮像視野内に含まれる領域の大きさが略一定になるように、可動部12dを制御して、レンズ群12bの位置を調節してもよい。言い換えると、レンズ制御部16は、ワークWのうち撮像視野内に含まれる領域の大きさが予め定められた範囲内になるように、可動部12dを制御することができる。レンズ制御部16は、撮像位置とワークWとの距離に応じてレンズ群12bの位置を調節すればよい。なお、この実施の形態では、ズームの調節は必須ではない。
撮像素子13は、たとえばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの光電変換素子であり、レンズモジュール12を介してワークWからの光を受けることによって画像信号を生成する。
撮像素子制御部14は、フォーカス調節部12eによって焦点位置が調節されたときの撮像素子13からの画像信号に基づいて画像データを生成する。このとき、撮像素子制御部14は、予め設定されたシャッター速度(露光時間)となるようにシャッターを開閉し、予め設定された解像度の画像データを生成する。シャッター速度および解像度を示す情報は、予めレジスタ15に記憶されている。
通信I/F部18は、画像処理装置20との間でデータを送受信する。通信I/F部18は、撮像指示を画像処理装置20から受信する。通信I/F部18は、撮像素子制御部14によって生成された画像データを画像処理装置20に送信する。
図1に戻って、PLC30は、画像処理装置20に接続され、画像処理装置20を制御する。例えばPLC30は、画像処理装置20が撮像指令(撮像トリガ)を撮像装置10に出力するためのタイミングを制御する。
入力装置40および表示装置50は、画像処理装置20に接続される。入力装置40は、検査システム1の各種の設定に関するユーザの入力を受け付ける。表示装置50は、検査システム1の設定に関する情報、画像処理装置20によるワークWの画像処理の結果などを表示する。
画像処理装置20は、撮像装置10によって撮像された画像に対して画像処理を行なう。画像処理装置20は、設定部22と、検査部25と、評価部26とを備える。
設定部22は、入力装置40への入力に従って、撮像装置10から取得した画像データで示される画像のうち第1領域と第2領域とを設定する。第1領域は、検査部25が検査を行なう対象となる領域(以下、「検査領域」という)である。第2領域は、ワークWの検査対象箇所に対する合焦の信頼性を評価する際に用いる領域(以下、「信頼性評価領域」という)である。
検査領域は、検査対象箇所に応じて設定される。例えば、ワークWがガラス基板であり、ガラス基板の上面中央付近の傷の有無を検査したい場合、当該上面中央付近を含む領域が検査領域として設定される。
信頼性評価領域は、ワークWの検査対象箇所に対する合焦を評価するために用いられるため、ワークWの検査対象箇所における検査領域と同じ高さであり、かつ、コントラストの高い領域が設定される。
検査部25は、撮像装置10から受けた検査画像データで示される検査画像のうちの検査領域に基づいてワークWを検査し、検査結果を出力する。具体的には、検査部25は、検査領域に対して予め登録された検査プログラムに従った処理を施すことにより、ワークWを検査する。検査部25は、公知の技術を用いて検査を行なえばよい。検査項目が傷の有無である場合、検査結果は「傷あり」または「傷なし」を示す。検査項目が寸法である場合、検査結果は寸法の計測値が所定範囲内であるか否かを示す。
評価部26は、検査画像データで示される検査画像のうちの信頼性評価領域に基づいて、ワークWの検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力する。具体的には、評価部26は、信頼性評価領域に対して予め登録された評価プログラムに従った処理を施すことにより、ワークWの検査対象箇所に対する合焦の信頼性を評価する。評価部26は、例えば、信頼性が高い程大きくなる評価値を算出し、当該評価値を含む評価結果を出力する。
このように、実施の形態に係る検査システム1は、焦点位置が可変であるレンズモジュール12と、レンズモジュール12を介してワークWからの光を受けることによって画像を生成する撮像素子13と、焦点位置を調節するフォーカス調節部12eとを備える。さらに、検査システム1は、検査部25と評価部26とを備える。検査部25は、フォーカス調節部12eによって焦点位置が調節されたときに生成された検査画像のうちの検査領域に基づいてワークWを検査し、検査結果を出力する。評価部26は、検査画像のうちの信頼性評価領域に基づいて、ワークWの検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力する。
これにより、検査結果および評価結果を確認することにより、ワークWの不良の見逃しのリスクを低減できる。例えば、検査結果が「傷なし」を示す場合であっても、ワークWの検査対象箇所に対する合焦の信頼性が低いことを示す評価結果が得られたときには、作業者は、焦点位置がずれていることに起因して精度良く検査できていないことを認識できる。その結果、作業者は、ワークWの再検査などの適切な対応を行なうことができる。
§2 具体例
<A.オートフォーカスのための構成例>
図3は、オートフォーカスを説明するための模式図である。説明を簡単にするため、図3には、レンズモジュール12のうちの1枚のレンズのみを示している。
図3に示すように、レンズモジュール12の主点Oから対象面(ワークWの表面)までの距離をaとし、レンズモジュール12の主点Oから撮像面13aまでの距離をbとし、レンズモジュール12の主点Oからレンズモジュール12の焦点位置(後側焦点位置)Fまでの距離(焦点距離)をfとする。ワークWの像が撮像面13aの位置で結ばれる場合に、以下の式(1)が成立する。
1/a+1/b=1/f・・・(1)
すなわち、式(1)が成り立つときに、ワークWの表面に合焦した画像を撮像することができる。「合焦する」とは、ワークWの像が撮像素子13の撮像面13a(図2参照)に形成されることを意味する。
ワークWの表面の高さに応じて、撮像面13aとワークWの表面との距離が変化し得る。撮像面13aとワークWの表面との距離が変化した場合であってもワークWの表面に合焦した画像を得るために、レンズモジュール12の焦点位置Fが調節される。レンズモジュール12の焦点位置Fを調節する方法には、以下の方法(A)および方法(B)がある。
方法(A)は、レンズモジュール12を構成する少なくとも1つのレンズ(例えばレンズ12a)を光軸方向に平行移動させる方法である。方法(A)によれば、レンズモジュール12の主点Oが光軸方向に移動するとともに、焦点位置Fが変化する。その結果、距離bが変化する。式(1)を満たす距離bに対応する焦点位置Fのときに、ワークWの表面に合焦した画像が得られる。
方法(B)は、定位置に固定されたレンズ12aの屈折方向を変化させる方法である。方法(B)によれば、レンズモジュール12の焦点距離fが変化することに伴い、焦点位置Fが変化する。式(1)を満たす焦点距離fに対応する焦点位置Fのときに、ワークWの表面に合焦した画像が得られる。
レンズモジュール12の焦点位置Fを変化させるためのレンズ12aの構成は特に限定されない。以下に、レンズ12aの構成の例を説明する。
図4は、焦点位置が可変のレンズモジュールの一例を示す図である。図4に示す例では、レンズモジュール12を構成するレンズ12aを平行移動させる。ただし、レンズモジュール12を構成する少なくとも1つのレンズ(レンズ12a、レンズ群12bおよびレンズ12cのうちの少なくとも1つのレンズ)を平行移動させてもよい。
図4に示す構成のレンズ12aを用いることにより、上記の方法(A)に従って、レンズモジュール12の焦点位置Fが変化する。すなわち、図4に示した構成では、フォーカス調節部12eは、レンズ12aを光軸方向に沿って移動させる。レンズ12aの位置を移動させることによって、レンズモジュール12の焦点位置Fが変化する。
図4では、1枚のレンズ12aの例が示されている。通常では、フォーカス調節用のレンズは複数枚の組レンズで構成されることが多い。しかしながら、組レンズにおいても、組レンズを構成する少なくとも1枚のレンズの移動量を制御することにより、レンズモジュール12の焦点位置Fを変化させることができる。
図5は、焦点位置が可変のレンズモジュールの別の例を示す図である。図5に示す構成のレンズ12aを用いることにより、上記の方法(B)に従って、レンズモジュール12の焦点位置Fが変化する。
図5に示すレンズ12aは液体レンズである。レンズ12aは、透光性容器70と、電極73a,73b,74a,74bと、絶縁体75a,75bと、絶縁層76a,76bとを含む。
透光性容器70内の密閉空間には、水などの導電性液体71と、油などの絶縁性液体72とが充填される。導電性液体71と絶縁性液体72とは混合せず、互いに屈折率が異なる。
電極73a,73bは、絶縁体75a,75bと透光性容器70との間にそれぞれ固定され、導電性液体71中に位置する。
電極74a,74bは、導電性液体71と絶縁性液体72との界面の端部付近に配置される。電極74aと導電性液体71および絶縁性液体72との間には絶縁層76aが介在する。電極74bと導電性液体71および絶縁性液体72との間には絶縁層76bが介在する。電極74aと電極74bとは、レンズ12aの光軸に対して対称な位置に配置される。
図5に示す構成において、フォーカス調節部12eは、電圧源12e1と、電圧源12e2とを含む。電圧源12e1は、電極74aと電極73aとの間に電圧Vaを印加する。電圧源12e2は、電極74bと電極73bとの間に電圧Vbを印加する。
電極74aと電極73aとの間に電圧Vaを印加すると、導電性液体71は、電極74aに引っ張られる。同様に、電極74bと電極73bとの間に電圧Vbを印加すると、導電性液体71は、電極74bに引っ張られる。これにより、導電性液体71と絶縁性液体72との界面の曲率が変化する。導電性液体71と絶縁性液体72との屈折率が異なるため、導電性液体71と絶縁性液体72との界面の曲率が変化することにより、レンズモジュール12の焦点位置Fが変化する。
導電性液体71と絶縁性液体72との界面の曲率は、電圧Va,Vbの大きさに依存する。そのため、探索部24は、電圧Va,Vbの大きさを制御することにより、レンズモジュール12の焦点位置Fを変化させる。
通常は、電圧Vaと電圧Vbとは同値に制御される。これにより、導電性液体71と絶縁性液体72との界面は、光軸に対して対称に変化する。ただし、電圧Vaと電圧Vbとが異なる値に制御されてもよい。これにより、導電性液体71と絶縁性液体72との界面が光軸に対して非対称となり、撮像装置10の撮像視野の向きを変更することができる。
さらに液体レンズと固体レンズとを組み合わせてもよい。この場合、上記の方法(A)および方法(B)の両方を用いてレンズモジュール12の焦点位置Fを変化させる。
<B.画像処理装置のハードウェア構成>
図6は、実施の形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。図6に示す例の画像処理装置20は、演算処理部であるCPU(Central Processing Unit)210と、記憶部としてのメインメモリ232およびハードディスク234と、カメラインターフェース216と、入力インターフェース218と、表示コントローラ220と、PLCインターフェース222と、通信インターフェース224と、データリーダ/ライタ226とを含む。これらの各部は、バス228を介して、互いにデータ通信可能に接続される。
CPU210は、ハードディスク234に格納されたプログラム(コード)をメインメモリ232に展開して、これらを所定順序で実行することで、各種の演算を実施する。制御プログラム236は、検査画像に基づいてワークWを検査するための検査プログラムと、ワークWに対する合焦の信頼性を評価するための評価プログラムとを含む。
メインメモリ232は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク234から読み出されたプログラムに加えて、撮像装置10によって取得された画像データ、ワークデータなどを保持する。さらに、ハードディスク234には、各種設定値などが格納されてもよい。なお、ハードディスク234に加えて、あるいは、ハードディスク234に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
カメラインターフェース216は、CPU210と撮像装置10との間のデータ伝送を仲介する。すなわち、カメラインターフェース216は、ワークWを撮像して画像データを生成するための撮像装置10と接続される。より具体的には、カメラインターフェース216は、撮像装置10からの画像データを一時的に蓄積するための画像バッファ216aを含む。そして、カメラインターフェース216は、画像バッファ216aに所定コマ数の画像データが蓄積されると、その蓄積されたデータをメインメモリ232へ転送する。また、カメラインターフェース216は、CPU210が発生した内部コマンドに従って、撮像装置10に対して撮像指令を送る。
入力インターフェース218は、CPU210と入力装置40との間のデータ伝送を仲介する。すなわち、入力インターフェース218は、作業者が入力装置40を操作することで与えられる操作指令を受付ける。
表示コントローラ220は、表示装置50と接続され、CPU210における処理の結果などをユーザに通知する。すなわち、表示コントローラ220は、表示装置50の画面を制御する。
PLCインターフェース222は、CPU210とPLC30との間のデータ伝送を仲介する。より具体的には、PLCインターフェース222は、PLC30からの制御指令をCPU210へ伝送する。
通信インターフェース224は、CPU210とコンソール(あるいは、パーソナルコンピュータやサーバ装置)などとの間のデータ伝送を仲介する。通信インターフェース224は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード206に格納されたプログラムを画像処理装置20にインストールする形態に代えて、通信インターフェース224を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置20にインストールしてもよい。
データリーダ/ライタ226は、CPU210と記録媒体であるメモリカード206との間のデータ伝送を仲介する。すなわち、メモリカード206には、画像処理装置20で実行されるプログラムなどが格納された状態で流通し、データリーダ/ライタ226は、このメモリカード206からプログラムを読出す。また、データリーダ/ライタ226は、CPU210の内部指令に応答して、撮像装置10によって取得された画像データおよび/または画像処理装置20における処理結果などをメモリカード206へ書込む。なお、メモリカード206は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記憶媒体や、CD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体等からなる。
<C.画像処理装置の機能構成>
図7を参照して、画像処理装置20の機能構成の一例について説明する。図7は、画像処理装置の機能構成の一例を示す図である。図7に示されるように、画像処理装置20は、指令生成部21と、設定部22と、算出部23と、探索部24と、検査部25と、評価部26と、判定部27と、出力部28と、記憶部230とを含む。指令生成部21、設定部22、算出部23、探索部24、検査部25、評価部26および判定部27は、図6に示すCPU210が制御プログラム236を実行することにより実現される。記憶部230は、図6に示すメインメモリ232およびハードディスク234によって構成される。出力部28は、図6に示す表示コントローラ220によって構成される。
指令生成部21は、PLC30からの制御指令を受けて、撮像装置10に撮像指令(撮像トリガ)を出力する。設定部22の概要について上述したとおりである。
算出部23は、撮像装置10によって生成された画像データから合焦度を算出する。合焦度とは、対象物に対して焦点がどの程度合っているかを表す度合いであり、公知の種々の方法を用いる算出される。たとえば、算出部23は、画像データに対してハイパスフィルタを適用することにより高周波成分を抽出し、抽出された高周波成分の積算値を合焦度として算出する。このような合焦度は、画像の明暗差に依存した値を示す。
探索部24は、ワークWに合焦する焦点位置である合焦位置を探索する。具体的には、探索部24は、レンズモジュール12の焦点位置を変えて生成された複数の画像データの各々の合焦度を算出部23から取得する。探索部24は、取得した合焦度がピークとなる焦点位置を合焦位置として決定する。探索部24は、レンズモジュール12の焦点位置が合焦位置であるときの画像データを検査画像データとして特定する。すなわち、検査画像データは、フォーカス調節部12eによって焦点位置が合焦位置に調節されたときに生成される画像データである。
合焦位置の探索方法としては、山登り法と全スキャン法とがあり、いずれを用いてもよい。
山登り法とは、レンズモジュール12の焦点位置を設定された探索範囲内で変化させながら、合焦度が極大となる焦点位置を見つけた時点で探索を終了し、合焦度が極大となる焦点位置を合焦位置として決定する方法である。具体的には、山登り法は、探索開始時の焦点位置における合焦度と隣の焦点位置における合焦度との大小関係に基づいて、合焦度が大きくなる焦点位置の方向を探索方向として決定する。さらに、山登り法は、探索方向に焦点位置を変化させながら、先の焦点位置での合焦度と次の焦点位置での合焦度との差を順次演算し、この差が正からゼロまたは負に変化した時点の焦点位置を合焦位置として決定する。
山登り法では、探索部24は、合焦度が極大を示した画像データを検査画像データとして特定すればよい。
全スキャン法とは、レンズモジュール12の焦点位置を設定された探索範囲の全域で変化させ、各焦点位置での合焦度を取得し、合焦度が最大となる焦点位置を合焦位置として決定する方法である。全スキャン法には、粗い第1探索処理を行なった後に細かい第2探索処理を行なう方法も含む。第1探索処理は、粗いピッチ間隔で焦点位置を探索範囲の全域で変化させ、合焦度が最大となる焦点位置を探索する処理である。第2探索処理は、第1探索処理で探索された焦点位置を含む局所範囲の全域において細かいピッチ間隔で焦点位置を変化させ、合焦度が最大となる焦点位置を合焦位置として探索する処理である。
全スキャン法では、探索部24は、各焦点位置の画像データを記憶しておき、記憶している画像データの中から、合焦度が最大となる焦点位置の画像データを検査画像データとして特定する。もしくは、探索部24は、焦点位置を合焦位置に調節して撮像する指令を出力するように指令生成部21に指示し、当該指令に応じて撮像装置10から受けた画像データを検査画像データとして特定してもよい。
検査部25および評価部26の概要については、上述したとおりである。すなわち、検査部25は、探索部24によって特定された検査画像データで示される検査画像のうちの検査領域に基づいてワークWを検査し、検査結果を出力する。評価部26は、探索部24によって特定された検査画像データで示される検査画像のうちの信頼性評価領域に基づいて、ワークWの検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力する。
判定部27は、検査部25から出力された検査結果と評価部26から出力された評価結果とに基づいて、ワークWの総合判定を行なう。判定部27は、検査部25から出力された検査結果が予め定められた第1基準を満たし、かつ、評価部26から出力された評価結果が予め定められた第2基準を満たす場合に、ワークWが良品であると判定する。
判定部27は、検査結果が第1基準を満たさず、かつ、評価結果が第2基準を満たす場合に、ワークWが不良品であると判定する。さらに、判定部27は、評価結果が第2基準を満たさない場合に、焦点位置の自動調節に不具合があり精度良く検査できていないと判定する。
出力部28は、判定部27による判定結果を出力する。たとえば、出力部28は、表示装置50に判定結果を表示させる。出力部28は、検査結果および評価結果も表示装置50に表示させてもよい。
記憶部230は、各種のデータ、プログラム等を記憶する。たとえば記憶部230は、撮像装置10から取得された画像データ、および所定の処理が施された画像データを保存する。記憶部230は、検査部25による検査結果、評価部26による評価結果、および判定部27による判定結果を保存してもよい。さらに、記憶部230は、各種の処理を画像処理装置20に実行させるためのプログラムを記憶する。
<D.ワークの例およびオートフォーカスの課題>
図8は、撮像装置によるワークWの撮像を模式的に示した図である。図8に示した例において、ワークWは、領域W1と領域W2とを有する。領域W1は、たとえば透明体(ガラスなど)の表面である。領域W2は領域W1を囲む領域であり、たとえば電子機器の筐体の表面である。このようなワークWの例として、ディスプレイを有する電子機器(一例では、スマートフォンあるいはタブレットなど)を挙げることができる。すなわち領域W1は、表示画面でありえる。また、領域W1は、明確なパターンを有していない。すなわち領域W1は無地の領域である。
領域W1内を検査したい場合、領域W1内に検査領域A1が設定される。検査領域A1を含む領域が撮像装置10により撮像され、検査領域A1の画像が画像処理装置20による画像処理の対象となる。画像処理装置20は、検査領域A1の画像を用いて、検査領域A1内に傷、汚れ、あるいは異物が有るかどうかを検査する。
検査領域A1に合焦していない状態で撮像された場合、取得された画像から、検査領域A1内の傷などを検出できない可能性がある。精度の高い検査を行うためには、検査領域A1に合焦した画像であるか否かを評価することが求められる。しかし上述の例のように、検査領域A1が無地の領域の一部である場合、検査領域A1には明確なパターンが形成されていない。このような場合、検査領域A1内でのコントラストが低いため、検査領域A1の画像だけでは、検査領域A1に合焦しているか否かの評価が難しいという課題がある。
<E.検査領域および信頼性評価領域の設定>
本実施の形態によれば、画像処理装置20の設定部22は、ワークWに対して、検査領域とともに信頼性評価領域を予め設定しておく。
作業者は、ステージ90(図1参照)の所定位置に基準ワークW0を所定姿勢の状態で置く。画像処理装置20は、撮像指令を撮像装置10に出力し、撮像装置10から基準画像データを取得する。基準画像データは、所定位置に所定姿勢の状態で置かれた基準ワークW0を含む基準画像を示す。
画像処理装置20の設定部22は、撮像装置10から取得した基準画像データで示される基準画像を表示装置50に表示させ、検査領域および信頼性評価領域の指定を作業者に促す。
図9は、検査領域および信頼性評価領域の設定画面の一例を示す図である。図9に示されるように、設定部22は、表示装置50の画面に、撮像装置10から取得した基準画像データで示される基準画像80を表示させる。
設定部22は、入力装置40への入力に応じて、検査領域A1および信頼性評価領域B1を設定する。例えば、作業者は、矩形である検査領域A1および信頼性評価領域B1の各々の4頂点を入力する。作業者は、基準ワークW0における検査領域A1と同じ高さであり、かつ、コントラストの高い部分を含む領域を信頼性評価領域B1として指定する。図9に示す例では、基準ワークW0のエッジ部分を含む領域が信頼性評価領域B1として指定されている。コントラストの高い部分としては、エッジ部分の他にも、表面に印刷された文字、表面に形成された模様、ネジなどの部品が取り付けられた部分などが含まれる。
図9に示す例では、矩形の検査領域A1および信頼性評価領域B1が設定されているが、各領域の形状はこれに限定されない。例えば、検査領域A1および信頼性評価領域B1の少なくとも一方の形状が、円形、あるいは領域を形成することが可能な任意の自由な形状であってもよい。また、検査領域A1および信頼性評価領域B1の少なくとも一方は、1つにまとまった領域であると限定される必要はない。たとえば、検査領域A1および信頼性評価領域B1の少なくとも一方は、分散して存在する複数の領域であってもよい。
図10は、検査領域および信頼性評価領域の設定画面の別の例を示す図である。図10に示す例では、基準ワークW0のエッジ部分に沿った枠状の信頼性評価領域B1が設定されている。
設定部22は、設定した検査領域A1および信頼性評価領域B1の各々を特定するための情報を生成し、生成した情報を記憶部230に格納する。
<F.評価方法>
次に、評価部26による信頼性の評価方法について説明する。評価部26は、検査画像データで示される検査画像のうちの信頼性評価領域B1の合焦度に基づいて、ワークWの検査対象箇所に対する合焦の信頼性を示す評価値を算出する。合焦度は、例えば、信頼性評価領域B1の画像から抽出された高周波成分の積算値である。
例えば、評価部26は、検査画像の信頼性評価領域B1から算出した合焦度cと、予め定められた基準合焦度dとの比(=c/d)を評価値として算出する。この場合、評価値が大きいほど、ワークWの検査対象箇所に対する合焦の信頼性が高い。基準合焦度は、例えば基準ワークW0の検査対象箇所に合焦した画像における信頼性評価領域B1から算出した合焦度であり、予め実験により算出される。
あるいは、探索部24が全スキャン法に従って合焦位置を探索する場合、評価部26は、合焦位置の探索処理の際に得られる合焦度波形の第1ピークの合焦度gと第2ピークの合焦度hとの比(=g/h)を評価値として算出してもよい。合焦度波形とは、レンズモジュール12の焦点位置を変化させたときの焦点位置に対する合焦度の変化を示す波形である。第1ピークは、合焦度が最も大きいピークである。第2ピークは、合焦度が2番目に大きいピークである。
図11は、合焦度波形の一例を示す図である。図11に示す例の合焦度波形は、焦点位置F1,F2の2つのピークを含む。焦点位置F1は、ワークWの検査対象箇所に合焦するときの焦点位置である。そのため、オートフォーカス処理が正常に行なわれた場合、合焦度波形は、焦点位置F1の1つのピークのみを含む。しかしながら、何らかの原因により、焦点位置F1とは別の焦点位置にピークが生じ得る。例えば、検査画像中にコントラストの高い模様が形成されたシートが映り込んだ場合に、焦点位置F1とは別の焦点位置にピークが生じる。
図11に示す例の合焦度波形が得られた場合、焦点位置F1とは異なる焦点位置F2が合焦位置として誤って判定され、焦点位置F2に調節されたときの画像データが検査画像データとして特定され得る。
そこで、評価部26は、検査画像の信頼性評価領域B1から算出した合焦度を第1ピークの合焦度gとして取得する。さらに、評価部26は、合焦度が2番目に大きい第2ピークの合焦度を第2ピークの合焦度hとして取得する。評価部26は、合焦度g,hに基づいて評価値(=g/h)を算出する。
なお、上記の例では、ワークWの検査対象箇所に対する合焦の信頼性が高いほど大きくなる評価値が算出される。しかしながら、評価部26は、ワークWの検査対象箇所に対する合焦の信頼性が高いほど小さくなる評価値を算出してもよい。
その他、評価部26は、公知の技術を用いて評価値を算出してもよい。例えば、評価部26は、国際公開第17/056557号(特許文献2)、特開2010−78681号公報(特許文献3)、特開平10−170817号公報(特許文献4)に記載の技術を用いて評価値を算出してもよい。
<G.総合判定方法>
上述したように、画像処理装置20の判定部27は、検査結果が予め定められた第1基準を満たし、かつ、評価部26から出力された評価結果が予め定められた第2基準を満たす場合に、ワークWが良品であると判定する。例えば、検査項目が傷の有無である場合、第1基準は、検査結果が「傷なし」であることを示す。検査項目が寸法である場合、第1基準は、寸法の計測値が所定範囲内であることを示す。さらに、ワークWの検査対象箇所に対する合焦の信頼性が高いほど大きくなる評価値が評価結果に含まれる場合、第2基準は、評価値が予め定められた閾値を超えることを示す。
第1基準および第2基準は、予め作成され、記憶部230に格納される。判定部27は、記憶部230から第1基準および第2基準を読み出して、総合判定を行なう。
<H.検査の流れ>
次に、図12を参照して、本実施の形態に係る検査処理の流れについて説明する。図12は、実施の形態に係る検査システムの検査処理の流れの一例を示すフローチャートである。なお、図12に示す検査方法の前に、画像処理装置20の設定部22は、基準ワークW0を含む画像データを用いて、検査領域A1および信頼性評価領域B1を設定している。
検査対象となるワークWがステージ90(図1参照)に図示しない搬送装置によって搬送されるたびに、図12に示す検査処理が実行される。なお、本実施の形態では、ワークWは、搬送装置によって、ステージ90上の所定位置に所定姿勢の状態で載置されるものとする。
まず、撮像装置10および画像処理装置20は、合焦位置の探索処理を実行する(ステップS1)。ステップS1において、撮像装置10のレンズ制御部16は、レンズモジュール12の焦点位置を探索範囲内で変える。画像処理装置20の算出部23は、焦点位置を変えて生成された複数の画像データの各々について、全領域の合焦度を算出する。画像処理装置20の探索部24は、算出された合焦度がピークとなる焦点位置を合焦位置として探索する。
次に、探索部24は、レンズモジュール12の焦点位置が合焦位置に調節されたときの画像データを検査画像データとして特定する(ステップS2)。
次に、画像処理装置20の検査部25は、検査画像データで示される検査画像のうちの検査領域A1に基づいてワークWを検査し、検査結果を出力する(ステップS3)。
さらに、画像処理装置20の評価部26は、検査画像のうちの信頼性評価領域B1に基づいて、ワークWの検査対象箇所に対する合焦の信頼性を示す評価値を算出し、算出した評価値を含む評価結果を出力する(ステップS4)。なお、ステップS3およびステップS4の処理順序はこれに限定されず、ステップS4の後にステップS3が実行されてもよいし、ステップS3とステップS4とが並行して実行されてもよい。
次に、画像処理装置20の判定部27は、検査結果および評価結果に基づいて総合判定を行なう(ステップS5)。その後、出力部28は、判定結果を表示装置50に表示させる(ステップS6)。ステップS6の後、検査処理は終了する。
なお、判定結果は、表示装置50以外にもPLC30に出力され、他の装置の制御のために用いられてもよい。例えば、ワークWが良品であることを示す判定結果である場合、図示しない搬送装置は、次工程にワークWを搬送するための搬送経路上にワークWを搬送する。ワークWが不良品であることを示す判定結果である場合、搬送装置は、不良品置き場にワークWを搬送する。精度良く検査できていないことを示す判定結果である場合、搬送装置は、再検査品置き場にワークWを搬送する。
§3 変形例
<変形例1>
上記の説明では、検査対象となるワークWは、図示しない搬送装置によって、ステージ90上の所定位置に所定姿勢の状態で載置されるものとした。しかしながら、搬送装置の搬送精度が低い場合、検査画像に含まれるワークWの位置姿勢が変動し得る。そこで、変形例1に係る検査システムの画像処理装置は、基準画像中の基準ワークの位置姿勢に対する検査画像中のワークWの位置姿勢の偏差に基づいて、検査画像に対する検査領域A1および信頼性評価領域B1の相対位置姿勢を補正する。これにより、検査画像に含まれるワークWの位置姿勢が変動したとしても、検査精度および信頼性の評価精度の低下を抑制できる。
図13は、変形例1に係る検査システムを示す模式図である。変形例1に係る検査システム1Aは、図1に示す検査システム1と比較して、画像処理装置20の代わりに画像処理装置20Aを備える点で相違する。画像処理装置20Aは、図1に示す画像処理装置20と比較して、設定部22の代わりに設定部22Aを備えるとともに、さらに補正部29を備える点で相違する。
設定部22Aは、上記の設定部22と同様に、基準画像の中から検査領域A1および信頼性評価領域B1を設定する。さらに、設定部22Aは、基準画像の中からモデル領域を設定する、モデル領域は、所定位置に所定姿勢の状態で置かれた基準ワークW0の特徴部分を含む領域である。特徴部分は、基準ワークW0の位置姿勢を特定することが可能な部分である。
図14は、検査領域、信頼性評価領域およびモデル領域の設定画面の一例を示す図である。図14に示す例では、基準画像80において、平面視矩形状の基準ワークW0の四隅のうち互いに隣り合わない二隅の各々を含む領域がモデル領域C1,C2として設定される。設定部22Aは、設定したモデル領域C1,C2の各々の画像と、基準画像中のモデル領域C1,C2の位置姿勢を示す情報とを記憶部230に格納する。
次に図15を参照して、補正部29の処理について説明する。図15は、補正部の処理を説明する図である。
補正部29は、公知のテンプレートマッチング方法を用いて、基準画像80のうちのモデル領域C1,C2の画像と同じ部分画像を検査画像81から探索する。補正部29は、モデル領域C1,C2の画像を第1、第2テンプレート画像として記憶部230からそれぞれ読み出す。補正部29は、モデル領域C1に対応する第1テンプレート画像と同じパターンの第1部分画像D1を検査画像81から探索するとともに、モデル領域C2に対応する第2テンプレート画像と同じパターンの第2部分画像D2を検査画像81から探索する。
具体的には、補正部29は、第1テンプレート画像の位置姿勢を変化させながら、第1テンプレート画像と検査画像81との相関演算を行ない、相関値で示される類似度が最も高い第1テンプレート画像の位置姿勢を探索する。そして、補正部29は、探索された位置姿勢の第1テンプレート画像と重なる領域の画像を第1部分画像D1として特定する。同様に方法により、補正部29は、相関値で示される類似度が最も高い位置姿勢の第2テンプレート画像と重なる領域の画像を第2部分画像D2として特定する。
相関値としては、公知のSSD(Sum of Squared Difference)、SAD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)などを用いることができる。なお、相関値としてSSDまたはSADを用いる場合には、補正部29は、相関値が最小となるテンプレート画像の位置姿勢を探索すればよい。相関値としてNCCを用いる場合には、補正部29は、相関値が1に最も近いテンプレート画像の位置姿勢を探索すればよい。
補正部29は、探索した部分画像D1,D2の位置姿勢と、モデル領域C1,C2の位置姿勢とをそれぞれ比較することにより、基準画像80中の基準ワークW0の位置姿勢(以下、「基準位置姿勢」という)に対する検査画像81中のワークWの位置姿勢の偏差を求める(算出する)。偏差は、X方向、Y方向および回転方向(θ方向)のそれぞれのずれ量ΔX,ΔYおよびΔθを示す。
補正部29は、算出された偏差に基づいて、検査画像81に対する検査領域A1および信頼性評価領域B1の相対位置姿勢を補正する。すなわち、補正部29は、算出された偏差分だけ、検査領域A1および信頼性評価領域B1の位置姿勢を補正する。具体的には、補正部29は、検査画像81を固定にした状態で、検査領域A1および信頼性評価領域B1を、X方向にΔXだけ並進移動させ、Y方向にΔYだけ並進移動させ、Δθだけ回転移動させる。
なお、補正部29は、検査領域A1および信頼性評価領域B1を固定にしたまま、検査画像81の位置姿勢を補正してもよい。この場合、補正部29は、上記の検査領域A1および信頼性評価領域B1の位置姿勢の変換とは逆の変換を、検査画像81の位置姿勢に対して行なえばよい。
図16は、変形例1に係る検査システムの検査処理の流れを示すフローチャートである。図16に示すフローチャートは、図12に示すフローチャートと比較して、ステップS11,S12をさらに含む点で異なる。
撮像装置10から検査画像データを取得すると(ステップS2)、ステップS11において、画像処理装置20Aの補正部29は、基準位置姿勢に対する検査画像81中のワークWの位置姿勢の偏差を算出する。
次に、ステップS12において、補正部29は、算出した偏差に基づいて、検査画像81に対する検査領域A1および信頼性評価領域B1の相対位置姿勢を補正する。その後、補正された検査領域A1を用いてワークWの検査が実行され(ステップS3)、補正された信頼性評価領域B1を用いて信頼性の評価が実行される(ステップS4)。
なお、上記の説明では、モデル領域C1,C2と信頼性評価領域B1とが別個に設定されるものとした。しかしながら、信頼性評価領域B1と同じ領域がモデル領域として設定されてもよい。すなわち、信頼性評価領域B1は、モデル領域として共用されてもよい。
<変形例2>
変形例2に係る検査システムは、変形例1に係る検査システムのさらなる変形例である。変形例2に係る検査システムでは、判定部27は、以下のような処理を行なう。
判定部27は、検査結果が第1基準を満たし、かつ、評価結果が第2基準を満たし、かる、補正部29によって算出された相関値が予め定められた第3基準を満たす場合に、ワークWが良品であると判定する。判定部27は、補正部29によって算出された相関値が第3基準を満たさない場合に、ワークWを正常に撮像できていないと判定する。
補正部29によって算出される相関値は、モデル領域C1,C2のテンプレート画像と、検査画像中から探索された部分画像D1,D2との類似度を示す。相関値で示される類似度が低い場合には、何らかの原因により検査対象となるワークWを正常に撮像できていない可能性が高い。例えば、ステージ90上においてワークWの位置が所定位置から大きくずれているために、画像内にワークWが収まっていない場合である。
第3基準は、例えば、モデル領域C1,C2のテンプレート画像と部分画像D1,D2との相関値で示される類似度が予め定められた類似度よりも高いという基準である。例えば、類似度が高いほど相関値が小さい場合、第3基準は、相関値が予め定められた閾値を下回ることを示す。
変形例2によれば、ワークWを正常に撮像できていないにもかかわらず、不良のワークWを良品として見逃すリスクをさらに低減することができる。
<変形例3>
変形例3に係る検査システムは、変形例1に係る検査システムのさらなる変形例である。変形例3に係る検査システムでは、補正部29によって補正された信頼性評価領域B1を用いてオートフォーカス処理が実行される。
図17は、変形例3に係る検査システムの検査処理の流れを示すフローチャートである。図17に示すフローチャートは、図16に示すフローチャートと比較して、ステップS2,S11およびS12の代わりにステップS21〜S23を含み、さらにステップS24,S25をさらに含む点で異なる。
ステップS1の後、画像処理装置20の探索部24は、ステップS21において、レンズモジュール12の焦点位置が合焦位置に調節されたときの画像データを補正用画像データとして特定する。
次に、補正部29は、基準位置姿勢に対する、補正用画像データで示される補正用画像中のワークWの位置姿勢の偏差を算出する(ステップS22)。補正部29は、算出した偏差に基づいて、補正用画像に対する検査領域A1および信頼性評価領域B1の相対位置姿勢を補正する(ステップS23)。具体的には、補正部29は、変形例1と同様に、補正用画像を固定にしたまま、検査領域A1および信頼性評価領域B1の位置姿勢を補正する。もしくは、補正部29は、検査領域A1および信頼性評価領域B1を固定にしたまま、補正用画像の位置姿勢を補正してもよい。
次に、画像処理装置20は、補正された信頼性評価領域B1に基づいて、合焦位置の探索処理を実行する(ステップS24)。具体的には、算出部23は、複数の画像データの各々の信頼性評価領域B1の合焦度を算出する。探索部24は、算出された合焦度がピークとなる焦点位置を合焦位置として決定する。
次に、探索部24は、探索された合焦位置のときに生成された画像データを検査画像データとして特定する(ステップS25)。その後、検査画像データで示される検査画像のうちの、補正された検査領域A1を用いてワークWの検査が実行され(ステップS3)、補正された信頼性評価領域B1を用いて信頼性の評価が実行される(ステップS4)。
変形例3によれば、補正された信頼性評価領域B1に基づいて合焦位置の探索処理が再度実行され、検査画像データが生成される。そのため、検査対象箇所に合焦した検査画像データを得やすくなる。
<その他の変形例>
上記の説明では、出力部28は、判定部27による判定結果を出力する。しかしながら、検査システムが判定部27を備えておらず、出力部28は、検査部25による検査結果と、評価部26による評価結果とを出力してもよい。これによっても、作業者は、評価結果を確認することにより、焦点位置の調節に何らかの問題があり、精度良く検査できていないことが認識できる。その結果、ワークWの検査対象箇所とは異なる箇所に合焦した画像に基づく検査によって、不良のワークWを良品として見逃すリスクを低減できる。
上記の説明では、探索部24は、レンズモジュール12の焦点位置を変えて生成された複数の画像データに基づいて、ワークWに合焦する合焦位置を探索する。しかしながら、撮像装置10がワークWとの距離を計測する測距センサを備え、探索部24は、測距センサの計測結果に基づいて、合焦位置を探索してもよい。測距センサは、例えば、赤外線または超音波をワークWに向けて発してから、ワークWで反射して戻ってくるまでの時間に基づいて、レンズモジュール12からワークWまでの距離a(図3参照)を計測する。探索部24は、計測された距離aが上記の式(1)を満たす焦点位置Fを合焦位置として決定すればよい。ただし、この場合、測距センサが必要となるため、撮像装置10の部品点数が多くなる。撮像装置10の部品点数の増大を抑制するためには、探索部24は、レンズモジュール12の焦点位置を変えて生成された複数の画像データに基づいて、合焦位置を探索することが好ましい。
上記の説明では、撮像装置10は、焦点位置を変えて複数の画像データを出力する。そして、画像処理装置20は、複数の焦点位置からワークWの検査対象箇所に合焦する合焦位置を探索する。しかしながら、撮像装置10のレンズ制御部16は、ワークWの種類や検査対象箇所に応じて予め定められた固定位置となるようにレンズモジュール12の焦点位置を制御してもよい。すなわち、フォーカス調節部12eは、予め定められた固定位置にレンズモジュール12の焦点位置を調節する。この場合、画像処理装置20は、探索部24を備えていなくてもよい。
レンズモジュール12の焦点位置が予め定められた固定位置に調節されたとしても、ワークWのサイズの個体差、あるいは、ワークWを搬送する搬送装置の状態に応じて、撮像装置10とワークWの検査対象箇所との距離が変動する。そのため、ワークWの検査対象箇所に合焦した検査画像を常に得られるとは限らない。このような場合に、画像処理装置20が上記の評価部26を備えることにより、焦点位置がずれていることに起因して精度良く検査できていないことが認識可能となる。
§4 付記
以上のように、実施の形態および変形例は以下のような開示を含む。
(構成1)
焦点位置が可変である光学系(12)と、
前記光学系(12)を介して対象物(W)からの光を受けることによって画像を生成する撮像素子(13)と、
前記焦点位置を調節するフォーカス調節部(12e)と、
前記フォーカス調節部(12e)によって前記焦点位置が調節されたときに生成された検査画像のうちの第1領域に基づいて前記対象物(W)を検査し、検査結果を出力する検査部(25,210)と、
前記検査画像のうちの第2領域に基づいて、前記対象物の検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力する評価部(26,210)とを備える、検査システム(1,1A)。
(構成2)
予め生成された基準画像中の前記対象物(W)の位置姿勢に対する前記検査画像中の前記対象物(W)の位置姿勢の偏差に基づいて、前記検査画像に対する前記第1領域および前記第2領域の相対位置姿勢を補正する補正部(29,210)をさらに備える、構成1に記載の検査システム(1A)。
(構成3)
前記検査結果が予め定められた第1基準を満たし、かつ、前記評価結果が予め定められた第2基準を満たす場合に、前記対象物が良品であると判定する判定部(27,210)をさらに備える、構成1または2に記載の検査システム(1,1A)。
(構成4)
前記補正部(29,210)は、前記基準画像と前記検査画像との相関演算により得られる相関値に基づいて前記偏差を求め、
前記検査システム(1A)は、さらに、
前記検査結果が予め定められた第1基準を満たし、かつ、前記評価結果が予め定められた第2基準を満たし、かつ、前記相関値が予め定められた第3基準を満たす場合に、前記対象物が良品であると判定する判定部(27,210)をさらに備える、構成2に記載の検査システム(1A)。
(構成5)
前記評価結果は、前記検査画像のうちの前記第2領域における合焦度に基づいて算出される評価値を含む、構成1から4のいずれかに記載の検査システム(1,1A)。
(構成6)
前記対象物(W)に合焦する前記焦点位置である合焦位置を探索する探索部(24)をさらに備え、
前記検査画像は、前記フォーカス調節部(12e)によって前記焦点位置が前記合焦位置に調節されたときに生成される、構成1から5のいずれかに記載の検査システム(1,1A)。
(構成7)
焦点位置が可変である光学系(12)と、
前記光学系(12)を介して対象物(W)からの光を受けることによって画像を生成する撮像素子(13)と、
前記焦点位置を調節するフォーカス調節部(12e)とを備えた検査システムにおける検査方法であって、
前記フォーカス調節部(12e)によって前記焦点位置が調節されたときに生成された検査画像のうちの第1領域に基づいて前記対象物(W)を検査し、検査結果を出力するステップと、
前記検査画像のうちの第2領域に基づいて、前記対象物の検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力するステップとを備える、検査方法。
(構成8)
焦点位置が可変である光学系(12)と、
前記光学系(12)を介して対象物(W)からの光を受けることによって画像を生成する撮像素子(13)と、
前記焦点位置を調節するフォーカス調節部(12e)とを備えた検査システムにおける検査方法をコンピュータに実行させるためのプログラムであって、
前記検査方法は、
前記フォーカス調節部(12e)によって前記焦点位置が調節されたときに生成された検査画像のうちの第1領域に基づいて前記対象物(W)を検査し、検査結果を出力するステップと、
前記検査画像のうちの第2領域に基づいて、前記対象物の検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力するステップとを備える、プログラム。
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1,1A 検査システム、10 撮像装置、11 照明部、12 レンズモジュール、12a,12c レンズ、12b レンズ群、12d 可動部、12e1,12e2 電圧源、12e フォーカス調節部、13 撮像素子、13a 撮像面、14 撮像素子制御部、15,17 レジスタ、16 レンズ制御部、18 通信I/F部、20,20A 画像処理装置、21 指令生成部、22,22A 設定部、23 算出部、24 探索部、25 検査部、26 評価部、27 判定部、28 出力部、29 補正部、30 PLC、40 入力装置、50 表示装置、70 透光性容器、71 導電性液体、72 絶縁性液体、73a,73b,74a,74b 電極、75a,75b 絶縁体、76a,76b 絶縁層、80 基準画像、81 検査画像、90 ステージ、206 メモリカード、216 カメラインターフェース、216a 画像バッファ、218 入力インターフェース、220 表示コントローラ、222 PLCインターフェース、224 通信インターフェース、226 データリーダ/ライタ、228 バス、230 記憶部、232 メインメモリ、234 ハードディスク、236 制御プログラム、A1 検査領域、B1 信頼性評価領域、C1,C2 モデル領域、D1 第1部分画像、D2 第2部分画像、W ワーク、W0 基準ワーク。

Claims (8)

  1. 焦点位置が可変である光学系と、
    前記光学系を介して対象物からの光を受けることによって画像を生成する撮像素子と、
    前記焦点位置を調節するフォーカス調節部と、
    前記フォーカス調節部によって前記焦点位置が調節されたときに生成された検査画像のうちの第1領域に基づいて前記対象物を検査し、検査結果を出力する検査部と、
    前記検査画像のうちの第2領域に基づいて、前記対象物の検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力する評価部とを備える、検査システム。
  2. 予め生成された基準画像中の前記対象物の位置姿勢に対する前記検査画像中の前記対象物の位置姿勢の偏差に基づいて、前記検査画像に対する前記第1領域および前記第2領域の相対位置姿勢を補正する補正部をさらに備える、請求項1に記載の検査システム。
  3. 前記検査結果が予め定められた第1基準を満たし、かつ、前記評価結果が予め定められた第2基準を満たす場合に、前記対象物が良品であると判定する判定部をさらに備える、請求項1または2に記載の検査システム。
  4. 前記補正部は、前記基準画像と前記検査画像との相関演算により得られる相関値に基づいて前記偏差を求め、
    前記検査システムは、さらに、
    前記検査結果が予め定められた第1基準を満たし、かつ、前記評価結果が予め定められた第2基準を満たし、かつ、前記相関値が予め定められた第3基準を満たす場合に、前記対象物が良品であると判定する判定部をさらに備える、請求項2に記載の検査システム。
  5. 前記評価結果は、前記検査画像のうちの前記第2領域における合焦度に基づいて算出される評価値を含む、請求項1から4のいずれか1項に記載の検査システム。
  6. 前記対象物に合焦する前記焦点位置である合焦位置を探索する探索部をさらに備え、
    前記検査画像は、前記フォーカス調節部によって前記焦点位置が前記合焦位置に調節されたときに生成される、請求項1から5のいずれか1項に記載の検査システム。
  7. 焦点位置が可変である光学系と、
    前記光学系を介して対象物からの光を受けることによって画像を生成する撮像素子と、
    前記焦点位置を調節するフォーカス調節部とを備えた検査システムにおける検査方法であって、
    前記フォーカス調節部によって前記焦点位置が調節されたときに生成された検査画像のうちの第1領域に基づいて前記対象物を検査し、検査結果を出力するステップと、
    前記検査画像のうちの第2領域に基づいて、前記対象物の検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力するステップとを備える、検査方法。
  8. 焦点位置が可変である光学系と、
    前記光学系を介して対象物からの光を受けることによって画像を生成する撮像素子と、
    前記焦点位置を調節するフォーカス調節部とを備えた検査システムにおける検査方法をコンピュータに実行させるためのプログラムであって、
    前記検査方法は、
    前記フォーカス調節部によって前記焦点位置が調節されたときに生成された検査画像のうちの第1領域に基づいて前記対象物を検査し、検査結果を出力するステップと、
    前記検査画像のうちの第2領域に基づいて、前記対象物の検査対象箇所に対する合焦の信頼性を評価し、評価結果を出力するステップとを備える、プログラム。
JP2018221070A 2018-11-27 2018-11-27 検査システム、検査方法およびプログラム Active JP7047725B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018221070A JP7047725B2 (ja) 2018-11-27 2018-11-27 検査システム、検査方法およびプログラム
PCT/JP2019/044387 WO2020110711A1 (ja) 2018-11-27 2019-11-12 検査システム、検査方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018221070A JP7047725B2 (ja) 2018-11-27 2018-11-27 検査システム、検査方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020085678A true JP2020085678A (ja) 2020-06-04
JP7047725B2 JP7047725B2 (ja) 2022-04-05

Family

ID=70852386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018221070A Active JP7047725B2 (ja) 2018-11-27 2018-11-27 検査システム、検査方法およびプログラム

Country Status (2)

Country Link
JP (1) JP7047725B2 (ja)
WO (1) WO2020110711A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210313A1 (ja) * 2022-04-28 2023-11-02 パナソニックIpマネジメント株式会社 測定方法、測定システム、および情報処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180380A (ja) * 1998-12-11 2000-06-30 Ckd Corp 外観検査装置およびptpシートの外観検査装置ならびにptp包装機
JP2004038884A (ja) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk 代表点計測に基づく画像歪み補正方法、画像歪み補正装置及び画像歪み補正プログラム
JP2011191086A (ja) * 2010-03-12 2011-09-29 Omron Corp 画像処理方法および画像処理装置
WO2012144025A1 (ja) * 2011-04-20 2012-10-26 株式会社メガトレード 自動検査装置および自動検査装置における位置合わせ方法
US20150015696A1 (en) * 2013-07-11 2015-01-15 Mitutoyo Corporation Focus Height Repeatability Improvement in a Machine Vision Inspection System
JP2018087860A (ja) * 2016-11-28 2018-06-07 オリンパス株式会社 撮像装置及び撮像装置の制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07306009A (ja) * 1994-05-10 1995-11-21 Casio Comput Co Ltd 透明基板の位置合わせ方法
JP5718116B2 (ja) * 2011-03-23 2015-05-13 株式会社ブリヂストン 透明シート材の外観検査用治具、及びこれを用いた透明シート材の外観検査方法
TWI585394B (zh) * 2015-12-09 2017-06-01 由田新技股份有限公司 動態式自動追焦系統

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180380A (ja) * 1998-12-11 2000-06-30 Ckd Corp 外観検査装置およびptpシートの外観検査装置ならびにptp包装機
JP2004038884A (ja) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk 代表点計測に基づく画像歪み補正方法、画像歪み補正装置及び画像歪み補正プログラム
JP2011191086A (ja) * 2010-03-12 2011-09-29 Omron Corp 画像処理方法および画像処理装置
WO2012144025A1 (ja) * 2011-04-20 2012-10-26 株式会社メガトレード 自動検査装置および自動検査装置における位置合わせ方法
US20150015696A1 (en) * 2013-07-11 2015-01-15 Mitutoyo Corporation Focus Height Repeatability Improvement in a Machine Vision Inspection System
JP2018087860A (ja) * 2016-11-28 2018-06-07 オリンパス株式会社 撮像装置及び撮像装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210313A1 (ja) * 2022-04-28 2023-11-02 パナソニックIpマネジメント株式会社 測定方法、測定システム、および情報処理方法

Also Published As

Publication number Publication date
WO2020110711A1 (ja) 2020-06-04
JP7047725B2 (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
US8340456B1 (en) System and method for depth from defocus imaging
US20120307089A1 (en) Estimating optical characteristics of a camera component using sharpness sweep data
WO2020110712A1 (ja) 検査システム、検査方法およびプログラム
JP5841844B2 (ja) 画像処理装置及び画像処理方法
TWI667530B (zh) Inspection method and inspection device
US11587260B2 (en) Method and apparatus for in-field stereo calibration
US10827114B2 (en) Imaging system and setting device
CN104880913B (zh) 一种提高工艺适应性的调焦调平系统
JP6961846B1 (ja) Euvマスク検査装置、euvマスク検査方法、euvマスク検査プログラム及びeuvマスク検査システム
WO2020110711A1 (ja) 検査システム、検査方法およびプログラム
JP2015108582A (ja) 3次元計測方法と装置
JP5531883B2 (ja) 調整方法
JP6732680B2 (ja) マップ作成方法、マスク検査方法およびマスク検査装置
JP2015105897A (ja) マスクパターンの検査方法
US20220398778A1 (en) Lens calibration method for digital imaging apparatus
JP7287533B2 (ja) 検査システム、検査方法およびプログラム
JP2006343143A (ja) 撮像素子の検査装置
TW201809592A (zh) 自動化三維量測
JP7135586B2 (ja) 画像処理システム、画像処理方法およびプログラム
JP7079569B2 (ja) 検査方法
CN112964179B (zh) 一种用于cd测量机的线宽测量误差补偿方法
JP7198731B2 (ja) 撮像装置、及びフォーカス調整方法
WO2020039922A1 (ja) 画像処理システム、画像処理方法およびプログラム
US20230143750A1 (en) Feed-forward and utilization of height information for metrology tools
JP2020101600A (ja) 撮像システムおよび設定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R150 Certificate of patent or registration of utility model

Ref document number: 7047725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150