JP2022100524A - 検査システムおよび検査方法 - Google Patents

検査システムおよび検査方法 Download PDF

Info

Publication number
JP2022100524A
JP2022100524A JP2020214546A JP2020214546A JP2022100524A JP 2022100524 A JP2022100524 A JP 2022100524A JP 2020214546 A JP2020214546 A JP 2020214546A JP 2020214546 A JP2020214546 A JP 2020214546A JP 2022100524 A JP2022100524 A JP 2022100524A
Authority
JP
Japan
Prior art keywords
illumination
image
polarizing
polarized
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020214546A
Other languages
English (en)
Inventor
泰之 池田
Yasuyuki Ikeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2020214546A priority Critical patent/JP2022100524A/ja
Priority to PCT/JP2021/009554 priority patent/WO2022137579A1/ja
Publication of JP2022100524A publication Critical patent/JP2022100524A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】移動している対象物に対して、照明条件の異なる複数の画像を用いた検査が可能な検査システムを提供する。【解決手段】検査システムは、対象物を照明する複数の照明部と、複数の偏光子を含む単位領域が繰り返して配列された偏光カメラと、検査装置と、を備える。複数の照明部は、互いに異なる偏光状態の照明光を照射する。複数の偏光子は、互いに異なる偏光方向の光を透過させる。偏光カメラは、複数の照明部が同時に点灯している状態において撮像することにより、複数の偏光子にそれぞれ対応する複数の偏光画像を出力する。検査装置は、複数の偏光画像を用いて対象物を検査する。【選択図】図1

Description

本開示は、検査システムおよび検査方法に関する。
FA(Factory Automation)分野などにおいて、対象物を照明しながら撮像し、得られた画像を用いて対象物の外観が検査される。従来、検査性能の向上のために、照明条件を変更して複数回撮像する方法が知られている。
たとえば、フォトメトリックステレオ法では、光源の方向を変化させながら複数回撮像することにより得られる複数の画像を用いて、対象物の表面の法線が推測される。これにより、対象物の表面の汚れに影響されずに表面の凹凸が検査される。
さらに、特開2016-105044号公報(特許文献1)には、P種類の照明光で対象物が順次照射されるたびに、対象物からの戻り光の画像を取得する画像処理装置が開示されている。
特開2016-105044号公報
対象物が移動している場合、上記の従来の方法では、複数回の撮像によりそれぞれ得られる複数の画像中の対象物の位置が互いに異なる。そのため、上記の従来の方法は、移動している対象物に対して適用できない。
本開示は、上記の問題に鑑みてなされたものであり、その目的は、移動している対象物に対して、照明条件の異なる複数の画像を用いた検査が可能な検査システムおよび検査方法を提供することである。
本開示の一例によれば、検査システムは、対象物を照明する複数の照明部と、複数の偏光子を含む単位領域が繰り返して配列された偏光カメラと、検査装置と、を備える。複数の照明部は、互いに異なる偏光状態の照明光を照射する。複数の偏光子は、互いに異なる偏光方向の光を透過させる。偏光カメラは、複数の照明部が同時に点灯している状態において撮像することにより、複数の偏光子にそれぞれ対応する複数の偏光画像を出力する。検査装置は、複数の偏光画像を用いて対象物を検査する。
上記の開示によれば、複数の偏光画像の各々は、対応する偏光子の偏光方向とのなす角度が最も小さい偏光を照射する照明部の照明条件を主とする照明条件下で撮像された画像に対応する。すなわち、ワンショット撮像により、複数の照明条件に対応する複数の偏光画像が取得される。そのため、移動している対象物に対して、照明条件の異なる複数の偏光画像を用いた検査が可能となる。
上述の開示において、複数の照明部は、偏光カメラの光軸の周りの方位角が互いに異なるように配置される。複数の照明部は、第1~第Nの照明部を含む。複数の偏光子は、第1~第Nの偏光子を含む。Nは、2以上の整数である。第1~第Nの照明部の照明光の偏光方向は、第1~第Nの偏光子を透過する光の偏光方向とそれぞれ平行である。検査装置は、複数の偏光画像から対象物の表面の法線方向を示す法線画像を生成し、法線画像に基づいて対象物を検査する。
上記の開示によれば、第1~第Nの偏光子の各々に対応する偏光画像は、当該偏光子の偏光方向と平行な照明光を照射する照明部の光が最も強くなるように撮像される。すなわち、第1~第Nの照明部のうち偏光画像に与える影響の最も大きい照明部は、複数の偏光画像において互いに異なる。第1~第Nの照明部は、偏光カメラの光軸の周りの方位角が互いに異なるように配置される。そのため、照明光の方位角に関する条件が互いに異なる複数の偏光画像が1回の撮像で得られる。そして、複数の偏光画像から法線画像が生成される。法線画像を用いることにより、対象物の表面の凹凸が精度良く検査される。
上述の開示において、Nは4である。第1の照明部および第3の照明部は、偏光カメラの光軸に対して対称な位置に配置される。第2の照明部および第4の照明部は、偏光カメラの光軸に対して対称な位置に配置される。偏光カメラの光軸の周りにおいて、第1の照明部が配置される第1の方位角と第2の照明部が配置される第2の方位角との差が90°である。複数の偏光画像は、第1~第4の偏光子にそれぞれ対応する第1~第4の偏光画像を含む。検査装置は、第1~第4の偏光画像に基づいて、対象物の表面の法線ベクトルにおける第1の方位角の方向に沿った成分の大きさを示す第1の法線画像を生成する。検査装置は、第1~第4の偏光画像に基づいて、対象物の表面の法線ベクトルにおける第2の方位角の方向に沿った成分の大きさを示す第2の法線画像を生成する。検査装置は、第1の法線画像と第2の法線画像とに基づいて、対象物の表面の形状を示す形状画像を生成し、形状画像に基づいて対象物を検査する。
上記の開示によれば、第1の方位角の方向に沿った成分の大きさを示す第1の法線画像と、第2の方位角の方向に沿った成分の大きさを示す第2の法線画像とが生成される。これにより、たとえば対象物の表面のキズの形成方向がランダムであっても、当該キズに応じた形状の変化が形状画像に現われる。そのため、対象物の表面のキズが精度良く検査される。
上述の開示において、第2の照明部、第3の照明部および第4の照明部の照明光の偏光方向と第1の照明部の照明光の偏光方向とのなす角度は、それぞれ45°、90°および135°である。
上記の開示によれば、第1~第4の偏光画像は、それぞれ第1~第4の照明部の照明条件を主とする照明条件下で撮像された画像に対応する。そして、第1の偏光画像に対する第3の照明部の照明光の影響を最大限に小さくできる。同様に、第2,第3および第4の偏光画像に対する第4,第1および第2の照明部の照明光の影響を最大限にそれぞれ小さくできる。
上述の開示において、複数の照明部は、対象物に対する仰角が互いに異なるように配置される。
上記の開示によれば、照明条件として対象物に対する仰角が異なる複数の偏光画像が1回の撮像で得られる。
上述の開示において、複数の照明部は、偏光カメラの光軸に沿って照明光を照射する第1の照明部と、偏光カメラの光軸を中心とするリング型の第2の照明部と、を含む。複数の偏光子は、第1の偏光子および第2の偏光子を含む。第1の照明部および第2の照明部から照射される照明光の偏光方向は、第1の偏光子および第2の偏光子を透過する光の偏光方向とそれぞれ一致する。
上記の開示によれば、第1の偏光子に対応する第1の偏光画像は、第1の照明部から照射され、対象物の表面で正反射した光の輝度を示す。すなわち、第1の偏光画像は、明視野照明の条件下で得られる画像に対応する。明視野照明の条件下で得られる画像において、キズが存在する部分の輝度が低下する。そのため、第1の偏光画像を用いることにより、キズを精度良く検査できる。
第2の偏光子に対応する第2の偏光画像は、第2の照明部から照射され、対象物の表面で拡散反射した光の輝度を示す。すなわち、第2の偏光画像は、暗視野照明の条件下で得られる画像に対応する。暗視野照明の条件下で得られる画像において、汚れが存在する部分の輝度がその周囲の輝度と異なる。そのため、第2の偏光画像を用いることにより、汚れを精度良く検査できる。
このように、キズの検査に適した第1の偏光画像と、汚れの検査に適した第2の偏光画像とが、1回の撮像によって取得される。
上述の開示において、複数の照明部は、偏光カメラの光軸を中心とする同心円状の複数のリング型照明部を含む。検査装置は、複数の偏光画像に基づいて、対象物の表面の法線方向と偏光カメラの光軸方向とのなす角度を示す位相画像を生成する。位相画像に基づいて、対象物を検査する。
上記の開示によれば、複数のリング型照明部の照明光の偏光状態が互いに異なるため、複数のリング型照明部から照射され、対象物の表面で正反射して各偏光子を透過する光量は、互いに異なる。そのため、複数の偏光画像には互いに位相の異なる縞パターンが写る。すなわち、互いに位相の異なる縞パターンの写る複数の偏光画像が1回の撮像で得られる。そして、複数の偏光画像から生成される位相画像は、対象物の表面の法線方向を示す。そのため、位相画像を用いることにより、対象物の表面の凹凸が精度良く検査される。
上述の開示において、複数の照明部は、さらに、前記偏光カメラの光軸に沿って照明光を照射する照明部を含む。
上記の開示によれば、同心円の中心部分に関する縞パターンの欠損を低減でき、より正確な検査を行なうことができる。
上述の開示において、複数の照明部は、偏光カメラの光軸に沿って照明光を照射する第1の照明部と、対象物の背面側から照明光を照射する第2の照明部と、を含む。複数の偏光子は、第1の偏光子および第2の偏光子を含む。第1の照明部および第2の照明部から照射される照明光の偏光方向は、第1の偏光子および第2の偏光子を透過する光の偏光方向とそれぞれ一致する。
上記の開示によれば、第1の偏光子に対応する第1の偏光画像は、第1の照明部から照射され、対象物の表面で正反射した光の輝度を示す。キズが存在する部分に光が入射すると、乱反射する。そのため、第1の偏光画像において、キズが存在する部分の輝度が低下する。したがって、第1の偏光画像を用いることにより、キズを精度良く検査できる。
第2の偏光子に対応する第2の偏光画像は、第2の照明部から照射され、偏光カメラに入射する光の輝度を示す。そのため、対象物が遮光性を有する場合、第2の偏光画像において、対象物の外周の形状が明確に認識される。したがって、第2の偏光画像を用いることにより、対象物の外周のバリまたは欠けを精度良く検査できる。
このように、キズの検査に適した第1の偏光画像と、対象物の外周のバリまたは欠けの検査に適した第2の偏光画像とが、1回の撮像によって取得される。
上述の開示において、複数の照明部は、直線偏光の照明光を照射する第1の照明部と、非偏光を照射する第2の照明部と、を含む。複数の偏光子は、第1~第3の偏光子を含む、第1の偏光子は、第1の照明部の照明光の偏光方向と同じ偏光方向の光を透過させる。第2の偏光子は、第1の偏光子を透過する光の偏光方向とのなす角度が45°の偏光方向の光を透過させる。第3の偏光子は、第1の偏光子を透過する光の偏光方向とのなす角度が90°の偏光方向の光を透過させる。複数の偏光画像は、第1~第3の偏光子にそれぞれ対応する第1~第3の偏光画像を含む。検査装置は、第1~第3の偏光画像をハイダイナミックレンジ合成して、合成画像を生成し、合成画像に基づいて、対象物を検査する。
上記の開示によれば、第2の照明部から照射された非偏光は、第1~第3の偏光子を均一に透過する。一方、第1の照明部から照射された直線偏光は、第1の偏光子を透過するが、第3の偏光子を透過しない。また、第1の照明部から照射され、第2の偏光子を透過する光の強度は、第1の照明部から照射され、第1の偏光子を透過する光の強度の1/2である。そのため、第1~第3の偏光画像は、照明強度が互いに異なる照明条件下で撮像された複数の画像に対応する。すなわち、照明強度が互いに異なる第1~第3の偏光画像が1回の撮像で得られる。そして、第1~第3の偏光画像がハイダイナミックレンジ合成され、合成画像が生成される。合成画像を用いることにより、対象物の検査精度が向上する。
本開示の一例によれば、検査方法は、対象物を照明する複数の照明部と、複数の偏光子を含む単位領域が繰り返し配列された偏光カメラとを用いる。複数の照明部は、互いに異なる偏光状態の照明光を照射する。複数の偏光子は、互いに異なる偏光方向の光を透過させる。検査方法は、複数の照明部が同時に点灯している状態において、偏光カメラを用いて対象物を撮像することにより、複数の偏光子にそれぞれ対応する複数の偏光画像を取得するステップと、複数の偏光画像を用いて対象物を検査するステップと、を備える。
上記の開示によっても、移動している対象物に対して、照明条件の異なる複数の画像を用いて検査できる。
本開示によれば、移動している対象物に対して、照明条件の異なる複数の画像を用いて検査できる。
本実施の形態に係る検査システムの全体構成を示す概略図である。 偏光カメラが有する偏光子の配置の一例を示す図である。 検査装置のハードウェア構成を示す模式図である。 フォトメトリックステレオ法で用いられる従来の照明装置の一例を示す図である。 第1の検査例に係る複数の照明部の配置を示す図である。 直線偏光フィルタ12a~12dの偏光方向の一例を示す図である。 第1の検査例における検査処理の流れの一例を示すフローチャートである。 照明部10a~10dと対象物Wの表面上の点Pにおける法線ベクトルnとの関係を示す図である。 照明部10cから照射された光の進行方向と点Pの法線方向とをXZ平面に投影したときの、当該進行方向と当該法線方向の関係を示す図である。 照明部10cから照射された光の進行方向と点Pの法線方向とをYZ平面に投影したときの、当該進行方向と当該法線方向の関係を示す図である。 光沢度α=5のときのNyとφxとφyとの関係を示す図である。 光沢度α=10のときのNyとφxとφyとの関係を示す図である。 光沢度α=20のときのNyとφxとφyとの関係を示す図である。 光沢度α=5のときのアルベドμとφxとφyとの関係を示す図である。 光沢度α=10のときのアルベドμとφxとφyとの関係を示す図である。 光沢度α=20のときのアルベドμとφxとφyとの関係を示す図である。 形状画像の生成のために、X方向法線画像に対して実行される処理を示す図である。 形状画像の生成のために、Y方向法線画像に対して実行される処理を示す図である。 ボタン電池を撮像することにより得られる偏光画像と、偏光画像から生成された各種画像とを示す図である。 乾電池の側面を撮像することにより得られる偏光画像と、偏光画像から生成された各種画像とを示す図である。 乾電池の底面を撮像することにより得られる偏光画像と、偏光画像から生成された各種画像とを示す図である。 シボ加工された樹脂表面を撮像することにより得られる偏光画像と、偏光画像から生成された各種画像とを示す図である。 第2の検査例に係る複数の照明部の配置を示す図である。 照明部10eの構成を示す図である。 第2の検査例において得られた複数の偏光画像の一例を示す図である。 第3の検査例に係る複数の照明部の配置の一例を示す図である。 照明部10e,10g~10iから照射され、対象物Wで正反射した光のうち各偏光子を透過する量を示す図である。 第3の検査例に係る複数の照明部の配置の別の例を示す図である。 照明部10e,10g~10lから照射され、対象物Wで正反射した光のうち各偏光子を透過する量を示す図である。 図26に示す複数の照明部を用いて得られる偏光画像50a~50dの一例を示す図である。 図28に示す複数の照明部を用いて得られる偏光画像50a~50dの一例を示す図である。 第4の検査例に係る複数の照明部の配置を示す図である。 第4の検査例において得られた複数の偏光画像の一例を示す図である。 第5の検査例に係る複数の照明部の配置を示す図である。 第5の検査例において得られた複数の偏光画像の一例を示す図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
§1 適用例
図1および図2を参照して、本発明の適用例について説明する。図1は、本実施の形態に係る検査システム1の全体構成を示す概略図である。検査システム1は、対象物Wを撮像することにより得られる画像を用いて、対象物Wを検査する。対象物Wは、金属やガラスなど光沢な表面、すなわち、入射光が主に正反射する表面を有する。検査システム1は、例えば生産ラインに組み込まれ、搬送ベルト2によって移動中の対象物Wの欠陥の有無を検査する。
欠陥には、キズ、凹凸、汚れ、ゴミの付着、バリ、欠けなどが含まれる。欠陥の有無を精度良く検査するためには、画像中において欠陥部分を目立たせる必要がある。欠陥の種類に応じて、欠陥部分を目立たせる照明条件が異なる。そのため、複数種類の欠陥を検査したい場合、複数の照明条件下でそれぞれ撮像された複数の画像が必要となる。あるいは、複数の照明条件下でそれぞれ撮像された複数の画像を合成することにより得られる画像において、欠陥部分が目立つ場合もある。このような欠陥を検査したい場合も、複数の照明条件下でそれぞれ撮像された複数の画像が必要となる。図1に示す検査システム1は、移動中の対象物Wに対して、複数の照明条件にそれぞれ対応する複数の画像を1回の撮像(ワンショット撮像)によって取得し、取得した複数の画像を用いて、対象物Wを検査する。
図1に示されるように、検査システム1は、対象物Wを照明する複数の照明部10と、偏光カメラ20と、検査装置30と、を備える。
複数の照明部10は、互いに異なる偏光状態の照明光を照射する。図1に示す検査システム1は、照明部10a,10b,10c、10d,・・・を含む。以下、照明部10a,10b,10c、10d,・・・を特に区別しない場合、照明部10a,10b,10c、10d,・・・の各々を「照明部10」と記載する。
典型的には、複数の照明部10の各々は、非偏光を発する発光部と、発光部と対象物Wとの間に配置される直線偏光フィルタとを含む。直線偏光フィルタを透過する光の偏光方向は、複数の照明部10において互いに異なる。なお、複数の照明部10のうちの1つは、直線偏光フィルタを含まなくてもよい。この場合、1つの照明部10は、対象物Wに非偏光を照射する。
偏光カメラ20は、マトリクス状に配置された複数の光検知センサを有し、光検知センサによって検知された受光量(輝度)を画素値とする画像データ(以下、単に「画像」と称する。)を生成する。複数の光検知センサのサイズは同一である。光検知センサは、たとえばCCD(Coupled Charged Device)、CMOS(Complementary Metal Oxide Semiconductor)センサである。各光検知センサの光入射側には偏光子が設けられる。
図2は、偏光カメラ20が有する偏光子の配置の一例を示す図である。図2に示されるように、偏光カメラ20において、複数の偏光子22を含む単位領域21が繰り返して配列される。複数の単位領域21は、マトリクス状に配列される。複数の偏光子22のサイズは同一である。
図2に例示される偏光カメラ20において、単位領域21は、複数の偏光子22として、4つの光検知センサとそれぞれ重なり合う4つの偏光子22a~22dを含む。以下、偏光子22a~22dを特に区別しない場合、偏光子22a~22dの各々を「偏光子22」と記載する。
偏光子22a~22dの各々は、所定の偏光方向の直線偏光を透過させる。偏光子22aの偏光方向を基準方向とし、基準方向と偏光方向とのなす角度を偏光角とすると、偏光子22a~22dの偏光角は、それぞれ0°,45°,90°,135°である。なお、偏光角には、製造上の誤差、取り付け誤差などが含まれ得る。たとえば、製造上の誤差および取り付け誤差の合計の最大がβ°である場合、「偏光角45°」は、45°±β°の範囲を含む。
偏光カメラ20は、複数の照明部10が同時に点灯している状態において撮像することにより、複数の偏光子22にそれぞれ対応する複数の偏光画像50(図1参照)を出力する。図1に示す検査システム1は、複数の偏光画像50は、偏光画像50a,50b,50c,50d,・・・を含む。以下、偏光画像50a,50b,50c,50d,・・・を特に区別しない場合、偏光画像50a,50b,50c,50d,・・・の各々を「偏光画像50」と記載する。
複数の偏光画像50の各々の画素値は、複数の偏光子22のうち対応する偏光子22を透過した光の輝度を示す。たとえば、偏光カメラ20が図2に示す構成を有する場合、偏光子22a~22dにそれぞれ対応する偏光画像50a,50b,50c,50dが出力される。
検査装置30は、偏光カメラ20から受けた複数の偏光画像50を用いて対象物Wを検査する。
複数の偏光子22の各々は、複数の照明部10のうち、当該偏光子22の偏光方向とのなす角度が最も小さい直線偏光を照射する照明部10からの照明光をより多く透過させる。
たとえば、偏光子22aの偏光方向と照明部10aの偏光方向とが平行であり、偏光子22cの偏光方向と照明部10cの偏光方向とが平行である場合について説明する。図2に示されるように、偏光子22a,22cの偏光方向は、互いに直交する。この場合、照明部10aから照射され、対象物Wの表面で正反射した光は、偏光子22aを透過するが、偏光子22cを透過しない。一方、照明部10cから照射され、対象物Wの表面で正反射した光は、偏光子22aを透過しないが、偏光子22cを透過する。そのため、偏光子22aに対応する偏光画像50aでは、照明部10aの光が最も強くなるように撮像される。偏光子22cに対応する偏光画像50cでは、照明部10cの光が最も強くなるように撮像される。
このように、複数の偏光画像50の各々は、対応する偏光子22の偏光方向とのなす角度が最も小さい直線偏光を照射する照明部10の光が最も強くなるように撮像される。すなわち、ワンショット撮像により、複数の照明条件にそれぞれ対応する複数の偏光画像50が取得される。そのため、移動している対象物Wに対して、照明条件の異なる複数の偏光画像50を用いて検査できる。
§2 具体例
<A.検査装置のハードウェア構成>
図3は、検査装置のハードウェア構成を示す模式図である。図3に示すように、検査装置30は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の処理を実現する。
より具体的には、検査装置30は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ310と、RAM(Random Access Memory)312と、表示コントローラ314と、システムコントローラ316と、I/O(Input Output)コントローラ318と、ハードディスク320と、カメラインターフェイス322と、入力インターフェイス324と、通信インターフェイス328と、メモリカードインターフェイス330とを含む。これらの各部は、システムコントローラ316を中心として、互いにデータ通信可能に接続される。
プロセッサ310は、システムコントローラ316との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
システムコントローラ316は、プロセッサ310、RAM312、表示コントローラ314、およびI/Oコントローラ318とそれぞれバスを介して接続されており、各部との間でデータ交換などを行うとともに、検査装置30全体の処理を司る。
RAM312は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク320から読み出されたプログラムや、偏光カメラ20によって取得された偏光画像50、偏光画像50に対する処理結果などを保持する。
表示コントローラ314は、表示部302と接続されており、システムコントローラ316からの内部コマンドに従って、各種の情報を表示するための信号を表示部302へ出力する。表示部302は、一例として、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイや有機ELなどを含む。
I/Oコントローラ318は、検査装置30に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ318は、ハードディスク320と、カメラインターフェイス322と、入力インターフェイス324と、通信インターフェイス328と、メモリカードインターフェイス330と接続される。
ハードディスク320は、典型的には、不揮発性の磁気記憶装置であり、プロセッサ310で実行される検査プログラム350を記憶する。このハードディスク320にインストールされる検査プログラム350は、メモリカード306などに格納された状態で流通する。さらに、ハードディスク320には、カメラ画像が格納される。なお、ハードディスク320に代えて、フラッシュメモリなどの半導体記憶装置やDVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置を採用してもよい。
カメラインターフェイス322は、対象物Wを撮像することで生成された偏光画像50を受け付ける入力部に相当し、プロセッサ310と偏光カメラ20との間のデータ伝送を仲介する。より具体的には、カメラインターフェイス322は、偏光カメラ20と接続が可能であり、プロセッサ310からカメラインターフェイス322を介して偏光カメラ20に撮像指示が出力される。これにより、偏光カメラ20は、対象物Wを撮像し、カメラインターフェイス322を介して、生成された複数の偏光画像50をプロセッサ310に出力する。
入力インターフェイス324は、プロセッサ310とキーボード304、マウス、タッチパネル、専用コンソールなどの入力装置との間のデータ伝送を仲介する。すなわち、入力インターフェイス324は、ユーザが入力装置を操作することで与えられる操作指令を受け付ける。
通信インターフェイス328は、プロセッサ310と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス328は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード306に格納されたプログラムを検査装置30にインストールする形態に代えて、通信インターフェイス328を介して、配信サーバなどからダウンロードしたプログラムを検査装置30にインストールしてもよい。
メモリカードインターフェイス330は、プロセッサ310と記録媒体であるメモリカード306との間のデータ伝送を仲介する。すなわち、メモリカード306には、検査装置30で実行される検査プログラム350などが格納された状態で流通し、メモリカードインターフェイス330は、このメモリカード306から検査プログラム350を読み出す。なお、メモリカード306は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。
<B.検査例>
上述したように、検査したい欠陥の種類に応じて、最適な照明条件が異なる。そのため、検査したい欠陥の種類に応じて、複数の照明部10の位置、照明強度、偏光方向などが適切に設定される。以下に、本実施の形態に係る検査システム1を用いた第1~第5の検査例について説明する。なお、検査システム1は、以下の第1~第5の検査例に限定されず、他の検査例に用いられてもよい。
(B-1.第1の検査例)
第1の検査例は、フォトメトリックステレオ法(照度差ステレオ法)を用いる。フォトメトリックステレオ法は、照明光の入射方向が異なる条件下で得られる複数の画像を用いて、対象物の表面の傾き(法線ベクトル)を推定する手法である。
図4は、フォトメトリックステレオ法で用いられる従来の照明装置の一例を示す図である。図4に示されるように、リング型の照明装置110の4つの円弧領域110a~110dが順次点灯され、非偏光カメラを用いて撮像される。照明装置110の中心は、非偏光カメラの光軸225上に位置する。
具体的には、円弧領域110aのみが点灯された状態で1回目の撮像が行なわれる。次に、円弧領域110bのみが点灯された状態で2回目の撮像が行なわれる。次に、円弧領域110cのみが点灯された状態で3回目の撮像が行なわれる。次に、円弧領域110dのみが点灯された状態で4回目の撮像が行なわれる。これにより、照明光の入射方向が異なる条件下で得られる4枚の画像が得られる。しかしながら、4回の撮像が行なわれるため、図4に示す照明装置110は、移動している対象物Wには適用できない。そこで、本実施の形態に係る検査システム1は、第1の検査例において、フォトメトリックステレオ法で用いる複数の画像をワンショット撮像で取得する。
(照明部の配置)
図5は、第1の検査例に係る複数の照明部の配置を示す図である。図5に示されるように、複数の照明部10は、照明部10a~10dを含む。
照明部10a,10cは、偏光カメラ20の光軸25に対して対称な位置に配置される。照明部10b,10dは、偏光カメラ20の光軸25に対して対称な位置に配置される。偏光カメラ20の光軸25の周りにおいて、照明部10aが配置される方位角と照明部10bが配置される方位角との差が90°である。以下、偏光カメラ20の光軸25に対して、照明部10aが配置される方位の方向をX方向とし、照明部10bが配置される方位の方向をY方向とする。
照明部10a~10dは、発光部11a~11dと直線偏光フィルタ12a~12dとをそれぞれ有する。
発光部11a~11dは、非偏光を発する。発光部11a~11dの各々は、中心角90°の円弧状である。円弧状の発光部11a~11dは、中心が一致し、かつ、互いに重ならないように配置される。具体的には、発光部11a~11dの一端は、発光部11b~11d,11aの他端とそれぞれ接する。すなわち、発光部11a~11dが組み合わさることにより、1つのリング型照明が構成される。言い換えると、発光部11a~11dは、1つのリング型照明のうちの、中心角90°の4つの円弧領域である。なお、円弧状の発光部11a~11dの中心は、偏光カメラ20の光軸25上に位置する。
直線偏光フィルタ12a~12dは、発光部11a~11dの発光面にそれぞれ取り付けられる。
図6は、直線偏光フィルタ12a~12dの偏光方向の一例を示す図である。直線偏光フィルタ12aを透過する光の偏光方向を基準方向とし、基準方向と偏光方向とのなす角度を偏光角とすると、直線偏光フィルタ12a~12dの偏光角は、それぞれ0°,45°,90°,135°である。なお、偏光角には、製造上の誤差、取り付け誤差などが含まれ得る。たとえば、製造上の誤差および取り付け誤差の合計の最大がβ°である場合、「偏光角45°」は、45°±β°の範囲を含む。このように、照明部10b~10dの照明光の偏光方向と照明部10aの照明光の偏光方向とのなす角度は、それぞれ45°、90°および135°である。
第1の検査例において、検査システム1は、図2に示す偏光子22a~22dを含む偏光カメラ20を備える。偏光子22a~22dの偏光方向は、直線偏光フィルタ12a~12dの偏光方向とそれぞれ平行である。そのため、照明部10a~10dから照射され、対象物Wで正反射した光は、偏光子22a~22dをそれぞれ透過する。照明部10aから照射される光は、偏光子22b,22dの偏光方向に平行な成分を有する。そのため、照明部10aから照射され、対象物Wで正反射した光のうちの一部の成分は、偏光子22b,22dを透過する。具体的には、照明部10aから照射され、偏光子22b,22dの各々を透過する光量は、照明部10aから照射され、偏光子22aを透過する光量の約1/2である。同様に、照明部10bから照射され、対象物Wで正反射した光のうちの一部の成分は、偏光子22a,22cを透過する。照明部10cから照射され、対象物Wで正反射した光のうちの一部の成分は、偏光子22b,22dを透過する。照明部10dから照射され、対象物Wで正反射した光のうちの一部の成分は、偏光子22a,22cを透過する。
(検査処理の流れ)
図7は、第1の検査例における検査処理の流れの一例を示すフローチャートである。まず、偏光カメラ20は、照明部10a~10dが同時点灯している状態において、対象物Wを撮像し、偏光子22a~22dにそれぞれ対応する偏光画像50a~50dを出力する(ステップS1)。ステップS1の後、検査システム1は、並行してステップS2,S3,S10を開始する。
ステップS2において、検査装置30のプロセッサ310は、偏光画像50a~50dを用いて、対象物Wの表面の法線ベクトルにおけるX方向に沿った成分の大きさを示すX方向法線画像を生成する。同様に、ステップS3において、プロセッサ310は、偏光画像50a~50dを用いて、対象物Wの表面の法線ベクトルにおけるY方向成分の大きさを示すY方向法線画像を生成する。X方向法線画像およびX方向法線画像の生成方法の詳細は後述する。
ステップS2およびステップS3の後、ステップS4およびステップS5がそれぞれ実施される。ステップS2,S3では、後述するように、対象物Wの表面の光沢度αが1であると仮定して、X方向法線画像およびY方向法線画像が生成される。しかしながら、対象物Wの表面の光沢度αは1とは限らない。光沢度αに応じて、入射光のうち正反射する成分の割合が異なる。そのため、ステップS4において、プロセッサ310は、対象物Wの表面の光沢度αに応じてX方向法線画像を補正する。ステップS5において、プロセッサ310は、対象物Wの表面の光沢度αに応じてY方向法線画像を補正する。X方向法線画像およびY方向法線画像の補正方法の詳細は後述する。
ステップS4およびステップS5の後、プロセッサ310は、並行してステップS6およびステップS8を開始する。
ステップS6において、プロセッサ310は、X方向法線画像とY方向法線画像とに基づいて、対象物Wの表面の形状を示す形状画像を生成する。形状画像の生成方法の詳細は後述する。
次にステップS7において、プロセッサ310は、形状画像に基づいて対象物Wの表面を検査する。たとえば、プロセッサ310は、キズおよび打痕のような、凹凸の生じる欠陥の有無を検査する。なお、プロセッサ310は、ステップS7において、形状画像を二値化することにより二値画像を生成し、二値画像に基づいて欠陥の有無を検査してもよい。
ステップS8において、プロセッサ310は、入射光のうち正反射する光の割合(アルベド(反射率))を示すアルベド画像を生成する。アルベド画像は、偏光画像50a~50dと、ステップS4,S5によってそれぞれ補正されたX方向法線画像およびY方向法線画像とを用いて生成される。アルベド画像の生成方法の詳細は後述する。
次にステップS9において、プロセッサ310は、アルベド画像に基づいて対象物Wの表面を検査する。たとえば、プロセッサ310は、汚れのようなアルベドに変化を生じさせる欠陥の有無を検査する。なお、プロセッサ310は、ステップS9において、アルベド画像を二値化することにより二値画像を生成し、二値画像に基づいて欠陥の有無を検査してもよい。
ステップS10において、プロセッサ310は、偏光画像50a~50dを平均化することにより平均画像を生成する。平均画像の各画素の値は、偏光画像50a~50dの当該画素の値の平均値である。平均画像は、直線偏光フィルタ12a~12dを取り外した状態で発光部11a~11dを同時点灯させ、偏光カメラ20の代わりに非偏光カメラを用いて撮像することにより得られる画像に対応する。
次にステップS11において、プロセッサ310は、平均画像を用いて対象物Wの位置決め等を行なう。
ステップS7,S9,S11の終了後、プロセッサ310は、検査結果を表示部302に表示させる(ステップS12)。ステップS12の後、プロセッサ310は、検査処理を終了する。
(X方向法線画像およびX方向法線画像の生成方法)
図8は、照明部10a~10dと対象物Wの表面上の点Pにおける法線ベクトルnとの関係を示す図である。図8において、偏光カメラ20の光軸25がZ軸と一致する。法線ベクトルnは、(nx,ny,nz)で表される。nx,ny,nzは、それぞれ法線ベクトルnのX成分、Y成分およびZ成分である。
図9は、照明部10cから照射された光の進行方向と点Pの法線方向とをXZ平面に投影したときの、当該進行方向と当該法線方向の関係を示す図である。図9において、法線方向は、ベクトル(nx,nz)で表される。法線方向とZ軸とのなす角度をφxとすると、φxは、以下の式で表される。
φx=arctan(nx/nz)
さらに、照明部10a~10dの各々から照射された光の入射角をθ、nx>0およびnz>0とすると、照明部10cから照射され、点Pで正反射した光の進行方向(正反射方向)のXZ平面への投影成分とZ軸とのなす角度は、θ+2φxとなる。
図10は、照明部10cから照射された光の進行方向と点Pの法線方向とをYZ平面に投影したときの、当該進行方向と当該法線方向の関係を示す図である。図10において、法線方向は、ベクトル(ny,nz)で表される。法線方向とZ軸とのなす角度をφyとすると、φyは、以下の式で表される。
φx=arctan(ny/nz)
さらに、照明部10cから照射された光の入射角をθ、ny>0およびnz>0とすると、照明部10cから照射され、点Pで正反射した光の進行方向(正反射方向)のYZ平面への投影成分とZ軸とのなす角度は、2φyとなる。
同様にして、照明部10a,10b,10dから照射され、点Pで正反射した光の進行方向(正反射方向)のXZ平面への投影成分とZ軸とのなす角度は、それぞれθ-2φx,2φx,2φxとなる。照明部10a,10b,10dから照射され、点Pで正反射した光の進行方向(正反射方向)のYZ平面への投影成分とZ軸とのなす角度は、それぞれ2φy,θ-2φy,θ+2φyとなる。
照明部10a~10dから照射され、点Pで正反射した光のうち偏光カメラ20にそれぞれ入射する光の強度Ia~Idは、Phongの反射モデルを用いて、以下の式によって近似される。
Ia=μ[cosα(θ-2φx)cosα(2φy)]
Ib=μ[cosα(2φx)cosα(θ-2φy)]
Ic=μ[cosα(θ+2φx)cosα(2φy)]
Id=μ[cosα(2φx)cosα(θ+2φy)]
上記の式において、αは、光沢度を表す。μは、対象物Wの表面のアルベド(反射率)を表す。
上述したように、偏光カメラ20の偏光子22aの偏光方向は、照明部10aの偏光方向と平行であり、照明部10cの偏光方向と直交する。さらに、偏光子22aの偏光方向と照明部10b,10dの偏光方向とのなす角度は45°である。そのため、偏光子22aに対応する偏光画像50aの画素値をJaとすると、
Ja=Ia+(Ib+Id)/2
で表される。同様に、偏光画像50b~50dのそれぞれの画素値Jb~Jdは、
Jb=Ib+(Ia+Ic)/2
Jc=Ic+(Id+Ib)/2
Jd=Id+(Ic+Ia)/2
で表される。
光沢度α=1の場合、以下の式(1)~(3)が成り立つ。
Ja+Jb+Jc+Jd=2(Ia+Ib+Ic+Id)
=8μcos(θ)cos(2φx)cos(2φy)・・・式(1)
Ja-Jc=Ia-Ic=2μsin(θ)sin(2φx)cos(2φy)・・・式(2)
Jb-Jd=Ib-Id=2μsin(θ)cos(2φx)sin(2φy)・・・式(3)。
上記の式(1)と式(2)とから、以下の式(4)が導かれる。同様に、上記の式(1)と式(3)とから、以下の式(5)が導かれる。
tan(2φx)={4(Ja-Jc)}/{(Ja+Jb+Jc+Jd)tan(θ)}
・・・式(4)
tan(2φy)={4(Jb-Jd)}/{(Ja+Jb+Jc+Jd)tan(θ)}
・・・式(5)。
式(4)および式(5)において、入射角θは、照明部10a~10dの位置に応じて予め決定される。そのため、プロセッサ310は、偏光画像50b~50dの画素値と入射角θとを用いて式(4)の右辺の計算し、その結果であるNxを画素値とするX方向法線画像を生成する。同様に、プロセッサ310は、偏光画像50b~50dの画素値と入射角θとを用いて式(5)の右辺の計算し、その結果であるNyを画素値とするY方向法線画像を生成する。式(4)で表されるtan(2φx)(≡Nx)は、法線ベクトルのx方向成分であるnxに依存する値である。式(5)で表されるtan(2φx)(≡Ny)は、法線ベクトルのy方向成分であるnyに依存する値である。そのため、X方向法線画像およびY方向法線画像は、対象物Wの表面の法線方向を表す。
(X方向法線画像およびY方向法線画像の補正方法)
X方向法線画像およびY方向法線画像は、対象物Wの表面の光沢度αが1であると仮定して、式(4)および(式5)に従ってそれぞれ生成される。そのため、対象物Wの光沢度αに従って、X方向法線画像およびY方向法線画像の補正が実行される。これにより、光沢度αに応じた法線画像が精度良く生成される。
対象物Wの光沢度αは、以下の検査前手順に従って、予め決定される。検査前手順では、欠陥のない対象物Wが2軸ゴニオステージに載置される。2軸ゴニオステージは、X方向およびY方向に傾斜可能なステージである。
2軸ゴニオステージのX方向およびY方向の傾斜角度が0°に設定された状態のとき、対象物Wは、上面が水平かつ平坦な領域(以下、「対象領域」と称する。)を有するように、2軸ゴニオステージに載置される。そのため、対象領域の法線ベクトルのX方向成分とZ軸とのなす角度φxは、2軸ゴニオステージのX方向の傾斜角度と一致する。同様に、し、対象領域の法線ベクトルのY方向成分とZ軸とのなす角度φyは、2軸ゴニオステージのY方向の傾斜角度と一致する。
2軸ゴニオステージのX方向およびY方向の傾斜角度を変化させながら、検査システム1を用いてM回撮像する。M回の撮像の各々について、X方向法線画像およびY方向法線画像を生成する。プロセッサ310は、X方向法線画像およびY方向法線画像における対象領域内の任意の1画素について、データセット[φxm,φym,Nxm,Nym]をRAM312に格納する。mは、撮像番号を示し、1~Mのいずれかの整数である。φxmは、m回目の撮像における、2軸ゴニオステージのX方向の傾斜角度である。φymは、m回目の撮像における、2軸ゴニオステージのY方向の傾斜角度である。Nxmは、X方向法線画像の画素値である。Nymは、Y方向法線画像の画素値である。
プロセッサ310は、以下の理論式を用いて、RAM312に格納されたデータセット[φxm,φym,Nxm,Nym]に最もよく当てはまる光沢度αを決定する。
≪理論式≫
Ia=cosα(θ-2φxm)cosα(2φym)
Ib=cosα(2φxm)cosα(θ-2φym)
Ic=cosα(θ+2φxm)cosα(2φym)
Id=cosα(2φxm)cosα(θ+2φym)
Nx={2(Ia-Ic)}/{(Ia+Ib+Ic+Id)tan(θ)}
Ny={2(Ib-Id)}/{(Ia+Ib+Ic+Id)tan(θ)}
たとえば、プロセッサ310は、非線形最小二乗法を用いて光沢度αを決定する。このような検査前手順によって、対象物Wの光沢度αが予め決定される。
図11は、光沢度α=5のときのNyとφxとφyとの関係を示す図である。図12は、光沢度α=10のときのNyとφxとφyとの関係を示す図である。図13は、光沢度α=20のときのNyとφxとφyとの関係を示す図である。
図11~図13に示されるように、法線ベクトルのX,Y方向成分とZ軸とのそれぞれのなす角度φx,φyと、式(5)の右辺の計算結果であるNyとの関係は、単調変化を示す。すなわち、φyの増大に伴い、Nyも増大する。また、φy>0の場合、φxの増大に伴い、Nyは減少する。φy<0の場合、φxの増大に伴い、Nyも増大する。ただし、光沢度αが1に近い場合にはNyとφyとの関係が線形であるのに対し、光沢度αが大きくなると、Nyとφyとの関係が非線形になる。そのため、プロセッサ310は、光沢度αに応じて、法線画像を補正する。
具体的には、プロセッサ310は、予め決定された光沢度αが代入された上記の理論式を用いて、(Nx,Ny)から(φx,φy)を逆算する。プロセッサ310は、X方向法線画像における各画素値Nxをφxに置き換えることにより、X方向法線画像を補正する。同様に、プロセッサ310は、Y方向法線画像における各画素値Nyをφyに置き換えることにより、Y方向法線画像を補正する。
あるいは、プロセッサ310は、予め作成されたルックアップテーブル群の中から光沢度αに対応する1つのルックアップテーブルを選択し、選択したルックアップテーブルを用いて、(Nx,Ny)を(φx,φy)に変換してもよい。ルックアップテーブルは、対応する光沢度αが代入された上記の理論式を用いて、予め作成される。ルックアップテーブルを用いることにより、法線画像の補正処理に要する時間が短縮される。
(アルベド画像の生成方法)
対象物Wの表面の光沢度α=1の場合、以下の式(6)が成り立つ。
μ={(Ja+Jb+Jc+Jd)/2}[{1+tan2(2φx)}{1+tan2(2φy)}]1/2/{4cos(θ)}・・・式(6)。
図14は、光沢度α=5のときのアルベドμとφxとφyとの関係を示す図である。図15は、光沢度α=10のときのアルベドμとφxとφyとの関係を示す図である。図16は、光沢度α=20のときのアルベドμとφxとφyとの関係を示す図である。
図14~図16に示されるように、アルベドμとφxおよびφyとの関係は、単調変化を示す。ただし、光沢度αが1に近い場合にはアルベドμとφxおよびφyとの関係が線形であるのに対し、光沢度αが大きくなると、アルベドμとφxおよびφyとの関係が非線形になる。そのため、プロセッサ310は、光沢度αに応じて補正されたX方向法線画像およびY方向法線画像ぞれぞれの画素値であるφx,φyと、偏光画像50a~50dそれぞれの画素値Ja~Jdとを上記の式に代入することにより、アルベド画像を生成する。アルベド画像の各画素値は、アルベドμを示す。
(形状画像の生成方法)
形状画像は、光沢度αに応じて補正されたX方向法線画像およびY方向法線画像に基づいて生成される。
図17は、形状画像の生成のために、X方向法線画像に対して実行される処理を示す図である。X方向法線画像の画素値は、対象物Wの表面の法線ベクトルのうちX方向成分の大きさを示す。
プロセッサ310は、X方向法線画像内の4つの画素で囲まれる1つの点を注目点Qとして選択する。X方向法線画像の横方向は、X方向に対応する。そのため、図17に示されるように、プロセッサ310は、注目点Qの左側および右側に矩形領域R1,R2をそれぞれ設定する。矩形領域R1,R2の高さは予め定められた長さLであり、矩形領域R1,R2の幅はL/2である。
プロセッサ310は、矩形領域R1に含まれる画素の値の和Sx1を計算する。同様に、プロセッサ310は、矩形領域R2に含まれる画素の値の和Sx2を計算する。プロセッサ310は、和Sx1と和Sx2との差Sxを計算する。プロセッサ310は、X方向法線画像内の4つの画素で囲まれる点の全てについて、差Sxを計算する。
図18は、形状画像の生成のために、Y方向法線画像に対して実行される処理を示す図である。Y方向法線画像の画素値は、対象物Wの表面の法線ベクトルのうちY方向成分の大きさを示す。
プロセッサ310は、Y方向法線画像において4つの画素で囲まれる1つの点を注目点Qとして選択する。Y方向法線画像の縦方向は、Y方向に対応する。そのため、図18に示されるように、プロセッサ310は、注目点Qの上側および下側に矩形領域R3,R4をそれぞれ設定する。矩形領域R3,R4の幅はLであり、矩形領域R3,R4の高さはL/2である。
プロセッサ310は、矩形領域R3に含まれる画素の値のSy1を計算する。同様に、プロセッサ310は、矩形領域R4に含まれる画素の値のSy2を計算する。プロセッサ310は、和Sy1と和Sy2との差Syを計算する。プロセッサ310は、Y方向法線画像内の4つの画素で囲まれる点の全てについて、差Syを計算する。
対象物Wの表面にキズまたは打痕のような欠陥が存在する場合、当該欠陥において法線ベクトルが大きく変化する。差Sxは、法線ベクトルのX方向成分が大きく変化するほど、大きくなる。差Syは、法線ベクトルのY方向成分が大きく変化するほど、大きくなる。すなわち、差Sx,Syは、キズまたは打痕のような、凹凸の生じる欠陥が存在する箇所において大きな値をとる。そのため、プロセッサ310は、以下の式で得られるSを画素値とする形状画像を生成する。
S=A(Sx+Sy)+B
Aは、形状画像のコントラストを決定するためのパラメータである。Bは、形状画像の全体的な画素値のレベルを決定するためのパラメータである。プロセッサ310は、形状画像における画素値の最大、最小、および最大と最小との差が規定範囲内に収まるように、パラメータA,Bの値を設定する。規定範囲は、欠陥の検査に適したコントラストおよびレベルに応じて予め定められる。これにより、凹凸の生じる欠陥の検査に適した形状画像が生成される。
(偏光画像、法線画像、形状画像、アルベド画像、平均画像の例)
図19は、ボタン電池を撮像することにより得られる偏光画像と、偏光画像から生成された各種画像とを示す図である。プロセッサ310は、偏光画像50a~50dからX方向法線画像51およびY方向法線画像52を生成する。プロセッサ310は、X方向法線画像51およびY方向法線画像52に基づいて形状画像53を生成する。プロセッサ310は、形状画像53を二値化することにより、二値画像54を生成する。さらに、プロセッサ310は、偏光画像50a~50dからアルベド画像55および平均画像56を生成する。
図19において、ボタン電池の表面の枠線F1で囲まれる領域に打痕が存在する。さらに、ボタン電池の表面の枠線F2で囲まれる領域に汚れが存在する。図19に示されるように、形状画像53において、枠線F1内に打痕部分に応じた画素値の変化が観察される。二値画像54では、打痕部分が白で表される。これにより、形状画像53または二値画像54を用いることにより、キズまたは打痕のような、凹凸の生じる欠陥が精度良く検査される。なお、X方向法線画像51およびY方向法線画像52においても、打痕部分とその周囲とにおいて画素値が異なる。そのため、X方向法線画像51およびY方向法線画像52を用いても、凹凸の生じる欠陥を検査できる。
X方向法線画像51、Y方向法線画像52、形状画像53、および二値画像54において、汚れ部分とその周囲とにおいて画素値に変化が見られない。汚れによって凹凸に変化が生じていないためである。これに対し、アルベド画像55では、枠線F2内に汚れに応じた画素値の変化が観察される。汚れによりアルベド(反射率)が変化したためである。このように、アルベド画像55を用いることにより、汚れのような、アルベド(反射率)に変化を生じさせる欠陥が精度良く検査される。
図20は、乾電池の側面を撮像することにより得られる偏光画像と、偏光画像から生成された各種画像とを示す図である。図20には、偏光画像50a~50dと、偏光画像50a~50dから生成されたX方向法線画像51、Y方向法線画像52および平均画像56と、X方向法線画像51およびY方向法線画像52から生成された形状画像53および二値画像54とが示される。図20において、乾電池の側面の枠線F1で囲まれる領域に打痕が存在する。形状画像53において、枠線F1内に打痕部分に応じた画素値の変化が観察される。二値画像54では、打痕部分が白で表される。これにより、形状画像53または二値画像54を用いることにより、キズまたは打痕のような、凹凸の生じる欠陥が精度良く検査される。
図21は、乾電池の底面を撮像することにより得られる偏光画像と、偏光画像から生成された各種画像とを示す図である。図21には、偏光画像50a~50dと、偏光画像50a~50dから生成されたX方向法線画像51、Y方向法線画像52および平均画像56と、X方向法線画像51およびY方向法線画像52から生成された形状画像53とが示される。図21において、乾電池の底面の枠線F1で囲まれる領域に打痕が存在する。形状画像53において、枠線F1内に打痕部分に応じた画素値の変化が観察される。これにより、形状画像53を用いることにより、キズまたは打痕のような、凹凸の生じる欠陥が精度良く検査される。
図22は、シボ加工された樹脂表面を撮像することにより得られる偏光画像と、偏光画像から生成された各種画像とを示す図である。図22には、偏光画像50a~50dと、偏光画像50a~50dから生成されたX方向法線画像51、Y方向法線画像52および平均画像56と、X方向法線画像51およびY方向法線画像52から生成された形状画像53および二値画像54とが示される。図22において、樹脂表面の枠線F1で囲まれる領域に打痕が存在する。さらに、樹脂表面の枠線F2で囲まれる領域に汚れが存在する。
図22に示されるように、形状画像53において、枠線F1内に打痕部分に応じた画素値の変化が観察される。二値画像54では、打痕部分が白で表される。これにより、形状画像53または二値画像54を用いることにより、キズまたは打痕のような、凹凸の生じる欠陥が精度良く検査される。
X方向法線画像51、Y方向法線画像52、形状画像53、および二値画像54において、汚れ部分とその周囲とにおいて画素値に変化が見られない。汚れによって凹凸に変化が生じていないためである。これに対し、平均画像56では、枠線F2内に汚れ部分に応じた画素値の変化が観察される。汚れによりアルベド(反射率)が高まったためである。このように、平均画像56を用いても、汚れのような、アルベド(反射率)に変化を生じさせる欠陥が精度良く検査される。
(B-2.第2の検査例)
第2の検査例は、明視野照明および暗視野照明の条件下でそれぞれ得られる2つの画像を用いる。明視野照明は、対象物Wの表面の正反射光が偏光カメラ20に入射する照明法である。暗視野照明は、対象物Wの表面の正反射光が偏光カメラ20に入射せず、拡散反射光のみが偏光カメラ20に入射する照明法である。キズが存在する部分では光が正反射しにくい。そのため、明視野照明の条件下で得られる画像において、キズが存在する部分の輝度が低下する。これにより、明視野照明の条件下で得られる画像を用いることにより、キズを精度良く検査できる。一方、汚れまたは異物が存在する部分では拡散反射しやすい。そのため、暗視野照明の条件下で得られる画像において、汚れまたは異物が存在する部分の輝度が高くなる。これにより、暗視野照明の条件下で得られる画像を用いることにより、汚れまたは異物を精度良く検査できる。
(照明部の配置)
図23は、第2の検査例に係る複数の照明部の配置を示す図である。図23に示されるように、複数の照明部10は、照明部10e,10fを含む。照明部10e,10fは、対象物Wに対する仰角が互いに異なるように配置される。
照明部10fは、偏光カメラ20の光軸25を中心とするリング型の照明部である。照明部10fは、偏光カメラ20の光軸25を中心とするリング型の発光部11fと、発光部11fの発光面に取り付けられる直線偏光フィルタ12fとを有する。対象物Wに対する照明部10fの仰角は、対象物Wの正反射光が偏光カメラ20に入射しないように設定される。
図24は、照明部10eの構成を示す図である。照明部10eは、偏光カメラ20の光軸25に沿って照明光を対象物Wに照射する同軸照明である。図24に示されるように、照明部10eは、発光部11eと、直線偏光フィルタ12eと、ハーフミラー13eと、を有する。直線偏光フィルタ12eは、発光部11eの発光面とハーフミラー13eとの間に配置され、発光部11eから照射された非偏光のうち予め定められた方向に沿った直線偏光を透過させる。ハーフミラー13eは、直線偏光フィルタ12eを透過した直線偏光を、偏光カメラ20の光軸25に沿って落射させる。
直線偏光フィルタ12e,12fは、照明部10e,10fから対象物Wに照射される直線偏光の偏光方向が互いに直交するように配置される。
(検査方法)
第2の検査例において、検査システム1は、図2に示す偏光子22a~22dを含む偏光カメラ20を備える。偏光子22aの偏光方向は、照明部10eから対象物Wに照射される直線偏光の偏光方向と一致する(平行である)。偏光子22cの偏光方向は、照明部10fから照射される直線偏光の偏光方向と一致する(平行である)。そのため、照明部10eから照射され、対象物Wで正反射した光は、偏光子22aを透過し、偏光子22cを透過しない。照明部10fから照射され、対象物Wで拡散反射した光の一部は、偏光子22cを透過する。なお、照明部10fから照射され、対象物Wで正反射した光は、偏光カメラ20に入射しない。
図25は、第2の検査例において得られた複数の偏光画像の一例を示す図である。偏光画像50a~50dは、偏光子22a~22dにそれぞれ対応する。
偏光画像50aは、照明部10eから照射され、対象物Wで正反射した光の輝度を示す。すなわち、偏光画像50aは、明視野照明の条件下での撮像により得られる画像に対応する。そのため、偏光画像50aの枠線F1内において、キズが容易に確認される。このように、偏光画像50aを用いることにより、キズが精度良く検査される。
偏光画像50cは、照明部10fから照射され、対象物Wで拡散反射した光のうち偏光子22cを透過した光の輝度を示す。すなわち、偏光画像50cは、暗視野照明の条件下での撮像により得られる画像に対応する。そのため、偏光画像50cの枠線F2内において、汚れが容易に確認される。このように、偏光画像50cを用いることにより、汚れが精度良く検査される。
偏光画像50b、50dは、偏光画像50a,50cの中間的な輝度を示す。そのため、偏光画像50b、50dは、対象物Wの検査に使用されなくてもよい。
(B-3.第3の検査例)
第3の検査例は、位相シフト法を用いる。位相シフト法は,位相をずらしながら、照射強度が正弦波に変調された縞パターンを照射して撮像された複数枚の画像から、対象物Wの三次元形状を計測する方法である。
(照明部の配置)
図26は、第3の検査例に係る複数の照明部の配置の一例を示す図である。図26に示されるように、複数の照明部10は、照明部10e,10g~10iを含む。照明部10eは、第2の検査例において説明したように、偏光カメラ20の光軸25と同軸の照明光を対象物Wに照射する(図24参照)。
照明部10g~10iの各々は、リング型照明である。照明部10g~10iは、偏光カメラ20の光軸25を中心とするリング型の発光部11g~11iと、発光部の発光面に取り付けられる直線偏光フィルタ12g~12iとをそれぞれ有する。
照明部10eから照射される光の偏光方向を基準方向とするとき、直線偏光フィルタ12e,12g~12iは、照明部10e,10g~10iから照射される光の偏光方向と基準方向とのなす角度がそれぞれ0°,45°,90°,135°となるように配置される。
照明部10e,10g~10iは、対象物Wに対する仰角が互いに異なるように配置される。具体的には、照明部10e,10g~10iは、対象物Wに対して、この順に仰角が小さくなるように配置される。言い換えると、照明部10e,10g~10iから対象物Wへの照明光の入射角は、この順に大きくなる。対象物Wに対する照明部10eの仰角は90°であり、照明部10eから対象物Wへの照明光の入射角は0°である。
第3の検査例において、検査システム1は、図2に示す偏光子22a~22dを含む偏光カメラ20を備える。偏光子22a~22dの偏光方向は、照明部10e,10g~10iから照射される光の偏光方向とそれぞれ平行である。そのため、照明部10e,10g~10iから照射され、対象物Wで正反射した光は、偏光子22a~22dをそれぞれ透過する。照明部10eから照射される光は、偏光子22b,22dの偏光方向に平行な成分を有する。そのため、照明部10eから照射され、対象物Wで正反射した光のうちの一部の成分は、偏光子22b,22dを透過する。具体的には、照明部10eから照射され、偏光子22b,22dの各々を透過する光量は、照明部10eから照射され、偏光子22aを透過する光量の約1/2である。同様に、照明部10gから照射され、対象物Wで正反射した光のうちの一部の成分は、偏光子22a,22cを透過する。照明部10hから照射され、対象物Wで正反射した光のうちの一部の成分は、偏光子22b,22dを透過する。照明部10iから照射され、対象物Wで正反射した光のうちの一部の成分は、偏光子22a,22cを透過する。照明部10e,10g~10iから照射され、対象物Wで正反射した光は、偏光子22c,22d,22a,22bをそれぞれ透過しない。
図27は、照明部10e,10g~10iから照射され、対象物Wで正反射した光のうち各偏光子を透過する量を示す図である。図27に示されるように、偏光子22a~22dの各々を透過する光量は、正弦波に従う。すなわち、偏光子22a~22dにそれぞれ対応する偏光画像50a~50dは、同心円状の縞パターンの光が対象物Wに照射された条件下で撮像された画像に対応する。さらに、図27に示されるように、偏光子22a~22dにそれぞれ対応する縞パターンの位相は、π/2ずつずれている。
図28は、第3の検査例に係る複数の照明部の配置の別の例を示す図である。図28に示される複数の照明部10は、図26に示される複数の照明部10と比較して、照明部10j~10lをさらに含む点で相違する。
照明部10j~10lの各々は、リング型照明である。照明部10j~10lは、偏光カメラ20の光軸25を中心とするリング型の発光部11j~11lと、発光部11j~11lの発光面に取り付けられる直線偏光フィルタ12j~12lとをそれぞれ有する。
照明部10eから照射される光の偏光方向を基準方向とするとき、直線偏光フィルタ12j~12lは、照明部10j~10lから照射される光の偏光方向と基準方向とのなす角度がそれぞれ22.5°,67.5°,110.5°となるように配置される。
照明部10e,10j,10g,10k,10h,10l,10iは、対象物Wに対して、この順に仰角が小さくなるように配置される。言い換えると、照明部10e,10j,10g,10k,10h,10l,10iから対象物Wへの照明光の入射角は、この順に大きくなる。
図29は、照明部10e,10g~10lから照射され、対象物Wで正反射した光のうち各偏光子を透過する量を示す図である。図29に示されるように、偏光子22a~22dの各々を透過する光量は、正弦波に従う。すなわち、偏光子22a~22dにそれぞれ対応する偏光画像50a~50dは、同心円状の縞パターンの光が対象物Wに照射された条件下で撮像された画像に対応する。さらに、図29に示されるように、偏光子22a~22dにそれぞれ対応する縞パターンの位相は、π/2ずつずれている。
(検査方法)
プロセッサ310は、偏光画像50a~50dに基づいて、対象物Wの検査を行う。プロセッサ310は、位相シフト法によって、偏光画像50a~50dに基づいて、位相画像および正反射画像を生成する。
画像の2次元座標を(x,y)と表し、偏光画像50a~50dにおける画素(x,y)の値をJa(x,y),Jb(x,y),Jc(x,y),Jd(x,y)とそれぞれ表す場合、画素の位相は、
Φ(x,y)=arctan[{Jb(x,y)-Jd(x,y)}/{Ja(x,y)-Jc(x,y)}]
と表される。縞パターンが撮像できる対象物Wの法線角度の範囲は0°~45°である。位相値Φ(x,y)は、対象物Wの法線方向と偏光カメラ20の光軸25とのなす角度に比例する値となる。プロセッサ310は、画素(x、y)の値がIp(x,y)={2π-Φ(x,y)}×128/πとなる位相画像を生成する。このとき、位相画像は、対象物Wの法線方向と光軸25とのなす角度が0°の場合に白画素(256)となり、対象物Wの法線方向と光軸25とのなす角度が45°の場合に黒画素(0)となる。そのため、位相画像を用いることで、対象物Wの表面の凹凸を検査できる。
さらに、プロセッサ310は、画素(x、y)の値が
A(x,y)=[{Ja(x,y)-Jc(x,y)}2+{Jb(x,y)-Jd(x,y)}21/2
となる正反射画像を生成する。正反射画像は、対象物Wの表面で正反射した光の強度を表す。対象物Wにキズがある場合、キズの微細形状により、光が乱反射することがある。この場合、キズ部分で正反射成分が相対的に弱くなる。そのため、正反射画像を用いて、対象物Wの表面の凹凸を検査できる。
図30は、図26に示す複数の照明部10を用いて得られる偏光画像50a~50dの一例を示す図である。図31は、図28に示す複数の照明部10を用いて得られる偏光画像50a~50dの一例を示す図である。図30および図31に示されるように、対象物Wの表面で正反射した縞パターンが観察され、偏光画像50a~50dにおいて縞パターンの位相がπ/2ずつずれている。さらに、照明部10の数を増やすことにより、縞パターンが滑らかになる。これにより、対象物Wの表面の法線方向の分解能が良くなる。
なお、同軸照明である照明部10eを設けず、リング状の照明部10g~10i(または照明部10g~10l)のみを設ける構成とすることも可能である。この場合、同心円状の中心部分に関する縞パターンが欠損することになる。照明部10eを設けることで、同心円の中心部分に関する縞パターンの欠損を低減でき、より正確な検査を行うことができる。
(B-4.第4の検査例)
第4の検査例は、同軸照明およびバックライトの条件下でそれぞれ得られる2つの画像を用いる。偏光カメラ20の光軸25と同軸の照明条件下で得られる画像は、対象物Wの表面の正反射光の輝度を示す。上述したように、キズが存在する部分では光が正反射しにくい。そのため、同軸照明の条件下で得られる画像において、キズが存在する部分の輝度が低下する。これにより、同軸照明の条件下で得られる画像を用いることにより、キズを精度良く検査できる。一方、対象物Wが遮光性を有する場合、バックライトの条件下で得られる画像において、対象物Wに対応する領域の輝度が0となる。そのため、対象物Wの外周が容易に確認される。これにより、バックライトの条件下で得られる画像を用いることにより、対象物Wの外周におけるバリまたは欠けを精度良く検査できる。
(照明部の配置)
図32は、第4の検査例に係る複数の照明部の配置を示す図である。図32に示されるように、複数の照明部10は、照明部10e,10mを含む。照明部10eは、第2の検査例において説明したように、偏光カメラ20の光軸25に沿った照明光を対象物Wに照射する(図24参照)。
照明部10mは、バックライトとして、対象物Wの偏光カメラ20とは反対側に配置される。すなわち、照明部10mは、対象物Wの背面側から照明光を照射する。照明部10mは、平板状の発光部11mと、発光部11fの発光面に取り付けられる直線偏光フィルタ12mとを有する。
照明部10eの直線偏光フィルタ12e(図24参照)と直線偏光フィルタ12mとは、照明部10e,10mから対象物Wに照射される直線偏光の偏光方向が互いに直交するように配置される。
(検査方法)
第4の検査例において、検査システム1は、図2に示す偏光子22a~22dを含む偏光カメラ20を備える。偏光子22aの偏光方向は、照明部10eから対象物Wに照射される直線偏光の偏光方向と一致する(平行である)。偏光子22cの偏光方向は、照明部10mから照射される直線偏光の偏光方向と一致する(平行である)。そのため、照明部10eから照射され、対象物Wで正反射した光は、偏光子22aを透過し、偏光子22cを透過しない。照明部10mから照射され、対象物Wの周囲を進行する光は、偏光子22cを透過し、偏光子22aを透過しない。
図33は、第4の検査例において得られた複数の偏光画像の一例を示す図である。偏光画像50a~50dは、偏光子22a~22dにそれぞれ対応する。
偏光画像50aは、照明部10eから照射され、対象物Wで正反射した光の輝度を示す。そのため、偏光画像50aの枠線F1内において、キズ部分の輝度が低下していることが容易に確認される。そのため、プロセッサ310は、偏光画像50aを用いて、キズを精度良く検査できる。
偏光画像50cは、照明部10mから照射され、対象物Wの周囲を進行した光の輝度を示す。すなわち、偏光画像50cは、バックライトの条件下で得られる画像に対応する。そのため、偏光画像50cの枠線F3内において、対象物Wの外周のバリが容易に確認される。そのため、プロセッサ310は、偏光画像50cを用いて、対象物Wの外周におけるバリまたは欠けを精度良く検査できる。
偏光画像50b、50dは、偏光画像50a,50cの中間的な輝度を示す。そのため、偏光画像50b、50dは、対象物Wの検査に使用されなくてもよい。
(B-5.第5の検査例)
第5の検査例は、ハイダイナミックレンジ技法を用いる。ハイダイナミックレンジ技法は、照明強度の異なる条件下の複数枚の画像を合成することで白飛びや黒つぶれの少ない幅広いダイナミックレンジを持つ画像(ハイダイナミックレンジイメージ)を生成する技法である。
(照明部の配置)
図34は、第5の検査例に係る複数の照明部の配置を示す図である。図34に示されるように、複数の照明部10は、照明部10n,10oを含む。
照明部10nは、非偏光を発する発光部11nと、発光部11nの対象物Wに配置される直線偏光フィルタ12nと、を有する。そのため、照明部10nから対象物Wに直線偏光が照射される。
照明部10oは、非偏光を発する発光部11oを有し、直線偏光フィルタを有さない。そのため、照明部10oから対象物Wに非偏光が照射される。
なお、照明部10n,10oは、近接して配置されることが好ましい。これにより、照明部10n,10oから対象物Wへの照射方向がほぼ同じとなり、後述するように、照明条件として照明強度が異なり、照明方向がほぼ同じの複数の偏光画像50が1回の撮像で得られる。
(検査方法)
第5の検査例において、検査システム1は、図2に示す偏光子22a~22dを含む偏光カメラ20を備える。照明部10nから照射される直線偏光の偏光方向は、偏光子22aの偏光方向と平行であり、偏光子22cの偏光方向と直交する。そのため、照明部10nから照射され、対象物Wで正反射した光は、偏光子22aを透過し、偏光子22cを透過しない。照明部10nから照射され、対象物Wで正反射した光は、偏光子22b,22dの偏光方向に平行な成分を有する。そのため、照明部10nから照射され、対象物Wで正反射した光のうちの一部の成分は、偏光子22b,22dを透過する。具体的には、照明部10nから照射され、偏光子22b,22dの各々を透過する光量は、照明部10nから照射され、偏光子22aを透過する光量の約1/2である。
照明部10oから照射される非偏光は、偏光子22a~22dの偏光方向に平行な成分を均等に有する。そのため、照明部10oから照射され、偏光子22a~22dの各々を透過する光量は、同じである。
照明部10n,10oから照射され、対象物Wで正反射し、偏光子22aを透過する光の強度をそれぞれIn,Ioとする。このとき、偏光子22a~22dにそれぞれ対応する偏光画像50a~50dそれぞれの画素値Ja~Jdは、以下のように表される。
偏光画像50aの画素値Ja:In+Io
偏光画像50bの画素値Jb:In/2+Io
偏光画像50cの画素値Jc:Io
偏光画像50dの画素値Jd:In/2+Io
以上から、偏光画像50a~50cは、互いに照明強度の異なる条件下の複数枚の画像に相当する。そのため、プロセッサ310は、偏光画像50a~50cをハイダイナミックレンジ合成して、合成画像を生成する。プロセッサ310は、公知のハイダイナミックレンジ合成の手法を用いて、合成画像を生成すればよい。
図35は、第5の検査例において得られた複数の偏光画像の一例を示す図である。図35に示されるように、偏光画像50aの輝度が最も高く、偏光画像50cの輝度が最も低く、偏光画像50b,50dの輝度が中間である。プロセッサ310は、偏光画像50a~50cをハイダイナミックレンジ合成して、合成画像57を生成する。合成画像57では、白飛びや黒つぶれが少ない。そのため、プロセッサ310は、合成画像57を用いることにより、対象物Wを精度良く検査できる。
<C.変形例>
偏光カメラ20の単位領域21に含まれる偏光子22の個数は、4個に限定されず、複数であればよい。上述したように、第2の検査例および第4の検査例では、偏光画像50b,50dが使用されなくてもよい。そのため、単位領域21は、偏光子22a,22cのみを含み、偏光子22b,22dを含まなくてもよい。同様に、第5の検査例では、偏光画像50dが使用されない。そのため、単位領域21は、偏光子22a~22cのみを含み、偏光子22dを含まなくてもよい。
第1の検査例において、複数の照明部10は、照明部10a,10cのみを含み、照明部10b,10dを含まなくてもよい。この場合、偏光カメラ20の単位領域21は、偏光子22a~22cのみを含み、偏光子22dを含まなくてもよい。偏光画像50a,50cそれぞれの画素値Ja,Jcは、以下の式で表される。
Ja=Ia=μ[cosα(θ-2φx)cosα(2φy)]
Jc=Ic=μ[cosα(θ+2φx)cosα(2φy)]
対象物Wの表面の光沢度α=1の場合、以下の式(7),(8)が成り立つ。
Ja+Jc=2μcos(θ)cos(2φx)cos(2φy)・・・式(7)
Ja-Jc=2μsin(θ)sin(2φx)cos(2φy)・・・式(8)。
上記の式(7)と式(8)とから、以下の式(9)が導かれる。
tan(2φx)=(Ja-Jc)/{(Ja+Jc)tan(θ)}・・・式(9)。
式(9)において、入射角θは、照明部10a,10cの位置に応じて予め決定される。そのため、プロセッサ310は、偏光画像50a,50cの画素値Ja,Jcと入射角θとを用いて式(9)の右辺の計算し、その結果であるNxを画素値とするX方向法線画像を生成すればよい。式(9)で表されるtan(2φx)(≡Nx)は、法線ベクトルのx方向成分であるnxに依存する値である。そのため、X方向法線画像は、対象物Wの表面の法線方向を表す。
さらに、プロセッサ310は、図17に示すように、注目点Qの左側および右側に矩形領域R1,R2をそれぞれ設定する。それから、プロセッサ310は、矩形領域R1に含まれる画素の値の和Sx1と、矩形領域R2に含まれる画素の値の和Sx2との差Sxを計算する。プロセッサ310は、X方向法線画像内の4つの画素で囲まれる点の全てについて、差Sxを計算する。プロセッサ310は、差Sxを画素値とする形状画像を生成すればよい。上述したように、差Sxは、キズまたは打痕のような、凹凸の生じる欠陥が存在する箇所において大きな値をとる。そのため、プロセッサ310は、形状画像を用いることにより、凹凸の生じる欠陥を精度良く検査できる。
第1の検査例において、上記の式(4)および式(5)を用いて、X方向法線画像およびY方向法線画像がそれぞれ生成されるものとした。しかしながら、法線画像の生成方法は、これに限定されない。たとえば、ディープラーニングの画像生成技術を用いて、複数の偏光画像から法線画像を推定する学習モデルが構築される。プロセッサ310は、当該学習モデルを用いて、複数の偏光画像から法線画像を生成してもよい。
§3 付記
以上のように、本実施の形態は以下のような開示を含む。
(構成1)
検査システム(1)であって、
対象物(W)を照明する複数の照明部(10,10a~10o)と、
複数の偏光子(22,22a~22d)を含む単位領域(21)が繰り返して配列された偏光カメラ(20)と、
検査装置(30)と、を備え、
前記複数の照明部(10,10a~10o)は、互いに異なる偏光状態の照明光を照射し、
前記複数の偏光子(22,22a~22d)は、互いに異なる偏光方向の光を透過させ、
前記偏光カメラ(20)は、前記複数の照明部(10,10a~10o)が同時に点灯している状態において撮像することにより、前記複数の偏光子(22,22a~22d)にそれぞれ対応する複数の偏光画像(50,50a~50d)を出力し、
前記検査装置(30)は、前記複数の偏光画像(50,50a~50d)を用いて前記対象物(W)を検査する、検査システム(1)。
(構成2)
前記複数の照明部は、前記偏光カメラ(20)の光軸(25)の周りの方位角が互いに異なるように配置され、
前記複数の照明部は、第1~第Nの照明部(10a~10d)を含み、
前記複数の偏光子は、第1~第Nの偏光子(22a~22d)を含み、
Nは、2以上の整数であり、
前記第1~第Nの照明部(10a~10d)の照明光の偏光方向は、前記第1~第Nの偏光子(22a~22d)を透過する光の偏光方向とそれぞれ平行であり、
前記検査装置(30)は、前記複数の偏光画像(50a~50d)から前記対象物(W)の表面の法線方向を示す法線画像(51,52)を生成し、前記法線画像(51,52)に基づいて前記対象物(W)を検査する、構成1に記載の検査システム(1)。
(構成3)
Nは4であり、
前記第1の照明部(10a)および前記第3の照明部(10c)は、前記偏光カメラ(20)の光軸(25)に対して対称な位置に配置され、
前記第2の照明部(10b)および前記第4の照明部(10d)は、前記偏光カメラ(20)の光軸(25)に対して対称な位置に配置され、
前記偏光カメラ(20)の光軸(25)の周りにおいて、前記第1の照明部(10a)が配置される第1の方位角と前記第2の照明部(10b)が配置される第2の方位角との差が90°であり、
前記複数の偏光画像は、前記第1~第4の偏光子(22a~22d)にそれぞれ対応する第1~第4の偏光画像(50a~50b)を含み、
前記検査装置(30)は、
前記第1~第4の偏光画像(50a~50b)に基づいて、前記対象物(W)の表面の法線ベクトルにおける前記第1の方位角の方向に沿った成分の大きさを示す第1の法線画像(51)を生成し、
前記第1~第4の偏光画像に基づいて、前記対象物(W)の表面の法線ベクトルにおける前記第2の方位角の方向に沿った成分の大きさを示す第2の法線画像(52)を生成し、
前記第1の法線画像(51)と前記第2の法線画像(52)とに基づいて、前記対象物(W)の表面の形状を示す形状画像(53)を生成し、
前記形状画像(53)に基づいて前記対象物(W)を検査する、構成2に記載の検査システム(1)。
(構成4)
前記第2の照明部(10b)、前記第3の照明部(10c)および前記第4の照明部(10d)の照明光の偏光方向と前記第1の照明部(10a)の照明光の偏光方向とのなす角度は、それぞれ45°、90°および135°である、構成3に記載の検査システム(1)。
(構成5)
前記複数の照明部(10e~10l)は、前記対象物に対する仰角が互いに異なるように配置される、構成1に記載の検査システム(1)。
(構成6)
前記複数の照明部は、
前記偏光カメラの光軸に沿って照明光を照射する第1の照明部(10e)と、
前記偏光カメラの光軸を中心とするリング型の第2の照明部(10f)と、を含み、
前記複数の偏光子は、第1の偏光子(22a)および第2の偏光子(22c)を含み、
前記第1の照明部(10e)および前記第2の照明部(10f)から照射される照明光の偏光方向は、前記第1の偏光子(22a)および前記第2の偏光子(22c)を透過する光の偏光方向とそれぞれ一致する、構成5に記載の検査システム(1)。
(構成7)
前記複数の照明部は、前記偏光カメラの光軸を中心とする同心円状の複数のリング型照明部(10g~10l)を含み、
前記検査装置(30)は、
前記複数の偏光画像(50a~50d)に基づいて、前記対象物(W)の表面の法線方向と前記偏光カメラの光軸方向とのなす角度を示す位相画像を生成し、
前記位相画像に基づいて、前記対象物(W)を検査する、構成5に記載の検査システム(1)。
(構成8)
前記複数の照明部は、さらに、前記偏光カメラ(20)の光軸(25)に沿って照明光を照射する照明部(10e)を含む、構成7に記載の検査システム(1)。
(構成9)
前記複数の照明部は、
前記偏光カメラの光軸に沿って照明光を照射する第1の照明部(10e)と、
前記対象物の背面側から照明光を照射する第2の照明部(10m)と、を含み、
前記複数の偏光子は、第1の偏光子(22a)および第2の偏光子(22c)を含み、
前記第1の照明部(10e)および前記第2の照明部(10m)から照射される照明光の偏光方向は、前記第1の偏光子(22a)および前記第2の偏光子(22c)を透過する光の偏光方向とそれぞれ一致する、構成1に記載の検査システム(1)。
(構成10)
前記複数の照明部は、直線偏光の照明光を照射する第1の照明部(10n)と、非偏光を照射する第2の照明部(10o)と、を含み、
前記複数の偏光子は、
前記第1の照明部(10n)の照明光の偏光方向と同じ偏光方向の光を透過させる第1の偏光子(22a)と、
前記第1の偏光子(22a)を透過する光の偏光方向とのなす角度が45°の偏光方向の光を透過させる第2の偏光子(22b)と、
前記第1の偏光子(22a)を透過する光の偏光方向とのなす角度が90°の偏光方向の光を透過させる第3の偏光子(22c)と、を含み、
前記複数の偏光画像は、前記第1~第3の偏光子(22a~22c)にそれぞれ対応する第1~第3の偏光画像(55a~55c)を含み、
前記検査装置(30)は、
前記第1~第3の偏光画像(55a~55c)をハイダイナミックレンジ合成して、合成画像を生成し、
前記合成画像に基づいて、前記対象物(W)を検査する、構成1に記載の検査システム(1)。
(構成11)
対象物(W)を照明する複数の照明部(10,10a~10o)と、複数の偏光子(22,22a~22d)を含む単位領域(21)が繰り返し配列された偏光カメラ(20)とを用いた検査方法であって、
前記複数の照明部(10,10a~10o)は、互いに異なる偏光状態の照明光を照射し、
前記複数の偏光子(22,22a~22d)は、互いに異なる偏光方向の光を透過させ、
前記検査方法は、
前記複数の照明部(10,10a~10o)が同時に点灯している状態において、前記偏光カメラ(20)を用いて前記対象物(W)を撮像することにより、前記複数の偏光子(22,22a~22d)にそれぞれ対応する複数の偏光画像(50,50a~50d)を取得するステップと、
前記複数の偏光画像(50,50a~50d)を用いて前記対象物(W)を検査するステップと、を備える、検査方法。
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 検査システム、2 搬送ベルト、10,10a~10o 照明部、11a~11o 発光部、12a~12n 直線偏光フィルタ、13e ハーフミラー、20 偏光カメラ、21 単位領域、22,22a~22d 偏光子、25,225 光軸、30 検査装置、50,50a~50d 偏光画像、51 X方向法線画像、52 Y方向法線画像、53 形状画像、54 二値画像、55 アルベド画像、56 平均画像、57 合成画像、110 照明装置、110a~110d 円弧領域、302 表示部、304 キーボード、306 メモリカード、310 プロセッサ、312 RAM、314 表示コントローラ、316 システムコントローラ、318 コントローラ、320 ハードディスク、322 カメラインターフェイス、324 入力インターフェイス、328 通信インターフェイス、330 メモリカードインターフェイス、350 検査プログラム、F1,F2 枠線、P 点、Q 注目点、R1~R4 矩形領域、W 対象物、n 法線ベクトル。

Claims (11)

  1. 検査システムであって、
    対象物を照明する複数の照明部と、
    複数の偏光子を含む単位領域が繰り返して配列された偏光カメラと、
    検査装置と、を備え、
    前記複数の照明部は、互いに異なる偏光状態の照明光を照射し、
    前記複数の偏光子は、互いに異なる偏光方向の光を透過させ、
    前記偏光カメラは、前記複数の照明部が同時に点灯している状態において撮像することにより、前記複数の偏光子にそれぞれ対応する複数の偏光画像を出力し、
    前記検査装置は、前記複数の偏光画像を用いて前記対象物を検査する、検査システム。
  2. 前記複数の照明部は、前記偏光カメラの光軸の周りの方位角が互いに異なるように配置され、
    前記複数の照明部は、第1~第Nの照明部を含み、
    前記複数の偏光子は、第1~第Nの偏光子を含み、
    Nは、2以上の整数であり、
    前記第1~第Nの照明部の照明光の偏光方向は、前記第1~第Nの偏光子を透過する光の偏光方向とそれぞれ平行であり、
    前記検査装置は、前記複数の偏光画像から前記対象物の表面の法線方向を示す法線画像を生成し、前記法線画像に基づいて前記対象物を検査する、請求項1に記載の検査システム。
  3. Nは4であり、
    前記第1の照明部および前記第3の照明部は、前記偏光カメラの光軸に対して対称な位置に配置され、
    前記第2の照明部および前記第4の照明部は、前記偏光カメラの光軸に対して対称な位置に配置され、
    前記偏光カメラの光軸の周りにおいて、前記第1の照明部が配置される第1の方位角と前記第2の照明部が配置される第2の方位角との差が90°であり、
    前記複数の偏光画像は、前記第1~第4の偏光子にそれぞれ対応する第1~第4の偏光画像を含み、
    前記検査装置は、
    前記第1~第4の偏光画像に基づいて、前記対象物の表面の法線ベクトルにおける前記第1の方位角の方向に沿った成分の大きさを示す第1の法線画像を生成し、
    前記第1~第4の偏光画像に基づいて、前記対象物の表面の法線ベクトルにおける前記第2の方位角の方向に沿った成分の大きさを示す第2の法線画像を生成し、
    前記第1の法線画像と前記第2の法線画像とに基づいて、前記対象物の表面の形状を示す形状画像を生成し、
    前記形状画像に基づいて前記対象物を検査する、請求項2に記載の検査システム。
  4. 前記第2の照明部、前記第3の照明部および前記第4の照明部の照明光の偏光方向と前記第1の照明部の照明光の偏光方向とのなす角度は、それぞれ45°、90°および135°である、請求項3に記載の検査システム。
  5. 前記複数の照明部は、前記対象物に対する仰角が互いに異なるように配置される、請求項1に記載の検査システム。
  6. 前記複数の照明部は、
    前記偏光カメラの光軸に沿って照明光を照射する第1の照明部と、
    前記偏光カメラの光軸を中心とするリング型の第2の照明部と、を含み、
    前記複数の偏光子は、第1の偏光子および第2の偏光子を含み、
    前記第1の照明部および前記第2の照明部から照射される照明光の偏光方向は、前記第1の偏光子および前記第2の偏光子を透過する光の偏光方向とそれぞれ一致する、請求項5に記載の検査システム。
  7. 前記複数の照明部は、前記偏光カメラの光軸を中心とする同心円状の複数のリング型照明部を含み、
    前記検査装置は、
    前記複数の偏光画像に基づいて、前記対象物の表面の法線方向と前記偏光カメラの光軸方向とのなす角度を示す位相画像を生成し、
    前記位相画像に基づいて、前記対象物を検査する、請求項5に記載の検査システム。
  8. 前記複数の照明部は、さらに、前記偏光カメラの光軸に沿って照明光を照射する照明部を含む、請求項7に記載の検査システム。
  9. 前記複数の照明部は、
    前記偏光カメラの光軸に沿って照明光を照射する第1の照明部と、
    前記対象物の背面側から照明光を照射する第2の照明部と、を含み、
    前記複数の偏光子は、第1の偏光子および第2の偏光子を含み、
    前記第1の照明部および前記第2の照明部から照射される照明光の偏光方向は、前記第1の偏光子および前記第2の偏光子を透過する光の偏光方向とそれぞれ一致する、請求項1に記載の検査システム。
  10. 前記複数の照明部は、直線偏光の照明光を照射する第1の照明部と、非偏光を照射する第2の照明部と、を含み、
    前記複数の偏光子は、
    前記第1の照明部の照明光の偏光方向と同じ偏光方向の光を透過させる第1の偏光子と、
    前記第1の偏光子を透過する光の偏光方向とのなす角度が45°の偏光方向の光を透過させる第2の偏光子と、
    前記第1の偏光子を透過する光の偏光方向とのなす角度が90°の偏光方向の光を透過させる第3の偏光子と、を含み、
    前記複数の偏光画像は、前記第1~第3の偏光子にそれぞれ対応する第1~第3の偏光画像を含み、
    前記検査装置は、
    前記第1~第3の偏光画像をハイダイナミックレンジ合成して、合成画像を生成し、
    前記合成画像に基づいて、前記対象物を検査する、請求項1に記載の検査システム。
  11. 対象物を照明する複数の照明部と、複数の偏光子を含む単位領域が繰り返し配列された偏光カメラとを用いた検査方法であって、
    前記複数の照明部は、互いに異なる偏光状態の照明光を照射し、
    前記複数の偏光子は、互いに異なる偏光方向の光を透過させ、
    前記検査方法は、
    前記複数の照明部が同時に点灯している状態において、前記偏光カメラを用いて前記対象物を撮像することにより、前記複数の偏光子にそれぞれ対応する複数の偏光画像を取得するステップと、
    前記複数の偏光画像を用いて前記対象物を検査するステップと、を備える、検査方法。
JP2020214546A 2020-12-24 2020-12-24 検査システムおよび検査方法 Pending JP2022100524A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020214546A JP2022100524A (ja) 2020-12-24 2020-12-24 検査システムおよび検査方法
PCT/JP2021/009554 WO2022137579A1 (ja) 2020-12-24 2021-03-10 検査システムおよび検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020214546A JP2022100524A (ja) 2020-12-24 2020-12-24 検査システムおよび検査方法

Publications (1)

Publication Number Publication Date
JP2022100524A true JP2022100524A (ja) 2022-07-06

Family

ID=82158012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020214546A Pending JP2022100524A (ja) 2020-12-24 2020-12-24 検査システムおよび検査方法

Country Status (2)

Country Link
JP (1) JP2022100524A (ja)
WO (1) WO2022137579A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012237680A (ja) * 2011-05-12 2012-12-06 Ihi Corp 塗布状態検査装置及び方法並びにプログラム
JP5839167B2 (ja) * 2011-08-10 2016-01-06 株式会社リコー 観察装置
AU2013336835B2 (en) * 2012-10-17 2019-04-18 Cathx Research Ltd Improvements in and relating to processing survey data of an underwater scene
JP2018082424A (ja) * 2016-11-04 2018-05-24 パナソニックIpマネジメント株式会社 画像形成装置
JP6807546B2 (ja) * 2016-11-15 2021-01-06 パナソニックIpマネジメント株式会社 画像形成装置
CN110832843B (zh) * 2017-07-12 2021-12-14 索尼公司 成像设备、图像形成方法和成像系统
US20220222843A1 (en) * 2019-05-22 2022-07-14 Omron Corporation Three-dimensional measurement system and three-dimensional measurement method

Also Published As

Publication number Publication date
WO2022137579A1 (ja) 2022-06-30

Similar Documents

Publication Publication Date Title
US9423245B2 (en) Arrangement for optical measurements and related method
US9752869B2 (en) Systems and methods for performing machine vision using diffuse structured light
JP2011002240A (ja) 三次元形状測定方法および装置
JP5682419B2 (ja) 検査方法及び検査装置
JP2009192520A (ja) 表面検査装置
JP2007322272A (ja) 表面検査装置
JP2009168454A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP2000146554A (ja) 透明板の表面凹凸検査方法および装置
JP2014240766A (ja) 表面検査方法および表面検査装置
US8223328B2 (en) Surface inspecting apparatus and surface inspecting method
JP4462232B2 (ja) 表面検査装置
WO2022137579A1 (ja) 検査システムおよび検査方法
JP2009222625A (ja) パターン検査装置及びパターン検査方法
JP4506723B2 (ja) 表面検査装置
JP4696607B2 (ja) 表面検査装置
JP4552202B2 (ja) 表面検査装置
CN104704346A (zh) 用于识别场景中的材料的方法和装置
JP2004170400A (ja) 寸法測定方法及び装置
JP2014095617A (ja) パターン測定装置およびパターン測定方法
CN112986284A (zh) 一种复合式光源结构及光学检测装置
JP2009265026A (ja) 検査装置
JP2016080517A (ja) 表面検査装置
JP7062798B1 (ja) 検査システム及び検査方法
TW201641928A (zh) 物件檢測系統
WO2021250956A1 (ja) 検査システムおよび検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231010