JP2019158393A - 画像検査装置 - Google Patents

画像検査装置 Download PDF

Info

Publication number
JP2019158393A
JP2019158393A JP2018041889A JP2018041889A JP2019158393A JP 2019158393 A JP2019158393 A JP 2019158393A JP 2018041889 A JP2018041889 A JP 2018041889A JP 2018041889 A JP2018041889 A JP 2018041889A JP 2019158393 A JP2019158393 A JP 2019158393A
Authority
JP
Japan
Prior art keywords
light
illumination
image
light emitting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018041889A
Other languages
English (en)
Other versions
JP7187782B2 (ja
Inventor
加藤 豊
Yutaka Kato
豊 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018041889A priority Critical patent/JP7187782B2/ja
Priority to EP18211371.2A priority patent/EP3537214B1/en
Priority to CN201811520137.4A priority patent/CN110248056B/zh
Priority to US16/219,968 priority patent/US11022560B2/en
Publication of JP2019158393A publication Critical patent/JP2019158393A/ja
Application granted granted Critical
Publication of JP7187782B2 publication Critical patent/JP7187782B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8812Diffuse illumination, e.g. "sky"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8835Adjustable illumination, e.g. software adjustable screen
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0564Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567Solid-state light source, e.g. LED, laser
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0589Diffusors, filters or refraction means
    • G03B2215/0592Diffusors, filters or refraction means installed in front of light emitter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

【課題】対象物を最適に照明した状態で複数のカメラによる撮影が可能であるとともに小型化が可能な画像検査装置を提供する。【解決手段】画像検査装置は、対象物を撮影する複数の撮影部と、対象物と複数の撮影部との間に配置され、対象物に向かう方向に光を照射するように構成されるとともに透光性を有する照明部と、複数の撮影部および照明部を制御する制御部とを備える。照明部は、マトリクス状に配置され、かつ、独立に点灯させることが可能な複数の照明要素を含む。制御部は、複数の照明要素を制御して複数の撮影部の視野に対応した対象物の領域を照明部に照明させる。【選択図】図1

Description

本技術は、撮影画像を用いて対象物を検査する画像検査装置に関する。
FA(Factory Automation)分野などにおいては、対象物(以下、「ワーク」とも称す。)を照明装置からの光による照明下で撮影し、生成された画像データからワークに関する情報を取得する画像処理技術が利用されている。
ステレオカメラのような一部の3Dセンサを除き、従来の画像センサは、カメラと照明装置とが1対1の関係、あるいは1対多の関係となる構成を有している。1台のカメラに対して複数の照明が設けられた構成を有する画像センサが、たとえば特開2007−206797号公報(特許文献1)に開示されている。
特開2007−206797号公報
撮影の対象となるワークの形状あるいは大きさによっては、死角の発生を避けるために、複数のカメラが必要になる場合がある。従来の画像センサの場合、複数のカメラを用いる場合においても、各々の照明装置は、必ずいずれか1つのカメラに帰属させる使い方が一般的であった。つまり、カメラと照明の関係は、1対1、または、1対多の関係となっていた。ある照明が帰属しないカメラによる撮影時において、その照明による影響が及ばないようにするため、照明の発光タイミングを意図的にずらすなどの工夫が必要であった。
また、1対1、1対多の関係の場合、複数のカメラに対して照明装置をそれぞれ割り当てなければならないので、複数の照明装置同士が物理的に干渉する可能性がある。特に、面発光タイプの照明装置では、照明のサイズが大きいため、干渉が発生しやすくなる。
なお、1つの照明を常時点灯させて対象物を照明し複数のカメラで撮影する使い方も存在した。この例ではカメラと照明の関係は多対1となる。ただし、この場合は、カメラごとに最適な照明条件を設定できないため、利用可能なアプリケーションが限定されるという問題点があった。
本発明は、対象物を最適に照明した状態で複数のカメラによる撮影が可能であるとともに小型化が可能な画像検査装置を提供することを目的とする。
本開示の一例によれば、撮影画像を用いて対象物を検査する画像検査装置であって、対象物を撮影する複数の撮影部と、対象物と複数の撮影部との間に配置され、対象物に向かう方向に光を照射するように構成されるとともに透光性を有する照明部と、複数の撮影部および照明部を制御する制御部とを備える。照明部は、マトリクス状に配置され、かつ、独立に点灯させることが可能な複数の照明要素を含む。制御部は、複数の照明要素の点灯および消灯を制御して光の照射位置を制御することにより、複数の撮影部の視野に対応した対象物の領域を照明部に照明させて、複数の撮影部に対象物を撮影させる。
この開示によれば、対象物を最適に照明した状態で複数のカメラによる撮影が可能であるとともに小型化が可能な画像検査装置を提供することができる。撮影部ごとに照明部を設ける場合には、複数の照明部が必要である。しかし、複数の照明部同士が互いに物理的に干渉する可能性がある。干渉が生じないように複数の照明部を互いに離した場合には、たとえば画像検査装置が大型化するという問題が発生する。これに対して上記の開示によれば、照明部は、投光性を有するマルチ照明装置を実現できる。したがって任意の照射立体角で対象物の各部位を照明することができるとともに、各撮影部は対象物の部位を撮影できる。したがって小型化された画像検査装置を提供することができる。照明部による対象物の各部位の照明は、順次実行されてもよく、同時に実行されてもよい。
上述の開示において、制御部は、複数の照明要素の点灯および消灯を時分割で制御することにより、照明部から対象物に対して第1の照射パターンの光を照射させ、次に、照明部から対象物に対して第2の照射パターンの光を照射させる。制御部は、第1の照射パターンの光が対象物に照射されるときに、複数の撮影部のうちの第1の撮影部に対象物を撮影させて第1の画像データを取得し、第2の照射パターンの光が対象物に照射されるときに、複数の撮影部のうちの第2の撮影部に対象物を撮影させて第2の画像データを取得する。
この開示によれば、シンプルな構成によって、任意の照射立体角での照明を実現することができる。
上述の開示において、制御部は、第1の画像データおよび第2の画像データを少なくとも含む複数の画像データを用いて、対象物についての画像計測処理を実行する。第1の画像データは、第1の撮影部の撮影視野内の第1の注目位置に対応付けられている。第2の画像データは、第2の撮影部の撮影視野内の第2の注目位置に対応付けられている。第1の照射パターンは、第1の注目位置に応じて決定される。第2の照射パターンは、第2の注目位置に応じて決定される。
この開示によれば、各撮影部の撮影視野内の注目位置ごとに照射パターンが決定されるため、注目位置に応じた照明環境を提供することができる。その結果、画像計測の精度を高めることができる。
上述の開示において、発光部から第1の注目位置へ照射される光の入射方向が、発光部から第2の注目位置へ照射される光の入射方向と実質的に同一となるように、第1の照射パターンおよび第2の照射パターンが決定される。
この開示によれば、撮影視野内の各注目位置に入射される光の入射方向が、注目位置ごとに実質的に同一となるため、各注目位置における照明環境を実質的に同じにすることができる。
上述の開示において、制御部は、発光部から対象物に対して照射する光の照射パターンを順次変更するとともに、当該照射パターンの順次変更に対応して、複数の撮影部に対象物を順次撮影させる。
この開示によれば、異なる照射パターンの下で撮影された画像データを順次取得することができ、順次取得された複数の画像データに基づいて画像計測を実行することができる。
上述の開示において、複数の撮影部の各々は、撮影視野内に含まれる光を画像信号に変換する複数の受光素子のうち一部の受光素子から当該画像信号を読み出す読出回路を含む。
この開示によれば、照射された注目位置に対応する受光素子から画像信号を読み出すことができるため、全ての受光素子から画像信号を読み出す場合に比べて、画像信号の読み出しに要する時間を短縮することができる。
上述の開示において、複数の受光素子のうちの一部である第1の受光素子の信号を読み出す処理の少なくとも一部と、発光部から光を照射させた状態で、複数の受光素子のうちの一部である第2の受光素子を露光させる処理の少なくとも一部とは、同時に実行される。
この開示によれば、信号を読み出す処理の一部と、受光素子を露光させる処理の一部とを同時に実行することができるため、画像処理に利用する画像データを得るために必要な時間を短縮することができる。
上述の開示において、照明部は、マトリクス状に配列され、選択的に発光可能に構成された複数の発光部と、複数の発光部の各々から発せられる光の照射方向を、各複数の発光部の位置に対応した方向に制御するように構成された光学系とを含む。
この開示によれば、発光位置および照射方向を制御可能な照明部がマルチ照明装置を実現できる。対象物の各部位に、任意の照射立体角での照明を同時に実行することができる。
上述の開示において、光学系は、複数の発光部にそれぞれ対向して設けられた複数のマイクロレンズを含む。
この開示によれば、小型化が可能な画像検査装置を実現できる。
上述の開示において、複数のマイクロレンズのうちの少なくとも一部のマイクロレンズの光軸が、少なくとも一部のマイクロレンズに対向する発光部の光軸とずれるように、複数のマイクロレンズが配置されている。
この開示によれば、シンプルな構成により、光の照射方向を制御することができる。
上述の開示において、複数の照明要素のうちの少なくとも1つの照明要素において、少なくとも一部のマイクロレンズが、発光部のピッチよりも小さいピッチで配置されている。
この開示によれば、シンプルな構成により、光の照射方向を制御することができる。
上述の開示において、複数のマイクロレンズのうちの少なくとも一部のマイクロレンズの光軸が、少なくとも一部のマイクロレンズに対向する発光部の光軸に対して傾けられるように、複数のマイクロレンズが配置されている。
この開示によれば、シンプルな構成により、光の照射方向を制御することができる。
上述の開示において、照明部は、複数の発光部から出射される光のうち複数のマイクロレンズのそれぞれの周囲から漏れる光を遮るように構成された遮光部をさらに含む。
この開示によれば、発光部からの光が意図しない方向に漏れる可能性を低減することができる。
上述の開示において、照明部は、非平面となる発光面を有する。
この開示によれば、対象物を取り囲むように複数の撮影部を配置する場合に複数の撮影部を好適に配置することができる。さらに、曲面を有する対象物を最適に照明した状態で複数の撮影部によるカメラによる撮影が可能である。
本発明によれば、対象物を最適に照明した状態で複数のカメラによる撮影が可能であるとともに小型化が可能な画像検査装置を提供することができる。
本実施の形態に係る画像検査装置の概要を示す模式図である。 本実施の形態に係る照明装置の一部を拡大した模式平面図である。 1台のカメラによってワークを撮影するときに生じ得る課題を説明するための図である。 複数のカメラによってワークを撮影するための構成を示した図である。 複数のカメラと複数の照明部とを有する画像検査装置の構成を示した図である。 本実施の形態に係る画像検査装置が備える照明装置によるワークの照明を示した図である。 照明装置の時分割制御による任意の照射立体角での照明を説明するための図である。 複数のカメラの視野と、照明装置の発光領域との配置とを模式的に説明した平面図である。 照明装置によって形成される照射パターンの一例を説明するための図である。 検査画像データの生成方法の一例を説明するための図である。 CMOSイメージセンサを示す模式図である。 フォトダイオードから画像信号を読み出すタイミングを示すタイミングチャートである。 注目位置ごとの照射パターンの決定方法を説明するための模式図である。 キャリブレーション結果の一例を説明するための図である。 照射パターンの補正について説明するための図である。 実施の形態2に係る画像検査装置に含まれる照明装置の構成を示した図である。 実施の形態2に係る照明装置の一例の一部断面を示す模式図である。 実施の形態2に係る照明装置の一部を拡大した模式平面図である。 照明装置の構成要素である照明要素の構造の一例を模式的に示した平面図である。 レンズの周囲から漏れる光の対策のための構成を示す模式平面図である。 図20に示された構成の模式断面図である。 図20に示された構成の1つの変形例を示した模式平面図である。 図20に示された構成の別の変形例を示した模式断面図である。 光切断法を実施する際のパターン照明を説明するための図である。 光切断法のための照明装置の照明パターンを説明するための図である。 図25に示した照明パターンの変形例を説明するための図である。 拡散反射面に対して位相シフト法を実施する際のパターン照明を説明するための図である。 図27に示した位相シフト法(拡散反射)のための照明装置の照明パターンの例を説明するための図である。 拡散反射面に対して位相シフト法を実施する際のパターン照明の別の例を説明するための図である。 図29に示した位相シフト法(拡散反射)のための照明装置の照明パターンの別の例を説明するための図である。 拡散反射面に対して位相シフト法を実施する際のパターン照明の変形例を説明するための図である。 図31に示した位相シフト法(拡散反射)のための照明装置の照明パターンの別の例を説明するための図である。 光が正反射するワーク表面に対して位相シフト法を実施する際のパターン照明を説明するための図である。 図33に示した位相シフト法(正反射)のための照明装置の照明パターンの例を説明するための図である。 光の出射方向または発光領域を制限する照明パターンの例を説明するための図である。 照度差ステレオ法を実施する際のパターン照明を説明するための図である。 図36に示した光照射のための照明パターンの例を説明するための図である。 照度差ステレオ法を実施する際の他のパターン照明を説明するための図である。 図38に示した光照射のための照明パターンの例を説明するための図である。 変形例1に係る照明装置の一部断面を示す模式図である。 変形例2に係る照明装置の一部断面を示す模式図である。 変形例3に係る照明装置320の一部断面を示す模式図である。 平面部分とテーパ部分とを備えるワークWを照明および撮影するための照明装置および複数のカメラの配置を説明するための図である。 図43に示したワークを複数のカメラで撮影する場合における、複数のカメラの視野と、照明装置の発光領域との配置とを模式的に説明した平面図である。 実施の形態1に係る照射パターンの補正方法の他の例を説明するための図である。 非平面の表面を備えるワークWを撮影するための画像検査装置の構成を説明するための図である。
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
<A.適用例>
まず、図1を参照して、本発明が適用される場面の一例について説明する。図1は、本実施の形態に係る画像検査装置1の概要を示す模式図である。
本実施の形態に係る画像検査装置1は、工業製品の生産ラインなどにおいて、対象物(以下、「ワークW」とも称す。)を照明しながら撮影し、得られた撮影画像を用いてワークWの外観検査(傷、汚れ、異物などの検査)を行う装置に適用される。画像検査装置1は、ワークWによって反射された光を検出することで検査するものである。そのため、ワークWには、光を反射する表面を有するものが適用可能である。
図1に示すように、画像検査装置1は、カメラ10A,10B,10Cと、照明装置20と、制御装置100とを備える。カメラ10A,10B,10Cは、複数の撮影部の一例である。照明装置20は照明部の一例である。制御装置100は制御部の一例である。
制御装置100は、たとえば、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサと、RAM(Random Access Memory)と、表示コントローラと、システムコントローラと、I/O(Input Output)コントローラと、ハードディスクと、カメラインターフェイスと、入力インターフェイスと、発光インターフェイスと、通信インターフェイスと、メモリカードインターフェイスとを含む。これらの各部は、システムコントローラを中心として、互いにデータ通信可能に接続される。
カメラ10A,10B,10Cの各々は、撮影視野に存在する被写体を撮影して、撮影画像である画像データを生成するものである。カメラ10A〜10Cは、被写体として、外観検査の対象であるワークWを照明装置20越しに撮影する。図1に示した例では、複数のカメラ10A〜10Cは、その光軸が平行となるように配置される。なお、本実施の形態において、カメラの数は複数であれば特に限定されるものではない。しかしながら図示を容易にする観点から、以下の開示においては、主として、カメラの数が2あるいは3である例が示される。
照明装置20は、ワークWとカメラ10A〜10Cとの間に配置され、ワークWに向けて光LTを照射するとともに、透光性を有している。したがってカメラ10A〜10Cの各々は、照明装置20越しにワークWを撮影することができる。
照明装置20は、その発光面35における発光位置および光の照射方向を制御可能に構成される。照明装置20は、カメラ10A〜10Cの各々の撮影視点に対して最適な照射立体角でワークWの表面に光を照射することができる。図1に示すように、照明装置20は、カメラ10A〜10Cのそれぞれの撮影のために、発光面35における複数の領域35A,35B,35Cを発光させる。カメラ10Aは、照明装置20の領域35Aによって照らされたワークWの部分を撮影する。カメラ10Bは、照明装置20の領域35Bによって照らされたワークWの部分を撮影する。カメラ10Cは、照明装置20の領域35Cによって照らされたワークWの部分を撮影する。
図2は、本実施の形態に係る照明装置の一部を拡大した模式平面図である。図15に示すように、照明装置20は、マトリクス状に配置された複数の照明要素21を含む。すなわち照明装置20は、複数の照明要素21に区画される。
各々の照明要素21は、発光領域と透明領域とを含む。発光領域を発光させることによって照明要素21全体を発光させることができる。一方、各照明要素21は、透明領域を備えることによって、透光性を有する。
図1に戻り、制御装置100は、カメラ10A,10B,10Cおよび照明装置20を制御する制御部である。制御装置100は、複数の照明要素21の点灯および消灯を制御して、ワークWの表面における光LTの照射位置、および光LTの照射角度を制御する。これにより、制御装置100は、複数のカメラ10A〜10Cの視野に対応したワークWの領域を照明装置20に照明させ、複数のカメラ10A〜10Cにワークを撮影させる。
図3は、1台のカメラによってワークWを撮影するときに生じ得る課題を説明するための図である。図3に示すように、ワークWの表面には、たとえば突起(突起51A,51Bにより示される)あるいは窪み(窪み52A,52B,52Cにより示される)が存在する。カメラ10がワークWの表面を撮影する際に、視野の中央付近では死角が発生する可能性が小さい。一方で、カメラ10の視野の周辺では死角が発生する可能性が高くなる。
図3に示す例では、窪み52Aが視線11の方向に存在する。この方向にはカメラ10の死角がないので、カメラ10は、窪み52Bを撮影することができる。視線12の方向には、窪み52Cが存在する。しかし、カメラ10の死角があるため、窪み52Cを正確に撮影できない可能性がある。
さらに、視線11の方向および視線11の方向から理解されるように、カメラ10の視野の中心と、視野の周辺とでは、視線角度が変化する。たとえば突起51A,51Bに例示されるような傾斜面を有する部位の場合、視野の位置によっては、撮影された形状が、実際の形状と異なる可能性がある。
このように、ワークWの大きさあるいは形状によっては、死角の発生等を回避するために複数のカメラが必要になる場合がある。図4は、複数のカメラによってワークWを撮影するための構成を示した図である。
図4に示すように、複数のカメラ10A,10B,10Cが、光軸が互いに平行になるように配置されている。カメラ10A,10B,10Cによって視野を分割(分担)することにより、死角が発生するリスクを低減することができる。また、突起51A,51Bのように傾斜した面を有する部位を撮影した場合に、実際の形状と撮影時の形状との間の違いを小さくすることができる。
従来の構成のように、透過型照明装置とカメラとの関係が1対1の場合、以下に説明する課題が生じ得る。図5は、複数のカメラと複数の照明部とを有する画像検査装置の構成を示した図である。図5に示した例では、画像検査装置は、カメラ10A,10Bと、カメラ10A,10Bにそれぞれ割り当てられた照明部20A,20Bとを備える。照明部20A,20Bの各々は、透過型の照明装置である。このように、カメラと透過型照明装置との組が複数用意される。
しかしながら透過型照明装置はカメラの視野を包含するために、発光面の面積がある程度大きいことが求められる、このため、カメラと照明装置とが1対1の関係にある場合、図4に示すように照明部20A,20Bが互いに物理的に干渉する。また、通常の透過型照明装置によってワークWを照らした場合に、ワークWの各部位を任意の照射立体角で照明することが困難である。
図6は、本実施の形態に係る画像検査装置が備える照明装置20によるワークWの照明を示した図である。図6に示すように、照明装置20は、発光面35における領域35A,35B,35Cから光を照射する。照明装置20は、各領域から同じ照射立体角θで光を発することができる。
本実施の形態によれば、発光位置および照射方向を制御可能な照明装置20がマルチ照明装置を実現できる。複数のカメラが1つの透過型マルチ照明装置を共有する。したがって複数の透過型照明装置の干渉の問題を回避することができる。また、部材の無駄を防ぐことができる。
さらに、ワークWの各部位を照明することによる反射光を複数のカメラによって同時に露光することで、各カメラでシリアルに撮影するよりも撮影時間を短縮することができる。
同じ照射立体角θで光を発するための方法として、本実施の形態では、照明装置20を時分割で制御することによって、任意の照射立体角照明を実現する方法、および、微小光学デバイスを用いて任意の照射立体角照明を実現する方法を適用することができる。これらの方法について以下に詳細に説明する。
<B.第1の実施形態:照明装置の時分割制御による任意の照射立体角での照明>
図7は、照明装置の時分割制御による任意の照射立体角での照明を説明するための図である。図7に示すように、照明装置20は、制御装置100からの指示に従って照射パターンを変更する。照射パターンとは、照明装置20からワークWに照射される光の濃淡パターンであって、本実施の形態においては、発光面35の発光強度の分布のパターンをいう。なお、「発光強度」は、光を発する程度や光の強さを一例とし、たとえば、輝度(cd/m)、光度(cd)などが挙げられる。
制御装置100は、各照射パターンの下で撮影されるようにカメラ10A,10Bを制御する。たとえば制御装置100は、照明装置20からワークWに対して第1照射パターンの光を照射させるとともに、第1照射パターンが照射された状態でカメラ10AにワークWを撮影させて第1の画像データを取得する。また、制御装置100は、照明装置20からワークWに対して第2照射パターンの光を照射させるとともに、第2照射パターンが照射された状態でカメラ10BにワークWを撮影させて第2の画像データを取得する。制御装置100は、第1の画像データおよび第2の画像データを少なくとも含む複数の画像データを用いて、ワークWについての画像計測処理を実行する。
制御装置100は、複数の照明要素21の点灯および消灯を制御することにより照明装置20から照射される光の照射パターンを制御するとともに、各照射パターンの下で撮影して画像データを取得することができる。そのため、ワークWの局所表面の形状に応じて照射パターンを変えることができる。したがって、どのようなワークに対しても使用することのできる汎用性の高い画像検査装置を提供することができる。たとえば、照射パターンを変えることができないような照明装置においては、生産ラインに載せるワークの種類が変わる度に照明の位置を調整して、照射する光のパターンを変える必要がある。一方、本実施の形態に係る画像検査装置は、制御装置100によって照射パターンを変えることができる。また、各照射パターンの下で撮影して画像データを取得できるため、ワークの種類が変わった場合には、照射パターンを変えるだけでよく、照明装置20の位置などを調整する必要がない。
図7に示した構成によれば、画像検査装置の全体の構成をシンプルにすることができる。複数のカメラによる順次撮影では、全体の撮影時間が長くなりやすい。仮に図5に示したように、画像検査装置がカメラと透過型照明との組を複数有し、かつ、各組の間で発光タイミングを異ならせる場合、全体の撮影時間がさらに長くなる。一方、図7に示す構成によれば、複数のカメラが1台のマルチ照明装置を共有するので、全体の撮影時間を短縮することができる。
特に、以下の例に説明するような、複数のカメラの配置において、視野同士の共通部分が大きい場合、あるいは視野同士が近接しかつ照射立体角が広いような場合に、本実施の形態は有利である。図8は、複数のカメラの視野と、照明装置の発光領域との配置とを模式的に説明した平面図である。図8には、照明装置20およびワークWを上方から見た状態が示されている。視野11A,11B,11Cは、それぞれ、カメラ10Aの視野、カメラ10Bの視野、カメラ10Cの視野である。領域36A,36B,36C,36D,36Eは、発光面35の中の発光する領域を示している。
図8の例では、視野11Aの一部と、領域36A,36B,36Dの各々の一部とが重なっている。視野11Bの一部と、領域36Cの一部とが重なっている。視野11Cの一部と、領域36D,36Eの各々の一部とが重なっている。さらに、視野11Aの一部と視野11Cの一部とが互いに重なりあうとともに、視野11Bの一部と視野11Cの一部とが互いに重なりあう。視野11A,11Bの互いに重なりあう部分は、領域36Dにも重なっている。
本実施の形態によれば、このような場合においても、複数のカメラが1台の透過型マルチ照明装置(照明装置20)を共有することによる効果が発揮される。したがって複数のカメラによる複数の撮影視点を有しながら、全体の撮影時間を大幅に増大させることを回避できる。
(照射パターンの例)
図9は、照明装置20によって形成される照射パターンの一例を説明するための図である。照射パターンLは、カメラ10A,10Bの撮影視野内の注目位置aごとに設定されている。外観検査に利用する検査画像データ61は、各照射パターンLの下でそれぞれ撮影して得られた複数の画像データ62から生成される。検査画像データ61内の注目位置aに対応する位置の画像データは、注目位置aに対応付けて設定された照射パターンLの下で撮影された画像データ62から生成される。
照射パターンLは、注目位置aに入射する光の入射角θが、いずれの注目位置aでも実質的に同一となるように決定される。たとえば、注目位置aを含む微小平面に入射する光の入射角の範囲がθ1〜θ2となるように照射パターンLが設定されている場合、照射パターンLは、注目位置aを含む微小平面に入射する光の入射角の範囲がθ1〜θ2となるよう設定される。本実施の形態によれば、注目位置ごとに照明環境を実質的に同一にすることができる。
(検査画像データの生成方法の例)
図10は、検査画像データ61の生成方法の一例を説明するための図である。図10の例では、撮影視野81内の注目位置aとして、注目位置a1〜注目位置anが設定されている。照射パターンLは、注目位置aごとに設定されている。制御装置100(図8を参照)は、たとえばカメラ10Aの撮影視野81内で注目位置ごとに照射パターンLを変化させて、複数の画像データ62−1〜62−nを取得する。図10は、この処理を示す。同様に、カメラ10Bの撮影視野81内で注目位置ごとに照射パターンLを変化させて、複数の画像データが取得される。したがって、カメラ10Aの撮影視野内の注目位置に対応付けられた1または複数の第1の画像データと、カメラ10Bの撮影視野内の注目位置に対応付けられた1または複数の第2の画像データとが得られる。
制御装置100は、カメラ10A,10Bから取得した複数の画像データから検査画像データ61を生成する。図10には、代表的に、カメラ10Aから取得した複数の画像データから検査画像データ61を生成する例が示される。制御装置100は、検査画像データ61内の注目位置aに対応する位置a’の画像データを、画像データ62−1内の注目位置aに対応する位置a’を含む部分画像データ63−1に基づいて生成する。同様に、制御装置100は、検査画像データ51内の注目位置aに対応する位置a’の画像データを部分画像データ63−2に基づいて、検査画像データ61内の注目位置aに対応する位置a’の画像データを部分画像データ63−nに基づいて生成する。
部分画像データ63に含まれる画素は、1画素であっても、複数画素であってもよい。部分画像データ63の範囲は、注目位置aと当該注目位置aに隣接する注目位置との距離に応じて設定され、部分画像データ63−1〜部分画像データ63−nから一の検査画像データ61が生成されるように設定される。
部分画像データ63に含まれる画素が、複数画素である場合、撮影回数および照射パターンの変更回数を減らすことができる。なお、部分画像データ63同士が互いに重なるように部分画像データ63の範囲を設定してもよい。この場合にあっては、重なる部分の画素情報は、部分画像データ63に基づいて生成される。
このように、注目位置ごとに照射パターンが決定され、各照射パターンの下で撮影された複数の画像データを用いて画像計測に利用する検査画像データ61を生成する。すなわち、各照射パターンの下で撮影された複数の画像データを用いて画像計測が行われる。そのため、注目位置に応じた照明環境の下で撮影された画像データを用いることができ、画像計測の精度を向上させることができる。
また、照射パターンを決定するにあたって、注目位置aを含む微小平面に入射する光の入射角の範囲がθ1〜θ2となるように照射パターンLが設定されている場合、照射パターンLは、注目位置aを含む微小平面に入射する光の入射角の範囲がθ1〜θ2となるよう設定される。そのため、注目位置ごとに照明環境を実質的に同一にすることができる。
なお、本実施の形態においては、制御装置100は、撮影視野81内全体を示す画像データ62を生成するための画像信号を各カメラから取得せずに、部分画像データ63を生成するための画像信号のみを各カメラから取得してもよい。すなわち、制御装置100は、各照射パターンL1〜Lnの下で撮影された部分画像データ63−1〜63−nだけを取得するようにしてもよい。
(部分読み出し機能)
制御装置100が各カメラから特定の画像データに対応する画像信号のみを読み出す部分読み出し機能について説明する。図11は、CMOSイメージセンサを示す模式図である。カメラは、部分読み出し方式を採用可能なCMOSイメージセンサ82と、CMOSイメージセンサ82の部分領域を読み出す読出回路84とを備える。CMOSイメージセンサ82は、複数のフォトダイオード83を備える。CMOSイメージセンサ82の部分領域には、1または複数のフォトダイオード83が含まれる。また、CMOSイメージセンサ82の部分領域を読み出すとは、具体的には、部分領域に含まれる1または複数のフォトダイオード83から画像信号を読み出すことを意味する。また、フォトダイオードは「受光素子」の一例であって、光エネルギーを電荷に変換する機能を有するものであれば、フォトダイオードに限られない。
制御装置100は、光が照射されている状態ですべてのフォトダイオード83に光を受光させる。その後、照射されている光の照射パターンに対応する部分画像データ63を取得するため、部分画像データに対応するフォトダイオード83から画像信号を読み出す処理を行なう。部分読出し機能を備えることにより、全フォトダイオード83から画像信号を読み出す場合に比べて、読み出しに要する時間を短縮することができる。
なお、部分読出し機能を有するカメラとして、CMOSイメージセンサ82を備えるカメラを例に挙げたが、読出回路84を備えていれば、CCDイメージセンサのような他のイメージセンサを備えるカメラであってもよい。
(照射パターンの切り替えタイミングと画像信号の読み出しタイミング)
カメラが、画像信号の読み出しを行なっている間に次の露光を開始することができる場合、制御装置100は、特定のフォトダイオード83から画像信号を読み出す処理の少なくとも一部と、フォトダイオード83に光を受光させる処理の少なくとも一部とを同時に行なってもよい。これにより、読み出し処理を行っている間に露光をすることができるため、全てのフォトダイオード83から画像信号を取得するのに要する時間を短縮することができる。
具体的に、図12を参照して、読み出し処理を行っている間に露光をすることについて説明する。図12は、フォトダイオード83から画像信号を読み出すタイミングを示すタイミングチャートである。図12中のフォトダイオード83−1(からは、部分画像データ63−1を生成するための画像信号が読み出され、フォトダイオード83−2からは、部分画像データ63−2を生成するための画像信号が読み出されるものとする。また、部分画像データ63−1は、照射パターンLに対応し、部分画像データ63−2に対応するものとする。制御装置100は、照射パターンL、L、…Lの順で照射パターンLを切り替えるものとする。
図12に示す複数のラインは、紙面の上から順に、照明装置20から照射される光の照射パターンを示すライン、露光しているか否かを示すライン、画像信号を読み出しているか否かを示すラインである。露光しているとは、フォトダイオード83が光を受光して電荷を蓄積していることを意味する。
制御装置100は、照射パターンLの光が照射されている状態で、フォトダイオード83に光を照射し、露光を開始したタイミングtから予め定められた露光時間が経過したタイミングtで、フォトダイオード83−1から画像信号を読み出す処理を開始する。次に、照射パターンLを照射パターンLに切り替えて、フォトダイオード83に光を照射し、露光を開始したタイミングtから予め定められた露光時間が経過したタイミングtで、フォトダイオード83−2から画像信号を読み出す処理を開始する。このように、複数の受光素子のうちの一部である第1の受光素子から画像信号を読み出す処理の少なくとも一部と、照明装置20から光を照射させた状態で、複数の受光素子のうちの一部である第2の受光素子を露光させる処理の少なくとも一部とが同時に実行される。
なお、画像信号の読み出し中に露光を開始させる機能を有していないCMOSイメージセンサやCCDイメージセンサを備えるカメラを用いる場合は、読み出す処理が完了した後に、露光を開始すればよい。具体的には、フォトダイオード83−1から画像信号を読み出す処理が完了したタイミングtから、露光を開始するようにすればよい。
また、一部のフォトダイオード83のみに電荷を蓄積させることができるようなイメージセンサを備えるカメラ10を用いる場合は、照射されている光のパターンに対応するフォトダイオード83に電荷を蓄積させるようにし、全てのフォトダイオード83に電荷が蓄積されたタイミングで、全てのフォトダイオード83から画像信号を読み出すようにしてもよい。また、照射されている光のパターンに対応するフォトダイオード83に電荷を蓄積させた後、そのフォトダイオード83から画像信号を読み出す処理と、次の照射パターンに切り替える処理と、次の照射パターンに対応するフォトダイオード83に電荷を蓄積させる処理とを実行するようにしてもよい。
(照射パターンの決定方法)
図13は、注目位置ごとの照射パターンの決定方法を説明するための模式図である。注目位置aに入射する光の入射角θの範囲が、いずれの注目位置aでも実質的に同一となるようにするため、本実施形態においては、注目位置aを含む微小平面の垂線nを中心とした照射パターンL0が、注目位置aごとに共通するように照射パターンLを決定する。
制御装置100は、注目位置aに対応する照射パターンLを決定する。注目位置aがカメラ10の撮影視野81を規定するカメラ座標系(x,y)において定義され、注目位置aのカメラ座標系内の位置は(x,y)である。なお、図13および図14では、説明を簡単にするため、1台のカメラ10のみを示す。
注目位置aを含む微小平面の垂線nと発光面35との交点Aは、照射パターンを規定する照明座標系(X,Y)において定義され、交点Aの照明座標系内の位置は(X,Y)である。
注目位置aのカメラ座標系内の位置は(x,y)と、交点Aの照明座標系内の位置は(X,Y)との間には、たとえば、式(1)の関係が成立する。そのため、カメラ座標系内の位置から、照明座標系内の位置に変換することができる。
Figure 2019158393
係数A、Bは、キャリブレーションパラメータであって、カメラ10と照明装置20との位置を固定した後に、カメラ10と照明装置20との位置関係に基づいて計算によって算出するか、あるいは、キャリブレーション操作を行なうことで求めることができる。なお、照明装置20の発光面35と、カメラ10の光軸とが直交しない場合は、式(1)の替わりに、透視変換などの既知の方法を用いればよい。
照射パターンLは、(X,Y)を中心に照射パターンLが作られるように決定される。具体的には、基準となる基準照射パターンLの形状を示す関数をL(i,j)と定義した場合に、照射パターンLrは、式(2)のように表現することができる。
Figure 2019158393
よって、注目位置aにおける照射パターンLrは、式(1)と式(2)とから求めることができる。カメラ座標系(x,y)は、カメラのCMOSイメージセンサに含まれる複数のフォトダイオード(図示せず)と対応関係にある。制御装置100は、カメラ座標系(x,y)を含む部分画像データを生成するための画像信号を得るために、照射パターンLrの光を照射させるように照明装置20を制御するとともに、フォトダイオードを露光させるようにカメラ10を制御する。このとき、制御装置100は、カメラ座標系(x,y)と、基準照射パターンL0とから照明装置20に指示する照射パターンLrを特定することができる。
なお、テレセントリックレンズを採用しているものとしたが、テレセントリックレンズ以外の光学系を用いたカメラであってもよい。この場合には、カメラ視線とカメラの光軸とが平行ではないため、キャリブレーションを行なってキャリブレーションパラメータを設定することが好ましい。
図14は、キャリブレーション結果の一例を説明するための図である。図14に示す例は、テレセントリックレンズ以外のレンズを備えるカメラ10を対象にキャリブレーションを行なったものとする。基準対象物が拡散反射物体である場合は、カメラ座標位置B(x,y)に位置する注目位置aに対応する照明要素の位置は、注目位置aの略真上に位置することとなる。
一方、基準対象物が鏡面反射物体である場合は、カメラ座標位置B(x,y)に位置する注目位置aに対応する照明要素の位置は、注目位置aの真上からずれた位置となる。このズレ量は、カメラの光軸から離れた位置となればなるほど、大きくなる。
テレセントリックレンズ以外のレンズを備えるカメラ10において、カメラ10とワークWの表面の注目点との位置関係によっては、カメラ視線が、カメラの光軸と平行にならない。また、鏡面反射物体においては、注目位置aを含む平面に反射した光の反射角と、注目位置aを含む平面に入射した光の入射角とがほぼ等しくなる。そのため、注目位置aにおけるカメラ視線と注目位置aにおける法線との交わりによって作られる角度が、カメラ座標位置B(x,y)に位置する注目位置aに対応する照明要素の位置から照射される光の反射光の角度と一致するように、照明要素の位置は決定される。その結果、注目位置aに対応する照明要素の位置は、注目位置aの真上からずれた位置となる。
なお、注目位置aに対応する照明要素の位置は、注目位置aの真上からずれた位置となる場合には、注目位置aの真上から照射する場合の照射パターンとは異なる照射パターンで照射するように、基準照射パターンLを補正してもよい。図15は、照射パターンの補正について説明するための図である。注目位置aに対応する照明要素の位置を位置Aとし、注目位置aに対応する照明要素の位置を位置Aとする。位置Aは、注目位置aのほぼ真上に位置するものとする。位置Aは、注目位置aのほぼ真上の位置A’からずれたところに位置しているものとする。
また、位置Aと注目位置aとの位置関係のように、位置Aが注目位置aのほぼ真上(発光面35の鉛直方向)にある場合の、位置Aを原点として規定される照射パターンの形状を基準照射パターンLとする。
この場合に、位置Aを中心に基準照射パターンLが作られるような照射パターンでワークを照射した場合、注目位置aに入射する光の照射角は、位置Aを中心に基準照射パターンLが作られるような照射パターンでワークを照射した場合に注目位置aに入射する光の照射角と異なってしまう。そこで、照明要素の位置Aと注目位置aとの位置関係に応じて、基準照射パターンLを補正して、基準照射パターンL’とすることで、注目位置ごとの照明条件を同じにすることができる。
具体的には、位置Aと注目位置aとを結ぶ直線を中心に注目位置aに入射する光のパターンが各注目位置で等しくなるように基準照射パターンLを照明要素の位置Aと注目位置aとの位置関係に応じて補正する。なお、注目位置aに基準照射パしたときに注目位置aに入射する光の強度と、注目位置aに基準照射パターンL’で照射させたときに注目位置aに入射する光の強度とが実質的に等しくなるように、照明装置20から照射する光の強度についても補正してもよい。
<C.第2の実施形態:微小光学系による任意の照射立体角での同時照明>
図16は、実施の形態2に係る画像検査装置に含まれる照明装置20の構成を示した図である。照明装置20は、面光源30と、光学系の一例であるマイクロレンズアレイ40とを含む。
面光源30は、ワークW側の発光面35からワークWに向けて光を放射する。面光源30の発光面35のうち、マトリクス状に配置された複数の発光領域から光が放射される。ワークWからの反射光は、面光源30のうち発光領域以外の透光領域を透過する。各発光領域は、発光部31を含む。
一例では、発光部31は、有機エレクトロルミネッセンス(以下、有機ELと呼ぶ)により構成された部材を含む。複数の発光部31は、選択的に発光可能に構成されている。一例として面光源30は、有機ELを用いた光源である。しかし、本実施の形態に適用可能な照明装置20は、有機ELを用いた光源に限定されるものではない。透過性を有する照明装置であって、マトリクス状に配列され選択的に発光可能に構成された複数の発光部を有する照明装置であれば、この実施の形態に適用可能である。
マイクロレンズアレイ40は、面光源30の発光面35に対向して配置される。マイクロレンズアレイ40は、複数の発光部31にそれぞれ対向して設けられた複数のレンズ41を含む。一例では、レンズ41は凸レンズである。レンズ41は、対応する発光部31から発せられる光を所望の方向に導くように構成される。すなわち、マイクロレンズアレイ40は、複数の発光部31の各々から発せられる光の照射方向を、各発光部31の位置に対応した方向に制御するように構成されている。
複数の発光部31の中から発光させるべき発光部を選択することによって、照射立体角を任意に変更することができる。発光させるべき発光部は、視野の場所に応じて選択される。したがって、視野の場所ごとに照射立体角を任意に設定可能な画像検査装置1を実現できる。さらに、照射立体角を任意に変更することができるので、たとえばスリットあるいはハーフミラーといった光学部品を不要とすることができる。したがって照明装置20を小型化することができる。
図17および図18を参照して、本実施の形態に係る照明装置の構成の一例を説明する。図17は、実施の形態2に係る照明装置の一例の一部断面を示す模式図である。図18は、実施の形態2に係る照明装置の一部を拡大した模式平面図である。
面光源30は、発光面35に沿ってマトリクス状に配列された複数の発光部を含む。図17には、発光部31A〜31Eが代表的に示されている。各々の発光部31A〜31Eは、対向する一対の電極(図示せず)を有する。一対の電極間に電圧が印加されることにより、これらの発光部は発光する。複数の電極対の中から電圧が印加されるべき電極対を選択することによって、発光すべき発光部を選択することができる。
発光部31A〜31Eの各々が発する光の色は限定されない。たとえば複数の発光部31は同色の光を発するのでもよい。あるいは、赤色光を発する発光部と、緑色光を発する発光部と、青色光を発する発光部とを組み合わせることにより、光の色を異ならせることができる発光部を実現することができる。
マイクロレンズアレイ40は、複数の発光部31にそれぞれ対向して配置された複数のマイクロレンズである、複数のレンズ41を含む。複数のレンズ41は、発光面35に沿ってマトリクス状に配置される。図17には、発光部31A〜31Eにそれぞれ対向するレンズ41A〜41Eが代表的に示されている。一例ではレンズ41A〜41Eの各々は、平凸レンズである。平凸レンズの平面は発光面35に向けられている。たとえば平凸レンズは半球レンズであってもよい。
各々のレンズは、対応する発光部から発せられる光の照射方向を制御するためのものである。一実施形態では、レンズ41A〜41Eの間では、発光部の光軸に対するレンズの光軸の相対的な位置が異なっている。発光部の光軸に対するレンズの光軸のずれの方向およびずれ量に従って、レンズから出射される光の方向が決定される。なお、この実施の形態において、発光部の光軸とは、発光領域の中心点を通り発光領域に対して垂直な軸を意味し、レンズの光軸とは、レンズの中心を通り、レンズの主面に対して垂直な軸を意味する。
発光部31Cの光軸32Cと、レンズ41Cの光軸42Cとは実質的に一致している。発光部31Aの光軸32Aに対して、レンズ41Aの光軸42Aは、紙面右方向(+X方向)にずれている。同様に、発光部31Bの光軸32Bに対して、レンズ41Bの光軸42Bも+X方向にずれている。発光部31Aおよびレンズ41Aの対のほうが、発光部31Bおよびレンズ41Bの対よりも、発光部の光軸に対するレンズの光軸のずれの大きさ(以下では「ずれ量」とも呼ぶ)が大きい。
一方、発光部31Dの光軸32Dに対して、レンズ41Dの光軸42Dは、紙面左方向(−X方向)にずれている。同様に、発光部31Eの光軸32Eに対して、レンズ41Eの光軸42Eも−X方向にずれている。発光部31Eおよびレンズ41Eの対のほうが、発光部31Dおよびレンズ41Dの対よりも、ずれ量が大きい。
図17から理解されるように、図17に示す発光部31A〜発光部31Eのいずれかを選択的に発光させることにより、照射立体角を異ならせることができる。照射立体角を異ならせることが可能であるので、照明装置20の照明のパターンの制約が小さくなる。言い換えると、任意のパターンに従う照明を照明装置20によって実現することができる。
図18に示すように、照明装置20は、マトリクス状に配置された複数の照明要素21を含む。すなわち照明装置20は、複数の照明要素21に区画される。各々の照明要素21は、複数の発光部31および複数のレンズ41を含む。たとえば各々の照明要素21は、図17に示す発光部31A〜発光部31Eおよびレンズ41A〜41Eを含むことができる。図示の都合上、図18では、各々の照明要素21に含まれる1つの発光部31および、対応する1つのレンズ41が示される。
各々の照明要素21は、発光領域と透明領域とを含む。発光領域を発光させることによって照明要素21全体を発光させることができる。一方、各照明要素21は、透明領域を備えることによって、透光性を有する。
複数の照明要素21のうち、発光されるべき発光部31を含む照明要素21(すなわち、点灯させるべき照明要素21)によって、照明装置20による光の照射パターンが決定される。各照明要素21から照射される光の波長を変えることができる照明装置20においては、照射パターンは、複数の照明要素21のうちの点灯させる照明要素21と、点灯させる各照明要素21から照射させる光の波長とによって決定されてもよい。
図19は、照明装置20の構成要素である照明要素の構造の一例を模式的に示した平面図である。図19では、撮影部側(照明装置20の上方)からの照明要素の平面視図が示されている。
照明要素21は、マトリクス状に配置された複数のセル22を含む。以下の説明では「行」はX方向を意味し、「列」はY方向を意味する。図19では、5行5列(=5×5)に配置された25個のセル22からなる照明要素21が示されている。しかし、照明要素21を構成するセル22の個数は特に限定されない。たとえば照明要素21は、11行11列(=11×11)に配置された121個のセル22によって構成されてもよい。セル22の個数が多いほど、照明要素21の照射方向の分解能を向上させることができる一方で発光位置の分解能が低下する。照明要素21を構成するセル22の個数は、照射方向の分解能と発光位置の分解能とから決定することができる。
各々のセル22は、発光部31と、レンズ41と、透明領域24とを含む。発光部31の発光面は、セル22において発光領域を構成する。
複数の発光部31は、第1のピッチP1でX方向およびY方向に配置される。複数のレンズ41は、第2のピッチP2でX方向およびY方向に配置される。第2のピッチP2が第1のピッチP1よりも小さい(P2<P1)ので、X方向(行方向)に沿って並べられた複数のセル22について、発光部31の光軸32とレンズ41の光軸42との間のX方向のずれ量が、公差(P1−P2)の等差数列に従う。同様に、Y方向(列方向)に沿って並べられた複数のセル22について、発光部31の光軸32とレンズ41の光軸42との間のY方向のずれ量が公差(P1−P2)の等差数列に従う。
図19において、セル22Cは、照明要素21の中心に位置するセルである。セル22Cは、発光部31Cとレンズ41Cとを含む。発光部31Cの光軸32Cとレンズ41Cの光軸42Cとは平面視において重なる。すなわち、光軸32Cと光軸42Cとの間では、X方向のずれ量およびY方向のずれ量は、ともに0である。
照明要素21内の各セルにおいて、発光部31の光軸32とレンズ41の光軸42との間のX方向のずれ量およびY方向のずれ量は、そのセルと、中央のセル22Cとの間のX方向の距離およびY方向の距離に従って決定される。これにより、セル22ごとに光の照射方向を異ならせることができる。照明要素21は、複数の方向からワークに光を照射することができる。さらに、複数のセルのうち、点灯させるセルを選択することによって、照明要素21からの光の照射方向を制御することができる。
図19に示した構造では、X方向とY方向とで発光部31のピッチおよびレンズ41のピッチが同じである。しかしながら、X方向とY方向とで発光部31のピッチを異ならせてもよい。同様にX方向とY方向とでレンズ41のピッチを異ならせてもよい。
発光部31の光軸32に対するレンズ41の光軸42のずれ量(変位量)が大きい場合、発光部31から出射された光の一部がレンズ41の周囲から漏れる可能性がある。図20は、レンズ41の周囲から漏れる光の対策のための構成を示す模式平面図である。図21は、図20に示された構成の模式断面図である。図20および図21に示されるように、レンズ41の周辺を囲むように遮光部44が設けられてもよい。遮光部44は光を通さない部材、あるいは光を減衰させる部材からなる。遮光部44によって、発光部31からの光が意図しない方向に漏れる可能性を低減することができる。
図22は、図20に示された構成の1つの変形例を示した模式平面図である。図22に示された例では、図20に示された構成に比べて、遮光部44の面積が大きい。これにより、発光部31からの光が意図しない方向に漏れる可能性をさらに低減することができる。
図23は、図20に示された構成の別の変形例を示した模式断面図である。図23に示された例では、遮光部44は、図21に示した構成に加えて、レンズ41の高さ(厚み)方向に沿った十分な高さでレンズ41の周囲を囲む構成を有する。図23に示された構成によれば、レンズ41の周囲から漏れる光を低減する効果をさらに高めることができる。
(パターン照明の一例)
照明装置20は、複数のカメラの各々による撮影のために、以下に例示したいずれかのパターン照明でワークWの部位に光を照射することができる。なお、以下では、複数のカメラのうちの1つのカメラを代表的に示している。また、以下に説明する図に示された照明パターンは、照明装置20の発光面全体による照明パターンであってもよく、一部の領域による照明パターンでもよい。
図24は、光切断法を実施する際のパターン照明を説明するための図である。図25は、光切断法のための照明装置の照明パターンを説明するための図である。光切断法は、たとえば測定対象となるワークの部位が樹脂あるいは金属からなる場合に適用される。図24および図25に示されるように、照明装置20は、ライン状の照射パターンの光LTを所定方向からワークWに照射して、カメラ10は、ワークWの表面を撮影する。当該画像に三角測量を応用することにより、高さ情報を得ることができる。
図25および、以下に説明される図に示した照明要素21の構成は、基本的に図19に示された構成と同じであるので、詳細な説明は繰り返さない。図25に示されるように、照明装置20は、Y方向に沿って並ぶ複数の照明要素21を点灯させる。各照明要素21では、特定の列(たとえば列C2)に配置された発光部31が発光する。これにより、照明装置20は、所望方向から、Y方向に沿ったライン状の光を、ワークWの表面の所望の場所に照射することができる。上述の説明において、Y方向をX方向に置き換えてもよい。この場合には、照明装置20は、X方向に沿ったライン状の光を、ワークWの表面の所望の場所に照射することができる。
図26は、図25に示した照明パターンの変形例を説明するための図である。図26に示されるように、照明装置20は、たとえばX方向およびY方向に対して45°の方向に沿って並ぶ複数の照明要素21を点灯させる。各照明要素21において、X方向およびY方向に対して45°の方向に沿って並ぶ複数の発光部31が発光する。これにより、X方向およびY方向に対して45°の方向に傾いたライン状の光を、ワークWに照射することができる。
なお、光が照射されるワーク表面上の位置、および光の照射方向を組み合わせた複数の照射パターンの光をワークWに照射してもよい。これにより、カメラ10の撮影において死角を減らすことができるので、検査のロバスト性を向上させることができる。すなわち検査の精度を向上させることができる。
図27は、拡散反射面に対して位相シフト法を実施する際のパターン照明を説明するための図である。図28は、図27に示した位相シフト法(拡散反射)のための照明装置の照明パターンの例を説明するための図である。位相シフト法は、たとえば測定対象となるワークの部位が樹脂あるいは金属からなる場合に適用される。図27に示されるように、照明装置20は、縞状の照射パターンの光LTを所定方向から照射し、カメラ10は、ワークWの表面を撮影する。照明装置20は、光を照射する際に、縞状のパターンの位相を変化させるように、該当の照明要素を点灯および消灯する。
図28に示されるように、照明装置20は、X方向に沿って明暗が交互に生じるように、複数の列の照明要素21を点灯させる。各照明要素21において、特定の列(図28の例では列C4)に配置された複数の発光部31が発光する。これにより照明装置20は、Y方向に沿った直線状の照射パターンの光を発することができる。
図29は、拡散反射面に対して位相シフト法を実施する際のパターン照明の別の例を説明するための図である。図30は、図29に示した位相シフト法(拡散反射)のための照明装置の照明パターンの別の例を説明するための図である。図29および図30に示された例では、図27および図28に示された照射パターンを90°回転させる。したがって図30に示されるように、特定の行(図30の例では行R4)に配置された発光部31が発光する。これにより照明装置20は、X方向に沿った直線状の照射パターンの光を発することができる。
なお、発光の強度が正弦波に従って変化するように、発光部を制御してもよい。
図31は、拡散反射面に対して位相シフト法を実施する際のパターン照明の変形例を説明するための図である。図32は、図31に示した位相シフト法(拡散反射)のための照明装置の照明パターンの別の例を説明するための図である。図31および図32に示された例では、特定の列(たとえば列C5)に配置された発光部31が発光する。列C5は、図28に示した列C4よりも外側(+Xの方向)に位置する。したがって撮影部(カメラ10)の光軸に対する光の出射角度が大きくなる。言い換えると、図27および図28に示された照射パターンよりも、照明装置20の発光面に対する光の出射角度は小さい。
なお、光切断法と同様に、位相シフト(拡散反射)の場合にも、出射方向を複数組み合わせてもよい。カメラ10の撮影における死角を減らすことができるので、検査のロバスト性を向上させることができる。
図33は、光が正反射するワーク表面に対して位相シフト法を実施する際のパターン照明を説明するための図である。図34は、図33に示した位相シフト法(正反射)のための照明装置の照明パターンの例を説明するための図である。たとえばワークWの表面が鏡面あるいはガラス面である場合に、正反射を利用した位相シフト法が適用される。図33および図34に示すように、照明装置20は、縞状の照射パターンの光を所定方向から照射し、カメラ10は、ワークWの表面を撮影する。図34に示された例では、各照明要素21において、すべての発光部31が発光する。これにより、複数の方向(全ての方向とみなしてもよい)からワークの表面に光を照射することができる。
各照明要素21において、光の出射方向または発光領域を制限してもよい。この場合にはワークWの表面で拡散反射する成分を減少させることができるので、カメラ10の撮影においてS/N比を向上させることができる。図35は、光の出射方向または発光領域を制限する照明パターンの例を説明するための図である。図35に示されるように、25個の発光部のうち、紙面左上に特定された領域23に属する12個(=4×3)の発光部31のみが発光するのでもよい。
図36は、照度差ステレオ法を実施する際のパターン照明を説明するための図である。照度差ステレオ法では、照明方向を切り替えて撮影した複数の画像から、ワークWの表面の法線を推定する。たとえば照明装置20は、ワークWの表面に対して左斜め上からワークWに光LTを照射する。図37は、図36に示した光照射のための照明パターンの例を説明するための図である。図37に示すように、照明装置20のすべての照明要素21を発光させる。各照明要素21において、中央のセル22Cに対して左隣(−X方向に1つ隣のセル)のセル22Lの発光部31が発光する。他の照明要素21において発光するセルについても同じである。したがってワークWの表面に対して左斜め上から光LTが照射される。
図38は、照度差ステレオ法を実施する際の他のパターン照明を説明するための図である。上述したように、照度差ステレオ法では、照明方向を切り替えて撮影する。図38に示した例では、照明装置20は、ワークWの表面に対して右斜め上からワークWに光LTを照射する。
図39は、図38に示した光照射のための照明パターンの例を説明するための図である。図39に示すように、照明装置20のすべての照明要素21を発光させる。各照明要素21において、中央のセル22Cに対して右隣(+X方向に1つ隣のセル)のセル22Rの発光部31が発光する。他の照明要素21において発光するセルについても同じである。したがって、ワークWの表面に対して右斜め上から光LTが照射される。
なお、図36あるいは図38に示した光照射の方向に対して90°回転させた方向からワークWを照射する場合についても上記と同様である。各照明要素21において、中央のセル22Cに対して上側(+Y方向に1つ隣のセル)のセルの発光部31が発光する。あるいは、122Cに対して下側(−Y方向に1つ隣のセル)のセルの発光部31が発光する。
上記方法によれば、理想的な平行光をワークWに照射することが可能となる。これによりワークWの表面の法線の推定の精度を高めることができる。したがってワークWの表面形状の測定精度を高めることができる。
(照明装置の変形例)
図40は、変形例1に係る照明装置120の一部断面を示す模式図である。図17に示す照明装置20と比較して、照明装置120は、マイクロレンズアレイ40に替えてマイクロレンズアレイ140を備える。マイクロレンズアレイ140は、複数の発光部31にそれぞれ対向して配置された複数のマイクロレンズである、複数のレンズ141を含む。図40には、発光部31A〜31Eにそれぞれ対向するレンズ141A〜141Eが代表的に示されている。
レンズ141A〜141Eの各々は、ロッドレンズである。レンズ141A〜141Eの間では、発光部31の光軸(光軸32A〜32E)に対するレンズの光軸(光軸142A〜142E)の角度が異なっている。ロッドレンズの入射面に対する光の入射角度を異ならせることによって、ロッドレンズの出射面から出射される光の出射角度(レンズの光軸に対する角度)を異ならせることができる。したがって、照明装置120では、発光部ごとに光の出射方向を異ならせることができる。ロッドレンズを利用することにより、ワークWの形状の検査を実施可能な、ワークWと照明装置120との間の距離を大きくすることができる。
図41は、変形例2に係る照明装置220の一部断面を示す模式図である。図17に示す照明装置20と比較して、照明装置220は、マイクロレンズアレイ40に替えてマイクロレンズアレイ240を備える。マイクロレンズアレイ240は、複数の発光部31にそれぞれ対向して配置された複数のマイクロレンズである、複数のレンズ241を含む。図41には、発光部31A〜31Eにそれぞれ対向するレンズ241A〜241Eが代表的に示されている。
レンズ241A〜241Eの各々は、凹レンズである。図40に示された変形例と同様に、レンズ241A〜241Eの間では、発光部31の光軸に対するレンズの光軸の角度が異なっている。発光部の光軸(光軸32A〜32E)に対するレンズの光軸(光軸242A〜242E)の角度を異ならせることによって、凹レンズから出射される光の出射角に対する角度)を異ならせることができる。
図42は、変形例3に係る照明装置320の一部断面を示す模式図である。図17に示す照明装置20と比較して、照明装置320は、マイクロレンズアレイ40に替えてマイクロレンズアレイ340を備える。マイクロレンズアレイ340は、複数の発光部31にそれぞれ対向して配置された複数のマイクロレンズである、複数のレンズ341を含む。図42には、発光部31A〜31Eにそれぞれ対向するレンズ341A〜341Eが代表的に示されている。
変形例3では、図17の構成におけるレンズ41A〜41Eが、レンズ341A〜341Eに置き換えられ、光軸42A〜42Eが、光軸342A〜342Eに置き換えられている。レンズ341A〜341Eの各々は凸レンズである。ただし、レンズ341A〜341Eの各々の形状は、レンズ41A〜41Eの形状とは異なる。図17に示された例と同じく、発光部の光軸(光軸32A〜32E)に対するレンズの光軸(光軸342A〜342E)の相対的な位置を異ならせることにより、発光部から発せられる光の照射方向をレンズによって制御することができる。
なお図40および図41に示された照明装置において、照明要素はマトリクス状に配置された複数のセル22を含む(図17を参照)。複数のセル22の間では、そのセルの位置に応じて、発光部の光軸に対するレンズの光軸の傾きの角度を異ならせることができる。さらに、X軸に対するレンズの光軸の角度および、Y軸に対するレンズの光軸の角度がせるごとに異なり得る。
また、図40〜図42に示されたマイクロレンズアレイ140,240,340において、レンズの周囲に遮光部44(図17〜図20を参照)を配置してもよい。
<D.ワークの他の形状の例>
上記の説明では、ワークWの形状は直方体であるとしたが、ワークWの形状はこれに限るものではない。たとえば、ワークWは、平面部分とテーパ部分とを備えてもよい。
図43は、平面部分とテーパ部分とを備えるワークWを照明および撮影するための照明装置および複数のカメラの配置を説明するための図である。図43に示すように、ワークWはテーパ部分(傾斜面)を有する。カメラ10Aは、ワークWの傾斜面、およびその傾斜面に存在する窪み52Aを撮影するために、カメラ10Aの光軸を傾けて配置される。一方、カメラ10Bは、ワークWの平面部分(上面)を撮影する。図43に示した配置では、カメラ10Aの光軸とカメラ10Bの光軸とは非平行である。ワークWの傾斜面を照明するために、発光面35の領域35Aから光が出射され、ワークWの平面部分を照明するために、発光面35の領域35Bから光が出射される。
図44は、図43に示したワークを複数のカメラで撮影する場合における、複数のカメラの視野と、照明装置の発光領域との配置とを模式的に説明した平面図である。視野11A,11Bは、それぞれ、カメラ10A,10Bの視野である。視野11Aの一部と視野11Bの一部とは互いに重なりあう。ワークの平面部分を撮影する場合(図8を参照)と同様に、視野の一部同士が重なるようにカメラ10A,10Bが配置されてもよい。領域36A,36B,36C,36Dは、発光面35の中の発光する領域である。領域36A,36Cは、ワークWの傾斜面を照明するための領域である。一方、領域36B,36Dは、ワークWの上面を照明するための領域である。
ワークWを構成する面のうち、発光面に対して平行な面と、発光面に対して平行ではない面とで、共通する照射パターンで光を照射した場合、平行な面に入射する光と、平行ではない面に入射する光とでは、その入射角が互いに異なり、各面で照明条件が変わってしまう。実施の形態1,2においては、照射パターンを変えることができるため、ワークWを構成する表面の局所表面ごとに同じ照明条件にすることができる。その結果、計測精度を向上させることができる。
なお、このような形状のワークに対して、実施の形態1に係る照明装置の制御を適用する場合、たとえば以下のように照明パターンを補正することができる。
図45は、実施の形態1に係る照射パターンの補正方法の他の例を説明するための図である。たとえば、図45に示す例では、キャリブレーションを行う際に平板状の基準対象物を利用し、注目位置aに対応する照明要素の位置が位置Aであったとする。検査対象のワークWにおける注目位置aに対応する注目位置aを含む平面が発光面35に対して平行でない場合は、平面の傾きθと、注目位置aと照明装置20との距離とに応じて、照明要素の位置を補正して、照明要素の位置を位置A’としてもよい。
さらに、本実施の形態に係る画像検査装置は以下に説明する構成を採用してもよい。図46は、非平面の表面を備えるワークWを撮影するための画像検査装置の構成を説明するための図である。図46に示すように、カメラ10A,10Bは、ワークWの表面を撮影するために、各々の光軸の角度が調整される。照明装置20の発光面35は、非平面である。たとえばワークWの表面に沿うように照明装置20の外形が曲げられているのでもよい。照明装置20の発光面35が非平面であることにより、ワークWを複数のカメラで取り囲むように設置する場合において、複数のカメラを好適に配置することができる。
発光面35の非平面の形態については種々のバリエーションを採用することができる。たとえば非平面は、1つの平面を折り曲げたような形状を有する、異なる平面の組合せであってもよい。あるいは、非平面は図46に示すような曲面であってもよく、異なる曲面の組合せであってもよい。あるいは非平面は、曲面と平面の組合せであってもよい。曲面の種類は特に限定されるものではないが、たとえば円筒面、円錐面、あるいは球面であってもよい。あるいは曲面は、双曲面、放物面、あるいは楕円体の表面等であってもよい。
なお、限定されないが、非平面の発光面35は、各カメラの光軸に対して垂直に近い角度をなすことが望ましい。また、発光面35(すなわち照明装置20)は、ワークWあるいは複数のカメラと物理的に干渉しない配置とされる。
このように、複数のカメラの光軸は非平行であってもよい。また、照明装置20の発光面35は平面に限定されず、非平面であってもよい。
<E.付記>
以上のように、本実施の形態は以下のような開示を含む。
(構成1)
撮影画像を用いて対象物(W)を検査する画像検査装置(1)であって、
前記対象物(W)を撮影する複数の撮影部(10A,10B,10C)と、
前記対象物(W)と前記複数の撮影部(10A,10B,10C)との間に配置され、前記対象物(W)に向かう方向に光を照射するように構成されるとともに透光性を有する照明部(20,120,220,320)と、
前記複数の撮影部(10A,10B,10C)および前記照明部(20,120,220,320)を制御する制御部(100)とを備え、
前記照明部(20,120,220,320)は、マトリクス状に配置され、かつ、独立に点灯させることが可能な複数の照明要素(21)を含み、
前記制御部(100)は、前記複数の照明要素(21)の点灯および消灯を制御して前記光の照射位置を制御することにより、前記複数の撮影部(10A,10B,10C)の視野(11A,11B,11C)に対応した前記対象物(W)の領域を前記照明部(20,120,220,320)に照明させて、前記複数の撮影部(10A,10B,10C)に前記対象物(W)を撮影させる、画像検査装置(1)。
(構成2)
前記制御部(100)は、前記複数の照明要素(21)の点灯および消灯を時分割で制御することにより、前記照明部(20,120,220,320)から前記対象物(W)に対して第1の照射パターン(L)の光を照射させ、次に、前記照明部(20,120,220,320)から前記対象物(W)に対して第2の照射パターン(L)の光を照射させ、
前記制御部(100)は、前記第1の照射パターン(L)の光が前記対象物(W)に照射されるときに、前記複数の撮影部(10A,10B)のうちの第1の撮影部(10A)に前記対象物(W)を撮影させて第1の画像データを取得し、前記第2の照射パターン(L)の光が前記対象物(W)に照射されるときに、前記複数の撮影部(10A,10B)のうちの第2の撮影部(10B)に前記対象物(W)を撮影させて第2の画像データを取得する、構成1に記載の画像検査装置(1)。
(構成3)
前記制御部(100)は、前記第1の画像データおよび前記第2の画像データを少なくとも含む複数の画像データを用いて、前記対象物(W)についての画像計測処理を実行し、
前記第1の画像データは、前記第1の撮影部の撮影視野(81)内の第1の注目位置(a)に対応付けられており、
前記第2の画像データは、前記第2の撮影部の撮影視野(81)内の第2の注目位置(a)に対応付けられており、
前記第1の照射パターン(L)は、前記第1の注目位置(a)に応じて決定され、
前記第2の照射パターン(L)は、前記第2の注目位置(a)に応じて決定される、構成2に記載の画像検査装置(1)。
(構成4)
前記照明部(20,120,220,320)から前記第1の注目位置(a)へ照射される光の入射方向(θ)が、前記照明部(20,120,220,320)から前記第2の注目位置(a)へ照射される光の入射方向(θ)と実質的に同一となるように、前記第1の照射パターンおよび前記第2の照射パターンが決定される、構成3に記載の画像検査装置(1)。
(構成5)
前記制御部(100)は、前記照明部(20,120,220,320)から前記対象物(W)に対して照射する光の照射パターンを順次変更するとともに、当該照射パターンの順次変更に対応して、前記複数の撮影部(10A,10B)に前記対象物を順次撮影させる、構成3または構成4に記載の画像検査装置(1)。
(構成6)
前記複数の撮影部(10A,10B)の各々は、撮影視野(81)内に含まれる光を画像信号に変換する複数の受光素子(83)のうち一部の受光信号を読み出す読出回路(84)を含む、構成1〜構成5のうちのいずれかに記載の画像検査装置(1)。
(構成7)
前記複数の受光素子(83)のうちの一部である第1の受光素子(83−1)から画像信号を読み出す処理の少なくとも一部と、前記発光部から光を照射させた状態で、前記複数の受光素子(83)のうちの一部である前記第2の受光素子(83−2)を露光させる処理の少なくとも一部とは、同時に実行される、構成6に記載の画像検査装置(1)。
(構成8)
前記照明部(20,120,220,320)は、
マトリクス状に配列され、選択的に発光可能に構成された複数の発光部(31,31A−31E)と、
前記複数の発光部(31,31A−31E)の各々から発せられる前記光の照射方向を、各前記複数の発光部の位置に対応した方向に制御するように構成された光学系(40,140,240,340)とを含む、構成1に記載の画像検査装置(1)。
(構成9)
前記光学系(40,140,240,340)は、
前記複数の発光部(31,31A−31E)にそれぞれ対向して設けられた複数のマイクロレンズ(41,41A−41E,141A−141E,241A−241E,341A−341E)を含む、構成8に記載の画像検査装置(1)。
(構成10)
前記複数のマイクロレンズ(41,41A−41E,141A−141E,241A−241E,341A−341E)のうちの少なくとも一部のマイクロレンズの光軸(42,42A−42E,14242A−242E,342A−342E)が、前記少なくとも一部のマイクロレンズに対向する発光部の光軸(32,32A−32E)とずれるように、前記複数のマイクロレンズが配置されている、構成9に記載の画像検査装置(1)。
(構成11)
前記複数の照明要素(21)のうちの少なくとも1つの照明要素において、前記少なくとも一部のマイクロレンズ(41,41A−41E,341A−341E)が、前記発光部(31,31A−31E)のピッチ(P1)よりも小さいピッチ(P2)で配置されている、構成10に記載の画像検査装置(1)。
(構成12)
前記複数のマイクロレンズ(141A−A−241E)のうちの少なくとも一部のマイクロレンズの光軸(142A−142E,242A−242E)が、前記少なくとも一部のマイクロレンズに対向する発光部の光軸に対して傾けられるように、前記複数のマイクロレンズ(141A−141E,241A−241E)が配置されている、構成9に記載の画像検査装置(1)。
(構成13)
前記照明部(20,120,220,320)は、
前記複数の発光部(31,31A−31E)から出射される光のうち前記複数のマイクロレンズのそれぞれの周囲から漏れる光を遮るように構成された遮光部(44)をさらに含む、構成9から構成12のいずれかに記載の画像検査装置(1)。
(構成14)
前記照明部(20,120,220,320)は、非平面となる発光面(35)を有する、構成1に記載の画像検査装置(1)。
今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組み合わせても、実施することが意図される。
1 画像検査装置、10,10A〜10C カメラ、11,12 視線、11A,11B,11C 視野、20,120,220,320 照明装置、20A,20B 照明部、21 照明要素、C2,C4,C5 列、22,22C,22L,22R セル、23,35A〜35C,36A〜36E 領域、24 透明領域、30 面光源、31,31A−31E 発光部、32,32A−32E 光軸(発光部)、35 発光面、40,140,240,340 マイクロレンズアレイ、41,41A−41E,141,141A−141E,241,241A−241E,341,341A−341E レンズ、42,42A−42E,142A−142E,242A−242E,342A−342E 光軸(レンズ)、44 遮光部、51A,51B 突起、52A,52B,52C 窪み、61 検査画像データ、62 画像データ、63 部分画像データ、81 撮影視野、82 イメージセンサ、83 フォトダイオード、84 読出回路、100 制御装置、300 ステージ、LT 光、P1 第1のピッチ、P2 第2のピッチ、R4 行、W ワーク。

Claims (14)

  1. 撮影画像を用いて対象物を検査する画像検査装置であって、
    前記対象物を撮影する複数の撮影部と、
    前記対象物と前記複数の撮影部との間に配置され、前記対象物に向かう方向に光を照射するように構成されるとともに透光性を有する照明部と、
    前記複数の撮影部および前記照明部を制御する制御部とを備え、
    前記照明部は、マトリクス状に配置され、かつ、独立に点灯させることが可能な複数の照明要素を含み、
    前記制御部は、前記複数の照明要素の点灯および消灯を制御して前記光の照射位置を制御することにより、前記複数の撮影部の視野に対応した前記対象物の領域を前記照明部に照明させて、前記複数の撮影部に前記対象物を撮影させる、画像検査装置。
  2. 前記制御部は、前記複数の照明要素の点灯および消灯を時分割で制御することにより、前記照明部から前記対象物に対して第1の照射パターンの光を照射させ、次に、前記照明部から前記対象物に対して第2の照射パターンの光を照射させ、
    前記制御部は、前記第1の照射パターンの光が前記対象物に照射されるときに、前記複数の撮影部のうちの第1の撮影部に前記対象物を撮影させて第1の画像データを取得し、前記第2の照射パターンの光が前記対象物に照射されるときに、前記複数の撮影部のうちの第2の撮影部に前記対象物を撮影させて第2の画像データを取得する、請求項1に記載の画像検査装置。
  3. 前記制御部は、前記第1の画像データおよび前記第2の画像データを少なくとも含む複数の画像データを用いて、前記対象物についての画像計測処理を実行し、
    前記第1の画像データは、前記第1の撮影部の撮影視野内の第1の注目位置に対応付けられており、
    前記第2の画像データは、前記第2の撮影部の撮影視野内の第2の注目位置に対応付けられており、
    前記第1の照射パターンは、前記第1の注目位置に応じて決定され、
    前記第2の照射パターンは、前記第2の注目位置に応じて決定される、請求項2に記載の画像検査装置。
  4. 前記照明部から前記第1の注目位置へ照射される光の入射方向が、前記照明部から前記第2の注目位置へ照射される光の入射方向と実質的に同一となるように、前記第1の照射パターンおよび前記第2の照射パターンが決定される、請求項3に記載の画像検査装置。
  5. 前記制御部は、前記照明部から前記対象物に対して照射する光の照射パターンを順次変更するとともに、当該照射パターンの順次変更に対応して、前記複数の撮影部に前記対象物を順次撮影させる、請求項3または請求項4に記載の画像検査装置。
  6. 前記複数の撮影部の各々は、撮影視野内に含まれる光を画像信号に変換する複数の受光素子のうち一部の受光素子から当該画像信号を読み出す読出回路を含む、請求項1〜請求項5のうちいずれか1項に記載の画像検査装置。
  7. 前記複数の受光素子のうちの一部である第1の受光素子から画像信号を読み出す処理の少なくとも一部と、前記照明部から光を照射させた状態で、前記複数の受光素子のうちの一部である第2の受光素子を露光させる処理の少なくとも一部とは、同時に実行される、請求項6に記載の画像検査装置。
  8. 前記照明部は、
    マトリクス状に配列され、選択的に発光可能に構成された複数の発光部と、
    前記複数の発光部の各々から発せられる前記光の照射方向を、各前記複数の発光部の位置に対応した方向に制御するように構成された光学系とを含む、請求項1に記載の画像検査装置。
  9. 前記光学系は、
    前記複数の発光部にそれぞれ対向して設けられた複数のマイクロレンズを含む、請求項8に記載の画像検査装置。
  10. 前記複数のマイクロレンズのうちの少なくとも一部のマイクロレンズの光軸が、前記少なくとも一部のマイクロレンズに対向する発光部の光軸とずれるように、前記複数のマイクロレンズが配置されている、請求項9に記載の画像検査装置。
  11. 前記複数の照明要素のうちの少なくとも1つの照明要素において、前記少なくとも一部のマイクロレンズが、前記発光部のピッチよりも小さいピッチで配置されている、請求項10に記載の画像検査装置。
  12. 前記複数のマイクロレンズのうちの少なくとも一部のマイクロレンズの光軸が、前記少なくとも一部のマイクロレンズに対向する発光部の光軸に対して傾けられるように、前記複数のマイクロレンズが配置されている、請求項9に記載の画像検査装置。
  13. 前記照明部は、
    前記複数の発光部から出射される光のうち前記複数のマイクロレンズのそれぞれの周囲から漏れる光を遮るように構成された遮光部をさらに含む、請求項9から請求項12のいずれか1項に記載の画像検査装置。
  14. 前記照明部は、非平面となる発光面を有する、請求項1に記載の画像検査装置。
JP2018041889A 2018-03-08 2018-03-08 画像検査装置 Active JP7187782B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018041889A JP7187782B2 (ja) 2018-03-08 2018-03-08 画像検査装置
EP18211371.2A EP3537214B1 (en) 2018-03-08 2018-12-10 Image inspection device
CN201811520137.4A CN110248056B (zh) 2018-03-08 2018-12-12 图像检查装置
US16/219,968 US11022560B2 (en) 2018-03-08 2018-12-14 Image inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018041889A JP7187782B2 (ja) 2018-03-08 2018-03-08 画像検査装置

Publications (2)

Publication Number Publication Date
JP2019158393A true JP2019158393A (ja) 2019-09-19
JP7187782B2 JP7187782B2 (ja) 2022-12-13

Family

ID=64664176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018041889A Active JP7187782B2 (ja) 2018-03-08 2018-03-08 画像検査装置

Country Status (4)

Country Link
US (1) US11022560B2 (ja)
EP (1) EP3537214B1 (ja)
JP (1) JP7187782B2 (ja)
CN (1) CN110248056B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230099834A (ko) * 2021-12-28 2023-07-05 (주)퀀텀플라즈마 산란광을 이용한 유리기판의 절단면 검사 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112858169B (zh) * 2021-02-01 2024-03-05 苏州维嘉科技股份有限公司 光源检测设备及其光源点亮方法、光源控制装置
CN115372361A (zh) * 2021-05-21 2022-11-22 泰科电子(上海)有限公司 工件多表面检测设备及检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060065A (en) * 1990-02-23 1991-10-22 Cimflex Teknowledge Corporation Apparatus and method for illuminating a printed circuit board for inspection
JPH0646361U (ja) * 1992-11-30 1994-06-24 オリンパス光学工業株式会社 基板外観検査装置
JPH09307697A (ja) * 1996-05-14 1997-11-28 Ricoh Opt Ind Co Ltd マイクロレンズアレイおよびイメージセンサおよび光画像伝送素子
JP2001221747A (ja) * 2000-02-03 2001-08-17 Suntory Ltd 液体充填用容器の撮像方法および装置
JP2002544524A (ja) * 1999-05-14 2002-12-24 エムブイ・リサーチ・リミテッド マイクロビア検査システム
JP2003065966A (ja) * 2001-08-29 2003-03-05 Hitachi Ltd フィルムに対する異物検査方法およびその装置
JP2006194685A (ja) * 2005-01-12 2006-07-27 Cabin Industrial Co Ltd プリント基板の外観検査装置
JP2011233458A (ja) * 2010-04-30 2011-11-17 Seiko Epson Corp 照明装置および電子機器
JP2014060519A (ja) * 2012-09-14 2014-04-03 Sony Corp 固体撮像素子及びその制御方法、並びに電子機器
JP2016013287A (ja) * 2014-07-02 2016-01-28 船井電機株式会社 光音響画像化装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5461417A (en) * 1993-02-16 1995-10-24 Northeast Robotics, Inc. Continuous diffuse illumination method and apparatus
US7504613B2 (en) * 2004-03-25 2009-03-17 The Board Of Trustees Of The Leland Stanford Junior University Optical imaging system having an illumination source between object and image
EP1612569A3 (en) * 2004-06-30 2006-02-08 Omron Corporation Method and apparatus for substrate surface inspection using multi-color light emission system
US7193697B2 (en) * 2005-07-25 2007-03-20 Chroma Ate Inc. Apparatus for feature detection
WO2007026690A1 (ja) * 2005-08-31 2007-03-08 Ccs Inc. 同軸光照射装置
JP2007206797A (ja) 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
JP4719284B2 (ja) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 表面検査装置
US8388204B2 (en) * 2009-09-22 2013-03-05 Cyberoptics Corporation High speed, high resolution, three dimensional solar cell inspection system
US8872912B2 (en) * 2009-09-22 2014-10-28 Cyberoptics Corporation High speed distributed optical sensor inspection system
JP5703561B2 (ja) * 2009-12-29 2015-04-22 オムロン株式会社 照明装置および照明装置の製造方法
KR101046770B1 (ko) * 2010-08-13 2011-07-06 최경용 근거리 홍채 인식용 카메라
JP5900037B2 (ja) * 2012-03-08 2016-04-06 オムロン株式会社 画像処理装置およびその制御方法
FR2993662B1 (fr) * 2012-07-23 2015-05-15 Msc & Sgcc Procede et installation pour la detection notamment de defauts refractants
KR101659549B1 (ko) * 2012-10-05 2016-09-23 가부시키가이샤 무라타 세이사쿠쇼 광 센서
JP2014096253A (ja) * 2012-11-08 2014-05-22 Yamagata Prefecture 透視性を有する面状光源及びそれを用いた撮像方法
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems
US10154202B2 (en) * 2014-10-15 2018-12-11 Samsung Electronics Co., Ltd. Apparatus for illuminating a scene and control method thereof
JP6202035B2 (ja) * 2015-04-07 2017-09-27 コニカミノルタ株式会社 画像検査装置及び画像形成装置
JP6997541B2 (ja) * 2017-05-31 2022-01-17 株式会社キーエンス 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6967373B2 (ja) * 2017-05-31 2021-11-17 株式会社キーエンス 画像検査装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060065A (en) * 1990-02-23 1991-10-22 Cimflex Teknowledge Corporation Apparatus and method for illuminating a printed circuit board for inspection
JPH0646361U (ja) * 1992-11-30 1994-06-24 オリンパス光学工業株式会社 基板外観検査装置
JPH09307697A (ja) * 1996-05-14 1997-11-28 Ricoh Opt Ind Co Ltd マイクロレンズアレイおよびイメージセンサおよび光画像伝送素子
JP2002544524A (ja) * 1999-05-14 2002-12-24 エムブイ・リサーチ・リミテッド マイクロビア検査システム
JP2001221747A (ja) * 2000-02-03 2001-08-17 Suntory Ltd 液体充填用容器の撮像方法および装置
JP2003065966A (ja) * 2001-08-29 2003-03-05 Hitachi Ltd フィルムに対する異物検査方法およびその装置
JP2006194685A (ja) * 2005-01-12 2006-07-27 Cabin Industrial Co Ltd プリント基板の外観検査装置
JP2011233458A (ja) * 2010-04-30 2011-11-17 Seiko Epson Corp 照明装置および電子機器
JP2014060519A (ja) * 2012-09-14 2014-04-03 Sony Corp 固体撮像素子及びその制御方法、並びに電子機器
JP2016013287A (ja) * 2014-07-02 2016-01-28 船井電機株式会社 光音響画像化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230099834A (ko) * 2021-12-28 2023-07-05 (주)퀀텀플라즈마 산란광을 이용한 유리기판의 절단면 검사 장치
KR102619212B1 (ko) * 2021-12-28 2023-12-29 (주)퀀텀플라즈마 산란광을 이용한 유리기판의 절단면 검사 장치

Also Published As

Publication number Publication date
JP7187782B2 (ja) 2022-12-13
CN110248056A (zh) 2019-09-17
CN110248056B (zh) 2020-12-25
US11022560B2 (en) 2021-06-01
EP3537214A1 (en) 2019-09-11
EP3537214B1 (en) 2022-01-12
US20190277771A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
KR101207198B1 (ko) 기판 검사장치
JP5852527B2 (ja) 3次元形状測定方法および基板検査方法
CN109804238B (zh) 光学检查装置
US11619591B2 (en) Image inspection apparatus and image inspection method
CN110033429B (zh) 图像处理系统
JP7176600B2 (ja) 画像検査装置および画像検査方法
CN110248056B (zh) 图像检查装置
CN112964635B (zh) 一种芯片检测方法以及系统
US11567013B2 (en) Image inspection device and lighting device
US20200258246A1 (en) Inspection Device
JP7143740B2 (ja) 画像検査装置および照明装置
JP7027926B2 (ja) 画像検査装置および照明装置
JP5541646B2 (ja) ライン照明装置
KR101164208B1 (ko) 기판 검사장치
KR101133653B1 (ko) 기판 검사장치 및 이를 이용한 기판 검사방법
JP2022143840A (ja) 光学検査方法、光学検査装置、および光学検査プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220805

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220819

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7187782

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150