DE112013002321B4 - Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben, Programm und Prüfsystem - Google Patents

Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben, Programm und Prüfsystem Download PDF

Info

Publication number
DE112013002321B4
DE112013002321B4 DE112013002321.0T DE112013002321T DE112013002321B4 DE 112013002321 B4 DE112013002321 B4 DE 112013002321B4 DE 112013002321 T DE112013002321 T DE 112013002321T DE 112013002321 B4 DE112013002321 B4 DE 112013002321B4
Authority
DE
Germany
Prior art keywords
illumination
image
emission intensity
subpatterns
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE112013002321.0T
Other languages
English (en)
Other versions
DE112013002321T5 (de
DE112013002321T9 (de
Inventor
c/o OMRON Corporation Kojima Takeshi
c/o OMRON Corporation Mori Yasumoto
c/o OMRON Corporation Ohnishi Yasuhiro
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of DE112013002321T5 publication Critical patent/DE112013002321T5/de
Publication of DE112013002321T9 publication Critical patent/DE112013002321T9/de
Application granted granted Critical
Publication of DE112013002321B4 publication Critical patent/DE112013002321B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/557—Detecting specular reflective parts on sample
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646—Soldering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95661—Inspecting patterns on the surface of objects for PCB's for leads, e.g. position, curvature
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95661—Inspecting patterns on the surface of objects for PCB's for leads, e.g. position, curvature
    • G01N2021/95669—Inspecting patterns on the surface of objects for PCB's for leads, e.g. position, curvature for solder coating, coverage
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/062—LED's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

Bildverarbeitungsvorrichtung mit: einem Beleuchtungsmittel (3) mit einer Flächenlichtquelle zur Bestrahlung eines Messgegenstands (4), der ein spiegelndes Objekt und ein diffuses Objekt aufweist, mit Licht eines bestimmten Beleuchtungsmusters; einem Beleuchtungssteuermittel (66) zum Steuern des Beleuchtungsmusters des Beleuchtungsmittels (3); einem Bildaufnahmemittel (1) zur Bildaufnahme des Messgegenstands (4); und einem Bereicherkennungsmittel zum Erkennen eines spiegelnden Objektbereichs auf dem Messgegenstand (4) durch Analyse eines mit dem Bildaufnahmemittel (1) erhaltenen Bildes; wobei das Bereicherkennungsmittel ein erstes Bild, welches durch Bildaufnahme des Messgegenstands (4) in einem Zustand, in dem er mit Licht eines ersten Beleuchtungsmusters von dem Beleuchtungsmittel (3) bestrahlt wird, erhalten wird, und ein zweites Bild, welches durch Bildaufnahme des Messgegenstands (4) in einem Zustand, in dem er mit Licht eines zweiten Beleuchtungsmusters von dem Beleuchtungsmittel (3) bestrahlt wird, erhalten wird, miteinander vergleicht, und den spiegelnden Objektbereich des Messgegenstands (4) anhand eines Ergebnisses dieses Vergleichs erkennt; wobei das erste Bild und das zweite Bild Bilder sind, die durch eine gleiche Anzahl mehrerer Kanäle i mit 1 ≤ i ≤ n, wobei n ein Integer größer oder gleich zwei ist, gebildet sind; wobei das erste Beleuchtungsmuster aus mehreren ersten Beleuchtungs-Untermustern gebildet ist, die jeweils einem der Kanäle i entsprechen und die voneinander verschiedene Emissionsintensitätsverteilungen aufweisen; wobei eines der mehreren ersten Beleuchtungs-Untermuster eine Emissionsintensitätsverteilung aufweist, bei der die Emissionsintensität über die Fläche gleichmäßig ist, und die anderen ersten Beleuchtungs-Untermuster Emissionsintensitätsverteilungen aufweisen, bei denen sich die ...

Description

  • TECHNISCHES GEBIET
  • Die vorliegenden Erfindung betrifft eine Technologie zum Trennen eines Bildes eines Messgegenstands in spiegelnde Objektbereiche und diffuse Objektbereiche.
  • TECHNISCHER HINTERGRUND
  • Es sind visuelle Prüfvorrichtungen bekannt, die verschiedenerlei Inspektionen an einem Messgegenstand vornehmen, indem mit einer Kamera ein Bild des Messgegenstands aufgenommen und das aufgenommene Bild analysiert wird. Mit einer solchen Prüfvorrichtung muss bisweilen der Verarbeitungsalgorithmus verändert werden, je nachdem, ob die Oberfläche des Messgegenstands spiegelnd reflektierend oder diffus reflektierend ist. Der Grund dafür ist, dass im Falle eines Objekts, welches Licht spiegelnd reflektiert (im Folgenden auch als „spiegelndes Objekt” bezeichnet), hauptsächlich Licht aus einer Spiegelrichtung erfasst wird, wohingegen im Falle eines Objekts, welches Licht diffus reflektiert (im Folgenden auch als „diffuses Objekt” bezeichnet), Licht, das aus verschiedenen Richtungen auftrifft, gemischt wird, so dass die erhaltenen Bildinformationen im Falle von spiegelnden Objekten und diffusen Objekten völlig verschieden sind. Dementsprechend wird vor dem eigentlichen Prüfprozess eine Vorverarbeitung zum Aufteilen des Bildes des Messgegenstands in spiegelnde Objektbereiche und diffuse Objektbereiche durchgeführt, falls der Messgegenstand eine Leiterplatte oder dergleichen ist, die sowohl diffuse Objekte (Leiterplattenoberfläche, Bauteilkörper, Resists, usw.) als auch spiegelnde Objekte (Lotstellen, Anschlussflächen, Bauteilelektroden, gedruckte Leitungen, metallische Bauteile, usw.) aufweist.
  • Patentdokument 1 offenbart eine bekannte Technik zum Erkennen von spiegelnden Objektbereichen aus einem Bild. Mit der in Patentdokument 1 offenbarten Technik wird eine Vorrichtung zur visuellen Leiterplattenprüfung mit einem sogenannten Farbmarkierungssystem verwendet, bei dem der Gradient der Objektoberfläche (Richtung der Flächennormalen) abgeschätzt wird, indem die Leiterplatte von drei ringförmigen Beleuchtungsteilen mit rotem (R), grünem (G) und blauem (B) Licht aus verschiedenen Einfallrichtungen bestrahlt wird und die Farben auf der Objektoberfläche erfasst werden, wobei die Vorrichtung ein Bild, bei dem die Beleuchtung in der Reihenfolge R-G-B angeordnet ist, und ein Bild aufnimmt, bei dem die Beleuchtung in der Reihenfolge B-G-R angeordnet ist, und Bereiche, bei denen ein großer Farbunterschied besteht, als spiegelnde Objekte erkennt.
  • VORBEKANNTE TECHNISCHE DOKUMENTE
  • PATENTDOKUMENTE
    • Patentdokument 1: JP 2009-128345A
    • Patentdokument 2: Die US 2011/0262007 A1 offenbart eine Vorrichtung zum Messen der Form eines Zielobjekts. Die Vorrichtung berechnet einen charakteristischen Wert für mehrere interessante Punkte auf der Oberfläche des Zielobjekts, basierend auf einem Bild, welches mit einer Kamera aufgenommen wird. Weiter berechnet die Vorrichtung eine Normale basierend auf dem charakteristischen Wert durch Bezug zu Daten, die zuvor gespeichert wurden. Durch die Berechnungen wird die dreidimensionale Form des Zielobjekts gebildet.
    • Patentdokument 3: Die US 2010/0259746 A1 beschreibt einen Profilmesser zum Messen eines Oberflächenprofils eines Zielobjekts. Der Profilmesser hat eine Beleuchtungsvorrichtung zum Bestrahlen des Zielobjekts mit Licht, ein Bildaufnahmegerät zum Aufnehmen von reflektiertem Licht von dem Zielobjekt und eine Berechnungseinheit zum Berechnen einer Normalenrichtung einer Oberfläche an jeder Position des Zielobjekts von einem aufgenommenen Bild.
    • Patentdokument 4: Die US 2009/0279807 A1 offenbart ein Bildbearbeitungsverfahren bei dem ein polarisiertes Bild aufgenommen wird. Weiter wird eine Variation in der Lichtintensität des Bildes mit einer sinusförmigen Funktion abgeschätzt. Danach wird das Objekt räumlich in einen spiegelnd reflektierenden Bereich und in einen diffus reflektierenden Bereich aufgeteilt.
    • Patentdokument 5: Die US 2004/0184031 A1 beschreibt ein dreidimensionales optisches Inspektionssystem welches ein dreidimensionales Bild von der Form von der Oberfläche von einem zumindest teilweise spiegelnden Objekt rekonstruiert. Das Objekt ist auf einer Platine angeordnet. Es werden zwei oder mehr zweidimensionale Bilder von dem Objekt unter verschiedenen Beleuchtungskonfigurationen aufgenommen.
  • ÜBERBLICK ÜBER DIE ERFINDUNG
  • VON DER ERFINDUNG ZU LÖSENDES PROBLEM
  • Die Technologie aus dem oben genannten Patentdokument 1 ist in der Lage, spiegelnde Objekte genau zu erkennen, die annähernd die Reflektionseigenschaften einer perfekten Spiegeloberfläche aufweisen. Falls jedoch die Objektoberfläche rau ist, wie in dem Fall von bleifreiem Lot zum Beispiel, dann tritt das Problem auf, dass die Erkennungsgenauigkeit abnimmt. Der Grund dafür ist in 12 gezeigt.
  • Wie in 12A(A) gezeigt, wird einfallendes Licht im Falle eines Objekts mit einer perfekten Spiegeloberfläche nur in der Spiegelrichtung reflektiert, und das reflektierte Licht ist spitz und schmal (sogenannter „Spiegel-Spike”). Da das einzige mit der Kamera erfasste Licht in diesem Fall das reflektierte Licht ist, das aus der Spiegelrichtung relativ zur optischen Achse der Kamera einfällt, erscheinen reine R, G bzw. B Farben im Bild. Somit ändert sich die Farbe des Bildes drastisch, wenn die Reihenfolge von R, G und B geändert wird, was es ermöglicht, spiegelnde Objekte relativ einfach zu identifizieren.
  • Im Gegensatz dazu besteht das reflektierte Licht im Fall eines spiegelnden Objekts, das keine perfekte Spiegeloberfläche aufweist, wie in 12(B) dargestellt aus einem Spiegel-Spike und Licht, welches sich in Richtungen ausdehnt, die leicht gegenüber der Spiegelrichtung verschoben sind (dieses Licht wird auch als „Spiegelkeulen” bezeichnet. Die Spiegelkeulen bezeichnen die Ausbreitung von reflektiertem Licht, welches durch geringe Unebenheiten (Mikrofacetten) auf der Objektoberfläche verursacht wird, wobei die Spiegelkeulen sich aufweiten, je rauer die Oberfläche ist (also je mehr die Orientierung der Mikrofacetten variiert), bzw. sich verengen und sich dem Zustand einer perfekten Spiegeloberfläche annähern, je glatter die Oberfläche ist. Das mit der Kamera erfasste Licht ist in diesem Fall eine Mischung der Spiegel-Spike-Komponente des Lichts, das aus der Spiegelrichtung relativ zur optischen Achse der Kamera auftrifft, und der Spiegelkeulen-Komponenten des Lichts, das aus Richtungen auftrifft, die leicht gegenüber der Spiegelrichtung verschoben sind. Dementsprechend ist das Bild eines spiegelnden Objekts mit einer rauen Oberfläche eine Mischung aus R, G und B (z. B. grau). Daher ist die Farbänderung relativ gering, selbst wenn die Reihenfolge von R, G und B geändert wird, was es erschwert, spiegelnde Objekte zu identifizieren.
  • Die vorliegende Erfindung zielt darauf ab, die oben genannten Probleme zu lösen, und es ist eine Aufgabe der Erfindung, eine Technologie bereitzustellen, die es ermöglicht, ein Bild eines Messgegenstands mit hoher Genauigkeit in spiegelnde Objektbereiche und diffuse Objektbereiche zu trennen, unabhängig von den Reflektionseigenschaften des spiegelnden Objekts.
  • MITTEL ZUM LÖSEN DER AUFGABE
  • Das oben angegebene Problem wird durch die unabhängigen Ansprüche gelöst. Um das oben angegebene Problem zu lösen, zielt die vorliegende Erfindung darauf ab, einen Messgegenstand mit zwei Arten von Beleuchtungsmustern aufzunehmen, deren Emissionsintensitätsverteilungen so eingerichtet sind, dass die Spiegelkeulen-Komponenten im reflektierten Licht sich gegenseitig auslöschen, und spiegelnde Objektbereiche auf dem Messgegenstand anhand des Ergebnisses eines Vergleichs von zwei so erhaltenen Bildern zu erkennen.
  • Eine Bildverarbeitungsvorrichtung wird bereitgestellt, mit: einem Beleuchtungsmittel mit einer Flächenlichtquelle zur Bestrahlung eines Messgegenstands, der ein spiegelndes Objekt und ein diffuses Objekt aufweist, mit Licht eines bestimmten Beleuchtungsmusters; einem Beleuchtungssteuermittel zum Steuern des Beleuchtungsmusters des Beleuchtungsmittels; einem Bildaufnahmemittel zur Bildaufnahme des Messgegenstands; und einem Bereicherkennungsmittel zum Erkennen eines spiegelnden Objektbereichs auf dem Messgegenstand durch Analyse eines mit dem Bildaufnahmemittel erhaltenen Bildes; wobei das Bereicherkennungsmittel ein erstes Bild, welches durch Bildaufnahme des Messgegenstands in einem Zustand, in dem er mit Licht eines ersten Beleuchtungsmusters von dem Beleuchtungsmittel bestrahlt wird, erhalten wird, und ein zweites Bild, welches durch Bildaufnahme des Messgegenstands in einem Zustand, in dem er mit Licht eines zweiten Beleuchtungsmusters von dem Beleuchtungsmittel bestrahlt wird, erhalten wird, miteinander vergleicht, und den spiegelnden Objektbereich des Messgegenstands anhand eines Ergebnisses dieses Vergleichs erkennt. Das erste Bild und das zweite Bild sind Bilder, die durch eine gleiche Anzahl mehrerer Kanäle gebildet sind. Das erste Beleuchtungsmuster ist aus mehreren ersten Beleuchtungs-Untermustern gebildet, die jeweils einem der Kanäle entsprechen und die voneinander verschiedene Emissionsintensitätsverteilungen aufweisen, wobei die Emissionsintensitätsverteilung eines jeden ersten Beleuchtungs-Untermusters eine über die Fläche gleichmäßige Emissionsintensität aufweist, oder eine Emissionsintensität aufweist, die sich bei Betrachtung in einem bestimmten Querschnitt, der die optische Achse des Bildaufnahmemittels enthält, mit einem Einfallswinkel des Lichts auf dem Messgegenstand linear ändert. Das zweite Beleuchtungsmuster ist aus mehreren zweiten Beleuchtungs-Untermustern gebildet, die jeweils einem der Kanäle entsprechen, und die voneinander verschiedene Emissionsintensitätsverteilungen aufweisen, wobei die Emissionsintensitätsverteilung eines jeden zweiten Beleuchtungs-Untermusters eine über die Fläche gleichmäßige Emissionsintensität aufweist, oder eine Emissionsintensität aufweist, die sich bei Betrachtung in einem bestimmten Querschnitt, der die optische Achse des Bildaufnahmemittels enthält, mit einem Einfallswinkel des Lichts auf dem Messgegenstand linear ändert. Erste Beleuchtungs-Untermuster und zweite Beleuchtungs-Untermuster, die demselben Kanal entsprechen, weisen voneinander verschiedene Emissionsintensitätsverteilungen auf.
  • Im Falle eines spiegelnden Objekts wird im Wesentlichen die Helligkeit erfasst, die der Emissionsintensität von Punkten der Lichtquelle entspricht, die bei Betrachtung von der Bildaufnahmeeinheit her in der Spiegelrichtung liegen. Mit anderen Worten nimmt das Bild eines spiegelnden Objekts Pixelwerte an, die von der Emissionsintensitätsverteilung der Beleuchtung abhängen. Somit können durch Bildaufnahmen unter Verwendung von zwei Mustern mit verschiedenen Emissionsintensitätsverteilungen für jeden Kanal zwei Bilder erhalten werden, bei denen sich die Pixelwerte der spiegelnden Objektbereiche voneinander unterscheiden. Da andererseits im Falle eines diffusen Objekts die Lichtkomponenten, die aus verschiedenen Richtungen auftreffen, miteinander vermischt werden, sind deren Pixelwerte weitenteils unverändert, selbst wenn die Emissionsintensitätsverteilung variiert wird. Dementsprechend kann durch einen Vergleich der Pixelwerte der zwei Bilder zwischen spiegelnden Objektbereichen und diffusen Objektbereichen unterschieden werden.
  • Ferner sind erfindungsgemäß die Emissionsintensitätsverteilungen der Beleuchtungs-Untermuster so eingestellt, dass „die Emissionsintensität über die Fläche gleichmäßig ist”, oder „die Emissionsintensität bei Betrachtung in einem bestimmten Querschnitt, der die optische Achse der Bildaufnahmeeinheit enthält, sich mit dem Einfallswinkel des Lichts auf dem Messgegenstand linear ändert”. Solche Emissionsintensitätsverteilungen haben den Effekt, dass sich Spiegelkeulen-Komponenten, die in dem reflektierten Licht enthalten sind, sich gegenseitig auslöschen (dies wird im Folgenden auch als „Effekt der Spiegelkeulenauslöschung” bezeichnet). Dementsprechend wird, selbst wenn das spiegelnde Objekt eine raue Oberfläche aufweist, lediglich die Helligkeit erfasst, die der Emissionsintensität von Punkten auf der Lichtquelle entspricht, die von der Bildaufnahmeeinheit aus gesehen in der Spiegelrichtung liegen (also die Spiegel-Spike-Komponente), wie auch im Falle einer perfekten Spiegeloberfläche. Folglich kann gemäß der vorliegenden Erfindung ein Bild eines Messgegenstands mit hoher Genauigkeit aufgeteilt werden in spiegelnde Objektbereiche und diffuse Objektbereiche, und zwar unabhängig von den Reflektionseigenschaften des spiegelnden Objekts. Es sollte beachtet werden, dass, obwohl die Emissionsintensitätsverteilungen der Beleuchtungs-Untermuster idealerweise so eingestellt sind, dass ihre „Emissionsintensität sich linear ändert”, eine strenge Linearität kann aus strukturellen Gründen oder Gründen des Designs schwierig zu realisieren sein. In solchen Fällen ist es ausreichend, wenn Linearität nur im Wesentlichen vorhanden ist. Auch damit kann ein für die Praxis ausreichender Keulenauslöschungseffekt erzielt werden. Das heißt, das Konzept, dass „die Emissionsintensität sich linear ändert” gemäß der vorliegenden Erfindung umfasst auch den Fall, dass „die Emissionsintensität sich im Wesentlichen linear ändert”.
  • Vorzugsweise ist ein Verhältnis der über die Fläche summierten Gesamtmengen von Licht unter den ersten Beleuchtungs-Untermustern, die das erste Beleuchtungsmuster bilden, gleich einem Verhältnis der über die Fläche summierten Gesamtmengen von Licht unter den zweiten Beleuchtungs-Untermustern, die das zweite Beleuchtungsmuster bilden. Ferner sind die Untermuster vorzugsweise so eingestellt, dass die über die Fläche summierte Gesamtmenge an Licht für erste Beleuchtungs-Untermuster und zweite Beleuchtungs-Untermuster, die demselben Kanal entsprechen, gleich ist. Dadurch, dass die Verhältnisse der Gesamtmengen an Licht aneinander angepasst werden, oder die Gesamtmengen an Licht selbst aneinander angepasst werden, kann der Vergleich von diffusen Objektbereichen zwischen dem ersten Bild und dem zweiten Bild mit hoher Genauigkeit durchgeführt werden.
  • Vorzugsweise sind die Beleuchtungsintensitätsverteilungen der ersten Beleuchtungs-Untermuster und die Beleuchtungsintensitätsverteilungen der zweiten Beleuchtungs-Untermuster so eingestellt, dass für alle Punkte q, {L11(q), ..., L1n(q)} ≠ {L21(q), ..., L2n(q)} gilt, wobei q ein Punkt auf der Flächenlichtquelle der Beleuchtungsvorrichtung ist, i einen Kanal angibt (i = 1, ..., n; wobei ”n” ein Integer größer gleich 2 ist), L1i(q) die Emissionsintensität am Punkt q im ersten Beleuchtungs-Untermuster des Kanals i angibt, und L2i(q) die Emissionsintensität am Punkt q im zweiten Beleuchtungs-Untermuster des Kanals i angibt. Da ein Unterschied in den Pixelwerten zwischen dem ersten Bild und dem zweiten Bild unabhängig von der Richtung der Flächennormalen auf spiegelnden Objekten auftritt, können somit spiegelnde Objektbereiche mit hoher Genauigkeit erkannt werden.
  • Ferner sind vorzugsweise die Beleuchtungsintensitätsverteilungen der ersten Beleuchtungs-Untermuster und die Beleuchtungsintensitätsverteilungen der zweiten Beleuchtungs-Untermuster so eingestellt, dass f1(L11(q) – L21(q)) + ... + fn(L1n(q) – L2n(q)) denselben Wert für alle Punkte q hat, wobei q ein Punkt auf der Flächenlichtquelle der Beleuchtungsvorrichtung ist, i einen Kanal angibt (i = 1,..., n; wobei ”n” ein Integer größer gleich 2 ist), L1i(q) die Emissionsintensität am Punkt q beim ersten Beleuchtungs-Untermuster des Kanals i angibt, L2i(q) die Emissionsintensität am Punkt q beim zweiten Beleuchtungs-Untermuster des Kanals i angibt, und fi eine Funktion angibt, die für jeden Kanal i im Vorhinein bestimmt ist. Da der Grad des Unterschieds in den Pixelwerten zwischen dem ersten Bild und dem zweiten Bild unabhängig von der Richtung der Flächennormalen auf spiegelnden Objekten der gleiche ist, wird somit das Setzen eines Schwellwert zur Verwendung bei der Trennung von spiegelnden Objekten und diffusen Objekten vereinfacht.
  • Falls eine solche Einstellung der Emissionsintensitätsverteilung verwendet wird, dann bestimmt das Bereicherkennungsmittel vorzugsweise eine charakteristische Größe, die die Differenz zwischen dem ersten Bild und dem zweiten Bild am Punkt p unter Verwendung eines durch f1(V11(p) – V21(p)) + ... + fn(V1n(p) – V2n(p)) erhaltenen Werts angibt, wobei p ein Punkt auf dem Messgegenstand ist, V1i(p) einen Wert des Kanals i des Pixels angibt, das dem Punkt p im ersten Bild entspricht, V2i(p) einen Wert des Kanals i des Pixels angibt, das dem Punkt p im zweiten Bild entspricht, und wobei das Bereicherkennungsmittel einen Abschnitt am Punkt P als spiegelndes Objekt beurteilt, falls die charakteristische Größe größer als ein Schwellwert ist. Dadurch, dass die charakteristische Größe auf diese Art und Weise bestimmt wird, hat die charakteristische Größe denselben Wert, unabhängig von der Richtung der Flächennormalen auf dem spiegelnden Objekt, was es ermöglicht, zwischen spiegelnden Objekten und diffusen Objekten mit einem einzigen Schwellwert zu unterscheiden, und somit die Verarbeitung drastisch zu vereinfachen.
  • Ferner ist vorzugsweise das erste Beleuchtungs-Untermuster, das einem Kanal k (1 ≤ k ≤ n) entspricht, als über die Fläche gleichmäßige Emissionsintensitätsverteilung eingestellt, und das Bereicherkennungsmittel bestimmt als charakteristische Größe einen Wert, der durch Division von f1(V11(p) – V21(p)) + ... + fn(V1n(p) – V2n(p)) durch den Wert von V1k(p) erhalten wird. Da ein Abnehmen der Helligkeit aufgrund von Spiegelkeulen durch Normalisierung mit V1k(p) ausgeglichen werden kann, kann somit eine charakteristische Größe erhalten werden, die nicht von der Oberflächenrauheit abhängt, was es ermöglicht, die Genauigkeit zu verbessern, mit der spiegelnde Objekte erkannt werden.
  • Die Bildverarbeitungsvorrichtung umfasst vorzugsweise ferner Mittel zur drei-dimensionalen Messverarbeitung, um durch Analyse eines mit dem Bildaufnahmemittel erhaltenen Bilds eine Richtung einer Normalen auf einer Oberfläche des spiegelnden Objekts auf dem Messgegenstand zu berechnen, und um von dem Ergebnis dieser Berechnung eine dreidimensionale Form der Oberfläche des spiegelnden Objekts zu berechnen, wobei das Mittel zur dreidimensionalen Messverarbeitung das erste Bild auch zur Berechnung der dreidimensionalen Form verwendet. Da die Anzahl der Bildaufnahmen verringert werden kann indem dasselbe Bild sowohl für die Erkennung von spiegelnden Objekten als auch für die drei-dimensionale Messverarbeitung verwendet wird, kann somit eine Verbesserung des Durchsatzes der visuellen Prüfung erreicht werden.
  • Es sollte beachtet werde, dass die vorliegende Erfindung auch ausgestaltet werden kann als Bildverarbeitungsvorrichtung, die zumindest einige der oben genannten Einheiten aufweist, oder auch als Prüfsystem, das eine solche Bildverarbeitungsvorrichtung aufweist. Ferner kann die vorliegende Erfindung auch ausgestaltet werden als ein Verfahren zum Steuern einer Bildverarbeitungsvorrichtung oder eines Prüfsystem mit zumindest einem Teil der oben genannten Verarbeitung, oder als Computerprogramm, welches eine Bildverarbeitungsvorrichtung die Schritte dieses Verfahrens ausführen lässt, oder als computerlesbares Speichermedium, auf welchem ein solches Computerprogramm gespeichert ist. Die oben genannten Verarbeitungen bzw. Einheiten können insoweit frei miteinander kombiniert werden, dass keine technischen Widersprüchlichkeiten auftreten.
  • EFFEKTE DER ERFINDUNG
  • Mit der vorliegenden Erfindung kann ein Bild eines Messgegenstands mit hoher Genauigkeit in spiegelnde Objektbereiche und diffuse Objektbereiche aufgeteilt werden, und zwar unabhängig von den Reflektionseigenschaften eines spiegelnden Objekts.
  • KURZE BESCHREIBUNG DER FIGUREN
  • 1 ist ein Diagramm, welches schematisch die Hardware-Struktur der visuellen Prüfvorrichtung darstellt.
  • 2 zeigt beispielhafte Beleuchtungsmuster zur Verwendung bei der drei-dimensionalen Messverarbeitung.
  • 3 ist eine perspektivische Darstellung, die schematisch isochromatische Linien (Linien mit gleicher Emissionsintensität) in der Emissionsintensitätsverteilung von R darstellt.
  • 4 ist eine Diagramm, das die Entsprechung zwischen der Richtung der Flächennormalen auf einem Messgegenstand und den Emissionsbereichen auf einer Flächenlichtquelle darstellt.
  • 5 ist ein Diagramm, das einfallendes Licht und reflektiertes Licht darstellt.
  • 6 ist ein Diagramm, das den Effekt der Keulenauslöschung darstellt.
  • 7 zeigt Beispiele für Beleuchtungsmuster zur Verwendung in der Verarbeitung zur Erkennung von spiegelnden Objekten.
  • 8 ist ein Flussdiagramm der Verarbeitung zur Erkennung von spiegelnden Objekten.
  • 9 ist ein Diagramm, das schematisch ein Beispiel eines Messgegenstands und Bilder desselben darstellt.
  • 10 ist ein Diagramm, das die Anordnung einer visuellen Prüfvorrichtung mit einer plattenförmigen Beleuchtungsvorrichtung darstellt.
  • 11 ist ein Diagramm, das ein Beleuchtungsmuster einer plattenförmigen Beleuchtungsvorrichtung darstellt.
  • 12 ist ein Diagramm, das die Reflektionseigenschaften eines spiegelnden Objekts darstellt.
  • AUSFÜHRUNGSFORMEN DER ERFINDUNG
  • Nachfolgend werden unter Verweis auf die Figuren vorteilhafte Ausführungsformen der Erfindung beschrieben. Eine Bildverarbeitungsvorrichtung der vorliegenden Ausführungsform erkennt spiegelnde Objektbereiche (bzw. trennt spiegelnde Objektbereiche von diffusen Objektbereichen), indem sie einen Bild eines Messgegenstands analysiert. Die Vorrichtung ist bei der Objekterkennung oder Segmentierung in verschiedenen Arten von automatischen Messvorrichtungen, automatischen Prüfvorrichtungen, Robotersehen und dergleichen anwendbar. Die nachfolgende Beschreibung erläutert exemplarisch eine visuelle Prüfvorrichtung (AOI-System), das eine Qualitätsprüfung für Lötstellen und eine Messung der drei-dimensionalen Gestalt von Leiterplattenbauteilen, Lötstellen und dergleichen durchführt.
  • Allgemeiner Aufbau der visuellen Prüfvorrichtung
  • Der allgemeine Aufbau der visuellen Prüfvorrichtung wird mit Bezug auf 1 erläutert. 1 ist ein Diagramm, welches schematisch die Hardware-Struktur der visuellen Prüfvorrichtung darstellt.
  • Die visuelle Prüfvorrichtung umfasst hauptsächlich einen Messtisch 5, einen Prüfkopf H, und eine Informationsverarbeitungsvorrichtung 6. Eine Beleuchtungsvorrichtung 3 zum Bestrahlen eines Messgegenstands 4, wie z. B. eine Leiterplatte oder dergleichen, das auf dem Messtisch 5 platziert ist, mit Messlicht, sowie eine Kamera (Bildsensor) 1, die den Messgegenstand 4 direkt von oben aufnimmt, sind an dem Messkopf H befestigt. Die Informationsverarbeitungsvorrichtung 6 ist mit einer CPU (zentralen Recheneinheit) 60, einem Arbeitsspeicher 61, einer Speichervorrichtung 62, einer Prüfkopfsteuereinheit 63, einer Bildeingabeeinheit 64, einer Beleuchtungsvorrichtungssteuereinheit 66, einer Tischsteuereinheit 67, einer Benutzerschnittstelle 68, einer Anzeigeeinheit 69 und dergleichen versehen. Die Prüfkopfsteuereinheit 63 hat die Funktion, die Bewegung des Prüfkopfs H in einer Z-Richtung (der Richtung senkrecht zum Messtisch 5) zu steuern, und die Tischsteuereinheit 67 hat die Funktion, die Bewegung des Messtischs 5 in den X- und Y-Richtungen zu steuern. Die Beleuchtungsvorrichtungssteuereinheit 66 hat die Funktion, die Beleuchtungsvorrichtung 3 ein- bzw. auszuschalten (und das Beleuchtungsmuster je nach Bedarf umzuschalten). Die Bildeingabeeinheit 64 hat die Funktion, digitale Bilder von der Kamera 1 zu importieren. Die Benutzerschnittstelle 68 ist eine Eingabevorrichtung, die vom Benutzer bedient wird, und kann beispielsweise als Zeigegerät, Touchpanel, Tastatur oder dergleichen ausgebildet sein. Die Anzeigeeinheit 69 ist eine Komponente, mit welcher die Messergebnisse und dergleichen auf einem Bildschirm dargestellt werden, und ist z. B. als Flüssigkristallanzeige oder dergleichen ausgestaltet.
  • Die Beleuchtungsvorrichtung 3 ist eine Flächenlichtquelle mit kuppelartiger Form, wobei die gesamte Kuppelform als Emissionsbereich dient. Dabei ist am Scheitelpunkt der Beleuchtungsvorrichtung 3 eine Öffnung für die Kamera 1 vorgesehen. Eine solche Beleuchtungsvorrichtung 3 kann beispielsweise als kuppelförmige Diffusionsplatte auf deren Rückseite mehrere LED-Chips in einem Array angeordnet sind ausgestaltet sein. Die Beleuchtungsvorrichtung 3 kann auch als Anzeige, wie z. B. als Flüssigkristallanzeige oder organisch-elektrolumineszente Anzeige ausgestaltet sein, die in eine Kuppelform geformt ist.
  • Der Emissionsbereich der Beleuchtungsvorrichtung 3 hat vorzugsweise eine halbkugelartige Kuppelform, um den Messgegenstand 4 aus allen Richtungen bestrahlen zu können. Dies ermöglicht es, Messungen unabhängig davon durchzuführen, in welche Richtung die Oberfläche des Messgegenstands weist. Die Flächenlichtquelle kann jedoch eine beliebige Form haben, so lange die Ausrichtung der Oberfläche des Messgegenstands auf einen bestimmten Bereich beschränkt ist. Wenn zum Beispiel die Ausrichtungen der Flächennormalen auf die im Wesentlichen vertikale Richtung beschränkt sind, dann muss kein Licht aus horizontaler Richtung (also aus Richtungen mit flachem Winkel) einstrahlt werden.
  • Bei der Messung bewegen der Inspektionskopf H und der Messtisch 5 sich relativ zueinander, und der Messgegenstand 4 ist in einer vorbestimmten Messposition positioniert (im Beispiel von 1 ist dies die Mitte der Beleuchtungsvorrichtung 3 (die Stelle, an der die optische Achse der Kamera 1 den Messtisch 5 schneidet)). Der Messgegenstand 4 wird dann in einem Zustand aufgenommen, in dem Messlicht mit einem bestimmten Beleuchtungsmuster von der Beleuchtungsvorrichtung 3 eingestrahlt wird, und Bilddaten werden über die Bildeingabeeinheit 64 in die Bildverarbeitungsvorrichtung 6 importiert. Dabei werden mehrere Sätze von Bilddaten pro Messgegenstand 4 erlangt, indem die Bildaufnahme mehrere Male mit jeweils unterschiedlichen Beleuchtungsmustern durchgeführt wird.
  • Die visuelle Prüfvorrichtung der vorliegenden Ausführungsform hat eine 3D-Messverarbeitungsfunktion zum Messen der drei-dimensionalen Form von spiegelnden Objekten (Lötzinn, Bauteilelektroden, metallene Bauteile, usw.) auf einer Leiterplatte durch Bildanalyse, um die Qualität der Platzierung von Bauteilen auf der Platine, die Qualität der Lötung und dergleichen mit hoher Genauigkeit zu prüfen. Diese Funktion nutzt die Reflektionseigenschaften von spiegelnden Objekten aus, wie weiter unten genauer erläutert wird, und kann somit nicht zur Messung der drei-dimensionalen Form von diffusen Objekten (z. B. Leiterplattenoberflächen, Bauteilkörpern, Resists usw.) verwendet werden. Daher wird bei dieser Vorrichtung eine Vorverarbeitung zum Erkennen/Extrahieren von spiegelnden Objektbereichen aus einem Bild des Messgegenstands 4 (Verarbeitung zum Erkennen von spiegelnden Objekten) durchgeführt, bevor die Verarbeitung zum Berechnen von drei-dimensionalen Formen durchgeführt wird.
  • Im Folgenden wird zunächst das Prinzip der drei-dimensionalen Messverarbeitung beschrieben, um ein Verständnis der Beleuchtungsmuster und des Effekts der Keulenauslöschung (engl.: lobe cancellation) zu erreichen, wonach die Verarbeitung zur Erkennung spiegelnder Objekte beschrieben wird, wobei diese Beschreibung in der umgekehrten Reihenfolge der tatsächlichen Verarbeitung erfolgt.
  • Drei-Dimensionale Messverarbeitung
  • Bei der dreidimensionalen Messverarbeitung wird der Messgegenstand 4 unter Verwendung von vorbestimmten Beleuchtungsmustern für drei-dimensionale Messungen aufgenommen.
  • 2 zeigt beispielhafte Beleuchtungsmuster für die drei-dimensionale Messverarbeitung. In 2 ist die zweidimensionale Emissionsintensitätsverteilung der Beleuchtungsvorrichtung 3, welche ja eine Flächenlichtquelle ist, schematisch dargestellt, wobei die horizontale Achse den Längengrad (von 0 bis π) entlang der X-Richtung zeigt und die vertikale Achse den Längengrad (von 0 bis π) entlang der Y Richtung zeigt. Unter der Annahme, dass die Emissionsintensität einen Wert von 0 bis 255 annimmt, ist die Emissionsintensität 0 (am dunkelsten) in schwarz dargestellt, die Emissionsintensität 255 (am hellsten) ist in weiß dargestellt, und dazwischen liegende Emissionsintensitäten sind in Graustufen dargestellt.
  • Die Beleuchtungsmuster der vorliegenden Ausführungsform sind, wie in 2 dargestellt, durch drei Beleuchtungs-Untermuster (bzw. untergeordnete Beleuchtungsmuster) gegeben, die voneinander unterschiedliche Emissionsintensitätsverteilungen aufweisen, und jedes dieser Beleuchtungs-Untermuster entspricht einem unterschiedlichen Kanal des Bilds. Mit anderen Worten sind die Werte des reflektierten Lichts, das bei Bestrahlung mit dem ersten Beleuchtungs-Untermuster wahrnehmbar ist, die Daten eines ersten Kanals, die Werte des reflektierten Lichts, das bei Bestrahlung mit dem zweiten Beleuchtungs-Untermuster wahrnehmbar ist, sind die Daten eines zweiten Kanals, und die Werte des reflektierten Lichts, das bei Bestrahlung mit dem dritten Beleuchtungs-Untermuster wahrnehmbar ist, sind die Daten eines dritten Kanals.
  • Die Farben (Spektralverteilungen) des Lichts der Beleuchtungs-Untermuster können voneinander abweichen, können aber auch dieselben sein. Die Verwendung von Licht mit unterschiedlichen Farben, wie z. B. R, G und B, hat den Vorteil, dass es ermöglicht wird, ein Bild zur Verwendung bei der drei-dimensionalen Messung durch einmalige Beleuchtung und Bildaufnahme zu erlangen, wobei eine Anordnung verwendet wird, die das durch Kombination dieser Beleuchtungs-Untermuster erhaltene Licht einstrahlt und das Licht mit einem in der Kamera vorgesehenen Farbfilter in seine einzelnen Farben aufspaltet. Andererseits, und obwohl die Verarbeitung bei Verwendung von Licht derselben Farbe etwas länger dauert, da mehrere Bildaufnahmen mit unterschiedlichen Beleuchtungs-Untermustern erforderlich sind, besteht dabei der Vorteil, dass die Messgenauigkeit verbessert werden kann, da mit einer stabilen Lichtmenge beleuchtet wird, da dieselbe Lichtquelle verwendet wird. In der vorliegenden Ausführungsform wird ein Beispiel beschrieben, bei dem Beleuchtungs-Untermuster der drei Farben R, G und B verwendet werden. In diesem Fall ist das Bild zur Verwendung bei der drei-dimensionalen Messung ein RGB-Farbbild, welches aus den drei Kanälen R, G und B besteht.
  • Wie in 2 gezeigt ist, ist das Beleuchtungs-Untermuster für R so eingestellt, dass die Emissionsintensität linear von 50 bis 250 über die Länge (0 → π) in der X-Richtung ansteigt. Dagegen ist das Beleuchtungs-Untermuster für G so eingestellt, dass die Emissionsintensität in Bereich der gesamten Fläche 150 beträgt. Ferner ist das Beleuchtungs-Untermuster für B so eingestellt, dass die Emissionsintensität linear von 250 bis 50 über die Länge (0 → π) in der Y-Richtung abnimmt.
  • Die Emissionsintensitätsverteilung des Beleuchtungs-Untermuster für R wird unter Bezugnahme auf 3 im Folgenden im Detail beschrieben. 3 ist eine perspektivische Darstellung, die schematisch isochromatische Linien (Linien mit gleicher Emissionsintensität) in der Emissionsintensitätsverteilung von R darstellt. Hierbei wird die X-Richtung durch einen Winkel θ um die Y-Achse dargestellt, wobei ein Punkt O, an dem der Messgegenstand 4 auf dem Messtisch 5 platziert ist, als Ursprung dient. Punkte auf dem Meridian des Längengrads θ sind auf dieselbe Emissionsintensität L(θ) gesetzt. Im Beispiel in 2 gilt L(θ) = 50 + (250 – 50) × (θ/π). Da der Längengrad θ dem Winkel des Lichteinfalls auf dem Messgegenstand 4 bei Betrachtung eines Schnitts (XZ-Schnitts), der die optische Achse (Z-Achse) der Kamera 1 umfasst sowie die X-Achse umfasst, entspricht, ist die Emissionsintensitätsverteilung von R im XZ-Schnitt so eingestellt, dass sich die Emissionsintensität linear mit dem Einfallswinkel des Lichts ändert. Obwohl nicht dargestellt, ist in ähnlicher Weise die Emissionsintensitätsverteilung von B im YZ-Schnitt so eingestellt, dass sich die Emissionsintensität linear mit dem Einfallswinkel des Lichts ändert.
  • Falls auf diese Art eingestellte Beleuchtungsmuster verwendet werden, dann werden Farben (Kombinationen der Emissionsintensitäten von R, G und B) emittiert, die sich an jedem Ort auf der Flächenlichtquelle unterscheiden. So gilt am Ort (Längengrad in X-Richtung, Längengrad in Y-Richtung) = (0, 0) zum Beispiel (R, G, B) = (50, 150, 250), was einem starken Blau entspricht, und an einem Ort (Längengrad in X-Richtung, Längengrad in Y-Richtung) = (π/2, π/2) (also am Scheitelpunkt) gilt (R, G, B) = (150, 150, 150), was Grau entspricht.
  • Durch die Verwendung solcher Beleuchtungsmuster kann die Oberflächenform (die Richtung der Normalen) des Messgegenstands mit nur einem Bild gemessen werden. Dieses wird mit Bezugnahme auf 4 erläutert. Die Richtung der Normalen an einem gegebenen Punkt auf der Oberfläche des Messgegenstands 4 ist durch die Richtung eines Pfeils N gegeben, wobei der Zenitwinkel als θ und der Azimutwinkel als φ gegeben ist. Falls der Messgegenstand 4 ein spiegelndes Objekt ist, dann hat der Punkt auf dem Objekt, der mit der Kamera 1 aufgenommen wird, die Farbe des reflektierten Lichts, das an einem Ort R auf der Flächenlichtquelle (der Beleuchtungsvorrichtung 3) emittiert wird und auf den Messgegenstand 4 trifft. Die Richtung (θ, φ) der Normalen auf der Oberfläche und die Richtung des einfallenden Lichts (Ort R auf der Flächenlichtquelle) entsprechen einander somit eins zu eins. Wenn also aus unterschiedlichen Richtungen einfallendes Licht auch unterschiedliche Farben hat (also unterschiedliche Kombinationen der Emissionsintensitäten R, G und B), dann kann die Richtung der Normalen an diesem Punkt sowohl für den Zenitwinkel als auch den Azimutwinkel angegeben werden, indem die Farbcharakteristika der Pixel (Kombination der Werte für jeden Kanal) untersucht werden. Dabei kann die Entsprechung zwischen den Farbcharakteristika der Pixel und der Richtung der Normalen im Vorhinein als Tabelle bereitgestellt werden. Wenn die Richtung der Normalen für jeden Punkt (jedes Pixel) eines Bilds berechnet werden kann, dann kann die drei-dimensionale Form eines spiegelnden Objekts wiederhergestellt werden, indem die Normale jedes Punktes in einen Gradient umgewandelt wird und die Gradienten miteinander verbunden werden.
  • Effekt der Keulenauslöschung
  • Wie oben beschrieben, werden mit dieser Vorrichtung die Emissionsintensitätsverteilungen von R und B so eingestellt, dass sich die Emissionsintensität linear mit dem Einfallswinkel ändert, und die Emissionsintensitätsverteilung von G ist auf eine über die Fläche gleichförmige Intensität eingestellt. Solche Emissionsintensitätsverteilungen haben den Effekt, dass spiegelnde Keulenkomponenten, die im reflektierten Licht enthalten sind, einander auslöschen (Effekt der Keulenauslöschung), was es ermöglicht, Farbcharakteristika, die einer perfekten Spiegelfläche ähneln, auch bei einem spiegelndem Objekt mit rauer Oberfläche, wie z. B. bleifreiem Lot, zu erfassen. Dieser Effekt der Keulenauslöschung wird im Folgenden beschrieben.
  • Wie in 12(B) gezeigt ist, treten im Falle eines spiegelnden Objekts, das keine perfekte Spiegeloberfläche aufweist, zusätzlich zur spiegelnden Reflektion (Spiegel-Spike) auch noch Spiegelkeulen auf. Somit ist das Licht, das mit der Kamera 1 aufgenommen wird, Licht, das aus einer Mischung von Spiegelkeulenkomponenten von Licht besteht, das aus unterschiedlichen Richtungen auftrifft, die jeweils leicht von der Spiegelrichtung der Spiegel-Spike-Komponente des Lichts, das aus der Spiegelrichtung in Bezug auf die optische Achse der Kamera 1 auftrifft, versetzt sind. Folglich unterscheiden sich die Farbcharakteristika von denen einer perfekten Spiegeloberfläche.
  • Falls die Beleuchtung dabei so durchgeführt werden kann, dass sich die Komponenten von Licht, das aus anderen Richtungen als die Spiegelrichtungen auftrifft, einander exakt aufheben bzw. auslöschen, und nur solche Farbcharakteristika beibehalten werden, die denen im Fall einer perfekten Spiegeloberfläche ähnlich sind, dann können auch Objekte mit rauen Oberflächen oder Objekte mit nicht einheitlichen Oberflächen gemessen werden als ob sie Objekte mit einer perfekten Spiegeloberfläche wären. Dies kann, theoretisch, dadurch verwirklicht werden, dass die Emissionsintensitätsverteilung der Beleuchtungsvorrichtung 3 wie folgt eingestellt wird.
  • Wie in 5 dargestellt soll die folgende Gleichung für einen gegebenen Normalenvektor am Punkt p und einem gegebenen punktsymmetrischen Bereich Ω im Emissionsbereich gelten, wobei die Lichtquellenverteilung von Licht, dass aus der Richtung des Einfallswinkels (θi, φi) auf einem Messpunkt p als Li(p, θi, φi) gegeben ist. Gleichung 1
    Figure DE112013002321B4_0002
  • Hierbei ist ”p” der Messpunkt auf der Oberfläche, (θi, φi) ist die Richtung des einfallenden Lichts (wobei θ die Zenitwinkelkomponente und φ die Azimutwinkelkomponente ist; das gleiche gilt auch im Folgenden), (θr, φr) ist die Richtung des reflektierten Lichts (Kamerarichtung), (θis, φis) ist die Spiegelrichtung relativ zu (θr, φr), ”f” ist die Reflektionscharakteristik am Punkt p, und Ω ist der punktsymmetrische Bereich um (θis, φis).
  • Die Emissionsintensitätsverteilungen der Beleuchtungsmuster (Beleuchtungs-Untermuster), die in der vorliegenden Ausführungsform verwendet werden sind allesamt angenäherte Lösungen zur obigen Gleichung.
  • Das Ausgleichen des Einflusses der Spiegelkeulen durch Verwendung solcher Beleuchtungsmuster wird unter Bezugnahme auf 6 nun aus einem anderen Blickwinkel erläutert. 6 zeigt die eindimensionale Richtung der Helligkeitsänderung, die mit an das Ideal heranreichendem Licht erzielt wird, um den Effekt der Keulenauslöschung der Beleuchtungsmuster gemäß der vorliegenden Ausführungsform zu beschreiben. Wie in 6 gezeigt, wird hierbei nur Licht von drei Punkten betrachtet, nämlich von einem Winkel a (Spiegelrichtung), einem Winkel a + α, sowie einem Winkel a – α. Die Keulenkoeffizienten des Lichts von Orten mit den Winkeln a + α und a – α seien dabei beide σ. Ferner sind die Emissionsintensitäten der Beleuchtungsvorrichtung 3 an den jeweiligen Orten der Winkel a – α, a and a + α proportional zu den Winkeln gegeben als (a – α)L, aL and (a + α)L. Die Kombination des jeweiligen reflektierten Lichts von diesen drei Punkten ist somit σ(a – α)L + aL + σ(a + α)L = (1 + 2σ)aL, so dass der Einfluss der Spiegelkeulenkomponenten von periphärem Licht eindeutig aufgehoben ist. Obwohl hier nur die zwei Punkte a ± α betrachtet werden, sollte sofort ersichtlich sein, dass der Einfluss der Spiegelkeulenkomponenten des periphären Lichts komplett aufgehoben ist. Dies gilt für jede der Lichtkomponenten R, G und B, so dass die Farbcharakteristika, die durch das Verhältnis der Emissionsintensitäten der Farben R, G und B dargestellt werden, somit dieselben sind wie die im Falle von perfekter Spiegelreflektion. Folglich können Farbcharakteristika erhalten werden, die solchen im Falle einer perfekten Spiegelreflektion ähnlich sind, selbst wenn das Objekt eine raue Oberfläche oder nicht einheitliche Reflektionseigenschaften aufweist.
  • Die obige Beschreibung bezog sich auf die Richtung, in welcher der ideale Effekt erzielt werden kann. In Bezug auf andere Richtungen gilt die oben beschriebene Linearität nicht mehr, und der Einfluss der Spiegelkeulenkomponenten kann nicht komplett aufgehoben werden, es ist jedoch möglich, den Einfluss der Spiegelkeulenkomponenten in einem Bereich zu mindern, der für praktische Zwecke angemessen ist.
  • Verarbeitung zur Erkennung von spiegelnden Objekten
  • Die oben beschriebene drei-dimensionale Messverarbeitung verwendet die Reflektionseigenschaften von spiegelnden Objekten und kann somit nicht zur drei-dimensionalen Messung von diffusen Objekten verwendet werden. Folglich führt die Vorrichtung eine Verarbeitung zur Bestimmung spiegelnder Objektbereiche in einem Bild durch, bevor die Verarbeitung zur Wiederherstellung von drei-dimensionalen Formen aus den Farbcharakteristika des Bilds durchgeführt wird. Der grundlegende Algorithmus für diese Verarbeitung umfasst das Aufnehmen des Messgegenstands unter Verwendung von zwei Arten von Beleuchtungsmustern, die so eingestellt sind, dass sich nur die Farbcharakteristika von spiegelnden Objekten ändern, Vergleichen der erhaltenen zwei Bilder, und Differenzieren von Objekten in spiegelnde und diffuse Objekte, je nachdem ob sich die Farbcharakteristika deutlich ändern oder nicht.
  • Einstellbedingungen für die Beleuchtungsmuster
  • Im Folgenden werden die Einstellbedingungen für die zwei Arten von Beleuchtungsmustern erläutert. Das erste Beleuchtungsmuster wird dabei als ”erstes Beleuchtungsmuster” und die jeweiligen Beleuchtungs-Untermuster der ersten Beleuchtungsmuster werden als ”erste Beleuchtungs-Untermuster” bezeichnet, wohingegen das zweite Beleuchtungsmuster als ”zweites Beleuchtungsmuster” bezeichnet wird und die jeweiligen Beleuchtungs-Untermuster der zweiten Beleuchtungsmuster als ”zweite Beleuchtungs-Untermuster” bezeichnet werden. Ferner wird das unter Verwendung des ersten Beleuchtungsmuster erhaltene Bild als ”erstes Bild” und das unter Verwendung des zweiten Beleuchtungsmuster erhaltene Bild als ”zweites Bild” bezeichnet.
    • Bedingung 1: Die ersten Beleuchtungsmuster und die zweiten Beleuchtungsmuster, die demselben Kanal entsprechen, haben jeweils voneinander unterschiedliche Emissionsintensitätsverteilungen.
  • Im Falle eines spiegelnden Objekts wird im Grunde die Helligkeit erfasst, die der Emissionsintensität von Punkten auf der Lichtquelle entspricht, die von der Kamera 1 aus betrachtet in der Spiegelrichtung liegen. Mit anderen Worten nimmt das Bild eines spiegelnden Objekts Pixelwerte an, die von der Emissionsintensitätsverteilung der Beleuchtung abhängen. Dagegen sind im Falle eines diffusen Objekts die Komponenten des Lichts, das von verschiedenen Richtungen einfällt, miteinander vermischt, und somit bleiben die Pixelwerte größtenteils unverändert, selbst wenn die Emissionsintensitätsverteilung variiert. Somit können durch eine Bildaufnahme unter Verwendung von zwei Arten von Beleuchtungsmustern, die die Bedingung 1 erfüllen, zwei Bilder erhalten werden, die Pixelwerte haben, die sich lediglich in den spiegelnden Objektbereichen unterscheiden.
    • Bedingung 2: Es werden sowohl für das erste Beleuchtungsmuster als auch für das zweite Beleuchtungsmuster Muster mit Emissionsintensitätsverteilungen verwendet, die den Keulenlöschungseffekt aufweisen. Mit anderen Worten, sowohl das erste Beleuchtungsmuster (jedes der ersten Beleuchtungs-Untermuster) als auch das zweite Beleuchtungsmuster (jedes der zweiten Beleuchtungs-Untermuster) haben eine Emissionsintensitätsverteilung, die eine Lösung oder eine annähernde Lösung der oben genannten Gleichung (1) ist.
  • Als Ergebnis des Keulenlöschungseffekts werden nur Helligkeiten entsprechend der Emissionsintensität von Punkten auf der Lichtquelle, die von der Kamera 1 aus gesehen in der Spiegelrichtung liegen (also die Spiegel-Spike-Komponenten), erfasst, so wie auch im Falle einer perfekten Spiegeloberfläche, selbst wenn das spiegelnde Objekt eine raue Oberfläche aufweist. Daher ist es durch Verwendung von Beleuchtungsmustern, die die Bedingung 2 erfüllen, möglich, spiegelnde Objektbereiche und diffuse Objektbereiche unabhängig von den Reflektionseigenschaften eines spiegelnden Objekts mit hoher Genauigkeit zu trennen.
  • Die obigen zwei Bedingungen sind notwendige Bedingungen, es ist jedoch vorteilhaft, die Emissionsintensitätsverteilung so einzustellen, dass auch die folgenden Bedingungen erfüllt sind.
    • Bedingung 3: Das Verhältnis der über die Fläche summierten Gesamtmengen von Licht unter den ersten Beleuchtungs-Untermustern ist gleich dem Verhältnis der über die Fläche summierten Gesamtmengen von Licht unter den zweiten Beleuchtungs-Untermustern.
  • Da die aus verschiedenen Richtungen einfallenden Lichtkomponenten in dem von einem diffusen Objekt reflektierten Licht gemischt werden, nimmt das Bild eines diffusen Objekts Pixelwerte an, die von der Gesamtmenge des Beleuchtungslichts (über die Fläche genommenes Integral der Emissionsintensitäten) abhängen. Das heißt, das Verhältnis der über die Fläche summierten Gesamtmengen von Licht unter den Beleuchtungs-Untermustern bestimmt die Farbabstimmung (den Farbton) des Bilds eines diffusen Objekts. Da die Farbabstimmung von Teilen eines diffusen Objekts beim ersten Bild und beim zweiten Bild dieselbe ist falls das Verhältnis unter den ersten Beleuchtungsmusters gleich dem Verhältnis unter den zweiten Beleuchtungsmusters ist, können die Bilder wie oben erwähnt akkurat miteinander verglichen werden. Dabei unterscheiden sich die Pixelwerte dann, wenn sich die Gesamtmenge an Licht (die Helligkeit) zwischen dem ersten Beleuchtungsmuster und dem zweiten Beleuchtungsmuster unterscheidet, selbst wenn die Verhältnisse dieselben sind, in welchem Fall vor dem Vergleich der Bilder eine Levelanpassung zum Abgleich der Werte der beiden Bilder durchgeführt werden kann.
  • Obwohl die Bilder Farbbilder sind, falls die Kanäle des Bilds Farbkanäle, wie z. B. R, G und B sind, sind die Bilder streng genommen nicht unbedingt Farbbilder, falls die Bildkanäle Helligkeiten (unabhängig von der Farbe) darstellen, so dass es nicht notwendigerweise angemessen ist, Begriffe wie ”Farb”-Abstimmung oder ”Farb”-Ton zu verwenden. Allerdings können die Bilder auch in dem letztgenannten Fall hinsichtlich der Bildverarbeitung auf die gleiche Art und Weise wie Farbbilder behandelt werden, solange mehrere Kanäle vorliegen (alternativ dazu können die Bilder als Pseudo-Farbbilder behandelt werden, indem jedem Kanal künstlich eine Farbe zugeordnet wird), so dass in der vorliegenden Beschreibung keine Unterscheidung zwischen diesen zwei Fällen getroffen wird.
    • Bedingung 4: Die über die Fläche summierte Gesamtmenge an Licht ist für jedes der ersten Beleuchtungs-Untermuster und zweiten Beleuchtungs-Untermuster, die demselben Kanal entsprechen, gleich.
  • Falls die Gesamtmengen an Licht einander entsprechen, dann stimmen auch die Pixelwerte der diffusen Objektabschnitte im Wesentlichen überein. Folglich, da die entsprechenden Werte derselben Kanäle direkt miteinander verglichen werden können (ohne Levelanpassung oder dergleichen), kann ein Differenzbild auf einfache Weise berechnet werden, indem die Werte voneinander abgezogen werden.
    • Bedingung 5: {L11(q), ..., L1n(q)} ≠ {L21(q), ..., L2n(q)} gilt für alle Punkte q auf der Flächenlichtquelle der Beleuchtungsvorrichtung 3. Hierbei ist ”i” der Kanal (i = 1, ..., n; wobei ”n” ein Integer größer gleich 2 ist), L1i(q) ist die Emissionsintensität am Punkt q im ersten Beleuchtungs-Untermuster des Kanals i, und L1i(q) ist die Emissionsintensität am Punkt q im zweiten Beleuchtungs-Untermuster des Kanals i.
  • Bedingung 5 betrifft das Einstellen der Emissionsintensitätsverteilungen der einzelnen Beleuchtungsmuster auf eine solche Weise, dass bei dem ersten Beleuchtungsmuster und dem zweiten Beleuchtungsmuster dieselbe Farbe nicht am selben Punkt q auf der Flächenlichtquelle auftritt. Dadurch, dass Bedingung 5 erfüllt ist, tritt zwischen dem ersten Bild und dem zweiten Bild stets ein Unterschied in den Pixelwerten auf, unabhängig von der Richtung der Normalen des spiegelnden Objekts, so dass spiegelnde Objektbereiche mit hoher Genauigkeit erkannt werden können.
    • Bedingung 6: f1(L11(q) – L21(q)) + ... + fn(L1n(q) – L2n(q)) hat denselben Wert für alle Punkte q auf der Flächenlichtquelle der Beleuchtungsvorrichtung 3. Hierbei ist fi eine Funktion, die für jeden Kanal i im Vorhinein bestimmt ist, und dient zum Anpassen der Balance des Unterschieds in der Emissionsintensität zwischen den Kanälen. Zum Beispiel kann eine vorgegebene Funktion verwendet werden, wie zum Beispiel die Funktion (abs) zur Bestimmung eines absoluten Wertes, eine Funktion zum Multiplizieren mit einer Konstante oder eine Funktion zum Normalisieren. Dabei kann die Funktion fi auch eine Funktion zum Multiplizieren mit der Konstante 1 umfassen (also eine Funktion, bei der überhaupt keine Operation durchgeführt wird).
  • Bedingung 6 betrifft einen Bewertungswert, der denselben Wert für alle Punkte q auf der Flächenlichtquelle annimmt, falls die Differenz in den Emissionsintensitäten des ersten Beleuchtungsmusters und des zweiten Beleuchtungsmusters mit der oben genannten Gleichung bewertet wird. Dadurch, dass die Beleuchtungsmuster so eingestellt werden, dass Bedingung 6 erfüllt ist, ist der Grad der Differenz der Pixelwerte zwischen dem ersten Bild und dem zweiten Bild der gleiche, unabhängig davon, was die Richtung der Normale auf einem spiegelnden Objekt ist, so dass das Setzen einer Schwelle zur Trennung von spiegelnden Objekten und diffusen Objekten vereinfacht wird.
  • Charakteristische Größe der Differenz
  • Falls die Beleuchtungsmuster eingestellt werden, um Bedingung 6 zu erfüllen, dann ist es vorteilhaft, eine charakteristische Größe F der Differenz herzuleiten, die die Differenz zwischen dem ersten Bild und dem zweiten Bild unter Verwendung derselben Funktion fi wie für das Einstellen der Beleuchtungsmuster darstellt, wie in der folgenden Gleichung F = f1(V11(p) – V21(p)) + ... + fn(V1n(p) – V2n(p))
  • Hierbei ist p ein Punkt auf dem Messgegenstand, V1i(p) ist ein Wert des Kanals i des Pixels, das dem Punkt p im ersten Bild entspricht, und V2i(p) ist ein Wert des Kanals i des Pixels, das dem Punkt p im zweiten Bild entspricht.
  • Durch eine solche Definition der charakteristischen Größe nimmt die charakteristische Größe F denselben Wert an, unabhängig von der Richtung der Normalen auf dem spiegelnden Objekt, so dass mit einer einzigen Schwelle zwischen spiegelnden Objekten und diffusen Objekten unterschieden werden kann, was die Verarbeitung deutlich vereinfacht.
  • Ferner ist es noch vorteilhafter, als charakteristische Größe einen Wert (F/V1k(p)) zu definieren, der sich aus dem Quotienten des mit der obigen Gleichung bestimmten F und dem Wert (V1k(p)) des Kanals k des Pixels ergibt, das dem Punkt p im ersten Bild entspricht, nachdem das erste Beleuchtungs-Untermuster, das dem Kanal k (1 ≤ k ≤ n) entspricht, als über die Fläche gleichmäßige Emissionsintensitätsverteilung eingestellt wurde.
  • Während bei spiegelnden Objekten mit rauer Oberfläche die Intensität des reflektierten Lichts etwas mit dem Auftreten von Spiegelkeulen abnimmt, hängt das Ausmaß mit dem die Intensität abnimmt von der Rauheit der Oberfläche ab und ist somit schwer vorherzusagen. Der Wert V1k(p) der mit einer über die Fläche gleichförmigen Emissionsintensität erzielt wird, nimmt einen Wert an, der dieses von der Oberflächenrauheit abhängige Abnehmen der Intensität beinhaltet. Somit ist das Teilen der Werte aller Kanäle durch diesen Wert V1k(p) äquivalent zu dem Auslöschen des von der Oberflächenrauheit abhängigen Abnehmens der Intensität, was es ermöglicht, eine charakteristische Größe zu erlangen, die nicht von der Oberflächenrauheit abhängt, und somit die Genauigkeit, mit der spiegelnde Objekte erkannt werden, zu verbessern.
  • Ausführungsbeispiel
  • 7 zeigt Beispiele für ein erstes Beleuchtungsmuster und ein zweites Beleuchtungsmuster, die so erzeugt wurden, dass sie die oben genannten Einstellbedingungen für Beleuchtungsmuster erfüllen. Die drei ersten Beleuchtungs-Untermuster, die das erste Beleuchtungsmuster bilden, sind in der oberen Hälfte von 7 dargestellt, wohingegen die drei zweiten Beleuchtungs-Untermuster, die das zweite Beleuchtungsmuster bilden, in der unteren Hälfte dargestellt sind.
  • In diesem Ausführungsbeispiel wird als erstes Beleuchtungsmuster dasselbe Beleuchtungsmuster wie für die drei-dimensionale Messung verwendet. Der Grund dafür ist, dass dann das für die drei-dimensionale Messung erlangte Bild auch für die Erkennung von spiegelnden Objekten verwendet werden kann. Das zweite Beleuchtungsmuster in 7 ist ein Beleuchtungsmuster, welches so designt ist, dass es die oben genannten Einstellbedingungen erfüllt, wenn es mit dem ersten Beleuchtungsmuster kombiniert wird.
  • Genauer gesagt entspricht das zweite Beleuchtungs-Untermuster des R-Kanals dem ersten Beleuchtungs-Untermuster, welches in X-Richtung invertiert ist, und ist so eingestellt, dass die Emissionsintensität entlang dem Längengrad (0 → π) in der X-Richtung von 250 bis 50 linear abnimmt. Auch das zweite Beleuchtungs-Untermuster des B-Kanals entspricht dem in Y-Richtung invertierten ersten Beleuchtungs-Untermuster, und ist so eingestellt, dass die Emissionsintensität entlang dem Längengrad (0 → π) in der Y-Richtung von 50 bis 250 linear ansteigt. Das zweite Beleuchtungs-Untermuster des G-Kanals ist so eingestellt, dass es die oben genannte Bedingung 6 erfüllt, so dass die folgende Gleichung an allen Punkten auf der Flächenlichtquelle denselben Wert cnst annimmt. abs(R2 – R1)/2 + (G2 – G1) + abs(B2 – B1)/2 = cnst
  • Hierbei sind R1, G1 und B1 die Emissionsintensitäten der ersten Beleuchtungs-Untermuster, und R2, G2 und B2 sind die Emissionsintensitäten der zweiten Beleuchtungs-Untermuster. Das heißt, in diesem Ausführungsbeispiel wird die Funktion ”Multiplizieren des Absolutwerts der Differenz mit 1/2” in der Gleichung von Bedingung 6 als f1 und f3 angewandt, und die Funktion ”Multiplizieren mit 1 (keine Operation durchführen)” wird als f2 angewandt.
  • Da G1 an allen Punkten 150 ist und die Bedingungen 3 und 4 zutreffen wenn cnst gleich 100 ist, ist die Emissionsintensität des zweiten Beleuchtungs-Untermusters des G-Kanals letztendlich durch die folgende Gleichung gegeben: G2 = 250 – abs(R2 – R1)/2 – abs(B2 – B1)/2
  • Dieses Muster führt zu eine Verteilung, bei welcher die Emissionsintensität den Maximalwert 250 annimmt, wenn (Längengrad in X-Richtung, Längengrad in Y-Richtung) = (π/2, π/2), und die Emissionsintensität nimmt zu den Punkten (Längengrad in X-Richtung, Längengrad in Y-Richtung) = (0, 0), (π, 0), (0, π) und (π, π) hin linear ab. Der Minimalwert der Emissionsintensität ist 50. Auch mit dieser Emissionsintensitätsverteilung ändert sich die Emissionsintensität gemäß dem Einfallswinkel des Lichts linear, wenn ein Querschnitt betrachtet wird, der die optische Achse (Z-Achse) der Kamera enthält und einen Winkel π/2 (oder –π/2) mit der X-Achse bildet. Daher kann auch dieses Muster als ein Muster mit Keulenauslöschungseffekt betrachtet werden.
  • Die wie oben eingestellten ersten und zweiten Beleuchtungsmuster erfüllen die Bedingungen 1 und 2. Ferner gilt für die Gesamtmengen des Lichts der ersten Beleuchtungsmuster R:G:B = (250 + 50)/2:150:(250 + 50)/2 = 1:1:1, und für die Gesamtmengen des Lichts der zweiten Beleuchtungsmuster gilt ebenfalls R:G:B = (250 + 50)/2:150:(250 + 50) = 1:1:1, so dass auch die Bedingungen 3 und 4 erfüllt sind. Es sollte aus 7 deutlich werden, dass weiterhin Bedingung 5 erfüllt ist, und auch Bedingung 6 ist erfüllt, vorausgesetzt, dass G2 wie oben beschrieben bestimmt wird.
  • Als nächstes wird unter Bezugnahme auf die 1, 8 und 9 der Ablauf der Verarbeitung zur Erkennung von spiegelnden Objekten beschrieben. 8 ist ein Ablaufdiagramm der Verarbeitung zur Erkennung von spiegelnden Objekten, und 9 zeigt schematisch ein Beispiel eines Messgegenstands sowie Bilder desselben. Hierbei wird als Beispiel für den Messgegenstand ein Bauteil 110 angenommen, mit welchem eine Leiterplatte 100 bestückt ist. Die Oberfläche der Leiterplatte 100 und ein Hauptkörper des Bauteils 110 sind diffuse Objekte aus Harz bzw. Plastik, wohingegen Elektroden 112 an beiden Seiten des Bauteils 110 spiegelnde Objekte aus Metall sind. Ferner sind die Elektroden 112 mit bleifreiem Lot gelötet, und diese Lötstellen 113 sind spiegelnde Objekte mit rauer Oberfläche.
  • In Schritt S1 schaltet die Beleuchtungsvorrichtungssteuereinheit 66 das Beleuchtungsmuster auf das erste Beleuchtungsmuster (obere Hälfte von 7). In Schritt S2 wird der Messgegenstand 4 dann in einem Zustand aufgenommen, in dem es mit Messlicht mit dem ersten Beleuchtungsmuster von der Beleuchtungsvorrichtung 3 bestrahlt wird, wodurch die Daten des ersten Bildes erhalten werden. Obwohl dies nicht näher dargestellt ist, werden die so erhaltenen Daten des ersten Bildes auch für die Verarbeitung der drei-dimensionalen Messung von spiegelnden Objekten verwendet.
  • Als nächstes schaltet die Beleuchtungsvorrichtungssteuereinheit 66 in Schritt S3 das Beleuchtungsmuster auf das zweite Beleuchtungsmuster (untere Hälfte von 7). In Schritt S4 wird der Messgegenstand 4 dann in einem Zustand aufgenommen, in dem es mit Messlicht mit dem zweiten Beleuchtungsmuster von der Beleuchtungsvorrichtung 3 bestrahlt wird, wodurch die Daten des zweiten Bildes erhalten werden. Dabei werden in dem Fall, dass die Bildaufnahme separat für jedes Beleuchtungsmuster erfolgt, die Verarbeitung der Schritte S1 und S2 sowie die Verarbeitung der Schritte S3 und S4 jeweils dreimal durchgeführt.
  • Wie in den 9(B) und 9(C) dargestellt ist, erscheinen in den ersten und zweiten Bildern die Leiterplatte 100 und der Bauteilkörper 111, welche diffuse Objekte sind, in ihren eigenen Farben. Dagegen erscheinen die Elektroden 112 und die Lötstellen 133, welche spiegelnde Objekte sind, in der Farbe der Beleuchtung, welche von der Richtung der Flächennormalen auf dem Objekt abhängt, und nicht in der Farbe (metallischen Farbe) des Objekts als solchen, so dass sich die Farbcharakteristika eindeutig zwischen dem ersten und dem zweiten Bild unterscheiden.
  • Als nächstes berechnet in Schritt S5 die CPU 60 die charakteristische Größe F der Differenz für jedes Pixel des ersten und des zweiten Bilds aus, und zwar gemäß der folgenden Gleichung F = {abs(r2 – r1)/2 + (g2 – g1) + abs(b2 – b1)/2}/g1
  • Hierbei sind r1, g1 und b1 die Werte der Kanäle des ersten Bilds und r2, g2 und b2 sind die Werte der Kanäle des zweiten Bilds.
  • Da im Falle eines spiegelnden Objekts die Werte r1, g1, b1, r2, g2 und b2 im Wesentlichen proportional zu den Emissionsintensitäten R1, G1, B1, R2, G2 und B2 der Beleuchtung sind, und abs(R2 – R1)/2 + (G2 – G1) + abs(B2 – B1)/2 = 100 G1 = 150
    gilt, ist der Wert der charakteristische Größe F der Differenz in spiegelnden Objektbereichen in etwa 0.67 (= 100/150). Da andererseits im Falle von diffusen Objekten die Werte r1, g1, b1, r2, g2 und b2 im Wesentlichen proportional zur Gesamtmenge des Beleuchtungslichts sind und die Beleuchtung so eingestellt ist, dass die Bedingungen 3 und 4 erfüllt sind, ist der Wert der charakteristischen Größe F der Differenz in diffusen Objektbereichen in etwa 0. Daher sind die Werte der der charakteristischen Größe F der Differenz bei spiegelnden Objektbereichen und diffusen Objektbereichen signifikant voneinander entfernt. 9(D) zeigt ein Bild (Differenzbild) der charakteristischen Größe F der Differenz.
  • Bei Schritt S6 binarisiert die CPU 60 das Differenzbild unter Verwendung eines vorbestimmten Schwellwerts. Die Schwelle kann ein im Vorhinein gesetzter Wert sein (da die charakteristische Größe F der Differenz für spiegelnde Objekte in etwa 0,67 und die charakteristische Größe F der Differenz für diffuse Objekte in etwa 0 ist, kann ein dazwischen liegender Wert, wie z. B. 0,5, als Schwellwert verwendet werden), oder kann auch dynamisch unter Verwendung von Otsu's Diskriminanzanalyse oder dergleichen bestimmt werden. 9(E) zeigt beispielhaft ein binarisiertes Bild, dessen weiße Bereiche die spiegelnden Objektbereiche und dessen schwarze Bereiche die diffusen Objektbereiche darstellen. Spiegelnde Objektbereiche und diffuse Objektbereiche können somit mit hoher Genauigkeit getrennt werden.
  • Vorteile der Ausführungsform
  • Gemäß der visuellen Prüfvorrichtung der vorliegenden Ausführungsform kann ein Bild eines Messgegenstands mit einer einfachen Verarbeitung in spiegelnde Objektbereiche und diffuse Objektbereiche aufgeteilt werden, indem zwei Bilder miteinander verglichen werden, die durch Bildaufnahmen des Messgegenstands erhalten werden. Da die Emissionsintensitätsverteilungen der Beleuchtungsmuster so angelegt sind, dass Spiegelkeulenkomponenten, die im reflektierten Licht enthalten sind, ausgelöscht werden, können spiegelnde Objektbereiche selbst im Falle von spiegelnden Objekten mit rauen Oberflächen oder auch spiegelnden Objekten, deren Reflektionseigenschaften nicht gleichförmig sind, mit hoher Genauigkeit erkannt werden. Da dieselben Bilder sowohl für Erkennung von spiegelnden Objekten als auch für die drei-dimensionale Messung verwendet werden, kann die Anzahl der Bildaufnahmen verringert werden, und eine Verbesserung des Durchsatzes der visuellen Prüfung kann erreicht werden.
  • Es sollte beachtet werden, dass die obige Ausführungsform lediglich ein konkretes Beispiel der vorliegenden Erfindung ist, und der Umfang der Erfindung nicht auf diese Anordnungen beschränkt ist. Die vorliegende Erfindung kann durch verschiedene Ausführungsformen innerhalb des Umfangs der Erfindung verwirklicht werden. So wurden in den vorangehenden Ausführungsformen dieselben Bilder für die Erkennung von spiegelnden Objekten und für die drei-dimensionale Messung verwendet, dies muss jedoch nicht unbedingt der Fall sein, und es ist auch möglich, dass separate Bilder aufgenommen werden, wobei Beleuchtungsmuster verwendet werden, die für die jeweilige Verarbeitung geeignet sind. Ferner können jedwede Muster, die zumindest die Bedingungen 1 und 2 aus den Einstellbedingungen erfüllt als Beleuchtungsmuster für die Erkennung von spiegelnden Objekten verwendet werden. Und obwohl in der obigen Ausführungsform Bilder von drei Kanälen unter Verwendung von drei Beleuchtungs-Untermustern erzeugt wurden, ist die Anzahl von Beleuchtungs-Untermustern und Kanälen nicht auf drei beschränkt.
  • Ferner ist die Beleuchtungsvorrichtung 3 nicht auf eine Kuppelform (halbkugelförmige Form) beschränkt, sondern kann auch eine Plattenform haben, wie in 10 dargestellt. Des Weiteren kann die Beleuchtungsvorrichtung 3 auch eine Form haben, wie sie durch Biegen einer flachen Platte in einen Bogen erhalten wird. Spiegelnde Objektbereiche und diffuse Objektbereiche können auch dann getrennt werden, wenn die Beleuchtungsvorrichtung 3 eine solche Form hat, indem die Beleuchtungsmuster derart eingestellt werden, dass sie die oben genannten Einstellbedingungen erfüllen. Falls eine plattenartige Beleuchtungsvorrichtung 3 verwendet wird, dann kann der Einfluss der Spiegelkeulen in den einzelnen Mustern im Wesentlichen dadurch ausgeglichen werden, dass die Emissionsintensität relativ zu einem θ geändert wird, wie in 11 dargestellt ist. Dabei ist θ ein Winkel um eine Gerade durch den Punkt P (Punkt, an dem der Messgegenstand platziert ist), die parallel zum Messtisch 5 ist. Alternativ dazu kann θ auch als Winkel dargestellt werden, der durch eine Ebene durch isoemissive Intensitätslinien auf dem Emissionsbereich der Beleuchtungsvorrichtung 3 und dem Punkt sowie einer Ebene parallel zum Messtisch 5 dargestellt wird.
  • Bezugszeichenliste
    • 1
    Kamera
    3
    Beleuchtungsvorrichtung
    4
    Messgegenstand
    5
    Messtisch
    6
    Informationsverarbeitungsvorrichtung
    H
    Messkopf

Claims (9)

  1. Bildverarbeitungsvorrichtung mit: einem Beleuchtungsmittel (3) mit einer Flächenlichtquelle zur Bestrahlung eines Messgegenstands (4), der ein spiegelndes Objekt und ein diffuses Objekt aufweist, mit Licht eines bestimmten Beleuchtungsmusters; einem Beleuchtungssteuermittel (66) zum Steuern des Beleuchtungsmusters des Beleuchtungsmittels (3); einem Bildaufnahmemittel (1) zur Bildaufnahme des Messgegenstands (4); und einem Bereicherkennungsmittel zum Erkennen eines spiegelnden Objektbereichs auf dem Messgegenstand (4) durch Analyse eines mit dem Bildaufnahmemittel (1) erhaltenen Bildes; wobei das Bereicherkennungsmittel ein erstes Bild, welches durch Bildaufnahme des Messgegenstands (4) in einem Zustand, in dem er mit Licht eines ersten Beleuchtungsmusters von dem Beleuchtungsmittel (3) bestrahlt wird, erhalten wird, und ein zweites Bild, welches durch Bildaufnahme des Messgegenstands (4) in einem Zustand, in dem er mit Licht eines zweiten Beleuchtungsmusters von dem Beleuchtungsmittel (3) bestrahlt wird, erhalten wird, miteinander vergleicht, und den spiegelnden Objektbereich des Messgegenstands (4) anhand eines Ergebnisses dieses Vergleichs erkennt; wobei das erste Bild und das zweite Bild Bilder sind, die durch eine gleiche Anzahl mehrerer Kanäle i mit 1 ≤ i ≤ n, wobei n ein Integer größer oder gleich zwei ist, gebildet sind; wobei das erste Beleuchtungsmuster aus mehreren ersten Beleuchtungs-Untermustern gebildet ist, die jeweils einem der Kanäle i entsprechen und die voneinander verschiedene Emissionsintensitätsverteilungen aufweisen; wobei eines der mehreren ersten Beleuchtungs-Untermuster eine Emissionsintensitätsverteilung aufweist, bei der die Emissionsintensität über die Fläche gleichmäßig ist, und die anderen ersten Beleuchtungs-Untermuster Emissionsintensitätsverteilungen aufweisen, bei denen sich die Emissionsintensität, die sich bei Betrachtung in einem bestimmten Querschnitt, der die optische Achse des Bildaufnahmemittels (1) enthält, mit einem Einfallswinkel des Lichts auf dem Messgegenstand (4) linear ändert; wobei das zweite Beleuchtungsmuster aus mehreren zweiten Beleuchtungs-Untermustern gebildet ist, die jeweils einem der Kanäle i entsprechen, und die voneinander verschiedene Emissionsintensitätsverteilungen aufweisen; wobei jedes der mehreren zweiten Beleuchtungs-Untermuster eine Emissionsintensitätsverteilung aufweist, bei der sich die Emissionsintensität, die sich bei Betrachtung in einem bestimmten Querschnitt, der die optische Achse des Bildaufnahmemittels enthält, mit einem Einfallswinkel des Lichts auf dem Messgegenstand linear ändert; wobei erste Beleuchtungs-Untermuster und zweite Beleuchtungs-Untermuster, die demselben Kanal entsprechen, voneinander verschiedene Emissionsintensitätsverteilungen aufweisen; wobei das Bereicherkennungsmittel eine charakteristische Größe bestimmt, die die Differenz zwischen dem ersten Bild und dem zweiten Bild an einem Punkt p auf dem Messgegenstand (4) unter Verwendung eines Werts angibt, der durch Teilen des durch
    Figure DE112013002321B4_0003
    erhaltenen Werts durch V1i(p) erhalten wird, wobei V1i(p) einen Wert des Kanals i des Pixels angibt, das dem Punkt p im ersten Bild entspricht, V2i(p) einen Wert des Kanals i des Pixels angibt, das dem Punkt p im zweiten Bild entspricht, fi eine Funktion angibt, die für jeden Kanal i im Vorhinein bestimmt ist, q ein Punkt auf der Flächenlichtquelle der Beleuchtungsvorrichtung (3) ist, L1i(q) ∊ {L11(q), ..., L1n(q)} die Emissionsintensität am Punkt q im ersten Beleuchtungs-Untermuster des Kanals i angibt, und L2i(q) ∊ {L21(q), ..., L2n(q)} die Emissionsintensität am Punkt q im zweiten Beleuchtungs-Untermuster des Kanals i angibt, und wobei das Bereicherkennungsmittel einen Abschnitt am Punkt p als spiegelndes Objekt beurteilt, falls die charakteristische Größe größer als ein Schwellwert ist.
  2. Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei ein Verhältnis der über die Fläche summierten Gesamtmengen von Licht unter den ersten Beleuchtungs-Untermustern, die das erste Beleuchtungsmuster bilden, gleich einem Verhältnis der über die Fläche summierten Gesamtmengen von Licht unter den zweiten Beleuchtungs-Untermustern, die das zweite Beleuchtungsmuster bilden, ist.
  3. Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 oder 2, wobei die über die Fläche summierte Gesamtmenge an Licht für erste Beleuchtungs-Untermuster und zweite Beleuchtungs-Untermuster, die demselben Kanal entsprechen, gleich ist.
  4. Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Beleuchtungsintensitätsverteilungen der ersten Beleuchtungs-Untermuster und die Beleuchtungsintensitätsverteilungen der zweiten Beleuchtungs-Untermuster so eingestellt sind, dass für alle Punkte q auf der Flächenlichtquelle der Beleuchtungsvorrichtung (3) {L11(q), ..., L1n(q)} ≠ {L21(q), ..., L2n(q)} gilt.
  5. Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 4, wobei die Beleuchtungsintensitätsverteilungen der ersten Beleuchtungs-Untermuster und die Beleuchtungsintensitätsverteilungen der zweiten Beleuchtungs-Untermuster so eingestellt sind, dass
    Figure DE112013002321B4_0004
    denselben Wert für alle Punkte q hat.
  6. Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 5, die ferner aufweist: Mittel zur dreidimensionalen Messverarbeitung, um durch Analyse eines mit dem Bildaufnahmemittel (1) erhaltenen Bilds eine Richtung einer Normalen auf einer Oberfläche des spiegelnden Objekts auf dem Messgegenstand (4) zu berechnen, und um von dem Ergebnis dieser Berechnung eine drei-dimensionale Form der Oberfläche des spiegelnden Objekts zu berechnen, wobei das Mittel zur dreidimensionalen Messverarbeitung das erste Bild zur Berechnung der dreidimensionalen Form verwendet.
  7. Verfahren zum Steuern einer Bildverarbeitungsvorrichtung, wobei die Bildverarbeitungsvorrichtung Folgendes aufweist: ein Beleuchtungsmittel (3) mit einer Flächenlichtquelle zur Bestrahlung eines Messgegenstands (4), welcher ein spiegelndes Objekt und ein diffuses Objekt aufweist, mit Licht eines bestimmten Beleuchtungsmusters; ein Beleuchtungssteuermittel (66) zum Steuern des Beleuchtungsmusters des Beleuchtungsmittels (3); ein Bildaufnahmemittel (1) zur Bildaufnahme des Messgegenstands (4); und ein Bereicherkennungsmittel zum Erkennen eines spiegelnden Objektbereichs auf dem Messgegenstand (4) durch Analyse eines mit dem Bildaufnahmemittel (1) erhaltenen Bildes; wobei das Verfahren Folgende Schritte aufweist: Erhalten eines ersten Bildes durch Bildaufnahme des Messgegenstands (4) mit dem Bildaufnahmemittel (1) in einem Zustand, in dem der Messgegenstand (4) mit Licht eines ersten Beleuchtungsmusters von dem Beleuchtungsmittel (3) bestrahlt wird, Erhalten eines zweiten Bildes durch Bildaufnahme des Messgegenstands (4) mit dem Bildaufnahmemittel (1) in einem Zustand, in dem der Messgegenstand (4) mit Licht eines zweiten Beleuchtungsmusters von dem Beleuchtungsmittel (3) bestrahlt wird, Erkennen eines spiegelnden Objektbereichs auf dem Messgegenstand (4) anhand eines Ergebnisses eines Vergleichs des ersten Bildes mit dem zweiten Bild durch das Bereicherkennungsmittel, wobei das erste Bild und das zweite Bild Bilder sind, die durch eine gleiche Anzahl mehrerer Kanäle i mit 1 ≤ i ≤ n, wobei n ein Integer größer oder gleich zwei ist, gebildet sind; wobei das erste Beleuchtungsmuster aus mehreren ersten Beleuchtungs-Untermustern gebildet ist, die jeweils einem der Kanäle entsprechen und die voneinander verschiedene Emissionsintensitätsverteilungen aufweisen; wobei eines der mehreren ersten Beleuchtungs-Untermuster eine Emissionsintensitätsverteilung aufweist, bei der die Emissionsintensität über die Fläche gleichmäßig ist, und die anderen ersten Beleuchtungs-Untermuster Emissionsintensitätsverteilungen aufweisen, bei denen sich die Emissionsintensität, die sich bei Betrachtung in einem bestimmten Querschnitt, der die optische Achse des Bildaufnahmemittels (1) enthält, mit einem Einfallswinkel des Lichts auf dem Messgegenstand (4) linear ändert; wobei das zweite Beleuchtungsmuster aus mehreren zweiten Beleuchtungs-Untermustern gebildet ist, die jeweils einem der Kanäle i entsprechen, und die voneinander verschiedene Emissionsintensitätsverteilungen aufweisen; wobei jedes der mehreren zweiten Beleuchtungs-Untermuster eine Emissionsintensitätsverteilung aufweist, bei der sich die Emissionsintensität, die sich bei Betrachtung in einem bestimmten Querschnitt, der die optische Achse des Bildaufnahmemittels (1) enthält, mit einem Einfallswinkel des Lichts auf dem Messgegenstand (4) linear ändert; wobei erste Beleuchtungs-Untermuster und zweite Beleuchtungs-Untermuster, die demselben Kanal i entsprechen, voneinander verschiedene Emissionsintensitätsverteilungen aufweisen, wobei das erste Beleuchtungs-Untermuster, das einem Kanal i entspricht, als über die Fläche gleichmäßige Emissionsintensität eingestellt ist, und wobei das Bereicherkennungsmittel eine charakteristische Größe bestimmt, die die Differenz zwischen dem ersten Bild und dem zweiten Bild an einem Punkt p auf dem Messgegenstand (4) unter Verwendung eines Werts angibt, der durch Teilen des durch
    Figure DE112013002321B4_0005
    erhaltenen Werts durch V1i(p) erhalten wird, wobei V1i(p) einen Wert des Kanals i des Pixels angibt, das dem Punkt p im ersten Bild entspricht, V2i(p) einen Wert des Kanals i des Pixels angibt, das dem Punkt p im zweiten Bild entspricht, fi eine Funktion angibt, die für jeden Kanal i im Vorhinein bestimmt ist, q ein Punkt auf der Flächenlichtquelle der Beleuchtungsvorrichtung (3) ist, L1i(q) ∊ {L11(q), ..., L1n(q)} die Emissionsintensität am Punkt q im ersten Beleuchtungs-Untermuster des Kanals i angibt, und L2i(q) ∊ {L21(q), ..., L2n(q)} die Emissionsintensität am Punkt q im zweiten Beleuchtungs-Untermuster des Kanals i angibt, und wobei das Bereicherkennungsmittel einen Abschnitt am Punkt p als spiegelndes Objekt beurteilt, falls die charakteristische Größe größer als ein Schwellwert ist.
  8. Computerprogramm, welches eine Bildverarbeitungsvorrichtung die Schritte des Verfahrens zum Steuern einer Bildverarbeitungsvorrichtung gemäß Anspruch 7 ausführen lässt.
  9. Prüfsystem mit: einem Beleuchtungsmittel (3) mit einer Flächenlichtquelle zur Bestrahlung eines Messgegenstands (4), der ein spiegelndes Objekt und ein diffuses Objekt aufweist, mit Licht eines bestimmten Beleuchtungsmusters; einem Beleuchtungssteuermittel (66) zum Steuern des Beleuchtungsmusters des Beleuchtungsmittels (3); einem Bildaufnahmemittel (1) zur Bildaufnahme des Messgegenstands (4); und einem Bereicherkennungsmittel zum Erkennen eines spiegelnden Objektbereichs auf dem Messgegenstand (4) durch Analyse eines mit dem Bildaufnahmemittel (1) erhaltenen Bildes; Prüfmittel zum Extrahieren eines Bildes des spiegelnden Objektbereichs aus dem mit dem Bildaufnahmemittel (1) erhaltenen Bild und Prüfen des extrahierten Bildes; wobei das Bereicherkennungsmittel ein erstes Bild, welches durch Bildaufnahme des Messgegenstands (4) in einem Zustand, in dem er mit Licht eines ersten Beleuchtungsmusters von dem Beleuchtungsmittel (3) bestrahlt wird, erhalten wird und ein zweites Bild, welches durch Bildaufnahme des Messgegenstands (4) in einem Zustand, in dem er mit Licht eines zweiten Beleuchtungsmusters von dem Beleuchtungsmittel (3) bestrahlt wird, erhalten wird miteinander vergleicht, und den spiegelnden Objektbereich des Messgegenstands (4) anhand eines Ergebnisses dieses Vergleichs erkennt; wobei das erste Bild und das zweite Bild Bilder sind, die durch eine gleiche Anzahl mehrerer Kanäle i mit 1 ≤ i ≤ n, wobei n ein Integer größer oder gleich zwei ist, gebildet sind; wobei das erste Beleuchtungsmuster aus mehreren ersten Beleuchtungs-Untermustern gebildet ist, die jeweils einem der Kanäle i entsprechen und die voneinander verschiedene Emissionsintensitätsverteilungen aufweisen; wobei eines der mehreren ersten Beleuchtungs-Untermuster eine Emissionsintensitätsverteilung aufweist, bei der die Emissionsintensität über die Fläche gleichmäßig ist, und die anderen ersten Beleuchtungs-Untermuster Emissionsintensitätsverteilungen aufweisen, bei denen sich die Emissionsintensität, die sich bei Betrachtung in einem bestimmten Querschnitt, der die optische Achse des Bildaufnahmemittels (1) enthält, mit einem Einfallswinkel des Lichts auf dem Messgegenstand (4) linear ändert; wobei das zweite Beleuchtungsmuster aus mehreren zweiten Beleuchtungs-Untermustern gebildet ist, die jeweils einem der Kanäle i entsprechen, und die voneinander verschiedene Emissionsintensitätsverteilungen aufweisen; wobei jedes der mehreren zweiten Beleuchtungs-Untermuster eine Emissionsintensitätsverteilung aufweist, bei der sich die Emissionsintensität, die sich bei Betrachtung in einem bestimmten Querschnitt, der die optische Achse des Bildaufnahmemittels (1) enthält, mit einem Einfallswinkel des Lichts auf dem Messgegenstand (4) linear ändert; und wobei erste Beleuchtungs-Untermuster und zweite Beleuchtungs-Untermuster, die demselben Kanal i entsprechen, voneinander verschiedene Emissionsintensitätsverteilungen aufweisen, wobei das erste Beleuchtungs-Untermuster, das einem Kanal i entspricht, als über die Fläche gleichmäßige Emissionsintensität eingestellt ist, und wobei das Bereicherkennungsmittel eine charakteristische Größe bestimmt, die die Differenz zwischen dem ersten Bild und dem zweiten Bild an einem Punkt p auf dem Messgegenstand (4) unter Verwendung eines Werts angibt, der durch Teilen des durch
    Figure DE112013002321B4_0006
    erhaltenen Werts durch V1i(p) erhalten wird, wobei V1i(p) einen Wert des Kanals i des Pixels angibt, das dem Punkt p im ersten Bild entspricht, V2i(p) einen Wert des Kanals i des Pixels angibt, das dem Punkt p im zweiten Bild entspricht, fi eine Funktion angibt, die für jeden Kanal i im Vorhinein bestimmt ist, q ein Punkt auf der Flächenlichtquelle der Beleuchtungsvorrichtung (3) ist, L1i(q) ∊ {L11(q), ..., L1n(q)} die Emissionsintensität am Punkt q im ersten Beleuchtungs-Untermuster des Kanals i angibt, und L2i(q) ∊ {L21(q), ..., L2n(q)} die Emissionsintensität am Punkt q im zweiten Beleuchtungs-Untermuster des Kanals i angibt, und wobei das Bereicherkennungsmittel einen Abschnitt am Punkt p als spiegelndes Objekt beurteilt, falls die charakteristische Größe größer als ein Schwellwert ist.
DE112013002321.0T 2012-03-08 2013-01-25 Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben, Programm und Prüfsystem Active DE112013002321B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012051962A JP5900037B2 (ja) 2012-03-08 2012-03-08 画像処理装置およびその制御方法
JP2012-051962 2012-03-08
PCT/JP2013/051589 WO2013132913A1 (ja) 2012-03-08 2013-01-25 画像処理装置、その制御方法、プログラム、および検査システム

Publications (3)

Publication Number Publication Date
DE112013002321T5 DE112013002321T5 (de) 2015-01-15
DE112013002321T9 DE112013002321T9 (de) 2015-03-12
DE112013002321B4 true DE112013002321B4 (de) 2017-04-13

Family

ID=49116400

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112013002321.0T Active DE112013002321B4 (de) 2012-03-08 2013-01-25 Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben, Programm und Prüfsystem

Country Status (5)

Country Link
US (1) US9752994B2 (de)
JP (1) JP5900037B2 (de)
CN (1) CN104160242B (de)
DE (1) DE112013002321B4 (de)
WO (1) WO2013132913A1 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9091725B2 (en) * 2009-07-03 2015-07-28 Koh Young Technology Inc. Board inspection apparatus and method
JP6420530B2 (ja) * 2013-06-26 2018-11-07 キヤノン株式会社 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体
US10540548B2 (en) * 2015-02-27 2020-01-21 Nec Corporation Comparison system, comparison apparatus, comparison method, and program
US9734433B1 (en) * 2015-03-25 2017-08-15 Amazon Technologies, Inc. Estimating photometric properties using a camera and a display screen
JP2017026565A (ja) * 2015-07-28 2017-02-02 株式会社島津製作所 検査装置及び検査方法
JP2017067633A (ja) * 2015-09-30 2017-04-06 キヤノン株式会社 検査装置および物品製造方法
US9958259B2 (en) * 2016-01-12 2018-05-01 Canon Kabushiki Kaisha Depth value measurement
JP6716295B2 (ja) 2016-03-10 2020-07-01 キヤノン株式会社 処理装置、撮像装置、処理方法、プログラム、および記録媒体
DE102017207071A1 (de) 2017-04-27 2018-10-31 Robert Bosch Gmbh Prüfvorrichtung zur optischen Prüfung eines Objekts und Objektprüfungsanordnung
CN110678740A (zh) * 2017-05-26 2020-01-10 新东工业株式会社 检查装置以及铸造系统
JP7027807B2 (ja) * 2017-10-30 2022-03-02 富士フイルムビジネスイノベーション株式会社 表示装置、スキャナ、表示システム及びプログラム
DE112018006287T5 (de) * 2017-12-08 2020-10-08 Panasonic Intellectual Property Management Co., Ltd. Inspektionssystem, inspektionsverfahren, programm und speichermedium
US10527557B2 (en) * 2017-12-29 2020-01-07 Radiant Vision Systems, LLC Adaptive diffuse illumination systems and methods
JP6859962B2 (ja) * 2018-01-10 2021-04-14 オムロン株式会社 画像検査装置および照明装置
JP7187782B2 (ja) * 2018-03-08 2022-12-13 オムロン株式会社 画像検査装置
JP6835020B2 (ja) * 2018-03-15 2021-02-24 オムロン株式会社 画像処理システム、画像処理装置、画像処理プログラム
JP6973205B2 (ja) * 2018-03-15 2021-11-24 オムロン株式会社 画像処理システム、画像処理装置、画像処理プログラム
JP6482710B1 (ja) * 2018-09-06 2019-03-13 五洋商事株式会社 外観検査装置及び検査システム
JP2021089159A (ja) 2019-12-02 2021-06-10 Juki株式会社 検査装置及び検査方法
CN115066605A (zh) 2020-02-20 2022-09-16 昕诺飞控股有限公司 用于在照明设备的组装过程期间检查照明设备的检查系统及其方法
US11215564B2 (en) * 2020-04-30 2022-01-04 Renesas Electronics Corporation Visual inspections device, method of manufacturing and program the same
JP7392582B2 (ja) * 2020-06-12 2023-12-06 オムロン株式会社 検査システムおよび検査方法
WO2023191791A1 (en) * 2022-03-31 2023-10-05 Hewlett-Packard Development Company, L.P. Three-dimensional topographical surface capture device
CN118549466A (zh) * 2024-07-26 2024-08-27 江苏雷博微电子设备有限公司 一种用于增粘单元的光刻胶均匀性评估方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184031A1 (en) * 2003-03-20 2004-09-23 Vook Dietrich W. Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection
JP2009128345A (ja) * 2007-11-28 2009-06-11 Omron Corp 物体認識方法およびこの方法を用いた基板外観検査装置
US20090279807A1 (en) * 2007-02-13 2009-11-12 Katsuhiro Kanamorl System, method and apparatus for image processing and image format
US20100259746A1 (en) * 2009-04-10 2010-10-14 Omron Corporation Profilometer
US20110262007A1 (en) * 2010-04-26 2011-10-27 Omron Corporation, Shape measurement apparatus and calibration method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113215A (ja) * 1998-10-08 2000-04-21 Dainippon Screen Mfg Co Ltd 画像処理装置およびその処理を実行するためのプログラムを記録した記録媒体
JP4230525B2 (ja) * 2005-05-12 2009-02-25 有限会社テクノドリーム二十一 ３次元形状計測方法およびその装置
JP2010071844A (ja) * 2008-09-19 2010-04-02 Omron Corp 基板外観検査装置、およびはんだフィレットの高さ計測方法
DE102010064593A1 (de) * 2009-05-21 2015-07-30 Koh Young Technology Inc. Formmessgerät und -verfahren
US9091725B2 (en) * 2009-07-03 2015-07-28 Koh Young Technology Inc. Board inspection apparatus and method
JP2011153893A (ja) * 2010-01-27 2011-08-11 Yamatake Corp 半田付け部位外観検査装置及び半田付け部位外観検査方法
US8334985B2 (en) * 2010-10-08 2012-12-18 Omron Corporation Shape measuring apparatus and shape measuring method
JP6287360B2 (ja) * 2014-03-06 2018-03-07 オムロン株式会社 検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184031A1 (en) * 2003-03-20 2004-09-23 Vook Dietrich W. Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection
US20090279807A1 (en) * 2007-02-13 2009-11-12 Katsuhiro Kanamorl System, method and apparatus for image processing and image format
JP2009128345A (ja) * 2007-11-28 2009-06-11 Omron Corp 物体認識方法およびこの方法を用いた基板外観検査装置
US20100259746A1 (en) * 2009-04-10 2010-10-14 Omron Corporation Profilometer
US20110262007A1 (en) * 2010-04-26 2011-10-27 Omron Corporation, Shape measurement apparatus and calibration method

Also Published As

Publication number Publication date
US9752994B2 (en) 2017-09-05
DE112013002321T5 (de) 2015-01-15
DE112013002321T9 (de) 2015-03-12
US20140372075A1 (en) 2014-12-18
JP5900037B2 (ja) 2016-04-06
JP2013185994A (ja) 2013-09-19
WO2013132913A1 (ja) 2013-09-12
CN104160242A (zh) 2014-11-19
CN104160242B (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
DE112013002321B4 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben, Programm und Prüfsystem
DE102010030859B4 (de) Verfahren zum Untersuchen eines auf einem Substrat montierten Messobjektes
DE112010001574B4 (de) Messgerät und Beobachtungsgerät
DE69322775T2 (de) Verfahren zur Inspektion vom Verbindungskugel-Satz eines intergrierten Schaltungsmoduls
DE102010028894B4 (de) Verfahren zur Messung eines Messobjekts
DE10081029B4 (de) Bildbearbeitung zur Vorbereitung einer Texturnalyse
DE102015113051B4 (de) Messvorrichtung, Leiterplattenprüfvorrichtung und Verfahren zu deren Steuerung
DE112012004493B4 (de) Steuerungsverfahren für die Farbbeleuchtung zur Verbesserung der Bildqualität in einembildgebenden System
DE102010029091A1 (de) Formmessgerät und -verfahren
DE102015116047A1 (de) Prüfvorrichtung und Steuerverfahren für eine Prüfvorrichtung
EP2270451A1 (de) Farbmessgerät
EP1625936A2 (de) Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
DE102017215334A1 (de) Verfahren, Computerprogrammprodukt und Messsystem zum Betrieb mindestens eines Triangulations-Laserscanners zur Identifizierung von Oberflächeneigenschaften eines zu vermessenden Werkstücks
DE102010003376A1 (de) Untersuchungsverfahren
DE60015966T2 (de) Messung der lagen oder koplanarität von kontaktelementen eines elektronischen bauteils mit flacher beleuchtung und zwei kameras
DE102011086417B4 (de) Verfahren zum Erkennen eines Brückenverbindungsfehlers
DE102006014812A1 (de) Sichtprüfeinrichtung und Sichtprüfverfahren
EP3903077B1 (de) Verfahren und vorrichtung zum auffinden und anpassen von effektfarbformulierungen unter abgleich mit der visuellen wahrnehmung von textureigenschaften
DE69912579T2 (de) Vorrichtung und verfahren zur aufzeichnung eines objektbildes
DE102007039982B3 (de) Verfahren zur optischen Inspektion und Visualisierung der von scheibenförmigen Objekten gewonnenen optischen Messerwerte
EP1627343B1 (de) Verfahren und vorrichtung zur erkennung biometrischer daten nach aufnahme aus mindestens zwei richtungen
DE102014108789A1 (de) Mehrstufiges Verfahren zur Untersuchung von Oberflächen sowie entsprechende Vorrichtung
DE102015105128B4 (de) Verfahren und Vorrichtung zur Messung des Glanzgrads und/oder der Mattheit von Gegenständen
DE102020107274A1 (de) Verschleißbetrag-Messvorrichtung und Verschleißbetrag-Messverfahren
DE102018105794B4 (de) Abbildung eines Objektes mittels Schattenwurf

Legal Events

Date Code Title Description
R409 Internal rectification of the legal status completed
R012 Request for examination validly filed
R409 Internal rectification of the legal status completed
R082 Change of representative

Representative=s name: HORN KLEIMANN WAITZHOFER PATENTANWAELTE, DE

Representative=s name: HORN KLEIMANN WAITZHOFER PATENTANWAELTE PARTG , DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final