DE112018006287T5 - Inspektionssystem, inspektionsverfahren, programm und speichermedium - Google Patents

Inspektionssystem, inspektionsverfahren, programm und speichermedium Download PDF

Info

Publication number
DE112018006287T5
DE112018006287T5 DE112018006287.2T DE112018006287T DE112018006287T5 DE 112018006287 T5 DE112018006287 T5 DE 112018006287T5 DE 112018006287 T DE112018006287 T DE 112018006287T DE 112018006287 T5 DE112018006287 T5 DE 112018006287T5
Authority
DE
Germany
Prior art keywords
image
color
unit
inspection system
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112018006287.2T
Other languages
English (en)
Inventor
Takanobu Ojima
Jeffry Fernando
Hideto Motomura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of DE112018006287T5 publication Critical patent/DE112018006287T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/555—Measuring total reflection power, i.e. scattering and specular
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8411—Application to online plant, process monitoring
    • G01N2021/8416—Application to online plant, process monitoring and process controlling, not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G01N2021/8427—Coatings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8845—Multiple wavelengths of illumination or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Es ist eine Aufgabe, ein Inspektionssystem, ein Inspektionsverfahren, ein Programm und ein Speichermedium bereitzustellen, die jeweils so konfiguriert oder konzipiert sind, dass sie die Genauigkeit der Oberflächenfarbenbestimmung eines bestimmten Objekts verbessern. Ein Inspektionssystem (1) umfasst eine Erfassungseinheit (F11) und eine Bestimmungseinheit (F13). Die Erfassungseinheit (F11) erfasst ein Bild, das eine Oberfläche eines Objekts (100) darstellt. Die Bestimmungseinheit (F13) führt einen Farbbestimmungsschritt durch. Der Farbbestimmungsschritt wird durchgeführt, um eine Farbe der Oberfläche des Objekts (100) auf der Grundlage einer Vielzahl von Reflexionsbedingungen zu bestimmen. Die mehreren Reflexionsbedingungen werden aus dem Bild erhalten, das die Oberfläche des Objekts (100) so darstellt, wie sie von der Erfassungseinheit (F11) erfasst wurde, und weisen eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts (100) auf.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft im Allgemeinen ein Inspektionssystem, ein Inspektionsverfahren, ein Programm und ein Speichermedium, und insbesondere ein Inspektionssystem, ein Inspektionsverfahren, ein Programm und ein Speichermedium, die jeweils konfiguriert oder ausgebildet sind, um unter Verwendung eines Bildes eine Entscheidung über die Oberfläche eines Objekts zu treffen.
  • Stand der Technik
  • Patentliteratur 1 offenbart eine Lackierprüfvorrichtung. Die Lackierprüfvorrichtung in Patentliteratur 1 umfasst: eine Kamera mit drei spektralen Empfindlichkeiten, die lineare in Werte transformiert wurden, die einer CIEXYZ-Farbabstimmungsfunktion entsprechen; eine Recheneinheit (Prozessor) zur Berechnung und Erfassung von Farbdaten durch Transformation eines Bildes mit den drei spektralen Empfindlichkeiten, das von der Kamera erfasst wurde, in die Tristimuluswerte X, Y und Z im CIEXYZ-Farbsystem; und eine Beleuchtungseinheit zur Bestrahlung eines Autos, das ein beispielhaftes Messobjekt ist, mit Licht. Die Lackierprüfvorrichtung führt eine Farbprüfung durch, in dem sie einen Index einer Farbverteilungsanpassung berechnet, die das Verhältnis der Überlappung zwischen zwei XYZ-Farbwerthistogrammen eines Prüfobjekts und eines Bezugsobjekts angibt.
  • Zitationsliste
  • Patentliteratur
  • Patentliteratur 1: JP 2015-155892 A
  • Zusammenfassung der Erfindung
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein Inspektionssystem, ein Inspektionsverfahren, ein Programm und ein Speichermedium bereitzustellen, die jeweils konfiguriert oder ausgebildet sind, um die Genauigkeit der Oberflächenfarbbestimmung eines bestimmten Objekts zu verbessern.
  • Ein Inspektionssystem gemäß einem Aspekt der vorliegenden Erfindung umfasst eine Erfassungseinheit und eine Bestimmungseinheit. Die Erfassungseinheit erfasst ein Bild, das eine Oberfläche eines Objekts darstellt. Die Bestimmungseinheit führt einen Farbbestimmungsschritt durch. Der Farbbestimmungsschritt wird durchgeführt, um eine Farbe der Oberfläche des Objekts auf der Grundlage einer Vielzahl von Reflexionsbedingungen zu bestimmen. Die Vielzahl von Reflexionsbestimmungen werden aus dem Bild erhalten, das die Oberfläche des Objekts so darstellt, wie sie von der Erfassungseinheit erfasst wird, und weist eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente mit jeweils verschiedenen Verhältnissen auf der Oberfläche des Objekts auf.
  • Ein Inspektionsverfahren gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst einen Erfassungsschritt und einen Bestimmungsschritt. Der Erfassungsschritt umfasst das Erfassen eines Bildes, das eine Oberfläche eines Objekts darstellt. Der Bestimmungsschritt umfasst das Durchführen eines Farbbestimmungsschritts. Der Farbbestimmungsschritt wird durchgeführt, um eine Farbe der Oberfläche des Objekts auf der Grundlage einer Vielzahl von Reflexionsbedingungen zu bestimmen. Die Vielzahl von Reflexionsbedingungen werden aus dem Bild erhalten, das die Oberfläche des Objekts darstellt, und weist eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente mit jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts auf.
  • Ein Programm gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist ausgebildet, um zu bewirken, dass ein oder mehrere Prozessoren das zuvor beschriebene Inspektionsverfahren ausführt/ausführen.
  • Ein Speichermedium gemäß einem noch weiteren Aspekt der vorliegenden Erfindung ist ein computerlesbares nichtflüchtiges Speichermedium, auf dem das zuvor beschriebene Programm gespeichert ist.
  • Figurenliste
    • 1 zeigt ein Blockdiagramm, das ein Inspektionssystem gemäß einer beispielhaften Ausführungsform darstellt,
    • 2 zeigt die Arbeitsweise des Inspektionssystems;
    • 3 zeigt ein Flussdiagramm, das den Ablauf des vom Inspektionssystem durchzuführenden Einstellschritts darstellt;
    • 4 zeigt ein Flussdiagramm, das den Ablauf der von dem Inspektionssystem durchzuführenden Farbbestimmungsschritt darstellt;
    • 5 zeigt ein erstes separates Bild;
    • 6 zeigt ein zweites separates Bild;
    • 7 zeigt, wie das Inspektionssystem eine Art eines Trennschritts durchführt;
    • 8 zeigt, wie das Inspektionssystem eine weitere Art eines Trennschritts durchführt;
    • 9 zeigt, wie das Inspektionssystem auf eine Art und Weise einen Syntheseschritt durchführt;
    • 10 zeigt, wie das Inspektionssystem auf eine andere Art und Weise einen Syntheseschritt durchführt;
    • 11 zeigt, wie das Inspektionssystem den Farbsteuerschritt durchführt;
    • 12 zeigt ein Flussdiagramm, das den Ablauf eines Lackierschritts einschließlich des Farbbestimmungsschritts, der von dem Inspektionssystem durchgeführt wird, darstellt;
    • 13 zeigt, wie das Inspektionssystem eine Art eines Lackierschritts durchführt;
    • 14 zeigt, wie das Inspektionssystem eine weitere Art des Lackierschritts durchführt;
    • 15 zeigt ein Flussdiagramm, das den Ablauf eines Texturbestimmungsschritts, der von dem Inspektionssystem durchgeführt wird, darstellt;
    • 16 zeigt, wie das Inspektionssystem den Texturbestimmungsschritt durchführt; und
    • 17 zeigt ein Bildaufnahmesystem.
  • Beschreibung der Ausführungsformen
  • Ausführungsformen
  • 1.1 Übersicht
  • 1 zeigt ein Inspektionssystem 1 gemäß einer beispielhaften Ausführungsform. Das Inspektionssystem 1 umfasst eine Erfassungseinheit F11 und eine Bestimmungseinheit F13. Die Erfassungseinheit F11 erfasst ein Bild, das eine Oberfläche eines Objekts 100 darstellt. Die Bestimmungseinheit F13 führt einen Farbbestimmungsschritt durch. Die Farbbestimmungsschritt wird durchgeführt, um eine Farbe der Oberfläche des Objekts 100 auf der Grundlage einer Vielzahl von Reflexionsbedingungen zu bestimmen. Die Vielzahl von Reflexionsbedingungen werden aus dem Bild erhalten, das die Oberfläche des Objekts 100 derart darstellt, wie es durch die Erfassungseinheit F11 erfasst wird, und weist eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente mit jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts 100 auf.
  • Das Inspektionssystem 1 bestimmt die Farbe der Oberfläche des Objekts 100 aus verschiedenen Blickwinkeln, nicht aus einem einzigen Blickwinkel. Insbesondere bestimmt das Inspektionssystem 1 die Farbe der Oberfläche des Objekts 100 auf der Grundlage einer Vielzahl von Reflexionsbedingungen, die eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts 100 aufweist. Insbesondere stellt die spiegelnde Reflexionskomponente die Oberflächenbedingung des Objekts 100 getreuer dar als die diffuse Reflexionskomponente. Andererseits stellt die diffuse Reflexionskomponente die Farbe der Oberfläche selbst des Objekts 100 genauer als die spiegelnde Reflexionskomponente dar. Dadurch ist es möglich, die Farbe der Oberfläche des Objekts 100 nicht nur anhand der Farbe der Oberfläche selbst des Objekts 100 zu bestimmen, sondern es wird auch der Oberflächenzustand des Objekts 100 berücksichtigt. Folglich verbessert dieses Inspektionssystems 1 die Genauigkeit der Oberflächenfarbenbestimmung des Objekts 100.
  • Einzelheiten
  • Im Nachfolgenden wird das Inspektionssystem 1 ausführlich mit Bezug auf die begleitenden Zeichnungen beschrieben. Das Inspektionssystem 1 ist ein System, mit dem ein Objekt 100 einer beliebigen Art von Inspektion unterzogen werden kann. Zum Beispiel kann das Inspektionssystem 1 als eine Lackierprüfvorrichtung dienen. In dieser Ausführungsform soll die Inspektion durch das Inspektionssystem 1 hinsichtlich der Farbe, des Lackierzustands und der Textur der Oberfläche des Objekts 100 durchgeführt werden. Darüber hinaus kann das Inspektionssystem 1 das Objekt 100 auch einfärben. Das Inspektionssystem 1 kann das Objekt 100 auf der Grundlage eines Inspektionsergebnisses lackieren, um dadurch das Objekt 100 in ein lackiertes Objekt 100 umzuwandeln, das die gewünschte(n) Farbe(n) aufweist.
  • Das Objekt 100 kann jede Art von Objekt mit einer Oberfläche sein. Konkret ist das Objekt 100 gemäß dieser Ausführungsform ein Automobil. Genauer gesagt ist die Oberfläche des Objekts 100 eine Außenfläche der Fahrzeugkarosserie des Automobils. Dies ist jedoch nur ein Beispiel und sollte nicht als Einschränkung ausgelegt werden. Das heißt, das Objekt 100 muss kein Automobil sein, sondern kann auch ein anderes sich bewegendes Fahrzeug oder sogar ein anderer Gegenstand als ein sich bewegendes Fahrzeug sein. Beispiele von sich bewegenden Fahrzeugen umfassen Fahrräder, Motorräder, Eisenbahnzüge, Drohnen, Flugzeuge, Baumaschinen, Schiffe und Boote. Das Objekt 100 kann sogar eine elektrische Vorrichtung, ein Geschirr, ein Behälter, ein Möbelstück, ein Kleidungsstück oder ein Baumaterial sein. Kurz gesagt, kann das Objekt 100 jegliche Art von Objekt mit einer Oberfläche sein. Insbesondere ist das Inspektionssystem 1 gemäß dieser Ausführungsform wirksam auf jeden zu lackierenden Gegenstand anwendbar.
  • Wie in 1 gezeigt, umfasst das Inspektionssystem 1 ein Erfassungssystem 10, ein Beleuchtungssystem 20, ein Bilderfassungssystem 30 und ein Lackiersystem 40.
  • Das Beleuchtungssystem 20 ist ein System zur Beleuchtung der Oberfläche des Objekts 100 mit Licht. Wie in 2 gezeigt, umfasst das Beleuchtungssystem 20 eine Vielzahl von (beispielsweise vier in diesem Beispiel, wie in 2 gezeigt) Leuchten 21 zum Bestrahlen des Objekts 100 mit Licht. Die Leuchten 21 können z. B. LED-Leuchten sein. Jede der Leuchten 21 strahlt weißes Licht aus. Es sollte beachtet werden, dass dieses Beleuchtungssystem 20 jede andere Anzahl von Leuchten 21 enthalten kann, die nicht LED-Leuchten sein müssen, sondern auch jede andere Art von Lichtquellen sein können. Das von den Leuchten 21 ausgestrahlte Licht muss auch nicht weißes Licht sein. Die Farbe des von den Leuchten 21 abgestrahlten Lichts kann unter Berücksichtigung der Farbe des Objekts 100 und der für das Bilderfassungssystem 30 erkennbaren Farben in geeigneter Weise ausgewählt werden. Optional kann die Wellenlänge des vom Beleuchtungssystem 20 abgestrahlten Lichts geändert werden. In dieser Ausführungsform umfasst das Inspektionssystem 1 das Beleuchtungssystem 20. Ist jedoch die Farbe des Objekts auch ohne das Beleuchtungssystem 20 bestimmbar, kann auf das Beleuchtungssystem 20 verzichtet werden.
  • Das Bildaufnahmesystem 30 ist ein System zur Erzeugung eines Bildes (Digitalbild), das die Oberfläche des Objekts 100 darstellt. In dieser Ausführungsform erzeugt das Bildaufnahmesystem 30 ein Bild, das die Oberfläche des Objekts 100 darstellt, indem ein Bild der Oberfläche des Objekts 100 durch das Beleuchtungssystem 20 bestrahlt wird. Das Bildaufnahmesystem 30 umfasst mehrere Kameras, die jeweils einen oder mehrere Bildsensoren umfassen. Optional kann jede Kamera einen oder mehrere Zeilensensoren enthalten.
  • In dieser Ausführungsform umfassen die mehreren Kameras des Bildaufnahmesystems 30 vier (erste) Kameras 31 (311-314) und eine (zweite) Kamera 32, wie in 2 gezeigt. In diesem Fall können die ersten Kameras 31 und die zweite Kamera 32 mit Bezug auf das Objekt 100 verschoben sein. Zudem hat die zweite Kamera 32 in geeigneter Weise einen größeren Blickwinkel als die ersten Kameras 31 und ist in geeigneter Weise in der Lage, ein Bild zu erzeugen, das das Objekt 100 vollständig darstellt. Beispielsweise kann die zweite Kamera 32 so angeordnet sein, dass sie das Objekt 100 von oben betrachtet, um ein Bild zu erzeugen, das eine Vogelperspektivenansicht des Objekts 100 darstellt.
  • Das Lackiersystem 40 ist ein System zum Lackieren der Oberfläche des Objekts 100. Wie in 2 gezeigt, umfasst das Lackiersystem 40 eine Vielzahl von Lackiereinheiten (beispielsweise zwei Lackiereinheiten 41, 42). In dieser Ausführungsform sind beide Lackiereinheiten 41, 42 als Lackierroboter ausgebildet. Die Lackiereinheiten 41, 42 sind mit Bezug auf das Objekt 100 verschiebbar. Die Lackierroboter können eine bekannte Konfiguration aufweisen, und es wird auf eine ausführliche Beschreibung derselben hierin verzichtet. Es sollte beachtet werden, dass das Lackiersystem 40 wenigstens eine Lackiereinheit enthalten muss, und somit ist die Anzahl der vorgesehenen Lackiereinheiten nicht auf zwei beschränkt.
  • Das Bestimmungssystem 10 umfasst eine Eingabe/Ausgabeeinheit 11, eine Speichereinheit 12 und eine Verarbeitungseinheit 13, wie in 1 gezeigt. Das Bestimmungssystem 10 kann als ein Computersystem ausgebildet sein. Das Computersystem kann einen oder mehrere Prozessoren, einen oder mehrere Anschlüsse, einen oder mehrere Kommunikationsvorrichtungen sowie einen oder mehrere Speicher aufweisen.
  • Die Eingabe/Ausgabeeinheit 11 ist eine Schnittstelle, über die Informationen von einem der Beleuchtungssysteme 20, dem Bilderfassungssystem 30 oder dem Lackiersystem 40 zu einem anderen eingegeben und ausgegeben werden. In dieser Ausführungsform ist die Eingabe/Ausgabeeinheit 11 so angeschlossen, dass sie mit dem Beleuchtungssystem 20, dem Bilderfassungssystem 30 und dem Lackiersystem 40 kommunizieren kann. Die Eingabe/Ausgabeeinheit 11 umfasst eine oder mehrere Eingabe/Ausgabevorrichtungen und verwendet eine oder mehrere Eingabe/Ausgabeschnittstellen.
  • Die Speichereinheit 12 wird verwendet, um Informationen, die von der Verarbeitungseinheit 13 verwendet werden, zu speichern. Die Speichereinheit 12 umfasst eine oder mehrere Speichervorrichtungen, wie beispielsweise einen Speicher mit wahlfreiem Zugriff (RAM) und/oder einen elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM). Die Speichereinheit 12 speichert Probendaten, die bei der Farbbestimmungsschritt verwendet werden. Die Probendaten umfassen Informationen über eine Sollfarbe der Oberfläche des Objekts 100 (d. h. Farbdaten als Proben). Die Informationen über die Sollfarbe der Oberfläche des Objekts 100 können als Reflexionsgradwerte auf einer Wellenlängenbasis (siehe 11) bereitgestellt werden. Beispielsweise können die Informationen über die Sollfarbe der Oberfläche des Objekts 100 als Reflexionsgradwerte, die innerhalb des Wellenlängenbereichs von 380 nm bis 780 nm fallen, bereitgestellt werden. Das heißt, die Probendaten weisen einen digitalen Farbmusteraspekt auf. Darüber hinaus können die Probendaten auch Informationen über die Form des Objekts 100 (Informationen über die Form des aufzunehmenden Objekts) und/oder Informationen über eine Bedingung zur Aufnahme eines Bildes des Objekts 100 umfassen. Die Bedingung für die Aufnahme eines Bildes des Objekts 100 kann die relative Positionsbeziehung zwischen dem Objekt 100, dem Beleuchtungssystem 20 und dem Bildaufnahmesystem 30 (d. h. Informationen über die relativen Positionen des Aufnahmeobjekts, der Beleuchtung und der Kameras) umfassen. Mit anderen Worten, kann die Bedingung die Aufnahme eines Bildes des Objekts 100 Informationen über die Beleuchtung, die durch das Beleuchtungssystem 20 bereitgestellt wird, umfassen (im Nachfolgenden als „Beleuchtungsinformationen“ bezeichnet). Beispielsweise können die Probendaten ein Bild sein, das die gesamte Oberfläche des Objekts 100 darstellt, das unter einer vorbestimmten Bildaufnahmebedingung aufgenommen wurde. Darüber hinaus kann die Speichereinheit 12 ferner Standardinformationen zur Verwendung im Lackierbestimmungsschritt umfassen. Die Standardinformationen stellen eine Zieloberflächenlackierungsbedingung des Objekts 100 dar. Mit anderen Worten geben die Standardinformationen die Lackierungsbedingungen für das Objekt 100 an.
  • Die Verarbeitungseinheit 13 kann als ein oder mehrere Prozessoren (oder Mikroprozessoren) ausgebildet sein. Das heißt, der eine oder die mehreren Prozessoren führen die Funktion der Verarbeitungseinheit 13 aus, indem ein oder mehrere Programme (Computerprogramme), die in einem oder mehreren Speichern gespeichert sind, ausgeführt werden. Das eine oder die mehreren Programme können vorab in dem einen oder den mehreren Speichern gespeichert werden. Alternativ können das eine oder die mehreren Programme auch über eine Telekommunikationsleitung, wie das Internet, heruntergeladen oder nach dem Speichern in einem nichtflüchtgen Speichermedium, wie beispielsweise einer Speicherkarte, verteilt werden.
  • Die Verarbeitungseinheit 13 führt den Einstellschritt (siehe 3), den Farbbestimmungsschritt (siehe 4), den Farbbestimmungsschritt (siehe 12) und den Texturbestimmungsschritt (siehe 15) durch. Die Verarbeitungseinheit 13 umfasst die Erfassungseinheit F11, eine Trenneinheit F12 und eine Bestimmungseinheit F13, wie in 1 gezeigt. Es sollte beachtet werden, dass die Erfassungseinheit F11, die Trenneinheit F12 und die Bestimmungseinheit F13 keine wesentliche Hardwarekonfiguration aufweisen, sondern eigentlich entsprechende Funktionen sind, die von der Verarbeitungseinheit 13 ausgeführt werden sollen.
  • Die Erfassungseinheit F11 erfasst ein Bild, das die Oberfläche des Objekts 100 darstellt (siehe 9 und 10). In dieser Ausführungsform erfasst die Erfassungseinheit F11 ein Bild, das die Oberfläche des Objekts 100 von dem Bildaufnahmesystem 30 darstellt. Das heißt, die Erfassungseinheit F11 empfängt das Bild von dem Bildaufnahmesystem 30 über die Eingabe/Ausgabeeinheit 11. Es hängt von der Bildaufnahmebedingung für das Bildaufnahmesystem 30 ab, welches Bild die Erfassungseinheit F11 von dem Bildaufnahmesystem 30 erhält.
  • Die Trenneinheit F12 führt einen Trennschritt durch. Der Trennschritt ist eine Verarbeitung, um aus dem Bild, das die Oberfläche des Objekts 100 darstellt, wie es von der Erfassungseinheit F11 erfasst wird, eine Vielzahl von Reflexionsbedingungen mit einer spiegelnden Reflexionskomponente und einer diffusen Reflexionskomponente in jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts 100 zu erhalten. Wenn der Trennschritt durchgeführt wird, erhält die Trenneinheit F12 als Bilder, die die Vielzahl von Reflexionsbedingungen mit einer spiegelnden Reflexionskomponente und einer diffusen Reflexionskomponente in jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts 100 darstellen, mehrere separate Bilder aus dem von der Erfassungseinheit F11 erfassten Bild. Die mehreren separaten Bilder stellen jeweilige Oberflächenbilder des Objekts 100 dar und sind Bilder, die jeweils eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts aufweisen. In dieser Ausführungsform ist die Vielzahl von separaten Bildern aus einem ersten separaten Bild P10 (siehe 5) und einem zweiten separaten Bild (siehe 6) gebildet. Jedoch ist die Anzahl der separaten Bilder nicht auf zwei beschränkt, sondern kann auch drei oder mehr umfassen.
  • Wie hierin verwendet, umfasst der Begriff „mehrere Reflexionsbedingungen“ die Reflexionsbedingung des Lichts von der Oberfläche des Objekts 100. Wenn die Oberfläche des Objekts 100 aus einer anderen Richtung betrachtet wird, ist das Verhältnis der spiegelnden Reflexionskomponente und der diffusen Reflexionskomponente variabel. Somit zeigt sich, dass die Vielzahl von Reflexionsbedingungen die Zustände der Oberfläche des Objekts 100 aus mehreren verschiedenen Blickwinkeln darstellen. Die Bilder, die die mehreren verschiedenen Reflexionsbedingungen von der Oberfläche des Objekts 100 darstellen, können erhalten werden, indem Bilder der Oberfläche des gleichen Objekts 100 unter Verwendung einer Vielzahl von Kameras, die an mehreren verschiedenen Positionen aufgestellt ist, aufgenommen werden. Wenn Bilder der Oberfläche des Objekts 100 mit einer Vielzahl von Kameras, die an mehreren verschiedenen Positionen aufgestellt ist, aufgenommen werden, kann jedes so aufgenommene Bild sowohl eine spiegelnde Reflexionskomponente als auch eine diffuse Reflexionskomponente enthalten. Dennoch kann entweder nur die spiegelnde Reflexionskomponente oder nur die diffuse Reflexionskomponente durch arithmetische Verarbeitung aus dem gegebenen Bild extrahiert werden. Wie in 7 gezeigt, weist die reflektierende Reflexionskomponente einen Peak um einen Bereich auf einer Bildaufnahmeebene I auf, in dem der Einfallswinkel des Lichts von einer Lichtquelle L auf eine Oberfläche S gleich dem Reflexionswinkel des Lichts von der Oberfläche S ist. Somit ist die spiegelnde Reflexionskomponente in einem Bereich auf der Bildaufnahmeebene I dominant, der einem vorgegebenen Bereich (θ ± φ) entspricht, der um den Reflexionswinkel θ zentriert ist. Indes ist die diffuse Reflexionskomponente im verbleibenden Bereich auf der Bildaufnahmeebene I dominant, mit Ausnahme des Bereichs, der dem vorbestimmten Bereich (θ ± φ) entspricht. Somit wird auf der Bildaufnahmeebene I die Intensität des reflektierten Lichts als ein synthetischer Wert der spiegelnden Reflexionskomponente und der diffusen Reflexionskomponente angegeben. Darüber hinaus können die spiegelnde Reflexionskomponente und die diffuse Reflexionskomponente auf der Grundlage eines statistischen Modells geschätzt werden. Darüber hinaus weisen die spiegelnde Reflexionskomponente und die diffuse Reflexionskomponente unterschiedliche Intensitätsverteilungen auf, und somit sind sie auf der Grundlage der Graustufenwerte (Leuchtdichtewerte) des Bildes voneinander trennbar, wie in 8 gezeigt.
  • In dieser Ausführungsform extrahiert die Trenneinheit F12 das erste separate Bild P10 (siehe 5) und das zweite separate Bild (siehe 6) aus dem von der Aufnahmeeinheit F11 aufgenommenen Bild. Daher kann die Bildzahl von Reflexionsbedingungen eine Bedingung mit nur der spiegelnden Reflexionskomponente und eine Bedingung mit nur der diffusen Reflexionskomponente enthalten. Das erste separate Bild P10 stellt eine Bedingung dar, bei der die Oberfläche des Objekts 100 nur die spiegelnde Reflexionskomponente aufweist. Das zweite separate Bild P20 stellt eine Bedingung dar, bei der die Oberfläche des Objekts 100 nur die diffuse Reflexionskomponente aufweist. In diesem Fall stellt die spiegelnde Reflexionskomponente den Oberflächenzustand des Objekts 100 getreuer dar als diffuse Reflexionskomponente. Andererseits stellt die diffuse Reflexionskomponente die Farbe der Oberfläche selbst des Objekts 100 genauer dar als die spiegelnde Reflexionskomponente.
  • Die Bestimmungseinheit F13 führt den Einstellschritt (siehe 3), den Farbbestimmungsschritt (siehe 4), den Lackierschritt (siehe 12) und den Texturbestimmungsschritt (siehe 15) durch.
  • (Einstellschritt)
  • Der Einstellschritt ist eine Vorbearbeitungsschritt, der vor dem Farbbestimmungsschritt durchzuführen ist. Der Einstellschritt umfasst die Eingabe von Einstellungen in das Bildaufnahmesystem 30. Um Einstellungen in das Bildaufnahmesystem 30 einzugeben, bestimmt die Bestimmungseinheit F13 eine Bildaufnahmebedingung für das Bildaufnahmesystem 30. Die Bildaufnahmebedingung definiert die Betriebsbedingungen der mehreren Kameras (insbesondere die mehreren ersten Kameras 31) des Bildaufnahmesystems 30. Die Betriebsbedingungen können deren Positionen mit Bezug auf die Oberfläche des Objekts 100, eine Bildaufnahmerichtung mit Bezug auf die Oberfläche des Objekts 100, den Blickwinkel (den Sichtwinkel) und eine Zoomstärke (das Zoomen) umfassen. In dieser Ausführungsform erzeugen die vier ersten Kameras 311-314 des Bildaufnahmesystems 30 Teilbilder P31-P34, die jeweilige Abschnitte der Oberfläche des Objekts 100, wie in 9 und 10 gezeigt, darstellen. In dieser Ausführungsform werden die mehreren Teilbilder P31-P34 durch mehrere Kameras 31 erzeugt, die jeweils unterschiedliche Bildaufnahmerichtungen mit Bezug auf das Objekt 100 aufweisen. Um somit auf der Grundlage dieser von den vier ersten Kameras 311-314 erzeugten Teilbilder P31-P34 ein Bild (Gesamtbild) P30 zu erzeugen, das die gesamte Oberfläche des Objekts 100 darstellt, bestimmt die Bestimmungseinheit F13 die Bildaufnahmebedingung für das bildaufnhamesystem 30, wie in 9 gezeigt. Die Bestimmungseinheit F13 gibt entsprechend der so ermittelten Bildaufnahmebedingung die Einstellungen in das Bildaufnahmesystem 30 ein. Dadurch kann das Bildaufnahmesystem 30 ein Gesamtbild des Objekts 100 erhalten. Es ist zu beachten, dass in dieser Ausführungsform die gesamte Oberfläche des Objekts 100 nur jener gesamte Bereich sein muss, der einer Farbbestimmungsschritt unterzogen werden soll, und nicht die gesamte Oberfläche des Objekts 100 im praktischen Sinn.
  • Im Nachfolgenden wird ein Verfahren des Einstellschritts mit Bezug auf das in 3 gezeigte Flussdiagramm beschrieben.
  • Zunächst veranlasst die Bestimmungseinheit F13 die Erfassungseinheit F11 die mehreren Teilbilder P31-P34 des Objekts 100 von dem Bildaufnahmesystem 30 aufzunehmen (in S11). Ein erstes getrenntes Bild und ein zweites getrenntes Bild werden durch die Trenneinheit F12 aus jedem der mehreren Teilbilder P31-P34, die durch die Erfassungseinheit F11 erfasst werden, erhalten (extrahiert) (in S12). Die Bestimmungseinheit F13 synthetisiert die jeweils ersten getrennten Bilder der mehreren Teilbilder P31-P34 gemeinsam, um ein erstes synthetisches Bild zu erhalten. Darüber hinaus synthetisiert die Bestimmungseinheit F13 auch die jeweiligen zweiten getrennten Bilder der mehreren Teilbilder P31-P34 gemeinsam, um ein zweites synthetisches Bild zu erzeugen (in S13). Die Bestimmungseinheit F13 bestimmt eine Bildaufnahmebedingung des Bildaufnahmesystems 30 (in Bezug auf die Betriebsbedingungen der vier ersten Kameras 311-314), sodass die Kontinuität des Objekts 100 sowohl in Bezug auf das erste synthetische Bild als auch auf das zweite synthetische Bild erhalten bleibt (in S14). Wenn, wie hier verwendet, die Kontinuität des Objekts 100 (d. h. die Kontinuität der Abstufung des Aufnahmeobjekts) erhalten bleibt, bedeutet dies, dass die Form des Objekts 100 in dem synthetischen Bild, das durch die Synthese der Teilbilder erzeugt wird, genau ausgedrückt wird. 9 zeigt eine Situation, in der die Kontinuität des Objekts 100 erhalten bleibt. Hingegen zeigt 10 eine Situation, in der die Kontinuität des Objekts 100 nicht erhalten bleibt. Es sollte beachtet werden, dass zum leichteren Verständnis der Beschreibung 9 und 10 ein Beispiel darstellen, in dem ein synthetisches Bild auf der Grundlage der Teilbilder P31-P34 anstelle der entsprechenden ersten getrennten Bilder oder zweiten getrennten Bilder erzeugt wurde. Die Bestimmungseinheit F13 kann die Bildaufnahmebedingung unter Bezugnahme auf die Informationen über die Form des Objekts 100 bestimmen, die in dem in der Speichereinheit 12 gespeicherten Probendaten enthalten sind. Die Bestimmungseinheit F13 bestimmt die Bildaufnahmebedingung derart, dass die Form des Objekts 100 im ersten getrennten Bild und im zweiten getrennten Bild mit der Form des Objekts 100 übereinstimmt, wie durch die in den Probedaten enthaltenen Informationen angegeben. Entsprechend der so bestimmten Bildaufnahmebedingung gibt die Bestimmungseinheit F13 die Einstellungen in das Bildaufnahmesystem 30 ein (in S15). Auf diese Weise wird die Betriebsbedingung der vier ersten Kameras 311-314 aktualisiert. Dadurch erhält das Bildaufnahmesystem 30 das Gesamtbild des Objekts 100.
  • Es zeigt sich, dass das Inspektionssystem 1 die Bilder (Teilbilder), die durch die mehreren Kameras 31 aufgenommen werden, um synthetisierte Bilder zu erhalten (d. h. ein erstes synthetisiertes Bild und ein zweites synthetisiertes Bild) gemeinsam synthetisiert, eine Bildaufnahmebedingung auf der Grundlage der synthetisierten Bilder berechnet und anschließend die Bildaufnahmebedingung ausgibt. Anschließend steuert das Inspektionssystem 1 die Blickwinkel und das Zoomen der Kameras 31 derart, dass die Kontinuität der Abstufung des Aufnahmeobjekts (Objekt 100) auf der Grundlage des synthetisierten Bildes erhalten bleibt.
  • (Farbbestimmungsschritt)
  • Der Farbbestimmungsschritt ist ein Schritt zur Bestimmung der Farbe der Oberfläche des Objekts 100. Genauer gesagt, ist der Farbbestimmungsschritt ein Schritt, um die Farbe der Oberfläche des Objekts 100 auf der Grundlage einer Vielzahl von Reflexionsbedingungen, die eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in jeweils verschiedenen Verhältnissen auf der Oberfläche des Objekts 100 aufweist, zu bestimmen. Die Vielzahl von Reflexionsbedingungen werden aus dem Bild, das die Oberfläche des Objekts 100 darstellt, wie es durch die Erfassungseinheit F11 erfasst wird, erhalten. Insbesondere bestimmt bei dieser Farbbestimmungsschritt die Bestimmungseinheit F13 die Farbe der Oberfläche des Objekts 100 auf der Grundlage der vielen getrennten Bilder P10 und P20. Darüber hinaus bestimmt bei dieser Farbbestimmungsschritt die Bestimmungseinheit F13 die Farbe der Oberfläche des Objekts 100 auf der Grundlage der Vielzahl von Bildern P10 und P12, die jeweils aus den mehreren Teilbildern P31-P34 erzeugt werden und jeweils die gesamte Oberfläche des Objekts 100 in jeder der mehreren Reflexionsbedingungen darstellt. Es sollte beachtet werden, dass die Farbe der Oberfläche des Objekts 100 auf einer Pixel-für-Pixel-Basis in den Bildern P10 und P20 bestimmt werden kann.
  • Im Nachfolgenden wird das Verfahren des Farbbestimmungsschritts mit Bezug auf das Flussdiagramm der 4 beschrieben.
  • Zunächst bewirkt die Bestimmungseinheit F13, dass die Erfassungseinheit F11 die mehreren Teilbilder P31-P34 des Objekts 100 vom Bilderfassungssystem 30 (in S21) erfasst. Ein erstes separates Bild und ein zweites separates Bild werden von der Bestimmungseinheit F12 aus jedem der mehreren Teilbilder P31-P34, die von der Erfassungseinheit F11 (in S22) erfasst werden, erhalten (extrahiert). Die Bestimmungseinheit F13 synthetisiert die entsprechenden ersten separaten Bilder der Vielzahl von Teilbildern P31-P34 gemeinsam, um ein erstes synthetisches Bild zu erzeugen. Darüber hinaus synthetisiert die Bestimmungseinheit F13 auch die jeweiligen zweiten separaten Bilder der mehreren Teilbilder P31-P34 zusammen, um ein zweites synthetisches Bild zu erzeugen (in S23). Die Bestimmungseinheit F13 vergleicht die Farbe der Oberfläche des Objekts 100, die sowohl im ersten synthetischen Bild als auch im zweiten synthetischen Bild ausgedrückt ist, mit den Informationen über die Sollfarbe der Oberfläche des Objekts 100, die in den Probendaten, die in der Speichereinheit 12 gespeichert sind, enthalten sind (in S24). Die Informationen über die Sollfarbe der Oberfläche des Objekts 100 umfasst Informationen über die Sollfarbe der Oberfläche des ersten synthetischen Bilds und Informationen über die Sollfarbe der Oberfläche des zweiten synthetischen Bilds. Darüber hinaus bestimmt die Bestimmungseinheit F13 die Farbe des Objekts 100 mit Bezug auf jeweils das erste synthetische Bild und das zweite synthetische Bild. Wenn beispielsweise festgestellt wird, dass der Grad der Übereinstimmung zwischen der tatsächlich aus dem ersten synthetischen Bild erhaltenen Farbe und der Sollfarbe, die in den Probendaten für das erste synthetische Bild enthalten sind, gleich oder größer als ein vorgegebener Wert ist, bestimmt die Bestimmungseinheit F13, dass die aus dem ersten synthetischen Bild erhaltene Farbe ein GO (Start) sein sollte. Ebenso bestimmt die Bestimmungseinheit F13, wenn der Grad der Übereinstimmung zwischen der tatsächlich aus dem zweiten synthetischen Bild erhaltenen Farbe und der in den Probendaten für das zweite synthetische Bild enthaltenen Sollfarbe gleich oder größer als ein vorgegebener Wert ist, dass die aus dem zweiten synthetischen Bild erhaltene Farbe ein GO sein sollte. Auf diese Weise bestimmt die Bestimmungseinheit F13 die Farbe der Oberfläche des Objekts 100 auf der Grundlage eines Bildes, das die gesamte Oberfläche des Objekts 100 in jeder der Vielzahl von Reflexionsbedingungen darstellt und das auf der Grundlage der mehreren Teilbilder erzeugt wurde. Wird festgestellt, dass jede Farbe, die aus dem ersten synthetischen Bild und dem zweiten synthetischen Bild erhalten wird, ein GO ist, bestimmt die Bestimmungseinheit F13, dass das Ergebnis der Farbbestimmungsschritt ein GO ist (wenn die Antwort in Schritt S25 JA lautet).
  • Wenn andererseits mindestens eine der Farben, die aus dem ersten synthetischen Bild und dem zweiten synthetischen Bild erhalten werden, als NO-GO (Abbruch) bewertet wird, bestimmt die Bestimmungseinheit F13, dass das Ergebnis der Farbbestimmungsschritt ein NO-GO ist (wenn die Antwort in Schritt S25 NEIN ist). In diesem Fall lackiert die Bestimmungseinheit F13 das Objekt 100 noch einmal von vorne (in S26). In diesem erneuten Lackierungsschritt steuert die Bestimmungseinheit F13 das Lackiersystem 40 auf der Grundlage der Differenz zwischen der Farbe, die aus dem ersten synthetischen Bild erhalten wird, und der Sollfarbe des ersten synthetischen Bildes, und der Differenz zwischen der Farbe, die aus dem zweiten synthetischen Bild erhalten wird, und der Sollfarbe des zweiten synthetischen Bildes. Das heißt, die Bestimmungseinheit F13 steuert auf der Grundlage des Ergebnisses der Farbbestimmungsschritt das Lackiersystem 40 zum Lackieren der Oberfläche des Objekts 100. Dadurch wird die Farbe der Oberfläche des Objekts 100 mehr an die Sollfarbe angeglichen. Beispielsweise zeigt 11 die Beziehung zwischen einem Graphen G10, G11, der die Farbe darstellt, die aus dem synthetischen Bild erhalten wird (d. h., dem ersten synthetischen Bild oder dem zweiten synthetischen Bild), und einem Graphen G20, der die Sollfarbe des synthetischen Bildes darstellt. In 11 gibt die Kennlinie G10 die Farbe vor dem erneuten Lackieren an, und G11 gibt die Farbe nach dem erneuten Lackieren an. Auf diese Weise kann das Inspektionssystem 1 die Farbe der Oberfläche des Objekts 100 ändern.
  • (Lackierung)
  • Der Lackierschritt ist ein Prozess, in dem das Objekt 100 lackiert wird (im Nachfolgenden auch als „beschichtet“ bezeichnet). Im Nachfolgenden wird der Lackierschritt mit Bezug auf das Flussdiagramm der 12 sowie 13 und 14, die jeweils eine Darstellung des Lackierschritts darstellen, beschrieben.
  • Zunächst bestimmt die Bestimmungseinheit F13 den zu lackierenden Bereich (oder den zu beschichtenden Bereich) auf der Oberfläche des Objekts 100 (in S31). In dieser Ausführungsform umfasst das Lackiersystem 40 zwei Lackierroboter 41 und 42, und somit können gleichzeitig zwei zu lackierende Bereiche auf der Oberfläche des Objekts 100 ausgewählt werden. Beispiele der zu lackierenden Bereiche umfassen eine Motorhaube, ein Dach, Vordertüren, Hintertüren, eine vordere Stoßstange, eine hintere Stoßstange, Kotflügel, hintere Kotflügel und einen Kofferraumdeckel. Die Bestimmungseinheit F13 bestimmt den zu lackierenden Bereich mit Hilfe des Bildaufnahmesystems 30. Die Bestimmungseinheit F13 verlasst die zweite Kamera 32, die gesamte Oberfläche des Objekts 100 zu überwachen, um festzustellen, welche Bereiche auf der Oberfläche des Objekts 100 noch nicht lackiert sind (unlackierte Bereiche). Die Bestimmungseinheit F13 wählt in den unlackierten Bereichen auf der Oberfläche des Objekts 100 den nächsten zu lackierenden Bereich aus.
  • Anschließend führt die Bestimmungseinheit F13 eine Vorlackierungsprüfung durch (in S32). Bei der Vorlackierungsüberprüfung bestimmt die Bestimmungseinheit F13 vor dem Lackieren des zu lackierenden Bereichs, ob sich irgendwelche Fremdkörper in dem zu lackierenden Bereich befinden oder nicht. Die Bestimmungseinheit F13 steuert das Bildaufnahmesystem 30 derart, dass eine der mehreren ersten Kameras 31 (beispielsweise die erste Kamera 312 in dem in 13 dargestellten Beispiel) ein Bild des zu lackierenden Bereichs aufnimmt und erfasst das aufgenommene Bild mit Hilfe der Erfassungseinheit F11. Die Bestimmungseinheit F13 erkennt mittels Bildverarbeitungstechnologie jegliche Fremdkörper auf dem von der Erfassungseinheit F11 aufgenommenen Bild des zu lackierenden Bereichs und nimmt das Bild auf. Bei der Bestimmung, ob Fremdkörper vorhanden sind oder nicht, bestimmt die Bestimmungseinheit F13 auch den Zustand des zu lackierenden Bereichs (einschließlich Informationen über dessen Farbton und Unebenheiten). Der Zustand des zu lackierenden Bereichs spiegelt sich in der Höhe der Lackierung (Beschichtungshöhe) durch das Lackiersystem 40 wider. So wird z. B. die Menge des abgegebenen Lacks (Sprühvolumen oder Sprühkonzentration) durch die Lackierungshöhe (Beschichtungshöhe) bestimmt. Wenn in diesem Fall keine Fremdkörper festgestellt werden (wenn die Antwort in Schritt S33 NEIN lautet), beginnt die Bestimmungseinheit F13 mit der Lackierung (oder Beschichtung) des zu lackierenden Bereichs (in S34).
  • Um die zu lackierenden Bereiche zu lackieren, steuert die Bestimmungseinheit F13 das Lackiersystem 40 derart, dass die zu lackierenden Bereiche (z. B. die Motorhaube und der rechte hintere Kotflügel in Beispiel der 13) von den Lackierrobotern 41 und 42 lackiert werden, wie in 13 gezeigt. Darüber hinaus bestimmt die Bestimmungseinheit F13 auch den Zustand der zu lackierenden Bereiche auf der Oberfläche des Objekts 100. Zu diesem Zweck steuert die Bestimmungseinheit F13 das Bildaufnahmesystem 30, um ein Bild der zu lackierenden Bereiche zu erhalten. In 13 werden die ersten Kameras 311 und 314 verwendet, um ein Bild der zu lackierenden Bereiche aufzunehmen. Die Bestimmungseinheit F13 ermittelt die Differenz zwischen dem Lackierzustand der Oberfläche (d. h. der aktuellen Oberfläche), der sich aus dem Bild ergibt, dass die Oberfläche des Objekts 100 darstellt, wie es von der Erfassungseinheit F11 aufgenommen wurde (d. h. ein Bild, des zu lackierenden Bereichs), und dem Solllackierzustand auf der Oberfläche des Objekts 100. Die Bestimmungseinheit F13 steuert das Lackiersystem 40, um die Differenz zu verringern. Beispielsweise stellt die Bestimmungseinheit F13 die Sprühkonzentration (die Menge des ausgestoßenen Lacks) des von den Lackierrobotern 41 und 42 abgegebenen Lacks ein. Im Farbbestimmungsschritt bestimmt die Bestimmungseinheit F13, ob in dem zu lackierenden Bereich eine Beschichtung fehlt oder nicht (z. B. in Bezug auf Farbton und Gleichmäßigkeit). Optional kann in diesem Farbbestimmungsschritt auch die Farbe der Oberfläche des Objekts 100 auf der Grundlage einer Vielzahl von Reflexionsbedingungen mit einer spiegelnden Reflexionskomponente und einer diffusen Reflexionskomponente in zueinander unterschiedlichen Verhältnissen auf der Oberfläche des Objekts 100 bestimmt werden, wie bei dem zuvor beschriebenen Farbbestimmungsverfahren.
  • Nach der Fertigstellung des Lackierschritts führt die Bestimmungseinheit F13 eine Nachlackierungsüberprüfung durch (in S35). Bei der Nachlackierungsüberprüfung überprüft die Bestimmungseinheit F13 den Zustand nach dem Lackieren. Beispiele der zu überprüfenden Zustände nach der Lackierung umfassen, ob Farbläufer vorhanden sind oder nicht, ob der Lack trocken ist oder nicht, sowie den Grad der Gleichförmigkeit des lackierten Bereichs (in Bezug auf Farbton und Oberflächenbeschaffenheit). In dieser Ausführungsform bestimmt die Bestimmungseinheit F13, ob Farbläufer in dem lackierten Bereich vorhanden sind oder nicht. Zu diesem Zweck steuert die Bestimmungseinheit F13 das Bildaufnahmesystem 30, um ein Bild des Bereichs, der lackiert wurde, unter Verwendung einer der mehreren ersten Kameras 31 aufzunehmen (z. B. die erste Kamera 313 in 13) und erfasst das Bild über die Erfassungseinheit F11. Auf der Grundlage des durch die Erfassungseinheit F11 erfassten Bildes über den zu lackierenden Bereich bestimmt die Bestimmungseinheit F13 jegliche Farbläufer. Die Farbläufer können auf der Grundlage des Farbtons und der Oberflächenbeschaffenheit (wie beispielsweise die Gleichmäßigkeit der Farbe) des lackierten Bereichs erfasst werden. Die Bestimmungseinheit F13 erhält die Differenz zwischen dem Lackierzustand der Oberfläche (d. h. der aktuellen Oberfläche), der sich aus dem Bild ergibt, das die Oberfläche des Objekts 100 darstellt, wie es von der Erfassungseinheit F11 erfasst wurde (d. h., ein Bild, das den zu lackierenden Bereich darstellt), und dem Solllackierzustand auf der Oberfläche des Objekts 100. Als Solllackierzustand der Oberfläche des Objekts 100 (d. h., ein Vergleichsbild, um festzustellen, ob Farbläufer vorhanden sind oder nicht), kann ein einheitlich mit Lack lackierter Bereich aus dem Bild verwendet werden, der die gesamte Oberfläche des Objekts 100 zeigt und von der zweiten Kamera 32 erfasst wurde. Wenn die Differenz größer als ein Schwellenwert (d. h. ein erster Schwellenwert) ist, kann die Bestimmungseinheit F13 feststellen, dass ein Farbläufer vorhanden sein sollte. Beispielsweise kann bei der Bestimmung, ob ein Farbläufer vorhanden ist oder nicht, die Farbe der Oberfläche des Objekts 100 auch auf der Grundlage einer Vielzahl von Reflexionsbedingungen bestimmt werden, die eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in zueinander unterschiedlichen Verhältnissen auf der Oberfläche des Objekts 100 aufweisen, wie im Falle der zuvor beschriebenen Farbbestimmungsschritt.
  • Wenn in diesem Fall keine Farbläufer erfasst werden (wenn die Antwort in Schritt S36 NEIN lautet), bestimmt die Bestimmungseinheit F13 auf der Grundlage des Bildes, dass die gesamte Oberfläche des Objekts 100 darstellt und durch die zweite Kamera 32 aufgenommen wird, ob irgendwelche unlackierten Bereiche vorhanden sind oder nicht (in S371). Sind unlackierte Bereiche vorhanden (wenn die Antwort in Schritt S371 JA lautet), bestimmt die Bestimmungseinheit F13, welche Stelle als Nächstes lackiert werden soll (in S31). Sind andererseits keine unlackierten Bereiche vorhanden (wenn die Antwort in Schritt S371 NEIN lautet), dann führt die Bestimmungseinheit F13 eine Endkontrolle durch (in S372). Bei der Endkontrolle kann die Bestimmungseinheit F13 den Lackierbestimmungsschritt durchführen, um die Lackierung der gesamten Oberfläche des Objekts 100 zu prüfen.
  • Wenn andererseits Farbläufer erfasst werden (wenn die Antwort in Schritt S36 JA lautet), bestimmt die Bestimmungseinheit F13 das Ausmaß der Farbläufer (in S381). Genauer gesagt bestimmt die Bestimmungseinheit F13, ob das Ausmaß der Farbläufer signifikant ist oder nicht. Das Ausmaß der Farbläufer kann signifikant sein oder nicht, je nachdem, ob die Farbläufer durch erneutes Lackieren ausgebessert werden können. Wenn beispielsweise festgestellt wird, dass die Differenz zwischen dem Bild mit dem zu lackierenden Bereich, das durch die Erfassungseinheit F11 aufgenommen wird, und dem Vergleichsbild einen zweiten Schwellenwert überschritten hat, der größer als der erste Schwellenwert ist, kann die Bestimmungseinheit F13 bestimmen, dass die Farbläufer sehr ausgeprägt sein sollten. Optional können der erste Schwellenwert und der zweite Schwellenwert gleich groß sein. Es sollte beachtet werden, dass die Bestimmungseinheit 13, falls Farbläufer erfasst wurden, Informationen zur Verhinderung eines erneuten Auftretens von Farbläufern erzeugen kann, indem die Häufigkeit der Strukturen im Bild, die die Farbläufer darstellen, der Menge an abgegebenem Lack, der Raumtemperatur, der Feuchtigkeit, der Durchlüftungsrate oder einem anderen Parameter, z. B. durch statistische Analyse oder maschinelles Lernen, zugeordnet wird.
  • Wird andererseits festgestellt, dass das Ausmaß von Farbläufern nicht signifikant ist (wenn die Antwort in Schritt S381 NEIN lautet), führt die Bestimmungseinheit F13 eine erneute Beschichtung (erneute Lackierung) durch (in S382). Bei der erneuten Beschichtung steuert die Bestimmungseinheit F13 auch das Lackiersystem 40, um den zu lackierenden Bereich, in dem die Farbläufer erfasst wurden, in dem Beschichtungsschritt erneut zu lackieren (in S334). 14 zeigt z. B., wie die erste Kamera 314 ein Bild des Kofferraumdeckels aufnimmt, um den Kofferraumdeckel vom Lackierroboter 42 erneut lackieren zu lassen. Wenn die erneute Lackierung abgeschlossen ist, führt die Bestimmungseinheit F13 erneut eine Nachlackierungsüberprüfung durch (in S35).
  • Es sollte beachtet werden, dass in dem Fall, in dem Fremdkörper während des Lackierungsschritts erfasst wurden (wenn die Antwort in Schritt S33 JA lautet) oder wenn das Ausmaß von Farbläufern signifikant ist (wenn die Antwort in Schritt S381 JA lautet), bricht die Bestimmungseinheit F13 den Lackierungs- (Beschichtungs-) Schritt ab (in S39).
  • Die Lackierungsbearbeitung umfasst den Lackierungsbestimmungsschritt (S34 und S35). Der Lackierungsbestimmungsschritt ist ein Prozess, um den Oberflächenlackierungszustand des Objekts 100 zu bestimmen. Genauer gesagt ist der Lackierungsbestimmungsschritt ein Prozess zur Bestimmung des Oberflächenlackierungszustands des Objekts 100 auf der Grundlage des Bildes, das die Oberfläche des Objekts 100 darstellt, wie sie von der Erfassungseinheit F11 aufgenommen wird. Im Lackierungsbestimmungsschritt erhält die Bestimmungseinheit F13 die Differenz zwischen dem Oberflächenlackierungszustand, der aus dem Bild abgeleitet wird, das die Oberfläche des Objekts 100 darstellt, wie sie von der Erfassungseinheit F11 erfasst wird, und den Oberflächensolllackierungszustand für das Objekt 100. Die Bestimmungseinheit F13 steuert auf der Grundlage des Ergebnisses der Lackierungsbestimmung die Betriebsbedingungen der Vielzahl von Kameras 31 und 32 des Bildaufnahmesystems 30. Das heißt, die Bestimmungseinheit F13 steuert die Betriebsbedingungen der Vielzahl von Kameras 31 und 32 des Bildaufnahmesystems 30 entsprechend dem Lackierungsfortschritt am Objekt 100. Insbesondere umfasst die Vielzahl von Kameras 31 und 32a eine oder mehr erste Kameras 31, die jeweils ein Bild erzeugen, das einen Teil der Oberfläche des Objekts 100 darstellt, und eine zweite Kamera 32, die ein Bild erzeugt, das die gesamte Oberfläche des Objekts 100 darstellt. Die Bestimmungseinheit F13 steuert die Betriebsbedingungen der einen oder mehreren ersten Kameras 31 auf der Grundlage des Ergebnisses des Lackierungsbestimmungsschritts. Darüber hinaus steuert die Bestimmungseinheit F13 auch die Betriebsbedingungen der einen oder der mehreren ersten Kameras 31 auf der Grundlage des Bildes, das durch die zweite Kamera 32 aufgenommen wird, und des Ergebnisses des Lackieru ngsbesti m m u ngsschritts.
  • In dieser Ausführungsform steuert die Bestimmungseinheit F13 die Vielzahl von Kameras 31 und 32 des Bildaufnahmesystems 30, um das ganze Objekt 100 zu lackieren. Handelt es sich bei dem Objekt 100 in diesem Fall um ein Fahrzeug, wie z. B. ein Automobil, weist das Objekt 100 eine zu große Größe auf und es gibt zu viele Lackierungszustände, die zu überwachen sind (wie beispielsweise Beschichtung, Farbläuferbildung, Trocknung und Fremdkörperabscheidung), um es als Ganzes mit einer einzigen Kamera aufzunehmen zu können. Das Inspektionssystem 1 gemäß dieser Ausführungsform veranlasst jedoch die ersten Kameras (Schmalwinkelkameras) 31, nur einen lokalen Bereich des zu lackierenden Objekts 100 mit einer Lackierungsgrenzfläche mit einer zweiten Kamera (Vogelperspektivenkamera) 32 zur Aufnahme des Lackierungszustands des gesamten Objekts 100 aufzunehmen. Dadurch kann das Inspektionssystem 1 gemäß dieser Ausführungsform den Lackierzustand des Objekts 100 erfassen, ohne den Lackierzustand irgendeines Teils des Objekts 100 auszulassen.
  • (Texturbestimmungsschritt)
  • Der Texturbestimmungsschritt ist ein Prozess, um die Oberflächentextur des Objekts 100 zu erfassen. Der Texturbestimmungsschritt ist ein Prozess zum Bestimmen der Oberflächenbeschaffenheit des Objekts 100 auf der Grundlage von Leuchtdichteschwankungsinformationen zwischen mehreren Serienbildern, die erfasst werden, indem die Bilder der Oberfläche des Objekts 100 aus mehreren unterschiedlichen Positionen L1-L3 aufgenommen werden (siehe 16). In dieser Ausführungsform sind die Leuchtdichteschwankungsinformationen durch Merkmalsgrößenvektoren definiert (umfassend einen räumlichen Merkmalsgrößenvektor und einen zeitlichen Merkmalsgrößenvektor).
  • Im Nachfolgenden wird der Vektorbestimmungsschritt mit Bezug auf das Flussdiagramm der 15 und 16 beschrieben. 16 zeigt die relative Position der zweiten Kamera 32 mit Bezug auf das Objekt 100. Alternativ kann die zweite Kamera 32 durch die ersten Kameras 31 ersetzt werden.
  • Zunächst veranlasst die Bestimmungseinheit F13 die Erfassungseinheit F11, eine Vielzahl von Serienbildern aufzunehmen, die erhalten wurden, indem Bilder der Oberfläche des Objekts 100 aus vielen verschiedenen Positionen L1-L3 aufgenommen wurden (siehe 16) (in S41). Wenigstens zwei der Vielzahl von Serienbildern werden erhalten, indem Bilder der Oberfläche des Objekts 100 aufgenommen werden, indem die Position der gleichen Kamera 32 verändert wird. Genauer gesagt werden die mehreren Serienbilder erhalten, indem die Kamera 32 veranlasst wird, Bilder der Oberfläche des Objekts 100 aus mehreren verschiedenen Positionen L1, L2, L3, ..., wie in 16 gezeigt, aufzunehmen. Beispielsweise können die Positionen L1, L2, L3, ... so angeordnet sein, dass sie das Objekt 100 umgeben, und können auf einem Kreis angeordnet sein, der um das Objekt 100 zentriert ist. Alternativ können die mehreren Serienbilder auch von mehreren Kameras aufgenommen werden, die an diesen mehreren unterschiedlichen Positionen L1, L2, L3, ... aufgestellt sind. In der nachfolgenden Beschreibung werden lediglich zwei der mehreren Serienbilder (im Nachfolgenden als „erstes Serienbild“ und „zweites Serienbild“) beschrieben. Es sollte beachtet werden, dass das erste Serienbild vor dem zweiten Serienbild aufgenommen wird.
  • Als Nächstes berechnet die Bestimmungseinheit F13 die Differenz im Leuchtdichtewert zwischen den Pixeln (d. h., sie berechnet einen räumlichen Merkmalsgrößenvektor) (in S42). Die Bestimmungseinheit 13 extrahiert die Leuchtdichteinformationen aus den Serienbildern. Die Leuchtdichteinformationen sind die Differenz zwischen den Leuchtdichtewerten (und den Pixelwerten), die von einer Vielzahl von Pixeln der Serienbilder erhalten werden. Die Differenz zwischen den Leuchtdichtewerten ist die Differenz zwischen dem Leuchtdichtewert eines ersten Bereichs, der eines oder mehrere der Vielzahl von Pixel der Serienbilder enthält, und dem Leuchtdichtewert eines zweiten Bereichs, der an den ersten Bereich angrenzt und ebenfalls eines oder mehrere der Vielzahl von Pixeln enthält. Zum Beispiel kann der erste Bereich ein Bereich sein, der aus m × n Pixeln besteht, wobei m und n jeweils eine ganze Zahl gleich oder größer als 1 sind. In dieser Ausführungsform besteht der erste Bereich aus 1 × 1 Pixel (d. h. einem einzelnen Pixel) Das mittlere Pixel des ersten Bereichs wird im Nachfolgenden als ein „erstes Pixel (Referenzpixel)“ bezeichnet. In diesem Fall ist der erste Bereich der breiteste Bereich in dem Serienbild (d. h., ein Bild, das aus einer Vielzahl von Pixeln besteht). In diesem Beispiel besteht der erste Bereich aus dem ersten Pixel, und somit ist das erste Pixel ein Pixel mit dem höchsten Leuchtdichtewert unter der Vielzahl von Leuchtdichtewerten der Serienbilder. Andererseits kann der zweite Bereich ein Bereich sein, der den ersten Bereich umgibt. Zum Beispiel kann der zweite Bereich ein Bereich sein, der aus m × n Pixeln besteht, die um den ersten Bereich zentriert angeordnet sind, wobei m und n jeweils eine ganze Zahl gleich oder größer als 3 sind. In dieser Ausführungsform besteht der zweite Bereich aus allen Pixeln des Serienbildes, mit Ausnahme des ersten Pixels. Das heißt, die Bestimmungseinheit F13 berechnet die Differenz zwischen dem Leuchtdichtewert des ersten Pixels und dem Leuchtdichtewert eines jeden Pixels für das Serienbild und ersetzt den Leuchtdichtewert eines jeden Pixels durch den Differenzwert. Auf diese Weise erhält die Bestimmungseinheit F13 einen Merkmalsgrößenvektor (räumlichen Merkmalsgrößenvektor), der sich aus dem Leuchtdichtewert des ersten Pixels und den ersetzten Leuchtdichtewerten (Differenzwerten) der Vielzahl von Pixeln des Serienbildes zusammensetzt. Es sollte beachtet werden, dass das erste Pixel nicht unbedingt ein Pixel mit dem größten Leuchtdichtewert sein muss, sondern auch ein Pixel mit dem kleinsten Leuchtdichtewert, ein Pixel, dessen Leuchtdichtewert ein Mittelwert des Bildes ist, oder ein Pixel, das sich in der Mitte des Bildes befindet, sein kann.
  • Als Nächstes berechnet die Bestimmungseinheit F13 die Differenz des Leuchtdichtewerts zwischen den Einzelbildern (als zeitlichen Merkmalsgrößenvektor) (in S42). Insbesondere berechnet die Bestimmungseinheit F13 die Differenz zwischen dem Leuchtdichtewert des ersten Bereichs von Interesse, der eines oder mehrere der Vielzahl von Pixeln des ersten Serienbildes enthält, und des Leuchtdichtewerts eines zweiten Bereichs von Interesse, der dem ersten Bereich von Interesse entspricht, unter der Vielzahl von Pixeln eines zweiten Serienbildes. Das heißt, der erste Bereich von Interesse und der zweite Bereich von Interesse werden so gewählt, dass sie den gleichen Abschnitt der Oberfläche des Objekts 100 darstellen. Beispielsweise kann der erste Bereich von Interesse ein Bereich sein, der kleiner als das erste Serienbild ist. Der erste Bereich von Interesse kann ein Bereich sein, der aus m × n Pixeln besteht, wobei m und n jeweils eine ganze Zahl von gleich oder größer als 1 sind. Das mittlere Pixel des ersten Bereichs von Interesse kann ein Pixel mit dem höchsten Leuchtdichtewert, ein Pixel mit dem kleinsten Leuchtdichtewert, oder ein Pixel, dessen Leuchtdichtewert ein Mittelwert des Bildes ist, sein. In dieser Ausführungsform ist das mittlere Pixel des ersten Bereichs von Interesse ein Pixel, dessen Leuchtdichtewert ein Mittelwert des Bildes ist. Der zweite Bereich von Interesse ist ein Bereich mit der gleichen Größe wie der erste Bereich von Interesse (d. h. ein Bereich, der aus m × n Pixeln besteht). Das mittlere Pixel des zweiten Bereichs von Interesse ist ein Pixel, das den kleinsten Unterschied im Leuchtdichtewert zum mittleren Pixel des ersten Bereichs von Interesse aufweist und in geeigneter Weise den gleichen Leuchtdichtewert wie dieses hat. Anschließend berechnet die Bestimmungseinheit F13 die Differenz zwischen den entsprechenden Leuchtdichtewerten des ersten Serienbildes (erster Bereich von Interesse) und des zweiten Serienbildes (zweiter Bereich von Interesse) und ersetzt den Leuchtdichtewert des zweiten Serienbildes (zweiter Bereich von Interesse) mit dem Differenzwert. Das heißt, die Bestimmungseinheit F13 berechnet die Differenz zwischen dem Leuchtdichtewert des Pixels, das sich im ersten Bereich von Interesse des ersten Serienbildes befindet, und dem Leuchtdichtewert des Pixels, das sich im zweiten Bereich von Interesse des zweiten Serienbildes befindet. Auf diese Weise werden die Differenzwerte zwischen den Leuchtdichtewerten für m × n Pixel erhalten. Somit erhält die Bestimmungseinheit F13 einen Merkmalsgrößenvektor (d. h. einen zeitlichen Merkmalsgrößenvektor), der als Komponenten den Leuchtdichtewert des mittleren Pixels des ersten Bereichs von Interesse und die ersetzten Pixelwerte (Differenzwerte) des zweiten Serienbildes enthält.
  • Schließlich berechnet die Bestimmungseinheit F13 die Textur (Texturbeschaffenheit) (in S44). In dieser Ausführungsform ist die Textur als eine Kombination des räumlichen Merkmalsgrößenvektors und des zeitlichen Merkmalsgrößenvektors gegeben. Mit anderen Worten wird gemäß dieser Ausführungsform die Oberflächentextur des Objekts 100 als ein numerischer Wert in der Form einer Kombination aus dem räumlichen Merkmalsgrößenvektor und dem zeitlichen Merkmalsgrößenvektor angegeben. Anschließend kann die Bestimmungseinheit F13 auf der Grundlage der numerischen Werte bestimmen, ob die Textur der Solltextur genügt oder nicht. Beispielsweise kann der Bestimmungseinheit F13 anhand der numerischen Werte bestimmen, ob die Textur der Solltextur entspricht oder nicht, indem sie überprüft, ob die Größe des Vektors, der die Textur anzeigt, größer als ein Schwellenwert ist. Wenn die Textur den Sollwert erfüllt, kann der Bestimmungseinheit F13 bestimmen, dass das Ergebnis des Texturtests GO sein sollte. Andererseits kann die Bestimmungseinheit F13 in dem Fall, in dem festgestellt wird, dass die Textur nicht dem Sollwert entspricht, bestimmen, dass das Objekt 100 entweder neu lackiert werden sollte oder das Ergebnis des Texturtest NO-GO sein sollte.
  • Es zeigt sich, dass gemäß dieser Ausführungsform Schwankungen, die durch die relative Verschiebung zwischen der Kamera 32 und dem Objekt 100 erzeugt werden, im Leuchtdichtewert entlang der räumlichen Achse und der Zeitachse berechnet und zusammen integriert werden. Die Schwankungen im Leuchtdichtewert entlang der räumlichen Achse (d. h., die räumliche Schwankung) wird als Differenz zwischen dem Leuchtdichtewert des Referenzpixels und dem Leuchtdichtewert eines benachbarten Pixels angegeben. Beispiele für die Referenzpixel sind das hellste Pixel, das dunkelste Pixel, ein Pixel mit durchschnittlicher Helligkeit und ein Pixel in der Mitte des Bildes. Die Schwankung des Leuchtdichtewertes entlang der zeitlichen Achse (zeitliche Schwankung) wird als Differenz zwischen einem Differenzeinzelbild und einem benachbarten Einzelbild angegeben. Somit kann gemäß dieser Ausführungsform die Textur (d. h., eine menschliche Berührungsempfindlichkeit über den Oberflächenzustand) der Oberfläche (insbesondere einer lackierten Oberfläche) des Objekts 100 gemessen und als numerischer Wert dargestellt werden.
  • Zusammenfassung
  • Das zuvor beschriebene Inspektionssystem 1 umfasst eine Erfassungseinheit F11 und eine Bestimmungseinheit F13. Die Erfassungseinheit F11 erfasst ein Bild, das die Oberfläche des Objekts 100 darstellt. Die Bestimmungseinheit F13 führt einen Farbbestimmungsschritt durch. Der Farbbestimmungsschritt wird durchgeführt, um eine Farbe der Oberfläche des Objekts 100 auf der Grundlage einer Vielzahl von Reflexionsbedingungen zu bestimmen. Die Vielzahl von Reflexionsbedingungen werden aus dem Bild erhalten, das die Oberfläche des objekts 100 so darstellt, wie es durch die Erfassungseinheit F11 erfasst wird, und weist eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts 100 auf. Auf diese Weise kann das Inspektionssystem 1 die Genauigkeit der Oberflächenfarbbestimmung des Objekts 100 verbessern.
  • Mit anderen Worten führt das Inspektionssystem 1 das nachfolgende Verfahren (Inspektionsverfahren) aus. Das Inspektionsverfahren umfasst einen Erfassungsschritt und einen Bestimmungsschritt. Der Erfassungsschritt umfasst das Aufnehmen eines Bildes, das die Oberfläche eines Objekts 100 darstellt. Der Bestimmungsschritt umfasst das Durchführen des Farbbestimmungsschritts. Der Farbbestimmungsschritt wird durchgeführt, um eine Farbe der Oberfläche des Objekts 100 auf der Grundlage einer Vielzahl von Reflexionsbedingungen zu bestimmen. Die Vielzahl von Reflexionsbedingungen werden aus dem Bild erhalten, das die Oberfläche des Objekts 100 so darstellt, wie es durch die Erfassungseinheit F11 aufgenommen wird, und weist eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in entsprechenden unterschiedlichen Verhältnissen auf der Oberfläche des Objekts 100 auf. Somit verbessert dieses Inspektionsverfahren in gleicher Weise wie das Inspektionssystem 1 die Genauigkeit der Oberflächenfarbbestimmung des Objekts 100.
  • Das Inspektionsverfahren wird durchgeführt, indem ein oder mehrere Prozessoren veranlasst werden, ein Programm (Computerprogramm) auszuführen. Dieses Programm ist so konzipiert, dass der eine oder die mehreren Prozessoren das Inspektionsverfahren ausführt/ausführen. Ein solches Programm verbessert in gleicher Weise wie das Inspektionsverfahren die Genauigkeit der Oberflächenfarbbestimmung des Objekts 100. Darüber hinaus kann das Programm verteilt werden, indem es auf einem Speichermedium gespeichert wird. Das Speichermedium ist ein computerlesbares, nichtflüchtiges Speichermedium, auf dem das Programm gespeichert wird. Ein solches Speichermedium verbessert ebenso wie das Prüfverfahren die Genauigkeit der Oberflächenfarbbestimmung des Objekts 100.
  • Unter einem weiteren Gesichtspunkt umfasst das Inspektionssystem 1 ein Bilderfassungssystem 30, eine Bilderfassungseinheit F11 und eine Bestimmungseinheit F13. Das Bildaufnahmesystem 30 erzeugt ein Bild, das die Oberfläche des Objekts 100 darstellt, indem es ein Bild der Oberfläche des Objekts 100 erfasst. Die Erfassungseinheit F11 erhält das Bild, das die Oberfläche des Objekts 100 darstellt, von dem Bilderfassungssystem 30. Die Bestimmungseinheit F13 führt auf der Grundlage des Bildes, das die Oberfläche des Objekts 100 so darstellt, wie es durch die Erfassungseinheit F11 aufgenommen wurde, einen Lackierungsbestimmungsschritt zum Bestimmen eines Lackierungszustands auf der Oberfläche des Objekts 100 durch und steuert dadurch das Bildaufnahmesystem 30 auf der Grundlage eines Ergebnisses des Lackierungsbestimmungsschritts. Dieses Inspektionssystem 1 verbessert die Qualität der Oberflächenlackierung des Objekts 100.
  • Unter einem weiteren Gesichtspunkt umfasst das Inspektionssystem eine Erfassungseinheit F11 und eine Bestimmungseinheit F13. Die Erfassungseinheit F11 erfasst mehrere Serienbilder, die erhalten wurden, indem Bilder der Oberfläche des Objekts 100 von mehreren verschiedenen Positionen L1-L3 aufgenommen wurden. Die Bestimmungseinheit F13 führt einen Texturbestimmungsschritt zum Bestimmen einer Oberflächentextur des Objekts 100 auf der Grundlage von Schwankungen in den Leuchtdichteinformationen zwischen den mehreren Serienbildern durch. Gemäß diesem Aspekt wird die Genauigkeit der Oberflächentexturbestimmung des Objekts 100 noch weiter verbessert.
  • Modifikationen
  • Es sollte beachtet werden, dass die zuvor beschriebenen Ausführungsformen lediglich Beispiele der vorliegenden Erfindung darstellen und nicht als einschränkend zu erachten sind. Vielmehr können diese Ausführungsformen in Abhängigkeit von einer Designauswahl oder einem anderen Faktor leicht auf verschiedene Weise modifiziert werden, ohne vom tatsächlichen Geist und Umfang der vorliegenden Erfindung abzuweichen. Die Modifikationen der Ausführungsformen werden nacheinander aufgelistet.
  • In der zuvor beschriebenen beispielhaften Ausführungsform sind die Kameras des Bildaufnahmesystems 30 in der Lage, Licht zu erfassen, dessen Wellenlänge innerhalb eines vorbestimmten Wellenlängenbereichs fällt. Der vorbestimmte Wellenlängenbereich kann beispielsweise von 380 nm bis 780 nm reichen. Jedoch ist dies jeglichem Beispiel und sollte nicht als einschränkend erachtet werden. Alternativ können mehrere Kameras des Bildaufnahmesystems 30 Filter mit voneinander verschiedenen Übertragungsbändern aufweisen. Beispielsweise können die vier ersten Kameras 311-314 so konfiguriert sein, dass sie Lichtstrahlen mit Wellenlängen erfassen, die in voneinander verschiedene Wellenlängenbereiche fallen. Solche Lichtstrahlen mit Wellenlängen, die unter voneinander verschiedenen Wellenlängenbereiche fallen, können einen Lichtstrahl mit einer Wellenlänge im Bereich von 380 nm bis 480 nm (d. h., einen blauen Strahl), einen Lichtstrahl mit einer Wellenlänge im Bereich von 480 nm bis 580 nm (d. h., einen grünen Strahl), einen Lichtstrahl mit einer Wellenlänge im Bereich von 580 nm bis 680 nm (d. h., einen gelben Strahl) und einen Lichtstrahl mit einer Wellenlänge im Bereich von 680 nm bis 780 nm (d. h., einen roten Strahl), wie in 17 gezeigt, umfassen. Die Erfassung von Lichtstrahlen mit Wellenlängen, die in voneinander unterschiedliche Wellenlängenbereiche fallen, mit der Vielzahl von Kameras 31 ermöglicht auf diese Weise eine genauere Bestimmung der Farbe des Objekts 100. Insbesondere, in dem in 17 dargestellten Beispiel ist jeder der vier Wellenlängenbereiche mit einer Schrittweite von 10 nm in neun Bänder unterteilt, sodass der Wellenlängenbereich von 380 nm bis 780 nm in 36 Bänder unterteilt erfasst wird. Dies ermöglicht eine genauere Bestimmung der Farbe des Objekts 100 verglichen mit einer Dreibandkonfiguration, die relativ häufig verwendet wird. Optional kann der gleiche Vorteil dadurch erreicht, dass eine einzige Kamera mehrere Filter mit voneinander verschiedenen Übertragungsbändern verwendet.
  • Gemäß einer Modifikation kann die Wellenlänge des vom Beleuchtungssystem 20 abgestrahlten Lichts variabel sein. Dies kann entweder durch die Verwendung mehrerer Lichtquellen, die Lichtstrahlen in mehreren verschiedenen Farben aussenden, oder durch die Verwendung mehrerer Farbfilter erreicht werden. Kurz gesagt, kann in diesem Inspektionssystem 1 wenigstens eine der Wellenlängen des vom Beleuchtungssystem 20 abgestrahlten Lichts oder die Wellenlänge des vom Bilderfassungssystem 3 erfassten Lichts variabel sein.
  • In der zuvor beschriebenen beispielhaften Ausführungsform werden die mehreren Teilbilder P31-P34 durch mehrere Kameras 31 mit gegenseitig verschiedenen Bildaufnahmerichtungen mit Bezug auf das Objekt 100 erzeugt. Jedoch ist dies lediglich ein Beispiel und sollte nicht als einschränkend erachtet werden. Alternativ können auch mehrere Teilbilder P31-P34 erhalten werden, indem Bilder der Oberfläche des Objekts 100 aufgenommen werden, indem die Position der gleichen Kamera verändert wird.
  • Darüber hinaus liegen in der zuvor beschriebenen beispielhaften Ausführungsform die mehreren Reflexionsbedingungen mit der spiegelnden Reflexionskomponente und der diffusen Reflexionskomponente in zueinander verschiedenen Verhältnissen auf der Oberfläche des Objekts 100 in Form von Bildern vor. Dies ist jedoch lediglich ein Beispiel und sollte nicht als einschränkend erachtet werden. Alternativ können die Reflexionsbedingungen auch in Form von Histogrammen oder in jeder anderen Form vorliegen. Das heißt, die Reflexionsbedingungen an der Oberfläche des Objekts 100 müssen nicht in Form von Bildern angegeben werden, sondern können auch in einer Form angegeben werden, die eine Lackierbestimmung gemäß den Reflexionsbedingungen ermöglicht.
  • Gemäß einer Modifikation muss der Einstellschritt nicht durchgeführt werden. Wenn der Einstellschritt nicht durchgeführt wird, kann der Farbbestimmungsschritt mit den Probendaten durchgeführt werden, die für jedes der von den mehreren Kameras 31 erzeugten Bilder bereitgestellt werden. Auf diese Weise können die mehreren Kameras 31 den Farbbestimmungsschritt auf individueller Basis in mehreren verschiedenen Oberflächenbereichen des Objekts 100 durchführen. Es sollte beachtet werden, dass in diesem Fall die Bilder zum Zeitpunkt des Farbbestimmungsschritts nicht zusammen synthetisiert werden.
  • Ferner steuert gemäß der zuvor beschriebenen beispielhaften Ausführungsform die Bestimmungseinheit F13 während dem erneuten Lackieren das Lackierungssystem 40 auf der Grundlage der Differenz zwischen der Farbe, die von dem ersten synthetisierten Bild erhalten wird, und der Sollfarbe für das erste synthetisierte Bild und der Differenz zwischen der Farbe, die von dem zweiten synthetisierten Bild erhalten wird, und der Sollfarbe für das zweite synthetisierte Bild. Jedoch ist dies lediglich ein Beispiel und ist nicht als einschränkend zu erachten. Alternativ kann die Bestimmungseinheit F13 das Lackiersystem 40 unter Verwendung von erlernten Modellen (Farbsteuermodelle) steuern. Wie hierin verwendet, beziehen sich die „Farbsteuerungsmodelle“ auf erlernte Modelle, in denen die Beziehung einer Kombination einer noch zu modifizierenden Farbe und einer modifizierten Farbe und den Einzelheiten der Steuerung für das Lackiersystem 40 gelernt wurde. In diesem Fall speichert die Speichereinheit 12 die Farbsteuermodelle. Die Farbsteuermodelle werden erzeugt, indem ein künstliches Intelligenzprogramm (Algorithmus) die Beziehung zwischen einer Kombination einer noch zu modifizierenden Farbe und einer modifizierten Farbe und den Einzelheiten der Steuerung für das Lackiersystem 40 lernt. Dabei wird ein Lerndatensatz verwendet, der die Beziehung zwischen der Kombination der noch zu modifizierenden Farbe und der modifizierten Farbe und den Einzelheiten der Steuerung für das Lackiersystem 40 darstellt. Das künstliche Intelligenzprogramm ist ein maschinelles Lernmodell und kann ein neuronales Netz sein, bei dem es sich z. B. um eine Art hierarchisches Modell handelt. Das heißt, das Farbsteuermodell kann erzeugt werden, indem entweder die Verarbeitungseinheit 13 des Inspektionssystems 1 oder ein externes System verwendet wird. In dem Inspektionssystem 1 kann die Verarbeitungseinheit 13 Lerndaten für die Erzeugung der Farbsteuerungsmodelle sammeln und akkumulieren. Es zeigt sich, dass die durch die Verarbeitungseinheit 13 neue gesammelten Lerndaten zum erneuten Lernen der Farbsteuermodelle verwendet werden können, und so zur Leistungsverbesserung der Farbsteuerungsmodelle (erlernte Modelle) beitragen. Insbesondere können die Leistung der Farbsteuerungsmodelle durch das erneute Lernen in einer Situation verbessert werden, in der sich das Ergebnis des Farbbestimmungsschritts nach der erneuten Lackierung wieder als NO-GO herausstellt.
  • Gemäß einer Modifikation kann die Bestimmungseinheit F13 Modelle für den Texturbestimmungsschritt verwenden. Diese Modelle können erhalten werden, indem eine Vielzahl von Lackierungsproben erstellt werden, indem mehrere Paare von GO/NO-GO-Entscheidungen hinsichtlich des Lackierens und der Texturbeschaffenheit getroffen werden und anschließend deren Beziehung modelliert wird. Das Modellieren kann z. B. durch Regressionsanalyse oder durch maschinelles Lernen erfolgen. Dies ermöglicht es der Bestimmungseinheit F13, die GO/NO-GO-Entscheidungen hinsichtlich der Lackierung auf der Grundlage der Texturbeschaffenheit zu treffen. Gemäß einer weiteren Modifikation dürfen nur die räumlichen Merkmalsgrößenvektoren verwendet werden, um die Texturbeschaffenheit zu messen, wenn die Positionsbeziehung zwischen der Kamera 32 und dem Objekt 100 festgelegt ist.
  • Gemäß einer weiteren Modifikation kann im Texturbestimmungsschritt die Leuchtdichteinformationsdifferenz zwischen den Leuchtdichtewerten sein, die von einer Vielzahl von Pixeln des Serienbildes erhalten werden. Diese Differenz kann die Differenz zwischen dem Leuchtdichtewert eines ersten Bereichs, der eines oder mehrere der Vielzahl von Pixeln enthält, und dem Leuchtdichtewert eines zweiten Bereichs, der an den ersten Bereich angrenzt und ebenfalls eines oder mehrere der Vielzahl von Pixeln enthält, sein. Alternativ kann der erste Bereich auch ein erstes Pixel aus der Vielzahl von Pixeln sein, und der zweite Bereich kann auch ein zweites Pixel aus der Vielzahl von Pixeln sein, das an das erste Pixel angrenzt. Alternativ kann der erste Bereich auch der hellste Bereich in einem Bild sein, das aus der Vielzahl von Pixeln besteht.
  • Gemäß einer noch weiteren Modifikation kann das Inspektionssystem 1 (Bestimmungssystem 10) auch durch eine Vielzahl von Computern realisiert werden. Beispielsweise können die jeweiligen Funktionen (unter anderem die Erfassungseinheit F11, die Trenneinheit F12 und die Bestimmungseinheit F13) des Inspektionssystems 1 (Bestimmungssystem 10) auf mehrere Geräte verteilt sein. Optional können wenigstens einige Funktionen des Inspektionssystems 1 (Bestimmungssystem 10) auch als Cloud-Computing realisiert werden.
  • Der Agent, der die Funktionen des Inspektionssystems 1 (Bestimmungssystem 10), wie zuvor beschrieben, durchführt, umfasst ein Computersystem. In diesem Fall kann das Computersystem als Haupthardwarekomponenten einen Prozessor und einen Speicher umfassen. Die Funktionen des Agenten, der als das Inspektionssystem 1 (Bestimmungssystem 10) gemäß der vorliegenden Erfindung dient, können durchgeführt werden, indem der Prozessor ein Programm ausführt, das im Speicher des Computersystems gespeichert ist. Das Programm kann vorab im Speicher des Computersystems gespeichert werden. Alternativ kann das Programm über eine Telekommunikationsleitung heruntergeladen oder verteilt werden, nachdem es in einem nicht-transitorischen Speichermedium, wie beispielsweise eine Speicherkarte, einer optischen Platte oder einem Festplattenlaufwerk, aufgezeichnet wurde, die jeweils von dem Computersystem gelesen werden können. Der Prozessor des Computersystems kann aus einer einzelnen oder aus mehreren elektronischen Schaltungen gebildet sein, einschließlich einer integrierten Halbleiterschaltung (IC) oder einer großen integrierten Schaltung (LSI). Optional kann für den gleichen Zweck auch ein feldprogrammierbares Gate-Array (FPGA) verwendet werden, das nach der Herstellung einer LSI programmiert wird, oder es kann ein rekonfigurierbares Logikbauelement, mit dem die Verbindungen oder Schaltungsabschnitte innerhalb einer LSI rekonfiguriert oder neu aufgebaut werden können, verwendet werden. Diese elektronischen Schaltungen können je nach Bedarf entweder zusammen auf einem einzigen Chip integriert oder auf mehrere Chips verteilt sein. Diese mehreren Chips können ohne Einschränkung entweder zusammen in einem einzigen Gerät oder auf mehrere Geräte verteilt sein.
  • Aspekte
  • Wie aus der vorstehenden Beschreibung der beispielhaften Ausführungsformen und Modifikationen ersichtlich ist, weist die vorliegende Erfindung folgende Aspekte auf. In der nachfolgenden Beschreibung werden den entsprechenden Elementen Bezugszeichen in Klammern hinzugefügt, die lediglich der Verdeutlichung der Übereinstimmung zwischen diesen Aspekten der vorliegenden Erfindung und den zuvor beschriebenen beispielhaften Ausführungsformen oder Modifikationen dienen.
  • Ein erster Aspekt betrifft ein Inspektionssystem (1), umfassend eine Erfassungseinheit (F11) und eine Bestimmungseinheit (F13). Die Erfassungseinheit (F11) erfasst ein Bild (P30-P34), das eine Oberfläche eines Objekts (100) darstellt. Die Bestimmungseinheit (F13) führt einen Farbbestimmungsschritt durch. Der Farbbestimmungsschritt wird durchgeführt, um eine Farbe der Oberfläche des Objekts (100) auf der Grundlage einer Vielzahl von Reflexionsbedingungen zu bestimmen. Die Vielzahl von Reflexionsbedingungen werden aus dem Bild (P30-P34) erhalten, das die Oberfläche des Objekts (100) so darstellt, wie es durch die Erfassungseinheit (F11) aufgenommen wird, und weist eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts (100) auf. Dieser Aspekt verbessert die Genauigkeit der Oberflächenfarbbestimmung des Objekts (100).
  • Ein zweiter Aspekt betrifft das Inspektionssystem (1) gemäß dem ersten Aspekt. Gemäß dem zweiten Aspekt umfasst das Inspektionssystem (1) ferner eine Trenneinheit (F12). Die Trenneinheit (F12) erhält auf der Grundlage des durch die Erfassungseinheit (F11) erfassten Bildes eine Vielzahl von getrennten Bildern (P10, P20), von denen jedes ein Bild (P30-P34) ist, das die Oberfläche des Objekts (100) darstellt, das jedoch die spiegelnde Reflexionskomponente und die diffuse Reflexionskomponente in jeweils unterschiedlichen Verhältnissen aufweist. Die Bestimmungseinheit (F13) bestimmt mit Hilfe des Farbbestimmungsschritts die Farbe der Oberfläche des Objekts (100) auf der Grundlage der Vielzahl von getrennten Bildern (P10, P20). Dieser Aspekt verbessert nicht nur die Genauigkeit der Oberflächenfarbbestimmung des Objekts (100), sondern auch die Effizienz des Lackierbestimmungsschritts.
  • Ein dritter Aspekt betrifft das Inspektionssystem (1) gemäß dem ersten oder zweiten Aspekt. Gemäß dem dritten Aspekt erfasst die Erfassungseinheit (F11) als Bilder, die die Oberfläche des Objekts (100) darstellen, eine Vielzahl von Teilbildern (P31-P34), die jeweils einen zugeordneten Teil der Oberfläche des Objekts (100) darstellen. Die Bestimmungseinheit (F13) bestimmt über den Farbbestimmungsschritt die Farbe der Oberfläche des Objekts (100) auf der Grundlage eines Bildes (P10, P20), das in jeder der Vielzahl von Reflexionsbedingungen die gesamte Oberfläche des Objekts (100) darstellt. Das Bild (P10, P20) wird auf der Grundlage der Vielzahl von Teilbildern erhalten. Dieser Aspekt ermöglicht die Bestimmung der Farbe der Oberfläche eines relativ großen Objekts (100).
  • Ein vierter Aspekt betrifft das Inspektionssystem (1) gemäß dem dritten Aspekt. Gemäß dem vierten Aspekt wird die Vielzahl von Teilbildern (P31-P34) durch eine Vielzahl von Kameras (31) erzeugt, die zueinander unterschiedliche Bilderfassungsrichtungen in Bezug auf das Objekt (100) aufweisen. Dieser Aspekt ermöglicht die Bestimmung der Farbe der Oberfläche eines relativ großen Objekts (100) unter Verwendung eines einfachen Aufbaus.
  • Ein fünfter Aspekt betrifft das Inspektionssystem (1) gemäß einem der ersten bis vierten Aspekte. Gemäß dem fünften Aspekt umfasst das Inspektionssystem (1) ferner ein Beleuchtungssystem (20) und ein Bildaufnahmesystem (30). Das Beleuchtungssystem (20) bestrahlt die Oberfläche des Objekts (100) mit Licht. Das Bilderfassungssystem (30) erzeugt ein Bild, das die Oberfläche des Objekts (100) darstellt, in dem sie ein Bild der Oberfläche des Objekts (100) aufnimmt, das durch das Beleuchtungssystem (20) bestrahlt wird. Die Erfassungseinheit (F11) erfasst von dem Bilderfassungssystem (30) das Bild, das die Oberfläche des Objekts (100) darstellt. Wenigstens eine Wellenlänge des vom Beleuchtungssystem (20) ausgestrahlten Lichts oder eine Wellenlänge des vom Bilderfassungssystem (30) erfassten Lichts ist veränderbar. Dieser Aspekt verbessert die Genauigkeit der Oberflächenfarbbestimmung des Objekts (100).
  • Ein sechster Aspekt betrifft das Inspektionssystem (1) gemäß einem der ersten bis fünften Aspekte. Gemäß dem sechsten Aspekt bestimmt die Bestimmungseinheit (F13) mit Hilfe des Farbbestimmungsschritts die Farbe der Oberfläche des Objekts (100) unter Verwendung von Probendaten, die Informationen über eine Sollfarbe der Oberfläche des Objekts (100) enthalten. Dieser Aspekt verbessert die Genauigkeit der Oberflächenfarbbestimmung des Objekts (100) noch weiter.
  • Ein siebenter Aspekt betrifft das Inspektionssystem (1) gemäß dem sechsten Aspekt. Gemäß dem siebenten Aspekt umfassen die Probendaten Informationen über eine Form des Objekts (100) und/oder Informationen über eine Bedingung für die Aufnahme eines Bildes des Objekts (100). Durch diesen Aspekt wird die Genauigkeit der Oberflächenfarbbestimmung des Objekts (100) noch weiter verbessert.
  • Ein achter Aspekt betrifft das Inspektionssystem (1) gemäß einem der ersten bis siebenten Aspekte. Gemäß dem achten Aspekt steuert die Bestimmungseinheit (F13) auf der Grundlage eines Ergebnisses im Farbbestimmungsschritt ein Lackiersystem (40), um die Oberfläche des Objekts (100) zu lackieren. Dieser Aspekt verbessert die Qualität der Oberflächenlackierung des Objekts (100).
  • Ein neunter Aspekt betrifft das Inspektionssystem (1) gemäß dem ersten Aspekt. Gemäß dem neunten Aspekt umfasst das Inspektionssystem (1) ferner ein Bildaufnahmesystem (30), um ein Bild zu erzeugen, das die Oberfläche des Objekts (100) darstellt, indem ein Bild der Oberfläche des Objekts (100) aufgenommen wird. Die Erfassungseinheit (F11) erhält das Bild, das die Oberfläche des Objekts (100) darstellt, von dem Bildaufnahmesystem (30). Die Bestimmungseinheit (F13) führt auf der Grundlage des Bildes, das die Oberfläche des Objekts (100) darstellt, so wie es durch die Erfassungseinheit (F11) aufgenommen wird, einen Lackierungsbestimmungsschritt durch, um einen Lackierungszustand auf der Oberfläche des Objekts (100) zu bestimmen, und steuert dabei das Bilderfassungssystem (30) auf der Grundlage eines Ergebnisses des Lackierungsbestimmungsschritts. Dieser Aspekt verbessert die Qualität der Oberflächenlackierung des Objekts (100).
  • Ein zehnter Aspekt betrifft das Inspektionssystem (1) gemäß dem neunten Aspekt. Gemäß dem zehnten Aspekt berechnet die Bestimmungseinheit (F13) mit Hilfe des Lackierungsbestimmungsschritts eine Differenz zwischen einem aktuellen Lackierungszustand auf der Oberfläche des Objekts und einem Solllackierungszustand auf der Oberfläche des Objekts (100). Der aktuelle Lackierungszustand wird aus einem Bild, das sie Oberfläche des Objekts (100) darstellt, wie es durch die Erfassungseinheit (F11) aufgenommen wird, erhalten. Dieser Aspekt verbessert die Qualität der Oberflächenlackierung des Objekts (100).
  • Ein elfter Aspekt betrifft das Inspektionssystem (1) gemäß dem neunten oder zehnten Aspekt. Gemäß dem elften Aspekt umfasst das Bildaufnahmesystem (30) mehrere Kameras (31, 32). Die Bestimmungseinheit (F13) steuert auf der Grundlage eines Ergebnisses des Lackierungsbestimmungsschritts die Betriebsbedingungen der Vielzahl von Kameras (31, 32) des Bildaufnahmesystems (30). Dieser Aspekt verbessert die Qualität der Oberflächenlackierung des Objekts (100).
  • Ein zwölfter Aspekt betrifft das Inspektionssystem (1) gemäß dem elften Aspekt. Gemäß dem zwölften Aspekt funktionieren Kameras (31, 32): eine oder mehrere erste Kameras (31), um ein Bild zu erzeugen, das einen Teil der Oberfläche des Objekts (100) darstellt; und eine zweite Kamera (32), um ein Bild zu erzeugen, das die gesamte Oberfläche des Objekts (100) darstellt. Die Bestimmungseinheit (F13) steuert auf der Grundlage eines Ergebnisses des Lackierungsbestimmungsschritts eine Betriebsbedingung der einen oder mehreren ersten Kameras (31). Dieser Aspekt verbessert die Qualität der Oberflächenlackierung des Objekts (100).
  • Ein dreizehnter Aspekt betrifft das Inspektionssystem (1) gemäß dem zwölften Aspekt. Gemäß dem dreizehnten Aspekt steuert die Bestimmungseinheit (F13) auf der Grundlage des Bildes, das durch die zweite Kamera (32) erzeugt wird, und dem Ergebnis des Lackierungsbestimmungsschritts, die Betriebsbedingung der einen oder der mehreren ersten Kameras (31). Dieser Aspekt verbessert die Qualität der Oberflächenlackierung des Objekts (100).
  • Ein vierzehnter Aspekt betrifft das Inspektionssystem (1) gemäß dem ersten Aspekt. Gemäß dem vierzehnten Aspekt erhält die Erfassungseinheit (F11) mehrere Serienbilder, in dem Bilder der Oberfläche des Objekts (100) aus mehreren verschiedenen Positionen (L1-L3) aufgenommen werden. Die Bestimmungseinheit (F13) führt einen Texturbestimmungsschritt zur Bestimmung einer Oberflächentextur des Objekts (100) auf der Grundlage von Leuchtdichteschwankungsinformationen zwischen den mehreren Serienbildern durch. Dieser Aspekt verbessert die Genauigkeit der Oberflächentexturbestimmung des Objekts (100) noch weiter.
  • Ein fünfzehnter Aspekt betrifft das Inspektionssystem (1) gemäß dem vierzehnten Aspekt. Gemäß dem fünfzehnten Aspekt werden wenigstens zwei der mehreren Serienbilder erhalten, indem Bilder der Oberfläche des Objekts (100) aufgenommen werden, in dem eine Position der gleichen Kamera verändert wird. Dieser Aspekt verbessert die Genauigkeit der Oberflächentexturbestimmung des Objekts (100) noch weiter.
  • Ein sechzehnter Aspekt betrifft das Inspektionssystem (1) gemäß dem vierzehnten oder fünfzehnten Aspekt. Gemäß dem sechzehnten Aspekt umfasst jedes der mehreren Serienbilder mehrere Pixel. Die Leuchtdichteinformationen umfassen eine Differenz zwischen den Leuchtdichtewerten, die aus den mehreren Pixeln erhalten werden. Durch diesen Aspekt wird die Genauigkeit der Oberflächentexturbestimmung des Objekts (100) noch weiter verbessert.
  • Ein siebzehnter Aspekt betrifft das Inspektionssystem (1) gemäß dem sechzehnten Aspekt. Gemäß dem siebzehnten Aspekt wird die Differenz zwischen einem Leuchtdichtewert eines ersten Bereichs, der eines oder mehrere der mehreren Pixel enthält, und einen Leuchtdichtewert eines zweiten Bereichs, der neben dem ersten Bereich liegt und ein anderes oder mehrere andere der mehreren Pixel umfasst, berechnet. Gemäß diesem Aspekt verbessert sich die Genauigkeit der Oberflächentexturbestimmung des Objekts (100) noch weiter.
  • Ein achtzehnter Aspekt betrifft das Inspektionssystem (1) gemäß dem siebzehnten Aspekt. Gemäß dem achtzehnten Aspekt ist der erste Bereich aus einem ersten Pixel aus den mehreren Pixeln gebildet, und der zweite Bereich ist durch ein neben dem ersten Pixel liegendes zweites Pixel von den mehreren Pixeln gebildet. Gemäß diesem Aspekt wird die Genauigkeit der Oberflächentexturbestimmung des Objekts (100) noch weiter verbessert.
  • Ein neunzehnter Aspekt betrifft das Inspektionssystem (1) gemäß dem siebzehnten oder achtzehnten Aspekt. Gemäß dem neunzehnten Aspekt ist der erste Bereich der hellste Bereich im Bild, das aus den mehreren Pixeln gebildet ist. Gemäß diesem Aspekt wird die Genauigkeit der Oberflächentexturbestimmung des Objekts (100) weiter verbessert.
  • Ein zwölfter Aspekt betrifft ein Inspektionsverfahren, umfassend einen Erfassungsschritt und einen Bestimmungsschritt. Der Erfassungsschritt umfasst die Erfassung eines Bildes (P30-P34), das eine Oberfläche eines Objekts (100) darstellt. Der Bestimmungsschritt umfasst das Durchführen eines Farbbestimmungsschritts. Der Farbbestimmungsschritt wird durchgeführt, um eine Farbe der Oberfläche des Objekts (100) auf der Grundlage mehrerer Reflexionsbedingungen zu bestimmen. Die mehreren Reflexionsbedingungen werden aus dem Bild (P30-P34) erhalten, das die Oberfläche des Objekts 100 so darstellt, wie es durch die Erfassungseinheit (F11) aufgenommen wird, und weist eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in jeweils verschiedenen Verhältnissen auf der Oberfläche des Objekts (100) auf. Dieser Aspekt verbessert die Genauigkeit der Oberflächenfarbbestimmung des Objekts (100). Es sollte beachtet werden, dass der zweite bis neunzehnte Aspekt, die das Inspektionssystem (1) betreffen, in der Form eines Inspektionsverfahrens gemäß diesem zwanzigsten Aspekt anwendbar sind.
  • Ein einundzwanzigster Aspekt betrifft ein Programm, das ausgebildet ist, um einen oder mehrere Prozessoren zu veranlassen, das Inspektionsverfahren des zwanzigsten Aspekts auszuführen. Gemäß diesem Aspekt verbessert sich die Genauigkeit der Oberflächenfarbbestimmung des Objekts (100).
  • Ein zweiundzwanzigster Aspekt betrifft ein computerlesbares nichtflüchtiges Speichermedium, auf dem das Programm des zweiundzwanzigsten Aspekts gespeichert ist. Dieser Aspekt verbessert die Genauigkeit der Oberflächenfarbbestimmung des Objekts (100).
  • Die vorliegende Erfindung umfasst ferner den nachfolgenden dreiundzwanzigsten bis vierunddreißigsten Aspekt.
  • Ein dreiundzwanzigster Aspekt betrifft eine Farbprüfvorrichtung. Die Farbprüfvorrichtung umfasst eine Kamera, deren Filter, der Licht, das in einem bestimmten Wellenlängenbereich fällt, durchlässt, austauschbar ist, und führt eine Farbprüfung an einem Aufnahmeobjekt unter Verwendung eines von der Kamera aufgenommenen Bildes durch.
  • Ein vierundzwanzigster Aspekt betrifft die Farbprüfvorrichtung gemäß dem dreiundzwanzigsten Aspekt. Gemäß dem vierundzwanzigsten Aspekt umfasst die Farbprüfvorrichtung mehrere Kameras, erstellt ein synthetisches Bild, in dem es die von den mehreren Kameras aufgenommenen Bilder zusammensetzt, und berechnet eine Bildaufnahmebedingung auf der Grundlage des synthetischen Bildes und gibt dieses aus.
  • Ein fünfundzwanzigster Aspekt betrifft die Farbprüfvorrichtung gemäß dem vierundzwanzigsten Aspekt. Gemäß dem fünfundzwanzigsten Aspekt weisen die Filter, die für die mehreren Kameras vorgesehen sind, voneinander verschiedene Übertragungsbänder auf.
  • Ein sechsundzwanzigster Aspekt betrifft die Farbprüfvorrichtung gemäß dem vierundzwanzigsten oder fünfundzwanzigsten Aspekt. Gemäß dem sechsundzwanzigsten Aspekt nehmen die mehreren Kameras das Aufnahmeobjekt aus mehreren verschiedenen Richtungen auf.
  • Ein siebenundzwanzigster Aspekt betrifft die Farbprüfvorrichtung gemäß einem der vierundzwanzigsten bis sechsundzwanzigsten Aspekte. Gemäß dem siebenundzwanzigsten Aspekt steuert die Farbprüfvorrichtung auf der Grundlage des synthetischen Bildes den Sichtwinkel und das Zoomen der Kameras, um die Kontinuität der Abstufung des Aufnahmeobjekts beizubehalten.
  • Ein achtundzwanzigster Aspekt betrifft die Farbprüfvorrichtung gemäß dem siebenundzwanzigsten Aspekt. Gemäß dem achtundzwanzigsten Aspekt steuert die Farbprüfvorrichtung die Kameras auf der Grundlage von Informationen über die Form des Aufnahmeobjekts und der Beleuchtungsinformationen.
  • Ein neunundzwanzigster Aspekt betrifft die Farbprüfvorrichtung gemäß einem der dreiundzwanzigsten bis neunundzwanzigsten Aspekte. Gemäß dem neunundzwanzigsten Aspekt zeichnet die Farbprüfvorrichtung die Farbdaten als Proben auf, vergleicht die Farbe des Aufnahmeobjekts mit den Farbdaten als Proben und steuert dabei eine Lackiereinheit zum Lackieren des Aufnahmeobjekts.
  • Ein dreißigster Aspekt betrifft ein Farbprüfverfahren. Das Farbprüfverfahren umfasst: das Aufnehmen eines Aufnahmeobjekts aus mehreren verschiedenen Richtungen unter Verwendung von mehreren Kameras, deren Filter untereinander verschiedene Übertragungsbänder aufweisen; das Erstellen eines synthetischen Bildes durch Synthetisieren von Bildern, die durch die mehreren Kameras aufgenommen werden; und das Durchführen der Farbprüfung am Aufnahmeobjekt auf der Grundlage des synthetisierten Bildes.
  • Ein einunddreißigster Aspekt betrifft das Farbprüfverfahren gemäß dem dreißigsten Aspekt. Gemäß dem einunddreißigsten Aspekt umfasst das Farbprüfverfahren das Ausgeben einer Bildaufnahmebedingung auf der Grundlage des synthetischen Bildes.
  • Ein zweiunddreißigster Aspekt betrifft das Farbprüfverfahren gemäß dem dreißigsten oder einunddreißigsten Aspekt. Gemäß dem zweiunddreißigsten Aspekt umfasst das Farbprüfverfahren die Steuerung des Blickwinkels und des Zoomens der Kamera auf der Grundlage des synthetischen Bildes, um die Abstufungskontinuität des Aufnahmeobjekts zu erhalten.
  • Ein dreiunddreißigster Aspekt betrifft die Farbprüfvorrichtung gemäß dem einunddreißigsten Aspekt. Im dreiunddreißigsten Aspekt steuert die Farbprüfvorrichtung die Kameras auf der Grundlage von Informationen über die Form des Aufnahmeobjekts und der Beleuchtungsinformationen.
  • Ein vierunddreißigster Aspekt betrifft die Farbprüfvorrichtung gemäß einem der dreißigsten bis dreiunddreißigsten Aspekte. Gemäß dem vierunddreißigsten Aspekt zeichnet die Farbprüfvorrichtung Farbdaten als Proben auf, vergleicht die Farbe des Aufnahmeobjekts mit den Farbdaten als Proben, um dadurch eine Lackiereinheit zum Lackieren des Aufnahmeobjekts zu steuern.
  • Die vorliegende Erfindung umfasst ferner den fünfunddreißigsten bis siebenunddreißigsten Aspekt.
  • Ein fünfunddreißigster Aspekt ist ein System. Das System umfasst: eine Lackierinformationserfassungseinheit (d.h. eine Gruppe von Kameras) zum Erfassen von Informationen über einen Lackierungszustand zu einem bestimmten Zeitpunkt; eine Standardinformationsspeichereinheit zum Speichern von Standardinformationen, die angeben, wie der Lackierzustand zu diesem Zeitpunkt sein sollte; und eine Steuereinheit, die mit der Lackierinformationserfassungseinheit und der Standardinformationsspeichereinheit verbunden ist. Die Steuereinheit berechnet die Differenz zwischen den Informationen, die von der Lackierinformationserfassungseinheit bereitgestellt werden, und den Informationen, die von der Standardinformationsspeichereinheit bereitgestellt werden, und überträgt auf der Grundlage der Differenz einen Steuerbefehl an die Lackierinformationserfassungseinheit (d. h. eine Gruppe von Kameras).
  • Ein sechsunddreißigster Aspekt betrifft das System gemäß dem fünfunddreißigsten Aspekt. Gemäß dem sechsunddreißigsten Aspekt wird der Steuerbefehl ausgegeben, um Betriebsbedingungen (wie beispielsweise Schwenken und Zoomen) der Kameras, die in der Lackierinformationserfassungseinheit (d. h., eine Gruppe von Kameras) enthalten sind, zu ändern.
  • Ein siebenunddreißigster Aspekt betrifft das System gemäß dem sechsunddreißigsten Aspekt. Gemäß dem siebenunddreißigsten Aspekt umfasst die Lackierinformationserfassungseinheit (d. h. eine Gruppe von Kameras) eine Vogelperspektiv-Telekamera. Der Steuerbefehl wird ausgegeben, um die Betriebsbedingungen (wie Schwenken und Zoomen) der Telekamera zu ändern.
  • Die vorliegende Erfindung umfasst ferner den achtunddreißigsten bis einundvierzigsten Aspekt.
  • Ein achtunddreißigster Aspekt ist ein Bildaufnahmeverfahren. Das Bildaufnahmeverfahren umfasst die Schritte: Verschieben einer Bildaufnahmevorrichtung relativ zu einem Objekt; und Erhalten von Scwankungen in Leuchtdichtewertinformationen, die in Informationen erhalten sind, die gesammelt werden, indem Bilder des Objekts vor und nach der Verschiebung der Bildaufnahmevorrichtung aufgenommen werden.
  • Ein neununddreißigster Aspekt betrifft das Bildaufnahmeverfahren gemäß dem achtunddreißigsten Aspekt. Gemäß dem neununddreißigsten Aspekt sind die Informationen, die von der Bildaufnahmekamera vor der Verschiebung der Bildaufnahmekamera aufgenommen werden, als Bildinformationen definiert. Die Bildinformationen umfassen mehrere Pixel. Das Bildaufnahmeverfahren umfasst die Erzielung einer Variation in die Differenz zwischen den Leuchtdichtewerten der mehreren Pixel vor und nach der Verschiebung der Bildaufnahmevorrichtung.
  • Ein vierzigster Aspekt betrifft das Bildaufnahmeverfahren gemäß dem neununddreißigsten Aspekt. Gemäß dem vierzigsten Aspekt ist die Differenz eine Differenz zwischen einem Leuchtdichtewert an einem ersten Pixel der Bildinformation und einem Leuchtdichtewert in einem zweiten Pixel, das an das erste Pixel angrenzt.
  • Ein einundvierzigster Aspekt betrifft das Bildaufnahmeverfahren gemäß dem vierzigsten Aspekt. Gemäß dem einundvierzigsten Aspekt ist das erste Pixel ein Pixel, das den höchsten Leuchtdichtewert in der gesamten Bildinformation aufweist.
  • Die vorliegende Anmeldung beruht auf und beansprucht die ausländische Priorität der am 8. Dezember 2017 eingereichten vorläufigen US-Patentanmeldung Nr. 62/596247 , der am 18. Juli 2018 eingereichten vorläufigen US-Patentanmeldung Nr. 62/699935 und der am 18. Juli 2018 eingereichten vorläufigen US-Patentanmeldung Nr. 62/699942 , deren gesamte Inhalte hiermit durch Bezugnahme aufgenommen sind.
  • Bezugszeichenliste
    • 1
    Inspektionssystem
    F11
    Erfassungseinheit
    F12
    Trenneinheit
    F13
    Bestimmungseinheit
    20
    Beleuchtungssystem
    30
    Bildaufnahmesystem
    31
    Kamera (Erste Kamera)
    32
    Kamera (Zweite Kamera)
    40
    Lackiersystem
    P10
    Erstes separates Bild (separates Bild)
    P20
    Zweites separates Bild (separates Bild)
    P30
    Bild
    P30-P34
    Bild (Teilbild)
    L1-L3
    Position
    100
    Objekt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2015155892 A [0003]
    • US 62596247 [0115]
    • US 62699935 [0115]
    • US 62699942 [0115]

Claims (22)

  1. Inspektionssystem, umfassend: eine Erfassungseinheit, die so konfiguriert ist, dass sie ein Bild erfasst, das eine Oberfläche eines Objekts darstellt; und eine Bestimmungseinheit, die so konfiguriert ist, dass sie einen Farbbestimmungsschritt zum Bestimmen einer Farbe der Oberfläche des Objekts auf der Grundlage einer Vielzahl von Reflexionsbedingungen durchführt, wobei die Vielzahl von Reflexionsbedingungen aus dem Bild erhalten wird, das die Oberfläche des Objekts darstellt, wie sie von der Erfassungseinheit erfasst wird, und eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts aufweist.
  2. Inspektionssystem nach Anspruch 1, das ferner eine Trenneinheit umfasst, die so konfiguriert ist, dass sie auf der Grundlage des von der Erfassungseinheit erfassten Bildes eine Vielzahl von getrennten Bildern erhält, von denen jedes ein Bild ist, das die Oberfläche des Objekts darstellt, das jedoch die spiegelnde Reflexionskomponente und die diffuse Reflexionskomponente in jeweils unterschiedlichen Verhältnissen aufweist, wobei die Bestimmungseinheit so konfiguriert ist, dass sie durch den Farbbestimmungsschritt die Farbe der Oberfläche des Objekts auf der Grundlage der Vielzahl separater Bilder bestimmt.
  3. Inspektionssystem nach Anspruch 1 oder 2, wobei die Erfassungseinheit so konfiguriert ist, dass sie als Bilder, die die Oberfläche des Objekts darstellen, mehrere Teilbilder erfasst, die jeweils einen zugeordneten Teil der Oberfläche des Objekts darstellen, und die Bestimmungseinheit so konfiguriert ist, dass sie durch den Farbbestimmungsschritt die Farbe der Oberfläche des Objekts auf der Grundlage eines Bildes bestimmt, das in jeder der mehreren Reflexionsbedingungen die gesamte Oberfläche des Objekts darstellt, wobei das Bild auf der Grundlage der mehreren Teilbilder erhalten wird.
  4. Inspektionssystem nach Anspruch 3, wobei die mehreren Teilbilder durch mehrere Kameras erzeugt werden, die untereinander unterschiedliche Bilderfassungsrichtungen in Bezug auf das Objekt aufweisen.
  5. Inspektionssystem nach einem der Ansprüche 1 bis 4, ferner umfassend: ein Beleuchtungssystem, das so konfiguriert ist, dass es die Oberfläche des Objekts mit Licht bestrahlt; und ein Bildaufnahmesystem, das so konfiguriert ist, dass es ein Bild erzeugt, das die Oberfläche des Objekts darstellt, indem es ein Bild der Oberfläche des Objekts, die von dem Beleuchtungssystem bestrahlt wird, aufnimmt, wobei die Erfassungseinheit so konfiguriert ist, dass sie von dem Bilderfassungssystem das Bild erfasst, das die Oberfläche des Objekts darstellt, und mindestens eine Wellenlänge des vom Beleuchtungssystem ausgestrahlten Lichts oder eine Wellenlänge des vom Bilderfassungssystem erfassten Lichts veränderbar ist.
  6. Inspektionssystem eines der Ansprüche 1 bis 5, wobei die Bestimmungseinheit so konfiguriert ist, dass sie durch den Farbbestimmungsschritt die Farbe der Oberfläche des Objekts unter Verwendung von Probendaten bestimmt, die Informationen über eine Sollfarbe der Oberfläche des Objekts umfassen.
  7. Inspektionssystem nach Anspruch 6, wobei die Probendaten Informationen über eine Form des Objekts und/oder Informationen über eine Bedingung für die Aufnahme eines Bildes des Objekts umfassen.
  8. Inspektionssystem nach einem der Ansprüche 1 bis 7, wobei die Bestimmungseinheit so konfiguriert ist, dass sie auf der Grundlage eines Ergebnisses im Farbbestimmungsschritt ein Lackiersystem steuert, das so konfiguriert ist, dass es die Oberfläche des Objekts lackiert.
  9. Inspektionssystem nach Anspruch 1, das ferner ein Bilderfassungssystem umfasst, das so konfiguriert ist, dass es ein Bild erzeugt, das die Oberfläche des Objekts darstellt, indem es ein Bild der Oberfläche des Objekts erfasst, wobei die Erfassungseinheit so konfiguriert ist, dass sie das Bild, das die Oberfläche des Objekts darstellt, vom Bilderfassungssystem erfasst, und die Bestimmungseinheit so konfiguriert ist, dass sie auf der Grundlage des Bildes, das die Oberfläche des Objekts so darstellt, wie sie von der Erfassungseinheit erfasst wird, einen Farbbestimmungsschritt zur Bestimmung eines Lackierzustands auf der Oberfläche des Objekts durchführt und dadurch das Bilderfassungssystem auf der Grundlage eines Ergebnisses des Farbbestimmungsschritts steuert.
  10. Inspektionssystem nach Anspruch 9, wobei die Bestimmungseinheit so konfiguriert ist, dass sie durch den Farbbestimmungsschritt eine Differenz zwischen einem aktuellen Lackierzustand auf der Oberfläche des Objekts und einem Solllackierzustand auf der Oberfläche des Objekts berechnet, wobei der aktuelle Lackierzustand aus einem Bild erhalten wird, das die Oberfläche des Objekts so darstellt, wie sie von der Erfassungseinheit erfasst wird.
  11. Inspektionssystem nach Anspruch 9 oder 10, wobei das Bildaufnahmesystem merere Kameras umfasst, und die Bestimmungseinheit so konfiguriert ist, dass sie auf der Grundlage eines Ergebnisses im Farbbestimmungsschritt die Betriebsbedingungen der mehreren Kameras des Bilderfassungssystems steuert.
  12. Inspektionssystem nach Anspruch 11, wobei die mehreren Kameras umfasst: eine oder mehrere erste Kameras, die jeweils so konfiguriert sind, dass sie ein Bild erzeugen, das einen zugeordneten Teil der Oberfläche des Objekts darstellt; und eine zweite Kamera, die so konfiguriert ist, dass sie ein Bild erzeugt, das die gesamte Oberfläche des Objekts darstellt, und die Bestimmungseinheit so konfiguriert ist, dass sie auf der Grundlage eines Ergebnisses im Farbbestimmungsschritt einen Betriebszustand der einen oder mehreren ersten Kameras steuert.
  13. Inspektionssystem nach Anspruch 12, wobei die Bestimmungseinheit so konfiguriert ist, dass sie auf der Grundlage des von der zweiten Kamera erzeugten Bildes und des Ergebnisses des Farbbestimmungsschritts den Betriebszustand der einen oder mehreren ersten Kameras steuert.
  14. Inspektionssystem nach Anspruch 1, wobei die Erfassungseinheit so konfiguriert ist, dass sie mehrere Serienbilder erfasst, indem sie die Bilder der Oberfläche des Objekts aus mehreren verschiedenen Positionen aufnimmt, und die Bestimmungseinheit so konfiguriert ist, dass sie einen Texturbestimmungsschritt zur Bestimmung einer Textur der Oberfläche des Objekts auf der Grundlage einer Änderung der Leuchtdichteinformation zwischen der Vielzahl von Serienbildern durchführt.
  15. Inspektionssystem nach Anspruch 14, wobei mindestens zwei der mehreren Serienbilder durch Aufnahme von Bildern von der Oberfläche des Objekts mit einer veränderten Position derselben Kamera erhalten werden.
  16. Inspektionssystem nach Anspruch 14 oder 15, wobei jedes der mehreren Serienbilder eine Vielzahl von Pixeln enthält, und die Leuchtdichteinformation eine Differenz zwischen den Leuchtdichtewerten enthält, die aus der Vielzahl der Pixel erhalten wird.
  17. Inspektionssystem nach Anspruch 16, wobei die Differenz zwischen einem Leuchtdichtewert eines ersten Bereichs, der eines oder mehrere der Vielzahl der Pixel enthält, und einem Leuchtdichtewert eines zweiten Bereichs, der an den ersten Bereich angrenzt und ein anderes oder mehrere der Vielzahl der Pixel enthält, berechnet wird.
  18. Inspektionssystem nach Anspruch 17, wobei der erste Bereich durch ein erstes Pixel aus der Vielzahl von Pixeln gebildet wird, und der zweite Bereich durch ein zweites Pixel aus der Vielzahl von Pixeln gebildet wird, das an das erste Pixel angrenzt.
  19. Inspektionssystem nach Anspruch 17 oder 18, wobei der erste Bereich der hellste Bereich im Bild, der aus der Vielzahl von Pixeln gebildet ist, ist.
  20. Inspektionsverfahren, das die folgenden Schritte umfasst: Erfassen eines Bildes, das eine Oberfläche eines Objekts darstellt; und Durchführen eines Farbbestimmungsschritts zum Bestimmen einer Farbe der Oberfläche des Objekts auf der Grundlage mehrerer Reflexionsbedingungen, wobei die mehreren Reflexionsbedingungen aus dem Bild erhalten wird, das die Oberfläche des Objekts darstellt, und eine spiegelnde Reflexionskomponente und eine diffuse Reflexionskomponente in jeweils unterschiedlichen Verhältnissen auf der Oberfläche des Objekts aufweist.
  21. Programm, das dafür ausgelegt ist, einen oder mehrere Prozessoren dazu zu veranlassen, das Inspektionsverfahren nach Anspruch 20 auszuführen.
  22. Computerlesbares, nichtflüchtiges Speichermedium, auf dem das Programm nach Anspruch 21 gespeichert ist.
DE112018006287.2T 2017-12-08 2018-12-07 Inspektionssystem, inspektionsverfahren, programm und speichermedium Pending DE112018006287T5 (de)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762596247P 2017-12-08 2017-12-08
US62/596,247 2017-12-08
US201862699942P 2018-07-18 2018-07-18
US201862699935P 2018-07-18 2018-07-18
US62/699,942 2018-07-18
US62/699,935 2018-07-18
PCT/JP2018/045094 WO2019112040A1 (ja) 2017-12-08 2018-12-07 検査システム、検査方法、プログラム、及び、記憶媒体

Publications (1)

Publication Number Publication Date
DE112018006287T5 true DE112018006287T5 (de) 2020-10-08

Family

ID=66749903

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018006287.2T Pending DE112018006287T5 (de) 2017-12-08 2018-12-07 Inspektionssystem, inspektionsverfahren, programm und speichermedium

Country Status (5)

Country Link
US (3) US11379968B2 (de)
JP (3) JP7285502B2 (de)
CN (2) CN111433574B (de)
DE (1) DE112018006287T5 (de)
WO (1) WO2019112040A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022214431A1 (de) * 2021-04-07 2022-10-13 Dürr Systems Ag Bahnkorrekturverfahren für eine beschichtungsanlage

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112040A1 (ja) * 2017-12-08 2019-06-13 パナソニックＩｐマネジメント株式会社 検査システム、検査方法、プログラム、及び、記憶媒体
WO2021165274A1 (en) * 2020-02-21 2021-08-26 Basf Coatings Gmbh Method for assessing a dotting of a surface
WO2023046510A1 (en) * 2021-09-22 2023-03-30 Sony Group Corporation System and method for determining a characteristic of a surface of an object, methods for training a machine-learning model and programmable hardware
CN116297463B (zh) * 2023-05-16 2023-08-01 四川省港奇电子有限公司 一种电源适配器外壳注塑成型检测方法、系统及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5072128A (en) * 1989-07-26 1991-12-10 Nikon Corporation Defect inspecting apparatus using multiple color light to detect defects
JPH0435773A (ja) 1990-05-29 1992-02-06 Honda Motor Co Ltd 自動車製造ラインにおける塗装方法
JPH0581697U (ja) * 1992-03-31 1993-11-05 アンリツ株式会社 外観検査装置
JP3211681B2 (ja) * 1996-01-18 2001-09-25 日産自動車株式会社 塗装欠陥検査装置
JPH09289605A (ja) * 1996-04-23 1997-11-04 Matsushita Electric Ind Co Ltd 撮像装置
JP3690157B2 (ja) * 1998-12-28 2005-08-31 スズキ株式会社 表面欠陥検査装置
JP2005181038A (ja) * 2003-12-18 2005-07-07 Olympus Corp 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法
JP4371883B2 (ja) 2004-03-31 2009-11-25 ダイハツ工業株式会社 検査用照明光源ユニットとこの光源ユニットを用いた表面欠陥検査装置
WO2006061999A1 (ja) * 2004-12-07 2006-06-15 Matsushita Electric Industrial Co., Ltd. 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム
JP2006279228A (ja) * 2005-03-28 2006-10-12 Fuji Xerox Co Ltd 撮像装置
JP5014003B2 (ja) * 2007-07-12 2012-08-29 キヤノン株式会社 検査装置および方法
DE502007001147D1 (de) 2007-12-07 2009-09-03 Basf Se Verfahren und Vorrichtung zur Modellierung und Simulation optischer Eigenschaften von Effektstofflacken und Bestimmung von Beleuchtungs- und Messgeometrien für Spektralphotometer
JP4719284B2 (ja) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 表面検査装置
JP2010122155A (ja) 2008-11-21 2010-06-03 Canon Chemicals Inc 板状体の欠陥検出方法及び欠陥検出装置
WO2011144964A1 (en) * 2010-05-17 2011-11-24 Ford Espana S.L. Inspection system and method of defect detection on specular surfaces
JP5760371B2 (ja) 2010-10-13 2015-08-12 富士通株式会社 塗装表面欠陥検査方法
JP2012217139A (ja) * 2011-03-30 2012-11-08 Sony Corp 画像理装置および方法、並びにプログラム
JP5900037B2 (ja) * 2012-03-08 2016-04-06 オムロン株式会社 画像処理装置およびその制御方法
JP2014240766A (ja) 2013-06-11 2014-12-25 株式会社リケン 表面検査方法および表面検査装置
KR101500375B1 (ko) * 2013-06-27 2015-03-10 현대자동차 주식회사 차체 도장 외관 검사장치
WO2015107889A1 (ja) 2014-01-14 2015-07-23 有限会社パパラボ 着色検査装置および着色検査方法
JP6086087B2 (ja) 2014-03-25 2017-03-01 マツダ株式会社 表面質感評価装置
KR101782542B1 (ko) * 2016-06-10 2017-10-30 주식회사 에이티엠 차량 도장표면 검사시스템 및 검사방법
WO2019112040A1 (ja) * 2017-12-08 2019-06-13 パナソニックＩｐマネジメント株式会社 検査システム、検査方法、プログラム、及び、記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022214431A1 (de) * 2021-04-07 2022-10-13 Dürr Systems Ag Bahnkorrekturverfahren für eine beschichtungsanlage

Also Published As

Publication number Publication date
JPWO2019112040A1 (ja) 2020-11-26
US11727554B2 (en) 2023-08-15
WO2019112040A1 (ja) 2019-06-13
CN111433574B (zh) 2023-07-25
US11379968B2 (en) 2022-07-05
JP7407408B2 (ja) 2024-01-04
JP7285502B2 (ja) 2023-06-02
CN115979424A (zh) 2023-04-18
JP2024009912A (ja) 2024-01-23
CN111433574A (zh) 2020-07-17
US20210166370A1 (en) 2021-06-03
US20220358638A1 (en) 2022-11-10
JP2023085360A (ja) 2023-06-20
US20230334644A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
DE112018006287T5 (de) Inspektionssystem, inspektionsverfahren, programm und speichermedium
DE10081029B4 (de) Bildbearbeitung zur Vorbereitung einer Texturnalyse
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE102011106050A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
EP0425595A1 (de) Verfahren und anordnung zur automatischen optischen klassifikation von pflanzen.
DE102011106072A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse
EP1610270A2 (de) Verfahren zur qualitativen Beurteilung eines Materials mit mindestens einem Erkennungsmerkmal
DE19908211A1 (de) Verfahren und Vorrichtung zum Bestimmen der Farbe einer Lichtart
DE102009033098A1 (de) Verfahren und Vorrichtung zum Ermitteln von Eigenschaften von strukturierten Oberflächen
EP3903077B1 (de) Verfahren und vorrichtung zum auffinden und anpassen von effektfarbformulierungen unter abgleich mit der visuellen wahrnehmung von textureigenschaften
DE102011002464A1 (de) Schnelles Farbverifikationssystem unter Verwendung eines digitalen Bildgebungs- und Kurvenvergleichsalgorithmus
DE102018109276A1 (de) Bildhintergrundsubtraktion für dynamische beleuchtungsszenarios
DE10233295A1 (de) Verfahren zur Qualitätskontrolle von Oberflächen
DE112013002024T5 (de) Farbsichtinspektionssystem und Verfahren zum Inspizieren eines Fahrzeugs
DE102007014475A1 (de) Bestimmung von Oberflächeneigenschaften
DE102015222393A1 (de) Messverfahren zur Bewertung von Lichtverteilungen von Kraftfahrzeugscheinwerfern
WO2015169675A1 (de) Verfahren zum segmentieren eines farbbildes sowie digitales mikroskop
DE102007014474B4 (de) Verfahren und Vorrichtung zur quantitativen Bestimmung von Oberflächeneigenschaften
DE102004021047B3 (de) Verfahren zum Vergleich eines Bildes mit mindestens einem Referenzbild
DE4128039A1 (de) Anordnung zum erfassen von niederschlag
DE102004027448A1 (de) Verfahren und Vorrichtung zur farbmetrischen Messung von Effekt- und Uni-Lacken
DE10140660A1 (de) Verfahren und Vorrichtung zur optoelektronischen Erfassung von Oberflächen
WO2024120821A1 (de) Verfahren zur fehleranalyse und inspektionssystem
DE102021130505A1 (de) Verfahren zur Bestimmung einer Beleuchtungsfarbe, Bildverarbeitungsvorrichtung und Aufnahmesystem