DE102015217173A1 - Calibration system and inspection system - Google Patents
Calibration system and inspection system Download PDFInfo
- Publication number
- DE102015217173A1 DE102015217173A1 DE102015217173.6A DE102015217173A DE102015217173A1 DE 102015217173 A1 DE102015217173 A1 DE 102015217173A1 DE 102015217173 A DE102015217173 A DE 102015217173A DE 102015217173 A1 DE102015217173 A1 DE 102015217173A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- projector
- camera image
- light source
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8835—Adjustable illumination, e.g. software adjustable screen
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
In einem Kalibriersystem (12) für eine optische Inspektionsanlage (2) mit Lichtquelle (4), Streukörper (6), Inspektionsraum für ein Versuchsobjekt (8), und Kamera (10), die ein IST-Kamerabild (24) des beleuchteten Versuchsobjekts (8) erzeugt, ist die Lichtquelle (4) ein Projektor oder Lichtquelle (4) und Streukörper (6) sind zusammen ein Display, und das Kalibriersystem (12) enthält einen Projektoranschluss (14) für ein Projektorbildes (20), einen Kameraanschluss (16) für ein IST-Kamerabild (24), und eine Kalibriereinheit (18) zur Ermittlung des Projektorbildes (20) in einem Kalibrierbetrieb derart, dass das IST-Kamerabild (24) dem SOLL-Kamerabild (26) entspricht.
Eine oben genannte Inspektionsanlage (2) enthält ein erfindungsgemäßes Kalibriersystem (12).In a calibration system (12) for an optical inspection system (2) with a light source (4), scattering body (6), inspection space for a test object (8), and camera (10) which has an actual camera image (24) of the illuminated test object ( 8), the light source (4) is a projector or light source (4) and diffusers (6) together form a display, and the calibration system (12) includes a projector port (14) for a projector image (20), a camera port (16 ) for an actual camera image (24), and a calibration unit (18) for determining the projector image (20) in a calibration operation such that the actual camera image (24) corresponds to the target camera image (26).
An above-mentioned inspection system (2) contains a calibration system (12) according to the invention.
Description
Stand der TechnikState of the art
Die Erfindung betrifft ein Kalibriersystem für eine optische Inspektionsanlage sowie eine optische Inspektionsanlage. The invention relates to a calibration system for an optical inspection system and an optical inspection system.
Bei der automatischen optischen Inspektion (AOI) in der Fertigung müssen viele unterschiedliche Fehlerbilder erkannt werden. Dazu ist es oft notwendig, dieselbe Ansicht eines Bauteils mit mehreren Beleuchtungssituationen aufzunehmen. Auf dem Markt werden Beleuchtungen für unterschiedliche Beleuchtungssituationen angeboten, beispielsweise für Auflicht, Dunkelfeld und photometrische Deflektometrie. Automated optical inspection (AOI) in manufacturing requires many different types of defects to be detected. For this it is often necessary to take the same view of a component with several lighting situations. Illuminations for different lighting situations are offered on the market, for example incident light, dark field and photometric deflectometry.
Offenbarung der ErfindungDisclosure of the invention
Im Rahmen der Erfindung wird ein Kalibriersystem für eine optische Inspektionsanlage gemäß Anspruch 1 vorgeschlagen. Die optische Inspektionsanlage umfasst eine Lichtquelle, einen von der Lichtquelle beleuchtbaren Streukörper und einen Inspektionsraum für ein Versuchsobjekt. Im Inspektionsraum ist das Versuchsobjekt platzierbar, um optisch inspiziert zu werden. Das Versuchsobjekt ist im Inspektionsraum indirekt von demjenigen Licht der Lichtquelle beleuchtbar, welches vom Streukörper gestreut wird. Die Inspektionsanlage enthält auch eine Kamera. Von der Kamera ist ein IST-Kamerabild des beleuchteten Versuchsobjekts erzeugbar. Die Lichtquelle ist ein Projektor. Alternativ sind Lichtquelle und Streukörper zusammen als Display ausgeführt. Das System aus Projektor und Streukörper ist dann durch einen Monitor am Ort des Streukörpers ersetzt. Dort können auch mehrere Monitore verwendet werden, die dann jeweils eine Fläche des Streukörpers, die insbesondere eben und insbesondere rechteckig ausgeführt ist, ersetzen bzw. darstellen. So können Projektoren und Streukörper durch handelsübliche Monitore beziehungsweise Displays ersetzt werden.In the context of the invention, a calibration system for an optical inspection system according to claim 1 is proposed. The optical inspection system comprises a light source, a scattering body which can be illuminated by the light source and an inspection space for a test object. In the inspection room, the test object can be placed in order to be optically inspected. The test object is indirectly illuminated in the inspection room by that light of the light source, which is scattered by the scattering body. The inspection system also includes a camera. An actual camera image of the illuminated test object can be generated by the camera. The light source is a projector. Alternatively, the light source and diffuser are designed together as a display. The system of projector and diffuser is then replaced by a monitor at the location of the scatterer. There, several monitors can be used, which then replace or represent each one surface of the scattering body, which is in particular flat and in particular rectangular. Thus projectors and scattering bodies can be replaced by commercially available monitors or displays.
Das Kalibriersystem enthält folgende Komponenten: einen Projektoranschluss zur Abgabe eines von der Lichtquelle- bzw. der Lichtquelle und dem Streukörper- als Licht auszustrahlenden Projektorbildes, einen Kameraanschluss zum Empfang des von der Kamera aufgenommenen IST-Kamerabildes und eine Kalibriereinheit zur Ermittlung des – ggf. korrigierten – Projektorbildes anhand des IST-Kamerabildes und eines SOLL-Kamerabildes in einem Kalibrierbetrieb. Die Ermittlung erfolgt dabei derart, dass das IST-Kamerabild dem SOLL-Kamerabild entspricht. "Entsprechen" kann schließt hierbei auch ein, dass das IST-Kamerabild zumindest dem SOLL-Kamerabild bis auf tolerierbare Abweichungen angenähert wird. The calibration system contains the following components: a projector connection for emitting a projector image to be emitted by the light source or the light source and the scatterer as light, a camera connection for receiving the actual camera image recorded by the camera, and a calibration unit for determining the - possibly corrected - Projector image based on the actual camera image and a target camera image in a calibration mode. The determination takes place in such a way that the actual camera image corresponds to the target camera image. "Corresponding to" can also include that the actual camera image is at least approximated to the target camera image up to tolerable deviations.
Das IST-Kamerabild enthält also ein Abbild des beleuchteten Versuchsobjekts, wobei das Versuchsobjekt mit Licht bestrahlt ist, welches ursprünglich vom Projektorbild beziehungsweise Projektor stammt, jedoch nicht direkt auf das Versuchsobjekt trifft, sondern zunächst vom Streukörper gestreut wird, um erst dann das Versuchsobjekt zu treffen. The actual camera image thus contains an image of the illuminated test object, the test object being irradiated with light which originally originated from the projector image or projector, but does not strike the test object directly, but is initially scattered by the scattering body, only then to hit the test object ,
Das SOLL-Kamerabild kann entweder tatsächlich ein vorhandenes Bild sein, aber auch als virtuelles Bild bezüglich seiner Eigenschaften, z.B. "gleichmäßige Helligkeit eines Schachbrettmusters" oder "gerade Kante eines Abbildungsbereiches" usw. vorliegen. Das SOLL-Bild entartet im letzten Fall dann zu bestimmten im IST-Bild einzuhaltenden, insbesondere mathematischen – Bedingungen.The CUSTOM camera image can either be actually an existing image, but also as a virtual image in terms of its properties, e.g. "uniform brightness of a checkerboard pattern" or "straight edge of an imaging area", etc. are present. In the latter case, the target image degenerates to certain, in particular mathematical, conditions to be observed in the actual image.
Die Erfindung beruht auf folgenden Überlegungen und Erkenntnissen:
Um die Flexibilität eines AOI-Systems zu erhöhen, sollen programmierbare Beleuchtungen verwendet werden, insbesondere handelsübliche Displays, z.B. Monitore oder Projektoren, z.B. Beamer. Damit lassen sich frei wählbare Beleuchtungssituationen erzeugen. Aufgrund verschiedener Faktoren wie Abstrahlcharakteristik und geometrische Beleuchtungsanordnung müssen diese programmierbaren Beleuchtungen radiometrisch und geometrisch kalibriert werden. Hierzu wird ein Kalibriersystem vorgeschlagen, mit welchem ein entsprechendes Kalibrierverfahren durchführbar ist, gemäß dem Bilder der Beleuchtungssituation mit einer unkalibrierten Kamera aufgenommen und ausgewertet werden.The invention is based on the following considerations and findings:
In order to increase the flexibility of an AOI system, programmable lighting should be used, in particular commercially available displays, for example monitors or projectors, eg projectors. This allows freely selectable lighting situations. Due to various factors such as radiation characteristics and geometrical illumination arrangement, these programmable illuminations must be calibrated radiometrically and geometrically. For this purpose, a calibration system is proposed with which a corresponding calibration method can be carried out according to which images of the lighting situation are recorded and evaluated with an uncalibrated camera.
Ziel der Erfindung ist es, eine flexiblere Inspektionsanlage, insbesondere einen flexibleren Streukörper, zu erreichen, der mit einfachen, kostengünstigen Elementen realisiert werden kann. Eine Möglichkeit ist die Beleuchtung des Streukörpers mit einem Projektor bzw. Beamer als Lichtquelle beziehungsweise einem Streukörper in Form eines Pyramidenstumpfes, insbesondere aus Plexiglas zu realisieren. Die optische Inspektionsanlage hat dank des Kalibriersystems damit eine höhere Flexibilität in der Parametrisierung der Beleuchtung, womit die Einsatzbreite vergrößert wird und eine kostengünstigere Lösung vorliegt. Ermöglicht wird dies durch den Einsatz des Kalibrierverfahrens, welches mit Hilfe des Kalibriersystems durchführbar ist. Das Kalibrierverfahren optimiert die funktionale Beziehung zwischen Beleuchtungsflächen (Streukörper), dem Versuchsobjekt und dem resultierenden IST-Kamerabild. Für das Kalibrierverfahren ist das Versuchsobjekt insbesondere eine Kugel, insbesondere spiegelnd ausgebildet und insbesondere aus Metall.The aim of the invention is to achieve a more flexible inspection system, in particular a more flexible diffuser, which can be realized with simple, inexpensive elements. One possibility is to realize the illumination of the scattering body with a projector or beamer as the light source or a scattering body in the form of a truncated pyramid, in particular of Plexiglas. Thanks to the calibration system, the optical inspection system thus has greater flexibility in the parameterization of the illumination, thus increasing the range of application and offering a more cost-effective solution. This is made possible by the use of the calibration procedure, which can be carried out with the help of the calibration system. The calibration procedure optimizes the functional relationship between illumination surfaces (scattering body), the test object and the resulting ACTUAL camera image. For the calibration method, the test object is, in particular, a sphere, in particular of a mirror-like design, and in particular of metal.
Gemäß der Erfindung ist es möglich, ein Projektorbild oder Displaybild so zu generieren, dass dieses, wenn es auf den Streukörper aufgestrahlt wird bzw. von diesem abgegeben wird, dazu führt, dass das von der Kamera aufgenommene IST-Kamerabild des beleuchteten Versuchsobjekts, insbesondere der spiegelnden Kalibrierkugel, einem gewünschten SOLL-Kamerabild entspricht. Damit ist es möglich, eine Vielzahl gewünschter Beleuchtungsverteilungen zu erzeugen. Wenn dann im regulären Betrieb anstatt der Kalibrierkugel ein zu untersuchendes Bauteil als Versuchsobjekt an der entsprechenden Stelle positioniert wird, kann es für die Inspektionsaufgabe optimal beleuchtet werden.According to the invention, it is possible to generate a projector image or display image in such a way that, when it is irradiated onto or emitted from the scattering body, it results in that the actual camera image of the illuminated test object, in particular the specular calibration sphere, taken by the camera corresponds to a desired target camera image. This makes it possible to produce a large number of desired illumination distributions. If, during normal operation, a component to be examined is positioned at the corresponding location as a test object instead of the calibration sphere, it can be optimally illuminated for the inspection task.
Das erfindungsgemäße Kalibriersystem und das mit ihm ausführbare Verfahren führt im Vergleich zum Stand der Technik zu einem AOI-System mit höherer Flexibilität in der Parametrisierung der Beleuchtung. Damit wird die Einsatzbreite des AOI-Systems vergrößert und es liegt eine kostengünstigere Lösung vor, da handelsübliche Projektoren, und zur Kalibrierung handelsübliche Versuchsobjekte, insbesondere Kugeln, und Kameras eingesetzt werden können.The calibration system according to the invention and the method that can be carried out with it result in comparison to the prior art to an AOI system with greater flexibility in the parametrization of lighting. Thus, the range of application of the AOI system is increased and there is a more cost-effective solution because commercially available projectors, and for calibration commercial test objects, especially balls, and cameras can be used.
In einer bevorzugten Ausführungsform ist die Kalibriereinheit zur, insbesondere iterativen, Ermittlung des Projektorbildes ausgehend von einem Startbild ausgebildet, wobei das Startbild ein homogen helles einfarbiges Bild oder ein Muster, insbesondere ein Schachbrettmuster enthält. Ziel ist es dabei, ausgehend vom Startbild durch Veränderung des Projektorbildes, also die o.g. Ermittlung eines korrigierten Projektorbildes, zu einem IST-Kamerabild in Form des SOLL-Kamerabildes zu gelangen, dass dann auch ein homogen helles einfarbiges Abbild oder ein Abbild in Form des Musters, z.B. eines Schachbrettmusters enthält. Das Abbild füllt dann das Abbild des Versuchsobjekts zumindest teilweise aus. Anhand eines homogen einfarbigen und hellen Musters oder Schachbrettmusters lassen sich optische Abbildungen besonders gut kalibrieren. Das Schachbrettmuster eignet sich in der Regel sehr gut, aber grundsätzlich kann ein beliebiges Muster verwendet werden also auch z.B. weitere geometrische Formen wie Rauten oder sonstige beliebige Muster.In a preferred embodiment, the calibration unit is designed for, in particular iterative, determination of the projector image starting from a start image, wherein the start image contains a homogeneously bright single-color image or a pattern, in particular a checkerboard pattern. The goal here is, starting from the start image by changing the projector image, so the o.g. Determining a corrected projector image to get to an actual camera image in the form of the target camera image that then also a homogeneous bright single-color image or an image in the form of the pattern, e.g. a checkerboard pattern contains. The image then at least partially fills out the image of the test object. Using a homogeneous monochrome and bright pattern or checkerboard pattern, optical images can be calibrated particularly well. The checkerboard pattern is usually very good, but in principle any pattern can be used, including e.g. other geometric shapes such as diamonds or any other pattern.
In einer bevorzugten Ausführungsform enthält die Kalibriereinheit mindestens zwei, hintereinander in Reihe geschaltete lineare Abbildungseinheiten. Jede der Abbildungseinheiten enthält eine – insbesondere inverse – Abbildungseigenschaft eines einzelnen linearen physikalischen Abbildungsphänomens, welches die Abbildung des Projektorbildes über die Lichtquelle, den Streukörper, das Versuchsobjekt und die Kamera auf das IST- bzw. in theoretischer Form auf das SOLL-Kamerabild enthält. In a preferred embodiment, the calibration unit contains at least two linear imaging units connected in series one behind the other. Each of the imaging units contains a - in particular inverse - imaging property of a single linear physical imaging phenomenon, which contains the image of the projector image via the light source, the scatterer, the test object and the camera on the ACTUAL or in theoretical form on the target camera image.
Diese Variante der Erfindung beruht auf folgenden Überlegungen und Erkenntnissen: Die Variante beschreibt einen Lösungsweg, welcher die Abbildung des Projektorbildes auf das IST-Kamerabild in mehrere lineare Abbildungen aufspaltet, die jeweils ein einzelnes physikalisches Phänomen beschreiben. Diese Einzelabbildungen lassen sich experimentell gut bestimmen. Bei einem derartigen Lösungsweg kann die sogenannte „point spread function“ vernachlässigt werden. Dadurch ist das zu lösende Problem, nämlich das IST-Kamerabild an das SOLL-Kamerabild durch Veränderung des Projektorbildes anzugleichen, gut konditioniert und die bei der Berechnung verbleibenden großen und dünn besetzten Matrizen sind invertierbar. This variant of the invention is based on the following considerations and findings: The variant describes a solution path which splits the image of the projector image onto the actual camera image into a plurality of linear images which each describe a single physical phenomenon. These individual images can be determined experimentally well. In such an approach, the so-called "point spread function" can be neglected. Thus, the problem to be solved, namely to equalize the actual camera image to the target camera image by changing the projector image, is well conditioned and the large and sparse matrices remaining in the calculation are invertible.
Diese Variante der Erfindung beruht auch auf der Erkenntnis, dass sich die mathematische Abbildung, welche beschreibt, welcher Teil der Lichtquelle, z.B. welches Pixel eines Digitalprojektors an welcher Stelle und mit welcher Helligkeit in der Kamera beobachtet wird, sich mit Hilfe einer linearen Abbildung beschreiben lassen sollte. In dieser Abbildung sind mehrere physikalische Sachverhalte enthalten. Dazu gehören die radiometrischen und geometrischen Beziehungen, sowie die point spread function, die die Unschärfe bei der Abbildung beschreibt. Die hierbei entstehende mathematische Matrix ist sehr groß, dünn besetzt und schlecht konditioniert. Ein erster untersuchter Lösungsweg versucht, über die direkte Bestimmung der Abbildung mit Hilfe von vielen gemessenen Punktantworten zu arbeiten. Dieser Lösungsweg erscheint bisher wenig erfolgversprechend. Der erfindungsgemäße Lösungsweg hingegen führt zu zufriedenstellenden Lösungen. In der Praxis hat sich gezeigt, dass handelsübliche Lichtquellen, also Beamer, Projektoren und Monitore, nicht ausreichend linear sind, weshalb im Kalibriersystem beziehungsweise dem entsprechenden Kalibrierverfahren zumindest radiometrische Korrekturen iterativ ermittelt werden. This variant of the invention is also based on the recognition that the mathematical mapping which describes which part of the light source, e.g. which pixel of a digital projector is observed at which position and with which brightness in the camera should be described by means of a linear image. This figure contains several physical facts. These include the radiometric and geometric relationships, as well as the point spread function, which describes the blur in the image. The resulting mathematical matrix is very large, sparse and poorly conditioned. A first attempted solution attempts to work through the direct determination of the mapping with the help of many measured point answers. This solution seems to be of little promise. The inventive approach, however, leads to satisfactory solutions. In practice, it has been found that commercially available light sources, that is to say beamer, projectors and monitors, are not sufficiently linear, which is why at least radiometric corrections are determined iteratively in the calibration system or the corresponding calibration method.
In einer Variante dieser Ausführungsform ist die Abbildungseinheit eine solche, die die Bildhelligkeit im IST-Kamerabild beeinflusst. Die Abbildungseinheit ist dazu ausgebildet, die Helligkeitsverteilung im Projektorbild derart zu verändern, dass Helligkeitsunterschiede zwischen IST-Kamerabild und SOLL-Kamerabild ausgeglichen werden. Das zugrunde liegende physikalische Abbildungsphänomen lässt sich wie folgt beschreiben: Ein homogen helles Projektorbild wird im IST-Kamerabild nicht mehr homogen hell dargestellt. Stattdessen erscheinen helle und dunkle Stellen im Kamerabild. Der Helligkeitsverlauf in einer Bildzeile des IST-Kamerabildes zeigt beispielsweise keinen konstanten Verlauf. Somit handelt es sich um ein inhomogenes Kamerabild. Dieses Phänomen wird als radiometrischer Verlauf bezeichnet. In a variant of this embodiment, the imaging unit is one that influences the image brightness in the actual camera image. The imaging unit is designed to change the brightness distribution in the projector image such that brightness differences between the actual camera image and the target camera image are compensated. The underlying physical imaging phenomenon can be described as follows: A homogeneously bright projector image is no longer displayed homogeneously bright in the actual camera image. Instead, light and dark spots appear in the camera image. For example, the brightness progression in a picture line of the actual camera image does not show a constant course. Thus, it is an inhomogeneous camera image. This phenomenon is called radiometric history.
Durch inverse Anpassung des Projektorbildes wird die Helligkeit an den korrespondierenden Stellen so verändert, dass sich im IST-Kamerabild die gewünschte homogene Helligkeit einstellt.By inversely adjusting the projector image, the brightness is changed at the corresponding points so that the desired homogeneous brightness is set in the actual camera image.
In einer weiteren Variante dieser Ausführungsform ist die Abbildungseinheit eine die Bildverzerrung im IST-Kamerabild beeinflussende Abbildungseinheit. Die Abbildungseinheit ist dazu ausgebildet, eine Bildposition eines Bildinhalts im Projektorbild derart zu verändern, dass Verzerrungen zwischen IST-Kamerabild und SOLL-Kamerabild ausgeglichen werden. Mit anderen Worten findet eine zur Verzerrung inverse Vorverzerrung im Projektorbild statt, dass schlussendlich das IST-Kamerabild wieder gewünscht verzerrungsfrei ist. Das zugrunde liegende physikalische Abbildungsphänomen ist hier eine geometrische Verzerrung, die im IST-Kamerabild sichtbar ist. Wenn als Start-Eingangs-, das heißt Projektorbild, beispielsweise ein Schachbrett mit geraden Linien vorgegeben wird, werden im Kamerabild gekrümmte Linien wahrgenommen. Die ursprünglich rechteckige Gestalt des Schachbretts verformt sich teilweise kissenförmig, teilweise aber auch tonnenförmig. Dieses Phänomen ist von vielen Faktoren abhängig, beispielsweise von der Form des Versuchsobjekts sowie der Leuchtflächen des Streukörpers, aber auch von der Lage des Streukörpers beziehungsweise seiner Leuchtflächen im Raum. In a further variant of this embodiment, the imaging unit is an imaging unit influencing the image distortion in the actual camera image. The imaging unit is designed to change an image position of an image content in the projector image such that distortions between the actual camera image and the target camera image are compensated. In other words, there is a distortion inverse predistortion in the projector image instead that finally the actual camera image is again desired distortion-free. The underlying physical imaging phenomenon here is a geometric distortion that is visible in the actual camera image. If a start-up, ie projector image, for example, a chess board is specified with straight lines, curved lines are perceived in the camera image. The originally rectangular shape of the chessboard deforms partly pillow-shaped, but sometimes also barrel-shaped. This phenomenon is dependent on many factors, for example on the shape of the test subject and the luminous surfaces of the scatterer, but also on the position of the scatterer or its luminous surfaces in space.
In einer weiteren Variante dieser Ausführungsform ist die Abbildungseinheit eine einen Bildinhalt im Projektorbild interpolierende und/oder extrapolierende Abbildungseinheit. Die Abbildungseinheit ist dazu ausgebildet, Bildinhalte des IST-Kamerabildes zum SOLL-Kamerabild hin zu ergänzen. Durch verschiedene parasitäre Effekte bei der Anpassung des Projektorbildes können Teile des Streukörpers nicht mehr beleuchtet sein. Im IST-Kamerabild entstehen unerwünscht unbeleuchtete Bereiche. Gemäß der vorliegenden Variante können entsprechend bisher nicht beleuchtete Bereiche interpoliert bzw. extrapoliert werden, sodass schlussendlich ein vollständig ausgeleuchtetes IST-Kamerabild entsteht, dessen Leuchteigenschaften auch an jeder einzelnen Stelle beeinflussbar sind. Eine Interpolation findet statt bei unbeleuchteten Lücken in der Ausleuchtung, eine Extrapolation, wenn Randbereiche fehlen, d.h. die ausgeleuchtete Fläche sich über den aktuellen Rand weiter nach außen erstrecken soll. Diese Variante der Erfindung wird auch genutzt, wenn z.B. der Streukörper nicht weit genug bis zu einem gewünschten Randbereich hin beleuchtet ist. Ziel dieser Erfindungsvariante ist es also den Streukörper oder Bereiche dessen vollständig und flächendeckend bzw. lückenfrei auszuleuchten.In a further variant of this embodiment, the imaging unit is an imaging unit which interpolates and / or extrapolates an image content in the projector image. The imaging unit is designed to supplement image contents of the actual camera image to the target camera image. Due to various parasitic effects when adjusting the projector image parts of the scattering body can no longer be illuminated. In the actual camera image undesirable unlighted areas arise. According to the present variant, previously unilluminated areas can be interpolated or extrapolated, so that finally a completely illuminated actual camera image is formed whose luminous properties can also be influenced at each individual location. Interpolation takes place with unlighted gaps in the illumination, extrapolation if edge areas are missing, i. the illuminated area should extend further beyond the current edge. This variant of the invention is also used when e.g. the diffuser is not illuminated far enough to a desired edge area. The aim of this variant of the invention is therefore to illuminate the scattering body or areas thereof completely and comprehensively and without gaps.
In einer weiteren Variante dieser Ausführungsform ist die Abbildungseinheit eine einen Bildinhalt des Projektorbildes beschneidende Abbildungseinheit. Diese ist dazu ausgebildet, die Ausdehnung eines Bildinhaltes im Projektorbild auf eine derartige Fläche zu begrenzen, dass das auf den Streukörper projizierte Projektorbild lediglich eine gewünschte Teilfläche des Streukörpers beleuchtet. Dadurch wird dann auch die Ausdehnung des Bildinhaltes beleuchteter Bereiche im IST-Kamerabild auf die Ausdehnung des Bildinhaltes des SOLL-Kamerabild begrenzt.In a further variant of this embodiment, the imaging unit is an imaging unit which trims an image content of the projector image. This is designed to limit the extent of an image content in the projector image to an area such that the projector image projected onto the scattering body only illuminates a desired partial area of the scattering body. As a result, the extent of the image content of illuminated areas in the actual camera image is then limited to the extent of the image content of the desired camera image.
So kann insbesondere für die oben genannte Variante mit mehreren Projektoren, welche jeweilige Teilflächen des Streukörpers bestrahlen, eine überlappungs- und lückenfreie Beleuchtung des Streukörpers realisiert werden. So können durch parasitäre Effekt des Kalibrierverfahrens z.B. Beleuchtungsbereiche entstehen, welche einen Bereich des Streukörpers bestrahlen, dessen Bestrahlung nicht erwünscht ist. Dies trifft insbesondere für Streukörper zu, welche von mehreren unabhängigen Lichtquellen bestrahlt werden. Die Bestrahlung des Streukörpers durch eine der Lichtquellen ist dann auf einen bestimmten genau abgegrenzten Bereich zu begrenzen. Ziel dieser Erfindungsvariante ist es also den Streukörper oder Bereiche dessen nur bis zu einem gewünschten Rand hin auszuleuchten.Thus, in particular for the abovementioned variant with a plurality of projectors which irradiate respective subareas of the scattering body, an overlapping and gap-free illumination of the scattering body can be realized. Thus, by parasitic effect of the calibration procedure, e.g. Illumination areas arise which irradiate a region of the scattering body whose irradiation is not desired. This is especially true for scatterers which are irradiated by several independent light sources. The irradiation of the scattering body by one of the light sources is then limited to a certain well-defined area. The aim of this variant of the invention is therefore to illuminate the scattering body or areas thereof only up to a desired edge.
Im Rahmen der Erfindung wird auch eine Inspektionsanlage gemäß Patentanspruch 8 vorgeschlagen. Die Inspektionsanlage ist wie oben erläutert aufgebaut und enthält außerdem ein Kalibriersystem gemäß der Erfindung. Die Inspektionsanlage weist damit die Eigenschaften und Vorteile auf, die sinngemäß bereits oben im Zusammenhang mit dem Kalibriersystem beziehungsweise dem durch dieses durchgeführte Kalibrierverfahren ausführlich erläutert wurden.In the context of the invention, an inspection system according to
In einer bevorzugten Ausführungsform ist das Versuchsobjekt für den Kalibrierbetrieb ein lichtreflektierendes Versuchsobjekt. Insbesondere handelt es sich um ein lichtspiegelndes Versuchsobjekt, insbesondere eine Kugel. Derartige Versuchsobjekte eignen sich besonders gut für die entsprechenden Kalibrierschritte, da insbesondere die spiegelnde Oberfläche eine tatsächliche Wiedergabe des am Streukörper erzeugten Streulichts liefert und vor allem eine Kugel mathematisch einfach im Kalibrierverfahren berücksichtigt werden kann.In a preferred embodiment, the test object for the calibration operation is a light-reflecting test object. In particular, it is a light-reflecting test object, in particular a ball. Such experimental objects are particularly well suited for the corresponding calibration steps, since in particular the reflecting surface provides an actual reproduction of the scattered light generated at the scattering body and, above all, a sphere can be mathematically easily taken into account in the calibration procedure.
In einer weiteren Ausführungsform ist der Streukörper für Licht transmissiv ausgebildet, das heißt, das von der Lichtquelle auf den Streukörper eingestrahlte Licht durchdringt diesen, um ausschließlich indirekt, d.h. erst nach der Durchdringung gestreut zum Versuchsobjekt zu gelangen und zu dessen Beleuchtung zu dienen. Der Streukörper ist insbesondere zwischen Lichtquelle und Versuchsobjekt angeordnet. Insbesondere ist der Streukörper ein Pyramidenstumpf einer insbesondere quadratischen, insbesondere geraden Pyramide. Der Pyramidenstumpf zeichnet sich durch jeweilige ebene Teilflächen aus, welche entweder leicht durch einen Projektor beleuchtbar sind oder auch als Displays bzw. Bildschirme ausführbar sind. Insbesondere wird hierbei jede ebene Pyramidenstumpffläche einzeln von einer jeweiligen Lichtquelle, insbesondere einem jeweiligen Projektor, beleuchtet oder bildet ein jeweiliges separates Display. In a further embodiment, the scattering body is designed to be transmissive for light, that is to say that the light radiated from the light source onto the scattering body penetrates the latter in order to reach the test object scattered only indirectly, that is to say scattered, and to serve for its illumination. The scattering body is arranged in particular between the light source and the test object. In particular, the scattering body is a truncated pyramid of a particular square, in particular straight pyramid. The truncated pyramid is characterized by respective planar partial surfaces, which are either easily illuminated by a projector or as displays or screens are executable. In particular, will In this case, each flat truncated pyramid surface is individually illuminated by a respective light source, in particular a respective projector, or forms a respective separate display.
Weitere Merkmale, Wirkungen und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung sowie der beigefügten Figuren. Dabei zeigen in einer schematischen Further features, effects and advantages of the invention will become apparent from the following description of a preferred embodiment of the invention and the accompanying figures. This show in a schematic
Prinzipskizze:Schematic diagram:
Das Kalibriersystem
Im Kalibriersystem
Der Streukörper
Zur Anpassung der Helligkeit wird an denjenigen Bereichen, welche gemäß
Im Ergebnis wird im Projektorbild
Die Veränderung der Helligkeit zwischen Projektorbild
Die Verzerrung zwischen Projektorbild
Im Beispiel gemäß
In einem nächsten nicht dargestellten Kalibrierschritt wird daher durch nicht dargestellte Interpolations- und Extrapolationsvorgänge am Projektorbild
Die Lückenhaftigkeit zwischen Projektorbild
In einem nächsten Schritt wird daher anstelle eines Schachbrettmusters ein einheitlich helles Projektorbild
Im Bildinhalt des IST-Kamerabildes
Die Überblendung zwischen Projektorbild
Anschließend wird in den segmentierten Teilbereichen des Projektorbildes
Die
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015217173.6A DE102015217173A1 (en) | 2015-09-09 | 2015-09-09 | Calibration system and inspection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015217173.6A DE102015217173A1 (en) | 2015-09-09 | 2015-09-09 | Calibration system and inspection system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102015217173A1 true DE102015217173A1 (en) | 2017-03-09 |
Family
ID=58055266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102015217173.6A Withdrawn DE102015217173A1 (en) | 2015-09-09 | 2015-09-09 | Calibration system and inspection system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102015217173A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018197297A1 (en) * | 2017-04-26 | 2018-11-01 | Krones Ag | Inspection method and inspection apparatus for inspecting containers by image processing |
CN109427057A (en) * | 2017-08-16 | 2019-03-05 | 波音公司 | Foreign material, crackle and other surfaces exception are automaticly inspected |
CN111678458A (en) * | 2020-06-18 | 2020-09-18 | 东莞市小可智能设备科技有限公司 | Tin ball vision measuring device and measuring method thereof |
CN111811433A (en) * | 2020-07-15 | 2020-10-23 | 河北工业大学 | Structured light system calibration method and device based on red and blue orthogonal stripes and application |
-
2015
- 2015-09-09 DE DE102015217173.6A patent/DE102015217173A1/en not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018197297A1 (en) * | 2017-04-26 | 2018-11-01 | Krones Ag | Inspection method and inspection apparatus for inspecting containers by image processing |
CN109427057A (en) * | 2017-08-16 | 2019-03-05 | 波音公司 | Foreign material, crackle and other surfaces exception are automaticly inspected |
EP3450965A1 (en) * | 2017-08-16 | 2019-03-06 | The Boeing Company | Automated inspection of foreign materials, cracks and other surface anomalies |
US10502695B2 (en) | 2017-08-16 | 2019-12-10 | The Boeing Company | Automated inspection of foreign materials, cracks and other surface anomalies |
US10746670B2 (en) | 2017-08-16 | 2020-08-18 | The Boeing Company | Automated inspection of foreign materials, cracks and other surface anomalies |
EP4056991A1 (en) * | 2017-08-16 | 2022-09-14 | The Boeing Company | Automated inspection of foreign materials, cracks and other surface anomalies |
CN109427057B (en) * | 2017-08-16 | 2023-09-19 | 波音公司 | Automated inspection of foreign materials, cracks and other surface anomalies |
CN111678458A (en) * | 2020-06-18 | 2020-09-18 | 东莞市小可智能设备科技有限公司 | Tin ball vision measuring device and measuring method thereof |
CN111811433A (en) * | 2020-07-15 | 2020-10-23 | 河北工业大学 | Structured light system calibration method and device based on red and blue orthogonal stripes and application |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1972134B1 (en) | Calibration method and calibration system for projection apparatus | |
DE102006008840B4 (en) | Cylindrical object lighting device, surface inspection method and computer program product performed thereby | |
DE102015217173A1 (en) | Calibration system and inspection system | |
EP1784978A1 (en) | Method and device for representing a digital image on a surface which is non-trivial in terms of its geometry and photometry | |
EP3121637B1 (en) | Microscope and method for generating a combined image from a plurality of individual images of an object | |
DE102008046384B4 (en) | Optical axis inspection method and optical axis inspection device | |
WO2009121775A2 (en) | Method and illumination device for optical contrast enhancement | |
DE102019105358B4 (en) | Creation of a distance image | |
DE102017211377A1 (en) | Method and device for optical surface measurement of a measurement object | |
DE102015208080A1 (en) | Method for reflection correction of images and related devices | |
WO2020094732A1 (en) | Method and apparatus for inspecting an object surface, more particularly for inspecting the surface of a powder bed with a multiplicity of powder particles | |
DE102013108722B4 (en) | Method and device for detecting defects of a flat surface | |
EP1434434A1 (en) | Self calibration of a projection system using multiple projectors | |
EP2669622A1 (en) | Test method and test head which is suitable for this purpose | |
DE102004051607B4 (en) | Displaying digital image on projection surface e.g. of any shape or texture, by geometrically distorting digital image using information relating to projection surface | |
DE102017010683B4 (en) | Method for automatic restoration of a measured state of a projection system | |
DE102008022292B4 (en) | Device and method for shape detection and / or for determining the diffuse and / or the directional reflection component of an object | |
DE102014202679A1 (en) | Apparatus and method for generating image information from an object to be detected | |
DE102017204302B4 (en) | Device for mapping an object using shadows | |
EP3049757B1 (en) | Chassis measurement under ambient light | |
DE102008041135B4 (en) | Inspection device and method for the optical examination of object surfaces, in particular a wafer shot | |
WO2010015694A1 (en) | Inspection device and method for optical investigation of object surfaces, in particular wafer edges | |
DE102004017690B4 (en) | Apparatus and method for capturing an overall image of a surface of a semiconductor substrate | |
DE102017103660A1 (en) | PROCESS FOR OPERATING A LIGHT SOURCE FOR A CAMERA, LIGHT SOURCE, CAMERA | |
DE102015122415A1 (en) | Method for detecting a band-limiting malfunction of a camera, camera system and motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R005 | Application deemed withdrawn due to failure to request examination |