DE102004054508A1 - Camera-based object examination method, for detecting contraction e.g. in pressed part, involves arranging object and light sources, so that distribution of vector projection on object surface and defect circumference forms right angle - Google Patents

Camera-based object examination method, for detecting contraction e.g. in pressed part, involves arranging object and light sources, so that distribution of vector projection on object surface and defect circumference forms right angle Download PDF

Info

Publication number
DE102004054508A1
DE102004054508A1 DE102004054508A DE102004054508A DE102004054508A1 DE 102004054508 A1 DE102004054508 A1 DE 102004054508A1 DE 102004054508 A DE102004054508 A DE 102004054508A DE 102004054508 A DE102004054508 A DE 102004054508A DE 102004054508 A1 DE102004054508 A1 DE 102004054508A1
Authority
DE
Germany
Prior art keywords
camera
light source
vector
illumination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102004054508A
Other languages
German (de)
Inventor
Claus Dipl.-Math. Aufmuth
Klaus Dipl.-Ing. Lörcher
Christian Dr. rer. nat. Wöhler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE102004054508A priority Critical patent/DE102004054508A1/en
Publication of DE102004054508A1 publication Critical patent/DE102004054508A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

Camera-based object examination method involves illuminating a part of an object using light sources (12, 13) with known illumination vectors. Image data is recorded from the illuminated part using a camera and image processing is performed. The object and the light sources are arranged such that the distribution of the projection of the illumination vector on the object surface and the circumference of a defect on the object forms a right angle. An independent claim is also included for a device for camera-based examination of an object.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur kamera-basierten Erkennung von Einschnürungen bei Pressteilen nach den Oberbegriffen der Patentansprüche 1 und 4.The The invention relates to a method and a device for camera-based Detection of constrictions in pressed parts according to the preambles of claims 1 and 4th

Insbesondere bei der Produktion von Pressteilen aus Stahlblechen oder Aluminium blechen kommt es häufig zu Einschnürungen und somit Fehlstellen auf dem Pressteil. Um derartige Fehler zu erkennen, werden die Pressteile in der Regel in einem kostspieligen Vorgang einer Sichtprüfung durch Produktionspersonal unterzogen. Zunehmend kommen jedoch im produzierenden Gewerbe zur Einsparung von Personalkosten und zur Beschleunigung des Prüfverfahrens automatisierte kamerabasierte Prüfsysteme zum Einsatz. Ein häufig zu Oberflächenprüfzwecken angewandtes optisches Verfahren ist hierbei die Stereometrie, bei dem die zu untersuchende Oberfläche aus leicht unterschiedlichem Blickwinkel aufgenommen wird und aus der Auswertung der geringen stereoskopischen Abweichungen die Struktur der Oberfläche errechnet wird. Ein weiters kamera-basiertes Objektprüfverfahren, bei welchem zur Rekonstruktion des Profils von Strukturen auf Oberflächen eine Schattenanalyse mit einer Bildverarbeitung nach der Methode des Shape-from-Shading kombiniert wird durch Wöhler beschrieben (K. Hafezi, C. Wöhler, A general framework for three-dimensional surface reconstruction by self-consistent fusion of shading and shadow features and its application to industrial quality inspection tasks, SPIE Photonics Europe, Strasbourg, 2004). Hierbei werden mindestens zwei Bilder desselben Bereichs der Oberfläche des zu prüfenden Objekts ausgewertet, wobei die Bilder beispielsweise aus nahezu vertikaler Perspektive aufgenommen werden und die Beleuchtung aus verschiedenen Richtungen unter flachem Winkel zur Oberfläche erfolgt. Erhebungen oder Vertiefungen auf der Oberfläche zeigen so auf den Aufnahmen einen deutlichen Schattenwurf, dessen Lage mit der Lichteinstrahlung variiert. Geneigte Flächen sind durch hellere Reflektionen identifizierbar. Durch Analyse von Schattenkonturen und Umrisslinien heller Bereiche lässt sich das Höhenprofil einer Struktur auf der Oberfläche bestimmen und so beispielsweise der verlauf eines Grates rekonstruieren. Durch die Integration der Methode des Shape-from-Shading können auch flache Neigungsänderungen durch Auswertung von Helligkeitsverläufen bestimmt werden und somit eine gut mit dem Original übereinstimmende 3D-Rekonstruktion der Oberfläche erreicht werden. Nachteilig wirkt sich bei dem Verfahren jedoch der hohe Rechenaufwand aus.Especially in the production of pressed parts made of sheet steel or aluminum Sheet metal often happens to constrictions and thus defects on the pressed part. To such mistakes too recognize, the pressed parts are usually in a costly Process of a visual inspection subjected by production staff. Increasingly, however, come in the manufacturing industry to save on personnel costs and the Acceleration of the test procedure automated camera-based inspection systems for use. A common too Oberflächenprüfzwecken applied optical method here is the stereometry, in the surface to be examined is taken from slightly different angles and off the evaluation of the small stereoscopic deviations the structure the surface is calculated. A further camera-based object inspection method, in which for reconstructing the profile of structures on surfaces one Shadow analysis with image processing using the method of Shape from shading is combined by Wöhler (K. Hafezi, C. Wöhler, A general framework for three-dimensional surface reconstruction by self-consistent fusion of shading and shadow features and its application to industrial quality inspection tasks, SPIE Photonics Europe, Strasbourg, 2004). Here are at least two pictures same area of the surface of the test to be tested Object evaluated, the images, for example, from almost vertical perspective and the lighting off different directions at a slight angle to the surface. Elevations or depressions on the surface thus show up on the recordings a clear shadow, its location with the light irradiation varied. Inclined surfaces are identifiable by brighter reflections. By analysis of shadow contours and outlines of bright areas can be the elevation profile a structure on the surface determine and thus for example reconstruct the course of a ridge. By integrating the method of shape-from-shading can also be flat inclination changes be determined by evaluating brightness gradients and thus a good match with the original 3D reconstruction of the surface be achieved. However, the process is disadvantageous the high computational effort.

Aufgabe der Erfindung ist es deshalb ein Verfahren und eine zur Durchführung des Verfahrens geeignete Vorrichtung zu finden, mittels welchen mit geringer Rechenleistung, insbesondere Einschnürungen in Pressteilen erkannt werden können.task The invention is therefore a method and a for carrying out the Method to find suitable device by means of which low computing power, especially constrictions detected in pressed parts can be.

Die Aufgabe wird durch eine Verfahren und ein für die Durchführung des Verfahrens geeignete Vorrichtung nach den Oberbegriffen der Patentansprüche 1 und 4 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen beschrieben.The Task is performed by a procedure and for the implementation of the Method suitable device according to the preambles of claims 1 and 4 solved. Advantageous embodiments and further developments of the invention will be in the subclaims described.

Das erfindungsgemäße Verfahren zur kamera-basierten Prüfung von Objekten eignet sich insbesondere zur Erkennung von Einschnürungen bei Pressteilen. Dies sind bedingt durch den Pressvorgang, in der Regel längs auf dem durch Pressung geschaffenen Objekt verlaufende Fehlstellen. Nachfolgend wird unter Zuhilfenahme der Figur die Erfindung im Detail beschrieben. Wie aus der Figur ersichtlich wird im Rahmen der Objektprüfung das Objekt (10) zumindest in Teilen durch mindestens eine Lichtquelle (12, 13) mit einem bekannten Beleuchtungsvektor (12a, 13a) beleuchtet. Hierbei beschreibt der Beleuchtungsvektor die räumliche Ausrichtung des von der Lichtquelle ausgehenden Lichts. Zumindest teilweise werden von den beleuchteten Teilen des Objekts (10) mit einer Kamera (14) Bilddaten erfasst und nachfolgend einer Bildverarbeitung unterzogen. In erfinderischer Weise arbeitet das Prüfverfahren hierbei mit einem auf einer Quotientenanalyse basierenden Bildverarbeitungsverfahren. Hierbei werden in erfinderischer Weise aus der geophysikalischen Mond- und Planetenbeobachtung bekannte Verfahrensgrundsätze (A.S. McEwen, Albedo and Topography of Ius Chasma, Mars; Lunar- and Planetary Science XVI, pp. 528-529, 1985) auf die Industrielle Mess- und Prüftechnik übertragen. Um für das auf der Quotientenanalyse basierende Bildverarbeitungsverfahren geeignete Bilddaten zu gewinnen wird das Objekt (10) von wenigstens einer Lichtquelle (12, 13) aus mindestens zwei unterschiedlichen Winkeln zwischen Beleuchtungsvektor (12a, 13a) und Oberflächennormalen (16) des Objekts (10) beleuchtet. Von einer Kameraposition aus, werden nun wenigstens zwei Bildaufnahmen erfasst, wobei bei der jeweiligen Bildaufnahme das Objekt (10) von einer einzelnen Lichtquelle (12, 13) unter jeweils einem anderen Beleuchtungsvektor (12a, 13a) beleuchtet wird. Hierbei ist darauf zu achten, dass vor den Bildaufnahmen die geometrische Anordnung von Objekt (10) und der wenigstens einen Lichtquellen (12, 13) derart gestaltet wird, dass der Verlauf der Projektion der jeweiligen Beleuchtungsvektoren (12a, 13a) auf die Objektoberfläche und die Ausdehnung eines zu erkennenden, auf dem Objekt längs verlaufenden Objektfehlers (11) im wesentlichen einen rechten Winkel (17) bilden. Im Rahmen vorteilhafter Ausgestaltungen der Erfindung ist es sehr wohl denkbar eine einzelne Beleuchtungsquelle (12, 13) zu verwenden diese sequentiell von Bildaufnahme zu Bildaufnahme in ihrer Position zu verändern, oder aber die Prüfanordnung so zu gestalten, dass mehrere Beleuchtungsquellen (12, 13) verwendet werden, welche jede einzeln sequentiell mit den Bildaufnahmen geschaltet werden. In besonders vorteilhafter Weise wird es durch die erfinderische Anordnung von Beleuchtung (12, 13) und Objekt (10) möglich, im Rahmen der Quotientenanalyse zu einer analytischen und exakten Lösung zu gelangen, so dass kein zeitaufwändiger iterativer Rechenprozess notwendig ist. Dadurch dass die Projektion des Beleuchtungsvektors (12a, 13a) auf der Objektoberfläche im wesentlichen senkrecht zum Verlauf des zu erkennenden Objektfehlers (11) steht, kann bei der Quotientenanalyse die Steigung der Objektoberfläche entlang der Fehlstelle vernachlässigt werden, da diese nicht interessiert. Wird also die Geometrie von Beleuchtung und Objekt so gewählt, dass bei der Quotientenanalyse eine der Dimensionen vernachlässigt werden kann, gelangt man zu der oben erwähnten analytischen Lösung der Quotientenanalyse.The inventive method for camera-based inspection of objects is particularly suitable for detecting constrictions in pressed parts. These are due to the pressing process, usually longitudinally on the created by pressing object flaws. The invention will be described in detail below with the aid of the figure. As can be seen from the figure, as part of the object inspection, the object ( 10 ) at least in part by at least one light source ( 12 . 13 ) with a known illumination vector ( 12a . 13a ) illuminated. Here, the illumination vector describes the spatial orientation of the light emitted by the light source. At least in part, the illuminated parts of the object ( 10 ) with a camera ( 14 ) Image data and subsequently subjected to image processing. In an inventive manner, the test method works with an image analysis method based on a quotient analysis. In this case, method principles known from geophysical lunar and planetary observation (AS McEwen, Albedo and Topography of Chus, Mars, Lunar and Planetary Science XVI, pp. 528-529, 1985) are transferred to industrial measurement and test technology in an inventive manner , In order to obtain suitable image data for the image analysis method based on the quotient analysis, the object ( 10 ) of at least one light source ( 12 . 13 ) from at least two different angles between the illumination vector ( 12a . 13a ) and surface normals ( 16 ) of the object ( 10 ) illuminated. From a camera position, at least two image recordings are now recorded, with the object ( 10 ) from a single light source ( 12 . 13 ) under each egg another illumination vector ( 12a . 13a ) is illuminated. It must be ensured that the geometric arrangement of the object ( 10 ) and the at least one light source ( 12 . 13 ) is designed such that the course of the projection of the respective illumination vectors ( 12a . 13a ) on the object surface and the extent of an object error to be recognized, which runs longitudinally on the object ( 11 ) is essentially a right angle ( 17 ) form. Within the scope of advantageous embodiments of the invention, it is very conceivable to use a single illumination source ( 12 . 13 ) to change these sequentially from image acquisition to image acquisition in their position, or to design the test arrangement so that multiple illumination sources ( 12 . 13 ), which are each switched sequentially with the image recordings. In a particularly advantageous manner, the inventive arrangement of lighting ( 12 . 13 ) and object ( 10 ), it is possible to arrive at an analytical and exact solution within the framework of the quotient analysis, so that no time-consuming iterative calculation process is necessary. Due to the fact that the projection of the illumination vector ( 12a . 13a ) on the object surface substantially perpendicular to the course of the object error to be detected ( 11 ), in the quotient analysis, the slope of the object surface along the defect can be neglected, since these are not interested. If, therefore, the geometry of illumination and object is chosen such that one of the dimensions can be neglected in quotient analysis, one arrives at the analytic solution of quotient analysis mentioned above.

Bei der Quotientenanalyse werden die korrelierenden Bildpunkte zweier Bildaufnahmen miteinander in Beziehung gesetzt, um zumindest mit Teilen dieser Bilddaten die Oberflächensteigungen p(u,v) an den Positionen (u,v) der Objektoberfläche rekonstruiert werden. Dabei ist es zum einen denkbar, von einem der zu prüfenden Oberflächengebiete jeweils nur 2 Bildaufnahen zu erzeugen, oder auf der Basis mehrer unterschiedlicher Beleuchtungsvektoren mehrere Bildaufnahmen eines Teilgebiets zu erzeugen und beispielsweise in einem Iterativen Prozess die beiden hierzu am besten geeigneten Bildaufnahmen miteinander zu korrelieren.at The quotient analysis becomes the correlating pixels of two Image captures related to each other, at least with Divide these image data, the surface slopes p (u, v) to the Positions (u, v) of the object surface are reconstructed. there It is conceivable, for one, of one of the surface areas to be tested to produce only 2 image acquisitions, or on the basis of several different illumination vectors take several pictures of a Subregion and, for example, in an iterative process the two best suited for this purpose to correlate.

In besonders vorteilhafter Weise basiert die Quotientenanalyse auf einem Gleichungssystem, bei welchem für die Ober flächensteigung p(u,v) in senkrecht zum Verlauf der länglich verlaufenden Fehlstelle (11) gilt

Figure 00050001
In a particularly advantageous manner, the quotient analysis based on a system of equations, in which for the upper surface slope p (u, v) in perpendicular to the course of the elongated defect ( 11 ) applies
Figure 00050001

Hierbei werden die entsprechenden Beleuchtungsvektoren (12, 13) als s1 = (–ps (1),–qs (1),1) und s1 = (–ps (2),–qs (2),1) angenommen. I1(u,v) und I2(u,v) sind die Intensitäten der Pixel an der Bildposition (u,v) in Bild 1 beziehungsweise Bild 2. Es wird angenommen, dass beide Lichtquellen (12, 13) die Fehlstelle exakt von links oder rechts beleuchten (d.h. die Projektionen der Beleuchtungsvektoren (12a, 13a) auf die Objektoberfläche bilden im wesentlichen einen rechten Winkel mit der Ausdehnung der länglich verlaufenden Fehlstelle (11)); so dass gilt qs (1), = qs (2) = 0. Bei dem obigen Gleichungssystem wird ferner von der Annahme ausgegangen, dass die zu prüfende Objektoberfläche diffuses Reflexionsverhalten aufweist; ein derartiges Verhalten ist bei unlackierten Blechen, zu deren Prüfung auf Einschnürungen nach Pressungen sich die Erfindung im Besonderen eignet, in der Regel gegeben.Here, the corresponding illumination vectors ( 12 . 13 ) as s 1 = (-p s (1) , -q s (1) , 1) and s 1 = (-p s (2) , -q s (2) , 1). I 1 (u, v) and I 2 (u, v) are the intensities of the pixels at the image position (u, v) in image 1 and image 2, respectively. It is assumed that both light sources ( 12 . 13 ) illuminate the defect exactly from left or right (ie the projections of the illumination vectors ( 12a . 13a ) on the object surface form substantially a right angle with the extension of the elongated defect ( 11 )); such that q s (1) , = q s (2) = 0 holds. In the above system of equations, it is further assumed that the object surface to be tested has diffuse reflection behavior; such behavior is usually given in unpainted sheets, for their testing for constrictions after pressing the invention in particular, is given.

Insbesondere zur Vermeidung von spekularen Reflexionen ist es besonders gewinnbringend, wenn die Kamera (14) so angeordnet wird, dass der die Kamerablickrichtung beschreibende Vektor (14a), der Normalenvektor (16) der Oberfläche und der jeweilige Beleuchtungsvektor (12a, 13a) der wenigstens einen Lichtquelle (12, 13) nicht koplanar sind. In einer besonders gewinnbringenden Ausgestaltung der Erfindung lassen sich spekulare Reflektionen dadurch verringern, dass als Lichtquellen (12, 13) Punktlichtquellen insbesondere Laser- oder Lumineszenzdioden verwendet werden.In particular, to avoid specular reflections, it is particularly profitable if the camera ( 14 ) is arranged so that the vector describing the camera direction ( 14a ), the normal vector ( 16 ) of the surface and the respective illumination vector ( 12a . 13a ) of the at least one light source ( 12 . 13 ) are not coplanar. In a particularly profitable embodiment of the invention, specular reflections can be reduced by using as light sources ( 12 . 13 ) Point light sources are used in particular laser or light emitting diodes.

Um die für das erfindungsgemäße Verfahren notwendigen geometrischen Bedingungen erfüllen zu können (insbesondere um die Lichtquellen (12, 13) so anzuordnen, dass die Projektion ihrer Beleuchtungsvektoren (12a, 13a) auf der Oberfläche des Objekts mit dem Verlauf der länglichen Fehlstelle im Wesentlichen einen rechten Winkel bilden), muss eine geeignete Vorrichtung über entsprechende Positioniermittel, zumindest für die Lichtquellen (12, 13) verfügen, oder aber das Objekt (10) selbst muss mit einem geeigneten Positioniermittel in Verbindung stehen, um es in Bezug auf die Lichtquellen (12, 13) entsprechend den geometrischen Randbedingungen des Verfahrens anzuordnen.In order to be able to fulfill the geometric conditions necessary for the method according to the invention (in particular, the light sources ( 12 . 13 ) so that the projection of their illumination vectors ( 12a . 13a ) form substantially a right angle on the surface of the object with the course of the oblong defect), a suitable device must be provided via corresponding positioning means, at least for the light sources ( 12 . 13 ) or the object ( 10 ) itself must be in communication with a suitable positioning means in order to 12 . 13 ) according to the geometric boundary conditions of the method.

In besonderer Weise verfügt die erfindungsgemäße Vorrichtung auch über ein Positioniermittel für die Kamera (14), so dass diese so angeordnet werden kann, dass der die Kamerablickrichtung beschreibende Vektor (14a), der Normalenvektor der Oberfläche (16) und der jeweilige Beleuchtungsvektor (12a, 13a) der wenigstens einen Lichtquelle (12, 13) nicht koplanar sind. Auf diese Weise werden störende spekulare Reflexionen bei den Bildaufnahmen vermieden.In a special way, the device according to the invention also has a positioning means for the camera ( 14 ) so that it can be arranged such that the vector describing the camera direction ( 14a ), the normal vector of the surface ( 16 ) and the respective illumination vector ( 12a . 13a ) the we at least one light source ( 12 . 13 ) are not coplanar. In this way, disturbing specular reflections are avoided in the image recordings.

Besonders vorteilhaft kann die Vorrichtung dadurch ausgestaltet werden, dass die wenigstens eine Lichtquelle (12, 13) und/oder das Objekt (10) und/oder die Kamera (14) an einem Schwenkarm eines Industrieroboters angebracht sind. Hierdurch wird es möglich, die Anordnung unter unterschiedlichsten Blickwinkeln an das Objekt heranzuführen. Insbesondere dann, wenn ein Objekt mehrere Bereiche aufweist, an welchen längliche Oberflächenfehler (z.B.: Einschnürungen bei Blechpressteilen) auftreten, können all diese Stellen mit mittels einer minimalen Anzahl von Lichtquellen (12, 13) und Kameras erfasst werden, da die Messmimik automatisch unter Beachtung der geometrischen Randbedingungen sequentiell an die einzelnen zu prüfenden Oberflächenbereiche adaptiert werden kann. Insbesondere bei ausgedehnten oder geometrisch komplizierten Prüfobjekten kann es gewinnbringend sein, wenn die Lichtquellen (12, 13) und/oder die Kamera (14) und/oder das Objekt (10) nicht am Schwenkarm eines einzigen Industrieroboters angebracht sind, sondern, wenn die wenigstens eine Lichtquelle (12, 13) und/oder die wenigstens eine Kamera (14) und/oder das Objekt (10) an den Schwenkarmen zumindest zweier miteinander kooperierender Industrieroboter angebracht sind. Durch diese Anordnung kann noch eine wesentlich höhere Flexibilität erzielt werden, so dass in vielen Fällen auch bei sehr komplexen Prüfobjekten (10) alle relevanten Oberflächenbereiche überprüft werden können.Particularly advantageous, the device can be configured in that the at least one light source ( 12 . 13 ) and / or the object ( 10 ) and / or the camera ( 14 ) are mounted on a pivot arm of an industrial robot. This makes it possible to introduce the arrangement under different viewing angles to the object. In particular, when an object has several areas where elongated surface defects (eg constrictions in sheet-metal pressed parts) occur, all these locations can be identified by means of a minimum number of light sources ( 12 . 13 ) and cameras, since the measurement mimics can be adapted automatically to the individual surface areas to be examined, taking into account the geometric boundary conditions. In particular, in the case of extensive or geometrically complicated test objects, it may be profitable if the light sources ( 12 . 13 ) and / or the camera ( 14 ) and / or the object ( 10 ) are not mounted on the pivot arm of a single industrial robot, but if the at least one light source ( 12 . 13 ) and / or the at least one camera ( 14 ) and / or the object ( 10 ) are mounted on the pivot arms of at least two cooperating industrial robots. By this arrangement, a much higher flexibility can be achieved, so that in many cases even with very complex test objects ( 10 ) all relevant surface areas can be checked.

Claims (9)

Verfahren zur kamera-basierten Prüfung von Objekten, insbesondere zur Erkennung von Einschnürungen bei Pressteilen, bei welchem ein Objekt (10) zumindest in Teilen durch mindestens eine Lichtquelle (12, 13) mit einem bekannten Beleuchtungsvektor (12a, 13a) (räumliche Ausrichtung des von der Lichtquelle ausgehenden Lichts) beleuchtet wird, und bei dem zumindest von beleuchteten Teilen des Objekts (10) mit einer Kamera (14) Bilddaten erfasst und nachfolgend einer Bildverarbeitung unterzogen werden, dadurch gekennzeichnet, dass die Bildverarbeitung auf Basis einer Quotientenanalyse arbeitet, wozu das Objekt (10) von wenigstens einer Lichtquelle (12, 13) aus mindestens zwei unterschiedlichen Winkeln zwischen Beleuchtungsvektor (12a, 13a) und Oberflächennormalen (16) des Objekts (10) beleuchtet wird, wobei von einer Kameraposition aus wenigstens zwei Bildaufnahmen erfasst werden, wobei bei der jeweiligen Bildaufnahme das Objekt (10) von einer einzelnen Lichtquelle (12, 13) mit jeweils einem anderen Beleuchtungsvektor (12a, 13a) beleuchtet wird, und wobei vor den Bildaufnahmen die geometrische Anordnung von Objekt (10) und der wenigstens einen Lichtquellen (12, 13) derart gestaltet wird, dass der Verlauf der Projektion der jeweiligen Beleuchtungsvektoren (12a, 13a) auf die Objektoberfläche und die Ausdehnung eines zu erkennenden, auf dem Objekt längs verlaufenden Objektfehlers (11) im wesentlichen einen rechten Winkel (17) bilden.Method for camera-based inspection of objects, in particular for the detection of constrictions in pressed parts, in which an object ( 10 ) at least in part by at least one light source ( 12 . 13 ) with a known illumination vector ( 12a . 13a ) (spatial orientation of the light emanating from the light source), and in which at least illuminated parts of the object ( 10 ) with a camera ( 14 ) Image data and subsequently subjected to image processing, characterized in that the image processing operates on the basis of a quotient analysis, to which the object ( 10 ) of at least one light source ( 12 . 13 ) from at least two different angles between the illumination vector ( 12a . 13a ) and surface normals ( 16 ) of the object ( 10 ) is illuminated, wherein from a camera position from at least two image recordings are detected, wherein in the respective image recording the object ( 10 ) from a single light source ( 12 . 13 ) each with a different illumination vector ( 12a . 13a ), and wherein before the image recordings the geometric arrangement of object ( 10 ) and the at least one light source ( 12 . 13 ) is designed such that the course of the projection of the respective illumination vectors ( 12a . 13a ) on the object surface and the extent of an object error to be recognized, which runs longitudinally on the object ( 11 ) is essentially a right angle ( 17 ) form. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Grundlage der Bildverarbeitung von den aus einer Kameraposition bei unterschiedlichen Beleuchtungsvektoren (12a, 13a) aufgenommen Bildaufnahmen zwei Aufnahmen ausgewählt werden und zumindest mit Teilen dieser Bilddaten die Oberflächensteigungen p(u,v) an den Positionen (u,v) der Objektoberfläche rekonstruiert werden, dergestalt dass gilt
Figure 00090001
A method according to claim 1, characterized in that as a basis of the image processing of the from a camera position at different illumination vectors ( 12a . 13a ) recorded two images are selected and reconstructed at least with parts of these image data, the surface slopes p (u, v) at the positions (u, v) of the object surface in such a way that applies
Figure 00090001
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (14) so angeordnet wird, dass der die Kamerablickrichtung beschreibende Vektor (14a), der Normalenvektor (16) der Oberfläche und der jeweilige Beleuchtungsvektor (12a, 13a) der wenigstens einen Lichtquelle (12, 13) nicht koplanar sind.Method according to one of the preceding claims, characterized in that the camera ( 14 ) is arranged so that the vector describing the camera direction ( 14a ), the normal vector ( 16 ) of the surface and the respective illumination vector ( 12a . 13a ) of the at least one light source ( 12 . 13 ) are not coplanar. Vorrichtung zur kamera-basierten Prüfung von Objekten, insbesondere zur Erkennung von Einschnürungen bei Pressteilen, welche wenigstens eine Lichtquelle (12, 13) umfasst, mittels welcher ein Objekt (10) zumindest in Teilen mit einen bekannten Beleuchtungsvektor (12a, 13a) aufweisendes Licht beleuchtet wird, und umfassend eine Kamera (14) zur Erfassung. von Bilddaten zumindest von beleuchteten Teilen des Objekts (10), sowie einer der Kamera (14) nachgeschalteten Bildverarbeitungseinheit zur Verarbeitung der Bilddaten, dadurch gekennzeichnet, dass mit der Bildverarbeitungseinheit ein Mittel vorhanden ist um Bildverarbeitung auf Basis einer Quotientenanalyse zu verarbeiten. dass Positioniermittel vorgesehen sind, um die wenigstens eine Beleuchtung (12, 13) in Bezug auf das Objekt (10) so zu positionieren, dass vor den Bildaufnahmen die geometrische Anordnung von Objekt (10) und der wenigstens einen Lichtquellen (12, 13) derart gestaltet wird, dass der Verlauf der Projektion der jeweiligen Beleuchtungsvektoren auf die Objektoberfläche und die Ausdehnung eines zu erkennenden, auf dem Objekt (10) längs verlaufenden Objektfehlers (11) im wesentlichen einen rechten Winkel (17) bilden.Device for camera-based inspection of objects, in particular for the detection of constrictions in pressed parts, which comprise at least one light source ( 12 . 13 ), by means of which an object ( 10 ) at least in part with a known illumination vector ( 12a . 13a ) light is illuminated, and comprising a camera ( 14 ) for recording. of image data at least of illuminated parts of the object ( 10 ), as well as one of the camera ( 14 ) downstream image processing unit for processing the image data, characterized in that with the image processing unit, a means is present for processing image processing based on a quotient analysis. in that positioning means are provided to enable the at least one illumination ( 12 . 13 ) with respect to the object ( 10 ) in such a way that, prior to the image recordings, the geometric arrangement of the object ( 10 ) and the at least one light source ( 12 . 13 ) is designed such that the course of the projection of the respective illumination vectors on the object surface and the extent of a to be recognized, on the object ( 10 ) longitudinal object error ( 11 ) is essentially a right angle ( 17 ) form. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass ein Positioniermittel für die Kamera (14) vorgesehen ist, so dass diese so angeordnet werden kann, dass der die Kamerablickrichtung beschreibende Vektor (14a), der Normalenvektor der Oberfläche (16) und der jeweilige Beleuchtungsvektor (12a, 13a) der wenigstens einen Lichtquelle (12, 13) nicht koplanar sind.Apparatus according to claim 3, characterized in that a positioning means for the camera ( 14 ) is provided so that it can be arranged so that the vector describing the camera direction ( 14a ), the normal vector of the surface ( 16 ) and the respective illumination vector ( 12a . 13a ) of the at least one light source ( 12 . 13 ) are not coplanar. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Lichtquel le (12, 13) und die Kamera (14) an einem Schwenkarm eines Industrieroboters angebracht sind.Device according to one of the preceding claims, characterized in that the at least one Lichtquel le ( 12 . 13 ) and the camera ( 14 ) are mounted on a pivot arm of an industrial robot. Vorrichtung nach einem der Ansprüche vorhergehend Ansprüche, dadurch gekennzeichnet, dass das Objekt (10) an einem Schwenkarm eines Industrieroboters angebracht ist.Device according to one of the preceding claims, characterized in that the object ( 10 ) is attached to a pivot arm of an industrial robot. Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass der Industrieroboter so schwenkbar ist, dass für zumindest einen Großteil der zu prüfenden Oberflächenbereiche des Objekts (10) die geforderte nicht koplanare Anordnung von Kamera (14), Beleuchtung (12, 13) und Objekt (10) gewährleistet ist, ohne das Objekt im Rahmen der sukzessiv erfolgen Messungen in seiner Lage verändern zu müssen.Apparatus according to claim 6 or 7, characterized in that the industrial robot is pivotable so that for at least a majority of the surface areas of the object to be tested ( 10 ) the required non-coplanar arrangement of camera ( 14 ), Lighting ( 12 . 13 ) and object ( 10 ) is ensured without having to change the position of the object in the context of successively made measurements. Vorrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die wenigstens eine Lichtquelle (12, 13) und die Kamera (14) an den Schwenkarmen zumindest zweier miteinander kooperierender Industrieroboter angebracht sind.Device according to one of claims 6 to 8, characterized in that the at least one light source ( 12 . 13 ) and the camera ( 14 ) are mounted on the pivot arms of at least two cooperating industrial robots.
DE102004054508A 2004-08-09 2004-11-11 Camera-based object examination method, for detecting contraction e.g. in pressed part, involves arranging object and light sources, so that distribution of vector projection on object surface and defect circumference forms right angle Withdrawn DE102004054508A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004054508A DE102004054508A1 (en) 2004-08-09 2004-11-11 Camera-based object examination method, for detecting contraction e.g. in pressed part, involves arranging object and light sources, so that distribution of vector projection on object surface and defect circumference forms right angle

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102004038760.5 2004-08-09
DE102004038760 2004-08-09
DE102004054508A DE102004054508A1 (en) 2004-08-09 2004-11-11 Camera-based object examination method, for detecting contraction e.g. in pressed part, involves arranging object and light sources, so that distribution of vector projection on object surface and defect circumference forms right angle

Publications (1)

Publication Number Publication Date
DE102004054508A1 true DE102004054508A1 (en) 2006-02-23

Family

ID=35721584

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004054508A Withdrawn DE102004054508A1 (en) 2004-08-09 2004-11-11 Camera-based object examination method, for detecting contraction e.g. in pressed part, involves arranging object and light sources, so that distribution of vector projection on object surface and defect circumference forms right angle

Country Status (1)

Country Link
DE (1) DE102004054508A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107957234A (en) * 2016-10-17 2018-04-24 中国航空工业集团公司北京航空制造工程研究所 A kind of method and device for measuring normal vector of arbitrary point of free-form surface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19511534C2 (en) * 1995-03-29 1998-01-22 Fraunhofer Ges Forschung Method and device for detecting 3D defects in the automatic inspection of surfaces with the aid of color-capable image evaluation systems
US6321137B1 (en) * 1997-09-04 2001-11-20 Dynalog, Inc. Method for calibration of a robot inspection system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19511534C2 (en) * 1995-03-29 1998-01-22 Fraunhofer Ges Forschung Method and device for detecting 3D defects in the automatic inspection of surfaces with the aid of color-capable image evaluation systems
US6321137B1 (en) * 1997-09-04 2001-11-20 Dynalog, Inc. Method for calibration of a robot inspection system

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
akazawa, K. et al.: Developement of Damage Detec-tion System for Container" In: Proc. IEEE IECON 21st International Conference on Industrial Elec- tronics, Control, and Instrumentation, S. 1160-1163, 1995 *
Conference on Computer Vision and Pattern Recogni- tation, S.492-496
Conference on Computer Vision and Pattern Recogni-tation, S.492-496 *
Kim, B. und Burger, P.: Calculation of Surface Position and Orientation Using the Photometric Stereo Method", In: Proc. CVPR'88: The Computer Society *
Marc Levoy: The Standford Spherical Gantry. http:/ /graphics.stanford.edu/projects/gantry/27.April200 4
Marc Levoy: The Standford Spherical Gantry. http://graphics.stanford.edu/projects/gantry/27.April2004 *
Nakazawa, K. et al.: Developement of Damage Detec- tion System for Container" In: Proc. IEEE IECON 21st International Conference on Industrial Elec- tronics, Control, and Instrumentation, S. 1160-116 3, 1995
Photometric Stereo Method" In: Proc. CVPR'88: The Computer Society *
Zhang, R. et al.: Shape from Shading: A Survey. In: IEEE Transactions on Pattern Analysis and Ma- chine Intelligence, Vol.21, No.8, S.690-706, 1999 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107957234A (en) * 2016-10-17 2018-04-24 中国航空工业集团公司北京航空制造工程研究所 A kind of method and device for measuring normal vector of arbitrary point of free-form surface
CN107957234B (en) * 2016-10-17 2023-09-29 中国航空制造技术研究院 Method and device for measuring normal vector at any point of free-form surface

Similar Documents

Publication Publication Date Title
EP1716410B1 (en) Method and system for inspecting surfaces
DE102010015566B4 (en) Method and system for measuring reflective surfaces
EP1987348B1 (en) Method of detecting defects on the surface of a cylindrical object
DE102009058215B4 (en) Method and device for surface inspection of a bearing component
EP2167947A1 (en) Method and device for the optical inspection of a surface of an object
DE102015113051B4 (en) Measuring device, printed circuit board testing device and method for the control thereof
DE102015109843B4 (en) Printed circuit board testing device and method for its control
DE102016107900B4 (en) Method and device for determining the edge of a measurement object in optical measurement technology
WO2015169730A1 (en) Method and sensor for determining the surface of an object by means of deflectometry
WO2004051186A1 (en) Method and device for optical form measurement and/or estimation
DE10317078B4 (en) Method and device for analyzing reflective surfaces
DE102006006876A1 (en) Method of detecting the contour of a reflective surface using a virtual image of the reflective points
DE102004033526A1 (en) Analysis of at least partly reflecting surfaces involves varying relative orientation/position of object, pattern generation device and/or image receiver(s) for image reflected at surface, to obtain surface, especially geometry, information
DE102018214280A1 (en) Inspection system and method for correcting an image for inspection
DE60317595T2 (en) Three-dimensional edge localization using lateral illumination
WO2009083248A1 (en) Method and apparatus for optically inspecting a surface of an object
DE102017106764A1 (en) TEST DEVICE, STORAGE MEDIUM AND PROGRAM
DE102004054508A1 (en) Camera-based object examination method, for detecting contraction e.g. in pressed part, involves arranging object and light sources, so that distribution of vector projection on object surface and defect circumference forms right angle
DE102015203396A1 (en) Method and device for determining the topography of a surface
WO2002033348A1 (en) Optically measuring an object using a coordinate measuring device, cameras and lighting sources
WO2018068775A1 (en) Method and system for determining the defective surface of at least one fault location on at least one functional surface of a component or test piece
DE102018008154B4 (en) Method and device for optically detecting the shape of an object
DE102008036710A1 (en) Method for three-dimensional optical measuring of object with topometric measuring process, involves selecting partial areas of objects such that reflections of patterns on surface of object do not influence patterns in partial areas
DE102010029627B4 (en) Apparatus and method for determining the structure of a specular surface of an object
EP2322915B1 (en) Apparatus and method for creating a variable spatial and/or temporal thermal radiation pattern for deflectometry, and deflectometric apparatus.

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8127 New person/name/address of the applicant

Owner name: DAIMLER AG, 70327 STUTTGART, DE

8139 Disposal/non-payment of the annual fee