DE102022104041B3 - Arrangement and method for taking pictures - Google Patents

Arrangement and method for taking pictures Download PDF

Info

Publication number
DE102022104041B3
DE102022104041B3 DE102022104041.0A DE102022104041A DE102022104041B3 DE 102022104041 B3 DE102022104041 B3 DE 102022104041B3 DE 102022104041 A DE102022104041 A DE 102022104041A DE 102022104041 B3 DE102022104041 B3 DE 102022104041B3
Authority
DE
Germany
Prior art keywords
camera
illumination
spectral range
image
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102022104041.0A
Other languages
German (de)
Inventor
Hermann Tropf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Tools Hard und Software Entw GmbH
VISION TOOLS HARD- und SOFTWARE ENTWICKLUNGS GmbH
Original Assignee
Vision Tools Hard und Software Entw GmbH
VISION TOOLS HARD- und SOFTWARE ENTWICKLUNGS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Tools Hard und Software Entw GmbH, VISION TOOLS HARD- und SOFTWARE ENTWICKLUNGS GmbH filed Critical Vision Tools Hard und Software Entw GmbH
Priority to DE102022104041.0A priority Critical patent/DE102022104041B3/en
Application granted granted Critical
Publication of DE102022104041B3 publication Critical patent/DE102022104041B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/035Combinations of cameras with incandescent lamps
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Durch die Anordnung und durch das Verfahren zur Aufnahme von Bildern einer Oberfläche mit zwei Kameras in Stereoanordnung wird die Erstellung der PunktKorrespondenzen zum Gewinnen eines Abstandsbildes erleichtert. Es werden polarisierte Beleuchtungen in einer speziellen Anordnung und Polarisations-Orientierung verwendet, sowie einfache Polarisationsfilter mit spezieller Orientierung im jeweiligen Strahlengang zu den Bildaufnehmern der Kameras. Vorteile für die Erstellung der Punktkorrespondenzen: Es ist die Auswertung von sowohl örtlich als auch anteilmäßig gemischt diffus und spiegelnd reflektierenden Oberflächen möglich, ohne die Verteilung dieser Materialeigenschaften auf der Oberfläche zu kennen. Glanzlichter tauchen in den beiden Kameras an derselben Oberflächenstelle auf. Schlagschattenbereiche tauchen nur in einer der beiden Kameras auf und können vorab aus der Korrespondenzbestimmung herausgenommen werden. Die Bildaufnahme ist mit einem einzigen Schuss möglich und damit auch bei schneller Bewegung (Kamera oder Oberfläche).The creation of the point correspondences for obtaining a distance image is facilitated by the arrangement and by the method for recording images of a surface with two cameras in a stereo arrangement. Polarized lighting in a special arrangement and polarization orientation is used, as well as simple polarization filters with a special orientation in the respective beam path to the image recorders of the cameras. Advantages for the creation of point correspondences: It is possible to evaluate both locally and proportionately mixed diffuse and specular reflecting surfaces without knowing the distribution of these material properties on the surface. Highlights appear at the same surface location in the two cameras. Cast shadow areas only appear in one of the two cameras and can be removed from the correspondence determination in advance. The picture can be taken with a single shot and thus also with fast movement (camera or surface).

Description

Die Erfindung betrifft eine Anordnung und ein Verfahren zur Aufnahme von Bildern einer Objektoberfläche mittels einer ersten Kamera und einer zweiten Kamera in Stereoanordnung. Die Bilder können zum Gewinnen eines Abstandsbildes verwendet werden. Abstandsbilder codieren im Gegensatz zu konventionellen Bildern, die Grauwerte oder Farben codieren, die Entfernung der Punkte der Oberfläche der Szene (Objektpunkte oder Hintergrundpunkte) vom Sensor (im Allgemeinen einer Kamera) oder die Höhe dieser Punkte relativ zu einer Ebene. Die Bildpunkte eines Abstandsbildes enthalten also eine Entfernungsinformation (z.B. Abstand oder Höhe) des jeweils zugehörigen abgebildeten Objektpunktes. Es handelt sich um ein klassisches Computer-Vision-Problem.The invention relates to an arrangement and a method for recording images of an object surface using a first camera and a second camera in a stereo arrangement. The images can be used to obtain a distance image. Distance images encode the distance of the points of the scene's surface (object points or background points) from the sensor (generally a camera) or the elevation of these points relative to a plane, in contrast to conventional images that encode gray values or colors. The pixels of a distance image therefore contain distance information (e.g. distance or height) of the associated object point that is displayed in each case. It is a classic computer vision problem.

Technische Anwendungen finden sich u.a. in Maschinenbau, Robotik einschließlich Servicerobotik, Elektronik-Produktion, Archäologie, Bekleidungsindustrie, Biometrie, Medizin und Reverse Engineering.Technical applications can be found in mechanical engineering, robotics including service robotics, electronics production, archaeology, the clothing industry, biometrics, medicine and reverse engineering.

Ziel ist dabei beispielsweise die 3D-Erfassung der Fein- oder Grobstruktur oder Welligkeit oder Verbiegung eines Bauteils oder die Lokalisierung von Oberflächendefekten oder auch eine Montagekontrolle oder die Bestimmung der Lage eines oder mehrerer Objekte bekannter Geometrie in einer Szene (Beispiel: „Griff in die Kiste“).The aim is, for example, the 3D acquisition of the fine or coarse structure or waviness or bending of a component or the localization of surface defects or an assembly control or the determination of the position of one or more objects of known geometry in a scene (example: "picking in the box ").

Die Erfindung ist anwendbar auf unterschiedlichste Oberflächencharakteristiken, auch gemischt, von voll diffus (Lambert'sche Reflektion), über matt, schwach glänzend (z.B. Papier), glänzend (z.B. metallisch glänzend in verschiedenen Rauigkeitstufen), bis teilspiegelnd. Je glänzender eine Oberfläche, desto schmaler wird die Reflekionskeule. Kenntnis der bidirektionalen Reflektionsverteilungsfunktion (BRDF - Bidirectional Reflectance Distribution Function) wird nicht als bekannt vorausgesetzt. Nicht betrachtet werden hier voll spiegelnde Oberflächen oder große Oberflächenteile ohne Diffusanteil, dafür sind Methoden der Deflektometrie geeignet.The invention can be applied to a wide variety of surface characteristics, including mixed ones, from fully diffuse (Lambert's reflection) to matt, weakly glossy (e.g. paper), glossy (e.g. metallically glossy in various degrees of roughness) to partially reflective. The more shiny a surface, the narrower the reflection lobe. Knowledge of the Bidirectional Reflectance Distribution Function (BRDF) is not assumed. Fully reflective surfaces or large surface areas without a diffuse component are not considered here; deflectometry methods are suitable for this.

Die hier beschriebenen Verfahren und Anordnungen dienen der Triangulation mit Kameras in Stereoanordnung zur Gewinnung eines Abstandsbildes. Bei Stereo-Verfahren sind systembedingt aus verschiedenen Kamerapositionen aufgenommene Objekte in den Bildern gegeneinander örtlich unterschiedlich verschoben und/oder verzerrt, worin letztlich die zu findende Abstandsinformation steckt. Bei Stereo-Verfahren ist nun das schwierigste Problem die Bestimmung der Korrespondenz der Bildpunkte, d.h. die Zuordnung der Bildpunkte der einen Kamera zu den entsprechenden der anderen Kamera. Ist die Korrespondenz bekannt, so kann bei bekannter Aufnahmegeometrie über Triangulation ein Abstandsbild berechnet werden.The methods and arrangements described here are used for triangulation with cameras in a stereo arrangement to obtain a distance image. In stereo methods, objects recorded from different camera positions are shifted and/or distorted in the images in relation to one another due to the system, which ultimately contains the distance information to be found. With stereo methods, the most difficult problem is determining the correspondence of the pixels, i.e. the assignment of the pixels of one camera to the corresponding ones of the other camera. If the correspondence is known, a distance image can be calculated using triangulation if the recording geometry is known.

Die Triangulation ist bekannter Stand der Technik, zur Korrespondenzbestimmung gibt es eine ausführliche, alte und neue Literatur, die Korrespondenzbestimmung ist in zahlreichen Anwendungen bis heute nicht zufriedenstellend gelöst. Die Beschreibung zu dieser Erfindung konzentriert sich auf Maßnahmen zur Vereinfachung der Korrespondenzbestimmung.Triangulation is known state of the art, there is extensive, old and new literature on correspondence determination, the correspondence determination has not yet been satisfactorily solved in numerous applications. The description of this invention focuses on measures to simplify the determination of correspondence.

Zur Korrespondenzbestimmung werden jeweils Merkmale an einem Punkt P1 in einem Bild der Kamera C1 mit Merkmalen eines Punktes P2 in einem Bild der Kamera C2 verglichen. Die Merkmale sind aus Daten, die die Kamera an den Pixeln P1 in dem Bild der Kamera C1 und P2 in dem Bild der Kamera C2 (P1/P2) oder dort in kleinen Bildausschnitten (Fenster) liefert, abgeleitet. Im Laufe der Korrespondenzbestimmung werden für Korrespondenzhypothesen P1/P2 Gütewerte bestimmt, die sich aus dem Vergleich der Merkmale von P1 mit denen von P2 ergeben.To determine the correspondence, features at a point P1 in an image from the camera C1 are compared with features at a point P2 in an image from the camera C2. The features are derived from data provided by the camera at pixels P1 in the image from camera C1 and P2 in the image from camera C2 (P1/P2) or there in small image sections (windows). In the course of the correspondence determination, quality values are determined for correspondence hypotheses P1/P2, which result from the comparison of the characteristics of P1 with those of P2.

Um die Korrespondenzbestimmung zu erleichtern, sind verschiedene Verfahren bekannt, die auf strukturiertem Licht basieren. Diese Verfahren erfordern als Nachteil eine Projektionseinrichtung für strukturiertes Licht.In order to facilitate the correspondence determination, various methods based on structured light are known. Disadvantageously, these methods require a structured light projection device.

Bei Vertauschen von Sender und Empfänger bleibt nach der Helmholtz-Reziprozität die bidirektionale Reflektionsverteilung (BRDF) erhalten. Diverse Ansätze beruhen darauf und arbeiten mit zwei Kameras C1 und C2 und zwei Punktlichtquellen oder nahezu punktförmigen Lichtquellen L1 und L2. Dabei liegt L1 entweder reell oder virtuell in der optischen Achse von C1 und L2 liegt entweder reell oder virtuell in der optischen Achse von C2. Oder L1 befindet sich in unmittelbarer Nähe von C1 und L2 befindet sich in unmittelbarer Nähe von C2 ( US 7 623 701 B2 , US 7 769 205 B2 , US 7 574 067 B2 , US 2015/0281676 A1 ). Wird mit C1 ein Bild bei Beleuchtung L2 aufgenommen, und umgekehrt mit C2 ein Bild bei Beleuchtung L1 aufgenommen, so sind bei glänzender Reflektion an einem Oberflächenpunkt P die Grauwerte der Korrespondierenden Punkte von P gleich.If the transmitter and receiver are interchanged, the bidirectional reflection distribution (BRDF) is retained according to the Helmholtz reciprocity. Various approaches are based on this and work with two cameras C1 and C2 and two point light sources or almost point light sources L1 and L2. In this case, L1 is either real or virtual in the optical axis of C1 and L2 is either real or virtual in the optical axis of C2. Or L1 is in close proximity to C1 and L2 is in close proximity to C2 ( U.S. 7,623,701 B2 , U.S. 7,769,205 B2 , U.S. 7,574,067 B2 , U.S. 2015/0281676 A1 ). If an image is recorded with C1 with illumination L2, and conversely an image is recorded with C2 with illumination L1, then with brilliant reflection at a surface point P the gray values of the corresponding points of P are the same.

Yuqi Ding, Yu Ji, Mingyuan Zhou, Sing Bing Kang, Jinwei Ye: „Polarimetric Helmholtz Stereopsis“, erschienen in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, S. 5017-5026, betrifft eine auf Helmholtz-Reziprozität basierende Stereoanordnung, bei der ein Objekt, das mit einer polarisierten Lichtquelle bestrahlt wird, mit einer Polarisationskamera abgebildet wird. Es werden zwei Kameraaufnahmen gemacht, wobei für die zweite Kameraaufnahme die Kameraposition und die Position der Lichtquelle gegenüber der ersten Kameraaufnahme mittels Drehrad mechanisch vertauscht sind. Hierbei wird die vom Objekt reflektierte Strahlung jeweils in drei Komponenten zerlegt.Yuqi Ding, Yu Ji, Mingyuan Zhou, Sing Bing Kang, Jinwei Ye: "Polarimetric Helmholtz Stereopsis", published in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 5017-5026, relates to a Stereo arrangement based on Helmholtz reciprocity, in which an object that is irradiated with a polarized light source is imaged with a polarization camera. Two camera recordings are made, for the second camera recording the Camera position and the position of the light source relative to the first camera recording are mechanically reversed by means of a rotary wheel. The radiation reflected by the object is broken down into three components.

Diese Lösungen haben den Nachteil, dass sie für Lambert'sche oder nahezu Lambert'sche Reflektion nicht funktionieren können. Die Leuchtdichte ist bei Lambert'scher Reflektion abhängig von der Beleuchtung und unabhängig von der Betrachtungsrichtung. Die Begründung dafür findet man in DE 10 2019 105 358 B4 (0037). Vertauscht man bei Lambert'scher Reflektion Beleuchtungs- und Betrachtungswinkel an einer Stelle mit ungleichem Beleuchtungs- und Betrachtungswinkel, so erhält man einen unterschiedlichen Helligkeitseindruck.These solutions have the disadvantage that they cannot work for Lambertian or near Lambertian reflection. With Lambertian reflection, the luminance depends on the lighting and is independent of the viewing direction. The reason for this can be found in DE 10 2019 105 358 B4 (0037). If, in the case of Lambertian reflection, the lighting and viewing angles are interchanged at a point with unequal lighting and viewing angles, a different impression of brightness is obtained.

Nach DE 10 2019 105 358 B4 nehmen die Beleuchtungen einen größeren Raum ein oder können in einer speziellen Weise über einen größeren Raum verteilt sein. Außerdem werden mit beiden Kameras je ein Bild mit einer Beleuchtung LX aufgenommen, wobei LX=L1 oder LX=L2 gelten kann. Es können also mit C1 auch Bilder von L1 aufgenommen werden und es können auch mit C2 Bilder von L2 aufgenommen werden (siehe z.B. 0081). Durch diese Maßnahmen wird die Auswertbarkeit in einem größeren Oberflächenbereich erreicht und die Auswertbarkeit auch bei Lambert'scher Reflektion erleichtert.After DE 10 2019 105 358 B4 the lights occupy a larger space or can be distributed in a special way over a larger space. In addition, an image with an illumination LX is recorded with each of the two cameras, it being possible for LX=L1 or LX=L2 to apply. Images of L1 can also be taken with C1 and images of L2 can also be taken with C2 (see eg 0081). Through these measures, the ability to be evaluated is achieved in a larger surface area and the ability to be evaluated is also facilitated in the case of Lambertian reflection.

Sowohl bei punktuellen Beleuchtungen, als auch ausgedehnten Beleuchtungen nach DE 10 2019 105 358 B4 bleibt eine Schwierigkeit dann, wenn Licht von L1 im Glanz zu C1 reflektiert wird oder Licht von L2 im Glanz zu C2 reflektiert wird. Die Schwierigkeit wird weiter unten anhand der Beschreibung zu 2 erläutert. Nachteilig besteht hier eine Schwierigkeit darin, dass in dieser Situation keine einfache Trennung von Glanzanteil und Diffusanteil möglich ist.Both with punctual illuminations, as well as extended illuminations DE 10 2019 105 358 B4 A difficulty remains when light from L1 is reflected in specular to C1 or light from L2 in specular is reflected to C2. The difficulty will increase based on the description below 2 explained. A disadvantage here is that in this situation it is not possible to separate the gloss component and the diffuse component in a simple manner.

Die nachveröffentlichte DE 10 2021 121 121 A1 betrifft eine Vorrichtung zur Ermittlung geometrischer Eigenschaften einer Oberfläche mittels polarisierten Lichts, das auf eine Oberfläche gerichtet ist, und zweier Polarisationskameras in Stereoanordnung, die die polarisierten und unpolarisierten Anteile unterscheiden können, wobei diese Anteile unter unterschiedlicher Beleuchtungsgeometrie aufgenommen werden.The Post-Released DE 10 2021 121 121 A1 relates to a device for determining geometric properties of a surface by means of polarized light which is directed onto a surface and two polarization cameras in a stereo arrangement which can distinguish between the polarized and unpolarized components, these components being recorded under different lighting geometries.

Aufgabe der vorliegenden Erfindung ist, die genannten Nachteile wenigstens teilweise zu beheben.The object of the present invention is to at least partially eliminate the disadvantages mentioned.

Die Aufgabe wird erfindungsgemäß gelöst durch Anordnungen und Verfahren mit den Merkmalen der unabhängigen Patentansprüche. Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Patentansprüchen.The object is achieved according to the invention by arrangements and methods with the features of the independent patent claims. Preferred refinements and developments of the invention result from the dependent patent claims.

Die Erfindung wird anhand der nachfolgenden Ausführungsformen mit zugehörigen Figuren näher beschrieben. Es zeigt:

  • 1 eine bekannte Anordnung mit zwei Kameras und zwei Punktlichtquellen,
  • 2 ein Problem der bekannten Anordnung bei Rückstrahlung im Glanz,
  • 3a, b die Wirkung der erfindungsgemäßen Lösung für den Glanzanteil,
  • 4a, b die Wirkung der erfindungsgemäßen Lösung für den Glanzanteil, bei dezentral liegendem Oberflächenpunkt,
  • 5 die Lösung gemäß der Erfindung bei Rückstrahlung im Glanz,
  • 6a, b die Wirkung der erfindungsgemäßen Lösung für den Diffusanteil bei asymmetrischer Beleuchtung,
  • 7 die Wirkung der erfindungsgemäßen Lösung für den Diffusanteil bei symmetrischer Beleuchtung,
  • 8 eine ringförmige Beleuchtung,
  • 9 eine Auswertung der Schlagschattenbildung, und
  • 10 die Bildaufnahme mit einem einzigen Schuss, bei bunten Oberflächen.
The invention is described in more detail using the following embodiments with associated figures. It shows:
  • 1 a well-known arrangement with two cameras and two point light sources,
  • 2 a problem of the known arrangement with reflection in the gloss,
  • 3a, b the effect of the solution according to the invention on the gloss component,
  • 4a, b the effect of the solution according to the invention for the gloss component, with a decentralized surface point,
  • 5 the solution according to the invention in retroreflection in luster,
  • 6a, b the effect of the solution according to the invention for the diffuse component with asymmetric lighting,
  • 7 the effect of the solution according to the invention for the diffuse component with symmetrical lighting,
  • 8th a ring lighting,
  • 9 an evaluation of the cast shadow formation, and
  • 10 the image acquisition with a single shot, with colored surfaces.

Bei einer Reflektion von einfallendem Licht an einer Oberfläche wird üblicherweise ein Teil des einfallenden Lichts spiegelnd reflektiert, und ein anderer Teil des einfallenden Lichts diffus. Um die Erläuterung der Verfahrensprinzipien einfach zu halten, wird im Folgenden binär zwischen diffus reflektierenden und spiegelnd reflektierenden Reflektionskomponenten unterschieden, man betrachtet also jeweils nur den Diffusanteil bzw. den Glanzanteil. Diese Anteile variieren an der Oberfläche i.a. örtlich. In der Praxis sind natürlich auch Zwischenstufen und auch örtlich kontinuierliche Übergänge möglich.When incident light is reflected off a surface, part of the incident light is usually specularly reflected and another part of the incident light is diffusely reflected. In order to keep the explanation of the process principles simple, a binary distinction is made in the following between diffusely reflecting and specularly reflecting reflection components, i.e. only the diffuse component or the gloss component is considered in each case. These proportions vary on the surface i.a. locally. In practice, of course, intermediate stages and locally continuous transitions are also possible.

Dabei ist der spiegelnde Anteil abhängig vom dem Winkel, unter welchem das Licht einfällt, und von dem Winkel, in welchem die Kamera auf die Oberfläche gerichtet ist. Mit „im Glanzwinkel“ ist im Folgenden gemeint, dass bei der Reflektion „Einfallswinkel = Ausfallswinkel“ gilt. Je nach Breite der Reflektionskeule findet eine Reflektion mit Glanzanteil auch bei mehr oder weniger davon abweichenden Winkeln statt.The reflecting component depends on the angle at which the light falls and on the angle at which the camera is aimed at the surface. In the following, “in the specular angle” means that “angle of incidence = angle of reflection” applies to reflection. Depending on the width of the reflection lobe, a reflection with a gloss component also takes place at angles that deviate more or less from it.

Für die Erfindung können sowohl Grauwertbild-Kameras als auch Farbbild-Kameras verwendet werden. Um die Beschreibung einfacher und verständlicher zu machen, wird in den Beispielen zunächst von Grauwertbild-Kameras ausgegangen, die Verallgemeinerung auf Farbbild-Kameras wird am Ende angegeben.Both gray value image cameras and color image cameras can be used for the invention become. In order to make the description simpler and easier to understand, the examples are initially based on greyscale cameras, and the generalization to color image cameras is given at the end.

Vorbemerkung zu den Figuren: In der jeweils beschriebenen Situation aktive Beleuchtungen und Kameras sind mit dicken Linien gezeichnet, die anderen mit dünnen Linien. Die Zeichnungen beschreiben das Prinzip und sind nicht maßstäblich. Dies gilt auch für die Positionierung der Beleuchtungen; die Position der Beleuchtungen musste teilweise etwas unrealistisch verschoben dargestellt werden, um diverse Pfeile voneinander unterscheidbar unterbringen zu können.Preliminary remarks on the figures: The lights and cameras that are active in the situation described are drawn with thick lines, the others with thin lines. The drawings describe the principle and are not to scale. This also applies to the positioning of the lights; the position of the lights had to be shifted somewhat unrealistically in some cases in order to be able to accommodate various arrows so that they could be distinguished from one another.

Die Erläuterung in den Figuren geschieht der leichteren Verständlichkeit halber mit Punktlichtquellen (Glühlampen-Symbole), die Aussagen sind auch auf nur nahezu punktförmigen Lichtquellen und ausgedehnte Lichtquellen nach DE 10 2019 105 358 B4 anwendbar.The explanation in the figures is done for the sake of easier understanding with point light sources (incandescent lamp symbols), the statements are also based on almost point-shaped light sources and extended light sources DE 10 2019 105 358 B4 applicable.

1 zeigt die bekannte Anordnung mit zwei Kameras C1 und C2 und zwei Punktlichtquellen L1 und L2, die sich in unmittelbarer Nähe von C1 bzw. C2 befinden. Aufgenommen wird ein Bild der Oberfläche 1 mit C1 bei Beleuchtung mit L2 (C1, L2 mit dicken Linien gezeichnet). R3 ist die hierbei wirksame Reflektionskeule. Entsprechend wird auch mit C2 ein Bild bei Beleuchtung L1 aufgenommen. Bei glänzender Reflektion an einem Oberflächenpunkt P sind in C1 und C2 die Grauwerte der korrespondierenden Punkte von P gleich. 1 shows the known arrangement with two cameras C1 and C2 and two point light sources L1 and L2, which are located in the immediate vicinity of C1 and C2. An image of surface 1 is recorded with C1 illuminated with L2 (C1, L2 drawn with thick lines). R3 is the effective reflection lobe. Correspondingly, an image with illumination L1 is also recorded with C2. In the case of a glossy reflection at a surface point P, the gray values of the corresponding points of P in C1 and C2 are the same.

2 zeigt die oben erwähnte Schwierigkeit, wenn Licht von L1 im Glanz zu C1 reflektiert wird („Rückstrahlung“). Die Helmholtz-Reziprozität gilt hier für L1/C1. Wird hier einerseits ein Bild mit C1 bei Beleuchtung L2 und andererseits ein Bild mit C2 bei Beleuchtung L1 aufgenommen, so sind in C1 und C2 bei schmalen Reflektionskeulen die Grauwerte der korrespondierenden Punkte beide Null. Das wäre nicht weiter störend, wenn es nur punktuell so wäre, aber das kann durchaus über einen großen Bereich auf der Oberfläche 1 so sein. Man ist hier also auf den Diffusanteil angewiesen. Da die Leuchtdichte bei Lambert'scher Reflektion abhängig von der Beleuchtung und unabhängig von der Betrachtungsrichtung ist, ist der Diffusanteil bei gleicher Beleuchtung in beiden Kameras gleich. Nimmt man hierfür die Beleuchtung L1, so erscheint zwar in C2 der Diffusanteil, aber in C1 wird der Diffusanteil durch die stark spiegelnde Reflektion aus L1 überlagert. Entsprechendes gilt andererseits für L2/C2. 2 shows the above-mentioned difficulty when light is reflected from L1 in specularity to C1 ("reflection"). The Helmholtz reciprocity applies here to L1/C1. If on the one hand an image is recorded with C1 with illumination L2 and on the other hand an image with C2 with illumination L1, the gray values of the corresponding points in C1 and C2 are both zero with narrow reflection lobes. That wouldn't be particularly disturbing if it were only selectively so, but that can definitely be the case over a large area on the surface 1. One is therefore dependent on the diffuse component here. Since the luminance with Lambertian reflection depends on the lighting and is independent of the viewing direction, the diffuse component is the same in both cameras with the same lighting. If you take the lighting L1 for this, the diffuse component appears in C2, but the diffuse component is superimposed in C1 by the strongly specular reflection from L1. On the other hand, the same applies to L2/C2.

Im Gegensatz zum Stand der Technik werden bei der hier vorgestellten Erfindung polarisierte Beleuchtungen in einer speziellen Anordnung und Polarisationsrichtung und Zuordnung zu den Kameras verwendet, sowie einfache Polarisationsfilter mit spezieller Polarisationsrichtung im jeweiligen Strahlengang zu den Bildaufnehmern (Bildsensoren) der Kameras. Als Polarisationsfilter genügen einfache lineare Filter, ersatzweise können auch zirkulare Filter eingesetzt werden (bei geeigneter Reihenfolge Linearfilter/Lambda-Viertel-Platte).In contrast to the prior art, the invention presented here uses polarized illumination in a special arrangement and polarization direction and assignment to the cameras, as well as simple polarization filters with a special polarization direction in the respective beam path to the image recorders (image sensors) of the cameras. Simple linear filters are sufficient as polarization filters; alternatively, circular filters can also be used (with a suitable sequence of linear filters/Lambda quarter plate).

Zur Erstellung eines Abstandsbildes einer Oberfläche 1 mittels zwei Kameras C1 und C2 in Stereoanordnung und mit zwei Beleuchtungen sind die zwei Beleuchtungen L1 und L2 so angeordnet, dass, wenn Strahlen von der ersten Beleuchtung L1 auf einem Oberflächenpunkt P im Glanzwinkel zur zweiten Kamera C2 reflektiert werden, auch Strahlen von der zweiten Beleuchtung L2 auf zumindest näherungsweise an demselben Oberflächenpunkt P im Glanzwinkel zur ersten Kamera C1 reflektiert werden.To create a distance image of a surface 1 using two cameras C1 and C2 in a stereo arrangement and with two lights, the two lights L1 and L2 are arranged such that when rays from the first light L1 are reflected on a surface point P at the glancing angle to the second camera C2 , rays from the second illumination L2 are also reflected at least approximately at the same surface point P in the glancing angle to the first camera C1.

Die Anordnung ist dadurch gekennzeichnet,
dass sich im Strahlengang jeder Kamera ein Polarisationsfilter befindet, mit je einer Polarisationsrichtung, der Polarisationsrichtung der ersten Kamera rC1, und der Polarisationsrichtung der zweiten Kamera rC2,
und dass die Beleuchtung L1 mit einer ersten Polarisationsrichtung rL1 arbeitet und die zweite weitere Beleuchtung L2 mit einer zweiten Polarisationsrichtung rL2 arbeitet,
und dass die Kamera- und Beleuchtungs-Polarisationsrichtungen so orientiert sind, dass Licht von L1, das an der Oberfläche nach Kamera C1 spiegelnd reflektiert wird, an Rc1 im Wesentlichen gesperrt wird und dass Licht von L2, das an der Oberfläche nach Kamera C2 spiegelnd reflektiert wird, an Rc2 im Wesentlichen gesperrt wird.
und dass Licht, das von L1 nach C2 spiegelnd reflektiert wird, an Rc2 im Wesentlichen durchgelassen wird und Licht, das von L2 nach C1 spiegelnd reflektiert wird, an Rc1 im Wesentlichen durchgelassen wird.
The arrangement is characterized by
that in the beam path of each camera there is a polarization filter, each with a polarization direction, the polarization direction of the first camera rC1, and the polarization direction of the second camera rC2,
and that the illumination L1 works with a first polarization direction rL1 and the second further illumination L2 works with a second polarization direction rL2,
and that the camera and illumination polarization directions are oriented such that light from L1 specularly reflected at the surface toward camera C1 is substantially blocked at Rc1 and light from L2 specularly reflected at the surface toward camera C2 is essentially blocked at Rc2.
and that light specularly reflected from L1 to C2 is substantially transmitted at Rc2 and light specularly reflected from L2 to C1 is substantially transmitted at Rc1.

Hierbei können sich die Polarisationsfilter im Strahlengang der Kameras vor dem Objektiv oder im Objektiv oder zwischen Objektiv und Bildaufnehmer der j eweiligen Kamera befinden. Die erfindungsgemäßen Polarisationsfilter im Strahlengang der Kameras sind auch realisiert in Polarisationskameras mit ihren (typisch 2x2-) Pixel-Polarisationsfilteranordnungen verschiedener Polarisationsrichtungen, bei denen die Pixel einer einzelnen, ausgewählten Polarisationsrichtung erfassbar sind.The polarization filters can be located in the beam path of the cameras in front of the lens or in the lens or between the lens and the image recorder of the respective camera. The polarization filters according to the invention in the beam path of the cameras are also implemented in polarization cameras with their (typically 2×2) pixel polarization filter arrangements of different polarization directions, in which the pixels of a single, selected polarization direction can be detected.

Die Polarisationsrichtungen werden bei der Konfigurierung des Systems oder bei einem Servicefall entsprechend den beschriebenen Bedingungen eingerichtet und fixiert und bleiben im laufenden Betrieb für unterschiedliche Oberflächen erhalten. Für die letzte Bedingung (L1 nach C2 und L2 nach C1) verwendet man vorteilhaft einen zentralen Punkt des gesamten Auswertebereichs und dort eine mittlere zu erwartende Oberflächenneigung.The polarization directions are set up and fixed when configuring the system or in the event of a service case according to the conditions described and are retained for different surfaces during operation. For the last condition (L1 to C2 and L2 to C1) it is advantageous to use a central point of the entire evaluation area and an average surface inclination to be expected there.

Erläuterung zum GlanzanteilExplanation of the gloss content

3a und 3b zeigen die Lösung für den Glanzanteil, mit den Reflektionskeulen R3. Bei 3a sind Kamera C1 und Beleuchtung L2 aktiv, bei 3b sind Kamera C2 und Beleuchtung L1 aktiv. Betrachtet wird in 3a/b ein zentraler Punkt P der Oberfläche. Hierbei sind die Glanzanteile in beiden Kameras gleich, da dieser Lichtanteil, von L1 nach C2 reflektiert, im Wesentlichen durchgelassen wird und der Lichtanteil, von L2 nach C1 reflektiert, im Wesentlichen durchgelassen wird. 3a and 3b show the solution for the gloss component, with the reflection lobes R3. At 3a Camera C1 and lighting L2 are active at 3b camera C2 and lighting L1 are active. is viewed in 3a/b a central point P of the surface. In this case, the gloss components are the same in both cameras, since this light component, reflected from L1 to C2, is essentially transmitted and the light component, reflected from L2 to C1, is essentially transmitted.

Liegt ein Oberflächenpunkt dezentral, wie in den 4a und 4b (aus Richtung des Betrachters von 4a/b nach hinten oder vorne), so wird bei spiegelnder Reflektion von L1 nach C2 die Polarisationsrichtung um einen Winkel gedreht und von L2 nach C1 um denselben Winkel gedreht, nur mit umgekehrtem Vorzeichen (gesehen aus Richtung der jeweils betrachtenden Kamera). Dadurch ergibt sich aufgrund der Filter rC1/rC2 eine Abschwächung des Glanzanteils, diese Abschwächung ist aber für beide Kameras gleich, da die Drehwinkel betragsmäßig gleich sind.If a surface point is decentralized, as in the 4a and 4b (from the viewer's direction of 4a/b backwards or forwards), then with specular reflection from L1 to C2, the polarization direction is rotated by an angle and from L2 to C1 by the same angle, only with the opposite sign (seen from the direction of the viewing camera). Due to the filters rC1/rC2, this results in a weakening of the gloss component, but this weakening is the same for both cameras, since the angles of rotation are the same in terms of amount.

Zu den in den Figuren eingezeichneten Polarisationsrichtungen: Sowohl bei den Beleuchtungen als auch bei den Kameras sind die Polarisationsrichtungen der entsprechenden Polarisationsfilter eingezeichnet; der Verständlichkeit halber wird in den Figuren einfach unterschieden zwischen HOR, horizontal schraffiert, und VER, vertikal schraffiert. Dies entspricht dem folgenden Sonderfall: bei VER liegt die Polarisationsrichtung zumindest näherungsweise in der Einfallsebene für einen zentralen Punkt, bei HOR quer dazu. Hierbei wird die Einfallsebene durch den einfallenden Strahl und das Lot auf ein Oberflächenelement aufgespannt. Entsprechendes gilt für die horizontal/vertikal gezeichneten Polarisations-Richtungspfeile R3. In 4a/b sind bei verdrehter Polarisationsrichtung die symbolischen Richtungspfeile 3 verdreht gezeichnet.Regarding the directions of polarization drawn in the figures: The directions of polarization of the corresponding polarization filters are drawn in both for the illuminations and for the cameras; for the sake of clarity, the figures simply distinguish between HOR, horizontally hatched, and VER, vertically hatched. This corresponds to the following special case: with VER, the direction of polarization lies at least approximately in the plane of incidence for a central point, with HOR transversely to it. Here, the plane of incidence is spanned by the incident beam and the perpendicular to a surface element. The same applies to the polarization direction arrows R3 drawn horizontally/vertically. In 4a/b the symbolic directional arrows 3 are shown rotated with a rotated direction of polarization.

Wichtig ist dabei lediglich: durch die Filter werden in C1 die polarisierten Komponenten von L1 im Wesentlichen geblockt, ebenso in C2 die polarisierten Komponenten von L2. Umgekehrt werden in C1 die polarisierten Komponenten von L2 im Wesentlichen durchgelassen, ebenso in C2 die polarisierten Komponenten von L1.The only important thing is that the polarized components of L1 in C1 are essentially blocked by the filters, as are the polarized components of L2 in C2. Conversely, in C1 the polarized components of L2 are essentially transmitted, as are the polarized components of L1 in C2.

Man kann also sowohl alle HOR-Filter als auch alle VER-Filter um z.B. 45 Grad drehen und dabei die gleichen erwünschten Effekte erreichen.So you can rotate all HOR filters as well as all VER filters by e.g. 45 degrees and achieve the same desired effects.

Nicht immer wird man vollständiges Durchlassen bzw. Blockieren erreichen, aber die Effekte sind ausreichend, um die gewünschten Ergebnisse zu erzielen.You won't always get full pass or block, but the effects are enough to get the desired results.

5 zeigt die Behebung der o.g. Schwierigkeit, wenn Licht von L1 im Glanz zu C1 reflektiert wird. Durch das Filter rC1 wird verhindert, dass das polarisierte Licht von L1 zu C1 gelangt. 5 shows the elimination of the above problem when light from L1 is reflected to C1 in the gloss. The filter rC1 prevents the polarized light from reaching C1 from L1.

Wenn L1 und C1 nah beisammen liegen, entspricht die Reflektion 5 einer spiegelnden Reflektion an einer senkrecht zum polarisierten Beleuchtungsstrahl liegenden Ebene. Bei spiegelnder Rückreflektion gibt es zwar einen Phasensprung, aber die Polarisationsrichtung bleibt erhalten und damit die Sperrung durch den quer zur Polarisationsrichtung liegenden Polarisationsfilter rC 1. Dieser Effekt wird bei weiter auseinander liegenden L1/ C1 nur wenig abgeschwächt.If L1 and C1 are close together, the reflection will match 5 a specular reflection at a plane perpendicular to the polarized illuminating beam. In the case of specular back-reflection, there is a phase jump, but the direction of polarization is retained and thus the blocking by the polarization filter rC 1, which is transverse to the direction of polarization, is only slightly weakened if L1/ C1 are further apart.

Polarisierte Beleuchtung zu verwenden, um anschließend in den Kameras die polarisierte Komponente teilweise aus der Auswertung wieder herauszunehmen, erscheint auf den ersten Blick absurd. Die Vorteile werden klar, wenn man das im Zusammenhang mit der Diffusanteil betrachtet.Using polarized lighting in order to then partially remove the polarized component from the evaluation in the cameras seems absurd at first glance. The advantages become clear when you look at this in the context of the diffuse component.

Erläuterung zum DiffusanteilExplanation of the diffuse portion

Allgemein gilt: Wenn polarisiertes Licht auf eine Lambert'sch diffus reflektierende Oberfläche trifft, wird es depolarisiert. Bei Beleuchtung von L1 gelangt ein Teil der diffus reflektierten, also depolarisierten Komponente durch das Polarisationsfilter rC1. Entsprechendes gilt genauso für L2 und rC2.In general, when polarized light hits a Lambertian diffuse reflecting surface, it becomes depolarized. When L1 is illuminated, part of the diffusely reflected, i.e. depolarized, component passes through the polarization filter rC1. The same applies to L2 and rC2.

6a zeigt den Diffusanteil R2 bei Beleuchtung durch L1. Die Leuchtdichte ist, wie oben erwähnt, bei diffuser Reflektion unabhängig von der Betrachtungsrichtung und somit für beide Kameras prinzipiell gleich. Der Diffusanteil wird in den Figuren durch den Kreis R2 angedeutet. Das Sternsymbol 2 soll unpolarisiertes Licht andeuten. Das Pfeilsymbol 3 soll polarisiertes Licht andeuten. Von dem für beide Kameras gleichen Diffusanteil wird von den beiden Polarisationsfiltern rC1 und rC2 der gleiche Anteil durchgelassen. Das gilt für beliebige Kippwinkel der Oberfläche 1 an der reflektierenden Stelle. 6a shows the diffuse component R2 when illuminated by L1. As mentioned above, in the case of diffuse reflection, the luminance is independent of the viewing direction and is therefore in principle the same for both cameras. The diffuse component is indicated in the figures by the circle R2. The star symbol 2 is intended to indicate unpolarized light. The arrow symbol 3 is intended to indicate polarized light. The two polarization filters rC1 and rC2 allow the same part of the diffuse part that is the same for both cameras. This applies to any tilt angle of the surface 1 at the reflecting point.

6b zeigt die Situation bei Beleuchtung durch L2. Hier ist der Beleuchtungswinkel flacher und der diffuse Lichtanteil entsprechend schwächer, angedeutet durch den in 6b kleineren Kreis R2. 6b shows the situation when illuminated by L2. Here the illumination angle is flatter and the diffuse light component is correspondingly weaker, indicated by the in 6b smaller circle R2.

7 zeigt den Diffusanteil für eine symmetrische Situation, also symmetrischer Beleuchtungs- /Kameraposition. Anzumerken ist, dass in symmetrischer Situation, wenn die Glanzanteile L1/C2 und L2/C1 gleich sind (3 und 4), bei lokal isotropen Oberflächen auch die Diffusanteile L1/C1, L1/C2, L2/C1, L2/C2 alle gleich sind (betragsmäßig gleiche Einfallswinkel). 7 shows the diffuse component for a symmetrical situation, i.e. symmetrical lighting/camera position. It should be noted that in a symmetrical situation, if the specular parts L1/C2 and L2/C1 are equal ( 3 and 4 ), at locally isotro pen surfaces, the diffuse components L1/C1, L1/C2, L2/C1, L2/C2 are all the same (the same angle of incidence in terms of amount).

Vorteilhaft befindet sich die erste Beleuchtung L1 ringförmig um die optische Achse der ersten Kamera C1, s. 8, und die zweite Beleuchtung L2 ringförmig um die optische Achse der zweiten Kamera C2. Damit werden die Bedingungen für die Nutzung der Helmholtz-Reziprozität (Beleuchtung L1/2 auf der optischen Achse von C1/2) gut angenähert.The first illumination L1 is advantageously located in a ring around the optical axis of the first camera C1, see FIG. 8th , and the second illumination L2 annularly around the optical axis of the second camera C2. The conditions for using the Helmholtz reciprocity (illumination L1/2 on the optical axis of C1/2) are thus well approximated.

Zur Bestimmung der Korrespondenzen:To determine the correspondences:

Wir gehen der Anschaulichkeit halber zunächst davon aus, dass 4 getrennte Bilder aufgenommen werden:

  • Mit Kamera C1 („links“) unter Beleuchtung von L1 („links“), kurz Livonli.
  • Mit Kamera C1 („links“) unter Beleuchtung von L2 („rechts“), kurz Livonre.
  • Mit Kamera C2 („rechts“) unter Beleuchtung von L1 („links“), kurz Revonli.
  • Mit Kamera C2 („rechts“) unter Beleuchtung von L2 („rechts“), kurz Revonre.
For the sake of clarity, we assume that 4 separate images are taken:
  • With camera C1 (“left”) under illumination of L1 (“left”), Livonli for short.
  • With camera C1 (“left”) under illumination of L2 (“right”), Livonre for short.
  • With camera C2 (“right”) under illumination of L1 (“left”), Revonli for short.
  • With camera C2 (“right”) under illumination of L2 (“right”), Revonre for short.

Für jedes dieser Bilder gibt es einen Glanzanteil und einen Diffusanteil, kurz Livonliglanz, Livonlidiffus, Livonreglanz, etc,
mit Livonli = Livonli glanz + Livonli diffus ,

Figure DE102022104041B3_0001
Livonre = Livonre glanz + Livonre diffus ,
Figure DE102022104041B3_0002
etc.For each of these images there is a gloss component and a diffuse component, in short Livonli gloss, Livonli diffuse, Livonre gloss, etc.
with Livonli = Livonli shine + Livonli diffuse ,
Figure DE102022104041B3_0001
Livonre = Livonre shine + Livonre diffuse ,
Figure DE102022104041B3_0002
Etc.

Wegen Livonliglanz=0, Revonreglanz=0 (Blockung durch gekreuzte Polarisationsrichtungen rL1 und rC1, sowie rL2 und rC2) gilt Livonre + Livonli = Livonre glanz + Livonre diffus + Livonli diffus ,

Figure DE102022104041B3_0003
und analog: Revonli + Revonre = Revonli glanz + revonli diffus + Revonre diffus .
Figure DE102022104041B3_0004
Due to Livoni gloss=0, Revonre gloss=0 (blocking by crossed polarization directions rL1 and rC1, as well as rL2 and rC2) applies Livonre + Livonli = Livonre shine + Livonre diffuse + Livonli diffuse ,
Figure DE102022104041B3_0003
and by analogy: Revonli + revenge = Revonli shine + revonli diffuse + revenge diffuse .
Figure DE102022104041B3_0004

Damit gilt Livonre + Livonli = Revonli + Revonre

Figure DE102022104041B3_0005
wegen Revonlidiffus=Livonreglanz
und
Revonlidiffus=Livonlidiffus (diffus, gleiche Beleuchtung, also unabh. von Betrachtungsrichtung), und
Livonrediffus=Revonrediffus (diffus, gleiche Beleuchtung, also unabh. von Betrachtungsrichtung).With that applies Livonre + Livonli = Revonli + revenge
Figure DE102022104041B3_0005
because of Revonlidiffuse=Livonreglanz
and
Revonlidiffus=Livonlidiffus (diffuse, same lighting, i.e. independent of viewing direction), and
Livonrediffus=Revonrediffus (diffuse, same lighting, i.e. independent of viewing direction).

Diese beiden Bilder (Livonre + Livonli) und (Revonli + Revonre) werden vorteilhaft zur Korrespondenzbestimmung verwendet, was nach bekannten Methoden geschehen kann.These two images (Livonre+Livonli) and (Revonli+Revonre) are advantageously used to determine correspondence, which can be done using known methods.

Damit genügt es schlicht, beide Beleuchtungen L1 und L2 eingeschaltet zu lassen, um in C1 die Summe Livonre + Livonli aufzunehmen und gleichzeitig in C2 die Summe Revonli + Revonre. Es ist damit ist also die Bildaufnahme mit einem einzigen Schuss möglich.It is simply sufficient to leave both lights L1 and L2 switched on in order to record the sum of Livonre + Livonli in C1 and at the same time the sum of Revonli + Revonre in C2. It is thus possible to take a picture with a single shot.

Wenn allerdings von der in der DE 10 2019 105 358 B4 , Beschreibung zu 23 erklärten Methode zur Auswertung von Schlagschatten Gebrauch gemacht werden soll, erscheint zunächst eine separate Auswertung von Livonre und Revonli erforderlich.However, if from the in the DE 10 2019 105 358 B4 , description too 23 If the method explained for the evaluation of cast shadows is to be used, a separate evaluation of Livonre and Revonli appears necessary.

Zur Bildaufnahme mit einem einzigen Schuss:For single shot image acquisition:

9 zeigt die Auswertung der Schlagschattenbildung entsprechend DE 10 2019 105 358 B4 , 23; zur Bestimmung der in Kamera C1 sichtbaren Schlagschattenbereiche 4, die in der Kamera C2 nicht sichtbar sind und somit nicht zur Korrespondenzbestimmung beitragen können, wird L2 eingeschaltet. Symmetrisch dazu wird zur Bestimmung der in Kamera C2 sichtbaren Schlagschattenbereiche, die in der Kamera C1 nicht sichtbar sind und somit nicht zur Korrespondenzbestimmung beitragen können, L1 eingeschaltet. Dies geschieht durch zeitlich getrennte Auswertung von Livonre und Revonli. Bei dieser zeitlichen Trennung sind also 2 Schuss erforderlich. 9 shows the evaluation of the cast shadow formation accordingly DE 10 2019 105 358 B4 , 23 ; L2 is switched on to determine the cast shadow areas 4 visible in camera C1, which are not visible in camera C2 and therefore cannot contribute to the determination of correspondence. Symmetrically to this, L1 is switched on to determine the cast shadow areas visible in camera C2, which are not visible in camera C1 and therefore cannot contribute to the correspondence determination. This is done by evaluating Livonre and Revonli at separate times. With this temporal separation, 2 shots are therefore required.

Zur Auswertung der Schlagschattenbildung kann die Bildaufnahme mit einem einzigen Schuss bei unbunten Oberflächen durch Trennung über Farbe geschehen. Hierzu sind die Beleuchtungen L1 und L2 mit unterschiedlichen Farben F1 bzw. F2 betreibbar und die beiden Kameras sind Farbkameras, die in der Lage sind, diese beiden Farben zu trennen.To evaluate the formation of hard shadows, the image can be recorded with a single shot on achromatic surfaces by separating them by color. For this purpose, the lights L1 and L2 can be operated with different colors F1 and F2, respectively, and the two cameras are color cameras that are able to separate these two colors.

Die Bildaufnahme mit einem einzigen Schuss ist auch bei bunten Oberflächen wie folgt möglich, siehe 10:

  • Die Beleuchtung L1 erfolgt mit zwei Spektralbereichen, sL0 und SL1. Die Beleuchtung L2 erfolgt mit zwei Spektralbereichen, sL0 und sL2. Die Kamera C1 kann nach der Bildaufnahme in einem Spektralbereich sC0 arbeiten, der mit Spektralbereich sL0 überlappt und in einem Spektralbereich sC2, der mit Spektralbereich sL2 überlappt. Die Kamera C2 kann nach der Bildaufnahme in dem Spektralbereich sC0 arbeiten und in einem Spektralbereich sC1, der mit Spektralbereich sL1 überlappt. Dabei überlappen sich die Spektralbereiche sL1 und sC0 nicht oder nur wenig, ebenso die Spektralbereiche sL2 und sC0.
Image acquisition with a single shot is also possible with colored surfaces as follows, see 10 :
  • The illumination L1 takes place with two spectral ranges, sL0 and SL1. The lighting L2 takes place with two spectral ranges, sL0 and sL2. After the image recording, the camera C1 can work in a spectral range sC0 that overlaps with spectral range sL0 and in a spectral range sC2 that overlaps with spectral range sL2. The camera C2 can post of the image recording work in the spectral range sC0 and in a spectral range sC1 that overlaps with the spectral range sL1. The spectral ranges sL1 and sC0 do not overlap, or only slightly, as do the spectral ranges sL2 and sC0.

Und dabei überlappen sich die Spektralbereiche sL1 und sC2 nicht oder nur wenig, ebenso die Spektralbereiche sL2 und sC1.And the spectral ranges sL1 and sC2 do not overlap, or only slightly, as do the spectral ranges sL2 and sC1.

Technisch sind Beleuchtung-Spektralbereiche sL0, sL1 und sL2 bevorzugt durch die Zusammensetzung schmalbandiger Leuchtioden realisierbar, wie in 10 durch Pfeile angedeutet; bei üblichen Farbkameras sind die Spektralbereiche sC0, sC1 und sC2 breitbandige Bereiche, wie in 10 durch Kurven angedeutet.Technically, lighting spectral ranges sL0, sL1 and sL2 can be realized preferably by assembling narrow-band light-emitting diodes, as in 10 indicated by arrows; With conventional color cameras, the spectral ranges sC0, sC1 and sC2 are broadband ranges, as in 10 indicated by curves.

Zur Schlagschattenbestimmung können die durch die Kameras C1 bzw. C2 aufgenommenen Bilder weiterverarbeitet werden. Hierzu verarbeitet Kamera C1 das von ihr aufgenommene Bild im Spektralbereich sC2 weiter und Kamera C2 verarbeitet das von ihr aufgenommene Bild im Spektralbereich sC1 weiter. Unter den beschriebenen Umständen erscheinen die Schlagschattenbereiche in den von den beiden Kameras aufgenommenen Bildern schwarz oder nahezu schwarz. Damit sind die Schattenbereiche leicht zu bestimmen.The images recorded by the cameras C1 and C2 can be further processed to determine the cast shadow. For this purpose, camera C1 further processes the image recorded by it in the spectral range sC2 and camera C2 further processes the image recorded by it in the spectral range sC1. Under the circumstances described, the drop shadow areas appear black or nearly black in the images captured by the two cameras. This makes it easy to determine the shadow areas.

Hierbei ist sicherzustellen, dass dabei die in beiden Kameras sichtbaren Oberflächenteile wenn vielleicht auch geringe, so doch noch auswertbare Anteile liefern, sonst erscheinen diese Oberflächenteile auch schwarz und sind damit nicht von den Schlagschattenbereichen zu unterscheiden. Auf den in beiden Kameras sichtbaren Oberflächenteilen kann je nach Oberflächenfarbe eine subtraktive Farbmischung stattfinden, sodass diese auch schwarz erscheinen. Hier kommt einem glücklicherweise die Erscheinung entgegen, dass der Glanzanteil ohne Farbmischung reflektiert wird, und der Glanzanteil wird ja in der hier relevanten Betriebsweise (Licht von L1 nach C2 und von L2 nach C1) von den Polarisationsfiltern durchgelassen.Here it must be ensured that the parts of the surface that are visible in both cameras still deliver, albeit small, parts that can still be evaluated, otherwise these parts of the surface also appear black and are therefore indistinguishable from the hard shadow areas. Depending on the surface color, a subtractive color mixture can take place on the surface parts visible in both cameras, so that they also appear black. Fortunately, the phenomenon that the gloss component is reflected without color mixing, and the gloss component is let through by the polarization filters in the operating mode relevant here (light from L1 to C2 and from L2 to C1) is fortunate.

Bei Verwendung von Multispektralkameras lassen sich die Forderungen an die Spektralbereiche sehr gut erfüllen, wobei die benannten Spektralbereiche nicht bündig sein müssen, also aus disjunkten Einzelbereichen bestehen können.When using multispectral cameras, the requirements for the spectral ranges can be met very well, with the specified spectral ranges not having to be contiguous, i.e. they can consist of disjunctive individual ranges.

Allgemeine VorteileGeneral Benefits

Nach der Erfindung werden Abstandsbilder einer Oberfläche mittels Stereoanalyse ermöglicht ohne Bewegung (beim Laser-Lichtschnitt ist Bewegung erforderlich, die mit der Signalverarbeitung synchronisiert werden muss), ohne aufwendige Muster-Projektionseinrichtungen, mit einfach zu realisierenden Beleuchtungseinheiten und mit preiswerten, leicht auf dem Markt verfügbaren Standard Grauwert- oder Farbkameras. Es ist mit derselben Anordnung die Auswertung von sowohl örtlich als auch anteilmäßig gemischt diffus und spiegelnd reflektierenden Oberflächen möglich, ohne dass bekannt ist, wie diese Materialeigenschaften auf der Oberfläche verteilt sind.According to the invention, distance images of a surface are made possible by means of stereo analysis without movement (the laser light section requires movement that must be synchronized with the signal processing), without complex pattern projection devices, with lighting units that are easy to implement and with inexpensive, easily available on the market Standard greyscale or color cameras. With the same arrangement, it is possible to evaluate both locally and proportionately mixed diffuse and specular reflecting surfaces without knowing how these material properties are distributed on the surface.

Bei Time-of-Flight-Systemen sind unabhängig von der Bildfeldgröße und der Kamera-Auflösung auch bei kleinen Bildfeldern aus physikalischen Gründen Genauigkeitsgrenzen gesetzt; hier ist im Gegensatz dazu die erreichbare Genauigkeit mit zunehmender Kamera-Auflösung und/oder durch „Stitching“ mehrerer kleiner Bildfelder prinzipiell beliebig steigerbar.For physical reasons, time-of-flight systems have accuracy limits, regardless of the size of the image field and the camera resolution, even for small image fields; in contrast to this, the achievable accuracy can in principle be increased at will with increasing camera resolution and/or by "stitching" several small image fields.

Glanzlichter, sonst sehr störend, da bei konventionellem Stereo in den beiden Kameras i.a. an verschiedenen Oberflächenstellen auftauchend, tauchen hier an derselben Oberflächenstelle auf. Ein sonst gravierendes Problem mit Glanzstellen wird so zum Vorteil.Highlights, otherwise very disturbing, since with conventional stereo in the two cameras i.a. appearing at different surface locations, appearing at the same surface location here. An otherwise serious problem with shiny spots becomes an advantage.

Schlagschatten sind bei konventionellem Stereo teilweise in beiden Kameras sichtbar, teilweise nur in einer, und wenn in beiden Kameras sichtbar, erscheinen sie i.a. mit unterschiedlicher Helligkeit. Und sie sind schwer von in beiden Kameras sichtbaren, dunklen Oberflächenregionen zu unterscheiden. Schlagschatten stellen also bei konventionellem Stereo ein großes Problem dar. Mit der erfindungsgemäßen Anordnung tauchen Schlagschattenbereiche nur in einer der beiden Kameras auf und können vorab aus der Korrespondenzbestimmung herausgenommen werden.In conventional stereo, drop shadows are sometimes visible in both cameras, sometimes only in one, and if visible in both cameras, they generally appear with different brightness. And they are difficult to distinguish from dark surface regions visible in both cameras. Cast shadows therefore represent a major problem with conventional stereo. With the arrangement according to the invention, cast shadow areas only appear in one of the two cameras and can be removed from the correspondence determination in advance.

Es ist die Bildaufnahme mit einem einzigen Schuss möglich und kann damit auch bei schneller Bewegung (Kamera oder Oberfläche) stattfinden.It is possible to take a picture with a single shot and can therefore also take place with fast movement (camera or surface).

Weitere Varianten der ErfindungFurther variants of the invention

Farbe:Color:

Bei bunten Oberflächen können vorteilhaft Farbkameras verwendet werden: Statt bei der Korrespondenzbestimmung einzelne Grauwerte oder Inhalte von Grauwertfenstern zu vergleichen, braucht man nur die Farbwerte oder Inhalte von Farbwertfenstern zu vergleichen, z.B. die Rot-Grün-Blau-Werte. Bei bunten Oberflächen wird dadurch die Auswertung gegenüber reiner Intensitätsauswertung vereinfacht und das Ergebnis verbessert.Color cameras can be used to advantage for colored surfaces: Instead of comparing individual gray values or the contents of gray value windows when determining correspondence, you only need to compare the color values or contents of color value windows, e.g. the red-green-blue values. In the case of colored surfaces, this simplifies the evaluation compared to pure intensity evaluation and improves the result.

Spezielle Kameratypen:Special camera types:

Natürlich sind auch HDR-Kameras einsetzbar zur Erweiterung des Dynamikbereiches.Of course, HDR cameras can also be used to expand the dynamic range.

Die Erfindung ist nicht auf die Verwendung von 2D-Kameras beschränkt, sondern es können auch ohne Modifikationen Zeilenkameras, also Kameras, bei denen nur eine oder sehr wenige direkt oder nah benachbarte Zeilen abgetastet werden, verwendet werden.The invention is not limited to the use of 2D cameras, but line cameras, ie cameras in which only one or very few directly or closely adjacent lines are scanned, can also be used without modifications.

Mehrere Kamerapaare:Multiple Camera Pairs:

Die bisherigen Betrachtungen beziehen sich auf jeweils nur ein einzelnes Stereo-Kamerapaar. Mit mehreren Kamerapaaren kann pro Kamerapaar ein eigenes Abstandsbild erstellt werden, mehrere Abstandsbilder können mit bekannten Methoden zu einem gemeinsamen Abstandsbild fusioniert werden, wodurch eine Genauigkeitserhöhung und/oder eine Auswertebereichs-Vergrößerung („Stitching“) erreicht wird.The previous considerations relate to only one single stereo camera pair. With several pairs of cameras, a separate distance image can be created for each pair of cameras. Several distance images can be merged using known methods to form a common distance image, which results in an increase in accuracy and/or an enlargement of the evaluation area (“stitching”).

Auswerteeinheit:Evaluation unit:

Die Bildauswertung der Spektralanteile kann in zumindest einer der beiden Kameras C1, C2 („intelligente Kameras“) durchgeführt werden oder in einer von den Kameras getrennten Auswerteeinheit wie einem PC stattfinden oder in einer Auswerteeinheit, an die lediglich die Bildsensoren der Kameras angeschlossen sind. In diesem Sinne ist „die Kamera C.... kann nach der Bildaufnahme in einem Spektralbereich ... arbeiten“ und „die Kamera C... verarbeitet das von ihr aufgenommene Bild“ zu verstehen.The image evaluation of the spectral components can be carried out in at least one of the two cameras C1, C2 ("intelligent cameras") or take place in an evaluation unit separate from the cameras, such as a PC, or in an evaluation unit to which only the image sensors of the cameras are connected. It is in this sense that "camera C.... can work in a spectral range... after the image has been recorded" and "camera C... processes the image it has recorded".

Claims (12)

Anordnung zur Aufnahme von Bildern einer Oberfläche (1) mittels einer ersten Kamera (C1) zur Aufnahme zumindest eines ersten Bildes der Oberfläche (1) und einer zweiten Kamera (C2) zur Aufnahme zumindest eines zweiten Bildes der Oberfläche (1) in Stereoanordnung und mit einer ersten Beleuchtung (L1) und einer zweiten Beleuchtung (L2), wobei die erste Beleuchtung (L1) und die zweite Beleuchtung (L2), so angeordnet sind, dass, wenn Strahlen von der ersten Beleuchtung (L1) auf einem Oberflächenpunkt (P) im Glanzwinkel zur zweiten Kamera (C2) reflektiert werden, Strahlen von der zweiten Beleuchtung (L2) auf zumindest näherungsweise demselben Oberflächenpunkt (P) im Glanzwinkel zur ersten Kamera (C1) reflektiert werden, dadurch gekennzeichnet, dass im Strahlengang der ersten Kamera (C1) ein erstes Polarisationsfilter mit einer ersten Polarisationsrichtung (rC1) positioniert ist und im Strahlengang der zweiten Kamera (C2) ein zweites Polarisationsfilter mit einer zweiten Polarisationsrichtung (rC2) positioniert ist, und dass die erste Beleuchtung (L1) mit einer ersten Polarisationsrichtung (rL1) arbeiten kann und die zweite Beleuchtung (L2) mit einer zweiten Polarisationsrichtung (rL2) arbeiten kann, und dass die Kamera- und Beleuchtungs-Polarisationsrichtungen so orientiert sind, dass Licht von der ersten Beleuchtung (L1), das an der Oberfläche nach der ersten Kamera (C1) spiegelnd reflektiert wird, von dem ersten Polarisationsfilter (rC1) im Wesentlichen gesperrt wird, und dass Licht von der zweiten Beleuchtung (L2), das an der Oberfläche nach der zweiten Kamera (C2) spiegelnd reflektiert wird, von dem zweiten Polarisationsfilter (rC2) im Wesentlichen gesperrt wird, und dass Licht, das von der ersten Beleuchtung (L1) nach der zweiten Kamera (C2) spiegelnd reflektiert wird, von dem zweiten Polarisationsfilter (rC2) im Wesentlichen durchgelassen wird, und Licht, das von der zweiten Beleuchtung (L2) nach der ersten Kamera (C1) spiegelnd reflektiert wird, an dem ersten Polarisationsfilter im Wesentlichen durchgelassen wird.Arrangement for recording images of a surface (1) by means of a first camera (C1) for recording at least one first image of the surface (1) and a second camera (C2) for recording at least one second image of the surface (1) in a stereo arrangement and with a first illumination (L1) and a second illumination (L2), the first illumination (L1) and the second illumination (L2) being arranged such that when rays from the first illumination (L1) hit a surface point (P) are reflected in the glancing angle to the second camera (C2), rays from the second illumination (L2) are reflected on at least approximately the same surface point (P) in the glancing angle to the first camera (C1), characterized in that in the beam path of the first camera (C1) a first polarization filter with a first polarization direction (rC1) is positioned and in the beam path of the second camera (C2) a second polarization filter with a second polarization direction ng (rC2) and that the first illumination (L1) can operate with a first polarization direction (rL1) and the second illumination (L2) can operate with a second polarization direction (rL2), and that the camera and illumination polarization directions are oriented such that light from the first illumination (L1) specularly reflected at the surface downstream of the first camera (C1) is substantially blocked by the first polarizing filter (rC1) and that light from the second illumination (L2 ) specularly reflected at the surface after the second camera (C2) is substantially blocked by the second polarizing filter (rC2), and that light specularly reflected by the first illuminator (L1) after the second camera (C2). is substantially transmitted by the second polarizing filter (rC2), and light specularly reflected by the second illumination (L2) after the first camera (C1) at the first pole Arization filter is essentially allowed to pass. Anordnung nach Anspruch 1, wobei die erste Beleuchtung (L1) ringförmig um optische Achse der ersten Kamera (C1) und die zweite Beleuchtung (L2) ringförmig um die optische Achse der zweiten Kamera (C2) angeordnet ist.arrangement according to claim 1 , wherein the first illumination (L1) is arranged annularly around the optical axis of the first camera (C1) and the second illumination (L2) is arranged annularly around the optical axis of the second camera (C2). Anordnung nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die erste Beleuchtung (L1) mit einer ersten Farbe (F1) und die zweite Beleuchtung (L2) mit einer zweiten, von der ersten Farbe (F1) unterschiedlichen Farbe (F2) betreibbar sind und die beiden Kameras (C1, C2) Farbkameras sind, die in der Lage sind, die beiden Farben (F1 und F2) zu trennen.Arrangement according to one of the preceding claims, characterized in that the first lighting (L1) can be operated with a first color (F1) and the second lighting (L2) with a second color (F2) different from the first color (F1) and the two cameras (C1, C2) are color cameras capable of separating the two colors (F1 and F2). Anordnung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass - die erste Beleuchtung (L1) mit einem allgemeinen Beleuchtungsspektralbereich (sL0) und einem ersten speziellen Beleuchtungsspektralbereich (sL1) betreibbar ist, - die zweite Beleuchtung (L2) mit dem allgemeinen Beleuchtungsspektralbereich (sL0) und einem zweiten speziellen Beleuchtungsspektralbereich (sL2) betreibbar ist, - eine Auswertung zumindest eines durch die erste Kamera (C1) aufgenommenen ersten Bildes in einem allgemeinen Kameraspektralbereich (sC0), der mit dem allgemeinen Beleuchtungsspektralbereich (sL0) überlappt, und in einem zweiten Kamera-Spektralbereich (sC2), der mit dem zweiten Beleuchtungsspektralbereich (sL2) überlappt, erfolgen kann und - eine Auswertung zumindest eines durch die zweite Kamera (C2) aufgenommenen zweiten Bildes in dem allgemeinen Kameraspektralbereich (sC0) und in einem ersten Kamera-Spektralbereich (sC1) erfolgen kann, der mit dem ersten Beleuchtungsspektralbereich (sL1) überlappt, - wobei der erste Beleuchtungsspektralbereich (sL1) und der allgemeine Kameraspektralbereich (sC0) einander nicht oder nur wenig überlappen, und wobei der zweite Beleuchtungsspektralbereich (sL2) und der allgemeine Kameraspektralbereich (sC0) einander nicht oder nur wenig überlappen, - und wobei der erste Beleuchtungsspektralbereich (sL1) und der zweite Kameraspektralbereich (sC2) einander nicht oder nur wenig überlappen, und der zweite Beleuchtungsspektralbereich (sL2) und der erste Kameraspektralbereich (sC1) einander nicht oder nur wenig überlappen.arrangement according to claim 1 or 2 , characterized in that - the first lighting (L1) can be operated with a general lighting spectral range (sL0) and a first special lighting spectral range (sL1), - the second lighting (L2) with the general lighting spectral range (sL0) and a second special lighting spectral range ( sL2) can be operated, - an evaluation of at least one first image recorded by the first camera (C1) in a general camera spectral range (sC0) that overlaps with the general illumination spectral range (sL0), and in a second camera spectral range (sC2) that overlaps with the second illumination spectral range (sL2), and - an evaluation of at least one second image recorded by the second camera (C2) in the general camera spectral range (sC0) and in a first camera spectral range (sC1) which overlaps with the first illumination spectral range (sL1), - the first illumination spectral range (sL1) and the general camera spectral range (sC0) overlapping only slightly or not at all , and wherein the second illumination spectral range (sL2) and the general camera spectral range (sC0) do not overlap one another or only slightly, - and wherein the first illumination spectral range (sL1) and the second camera spectral range (sC2) do not overlap one another or only slightly, and the second illumination spectral range (sL2) and the first camera spectral range (sC1) overlap only slightly or not at all. Anordnung nach einem der vorigen Ansprüche, weiter umfassend eine Einrichtung zur Gewinnung von korrespondierenden Punktpaaren bezüglich Punkten der Objektoberfläche (1) aus dem zumindest einen ersten Bild und dem zumindest einen zweiten Bild.Arrangement according to one of the preceding claims, further comprising a device for obtaining corresponding point pairs with respect to points on the object surface (1) from the at least one first image and the at least one second image. Anordnung nach einem der vorigen Ansprüche, weiter umfassend eine Einrichtung zur Gewinnung eines Abstandsbildes der Objektoberfläche (1) aus dem zumindest einen ersten Bild und dem zumindest einen zweiten Bild.Arrangement according to one of the preceding claims, further comprising a device for obtaining a distance image of the object surface (1) from the at least one first image and the at least one second image. Verfahren zur Aufnahme von Bildern einer Oberfläche (1) mittels einer ersten Kamera (C1) und einer zweiten Kamera (C2) in Stereoanordnung und mit einer ersten Beleuchtung (L1) und einer zweiten Beleuchtung (L2), wobei die erste Beleuchtung (L1) und die zweite Beleuchtung (L2) so angeordnet sind, dass, wenn Strahlen von der ersten Beleuchtung (L1) auf einem Oberflächenpunkt (P) im Glanzwinkel zur zweiten Kamera (C2) reflektiert werden, Strahlen von der zweiten Beleuchtung (L2) auf zumindest näherungsweise demselben Oberflächenpunkt (P) im Glanzwinkel zur ersten Kamera (C1) reflektiert werden, dadurch gekennzeichnet, dass im Strahlengang der ersten Kamera (C1) ein erstes Polarisationsfilter mit einer ersten Polarisationsrichtung (rC1) positioniert ist und im Strahlengang der zweiten Kamera (C2) ein zweites Polarisationsfilter mit einer zweiten Polarisationsrichtung (rC2) positioniert ist, und dass die erste Beleuchtung (L1) mit einer ersten Polarisationsrichtung (rL1) arbeitet und die zweite Beleuchtung (L2) mit einer zweiten Polarisationsrichtung (rL2) arbeitet, und dass die Kamera- und Beleuchtungs-Polarisationsrichtungen so orientiert sind, dass Licht von der ersten Beleuchtung (L1), das an der Oberfläche nach der ersten Kamera (C1) spiegelnd reflektiert wird, von dem ersten Polarisationsfilter (rC1) im Wesentlichen gesperrt wird, und dass Licht von der zweiten Beleuchtung (L2), das an der Oberfläche nach der zweiten Kamera (C2) spiegelnd reflektiert wird, von dem zweiten Polarisationsfilter (rC2) im Wesentlichen gesperrt wird, und dass Licht, das von der ersten Beleuchtung (L1) nach der zweiten Kamera (C2) spiegelnd reflektiert wird, von dem zweiten Polarisationsfilter (rC2) im Wesentlichen durchgelassen wird, und Licht, das von der zweiten Beleuchtung (L2) nach der ersten Kamera (C1) spiegelnd reflektiert wird, an dem ersten Polarisationsfilter im Wesentlichen durchgelassen wird, und dass mit der ersten Kamera (C1) zumindest ein erstes Bild der Oberfläche (1) aufgenommen wird und mit der zweiten Kamera (C2) zumindest ein zweites Bild der Oberfläche (1) aufgenommen wird.Method for recording images of a surface (1) by means of a first camera (C1) and a second camera (C2) in a stereo arrangement and with a first illumination (L1) and a second illumination (L2), the first illumination (L1) and the second illumination (L2) are arranged such that when rays from the first illumination (L1) are reflected on a surface point (P) in the glancing angle to the second camera (C2), rays from the second illumination (L2) on at least approximately the same Surface point (P) are reflected in the specular angle to the first camera (C1), characterized in that a first polarization filter with a first polarization direction (rC1) is positioned in the beam path of the first camera (C1) and a second one is positioned in the beam path of the second camera (C2). Polarization filter with a second polarization direction (rC2) is positioned, and that the first illumination (L1) with a first polarization direction (rL1) works and the z far illumination (L2) operates with a second polarization direction (rL2), and that the camera and illumination polarization directions are oriented such that light from the first illumination (L1) specularly reflecting at the surface downstream of the first camera (C1). is substantially blocked by the first polarizing filter (rC1), and that light from the second illumination (L2) specularly reflected at the surface downstream of the second camera (C2) is substantially blocked by the second polarizing filter (rC2). and that light specularly reflected by the first illumination (L1) after the second camera (C2) is substantially transmitted by the second polarizing filter (rC2), and light reflected by the second illumination (L2) after the first camera (C1) is specularly reflected, is essentially transmitted through the first polarization filter, and that with the first camera (C1) at least a first image of the surface (1) au f is taken and with the second camera (C2) at least a second image of the surface (1) is recorded. Verfahren nach Anspruch 7, wobei die erste Beleuchtung (L1) ringförmig um optische Achse der ersten Kamera (C1) und die zweite Beleuchtung (L2) ringförmig um die optische Achse der zweiten Kamera (C2) angeordnet ist.procedure after claim 7 , wherein the first illumination (L1) is arranged annularly around the optical axis of the first camera (C1) and the second illumination (L2) is arranged annularly around the optical axis of the second camera (C2). Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die erste Beleuchtung (L1) mit einer ersten Farbe (F1) und die zweite Beleuchtung (L2) mit einer zweiten, von der ersten Farbe (F1) unterschiedlichen Farbe (F2) betrieben wird und die beiden Kameras (C1, C2) Farbkameras sind, die in der Lage sind, die beiden Farben (F1 und F2) zu trennen.procedure after claim 7 or 8th , characterized in that the first lighting (L1) is operated with a first color (F1) and the second lighting (L2) with a second color (F2) different from the first color (F1) and the two cameras (C1, C2) Are color cameras capable of separating the two colors (F1 and F2). Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass - die erste Beleuchtung (L1) mit einem allgemeinen Beleuchtungsspektralbereich (sL0) und einem ersten speziellen Beleuchtungsspektralbereich (sL1) betrieben wird, - die zweite Beleuchtung (L2) mit dem allgemeinen Beleuchtungsspektralbereich (sL0) und einem zweiten speziellen Beleuchtungsspektralbereich (sL2) betrieben wird, - das durch die erste Kamera (C1) aufgenommene zumindest eine erste Bild einer Auswertung zugeführt wird in einem allgemeinen Kameraspektralbereich (sC0) der mit dem allgemeinen Beleuchtungsspektralbereich (sL0) überlappt, und in einem zweiten Kamera-Spektralbereich (sC2), der mit dem zweiten Beleuchtungsspektralbereich (sL2) überlappt, - das durch die zweite Kamera (C2) aufgenommene zumindest eine zweite Bild der Auswertung zugeführt wird in dem allgemeinen Kameraspektralbereich (sC0) und in einem ersten Kamera-Spektralbereich (sC1), der mit dem ersten Beleuchtungsspektralbereich (sL1) überlappt, - wobei der erste Beleuchtungsspektralbereich (sL1) und der allgemeine Kameraspektralbereich (sC0) einander nicht oder nur wenig überlappen, und wobei der zweite Beleuchtungsspektralbereich (sL2) und der allgemeine Kameraspektralbereich (sC0) einander nicht oder nur wenig überlappen, - und wobei der erste Beleuchtungsspektralbereich (sL1) und der zweite Kameraspektralbereich (sC2) einander nicht oder nur wenig überlappen, und der zweite Beleuchtungsspektralbereich (sL2) und der erste Kameraspektralbereich (sC1) einander nicht oder nur wenig überlappen.procedure after claim 7 or 8th , characterized in that - the first lighting (L1) is operated with a general lighting spectral range (sL0) and a first special lighting spectral range (sL1), - the second lighting (L2) with the general lighting spectral range (sL0) and a second special lighting spectral range ( sL2) is operated, - the at least one first image recorded by the first camera (C1) is fed to an evaluation in a general camera spectral range (sC0) which overlaps with the general illumination spectral range (sL0), and in a second camera spectral range (sC2) , which overlaps with the second illumination spectral range (sL2), - the at least one second image recorded by the second camera (C2) is fed to the evaluation in the general camera spectral range (sC0) and in a first camera spectral range (sC1), which coincides with the first illumination spectral range (sL1) overlaps, - wherein the first illumination spectra lrange (sL1) and the general camera spectral range (sC0) do not or only slightly overlap, and wherein the second illumination spectral range (sL2) and the general camera spectral range (sC0) do not overlap one another or only slightly, - and the first illumination spectral range (sL1) and the second camera spectral range (sC2) do not overlap one another or only slightly, and the second illumination spectral range (sL2) and the first camera spectral range (sC1) do not or only slightly overlap. Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass das zumindest eine erste Bild und das zumindest eine zweite Bild zur Gewinnung von korrespondierenden Punktpaaren bezüglich Punkten der Objektoberfläche (1) herangezogen werden.Procedure according to one of Claims 7 until 10 , characterized in that the at least one first image and the at least one second image are used to obtain corresponding pairs of points with respect to points on the object surface (1). Verfahren nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass das zumindest eine erste Bild und das zumindest eine zweite Bild zur Gewinnung eines Abstandsbildes der Objektoberfläche (1) herangezogen werden.Procedure according to one of Claims 7 until 11 , characterized in that the at least one first image and the at least one second image are used to obtain a distance image of the object surface (1).
DE102022104041.0A 2022-02-21 2022-02-21 Arrangement and method for taking pictures Active DE102022104041B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022104041.0A DE102022104041B3 (en) 2022-02-21 2022-02-21 Arrangement and method for taking pictures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022104041.0A DE102022104041B3 (en) 2022-02-21 2022-02-21 Arrangement and method for taking pictures

Publications (1)

Publication Number Publication Date
DE102022104041B3 true DE102022104041B3 (en) 2023-02-23

Family

ID=85132443

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022104041.0A Active DE102022104041B3 (en) 2022-02-21 2022-02-21 Arrangement and method for taking pictures

Country Status (1)

Country Link
DE (1) DE102022104041B3 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574067B2 (en) 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
US7623701B2 (en) 2004-12-10 2009-11-24 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing 3D shape of object with depth discontinuity using Helmholtz stereopsis
US7769205B2 (en) 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
US20150281676A1 (en) 2014-03-31 2015-10-01 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
DE102019105358B4 (en) 2018-03-04 2020-03-26 Vision Tools Hard- Und Software Entwicklungs Gmbh Creation of a distance image
DE102021121121A1 (en) 2020-08-24 2022-02-24 Vision Tools Hard- Und Software Entwicklungs Gmbh Device for determining geometric properties of a surface using polarized light

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574067B2 (en) 2003-10-03 2009-08-11 General Electric Company Surface reconstruction and registration with a helmholtz reciprocal image pair
US7623701B2 (en) 2004-12-10 2009-11-24 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing 3D shape of object with depth discontinuity using Helmholtz stereopsis
US7769205B2 (en) 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
US20150281676A1 (en) 2014-03-31 2015-10-01 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
DE102019105358B4 (en) 2018-03-04 2020-03-26 Vision Tools Hard- Und Software Entwicklungs Gmbh Creation of a distance image
DE102021121121A1 (en) 2020-08-24 2022-02-24 Vision Tools Hard- Und Software Entwicklungs Gmbh Device for determining geometric properties of a surface using polarized light

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DING, Yuqi; JI, Yu; ZHOU, Mingyuan; [et al.]: Polarimetric Helmholtz Stereopsis. In: 2021 IEEE/CVF International Conference on Computer Vision (ICCV), 2021, 5017- 5026. https://doi.org/10.1109/ICCV48922.2021.00499

Similar Documents

Publication Publication Date Title
DE112013002321B4 (en) Image processing apparatus, method for controlling the same, program and test system
DE112005002690B4 (en) Method and system for optical edge determination
EP1971820B1 (en) Creation of a distance image
EP1611542B1 (en) System for high contrast contactless representation of strips of the skin
DE102019105358B4 (en) Creation of a distance image
DE69817580T2 (en) DEVICE FOR THE OPTICAL INSPECTION OF PACKAGING FILMS
DE102006001634B3 (en) Creation of distance-image from correspondence between pixels from two cameras, by illuminating with random grid, and comparing brightness ratios of pixels
EP2879919B1 (en) Detection of rain drops on a plate by means of a camera and illumination
DE202016008925U1 (en) Three-dimensional shape measuring device
DE102017116758B4 (en) Method and device for scanning surfaces with a stereo camera
DE112013005764T5 (en) Test system and test lighting device
WO1998012543A1 (en) Automatic, optical quality control process and device for flat, even products
DE60204849T2 (en) METHOD AND DEVICE FOR LOCATING THE CONNECTION CONTACTS OF ELECTRONIC COMPONENTS
CH688663A5 (en) Method and apparatus for inspecting objects, particularly bottles.
DE102022104041B3 (en) Arrangement and method for taking pictures
DE102021121121A1 (en) Device for determining geometric properties of a surface using polarized light
DE102018105794B4 (en) Representation of an object using shadows
WO2023156021A1 (en) Assembly and method for capturing images
DE102007021964B4 (en) Method and device for the three-dimensional detection of object surfaces
DE4301546C2 (en) Device for testing surfaces of workpieces
EP3462164A1 (en) Assembly and method of inspecting moved plate-shaped objects
DE102015105128B4 (en) Method and device for measuring the degree of gloss and/or mattness of objects
DE102015101693B4 (en) Optical inspection system
EP0461395A2 (en) Illuminating device for circuit cards in a circuit card test device
EP3309506B1 (en) Device and method for the spatial acquisition of the surface of an object

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01C0011240000

Ipc: G01C0011020000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final