DE102019105358B4

DE102019105358B4 - Erstellung eines Abstandsbildes

Info

Publication number: DE102019105358B4
Application number: DE102019105358.7A
Authority: DE
Inventors: Hermann Tropf
Original assignee: Vision Tools Hard und Software Entw GmbH; VISION TOOLS HARD- und SOFTWARE ENTWICKLUNGS GmbH
Current assignee: Vision Tools Hard und Software Entw GmbH; VISION TOOLS HARD- und SOFTWARE ENTWICKLUNGS GmbH
Priority date: 2018-03-04
Filing date: 2019-03-04
Publication date: 2020-03-26
Anticipated expiration: 2039-03-05
Also published as: WO2019170591A1; DE102019105358A1

Abstract

Beleuchtungs- und Kameraanordnung zur Erstellung eines Abstandsbildes im Arbeitsraum einer Szene mit zumindest teilweise nicht vollspiegelnden Oberflächen,mit mindestens einem Paar von Kameras in Stereo-Anordnung, jedes Kamerapaar eine Kamera C1 und eine Kamera C2 undmindestens einen Beleuchtungssatz umfassend, wobei jeder Beleuchtungssatz eine Beleuchtung L1 und eine Beleuchtung L2 umfasst,wobei L1 sich aus Beleuchtungspunkten LP1 zusammensetzt und L2 sich aus Beleuchtungspunkten LP2 zusammensetzt,wobei mit C1 ein Bild mit Beleuchtung L2 aufgenommen werden kann bei deaktivierter Beleuchtung L1 und mit C2 ein Bild mit Beleuchtung L1 aufgenommen werden kann bei deaktivierter Beleuchtung L2,wobei die Beleuchtungen so gestaltet und angeordnet sind, dass für mindestens zwei vorgegebene Flächenelemente, die sich in jeweils einem vorgegebenen Punkt Q im Arbeitsraum der Szene mit vorgegebener Normalen N befinden, gilt: Ein Strahl von einem Beleuchtungspunkt LP1 wird an dem Flächenelement in Punkt Q mit erstem Einfallswinkel und gleichem erstem Ausfallswinkel bezüglich der Normalen N zu C2 reflektiert, und ein Strahl von einem Beleuchtungspunkt LP2 wird an demselben Flächenelement in Punkt Q mit einem zweiten Einfallswinkel und gleichem zweiten Ausfallswinkel bezüglich der Normalen N zu C1 reflektiert,wobei mindestens zwei dieser Beleuchtungspunkte LP1 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von C1 und C2, und mindestens zwei dieser Beleuchtungspunkte LP2 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von C1 und C2.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Gewinnen eines Abstandsbildes. Abstandsbilder codieren im Gegensatz zu konventionellen Bildern, die Grauwerte oder Farben der Oberfläche codieren, die Entfernung der Punkte der Oberfläche der Szene (Objektpunkte oder Hintergrundpunkte) vom Sensor (im Allgemeinen einer Kamera) oder die Höhe dieser Punkte relativ zu einer Ebene. Die Bildpunkte eines Abstandsbildes enthalten also eine Entfernungsinformation (z.B. Abstand oder Höhe) des jeweils zugehörigen abgebildeten Objektpunktes. Es handelt sich um ein klassisches Computer-Vision Problem; technische Anwendungen finden sich u.a. in Maschinenbau, Robotik einschließlich Servicerobotik, Elektronik-Produktion, Archäologie, Bekleidungsindustrie, Biometrie, Medizin und Reverse Engineering.
Die Erfindung wird angewandt auf Szenen mit unterschiedlichsten Oberflächencharakteristiken, auch gemischt, von voll diffus (Lambert'sche Reflexion), über matt, schwach glänzend (z.B. Papier), glänzend (z.B. metallisch glänzend in verschiedenen Rauigkeitsstufen), bis teilspiegelnd. Kenntnis der bidirektionalen Reflexionsverteilungsfunktion, BRDF (Bidirectional Reflectance Distribution Function), wird nicht als bekannt vorausgesetzt.
Die in der vorliegenden Anmeldung beschriebenen Verfahren und Anordnungen betreffen die Triangulation mit Stereo-Kameras zur Gewinnung eines Abstandsbildes. Bei Stereoverfahren sind systembedingt aus verschiedener Position aufgenommene Bilder gegeneinander örtlich unterschiedlich verschoben und/oder verzerrt, worin letztlich die zu findende Abstandsinformation steckt. Bei Stereo-Verfahren ist nun das schwierigste Problem die Herstellung der Korrespondenz der Bildpunkte, d.h. die Zuordnung der Bildpunkte der einen Kamera zu denen der anderen Kamera. Ist die Korrespondenz bekannt, so kann bei bekannter Aufnahmegeometrie über Triangulation ein Abstandsbild berechnet werden.
Die Triangulation ist bekannter Stand der Technik, zur Korrespondenzfindung gibt es eine ausführliche, alte und neue Literatur, die Korrespondenzfindung ist in zahlreichen Anwendungen bis heute nicht zufriedenstellend gelöst. Die Beschreibung zu dieser Erfindung konzentriert sich auf Maßnahmen zur Vereinfachung der Korrespondenzfindung.
Im Gegensatz zu natürlichen Szenen, die typischerweise bei kleinen Konvergenzwinkeln aufgenommen werden und die daher großteils, abgesehen von Glanzstellen mit geringer Oberflächenkrümmung, annähernd gleiche Grauwerte oder Farbwerte aufweisen für den gleichen, von beiden Kameras sichtbaren Szenenpunkt, ist für technische Anwendungen die Korrespondenzfindung erschwert durch die folgenden Effekte:

a) Bei konventionellem Stereo kann gerade bei Industrieszenen die Darstellung von Objektpartien in den beiden Kameras sehr unterschiedlich sein. Dieser Effekt ist abhängig von der Oberflächen-Neigung und den speziell in Industrieszenen oft stark variierenden Reflexionseigenschaften (einschließlich Farbe, Bedruckung, Rauigkeit, Verschmutzung, Bearbeitungsspuren ..) am jeweiligen Objektpunkt. Die Neigungsabhängigkeit ist besonders stark bei Anwendungen mit glänzenden Objekten oder grob bearbeiteten metallischen Oberflächen.
b) Die Objektpartien, die nur von einer Kamera gesehen werden, von der anderen nicht, können bei Industrieszenen (kleine Kamera-Objekt Abstände und damit große Konvergenzwinkel) sehr groß sein. Bei der Korrespondenz-Suche können daher Partien, die in einer Kamera sichtbar, in der anderen aber durch Objekte verdeckt sind, leicht fälschlicherweise ähnlichen sichtbaren Partien dieser anderen Kamera zugewiesen werden.
c) Konventionelles Stereo wird durch Schlagschattenbildung wesentlich erschwert, wenn die Schlagschatten in den beiden Kamerabildern unterschiedliche Formen aufweisen; auch dieser Effekt tritt bei Industrieszenen mit ihren typisch großen Konvergenzwinkeln gehäuft auf.

Um die Korrespondenzfindung zu erleichtern, sind verschiedene Verfahren bekannt, die auf strukturiertem Licht basieren.
Das in DE 10 2006 001 634 B3 vorgestellte Verfahren basiert auf strukturiertem Licht mit einem Zufallsmuster; der Effekt a) im Wesentlichen eliminiert. Dies wird erreicht durch für jede Kamera mindestens zwei Bildaufnahmen mit unterschiedlichen Beleuchtungen, von denen mindestens eine ein Zufalls- oder Pseudo-Zufallsmuster ist, und pixelweises Dividieren der beiden Bilder für jede Kamera. Das Verhältnis (Quotient) von zwei gemessenen Helligkeitswerten ist für jeden von beiden Kameras sichtbaren Objektpunkt nur durch die Projektion bestimmt und unabhängig von der Farbe, der Helligkeit, der Oberflächenrauigkeit und der Oberflächenneigung und auch unabhängig vom Betrachtungswinkel, und damit für beide Kameras gleich.
Nachteilig an diesem Verfahren ist, dass je Kamera mindestens zwei Bilder (in der Praxis oft drei) aufgenommen werden müssen und, vor allem, dass eine spezielle Projektionseinrichtung erforderlich ist, die in der Lage ist, mindestens zwei verschiedene Beleuchtungen zu realisieren, von denen mindestens eine ein Zufalls- oder Pseudo-Zufallsmuster ist. Andere Verfahren, die auf strukturiertem Licht basieren, benötigen ebenso eine sehr spezielle Projektionseinrichtung und zumeist noch mehr Bildaufnahmen als in der o.g. Patentschrift.
In US 7 623 701 B2 werden mit einer Punktlichtquelle Bildaufnahmen gemacht, und zwar eine erste Bildaufnahme in einer ersten Kameraposition und eine zweite Bildaufnahme mit mechanisch vertauschter Position von Kamera und Punktlichtquelle. (Um die Ergebnisse zu verbessern, wird das Gleiche nochmal mit um 90 Grad verdrehten Positionen realisiert). Bei Vertauschen von Sender und Empfänger bleibt nach dem Helmholtzschen Gesetz die BRDF erhalten. Ein Nachteil einer solchen Anordnung ist der mechanische Aufwand und insbesondere der Zeitaufwand für das Vertauschen (Kamera und Punktlichtquelle sind auf einer Dreheinrichtung montiert).
Leider weisen bei solchen, auf Austausch von Beleuchtungs- und Betrachtungswinkel beruhenden Verfahren die beiden Bilder am gleichen Objektpunkt nicht immer die gleiche Helligkeit auf; Gleichheit gilt nicht für Oberflächen mit Lambert'scher Reflexion. (Wieso, wird hier eingehender weiter unten in Abschnitt A) erläutert.) Dies geht aus vielen Veröffentlichungen zu dem Thema nicht hervor.
Der beim o.g. Patent erforderliche Zeitaufwand wird nach US 7 769 205 B2 dadurch vermieden, dass die Punktlichtquelle über einen halbdurchlässigen Spiegel in den Betrachtungsstrahlengang eingeblendet wird, so dass sich die Lichtquelle virtuell auf der optischen Achse (idealerweise im Projektionszentrum) der Kamera befindet. Nachteilig ist hier der optisch-technische Aufwand. Ersatzweise werden nach 3B dieser Patentschrift, anstelle einer Einspiegelungseinrichtung, in Richtung der Verbindungslinie zwischen den Kameras, beidseitig, symmetrisch, nah an den Kameras befindliche Beleuchtungen verwendet, was den optisch-technischen Aufwand verringert.
Nach US 7 574 067 B2 werden anstelle symmetrisch in Richtung der optischen Achse positionierter Lichtquellen, einseitig, nahe an den Kameras befindliche Beleuchtungen vorgeschlagen, und zwar nicht entlang, sondern senkrecht zur Verbindungslinie der beiden Kameras verschoben. Die Verschiebung ist allerdings aus Sicht der hier vorliegenden Anmeldung bei einer der beiden Kameras in die falsche Richtung realisiert: Würde man stattdessen eine der Beleuchtungen auf der gegenüberliegenden Seite platzieren, wäre die Gleichheit der Grauwerte für denselben Szenepunkt besser erfüllt. Die genauere Erklärung dafür ergibt sich weiter unten bei der Beschreibung der hier vorgeschlagenen Lösung (Abschnitt D1).
Die US 5 933 240 A betrifft die Bestimmung des Abstandes einer ebenen, spiegelnden Oberfläche. Es wird kein Höhenbild erzeugt. Es wird die Position des Spiegelbildes einer Punktlichtquelle vermessen. Auch hier wird die Punktlichtquelle mittels halbdurchlässigem Spiegel in den Betrachtungsstrahlengang eingeblendet. Ersatzweise wird (nach 3) mit seitlich, entlang der Verbindungslinie der beiden Kameras, in einem möglichst kleinen Abstand k von den Kameras positionierten Punktlichtquellen gearbeitet, wobei k für beide Seiten exakt gleich sein muss. Es wird allerdings aufgezeigt, diese letztgenannte Technik nur bei spiegelnden Ebenen funktioniert, die parallel zur Verbindungslinie der Kameras liegen, denn bei schräg zur Verbindungslinie der Kameras liegender Spiegelebene entstehen systematische Messfehler. Nach Ansicht des Erfinders der hier vorgestellten Erfindung liegt das daran, dass das Augenmerk auf dem o.g. Abstand k entlang der o.g. Verbindungslinie liegt, und nicht auf dem hier weiter unten eingeführten Winkel w (siehe ab 3,4,12). Außerdem gelten die in US 5 933 240 A zu findenden Überlegungen nur für spiegelnde, ebene Oberflächen und nicht wie hier für praktisch beliebige Szenen.
In US 2015/0281676 A1 wird für allgemeine 3D-Szenenerfassung mittels Helmholtz-Reziprozität mit möglichst nah an den Kameras montierten Punktlichtquellen gearbeitet, wobei zum Zweck der Vereinfachung der Korrespondenzfindung der Abstrahlwinkel der Lichtquellen klein gegen den Erfassungswinkel der Kameras ist. („light cone defined by the solid angle at the apex at the illumination unit“ [0035]).
Die Lösungen, die das Helmholtz-Gesetz nutzbar machen, arbeiten entweder mit Punktlichtquellen oder nahezu punktförmigen Lichtquellen, die sich entweder reell oder virtuell in der optischen Achse der der aufnehmenden Kamera C1 gegenüber liegenden Kamera C2 liegen, oder sie arbeiten ersatzweise mit Punktlichtquellen oder nahezu punktförmigen Lichtquellen, die sich in unmittelbarer Nähe von C2 befinden - und entsprechend umgekehrt. Es ist richtig, dass die Gleichheit der Grauwerte für den gleichen Szenepunkt umso besser erfüllt ist, je näher diese Lichtquellen bei den Kameras liegen. Für glänzende Oberflächenbereiche haben diese Anordnungen jedoch den Nachteil, dass an Punkten starken Unterschiedes zwischen Beleuchtungs- und Betrachtungswinkel nahezu kein Licht zur aufnehmenden Kamera gelangt. Siehe dazu auch weiter unten Text zu 7.
Zudem gilt: Diese Lösungen haben den Nachteil, dass sie für Lambert'sche oder nahezu Lambert'sche Reflexion nicht funktionieren können. Dies geht aus vielen Veröffentlichungen zum Thema nicht klar hervor; meist wird nur der Fall teilweise oder hauptsächlich spiegelnder Oberflächen behandelt. Bei Lambert'scher Reflexion gilt nämlich, dass der Helligkeitseindruck vom Beleuchtungswinkel und nicht vom Betrachtungswinkel abhängt (Begründung siehe Abschnitt A) ). Vertauscht man also Beleuchtungs- und Betrachtungswinkel an einer Stelle mit ungleichem Beleuchtungs- und Betrachtungswinkel, so erhält man hier einen unterschiedlichen Helligkeitseindruck.
Die auf strukturiertem Licht basierenden Ansätze sind also technisch aufwendig, die bekannten, auf der Helmholtz-Reziprozität basierenden Ansätze funktionieren bei glänzenden Oberflächenbereichen an Stellen eines größeren Unterschiedes zwischen Beleuchtungs- und Betrachtungswinkel nicht wirklich, und sie funktionieren nicht bei Lambert'scher oder nahezu Lambert'scher Reflexion.
Der Erfindung liegt die Aufgabe zugrunde, diese Nachteile zumindest teilweise zu vermeiden.
Die Aufgabe wird erfindungsgemäß gelöst durch Verfahren und Vorrichtungen mit den Merkmalen der beigefügten unabhängigen Patentansprüche. Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den beigefügten abhängigen Patentansprüchen und der nachfolgenden Beschreibung mit zugehörigen Zeichnungen. Die Figuren sind als nicht maßstäbliche Prinzipdarstellungen zu verstehen.
Am Ende der Beschreibung findet sich eine Zusammenstellung von hier verwendeten Bezugszeichen und Begriffen.
Die folgenden Betrachtungen beziehen sich, wenn nichts Weiteres erwähnt, auf jeweils nur ein einzelnes Stereo-Kamerapaar. Pro Kamerapaar kann ein eigenes Abstandsbild erstellt werden, mehrere Abstandsbilder können mit bekannten Methoden zu einem gemeinsamen Abstandsbild fusioniert werden, wodurch eine Genauigkeitserhöhung und/oder eine Auswertebereichs-Vergrößerung („ Stitching“) erreicht wird. Anordnungen mit mehreren Kamerapaaren werden weiter unten diskutiert.
Die Erfindung betrifft sowohl Grauwertbild-Kameras als auch Farbkameras. Um die Beschreibung einfacher und verständlicher zu machen, wird in den Beispielen zunächst von Grauwertbild-Kameras ausgegangen, die Verallgemeinerung auf Farbkameras wird am Ende angegeben.
I
Zur Lösung der o.g. Aufgabe wird eine Beleuchtungs- und Kameraanordnung zur Erstellung eines Abstandsbildes im Arbeitsraum einer Szene mit zumindest teilweise nicht vollspiegelnden Oberflächen vorgeschlagen,
mit mindestens einem Paar von Kameras in Stereo-Anordnung, jedes Kamerapaar eine Kamera C1 und eine Kamera C2 und
mindestens einen Beleuchtungssatz umfassend, wobei jeder Beleuchtungssatz eine Beleuchtung L1 und eine Beleuchtung L2 umfasst,
wobei L1 sich aus Beleuchtungspunkten LP1 zusammensetzt und L2 sich aus Beleuchtungspunkten LP2 zusammensetzt,
wobei mit C1 ein Bild mit Beleuchtung L2 bei deaktivierter Beleuchtung L1 aufgenommen werden kann und mit C2 ein Bild mit Beleuchtung L1 bei deaktivierter Beleuchtung L2 aufgenommen werden kann,
dadurch gekennzeichnet, dass die Beleuchtungen so gestaltet und angeordnet sind, dass für mindestens zwei vorgegebene Flächenelemente, die sich in jeweils einem vorgegebenen Punkt Q im Arbeitsraum der Szene mit vorgegebener Normalen N befinden, gilt: Ein Strahl von einem Beleuchtungspunkt LP1 wird an dem Flächenelement in Punkt Q mit erstem Einfallswinkel und gleichem erstem Ausfallswinkel bezüglich der Normalen N zu C2 reflektiert, und ein Strahl von einem Beleuchtungspunkt LP2 wird an demselben Flächenelement in Punkt Q mit einem zweiten Einfallswinkel und gleichem zweiten Ausfallswinkel bezüglich der Normalen N zu C1 reflektiert,
wobei mindestens zwei dieser Beleuchtungspunkte LP1 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von C1 und C2, und mindestens zwei dieser Beleuchtungspunkte LP2 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von C1 und C2.
Verschiedene Beleuchtungssätze können Teile von Beleuchtungen gemeinsam haben.
Je schmaler die Reflexionskeulen, desto dichter sollten die Punkte Q gewählt werden.
Nach Anspruch 2 wird unter Verwendung der Anordnung Anspruch 1 zur Erstellung eines Abstandsbildes mit C1 ein Bild mit Beleuchtung L2 bei deaktivierter Beleuchtung L1 aufgenommen und mit C2 ein Bild mit Beleuchtung L1 bei deaktivierter Beleuchtung L2 aufgenommen, wobei auf Basis der aufgenommenen Bilder mittels eines Korrespondenzfindungsverfahrens Korrespondenzen hergestellt werden und aufgrund der hergestellten Korrespondenzen mittels eines Triangulationsverfahrens das Abstandsbild berechnet wird.
Deaktivierte Beleuchtung bedeutet dabei typischerweise, dass die betreffende Beleuchtung ausgeschaltet ist, sie kann aber auch nur insoweit betreibbar bzw. betrieben sein, z.B. heruntergedimmt, dass sie keinen oder kaum Einfluss auf die Bildinhalte hat.
Nach Anspruch 3 wird ein Verfahren gemäß Anspruch 2 vorgeschlagen mit für zumindest ein Kamerapaar mehreren Beleuchtungssätzen, wobei mit jedem der Beleuchtungssätze jeweils mit C1 ein Bild mit Beleuchtungssatz L2 aufgenommen wird und mit C2 ein Bild mit Beleuchtungssatz L1.
Beim Vorgehen nach Anspruch 3 entsteht also für jeden Beleuchtungssatz ein Bildpaar von C1 und C2. Die sattsam veröffentlichten Methoden der Korrespondenzfindung arbeiten an der Basis entweder mit einem Vergleich der Grauwerte einzelner Pixel oder mit einem Vergleich kleiner Bildausschnitte. Die Korrespondenzfindung kann hier, ausgehend von bekannten Verfahren, insofern modifiziert werden, als die Vergleiche für jeden Beleuchtungssatz realisiert werden und jeweils das bessere Vergleichsergebnis ausgewählt wird.
Nach Verfahrensanspruch 4 wird, basierend auf einem der vorgenannten Verfahrensansprüche, zusätzlich mit C1 und mit C2 ein Bild mit einer weiteren Beleuchtung LX aufgenommen.
Nach Anspruch 5 gilt, auf Basis von Anspruch 4, LX = L1 oder LX = L2, also LX ist die Beleuchtung L1, oder LX ist die Beleuchtung L2.
Mit Anspruch 6 wird eine Anordnung zur Realisierung von Anspruch 4 beansprucht.
Mit Anspruch 7 wird eine Anordnung zur Realisierung von Anspruch 5 beansprucht.
Anspruch 8, nach einem der vorgenannten Vorrichtungsansprüche, ist dadurch gekennzeichnet, dass sich L1 und L2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf Geraden befinden, die durch die Projektionszentren von C1 bzw. C2 verlaufen und senkrecht zur Verbindungslinie von C1 und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die so positioniert und geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist.
Vorbemerkungen und Feststellungen im Zusammenhang mit der Helmholtz-Reziprozität.
Die BRDF (Bidirectional Reflectance Distribution Function) beschreibt das Reflexionsverhalten an Oberflächen eines Materials und liefert für jeden austretenden Lichtstrahl das Verhältnis von Strahlungsdichte und Bestrahlungsstärke. Die BRDF kann komplizierte Formen annehmen.
Bei zumindest teilweise spiegelnder Reflexion wird die BRDF durch eine sogenannte Reflexionskeule (symmetrisch um den Totalreflexionswinkel, Einfallswinkel = Ausfallswinkel) gut angenähert; sie nimmt je nach Oberflächenbeschaffenheit unterschiedliche Breite an.
Grundsätzlich ist die Helmholtz-Reziprozität erfüllt, die besagt, dass das Verhältnis von Strahlungsdichte und Bestrahlungsstärke vorwärts wie rückwärts identisch ist. Werden Lichtquelle und Betrachter vertauscht, so bleibt die BRDF unverändert. Hier wird ein perfekter Austausch von Betrachtungs- und Beobachtungswinkel gegenüber der Oberflächennormalen vorausgesetzt, im Folgenden kurz „Winkeltausch“. Dieses Gesetz gilt unabhängig von der Oberflächencharakteristik. Es folgt allerdings nicht in jedem Fall daraus, dass bei Vertauschung von Lichtquelle und Kamera in der Kamera jedesmal die gleiche Helligkeit entsteht. Bei Lambert'scher Reflexion gilt nämlich, dass der Helligkeitseindruck vom Beleuchtungswinkel und nicht vom Betrachtungswinkel abhängt. Vertauscht man also Beleuchtungs- und Betrachtungswinkel an einer Stelle mit ungleichem Beleuchtungs- und Betrachtungswinkel, so erhält man hier einen unterschiedlichen Helligkeitseindruck. Das ändert nichts an der Gültigkeit des Helmholtz-Gesetzes. Entscheidend für den Helligkeitseindruck ist nämlich nicht die Strahlungsdichte, sondern die Leuchtdichte, und diese ist bei gleicher Strahlungsdichte vom Abstrahlwinkel abhängig. Bei Lambert'scher Reflexion nimmt einerseits die Reflexionskeule eine Kreisform an, wobei der Kreis senkrecht auf der Oberfläche steht, woraus sich eine cos-Abhängigkeit vom Abstrahlwinkel ergibt, andererseits ist aber auch die Leuchtdichte bei gleicher Strahldichte mit cos-Gesetz vom Abstrahlwinkel abhängig, wobei sich beide Effekte kompensieren. Daraus resultiert, dass bei Lambert'scher Reflexion der Helligkeitseindruck unabhängig vom Betrachtungswinkel ist.
Im Folgenden wird die folgende Bedingung als Glanzbedingung bezeichnet: Wenn ein Strahl von einem Beleuchtungspunkt LP1 an dem Flächenelement in Punkt Q mit erstem Einfallswinkel und gleichem erstem Ausfallswinkel bezüglich der Normalen N zu C2 reflektiert wird, wird auch ein Strahl von einem Beleuchtungspunkt LP2 an demselben Flächenelement in Punkt Q mit einem zweiten Einfallswinkel und gleichem zweiten Ausfallswinkel bezüglich der Normalen N zu C1 reflektiert. Siehe hierzu Anspruch 1. Die Bedingung heißt Glanzbedingung, weil sich eine Punktlichtquelle auf einer glänzenden Ebene an nur einem Punkt in einem bestimmten Winkel, und zwar mit Einfallswinkel = Ausfallswinkel (Glanzwinkel) spiegelt. Zur Veranschaulichung wird die Situation in 2a dargestellt. Erster Einfallswinkel und erster Ausfallswinkel sind hierbei gleich und in 2a mit g1 bezeichnet. Zweiter Einfallswinkel und zweiter Ausfallswinkel sind gleich und in 2a mit g2 bezeichnet. Zur Verdeutlichung: Wenn auf einer rauen Oberfläche, also bei gestreuter Reflexion, ein Strahl an einem Punkt mit ungleichem Einfallswinkel und Ausfallswinkel zu einer Kamera gestreut wird, ist das kein Glanzwinkel. Sind bei dieser gestreuten Reflexion an dem Punkt Einfallswinkel von Lichtquelle und Ausfallswinkel zur Kamera gleich, dann wird dieser Winkel Glanzwinkel genannt, wenn auch die Oberfläche nicht glänzt.
Der eingezeichnete Winkel w wird weiter unten bei 12 erläutert.
Die Bedingung ist nach dem im Folgenden beschriebenen Vorgehen über einen größeren auszuwertenden Szenenbereich und Neigungsbereich zumindest näherungsweise erfüllbar. Man beachte hierbei: „Wenn,... dann...“, das heißt nicht, dass überall im Szenenbereich Licht im Glanzwinkel von L1 zu C2 reflektiert wird - oder umgekehrt.
Erfüllung der Glanzbedingung bedeutet nicht unbedingt Erfüllung der Helmholtz-Reziprozität, denn hier findet nicht unbedingt ein Austausch von Beleuchtungs- und Betrachtungswinkel statt.
Die Glanzbedingung ist mit der erfindungsgemäßen Beleuchtungsanordnung an den in den Ansprüchen gewählten Punkten Q erfüllt, an anderen Punkten muss sie nicht unbedingt erfüllt sein. Bei geeigneter Verteilung (am einfachsten: die Punkte homogen über mögliche Positionen und Oberflächennormalen verteilen) kann man erreichen, dass die Glanzbedingung überall im interessierenden Parameterraum (Ort-Oberflächenneigung) zumindest näherungsweise erfüllt ist.
Die Bedingung von Anspruch 1, dass mindestens zwei der Beleuchtungspunkte LP1 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von C1 und C2, ist in 2b veranschaulicht, mit Beleuchtungen L1 und L2, an deren unterem Ende mit je einem dicken Balken die Leuchtflächen dargestellt werden. Es sind in der Figur für L1 als Beleuchtungspunkte die zwei am weitesten voneinander entfernten Punkte gewählt; sie liegen im Abstand d voneinander entfernt. D ist der Abstand der Projektionszentren der Kameras. Es muss hier also gelten d ≥ D/15.
Bevorzugt, aber nicht notwendigerweise gilt die Bedingung d ≥ D/15 nur für solche Beleuchtungspunktepaare derselben Beleuchtung im Abstand d, bei denen die zugehörigen Flächenelemente örtlich nicht zu weit auseinander liegen und nicht zu verschiedene Normalenvektoren haben (empfohlene Werte: Ortsunterschied < 1/3 des Arbeitsraums der Szene in der am weitesten ausgedehnten Dimension des Arbeitsraums, Richtungsunterschied < 30 Grad). Dann funktioniert die weiter unten beschriebene Erweiterung von Reflexionskeule zu effektiver Reflexionskeule besser.
Um die weiter unten gezeigten 3,4, 7 - 15 nicht unnötig zu verkomplizieren, werden dort nur Beleuchtungspunkte und nicht ganze Beleuchtungen eingezeichnet. Die letztgenannte Bedingung d ≥ D/15 wird erst wichtig, sobald man dann konstruktiv die Beleuchtungen aus Beleuchtungspunkten zusammensetzt.
Ausgangspunkt: Beleuchtung reell oder virtuell im Projektionszentrum der gegenüberliegenden Kamera.
1 zeigt eine abzutastende Szene 1, vereinfacht als Grundebene 4 mit darauf liegendem Quader mit unebener Oberfläche dargestellt. Der auszuwertende Szenenbereich ist darin begrenzt (nicht eingezeichnet).
Die Beleuchtungen L1 und L2, hier Punktlichtquellen, sind schematisch durch Glühlampensymbole dargestellt, die sich nach klassischem Ansatz im Zentrum von C1 bzw. C2 befinden. Hier kann im ganzen Szenenbereich die Helmholtz-Reziprozität ausgenutzt werden. Und es gilt auch überall im Szenenbereich die Glanzbedingung, denn WENN Strahlen von Oberflächenelementen von L1 auf einem Oberflächenpunkt P im Glanzwinkel zu C2 reflektiert werden, werden umgekehrt auch Strahlen von Oberflächenelementen von L2 an demselben Oberflächenpunkt P im Glanzwinkel zu C1 reflektiert.
2 zeigt eine - nach der hier vorgeschlagenen Vorgehensweise - falsche (obwohl gefällige, symmetrische) Anordnung der Beleuchtungen. Strahlen von L1 landen im Glanzwinkel in C2, aber Strahlen von L2 weitab von C1.
3 und 4 zeigen eine - nach der hier vorgeschlagenen Vorgehensweise - richtige Anordnung der Beleuchtungen für einen speziellen Punkt P der Objektoberfläche: WENN Strahlen von einem Beleuchtungspunkt LP1 im Glanzwinkel in C2 landen, landen Strahlen von einem Beleuchtungspunkt LP2 in C1. Der dort eingezeichnete Winkel w wird weiter unten bei 12 erläutert.
Im Folgenden wird mit 5 und 6 die grundsätzliche Funktionsweise beim klassischen Ansatz veranschaulicht.
In 5 betrachten wir einen Objektpunkt P. Wie mit Pfeilen angedeutet, werde er von L2 beleuchtet. Das von L2 ausgehende Licht wird am Punkt P reflektiert. Die umgekehrte Situation zeigt 6. Die Reflexionscharakteristik wird mit der Reflexionskeule 2 repräsentiert. Beleuchtungs- und Betrachtungswinkel sind jedesmal unterschiedlich, dennoch ist der Helligkeitseindruck bei C1 und C2 gleich (hier: keine Lambert'sche Reflexion): Entsprechend der Blendenöffnung von C1 wird in 5 ein Anteil 3 aus der Reflexionskeule herausgeschnitten. Dieser Anteil landet im Objektiv von C1. In 6 wird der Punkt P von L1 beleuchtet. Das von L1 ausgehende Licht wird am Punkt P reflektiert, entsprechend der Blendenöffnung von C2 wird ein Anteil 3 aus der Reflexionskeule herausgeschnitten. Dieser Anteil 3 landet im Objektiv von C2.
Auch wenn die Blendenöffnungen der beiden Kameras gleich sind, werden am Punkt P bei unterschiedlicher Entfernung zu C1 und C2 leicht unterschiedlich breite Bereiche aus den Reflexionskeulen herausgeschnitten. Dieser Effekt ist vernachlässigbar, denn mit in 5 kleiner werdendem Abstand von P zu C1 (Ausschnitt größer) wird der Abstand von P zu L1 größer, wodurch der Licht-Ausschnitt von L2, der von einem Flächenelement bei P herausgeschnitten wird, kleiner wird. Das kompensiert sich gegenseitig näherungsweise. Eine Höhenvariation (und damit Verkürzung oder Verlängerung beider Abstände) von P spielt dabei keine Rolle, denn bei der Korrespondenzfindung geht es ja nur um einen Vergleich der Grauwerte, nicht um deren absolute Werte.
Ein Nachteil des klassischen Ansatzes.
Für Oberflächenbereiche mit sehr schmaler Reflexionskeule haben die klassischen Anordnungen jedoch den Nachteil, dass an sehr zahlreichen Punkten das Licht nicht im Glanzwinkel zur aufnehmenden Kamera gelangt. Dies wird mit 7 veranschaulicht, wo im Vergleich zu 6 bei schmaler Reflexionskeule kein Licht zur Kamera C2 gelangt. Meist ist in solchen Situationen noch eine kleine Resthelligkeit festzustellen, diese dürfte aufgrund von Fremdlicht, indirektem Licht oder einer noch zusätzlich vorliegenden, schwachen diffusen Reflexion zustande kommen. Jedenfalls sind die beiden Bilder in C1 und C2 für eine Korrespondenzfindung kaum geeignet. Oder beide Bilder sind an solchen Objektbereichen schlichtweg schwarz, was die Korrespondenzfindung dort völlig unmöglich macht.
Vermeidung des Nachteils nach Anspruch 1 bis 3
Dieser Nachteil wird durch die erfindungsgemäße Positionierung, Gestaltung und Form der Beleuchtungen und Bildaufnahmen beseitigt.
Nach klassischem Urteil müssen sich die Beleuchtungen als Punktlichtquellen reell oder virtuell im Projektionszentrum der betreffenden Kamera befinden, oder ersatzweise als punktförmige oder kleinflächige Beleuchtungen in unmittelbarer Nähe der Projektionszentren. Im Gegensatz zu dieser Lehre sind hier die Beleuchtungen in einer speziellen, unten beschriebenen Weise über einen größeren Raum verteilt.
Der Helmholtz'sche Winkeltausch ist dabei im Allgemeinen nicht für alle Punkte P und alle Oberflächenneigungen überall anwendbar, dafür sind die Bilder aber auch bei schmalen Reflexionskeulen im Gegensatz zu bekannten Anordnungen in einem großen Szenenbereich und in einem großen Winkelbereich der Oberflächennormalen auswertbar.
Die Beleuchtungen können dabei großflächig sein oder aus jeweils mehreren diskreten Beleuchtungselementen bestehen - oder beides.
Man vergleiche hierzu die 1 mit den 3 und 4. Durch Superposition der Beleuchtungsanordnung 3 und 4 erreicht man die Auswertbarkeit in einem größeren Winkelbereich. Dies gilt dies auch für einen größeren Positionsbereich in der Szene. Im Unterschied zu 3 ist bei 4 das Oberflächenelement nach außen geneigt. Dadurch soll verdeutlicht werden, dass mit einer Mehrzahl, einen größeren Raum einnehmenden Beleuchtungskomponenten die Auswertbarkeit in einem größeren Winkelbereich erreichbar ist.
Nach klassischem Urteil müssen die Beleuchtungen in den Projektionszentren der Kameras liegen oder ersatzweise möglichst nah daran und näherungsweise punktförmig sein. Die Auswertung ist unter diesen Bedingungen bei schmalen Reflexionskeulen nach Erfahrungen des Erfinders jedoch problematisch; die Beleuchtungen müssen eine gewisse Mindestausdehnung haben, wobei die Oberflächenelemente in L1 bzw. L2 mit mindestens 1/15 des Abstandes der Projektionszentren von C1 und C2 voneinander entfernt sein müssen, vorzugsweise sogar 1/10, und bevorzugt in 2 Dimensionen. Grundsätzlich können die zur Abstandsbetrachtung herangezogenen Oberflächenelemente verschiedenen Beleuchtungssätzen angehören. Mit mehr ausgedehnten Beleuchtungen werden die effektiven Reflexionskeulen breiter, was die oben angesprochenen Nachteile der rein materialbezogen (d.h. bei Beleuchtung mit einem einzelnen Strahl geltenden) schmalen Reflexionskeulen entschärft, s.a. 7. 8 zeigt vergleichend links eine rein materialbezogene, d.h. bei Beleuchtung mit einem einzelnen Strahl (Punktlichtquelle) geltende Reflexionskeule (hier kurz Reflexionskeule) und rechts für das gleiche Material eine breitere, effektive Reflexionskeule, wie sie sich bei Beleuchtung mit einer flächig ausgedehnten Beleuchtung ergibt.
Im Folgenden werden zunächst Konstruktionsregeln beschrieben, wie Beleuchtungspunkte positioniert werden können, um, ausgehend von einer gedachten Position der Beleuchtungspunkte in den Projektionszentren der Kameras, die Glanzbedingung herzustellen oder beizubehalten, vorzugsweise für einen zentral gelegenen Szenenpunkt. Durch gedankliche Überlagerung solcher Beleuchtungspunkte ergeben sich damit erfindungsgemäße Beleuchtungs-Formen und -Lagen. Anschließend werden einige Beispiele solcher erfindungsgemäßen Beleuchtungs-Formen und Beleuchtungslagen angegeben.
D1) Konstruktionshinweise
Bezeichnungen:
LP1 = Beleuchtungspunkte zu L1, LP2 = Beleuchtungspunkte zu L2.
Beleuchtungspunkte sind Punkte, aus denen die Beleuchtungen konstruktiv zusammengesetzt werden.
Gefunden werden können die folgenden Lösungen dadurch, dass man gedanklich, ausgehend von LP1 im Projektionszentrum von C1 und LP2 in Projektionszentrum von C2, für einen Punkt Q entweder beide Beleuchtungspunkte oder einen Beleuchtungspunkt mit einer Kamera (L1 mit C2 oder L2 mit C1) oder beide Kameras derart bewegt, dass sich die Glanzbedingung einstellt. Oder, falls die Glanzbedingung schon bei Lage von LP1 und LP2 in den Projektionszentren gegeben ist, dass die Glanzbedingung erhalten bleibt. Vorteilhafterweise, aber nicht notwendigerweise, wählt man die Position und die Richtung der Oberflächennormalen der Punkte Q gleichmäßig im Arbeitsraum verteilt Dann sind auch die Abweichungen von den idealen Reflexionsbedingungen gleichmäßig und symmetrisch über den Arbeitsraum verteilt.
Die folgenden Beispiele 9 bis 15 liefern eine allgemeine Lehre für dieses Vorgehen. In diesen Figuren ist die Glanzbedingung schon bei Lage von LP1 und LP2 in den Projektionszentren gegeben, die Glanzbedingung wird hier also nicht durch die Bewegung erst hergestellt, sondern die Beleuchtungspunkte werden so bewegt, dass die Glanzbedingung erhalten bleibt.
In 9 befinden sich LP1 und LP2 gedacht im Zentrum von C1 bzw. C2. Man stelle sich nun vor, dass sich die Beleuchtungspunkte in symmetrischer Weise von dort fortbewegen, und zwar symmetrisch bezüglich der Blickrichtung der betreffenden Kamera, im konkreten Beispiel bewegt sich LP1 in Kamera-Blickrichtung von C1 nach rechts - das ist in Richtung zum Betrachter der Figur - und LP2 in Kamera-Blickrichtung von C2 nach links, - das ist ebenso in Richtung des Betrachters der Figur! („unten-oben“ s. Figur, wobei hier die einander zugewandten Seiten der Kameras als oben gelten.) Beide Beleuchtungspunkte werden also in Richtung des Betrachters der Figur bewegt, wobei der Betrag des (hier nicht eingezeichneten) Drehwinkels um den Punkt Q gleich ist. Das Ergebnis ist die Situation in 10: Beide Beleuchtungspunkte LP1 und LP2 befinden sich neben den Kameras, beide zum Betrachter der Figur hin, unter Beibehaltung der Glanzbedingung an einem Punkt in der Nähe von Q (leicht in Richtung zum Betrachter der Figur verschoben, daher nicht eingezeichnet), bei gleicher Oberflächenneigung. Die Bedingungen lt. Anspruch 1 gelten dann für diesen Punkt.
Ein der Glanzbedingung genügendes Ergebnis erhält man aus Symmetriegründen genauso, wenn man dementsprechend nicht die Beleuchtungspunkte, sondern die Kameras bewegt.
Anmerkung: Vergleicht man die 5 und 6 mit der 1 der oben erwähnten US 7 574 067 B2 , so erkennt man, dass dort die Anordnung der Punktlichtquellen ungünstig ist: Würde man stattdessen eine der Beleuchtungen auf der gegenüberliegenden Seite platzieren, wären die beiden Bilder für den gleichen Szenepunkt ähnlicher. Im Sinne der hier vorliegenden Erfindung ist die Anordnung nach US 7 574 067 B2 falsch.
In den folgenden 11 bis 17 wird jeweils die Ausgangssituation einer gedachten Bewegung mit durchgezogenen Linien gekennzeichnet, und die nach symmetrischer Bewegung sich ergebenden Änderungen gestrichelt dargestellt.
In 11 wurden die Beleuchtungspunkte ausgehend von der Situation 10 um die optische Achse der Kameras gedreht, in Blickrichtung gesehen jeweils rechts herum in einem Drehwinkel von 90 Grad. Das funktioniert bei allen Drehwinkeln.
Gemäß 12 kann man die prinzipiell gleiche Anordnung erreichen, indem man, ausgehend von der Situation 9, LP1 und C2 symmetrisch jeweils um den Winkel w um den Punkt Q nach unten („unten-oben“ s. Figur, wobei hier die einander zugewandten Seiten der Kameras als oben gelten) dreht.
Das Ganze funktioniert gemäß 13 auch bei flachen Beleuchtungs- und Betrachtungswinkeln.
14 und 15 zeigen die Situation analog zu 9 und 12, wo LP1 und C2 in die gleiche Richtung verschoben werden, indem ausgehend von Situation 9 LP1 in Blickrichtung von C1 gesehen nach rechts verschoben wurde und C2 in Blickrichtung von C2 gesehen nach rechts - und zwar jeweils mit dem gleichen Drehwinkelbetrag w.
Aus den Beispielen ist eine Lehre zum Erreichen der Glanzbedingung ersichtlich an einem Punkt Q:

- LP1 und LP2 in gegensätzliche Richtung verschieben, gesehen in Kamerarichtung, mit gleichem Betrag des sich ergebenden Drehwinkels um den Punkt Q, wobei die einander zugewandten Seiten der Kameras als oben gelten (s. 9); daraus ergeben sich die Richtungen „nach links“, „rechts“, „”oben“, „unten“.
- LP1 und LP2 drehen in gleicher Drehrichtung um C1 bzw. C2, gesehen in Kamera-Blickrichtung.
- LP1/C2 (oder LP2/C1) in gleicher Richtung verschieben, gesehen in Kamerarichtung, mit gleichem Betrag des sich ergebenden Drehwinkels um den Punkt Q, wobei die einander zugewandten Seiten der Kameras als oben gelten (s. 9); daraus ergeben sich die Richtungen „nach links“, „rechts“, „”oben“, „unten“. Und ohne Figur, aufgrund von Symmetrieüberlegungen:
- C1 und C2 entsprechend in gegensätzliche Richtung verschieben, gesehen in Kamerarichtung, wobei die einander zugewandten Seiten der Kameras als oben gelten.
- C1 und C2 entsprechend drehen in gleicher Drehrichtung um LP1 bzw. LP2, gesehen in Kamera-Blickrichtung.

Danach können die Beleuchtungspunkte entlang der Strahlen zum Punkt Q, siehe z.B. 11 und 12 in den 3,4,11, prinzipiell verschoben werden, denn dadurch ändert sich nichts an den Beleuchtungsrichtungen, allerdings kann sich dadurch bei kleinen Entfernungen die Beleuchtungsstärke bzw. die Leuchtdichte merklich verändern.
D2) Beispiele
Durch Superposition von jeweils mehreren Beleuchtungspunkten LP1 und LP2 nach den o.g. Vorschriften erhält man erfindungsgemäße Beleuchtungen L1 bzw. L2.
16 zeigt eine solche Anordnung in perspektivischer Darstellung. In 16 ist bei den Lampen mit den parallelen Strichen nur sehr grob angedeutet, dass die Haupt-Leuchtrichtung der Lampen durchaus unterschiedlich sein kann, und zwar vorteilhaft einfach in Richtung Szene. Auf die Haupt-Leuchtrichtung aus Sicht der Lampen kommt es nicht an, sondern auf die Richtung, mit der die Strahlen in der Szene auf die Oberfläche auftreffen, was sich letztlich aus der Position der diskreten Beleuchtungselemente bzw. der Oberflächenelemente der flächigen Beleuchtungen ergibt (vgl. Ende des vorigen Abschnitts).
In den 17 und 18 sind schematisch gezeichnet Beispiele in Draufsicht gezeigt, in 17 mit großflächigen Beleuchtungen, in 18 mit mehreren diskreten Beleuchtungselementen, letztere symbolisch mit Lampensymbolen dargestellt. Das Schema 17a entspricht dem Beispiel 16. Natürlich kann man auch großflächige Beleuchtungen mit diskreten Beleuchtungselementen kombinieren. Mit Varianten 17d und 18a wird gezeigt, dass man eine großflächige Lampe bzw. ein diskretes Beleuchtungselement auch zweifach nutzen kann. Eine Anordnung nach 17e ist günstig, wenn die Kameras schräg auf die unter den Lampen befindliche Szene blicken.
Je nach Anwendungsfall kann man eine passende Konfiguration nach den hier beschriebenen Konstruktionsvorschriften realisieren. So zeigt z.B. 19 eine Anwendung der Anordnung nach 17b für die 3D-Szenenerfassung eines Fahrzeugs 8: unterhalb der Frontscheinwerfer oder zusätzlich angebrachter Beleuchtungen L1 und L2 befinden sich die Kameras C1 und C2. Natürlich kann so nur der Bereich ausgewertet werden, der sowohl mit L1 als auch mit L2 abgedeckt wird. Entsprechend den obigen Überlegungen können sich die Kameras auch oberhalb der Lampen befinden oder auch seitlich (beide links oder beide rechts der Lampen); L1 und L2 können aus mehreren diskreten Beleuchtungen bestehen, auch können mehrere solche Kameraanordnungen verwendet werden, um eine genauere Auswertung zu erreichen.
Bei umfangreichen Szenen mit großem Oberflächen-Neigungsbereich kann das Vorgehen nach Anspruch 3 von Vorteil sein. In 20 wird in Draufsicht ein Beispiel angegeben, mit i=1..1, j=1..2. Durch die Vorgehensweise werden neigungs- und auch ortsspezifisch optimale Beleuchtungskonstellationen realisiert, was die Korrespondenzfindung erleichtert.
II.
Nach Ansprüchen 4 - 7 kann man auch den Fall von Oberflächenpartien mit Lambert'scher Reflexion bzw. nahezu Lambert'scher Reflexion bearbeiten. Wie oben begründet, ist bei Lambert'scher Reflexion der Helligkeitseindruck nur von der Beleuchtungsrichtung, aber nicht von der Betrachtungsrichtung abhängig. Für diesen Fall werden die beiden Bilder von C1 und C2 mit der gleichen Beleuchtung aufgenommen. Diese Beleuchtung kann eine separat realisierte Beleuchtung sein (Ansprüche 4 und 6); elegant ist die Verwendung der ohnehin vorhandenen Beleuchtungen L1 oder L2 (Ansprüche 5 und 7). Für Oberflächenpartien mit Lambert'scher Reflexion wird nach den Ansprüchen 6 und 8 wahlweise das C1-Bild, aufgenommen mit L2, verglichen mit dem C2-Bild, aufgenommen mit L2 - oder es wird das C1-Bild, aufgenommen mit L1, verglichen mit dem C2-Bild, aufgenommen mit L1. Dies ist möglich ohne zusätzlichen apparativen Aufwand. Im praktischen Betrieb werden alle vier Bilder ohne zusätzlichen Zeitaufwand aufgenommen, denn die Parallelisierung der Bildaufnahme von 2 Kameras (bei gleicher Beleuchtung) ist Stand der Technik. Für den Zusatz nach den Ansprüchen 5 und 7 ist für die Bildaufnahme also keine zusätzliche Zeit erforderlich.
Die zahlreichen veröffentlichten Methoden der Korrespondenzfindung arbeiten an der Basis entweder mit einem - im weitesten Sinne - Vergleich der Grauwerte einzelner Pixel oder mit einem Vergleich kleiner Bildausschnitte. Erfindungsgemäß werden hier jeweils zwei solche Vergleiche (je nach Grundverfahren Bildpunkt- oder Bildausschnitt) realisiert, und zwar 1) Vergleich des C1-L2 Bilds mit dem C2-L1 Bild (für den Fall überwiegend glänzender Oberfläche) und 2) Vergleich des C1-L1 Bilds mit dem C2-L1 Bild (für den Fall Lambert'scher Oberfläche); von diesen beiden Vergleichen wird jeweils das bessere Vergleichsergebnis ausgewählt, wobei sich anbietet, bezüglich dieser Auswahl Glänzend vs. Lambert einen „Smoothness Constraint“ zu realisieren. Natürlich kann hier bei 2) wahlweise oder zusätzlich das C1-L2 Bild mit dem C2-L2 Bild verglichen werden.
III.
Nach Anspruch 8 befinden sich L1 und L2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf einer Geraden, die durch die Projektionszentren von C1 bzw. C2 verlaufen und die senkrecht zur Verbindungslinie von C1 und C2 ausgerichtet sind und zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die durch das Zentrum des auszuwertenden Szenenbereichs geht und so geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist. Typischerweise ist die Hauptebene parallel mit der in 1 eingezeichneten Grundebene 4.
Eine solche Anordnung wird in 18b gezeigt.
Vorteile:
Durch die erfindungsgemäßen Lösungen werden die oben geschilderten Probleme gelöst.
Mit den erfindungsgemäßen Beleuchtungen ist erreichbar, dass auch über den ganzen Szenenbereich Grauwerte der Bilder von C1 und C2 für gleiche Szenenpunkte zumindest ungefähr gleich sind.
Die das Helmholtz-Gesetz nutzenden klassischen Verfahren basieren auf dem Austausch von Beleuchtungs- und Betrachtungswinkel (kurz Winkeltausch), dabei müssen sich die Lichtquellen idealerweise reell oder virtuell im Projektionszentrum der Kameras befinden, was entsprechend mehreren bekannten Vorschlägen mit einer aufwendigen Anordnung mit halbdurchlässigen Spiegeln gelöst wird. Näherungsweise können sich nach bekannten Vorschlägen die Lichtquellen in direkter Nähe der Projektionszentren befinden. Bei den mit der vorliegenden Erfindung vorgeschlagenen Verfahren und Anordnungen können sich die Beleuchtungen durchaus weitab der Projektionszentren befinden. Dabei findet i.A. kein direkter Helmholtz'scher Winkeltausch statt, Einfallswinkel und Ausfallswinkel werden jedoch von Bildaufnahme mit C1 zu Bildaufnahme mit C2 so geändert, dass sich hier zwar (im Gegensatz zum Helmholtz-Gesetz) das Verhältnis der Lichtstärke Beleuchtung zu Betrachtung stark verändern kann, aber andererseits das Verhältnis der Betrachtungslichtstärken C1 zu C2 tendenziell erhalten bleibt, und darauf kommt es hier an. Das Verhältnis der Betrachtungslichtstärke gesehen in C1 und beleuchtet mit L2, zur Betrachtungslichtstärke gesehen in C2 und beleuchtet mit L1 bleibt tendenziell erhalten. Dies gilt auch außerhalb der Punkte Q, wo die Glanzbedingung nicht erfüllt sein muss, sich also Einfallswinkel und Ausfallswinkel unterscheiden können.
Dies wird mit den 21 und 22 veranschaulicht: In beiden Figuren wird die Situation vor einer gedachten Bewegung (s. Konstruktionsvorschriften) mit durchgezogenen Strichen gezeichnet und nach der Bewegung mit gestrichelten Linien. Einfallswinkel und Ausfallswinkel sind deutlich unterschiedlich. In 22 sind im Vergleich zu 21 an den durchgezogenen Linien Einfalls- und Ausfallswinkel vertauscht, es gilt dort also die Helmholtz-Reziprozität, daher sind hier die beiden Reflexionskeulen gleich groß gezeichnet.
In 21 wird der Effekt der Bewegung von L1 gezeigt: Durch eine Drehung des Beleuchtungswinkels von L1 nach rechts wird die Reflexionskeule um den gleichen Betrag nach links gedreht. Dadurch wird von C2 weniger Licht aus der Reflexionskeule herausgeschnitten. In 22 wird der Effekt der lt. Konstruktionsvorschriften zugehörigen Bewegung von L2 gezeigt: Durch eine Drehung des Beleuchtungswinkels L2 ebenso nach rechts wird die Reflexionskeule um den gleichen Betrag nach links (!) gedreht. Dadurch wird ebenso von C1 weniger Licht aus der Reflexionskeule herausgeschnitten. In beiden Kameras erscheint also der betrachtete Punkt P nach der (gedachten) Bewegung dunkler, und nur diese Bedingung ist für eine zuverlässige Stereoanalyse wichtig, ein Helmholtz'scher Winkeltausch ist nicht unbedingt erforderlich!
Randbemerkung: Drehung jedesmal in die gleiche Richtung hier übrigens gegen die Intuition, siehe hierzu auch die gemäß der o.g. US 7 574 067 B2 vorgeschlagene, im Sinne der hier vorliegenden Erfindung falschen Anordnung (mit nach klassischem Vorgehen Lichtquellen ganz in der Nähe der Kamerazentren).
Dass Grauwerte der Bilder von C1 und C2 für gleiche Szenenpunkte über die ganze Szene zumindest ungefähr gleich sind, ist ein ganz besonderer Vorteil auch deshalb, weil die obige Betrachtung auch für lokal spiegelnde Glanzstellen gilt. Bei konventionellem Stereo, also Beleuchtung aus irgendeiner Raumrichtung, sind lokale Glanzstellen äußerst störend. Sie entstehen ja dort, wo „Einfallswinkel von Beleuchtung = Ausfallswinkel zu Kamera“ gilt, bei einer einzigen Beleuchtungsrichtung, für beide Kameras - außer in speziellen symmetrischen Situationen - an einem Szenenpunkt nur entweder für die eine oder für die andere Kamera. Daher sind lokale Glanzstellen in der einen Kamera bei konventionellem Stereo so gut wie nie identisch mit lokalen Glanzstellen in der anderen Kamera, und das erschwert die Stereoauswertung bei konventioneller Anordnung ganz erheblich.
Bei dem hier vorgestellten Verfahren hingegen sind lokale Glanzstellen systembedingt in beiden Bildern gleich oder fast gleich. Da sie zudem naturgemäß einen hohen Kontrast aufweisen, ermöglichen sie eine besonders zuverlässige Korrespondenzfindung auch gerade an den ansonsten problematischen Stellen. Ein gravierender Nachteil des konventionellen Stereo wird also durch die hier vorgestellte Beleuchtungsanordnung und Vorgehensweise in einen wichtigen Vorteil verwandelt. Dies gilt überraschenderweise, obwohl echte Spiegelbilder von Punktlichtquellen an etwas verschobenen Punkten auftauchen können. Für Szenenbereiche mit Struktur (Objektkanten, sich lokal ändernde Oberflächenneigungen, stark strukturierte oder gekrümmte Oberflächenbereiche wie Welligkeiten, Wölbungen, Helligkeitsunterschiede durch Bedruckung, Verschmutzung, variierende Reflexionseigenschaften durch Bearbeitungsspuren, etc.) ist die Korrespondenzfindung nach dem vorgestellten Verfahren auch an Stellen nur näherungsweise erfüllter Glanzbedingung wesentlich erleichtert. Gerade bei solchen Szenen treten die Glanzstellen, obwohl je nach Szenepunkt kein perfekter Winkeltausch stattfindet, in den beiden Bildern an denselben Oberflächenstellen auf, und zwar im Gegensatz zu den klassischen Verfahren, in einem größeren Szenenbereich und Winkelbereich der Oberflächennormalen - ein wesentlicher Vorteil des hier vorgestellten Ansatzes.
Durch erfindungsgemäßes Vorgehen können zahlreiche solche (hier!) hilfreiche Glanzstellen hervorgerufen werden und durch Vorgehen nach Anspruch 3 auch leicht in C1 und C2 einander zugeordnet werden.
Mit der Vorgehensweise nach Ansprüchen 4 bis 7 wird erreicht, dass mit derselben Einrichtung und ohne zusätzlichen apparativen Aufwand und ohne zusätzlichen Zeitaufwand bei der Bildaufnahme auch der Fall Lambert'scher Oberflächenreflexion behandelt wird, auch wenn unbekannt ist, ob und an welchen Stellen Lambert'sche Oberflächenreflexion vorliegt.
Nach Anspruch 8 befinden sich L1 und L2 zumindest näherungsweise auf Geraden, die durch die Projektionszentren von C1 bzw. C2 verlaufen und senkrecht zur Verbindungslinie von C1 und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die durch das Zentrum des auszuwertenden Szenenbereichs geht und so geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist.
Diese Anordnung hat den Vorteil, dass mit der hier vorgestellten Erfindung die Lösung die oben unter „Effekt b)“ und „Effekt c)“ angesprochenen Probleme wesentlich erleichtert wird: Szenenpartien, die von einer ersten Kamera eingesehen werden, von der zweiten aber nicht, befinden sich bei einer Anordnung nach Anspruch 8 im Dunkeln (Schlagschatten). Dies wird mit 23 der Einfachheit halber veranschaulicht anhand der klassischen Situation mit im Projektionszentrum der Kamera liegenden Beleuchtungen; die Überlegung aber gilt ähnlich, wenn sich die Beleuchtungen auf der in Anspruch 8 beschriebenen Geraden befinden. Bei Beleuchtung mit L1 sind von C2 aus die Schlagschattenbereiche S einsehbar. Der Sichtbarkeitsbereich von C1 jedoch umfasst genau diese Bereiche exakt abgegrenzt gerade NICHT, da die Schlagschatten über eine Beleuchtung aus genau der Betrachtungsrichtung von C1 zustande kommen. In 23 ist der schematisch ein Grauwertverlauf dargestellt, wie er aus Sicht von C2 zustande kommt. Die Schlagschattenbereiche aus Sicht von C2 bei Beleuchtung mit L1 sind über unkritische Schwellwertverfahren vorab erkennbar und können bei der Korrespondenz-Suche von vorneherein ausgeklammert werden; dasselbe gilt umgekehrt für die Schlagschattenbereiche aus Sicht von C1 bei Beleuchtung mit L2.
Bei anderen erfindungsgemäßen Beleuchtungen, die nicht der in Anspruch 8 beschriebenen Anordnung entsprechen, gelangt auch Licht in den oben bezeichneten Schattenbereich hinein. Dieses Problem wird durch Anspruch 8 gelöst. Danach befinden sich L1 und L2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf Geraden, die durch die Projektionszentren von C1 bzw. C2 verlaufen und senkrecht zur Verbindungslinie von C1 und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die so positioniert und geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist.
In der mit 23 dargestellten Situation ist die Oberfläche irgendwie strukturiert (angedeutet durch den gezeichneten „wilden“ Helligkeitsverlauf); aufgrund der Strukturierung können die Korrespondenzen C1 mit C2 unter Weglassen der Schattenbereiche von C2 hergestellt werden, und entsprechend umgekehrt. Bei homogenen Oberflächen jedoch ist es zwar einfach, in C2 den Schattenbereich zu erkennen und demzufolge auszulassen, doch kann es bei homogenen Oberflächen schwierig werden, in C1 die zugehörigen Grenzen zu finden. Dies gilt für homogene Oberflächen natürlich umgekehrt genauso für die Grenzfindung in C2 für in C1 sichtbare Schattenbereiche. In der Praxis sind die Kanten meist irgendwie geformt (schwache Rundungen, Fasen), woraus sich an diesen Stellen kleine Helligkeitsänderungen ergeben, was man bei homogenen Oberflächen als Hinweis für diese Grenzen in C1 verwenden kann. Mit zusätzlichen, gegenüber den Beleuchtungen nach Anspruch 8 leicht nach außen (in den Figuren etwas links von C1 und etwas rechts von C2) ragenden Beleuchtungen kann man erreichen, dass die Schlagschattengrenzen auf der Gegenseite (in C1 im Beispiel 23) bei homogenen Oberflächen zwar nur andeutungsweise, aber zuverlässig erkennbar sind, unabhängig von der Kantenform. Dies müssen keine extra Beleuchtungen sein, es genügt erfahrungsgemäß auch eine kleine Ausdehnung der Beleuchtungen nach Anspruch 8 in die o.g. Richtungen. Mit einer kleinen Ausdehnung befinden sich nach wie vor L1 und L2 näherungsweise auf den in Anspruch 8 genannten Geraden.
Bekannte, auf strukturiertem Licht basierende Methoden arbeiten mit einem einzelnen Projektionsgerät. Das heißt, auch sie leiden darunter, dass, wie in 7 veranschaulicht, bei schmalen Reflexionskeulen und größerem Unterschied zwischen Beleuchtungs- und Betrachtungswinkel nur wenig oder gar kein Licht zum Empfänger gelangt. Man muss das Problem durch entsprechend energiereiche Lichtquellen entschärfen, was zu Problemen der Arbeitssicherheit führen kann. Bei dem hier präsentierten Vorschlag wird aufgrund der Verteilung der Lichtquellen über einen größeren Raum dieses Problem entschärft.
Sonstiges:
Mehrere Kamerapaare:
Mit mehreren Kamerapaaren können, wie oben erwähnt, mehrere Abstandsbilder erzeugt und dann fusioniert werden. Dabei kann auch eine Kamera für mehrere Kamerapaare eingesetzt werden. Im Beispiel 24 (Ansicht von oben auf die Szene) handelt es sich um vier Kameras 11 bis 14 (Richtung Szene - also vom Betrachter weg - geneigt) und bis zu sechs Paare 21 bis 26. Die Beleuchtungen sind gegenüber dem Zentrum versetzt gemäß den oben aufgeführten Konstruktionsregeln.
Farbe:
Die geschilderten Verfahren und Anordnungen funktionieren ebenso mit Farbkameras. Statt bei der Korrespondenz-Suche einzelne Grauwerte oder Inhalte von Grauwertfenstern zu vergleichen, braucht man nur die Farbwerte oder Inhalte von Farbwertfenstern zu vergleichen, z.B. die Rot-Grün-Blau Werte. Bei bunten Szenen wird dadurch die Auswertung gegenüber reiner Intensitätsauswertung vereinfacht und das Ergebnis verbessert.
Technische Maßnahmen:
Die beiden Bildaufnahmen (einerseits C1 mit L2, andererseits C2 mit L1) sind irgendwie voneinander zu trennen. Dies kann auf verschiedene Weise geschehen. Bei zeitlicher Trennung werden die beiden Bilder (kurz) hintereinander aufgenommen, wobei jeweils L2 bzw. L1 eingeschaltet ist. Dies ist mit heutiger Bildaufnahmetechnik auch bei sehr kurzen Zeitdifferenzen kein Problem. Man kann die Aufnahmen auch echt gleichzeitig realisieren und anderweitig trennen, z.B. spektral oder über Polarisierung.
Es sollte dafür gesorgt werden, dass Fremdlicht entweder abgeschottet wird, oder dass die Auswertung auf kleine Wellenlängenbereiche beschränkt wird, in denen L1 und L2 arbeiten, so dass das Fremdlicht vernachlässigt werden kann. Auch ist es möglich, zunächst je ein Bild mit nur Fremdlicht aufzunehmen und dieses Bild vor der Bildauswertung abzuziehen. Diese Methoden sind in der industriellen Bildverarbeitung bekannt und verbreitet. Für Szenen mit sehr hoher Dynamik ist die Verwendung von HDR („high dynamic range“)-Kameras angezeigt.
Die Bildauswertung kann in einer von den Kameras getrennten Auswerteeinheit wie einem PC stattfinden oder aber in einer der beiden Kameras („intelligente Kameras“) oder in einer Auswerteeinheit, an die lediglich die Bildsensoren angeschlossen sind.
Schiussbemerkungen:
Die Bedingungen nach Anspruch 1 sind natürlich aus fertigungstechnischen und montagetechnischen Gründen an den Rändern der Beleuchtungen nicht immer ganz exakt erfüllbar; so kann es z.B. schon durch ein geringfügiges Verrutschen einer Beleuchtung passieren, dass ein Beleuchtungsstrahl vom Rand von L1 bei C2 landet, aber umgekehrt nicht ein Beleuchtungsstrahl vom Rand von L2 bei C1. Gegen solche Situationen sind die hier vorgestellten Verfahren tolerant, die in Anspruch 1 formulierten Bedingungen gelten dann als trotzdem gegeben.
Die Kalibrierung von Stereokameras ist ein in der Literatur ausführlich und ausreichend behandeltes Thema und wird daher hier nicht beschrieben. Eine geometrische Kalibrierung der Lichtquellen hat sich bei den hier vorgeschlagenen Anordnungen als überflüssig erwiesen, es sind lediglich die hier beschriebenen Montagevorschriften einzuhalten. Eine Helligkeitskalibrierung ist auf naheliegende, einfache Weise realisierbar: Lampenhelligkeit und/oder Kameraverstärkungen werden praktischerweise so eingestellt, dass ein zentral gelegener Szenenpunkt in beiden Kameras möglichst gleich hell erscheint. Man geht am besten so vor, dass anhand einer Lambert'schen Oberfläche zunächst bei gleichbleibender Beleuchtung die beiden Kameras abgeglichen werden und anschließend anhand einer glänzenden Oberfläche paarweise die Beleuchtungen. Danach kann man noch durch Bewegen der Oberfläche(n) eine ortsspezifische Normierung für die Bildauswertung realisieren.
Bildaufnahme und/oder Auswertung können im Stilstand oder in Bewegung (Kamera oder Szene) stattfinden. Ein Beispiel veränderlicher Szenen ist die Sicherheitsüberwachung im Arbeitsraum eines konventionellen oder kooperativen Roboters.
Bezugszeichen und Begriffe:

1: Szene

Arbeitsraum der Szene: hier befinden sich die Punkte auf Oberfläche in der Szene, von der ein Abstandsbild erstellt werden soll.
Hauptebene der Szene: Nur verwendet in Anspruch 8, siehe dort.

2: Reflexionskeule

Für einen gegebenen Einfallswinkel rein materialbezogen, d.h. bei Beleuchtung mit einem einzelnen Strahl (Punktlichtquelle) geltende Reflexionskeule. Die breitere, effektive Reflexionskeule ergibt sich bei einer flächig ausgedehnten Beleuchtung.

3: Ausschnitt aus Reflexionskeule
4: Grundebene der Szene
8: Fahrzeug (nur 19)

11-14: Kameras von Kamerapaaren (nur 24)
21-26: Kamerapaare (nur 24)

S:: Schlagschatten
P:: Punkt auf Oberfläche in der Szene, von der ein Abstandsbild erstellt werden soll.
Q:: Frei gewählter Punkt im Arbeitsraum, mit einem Oberflächenelement mit frei gewählter Normale N

L:: Beleuchtung allgemein
L1,L2:: Beleuchtungen
C1,C2:: Kameras

Zentrum einer Kamera: kurz für Projektionszentrum der Kamera.
Zu Diskreten Beleuchtungselementen und Beleuchtungssätzen:
Die Beleuchtungen L1 und L2 können großflächig sein oder aus jeweils mehreren diskreten Beleuchtungselementen bestehen - oder beides.
Ein Beleuchtungssatz besteht aus Beleuchtung L1 und Beleuchtung L2.
Verschiedene Beleuchtungssätze können Teile von Beleuchtungen gemeinsam haben.

LP1, LP2: Beleuchtungspunkte: ein leuchtender Punkt von L1 bzw. L2
l1, l2:: Geraden durch Q und LP1 bzw. LP2

Claims

Beleuchtungs- und Kameraanordnung zur Erstellung eines Abstandsbildes im Arbeitsraum einer Szene mit zumindest teilweise nicht vollspiegelnden Oberflächen, mit mindestens einem Paar von Kameras in Stereo-Anordnung, jedes Kamerapaar eine Kamera C1 und eine Kamera C2 und mindestens einen Beleuchtungssatz umfassend, wobei jeder Beleuchtungssatz eine Beleuchtung L1 und eine Beleuchtung L2 umfasst, wobei L1 sich aus Beleuchtungspunkten LP1 zusammensetzt und L2 sich aus Beleuchtungspunkten LP2 zusammensetzt, wobei mit C1 ein Bild mit Beleuchtung L2 aufgenommen werden kann bei deaktivierter Beleuchtung L1 und mit C2 ein Bild mit Beleuchtung L1 aufgenommen werden kann bei deaktivierter Beleuchtung L2, wobei die Beleuchtungen so gestaltet und angeordnet sind, dass für mindestens zwei vorgegebene Flächenelemente, die sich in jeweils einem vorgegebenen Punkt Q im Arbeitsraum der Szene mit vorgegebener Normalen N befinden, gilt: Ein Strahl von einem Beleuchtungspunkt LP1 wird an dem Flächenelement in Punkt Q mit erstem Einfallswinkel und gleichem erstem Ausfallswinkel bezüglich der Normalen N zu C2 reflektiert, und ein Strahl von einem Beleuchtungspunkt LP2 wird an demselben Flächenelement in Punkt Q mit einem zweiten Einfallswinkel und gleichem zweiten Ausfallswinkel bezüglich der Normalen N zu C1 reflektiert, wobei mindestens zwei dieser Beleuchtungspunkte LP1 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von C1 und C2, und mindestens zwei dieser Beleuchtungspunkte LP2 voneinander entfernt sind mit mindestens 1/15 des Abstandes der Projektionszentren von C1 und C2.
Verfahren zur Erstellung eines Abstandsbildes, unter Verwendung der Anordnung nach Anspruch 1, wobei mit C1 ein Bild mit Beleuchtung L2 aufgenommen wird bei deaktivierter Beleuchtung L1 und mit C2 ein Bild mit Beleuchtung L1 aufgenommen bei deaktivierter Beleuchtung L2 wird, und wobei auf Basis der aufgenommenen Bilder mittels eines Korrespondenzfindungsverfahrens Korrespondenzen hergestellt werden und aufgrund der hergestellten Korrespondenzen mittels eines Triangulationsverfahrens das Abstandsbild berechnet wird.
Verfahren nach Anspruch 2 mit für zumindest ein Kamerapaar mehreren Beleuchtungssätzen, wobei mit jedem der Beleuchtungssätze mit C1 ein Bild mit L2 des betreffenden Beleuchtungssatzes aufgenommen wird und mit C2 ein Bild mit L1 des betreffenden Beleuchtungssatzes.
Verfahren nach einem der vorgenannten Verfahrensansprüche, dadurch gekennzeichnet, dass zusätzlich mit C1 und mit C2 ein Bild mit einer Beleuchtung LX aufgenommen wird.
Verfahren nach Anspruch 4, mit LX = L1 oder LX = L2.
Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass zusätzlich mit C1 und mit C2 ein Bild mit einer Beleuchtung LX aufnehmbar ist.
Anordnung nach Anspruch 6, mit LX = L1 oder LX = L2.
Anordnung nach einem der vorgenannten Vorrichtungsansprüche, dadurch gekennzeichnet, dass sich L1 und L2 für zumindest einen Beleuchtungssatz zumindest näherungsweise auf Geraden befinden, die durch die Projektionszentren von C1 bzw. C2 verlaufen und senkrecht zur Verbindungslinie von C1 und C2 ausgerichtet sind und zumindest näherungsweise zur Hauptebene der Szene parallel, wobei als Hauptebene eine Ebene bezeichnet wird, die so positioniert und geneigt ist, dass der maximale Abstand auszuwertender Szenenpunkte von dieser Ebene minimal ist.