DE102017213761A1

DE102017213761A1 - Oberflächenrekonstruktion eines beleuchteten objekts mittels fotometrischer stereoanalyse

Info

Publication number: DE102017213761A1
Application number: DE102017213761.4A
Authority: DE
Inventors: Bernhard Siessegger; Fabio GALASSO; Nicolau Werneck; Herbert Kaestle
Original assignee: Osram GmbH
Current assignee: Osram GmbH
Priority date: 2017-08-08
Filing date: 2017-08-08
Publication date: 2019-02-14
Also published as: DE112018004048A5; CN110998226A; US20200250847A1; WO2019030061A1

Abstract

Ein Verfahren dient zur Oberflächenrekonstruktion, wobei mindestens ein Objekt (O) von mehreren voneinander beabstandeten Leuchten (a-d) gleichzeitig beleuchtet wird, eine fotografische Sequenz mit mehreren Einzelbildern (EBr-EBr+n) des mindestens einen Objekts (O) aufgenommen wird und mindestens eine sichtbare Objektoberfläche (OS1, OS2) des Objekts (O) mittels fotometrischer Stereoanalyse rekonstruiert wird, wobei das von den Leuchten (a-c; a-d) abgestrahlte Licht (La-Ld) mit unterschiedlichen Modulationsfrequenzen (fa-fc; fa-fd) moduliert wird, die von dem Objekt (O) reflektierten Lichtanteile der jeweiligen Leuchten (a-d) anhand ihrer Modulationsfrequenzen (fa-fd) erkannt und jeweiligen Teilbildern (TBa-TBd) zugeordnet werden und die Teilbilder (TBa-TBd) als Eingangsbilder für die fotometrische Stereoanalyse verwendet werden. Eine Vorrichtung (S1, S2) ist zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet. Die Erfindung ist insbesondere anwendbar zur Raumüberwachung von Innen- und/oder Außenräumen und/oder zur Objekterkennung, insbesondere im Zusammenhang mit einer Allgemeinbeleuchtung.

Description

Die Erfindung betrifft ein Verfahren zur Oberflächenrekonstruktion, bei dem ein Objekt von mehreren voneinander beabstandeten Leuchten beleuchtet wird, mehrere Einzelbilder des Objekts aufgenommen werden und eine sichtbare Objektoberfläche des Objekts mittels fotometrischer Stereoanalyse rekonstruiert wird. Die Erfindung betrifft auch eine zur Durchführung des Verfahrens ausgebildete Vorrichtung. Die Erfindung ist insbesondere anwendbar zur Raumüberwachung von Innen- und/oder Außenräumen und/oder zur Objekterkennung, insbesondere im Zusammenhang mit einer Allgemeinbeleuchtung.
Die bildbasierte fotometrische Stereoanalyse ist eine Methode, um die dreidimensionale Oberfläche oder Oberflächenstruktur einer Szene oder eines Objekts (im Folgenden nur noch als Objekt bezeichnet) dadurch zu rekonstruieren, dass eine Sequenz von Einzelbildern des Objekts unter kontrolliert variierenden Beleuchtungsbedingungen mittels einer einzigen Digitalkamera, z.B. einer RGB-Kamera, aufgenommen wird. Dabei wird das Objekt hintereinander von unterschiedlichen Leuchten beleuchtet. Die Leuchten mit bekannter relativer Intensität befinden sich an bekannten Positionen und beleuchten das Objekt aus unterschiedlichen Richtungen.
Die Einzelbilder einer Bildsequenz werden den jeweiligen Leuchten zugeordnet und als Eingangsbilder der fotometrischen Stereoanalyse verwendet. Da die durch die Kamera nicht sichtbaren Oberflächen nicht rekonstruiert werden können, wird diese Methode auch als „2½ D“ -Rekonstruktion bezeichnet.
Dabei hängt unter der Annahme, dass die Reflexionseigenschaften des Objekts lambertsch sind, die von der Kamera erfasste Helligkeit eines Oberflächenbereichs oder Oberflächenpunkts des Objekts nur von dem Beleuchtungswinkel oder Einfallswinkel des Lichts und nicht von der Blickrichtung der Kamera ab. Dies bedeutet, dass Oberflächenbereiche oder Oberflächenpunkte ihr Aussehen unabhängig von der Blickrichtung der Kamera beibehalten.
Unter Berücksichtigung, dass eine beobachtete oder gemessene Helligkeit eines Oberflächenbereichs mit einem Wert eines entsprechenden Bildpunkts (auch als Bildpunkthelligkeit oder Luminanzwert bezeichenbar) der Kamera korrespondiert, können die Oberflächenvektoren an entsprechenden Oberflächenbereichen oder Oberflächenpunkten als auch das dortige diffuse Rückstrahlvermögen (Albedo) bestimmt werden, falls mehrere Einzelbilder des Objekts unter unterschiedlichen Beleuchtungsbedingungen aufgenommen werden.
Zur klassischen fotometrischen 2½ D-Rekonstruktion können beispielsweise folgende Schritte durchgeführt werden:
1. Die Intensität oder Helligkeit sowie eine Ausrichtung der Leuchten wird bestimmt oder festgelegt. Eine Position der Leuchten deckt vorteilhafterweise eine hohe Winkelvariation ab, und zwar ohne Schattenwurf auf der Objektoberfläche und ohne Selbstabschattung.
Dann wird eine gegenseitige Kalibration der Leuchten in Bezug auf ihre Stärke und Beleuchtungsrichtung durchgeführt. Dies kann beispielsweise dadurch erreicht werden, dass die Lichtintensität mittels eines Luxmeters gemessen wird oder durch Auswerten eines Bilds eines kalibrierten Objekts mit bekannter Geometrie und bekanntem Albedowert (z.B. einer Saphirkugel) bestimmt wird. Das Ergebnis der Kalibrierung kann in Form eines Satzes von Beleuchtungsvektoren Li ausgedrückt werden, wobei der Betrag des Beleuchtungsvektors Li einer relativen Intensität der zugehörigen Leuchte i entspricht und die Richtung des Beleuchtungsvektors Li den Einfallswinkel bestimmt.
2. Ein Objekt wird unter einer vorgegebenen Beleuchtung jeweils einer der Leuchten mittels einer herkömmlichen 2D-Kamera aufgenommen. Die Blickrichtung der Kamera ist grundsätzlich beliebig, aber vorteilhafterweise so, dass eine gute Perspektive auf eine Objektoberfläche mit einer möglichst geringen Abschattung erreicht wird.
3. Die Bildpunktwerte (Pixelmesswerte) PMw(x,y) der Bildpunkte BP(x,y) der aufgenommenen Einzelbilder (auch als „Capture Pixel Values“ bezeichnet) hängen von der beobachteten Leuchtdichte oder Luminanz jeder der Oberflächenbereiche oder Oberflächenpunkte der Objektoberflächen ab.
Dies kann für jeden der einem Oberflächenbereich oder Oberflächenpunkt an der Stelle (x,y) entsprechenden Bildpunkte BP(x,y) auch so ausgedrückt werden, dass $PMw (x,y); i= ρ d (x,y) * (Li \cdot n (x,y))$
gilt, wobei PMw(x,y);i den Bildpunktwert dieses Bildpunkts BP(x,y) unter Beleuchtung nur der Leuchte i, pd(x,y) die Albedo des zugehörigen Oberflächenbereichs bzw. der zugehörigen Stelle (x,y), Li den (normierten) Beleuchtungsvektor Li und n(x,y) den Normalenvektor des zugehörigen Oberflächenbereichs / Oberflächenpunkts bzw. der Stelle (x,y) darstellt. Jedes Oberflächenelement bzw. jede Stelle (x,y) trägt also mit seiner Albedo pd(x,y) und mit seiner Normale n(x,y) genau zum Pixelmesswert PMw(x,y) bei, und zwar in Abhängigkeit von der Beleuchtungsintensität Li.
(Li · n) ist folglich ein Vektorprodukt, das den Betrag des Beleuchtungsvektor Li und den Kosinus des Einfallswinkels Θi umfasst, nämlich gemäß (Li · n) = |Li| · cos(Θi).
4. Es ergibt sich also für drei Leuchten i = 1, 2, 3 für einen Bildpunkt und damit auch einen zugehörigen Oberflächenbereich das Gleichungssystem $PMw (x,y); 1 = ρ d * (L1 \cdot n (x,y))$
$PMw (x,y); 2 = ρ d * (L2 \cdot n (x,y))$
$PMw (x,y); 3 = ρ d * (L3 \cdot n (x,y))$
Aus diesem Gleichungssystem lassen sich der Normalenvektor n(x,y) und die Albedo pd(x,y) bestimmen.
Dies kann für jeden der Bildpunkte BP(x,y) gesondert durchgeführt werden.
Es kann also ein Objekt mit unbekannter (Oberflächen-)Albedo pd mit Hilfe von drei unterschiedlichen Beleuchtungsszenarien rekonstruiert werden. Für den Fall, dass die Albedo einer Objektoberfläche bereits bekannt ist (beispielsweise das Objekt mit definierter Farbe vorbehandelt und/oder angestrichen worden ist), kann die klassische fotometrische Stereoanalyse auch mit nur zwei Leuchten durchgeführt werden.
5. Die Oberflächenrekonstruktion kann mit den Normalenvektoren n der Bildpunkte bzw. Oberflächenbereiche durchgeführt werden, um eine volle Information über die dreidimensionale Struktur oder Form der Objektoberfläche zu erlangen, z.B. über Gradientenbetrachtungen und anschließende Integration.
Mit der Umskalierung der ermittelten Normalenvektoren $n (x,y) = (n_{x} (x,y), n_{y} (x,y), n_{z} (x,y))$
zu $N_{x} (x,y) = - n_{x} (x,y) / n_{z} (x,y)$
und $N_{y} (x,y) = - n_{y} (x,y) / n_{z} (x,y)$
lässt sich die Oberfläche durch Integration $z (x, y) = \int_{x_{0}}^{x} N_{x} (x, y_{0}) d x + \int_{y_{0}}^{y} N_{y} (x_{0}, y) d y + z_{0}$
rekonstruieren.
Ein Nachteil der konventionellen fotometrischen Stereoanalyse ist, dass die Beleuchtung des Objekts zusammen mit der Bildaufnahme viel Zeit benötigt, so dass sie für Echtzeitanwendungen im Bereich einer Allgemeinbeleuchtung kaum in Frage kommt. Zudem muss bei der konventionellen fotometrischen Stereoanalyse eine Hintergrundbeleuchtung (die nicht von den Leuchten stammt) eliminiert werden. Diese Hintergrundbeleuchtung muss jedes Mal von den Einzelbildern subtrahiert werden.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit einer Oberflächenrekonstruktion auf Basis der fotometrischen Stereoanalyse bereitzustellen.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind insbesondere den abhängigen Ansprüchen entnehmbar.
Die Aufgabe wird gelöst durch ein Verfahren zur Oberflächenrekonstruktion, bei dem (i) mindestens ein Objekt von mehreren voneinander beabstandeten Leuchten gleichzeitig beleuchtet wird, (ii) eine fotografische Sequenz mit mehreren Einzelbildern des mindestens einen Objekts aufgenommen wird und (iii) mindestens eine sichtbare Objektoberfläche mittels einer fotometrischen Stereoanalyse rekonstruiert wird.
Dabei wird das von den Leuchten abgestrahlte Licht mit unterschiedlichen Modulationsfrequenzen moduliert. Dann werden die von dem Objekt reflektierten Lichtanteile der jeweiligen Leuchten anhand ihrer Modulation erkannt und jeweiligen Teilbildern zugeordnet. Anschließend werden die Teilbilder als Eingangsbilder für die fotometrische Stereoanalyse verwendet.
Es ist ein Vorteil des Verfahrens, dass die Lichtanteile aufgrund der Modulation gleichzeitig bzw. simultan aus der aufgenommenen fotografischen Sequenz extrahiert werden können. Die drei oder mehr nur zu den jeweiligen Leuchten zugehörigen (Teil-)Bilder brauchen nicht mehr sequentiell bzw. nacheinander aufgenommen zu werden, da alle drei oder mehr Leuchten kodiert sind und damit parallel betrieben werden und insbesondere permanent eingeschaltet bleiben können. Zudem braucht nun die Hintergrundbeleuchtung nicht mehr aufwändig aus den Einzelbildern subtrahiert zu werden, sondern wird - da sie nicht moduliert ist - einfach nicht berücksichtigt.
Das Rekonstruieren ist dadurch vorteilhafterweise in Echtzeit durchführbar, und zwar auch auf dem Gebiet der Allgemeinbeleuchtung, z.B. zur Raumüberwachung und Objekterkennung, insbesondere zur Erkennung einer Anwesenheit von Menschen und deren Aktivität. Das Rekonstruieren der sichtbaren Objektoberfläche kann nach Erstellen der Teilbilder mit herkömmlichen Methoden durchgeführt werden. Mittels der rekonstruierten Oberflächen kann wiederum eine Objekterkennung usw. durchgeführt werden. Eine Oberflächenrekonstruktion wird auch häufig als „Surface Reconstruction“ bezeichnet.
Das Verfahren zur Oberflächenrekonstruktion kann auch als ein Verfahren zur Bestimmung oder Berechnung einer bzw. der Form und Ausrichtung von fotografisch aufgenommenen Oberflächen im Raum angesehen oder bezeichnet werden.
Die auf einen Punkt einer Objektoberfläche einfallenden Lichtbündel der voneinander beabstandeten Leuchten weisen dort insbesondere unterschiedliche Einstrahlwinkel (auch als Beleuchtungseinfallswinkel bezeichnet) und ggf. unterschiedliche Beleuchtungsstärken auf. Die Leuchten können insbesondere unterschiedliche Ausrichtungen bzw. Beleuchtungsrichtungen aufweisen.
Mittels des Verfahrens können eine oder auch mehrere Objektoberflächen rekonstruiert werden. Dazu ist es insbesonders vorteilhaft, wenn (beispielsweise vorher oder während des Verfahrens) die Positionen oder Koordinaten der mehreren Objekte bzw. Objektoberflächen im Raum ermittelt werden, beispielsweise durch Methoden der Bilddatenverarbeitung. Dies ist deshalb vorteilhaft, weil dann die jeweiligen Beleuchtungseinfallswinkel der drei Leuchten bekannt sind bzw. ermittelt werden können, um anschließend die photometrische Stereoanalyse durchzuführen.
Unter einer fotografischen Sequenz kann insbesondere eine Bildfolge oder ein Video verstanden werden. Die fotografische Sequenz umfasst insbesondere eine zeitliche Folge von Einzelbildern. Die Einzelbilder können mittels einer Kamera aufgenommen werden. Die Kamera kann stationär sein. Die Einzelbilder weisen insbesondere die gleiche Auflösung auf, z.B. eine matrixförmige Auflösung mit (m × n) Bildpunkten oder Pixeln, z.B. von 640 × 480, 1024 × 640, 1920 × 1080, usw. Bildpunkten.
Ist die Samplingrate oder Abtastrate f_s der Kamera hoch genug, können die in den Einzelbildern einer Sequenz vorhandenen Objekte auch dann noch als praktisch stationär angenommen werden, wenn sie sich nicht zu schnell bewegen.
Die Zahl der für eine Sequenz verwendeten Einzelbilder ist nicht beschränkt.
Es ist eine Weiterbildung, dass die Einzelbilder einer Sequenz zeitlich äquidistant voneinander beabstandet sind.
Die Sequenz kann grundsätzlich beliebig sein. So kann die Sequenz eine Auswahl einer vollständigen Aufnahmereihe von Einzelbildern sein. Die vorgegebene Sequenz entspricht jedoch insbesondere einer vollständigen Aufnahmereihe von Einzelbildern bzw. allen Einzelbildern einer vorgegebenen Zeitdauer. Die Sequenzen können „laufende“ Sequenzen einer Folge von 1 bis m Einzelbildern EB sein: {EB1, EB2, ..., EBn}, {EB2, EB3, ..., EBn+1} usw. mit n < m.
Es ist eine für eine besonders einfache Oberflächenrekonstruktion vorteilhafte Weiterbildung, dass die Leuchten identisch aufgebaut sind. Die Leuchten können ein oder mehrere Lichtquellen (z.B. ein oder mehrere LEDs) aufweisen.
Die fotometrische Stereoanalyse ist grundsätzlich bekannt und dient zur Rekonstruktion der räumlichen Objektoberfläche mittels Auswertung von zweidimensionalen (Eingangs-)Bildern des Objekts, die jeweils aus drei unterschiedlichen bekannten Beleuchtungsrichtungen aufgenommen wurden. Den unterschiedlichen bekannten Beleuchtungsrichtungsrichtungen können jeweilige nicht parallel zueinander verlaufende Beleuchtungsvektoren L1, L2 bzw. L3 zugeordnet sein.
Zur Nutzung der fotometrischen Stereoanalyse werden bisher drei (oder bei Kenntnis der Albedo zwei) voneinander beabstandete Leuchten nacheinander eingeschaltet und bei eingeschalteter Leuchte ein jeweiliges Bild aufgenommen. Die resultierenden Bilder dienen als Eingangsbilder für die fotometrische Stereoanalyse.
Es ist eine Weiterbildung, dass das ausgestrahlte Licht der unabhängigen beabstandeten Leuchten charakteristisch (individuell) moduliert ist. Insbesondere stellen die unterschiedlichen Modulationsfrequenzen keine Vielfachen voneinander dar. Beispielsweise können drei Leuchten ihr Licht mit Modulationsfrequenzen von 210 Hz, 330 Hz und 440 Hz modulieren. Dieses Konzept kann auf mehr als drei Leuchten erweitert werden.
Um ein Auftreten einer Intermodulation besonders effektiv zu verhindern, sind die Modulationsfrequenzen vorzugsweise nicht oder nicht genau aus Vielfachen von ganzen Zahlen zusammengesetzt. So können Intermodulationsprodukte vermieden werden, die identisch zu einer der Modulationsfrequenzen sind, z.B. falls geringe Nichtlinearitäten in der Kamera oder im Kamerasystem auftreten. Die Modulationsfrequenzen können insbesondere paarweise teilerfremd sein. Die Modulationsfrequenzen können grundsätzlich variiert werden.
Die Modulation kann allgemein als eine Kodierung des von der Leuchte abgestrahlten Lichts verstanden werden, welche es ermöglicht die Lichtanteile dieser Leuchte in einem digitalem Bild zu identifizieren bzw. zu extrahieren, obwohl das Objekt gleichzeitig von mehreren bzw. den anderen Leuchten gleichzeitig angestrahlt wird.
Es ist eine Weiterbildung, dass die Modulationsfrequenzen in einem Bereich zwischen 50 Hz und 1000 Hz, insbesondere zwischen 100 Hz und 1000 Hz, insbesondere zwischen 100 Hz und 500 Hz liegen. Die untere Grenze von 50 Hz oder sogar 100 Hz ist vorteilhaft, damit die Leuchten nicht für das menschliche Auge sichtbar flackern. Die obere Grenze ist vorteilhaft, damit eine Auswertung auch bei begrenzten oder geringen Abtastraten f_s noch mit geringen Fehlern durchführbar ist, was wiederum eine Nutzung einer preiswerten Videotechnik bzw. Kameratechnik ermöglicht (z.B. in Bezug an Anforderung an die Framerate).
Dass die von dem Objekt reflektierten Lichtanteile der jeweiligen Leuchten anhand ihrer Modulation erkannt und jeweiligen („extrahierten“) Teilbildern zugeordnet werden, ermöglicht es insbesondere, dass die extrahierten Teilbilder Bildern entsprechen (insbesondere genau entsprechen), die nur noch die Lichtanteile einer bestimmten Leuchte aufweisen. Die Teilbilder weisen insbesondere das gleiche Format auf wie die fotografisch aufgenommenen Einzelbilder.
Es ist eine Ausgestaltung, dass jeder Bildpunkt der (zeitlichen) Sequenz einer jeweiligen Fourieranalyse unterzogen wird und aus der Fourieranalyse erlangte Fourier-Komponenten als Werte der entsprechenden Bildpunkte den jeweiligen Teilbildern zugeordnet werden. Dies ermöglicht eine besonders effektive und schnelle Erkennung (insbesondere in „Realtime“) der von dem Objekt reflektierten Lichtanteile der jeweiligen Leuchten anhand ihrer Modulation. Zudem ermöglicht die Nutzung der Fourier-Komponenten eine einfache Möglichkeit, eine Hintergrundbeleuchtung nicht zu berücksichtigen.
Wie bei der Fourieranalyse üblich, definiert die Abtastrate den detektierbaren Frequenzbereich, während die Zahl der aufgenommenen Einzelbilder bzw. die Beobachtungszeit die messbare Frequenzauflösung bestimmt. Beide Parameter können angepasst werden, um die schnellsten Ergebnisse für ein bestimmtes Modulationsschema zu bekommen.
Unter einer Fourieranalyse kann insbesondere die Durchführung einer Fourier-Transformation verstanden werden, beispielsweise einer schnellen Fourier-Transformation (FFT).
In anderen Worten wird für jeden Bildpunkt aus einer vorgegebenen Gruppe von zeitlich versetzt aufgenommenen Einzelbildern eine zugehörige Zeitreihe von Bildpunktwerten oder Pixelmesswerten bestimmt. Diese (bildpunktbezogene) Zeitreihe wird einer jeweiligen Fourieranalyse unterzogen. Durch die Fouriertransformation wird ein Fourierspektrum mit Fourier-Komponenten als Werten im Frequenzraum erzeugt. Die Bildpunktwerte im Zeitraum können auch als Pixelwerte, Messwerte, Magnituden, Intensitätswerte, Luminanzwerte oder Helligkeitswerte angesehen werden, z.B. innerhalb eines Wertebereichs von [0; 255] bzw. [0; 1024] usw.
Eine auch mögliche Gleitkomma-Kodierung weist gegenüber einer Integer-Kodierung den Vorteil auf, dass die relative Genauigkeit des Wertes von seinem Wert selbst nicht abhängig ist. Ein niedrigerer Pixelbeleuchtungswert wird mit derselben relativen Genauigkeit (z.B. 5%) übertragen bzw. repräsentiert wie ein hoher Intensitätswert.
Es ist auch eine Ausgestaltung, dass mehr als drei bzw. mindestens vier voneinander beabstandete Leuchten mit jeweiligen Modulationsfrequenzen verwendet werden. Dies ergibt den Vorteil, dass durch eine Überbestimmung eine räumliche Überdeckung oder Abschattung einer zu rekonstruierenden Oberfläche verringert oder sogar ganz vermieden werden kann.
Es ist eine für eine genauere Rekonstruktion besonders vorteilhafte Ausgestaltung, dass das mindestens eine Objekt von mehr als drei unterschiedlich kodierten, insbesondere modulierten, Leuchten gleichzeitig beleuchtet wird, entsprechend mehr als drei zu den jeweiligen Leuchten gehörige Teilbilder erzeugt werden, dann fotometrische Stereoanalysen für unterschiedliche Leuchten-Kombinationen mit jeweils drei Teilbildern durchgeführt werden. Zudem können dann insbesondere zumindest zwei der sich jeweils ergebenden rekonstruierten Objektoberflächen zu einer einzigen finalen Objektoberfläche kombiniert oder überlagert, z.B. übereinandergelegt und/oder gemittelt, werden. Diese Ausgestaltung ist besonders vorteilhaft, falls Glanzbilder (auch als „spekulare Albedo“ bezeichnet) vorliegen, z.B. wenn ein Objekt zumindest teilweise eine glänzende oder spiegelnde Oberfläche aufweist. Wenn eine spekulare Albedo vorliegt, tritt diese in den Teilbildern nur an bestimmten Stellen an der Objektoberfläche auf, wobei ein Auftreten und/oder eine Stärke dieser Stellen für unterschiedliche Teilbilder unterschiedlich sein können. Das bedeutet, dass in jedem der Teilbilder glänzende Stellen der Objektoberfläche vorhanden sein können, für die keine brauchbare Information beigesteuert werden kann. Durch die Überlagerung der rekonstruierten Objektoberflächen lassen sich die fehlerhaften Stellen finden und beheben.
Beispielsweise kann dann, wenn vier Leuchten a, b, c und d gleichzeitig verwendet werden, eine jeweilige fotometrische Stereoanalyse für die Leuchten-Kombinationen (abc), (abd), (acd) und (bcd) durchgeführt werden. Dabei kann zumindest eine der sich jeweils ergebenden rekonstruierten Objektoberflächen an bestimmten Stellen keine sinnvolle Rekonstruktion zurückgeben. Durch Überlagerung von mindestens zwei der vier rekonstruierten Objektoberflächen lassen sich die fehlerhaften (glänzenden) Stellen finden und beheben.
Wie das Kombinieren bzw. Überlagern der rekonstruierten Objektoberflächen durchgeführt wird, ist grundsätzlich nicht beschränkt. So können in einer Weiterbildung alle rekonstruierten Objektoberflächen übereinandergelegt und/oder gemittelt werden. Insbesondere zur Unterdrückung von Glanzeffekten ist es jedoch vorteilhaft, nur eine Untermenge der rekonstruierten Objektoberflächen zu kombinieren, insbesondere eine solche Untermenge, welche den Glanzeffekt nicht oder nicht so stark zeigt.
Es ist eine Weiterbildung, dass zur Auswahl einer solchen Untermenge eine Mehrheitsentscheidung durchgeführt wird. Es werden dazu diejenigen Oberflächenrekonstruktionswerte verwendet (ggf. auch gemittelt oder gewichtet verwendet), die in mehreren (z.B. zwei oder drei) rekonstruierten Objektoberflächen zumindest innerhalb einer vorgegebenen Bandbreite übereinstimmen. Alternativ oder zusätzlich können Ausreißertests durchgeführt werden, z.B. Ausreißertests nach Grubbs oder Nalimov.
Es ist besonders vorteilhaft, wenn das Kombinieren bzw. Überlagern der zuvor rekonstruierten Objektoberflächen für jeden Oberflächenpunkt oder Oberflächenbereich der Objektoberfläche individuell durchgeführt wird. Dies kann auch als punktweises Kombinieren bezeichnet werden.
Bei ausreichend hoher Kamerabildrate bzw. Abtastrate ist das Nyquist-Shannon-Abtasttheorem erfüllt, und es treten nach Durchführung einer Fourieranalyse genauso viele Fourier-Komponenten auf wie Modulationsfrequenzen / modulierte Leuchten vorhanden sind. Dieser Fall kann auch als „Standard-Fourieranalyse“ bezeichnet werden. Die Bildrate ist in diesem Fall mindestens doppelt so hoch wie die Modulationsfrequenzen der Leuchten. Denn bei ausreichend langer Videosequenz (d.h., einer ausreichend großen Anzahl der aufgenommenen Einzelbilder) ist die Frequenzauflösung ausreichend, um zwischen den unterschiedlichen Modulationsfrequenzen noch unterscheiden zu können. Häufig wird eine Auflösung von 1 Hz bis 10 Hz benötigt, was einer Videosequenzlänge von einer Sekunde entspricht. Jedoch ist die vorliegende Erfindung nicht auf diesen Frequenzbereich beschränkt.
Es ist eine insbesondere zur Anwendung mit einer Standard-Fourieranalyse vorteilhafte Ausgestaltung, dass die Modulationsfrequenzen zeitlich konstant gehalten werden, die mehreren Einzelbilder mit einer Bildrate aufgenommen werden, die höher ist als die Modulationsfrequenzen der Leuchten, und die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der maximal bis zur halben Abtastrate reicht (Nyquist-Frequenzlimit). In anderen Worten liegt die Abtastrate f_s mindestens zweifach über der zu messenden Modulationsfrequenz (die auch als Lichtsignalfrequenz oder Nyquist-Frequenz bezeichnet werden kann).
Die Fourieranalyse erfasst dabei an jedem Bildpunkt bzw. Pixel direkt die zu den Modulationsfrequenzen zugehörigen Fourierbeträge (d.h., die Magnitude bzw. Höhe der gemessenen Linie), welche den Bildpunktmesswert (Pixelwert) infolge der Bestrahlung mit der entsprechenden Leuchte widergibt.
Diese Ausgestaltung weist den Vorteil auf, dass die Fourieranalyse (für jeden Pixel) besonders einfach umsetzbar ist und besonders genaue Teilbilder erzeugt.
Unter einer konstanten Modulationsfrequenz kann insbesondere eine Modulationsfrequenz verstanden, die eine Frequenzschwankung Δf_signal von weniger als 10 Hz, insbesondere von weniger als 5 Hz, insbesondere von weniger als 2 Hz, insbesondere von weniger als 1 Hz, aufweist.
Es ist auch eine Ausgestaltung, dass die Lichtsignal- bzw. Modulationsfrequenzen zeitlich konstant gehalten werden, die mehreren Einzelbilder mit einer Bildrate aufgenommen werden, die niedriger ist als zumindest eine Modulationsfrequenz der Leuchten (insbesondere als alle Modulationsfrequenzen der Leuchten), und die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der maximal bis zu der halben Abtastrate reicht.
Diese Ausgestaltung ergibt den Vorteil, dass eine Rekonstruktion von Objektoberflächen auch mit Kameras oder anderen Bildaufnahmeeinrichtungen durchgeführt werden kann, die eine vergleichsweise geringe Abtastrate aufweisen, z.B. von ca. 30 Bildern pro Sekunde („frames per second“, fps). Solche Kameras o.ä. sind vergleichsweise kostengünstig.
Dass die mehreren Einzelbilder mit einer Bildrate aufgenommen werden, die niedriger ist als zumindest eine Modulationsfrequenz der Leuchten, kann auch als „Unterabtastung“ oder „Undersampling“ bezeichnet werden. Bei einer Unterabtastung ergeben sich als Ergebnis einer Fourieranalyse mehrere Fourier-Komponenten pro Modulationsfrequenz. Diese Fourier-Komponenten liegen bei den zugehörigen Aliasfrequenzen f_alias, die sich gemäß $f_alias=f_signal - n * f_s>0 mit n=0,1,2,3 usw .$
ergeben, wobei f_signal die zugehörige Modulationsfrequenz und f_s die Sampling- oder Abtastrate ist. Bei der Anwendung der Fourieranalyse auf die abgetastete Signalsequenz werden die Parameter vorteilhafterweise so gewählt, dass die Nyquist-Frequenz der Fourieranalyse nur die niedrigste zu erwartende Aliasfrequenz umfasst, während die Aliasfrequenzen höherer Ordnung unberücksichtigt bleiben. Analog kann die Samplingrate so gewählt werden, dass die Frequenzauflösung zur Erfassung der zu erwartenden niedrigsten Aliasfrequenz ausreicht, um sie von den benachbarten niedrigsten Aliaskomponenten der anderen Leuchten trennen zu können. Typischerweise wird zur Parametrisierung der Fourieranalyse die Nyquist-Frequenz auf f_s/2 (z.B. auf 30 Hz/2 = 15 Hz) eingestellt und die Beobachtungszeit auf z.B. 1 sec, um eine Frequenzauflösung von 1 Hz zu erreichen. Die Fourieranalyse erfasst für den Fall der Unterabtastung also nur die Größen (z.B. Intensitäten) der niedrigsten Aliasfrequenzen der tatsächlichen Modulationsfrequenzen bzw. Lichtsignalfrequenzen.
Es ist eine Weiterbildung, dass als „richtige“ Fourier-Komponente (deren Wert zur Erstellung der Teilbilder weiterverwendet wird) jeweils die Fourier-Komponente mit der kleinsten Aliasfrequenz f_alias pro Modulationsfrequenz verwendet wird. Die frequenztechnisch niedrigste Aliasfrequenz wird auch als Basisbandsignal bezeichnet.
Die Fourier-Komponente der kleinsten Aliasfrequenz enthält die Information der zugehörigen Signalamplitude (als hier die Information über den Messwert des Bildpunkts für eine bestimmte Modulationsfrequenz), wobei nur eine Phaseninformation verloren geht. Alle anderen Fourier-Komponenten bei höheren Aliasfrequenz werden unterdrückt und nicht berücksichtigt.
Dies kann zusätzlich oder alternativ mittels Anwendung eines digitalen Tiefpassfilters auf die abgetastete Signalsequenz erreicht werden, der auch als Anti-Aliasingfilters bezeichnet werden kann.
Die kleinste Fourier-Komponente pro Modulationsfrequenz kann dann weiterverwendet werden, um wie bereits oben beschrieben Werte für die Bildpunkte der Teilbilder bereitzustellen.
Ein möglicher Fall des Unterabtastung-Konzepts kann wie folgt umgesetzt sein:
Die Modulationsfrequenzen f_signal = fa, fb und fc der Leuchten i = a, b bzw. c lauten beispielsweise: $fa=150Hz+3Hz=153Hz$
$fb= (2 \cdot 150 Hz) + 6 Hz=306Hz$
$fc= (3 \cdot 150 Hz) + 12 Hz=462Hz$
oder $fa=150Hz+3Hz=153Hz$
$fb=150Hz+6Hz=156Hz$
$fc=150Hz+12Hz=162Hz$
Die Abtastrate f_s von z.B. 30Hz ist viel kleiner als die Modulationsfrequenzen fa, fb bzw. fc. Eine Aufnahmezeit T von ca. einer Sekunde ermöglicht es, eine Abtastsequenz von 30 Einzelbildern einzulesen.
Aufgrund der Unterabtastung ergibt sich nach der Fourieranalyse ein Satz von Fourier-Komponenten bei Aliasfrequenzen fn_sub in den Fourierspektren der jeweiligen Bildpunkte. Die Aliasfrequenzen fn_alias liegen bei $fn_alias_n=f_signal-n \cdot f_s, mit n=1,2,3, \dots$
Die Aliasfrequenzen, die am nächsten an der Null liegen (Basisband-Frequenzen), sind $fa_alias_5=3Hz, (mit n=5)$
$fb_alias_10=6Hz, (mit n=10)$
$fc_alias_15=12Hz, (mit n=15)$
Durch Anwendung eines digitalen Tiefpass- oder Anti-Aliasing-Filters mit einer Abschneidefrequenz bei 15 Hz werden alle anderen, höherfrequenten Aliasfrequenzen unterdrückt. Die Abschneidefrequenz des - z.B. digitalen - Filters ist dabei so gelegt worden dass, nur noch die niedrigsten Aliaskomponenten gesehen werden. Es verbleiben nach der digitalen Filterung nur noch die Basisbandsignale.
Wenn das digitale Filter angewendet wird, bevor die Fourieranalyse durchgeführt wird, braucht nicht mehr oder nicht mehr aufwändig darauf geachtet zu werden, dass deren Parameter der Nyquistfrequenz nicht zu hoch ist. Insbesondere braucht mit der Fourieranalyse dann nicht mehr gefiltert zu werden.
Die Basisbandsignale können mittels üblicher Fourieranalyse analysiert werden, um die Position und Größe der Fourier-Komponenten zu finden.
Es ist also möglich, entweder „aktiv“ ein digitales Antialising-Filter anzuwenden und/oder die Fourieranalyse so parametrisieren, damit die höheren Aliases oberhalb der gewählten Nyquistfrequenz liegen und somit auch nicht mehr analysiert werden. Die zusätzliche Anwendung des digitalen Antialias-Filters ist vorteilhafterweise sicherer, da dabei nicht wie bei der Fourieranalyse mit Spiegeleffekten gerechnet zu werden braucht, die möglicherweise von Frequenzen oberhalb der Nyquistfrequenz durchgreifen können.
Es ist außerdem eine Ausgestaltung, dass die Modulationsfrequenzen zeitlich konstant gehalten werden, die Einzelbilder mit einer Bildrate aufgenommen werden, die niedriger ist als die Modulationsfrequenzen der Leuchten, die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der mindestens bis zu der jeweiligen Modulationsfrequenz reicht und gemessene Fourier-Komponenten aus mehreren wiederholte Messungen gemittelt werden, wobei die Abtastrate und die Modulationsfrequenz nicht synchronisiert sind.
Die fehlende Synchronisation kann auch als zufällige Abtastung („Random Sampling“) oder stochastische Abtastung („Stochastic Sampling“) bezeichnet werden.
Beim Random Sampling wird ausgenutzt, dass dann, wenn das von einem Objekt reflektierte Licht (d.h., gemessene „Lichtsignale“) mit einer niedrigen Abtastrate (Unterabtastung) erfasst wird, es noch teilweise Anteile bzw. Information der frequenztechnisch höherliegenden Modulationsfrequenz (Signalfrequenz) enthält. Die verbleibende Restinformation in der abgetasteten Signalsequenz hängt dabei von der zufälligen Phasenlage zwischen der Abtastfrequenz und zu messenden Modulationsfrequenz ab. Beträgt die Samplingfrequenz beispielsweise 30 Hz, ist die abgetastete Signalsequenz mit einem 30 Hz-Raster gerastert.
Diese gerastete Signalsequenz ist fourieranalysierbar, insbesondere mittels einer Standard-Fourieranalyse (ohne Berücksichtigung der Unterabtastung) bis zu einer Grenzfrequenz oberhalb der Abtastrate, insbesondere bis zu einem Halben der höchsten Modulationsfrequenz (z.B. 500Hz) oder bis zu der höchsten Modulationsfrequenz (z.B. 1000Hz).
Aus der Fourieranalyse ergeben sich rudimentäre bzw. abgeschwächte Werte der echten Fourier-Komponenten bei der Grenzfrequenz. Weil die geringe bzw. langsame Abtastrate mit der Modulationsfrequenz nicht synchronisiert ist, lässt sich durch wiederholtes Messen (entsprechend der Bereitstellung unterschiedlichen Sequenzen) das Signal/Rausch-Verhältnis verbessern. Es wird also für den Fall der zufälligen Abtastung ausgenutzt, dass jede Bildaufnahmesequenz Fourieranalysierbar ist, aber aufgrund der Unterabtastung von Einzelbildern nur einen bestimmten Bruchteil zu dem „wahren“ Wert oder Höhenniveau der Fourier-Komponenten beisteuert. Durch Aufnahme einer ausreichend hohen Zahl n von Sequenzen kann der wahre Wert durch einfache Summation erlangt werden.
Unter der dem Random Sampling zugrundeliegenden Annahme, dass die Aufnahmen der Sequenzen unkorreliert sind und zu zufälligen Zeitpunkten erfolgen (was z.B. dadurch erreicht werden kann, dass die Samplingrate unabhängig von den Modulationsfrequenzen ist), wird sich der Wert der Fourier-Komponenten linear mit der Zahl n der aufgenommenen Sequenzen erhöhen. Das Rauschen erhöht sich jedoch nur mit der Wurzel von n. Dies führt zu einem Signal-zu-Rausch-Verhältnis SNR mit $SNR (n) = (f_s/f_nyquist) \cdot n/sqrt (n)$
wobei f_s die Abtastrate ist, z.B. 30 Hz, f_nyquist das Zweifache der Modulationsfrequenz ist, z.B. 1000 Hz, und n die Zahl der aufgenommenen Sequenzen ist. Da das Nutzsignal mit dem Faktor n an steigt, während das Rauschen nur mit dem Faktor sqrt (n) ansteigt, steigt das SNR mit n / sqrt(n) = sqrt(n) an. Durch Festsetzen der Zahl n auf einen ausreichend hohen Wert, z.B. auf n = 100, für alle Messungen kann die gemessene Fourier-Komponente als ein repräsentativer Wert angenommen werden und zur Erzeugung der Teilbilder usw. herangezogen werden.
Es ist zudem eine Ausgestaltung, dass eine jeweilige Modulationsamplitude der Leuchten konstant gehalten wird. Dies erleichtert eine Durchführung des Verfahrens und steigert dessen Genauigkeit, weil eine Modulationstiefe der Intensität der einzelnen Leuchten entspricht.
Es ist eine zum gleichen Zweck vorteilhafte Weiterbildung, dass die Modulationsamplitude der Leuchten gleich hoch ist. Dies erleichtert insbesondere eine Kalibrierung.
Es ist eine Weiterbildung, dass die Amplitudentiefe (d.h., ein Verhältnis des Amplitudenhubs zu einer maximalen Amplitude Amax, also [Amax-Amin]/Amax) mindestens 5% beträgt, insbesondere mindestens 10%. Dies ermöglicht eine besonders gute Detektierbarkeit durch eine Kamera.
Die Aufgabe wird auch gelöst durch eine Vorrichtung, die zur Durchführung des Verfahrens eingerichtet ist.
Die Vorrichtung kann insbesondere mehrere voneinander beabstandete Leuchten, mindestens eine Kamera, deren Sichtfeld in einen durch die Leuchten beleuchtbaren Raumbereich gerichtet ist, und eine Auswerteeinrichtung aufweisen.
Die Vorrichtung ist insbesondere dazu eingerichtet, das von den Leuchten abgestrahlte Licht mit unterschiedlichen Modulationsfrequenzen zu modulieren (beispielsweise über geeignete Treiber).
Mittels der Kamera ist eine fotografische Sequenz mit mehreren Einzelbildern aufnehmbar.
Mittels der Auswerteeinrichtung ist die fotografische Sequenz auswertbar, um eine sichtbare Objektoberfläche eines im Sichtfeld der Kamera befindlichen Objekts mittels fotometrischer Stereoanalyse zu rekonstruieren. Die Auswerteeinrichtung kann auch dazu eingerichtet sein, auf der Grundlage der rekonstruierten Objektoberflächen eine Objekterkennung durchzuführen.
Es ist eine Weiterbildung, dass die Leuchten jeweils mindestens eine Leuchtdiode aufweisen.
Es ist eine Weiterbildung, dass die Vorrichtung ein Überwachungssystem oder ein Teil eines Überwachungssystems ist, beispielsweise zur Überwachung von Innen- und/oder Außenräumen. Das Überwachungssystem kann ein verteiltes System sein, bei dem die Auswerteeinrichtung entfernt von den Leuchten und der Kamera angeordnet ist.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung von Ausführungsbeispielen, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Dabei können zur Übersichtlichkeit gleiche oder gleichwirkende Elemente mit gleichen Bezugszeichen versehen sein.

1 zeigt ein Überwachungssystem gemäß einem ersten Ausführungsbeispiel;
2 zeigt eine Sequenz von Einzelbildern, die von einer Kamera des Überwachungssystems gemäß dem ersten Ausführungsbeispiel aufgenommen wurden;
3 zeigt eine Zeitreihe von Messwerten eines Bildpunkts der Sequenz;
4 zeigt ein Ergebnis einer Standard-Fourieranalyse der Zeitreihe von Messwerten;
5 zeigt aus der Fourieranalyse gewonnene Teilbilder.
6 zeigt ein Überwachungssystem gemäß einem zweiten Ausführungsbeispiel;
7 zeigt eine Zeitreihe von Messwerten eines Bildpunkts einer Sequenz von Einzelbildern,;
8 zeigt ein Ergebnis einer Standard-Fourieranalyse der Zeitreihe von Messwerten, die von der Kamera des Überwachungssystems gemäß dem zweiten Ausführungsbeispiel aufgenommen wurden; und
9 zeigt eine Bestimmung einer Oberflächenpunkts einer rekonstruierten Oberfläche aus einer Menge von mehreren Oberflächenpunkten.

1 zeigt ein Überwachungssystem S1 gemäß einem ersten Ausführungsbeispiel. Das Überwachungssystem S1 weist drei voneinander beabstandete Leuchten a, b bzw. c auf. Die Leuchten a bis c sind voneinander beabstandet, so dass von ihnen abgestrahltes Licht unter unterschiedlichen Einfallswinkeln auf ein Objekt O fällt. Das Überwachungssystem S1 weist ferner eine Digitalkamera K auf, deren Sichtfeld in einen durch die Leuchten a bis c beleuchtbaren Raumbereich gerichtet ist.
Die Kamera K ist in der Lage, zeitliche Sequenzen von Einzelbildern EB (siehe 2) mit einer bestimmten Abtastrate f_s aufzunehmen. In den Einzelbildern EB ist das Objekt O vorhanden bzw. abgebildet. Jedem Bildpunkt BP(x,y) eines Einzelbilds EB ist ein entsprechender Oberflächenbereich oder Oberflächenpunkt OP(x,y) zugeordnet.
Das Überwachungssystem S1 weist außerdem eine Auswerteeinrichtung A auf, mittels der die fotografische Sequenz auswertbar ist, um eine für die Kamera K sichtbare Objektoberfläche OS1, OS2 des Objekts O mittels fotometrischer Stereoanalyse zu rekonstruieren. Die Auswerteeinrichtung A kann auch dazu eingerichtet sein, auf der Grundlage der rekonstruierten Objektoberflächen OS1, OS2 eine Objekterkennung und/oder Aktivitätserkennung durchzuführen.
Das Überwachungssystem S1 ist insbesondere dazu eingerichtet, das von den Leuchten a bis c abgestrahlte Licht La, Lb bzw. Lc mit unterschiedlichen Modulationsfrequenzen fa, fb bzw. fc zu modulieren (beispielsweise über geeignete Treiber). Die Modulationsfrequenzen fa, fb und fc sind insbesondere teilerfremd, so dass ein Auftreten einer Intermodulation besonders effektiv verhindert werden kann. Die Leuchten a, b, und c können jeweils mindestens eine Leuchtdiode (o. Abb.) aufweisen, insbesondere mindestens eine weißes Licht La bis Lc abstrahlende Leuchtdiode. Die Leuchten a, b und c können einen gleichen Aufbau aufweisen.
2 zeigt eine Folge oder Sequenz von n Einzelbildern EB_r, EB_r+1, EB_r+2, ..., EB_r+n, die von der Kamera K des Überwachungssystems S aufgenommen wurden. Jedes der Einzelbilder EB weist mehrere Bildpunkte BP(x,y) auf, z.B. mit x und/oder y aus einer Menge {1024 × 640}.
Aufgrund der Modulation der Leuchten a bis c unterscheiden sich die Beleuchtungssituationen der Bildpunkte BP(x,y) zur Zeit der Aufnahmen der Einzelbilder EB_r bis EB_r+n.
3 zeigt eine Zeitreihe von Messwerten eines bestimmten Bildpunkts BP(x,y) aus der Sequenz der Einzelbilder EB_r bis EB_r+n. Die Größe bzw. der Wert des Bildpunkts BP(x,y) zu einem jeweiligen Zeitpunkts ist ein („Pixel-“)Messwert PMw(x,y) und kann z.B. einem Helligkeitswert entsprechen.
4 zeigt Fourier-Komponenten FT_a, FT_b, FT_c als ein Ergebnis einer Standard-Fourieranalyse der Zeitreihe von Messwerten PMw(tr), ..., PMw(tr+n) zu Zeitpunkten tr, ..., tr+n aus 3. Die Standard-Fourieranalyse kann beispielsweise eine schnelle Fouriertransformation (FFT) sein.
Die Magnituden oder Werte der Fourier-Komponenten FT_a, FT_b und FT_c entsprechen repräsentativen Intensitätsmesswerten Iw, die nur die Anteile der Lichtanteile La, Lb bzw. Lc der Leuchten a, b bzw. c umfassen.
5 zeigt aus der Fourieranalyse gewonnene drei Teilbilder TBa, TBb und TBc. Die Teilbilder TBa, TBb und Tc umfassen bzw. beinhalten jeweils die Intensitätsmesswerte Iw der zugehörigen Fourier-Komponenten FTa, FTb und FTc an den jeweiligen Bildpunkten BP(x,y).
Die drei Teilbilder TBa, TBb und TBc entsprechen Einzelbildern, die nur bei Beleuchtung durch jeweils eine der Leuchten a, b bzw. c aufgenommen worden wären. Wie durch den Pfeil angedeutet, können diese drei Teilbilder TBa, TBb und TBc als Eingangsbilder für eine fotometrische Stereoanalyse verwendet werden, um die Objektoberflächen OS1, OS2 zu rekonstruieren.
6 zeigt ein Überwachungssystem S2 gemäß einem zweiten Ausführungsbeispiel. Das Überwachungssystem S2 ist ähnlich zu dem Überwachungssystem S1 aufgebaut, weist aber nun eine weitere Leuchte d auf, die moduliertes Licht Ld einer Modulationsfrequenz fd abstrahlt.
7 zeigt analog zu 4 ein Ergebnis einer Standard-Fourieranalyse der Zeitreihe von Messwerten eines Bildpunkts BP(x,y) einer Sequenz von Einzelbildern EB_r, ..., Eb_r+n, die von der Kamera K des Überwachungssystems S2 aufgenommen wurden. Es ergeben sich nun vier Fourier-Komponenten FT_a bis FT_d, die den Modulationsfrequenzen fa bis fd entsprechen. Aus den vier Fourier-Komponenten FT_a bis FT_d aller Bildpunkte lassen sich entsprechende vier Teilbilder TBa bis TBd (siehe 8) erzeugen.
8 zeigt die aus vier nutzbaren unterschiedlichen Triplet-Gruppen von Leuchten-Kombinationen mittels Fourier-Transformationen erzeugten entsprechenden Teilbilder TBa bis TBd. Dies sind die Teilbilder TBa, TBb und Tc der Leuchten-Kombination {a, b, c}, die Teilbilder TBa, TBb und TBd der Leuchten-Kombination {a, b, d}, die Teilbilder TBa, TBc und TBd der Leuchten-Kombination {a, c, d} und die Teilbilder TBb, TBc und TBd der Leuchten-Kombination {b, c, d}. Aus den jeweiligen Triplets der Teilbilder.
Da aber für eine fotometrische Stereoanalyse nur drei Teilbilder benötigt werden, lässt sich aus den Triplets der Teilbilder TBa bis TBd jeweils eine unabhängige fotometrische Oberflächenrekonstruktion der Objektoberflächen OS1, OS2 des Objekts O durchführen.
Die vier unabhängigen Oberflächenrekonstruktionen lassen sich durch Überlagerung zu einem konsistenten Endergebnis für die Oberflächenrekonstruktion heranziehen. Dabei wird berücksichtigt, dass es in der Praxis zu Abweichungen der durch die verschiedenen Triplets rekonstruierten Oberflächen OS1, OS2 kommen kann, z.B. aufgrund von Abschattungen oder Glanzeffekten (spekulares Albedo).
9 zeigt eine Bestimmung eines finalen Bildpunktwerts PMw_final für einen bestimmten Oberflächenpunkt OP(x,y) aus einer Menge von mehreren (hier: vier) Bildpunktwerten PMw_1 bis PMw_4 für diesen gleichen Oberflächenpunkt OP(x,y). Die vier Bildpunktwerte PMw_1 bis PMw_4 entsprechen somit jeweils dem nominell gleichen Oberflächenpunkt OP(x,y), der sich aus den mittels der vier verschiedenen Leuchten-Kombinationen rekonstruierten Oberflächen ergibt.
Liegt ein Bildpunktwert PMw_1 außerhalb einer vorgegebenen Bandbreite B, die hier durch den Kreis angedeutet ist, zu den anderen Bildpunktwerten PMw_2 bis PMw_4, kann er als Ausreißer angesehen werden und aus einer Betrachtung zur Bestimmung des finalen Bildpunktwerts PMw_final ausgeschlossen werden, wie in dem linken Teil von 9 dargestellt.
Das Ausschlussverfahren kann grundsätzlich auch auf mehr als einen der Oberflächenpunkte OP(x,y) angewandt werden.
Sind alle Bildpunktwerte bis auf einen Bildpunktwert ausgeschlossen worden, wird der übriggebliebene Bildpunktwert als der finale Bildpunktwert PMw_final gesetzt.
Sind mehrere Bildpunktwerte PMw_2 bis PMw_4 übrig geblieben, können diese z.B. gemittelt werden, um einen gemittelten Bildpunktwert PMw_avg zu berechnen, der als der finale Oberflächenpunkt PMw_final verwendet wird. Dies ist im rechten Teil von 9 gezeigt.
Die obigen Konsistenzkonzepte können auf alle Oberflächenpunkte OP(x,y) bzw. rekonstruierten Oberflächen OS1, OS2 angewandt werden.
Obwohl die Erfindung im Detail durch die gezeigten Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht darauf eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
So kann die Bildrate des Kamera K auch so gering sein, dass eine Unterabtastung vorliegt.
Allgemein kann unter „ein“, „eine“ usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von „mindestens ein“ oder „ein oder mehrere“ usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck „genau ein“ usw.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
Bezugszeichenliste

Auswerteeinrichtung	A
Leuchte	a
Bandbreite	B
Bildpunkt an der Position (x,y)	BP(x,y)
Leuchte	b
Leuchte	c
Leuchte	d
Einzelbilder r, ..., r+n	EB_r bis EB_r+n
Fourier-Komponente	FT_a bis FT_d
Modulationsfrequenzen der Leuchten a bis d	fa bis Fd
Intensitätsmesswert	Iw
Digitalkamera	K
Moduliertes Licht der Leuchten a bis d	La bis Ld
Objekt	O
Oberflächenpunkt des Bildpunkts BP(x,y)	OP(x,y)
Messwert des Bildpunkts BP(x,y)	PMw(x,y)
Gemittelter Bildpunktwert	PMw_avg
Finaler Bildpunktwert	PMw_final
Bildpunktwerte verschiedener Triplets	PWm_1 bis PWm_4
Objektoberfläche	OS1
Objektoberfläche	OS2
Abtastrate	f_s
Überwachungssystem	S1 bis S2
Teilbild	TBa bis TBd

Claims

Verfahren zur Oberflächenrekonstruktion, bei dem - mindestens ein Objekt (O) von mehreren voneinander beabstandeten Leuchten (a-c; a-d) gleichzeitig beleuchtet wird, - eine fotografische Sequenz mit mehreren Einzelbildern (EB_r-EB_r+n) des mindestens einen Objekts (O) aufgenommen wird und - mindestens eine sichtbare Objektoberfläche (OS1, OS2) des Objekts (O) mittels fotometrischer Stereoanalyse rekonstruiert wird, wobei - das von den Leuchten (a-c; a-d) abgestrahlte Licht (La-Lc; La-Ld) mit unterschiedlichen Modulationsfrequenzen (fa-fc; fa-fd) moduliert wird, - die von dem Objekt (O) reflektierten Lichtanteile der jeweiligen Leuchten (a-c; a-d) anhand ihrer Modulationsfrequenzen (fa-fc; fa-fd) erkannt und jeweiligen Teilbildern (TBa-TBc; TBa-TBd) zugeordnet werden und - die Teilbilder (TBa-TBc; TBa-TBd) als Eingangsbilder für die fotometrische Stereoanalyse verwendet werden.
Verfahren nach Anspruch 1, bei dem - jeder Bildpunkt (BP(x,y)) der Einzelbilder (EB_r-EB_r+n) der Sequenz einer jeweiligen Fourieranalyse unterzogen wird und - aus der Fourieranalyse erlangte Fourier-Komponenten (FT_a-FT_c; FT_a-FT_d) als Werte der entsprechenden Bildpunkte den jeweiligen Teilbildern (TBa-TBc; TBa-TBd) zugeordnet werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem mehr als drei Leuchten (a-d) mit jeweiligen Modulationsfrequenzen (fa-fd) verwendet werden.
Verfahren nach Anspruch 3, bei dem - das Objekt (O) von mehr als drei unterschiedlich modulierten Leuchten (a-d) gleichzeitig beleuchtet wird, - zu den mehr als drei Leuchten (a-d) gehörige jeweilige Teilbilder (TBa-TBd) erzeugt werden, - fotometrische Stereoanalysen für unterschiedliche Leuchten-Kombinationen mit jeweils drei Teilbildern durchgeführt werden und - zumindest zwei der sich jeweils ergebenden Objektoberflächen (OS1, OS2) zu einer einzigen finalen Objektoberfläche kombiniert werden.
Verfahren nach einem der Ansprüche 2 bis 4, bei dem - die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden, - die mehreren Einzelbilder (EBr-EBr+n) mit einer Abtastrate (f_s) der Kamera (K) aufgenommen werden, die höher ist als die Modulationsfrequenzen (fa-fc; fa-fd), und - die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der maximal bis zur halben Abtastrate (f_s) reicht.
Verfahren nach einem der Ansprüche 2 bis 4, bei dem - die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden, - die mehreren Einzelbilder (EBr-EBr+n) mit einer Abtastrate (f_s) aufgenommen werden, die niedriger ist als die Modulationsfrequenzen (fa-fc; fa-fd), und - die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der maximal bis zur halben Abtastrate (f_s) reicht.
Verfahren nach einem der Ansprüche 2 bis 4, bei dem - die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden, - die mehreren Einzelbilder (EBr-EBr+n) mit einer Abtastrate (f_s) aufgenommen werden, die niedriger ist als die Modulationsfrequenzen (fa-fc; fa-fd), und - vor der Fourieranalyse auf eine zeitliche Reihe jeweiliger Bildpunkte (BP(x,y)) ein digitales Tiefpassfilter mit einer Grenzfrequenz entsprechend einer Abtastrate (f_s) der Kamera (K) angewendet wird.
Verfahren nach einem der Ansprüche 2 bis 4, bei dem - die Modulationsfrequenzen (fa-fc; fa-fd) der Leuchten (a-c; a-d) zeitlich konstant gehalten werden, - die Einzelbilder mit einer Abtastrate (f_s) aufgenommen werden, die niedriger ist als die Modulationsfrequenzen (fa-fc; fa-fd), - die Fourieranalyse für einen Frequenzbereich durchgeführt wird, der bis zu der jeweiligen Modulationsfrequenz (fa-fc; fa-fd) reicht und - Fourier-Komponenten dieses Frequenzbereichs unterschiedlicher Sequenzen gemittelt werden, wobei - die Abtastrate (f_s) und die Modulationsfrequenzen (fa-fc; fa-fd) nicht synchronisiert sind.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem mindestens eine Modulationsamplitude konstant gehalten wird.
Vorrichtung (S1, S2), wobei die Vorrichtung (S1, S2) zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
Vorrichtung (S1, S2) nach Anspruch 10, wobei die Leuchten (a-c; a-d) jeweils mindestens eine Leuchtdiode aufweisen.
Vorrichtung (S1, S2) nach einem der Ansprüche 10 oder 11, wobei die Vorrichtung (S1, S2) ein Überwachungssystem ist.