-
Die Erfindung betrifft ein Verfahren zur Bestimmung von optischen Parametern eines optisch trüben Mediums mittels Erfassung von im Medium propagierenden Licht mit einer elektronischen Kamera.
-
Unter einem optisch trüben Medium versteht die vorliegende Anmeldung insbesondere ein Gas oder ein Fluid, welches für Strahlung aus wenigstens einem für die Kamera erfassbaren Teil des elektromagnetischen Spektrums teiltransparent ist, wobei ein Anteil dieser Strahlung in jedem durchlaufenen Volumenelement des Mediums gestreut und/oder absorbiert werden kann. Prominente Beispiele für trübe Medien sind rauchhaltige Luft oder Meerwasser.
-
Besonders aus dem Anwendungsfeld der Unterwasser-Bildgebung ist bekannt, dass die streuende und absorbierende Natur des Meerwassers schon für Wellenlängen des sichtbaren (VIS) Spektrums erhebliche nachteilige Effekte auf die erfasste Bildqualität haben kann, wenn man an der visuellen Beobachtung großer Objekte oder Areale und an der Erfassung realistischer Farben interessiert ist. Beispielsweise ist die Sichtweite unter Wasser in der Regel sehr begrenzt, wenn man keine Hintergrundbeleuchtung (Sonnenlichteinstrahlung durch die Wasseroberfläche) zur Verfügung hat und auf - mitgeführte - künstliche Beleuchtung angewiesen ist. Selbst bei überall vorhandenem Hintergrundlicht verwischen weit von der Kamera entfernte Strukturen im Kamerabild sehr stark durch die mit dem Abstand zunehmende Abschwächung und Streuung des direkten Lichts und den zugleich zunehmenden Streulichteinfall von der Seite in das Kameraobjektiv („Blurring“). Überdies sind Streuung und Absorption des Mediums (Wasser) wellenlängenselektiv, und die Streuung erfolgt dabei auch nicht isotrop. Dies führt bekanntermaßen zur stärkeren Abschwächung langwelliger Strahlung, hier kurz rotes Licht genannt, gegenüber der Abschwächung kürzerer Wellenlängen, mithin von grünem und blauem Licht. Aus einem Unterwasser-Farbbild lassen sich die wahren Farben der erfassten Objekte grundsätzlich nicht direkt ablesen. Vielmehr ist eine Farbkorrektur für jeden der von der Kamera erfassbaren Farbkanäle durchzuführen.
-
Unter einem Farbkanal versteht diese Anmeldung ein endliches Wellenlängen-Intervall des elektromagnetischen Spektrums. Dabei sind die Grenzen des Wellenlängen-Intervalls nicht notwendig auf das VIS-Spektrum beschränkt, sondern vielmehr auf die Detektionsgrenzen der lichtsensitiven Farbdetektoren der elektronischen Kamerapixel, die beispielsweise auch im infraroten oder ultravioletten Bereich liegen können. In der Regel besitzen elektronische Farbkameras strukturierte Farbfilter vor den lichtsensitiven Pixeln, wobei sich über die Kenntnis der Eigenschaften des Filters jedem Pixel mehrere Farbwerte simultan algorithmisch zuweisen lassen - beispielsweise für die Farben Rot, Grün und Blau (RGB). Ob und inwieweit die Ränder der Wellenlängen-Intervalle der Farbkanäle dabei womöglich überlappen, ist und bleibt üblich proprietäres Know-How des Kameraherstellers. Die apparativen Merkmale der Kamera legen jedenfalls fest, welche und wie viele Farbkanäle bei der Bilderfassung genutzt werden können.
-
Die Druckschrift
CN 1 08 564 543 A beschreibt ein Verfahren zur Farbkorrektur von Unterwasser-Bildern, indem die Transmissivitäten der RGB-Farbkanäle aus Kamerabildern errechnet werden. Dabei macht die Arbeit einige stark vereinfachende Annahmen, u.a.: (i) die Abschwächung der Farbkanäle G und B soll ungefähr gleich sein, (ii) Vorwärtsstreuung des Lichts wird ignoriert und (iii) existiert eine mittlere Lichtintensität des Wasserkörpers, die die Szene beleuchtet, d.h. es wird von solarer Beleuchtung ausgegangen. Weiterhin kommt ein Abschattungstarget vor der Kamera zum Einsatz, um anhand von Lichtmesswerten auf den abgeschatteten Pixeln die Lichtstreuung einzuschätzen („dark channel prior“ Ansatz). Letzteres wird in ähnlicher Weise in der Druckschrift
CN 1 07 356 596 B dargestellt.
-
Das Verfahren der
CN 1 08 564 543 A kann schon aufgrund dieser einschränkenden Annahmen nicht zur Einschätzung realistischer optischer Parameter des Wassers herangezogen werden, und erst recht nicht in der Tiefsee, wo die Beleuchtung nur durch künstliche Lichtquellen möglich ist.
-
Aus der Arbeit von Mitch Bryson, Matthew Johnson-Roberson, Oscar Pizarro and Stefan B Williams, „True color correction of autonomous underwater vehicle imagery“, Journal of Field Robotics, 33(6):853-874, 2016, 3, ist ein Verfahren bekannt, bei dem eine künstliche Lichtquelle eine Szene beleuchtet und eine Farbkorrektur der Bilder der Szene ausgeführt wird. In dieser Arbeit wird Lichtstreuung im Medium vernachlässigt.
-
Jede künstliche Lichtquelle bringt grundsätzlich ihre eigene Leuchtcharakteristik in die Aufgabenstellung ein, über die man sich Klarheit verschaffen muss. So führt eine erste Lichtquelle, die stärker im roten Spektrum emittiert, selbstverständlich zu anderen Farbbildern als eine zweite Lichtquelle mit einer intensiveren Blauemission. Ebenso hängt das Bild eines großen Objekts, das mit einem Scheinwerfer angestrahlt wird, ganz erheblich von der Ausrichtung des Scheinwerfers ab.
-
Ganz allgemein versteht die vorliegende Anmeldung unter der Leuchtcharakteristik einer Punktlichtquelle eine emittierte Lichtintensitätsverteilung J in Abhängigkeit von der Wellenlänge Ä und dem Ort r im Raum bezogen auf den Ort der Punktlichtquelle rp, also J = J (λ, r-rP). Im einfachsten Fall ist dabei die Punktlichtquelle von einem lichtundurchlässigen Gehäuse umschlossen, in das eine lichtdurchlässige Fläche, z.B. aus Glas, eingelassen ist. Das Licht kann dann nur von der Punktlichtquelle aus in Richtung der Glasfläche austreten, d.h. man hat die einfachste Version eines Scheinwerfers. Denkt man sich die Glasfläche nun aus einer Vielzahl von lichtdurchlässigen - beispielsweise gleich großen - Segmenten gebildet, wobei jedem Segment eine vorbekannte Position sowie Transmissivitäten für die von der Punktlichtquelle emittierten Wellenlängen - oder wenigstens für die Farbkanäle, die eine Kamera unterscheiden kann - zugeordnet wird, so gelangt man zu einer parametrisierten Darstellung der nativen Leuchtcharakteristik des Scheinwerfers. Wird der Scheinwerfer schließlich auf eine Szene ausgerichtet, d.h. hinsichtlich seiner Pose (umfassend Position und Orientierung) in einem Weltkoordinatensystem festgelegt, dann erhält man die Leuchtcharakteristik des Scheinwerfers, also jene Intensitätsverteilung, die der Scheinwerfer in die Szene einstrahlt. Offenkundig kann sich die Leuchtcharakteristik einer Lichtquelle oder Lampe mit ihrer Pose ändern, während die native Leuchtcharakteristik davon unberührt bleibt.
-
Eine Beleuchtungseinrichtung für eine Szene kann auch eine Mehrzahl von Lichtquellen mit verschiedenen Posen umfassen. Beispielsweise können die einzelnen Lichtquellen als Scheinwerfer ausgestaltet in einer Linie angeordnet und zueinander parallel in dieselbe Abstrahlrichtung ausgerichtet sein. Alternativ kann die Beleuchtungsanlage aus Scheinwerfern gebildet sein, die ein in der Szene befindliches Objekt - z.B. ringförmig - umgeben und jeweils einzeln auf das Objekt ausgerichtet sind. Als Leuchtcharakteristik der Beleuchtungseinrichtung gilt dabei die Summe der Leuchtcharakteristiken der einzelnen mit festen Posen versehenen Lichtquellen. Sie umfasst dabei beispielsweise die besagten Segmentparameter - Positionen und Transmissivitäten wenigstens für die von der Kamera unterscheidbaren Farbkanäle - und die Posen aller beteiligten Lichtquellen. Die Gesamtheit dieser Posen wird hiernach als die Pose der Beleuchtungseinrichtung bezeichnet.
-
In der Arbeit von Bryson et al. wird angegeben, dass die native Leuchtcharakteristik der künstlichen Lichtquelle von ihrem Hersteller beigestellt worden ist. Nach dem zuvor Gesagten ist dies allein keine ausreichende Qualifizierung der Beleuchtung einer Szene, wenn die Pose der Lichtquelle nicht in dem Weltkoordinatensystem, welches die Kamera bei der Bilderfassung der Szene festlegt, genau bekannt ist. Überdies sollte nicht ohne Weiteres davon ausgegangen werden, dass sich die Leuchtcharakteristik einer Beleuchtungseinrichtung nicht mit der Zeit ändern könnte. Praktische Gründe in der Tiefsee können dafür z.B. eine unbemerkte Verschmutzung oder der völlige Ausfall einer Lampe in einer Lampenanordnung oder auch ein Nachlassen der Batterieleistung zum Betrieb der Beleuchtungseinrichtung sein.
-
Vor diesem Hintergrund stellt sich die Erfindung die Aufgabe, ein verbessertes Verfahren zur Bestimmung der optischen Parameter eines optisch trüben Mediums aus elektronischen Kamerabildern bei künstlicher Beleuchtung vorzuschlagen.
-
Die Aufgabe wird gelöst durch ein Verfahren zur Bestimmung von optischen Parametern eines Mediums mit den Schritten:
- a. Bereitstellen einer künstlichen Beleuchtungseinrichtung mit einer Leuchtcharakteristik für wenigstens drei Farbkanäle;
- b. Aussenden von Licht auf den wenigstens drei Farbkanälen in das Medium;
- c. Bereitstellen einer elektronischen Kamera zum Erfassen wenigstens eines Anteils des auf jedem Farbkanal von der Beleuchtungseinrichtung ausgesendeten Lichts, wobei
- d. die Kamera ein Koordinatensystem festlegt und
- e. die Pose der Beleuchtungseinrichtung bezüglich der Kamera vorbekannt ist;
- f. Bereitstellen eines Targets aufweisend unterscheidbare Orientierungsmarker und vorbekannte Reflektivität in Luft für Licht auf jedem der ausgesendeten Farbkanäle;
- g. Verbringen des Targets an eine von der Beleuchtungseinrichtung beleuchtete und für die Kamera einsehbare Position im Medium und Erfassen eines Bildes des Targets;
- h. Ermitteln der Pose des Targets in Bezug auf die Kamera anhand der Orientierungsmarker im erfassten Bild;
- i. Errechnen eines simulierten Bildes des Targets mit einem Raytracing-Verfahren unter Verwendung der ermittelten Koordinaten des Targets und unter Schätzung der Leuchtcharakteristik der Beleuchtungseinrichtung und der optischen Parameter des Mediums;
- j. Pixelweises Vergleichen des simulierten Bildes mit dem erfassten Bild und Berechnen eines Fehlermaßes;
- k. Wiederholen der Schritte g bis k unter Variieren wenigstens des Abstandes des Targets zur Kamera, wobei
- l. die Schätzwerte für die Leuchtcharakteristik und für die Parameter des Mediums als Variablen aufgefasst werden und
- m. das wiederholt berechnete Fehlermaß als Funktion der Variablen einer Minimierung durch Gradientenabstieg unterzogen wird, bis ein vorbestimmtes Minimalitätskriterium erreicht ist, wonach
- n. die bei Minimalität vorliegenden Werte der Variablen als die Leuchtcharakteristik der Beleuchtungseinrichtung im Medium und als die optischen Parameter des Mediums bestimmt sind.
-
Konzeptionell geht das erfindungsgemäße Verfahren den Weg des fortlaufenden Ineinandergreifens von tatsächlicher Lichtmessung - Bilderfassung - und numerischer Simulation des erfassten Bildes eines vorbekannten und innerhalb der Szene repositionierbaren Targets. Das Target ist dabei so gestaltet, dass seine Posenschätzung aus dem erfassten Bild heraus ohne weiteres möglich ist. Das Bild des Targets mit der ermittelten Pose wird hiernach unter Annahme der Parameter der Leuchtcharakteristik der Beleuchtungseinrichtung und unter Annahme der optischen Parameter des Mediums simuliert. Abweichungen zwischen dem tatsächlich erfassten und dem simulierten Bild des Targets werden als eine Kostenfunktion ermittelt, die es durch Gradientenabstieg bezüglich der angenommenen Parameter zu minimieren gilt. Dies gelingt unter Hinzunahme weiterer Information aus realen und simulierten Bildpaaren, in denen lediglich das Target auf andere Abstände zur Kamera verbracht wird. Die simulierten Bilder werden dabei durch ein Raytracing-Verfahren generiert, welches die Absorption und Streuung einer Vielzahl von Photonen in jedem Volumenelement des Mediums in Abhängigkeit von der Wellenlänge - wenigstens aber vom Farbkanal - physikalischen Gesetzen folgend simuliert. Exemplarisch können für die Absorption das Lambert-Beer-Gesetz und für die Streuung eine Phasenfunktion nach Henyey-Greenstein oder bevorzugt nach Fournier-Forand implementiert werden, wobei die Letzteren jeweils nicht-isotrope Streuung der Photonen beschreiben. Das Raytracing generiert als Ergebnis eine - physikalisch realitätsnah - simulierte Intensitätsverteilung des Lichts der Beleuchtungseinrichtung auf den Pixeln der Kamera nach Lichtpropagation in der Szene.
-
Es ist ein zentraler Gedanke der Erfindung, dass die optischen Parameter des Mediums und die Parameter der Leuchtcharakteristik zugleich bestimmt werden sollen. Dies erscheint auf den ersten Blick wegen der vergleichsweise großen Anzahl an Parametern der Leuchtcharakteristik eher erschwerend und würde vom Fachmann lieber durch eine einmalige Kalibration erledigt werden (vgl. Bryson et al.).
-
Es zeigt sich jedoch, dass die Durchführung sowohl der schnellen Bildsimulation mittels moderner Grafikkarten-Technologie als auch der Gradientenabstiegs-Minimierung mittels der heute verfügbaren Hardware für neuronale Netze in annehmbarer Rechenzeit zu bewerkstelligen ist. Durch die Nutzung der Erfindung kann man sich nicht nur jegliche Kalibration der Beleuchtungseinrichtung ersparen, sondern gewinnt sogar neue Freiheit bei Auswahl der verwendeten Ausrüstung und Ausleuchtung der abzubildenden Szene.
-
Die Erfindung wird nachfolgend noch näher erläutert (nicht zwingend beschränkend). Dabei zeigen:
- 1 ein Ausführungsbeispiel für eine der Kamera zugewandte Seite des Targets mit Aruco-Markern und
- 2 eine schematische Anordnung eines Aufbaus zur Durchführung der Erfindung.
-
In 1 ist eine der Kamera zugewandte Seite des Targets als Ausführungsbeispiel dargestellt. Wie bereits erwähnt legt die Kamera fest, welche Farbkanäle sie zu unterscheiden vermag. Die Beleuchtungseinrichtung und das Target sind so auszubilden, dass diese Farbkanäle alle angesprochen werden können. Dies stellt keine große Anforderung dar, da die Beleuchtungseinrichtung ggf. eine Mehrzahl verschiedener Lichtquellen umfassen kann und das Target möglichst ein weißer Streuer sein sollte. Wie gezeigt ist das Target in 1 mit einer zentralen weißen Fläche versehen und trägt diese Fläche umgebend unterscheidbare Orientierungsmarker, hier vorzugsweise Aruco-Marker. Solche Marker sind aus der Computer Vision bestens bekannt und dienen auch dort der Posenschätzung aus Kamerabildern. Entsprechende Algorithmen sind Stand der Technik und bereits in Software implementiert verfügbar.
-
Die Skizze der 2 verdeutlicht eine übliche Anordnung zur Bestimmung der optischen Parameter des Mediums (40). Die Beleuchtungseinrichtung ist hier eine einzelne Lampe (10) und die Kamera (20) wird durch den gezeichneten Öffnungswinkel ihres Sichtfeldes angedeutet. Im Sichtfeld der Kamera (20) und innerhalb des trüben Mediums (40) sind das Target (30) und ein Objekt (50) angeordnet. Ein üblicher Verwendungszweck des erfindungsgemäßen Verfahrens besteht darin, die bestimmten Parameter des Mediums (40) dazu zu nutzen, ein Bild des Objekts (50) zu simulieren, das die möglichst wahrheitsgetreuen Farben des Objekts (50) in Luft zeigt, anders gesagt, das trübe Medium (40) virtuell aus dem Bild zu entfernen.
-
Es zählt zu den Vorzügen der Erfindung, dass eine Neuermittlung der Parameter des Mediums und der Leuchtcharakteristik jederzeit und wiederholt erfolgen kann, solange das Target im Bild zu sehen ist und Posen in unterschiedlichen Abständen zur Kamera einnimmt. Dabei reicht es aus, dass das Target einen erstens Teilbereich des erfassten Bildes einnimmt, während gleichzeitig ein zweiter Teilbereich des erfassten Bildes eine Szene im Medium zeigt. Es besteht kein Bedarf an einer separaten Kalibrierphase oder an einer anderweitigen Unterbrechung der Bilderfassung des Objekts von Interesse.
-
Es zählt weiterhin zu den Vorzügen der Erfindung, dass praktisch jede elektronische Kamera mit wenigstens drei Farbkanälen, welche Zugriff auf die tatsächlichen Intensitätsmesswerte der Kamerapixel erlaubt, und praktisch jede Lichtquelle ohne vorherige Qualifizierung eingesetzt werden kann, um die Bestimmung der Parameter des Mediums vorzunehmen.
-
In manchen Fällen, etwa bei Tiefseeeinsätzen, kann es vorteilhaft sein, wenn die Beleuchtungseinrichtung starr mit der Kamera verbunden ist, wobei Beleuchtungseinrichtung und Kamera gemeinsam relativ zum Target bewegt werden. Dies ist beispielsweise eine gängige Konfiguration bei Bestückung eines Unterwasserfahrzeugs mit Kamera und Lampen. Das Target kann dabei z.B. als Mooring ausgesetzt werden und weist vorzugsweise mindestens zwei Seiten mit Orientierungsmarkern auf. Die Posenbestimmung des Targets aus den Kamerabildern kann bei fixiertem Target auch zur Posenbestimmung des Unterwasserfahrzeugs genutzt werden, was an sich bekannt ist.
-
Es ist bei dem erfindungsgemäßen Verfahren vorteilhafterweise aber nicht nötig, dass die Beleuchtungseinrichtung und die Kamera starr verbunden sind. Vielmehr funktioniert das Verfahren auch dann, wenn die Pose der Beleuchtungseinrichtung bezüglich der Kamera zwischen zwei Bilderfassungen in vorbekannter Weise geändert wird. Eine Lampe kann also durchaus bei fester Kamerapose bewegt werden, solange die Pose der Lampe bei der Bilderfassung genau ermittelbar ist. Dies kann beispielsweise der Fall sein, wenn die Lampe im Bild sichtbar ist und Orientierungsmarker ähnlich wie das Target trägt. Dadurch wird sogar eine annähernd freie Bewegung der Lampe möglich. Alternative Möglichkeiten ergeben sich, wenn etwa Führungsschienen vorgesehen sind, entlang denen die Lampe beweglich ist.
-
Mit einem beweglichen Beleuchtungs-Kamera-System ist es vorteilhaft möglich, eine Sequenz von Bildern einer Szene im Medium aus mehreren Perspektiven zu erfassen und diese Sequenz der Berechnung eines 3D-Modells der Szene mittels einer Methode der Computer Vision zuzuführen. Berechnungen von 3D-Modellen sind ebenfalls verbreiteter Stand der Technik und als fertige Software verfügbar.
-
Die Kenntnis der 3D-Koordinaten eines Objekts im trüben Medium gestattet überdies, mit Hilfe des erfindungsgemäßen Verfahrens sogar Bilder zu simulieren, die keine Kamera jemals hätte erfassen können. Zum einen ist es nun vorzugsweise möglich, dass die bestimmten optischen Parameter des Mediums zur Farbkorrektur eines erfassten Bildes mittels Raytracing-Berechnung verwendet werden, wenn die Koordinaten der im Bild gezeigten Szene im Medium bezüglich der Kamera vorab ermittelt worden sind. Und zum anderen lassen sich die Bilder ohne jegliche Schattenwürfe simulieren, was vor allem für Kartierungszwecke, z.B. des Meeresbodens, von großem Vorteil ist. Die Bildsimulation zur Farbkorrektur und ggf. Schattenentfernung erfolgt mit demselben Raytracing-Verfahren, das für die Parameterbestimmung verwendet wird.
-
Als eine vorteilhafte Ausgestaltung der Erfindung wird angesehen, wenn das Target vorbekannte Farbflächen aufweist, anhand derer die Farbkorrektur überprüft werden kann. Die Farben des Targets im Medium lassen sich dann weitestgehend den erfassten Bildfarben des Targets in Luft angleichen, d.h. die Farbkorrektur erreicht sogar eine Farbangleichung („colour matching“) an eine gemessene Wahrheit („ground truth“). Dadurch wird das trübe Medium als „Farbstörung“ annähernd aus dem Bild entfernt. Die Farbangleichung an das Target ist ein unabhängiger Test für die Aussagekraft der aufgefundenen Parameter und gelingt nur, wenn das erfindungsgemäße Verfahren die optischen Parameter des Mediums der simulierten Physik entsprechend bestimmt hat.
-
Das trübe Medium muss so beschaffen sein, dass das Target im Medium auf verschiedene Abstände zur Kamera verbracht werden kann. Dies ist für Gase und Flüssigkeiten unproblematisch, aber für teiltransparente Festkörper zumindest auch nicht völlig auszuschließen. Wesentlich ist nur, dass das Target von der Kamera durch das Medium hindurch gesehen wird; es kann auch an einer seiner Oberflächen der Kamera gegenüberliegend angeordnet sein. Verschiedene Abstände des Targets im Medium zur Kamera lassen sich prinzipiell auch realisieren, beispielsweise, wenn die der Kamera gegenüberliegende Seite des trüben Festkörpers gestuft strukturiert ist, und das Target nacheinander auf verschiedenen Stufen angeordnet wird. Es ist allerdings anzumerken, dass die Lichtpropagation in Festkörpern in der Regel komplizierteren Bedingungen unterliegt, z.B. Doppelbrechung, so dass das Raytracing-Verfahren entsprechend anzupassen sein wird.
-
Das erfindungsgemäße Verfahren ist bevorzugt anwendbar auf das Medium Wasser, wobei es insbesondere für Meerwasser originär entwickelt wurde. Es ist vorgesehen und bevorzugt, dass die Beleuchtungseinrichtung und die Kamera an einem Unterwasserfahrzeug fixiert angeordnet werden. Es wird davon ausgegangen, dass in der Regel kein Hintergrundlicht in den Szenen existiert, die das Unterwasserfahrzeug untersuchen und bildlich erfassen soll. Gleichwohl kann das Verfahren auch auf die Anwesenheit einer solaren Hintergrundbeleuchtung angepasst werden.
-
Da das erfindungsgemäße Verfahren notwendig auf ein repositionierbares Target auch in der Tiefsee angewiesen ist, wird eine sehr vorteilhafte Ausgestaltung der Erfindung darin gesehen, dass das Target als Unterwassergefährt mit eigenem Antrieb ausgebildet wird. Es könnte beispielsweise über ein Kabel vom Unterwasserfahrzeug aus ferngelenkt werden und so bei Bedarf ins Kamerasichtfeld hinein oder aus diesem herausgeführt werden. Alternativ könnte das Target ein Zielgebiet auch autonom durchkreuzen und beispielsweise durch ein regelmäßiges Schallsignal („Ping“) des Unterwasserfahrzeugs sicherstellen, dass es in dessen definierter Nähe bleibt.
