DE112020005932T5

DE112020005932T5 - Systeme und verfahren zur segmentierung von transparenten objekten mittels polarisationsmerkmalen

Info

Publication number: DE112020005932T5
Application number: DE112020005932.4T
Authority: DE
Inventors: Agastya KALRA; Vage Taamazyan; Supreeth Krishna RAO; Kartik Venkataraman; Ramesh Raskar; Achuta Kadambi
Original assignee: Boston Polarimetrics Inc
Current assignee: INTRINSIC INNOVATION LLC, MOUNTAIN VIEW, US
Priority date: 2019-11-30
Filing date: 2020-08-28
Publication date: 2023-01-05
Also published as: CA3162710A1; US11842495B2; EP4066001A1; KR20230116068A; KR102558903B1; EP4066001A4; US11302012B2; JP7329143B2; CN114787648B; WO2021108002A1; MX2022005289A; US20210264607A1; CN114787648A; US20220198673A1; JP2022550216A; KR20220163344A

Abstract

Ein computerimplementiertes Verfahren zum Berechnen einer Vorhersage für Bilder einer Szene umfassend: Empfangen eines oder mehrerer Polarisationsrohbilder einer Szene, wobei die Polarisationsrohbilder mit einem Polarisationsfilter bei einem unterschiedlichen linearen Polarisationswinkel aufgenommen wurden; Extrahieren eines oder mehrerer erster Tensoren in einem oder mehrere Polarisationsdarstellungsräume aus den Polarisationsrohbildern; und Berechnen einer Vorhersage bezüglich eines oder mehrerer optisch anspruchsvoller Objekte in der Szene basierend auf dem einen oder den mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNG(EN)
Diese Anmeldung beansprucht die Priorität und die Vorteile der vorläufigen US-Patentanmeldung Nr. 63/001,445 , die am 29. März, 2020 beim US-Patent- und Markenamt eingereicht wurde, und deren gesamte Offenbarung durch Bezugnahme hierin aufgenommen ist.
GEBIET
Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf computerbasiertes Sehen und die Segmentierung von Bildern in verschiedene Objekte, die auf den Bildern abgebildet sind.
HINTERGRUND
Semantische Segmentierung bezieht sich auf ein computerbasiertes Sehverfahren, bei dem ein oder mehrere zweidimensionale (2-D) Bilder einer Szene erfasst und verschiedene Bereiche des Bildes (z. B. jedes Pixel des Bildes) algorithmisch als zu bestimmten Objektklassen gehörend klassifiziert werden. Beispielsweise kann die Anwendung der semantischen Segmentierung auf ein Bild von Menschen in einem Garten einzelnen Pixeln des Eingangsbildes Klassen zuweisen, wobei die Klassen Typen von Objekten der realen Welt umfassen können, wie z. B.: Person, Tier, Baum, Boden, Himmel, Felsen, Gebäude und dergleichen. Die Instanzsegmentierung bezieht sich auf das weitere Anwenden von eindeutigen Kennzeichnungen auf jede der verschiedenen Instanzen von Objekten, z. B. durch separates Kennzeichnen jeder Person und jedes Tieres im Eingangsbild mit einem anderen Identifikator.
Eine mögliche Ausgabe eines semantischen Segmentierungs- oder Instanzsegmentierungsprozesses ist eine Segmentierungskarte oder Segmentierungsmaske, bei der es sich um ein 2D-Bild mit denselben Abmessungen wie das Eingangsbild handeln kann und bei der der Wert jedes Pixels einer Kennzeichnung entspricht (z. B. einer bestimmten Klasse im Fall der semantischen Segmentierung oder einer bestimmten Instanz im Fall der Instanzsegmentierung).
Segmentierung von Bildern transparenter Objekte ist ein schwieriges, offenes Problem in computerbasiertem Sehen. Transparenten Objekten fehlt die Textur (z. B. Oberflächenfarbinformationen, wie beim „Texture Mapping“, wie dieser Begriff im Bereich der Computergrafik verwendet wird), stattdessen wird die Textur oder das Aussehen der Szene hinter diesen transparenten Objekten übernommen (z. B. der Hintergrund der Szene, der durch die transparenten Objekte sichtbar ist). Infolgedessen sind unter Umständen transparente Objekte (und andere optisch schwierige Objekte) in einer aufgenommenen Szene für den semantischen Segmentierungsalgorithmus im Wesentlichen unsichtbar oder können basierend auf den Objekten klassifiziert werden, die durch diese transparenten Objekte sichtbar sind.
ZUSAMMENFASSUNG
Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Segmentierung von transparenten Objekten in Bildern unter Verwendung der Lichtpolarisation (der Drehung von Lichtwellen), um zusätzliche Informationskanäle für die semantische Segmentierung oder andere maschinelle Bildverarbeitungsprozesse bereitzustellen. Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auch auf die Erkennung und/oder Segmentierung anderer optisch schwieriger Objekte in Bildern durch die Verwendung von Lichtpolarisation, wobei optisch schwierige Objekte eine oder mehrere Bedingungen aufweisen können, darunter: nicht lambertsch, durchscheinend, mehrweginduzierend oder nicht reflektierend. In einigen Ausführungsformen wird eine Polarisationskamera zur Erfassung von Polarisationsrohbildern verwendet, um multimodale Bilder (z. B. mehrdimensionale Polarisationsinformationen) zu erzeugen. Einige Aspekte der Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Architektur eines neuronalen Netzes, das ein Deep Learning-Backbone zur Verarbeitung der multimodalen Polarisationseingangsdaten verwendet. Dementsprechend führen Ausführungsformen der vorliegenden Offenbarung zuverlässig eine Instanzsegmentierung bei unübersichtlichen, transparenten und anderweitig optisch schwierigen Objekten in verschiedenen Szenen- und Hintergrundbedingungen durch, wodurch eine Verbesserung gegenüber vergleichbaren Ansätzen, die nur auf Intensitätsbildern basieren, aufgezeigt wird.
Gemäß einer Ausführungsform der vorliegenden Offenbarung weist ein computerimplementiertes Verfahren zum Berechnen einer Vorhersage für Bilder einer Szene auf: Empfangen von einem oder mehreren Polarisationsrohbildern einer Szene, wobei die Polarisationsrohbilder mit einem Polarisationsfilter bei einem unterschiedlichen linearen Polarisationswinkel erfasst wurden; Extrahieren von einem oder mehreren ersten Tensoren in einem oder mehreren Polarisationsdarstellungsräumen aus den Polarisationsrohbildern; und Berechnen einer Vorhersage bezüglich eines oder mehrerer optisch anspruchsvoller Objekte in der Szene basierend auf dem einen oder mehreren ersten Tensoren in dem einen oder mehreren Polarisationsdarstellungsräumen.
Der eine oder die mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen können umfassen: ein Bild eines linearen Polarisationsgrads (DOLP) in einem DOLP-Darstellungsraum; und ein Bild eines linearen Polarisationswinkels (AOLP) in einem AOLP-Darstellungsraum.
Der eine oder die mehreren ersten Tensoren können ferner einen oder mehrere Nicht-Polarisations-Tensoren in einem oder mehreren Nicht-PolarisationsDarstellungsräumen enthalten, und der eine oder die mehreren Nicht-Polarisations-Tensoren können ein oder mehrere Intensitätsbilder in einem IntensitätsDarstellungsraum enthalten.
Das eine oder die mehreren Intensitätsbilder können umfassen: ein erstes Farbintensitätsbild; ein zweites Farbintensitätsbild; und ein drittes Farbintensitätsbild.
Die Vorhersage kann eine Segmentierungsmaske enthalten.
Das Berechnen der Vorhersage kann das Zuführen des einen oder der mehreren ersten Tensoren zu einem oder mehreren entsprechenden faltenden neuronalen Netz (CNN) Backbones umfassen, und jedes der einen oder mehreren CNN Backbones kann so konfiguriert sein, dass es eine Vielzahl von Modustensoren bei einer Vielzahl von verschiedenen Skalierungen berechnet.
Die Berechnung der Vorhersage kann ferner umfassen: Fusionieren der Modustensoren, die mit einer gleichen Skalierung von dem einen oder den mehreren CNN-Backbones berechnet wurden.
Das Fusionieren der Modustensoren mit der gleichen Skalierung kann Verknüpfen der Modustensoren mit der gleichen Skalierung beinhalten; Zuführen der Modustensoren zu einem Aufmerksamkeits-Teilnetz, um eine oder mehrere Aufmerksamkeitskarten zu berechnen; und Gewichten der Modustensoren basierend auf der einen oder den mehreren Aufmerksamkeitskarten, um einen fusionierten Tensor mit der Skalierung zu berechnen.
Das Berechnen der Vorhersage kann ferner das Liefern der fusionierten Tensoren, die bei jeder Skalierung berechnet wurden, an ein Vorhersagemodul umfassen, das konfiguriert ist, um die Segmentierungsmaske zu berechnen.
Die Segmentierungsmaske kann an eine Steuerung eines Entnahmeroboters geliefert werden.
Die Vorhersage kann eine Klassifizierung des einen oder der mehreren Polarisationsrohbilder basierend auf dem einen oder den mehreren optisch anspruchsvollen Objekten beinhalten.
Die Vorhersage kann ein oder mehrere detektierte Merkmale des einen oder der mehreren optisch anspruchsvollen Objekte enthalten, die in dem einen oder den mehreren Polarisationsrohbildern dargestellt sind.
Das Berechnen der Vorhersage kann ein Liefern des einen oder der mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen an ein statistisches Modell umfassen, und das statistische Modell kann mittels Trainingsdaten trainiert werden, die erste Trainings-Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen und Kennzeichnungen enthalten.
Die Trainingsdaten können umfassen: erste Ausgangs-Trainingstensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen, die aus von einer Polarisationskamera erfassten Daten berechnet wurden; und zusätzliche erste Trainings-Tensoren, die aus den ersten Ausgangs-Trainingstensoren durch affine Transformationen einschließlich einer Drehung erzeugt wurden.
Wenn die zusätzlichen ersten Trainings-Tensoren ein Bild eines linearen Polarisationswinkels (AOLP) enthalten, kann das Erzeugen der zusätzlichen ersten Trainings-Tensoren Folgendes umfassen: Drehen der zusätzlichen ersten Trainings-Tensoren um einen Winkel; und Gegendrehen von Pixelwerten des AOLP-Bildes um den Winkel.
Gemäß einer Ausführungsform der vorliegenden Offenbarung enthält ein computerbasiertes Sehsystem: eine Polarisationskamera mit einem Polarisationsfilter; und ein Verarbeitungssystem mit einem Prozessor und einem Speicher, der Befehle speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen ein oder mehrere Polarisationsrohbilder einer Szene zu empfangen, wobei die Polarisationsrohbilder mit einem Polarisationsfilter bei einem unterschiedlichen linearen Polarisationswinkel erfasst wurden; einen oder mehrere erste Tensoren in einem oder mehreren Polarisationsdarstellungsräumen aus den Polarisationsrohbildern zu extrahieren; und eine Vorhersage bezüglich eines oder mehrerer optisch anspruchsvoller Objekte in der Szene basierend auf dem einen oder den mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen zu berechnen.
Der eine oder die mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen können umfassen: ein Bild eines linearen Polarisationsgrads (DOLP) in einem DOLP-Darstellungsraum; und ein Bild eines linearen Polarisationswinkels (AOLP) in einem AOLP-Darstellungsraum.
Der eine oder die mehreren ersten Tensoren können ferner einen oder mehrere Nicht-Polarisations-Tensoren in einem oder mehreren Nicht-PolarisationsDarstellungsräumen enthalten, und wobei der eine oder die mehreren Nicht-Polarisations-Tensoren ein oder mehrere Intensitätsbilder in einem IntensitätsDarstellungsraum enthalten.
Das eine oder die mehreren Intensitätsbilder können umfassen: ein erstes Farbintensitätsbild; ein zweites Farbintensitätsbild; und ein drittes Farbintensitätsbild.
Die Vorhersage kann eine Segmentierungsmaske enthalten.
Der Speicher kann ferner Befehle speichern, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, die Vorhersage zu berechnen, indem der eine oder die mehreren ersten Tensoren an ein oder mehrere entsprechende faltende neuronale Netz (CNN) Backbones geliefert werden, wobei jedes von dem einen oder den mehreren CNN-Backbones so konfiguriert ist, dass es eine Vielzahl von Modustensoren bei einer Vielzahl von verschiedenen Skalierungen berechnet.
Der Speicher kann ferner Befehle speichern, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, die Modustensoren, die von dem einen oder den mehreren CNN-Backbones mit derselben Skalierung berechnet wurden, zu fusionieren.
Die Befehle, die den Prozessor veranlassen, die Modustensoren mit der gleichen Skalierung zu fusionieren, können Befehle enthalten, die, wenn sie vom Prozessor ausgeführt werden, den Prozessor veranlassen: die Modustensoren mit der gleichen Skalierung zu verknüpfen; die Modustensoren an ein Aufmerksamkeits-Teilnetz zu liefern, um eine oder mehrere Aufmerksamkeitskarten zu berechnen; und die Modustensoren basierend auf der einen oder mehreren Aufmerksamkeitskarten zu gewichten, um einen fusionierten Tensor für die Skalierung zu berechnen.
Die Befehle, die den Prozessor veranlassen, die Vorhersage zu berechnen, können ferner Befehle enthalten, die, wenn sie vom Prozessor ausgeführt werden, den Prozessor veranlassen, die bei jeder Skalierung berechneten fusionierten Tensoren an ein Vorhersagemodul zu liefern, das zum Berechnen der Segmentierungsmaske konfiguriert ist.
Die Segmentierungsmaske kann an eine Steuerung eines Robotergreifarms geliefert werden.
Die Vorhersage kann eine Klassifizierung des einen oder der mehreren Polarisationsrohbilder basierend auf dem einen oder den mehreren optisch anspruchsvollen Objekten beinhalten.
Die Vorhersage kann ein oder mehrere erfasste Merkmale des einen oder der mehreren optisch anspruchsvollen Objekte enthalten, die in dem einen oder den mehreren Polarisationsrohbildern dargestellt sind.
Die Befehle zum Berechnen der Vorhersage können Befehle enthalten, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, den einen oder die mehreren ersten Tensoren an ein statistisches Modell zu liefern, und das statistische Modell kann unter Verwendung von Trainingsdaten trainiert werden, die erste Trainings-Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen und Kennzeichnungen enthalten.
Die Trainingsdaten können umfassen: erste Ausgangs-Trainingstensoren, die aus von einer Polarisationskamera erfassten Daten berechnet werden; und zusätzliche erste Trainings-Tensoren, die aus den ersten Ausgangs-Trainingstensoren durch affine Transformationen einschließlich einer Drehung erzeugt wurden.
Wenn die zusätzlichen Trainings-Ersttensoren ein Bild eines linearen Polarisationswinkels (AOLP) enthalten, umfasst das Erzeugen der zusätzlichen Trainings-Ersttensoren: Drehen der zusätzlichen Trainings-Ersttensoren um einen Winkel; und Gegendrehen von Pixelwerten des AOLP-Bildes um den Winkel.
Figurenliste
Die beigefügten Zeichnungen veranschaulichen zusammen mit der Beschreibung beispielhafte Ausführungsformen der vorliegenden Erfindung und dienen zusammen mit der Beschreibung zur Erläuterung der Prinzipien der vorliegenden Erfindung.

1 ist ein schematisches Blockdiagramm eines Systems gemäß einer Ausführungsform der vorliegenden Erfindung.
2A ist ein Bild oder ein Intensitätsbild einer Szene mit einer echten transparenten Kugel, die auf einem Fotoausdruck platziert ist, der eine andere Szene mit zwei transparenten Kugeln („Spoofs“) und einigem Hintergrundgewirr zeigt.
2B zeigt das Intensitätsbild von 2A mit einer überlagerten Segmentierungsmaske, wie sie von einem vergleichenden maskenregionenbasierten faltenden neuronalen Netz (Mask R-CNN) berechnet wird, das Instanzen von transparenten Kugeln identifiziert, wobei die echte transparente Kugel korrekt als eine Instanz identifiziert wird und die beiden Spoofs fälschlicherweise als Instanzen identifiziert werden.
2C ist ein Polarisationswinkelbild, das aus Polarisationsrohbildern berechnet wurde, die gemäß einer Ausführungsform der vorliegenden Erfindung von der Szene aufgenommen wurden.
2D zeigt das Intensitätsbild von 2A mit einer überlagerten Segmentierungsmaske, die unter Verwendung von Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung berechnet wurde, wobei der echte transparente Ball korrekt als Instanz identifiziert wird und die beiden Fälschungen korrekt als Instanzen ausgeschlossen werden.
3 ist ein Blockdiagramm einer Verarbeitungsschaltung zum Berechnen von Segmentierungskarten basierend auf Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung.
4 ist ein Flussdiagramm eines Verfahrens zur Durchführung einer Segmentierung von Eingangsbildern zum Berechnen einer Segmentierungskarte gemäß einer Ausführungsform der vorliegenden Erfindung.
5 ist eine Übersichtsdarstellung der Interaktion von Licht mit transparenten Objekten und nicht-transparenten (z.B. diffusen und/oder reflektierenden) Objekten.
6A, 6B und 6C zeigen beispielhafte erste Merkmalskarten, die von einem Merkmalsextraktor berechnet wurden, der so konfiguriert ist, dass er abgeleitete Merkmalskarten in ersten Darstellungsräumen extrahiert, einschließlich einer Intensitätsmerkmalskarte I in 6A im Intensitätsdarstellungsraum, eine Merkmalkarte des linearen Polarisationsgrades (DOLP) ρ in 6B im DOLP-Darstellungsraum und eine Merkmalkarte des linearen Polarisationswinkels (AOLP) ϕ in 6C im Darstellungsraum, gemäß einer Ausführungsform der vorliegenden Erfindung.
7A und 7B sind jeweils erweiterte Ansichten der mit (a) und (b) gekennzeichneten Bereiche in 6A, 6B und 6C. 7C ist ein Diagramm, das einen Querschnitt einer in 7B gekennzeichneten Kante in der Intensitätsmerkmalskarte von 6A, der DOLP-Merkmalskarte von 6B und der AOLP-Merkmalskarte von 6C darstellt.
8A ist ein Blockdiagramm eines Merkmalsextraktors gemäß einer Ausführungsform der vorliegenden Erfindung.
8B ist ein Flussdiagramm, das ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung zum Extrahieren von Merkmalen aus Polarisationsrohbildern darstellt.
9 ist ein Blockdiagramm, das eine polarisierte CNN-Architektur gemäß einer Ausführungsform der vorliegenden Erfindung zeigt, die auf ein maskenregionsbasiertes faltendes neuronales Netz (Mask R-CNN) angewendet wird.
10 ist ein Blockdiagramm eines Aufmerksamkeitsmoduls, das mit einem polarisierten CNN gemäß einer Ausführungsform der vorliegenden Erfindung verwendet werden kann.
11 zeigt Beispiele von Aufmerksamkeitsgewichten, die von einem Aufmerksamkeitsmodul gemäß einer Ausführungsform der vorliegenden Erfindung für verschiedene Modustensoren (in ersten Darstellungsräumen) berechnet werden, die aus Polarisationsrohbildern extrahiert wurden, die von einer Polarisationskamera erfasst wurden.
12A, 12B, 12C und 12D zeigen Segmentierungskarten, die von einem vergleichenden Bildsegmentierungssystem berechnet wurden, Segmentierungskarten, die von einem polarisierten faltenden neuronalen Netz gemäß einer Ausführungsform der vorliegenden Offenbarung berechnet wurden, und Bodenwirklichkeit-Segmentierungskarten (z. B. manuell erzeugte Segmentierungskarten).

DETAILLIERTE BESCHREIBUNG
In der folgenden detaillierten Beschreibung werden nur bestimmte beispielhafte Ausführungsformen der vorliegenden Erfindung zur Veranschaulichung gezeigt und beschrieben. Wie der Fachmann erkennt, kann die Erfindung in vielen verschiedenen Formen verwirklicht werden und ist nicht als auf die hier dargestellten Ausführungsformen beschränkt zu verstehen. Gleiche Bezugsziffern bezeichnen gleiche Elemente in der gesamten Beschreibung.
Transparente Objekte kommen in vielen realen Anwendungen von computerbasiertem Sehen oder maschinellen Bildverarbeitungssystemen vor, insbesondere bei der Automatisierung und Analyse in der Fertigung, den Biowissenschaften und der Automobilindustrie. In der Fertigung können Bildverarbeitungssysteme beispielsweise zum Automatisieren des Sortierens, Auswählens und Platzierens von Teilen, zum Überprüfen der Platzierung von Komponenten während der Fertigung sowie zur Endkontrolle und Fehlererkennung eingesetzt werden. In den Biowissenschaften können Bildverarbeitungssysteme beispielsweise zum Automatisieren des Messens von Reagenzien, des Vorbereitens von Proben, des Ablesens von Instrumenten, des Charakterisierens von Proben und des Entnehmens und Platzierens von Probenbehältern eingesetzt werden. Weitere Beispiele aus der Automobilindustrie sind das Erkennen von transparenten Objekten in Straßenszenen zur Unterstützung des Fahrers oder zum Betrieb selbstfahrender Fahrzeuge. Weitere Beispiele sind Hilfstechnologien wie selbstfahrende Rollstühle, die in der Lage sind, Glastüren und andere durchsichtige Hindernisse zu erkennen, und Geräte zum Unterstützen von Menschen mit Sehbehinderung, die in der Lage sind, durchsichtige Trinkgläser zu erkennen und zwischen echten Objekten und ausgedruckten Fälschungen zu unterscheiden.
Im Gegensatz zu opaken Objekten haben transparente Objekte keine eigene Textur (z. B. Oberflächenfarbinformationen, wie der Begriff im Bereich der Computergrafik verwendet wird, wie z. B. beim „Texture Mapping“). Infolgedessen können Vergleichssysteme transparente Objekte in Szenen, die mit Standard-Bildgebungssystemen (z. B. Kameras, die monochrome Intensitätsbilder oder Farbintensitätsbilder wie Rot-, Grün- und Blaubilder oder RGB-Bilder aufnehmen) aufgenommen wurden, in der Regel nicht korrekt identifizieren. Dies kann darauf zurückzuführen sein, dass die transparenten Objekte keine konsistente Textur (z. B. Oberflächenfarbe) aufweisen, an der sich die Algorithmen orientieren oder deren Erkennung sie erlernen können (z. B. während des Trainingsprozesses eines maschinellen Lernalgorithmus). Ähnliche Probleme können bei teilweise transparenten oder durchscheinenden Objekten sowie bei einigen Arten von reflektierenden Objekten (z. B. glänzendes Metall) und sehr dunklen Objekten (z. B. mattschwarze Objekte) auftreten.
Dementsprechend beziehen sich Aspekte von Ausführungsformen der vorliegenden Offenbarung auf die Verwendung der Polarisationsbildgebung, um Informationen für Segmentierungsalgorithmen zur Erkennung transparenter Objekte in Szenen bereitzustellen. Darüber hinaus gelten Aspekte der vorliegenden Offenbarung auch für die Erkennung anderer optisch anspruchsvoller Objekte wie transparente, durchscheinende und reflektierende Objekte sowie dunkle Objekte.
Wie hierin verwendet, bezieht sich der Begriff „optisch anspruchsvoll“ auf Objekte, die aus Materialien bestehen, die eine oder mehrere der folgenden vier Eigenschaften mit einem ausreichenden Schwellenwert oder Grad erfüllen: nicht lambertsch (z. B. nicht matt); durchscheinend; mehrweginduzierend; und/oder nicht reflektierend. Unter bestimmten Umständen kann ein Objekt, das nur eines der vier Merkmale aufweist, optisch schwer zu erkennen sein. Darüber hinaus können Objekte oder Materialien mehrere Merkmale gleichzeitig aufweisen. Ein lichtdurchlässiges Objekt kann beispielsweise eine Oberflächenreflexion und eine Hintergrundreflexion aufweisen, so dass es sowohl wegen der Lichtdurchlässigkeit als auch wegen des Mehrwegeffekts eine Herausforderung darstellt. Unter bestimmten Umständen kann ein Objekt eines oder mehrere der vier oben genannten Merkmale aufweisen, aber dennoch optisch nicht schwierig zu erkennen sein, weil diese Bedingungen nicht in einem Ausmaß auftreten, das für ein vergleichendes computerbasiertes Sehsystem ein Problem darstellen würde. Ein Objekt kann zum Beispiel durchscheinend sein, aber dennoch eine ausreichende Oberflächenstruktur aufweisen, um erkannt und von anderen Objekten in einer Szene unterschieden werden zu können. Ein anderes Beispiel ist eine Oberfläche, die so wenig lambertinisch sein muss, dass sie für andere Bildverarbeitungssysteme problematisch ist. In einigen Ausführungsformen wird der Grad oder das Ausmaß, in dem ein Objekt optisch anspruchsvoll ist, anhand der Halbwertsbreite (FWHM) der Spiegelkeule der bidirektionalen Reflexionsverteilungsfunktion (BRDF) des Objekts bestimmt. Liegt diese FWHM unter einem Schwellenwert, gilt das Material als optisch anspruchsvoll.
1 ist ein schematisches Blockdiagramm eines Systems gemäß einer Ausführungsform der vorliegenden Erfindung. Die in 1 gezeigte Anordnung enthält eine Szene 1 mit transparenten Objekten 2 (z. B. eine Kugel wie eine Glasmurmel, ein Zylinder wie ein Trinkglas oder ein Becher und eine Ebene wie eine Scheibe aus transparentem Acryl), die vor undurchsichtigen matten Objekten 3 (z. B. ein Baseball und ein Tennisball) angeordnet sind. Eine Polarisationskamera 10 hat ein Objektiv 12 mit einem Sichtfeld, wobei das Objektiv 12 und die Kamera 10 so ausgerichtet sind, dass das Sichtfeld die Szene 1 umfasst. Das Objektiv 12 ist konfiguriert, um Licht (z. B. fokussiertes Licht) von der Szene 1 auf ein lichtempfindliches Medium wie einen Bildsensor 14 (z. B. einen CMOS-Bildsensor (Complementary Metal Oxide Semiconductor) oder einen CCD-Bildsensor (Charge-Coupled Device)) zu richten.
Die Polarisationskamera 10 weist ferner einen Polarisator oder Polarisationsfilter oder eine Polarisationsmaske 16 auf, der/die im optischen Pfad zwischen der Szene 1 und dem Bildsensor 14 angeordnet ist. Gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung ist der Polarisator oder die Polarisationsmaske 16 konfiguriert, um die Polarisationskamera 10 in die Lage zu versetzen, Bilder der Szene 1 zu erfassen, wobei der Polarisator in verschiedenen spezifizierten Winkeln eingestellt ist (z.B. bei 45°-Drehungen oder bei 60°-Drehungen oder bei ungleichmäßig beabstandeten Drehungen).
Als ein Beispiel zeigt 1 eine Ausführungsform, bei der die Polarisationsmaske 16 ein Polarisationsmosaik ist, das mit dem Pixelraster des Bildsensors 14 in einer Weise ausgerichtet ist, die einem Rot-Grün-Blau (RGB)-Farbfilter (z. B. einem Bayer-Filter) einer Farbkamera ähnelt. Ähnlich wie ein Farbfilter-Mosaik das einfallende Licht basierend auf der Wellenlänge filtert, so dass jedes Pixel im Bildsensor 14 Licht in einem bestimmten Teil des Spektrums (z. B., Rot, Grün oder Blau) entsprechend dem Muster der Farbfilter des Mosaiks empfängt, filtert eine Polarisationsmaske 16, die ein Polarisationsmosaik verwendet, Licht basierend auf der linearen Polarisation, so dass verschiedene Pixel Licht in verschiedenen Winkeln der linearen Polarisation empfangen (z. B. bei 0°, 45°, 90° und 135° oder bei 0°, 60° Grad und 120°). Dementsprechend kann die Polarisationskamera 10 mit einer Polarisationsmaske 16, wie sie in 1 dargestellt ist, Licht mit vier verschiedenen linearen Polarisationen simultan oder gleichzeitig erfassen. Ein Beispiel für eine Polarisationskamera ist die Blackfly® S Polarisationskamera, die von FLIR® Systems, Inc. in Wilsonville, Oregon, hergestellt wird.
Während sich die obige Beschreibung auf einige mögliche Implementierungen einer Polarisationskamera unter Verwendung eines Polarisationsmosaiks bezieht, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und umfassen andere Arten von Polarisationskameras, die in der Lage sind, Bilder mit mehreren verschiedenen Polarisationen zu erfassen. Beispielsweise kann die Polarisationsmaske 16 weniger oder mehr als vier verschiedene Polarisationen aufweisen oder Polarisationen in verschiedenen Winkeln haben (z. B. in Polarisationswinkeln von: 0°, 60° Grad und 120° oder in Polarisationswinkeln von 0°, 30°, 60°, 90°, 120° und 150°). Als weiteres Beispiel kann die Polarisationsmaske 16 unter Verwendung einer elektronisch gesteuerten Polarisationsmaske, wie z. B. einem elektrooptischen Modulator (der z. B. eine Flüssigkristallschicht enthalten kann), implementiert werden, wobei die Polarisationswinkel der einzelnen Pixel der Maske unabhängig voneinander gesteuert werden können, so dass verschiedene Teile des Bildsensors 14 Licht mit unterschiedlichen Polarisationen empfangen. Als weiteres Beispiel kann der elektrooptische Modulator konfiguriert sein, um Licht verschiedener linearer Polarisationen zu transmittieren, wenn verschiedene Bilder aufgenommen werden, z. B. so dass die Kamera Bilder aufnimmt, bei denen die Gesamtheit der Polarisationsmaske nacheinander auf verschiedene lineare Polarisationswinkel eingestellt ist (z. B. nacheinander eingestellt auf: 0 Grad; 45 Grad; 90 Grad; oder 135 Grad). Als weiteres Beispiel kann die Polarisationsmaske 16 einen Polarisationsfilter enthalten, der sich mechanisch dreht, so dass unterschiedliche Polarisationsrohbilder von der Polarisationskamera 10 aufgenommen werden, wenn der Polarisationsfilter mechanisch in Bezug auf das Objektiv 12 gedreht wird, um Licht mit unterschiedlichen Polarisationswinkeln zum Bildsensor 14 zu transmittieren.
Infolgedessen nimmt die Polarisationskamera mehrere Eingangsbilder 18 (oder Polarisationsrohbilder) der Szene 1 auf, wobei jedes der Polarisationsrohbilder 18 einem Bild entspricht, das hinter einem Polarisationsfilter oder Polarisator unter einem anderen Polarisationswinkel ϕ_pοl (z. B. 0 Grad, 45 Grad, 90 Grad oder 135 Grad) aufgenommen wurde. Jedes der Polarisationsrohbilder wird im Wesentlichen aus der gleichen Pose in Bezug auf die Szene 1 aufgenommen (z. B. werden die Bilder, die mit dem Polarisationsfilter bei 0 Grad, 45 Grad, 90 Grad oder 135 Grad aufgenommen werden, alle von derselben Polarisationskamera aufgenommen, die sich am gleichen Ort und in der gleichen Ausrichtung befindet), im Gegensatz zur Aufnahme der Polarisationsrohbilder von unterschiedlichen Orten und Ausrichtungen in Bezug auf die Szene. Die Polarisationskamera 10 kann konfiguriert sein, um Licht in einer Vielzahl verschiedener Bereiche des elektromagnetischen Spektrums zu erfassen, z. B. den für den Menschen sichtbaren Bereich des elektromagnetischen Spektrums, rote, grüne und blaue Bereiche des für den Menschen sichtbaren Spektrums sowie unsichtbare Bereiche des elektromagnetischen Spektrums wie Infrarot und Ultraviolett.
In einigen Ausführungsformen der vorliegenden Offenbarung, wie z. B. in einigen der oben beschriebenen Ausführungsformen, werden die verschiedenen Polarisationsrohbilder von derselben Polarisationskamera 10 erfasst und können daher im Wesentlichen aus derselben Pose (z. B. Position und Ausrichtung) in Bezug auf die Szene 1 erfasst werden. Die Ausführungsformen der vorliegenden Offenbarung sind jedoch nicht darauf beschränkt. Beispielsweise kann sich eine Polarisationskamera 10 in Bezug auf die Szene 1 zwischen verschiedenen Polarisationsrohbildern bewegen (z. B. wenn verschiedene Polarisationsrohbilder, die verschiedenen Polarisationswinkeln entsprechen, zu verschiedenen Zeiten aufgenommen werden, wie im Fall eines mechanisch rotierenden Polarisationsfilters), entweder weil sich die Polarisationskamera 10 bewegt hat oder weil sich Objekte in der Szene 1 bewegt haben (z. B. wenn sich die Objekte auf einem sich bewegenden Förderband befinden). Dementsprechend werden in einigen Ausführungsformen der vorliegenden Offenbarung verschiedene Polarisationsrohbilder mit der Polarisationskamera 10 in verschiedenen Posen in Bezug auf die Szene 1 aufgenommen.
Die Polarisationsrohbilder 18 werden einer Verarbeitungsschaltung 100 zugeführt, die im Folgenden näher beschrieben wird und die basierend auf den Polarisationsrohbildern 18 eine Segmentierungskarte 20 berechnet. Wie in 1 gezeigt, sind in der Segmentierungskarte 20 die transparenten Objekte 2 und die undurchsichtigen Objekte 3 der Szene alle einzeln gekennzeichnet, wobei die Kennzeichnungen in 1 unter Verwendung verschiedener Farben oder Muster (z. B. vertikale Linien, horizontale Linien, Karomuster usw.) dargestellt sind, wobei jedoch in der Praxis jede Kennzeichnung durch einen anderen Wert (z. B. einen ganzzahligen Wert, wobei die verschiedenen in den Figuren gezeigten Muster verschiedenen Werten entsprechen) in der Segmentierungskarte dargestellt werden kann.
Gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung wird der Verarbeitungsschaltkreis 100 mit einem oder mehreren elektronischen Schaltkreisen implementiert, die konfiguriert sind, um verschiedene Operationen durchzuführen, wie im Folgenden näher beschrieben. Zu den Arten von elektronischen Schaltungen können eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Beschleuniger für künstliche Intelligenz (AI) (z. B. ein Vektorprozessor, der vektorarithmetische Logikeinheiten enthalten kann, die konfiguriert sind, um gemeinsame Operationen mit neuronalen Netzen, wie Punktprodukte und Softmax, effizient durchzuführen), ein Field Programmable Gate Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC), ein digitaler Signalprozessor (DSP) oder Ähnliches gehören. Beispielsweise sind unter bestimmten Umständen Aspekte von Ausführungsformen der vorliegenden Offenbarung in Programmbefehlen implementiert, die in einem nichtflüchtigen, computerlesbaren Speicher gespeichert sind, wo sie bei Ausführung durch die elektronische Schaltung (z. B. eine CPU, eine GPU, einen KI-Beschleuniger oder Kombinationen davon) die hierin beschriebenen Operationen durchführen, um eine Segmentierungskarte 20 aus eingegebenen Polarisationsrohbildern 18 zu berechnen. Die von der Verarbeitungsschaltung 100 durchgeführten Operationen können von einer einzelnen elektronischen Schaltung (z. B. einer einzelnen CPU, einer einzelnen GPU o. Ä.) durchgeführt werden oder auf mehrere elektronische Schaltungen (z. B. mehrere GPUs oder eine CPU in Verbindung mit einer GPU) verteilt werden. Die mehreren elektronischen Schaltungen können lokal zueinander sein (z. B. auf demselben Chip, in demselben Gehäuse oder in demselben eingebetteten Gerät oder Computersystem) und/oder können voneinander entfernt sein (z. B. in Kommunikation über ein Netzwerk wie ein lokales persönliches Netzwerk wie Bluetooth®, über ein lokales Netzwerk wie ein lokales drahtgebundenes und/oder drahtloses Netzwerk und/oder über ein Weitverkehrsnetzwerk wie das Internet, z. B. in einem Fall, in dem einige Operationen lokal ausgeführt werden und andere Operationen auf einem Server ausgeführt werden, der von einem Cloud-Computing-Dienst gehostet wird). Eine oder mehrere elektronische Schaltungen, die die Verarbeitungsschaltung 100 implementieren, können hier als Computer oder Computersystem bezeichnet werden, das einen Speicher enthalten kann, in dem Befehle gespeichert sind, die, wenn sie von der einen oder den mehreren elektronischen Schaltungen ausgeführt werden, die hier beschriebenen Systeme und Verfahren implementieren.
2A, 2B, 2C und 2D bieten einen Hintergrund zur Veranschaulichung der Segmentierungskarten, die durch einen vergleichenden Ansatz und semantische Segmentierung oder Instanzsegmentierung gemäß den Ausführungsformen der vorliegenden Offenbarung berechnet werden. 2A ist ein Bild oder ein Intensitätsbild einer Szene mit einer echten transparenten Kugel, die auf einem Fotoausdruck liegt, der eine andere Szene mit zwei transparenten Kugeln („Spoofs“) und etwas Hintergrundgerümpel zeigt. 2B zeigt eine Segmentierungsmaske, wie sie von einem vergleichenden Masken-basierten faltenden neuralen Netz (Mask R-CNN) berechnet wird, das Instanzen von transparenten Kugeln identifiziert, die über das Intensitätsbild von 2A gelegt werden, wobei verschiedene Linienmuster verwendet werden, und wobei die echte transparente Kugel korrekt als Instanz identifiziert wird, während die beiden Spoofs fälschlicherweise als Instanzen identifiziert werden. Mit anderen Worten, der Masken-R-CNN-Algorithmus wurde dazu verleitet, die beiden gefälschten transparenten Kugeln als Instanzen der tatsächlichen transparenten Kugeln in der Szene zu identifizieren.
2C ist ein Bild eines linearen Polarisationswinkels (AOLP), das aus Polarisationsrohbildern berechnet wurde, die gemäß einer Ausführungsform der vorliegenden Erfindung von der Szene aufgenommen wurden. Wie in 2C gezeigt, haben transparente Objekte eine sehr einzigartige Textur im Polarisationsraum wie der AOLP-Domäne, wo es eine geometrieabhängige Signatur an Kanten und ein ausgeprägtes oder einzigartiges oder besonderes Muster gibt, das auf den Oberflächen transparenter Objekte im Winkel der linearen Polarisation entsteht. Mit anderen Worten: Die intrinsische Textur des transparenten Objekts (z. B. im Gegensatz zur extrinsischen Textur, die von den durch das transparente Objekt sichtbaren Hintergrundflächen übernommen wird) ist im Polarisationswinkelbild von 2C besser sichtbar als im Intensitätsbild von 2A.
2D zeigt das Intensitätsbild von 2A mit einer überlagerten Segmentierungsmaske, wie sie unter Verwendung von Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung berechnet wird, wobei der echte transparente Ball korrekt als Instanz identifiziert wird, indem ein überlagertes Linienmuster verwendet wird, und die beiden Fälschungen korrekt als Instanzen ausgeschlossen werden (z. B. enthält 2D im Gegensatz zu 2B keine überlagerten Linienmuster über den beiden Fälschungen). Während die 2A, 2B, 2C und 2D ein Beispiel für die Erkennung eines echten transparenten Objekts bei Vorhandensein von gefälschten transparenten Objekten zeigen, sind Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und können auch auf andere optisch anspruchsvolle Objekte angewandt werden, wie z.B. transparente, durchscheinende und nicht matte oder nicht lambertsche Objekte sowie nicht reflektierende (z.B. matte schwarze Objekte) und mehrweginduzierende Objekte.
Dementsprechend beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Offenbarung auf das Extrahieren von Tensoren im Darstellungsraum (oder ersten Tensoren in ersten Darstellungsräumen, wie Polarisationsmerkmalskarten) aus den Polarisationsrohbildern, die als Eingabe für semantische Segmentierungsalgorithmen oder andere computerbasierte Sehalgorithmen bereitgestellt werden. Diese ersten Tensoren im ersten Darstellungsraum können Polarisationsmerkmalskarten enthalten, die Informationen über die Polarisation des von der Szene empfangenen Lichts kodieren, wie das in 2C gezeigte AOLP-Bild, Merkmalskarten des linearen Polarisationsgrads (DOLP) und dergleichen (z. B. andere Kombinationen aus Stokes-Vektoren oder Transformationen einzelner Polarisationsrohbilder). In einigen Ausführungsformen werden diese Polarisationsmerkmalskarten zusammen mit Nicht-Polarisationsmerkmalskarten (z. B. Intensitätsbilder wie das in 2A gezeigte Bild) verwendet, um zusätzliche Informationskanäle für die Verwendung durch semantische Segmentierungsalgorithmen bereitzustellen.
Während Ausführungsformen der vorliegenden Erfindung nicht auf die Verwendung mit bestimmten semantischen Segmentierungsalgorithmen beschränkt sind, beziehen sich einige Aspekte der Ausführungsformen der vorliegenden Erfindung auf Deep-Learning-Frameworks für die polarisationsbasierte Segmentierung von transparenten oder anderen optisch anspruchsvollen Objekten (z. B. transparente, transluzente, nicht- lambertsche, mehrweginduzierende Objekte und nicht-reflektierende (z. B. sehr dunkle) Objekte), wobei diese Frameworks als polarisierte faltende neuronale Netze (Polarized CNNs) bezeichnet werden können. Dieses polarisierte CNN-Framework enthält einen Backbone, der für die Verarbeitung der besonderen Textur der Polarisation geeignet ist und mit anderen computerbasierten Seh-Architekturen wie Mask R-CNN (z. B. zur Bildung einer Polarized Mask R-CNN-Architektur) gekoppelt werden kann, um eine Lösung für die genaue und robuste Instanzsegmentierung transparenter Objekte zu schaffen. Darüber hinaus kann dieser Ansatz auf Szenen mit einer Mischung aus transparenten und nicht-transparenten (z.B. undurchsichtigen Objekten) angewendet werden und kann verwendet werden, um Instanzen von transparenten, durchscheinenden, nicht-lambertschen, merhweginduzierenden, dunklen und undurchsichtigen Objekten in der Szene zu identifizieren.
3 ist ein Blockdiagramm der Verarbeitungsschaltung 100 zum Berechnen von Segmentierungskarten basierend auf Polarisationsdaten gemäß einer Ausführungsform der vorliegenden Erfindung. 4 ist ein Flussdiagramm eines Verfahrens zum Durchführen einer Segmentierung an Eingabebildern, um eine Segmentierungskarte gemäß einer Ausführungsform der vorliegenden Erfindung zu berechnen. Wie in 3 gezeigt, umfasst eine Verarbeitungsschaltung 100 in einigen Ausführungsformen einen Merkmalsextraktor oder ein Merkmalsextraktionssystem 800 und einen Prädiktor 900 (z. B. einen klassischen Computer-Vision-Vorhersagealgorithmus oder ein trainiertes statistisches Modell), der konfiguriert ist, um eine Vorhersageausgabe 20 (z. B. eine statistische Vorhersage) bezüglich eines oder mehrerer transparenter Objekte in der Szene basierend auf der Ausgabe des Merkmalsextraktionssystems 800 zu berechnen. Während einige Ausführungsformen der vorliegenden Offenbarung hier im Zusammenhang mit dem Training eines Systems zum Erkennen von transparenten Objekten beschrieben werden, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und können auch auf Techniken für andere optisch anspruchsvolle Objekte oder Objekte aus Materialien angewendet werden, deren Erkennung optisch anspruchsvoll ist, wie z. B. lichtdurchlässige Objekte, Objekte, die Mehrwegeffekte induzieren, Objekte, die nicht vollständig oder im Wesentlichen matt oder lambertsch sind, und/oder sehr dunkle Objekte. Zu diesen optisch anspruchsvollen Objekten gehören Objekte, die durch die Verwendung von Bildern, die von Kamerasystemen erfasst werden, die nicht empfindlich für die Polarisation des Lichts sind, schwer aufzulösen oder zu erkennen sind (z. B. basierend auf Bildern, die von Kameras ohne einen Polarisationsfilter im optischen Pfad erfasst werden, oder bei denen verschiedene Bilder keine Bilder basierend auf verschiedenen Polarisationswinkeln erfassen).
In der in den 3 und 4 dargestellten Ausführungsform extrahiert das Merkmalsextraktionssystem 800 des Verarbeitungssystems 100 in Verfahrensschritt 410 eine oder mehrere erste Merkmalskarten 50 in einem oder mehreren ersten Darstellungsräumen (einschließlich Polarisationsbildern oder Polarisationsmerkmalskarten in verschiedenen Polarisationsdarstellungsräumen) aus den eingegebenen Polarisationsrohbildern 18 einer Szene. Die extrahierten abgeleiteten Merkmalskarten 50 (einschließlich Polarisationsbildern) werden als Eingabe für den Prädiktor 900 des Verarbeitungssystems 100 bereitgestellt, der ein oder mehrere Vorhersagemodelle implementiert, um in Verfahrensschritt 450 eine erkannte Ausgabe 20 zu berechnen. In dem Fall, in dem der Prädiktor ein Bildsegmentierungs- oder Instanzsegmentierungssystem ist, kann die Vorhersage eine Segmentierungskarte wie die in 3 gezeigte sein, in der jedes Pixel mit einer oder mehreren Konfidenzwerten verbunden sein kann, wonach das Pixel verschiedenen möglichen Klassen (oder Typen) von Objekten entspricht. In dem Fall, in dem der Prädiktor ein Klassifizierungssystem ist, kann die Vorhersage eine Vielzahl von Klassen und entsprechende Konfidenzwerte enthalten, dass das Bild ein Beispiel für jede der Klassen darstellt. Handelt es sich bei dem Prädiktor 900 um einen klassischen computerbasierten Seh-Vorhersagealgorithmus, kann der Prädiktor ein Erkennungsergebnis berechnen (z. B. Erkennung von Kanten, Schlüsselpunkten, Basiskoeffizienten, Haar-Wavelet-Koeffizienten oder anderen Merkmalen transparenter Objekte und/oder anderer optisch anspruchsvoller Objekte, wie z. B. lichtdurchlässiger Objekte, mehrweginduzierender Objekte, nicht lambertscher Objekte und nicht reflektierender Objekte im Bild als Ausgangsmerkmale).
In der in 3 gezeigten Ausführungsform implementiert der Prädiktor 900 ein Instanzsegmentierungssystem (oder ein semantisches Segmentierungssystem) und berechnet im Verfahrensschritt 450 eine Ausgabe 20, die eine Segmentierungskarte für die Szene basierend auf den extrahierten ersten Tensoren 50 in ersten Darstellungsräumen enthält, die aus den eingegebenen Polarisationsrohbildern 18 extrahiert wurden. Wie oben erwähnt, werden das Merkmalsextraktionssystem 800 und der Prädiktor 900 unter Verwendung einer oder mehrerer elektronischer Schaltungen implementiert, die konfiguriert sind, um ihre Verfahrensschritte durchzuführen, wie im Folgenden näher beschrieben.
Extrahieren erster Tensoren wie Polarisationsbilder und abgeleitete Merkmalskarten in ersten Darstellungsräumen aus Polarisationsrohbildern
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf Systeme und Verfahren zum Extrahieren von Merkmalen im Verfahrensschritt 410, wobei diese extrahierten Merkmale bei der robusten Erkennung von transparenten Objekten im Verfahrensschritt 450 verwendet werden. Im Gegensatz dazu können vergleichende Verfahren, die sich allein auf Intensitätsbilder stützen, bei der Erkennung transparenter Objekte versagen (z. B. beim Vergleich des Intensitätsbildes von 2A mit dem AOLP-Bild von 2C, wie oben beschrieben). Der Begriff „erste Tensoren“ in „ersten Darstellungsräumen“ wird hier verwendet, um sich auf Merkmale zu beziehen, die aus Polarisationsrohbildern 18, die von einer Polarisationskamera aufgenommen wurden, berechnet (z. B. extrahiert) wurden, wobei diese ersten Darstellungsräume zumindest Polarisationsmerkmalsräume umfassen (z. B., (z. B. Merkmalsräume wie AOLP und DOLP, die Informationen über die Polarisation des vom Bildsensor erfassten Lichts enthalten) und können auch Nicht-Polarisations-Merkmalsräume umfassen (z. B. Merkmalsräume, die keine Informationen über die Polarisation des den Bildsensor erreichenden Lichts erfordern, wie z. B. Bilder, die nur basierend auf Intensitätsbildern berechnet werden, die ohne jegliche Polarisationsfilter erfasst wurden).
Die Wechselwirkung zwischen Licht und transparenten Objekten ist vielfältig und komplex, aber das Material eines Objekts bestimmt seine Transparenz bei sichtbarem Licht. Bei vielen transparenten Haushaltsgegenständen geht der größte Teil des sichtbaren Lichts direkt hindurch und ein kleiner Teil (-4% bis -8%, je nach Brechungsindex) wird reflektiert. Dies liegt daran, dass das Licht im sichtbaren Teil des Spektrums nicht genügend Energie hat, um die Atome im transparenten Gegenstand anzuregen. Infolgedessen dominiert die Textur (z. B. das Aussehen) von Objekten, die sich hinter dem transparenten Objekt befinden (oder durch das transparente Objekt sichtbar sind), das Aussehen des transparenten Objekts. Betrachtet man beispielsweise eine transparente Glastasse oder einen Becher auf einem Tisch, so dominiert im Allgemeinen das Aussehen der Objekte auf der anderen Seite des Bechers (z. B. die Oberfläche des Tisches) das, was man durch die Tasse sieht. Diese Eigenschaft führt zu einigen Schwierigkeiten, wenn versucht wird, eine Instanzsegmentierung allein basierend auf Intensitätsbildern durchzuführen:
Unordnung: Klare Kanten (z. B. die Kanten von transparenten Objekten) sind in dicht überladenen Szenen mit transparenten Objekten schwer zu erkennen. In Extremfällen sind die Kanten überhaupt nicht sichtbar (siehe z. B. Region (b) in 6A, die weiter unten näher beschrieben wird), was zu Unklarheiten hinsichtlich der genauen Form der transparenten Objekte führt.
Neuartige Umgebungen: Geringes Reflexionsvermögen im sichtbaren Spektrum führt dazu, dass transparente Objekte in neuartigen Umgebungen (z. B. in Umgebungen, die sich von den zum Trainieren des Segmentierungssystems verwendeten Trainingsdaten unterscheiden, z. B. wenn sich die durch die transparenten Objekte sichtbaren Hintergründe von den Hintergründen in den Trainingsdaten unterscheiden) unterschiedlich, d. h. nicht gleichmäßig verteilt, erscheinen, was zu einer schlechten Verallgemeinerung führt.
Print-Out-Spoofs: Algorithmen, die einzelne RGB-Bilder als Eingabe verwenden, sind aufgrund der perspektivischen Mehrdeutigkeit generell anfällig für Print-Out-Spoofs (z. B. Ausdrucke von fotografischen Bildern). Es gibt zwar andere nichtmonokulare Algorithmen (z. B. unter Verwendung von Bildern, die aus mehreren verschiedenen Positionen um die Szene herum aufgenommen wurden, wie z. B. von einer Stereokamera) für die semantische Segmentierung von transparenten Objekten, doch sind diese auf einen bestimmten Bereich beschränkt und können möglicherweise keine Instanzsegmentierung vornehmen.
5 ist eine übersichtliche Darstellung der Wechselwirkung von Licht mit transparenten und nicht transparenten (z. B. diffusen und/oder reflektierenden) Objekten. Wie in 5 dargestellt, nimmt eine Polarisationskamera 10 Polarisationsrohbilder einer Szene auf, die ein transparentes Objekt 502 vor einem undurchsichtigen Hintergrundobjekt 503 umfasst. Ein Lichtstrahl 510, der auf den Bildsensor 14 der Polarisationskamera 10 trifft, enthält Polarisationsinformationen sowohl von dem transparenten Objekt 502 als auch von dem Hintergrundobjekt 503. Der kleine Anteil des vom transparenten Objekt 502 reflektierten Lichts 512 ist stark polarisiert und hat daher einen großen Einfluss auf die Polarisationsmessung, im Gegensatz zu dem Licht 513, das vom Hintergrundobjekt 503 reflektiert wird und durch das transparente Objekt 302 hindurchgeht.
Ein Lichtstrahl 510, der auf den Bildsensor 16 einer Polarisationskamera 10 trifft, hat drei messbare Komponenten: die Intensität des Lichts (Intensitätsbild/I), den Prozentsatz oder Anteil des Lichts, der linear polarisiert ist (Grad der linearen Polarisation/DOLP/ρ), und die Richtung dieser linearen Polarisation (Winkel der linearen Polarisation/AOLP/ϕ). Diese Eigenschaften kodieren Informationen über die Oberflächenkrümmung und das Material des abzubildenden Objekts, die vom Prädiktor 900 verwendet werden können, um transparente Objekte zu erkennen, wie im Folgenden näher beschrieben. In einigen Ausführungsformen kann der Prädiktor 900 andere optisch anspruchsvolle Objekte basierend auf ähnlichen Polarisationseigenschaften von Licht, das durch lichtdurchlässige Objekte hindurchgeht, und/oder Licht, das mit mehrweginduzierenden Objekten oder mit nicht reflektierenden Objekten (z. B. mattschwarzen Objekten) interagiert, erkennen.
Daher beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Erfindung auf das Verwenden eines Merkmalsextraktors 800 zum Berechnen erster Tensoren in einem oder mehreren ersten Darstellungsräumen, die abgeleitete Merkmalskarten basierend auf der Intensität I, dem DOLP ρ und dem AOLP ϕ enthalten können. Der Merkmalsextraktor 800 kann im Allgemeinen Informationen in erste Darstellungsräume (oder erste Merkmalsräume) extrahieren, die Polarisationsdarstellungsräume (oder Polarisationsmerkmalsräume) umfassen, wie z. B. „Polarisationsbilder“, d. h. Bilder, die basierend auf den Polarisationsrohbildern extrahiert werden, die ansonsten nicht aus Intensitätsbildern berechnet werden könnten (z. B, Bilder, die von einer Kamera aufgenommen wurden, die keinen Polarisationsfilter oder einen anderen Mechanismus zum Erkennen der Polarisation des den Bildsensor erreichenden Lichts enthält), wobei diese Polarisationsbilder DOLP p-Bilder (im DOLP-Darstellungsraum oder Merkmalsraum), AOLP ϕ-Bilder (im AOLP-Darstellungsraum oder Merkmalsraum), andere Kombinationen der aus Stokes-Vektoren berechneten Polarisationsrohbilder sowie andere Bilder (oder allgemeiner erste Tensoren oder erste Merkmalstensoren) der aus Polarisationsrohbildern berechneten Informationen umfassen können. Die ersten Darstellungsräume können auch Nicht-Polarisations-Darstellungsräume wie den Intensitäts-I-Darstellungsraum umfassen.
Messen von Intensität I, DOLP ρ und AOLP ϕ an jedem Pixel erfordert drei oder mehr Polarisationsrohbilder einer Szene, die hinter Polarisationsfiltern (oder Polarisatoren) unter verschiedenen Winkeln ϕ_pol aufgenommen wurden (z. B. weil drei unbekannte Werte zu bestimmen sind: Intensität I, DOLP ρ und AOLP ϕ. Beispielsweise nimmt die oben beschriebene FLIR® Blackfly® S Polarisationskamera Polarisationsrohbilder mit Polarisationswinkeln ϕ_pol von 0 Grad, 45 Grad, 90 Grad oder 135 Grad auf, wodurch vier Polarisationsrohbilder I_ϕpol entstehen, die hier als I₀, I₄₅, I₉₀ und I₁₃₅ bezeichnet werden.
Die Beziehung zwischen Iϕ_pol und der Intensität I, DOLP ρ und AOLP ϕ an jedem Pixel kann wie folgt ausgedrückt werden: $I_{ϕ_{p o l}} = I (1 + ρ cos (2 (ϕ - ϕ_{p o t})))$
Dementsprechend mit vier verschiedenen Polarisationsrohbildern I_ϕpol (I₀, I₄₅, I₉₀ und I₁₃₅) kann ein System mit vier Gleichungen verwendet werden, um die Intensität I, DOLP ρ und AOLP ϕ zu bestimmen.
Form aus Polarisation (SfP) Theorie (siehe z.B. Gary A. Atkinson und Edwin R. Hancock. Recovery of surface orientation from diffuse polarization. IEEE transactions on image processing, 15(6): 1653-1664, 2006.) stellt fest, dass die Beziehung zwischen dem Brechungsindex (n), dem Azimutwinkel (θ_a) und dem Zenitwinkel (θ_z) der Oberflächennormalen eines Objekts und den ϕ- und ρ-Komponenten des von diesem Objekt kommenden Lichtstrahls den folgenden Merkmalen folgt
Wenn diffuse Reflexion vorherrscht: $ρ = \frac{{(n - \frac{1}{n})}^{2} {sin}^{2} (θ_{z})}{2 + 2 n^{2} - {(n + \frac{1}{n})}^{2} {sin}^{2} θ_{z} + 4 cos θ_{z} \sqrt{n^{2} - s i n^{2} θ_{z}}}$
$ϕ = θ_{a}$
und wenn die spiegelnde Reflexion dominant ist: $ρ = \frac{2 {sin}^{2} θ_{z} cos θ_{z} \sqrt{n^{2} - {sin}^{2} θ_{z}}}{n^{2} + {sin}^{2} θ_{z} - n^{2} {sin}^{2} θ_{z} + 2 {sin}^{4} θ_{z}}$
$ϕ = θ_{a} - \frac{π}{2}$
Man beachte, dass in beiden Fällen ρ exponentiell zunimmt, wenn θ_z steigt, und dass bei gleichem Brechungsindex die spiegelnde Reflexion viel stärker polarisiert ist als die diffuse Reflexion.
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf die Bereitstellung von ersten Tensoren in den ersten Darstellungsräumen (z. B. abgeleitete Merkmalskarten), die aus Polarisationsrohbildern extrahiert wurden, als Eingaben für einen Prädiktor zur Berechnung von computerbasierten Seh-Vorhersagen über transparente Objekte und/oder andere optisch anspruchsvolle Objekte (z. B. lichtdurchlässige Objekte, nicht- lambertsche Objekte, mehrweginduzierende Objekte und/oder nicht-reflektierende Objekte) der Szene, wie z. B. ein semantisches Segmentierungssystem zur Berechnung von Segmentierungskarten einschließlich der Erkennung von Instanzen transparenter Objekte und anderer optisch anspruchsvoller Objekte in der Szene. Diese ersten Tensoren können abgeleitete Merkmalskarten enthalten, die eine Intensitätsmerkmalskarte I, eine Merkmalskarte des linearen Polarisationsgrads (DOLP) ρ und eine Merkmalskarte des linearen Polarisationswinkels (AOLP) ϕ umfassen können, wobei die Merkmalskarte DOLP ρ und die Merkmalskarte AOLP ϕ Beispiele für Polarisationsmerkmalskarten oder Tensoren in Polarisationsdarstellungsräumen sind, die sich auf Merkmalskarten beziehen, die Informationen bezüglich der Polarisation des von einer Polarisationskamera erfassten Lichts codieren. Die Vorteile von Polarisationsmerkmalskarten (oder Polarisationsbildern) werden in den 6A, 6B, 6C, 7A, 7B und 7C näher erläutert.
6A, 6B und 6C zeigen beispielhaft erste Tensoren, die Merkmalskarten sind, die von einem Merkmalsextraktor berechnet werden, der konfiguriert ist, um erste Tensoren in ersten Darstellungsräumen zu extrahieren, einschließlich einer Intensitätsmerkmalskarte I in 6A im Intensitätsdarstellungsraum, einer Merkmalskarte des linearen Polarisationsgrads (DOLP) ρ in 6B im DOLP-Darstellungsraum und einer Merkmalskarte des linearen Polarisationswinkels (AOLP) ϕ in 6C im AOLP-Darstellungsraum, gemäß einer Ausführungsform der vorliegenden Erfindung. Zwei Regionen von Interesse - Region (a) mit zwei transparenten Kugeln und Region (b) mit dem Rand eines Trinkglases - werden im Folgenden näher erläutert.
7A und 7B sind jeweils erweiterte Ansichten der mit (a) und (b) in 6A, 6B und 6C bezeichneten Bereiche. 7C ist ein Diagramm, das einen Querschnitt einer in 7B gekennzeichneten Kante in der Intensitätsmerkmalskarte I von 6A, der DOLP-Merkmalskarte ρ von 6B und der AOLP-Merkmalskarte ϕ von 6C darstellt.
In der Region (a), die in 6A und auf der linken Seite von 7A zu sehen ist, ist die Textur der beiden transparenten Kugeln im Intensitätsbild aufgrund des wechselnden Hintergrunds (z. B. die Plastikbox mit dem Lochraster im Gegensatz zu dem gemusterten Stoff, auf dem die transparenten Kugeln liegen) inkonsistent, was auf Probleme hinweist, die durch neue Umgebungen verursacht werden (z. B. verschiedene Hintergründe, die durch die transparenten Objekte hindurch sichtbar sind). Diese Inkonsistenz kann es einem semantischen Segmentierungs- oder Instanzensegmentierungssystem erschweren, zu erkennen, dass diese sehr unterschiedlich aussehenden Teile des Bildes demselben Objekttyp oder derselben Objektklasse entsprechen (z. B. einem transparenten Ball).
Andererseits ist in dem in 6B und der rechten Seite von 7A gezeigten DOLP-Bild die Form der transparenten Objekte leicht erkennbar, und die Hintergrundtextur (z. B. das Muster des Stoffes) erscheint nicht im DOLP-Bild ρ. 7A ist eine vergrößerte Ansicht des Region (a) des in 6A gezeigten Intensitätsbildes I und des in 6B gezeigten DOLP-Bildes p, die zeigt, dass zwei verschiedene Teile der transparenten Kugeln inkonsistente (z. B., unterschiedlich aussehende) Texturen im Intensitätsbild I, aber konsistente (z. B. ähnlich aussehende) Texturen im DOLP-Bild ρ aufweisen, wodurch es für ein semantisches Segmentierungs- oder Instanzsegmentierungssystem wahrscheinlicher wird zu erkennen, dass diese beiden ähnlich aussehenden Texturen beide der gleichen Objektklasse entsprechen, basierend auf dem DOLP-Bild ρ.
In der Region (b), die in 6A und der linken Seite von 7B zu sehen ist, ist der Rand des Trinkglases im Intensitätsbild I praktisch unsichtbar (z. B. nicht von dem gemusterten Stoff zu unterscheiden), aber im AOLP-Bild Φ, das in 6C und der rechten Seite von 7B zu sehen ist, viel heller. 7C ist ein Querschnitt der Kante im Bereich der identifizierten Kästchen im Intensitätsbild I und das AOLP-Bild ϕ in 7B zeigt, dass die Kante im AOLP ϕ und DOLP ρ einen viel höheren Kontrast hat als im Intensitätsbild I, wodurch es für ein semantisches Segmentierungs- oder Instanzsegmentierungssystem wahrscheinlicher wird, die Kante des transparenten Bildes zu erkennen, basierend auf den AOLP ϕ- und DOLP ρ-Bildern.
Formaler ausgedrückt, beziehen sich Aspekte der Ausführungsformen der vorliegenden Offenbarung auf das Berechnen erster Tensoren 50 in ersten Darstellungsräumen, einschließlich des Extrahierens erster Tensoren in Polarisationsdarstellungsräumen, wie das Bilden von Polarisationsbildern (oder das Extrahieren abgeleiteter Polarisationsmerkmalskarten) in Verfahrensschritt 410 basierend auf Polarisationsrohbildern, die von einer Polarisationskamera 10 erfasst wurden.
Lichtstrahlen, die von einem transparenten Objekt kommen, haben zwei Komponenten: einen reflektierten Anteil, der die reflektierte Intensität I_r, das reflektierte DOLP ρ_r und das reflektierte AOLP ϕ_r umfasst, und den gebrochenen Anteil, der die gebrochene Intensität I_t, das gebrochene DOLP ρ_t und das gebrochene AOLP ϕ_t umfasst. Die Intensität eines einzelnen Pixels im resultierenden Bild kann wie folgt geschrieben werden: $I = I_{r} + I_{t}$
Wenn ein Polarisationsfilter mit einem linearen Polarisationswinkel ϕ_pol vor der Kamera platziert ist, beträgt der Wert an einem gegebenen Pixel: $I_{ϕ_{p o l}} = I_{r} (1 + ρ_{r} cos (2 (ϕ - ϕ_{p o t}))) + I_{t} (1 + ρ_{t} cos (2 (ϕ_{t} - ϕ_{p o l})))$
Lösen des obigen Ausdrucks für die Werte eines Pixels in einem DOLP ρ Bild und eines Pixels in einem AOLP ϕ Bild in Form von I_r, ρ_r, ϕ_r, I_t, ρ_t, and ϕ_t: $ρ = \frac{\sqrt{{(I_{r} ρ_{r})}^{2} + {(I_{r} ρ_{r})}^{2} + 2 I_{t} ρ_{t} I_{r} ρ_{r} cos (2 (ϕ_{r} - ϕ_{t}))}}{I_{r} + I_{t}}$
$ϕ = arctan (\frac{I_{r} ρ_{r} sin (2 (ϕ_{r} - ϕ_{t}))}{I_{t} ρ_{t} + I_{r} ρ_{r} cos (2 (ϕ_{r} - ϕ_{t}))}) + ϕ_{r}$
Dementsprechend stellen die obigen Gleichungen (7), (8) und (9) ein Modell zum Bilden erster Tensoren 50 in ersten Darstellungsräumen bereit, die ein Intensitätsbild I, ein DOLP-Bild ρ und ein AOLP-Bild ϕ gemäß einer Ausführungsform der vorliegenden Offenbarung umfassen, wobei die Verwendung von Polarisationsbildern oder -tensoren in Polarisationsdarstellungsräumen (einschließlich eines DOLP-Bildes ρ und eines AOLP-Bildes ϕ auf der Grundlage der Gleichungen (8) und (9)) die zuverlässige Erkennung von optisch anspruchsvollen Objekten ermöglicht, die im Allgemeinen von vergleichbaren Systemen. wie Mask R-CCN Systeme, die nur Intensitätsbilder I als Eingabe verwenden, nicht erkannt werden können.
Genauer gesagt können erste Tensoren in Polarisationsdarstellungsräumen (unter den abgeleiteten Merkmalskarten 50) wie die Polarisationsbilder DOLP ρ und AOLP ϕ Oberflächentexturen von Objekten aufzeigen, die sonst in einem Intensitäts-I-Bereich texturlos erscheinen würden. Ein transparentes Objekt kann eine Textur haben, die im Intensitätsbereich I unsichtbar ist, weil diese Intensität streng vom Verhältnis I_r /I_t abhängt (siehe Gleichung (6)). Im Gegensatz zu undurchsichtigen Objekten, bei denen I_t = 0 ist, transmittieren transparente Objekte den größten Teil des einfallenden Lichts und reflektieren nur einen kleinen Teil des einfallenden Lichts.
Andererseits hängt im Bereich oder in der Sphäre der Polarisation die Stärke der Oberflächentextur eines transparenten Objekts von ϕ_r - ϕ_t und dem Verhältnis von I_rρ_r/I_tρ_t ab (siehe Gleichungen (8) und (9)). Angenommen, dass ϕ_r ≠ ϕ_t und θ_Zr ≠ θ_zt für die Mehrheit der Pixel gelten (z. B. unter der Annahme, dass die Geometrien des Hintergrunds und des transparenten Objekts unterschiedlich sind), und basierend auf den Erkenntnissen, dass ρ_r der Spiegelreflexionskurve folgt (siehe z. B. Daisuke Miyazaki, Masataka Kagesawa und Katsushi Ikeuchi. Transparent surface modeling from a pair of polarization images IEEE Transactions on Pattern Analysis & Machine Intelligence, (1):73-82, 2004.), d. h. sie ist stark polarisiert, und beim Brewster-Winkel (ca. 60°) ist ρ_r 1,0 (siehe Gleichung (4)), dann, bei geeigneten Zenitwinkeln, ρ_r ≥ ρ_t, und, wenn der Hintergrund diffus ist oder einen niedrigen Zenitwinkel hat, ρ_r >> ρ_t. Dieser Effekt ist in 2C zu sehen, wo die Textur der echten transparenten Kugel bei θ_z ≈ 60° dominiert. Daher gilt in vielen Fällen die folgende Annahme: $\frac{I_{r}}{I_{t}} \leq \frac{I_{r} ρ_{r}}{I_{t} ρ_{t}}$
Selbst wenn die Textur des transparenten Objekts in der Intensitätsdomäne I unsichtbar erscheint, kann die Textur des transparenten Objekts in der Polarisationsdomäne deutlicher sichtbar sein, z. B. im AOLP ϕ und im DOLP ρ.
Zurück zu den drei Beispielen für Umstände, die zu Schwierigkeiten führen, wenn man versucht, eine semantische Segmentierung oder eine Instanzsegmentierung nur anhand von Intensitätsbildern durchzuführen:
Unordnung: Ein Problem bei Unordnung ist die Erkennung der Ränder eines transparenten Objekts, das im Wesentlichen texturlos sein kann (siehe z. B. den Rand des Trinkglases in Region (b) von 6A. Andererseits sind die Textur des Glases und seine Ränder in dem in BILD 6B gezeigten DOLP ρ besser sichtbar und in dem in BILD 6C gezeigten AOLP ϕ noch besser.
Neuartige Umgebungen: Zusätzlich zur Erhöhung der Stärke der Textur des transparenten Objekts reduziert das DOLP p-Bild, wie es z. B. in 6B gezeigt wird, auch die Auswirkungen von diffusen Hintergründen wie strukturiertem oder gemustertem Stoff (z. B. wird der Hintergrundstoff fast vollständig schwarz dargestellt). Dadurch können transparente Objekte in verschiedenen Szenen ähnlich erscheinen, selbst wenn sich die Umgebung von Szene zu Szene ändert. Siehe z. B. Region (a) in 6B und 7A.
Fälschungen von Ausdrucken: Papier ist flach, was zu einem weitgehend einheitlichen AOLP ϕ und DOLP ρ führt. Transparente Objekte haben eine gewisse Oberflächenvariation, die in AOLP ϕ und DOLP ρ sehr ungleichmäßig erscheint (siehe z. B. 2C). So können ausgedruckte Fälschungen von transparenten Objekten von echten transparenten Objekten unterschieden werden.
8A ist ein Blockdiagramm eines Merkmalsextraktors 800 gemäß einer Ausführungsform der vorliegenden Erfindung. 8B ist ein Flussdiagramm, das ein Verfahren gemäß einer Ausführungsform der vorliegenden Erfindung zur Extraktion von Merkmalen aus Polarisationsrohbildern darstellt. In der in 8A gezeigten Ausführungsform umfasst der Merkmalsextraktor 800 einen Intensitätsextraktor 820, der konfiguriert ist, um ein Intensitätsbild I 52 in einem Intensitätsdarstellungsraum zu extrahieren (z.B. in Übereinstimmung mit Gleichung (7), als ein Beispiel für einen Nicht-Polarisationsdarstellungsraum), und Polarisationsmerkmalsextraktoren 830, die konfiguriert sind, um Merkmale in einem oder mehreren Polarisationsdarstellungsräumen zu extrahieren. Wie in 8B gezeigt, kann die Extraktion von Polarisationsbildern im Verfahrensschritt 410 das Extrahieren eines ersten Tensors in einem ersten Polarisationsdarstellungsraum aus den Polarisationsrohbildern aus einem ersten Stokes-Vektor umfassen. Im Verfahrensschritt 412 extrahiert der Merkmalsextraktor 800 ferner einen zweiten Tensor in einem zweiten Polarisationsdarstellungsraum aus den Polarisationsrohbildern. Beispielsweise können die Polarisationsmerkmalsextraktoren 830 einen DOLP-Extraktor 840 umfassen, der konfiguriert ist, um ein DOLP p-Bild 54 zu extrahieren (z. B. ein erstes Polarisationsbild oder einen ersten Tensor gemäß Gleichung (8) mit DOLP als erstem Polarisationsdarstellungsraum), und einen AOLP-Extraktor 860, der konfiguriert ist, um ein AOLP ϕ-Bild 56 zu extrahieren (z. B, ein zweites Polarisationsbild oder einen zweiten Tensor gemäß Gleichung (9), mit AOLP als zweitem Polarisationsdarstellungsraum) aus den gelieferten Polarisationsrohbildern 18 zu extrahieren. Als weiteres Beispiel können die Polarisationsdarstellungsräume Kombinationen von Polarisationsrohbildern in Übereinstimmung mit Stokes-Vektoren enthalten. Als weitere Beispiele können die Polarisationsdarstellungen Modifikationen oder Transformationen von Polarisationsrohbildern in Übereinstimmung mit einem oder mehreren Bildverarbeitungsfiltern (z. B. einem Filter zur Erhöhung des Bildkontrasts oder einem Entrauschungsfilter) enthalten. Die abgeleiteten Merkmalskarten 52, 54 und 56 können dann einem Prädiktor 900 zur weiteren Verarbeitung zugeführt werden, z. B. zur Durchführung von Schlussfolgerungen (z. B. zur Erstellung von Instanzsegmentierungskarten, zur Klassifizierung der Bilder und zur Erstellung von Textbeschreibungen der Bilder).
Während 8B einen Fall illustriert, in dem zwei verschiedene Tensoren aus den Polarisationsrohbildern 18 in zwei verschiedenen Darstellungsräumen extrahiert werden, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. Zum Beispiel wird in einigen Ausführungsformen der vorliegenden Offenbarung genau ein Tensor in einem Polarisationsdarstellungsraum aus den Polarisationsrohbildern 18 extrahiert. Beispielsweise ist ein Polarisationsdarstellungsraum von Rohbildern AOLP und ein anderer ist DOLP (z. B. kann in einigen Anwendungen AOLP für die Erkennung von transparenten Objekten oder anderen optisch anspruchsvollen Objekten ausreichen, wie z. B. durchscheinende, nicht lambertsche, mehrweginduzierende und/oder nicht reflektierende Objekte). In einigen Ausführungsformen der vorliegenden Offenlegung werden aus den Polarisationsrohbildern 18 basierend auf den entsprechenden Stokes-Vektoren mehr als zwei verschiedene Tensoren extrahiert. Wie in 8B gezeigt, können beispielsweise n verschiedene Tensoren in n verschiedenen Darstellungsräumen durch den Merkmalsextraktor 800 extrahiert werden, wobei der n-te Tensor im Verfahrensschritt 414 extrahiert wird.
Dementsprechend werden durch die Extraktion von Merkmalen wie Polarisationsmerkmalen oder Polarisationsbildern aus Polarisationsrohbildern 18 erste Tensoren 50 erzeugt, aus denen transparente Objekte oder andere optisch anspruchsvolle Objekte wie lichtdurchlässige Objekte, mehrweginduzierende Objekte, nicht lambertsche Objekte und nichtreflektierende Objekte leichter erkannt oder von anderen Objekten in einer Szene getrennt werden können. In einigen Ausführungsformen können die ersten Tensoren, die vom Merkmalsextraktor 800 extrahiert werden, explizit abgeleitete Merkmale sein (z. B. handgefertigt von einem menschlichen Designer), die sich auf zugrundeliegende physikalische Phänomene beziehen, die sich in den Polarisationsrohbildern zeigen können (z. B. die Berechnung von AOLP- und DOLP-Bildern, wie oben beschrieben). In einigen zusätzlichen Ausführungsformen der vorliegenden Offenlegung extrahiert der Merkmalsextraktor 800 andere Nicht-Polarisationsmerkmalskarten oder Nicht-Polarisationsbilder, wie Intensitätskarten für verschiedene Lichtfarben (z. B. rotes, grünes und blaues Licht) und Transformationen der Intensitätskarten (z. B. Anwendung von Bildverarbeitungsfiltern auf die Intensitätskarten). In einigen Ausführungsformen der vorliegenden Offenbarung kann der Merkmalsextraktor 800 konfiguriert sein, um ein oder mehrere Merkmale zu extrahieren, die automatisch gelernt werden (z. B. Merkmale, die nicht manuell von einem Menschen festgelegt werden), und zwar durch einen durchgängig überwachten Trainingsprozess basierend auf gekennzeichneten Trainingsdaten.
Berechnung von Vorhersagen, wie z. B. Segmentierungskarten, basierend auf Polarisationsmerkmalen, die aus Polarisationsrohbildern berechnet werden
Wie oben erwähnt, beziehen sich einige Aspekte von Ausführungsformen der vorliegenden Offenbarung auf die Bereitstellung erster Tensoren im Polarisationsdarstellungsraum, wie Polarisationsbilder oder Polarisationsmerkmalskarten, wie die DOLP ρ- und AOLP ϕ-Bilder, die durch den Merkmalsextraktor 800 extrahiert wurden, für einen Prädiktor, wie einen semantischen Segmentierungsalgorithmus, um eine multimodale Fusion der Polarisationsbilder durchzuführen, um gelernte Merkmale (oder zweite Tensoren) zu erzeugen, und um Vorhersagen, wie Segmentierungskarten, basierend auf den gelernten Merkmalen oder zweiten Tensoren zu berechnen. Spezifische Ausführungsformen, die sich auf die semantische Segmentierung oder Instanzsegmentierung beziehen, werden im Folgenden ausführlicher beschrieben.
Generell gibt es viele Ansätze zur semantischen Segmentierung, darunter auch Deep-Instance-Techniken. Die verschiedenen Deep-Instance-Techniken können als auf semantischer Segmentierung basierende Techniken klassifiziert werden (wie z. B. die in: Min Bai und Raquel Urtasun. Deep watershed transform for instance segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5221-5229, 2017; Alexander Kirillov, Evgeny Levinkov, Bjoern Andres, Bogdan Savchynskyy, and Carsten Rother. Instancecut: from edges to instances with multicut. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 5008-5017, 2017; and Anurag Arnab and Philip HS Torr. Pixelwise instance segmentation with a dynamically instantiated network. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 441-450, 2017.), vorschlagsbasierte Techniken (wie die in: Kaiming He, Georgia Gkioxari, Piotr Doll'ar, and Ross Girshick. Mask r-cnn. In Proceedings of the IEEE International Conference on Computer Vision, pages 2961-2969, 2017.) und auf rekurrenten neuronalen Netzen (RNN) basierende Verfahren (wie die in: Bemardino Romera-Paredes und Philip Hilaire Sean Torr. Recurrent instance segmentation. In European Conference on Computer Vision, Seiten 312-329. Springer, 2016 und Mengye Ren und Richard S Zemel. End-toend instance segmentation with recurrent attention. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Seiten 6656-6664, 2017.). Ausführungsformen der vorliegenden Offenbarung können auf jede dieser semantischen Segmentierungstechniken angewendet werden.
Während einige vergleichende Ansätze verkettete Polarisationsrohbilder (z. B. Bilder I_0, I_45, I_90 und I_135 wie oben beschrieben) direkt in ein tiefes Netzwerk einspeisen, ohne daraus erste Tensoren wie Polarisationsbilder oder Polarisationsmerkmalskarten zu extrahieren, haben Modelle, die direkt auf diesen Polarisationsrohbildern als Eingaben trainiert werden, im Allgemeinen Schwierigkeiten, die physikalischen Prioritäten zu erlernen, was zu einer schlechten Leistung führt, wie z. B. dem Versagen bei der Erkennung von Instanzen transparenter Objekte oder anderer optisch anspruchsvoller Objekte. Dementsprechend beziehen sich Aspekte der Ausführungsformen der vorliegenden Offenlegung auf die Verwendung von Polarisationsbildern oder Polarisationsmerkmalskarten (in einigen Ausführungsformen in Kombination mit anderen Merkmalskarten wie Intensitätsmerkmalskarten), um eine Instanzsegmentierung auf Bildern von transparenten Objekten in einer Szene durchzuführen.
Eine Ausführungsform der vorliegenden Offenlegung, die eine tiefe Instanzsegmentierung verwendet, basiert auf einer Modifikation einer auf Maskenregionen basierenden faltenden neuronalen Netzwerkarchitektur (Mask R-CNN), um eine polarisierte Masken-R-CNN-Architektur zu bilden. Mask R-CNN arbeitet mit einem Eingangsbild x, das ein H×W×3-Tensor von Bildintensitätswerten ist (z. B. Höhe mal Breite mal Farbintensität in roten, grünen und blauen Kanälen), und lässt es durch ein Backbone-Netzwerk laufen: C=B(x). Das Backbone-Netzwerk B(x) ist für die Extraktion nützlicher gelernter Merkmale aus dem Eingabebild verantwortlich und kann eine beliebige Standard-CNN-Architektur wie AlexNet sein (siehe z. B. Krizhevsky, Alex, Ilya Sutskever und Geoffrey E. Hinton. „ImageNet classification with deep convolutional neural networks“. Advances in neural information processing systems. 2012.), VGG (siehe z. B. Simonyan, Karen, und Andrew Zisserman. „Very deep convolutional networks for large-scale image recognition.“ arXiv preprint arXiv:1409.1556 (2014).), ResNet-101 (siehe z.B. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 770-778, 2016.), MobileNet (siehe z. B. Howard, Andrew G., et al. „Mobilenets: Efficient convolutional neural networks for mobile vision applications.“ arXiv preprint arXiv: 1704.04861 (2017).), MobileNetV2 (siehe z. B., Sandler, Mark, et al. „MobileNetV2: Inverted residuals and linear bottlenecks.“ Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.), und MobileNetV3 (siehe z. B. Howard, Andrew, et al. „Searching for MobileNetV3.“ Proceedings of the IEEE International Conference on Computer Vision. 2019.)
Das Backbone-Netzwerk B(x) gibt eine Reihe von Tensoren aus, z. B. C = {C₁,C₂,C₃,C₄,C₅}, wobei jeder Tensor C_i eine Merkmalskarte mit unterschiedlicher Auflösung darstellt. Diese Merkmalskarten werden dann in einem Merkmalspyramidennetz (FPN) kombiniert (siehe z. B. Tsung-Yi Lin, Piotr Doll'ar, Ross Girshick, Kaiming He, Bharath Hariharan und Serge Belongie. Feature pyramid networks for object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2117-2125, 2017.), verarbeitet mit einem Region Proposal Network (RPN) (siehe z.B., Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems, S. 91-99, 2015.), und schließlich durch ein Ausgabe-Teilnetz (siehe z. B. Ren et al. und He et al., oben) geleitet, um Klassen, Bounding Boxes und pixelweise Segmentierungen zu erzeugen. Diese werden mit nicht-maximaler Unterdrückung für die Instanzsegmentierung zusammengeführt.
Aspekte der Ausführungsformen der vorliegenden Erfindung beziehen sich auf ein Framework zur Nutzung der zusätzlichen Informationen, die in polarisierten Bildern enthalten sind, unter Verwendung von Deep Learning, wobei diese zusätzlichen Informationen nicht in Eingabebildern vorhanden sind, die von vergleichbaren Kameras erfasst werden (z. B. Informationen, die nicht von Standard-Farb- oder Monochromkameras ohne die Verwendung von Polarisatoren oder Polfiltern erfasst werden). Neuronale Netzwerkarchitekturen, die in Übereinstimmung mit dem Framework von Ausführungsformen der vorliegenden Offenbarung konstruiert werden, werden hier als polarisierte faltende neuronale Netzwerke (CNNs) bezeichnet.
Anwenden dieses Frameworks gemäß einigen Ausführungsformen der vorliegenden Offenbarung beinhaltet drei Änderungen an einer CNN-Architektur:

(1) Eingabebild: Anwendung der physikalischen Gleichungen der Polarisation, um die Eingabepolarisationsbilder für das CNN zu erstellen, beispielsweise durch Verwendung eines Merkmalsextraktors 800 gemäß einigen Ausführungsformen der vorliegenden Offenbarung.
(2) Attention-Fusion Polar Backbone: Behandlung des Problems als multimodales Fusionsproblem durch Fusionieren der gelernten Merkmale, die aus den Polarisationsbildern durch ein trainiertes CNN-Backbone berechnet wurden.
(3) Geometrische Datenerweiterungen: Erweiterung der Trainingsdaten, um die Physik der Polarisation darzustellen.

Die Ausführungsformen der vorliegenden Offenbarung sind jedoch nicht darauf beschränkt. Stattdessen kann jede Teilmenge der oben genannten drei Änderungen und/oder andere Änderungen als die oben genannten drei Änderungen an einer bestehenden CNN-Architektur vorgenommen werden, um eine polarisierte CNN-Architektur im Rahmen von Ausführungsformen der vorliegenden Offenbarung zu erstellen.
Ein polarisiertes CNN gemäß einigen Ausführungsformen der vorliegenden Offenbarung kann unter Verwendung einer oder mehrerer elektronischer Schaltungen implementiert werden, die konfiguriert sind, um die im Folgenden näher beschriebenen Verfahrensschritte durchzuführen. In der in 3 gezeigten Ausführungsform wird ein polarisiertes CNN als eine Komponente des Prädiktors 900 zur Berechnung einer Segmentierungskarte 20 verwendet, wie in 3 gezeigt.
9 ist ein Blockdiagramm, das eine polarisierte CNN-Architektur gemäß einer Ausführungsform der vorliegenden Erfindung darstellt, wie sie auf ein Masken-Region-basiertes faltendes neuronales Netz (Mask R-CNN) Backbone angewendet wird, wobei zweite Tensoren C (oder Ausgabetensoren wie gelernte Merkmalskarten) verwendet werden, um eine Ausgabevorhersage wie die Segmentierungsmaske 20 zu berechnen.
Während sich einige Ausführungsformen der vorliegenden Offenbarung auf eine semantische Segmentierung oder Instanzsegmentierung unter Verwendung einer polarisierten CNN-Architektur beziehen, die auf ein Mask R-CNN-Backbone angewendet wird, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt, und andere Backbones wie AlexNet, VGG, MobileNet, MobileNetV2, MobileNetV3 und dergleichen können in ähnlicher Weise modifiziert werden.
In der in 9 gezeigten Ausführungsform werden abgeleitete Merkmalskarten 50 (z. B. einschließlich Eingabepolarisationsbildern wie AOLP ϕ- und DOLP p-Bildern) als Eingaben an ein polarisiertes CNN-Backbone 910 geliefert. In der in 9 gezeigten Ausführungsform umfassen die Eingangsmerkmalskarten 50 drei Eingangsbilder: das Intensitätsbild (I) 52, das AOLP (ϕ) 56, das DOLP (p) 54 aus Gleichung (1) als Eingang für die Erkennung eines transparenten Objekts und/oder eines anderen optisch anspruchsvollen Objekts. Diese Bilder werden aus Polarisationsrohbildern 18 (z. B. den Bildern I₀, I₄₅, I₉₀ und I₁₃₅, wie oben beschrieben) berechnet, die so normiert sind, dass sie in einem Bereich liegen (z. B., 8-Bit-Werte im Bereich [0-255]) und in dreikanalige Graustufenbilder umgewandelt werden, um ein einfaches Transfer-Lernen basierend auf Netzwerken zu ermöglichen, die mit dem MSCoCo-Datensatz trainiert wurden (siehe z. B. Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Doll'ar und C Lawrence Zitnick. Microsoft Coco: Gemeinsame Objekte im Kontext. In European Conference on Computer Vision, Seiten 740-755. Springer, 2014.).
In der in 9 gezeigten Ausführungsform wird jede der abgeleiteten Eingangsmerkmalskarten 50 einem separaten Backbone zugeführt: Intensität B_I(I) 912, AOLP-Backbone B_ϕ(ϕ) 914 und DOLP-Backbone Bρ(ρ) 916. Die CNN-Backbones 912, 914 und 916 berechnen Tensoren für jeden Modus oder „Modus-Tensoren“ (z. B. Merkmalskarten, die basierend auf Parametern berechnet wurden, die während des Trainings oder des Transferlernens des CNN-Backbones gelernt wurden, was weiter unten ausführlicher erörtert wird) C_i,_I, C_i,_p, C_i,Φ in verschiedenen Maßstäben oder Auflösungen i. Während 9 eine Ausführungsform mit fünf verschiedenen Maßstäben i zeigt, sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt und können auch auf CNN-Backbones mit einer anderen Anzahl von Maßstäben angewendet werden.
Einige Aspekte von Ausführungsformen der vorliegenden Offenbarung beziehen sich auf einen räumlich bewussten Aufmerksamkeitsfusionsmechanismus zum Durchführen einer multimodalen Fusion (z. B. Fusion der Merkmalskarten, die aus jedem der verschiedenen Modi oder verschiedenen Typen von Eingangsmerkmalskarten berechnet werden, wie der Intensitätsmerkmalskarte I, der AOLP-Merkmalskarte ϕ und der DOLP-Merkmalskarte p).
In der in 9 gezeigten Ausführungsform werden beispielsweise die Modustensoren C_i,I, C_i,ρ, C_i,ϕ (Tensoren für jeden Modus), die aus den entsprechenden Backbones B_I, B_ρ, B_ϕ in jedem Maßstab i berechnet wurden, unter Verwendung der Fusionsschichten 922, 923, 924, 925 (zusammen als Fusionsschichten 920 bezeichnet) für die entsprechenden Maßstäbe fusioniert. Beispielsweise ist die Fusionsschicht 922 konfiguriert, um die im Maßstab i=2 berechneten Modustensoren C_2,I, C_2,ρ, C_2,ϕ zu fusionieren, um einen fusionierten Tensor C₂ zu berechnen. Ebenso ist die Fusionsschicht 923 konfiguriert, um die im Maßstab i=3 berechneten Modustensoren C_3,I, C_3,ρ, C_3,ϕ zu fusionieren, um einen fusionierten Tensor C₃ zu berechnen, und ähnliche Berechnungen können von den Fusionsschichten 924 und 925 durchgeführt werden, um fusionierte Merkmalskarten C₄ bzw. C₅ zu berechnen, die auf den jeweiligen Modustensoren für ihre Maßstäbe basieren. Die von den Fusionsschichten 920 berechneten fusionierten Tensoren C_L (z. B. C₂, C₃, C₄, C₅) oder zweiten Tensoren, wie z. B. fusionierte Merkmalskarten, werden dann als Eingabe an ein Vorhersagemodul 950 geliefert, das konfiguriert ist, um eine Vorhersage aus den fusionierten Tensoren zu berechnen, wobei die Vorhersage eine Ausgabe sein kann, wie z. B. eine Segmentierungskarte 20, eine Klassifizierung, eine textuelle Beschreibung oder Ähnliches.
10 ist ein Blockdiagramm einer i-ten Fusionsschicht unter den Fusionsschichten 920, die mit einem polarisierten CNN gemäß einer Ausführungsform der vorliegenden Erfindung verwendet werden kann. Wie in 10 gezeigt, wird in einigen Ausführungsformen der vorliegenden Offenbarung eine Fusionsschicht (z.B., jede der Fusionsschicht 920) unter Verwendung eines Aufmerksamkeitsmoduls implementiert wird, wobei der Prädiktor 900 die gelieferten Eingangstensoren oder Eingangsmerkmalskarten C_i,I, C_i,ρ, C_i,ϕ, die von den CNN-Backbones für die i-te Skalierung berechnet wurden, verkettet, um einen verketteten Tensor 1010 zu erzeugen, wobei der verkettete Tensor 1010 durch einen Satz von trainierten Faltungsschichten oder Aufmerksamkeits-Teilnetzen Ω_i für die i-te Skalierung verarbeitet wird. Das Aufmerksamkeits-Teilnetz Ω_i gibt ein 3-Kanal-Bild mit der gleichen Höhe und Breite wie die Eingangstensoren aus, und in einigen Ausführungsformen wird auf jedes Pixel des 3-Kanal-Bildes eine Softmax-Funktion angewendet, um pixelweise Aufmerksamkeitsgewichte α für die i-te Skalierung zu berechnen: $[α_{i, ϕ}, α_{i, ρ}, α_{i, l}] = s o f t m a x (Ω_{i} ([C_{i, ϕ}, C_{i, ρ}, C_{i, j}]))$
Diese Aufmerksamkeitsgewichte werden verwendet, um einen gewichteten Durchschnitt 1020 pro Kanal zu bilden: $C_{i} = α_{i, ϕ} C_{i, ϕ} + α_{i, ρ} C_{i, ρ} + α_{i, j} C_{i, j}$
Dementsprechend ermöglicht die Verwendung eines Aufmerksamkeitsmoduls einem polarisierten CNN gemäß einigen Ausführungsformen der vorliegenden Offenbarung die Gewichtung der verschiedenen Eingaben auf der Skalierung i (z. B., den Intensitäts-I-Tensor oder die gelernte Merkmalskarte C_i,I, den DOLP-Tensor oder die gelernte Merkmalskarte C_i,ρ und den AOLP-Tensor oder die gelernte Merkmalskarte C_i,Φ auf der Skalierung i) basierend darauf wie relevant sie für einen gegebenen Teil der Szene sind, wobei die Relevanz durch das trainierte Aufmerksamkeits-Teilnetz Ω_i in Übereinstimmung mit den beschrifteten Trainingsdaten bestimmt wird, die zum Trainieren des polarisierten CNN-Backbones verwendet werden.
11 zeigt Beispiele für Aufmerksamkeitsgewichte, die von einem Aufmerksamkeitsmodul gemäß einer Ausführungsform der vorliegenden Erfindung für verschiedene Modustensoren (in verschiedenen ersten Darstellungsräumen) berechnet werden, die aus Polarisationsrohbildern extrahiert wurden, die von einer Polarisationskamera erfasst wurden. Wie in 11 gezeigt (siehe z. B. Intensitätsbild 1152), umfasst die von der Polarisationskamera aufgenommene Szene ein transparentes Glas, das auf einem ausgedruckten Foto platziert ist, wobei das ausgedruckte Foto ein transparentes Trinkglas (eine ausgedruckte Fälschung eines Trinkglases) und einige Hintergrundstörungen zeigt.
Wie in 11 zu sehen ist, sind die gelernten Aufmerksamkeitsgewichte 1110 auf den DOLP 1114 und AOLP 1116 im Bereich um das echte Trinkglas am hellsten und vermeiden die mehrdeutige Druckfälschung im Intensitätsbild 1152. Dementsprechend kann das Vorhersagemodul 950 beispielsweise eine Segmentierungsmaske 1120 berechnen, die der Bodenwirklichkeit 1130 sehr nahe kommt (z. B. zeigt die Vorhersage 1120 eine Form, die der Form des transparenten Objekts in der Szene sehr nahe kommt).
In der in 9 gezeigten Ausführungsform ähnelt das Vorhersagemodul 950 im Wesentlichen demjenigen, das in einer Masken-R-CNN-Architektur verwendet wird, und berechnet eine Segmentierungskarte durch Kombinieren der fusionierten Merkmalskarten C unter Verwendung eines Merkmalspyramidennetzwerks (FPN) und eines Regionsvorschlagsnetzwerks (RPN) als Eingaben für ein Ausgabe-Teilnetzwerk zum Berechnen einer Klasse, einer Maske und eines Begrenzungsrahmens (Bbox) für jede Instanz von Objekten, die in den Eingabebildern erkannt werden. Die berechneten Klassen, Masken und Bounding Boxes werden dann mit nicht maximaler Unterdrückung zusammengeführt, um die Instanzsegmentierungskarte (oder Instanzsegmentierungsmaske) 20 zu berechnen.
Wie oben erwähnt, kann eine Polarisations-CNN-Architektur durch Transfer-Lernen basierend auf einem bestehenden tiefen neuronalen Netz trainiert werden, das beispielsweise mit dem MSCoCo-Datensatz und einem Trainingsalgorithmus für ein neuronales Netz, wie Backpropagation und Gradientenabstieg, trainiert wurde. Genauer gesagt wird die Polarisations-CNN-Architektur auf der Grundlage zusätzlicher Trainingsdaten weiter trainiert, die für die Eingaben in das Polarisations-CNN repräsentativ sind (z. B. unter Verwendung von Polarisationsrohbildern zum Berechnen von aus dem Training abgeleiteten Merkmalskarten 50 und Bodenwirklichkitsbezeichnungen, die mit den aus dem Training abgeleiteten Merkmalskarten verbunden sind), wie sie von der Merkmalsextraktionseinrichtung 800 aus den Polarisationsrohbildern 18 extrahiert wurden. Diese zusätzlichen Trainingsdaten können beispielsweise Polarisationsrohbilder umfassen, die von einer Polarisationskamera von einer Vielzahl von Szenen aufgenommen wurden, die transparente Objekte oder andere optisch anspruchsvolle Objekte in einer Vielzahl von verschiedenen Umgebungen enthalten, zusammen mit Bodenwirklichkeits-Segmentierungskarten (z. B. manuell erzeugte Segmentierungskarten), die die Pixel mit der Instanz und Klasse der Objekte kennzeichnen, die in den von der Polarisationskamera aufgenommenen Bildern dargestellt sind.
Bei kleinen Trainingsdatensätzen bieten affine Transformationen eine Technik zum Erweitern von Trainingsdaten (z. B. Erzeugen zusätzlicher Trainingsdaten aus vorhandenen Trainingsdaten), um eine gute Generalisierungsleistung zu erzielen. Allerdings führt die naive Anwendung affiner Transformationen auf einige der aus dem Training abgeleiteten Merkmalskarten, wie z. B. das AOLP ϕ-Bild, nicht zu einer signifikanten Verbesserung der Leistung des trainierten neuronalen Netzes und in einigen Fällen sogar zu Leistungseinbußen. Dies liegt daran, dass der AOLP ein Winkel im Bereich von 0° bis 360° (oder 0 bis 2π) ist, der die Richtung der elektromagnetischen Welle in Bezug auf den Kamerakoordinatenrahmen darstellt. Die Anwendung eines Verfahrensschritts auf das Ausgangs-Trainingsbild (oder die aus dem Training abgeleitete Merkmalskarte) entspricht einer Drehung der Kamera um ihre Z-Achse (z. B. entlang der optischen Achse des Objektivs 12). Diese Drehung verändert wiederum die Ausrichtung der X-Y-Ebene der Kamera und damit die relative Richtung der elektromagnetischen Welle (z. B. den Winkel der linearen Polarisation). Um dieser Änderung Rechnung zu tragen, werden beim Erweitern der Daten durch Ausführen von affinen Rotationstransformationen um einen Drehwinkel die Pixelwerte des AOLP um denselben Winkel in die entgegengesetzte Richtung gedreht (oder gegenläufig gedreht oder eine Gegenrotation auf die erzeugten zusätzlichen Daten angewendet). Dasselbe Prinzip gilt auch für andere affine Transformationen der Trainingsmerkmalskarten oder der ersten Trainings-Tensoren, wobei sich die auf die Trainingsmerkmalskarten oder die ersten Trainings-Tensoren angewendeten Transformationen je nach der zugrunde liegenden Physik, die die Trainingsmerkmalskarten darstellen, unterscheiden können. Während beispielsweise ein DOLP-Bild von einer Rotationstransformation unbeeinflusst bleiben kann, würde eine Translationstransformation aufgrund des zugrundeliegenden physikalischen Verhaltens der Wechselwirkungen von Licht mit transparenten Objekten oder anderen optisch anspruchsvollen Objekten (z. B. lichtdurchlässigen Objekten, nicht-lambertschen Objekten, mehrweginduzierenden Objekten und nicht-reflektierenden Objekten) entsprechende Änderungen am DOLP erfordern.
Zusätzlich beziehen sich einige Ausführungsformen der vorliegenden Offenbarung auf die Verwendung von CNN und tiefer semantischer Segmentierung, doch sind die Ausführungsformen der vorliegenden Offenbarung nicht darauf beschränkt. In einigen Ausführungsformen der vorliegenden Offenlegung werden die abgeleiteten Merkmalskarten 50 (in einigen Ausführungsformen zusammen mit anderen Merkmalskarten) als Eingaben für andere Arten von Klassifizierungsalgorithmen (z. B. Klassifizierung eines Bildes ohne Lokalisierung der erkannten Objekte), andere Arten von semantischen Segmentierungsalgorithmen oder Bildbeschreibungsalgorithmen verwendet, die darauf trainiert sind, um Natursprachbeschreibungen zu erzeugen. Beispiele für solche Algorithmen sind Support-Vektor-Maschinen (SVM), ein Markov-Zufallsfeld, ein probabilistisches grafisches Modell usw. In einigen Ausführungsformen der vorliegenden Offenlegung werden die abgeleiteten Merkmalskarten als Eingabe für klassische Bildverarbeitungsalgorithmen wie Merkmalsdetektoren (z. B. skaleninvariante Merkmalstransformation (SIFT), beschleunigte Robustheitsmerkmale (SURF), Gradientenlokalisierungs- und Orientierungshistogramm (GLOH), Histogramm von orientierten Gradienten (HOG), Basiskoeffizienten, Haar-Wavelet-Koeffizienten usw.) verwendet, um erkannte klassische Bildverarbeitungsmerkmale von erkannten transparenten Objekten und/oder anderen optisch anspruchsvollen Objekten in einer Szene auszugeben.
12A, 12B, 12C und 12D zeigen Segmentierungskarten, die von einem vergleichenden Bildsegmentierungssystem berechnet wurden, Segmentierungskarten, die von einem polarisierten faltenden neuronalen Netz gemäß einer Ausführungsform der vorliegenden Offenbarung berechnet wurden, und Bodenwirklichkeits-Segmentierungskarten (z. B. manuell erstellte Segmentierungskarten). Die 12A, 12B, 12C und 12D zeigen Beispiele von Experimenten, die auf vier verschiedenen Testsätzen durchgeführt wurden, um die Leistung eines trainierten R-CNN-Modells für polarisierte Masken gemäß einer Ausführungsform der vorliegenden Offenbarung mit einem vergleichbaren R-CNN-Modell für Masken zu vergleichen (das hier als R-CNN-Modell für „Intensitätsmasken“ bezeichnet wird, um anzuzeigen, dass es mit Intensitätsbildern und nicht mit polarisierten Bildern arbeitet).
Das zum Durchführen der Experimente verwendete polarisierte Masken-R-CNN-Modell wurde auf einem Trainingssatz trainiert, der 1.000 Bilder mit über 20.000 Instanzen transparenter Objekte in fünfzehn verschiedenen Umgebungen aus sechs möglichen Klassen transparenter Objekte enthält: Plastikbecher, Plastikschalen, Gläser, Ornamente und andere. Datenerweiterungstechniken wie die oben beschriebenen affinen Transformationen der Eingabebilder und die Anpassung des AOLP auf der Grundlage der Drehung der Bilder werden vor dem Training auf den Trainingssatz angewendet.
Die vier Testsätze umfassen:

(a) Ein Clutter-Testsatz enthält 200 Bilder von unübersichtlichen transparenten Objekten in Umgebungen, die dem Trainingssatz ähnlich sind, ohne Ausdrucke.
(b) Ein Novel Environments (Env) Testset enthält 50 Bilder von ~6 Objekten pro Bild in Umgebungen, die im Trainingsset nicht vorhanden sind. Die Hintergründe enthalten harte Beleuchtung, texturierte Kleidung, glänzende Metalle und mehr.
(c) Ein Print-Out Spoofs (POS) Testsatz enthält 50 Bilder, die jeweils 1 bis 6 gedruckte Objekte und 1 oder 2 echte Objekte enthalten.
(d) Ein Robotic Bin Picking (RBP) Testsatz enthält 300 Bilder aus einer Live-Demo unseres Roboterarms, der Ornamente aufnimmt (z. B. dekorative Glasornamente, die an einen Baum gehängt werden können). Dieser Satz wird verwendet, um die Leistung der Instanzsegmentierung in einer realen Anwendung zu testen.

Für jeden Datensatz wurden zwei Metriken zum Messen der Genauigkeit verwendet: die mittlere durchschnittliche Genauigkeit (mAP) im Bereich von Intersection over Unions (IoUs) 0,5-0,7 (mAP_(.5:.7)) und die mittlere Genauigkeit im Bereich von IoUs 0,75-0,9 (mAP_(.75:.9)). Diese beiden Metriken messen die Grobsegmentierung bzw. die feinkörnige Segmentierung. Um die Generalisierung weiter zu testen, wurden alle Modelle auch bei der Objekterkennung mit der Faster R-CNN Komponente von Mask R-CNN getestet.
Das polarisierte Masken-R-CNN gemäß den Ausführungsformen der vorliegenden Offenbarung und das Intensitätsmasken-R-CNN wurden an den vier oben genannten Testsätzen getestet. Die durchschnittliche Verbesserung beträgt 14,3 % mAP bei der Grobsegmentierung und 17,2 % mAP bei der feinkörnigen Segmentierung. Die Leistungsverbesserung beim Clutter-Problem ist bei der feinkörnigen Segmentierung deutlicher sichtbar, wo der Leistungsunterschied von ~ 1,1 % mAP auf 4,5 % mAP steigt. Daher scheinen die Polarisationsdaten nützliche Kanteninformationen zu liefern, die es dem Modell ermöglichen, Objekte genauer zu segmentieren. Wie in 12A zu sehen ist, hilft die Polarisation bei der genauen Segmentierung von Unordnung, wo sie im Intensitätsbild nicht eindeutig ist. Als Ergebnis erkennt das polarisierte Masken-R-CNN gemäß einer Ausführungsform der vorliegenden Offenbarung in dem in 12A gezeigten Beispiel aus dem Clutter-Testsatz alle sechs Instanzen transparenter Objekte korrekt und stimmt mit der Bodenwirklichkeit überein, während das vergleichbare Intensitätsmasken-R-CNN nur vier der sechs Instanzen transparenter Objekte identifiziert.
Für die Verallgemeinerung auf neue Umgebungen gibt es sowohl für die Feinals auch für die Grobsegmentierung viel größere Gewinne, und daher scheint es, dass die intrinsische Textur eines transparenten Objekts für das CNN in den polarisierten Bildern besser sichtbar ist. Wie in 12B gezeigt, gelingt es dem Intensitätsmasken-R-CNN nicht, sich an die neue Umgebung anzupassen, während das Polarisationsmasken-R-CNN-Modell erfolgreich ist. Während das Polarized Mask R-CNN in der Lage ist, alle Instanzen der übergeordneten Objekte korrekt zu erkennen, gelingt es dem Instanzmasken R-CNN nicht, einige der Instanzen zu erkennen (siehe z. B. die Instanzen in der oberen rechten Ecke des Kastens).
Ausführungsformen der vorliegenden Offenbarung zeigen auch eine ähnlich große Verbesserung der Robustheit gegen Druckfehler und erreichen fast 90% mAP. Somit bieten die Ausführungsformen der vorliegenden Offenbarung eine monokulare Lösung, die robust gegenüber perspektivischen Projektionsproblemen, wie z. B. Druckfälschungen, ist. Wie in 12C gezeigt, wird das Intensitätsmasken-R-CNN durch die gedruckten Papierfälschungen getäuscht. In dem in 12C gezeigten Beispiel wird ein echter transparenter Ball auf einem Ausdruck platziert, der drei gefälschte transparente Objekte zeigt. Das Intensitätsmasken-R-CNN identifiziert zwei der ausgedruckten Fälschungen fälschlicherweise als Instanzen. Das polarisierte Masken-R-CNN ist dagegen robust und erkennt nur den echten transparenten Ball als Instanz.
All diese Ergebnisse erklären die drastische Leistungsverbesserung, die für eine unkontrollierte und unübersichtliche Umgebung wie Robotic Bin Picking (RBP) gezeigt wurde. Wie in 12D gezeigt, ist das Intensitätsmasken-R-CNN-Modell bei der robotergestützten Entnahme von Ornamenten unter schlechten Lichtverhältnissen nur in der Lage, fünf der elf Fälle von transparenten Objekten zu erkennen. Andererseits ist das polarisierte R-CNN-Modell in der Lage, sich an diese Umgebung mit schlechten Lichtverhältnissen anzupassen und identifiziert alle elf Fälle korrekt.
Als Beispiel für eine mögliche Anwendung in industriellen Umgebungen wurde ein computerbasierte Sehsystem konfiguriert, um einen Roboterarm zu kontrollieren, um Behälter zu entnehmen, indem eine Segmentierungsmaske an die Steuerung des Roboterarms geliefert wurde. Die Entnahme von transparenten und transluzenten (nicht lambertschen) Objekten ist ein schwieriges und offenes Problem in der Robotik. Um den Nutzen einer qualitativ hochwertigen, robusten Segmentierung zu zeigen, wird die Leistung eines vergleichbaren Intensitätsmasken-R-CNN beim Bereitstellen von Segmentierungskarten für die Steuerung des Roboterarms zur Entnahme von unterschiedlich großen, unübersichtlichen, transparenten Ornamenten mit der Leistung eines polarisierten Masken-R-CNN gemäß einer Ausführungsform der vorliegenden Offenbarung verglichen.
Eine Bin-Picking-Lösung umfasst drei Komponenten: eine Segmentierungskomponente, um jedes Objekt zu isolieren; eine Tiefenschätzungskomponente; und eine Posenschätzungskomponente. Um die Wirkung der Segmentierung zu verstehen, wird eine einfache Tiefen- und Posenschätzung durchgeführt, bei der sich der Roboterarm in die Mitte der Segmentierung bewegt und anhält, wenn er auf eine Oberfläche trifft. Dies funktioniert in diesem Beispiel, weil die Objekte perfekte Kugeln sind. Eine leicht ungenaue Segmentierung kann zu einer falschen Schätzung und damit zu einer falschen Auswahl führen. Diese Anwendung ermöglicht einen Vergleich zwischen dem polarisierten Masken-R-CNN und dem Intensitätsmasken-R-CNN. Das System wurde in fünf Umgebungen außerhalb des Trainingssets getestet (d. h. unter Bedingungen, die sich von den Umgebungen unterscheiden, in denen die Trainingsbilder aufgenommen wurden). In jeder Umgebung wurden fünfzehn Bälle gestapelt, und die Anzahl der richtigen/falschen (fehlgeschlagenen) Aufnahmen, die der Roboterarm machte, um alle 15 Bälle aufzunehmen (mit einem Saugnapfgreifer), wurde gezählt, wobei die Anzahl der falschen Aufnahmen auf 15 begrenzt wurde. Das R-CNN-basierte Modell auf Basis der Intensitätsmaske war nicht in der Lage, den Behälter regelmäßig zu leeren, da der Roboterarm aufgrund der schlechten Segmentierungsqualität immer wieder bestimmte Bälle nicht aufnahm. Das R-CNN-Modell mit polarisierter Maske gemäß einer Ausführungsform der vorliegenden Offenbarung hingegen wählte alle 90 Bälle erfolgreich aus, wobei auf 6 korrekte Entnahmen etwa 1 falsche Entnahme kam. Diese Ergebnisse bestätigen die Wirkung einer Verbesserung von -20 mAP.
Wie oben erwähnt, können Ausführungsformen der vorliegenden Offenbarung als Komponenten eines computerbasierten Seh- oder Bildverarbeitungssystems verwendet werden, das in der Lage ist, sowohl transparente als auch undurchsichtige Objekte zu erkennen.
In einigen Ausführungsformen der vorliegenden Offenbarung wird ein und derselbe Prädiktor oder ein statistisches Modell 900 trainiert, um sowohl transparente Objekte als auch undurchsichtige Objekte zu erkennen (oder um zweite Tensoren C im zweiten Darstellungsraum zu erzeugen), und zwar basierend auf Trainingsdaten, die markierte Beispiele sowohl für transparente Objekte als auch für undurchsichtige Objekte enthalten. In einigen Ausführungsformen wird beispielsweise eine polarisierte CNN-Architektur verwendet, wie die in 9 gezeigte polarisierte Masken-R-CNN-Architektur. In einigen Ausführungsformen wird die in 9 gezeigte polarisierte Masken-R-CNN-Architektur weiter modifiziert, indem ein oder mehrere zusätzliche CNN-Backbones hinzugefügt werden, die einen oder mehrere zusätzliche Modustensoren berechnen. Die zusätzlichen CNN-Backbones können basierend auf zusätzlichen ersten Tensoren trainiert werden. In einigen Ausführungsformen umfassen diese zusätzlichen ersten Tensoren Bildkarten, die basierend auf Farbintensitätsbildern berechnet werden (z. B. Intensität des Lichts in verschiedenen Wellenlängen, wie ein rotes Intensitätsbild oder ein roter Farbkanal, ein grünes Intensitätsbild oder ein grüner Farbkanal, und ein blaues Intensitätsbild oder ein blauer Farbkanal). In einigen Ausführungsformen umfassen diese zusätzlichen ersten Tensoren Bildkarten, die basierend auf Kombinationen von Farbintensitätsbildern berechnet wurden. In einigen Ausführungsformen fusionieren die Fusionsmodule 920 alle Modus-Tensoren auf jeder Skalierung von jedem der CNN-Backbones (z. B. einschließlich der zusätzlichen CNN-Backbones).
In einigen Ausführungsformen der vorliegenden Offenbarung umfasst der Prädiktor 900 ein oder mehrere separate statistische Modelle zur Erkennung undurchsichtiger Objekte im Gegensatz zu transparenten Objekten. Beispielsweise kann ein Ensemble von Prädiktoren (z. B. ein erster Prädiktor, der trainiert wurde, um eine erste Segmentierungsmaske für transparente Objekte zu berechnen, und ein zweiter Prädiktor, der trainiert wurde, um eine zweite Segmentierungsmaske für undurchsichtige Objekte zu berechnen) mehrere Vorhersagen berechnen, wobei die separaten Vorhersagen zusammengeführt werden (z. B. wird die erste Segmentierungsmaske mit der zweiten Segmentierungsmaske zusammengeführt, z. B. basierend auf Konfidenzwerten, die mit jedem Pixel der Segmentierungsmaske verbunden sind).
Wie oben im Hintergrund erwähnt, hat das Ermöglichen von maschinellem Sehen oder computerbasierten Sehsystemen, um transparente Objekte robust zu erkennen, Anwendungen in einer Vielzahl von Umständen, einschließlich Fertigung, Biowissenschaften, selbstfahrende Fahrzeuge, und
Dementsprechend beziehen sich Aspekte der Ausführungsformen der vorliegenden Offenbarung auf Systeme und Verfahren zur Erkennung von transparenten Objekten unter Verwendung von computerbasiertem Sehen durch die Verwendung von Merkmalen, die aus dem Polarisationsbereich extrahiert werden. Transparente Objekte haben eine ausgeprägtere Textur in der Polarisationsdomäne als in der Intensitätsdomäne. Diese Textur in der Polarisationstextur kann mit Merkmalsextraktoren und polarisierten CNN-Modellen in Übereinstimmung mit Ausführungsformen der vorliegenden Offenbarung genutzt werden. Beispiele für die Verbesserung der Leistung der Erkennung transparenter Objekte durch Ausführungsformen der vorliegenden Offenbarung werden durch Vergleiche mit der Instanzsegmentierung unter Verwendung von Mask R-CNN demonstriert (z. B. Vergleiche mit Mask R-CNN unter Verwendung von Intensitätsbildern ohne Verwendung von Polarisationsdaten). Daher sind die Ausführungsformen der vorliegenden Offenbarung
Während die vorliegende Erfindung in Verbindung mit bestimmten beispielhaften Ausführungsformen beschrieben wurde, ist es zu verstehen, dass die Erfindung nicht auf die offengelegten Ausführungsformen beschränkt ist, sondern im Gegenteil dazu bestimmt ist, verschiedene Modifikationen und gleichwertige Anordnungen abzudecken, die in den Geist und den Anwendungsbereich der beigefügten Ansprüche und deren Äquivalente fallen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 63001445 [0001]

Claims

Ein computerimplementiertes Verfahren zum Berechnen einer Vorhersage für Bilder einer Szene, wobei das Verfahren umfasst: Empfangen eines oder mehrerer Polarisationsrohbilder einer Szene, wobei die Polarisationsrohbilder mit einem Polarisationsfilter bei einem unterschiedlichen linearen Polarisationswinkel aufgenommen wurden; Extrahieren eines oder mehrerer erster Tensoren in einem oder mehreren Polarisationsdarstellungsräumen aus den Polarisationsrohbildern; und Berechnen einer Vorhersage bezüglich eines oder mehrerer optisch anspruchsvoller Objekte in der Szene basierend auf dem einen oder den mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen.
Das computerimplementierte Verfahren nach Anspruch 1, wobei der eine oder die mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen umfassen: ein Bild eines linearen Polarisationsgrads (DOLP) in einem DOLP-Darstellungsraum; und ein Bild eines linearen Polarisationswinkels (AOLP) in einem AOLP-Darstellungsraum.
Das computerimplementierte Verfahren nach Anspruch 1, wobei der eine oder die mehreren ersten Tensoren ferner einen oder mehrere Nichtpolarisationstensoren in einem oder mehreren Nichtpolarisationsdarstellungsräumen umfassen, und wobei der eine oder die mehreren Nicht-Polarisationstensoren ein oder mehrere Intensitätsbilder im Intensitätsdarstellungsraum umfassen.
Das computerimplementierte Verfahren nach Anspruch 3, wobei das eine oder die mehreren Intensitätsbilder umfassen: ein erstes Farbintensitätsbild; ein zweites Farbintensitätsbild; und ein drittes Farbintensitätsbild.
Das computerimplementierte Verfahren nach Anspruch 1, 2, 3 oder 4, wobei die Vorhersage eine Segmentierungsmaske umfasst.
Das computerimplementierte Verfahren nach Anspruch 5, wobei das Berechnen der Vorhersage Zuführen des einen oder der mehreren ersten Tensoren zu einem oder mehreren entsprechenden faltenden neuronalen Netz (CNN) Backbones umfasst, und wobei jedes der einen oder mehreren CNN-Backbones konfiguriert ist, um eine Vielzahl von Modustensoren bei einer Vielzahl von unterschiedlichen Skalierungen zu berechnen.
Das computerimplementierte Verfahren nach Anspruch 6, wobei das Berechnen der Vorhersage weiterhin umfasst: Fusionieren der Modustensoren, die mit einer gleichen Skalierung von dem einen oder den mehreren CNN-Backbones berechnet wurden.
Das computerimplementierte Verfahren nach Anspruch 7, wobei das Fusionieren der Modentensoren mit der gleichen Skalierung umfasst: Verketten der Modustensoren mit der gleichen Skalierung; Liefern der Modustensoren an ein Aufmerksamkeits-Teilnetz, um eine oder mehrere Aufmerksamkeitskarten zu berechnen; und Gewichten der Modustensoren basierend auf der einen oder den mehreren Aufmerksamkeitskarten, um einen fusionierten Tensor für die Skalierung zu berechnen.
Das computerimplementierte Verfahren nach Anspruch 8, wobei das Berechnen der Vorhersage weiterhin Zuführen der fusionierten Tensoren, die bei jeder Skalierung berechnet wurden, zu einem Vorhersagemodul umfasst, das konfiguriert ist, um die Segmentierungsmaske zu berechnen.
Das computerimplementierte Verfahren nach Anspruch 5, wobei die Segmentierungsmaske an eine Steuerung eines Robotergreifarms geliefert wird.
Das computerimplementierte Verfahren nach Anspruch 1, 2, 3 oder 4, wobei die Vorhersage eine Klassifizierung des einen oder der mehreren Polarisationsrohbilder basierend auf dem einen oder den mehreren optisch anspruchsvollen Objekten umfasst.
Das computerimplementierte Verfahren nach Anspruch 1, 2, 3 oder 4, wobei die Vorhersage ein oder mehrere erkannte Merkmale des einen oder der mehreren optisch anspruchsvollen Objekte umfasst, die in dem einen oder den mehreren Polarisationsrohbildern dargestellt sind.
Das computerimplementierte Verfahren nach Anspruch 1, wobei das Berechnen der Vorhersage ein Liefern des einen oder der mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen an ein statistisches Modell umfasst, und wobei das statistische Modell unter Verwendung von Trainingsdaten trainiert ist, die erste Trainings-Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen und Kennzeichnungen umfassen.
Das computerimplementierte Verfahren nach Anspruch 13, wobei die Trainingsdaten umfassen: erste Ausgangs-Trainingstensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen, die aus von einer Polarisationskamera erfassten Daten berechnet wurden; und zusätzliche erste Trainings-Tensoren, die aus den ersten Ausgangs-Trainingstensoren durch affine Transformationen, die eine Drehung umfassen, erzeugt wurden.
Das computerimplementierte Verfahren nach Anspruch 14, wobei, wenn die zusätzlichen ersten Trainings-Tensoren ein lineares Polarisationswinkelbild (AOLP) umfassen, das Erzeugen der zusätzlichen ersten Trainings-Tensoren umfasst: Drehen der zusätzlichen ersten Trainings-Tensoren um einen Winkel; und Gegendrehen der Pixelwerte des AOLP-Bildes um den Winkel.
Ein computerbasiertes Sehsystem, umfassend: eine Polarisationskamera mit einem Polarisationsfilter; und ein Verarbeitungssystem mit einem Prozessor und einem Speicher, der Befehle speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen: ein oder mehrere Polarisationsrohbilder einer Szene zu empfangen, wobei die Polarisationsrohbilder mit einem Polarisationsfilter bei einem unterschiedlichen linearen Polarisationswinkel aufgenommen wurden; einen oder mehrere erste Tensoren in einem oder mehreren Polarisationsdarstellungsräumen aus den Polarisationsrohbildern zu extrahieren; und eine Vorhersage bezüglich eines oder mehrerer optisch anspruchsvoller Objekte in der Szene basierend auf dem einen oder den mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen zu berechnen.
Das computerbasierte Sehsystem nach Anspruch 16, wobei der eine oder die mehreren ersten Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen umfassen: ein Bild des linearen Polarisationsgrads (DOLP) in einem DOLP-Darstellungsraum; und ein Bild des linearen Polarisationswinkels (AOLP) in einem AOLP-Darstellungsraum.
Das computerbasierte Sehsystem nach Anspruch 16, wobei der eine oder die mehreren ersten Tensoren weiterhin einen oder mehrere Nicht-Polarisationstensoren in einem oder mehreren Nicht-Polarisationsdarstellungsräumen umfassen, und wobei der eine oder die mehreren Nicht-Polarisationstensoren ein oder mehrere Intensitätsbilder in einem Intensitätsdarstellungsraum umfassen.
Das computerbasierte Sehsystem nach Anspruch 18, wobei das eine oder die mehreren Intensitätsbilder umfassen: ein erstes Farbintensitätsbild; ein zweites Farbintensitätsbild; und ein drittes Farbintensitätsbild.
Das computerbasierte Sehsystem nach Anspruch 16, 17, 18 oder 19, wobei die Vorhersage eine Segmentierungsmaske umfasst.
Das computerbasierte Sehsystem nach Anspruch 20, wobei der Speicher ferner Befehle speichert, die, wenn sie vom Prozessor ausgeführt werden, den Prozessor veranlassen, die Vorhersage zu berechnen, indem der eine oder die mehreren ersten Tensoren an ein oder mehrere entsprechende faltende neuronale Netz (CNN) Backbones geliefert werden, und wobei jedes der einen oder mehreren CNN-Backbones konfiguriert ist, um eine Vielzahl von Modustensoren bei einer Vielzahl von verschiedenen Skalierungen zu berechnen.
Das computerbasierte Sehsystem nach Anspruch 21, wobei der Speicher ferner Befehle speichert, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen: die Modustensoren zu fusionieren, die von dem einen oder den mehreren CNN-Backbones mit derselben Skalierung berechnet wurden.
Das computerbasierte Sehsystem nach Anspruch 22, wobei die Befehle, die den Prozessor veranlassen, die Modustensoren mit der gleichen Skalierung zu fusionieren, Befehle umfassen, die, wenn sie vom Prozessor ausgeführt werden, den Prozessor veranlassen: die Modustensoren mit der gleichen Skalierung zu verketten; die Modustensoren an ein Aufmerksamkeits-Teilnetz zu liefern, um eine oder mehrere Aufmerksamkeitskarten zu berechnen; und die Modustensoren basierend auf der einen oder den mehreren Aufmerksamkeitskarten zu gewichten, um einen fusionierten Tensor für die Skalierung zu berechnen.
Das computerbasierte Sehsystem nach Anspruch 23, wobei die Befehle, die den Prozessor veranlassen, die Vorhersage zu berechnen, ferner Befehle umfassen, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, die bei jeder Skalierung berechneten fusionierten Tensoren an ein Vorhersagemodul zu liefern, das konfiguriert ist, um die Segmentierungsmaske zu berechnen.
Das computerbasierte Sehsystem nach Anspruch 20, wobei die Segmentierungsmaske an eine Steuerung eines Robotergreifarms geliefert wird.
Das computerbasierte Sehsystem nach Anspruch 16, 17, 18 oder 19, wobei die Vorhersage eine Klassifizierung des einen oder der mehreren Polarisationsrohbilder basierend auf dem einen oder den mehreren optisch anspruchsvollen Objekten umfasst.
Das computerbasierte Sehsystem nach Anspruch 16, 17, 18 oder 19, wobei die Vorhersage ein oder mehrere detektierte Merkmale des einen oder der mehreren optisch anspruchsvollen Objekte umfasst, die in dem einen oder den mehreren Polarisationsrohbildern dargestellt sind.
Das computerbasierte Sehsystem nach Anspruch 16, wobei die Befehle zum Berechnen der Vorhersage Befehle umfassen, die, wenn sie von dem Prozessor ausgeführt werden, den Prozessor veranlassen, den einen oder die mehreren ersten Tensoren einem statistischen Modell zuzuführen, und wobei das statistische Modell unter Verwendung von Trainingsdaten trainiert ist, die erste Trainings-Tensoren in dem einen oder den mehreren Polarisationsdarstellungsräumen und Kennzeichnungen umfassen.
Das computerbasierte Sehsystem nach Anspruch 28, wobei die Trainingsdaten umfassen: erste Ausgangs-Trainingstensoren, die aus von einer Polarisationskamera erfassten Daten berechnet wurden; und zusätzliche erste Trainings-Tensoren, die aus den ersten Ausgangs-Trainingstensoren durch affine Transformationen erzeugt wurden, die eine Drehung umfassen.
Das computerbasierte Sehsystem nach Anspruch 29, wobei, wenn die zusätzlichen ersten Trainings-Tensoren ein Bild eines linearen Polarisationswinkels (AOLP) umfassen, das Erzeugen der zusätzlichen ersten Trainings-Tensoren umfasst: Drehen der zusätzlichen ersten Trainings-Tensoren um einen Winkel; und Gegendrehen der Pixelwerte des AOLP-Bildes um den Winkel.