DE102019121340A1

DE102019121340A1 - Verfahren und vorrichtung zum bestimmen einer fehlfunktion und sensorsystem

Info

Publication number: DE102019121340A1
Application number: DE102019121340.1A
Authority: DE
Inventors: Franz Michael Darrer; Martin Graefling; Boris KIRILLOV; Stefan Mendel; Christoph Steiner
Original assignee: Infineon Technologies AG
Current assignee: Infineon Technologies AG
Priority date: 2019-08-07
Filing date: 2019-08-07
Publication date: 2021-02-11
Also published as: CN112351270B; US11662443B2; CN112351270A; US20210041539A1

Abstract

Ein Verfahren zum Bestimmen einer Fehlfunktion wird bereitgestellt. Das Verfahren umfasst das Empfangen eines 1D- oder 2D-Luminanzbildes einer Szene von einer Laufzeit-basierten 3D-Kamera. Das Luminanzbild umfasst ein oder mehrere Pixel, die Intensitäten des Hintergrundlichts, das durch einen Bildsensor der 3D-Kamera empfangen wird, darstellen. Das Verfahren umfasst ferner das Empfangen eines optischen 2D-Bildes der Szene von einer optischen 2D-Kamera und das Vergleichen des Luminanzbildes mit dem optischen Bild. Wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt, umfasst das Verfahren zusätzlich das Bestimmen einer Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera.

Description

Gebiet
Die vorliegende Offenbarung bezieht sich auf die funktionale Sicherheit von Sensorsystemen unter Verwendung von Laufzeit- (ToF; Time-of-Flight) basierten dreidimensionalen (3D-) Kameras und optischen zweidimensionalen (2D-) Kameras. Insbesondere beziehen sich Beispiele auf ein Verfahren und eine Vorrichtung zum Bestimmen einer Fehlfunktion. Ferner beziehen sich Beispiele auf ein Sensorsystem.
Hintergrund
In ToF-basierten Systemen wie Lichtdetektion und Abstandsmessung (LiDAR; Light Detection And Ranging) oder 3D-Bildgebung wird Licht in ein elektrisches Signal umgewandelt. Das elektrische Signal wird dann mit bestimmten Parametern verarbeitet und in die digitale Domäne umgewandelt. Die Zeit vom Emittieren des Laserlichts von dem LiDAR-System an ein Objekt bis zum Empfangen des von dem Objekt reflektierten Lichts wird zum Erzeugen eines 3D-Bildes verwendet. Das digitale 3D-Bild wird dann einer Bildnachbearbeitung unterzogen.
Bei der Entwicklung von Systemen, die mit funktionalen Sicherheitsstandards, wie z.B. ISO 26262 der Internationalen Organisation für Standardisierung (ISO; International Organization for Standardization) konform sind, ist es erforderlich, zufällige Hardware-Fehler zu detektieren und zu steuern. Der elektrische Bereich von ToF-basierten Systemen kann durch konventionelle Sicherheitsmechanismen abgedeckt werden.
Für die Umwandlung von Licht in elektrische Signale, die z.B. die Pixelmatrix, das Gehäuse umfassend den Glasdeckel und die Optik umfasst, ist jedoch kein einfacher Ansatz zum Detektieren zufälliger Hardware-Fehler verfügbar.
Auch optische 2D-Kameras erfordern eine zufällige Hardware-Fehlerdetektion.
Zusammenfassung
Daher kann ein Bedarf zum Detektieren einer Fehlfunktion von ToF-basierten 3D-Kameras und optischen 2D-Kameras bestehen.
Der Bedarf kann durch den Gegenstand der angehängten Ansprüche erfüllt sein.
Ein Beispiel bezieht sich auf ein Verfahren zum Bestimmen einer Fehlfunktion. Das Verfahren umfasst das Empfangen eines 1D- oder 2D-Luminanzbildes einer Szene von einer ToF-basierten 3D-Kamera. Das Luminanzbild umfasst ein oder mehrere Pixel, die Intensitäten des Hintergrundlichts, das durch einen Bildsensor der 3D-Kamera empfangen wird, darstellen. Das Verfahren umfasst ferner das Empfangen eines optischen 2D-Bildes der Szene von einer optischen 2D-Kamera und das Vergleichen des Luminanzbildes mit dem optischen Bild. Wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt, umfasst das Verfahren zusätzlich das Bestimmen einer Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera.
Ein anderes Beispiel bezieht sich auf eine Vorrichtung zum Bestimmen einer Fehlfunktion. Die Vorrichtung umfasst eine erste Eingangsschnittstelle, die ausgebildet ist, um ein 1D- oder 2D-Luminanzbild einer Szene von einer ToF-basierten 3D-Kamera zu empfangen. Das Luminanzbild umfasst ein oder mehrere Pixel, die Intensitäten des Hintergrundlichts, das durch einen Bildsensor der 3D-Kamera empfangen wird, darstellen. Die Vorrichtung umfasst ferner eine zweite Eingangsschnittstelle, die ausgebildet ist, um ein optisches 2D-Bild der Szene von einer optischen 2D-Kamera zu empfangen. Zusätzlich umfasst die Vorrichtung eine Verarbeitungsschaltung, die ausgebildet ist, um das Luminanzbild mit dem optischen Bild zu vergleichen, und eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera zu bestimmen, wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt.
Ein weiteres Beispiel bezieht sich auf ein Sensorsystem. Das Sensorsystem umfasst eine ToF-basierte 3D-Kamera und eine optische 2D-Kamera. Ferner umfasst das Sensorsystem eine Vorrichtung zum Bestimmen einer Fehlfunktion wie hierin beschrieben. Das Sensorsystem umfasst zusätzlich eine Vorrichtung zum Fusionieren von Bildern der 3D-Kamera und der 2D-Kamera. Die Vorrichtung zum Fusionieren von Bildern der 3D-Kamera und der 2D-Kamera umfasst eine erste Eingangsschnittstelle, die ausgebildet ist, um ein 3D-Bild der Szene von der 3D-Kamera zu empfangen, und eine zweite Eingangsschnittstelle, die ausgebildet ist, um das optische 2D-Bild der Szene von der 2D-Kamera zu empfangen. Zusätzlich umfasst die Vorrichtung zum Fusionieren von Bildern der 3D-Kamera und der 2D-Kamera eine Verarbeitungsschaltung, die ausgebildet ist, um das 3D-Bild und das optische 2D-Bild zu einem kombinierten Bild der Szene zu fusionieren.
Figurenliste
Nachfolgend werden einige Beispiele von Vorrichtungen und/oder Verfahren ausschließlich beispielhaft und Bezug nehmend auf die beiliegenden Figuren beschrieben, in denen gilt:

1 stellt ein Flussdiagramm eines Beispiels eines Verfahrens zum Bestimmen einer Fehlfunktion dar;
2 stellt ein Beispiel eines Sensorsystems dar;
3 stellt ein Beispiel eines 2D-Luminanzbildes dar;
4 stellt ein anderes Beispiel eines Sensorsystems dar;
5 stellt ein Beispiel eines 1D-Luminanzbildes dar; und
6 stellt ein weiteres Beispiel eines Sensorsystems dar.

Detaillierte Beschreibung
Verschiedene Beispiele werden nun ausführlicher Bezug nehmend auf die beiliegenden Zeichnungen beschrieben, in denen einige Beispiele dargestellt sind. In den Figuren können die Stärken von Linien, Schichten und/oder Regionen der Klarheit halber übertrieben sein.
Während sich weitere Beispiele für verschiedene Modifikationen und alternative Formen eignen, sind dementsprechend einige bestimmte Beispiele derselben in den Figuren gezeigt und werden nachfolgend ausführlich beschrieben. Allerdings beschränkt diese detaillierte Beschreibung weitere Beispiele nicht auf die beschriebenen bestimmten Formen. Weitere Beispiele können alle Modifikationen, Entsprechungen und Alternativen abdecken, die in den Schutzbereich der Offenbarung fallen. Gleiche oder ähnliche Bezugszeichen beziehen sich in der gesamten Beschreibung der Figuren auf gleiche oder ähnliche Elemente, die bei einem Vergleich miteinander identisch oder in modifizierter Form implementiert sein können, während sie die gleiche oder eine ähnliche Funktion bereitstellen.
Es versteht sich, dass, wenn ein Element als mit einem anderen Element „verbunden“ oder „gekoppelt“ bezeichnet wird, die Elemente direkt, oder über ein oder mehrere Zwischenelemente verbunden oder gekoppelt sein können. Wenn zwei Elemente A und B unter Verwendung eines „oder“ kombiniert werden, ist dies so zu verstehen, dass alle möglichen Kombinationen offenbart sind, d. h. nur A, nur B sowie A und B, sofern nicht explizit oder implizit anders definiert. Eine alternative Formulierung für die gleichen Kombinationen ist „zumindest eines von A und B“ oder „A und/oder B“. Das Gleiche gilt, mutatis mutandis, für Kombinationen von mehr als zwei Elementen.
Die Terminologie, die hierin zu dem Zweck des Beschreibens bestimmter Beispiele verwendet wird, soll nicht begrenzend für weitere Beispiele sein. Wenn eine Singularform, z. B. „ein, eine“ und „der, die, das“ verwendet wird und die Verwendung nur eines einzelnen Elements weder explizit noch implizit als verpflichtend definiert ist, können weitere Beispiele auch Pluralelemente verwenden, um die gleiche Funktionalität zu implementieren. Ebenso, wenn eine Funktion nachfolgend als unter Verwendung mehrerer Elemente implementiert beschrieben ist, können weitere Beispiele die gleiche Funktion unter Verwendung eines einzelnen Elements oder einer einzelnen Verarbeitungsentität implementieren. Es versteht sich ferner, dass die Ausdrücke „umfasst“, „umfassend“, „weist auf‟ und/oder „aufweisend“ bei Verwendung die Anwesenheit der angegebenen Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Handlungen, Elemente und/oder Komponenten spezifizieren, aber nicht die Anwesenheit oder Hinzufügung eines/einer oder mehrerer Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Handlungen, Elemente, Komponenten und/oder einer beliebigen Gruppe davon ausschließen.
Sofern nicht anderweitig definiert, werden alle Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) hier in ihrer üblichen Bedeutung auf dem Gebiet verwendet, zu dem die Beispiele gehören.
1 stellt ein Beispiel eines Verfahrens 100 zum Bestimmen einer Fehlfunktion in einem Sensorsystem dar, das eine ToF-basierte 3D-Kamera (Bildsensor) und eine optische 2D-Kamera (Bildsensor) umfasst. Die ToF-basierte 3D-Kamera ist eine Kamera, die das ToF-Prinzip verwendet, um 3D-Bilddaten zu erzeugen, wie z.B. eine LiDAR-Kamera (Sensor). Die optische 2D-Kamera ist eine Kamera, die Licht des sichtbaren Spektrums erfasst, um 2D-Bilddaten (z.B. ein Standbild oder bewegte Bilder) zu erzeugen. Es ist zu beachten, dass das Sensorsystem zusätzlich zu der 3D-Kamera und der 2D-Kamera optional weitere Sensoren wie z.B. einen Radarsensor umfassen kann.
Die 3D-Kamera umfasst ein Beleuchtungselement zur Beleuchtung der Szene mit moduliertem Licht (z.B. Infrarotlicht). Das Beleuchtungselement erzeugt das modulierte Licht basierend auf einem (elektrischen) modulierten Radiofrequenzsignal, wie z.B. einem modulierten Dauerstrich-Signal (continuous wave modulated signal) (z.B. durch Steuern einer oder mehrerer lichtemittierender Dioden, LEDs, oder einer oder mehrerer Laserdioden basierend auf dem modulierten Signal). Ein Objekt in der Szene, das durch das modulierte Licht beleuchtet wird, reflektiert zumindest einen Teil des modulierten Lichts zurück zu einem lichterfassenden Element (z.B. umfassend Optik, einen Bildsensor und Treiberelektronik) der ToF-Kamera. Anders ausgedrückt, das lichterfassende Element empfängt das von dem Objekt reflektierte Licht (zusammen mit Hintergrundlicht von der Szene).
Der Bildsensor des lichterfassenden Elements ist verpixelt und jedes Pixel misst einen Bruchteil des reflektierten Lichts. Das heißt, der Bildsensor umfasst ein oder mehrere photosensitive Elemente zum Messen des einfallenden Lichts. Beispielsweise kann der Bildsensor ein einzelnes photosensitives Element, ein 1D-Pixel-Array von photosensitiven Elementen oder ein 2D-Pixel-Array von photosensitiven Elementen umfassen. Anders ausgedrückt, das eine oder die mehreren lichtempfindlichen Sensorelemente können entlang von einer oder zwei unterschiedlichen (z. B. orthogonalen) räumlichen Richtungen angeordnet sein. Dementsprechend werden ein oder mehrere (elektrische) Messsignale basierend auf dem von der Szene empfangenen Licht erzeugt. Beispielsweise kann ein lichtempfindliches Sensorelement eine Photodiode, eine Lawinen-Photodiode (APD; Avalanche Photo Diode), eine Einzelnes-Photon-Lawinendiode (SPAD; Single Photon Avalanche Diode) oder ein Array von SPADs als Silizium-Photomultiplier (SiPM; Silicon PhotoMultipliers) sein.
Die Distanz des Objekts zu der 3D-Kamera wird basierend auf der ToF des emittierten Lichts berechnet. Die Position des Objekts relativ zu der 3D-Kamera wird durch den Emissionswinkel des emittierten Lichts und optional durch den Blickwinkel des einen oder der mehreren photosensitiven Elemente bestimmt. Dementsprechend kann die 3D-Kamera 3D-Bilddaten einer Szene ausgeben.
Die 2D-Kamera umfasst ein optisches System, um einfallendes Licht auf einen Bildsensor, der verpixelt ist, zu fokussieren. Das heißt, der Bildsensor der 2D-Kamera umfasst photosensitive Elemente zum Messen des einfallenden Lichts. Die photosensitiven Elemente können beispielsweise ladungsgekoppelte Bauelemente (CCD; Charge-Coupled Devices) oder ein Aktiv-Pixel-Sensor in komplementärer Metalloxid-Halbleiter- (CMOS-; Complementary Metal-Oxide-Semiconductor) Technologie sein. Ein Verschlussmechanismus steuert die Zeitlänge, in der das Licht in die 2D-Kamera eintreten kann. Dementsprechend kann die 2D-Kamera 2D-Bilddaten einer Szene ausgeben.
Die 3D-Kamera sowie die 2D-Kamera können unter einer Vielzahl von Hardware-Fehlern leiden, die eine Fehlfunktion der Kamera verursachen. Zum Beispiel können Hindernisse und/oder Schmutz in einem optischen Lichtweg der Kamera vorhanden sein. Kondensierte Feuchtigkeit kann an einer Abdeckung (Glas) vorhanden sein, durch die Licht aus der Kamera austritt bzw. in die Kamera eintritt. Ferner kann die Abdeckung (Glas) gebrochen sein. Das/die lichtempfindliche(n) Sensorelement(e), d.h. der/die Lichtdetektor(en) der Kamera können sich verschlechtern (z.B. eine oder mehrere APDs der 3D-Kamera können sich verschlechtern). Die beabsichtigte Ausrichtung der 2D-Kamera und der 3D-Kamera in Hinblick zueinander kann im Laufe der Zeit driften. Anders ausgedrückt, die 2D-Kamera und die 3D-Kamera können in Hinblick zueinander fehlausgerichtet sein. Ferner können ein oder mehrere interne Fehlerkompensationsmechanismen der Kamera (z.B. Gleichstromkompensation) im Laufe der Zeit driften. Außerdem kann ein Reihen- und/oder Spaltendecodierer der Kamera ausfallen. Es ist zu beachten, dass die obige Liste potenzieller Hardware-Fehler beispielhaft und nicht einschränkend ist. Ähnlich können die 3D-Kamera sowie die 2D-Kamera unter einem oder mehreren anderen Hardware-Fehlern leiden, die in der obigen Liste nicht umfasst sind.
Die oben aufgeführten Hardware-Fehler können fehlerhafte 3D-Bilddaten der 3D-Kamera und/oder fehlerhafte 2D-Bilddaten der 2D-Kamera verursachen. Wenn die 3D-Bilddaten der 3D-Kamera und die 2D-Bilddaten der 2D-Kamera kombiniert (fusioniert) werden, können die oben aufgeführten Fehler ferner fehlerhafte Kombinations- (Fusions-) Ergebnisse verursachen. Fehlerhafte 3D-Bilddaten der 3D-Kamera und/oder fehlerhafte 2D-Bilddaten der 2D-Kamera können die Sicherheit einer Entität, die das Sensorsystem verwendet, verringern. Wenn z.B. ein Fahrzeug die 3D-Kamera und die 2D-Kamera (optional in Kombination mit anderen Sensoren) verwendet, um seine Umgebung abzutasten, können fehlerhafte 3D-Bilddaten der 3D-Kamera oder 2D-Bilddaten der 2D-Kamera zu einer fehlerhaften Wahrnehmung der Umgebung durch das Fahrzeug führen. Das Verfahren 100 kann es ermöglichen, eine Fehlfunktion der 3D-Kamera und der 2D-Kamera zu detektieren derart, dass die Verwendung von fehlerhaften 3D-Bilddaten der 3D-Kamera und/oder fehlerhaften 2D-Bilddaten der 2D-Kamera vermieden werden kann.
Das Verfahren 100 umfasst das Empfangen 102 eines 1D- oder 2D-Luminanzbildes der Szene von der ToF-basierten 3D-Kamera. Das Luminanzbild umfasst ein oder mehrere Pixel, die Intensitäten des Hintergrundlichts, das durch den Bildsensor der 3D-Kamera empfangen wird, darstellen. Das Hintergrundlicht ist das Umgebungslicht, das durch den Bildsensor der 3D-Kamera von der erfassten Szene empfangen wird. Das heißt, das eine oder die mehreren Pixel des Luminanzbildes zeigen die Lichtmenge an, die von der Szene innerhalb eines gegebenen Raumwinkels für das jeweilige Pixel empfangen wird. Anders ausgedrückt, das eine oder die mehreren Pixel des Luminanzbildes stellen Helligkeitsinformationen für die Szene dar. Das Luminanzbild kann ein 1D- oder 2D-Bild sein, abhängig von der Struktur des Bildsensors der 3D-Kamera. Wenn der Bildsensor beispielsweise ein einzelnes photosensitives Element oder ein 1D-Pixel-Array von photosensitiven Elementen ist, kann das Luminanzbild der Szene ein 1D-Bild sein. Alternativ kann das Luminanzbild der Szene, wenn der Bildsensor ein 2D-Pixel-Array von photosensitiven Elementen ist, ein 2D-Bild sein.
Das Verfahren 100 umfasst ferner das Empfangen 104 eines optischen 2D-Bildes der Szene von der optischen 2D-Kamera. Das optische 2D-Bild ist ein 2D-Bild, das eine Mehrzahl von Pixeln umfasst, die (z.B. nur) Farbe und/oder Luminanz des Lichts des sichtbaren Spektrums, das durch den Bildsensor der 2D-Kamera empfangen wird, repräsentieren. Bei einigen Beispielen kann das optische 2D-Bild der 2D-Kamera ein Luminanzbild sein.
Zusätzlich umfasst das Verfahren 100 das Vergleichen 106 des Luminanzbildes mit dem optischen Bild. Beispielsweise kann das gesamte Luminanzbild mit dem gesamten oder einem Teil des optischen Bildes verglichen werden. Bei anderen Beispielen kann ein Teil des Luminanzbildes mit dem gesamten oder einem Teil des optischen Bildes verglichen werden. Beim Vergleichen des Luminanzbildes mit dem optischen Bild können eine oder mehrere Eigenschaften der 2D-Kamera und der 3D-Kamera berücksichtigt werden, um einen korrekten Vergleich zu ermöglichen. Zum Beispiel können unterschiedliche Auflösungen des Luminanzbildes und des optischen Bildes, beabsichtigte Sichtfelder (FoVs; Fields of View) der 2D-Kamera und der 3D-Kamera, und/oder eine beabsichtigte Ausrichtung der 2D-Kamera und der 3D-Kamera in Hinblick zueinander beim Vergleichen 106 des Luminanzbildes mit dem optischen Bild berücksichtigt werden.
Wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt, umfasst das Verfahren 100 zusätzlich das Bestimmen 108 einer Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera. Wenn das Luminanzbild mit dem optischen Bild übereinstimmt, kann das Verfahren 100 das Bestimmen 110 einer ordnungsgemäßen Funktion der 3D-Kamera und der 2D-Kamera umfassen. Ein „Abgleich“ („Matching“), wie es in der vorliegenden Offenbarung verwendet wird, bedeutet, dass Teile des Luminanzbildes und des optischen Bildes, die den gleichen Ausschnitt der Szene darstellen sollen, äquivalente Informationen über die Szene repräsentieren. Das heißt, die Luminanz, die durch einen Teil des Luminanzbildes repräsentiert wird, das einen gegebenen Ausschnitt der Szene darstellt, ist äquivalent zu oder entspricht der Luminanz, die durch einen Teil des optischen Bildes repräsentiert wird, das denselben Ausschnitt der Szene darstellt. Wenn die Luminanzinformation in beiden Bildern nicht äquivalent ist, stimmt das Luminanzbild nicht mit dem optischen Bild überein. „Äquivalente“ oder „entsprechende“ Luminanz, wie in der vorliegenden Offenbarung verwendet, bedeutet, dass die Luminanz, die durch entsprechende Teile des Luminanzbildes und des optischen Bildes repräsentiert wird, (im Wesentlichen) identisch/ähnlich ist oder dass die skalierte Luminanz, die durch eines der Bilder repräsentiert wird, (im Wesentlichen) identisch/ähnlich zu der Luminanz ist, die durch das andere der Bilder repräsentiert wird. Die Skalierung kann verwendet werden, um unterschiedliche Eigenschaften der 3D-Kamera und der 2D-Kamera (z.B. Struktur, Ausrichtung, Belichtungszeit, etc.) auszugleichen.
Beispielsweise kann das Vergleichen 106 des Luminanzbildes mit dem optischen Bild das Auswählen einer ersten Region des Luminanzbildes und einer zweiten Region des optischen Bildes umfassen. Beim Auswählen der ersten Region und der zweiten Region wird davon ausgegangen, dass die erste Region und die zweite Region den gleichen Ausschnitt der Szene darstellen. Anders ausgedrückt, die erste Region des Luminanzbildes und die zweite Region des optischen Bildes sollen den gleichen Ausschnitt der Szene darstellen. Ferner kann das Vergleichen 106 des Luminanzbildes mit dem optischen Bild das Bestimmen einer ersten Luminanz der ersten Region und Bestimmen einer zweiten Luminanz der zweiten Region umfassen. Die erste Luminanz wird mit der zweiten Luminanz verglichen. Wenn die erste Luminanz nicht der zweiten Luminanz entspricht (z.B., wenn die erste Luminanz oder die skalierte erste Luminanz nicht gleich der zweiten Luminanz ist), wird bestimmt, dass das Luminanzbild nicht mit dem optischen Bild übereinstimmt. Unter Berücksichtigung der Tatsache, dass herkömmliche optische 2D-Kameras eine höhere Auflösung als ToF-basierte 3D-Kameras bereitstellen, kann die zweite Region mehr Pixel als die erste Region umfassen.
Eine Fehlfunktion der 3D-Kamera führt zu einem fehlerhaften Luminanzbild, während eine Fehlfunktion der 2D-Kamera zu einem fehlerhaften optischen Bild führt. Dementsprechend stimmen das Luminanzbild und das optische Bild nicht überein, wenn eines der Bilder aufgrund einer Fehlfunktion der jeweiligen Kamera fehlerhaft ist. Das Vergleichen 106 des Luminanzbildes mit dem optischen Bild kann es daher ermöglichen, Fehler der 3D-Kamera oder der 2D-Kamera zu detektieren. Das Verfahren 100 kann z.B. ermöglichen, Fehler in der Optik, den Pixeln, den Decodierern und/oder anderen Elementen der Umwandlung von optischzu-elektrisch in der 3D-Kamera und der 2D-Kamera zu detektieren. In ähnlicher Weise können Fehler im mechanischen Aufbau der Kameras, wie z.B. Ausrichtungsfehler, Neigungs- oder Schärfeprobleme, durch das Verfahren 100 detektiert werden. Irgendeine schnelle Veränderung oder langsame Verschlechterung der relevanten Parameter kann durch das vorgeschlagene Verfahren detektiert werden. Im Allgemeinen kann das Verfahren 100 als eine vielfältige Technik verstanden werden, die es ermöglicht, die optische-zu-elektrische Umwandlung einer 3D-Kamera oder den optischen Pfad der 3D-Kamera unter Verwendung einer 2D-Kamera und umgekehrt kontinuierlich zu überprüfen.
Wenn eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera bestimmt wird, kann das Verfahren 100 ferner das Ausgeben eines Fehlersignals umfassen, das eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera anzeigt. Beispielsweise kann das Fehlersignal durch eine Entität/ein System unter Verwendung der 3D-Bilddaten der 3D-Kamera und/oder der 2D-Bilddaten der 2D-Kamera ausgewertet werden, um zu bestimmen, ob die Daten der 3D-Kamera und/oder der 2D-Kamera zuverlässig/fehlerfrei sind, d.h. bestimmen, ob die Daten der 3D-Kamera und/oder der 2D-Kamera durch die Entität weiterverarbeitet werden sollen. Eine Entität, die die Daten der 3D-Kamera und/oder der 2D-Kamera (optional mit Daten von weiteren Sensoren) kombiniert (fusioniert), kann zum Beispiel entscheiden, die Daten der 3D-Kamera oder der 2D-Kamera nicht zu verwenden, wenn das Fehlersignal eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera anzeigt. Bei anderen Beispielen kann über eine Mensch-Maschine-Schnittstelle (HMI; Human-Machine Interface) eine Warnung an einen Benutzer ausgegeben werden (z.B. kann eine Warnleuchte aktiviert oder ein Warnton ausgegeben werden), wenn das Fehlersignal eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera anzeigt.
Herkömmliche optische 2D-Kameras stellen eine höhere Auflösung als ToF-basierte 3D-Kameras bereit. Dementsprechend kann die Auflösung des optischen Bildes höher sein als die Auflösung des Luminanzbildes. Eine Berücksichtigung der unterschiedlichen Auflösungen des optischen Bildes und des Luminanzbildes kann ferner ermöglichen zu identifizieren, welche der 3D-Kamera und der 2D-Kamera nicht funktioniert (fehlerhaft ist). Aufgrund der unterschiedlichen Auflösungen der 2D-Kamera und der 3D-Kamera wird der gleiche Ausschnitt der Szene in dem optischen Bild durch eine größere Anzahl von Pixeln repräsentiert als in dem Luminanzbild. Wenn eine Mehrzahl von Pixeln in dem optischen Bild, die ein gegebenes Objekt in der Szene darstellen, eine bestimmte Luminanz repräsentieren und wenn weniger Pixel in dem Luminanzbild, die dasselbe Objekt darstellen sollen, eine Luminanz repräsentieren, die nicht der Luminanz entspricht, die durch die Mehrzahl von Pixeln in dem optischen Bild repräsentiert wird, kann man davon ausgehen, dass die 3D-Kamera eine Fehlfunktion aufweist, da es wahrscheinlicher ist, dass die wenigen Pixel in dem Luminanzbild fehlerhaft sind als die vielen Pixel des optischen Bildes. Wenn andererseits die Luminanz zwischen einer Mehrzahl von Pixeln in dem optischen Bild variiert, die ein gegebenes Objekt in der Szene darstellen, und wenn weniger Pixel in dem Luminanzbild, die dasselbe Objekt darstellen sollen, eine ähnliche Luminanz repräsentieren, kann man davon ausgehen, dass die 2D-Kamera aufgrund der Luminanzschwankung eine Fehlfunktion aufweist.
Im Folgenden werden zwei beispielhafte Sensorsysteme unter Verwendung von LiDAR-Kameras als 3D-Kameras anhand der 2 bis 5 beschrieben. Die vorgeschlagene Fehlfunktionsbestimmung wird verwendet, um die Funktionalität der LiDAR-Kamera zu überprüfen.
2 stellt ein Sensorsystem 200 dar, umfassend eine LiDAR-Kamera 210 als ein Beispiel für eine ToF-basierte 3D-Kamera, eine optische 2D-Kamera 220 und eine integrierte Schaltung 230 zur Signalverarbeitung und Gesamtsteuerung des Sensorsystems 200. Bei dem Beispiel von 2 ist die integrierte Schaltung 230 eine anwendungsspezifische integrierte Schaltung (ASIC = Application Specific Integrated Circuit). Es wird jedoch darauf hingewiesen, dass die integrierte Schaltung 230 nicht auf diese spezifische Implementierung eingeschränkt ist.
Die LiDAR-Kamera 210 umfasst eine Laserlinienquelle 211 und einen oszillierenden Spiegel 212 (z.B. implementiert in der mikroelektromechanische-Systeme-, MEMS- (MicroElectro-Mechanical Systems-) Technologie), um linienförmige Laserpulse in die Umgebung zu emittieren zum Abtasten der Umgebung mit Hilfe des optischen Stimulus. Wie in 2 angezeigt ist, ermöglicht die oszillierende Bewegung des oszillierenden Spiegels 212 eine horizontale Abtastung der Umgebung. Das reflektierte Licht wird durch eine Empfängeroptik 213 auf einen 2D-Bildsensor 214 projiziert, der ein 2D-Pixel-Array von APDs (z.B. umfassend m*n APD-Pixel) umfasst. Das 2D-Pixel-Array von APDs wandelt das von der Umgebung empfangene optische Signal (Reflexionen von Laserlicht + Hintergrundlicht) in elektrische Signale um. Ein Decodierer 215 wird verwendet, um das 2D-Pixel-Array von APDs spaltenweise auszulesen. Der Decodiererbetrieb wird durch die integrierte Schaltung 230 gesteuert. Die von den individuellen APDs ausgelesenen elektrischen Signale werden in Zeilenpuffern 216 gepuffert und mit Hilfe eines analogen Multiplexers 217 an einen Empfängerchip 219 übertragen. Das 2D-Pixel-Array von APDs ist auf einem APD-Chip 218 zusammen mit dem Decodierer 215, den Zeilenpuffern 216 und dem analogen Multiplexer 217 implementiert. Die n Transimpedanzverstärker (TIAs; Transimpedance Amplifiers) 241 des Empfängerchips 219 für die n APDs pro Spalte verstärken und filtern die elektrischen Signale. Anschließend werden die gefilterten und verstärkten elektrischen Signale mit Hilfe des Analog-Digital-Wandlers (ADC; Analog-to-Digital Converter) 242 in digitale Signale umgewandelt. Die digitalen Signale stellen 3D-Bilddaten der Umgebung dar und werden an einen Bildprozessor 231 der integrierten Schaltung 230 geliefert.
Die Gleichströme der individuellen APD-Pixel sind proportional zu dem empfangenen Hintergrundlicht. Die Gleichströme werden über die TIAs 241 gemessen und mit Hilfe des ADC 242 in digitale Signale umgewandelt. Die digitalen Signale, die die Gleichströme repräsentieren, d.h. die digitalisierte Gleichstrominformation, wird als 2D-Luminanzbild an die integrierte Schaltung 230 kommuniziert. Ferner wird ein optisches 2D-Bild der Umgebung an die integrierte Schaltung 230 durch die optischen 2D-Kamera 220 bereitgestellt.
Durch Vergleichen des 2D-Luminanzbildes der 3D-LiDAR-Kamera 210 mit dem optischen 2D-Bild von der 2D-Kamera bestimmt der Bildprozessor 231, ob die LiDAR-Kamera 210 ordnungsgemäß funktioniert. Beispielsweise kann der vorgeschlagenen Bildabgleich (image matching) ermöglichen zu überprüfen, ob das 2D-Array von APDs ordnungsgemäß funktioniert. Wie oben beschrieben wird, kann die integrierte Schaltung 230, wenn das 2D-Luminanzbild der 3D-LiDAR-Kamera 210 nicht mit dem optischen 2D-Bild von der 2D-Kamera übereinstimmt, eine Fehlfunktion der LiDAR-Kamera 210 bestimmen.
Ein beispielhaftes 2D-Luminanzbild 300 eines FoV, das durch die LiDAR-Kamera 210 gesehen wird, ist in 3 dargestellt. Die in 3 dargestellte Szene ist eine Straße bei Nacht. Auf dem Luminanzbild 300 sind die Scheinwerfer von drei herannahenden Autos sowie die Fahrbahnmarkierung sichtbar. Beispielsweise kann die Luminanz von einem oder mehreren Pixeln, die einen der Scheinwerfer oder eine der Fahrbahnmarkierungen darstellen, mit der Luminanz der Pixel in dem optischen Bild verglichen werden, die gemäß den obigen Erläuterungen dasselbe Objekt der Szene darstellen sollen.
4 stellt ein anderes Sensorsystem 400 dar, das dem oben beschriebenen Sensorsystem 200 ähnlich ist. Im Gegensatz zum Sensorsystem 200 verwendet die LiDAR-Kamera 410 des Sensorsystems 400 anstelle des 2D-Bildsensors 214 einen ID-Bildsensor 414, der ein 1D-Pixel-Array von APDs umfasst. Daher kann der Decodierer 215 bei der LiDAR-Kamera 410 im Vergleich zu der LiDAR-Kamera 210 weggelassen werden. Bei dem Beispiel von 4 sammelt ein APD-Pixel das Hintergrundlicht des gesamten horizontalen Feldes, jedoch nur über einen kleinen vertikalen Winkel.
Die elektrischen Signale der APDs werden durch Zeilenpuffer 216 ausgelesen, ähnlich wie oben für das Sensorsystem 200 beschrieben. Die Signalverarbeitung und die Fehlfunktionsdetektion erfolgt äquivalent zu dem, was oben für das Sensorsystem 200 beschrieben ist.
Ein beispielhaftes 1D-Luminanzbild 500 derselben Szene, wie in 3 dargestellt, ist in 5 dargestellt. Die n vertikalen Linien des Luminanzbildes 500 repräsentieren die Luminanzintensitäten, die durch die n APD-Pixel der LiDAR-Kamera 410 gemessen werden. Wenn man das 1D-Luminanzbild 500 mit dem 2D-Luminanzbild 300 vergleicht, kann man erkennen, dass die drei hohen Luminanzintensitäten 510, 520 und 530 in dem 1D-Luminanzbild 500 die Scheinwerfer der drei herannahenden Autos (und die Fahrbahnmarkierung) darstellen, während die anderen niedrigen Luminanzintensitäten nur die Fahrbahnmarkierung darstellen. Ähnlich wie in Verbindung mit dem 2D-Luminanzbild 300 beschrieben, kann die Luminanz eines Pixels des 1D-Luminanzbildes 500, das einen der Scheinwerfer (oder eine der Fahrbahnmarkierungen) darstellt, mit der Luminanz der Pixel in dem optischen Bild verglichen werden, die dasselbe Objekt der Szene darstellen sollen, um eine Fehlfunktion der LiDAR-Kamera 410 zu bestimmen.
Das heißt, ungeachtet dessen, ob das Luminanzbild ein 1D-Bild oder ein 2D-Bild ist, können relevante Merkmale für einen Vergleich mit dem 2D-Bild der 2D-Kamera extrahiert werden.
Fasst man die oben in Verbindung mit 2 bis 5 beschriebenen Beispiele zusammen, kann das vorgeschlagene Verfahren das Messen eines Gleichstroms des zumindest einen photosensitiven Elements der 3D-Kamera, um zumindest einen Messwert für den Gleichstrom des zumindest einen photosensitiven Elements zu erhalten, und Erzeugen des Luminanzbildes basierend auf dem zumindest einen Messwert umfassen.
Bei alternativen Beispielen kann statt eines Stroms eine Spannung des/der photosensitiven Elements/Elemente gemessen werden. Abhängig von der Implementierung des/der photosensitiven Elements/Elemente der 3D-Kamera kann eine Spannung des/der photosensitiven Elements/Elemente die Intensität des empfangenen Hintergrundlichts für das jeweilige photosensitive Element anzeigen. Daher kann das vorgeschlagene Verfahren alternativ das Messen einer Spannung des zumindest einen photosensitiven Elements der 3D-Kamera (z.B. einer Gleichspannung), um zumindest einen Messwert für die Spannung des zumindest einen photosensitiven Elements zu erhalten, und Erzeugen des Luminanzbildes basierend auf dem zumindest einen Messwert umfassen.
Wie oben beschrieben, kann der zumindest eine Messwert für den Strom oder die Spannung des zumindest einen photosensitiven Elements ein analoger Messwert sein. Das vorgeschlagene Verfahren kann dann ferner das Erzeugen zumindest eines digitalen Messwerts basierend auf dem zumindest einen analogen Messwert umfassen, wobei das Luminanzbild basierend auf dem zumindest einen digitalen Messwert erzeugt wird.
Durch Bereitstellen des durch einen 3D-Lichtsensor erzeugten Hintergrundlicht-(Luminanz-) Bildes und dessen Vergleich mit dem durch eine 2D-Kamera erzeugten Bild kann eine Detektion von Fehlern in dem optischen Pfad und in den Licht-zu-elektrischen-Signal-Wandlern (Pixel) ermöglicht werden.
6 stellt ein anderes Sensorsystem 600 dar. Das Sensorsystem 600 umfasst eine ToF-basierte 3D-Kamera 610 und eine optische 2D-Kamera 620. Ferner umfasst das Sensorsystem 600 eine integrierte Schaltung 630, die die Kameras steuert und die Funktionalität einer Vorrichtung 640 zum Bestimmen einer Fehlfunktion wie vorgeschlagen sowie die Funktionalität einer Vorrichtung 650 zum Fusionieren von Bildern der 3D-Kamera 610 und der 2D-Kamera 620 implementiert. Zum Beispiel kann die integrierte Schaltung 630 ein einzelner dedizierter Prozessor, ein einzelner gemeinschaftlich verwendeter Prozessor oder eine Mehrzahl von individuellen Prozessoren sein, von denen einige oder alle gemeinschaftlich verwendet werden können, eine digitaler-Signalprozessor- (DSP-) Hardware, ein ASIC oder ein feldprogrammierbares Gate-Array (FPGA; Field Programmable Gate Array). Die integrierte Schaltung 630 kann optional gekoppelt werden, z.B. mit einem Nur-Lese-Speicher (ROM; read only memory) zur Speicherung von Software, einem Direktzugriffsspeicher (RAM; random access memory) und/oder einem nichtflüchtigen Speicher. Das Sensorsystem 600 kann ferner andere Hardware umfassen - konventionelle und/oder kundenspezifische (z.B. einen anderen Sensor wie z.B. einen Radarsensor).
Die integrierte Schaltung 630 steuert den Betrieb der 3D-Kamera 610 und der 2D-Kamera 620 anhand von jeweiligen (z.B. bidirektionalen) Steuersignalen 631 und 632. Wie in 6 angezeigt, können die Bildsensoren 611, 621 der 3D-Kamera 610 und der 2D-Kamera 620 einen jeweiligen 2D-Pixel-Array von photosensitiven Elementen umfassen. Es ist jedoch zu beachten, dass das 2D-Pixel-Array von photosensitiven Elementen 611 des Bildsensors 611 lediglich beispielhaft ist und dass der Bildsensor 611 alternativ ein einzelnes photosensitives Element oder ein 1D-Pixel-Array von photosensitiven Elementen umfassen kann.
Die Vorrichtung 640 zum Bestimmen einer Fehlfunktion umfasst eine erste Eingangsschnittstelle 641, die ausgebildet ist, um Eingangsdaten, die ein 2D- (oder alternativ ein 1D-) Luminanzbild einer Szene darstellen, von der 3D-Kamera 610 zu empfangen. Wie vorangehend detailliert beschrieben wurde, umfasst das Luminanzbild ein oder mehrere Pixel, die Intensitäten des Hintergrundlichts, das durch den Bildsensor 611 der 3D-Kamera 610 empfangen wird, darstellen. Die Vorrichtung 640 zum Bestimmen einer Fehlfunktion umfasst ferner eine zweite Eingangsschnittstelle 643, die ausgebildet ist, um Eingangsdaten, die ein optisches 2D-Bild der Szene darstellen, von der 2D-Kamera 620 zu empfangen. Zusätzlich umfasst die Vorrichtung 640 zum Bestimmen einer Fehlfunktion eine Verarbeitungsschaltung 642, die ausgebildet ist, um das Luminanzbild mit dem optischen Bild zu vergleichen, und eine Fehlfunktion von einer der 3D-Kamera 610 und der 2D-Kamera 620 zu bestimmen, wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt.
Die Vorrichtung 650 zum Fusionieren von Bildern der 3D-Kamera 610 und der 2D-Kamera 620 umfasst eine erste Eingangsschnittstelle 651, die ausgebildet ist, um Eingangsdaten, die ein 3D-Bild der Szene darstellen, von der 3D-Kamera 610 zu empfangen. Die Vorrichtung 650 zum Fusionieren von Bildern der 3D-Kamera 610 und der 2D-Kamera 620 umfasst ferner eine zweite Eingangsschnittstelle 653, die ausgebildet ist, um Eingangsdaten, die das optische 2D-Bild der Szene darstellen, von der 2D-Kamera 620 zu empfangen. Zusätzlich umfasst die Vorrichtung 650 zum Fusionieren von Bildern der 3D-Kamera 610 und der 2D-Kamera 620 eine Verarbeitungsschaltung 652, die ausgebildet ist, um das 3D-Bild und das optische 2D-Bild zu einem kombinierten Bild der Szene zu fusionieren.
Das 2D-Bild der 2D-Kamera 620 (z.B. ein Luminanzbild) kann eine höchste Auflösung aufweisen, während das 3D-Bild der 3D-Kamera 610 eine geringere Auflösung aufweisen kann. Durch Vergleichen des 2D-Bildes der 2D-Kamera 620 und des 3D-Bildes der 3D-Kamera 610 (und optional weiterer Bilder, wie z.B. ein Distanzbild oder ein Geschwindigkeitsbild, das durch einen Radarsensor mit niedriger Auflösung bereitgestellt wird) und weitere Überprüfung der Bilder auf Gültigkeit kann ein 2D- oder 3D-Modell der Szene/Umgebung erzeugt werden.
Durch Erzeugen des 1D- oder 2D-Luminanzbildes von der ToF-basierten 3D-Kamera 610 und direktes Vergleichen desselben mit dem 2D- (z.B. Luminanz-) Bild der 2D-Kamera kann eine effiziente Fehlerdetektion ermöglicht werden. Dementsprechend kann funktionale Sicherheit für verschiedene Anwendungen (z.B. Automobilanwendungen) auf eine einfache und kostengünstige Weise erreicht werden. Anders ausgedrückt, das Sensorsystem 600 kann funktionale Sicherheit und Sensorfusion für eine ToF-basierte 3D-Kamera (z.B. eine LiDAR-Kamera) ermöglichen.
Die Beispiele, wie sie hierin beschrieben sind, können wie folgt zusammengefasst werden:

Einige Beispiele beziehen sich auf ein Verfahren zum Bestimmen einer Fehlfunktion. Das Verfahren umfasst das Empfangen eines 1D- oder 2D-Luminanzbildes einer Szene von einer ToF-basierten 3D-Kamera. Das Luminanzbild umfasst ein oder mehrere Pixel, die Intensitäten des Hintergrundlichts, das durch einen Bildsensor der 3D-Kamera empfangen wird, darstellen. Das Verfahren umfasst ferner das Empfangen eines optischen 2D-Bildes der Szene von einer optischen 2D-Kamera und das Vergleichen des Luminanzbildes mit dem optischen Bild. Wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt, umfasst das Verfahren zusätzlich das Bestimmen einer Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera.

Bei einigen Beispielen ist der Bildsensor ein einzelnes photosensitives Element oder ein 1D-Pixel-Array von photosensitiven Elementen, und wobei das Luminanzbild der Szene 1D ist.
Bei alternativen Beispielen ist der Bildsensor ein 2D-Pixel-Array von photosensitiven Elementen, und wobei das Luminanzbild der Szene 2D ist.
Gemäß einigen Beispielen ist eine Auflösung des optischen Bildes höher als eine Auflösung des Luminanzbildes.
Bei einigen Beispielen umfasst der Bildsensor zumindest ein photosensitives Element, und das Verfahren ferner umfassend: Messen eines Gleichstroms des zumindest einen photosensitiven Elements, um zumindest einen Messwert für den Gleichstrom des zumindest einen photosensitiven Elements zu erhalten; und Erzeugen des Luminanzbildes basierend auf dem zumindest einen Messwert.
Bei alternativen Beispielen umfasst der Bildsensor zumindest ein photosensitives Element, und das Verfahren ferner umfassend: Messen einer Spannung des zumindest einen photosensitiven Elements, um zumindest einen Messwert für die Spannung des zumindest einen photosensitiven Elements zu erhalten; und Erzeugen des Luminanzbildes basierend auf dem zumindest einen Messwert.
Gemäß einigen Beispielen ist der zumindest eine Messwert ein analoger Messwert, wobei das Verfahren ferner das Erzeugen zumindest eines digitalen Messwerts basierend auf dem zumindest einen analogen Messwert umfasst, und wobei das Luminanzbild basierend auf dem zumindest einen digitalen Messwert erzeugt wird.
Bei einigen Beispielen wird das Vergleichen des Luminanzbildes mit dem optischen Bild unter Berücksichtigung zumindest einer der folgenden Eigenschaften durchgeführt: unterschiedliche Auflösungen des Luminanzbildes und des optischen Bildes, beabsichtigte Sichtfelder der 2D-Kamera und der 3D-Kamera, und beabsichtigte Ausrichtung der 2D-Kamera und der 3D-Kamera in Hinblick zueinander.
Gemäß einigen Beispielen umfasst das Vergleichen des Luminanzbildes mit dem optischen Bild: Auswählen einer ersten Region des Luminanzbildes und einer zweiten Region des optischen Bildes, wobei davon ausgegangen wird, dass die erste Region und die zweite Region den gleichen Ausschnitt der Szene darstellen; Bestimmen einer ersten Luminanz der ersten Region; Bestimmen einer zweiten Luminanz der zweiten Region; Vergleichen der ersten Luminanz mit der zweiten Luminanz; und Bestimmen, dass das Luminanzbild nicht mit dem optischen Bild übereinstimmt, wenn die erste Luminanz nicht der zweiten Luminanz entspricht.
Bei einigen Beispielen umfasst die zweite Region mehr Pixel als die erste Region.
Gemäß einigen Beispielen umfasst das Verfahren ferner das Ausgeben eines Fehlersignals, das eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera anzeigt, wenn eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera bestimmt wird.
Andere Beispiele beziehen sich auf eine Vorrichtung zum Bestimmen einer Fehlfunktion. Die Vorrichtung umfasst eine erste Eingangsschnittstelle, die ausgebildet ist, um ein 1D- oder 2D-Luminanzbild einer Szene von einer ToF-basierten 3D-Kamera zu empfangen. Das Luminanzbild umfasst ein oder mehrere Pixel, die Intensitäten des Hintergrundlichts, das durch einen Bildsensor der 3D-Kamera empfangen wird, darstellen. Die Vorrichtung umfasst ferner eine zweite Eingangsschnittstelle, die ausgebildet ist, um ein optisches 2D-Bild der Szene von einer optischen 2D-Kamera zu empfangen. Zusätzlich umfasst die Vorrichtung eine Verarbeitungsschaltung, die ausgebildet ist, um das Luminanzbild mit dem optischen Bild zu vergleichen, und eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera zu bestimmen, wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt.
Weitere Beispiele beziehen sich auf ein Sensorsystem. Das Sensorsystem umfasst eine ToF-basierte 3D-Kamera und eine optische 2D-Kamera. Ferner umfasst das Sensorsystem eine Vorrichtung zum Bestimmen einer Fehlfunktion, wie hierin beschrieben. Das Sensorsystem umfasst zusätzlich eine Vorrichtung zum Fusionieren von Bildern der 3D-Kamera und der 2D-Kamera. Die Vorrichtung zum Fusionieren von Bildern der 3D-Kamera und der 2D-Kamera umfasst eine erste Eingangsschnittstelle, die ausgebildet ist, um ein 3D-Bild der Szene von der 3D-Kamera zu empfangen, und eine zweite Eingangsschnittstelle, die ausgebildet ist, um das optische 2D-Bild der Szene von der 2D-Kamera zu empfangen. Zusätzlich umfasst die Vorrichtung zum Fusionieren von Bildern der 3D-Kamera und der 2D-Kamera eine Verarbeitungsschaltung, die ausgebildet ist, um das 3D-Bild und das optische 2D-Bild zu einem kombinierten Bild der Szene zu fusionieren.
Wiederum weitere Beispiele beziehen sich auf eine andere Vorrichtung zum Bestimmen einer Fehlfunktion. Die Vorrichtung umfasst Mittel zum Empfangen eines 1D- oder 2D-Luminanzbildes einer Szene von einer ToF-basierten 3D-Kamera. Das Luminanzbild umfasst ein oder mehrere Pixel, die Intensitäten des Hintergrundlichts, das durch einen Bildsensor der 3D-Kamera empfangen wird, darstellen. Die Vorrichtung umfasst ferner Mittel zum Empfangen eines optischen 2D-Bildes der Szene von einer optischen 2D-Kamera. Zusätzlich umfasst die Vorrichtung Mittel zum Vergleichen des Luminanzbildes mit dem optischen Bild. Ferner umfasst die Vorrichtung Mittel zum Bestimmen einer Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera, wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt.
Beispiele beziehen sich auf ein nichtflüchtiges maschinenlesbares Medium, das gespeichert auf demselben ein Programm aufweist, das einen Programmcode zum Durchführen des Verfahrens zum Bestimmen einer Fehlfunktion wie hierin beschrieben aufweist, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardware ausgeführt wird.
Andere Beispiele beziehen sich auf ein Programm, das einen Programmcode zum Durchführen des Verfahrens zum Bestimmen einer Fehlfunktion wie hierin beschrieben aufweist, wenn das Programm auf einem Prozessor oder einer programmierbaren Hardware ausgeführt wird.
Beispiele gemäß dem vorgeschlagenen Konzept können es ermöglichen, zufällige Hardware-Fehler in der Umwandlung von Licht in elektrische Signale eines ToF-Systems oder einer optischen Kamera zu detektieren und zu steuern.
Die Beschreibung und Zeichnungen stellen nur die Grundsätze der Offenbarung dar. Weiterhin sollen alle hier aufgeführten Beispiele grundsätzlich ausdrücklich nur darstellenden Zwecken dienen, um den Leser bei dem Verständnis der Grundsätze der Offenbarung und der durch den (die) Erfinder beigetragenen Konzepte zur Weiterentwicklung der Technik zu unterstützen. Alle Aussagen hierin über Grundsätze, Aspekte und Beispiele der Offenbarung sowie konkrete Beispiele derselben sollen deren Entsprechungen umfassen.
Ein Blockdiagramm kann zum Beispiel ein Schaltbild hoher Ebene darstellen, das die Grundsätze der Offenbarung implementiert. Auf ähnliche Weise können ein Flussdiagramm, ein Ablaufdiagramm, ein Zustandsübergangsdiagramm, ein Pseudocode und dergleichen verschiedene Prozesse, Operationen oder Schritte repräsentieren, die zum Beispiel im Wesentlichen in computerlesbarem Medium dargestellt und so durch einen Computer oder Prozessor ausgeführt werden, ungeachtet dessen, ob ein solcher Computer oder Prozessor explizit gezeigt ist. In der Beschreibung oder in den Patentansprüchen offenbarte Verfahren können durch eine Vorrichtung implementiert werden, die ein Mittel zum Ausführen eines jeden der jeweiligen Schritte dieser Verfahren aufweist.
Es versteht sich, dass die Offenbarung mehrerer, in der Beschreibung oder den Ansprüchen offenbarter Handlungen, Prozesse, Operationen, Schritte oder Funktionen nicht als in der bestimmten Reihenfolge befindlich ausgelegt werden soll, sofern dies nicht explizit oder implizit anderweitig, z. B. aus technischen Gründen, angegeben ist. Daher werden diese durch die Offenbarung von mehreren Schritten oder Funktionen nicht auf eine bestimmte Reihenfolge begrenzt, es sei denn, dass diese Schritte oder Funktionen aus technischen Gründen nicht austauschbar sind. Ferner kann bei einigen Beispielen eine einzelne Handlung, Funktion, Prozess, Operation oder Schritt mehrere Teilhandlungen, -funktionen, -prozesse, -operationen oder -schritte einschließen und/oder in dieselben aufgebrochen werden. Solche Teilschritte können umfasst sein und Teil der Offenbarung dieses Einzelschritts sein, sofern sie nicht explizit ausgeschlossen sind.
Weiterhin sind die folgenden Ansprüche hiermit in die detaillierte Beschreibung aufgenommen, wo jeder Anspruch als getrenntes Beispiel für sich stehen kann. Während jeder Anspruch als getrenntes Beispiel für sich stehen kann, ist zu beachten, dass - obwohl ein abhängiger Anspruch sich in den Ansprüchen auf eine bestimmte Kombination mit einem oder mehreren anderen Ansprüchen beziehen kann - andere Beispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand jedes anderen abhängigen oder unabhängigen Anspruchs umfassen können. Solche Kombinationen werden hier explizit vorgeschlagen, sofern nicht angegeben ist, dass eine bestimmte Kombination nicht beabsichtigt ist. Ferner sollen auch Merkmale eines Anspruchs für jeden anderen unabhängigen Anspruch eingeschlossen sein, selbst wenn dieser Anspruch nicht direkt abhängig von dem unabhängigen Anspruch gemacht ist.

Claims

Ein Verfahren (100) zum Bestimmen einer Fehlfunktion, das Verfahren umfassend: Empfangen (102) eines 1D- oder 2D-Luminanzbildes einer Szene von einer Laufzeit-basierten 3D-Kamera, wobei das Luminanzbild ein oder mehrere Pixel umfasst, die Intensitäten des Hintergrundlichts, das durch einen Bildsensor der 3D-Kamera empfangen wird, darstellen; Empfangen (104) eines optischen 2D-Bildes der Szene von einer optischen 2D-Kamera; Vergleichen (106) des Luminanzbildes mit dem optischen Bild; und Bestimmen (108) einer Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera, wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt.
Das Verfahren gemäß Anspruch 1, wobei der Bildsensor ein einzelnes photosensitives Element oder ein 1D-Pixel-Array von photosensitiven Elementen ist, und wobei das Luminanzbild der Szene 1D ist.
Das Verfahren gemäß Anspruch 1, wobei der Bildsensor ein 2D-Pixel-Array von photosensitiven Elementen ist, und wobei das Luminanzbild der Szene 2D ist.
Das Verfahren gemäß einem der Ansprüche 1 bis 3, wobei eine Auflösung des optischen Bildes höher ist als eine Auflösung des Luminanzbildes.
Das Verfahren gemäß einem der Ansprüche 1 bis 4, wobei der Bildsensor zumindest ein photosensitives Element umfasst, und das Verfahren ferner umfassend: Messen eines Gleichstroms des zumindest einen photosensitiven Elements, um zumindest einen Messwert für den Gleichstrom des zumindest einen photosensitiven Elements zu erhalten; und Erzeugen des Luminanzbildes basierend auf dem zumindest einen Messwert.
Das Verfahren gemäß einem der Ansprüche 1 bis 4, wobei der Bildsensor zumindest ein photosensitives Element umfasst, und das Verfahren ferner umfassend: Messen einer Spannung des zumindest einen photosensitiven Elements, um zumindest einen Messwert für die Spannung des zumindest einen photosensitiven Elements zu erhalten; und Erzeugen des Luminanzbildes basierend auf dem zumindest einen Messwert.
Das Verfahren gemäß Anspruch 5 oder Anspruch 6, wobei der zumindest eine Messwert ein analoger Messwert ist, wobei das Verfahren ferner das Erzeugen zumindest eines digitalen Messwerts basierend auf dem zumindest einen analogen Messwert umfasst, und wobei das Luminanzbild basierend auf dem zumindest einen digitalen Messwert erzeugt wird.
Das Verfahren gemäß einem der Ansprüche 1 bis 7, wobei das Vergleichen (106) des Luminanzbildes mit dem optischen Bild unter Berücksichtigung zumindest einer der folgenden Eigenschaften durchgeführt wird: unterschiedliche Auflösungen des Luminanzbildes und des optischen Bildes, beabsichtigte Sichtfelder der 2D-Kamera und der 3D-Kamera, und beabsichtigte Ausrichtung der 2D-Kamera und der 3D-Kamera in Hinblick zueinander.
Das Verfahren gemäß einem der Ansprüche 1 bis 8, das Vergleichen (106) des Luminanzbildes mit dem optischen Bild umfassend: Auswählen einer ersten Region des Luminanzbildes und einer zweiten Region des optischen Bildes, wobei davon ausgegangen wird, dass die erste Region und die zweite Region den gleichen Ausschnitt der Szene darstellen; Bestimmen einer ersten Luminanz der ersten Region; Bestimmen einer zweiten Luminanz der zweiten Region; Vergleichen der ersten Luminanz mit der zweiten Luminanz; und Bestimmen, dass das Luminanzbild nicht mit dem optischen Bild übereinstimmt, wenn die erste Luminanz nicht der zweiten Luminanz entspricht.
Das Verfahren gemäß Anspruch 9, wobei die zweite Region mehr Pixel als die erste Region umfasst.
Das Verfahren gemäß einem der Ansprüche 1 bis 10, ferner umfassend das Ausgeben eines Fehlersignals, das eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera anzeigt, wenn eine Fehlfunktion von einer der 3D-Kamera und der 2D-Kamera bestimmt wird.
Eine Vorrichtung (640) zum Bestimmen einer Fehlfunktion, die Vorrichtung umfassend: eine erste Eingangsschnittstelle (641), die ausgebildet ist, um ein 1D- oder 2D-Luminanzbild einer Szene von einer Laufzeit-basierten 3D-Kamera (610) zu empfangen, wobei das Luminanzbild ein oder mehrere Pixel umfasst, die Intensitäten des Hintergrundlichts, das durch einen Bildsensor der 3D-Kamera (610) empfangen wird, darstellen; eine zweite Eingangsschnittstelle (643), die ausgebildet ist, um ein optisches 2D-Bild der Szene von einer optischen 2D-Kamera (620) zu empfangen; und eine Verarbeitungsschaltung (642), die ausgebildet ist zum: Vergleichen des Luminanzbildes mit dem optischen Bild; und Bestimmen einer Fehlfunktion von einer der 3D-Kamera (610) und der 2D-Kamera (620), wenn das Luminanzbild nicht mit dem optischen Bild übereinstimmt.
Ein Sensorsystem (600), umfassend: eine Laufzeit-basierte 3D-Kamera (610); eine optische 2D-Kamera (620); eine Vorrichtung (640) zum Bestimmen einer Fehlfunktion gemäß Anspruch 12; und eine Vorrichtung (650) zum Fusionieren von Bildern der 3D-Kamera (610) und der 2D-Kamera (620), die Vorrichtung (650) umfassend: eine erste Eingangsschnittstelle (651), die ausgebildet ist, um ein 3D-Bild der Szene von der 3D-Kamera (610) zu empfangen; eine zweite Eingangsschnittstelle (653), die ausgebildet ist, um das optische 2D-Bild der Szene von der 2D-Kamera (620) zu empfangen; und eine Verarbeitungsschaltung (652), die ausgebildet ist, um das 3D-Bild und das optische 2D-Bild zu einem kombinierten Bild der Szene zu fusionieren.