-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft im Allgemeinen das Inspizieren einer Fahrgastkabine eines autonomen Fahrzeugs auf vergessene Objekte und insbesondere die Bildverarbeitung zum Detektieren unerwarteter Objekte ohne teure oder komplizierte Ausrüstung.
-
ALLGEMEINER STAND DER TECHNIK
-
Es werden autonome Fahrzeuge verfügbar, die eine Reihe von Sensoren und Steuerlogiken beinhalten, die eine fahrerlose Navigation mit Identifizierung und Vermeidung von Hindernissen entlang einer Route ermöglichen. Eine Anwendung autonomer Fahrzeuge ist die Verwendung als Taxis, die einen Fahrgast bei Bedarf abholen können.
-
Fahrgäste lassen oft Gegenstände in Fahrzeugen zurück. Während dies in der Regel kein Problem ist, wenn ein Passagier einen Gegenstand in seinem eigenen Auto zurücklässt, kann das Zurücklassen eines Gegenstands in einem Ride-Sharing-Fahrzeug, einem Ride-Hailing-Fahrzeug oder einem Taxi unpraktisch sein. Das Problem wird durch autonome Fahrzeuge verschärft, da kein Fahrer bestätigen kann, dass ein vorheriger Fahrgast seine persönlichen Gegenstände mitgenommen hat, als der Fahrgast aus dem Fahrzeug ausgestiegen ist. Darüber hinaus kann sich in einem Szenario eines autonomen Taxis ein nachfolgender Fahrgast beschweren, wenn das autonome Fahrzeug mit Gegenständen übersät ist, die einem früheren Fahrgast gehören.
-
Eine Vielzahl von Objekten kann in einem Fahrzeug zurückgelassen werden (wie etwa Müll, Laptops, Rucksäcke, Geldbörsen und Mobiltelefone). Zum Detektieren derartiger Objekte können nach innen gewandte Kameras verwendet werden, um den Innenraum vor und nach der Benutzung des Fahrzeugs durch einen Fahrgast abzubilden. Bekannte Verfahren zur Objekterkennung unter Verwendung eines einzelnen Bilds können jedoch nicht ausreichend genau und zuverlässig sein, wie etwa wenn die Farbe/Reflektivität des Fahrzeuginnenraums und des vergessenen Objekts ähnlich sind. Zum Beispiel kann ein schwarzer Laptop auf einem schwarzen Ledersitz zurückgelassen werden. Es ist wahrscheinlich, dass die Objekterkennung mit einem einzelnen Bild den Laptop nicht erkennt. Um Objekte unter derartigen Umständen zu detektieren, wurden teurere Hardwarelösungen in Betracht gezogen, um die visuell ähnlichen Objekte zu detektieren, wie etwa Verwenden von mehreren überlappenden Kameraansichten oder Verwenden von Laufzeitkameras (time of flight -TOF-Kameras), um die subtilen Änderungen der 3D-Form zu detektieren. Während diese Lösungen technisch machbar sein können, würden sie teurere Hardware und/oder zusätzliche Hardware erfordern. Es wäre sehr wünschenswert, eine Objektdetektion unter Verwendung kostengünstiger Hardware mit wenigen hinzugefügten Komponenten, einschließlich Kameras oder Lichtquellen, für Bildgebungszwecke bereitzustellen (z. B. indem die Objektbeleuchtung auf Änderungen der Umgebungslichtbedingungen wie etwa der Richtung der Außenbeleuchtung beruht).
-
KURZDARSTELLUNG DER ERFINDUNG
-
In einem Aspekt der Erfindung detektiert ein autonomes Fahrzeug automatisch einen vergessenen Artikel, der von einem Benutzer zurückgelassen wird, der das Fahrzeug verlässt. Eine Kamera nimmt Bilddaten auf, die mehrere Bilder einer Vielzahl von verschieden beleuchteten Bildern eines Zielbereichs innerhalb einer Fahrgastkabine des Fahrzeugs beinhaltet. Ein normaler Extraktor empfängt die Bilder, um eine Vielzahl von Normalenvektoren für jeweilige Pixel zu bestimmen, die den Zielbereich darstellen. Ein erstes Array speichert eine normalengetriebene Karte als Reaktion auf die Vielzahl von Normalenvektoren. Ein zweites Array speichert eine Grundlinienkarte, die aus Grundlinienbildern des Zielbereichs in einem nominellen sauberen Zustand zusammengesetzt ist. Eine Vergleichseinrichtung ist an die Arrays gekoppelt, um Unterschiede zwischen der normalengetriebenen Karte und der Grundlinienkarte zu detektieren, die ein Objekt angeben, das nicht in dem sauberen Zustand vorhanden ist.
-
Wie hierin verwendet, bezieht sich „normalengetrieben“ auf jede Bildverarbeitung, die auf photometrischen Stereotechniken beruht, die Objektbildeigenschaften wie Oberflächennormalen, Oberflächen-Albedo, Reflexionsgrad, Oberflächenrauheit, Oberflächentiefe (d. h. Abstand) von der Kamera und Objektvoxelbelegung extrahieren kann.
-
Figurenliste
-
- 1 ist ein Diagramm, das ein autonomes Fahrzeug einer Art zeigt, die in einer Ride-Sharing-Anwendung verwendet werden soll.
- 2 ist ein Blockdiagramm eines autonomen Fahrzeugs und eines Ride-Sharing-Systems im Detail.
- 3 ist ein Diagramm, das ein autonomes Fahrzeug zeigt, das einen Artikel enthält, der von einem Benutzer vergessen wurde und der automatisch als ein 3D-Objekt detektiert werden muss, das von einem sauberen Zustand der Fahrgastkabine unterscheidbar ist.
- 4 ist ein Ablaufdiagram, das ein bevorzugtes Verfahren der Erfindung zeigt.
- 5 ist ein Blockdiagramm einer Fahrzeugvorrichtung, die zum Durchführen des Verfahrens aus 4 angepasst ist.
- 6 ist ein schematisches Diagramm, das eine Anordnung von Beleuchtungsquellen, einer Kamera und Umgebungslichtsensoren zum Erlangen der verschiedenen Beleuchtungsbedingungen gemäß einer Ausführungsform der Erfindung zeigt.
- 7 ist eine perspektivische Ansicht, die die verschiedene Beleuchtung eines zu detektierenden Objekts zeigt.
- 8 ist ein Diagramm, das Flächennormalen einer flachen Fahrzeugfläche zeigt.
- 9 ist ein Diagramm, das Flächennormalen eines vergessenen Objekts zeigt, das auf der Fläche aus 8 verbleibt.
- 10 ist ein Diagramm, das Flächennormalen eines flachen, dünnen Objekts zeigt, das auf einer flachen Fläche liegt.
- 11 zeigt ein Array (oder einen Abschnitt eines Arrays) zum Speichern einer Karte gemäß einer bevorzugten Ausführungsform, wobei jede Zelle des Arrays vielfältige mehrdimensionale normalengetriebene Werte enthalten kann.
-
DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
-
Unter Bezugnahme auf 1 weist ein autonomes Fahrzeug 10 eine Fahrgastkabine 11 mit Fahrgastsitzen 12 auf. Ein Fahrzeugantriebsstrang 13 treibt die Fahrt des Fahrzeugs 10 an und steuert sie. Ein autonomes Fahrzeug-(autonomous vehicle - AV- )Steuersystem 14 ist mit dem Antriebsstrang 13 und einer Benutzerschnittstelle 15 verbunden. Das AV-System 14 kann ferner eine Schnittstelle mit einem entfernten Systemverwalter oder einer Zuteilungssteuerung (nicht gezeigt) bilden. Durch die Interaktion mit der Zuteilungssteuerung und der Benutzerschnittstelle 15 kann ein Benutzer Zugang zum Fahrzeug 10 erlangen, ein/e Ziel/auszuführende Route bestimmen, eine Zahlung für die Nutzung eingeben und andere Funktionen durchführen. Sobald eine Fahrt beendet ist und der Benutzer das Fahrzeug 10 verlässt oder dieses verlassen hat, ist es erwünscht, die Sitze 12, die Böden, die Konsole und andere Bereiche der Kabine 11 einschließlich eines Laderaums nach Gegenständen abzusuchen, die vom Benutzer in das Fahrzeug 10 gebracht wurden und die nicht entfernt werden, wenn der Benutzer das Fahrzeug verlässt.
-
Ein autonomes Fahrzeugsystem ist detaillierter in 2 gezeigt. Eine AV-Steuerung 20 ist gezeigt, um eine autonome Navigation und Kollisionsvermeidung durchzuführen und vergessene Objekte zu detektieren und reagierende Maßnahmen zu ergreifen, wenn ein derartiges Objekt wie hierin beschrieben entdeckt wird. Die Steuerung 20 ist an verschiedene Innenzubehörteile 21 und Außensensoren 22 gekoppelt. Zum Beispiel beinhalten die Außensensoren 22 eine oder mehrere Kameras, die Bildströme bereitstellen, und ein oder mehrere Mikrofone, die Audioströme für die Steuerung 20 bereitstellen. Außensensoren 22 können ferner Sensoren wie etwa RADAR (Radio Detection and Ranging), LIDAR (Light Detection and Ranging), SONAR (Sound Navigation und Ranging) und dergleichen beinhalten.
-
Die Steuerung 20 beinhaltet ein autonomes Betriebsmodul 23, das teilweise unter Verwendung von Ausgaben von Außensensoren 22 arbeitet. Zu einem Modul für den autonomen Betrieb 23 können ein Hindernisidentifikationsmodul, ein Kollisionsvorhersagemodul und ein Entscheidungsmodul gehören. Das Hindernisidentifikationsmodul analysiert die Sensorausgänge und identifiziert mögliche Hindernisse. Das Kollisionsvorhersagemodul sagt vorher, welche Hindernisbilder wahrscheinlich mit einem gegenwärtigen Kurs oder gegenwärtig beabsichtigten Weg des Fahrzeugs 10 übereinstimmen könnten. Das Kollisionsvorhersagemodul kann die Wahrscheinlichkeit einer Kollision mit durch das Hindernisidentifikationsmodul identifizierten Objekten beurteilen. Das Entscheidungsmodul kann eine Entscheidung treffen, zu stoppen, zu beschleunigen, zu drehen usw., um Hindernisse zu vermeiden, wie fachbekannt.
-
Das Entscheidungsmodul kann die Bewegungsbahn des Fahrzeugs durch Betätigen ein oder mehrerer Betätigungselemente 24 steuern, die die Richtung und die Geschwindigkeit des Fahrzeugs 10 steuern. Zum Beispiel können die Betätigungselemente 24 ein Lenkbetätigungselement, ein Gaspedalbetätigungselement und ein Bremsbetätigungselement beinhalten. Somit kann das Autonomiebetriebsmodul 23 eine autonome Navigation zu einem bestimmten Ort, ein autonomes Parken und andere im Stand der Technik bekannte automatisierte Fahraktivitäten durchführen.
-
Das Autonomiebetriebsmodul 23 kann ferner ein Innenmodul 25 beinhalten, das einen Zustand der Fahrgastzelle und der Laderäume des Fahrzeugs 10 gemäß den hierin offenbarten Verfahren bewertet. Das Innenmodul 25 empfängt Eingangssignale von einer oder mehrerer Kameras innerhalb des Innenzubehörs 21, z. B. einer Kamera für sichtbares Licht wie einer Standbild- oder Videokamera oder anderer Bildsensoren wie Infrarotkameras und Sonar. Jede Kamera kann einen bestimmten Zielbereich oder ein bestimmtes Sichtfeld innerhalb der Fahrgastkabine oder der Laderäume aufweisen. Wie in 3 gezeigt, sind die Kameras 26 und 27 in der Kabine 11 positioniert und ausgerichtet, um Sitzplätze und andere Flächen zu betrachten, auf denen ein vergessenes Objekt 28 vorhanden sein kann.
-
Wie in 2 gezeigt, kann die Steuerung 20 mittels eines Netzwerks 31, das eine beliebige drahtgebundene oder drahtlose Netzwerkverbindung, einschließlich einer Mobilfunkdatennetzwerkverbindung, beinhalten kann, in Datenkommunikation mit einem Server 30 stehen. Die hier offenbarten Verfahren können durch den Server 30, die Steuerung 20 oder eine Kombination der beiden umgesetzt sein.
-
Das Serversystem 30 kann eine Datenbank 32 hosten oder auf diese zugreifen. Die Datenbank 32 kann Fahrtdaten beinhalten, die für jede von dem autonomen Fahrzeug 10 durchgeführte Fahrt aufgenommen wurden (d. h. für jedes Ereignis, bei dem das Fahrzeug 10 zu einem Abholort navigiert, um einen oder mehrere Fahrgäste abzuholen, und die Fahrgäste dann an einem Zielort abzusetzen). Die Fahrtdaten können eine Bewertung des Innenraums beinhalten um die Bereitschaft für einen nächsten Benutzer sicherzustellen und/oder um Kosten anzusetzen oder eine Benachrichtigung oder Zurechtweisung zu erteilen, falls der vorherige Benutzer persönliche Gegenstände oder Müll zurücklässt.
-
Um eine geeignete Antwort je nach der spezifischen Identität des oder der vergessenen Objekte auszuwählen, kann die Datenbank 32 ein maschinelles Lernmodell beinhalten, das zum Identifizieren und Klassifizieren von Objekten unter Verwendung eines neuronalen Netzwerks, eines Entscheidungsbaums, eines Clusters, eines Bayes'schen Netzwerks oder einer anderen Art des maschinellen Lernmodells trainiert ist.
-
Im Stand der Technik wurde die Objektdetektion und -klassifizierung unter Verwendung einer oder mehrerer Kameras durchgeführt, um Bilder zu erlangen, die ein erkennbares Objekt beinhalten können. Die Detektion kann für einige Arten von Objekten recht einfach sein, wie etwa für große Objekte, deren Farbe sich deutlich vom Hintergrund unterscheidet. Bei vielen Arten von Objekten, die in der Fahrgastkabine vorhanden sein können, können jedoch bekannte Detektionsverfahren auf Grundlage der Bildinspektion häufig erfolglos sein (wie etwa ein dünnes Objekt mit Kontrast zu der Umgebung wie ein Tablet oder ein Mobiltelefon). Zum Beispiel können Stereokameradisparitätsmessungen (d. h. unter Verwendung von zwei getrennten Kameras) in derartigen Fällen aufgrund des Fehlens von Merkmalspunkten, um Abgleiche zwischen den beiden Bildern durchzuführen, verrauscht sein. Um eine erhöhte Fähigkeit zum Detektieren derartiger Objekte bereitzustellen, verwendet die Erfindung photometrische Techniken, wie nachstehend beschrieben. Vorzugsweise kann eine feststehende Kamera verwendet werden, um eine Reihe von Bildern bereitzustellen, die mit unterschiedlichen Beleuchtungseigenschaften aufgenommen wurden, wobei die Bilder auf eine Weise verarbeitet sind, die tiefenbezogene Informationen freigibt, die als Grundlage für die Detektion von Objekten dienen, die ansonsten schwer zu detektieren sind. Zum Erlangen der verschieden beleuchteten Bilder ist die Steuerung 20 an ein Beleuchtungssystem 33 im Zubehör 21 gekoppelt, das eine Vielzahl von Lichtquellen an verschiedenen Stellen innerhalb der Fahrgastkabine aufweist. Wie nachstehend ausführlicher beschrieben, analysiert die Steuerung 20 das Umgebungslicht, das die Fahrgastkabine beleuchtet, und wählt dann mehrere Beleuchtungskonfigurationen zum Aufnehmen der zu verarbeitenden Bilder unter Verwendung photometrischer Techniken aus.
-
Innenzubehör 21 beinhaltet ein Mensch-Maschine-Schnittstelle (human machine interface - HMI) 34, die eine grafische Anzeigetafel, Audiolautsprecher, und/oder Innen- und Außenbeleuchtung zum Bereitstellen von Nachrichten (z. B. Text, synthetisierte Sprache oder blinkende Lichter) beinhalten kann, um einen Benutzer über ein vergessenes Objekt zu informieren. Ein drahtloser Sendeempfänger 35 kann auch bereitgestellt sein, um dem Benutzer nach dem Verlassen des Fahrzeugs 10 Nachrichten zuzustellen.
-
Ein bevorzugtes Verfahren der Erfindung ist in 4 gezeigt. Wenn ein Benutzer (d. h. ein Fahrzeuginsasse) das Fahrzeug zu verlassen beginnt oder verlassen hat, kann in Schritt 40 eine Erstdurchlauf-Objektdetektion durchgeführt werden. Das Erstdurchlauf-Detektion kann ein bekanntes Verfahren verwenden, das weniger robust, aber schneller durchzuführen ist, um nach leicht erkennbaren Objekten zu suchen. Zum Beispiel kann ein großer Rucksack oder Koffer mit einer stark kontrastierenden Farbe oder einem starken Reflexionsvermögen detektiert werden, ohne dass eine spezielle Bildgebungssequenz erforderlich ist. In einigen Ausführungsformen kann, wann immer ein einzelnes Objekt detektiert wird, eine weitere Detektion übersprungen werden, da die Notwendigkeit, den Benutzer zu warnen, bereits identifiziert wurde. In Schritt 41 wird eine Prüfung durchgeführt, um zu bestimmen, ob ein zusätzliches Scannen erforderlich ist. Wenn die Erstdurchlauf-Detektion bereits vergessene Objekte anzeigt und kein weiteres Scannen erwünscht ist, ist das Verfahren abgeschlossen. Wenn in der Erstdurchlauf-Detektion keine Objekte detektiert sind oder es zusätzliche Zielbereiche innerhalb der Fahrgastkabine gibt, für die keine Objekte detektiert wurden, und gewünscht wird, festzustellen, ob zusätzliche Objekte vorhanden sind, geht das Verfahren zu Schritt 42 weiter.
-
In Schritt 42 wird eine photometrische Stereobildanalyse eingeleitet, indem die Beleuchtungsvorrichtungen, die den Zielbereich bzw. die Zielbereiche beleuchten, auf eine Weise gesteuert werden, die eine verschiedene Beleuchtung für jeweilige Bilder innerhalb einer Reihe von Bildern erzeugt, wie sie für die photometrische Stereoflächenbewertung verwendet werden. Das verschieden beleuchteten Bilder werden gemäß Reflexionsmodellen verarbeitet, die Oberflächeneigenschaften von Objekten aus Transformationen von Bildintensitäten abschätzen, die sich aus Beleuchtungsänderungen ergeben, z. B. aus der Bestimmung der Richtung von Flächennormalen an entsprechenden Pixeln innerhalb der Bildserie. In Schritt 42 werden auch Bildeigenschaften wie die Beleuchtungszeit oder andere Parameter für die Bilder gesteuert. In Schritt 43 werden mehrere Bilder der Zielbereiche aufgenommen, für die zusätzliches Scannen erforderlich ist, wobei jedes Bild eine entsprechende Beleuchtungskonfiguration verwendet. Unter Verwendung der photometrischen Stereobildanalyse wird eine „normalengetriebene“ Karte in Schritt 44 erzeugt. Die normalengetriebene Karte kann aus tatsächlichen Flächennormalen oder Albedos bestehen oder kann auf einer weiteren Verarbeitung beruhen, um i) die Tiefe (d. h. den Abstand) von der Abbildungskamera zu dem Objekt bei jedem Pixel in dem Bild, oder ii) einen dreidimensionalen Voxelbelegungsplan zu bestimmen.
-
Konkreter kann eine erste Ausführungsform der normalengetriebenen Karte Vektorwerte beinhalten, die jeweilige Orientierungen von Flächennormalenvektoren angeben, die für jedes Pixel innerhalb des Zielbereichs berechnet werden. Jeder normale Vektor kann aus numerischen Werten bestehen, die den Vektor definieren, oder kann aus anderen mehrdimensionalen Werten wie Farbton und Helligkeit für die Darstellung von einem dreidimensionalen Objekt bestehen. In einer zweiten Ausführungsform kann die normalengetriebene Karte aus Tiefenwerten für jedes Pixel bestehen, wobei Unterschiede zwischen Tiefenwerten an verschiedenen Orten einen Umriss eines vergessenen Objekts identifizieren. In einer anderen Ausführungsform kann die normalengetriebene Karte aus einem dreidimensionalen Datensatz bestehen, wobei jedes Element im Datensatz aus Voxelbelegungswerten besteht. Jedes Voxel kann zwei numerische Werte aufweisen, die entweder jeweils das Vorhandensein oder das Fehlen eines Objekts am entsprechenden Voxel identifizieren.
-
Die Steuerung ist mit einer Grundlinienkarte vorprogrammiert, die aus Bildern zusammengestellt wurde, die zu einem Zeitpunkt gesammelt wurden, an dem sich die Fahrgastkabine in einem sauberen Zustand (d. h. ohne Fremdkörper) befand, unter Verwendung derselben Art von normalengetriebener Karte, die während des Fahrzeugbetriebs gesammelt werden soll. Der abgeleitete normalengetriebene Karte wird in Schritt 45 mit der Grundlinienkarte verglichen, um alle vergessenen Objekte zu detektieren, die vorhanden sein können. In Schritt 46 werden alle detektierten Objekte gemäß einer Vielzahl von vorbestimmten Objektklassifizierungen klassifiziert. Zum Beispiel, unter Verwendung der Form, Tiefe oder anderer Oberflächeneigenschaften eines detektierten Objekts, weist ein Klassifizierer, der auf die detektierten Unterschiede zwischen der normalengetriebenen und Grundlinienkarte reagiert, dem Objekt eine der vorbestimmten Objektklassifizierungen zu. Auf Grundlage der zugewiesenen Klassifizierung wird in Schritt 47 eine vorbestimmte Handlung ausgewählt, um den Benutzer zu benachrichtigen oder auf andere Weise Korrekturmaßnahmen zu ergreifen, wie zum Beispiel das Fahrzeug zu einer Reinigungsstation zu bewegen.
-
Typischerweise erfordern die photometrischen Standardansätze drei verschieden beleuchtete Bilder. Auf Grundlage von bekannten photometrischen Stereoansätzen kann die Flächennormale bestimmt werden. Bei niedrigeren Umgebungsbeleuchtungsniveaus kann die Innenraumbeleuchtung für jedes Bild in einer Reihe individuell gesteuert werden, um alle Innenraumobjekte während jedes von einer oder mehreren Kameras aufgenommenen Bilds verschieden zu beleuchten.
Bei mäßigen Lichtverhältnissen mit einer oder mehreren vorherrschenden Lichtquellen (z. B. Dämmerung oder Morgendämmerung, wenn das Umgebungslicht eher von einer einzigen Quelle als von der gesamten Himmelskuppel ausgeht). Zur Ermittlung der Umgebungslichtverhältnisse setzt das Fahrzeug vielfältige Sensoren wie Fotodetektoren und Kameras ein. Zum Beispiel können Außen- und/oder Innenbilder aufgenommen werden, um die äußeren Beleuchtungsbedingungen zu verstehen, wodurch ein Beleuchtungsursprung zum Berechnen der photometrischen Stereolösung für die Flächennormalen bestimmt wird. Der Sonnenstandort kann auch mithilfe eines Navigationssystems (GPS) bestimmt werden, um den Standort und die Ausrichtung des Fahrzeugs zusammen mit einer Sonnen-Ephemeride zu bestimmen. Bekannte Verfahren für die photometrischen Stereoberechnungen beinhalten Yu et al., Outdoor Photometrie Stereo, Computational Photography (ICCP), 2013 IEEE International Conference, 2013, und eine Technik, die mehrfarbige Lichtquellen verwendet, in Christensen et al, Three-dimensional Shape From Color Photometrie Stereo, International Journal of Computer Vision, 13.2 (1994): 213-227. Das Innere der Fahrgastkabine kann Schatten ausgesetzt sein, die auf ein Objekt fallen und die photometrischen Stereoberechnungen beeinflussen können. Die Bewertung der Flächennormalen in Gegenwart von Schatten kann wie bei Chandraker et al. ShadowCuts: Photometrie Stereo With Shadows, Computer Vision and Pattern Recognition, CVPR'07, IEEE Conference, 2007, beschrieben, ausgeführt werden. Zusätzliche Details in Bezug auf die Verwendung von photometrischem Stereo sind in Ackermann et al, A Survey ofPhotometrie Stereo Techniques, Foundations and Trends in Computer Graphics and Vision, 9.3-4 (2015), pp. 149-254, und in Basri et al, Photometrie Stereo with General, Unknown Lighting, International Journal of Computer Vision 72.3, (2007), pp 239-257, offenbart.
-
Normalengetriebene Karten für den nominellen Zustand und den Zustand nach dem Fahrgast werden verglichen, um etwaige Unstimmigkeiten festzustellen. Wie vorstehend erwähnt, können die Flächennormalenkarten wahlweise in eine Tiefenkarte oder eine Voxelbelegungskarte umgewandelt werden. Unabhängig von der spezifischen Darstellung werden die beiden Karten verglichen, um signifikante Unterschiede über einem nominellen Rauschpegel zu bestimmen, der dem jeweiligen photometrischen Ansatz eigen ist. Zum Beispiel kann ein Tiefenkartenvergleich einen Fehler von ±3 mm Standardabweichung pro Pixel aufweisen. Daher würde das Vorhandensein mehrerer Pixel, die >10 mm höher als das umgebende Material und/oder die nominelle Tiefenkarte sind, ein Objekt an diesem Ort angeben. Die Oberflächennormale, Tiefenkarte oder Voxeldarstellungsdiskrepanz (z. B. eine Gruppe von Pixeln mit einer höheren als der nominellen Flächenhöhe aufgrund eines Objekts auf dem/der Sitz/Boden/Verkleidung der Kabine) kann verwendet werden, um das Objekt anhand von Abmessungen oder Flächennormalen zu klassifizieren. Zum Beispiel kann ein Buch ungefähr rechteckig sein und eine 3D-Größe innerhalb eines bestimmten Bereichs haben. In einem anderen Fall wäre eine Wasserflaschentiefenkarte oder -flächennormalenkarte, wenn sie auf dem Boden der Kabine sitzt, ziemlich eindeutig und leicht zu klassifizieren. Die Klassifizierungsverfahren, die verwendet werden können, beinhalten ein Template-Matching-Verfahren, eine Kaskade schwacher Computervisionsklassifizierer, wenn die Karte mithilfe einer Lookup-Tabelle in ein Bild konvertiert wird, oder ein Klassifizierer, der auf einem neuronalen Netzwerk beruht.
-
Nach der Detektion und Klassifizierung können die vom Fahrzeug ergriffenen Korrekturmaßnahmen auf einer bestimmten Geschäftslogik beruhen. Wenn zum Beispiel ein großes Objekt in der Kabine zurückgelassen wird, wie etwa ein Rucksack, kann der frühere Fahrgast über ein verlorenes Objekt informiert werden, um ein Treffen zwischen dem ursprünglichen Fahrzeug und dem vorherigen Fahrer zu planen. In anderen Fällen, wenn Müll (z. B. eine Wasserflasche) in der Kabine gelassen wird, kann der Benutzer gewarnt oder mit einem Bußgeld belegt werden, weil er Müll im Fahrzeug gelassen hat. Die Erfindung könnte auch während des Fahrzeugbetriebs verwendet werden, um einen Benutzer über Artikel zu warnen, die während des Ausstiegs entfernt werden müssen.
-
5 zeigt eine bevorzugte Steuerungsarchitektur gemäß der Erfindung, wobei ein Beleuchtungsanalysator 50 Umgebungslichtbedingungen detektiert und mehrere Beleuchtungskonfigurationen bestimmt, die von Lichtquellen in der Fahrgastkabine zu erzeugen sind, um mehrere verschieden beleuchtete Zielbilder abzuleiten, die in eine photometrische Stereoanalyse eingegeben werden können. Die Quantifizierung der Umgebungslichtbedingungen wird als Reaktion auf Bilddaten 53 von einer Kamera 52 und Daten von anderen Sensoren wie etwa Außenkameras und/oder Fotodetektoren bestimmt. Auf Grundlage der ausgewählten Beleuchtungskonfigurationen befiehlt der Analysator 50 den Innenraumbeleuchtungen 51, sich selektiv in Abstimmung mit an die Kamera 52 gesendeten Signalen ein- und auszuschalten oder die mehreren verschieden beleuchteten Bilder eines Zielbereichs innerhalb eines Sichtfelds der Kamera 52 aufzunehmen. Durch die Aufnahme mehrerer Bilder mit unterschiedlichen Beleuchtungseigenschaften, können tiefenbezogenen Informationen unter Verwendung von nur einer festen Kamera abgerufen werden. Somit wird die Objektdetektion ohne zusätzliche Hardware verbessert.
-
Die detektierten Bilddaten, die die Vielzahl von verschieden beleuchteten Bildern des Zielbereichs beinhalten, werden einem normalen Extraktor 54 zugeführt, der die bekannten Verfahren auf Grundlage der Variabilität des Reflexionsvermögens an jedem Pixel anwendet, das ein dreidimensionales Objekt abdeckt, um übereinstimmende Normalenvektoren, die die Flächennormalen an jedem Pixel in den Bildern quantifizieren, zu bestimmen. Die Normalenvektoren werden einem Kartengenerator 55 zugeführt, der vorzugsweise ein Array zum Speichern von einer normalengetriebenen Karte als zweidimensionale oder dreidimensionale Matrix beinhaltet. Das Array beinhaltet entsprechende Vektorwerte, Tiefenwerte oder Voxelbelegungswerte, wie vorstehend beschrieben. Eine Grundlinienkarte 56 beinhaltet gleichermaßen ein Array zum Speichern der Grundlinienkarte, die zuvor aus den Grundlinienbildern des Zielbereichs in einem nominellen sauberen Zustand zusammengesetzt ist. Die Karten von den Arrays werden in einem Komparator 57 verglichen, der Unterschiede zwischen den Karten detektiert, um alle Objekte freizulegen, die nicht im sauberen Zustand vorhanden waren. Die detektierten Unterschiede werden von dem Komparator 57 einem Klassifizierer 58 bereitgestellt, der im Voraus dazu trainiert wurde, auf die Formen zu reagieren, die durch die detektierten Unterschiede angezeigt werden. Der Klassifizierer 58 ordnet jedem vergessenen Objekt, das durch die detektierten Unterschiede freigelegt wird, eine von mehreren vorbestimmten Objektklassifizierungen zu. Die zugewiesene Objektklassifizierung wird einer Interventions-/Antwortlogik 59 zum Umsetzen von Regeln bereitgestellt, die aus vorbestimmten Handlungen auswählen, die mit den verschiedenen Objektklassifikationen korrelieren. Die Antwortlogik 59 kann mit autonomen Fahrzeugsteuerungen interagieren, um das Fahrzeug zu einer Reinigungsstation zu navigieren. Alternativ kann die Antwortlogik 59 mit einer HMI (wie etwa einem Anzeigefeld, Fahrzeuglichtern oder einer Hupe) interagieren, um einen Benutzer über das Vorhandensein des vergessenen Objekts zu benachrichtigen. Alternativ kann die Antwortlogik 59 mit einer drahtlosen Kommunikationsverbindung interagieren, um eine Fernbenachrichtigung bereitzustellen, nachdem der Benutzer die Umgebung des Fahrzeugs verlassen hat.
-
6 zeigt Aspekte der in der Erfindung verwendeten Objektbeleuchtung detaillierter. Ein Fahrzeug 60 beinhaltet eine feststehende Kamera 61 zum Bereitstellen von Inspektionsbildern, die zum Detektieren von Objekten zu einem geeigneten Zeitpunkt verwendet werden sollen. Die Beleuchtungsvorrichtungen 62, 63 und 64 sind an verschiedenen Stellen in der Fahrgastkabine angeordnet, wie etwa an unterschiedlichen Stellen auf dem Dach der Fahrgastkabine, an den Dachsäulen oder an anderen Innenverkleidungsflächen des Fahrzeugs (z. B. Türen, Armaturenbrett, oder Sitze). Ein Objekt 65 innerhalb der Fahrgastkabine kann somit aus verschiedenen Winkeln wählbar beleuchtet werden, sodass die Vielzahl von verschieden beleuchteten Bildern unter Verwendung der Kamera 61 erlangt werden können. Die Fähigkeit der verschiedenen Beleuchtungsvorrichtungen, ein Objekt unterschiedlich zu beleuchten, hängt teilweise von der Umgebungsbeleuchtung ab. Somit können die Kamera 61 und andere Sensoren wie etwa ein Fotodetektor 66 und eine Außenkamera 67 verwendet werden, um die Umgebungslichtbedingungen zu ermitteln, sodass die tatsächliche Beleuchtung des Objekts 65 während der Aktivierung jeder ausgewählten Beleuchtungskonfiguration genauer bekannt sein kann (d. h. die Summe der Umgebungsbeleuchtung und des Zusatzlichts von Beleuchtungseinrichtungen 62-64). Insbesondere kann ein geringer Sonnenwinkel detektiert werden, um die Richtwirkung des Umgebungslichts zu beurteilen. Wie in 7 gezeigt, liefert das einfallende Sonnenlicht eine gerichtete Beleuchtung des Objekts 65 auf einem Fahrzeugsitz, wenn sich die Sonne 68 in einem niedrigen Winkel befindet. Folglich können die ausgewählten Beleuchtungsbedingungen mindestens eine Konfiguration beinhalten, die sich verstärkt auf die Lichtquelle 64 oder andere Quellen stützt, die eine zum einfallenden Sonnenlicht komplementäre Beleuchtung liefern.
-
Die 8-10 zeigen Beispiele für Flächennormalen für Pixel in einem Zielbereich mit unterschiedlichen Objekten. 11 zeigt eine bevorzugte Art eines Arrays 80 zum Speichern der normalengetriebenen Karte als Reaktion auf die von dem Normalenextraktor bestimmten Normalenvektoren und zum Speichern der Grundlinienkarte. Für eine zweidimensionale Darstellung einer Karte definiert das Array 80 ein rechteckiges Gitter von Zellen entlang der senkrechten x- und y-Richtung bei einer Bildgröße von n mal m Pixel. Jede Zelle entspricht einem jeweiligen Bildpixel und speichert einen entsprechenden Vektorwert oder einen Tiefenwert. Für eine dreidimensionale Darstellung würde das Array 80 zusätzliche Zellen in der z-Richtung zum Speichern aller Voxelbelegungswerte beinhalten. In jedem Fall werden die Werte in jeder Zelle durch die Flächennormalenvektoren gesteuert, die unter Verwendung von photometrischem Stereo abgeleitet wurden. 8 zeigt eine flache, leere Fläche 70 im Zielbereich mit mehreren Flächennormalen 71, die zum Erzeugen der Grundlinienkarte verwendet werden. Während einer Inspektion nach vergessenen Objekten befindet sich eine Wasserflasche 72 auf der Fläche 70, wie in 9 gezeigt. Flächennormalen 73, die aus Bildern abgeleitet sind, die die Flasche 72 abbilden, weisen Ausrichtungen auf, die sich radikal von Normalen 71 der Grundlinienkarte unterscheiden. Ferner sind die spezifischen Ausrichtungen zwischen den Vektorwerten oder die resultierenden Tiefenwerte in der normalengetriebenen Karten ausreichend eindeutig, um eine Klassifizierung des Objekts als Wasserflasche zu ermöglichen. In 10 befindet sich ein flaches, dünnes Objekt 75 wie etwa ein Mobiltelefon oder Tablet auf der Fläche 70. Einige Flächennormalen 76 für die darunterliegende Fläche und eine obere Fläche des Objekts 75 weisen eine ähnliche Ausrichtung auf. Normale Vektoren 77 entlang sichtbarer Kanten des Objekts 75 sind jedoch deutlich unterschiedlich und ermöglichen eine zuverlässige Detektion des flachen, dünnen Objekts.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung wird die Nachricht drahtlos an eine tragbare Vorrichtung des Benutzers übertragen.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung wird die Nachricht als vom Fahrzeug erzeugtes sichtbares oder hörbares Signal übertragen.
-
Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner gekennzeichnet durch den Schritt des Auswählens einer vorbestimmten Interventionshandlung gemäß der zugewiesenen Objektklassifizierung.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung besteht die ausgewählte Handlung aus dem Senden einer Nachricht an den Benutzer, die das Vorhandensein des detektierten Objekts angibt.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung besteht die übertragene Nachricht aus einem von dem Fahrzeug erzeugten sichtbaren oder hörbaren Signal.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Yu et al., Outdoor Photometrie Stereo, Computational Photography (ICCP), 2013 IEEE International Conference, 2013 [0021]
- Christensen et al, Three-dimensional Shape From Color Photometrie Stereo, International Journal of Computer Vision, 13.2 (1994): 213-227 [0021]
- Computer Vision and Pattern Recognition, CVPR'07, IEEE Conference, 2007 [0021]
- Ackermann et al, A Survey ofPhotometrie Stereo Techniques, Foundations and Trends in Computer Graphics and Vision, 9.3-4 (2015), pp. 149-254 [0021]
- Basri et al, Photometrie Stereo with General, Unknown Lighting, International Journal of Computer Vision 72.3, (2007), pp 239-257 [0021]
