-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung bezieht sich auf Fahrzeuge, die durch automatisierte Fahrsysteme gesteuert werden, insbesondere auf ein Kraftfahrzeug gemäß dem Oberbegriff des Anspruchs 1, wie es der Art nach im Wesentlichen aus der
DE 10 2017 200 607 A1 hervorgeht.
-
Bezüglich des weitergehenden Standes der Technik sei an dieser Stelle auf die US 2007 / 0 176 402 A1 verwiesen.
-
EINLEITUNG
-
Der Betrieb von modernen Fahrzeugen wird zunehmend automatisierter, d. h. Fahrzeuge übernehmen die Fahrsteuerung mit geringerem Eingriff des Fahrers. Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis Fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.
-
KURZDARSTELLUNG
-
Erfindungsgemäß wird ein Kraftfahrzeug vorgeschlagen, das sich durch die Merkmale des Anspruchs 1 auszeichnet. Das Fahrzeug beinhaltet eine Kabine, einen optischen Sensor, der zum Erfassen von Bildern der Kabine angeordnet ist, ein Lichtsteuersystem, das zum Ändern einer Intensität oder Richtung des einfallenden Lichts in der Kabine betrieben werden kann, und eine Steuerung. Die Steuerung ist konfiguriert, um als Reaktion auf eine Objekterkennungsanforderung automatisch den optischen Sensor zu steuern, um ein erstes Bild der Kabine mit einer ersten Konfiguration des einfallenden Lichts aufzunehmen, das Lichtsteuersystem zu steuern, um eine Intensität oder Richtung des einfallenden Lichts in der Kabine zu einer zweiten Konfiguration des einfallenden Lichts zu ändern, den optischen Sensor zu steuern, um ein zweites Bild der Kabine mit der zweiten Konfiguration des einfallenden Lichts aufzunehmen, eine Änderung in einem Schatten zwischen dem ersten Bild und dem zweiten Bild zu erkennen, auf das Vorhandensein eines Objekts in der Kabine basierend auf der Änderung im Schatten zu schließen und eine Korrekturmaßnahme basierend auf das Vorhandensein des Objekts durchzuführen.
-
Gemäß einem Aspekt ist die Kabine erfindungsgemäß mit mindestens einem Fenster versehen, das Lichtsteuersystem umfasst eine Fensterblende mit einer geöffneten und einer geschlossenen Position, und die Steuerung ist konfiguriert, um das Lichtsteuersystem zu steuern, indem sie die Fensterblende selektiv zwischen der geöffneten und der geschlossenen Position bewegt.
-
Gemäß einem anderen Aspekt umfasst das Lichtsteuersystem erfindungsgemäß mindestens ein Stellglied, das zum Steuern der Fahrzeuglenkung, - beschleunigung oder -bremsung konfiguriert ist, und die Steuerung ist konfiguriert, um das Lichtsteuersystem durch selektives Steuern des Stellglieds zu steuern, um das Fahrzeug zwischen einer ersten Ausrichtung in Bezug auf eine Umgebungslichtquelle und einer zweiten Ausrichtung in Bezug auf eine Umgebungslichtquelle zu bewegen.
-
In einer exemplarischen Ausführungsform umfasst das Lichtsteuersystem eine in der Kabine angeordnete Innenbeleuchtung, und die Steuerung ist konfiguriert, um das Lichtsteuersystem durch selektives Ein- und Ausschalten der Innenbeleuchtung zu steuern.
-
In einer exemplarischen Ausführungsform basiert die Objekterkennungsanforderung auf einer Bilddifferenz zwischen einem vor einem Fahrzyklus aufgenommenen Referenzkabinenbild und einem nach einem Fahrzyklus aufgenommenen endgültigen Kabinenbild.
-
In einer exemplarischen Ausführungsform umfasst die Korrekturmaßnahme das Signalisieren einer Warnung an einen Benutzer.
-
Ferner wird ein Verfahren zum Erfassen eines Objekts beschrieben. Das Verfahren beinhaltet das Bereitstellen eines Erfassungsraums, in dem ein optischer Sensor angeordnet ist, um Bilder vom Erfassungsraum aufzunehmen, ein Lichtsteuersystem, das zum Ändern einer Intensität oder Richtung des einfallenden Lichts in dem Erfassungsraum betreibbar ist, und mindestens eine sich mit dem optischen Sensor und dem Lichtsteuersystem in Verbindung befindenden Steuerung. Das Verfahren beinhaltet auch das automatische Steuern des optischen Sensors über die mindestens eine Steuerung, um ein erstes Bild des Erfassungsraums mit einer ersten Konfiguration des einfallenden Lichts aufzunehmen. Das Verfahren beinhaltet zusätzlich das automatische Steuern des Lichtsteuerungssystems über die mindestens eine Steuerung, um eine Intensität oder Richtung des einfallenden Lichts in der Kabine zu einer zweiten Konfiguration des einfallenden Lichts zu ändern, die sich von der ersten Konfiguration des einfallenden Lichts unterscheidet. Das Verfahren beinhaltet ferner das automatische Steuern des optischen Sensors über die mindestens eine Steuerung, um ein zweites Bild des Erfassungsraums mit der zweiten Konfiguration des einfallenden Lichts aufzunehmen, das automatische Erfassen einer Änderung in einem Schatten zwischen dem ersten Bild und dem zweiten Bild über die mindestens eine Steuerung und basierend auf der erfassten Änderung im Schatten, das automatische Signalisieren einer Warnung über die mindestens eine Steuerung.
-
In einer exemplarischen Ausführungsform ist der Erfassungsraum mit mindestens einem Fenster versehen, das Lichtsteuersystem umfasst ein Fenstersystem, das betreibbar ist, um einfallendes Licht durch das Fenster zu modifizieren, und das automatische Steuern des Lichtsteuersystems umfasst das Steuern des Fenstersystems, um einfallendes Licht zu modifizieren.
-
In einer exemplarischen Ausführungsform umfasst das automatische Erfassen einer Schattenänderung das Ausführen eines Bilddifferenzalgorithmus für das erste Bild und das zweite Bild.
-
In einer exemplarischen Ausführungsform umfasst das Lichtsteuersystem eine im Erfassungsraum angeordnete Innenbeleuchtung und die automatische Steuerung des Lichtsteuersystems umfasst das selektive Ein- und Ausschalten der Innenbeleuchtung.
-
In einer exemplarischen Ausführungsform umfasst der Erfassungsraum eine Kabine eines Kraftfahrzeugs. In solchen Ausführungsformen kann das Lichtsteuersystem mindestens ein Stellglied umfassen, das zum Steuern der Fahrzeuglenkung, -beschleunigung oder -bremsung konfiguriert ist, und das automatische Steuern des Lichtsteuersystems kann das selektive Steuern des Stellglieds umfassen, um das Fahrzeug zwischen einer ersten Ausrichtung in Bezug auf eine Umgebungslichtquelle und einer zweiten Ausrichtung in Bezug auf die Umgebungslichtquelle zu bewegen.
-
Ferner wird ein Erfassungssystem für ein Kraftfahrzeug beschrieben. Das Erfassungssystem beinhaltet einen optischen Sensor, der zum Erfassen von Bildern eines Abschnitts des Fahrzeugs angeordnet ist, ein Lichtsteuersystem, das zum Ändern einer Intensität oder Richtung des einfallenden Lichts auf den Abschnitt des Fahrzeugs betreibbar ist, und eine Steuerung. Die Steuerung ist konfiguriert, um den optischen Sensor zu steuern, um ein Referenzbild des Abschnitts des Fahrzeugs vor einem Fahrzyklus aufzunehmen, den optischen Sensor zu steuern, um ein erstes Bild des Abschnitts des Fahrzeugs unmittelbar nach dem Fahrzyklus aufzunehmen, das Lichtsteuersystem zu steuern, um eine Intensität oder Richtung des einfallenden Lichts in der Kabine auf eine zweite Konfiguration des einfallenden Lichts als Reaktion auf das erste Bild, das sich vom Referenzbild unterscheidet, zu ändern, den optischen Sensor zu steuern, um ein zweites Bild der Kabine mit der zweiten Konfiguration des einfallenden Lichts aufzunehmen, und automatisch einen Alarm als Reaktion auf das zweite Bild, das sich vom ersten Bild unterscheidet, zu signalisieren.
-
Ausführungsformen gemäß der vorliegenden Erfindung stellen eine Reihe von Vorteilen bereit. Die vorliegende Erfindung sieht beispielsweise ein System und Verfahren zum automatischen Bestimmen vor, ob ein Objekt in einem Fahrzeug zurückgelassen wurde, und zum Ergreifen von Korrekturmaßnahmen, wenn eine solche Bestimmung vorgenommen wird.
-
Die vorstehenden und andere Vorteile und Merkmale der vorliegenden Erfindung werden aus der folgenden ausführlichen Beschreibung der bevorzugten Ausführungsformen in Verbindung mit den zugehörigen Zeichnungen ersichtlich.
-
Figurenliste
-
- 1 ist ein schematisches Diagramm eines Kommunikationssystems, das ein autonom gesteuertes Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung beinhaltet;
- 2 ist ein schematisches Blockdiagramm eines automatisierten Antriebssystems (ADS) für ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung;
- 3 ist eine Flussdiagrammdarstellung eines Verfahrens zum Steuern eines Fahrzeugs gemäß einer Ausführungsform der vorliegenden Erfindung; und
- Die 4A-4D sind schematische Darstellungen einer Fahrzeugkabine gemäß einer Ausführungsform der vorliegenden Erfindung.
-
AUSFÜHRLICHE BESCHREIBUNG
-
1 veranschaulicht schematisch eine Betriebsumgebung, die ein mobiles Fahrzeugkommunikations- und Steuersystem 10 für ein Kraftfahrzeug 12 umfasst. Das Kommunikations- und Steuersystem 10 für das Fahrzeug 12 beinhaltet im Allgemeinen ein oder mehrere Mobilfunkanbietersysteme 60, ein Festnetz 62, einen Computer 64, eine mobile Vorrichtung 57, wie beispielsweise ein Smartphone, und eine Fernzugriffszentrale 78.
-
Das in 1 schematisch dargestellte Fahrzeug 12 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. Das Fahrzeug 12 beinhaltet ein Antriebssystem 13, das in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten kann.
-
Das Fahrzeug 12 beinhaltet zudem ein Getriebe 14, das so konfiguriert ist, dass es Leistung vom Antriebssystem 13 auf eine Vielzahl von Fahrzeugrädern 15 gemäß wählbaren Drehzahlverhältnissen überträgt. Gemäß verschiedenen Ausführungsformen kann das Getriebe 14 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Fahrzeug 12 beinhaltet zusätzlich Radbremsen 17, die so konfiguriert sind, dass sie ein Bremsmoment an die Fahrzeugräder 15 liefern. Die Radbremsen 17 können in verschiedenen Ausführungsformen Reibungsbremsen, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme, beinhalten.
-
Das Fahrzeug 12 beinhaltet zudem ein Lenksystem 16. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Erfindung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 16 kein Lenkrad beinhalten.
-
Das Fahrzeug 12 beinhaltet ein drahtloses Kommunikationssystem 28, das konfiguriert ist, um drahtlos mit anderen Fahrzeugen („V2V“) und/oder Infrastruktur („V2I“) zu kommunizieren. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 28 konfiguriert, um über einen dedizierten Kurzstreckenkommunikationskanal (DSRC) zu kommunizieren. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden. Drahtlose Kommunikationssysteme, die für die Kommunikation über zusätzliche oder alternative drahtlose Kommunikationsstandards wie IEEE 802.11 und zellulare Datenkommunikation konfiguriert sind, werden jedoch ebenfalls im Rahmen der vorliegenden Erfindung berücksichtigt.
-
Das Antriebssystem 13, das Getriebe 14, das Lenksystem 16 und die Radbremsen 17 stehen mit oder unter der Steuerung von mindestens einer Steuereinheit 22 in Verbindung. Obgleich zu Veranschaulichungszwecken als eine einzige Einheit dargestellt, kann die Steuereinheit 22 zusätzlich eine oder mehrere andere „Steuereinheiten“ beinhalten. Die Steuerung 22 kann einen Mikroprozessor oder eine zentrale Verarbeitungseinheit (CPU) beinhalten, die mit verschiedenen Arten von computerlesbaren Speichervorrichtungen oder Medien in Verbindung steht. Computerlesbare Speichergeräte oder Medien können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Aufrechterhaltungsspeicher („Keep-Alive-Memory, KAM“) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während die CPU ausgeschaltet ist. Computerlesbare Speichergeräte oder Medien können unter Verwendung einer beliebigen Anzahl an bekannten Speichergeräten, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebigen anderen elektrischen, magnetischen, optischen oder kombinierten Speichergeräten implementiert sein, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuereinheit 22 beim Steuern des Fahrzeugs verwendet werden.
-
Die Steuerung 22 beinhaltet ein automatisiertes Antriebssystem (ADS) 24 zum automatischen Steuern verschiedener Stellglieder im Fahrzeug. In einer exemplarischen Ausführungsform ist das ADS 24 ein sogenanntes Level-Drei-Automatisierungssystem. Ein Level-Drei-System zeigt eine „konditionale Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, mit der Erwartung, dass der menschliche Fahrer angemessen auf eine Intervention reagieren wird.
-
Andere Ausführungsformen gemäß der vorliegenden Erfindung können in Verbindung mit den so genannten Level-Eins- oder Level-Zwei-Automatisierungssystemen implementiert werden. Ein Level-Eins-System zeigt die „Fahrerassistenz“ an und bezieht sich auf die Fahrmodus-spezifische Ausführung durch ein Fahrerassistenzsystem von entweder Lenkung oder Beschleunigung/Verzögerung unter Verwendung von Informationen zur Fahrumgebung und mit der Erwartung, dass der menschliche Fahrer alle übrigen Aspekte der dynamischen Fahraufgabe erfüllt. Ein Level-Zwei-System zeigt die „Teilautomatisierung“ an und bezieht sich auf die Fahrmodus-spezifische Ausführung durch ein Fahrerassistenzsystem von sowohl Lenkung als auch Beschleunigung/Verzögerung unter Verwendung von Informationen zur Fahrumgebung und mit der Erwartung, dass der menschliche Fahrer alle übrigen Aspekte der dynamischen Fahraufgabe erfüllt.
-
Noch weitere Ausführungsformen gemäß der vorliegenden Erfindung können ebenfalls in Verbindung mit sogenannten Level-Vier- oder Level-Fünf-Automatisierungssystemen implementiert werden. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
-
In einer exemplarischen Ausführungsform ist das ADS 24 so konfiguriert, dass es das Antriebssystem 13, das Getriebe 14, das Lenksystem 16 und die Radbremsen 17 steuert, um die Fahrzeugbeschleunigung, das Lenken und das Bremsen ohne menschliches Eingreifen über eine Vielzahl von Stellgliedern 30 in Reaktion auf Eingaben von einer Vielzahl von Sensoren 26, wie z. B. GPS, RADAR, LIDAR, optischen Kameras, thermischen Kameras, Ultraschallsensoren und/oder zusätzlichen Sensoren, zu steuern.
-
1 veranschaulicht mehrere vernetzte Geräte, die mit dem drahtlosen Kommunikationssystem 28 des Fahrzeugs 12 kommunizieren können. Eine der vernetzten Vorrichtungen, die über das drahtlose Kommunikationssystem 28 mit dem Fahrzeug 12 kommunizieren können, ist die mobile Vorrichtung 57. Die mobile Vorrichtung 57 kann eine Computerverarbeitungsfähigkeit, einen Sender-Empfänger, der mit einem drahtlosen Nahbereichsprotokoll kommunizieren kann, und eine visuelle Smartphone-Anzeige 59 beinhalten. Die Computerverarbeitungsfähigkeit beinhaltet einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Befehle beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die mobile Vorrichtung 57 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die mobile Vorrichtung 57 eine Mobilfunk-Kommunikationsfunktionalität, wodurch die mobile Vorrichtung 57, wie hierin erläutert, Sprach- und/oder Datenkommunikationen über das Mobilfunkanbietersystem 60 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt. Die visuelle Smartphone-Anzeige 59 kann zudem einen Berührungsbildschirm als grafische Benutzeroberfläche beinhalten.
-
Das Mobilfunkanbietersystem 60 ist vorzugsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen 70 (nur einer dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) 72, sowie alle anderen Netzwerkkomponenten beinhaltet, die zum Verbinden des Mobilfunkanbietersystems 60 mit dem Festnetz 62 erforderlich sind. Jeder Mobilfunkturm 70 beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen von unterschiedlichen Mobilfunktürmen mit der MSC 72 entweder direkt oder über zwischengeschaltete Geräte, wie z. B. eine Basisstationssteuereinheit, verbunden sind. Das Mobilfunkanbietersystems 60 kann jede geeignete Kommunikationstechnologie, darunter auch beispielsweise analoge Technologien, wie z. B. AMPS, oder digitale Technologien, wie z. B. CDMA (z. B. CDMA2000) oder GSM/GPRS, implementieren. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
-
Abgesehen vom Verwenden des Mobilfunkanbietersystems 60 kann ein unterschiedliches Mobilfunkanbietersystem in der Form von Satellitenkommunikation verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem Fahrzeug 12 bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Fernmeldesatelliten 66 und einer aufwärtsgerichteten Sendestation 67 erfolgen. Bei der unidirektionalen Kommunikation kann es sich beispielsweise um Satellitenradiodienste handeln, worin die Programmierinhalte (Nachrichten, Musik usw.) von der Sendestation 67 empfangen, für das Hochladen gepackt und anschließend an den Satelliten 66 gesendet wird, der die Programmierung an die Teilnehmer ausstrahlt. Bei der bidirektionalen Kommunikation kann es sich beispielsweise um Satellitentelefondienste handeln, die den Satelliten 66 verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 12 und der Station 67 weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
-
Das Festnetz 62 kann ein herkömmliches landgebundenes Telekommunikationsnetzwerk sein, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Mobilfunkanbietersystem 60 mit der Fernzugriffszentrale 78 verbindet. So kann beispielsweise das Festnetz 62 ein öffentliches Telekommunikationsnetz (PSTN) beinhalten, wie es beispielsweise verwendet wird, um fest verdrahtete Telefonie, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetzes 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie z. B. drahtlosen lokalen Netzwerken (WLANs) oder Netzwerken, die drahtlosen Breitbandzugang (BWA) bereitstellen oder einer Kombination derselben implementiert sein. Weiterhin muss die Fernzugriffszentrale 78 nicht über das Festnetz 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem Mobilfunkanbietersystem 60, kommunizieren kann.
-
Obgleich in 1 als ein einziges Gerät dargestellt, kann der Computer 64 eine Anzahl von Computern beinhalten, die über ein privates oder öffentliches Netzwerk, wie z. B. das Internet, zugänglich sind. Jeder Computer 64 kann für einen oder mehrere Zwecke verwendet werden. In einer exemplarischen Ausführungsform kann der Computer 64 als ein Webserver konfiguriert sein, der durch das Fahrzeug 12 über das drahtlose Kommunikationssystem 28 und den Mobilfunkanbieter 60 zugänglich ist. Zu anderen derart zugänglichen Computern 64 können beispielsweise gehören: ein Computer in einer Reparaturwerkstatt, der Diagnoseinformationen und andere Fahrzeugdaten vom Fahrzeug über das drahtlose Kommunikationssystem 28 oder einen Speicherort eines Drittanbieters hochgeladen werden können oder aus welchem Fahrzeugdaten oder sonstigen Informationen, entweder durch Kommunikation mit dem Fahrzeug 12, der Fernzugriffszentrale 78, der mobilen Vorrichtung 57 oder einer Kombination aus diesen bereitgestellt werden. Der Computer 64 kann eine durchsuchbare Datenbank und ein Datenbankverwaltungssystem instandhalten, das die Eingabe, Löschung und Änderung von Daten, sowie den Empfang von Anfragen ermöglicht, um Daten innerhalb der Datenbank zu lokalisieren. Der Computer 64 kann zudem für die Bereitstellung von Internetverbindungen, wie z. B. DNS-Diensten, oder als Netzwerkadressenserver verwendet werden, der DHCP oder ein anderes geeignetes Protokoll verwendet, um dem Fahrzeug 12 eine IP-Adresse zuzuweisen.. Der Computer 64 kann mit mindestens einem zusätzlichen Fahrzeug zusätzlich zum Fahrzeug 12 kommunizieren. Das Fahrzeug 12 und alle zusätzlichen Fahrzeuge können gemeinsam als Flotte bezeichnet werden.
-
Wie in 2 dargestellt, beinhaltet das ADS 24 mehrere verschiedene Steuersysteme, einschließlich mindestens eines Wahrnehmungssystem 32 zum Feststellen des Vorhandenseins, der Position, der Klassifizierung und der Bahn der erkannten Eigenschaften oder Objekte in der Nähe des Fahrzeugs. Das Wahrnehmungssystem 32 ist so konfiguriert, dass es Eingaben, wie beispielsweise in 1 veranschaulicht, von einer Vielzahl von Sensoren 26 empfängt und Sensoreingaben synthetisiert und verarbeitet, um Parameter zu erzeugen, die als Eingaben für andere Steueralgorithmen des ADS 24 verwendet werden.
-
Das Wahrnehmungssystem 32 umfasst ein Sensorfusions- und Vorverarbeitungsmodul 34, das die Sensordaten 27 aus der Vielzahl der Sensoren 26 verarbeitet und synthetisiert. Das Sensorfusions- und Vorverarbeitungsmodul 34 führt eine Kalibrierung der Sensordaten 27 durch, einschließlich, aber nicht beschränkt auf LIDAR-zu-LIDAR-Kalibrierung, Kamera-zu-LIDAR-Kalibrierung, LIDAR-zu-Chassis-Kalibrierung und LIDAR-Strahlintensitätskalibrierung. Das Sensorfusions- und Vorverarbeitungsmodul 34 gibt vorverarbeitete Sensorausgaben 35 aus.
-
Ein Klassifizierungs- und Segmentierungsmodul 36 empfängt die vorverarbeitete Sensorausgabe 35 und führt Objektklassifizierung, Bildklassifizierung, Ampelklassifizierung, Objektsegmentierung, Bodensegmentierung und Objektverfolgungsprozesse durch. Die Objektklassifizierung beinhaltet, ist aber nicht beschränkt auf die Identifizierung und Klassifizierung von Objekten in der Umgebung, einschließlich Identifizierung und Klassifizierung von Verkehrssignalen und - zeichen, RADAR-Fusion und -verfolgung, um die Platzierung und das Sichtfeld (FoV) des Sensors und die falsche positive Ablehnung über die LIDAR-Fusion zu berücksichtigen, um die vielen falschen Positiven zu beseitigen, die in einer städtischen Umgebung existieren, wie zum Beispiel Schachtabdeckungen, Brücken, in die Fahrbahn ragende Bäume oder Lichtmasten und andere Hindernisse mit einem hohen RADAR-Querschnitt, die aber nicht die Fähigkeit des Fahrzeugs beeinflussen, entlang seines Kurses zu fahren. Zusätzliche Objektklassifizierungs- und Verfolgungsprozesse, die durch das Klassifizierungs- und Segmentierungsmodell 36 durchgeführt werden, beinhalten, sind aber nicht beschränkt auf Freespace-Erkennung und High-Level-Tracking, die Daten von RADAR-Spuren, LIDAR-Segmentierung, LIDAR-Klassifizierung, Bildklassifizierung, Objektform-Passmodellen, semantischen Informationen, Bewegungsvorhersage, Rasterkarten, statischen Hinderniskarten und andere Quellen verschmelzen, um qualitativ hochwertige Objektspuren zu erzeugen. Das Klassifizierungs- und Segmentierungsmodul 36 führt zusätzlich eine Verkehrssteuerungs-Klassifizierungs- und Verkehrssteuerungsvorrichtungsverschmelzung mit Spurassoziations- und Verkehrssteuerungsvorrichtungsverhaltensmodellen durch. Das Klassifizierungs- und Segmentierungsmodul 36 erzeugt eine Objektklassifizierungs- und Segmentierungsausgabe 37, die eine Objektidentifikationsinformation enthält.
-
Ein Lokalisierungs- und Abbildungsmodul 40 verwendet die Objektklassifizierungs- und Segmentierungsausgabe 37, um Parameter zu berechnen, einschließlich, aber nicht beschränkt auf Schätzungen der Position und Orientierung des Fahrzeugs 12 in sowohl typischen als auch anspruchsvollen Antriebsszenarien. Zu diesen anspruchsvollen Antriebsszenarien gehören unter anderem dynamische Umgebungen mit vielen Autos (z. B. dichter Verkehr), Umgebungen mit großflächigen Obstruktionen (z. B. Fahrbahnbaustellen oder Baustellen), Hügel, mehrspurige Straßen, einspurige Straßen, eine Vielzahl von Straßenmarkierungen und Gebäuden oder deren Fehlen (z. B. Wohn- und Geschäftsbezirke) und Brücken und Überführungen (sowohl oberhalb als auch unterhalb eines aktuellen Straßensegments des Fahrzeugs).
-
Das Lokalisierungs- und Abbildungsmodul 40 enthält auch neue Daten, die als Ergebnis von erweiterten Kartenbereichen erfasst werden, die durch fahrzeugeigene Abbildungsfunktionen erhalten werden, die von Fahrzeug 12 während des Betriebs ausgeführt werden, und Zuordnungsdaten, die über das drahtlose Kommunikationssystem 28 an das Fahrzeug 12 „geschoben“ werden. Das Lokalisierungs- und Abbildungsmodul 40 aktualisiert die vorherigen Kartendaten mit den neuen Informationen (z. B. neue Spurmarkierungen, neue Gebäudestrukturen, Hinzufügen oder Entfernen von Baustellenzonen usw.), während unbeeinflusste Kartenbereiche unverändert bleiben. Beispiele von Kartendaten, die erzeugt oder aktualisiert werden können, beinhalten, sind aber nicht beschränkt auf die Ausweichspurkategorisierung, die Spurgrenzerzeugung, die Spurverbindung, die Klassifizierung von Neben- und Hauptstraßen, die Klassifizierung der Links- und Rechtskurven und die Kreuzungsspurerstellung. Das Lokalisierungs- und Abbildungsmodul 40 erzeugt eine Lokalisierungs- und Abbildungsausgabe 41, welche die Position und Ausrichtung des Fahrzeugs 12 in Bezug auf erkannte Hindernisse und Straßenmerkmale umfasst.
-
Ein Fahrzeug-Odometrie-Modul 46 empfängt Daten 27 von den Fahrzeugsensoren 26 und erzeugt eine Fahrzeug-Odometrie-Ausgabe 47, die beispielsweise Fahrzeugkurs- und Geschwindigkeitsinformation beinhaltet. Ein absolutes Positionierungsmodul 42 empfängt die Lokalisierungs- und Abbildungsausgabe 41 und die Fahrzeug-Odometrieinformation 47 und erzeugt eine Fahrzeugpositionsausgabe 43, die in getrennten Berechnungen verwendet wird, wie unten erörtert wird.
-
Ein Objektvorhersagemodul 38 verwendet die Objektklassifizierungs- und Segmentierungsausgabe 37, um Parameter zu erzeugen, einschließlich, aber nicht beschränkt auf eine Position eines erkannten Hindernisses relativ zum Fahrzeug, einen vorhergesagten Weg des erkannten Hindernisses relativ zum Fahrzeug und eine Position und Orientierung der Fahrbahnen relativ zum Fahrzeug. Daten über den vorhergesagten Weg von Objekten (einschließlich Fußgänger, umliegende Fahrzeuge und andere bewegte Objekte) werden als Objektvorhersageausgabe 39 ausgegeben und in getrennten Berechnungen verwendet, wie unten erörtert wird.
-
Das ADS 24 enthält auch ein Beobachtungsmodul 44 und ein Interpretationsmodul 48. Das Beobachtungsmodul 44 erzeugt eine Beobachtungsausgabe 45, die vom Interpretationsmodul 48 empfangen wird. Das Beobachtungsmodul 44 und das Interpretationsmodul 48 erlauben den Zugriff durch die Fernzugriffszentrale 78. Das Interpretationsmodul 48 erzeugt eine interpretierte Ausgabe 49, die eine zusätzliche Eingabe enthält, die von der Fernzugriffszentrale 78 bereitgestellt wird, sofern vorhanden.
-
Ein Wegplanungsmodul 50 verarbeitet und synthetisiert die Objektvorhersageausgabe 39, die interpretierte Ausgabe 49 und zusätzliche Kursinformationen 79, die von einer Online-Datenbank oder der Fernzugriffszentrale 78 empfangen werden, um einen Fahrzeugweg zu bestimmen, der verfolgt werden soll, um das Fahrzeug unter Beachtung der Verkehrsgesetze und Vermeidung von erkannten Hindernissen auf dem gewünschten Kurs zu halten. Das Wegplanungsmodul 50 verwendet Algorithmen, die konfiguriert sind, um beliebige erkannte Hindernisse in der Nähe des Fahrzeugs zu vermeiden, das Fahrzeug in einer gegenwärtigen Fahrspur zu halten und das Fahrzeug auf dem gewünschten Kurs zu halten. Das Wegplanungsmodul 50 gibt die Fahrzeugweginformationen als Wegplanungsausgabe 51 aus. Die Wegplanungsausgabe 51 beinhaltet eine vorgegebene Fahrzeugroute auf der Grundlage der Route, eine Fahrzeugposition relativ zu der Route, Position und Orientierung der Fahrspuren und das Vorhandensein und den Weg erfasster Hindernisse.
-
Ein erstes Steuermodul 52 verarbeitet und synthetisiert die Wegplanungsausgabe 51 und die Fahrzeugpositionsausgabe 43 zum Erzeugen einer ersten Steuerausgabe 53. Das erste Steuermodul 52 enthält auch die Kursinformation 79, die von der Fernzugriffszentrale 78 im Falle einer Fernübernahmebetriebsart des Fahrzeugs bereitgestellt wird.
-
Ein Fahrzeugsteuermodul 54 empfängt die erste Steuerausgabe 53 sowie die Geschwindigkeits- und Richtungsinformation 47, die von der Fahrzeug-Odometrie 46 empfangen wird, und erzeugt einen Fahrzeugsteuerausgabe 55. Die Fahrzeugsteuerausgabe 55 beinhaltet einen Satz Stellgliedbefehle, um den befohlenen Weg vom Fahrzeugsteuermodul 54 zu erreichen, einschließlich, jedoch nicht beschränkt auf einen Lenkbefehl, einen Schaltbefehl, einen Drosselbefehl und einen Bremsbefehl.
-
Die Fahrzeugsteuerausgabe 55 wird an die Stellglieder 30 übermittelt. In einer exemplarischen Ausführungsform beinhalten die Aktuatoren 30 eine Lenkkontrolle, eine Schaltkontrolle, eine Drosselsteuerung und eine Bremssteuerung. Die Lenksteuerung kann beispielsweise ein Lenksystem 16 steuern, wie in 1 veranschaulicht. Die Gangschaltsteuerung kann beispielsweise ein Getriebe 14 steuern, wie in 1 veranschaulicht. Die Drosselklappensteuerung kann beispielsweise ein Antriebssystem 13 steuern, wie in 1 veranschaulicht. Die Bremssteuerung kann beispielsweise die Radbremsen 17 steuern, wie in 1 veranschaulicht.
-
In einem autonomen Fahrzeug, und insbesondere in einem autonomen Fahrzeug, das von einer Vielzahl von Fahrgästen gemeinsam genutzt werden kann, kann es schwierig sein, zu bestimmen, ob ein Objekt von einem Fahrgast zurückgelassen wurde. Während bei herkömmlichen menschlich angetriebenen Fahrzeugen ein Fahrer die Kabine überprüfen kann, um sicherzustellen, dass keine Gegenstände vergessen wurden, verfügen autonome Fahrzeuge möglicherweise über keine menschlichen Fahrer.
-
Unter nunmehriger Bezugnahme auf die 3 und 4A-4D wird ein Verfahren zum Steuern eines Fahrzeugs gemäß der vorliegenden Erfindung dargestellt. Das Verfahren beginnt bei Block 100 in 3.
-
Ein Referenzbild einer Insassenkabine wird, wie bei Block 102 dargestellt, aufgenommen. Das Referenzbild bezieht sich auf ein Bild des Fahrzeuginnenraums, das vor Beginn eines Fahrzyklus aufgenommen wird, z. B. ohne Insassen in der Kabine. Eine veranschaulichende Insassenkabine 80 des Fahrzeugs 12' ist in 4A dargestellt. Unter den Sensoren 26 ist eine oder mehrere optische Kameras 26' angeordnet, die Bilder der Insassenkabine 80 aufnehmen. In einer exemplarischen Ausführungsform kann das Referenzbild von der optischen Kamera 26' basierend auf einem Befehl der Steuerung 22 aufgenommen werden. Der Befehl kann beispielsweise basierend auf einer Bestimmung, dass sich derzeit keine Insassen im Fahrzeug 12 befinden, generiert werden.
-
Die Insassenkabine 80 ist zusätzlich mit mindestens einem Lichtsteuersystem 82 ausgestattet. Das Lichtsteuersystem 82 steht in Verbindung mit der Steuerung 22 oder wird durch dieses gesteuert. Das Lichtsteuersystem 82 ist betreibbar, um eine Lichtcharakteristik im Fahrzeuginneren zu modifizieren, z. B. um eine Intensität oder Ausrichtung des einfallenden Lichts in der Insassenkabine 80 zu modifizieren. Wie hier verwendet, bezieht sich das einfallende Licht auf Licht, das von einer oder mehreren Innen- oder Außenlichtquellen auf Oberflächen des Insassen fällt. Gemäß einer nicht beanspruchten Ausführungsform beinhaltet das Lichtsteuersystem 82 eine oder mehrere in der Insassenkabine 80 angeordnete Innenleuchten, z. B. eine Lichtkuppel. Gemäß einer erfindungsgemäßen Ausführungsform beinhaltet das Lichtsteuersystem 82 ein oder mehrere Stellglieder, z. B. Stellglieder 30, die konfiguriert sind, um Beschattungen selektiv zu öffnen oder zu schließen, die einem oder mehreren Fahrzeugfenstern oder Schiebedächern zugeordnet sind. In einer dritten exemplarischen Ausführungsform beinhaltet das Lichtsteuersystem 82 ein oder mehrere elektrochrome Fenster, die konfiguriert sind, um die Opazität selektiv zu erhöhen, um das von der Außenseite des Fahrzeugs übertragene Licht zu verringern. Andere Ausführungsformen können andere Lichtsteuersysteme oder eine beliebige Kombination der vorhergehend genannten beinhalten.
-
In einigen Ausführungsformen kann das Erfassen des Referenzbildes der Insassenkabine das Steuern des Lichtsteuersystems 82 beinhalten, um vor der Aufnahme des Bildes eine vordefinierte Referenzlicht-Einstellung bereitzustellen, z. B. durch Schließen aller verfügbaren Fensterblenden und Einschalten aller Innenleuchten der Insassenkabine 80.
-
Nach der Aufnahme des Referenzbildes wird, wie bei Block 104 dargestellt, ein Fahrzyklus durchgeführt, z. B. durch Abholen eines oder mehrerer Fahrgäste und Befördern der Fahrgäste zu ihren Zielorten. Während solcher Fahrzyklen können Fahrgäste Gegenstände im Fahrzeug zurücklassen, z. B. das in 4B dargestellte Objekt 84.
-
Ein erstes Bild der Insassenkabine wird nach Abschluss der Fahrt, wie bei Block 106 dargestellt, aufgenommen. Das erste Bild nach Abschluss der Fahrt kann von der optischen Kamera 26' basierend auf einem Befehl der Steuerung 22 aufgenommen werden. Der Befehl kann beispielsweise basierend auf einer Bestimmung, dass sich derzeit keine Insassen im Fahrzeug 12 befinden, generiert werden. Das erste Bild nach Abschluss der Fahrt weist erste Konfiguration des einfallenden Lichts auf. In einigen Ausführungsformen kann das Aufnehmen des ersten Bildes der Insassenkabine nach Abschluss der Fahrt das Steuern des Lichtsteuerungssystems 82 beinhalten, um die vordefinierte Referenzlicht-Einstellung zu reproduzieren. In solchen Ausführungsformen entspricht die erste Konfiguration des einfallenden Lichts daher der Referenzlicht-Einstellung. In weiteren Ausführungsformen entspricht die erste Konfiguration des einfallenden Lichts dem Umgebungslicht, z. B. von externen Lichtquellen wie Sonne oder Straßenbeleuchtung. Basierend auf Lichtquellen der ersten Konfiguration des einfallenden Lichts wirft das Objekt 84 in der Veranschaulichung von 4C einen ersten Schatten 86.
-
Wie bei Block 108 dargestellt, wird eine Bilddifferenz zwischen dem ersten Bild nach Abschluss der Fahrt und dem Referenzbild bestimmt. Dies kann mit jedem geeigneten Bilddifferenzalgorithmus durchgeführt werden.
-
Wie bei Operation 110 dargestellt, wird bestimmt, ob die Bilddifferenz auf ein in der Kabine 80 zurückgelassenes potentielles Objekt schließen lässt. In einer exemplarischen Ausführungsform kann bestimmt werden, dass ein potenzielles Objekt als Reaktion auf die Bilddifferenz zwischen dem ersten Bild nach Abschluss der Fahrt und dem Referenzbild, das einen Schwellenwert in einem Bereich der Insassenkabine 80 überschreitet, zurückgelassen wurde. Es kann jedoch schwierig sein, anhand eines zweidimensionalen Bildes festzustellen, ob der Unterschied auf ein zurückgelassenes Objekt oder auf einen Fleck oder eine Verfärbung auf Polstern oder Teppichen in der Kabine 80 zurückzuführen ist.
-
Wenn die Bestimmung der Operation 110 negativ ist, d.h. die Bilddifferenz kein potentielles Objekt anzeigt, endet der Algorithmus bei Block 124. Der Algorithmus kann sich dann für einen nachfolgenden Fahrzyklus wiederholen. In einer exemplarischen Ausführungsform kann das erste Bild nach Abschluss der Fahrt als Referenzbild für einen sich daran anschließenden Fahrzyklus wiederverwendet werden.
-
Wenn die Bestimmung des Betriebs 110 positiv ist, werden ein oder mehrere Fahrzeugsysteme gesteuert, um die Ausrichtung und/oder Intensität des einfallenden Lichts, wie bei Block 112 dargestellt, zu ändern. Dadurch wird eine zweite Konfiguration des einfallenden Lichts erzeugt, die sich von der ersten Konfiguration des einfallenden Lichts unterscheidet. In einer exemplarischen Ausführungsform wird das Lichtsteuersystem 82 gesteuert, um die Lichtorientierung und/oder - intensität zu ändern, z. B. durch Ein- und Ausschalten von Innenleuchten, Öffnen oder Schließen eines Fensters oder einer Beschattung oder durch Ändern der Opazität eines oder mehrerer elektrochromer Fenster. In einer weiteren exemplarischen Ausführungsform werden die Fahrzeugstellglieder 30 durch das ADS 24 gesteuert, um das Fahrzeug 12 in einer anderen Ausrichtung relativ zu den Umgebungslichtquellen zu positionieren und um die Ausrichtung des einfallenden Lichts in der Kabine 80 dadurch zu ändern. Basierend auf Lichtquellen der zweiten Konfiguration des einfallenden Lichts wirft das Objekt 84 in der Veranschaulichung von 4D einen zweiten Schatten 86'.
-
Ein sich daran anschließendes Bild der Insassenkabine wird nach Abschluss der Fahrt, wie bei Block 114 dargestellt, aufgenommen. Das sich daran anschließende Bild nach Abschluss der Fahrt kann von der optischen Kamera 26' basierend auf einem Befehl der Steuerung 22 aufgenommen werden. Wie bei Block 116 dargestellt, wird eine Bilddifferenz zwischen dem sich daran anschließenden Bild nach Abschluss der Fahrt und dem ersten Bild nach Abschluss der Fahrt bestimmt. Dies kann mit jedem geeigneten Bilddifferenzalgorithmus durchgeführt werden.
-
Wie bei Operation 118 dargestellt, wird bestimmt, ob die Bilddifferenz auf ein in der Kabine 80 zurückgelassenes Objekt schließen lässt. In einer exemplarischen Ausführungsform kann als Reaktion auf die Bilddifferenz zwischen dem sich daran anschließenden Bild nach Abschluss der Fahrt und dem ersten Bild nach Abschluss der Fahrt, das einen Schwellenwert überschreitet, bestimmt werden, dass ein Objekt zurückgelassen wurde. Eine solche Differenz, die auf der Änderung des einfallenden Lichts basiert, deutet eher auf ein wie in 4D dargestelltes dreidimensionales Objekt, als auf einen Fleck oder eine Verfärbung hin.
-
Als Reaktion darauf, dass die Bestimmung der Operation 118 negativ ist, d.h. die Bilddifferenz kein Objekt anzeigt, kann, wie bei Block 120 dargestellt, auf das Vorhandensein eines Flecks in der Insassenkabine geschlossen werden, welches das Ergreifen von Korrekturmaßnahmen veranlasst. In einer exemplarischen Ausführungsform beinhaltet dies die automatische Steuerung des Fahrzeugs 12 über das ADS 24 zu einer Serviceeinrichtung zur Reinigung. Es können auch andere Korrekturmaßnahmen ergriffen werden. Der Algorithmus endet dann bei Block 124.
-
Als Reaktion darauf, dass die Bestimmung der Operation 120 positiv ist, d.h. die Bilddifferenz ein Objekt anzeigt, kann, wie bei Block 122 dargestellt, auf das Vorhandensein eines Objekts in der Insassenkabine geschlossen werden, welches das Ergreifen von Korrekturmaßnahmen veranlasst. In einer exemplarischen Ausführungsform beinhaltet dies die automatische Benachrichtigung eines oder mehrerer jüngerer Fahrgäste, z. B. durch Benachrichtigung der mobilen Vorrichtung des Fahrgastes, Hupen einer Fahrzeughupe, blinkende Fahrzeugleuchten oder andere geeignete Mittel zur Benachrichtigung. Der Algorithmus endet dann bei Block 124.
-
Abweichungen davon sind natürlich möglich. Als Beispiel können ein oder mehrere weitere Bilder nach Abschluss der Fahrt mit anderen Konfigurationen des einfallenden Lichts aufgenommen werden, um zusätzliche Präzision über die Position, Form, Größe oder andere Eigenschaften von Objekten, die im Fahrzeug zurückgelassen werden, bereitzustellen. Als weiteres Beispiel kann eine Größe des Objekts basierend auf einer Länge des vom Objekt geworfenen Schattens und der Kenntnis der Position der Lichtquelle, die zur Erzeugung des Schattens verwendet wird, berechnet werden. Darüber hinaus können ähnliche Verfahren wie die vorstehend beschriebenen implementiert werden, um Objekte in anderen Erfassungsräumen zu erkennen, z. B. in Fahrzeugkoffern oder auch in nicht automobilen Umgebungen.
