DE102017128294A1 - Fahrzeugumgebung-abbildungssysteme und -verfahren - Google Patents

Fahrzeugumgebung-abbildungssysteme und -verfahren Download PDF

Info

Publication number
DE102017128294A1
DE102017128294A1 DE102017128294.7A DE102017128294A DE102017128294A1 DE 102017128294 A1 DE102017128294 A1 DE 102017128294A1 DE 102017128294 A DE102017128294 A DE 102017128294A DE 102017128294 A1 DE102017128294 A1 DE 102017128294A1
Authority
DE
Germany
Prior art keywords
vehicle
image
controller
parking
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017128294.7A
Other languages
English (en)
Inventor
Jinsong Wang
Xiujie Gao
Wende Zhang
Paul E. Krajewski
Nancy L. Johnson
Timothy J. CANNER
Donald K. Grimm
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102017128294A1 publication Critical patent/DE102017128294A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B60K2360/179
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects

Abstract

Ein Fahrzeug beinhaltet mindestens eine Bilderfassungsvorrichtung und eine Benutzeranzeige, die konfiguriert sind, um Bilder anzuzeigen, die von der mindestens einen Bilderfassungsvorrichtung empfangen werden. Das Fahrzeug beinhaltet auch eine Steuerung, die zur Erzeugung einer Benutzeraufforderung programmiert ist, um eine Ausgangsposition des Fahrzeugs in Reaktion darauf einzustellen, dass das Fahrzeug in einen ersten geparkten Zustand eintritt. Die Steuerung ist auch programmiert, um mindestens ein Referenzbild zu speichern, das einen Bereich in der Umgebung des Fahrzeugs angibt, der der Grundposition des Fahrzeugs entspricht. Die Steuerung ist ferner so programmiert, dass sie ein aktuelles Bild, das einer aktuellen Fahrzeugposition entspricht, in Reaktion auf eine nachfolgende Annäherung in Richtung der Umgebung sammelt und das aktuelle Bild mit dem Referenzbild vergleicht. Die Steuerung ist ferner programmiert, um eine Benutzeranzeige zu erzeugen, die die Umgebung, die gegenwärtige Fahrzeugposition und die Grundposition des Fahrzeugs darstellt.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft Fahrzeugabbildungssysteme und -verfahren zum Bereitstellen von Positionierungshilfe für den Fahrer.
  • EINLEITUNG
  • Um ein Fahrzeug innerhalb eines raumbegrenzten Bereichs, wie einer Garage, zu manövrieren, muss ein Fahrer gleichzeitig die dynamischen Abstände zwischen dem Fahrzeug des Fahrers und anderen Fahrzeugen, Wänden und/oder Objekten kennen. Wenn ein Fahrzeug zu nahe an einem bestimmten externen Gegenstand geparkt ist, kann ein Schaden an dem Fahrzeug und/oder der Wand entstehen, wenn der Fahrer anschließend das Fahrzeug verlässt. Wenn ein Fahrzeug zu nahe an der Rückwand (d. h. der Wand gegenüber dem Garagentor) einer Garage geparkt ist, kann in ähnlicher Weise ein Schaden an dem Fahrzeug und/oder Garagentor entstehen, wenn das Fahrzeug aus der Garageneinfahrt herausragt. wenn das Garagentor geschlossen wird.
  • ZUSAMMENFASSUNG
  • Ein Fahrzeug beinhaltet mindestens eine Bilderfassungsvorrichtung und eine Benutzeranzeige, die zum Anzeigen von Bildern konfiguriert ist, die von der mindestens einen Bilderfassungsvorrichtung empfangen werden. Das Fahrzeug beinhaltet auch eine Steuerung, die zur Erzeugung einer Benutzeraufforderung programmiert ist, um eine Ausgangsposition des Fahrzeugs in Reaktion darauf einzustellen, dass das Fahrzeug in einen ersten geparkten Zustand eintritt. Die Steuerung ist auch programmiert, um mindestens ein Referenzbild, das eine Umgebung des Fahrzeugs anzeigt, die der Grundposition des Fahrzeugs entspricht, in einem nicht flüchtigen Datenspeicher zu speichern. Die Steuerung ist ferner so programmiert, dass sie ein aktuelles Bild, das einer aktuellen Fahrzeugposition entspricht, in Reaktion auf eine nachfolgende Annäherung an die Umgebung erfasst und das aktuelle Bild mit dem Referenzbild vergleicht. Die Steuerung ist ferner programmiert, eine Grafik auf der Benutzeranzeige basierend auf dem Vergleich zu erzeugen, der die Umgebung, die aktuelle Fahrzeugposition und die Grundposition des Fahrzeugs darstellt.
  • Ein Verfahren zum Bereitstellen einer Fahrzeugeinparkhilfe beinhaltet ein Speichern einer Referenzfahrzeugposition basierend auf mindestens einem Positionssignal, das an einer Fahrzeugsteuerung empfangen wird. Das Verfahren beinhaltet auch das Erfassen von mindestens einem Referenzbild, das eine Umgebung des Fahrzeugs anzeigt, während es sich an der Referenzfahrzeugposition befindet. Das Verfahren beinhaltet ferner das Erfassen von zumindest einem aktuellen Bild, das eine aktuelle Fahrzeugposition relativ zu der Referenzfahrzeugposition angibt, in Reaktion auf eine nachfolgende Annäherung an die Umgebung. Das Verfahren beinhaltet ferner ein Erzeugen eines Anzeigebilds, das eine erste Grafik beinhaltet, die die aktuelle Fahrzeugposition anzeigt, und eine zweite Grafik, die die Referenzfahrzeugposition anzeigt.
  • Ein Fahrzeug beinhaltet mindestens eine Bilderfassungsvorrichtung und eine Benutzeranzeige, die konfiguriert ist, um Bilder anzuzeigen, die von der mindestens einen Bilderfassungsvorrichtung empfangen werden. Das Fahrzeug enthält auch eine Steuerung, die programmiert ist, um eine Vielzahl von Datensätzen zu speichern, die eine Referenzfahrzeugposition des Fahrzeugs angeben. Die Datensätze enthalten mindestens ein Referenzbildmuster, das eine Umgebung des Fahrzeugs anzeigt. Die Steuerung ist auch programmiert, um eine Zielgrafik an der Benutzeranzeige anzuzeigen, die die Referenzfahrzeugposition in Reaktion auf eine nachfolgende Annäherung an die Umgebung anzeigt. Die Steuerung ist ferner programmiert, um eine aktuelle Fahrzeugpositionsgrafik mit der Zielgrafik zu überlagern, um einen Fahrer über eine aktuelle Fahrzeugposition relativ zu der Referenzfahrzeugposition zu informieren.
  • Figurenliste
    • 1 ist eine Seitenansicht eines Fahrzeugs mit einem Sichtsystem.
    • 2 ist eine Rückansicht des Fahrzeugs von 1.
    • 3 ist eine Draufsicht auf das Fahrzeug von 1.
    • 4 ist ein Flussdiagramm eines Einparkhilfe-Algorithmus.
    • 5 ist eine Seitenansicht eines Fahrzeugs mit einem Sichtsystem gemäß einem zweiten Beispiel.
    • 6 ist eine Rückansicht des Fahrzeugs von 5.
    • 7 ist eine Draufsicht auf das Fahrzeug von 5.
    • 8 ist eine Rückansicht eines Fahrzeugs mit einem Sichtsystem gemäß einem dritten Beispiel.
    • 9 ist eine Draufsicht auf das Fahrzeug von 8.
    • 10 ist eine Benutzeranzeigeschnittstelle mit Einparkhilfegrafik.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Ausführungsformen der vorliegenden Offenbarung werden hierin beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht unbedingt maßstabsgerecht; einige Merkmale können größer oder kleiner dargestellt sein, um die Einzelheiten bestimmter Komponenten zu veranschaulichen. Folglich sind die hierin offenbarten aufbau- und funktionsspezifischen Details nicht als einschränkend zu verstehen, sondern lediglich als repräsentative Grundlage, um den Fachleuten die verschiedenen Arten und Weisen der Nutzung der vorliegenden Erfindung zu vermitteln. Wie der Fachleute verstehen, können verschiedene Merkmale, die mit Bezug auf beliebige der Figuren dargestellt und beschrieben werden, mit Merkmalen kombiniert werden, die in einer oder mehreren anderen Figuren dargestellt sind, um Ausführungsformen zu erzeugen, die nicht explizit dargestellt oder beschrieben sind. Die dargestellten Kombinationen von Merkmalen stellen repräsentative Ausführungsformen für typische Anwendungen bereit. Beliebige Kombinationen und Modifikationen der Merkmale, die mit den Lehren dieser Offenbarung übereinstimmen, könnten jedoch für bestimmte Anwendungen und Implementierungen erwünscht sein.
  • Unter gemeinsamer Bezugnahme auf 1 bis 3 beinhaltet ein Fahrzeug 10 ein Sichtsystem 12, das konfiguriert ist, um Bilder in einer Vielzahl von das Fahrzeug umgebenden Bereichen zu erfassen, einschließlich, jedoch nicht beschränkt auf Bilder in einer nach vorne gerichteten Richtung, einer nach hinten gerichteten Richtung und/oder Bilder in seitlicher Richtung. Das Sichtsystem 12 beinhaltet mindestens eine sichtbasierte Bildgebungsvorrichtung zum Erfassen von Bildern, die dem Äußeren des Fahrzeugs 10 zum Erfassen der Fahrzeugumgebung entsprechen. Jede der sichtbasierten Bildgebungsvorrichtungen ist an dem Fahrzeug angebracht, sodass Bilder in dem gewünschten Bereich der Fahrzeugumgebung erfasst werden.
  • Eine erste sichtbasierte Bildgebungsvorrichtung 14 ist hinter der vorderen Windschutzscheibe montiert, um Bilder aufzunehmen, die die Umgebung des Fahrzeugs in einer äußeren Vorwärtsrichtung darstellen. In dem Beispiel von 1 bis 3 ist die erste sichtbasierte Bildgebungsvorrichtung 14 eine Vorderansichtskamera zum Erfassen eines Vorwärtssichtfelds 16 des Fahrzeugs 10. In zusätzlichen Beispielen kann eine Bildgebungsvorrichtung in der Nähe eines Fahrzeuggrills, einer Frontblende oder einer anderen Stelle näher an der Vorderkante des Fahrzeugs angeordnet sein. Eine zweite sichtbasierte Bildgebungsvorrichtung 18 ist an einem hinteren Abschnitt des Fahrzeugs angebracht, um Bilder aufzunehmen, die die Umgebung des Fahrzeugs in einer äußeren rückwärtigen Richtung darstellen. Gemäß einem Beispiel ist die zweite sichtbasierte Bildgebungsvorrichtung 18 eine Rückfahrkamera zum Erfassen eines rückwärtigen Sichtfeldes 20 des Fahrzeugs. Eine dritte bildbasierte Bildgebungsvorrichtung 22 ist an einem Seitenabschnitt des Fahrzeugs angebracht, um Bilder aufzunehmen, die die Umgebung des Fahrzeugs in einer äußeren seitlichen Richtung darstellen. Gemäß einem Beispiel ist die dritte sichtbasierte Bildgebungsvorrichtung 22 eine Seitenkamera zum Erfassen eines lateralen Sichtfeldes 24 des Fahrzeugs. In einem spezielleren Beispiel ist eine Seitenansichtskamera an jeder der gegenüberliegenden Seiten des Fahrzeugs 10 montiert (z. B. eine linke Seitenansichtskamera und eine rechte Seitenansichtskamera). Es sollte beachtet werden, dass, obwohl verschiedene Sichtfelder in den Figuren so dargestellt sind, dass sie bestimmte geometrische Muster aufweisen, tatsächliche Sichtfelder eine beliebige Anzahl an unterschiedlichen Geometrien aufweisen können, entsprechend dem Typ der Bildgebungsvorrichtung, der in der Praxis verwendet wird. Während jede der Kameras so dargestellt ist, dass sie an dem Fahrzeug angebracht sind, beinhalten alternative Beispiele äußere Kameras mit Sichtfeldern, die die Umgebung des Fahrzeugs erfassen.
  • Die Kameras 14, 18 und 22 können eine beliebige Art von Bildgebungsvorrichtung sein, die für die hierin beschriebenen Zwecke geeignet ist, die Licht oder andere Strahlung empfangen und die Lichtenergie in ein Pixelformat unter Verwendung von beispielsweise ladungsgekoppelten Vorrichtungen (CCDs) umwandeln kann. Jede der Kameras kann auch betreibbar sein, um Bilder in verschiedenen Bereichen des elektromagnetischen Spektrums zu erfassen, einschließlich Infrarot, Ultraviolett oder im sichtbaren Licht. Die Kameras können auch so betrieben werden, dass sie digitale Bilder und/oder Videodaten in jeder geeigneten Auflösung einschließlich hochauflösender Bilder erfassen. Wie in der vorliegenden Offenbarung verwendet, enthalten Bilddaten entweder einzelne Bilder oder einen Strom von Videobildern. Die Kameras können eine beliebige digitale Videoaufzeichnungsvorrichtung in Verbindung mit einer Verarbeitungseinheit des Fahrzeugs sein. Von den Kameras erfasste Bilddaten werden für nachfolgende Maßnahmen an den Fahrzeugprozessor weitergegeben. So werden beispielsweise Bilddaten von den Kameras 14, 18 und 22 an einen Prozessor oder eine Fahrzeugsteuerung 11 gesendet, der/die die Bilddaten verarbeitet. Im Fall von äußeren Kameras können Bilddaten drahtlos an die Fahrzeugsteuerung 11 zur Verwendung wie in einem der verschiedenen Beispiele der vorliegenden Offenbarung beschrieben übertragen werden. Wie nachstehend ausführlicher erörtert wird, kann der Fahrzeugprozessor 11 programmiert sein, um Bilder und andere Grafiken auf einer Benutzeranzeige zu erzeugen, wie zum Beispiel einem Konsolenbildschirm oder einer Überprüfungsspiegel-Anzeigevorrichtung.
  • Die verschiedenen hierin besprochenen Sichtsystemkomponenten können eine oder mehrere zugeordnete Steuerungen aufweisen, um den Betrieb zu steuern und zu überwachen. Die Fahrzeugsteuerung 11 kann, obwohl sie schematisch als eine einzelne Steuerung dargestellt ist, als eine Steuerung oder als ein System von Steuerungen in Zusammenarbeit implementiert sein, um gemeinsam das Sichtsystem und andere Fahrzeuguntersysteme zu verwalten. Die Kommunikation zwischen mehreren Steuerungen und die Kommunikation zwischen Steuerungen, Stellgliedern bzw. Sensoren kann unter Verwendung einer direkten drahtgebundenen Verbindung, einer vernetzten Kommunikationsbusverbindung, einer drahtlosen Verbindung, eines seriellen peripheren Schnittstellenbusses oder einer beliebigen anderen geeigneten Kommunikationsverbindung erfolgen. Kommunikationsinhalte beinhalten das Austauschen von Datensignalen auf jede beliebige geeignete Art. Hierzu zählen unter anderem z. B. auch elektrische Signale über ein leitfähiges Medium, elektromagnetische Signale über die Luft, optische Signale über Lichtwellenleiter und dergleichen. Datensignale können Signale, die Eingaben von Sensoren repräsentieren, die Stellgliedbefehle repräsentieren und Kommunikationssignales zwischen den Steuerungen beinhalten. In einem speziellen Beispiel kommunizieren mehrere Steuerungen über einen seriellen Bus (z. B. Controller Area Network (CAN)) oder über separate Leiter miteinander. Der Steuerung 11 beinhaltet einen oder mehrere digitale Computer, die jeweils einen Mikroprozessor oder eine zentrale Verarbeitungseinheit (CPU), einen Festwertspeicher (ROM), einen Speicher mit wahlfreiem Zugriff (RAM), einen elektrisch programmierbaren Nur-Lese-Speicher (EPROM), einen Hochgeschwindigkeitstaktgeber, eine Analog-Digital-(A/D) und eine Digital-Analog-Schaltung (D/A), Ein-/Ausgabeschaltungen und Geräte (I/O) sowie entsprechende Signalaufbereitungs- und Pufferschaltungen aufweisen. Die Steuerung 11 kann auch eine Anzahl an Algorithmen oder computerausführbaren Anweisungen in einem nicht flüchtigen Speicher speichern, die erforderlich sind, um Befehle zum Ausführen von Maßnahmen gemäß der vorliegenden Offenbarung zu erteilen.
  • Die Steuerung 11 ist programmiert, um den Betrieb der verschiedenen Sichtsystemkomponenten zu überwachen und zu koordinieren. Die Steuerung 11 steht mit jeder der Bilderfassungsvorrichtungen in Verbindung, um Bilder zu empfangen, die die Umgebung darstellen, und kann die Bilder nach Bedarf speichern, um Einparkhilfe-Algorithmen auszuführen, die unten ausführlicher beschrieben werden. Die Steuerung 146 steht auch mit einer Benutzeranzeige in einem inneren Abschnitt des Fahrzeugs 10 in Verbindung. Die Steuerung ist programmiert, um selektiv relevante Bilder an die Anzeige zu liefern, um Insassen über Zustände in der Umgebung des Fahrzeugs 10 zu informieren.
  • Die Steuerung 11 kann auch in der Lage sein, eine drahtlose Kommunikation unter Verwendung eines internen Sender-Empfängers zu verwenden. Der Sender-Empfänger kann konfiguriert werden, um Signale mit einer Anzahl an externen Komponenten oder Systemen austauscht. Die Steuerung 11 ist programmiert, um Informationen unter Verwendung eines drahtlosen Kommunikationsnetzes 13 auszutauschen. Daten können mit einem entfernten Server 15 ausgetauscht werden, der dazu verwendet werden kann, die bordeigenen Datenverarbeitungs- und die Datenspeicheranforderungen zu reduzieren. In mindestens einem Beispiel führt der Server 15 eine Verarbeitung durch, die sich auf Bildverarbeitung und Analyse bezieht. Der Server kann einen oder mehrere modellbasierte Berechnungsalgorithmen speichern, um Einparkhilfefunktionen auszuführen. Die Steuerung 11 kann ferner mit einem Mobilfunknetz 17 oder einem Satelliten in Verbindung stehen, um eine Position des globalen Positionierungssystems (GPS) zu erhalten. Die Steuerung 11 kann auch in direkter drahtloser Kommunikation mit Objekten in der Umgebung des Fahrzeugs 10 stehen. So kann beispielsweise die Steuerung Signale mit einem Garagentüröffner austauschen, um zu beeinflussen, wann die Garagentür in eine geöffnete oder geschlossene Position betätigt wird, basierend auf Daten, die von dem Sichtsystem 12 erfasst werden.
  • Das Sichtsystem 12 kann zum Erkennen von Straßenmarkierungen, Fahrspurmarkierungen, Straßenschildern oder anderen Straßenobjekten für Eingaben in Spurhaltewarnsysteme und/oder Erkennungssysteme für freie Fahrbahn verwendet werden. Die Identifizierung von Straßenbedingungen und nahegelegenen Objekten kann dem Fahrzeugprozessor bereitgestellt werden, um eine autonome Fahrzeugführung zu führen. Von dem Sichtsystem 12 aufgenommene Bilder, können auch verwendet werden, um zwischen einer Tageslichtbedingung und einer Nachtlichtbedingung zu unterscheiden. Die Identifizierung der Tageslichtbedingung kann in Fahrzeuganwendungen verwendet werden, die Betriebsmodi basierend auf der wahrgenommenen Beleuchtungsbedingung betätigen oder schalten. Als ein Ergebnis eliminiert die Bestimmung der Beleuchtungsbedingung die Notwendigkeit einer dedizierten Lichterfassungsvorrichtung, während eine vorhandene Fahrzeugausrüstung verwendet wird. In einem Beispiel verwendet der Fahrzeugprozessor mindestens eine erfasste Szene von dem Sichtsystem 12 zum Erfassen von Beleuchtungsbedingungen der erfassten Szene, die dann verwendet wird, um eine Dimmfunktion von einer oder mehreren Bildanzeigen, wie etwa einem Rückspiegel oder anderen Außenansichtanzeigen, anzupassen. Zusätzlich zu den oben beschriebenen Funktionen des Sichtsystems beinhalten Aspekte der vorliegenden Offenbarung eine Parkverbesserung, um die Genauigkeit der Fahrzeugpositionierung innerhalb einer bekannten Parkposition zu verbessern.
  • Gemäß Aspekten der vorliegenden Offenbarung werden Bilder, die von dem Sichtsystem 12 erfasst werden, verwendet, um ein Fahrzeugparken an einem vorbestimmten Standort zu verbessern. Genauer gesagt kann das Sichtsystem 12 verwendet werden, um einen Fahrzeugschaden aufgrund eines Kontakts mit Objekten in einem Parkstandort zu verhindern, indem ein Hinweis bereitgestellt wird, dass das Fahrzeug unsachgemäß in einer Parklücke positioniert ist, oder dass eine oder mehrere der Fahrzeugtüren nicht vollständig geschlossen sind, wenn sich einem Parkplatz genähert oder dieser verlassen wird. In einem Beispiel rendern Teile eines Einparkhilfe-Algorithmus eine oder mehrere externe Kameraansichten konditionell an den Fahrer. In einem spezielleren Beispiel kann der Einparkhilfe-Algorithmus in Kombination mit dem Speichern und Vergleichen von Kamerabildmustern verwendet werden, um fortgeschrittene Warnungen und andere Maßnahmen für die Verbesserung der Ein- und Ausfahrt in bzw. aus einer Garage bereitzustellen.
  • Unter Bezugnahme auf 4 stellt ein Verfahren 400 einen exemplarischen Einparkhilfe-Algorithmus dar. Ein Anfangsabschnitt kann beinhalten, dass das Fahrzeug einen gewünschten Heimatparkplatz lernt, der in zukünftigen Parkmanövern verwendet werden soll. In Schritt 402 beinhaltet der Algorithmus das Ermitteln, ob sich das Fahrzeug in einem geparkten Zustand befindet. Der geparkte Zustand ermöglicht es einem Benutzer, den selbstlernenden Teil des Algorithmus zu aktivieren, sodass das Fahrzeug Informationen speichert, die sich auf einen häufigen Parkplatz beziehen, wie zum Beispiel eine Garage. In Schritt 404 kann ein Benutzer den Lernabschnitt durch Bereitstellen einer Eingabe an der Benutzeroberfläche, wie z. B. einer Berührungsbildschirmbenutzeranzeige, auffordern. In alternativen Beispielen kann ein Benutzer den Selbstlernalgorithmus durch Bereitstellen von Eingaben an einem Mobilgerät, das entweder direkt oder über einen externen Server mit dem Fahrzeug in Verbindung stehen kann, auffordern.
  • In Reaktion darauf, dass der Benutzer das Selbstlernen anfordert, beinhaltet der Algorithmus das Ermitteln einer gegenwärtigen Standortsignatur des Fahrzeugs und das Speichern dieser für eine spätere Bezugnahme als eine Fahrzeug-„Heimat“-Position. Während die Begriff „Heimatposition“ in der vorliegenden Offenbarung verwendet wird, sollte erkannt werden, dass ein Fahrer eine „Heimat“-Fahrzeugposition als eine Referenzfahrzeugposition für jeglichen Ort einstellen kann, zu dem der Fahrer zu einem späteren Zeitpunkt zurückkehren möchte. Des Weiteren kann das Fahrzeug konfiguriert sein, um eine beliebige Anzahl an mehreren „Heimat“-Positionen zu speichern und zu verwalten, sodass es eine Vielzahl von bekannten Parkplätzen mit zugeordneten Sichtdaten gibt, auf die bei zukünftigen Annäherungen an einen beliebigen der gespeicherten Parkstandorte zurückgegriffen werden kann. In weiteren alternativen Beispielen kann die Fahrzeugsteuerung programmiert sein, um automatisch mindestens einen Datensatz zu speichern, der eine Referenzfahrzeugposition anzeigt, wenn eine hohe Wahrscheinlichkeit besteht, dass das Fahrzeug in einen Parkzustand an dem gleichen Ort zurückkehren kann (z. B. wiederholte Parkmanöver erkannt).
  • Der gegenwärtige Standort des Fahrzeugs kann aus einer Anzahl an verfügbaren Quellen bestimmt werden. Der Algorithmus kann das Kompilieren mehrerer Ortsindikatoren aus verschiedenen Quellen beinhalten. In einem Beispiel speichert eine Fahrzeugsteuerung Standortinformationen von mindestens einem aus GPS-Standort, Fahrzeug-Telekommunikationsmodul, mobilen Benutzergerät, lokalem Wi-Fi-Netzwerk (z. B. einer SSID einer WLAN-Übertragung) und anderen vernetzte Fahrzeugdatenquellen. Die Kompilierung der mehreren Quellen von Standortdaten kann dazu dienen, eine spezifische Kombination von Standortdaten bereitzustellen, die als Heimatstandortsignatur dient.
  • In Schritt 408 beinhaltet der Algorithmus das Durchführen einer Kameraszenenerkennung, um visuelle Eigenschaften des aktuellen Standorts zu identifizieren. Im Folgenden werden solche visuellen Merkmale näher erläutert, die das Vorhandensein von vorbestimmten Markierungen oder Zielen in einem Sichtfeld, Schnelllese-Tags (QR-Tags), die Informationen in einem 2D-Strichcode enthalten, oder Erkennung von Orientierungsobjekten in der Umgebung des Fahrzeugs beinhalten. Die Verwendung von besonderen visuellen Eigenschaften der Landschaft um das Fahrzeug herum, die durch das Sichtsystem erfasst werden, trägt dazu bei, die Positionierungsgenauigkeit für nachfolgende Parkmanöver an einem zuvor erlernten Standort zu erhöhen. In Schritt 408 beinhaltet der Algorithmus ein Erfassen eines Referenzbilds von einer oder mehreren Bilderfassungsvorrichtungen, die positioniert sind, um Bilder zu erzeugen, die die Umgebung des Fahrzeugs anzeigen. Das eine oder die mehreren Bilder werden erfasst und von dem Fahrzeugprozessor verwendet, um die Bilder mit der Fahrzeug-Ausgangsposition zu verknüpfen. Jedes der Bilder wird als ein Satz von Referenzbildern aufgenommen. In einigen Beispielen werden Abstandinformationen auch in Bezug auf die Nähe von nahegelegenen Objekten oder Markierungen, die von einem Benutzer platziert werden, gesammelt.
  • In Schritt 410 können sowohl der Satz von Referenzbildern als auch die Ausgangsposition in einem Speicher des Fahrzeugprozessors gespeichert werden. Der Referenzdatensatz ist kollektiv mit einer Grundposition des Fahrzeugs assoziiert und kann zur späteren Verwendung abgerufen werden. In einigen Beispielen können Bildmuster und Orte im Laufe der Zeit aktualisiert werden, zum Beispiel auf der Grundlage von Unterschieden zwischen den Jahreszeiten (z. B. Winter/ Sommer) und anderen geringfügigen Änderungen in der Nähe des Parkplatzes. Solche Änderungen können in dem Speicher gespeichert werden, um die gespeicherte Fahrzeug-Ausgangsposition zu aktualisieren und die aktuellsten visuellen Bedingungen an der vorbestimmten Parkposition darzustellen.
  • Zu einem späteren Zeitpunkt beinhaltet der Algorithmus das Erkennen, wann das Fahrzeug zurückkehrt und sich der Grundposition des Fahrzeugs nähert. In Schritt 412 kann das Fahrzeug in einen Einparkhilfeabschnitt des Algorithmus eintreten, um eine genaue Fahrzeugpositionierung zum Parken an der vorbestimmten Stelle oder der Grundposition des Fahrzeugs zu ermöglichen. Gemäß einem Beispiel kann das Fahrzeug eine Benutzeranzeige erzeugen, die abfragt, ob eine Einparkführung durch den Kunden gewünscht wird, um das Fahrzeug an einem identifizierten Parkplatz in der Nähe anzudocken. Wenn in Schritt 412 keine Annäherungsbedingung erfasst wird, kann der Algorithmus das Fortsetzen der Abfrage und die Überwachung einer Annäherung an einen bekannten Parkstandort beinhalten.
  • Wenn im Schritt 412 die Steuerung eine Annäherung an eine vorbestimmte Parkposition erfasst, beinhaltet der Algorithmus das Berechnen einer Fahrzeugannäherungsrichtung, das Erfassen von Echtzeitmustern von Markierungen und/oder Landmarkenobjekten und das Vergleichen der Echtzeitmuster mit zuvor gespeicherten Mustern. Genauer gesagt beinhaltet der Algorithmus in Schritt 414 das Sammeln einer aktuellen Fahrzeugposition basierend auf einer Sammlung aller verfügbaren Standortdaten. Wie oben erörtert, wird jede von mehreren Quellen von Ortsdaten kompiliert, um eine aktuelle Fahrzeugstandortsignatur zu erzeugen.
  • In Schritt 416 beinhaltet der Algorithmus das Erfassen eines oder mehrerer Echtzeitbilder, die die aktuelle Umgebung in der Nähe des Fahrzeugs angeben. Solche Echtzeit-Umgebungsinformationen können nützlich sein, um das Fahrzeug in Richtung der vorbestimmten Parkposition zu führen. In Schritt 418 wird die aktuelle Fahrzeugposition zur Bestimmung einer erforderlichen Bewegung mit der Grundposition des Fahrzeugs verglichen, um die aktuelle Fahrzeugposition der Grundposition des Fahrzeugs anzugleichen. Ein derartiger Vergleich kann einen Vergleichen der Standortdaten beinhalten, um eine grobe Positionierungsführung auf der Grundlage der Makrostandortinformationen zu erlangen. Der Vergleich beinhaltet für eine detailliertere Positionsführung auch einen Vergleichen der Bilddaten, die die Umgebung des Fahrzeugs repräsentieren, um eine präzise Rückkehr zu einer zuvor erlernten Fahrzeugposition zu ermöglichen.
  • Der Algorithmus des Verfahrens 400 beinhaltet auch das Informieren eines Fahrers über den aktuellen Fahrzeugpositionsstatus relativ zu der Grundposition des Fahrzeugs. Bei Schritt 420 beinhaltet der Algorithmus das Erzeugen einer grafischen Benutzeranzeige, um einem Fahrer visuelle Informationen bereitzustellen. Diese Echtzeitinformation kann hilfreich sein, um dem Fahrer Informationen bezüglich des Fortschreitens des Fahrzeugs zum Andocken in der Grundposition des Fahrzeugs zu liefern. Wie nachstehend ausführlicher erörtert wird, kann die Benutzeranzeige zumindest einen Umgebungsbezugspunkt und eine aktuelle Fahrzeugposition relativ zu der Umgebung enthalten. In einem Beispiel ist eine Draufsichtperspektive, wie die Perspektive von 3, vorgesehen, sodass ein Fahrer den vollen Umfang des Fahrzeugs relativ zur Umgebung sehen kann. In einigen alternativen Beispielen kann die visuelle Anzeige des Bezugsrahmens unter Verwendung zusätzlicher Bilddaten von jeder der Vielzahl von externen Kameras erzeugt werden.
  • In Schritt 422 enthält der Algorithmus eine Zulässigkeit für entweder einen autonomen Fahrzeugselbstkopplungsmodus oder einen manuellen Kopplungsmodus, in dem der Fahrer das Fahrzeug in Richtung der gespeicherten Fahrzeuggrundposition lenkt. Wenn im Schritt 422 das autonome Andocken aktiviert wird, werden eine oder mehrere der Fahrzeugführung zugeordnete Steuerungen programmiert, um das Fahrzeug in Schritt 424 autonom von der aktuellen Fahrzeugposition in Richtung der Grundposition des Fahrzeugs zu lenken. In einigen Beispielen ist das autonome Andocken Teil eines umfassenden autonomen Fahrprotokolls. In anderen Beispielen wird das autonome Andocken für ein teilweise autonomes Fahrzeug als ein spezielles Parkmerkmal verwendet, bei dem im Wesentlichen das verbleibende Fahren des Fahrzeugs durch manuelle Steuerung eines Fahrer durchgeführt wird.
  • Wenn in Schritt 422 kein autonomes Andocken aktiviert ist, beinhaltet der Algorithmus das Erzeugen mindestens einer Andockbefehlsnachricht in Schritt 426, um dem Fahrer Anweisungen zum Manövrieren des Fahrzeugs zu geben, um die aktuelle Fahrzeugposition mit der Grundposition des Fahrzeugs anzugleichen. Andockbefehlsnachrichten können beliebige Nummernanweisungen enthalten, um dem Fahrer zu helfen, die Fahrzeugtrajektorie und/oder die augenblickliche Position zu korrigieren. Zum Beispiel kann in dem Fall, in dem das Fahrzeug in eine nach vorne gerichtete Richtung in die Parklücke gefahren wird, eine Rückansicht der Kamera an der Anzeigeschnittstelle vorgesehen sein, und dem Fahrer kann eine Nachricht bereitgestellt werden, wie z. B. „RÜCKANSICHT DARGESTELLT. BITTE FRONT PRÜFEN!“ Die Nachricht kann eine Textanzeigemeldung, eine Audionachricht und von anderen Audiosignalen, Sprachanweisungen, haptischen Warnungen oder anderen Indikatoren begleitet sein. In anderen Beispielen kann ein Grad an Kurskorrektur für den Fahrer bereitgestellt werden, wie zum Beispiel „RAD LEICHT NACH LINKS BEWEGEN“ oder „HART NACH LINKS LENKEN“. In weiteren Beispielen kann ein numerischer Echtzeitlenkindikator bereitgestellt werden, um einen Fahrer anzuweisen, das Lenkrad zum Angleichen an einen optimalen Lenkwinkel zu drehen. Während Nachrichten, die sich auf die Ankunft an einer vorbestimmten Parkstelle beziehen, exemplarisch angegeben sind, werden Nachrichten, die der Abweichung des Raums entsprechen, in alternativen Beispielen wie den unten besprochenen bereitgestellt. Auf diese Weise kann das Fahrzeug unter Verwendung der visuellen Bildgebungsdaten und Standortdaten sicher einen begrenzten Raum verlassen, um einen Fahrer zum Lenken des Fahrzeugs anzuweisen, ohne Objekte in der Fahrzeugnähe zu berühren.
  • Wenn das Fahrzeug in Schritt 428 in einen geparkten Zustand versetzt wird, bestimmt der Algorithmus, dass der Fahrer ein Andockmanöver abgeschlossen hat. Wenn sich das Fahrzeug in Schritt 428 nicht in einem geparkten Zustand befindet, kann der Algorithmus zu Schritt 414 zurückkehren und fortfahren, die gegenwärtige Fahrzeugposition gegen die Referenz-Grundposition des Fahrzeugs sowie die Fahrzeugumgebung abzufragen und zu überwachen.
  • Sobald das Fahrzeug in Schritt 428 in einen geparkten Zustand eingetreten ist, beinhaltet der Algorithmus das Erzeugen einer Parkbewertungsnachricht in Schritt 430. Die Parkbewertungsnachricht kann eine subjektive Angabe der Fahrzeugposition, wie z. B. „SICHER“, „NICHT SICHER“, „BITTE WEITER IN DIE GARAGEN HINEINFAHREN“ oder „ETWAS ZURÜCKFAHREN“ einschließen. In anderen Beispielen enthält die Parkbewertungsnachricht weitere Anweisungen für den Fahrer, um das Fahrzeug von der gegenwärtigen Fahrzeugposition weiter zu einer bevorzugteren Endposition zu bewegen. In einigen Beispielen kann ein Fahrzeug nicht weit genug vorwärts (oder rückwärts) in eine Garage hineingefahren werden, um ein Garagentor schließen zu können. In einem solchen Fall kann eine Nachricht, die den Benutzer über Infrastruktureinrichtungen anweist, bereitgestellt werden, wie beispielsweise „GARAGENTOR NICHT SCHLIESSEN“. In weiteren alternativen Beispielen kann ein Benutzer eine aktualisierte Endposition relativ zu einer zuvor gespeicherten Referenzfahrzeugposition kalibrieren. Das heißt, der Benutzer kann Präferenzen an der Benutzeroberfläche eingeben, um zu bewirken, dass das Fahrzeug eine neue Referenzposition ansteuert, die eine gewünschte Entfernung von einer zuvor gespeicherten Referenzfahrzeugposition ist.
  • in Reaktion darauf, dass der Fahrer das Fahrzeug in Schritt 428 in Parkstellung versetzt, kann der Algorithmus das konditionale Rendern einer Kameraansicht beinhalten, die einem hinteren Abschnitt eines Parkbereichs entspricht. Es sollte beachtet werden, dass der hintere Abschnitt einer Parklücke entweder von einer nach vorn gerichteten Kamera oder einer rückwärts gerichteten Kamera in Abhängigkeit von der Parkausrichtung des Fahrzeugs (d. h. ob das Fahrzeug vorwärts oder rückwärts in die Parklücke gefahren wird) betrachtet werden kann. In einem Beispiel wird ein hinterer Teil einer Garage angezeigt. Der Algorithmus kann ferner ein oder mehrere Garagen-Orientierungspunkte (z. B. Pfosten oder andere feste Merkmale) verwenden, um einen richtigen Parkversatz zu ermitteln. Dann kann ein Vergleich zwischen dem aktuell erfassten Muster und dem gespeicherten Muster durchgeführt werden, um eine Beurteilung zu ermöglichen, ob das Fahrzeug richtig positioniert ist.
  • In weiteren Beispielen kann der Algorithmus beinhalten, dass das Fahrzeug eine Anweisung zum Deaktivieren bestimmter Infrastrukturvorrichtungen bereitstellt, um einen Kontakt mit dem Fahrzeug zu verhindern. In einem Beispiel kann von dem Fahrzeug eine Nachricht gesendet werden, die verhindert, dass ein Garagentor geschlossen wird, wenn sich ein Teil des Fahrzeugs innerhalb eines Schließwegs des Garagentores befindet. Dies kann z. B. durch eine falsche Parkposition oder ein offenes Fahrzeug verursacht werden. Im Fall von vollständig oder teilweise autonomen Fahrzeugen kann der Algorithmus ferner das weitere autonome Fahren des Fahrzeugs in die Parkposition beinhalten, sodass der Bereich nahe einer schließenden Tür frei ist.
  • Unter Rückbezug auf 1 bis 3 können gemeinsam vordefinierte Symbole oder Marker zur Mustererkennung während der Bildsystem-Einparkhilfe verwendet werden. An Wänden, Decken und Fußböden einer Garage kann innerhalb eines Sichtfeldes von einer der mehreren Bildgebungsvorrichtungen eine beliebige Anzahl an Markierungen angebracht sein. Ein Benutzer kann an zwei oder drei Orten in der Nähe der Parkposition vordefinierte Symbole platzieren, die sich in einem oder mehreren Sichtfeldern des Sichtsystems 12 befinden. Unter Berücksichtigung der spezifischen Beispiele, die in den Figuren dargestellt sind, können eine erste Markierung 26 und eine zweite Markierung 28 an einem hinteren Abschnitt einer gewünschten Parkposition angebracht sein, und eine dritte Markierung 30 kann an einem Seitenabschnitt der gewünschten Parkposition angebracht sein. Die erste Markierung 26 und eine zweite Markierung 28 sind so positioniert, dass sie sich innerhalb des vorderen Sichtfeldes 16 befinden. In ähnlicher Weise befindet sich die dritte Markierung 30 innerhalb des lateralen Sichtfeldes 24. Ähnlich wie zuvor erörterte Beispiele kann ein Fahrer das Fahrzeug in einer gewünschten Parkposition parken und dann den Selbstlernprozess aktivieren, während dessen der Fahrzeugprozessor die Fahrzeugposition und -ausrichtung basierend auf dem Ort und der Größe der Markierungen innerhalb seiner Ansicht berechnet. Der Prozessor kann die Kombination der zuvor lokalisierten Markierungen als ein visuelles Muster speichern, das die Grundposition des Fahrzeugs bezeichnet. Der Standort der Vielzahl von Markierungen kann auch als Teil der Benutzeranzeige angezeigt werden, um den Referenzrahmen für den Fahrer zu verbessern.
  • Bestimmte Markierungsarten können verwendet werden, um Informationen bereitzustellen oder Daten an das Fahrzeug zu übertragen. In alternativen Beispielen kann ein Kunde einen oder mehrere vordefinierte Schnellantwortcodes (QR-Codes) an Orten in einem Parkbereich positionieren, die sich in einem Sichtfeld des Sichtsystems 12 befinden. QR-Codes sind im Allgemeinen eine Art maschinenlesbares optisches Etikett, das üblicherweise Informationen über einen Gegenstand enthält, an dem sie angebracht sind. QR-Codes können beliebige Standardcodierungstypen enthalten und aus schwarzen Quadraten bestehen, die in einem quadratischen Raster auf einem weißen Hintergrund angeordnet sind und von einer Bildgebungsvorrichtung wie einer Kamera gelesen werden können. Das Bild des QR-Codes kann zum Extrahieren von Daten aus Mustern verarbeitet werden, die sowohl in horizontalen als auch in vertikalen Komponenten des Bildes vorhanden sind.
  • QR-Codes, die als Teil einer oder mehrerer Markierungen enthalten sind, können als Marketing-Tool verwendet werden, das Links zu einer oder mehreren relevanten Unternehmens-Webseiten bereitstellt. In einem Beispiel werden Markeninformationen, die auf Fahrer des bestimmten Trägerfahrzeugs gerichtet sind, an der Benutzeroberfläche während einer Fahrzeug-Selbstparkprozedur in Reaktion auf die Erfassung des QR-Codes bereitgestellt. In anderen Beispielen kann Information, die in den QR-Codes enthalten ist, zu der Bestimmung verwendet werden, ob der Selbstparkmodus aktiviert werden soll oder nicht. Genauer gesagt kann das Sichtsystem die QR-Codes erfassen, während es in die Parkposition fährt, und auf die in dem 2D-Code enthaltenen Daten, wie zum Beispiel Fahrzeugidentifikationsinformationen, verweisen. Wenn die QR-Code-Information nicht mit der des aktuell parkenden Fahrzeugs übereinstimmt, kann der QR-Code zum Zweck des Parkens ignoriert werden. Wenn der Code übereinstimmt, kann die Fahrzeugsteuerung die QR-Code-Standorte als Standortreferenzmarkierungen verwenden, wie oben erläutert.
  • Unter Bezugnahme auf 5 bis 7 können optisch projizierte Muster auch verwendet werden, um Einparkhilfemerkmale zu verbessern, ohne Markierungen im Bereich der Parkposition anzubringen. Das Fahrzeug 50 ist mit mindestens Bilderfassungsvorrichtungen 14, 18 und 22 versehen, die Sichtfelder 16, 20 bzw. 24 aufweisen. Wie oben beschrieben, stehen die Bilderfassungsvorrichtungen zum Empfang von Bilddaten mit einer Fahrzeugsteuerung 51 in Verbindung. Das Fahrzeug 50 ist auch mit mindestens einer Projektionsvorrichtung versehen, um ein externes Bild auf Bereiche abzubilden, die das Fahrzeug umgeben. Mindestens eine nach vorne gerichtete Projektionsvorrichtung 54 und eine nach hinten gerichtete Projektionsvorrichtung 58 geben beim Eintritt in eine bekannte Parksituation ein vordefiniertes Bild ab. Die vorderen Projektionsfelder 56 und die hinteren Projektionsfelder 60 sind so ausgerichtet, dass, wenn sich Oberflächen eines zuvor gespeicherten Standortes in der Nähe des Fahrzeugs 50 befinden, optische Muster 62 und 64 innerhalb des Sichtfelds des Sichtsystems liegen. In einem Beispiel projizieren ein Fahrzeugscheinwerfer und/oder eine Rückleuchte ein oder mehrere optische Muster auf eine Wandfläche einer Garage.
  • Die Fahrzeugsteuerung 51 kann programmiert sein, um einen Selbstlernalgorithmus auszuführen, wie oben erörtert. Ähnlich wie in vorherigen Beispielen kann ein Fahrer das Fahrzeug 50 an einem optimalen Parkstandort abstellen und einen „Parkplatzlernvorgang“ aktivieren, während dessen das Fahrzeug 50 seine Position und Ausrichtung berechnet und Bilder speichert, die die Umgebung des Fahrzeugs repräsentieren. In dem Beispiel von 5 bis 7 enthalten die gespeicherten Bilder optische Muster 62 und 64, die durch die von den Projektionsvorrichtungen 54 bzw. 58 ausgegebenen Bilder verursacht werden. Die Fahrzeugsteuerung kann ferner programmiert werden, um die Berechnungsgenauigkeit der Fahrzeugortungs- und -ausrichtung basierend auf der Position und Größe der optischen Muster, die innerhalb eines Sichtfelds projiziert werden, zu verbessern. In einem spezifischen Beispiel erzeugt die Steuerung eine Schätzung eines vorderen Abstands 66 zu einer nahen vorderen Oberfläche und/oder einen rückwärtigen Abstand 68 zu einer nahen rückwärtigen Oberfläche basierend auf der Größe und Position der optischen Muster 62 und 64.
  • Bezugnehmend auf 8 und 9 beinhaltet ein weiteres Beispiel einer Einparkhilfe, die durch ein Sichtsystem 92 bereitgestellt wird, ein Erkennen von in Umgebungsbildern enthaltenen geometrischen Mustern, die der vorbestimmten Parkposition entsprechen. Ähnlich wie in vorherigen Beispielen kann ein Fahrer ein Fahrzeug 90 an einem optimalen Parkstandort parken und einen „Parkplatzlern“-Prozess aktivieren, während dessen das Fahrzeug seinen Standort basierend auf einer Anzahl innerhalb von Sichtfeldern gefundenen Standortcharakteristiken berechnet. Feste native Umgebungsobjekte, die visuell erfasst werden, wie z. B. Schränke 106 und Türrahmen 110, können verwendet werden, um die Genauigkeit der Position des Fahrzeugs 90 zu bewerten. In anderen Szenarien, wie z. B. dem Andocken eines Fahrzeugs an einem Außenparkplatz, können beispielsweise Bodenmarkierungen, Schilder und Parkuhren visuell als stationäre Gegenstände erfasst und ähnlich zur Fahrzeugpositionierung verwendet werden. Eine Anzahl an verschiedenen festen visuellen Attributen in der Nähe des Fahrzeugs 90 in der Parkposition kann verwendet werden, um das Parken basierend auf den Bildmustern zu unterstützen, die beim Eintritt des Fahrzeugs in den Parkbereich gesammelt werden.
  • Wenigstens ein Teil von mehreren nicht-stationären Gegenständen, wie z. B. Mülltonne 108 und angrenzendes Fahrzeug 40, kann auch innerhalb eines oder mehrerer Sichtfelder erfasst werden. In dem Beispiel von 8 erfasst das vordere Sichtfeld 96, das dem vorderen Ende des Fahrzeugs 90 entspricht, sowohl stationäre als auch nicht-stationäre Gegenstände. Während der Ort der Mülltonne 108 und/oder des angrenzenden Fahrzeugs 40 relativ konsistent sein kann, kann der Austausch der nicht-stationären Gegenstände zu Zeitpunkten variieren, in denen jeder Gegenstand an seinen vorherigen Ort zurückgebracht wird. Eine derartige Variation kann von dem Sichtsystem 92 während aufeinanderfolgender Einparkmanöver wahrgenommen werden. Die Mustererkennungsabschnitte des Einparkhilfe-Algorithmus können eine Gewichtung für bestimmte Merkmale eines gegebenen Musters enthalten. Genauer gesagt kann während jedes nachfolgenden Einparkmanövers Gegenständen, die keine Änderung der Position anzeigen, eine erhöhte Konfidenz in Bezug auf ihren entsprechenden Ort zugewiesen werden. Im Gegensatz dazu können Gegenstände, die eine Veränderung der Position gegenüber früheren Bildern zeigen, eine verminderte Konfidenz erhalten oder vollständig aus den Positionsberechnungen weggelassen werden. Während solche nicht-stationären Gegenstände zur endgültigen Positionierung nicht herangezogen werden können, werden diese Objekte während der Annäherung und Abfahrt des Fahrzeugs immer noch erkannt und vermieden. Unter spezieller Bezugnahme auf das Beispiel von 8 kann der Abschnitt 112 eines Bildmusters, das den Schränken 106 und dem Abschnitt 114 entspricht, der dem Türrahmen 110 entspricht, eine geringe oder keine Variation zwischen Parkmanövern zeigen. Somit kann dieser Teil des Bildmusters eine hohe Gewichtung in dem Einparkhilfe-Algorithmus erhalten. Im Vergleich dazu kann der Abschnitt 116, der der Mülltonne 108 entspricht, eine Variation aufgrund unterschiedlicher Platzierungen des nicht stationären Gegenstands zwischen Parkmanövern aufweisen. Demzufolge kann dem Abschnitt 116 in dem Einparkhilfe-Algorithmus ein geringes Gewicht verliehen oder er kann insgesamt maskiert werden. Der Algorithmus kann so konfiguriert sein, dass er unter Verwendung von Daten, die während aufeinanderfolgender Einparkmanöver erfasst wurden, fortfährt, selbst zu lernen, und eine erhöhte Konfidenz in Bezug auf visuelle Muster entwickelt, die zum Führen der Fahrzeugpositionierung verwendet werden.
  • Unter Bezugnahme auf 10 ist die Einparkhilfe-Benutzeranzeige 200 ein exemplarischer Aspekt einer Fahrerfahrung beim Parken. Die Benutzeranzeige 200 ist in einen ersten Anzeigeabschnitt 202 aufgeteilt, der einen 360 Grad-Umfang der Draufsicht des Fahrzeugs 204 darstellt, und einen zweiten Anzeigeabschnitt 206, der ein Echtzeitbild entsprechend der Bildvorrichtung am vorderen Ende des Fahrzeugs zeigt. Die Benutzeranzeige kann konfiguriert sein, um automatisch zu einer Einparkhilfeanzeige zu wechseln, wenn sich das Fahrzeug einem zuvor gespeicherten Parkstandort nähert. Wie oben erläutert, kann die Erkennung eines zuvor bekannten Parkplatzes auf einer beliebigen Anzahl an Standortindikatorsignalen, die an einer Fahrzeugsteuerung empfangen werden, und auf visuellen Mustern innerhalb eines oder mehrerer Sichtfelder von Bilderfassungsvorrichtungen beruhen. Der erste Anzeigeabschnitt 202 der Benutzeranzeige enthält ein Ziel 208, das die gewünschte endgültige Parkposition innerhalb des Parkbereichs darstellt. Die Position des Ziels 208 wird durch die oben erörterten Techniken bestimmt, wobei sowohl Positionsdaten als auch visuelle Muster verwendet werden, die während mindestens einer vorherigen Selbstlernprozedur erfasst wurden.
  • In einem Beispiel bleibt der Bezugsrahmen der 360-Grad-Umfangsansicht des ersten Anzeigeabschnitts 202 fest und die Position des Ziels 208 bewegt sich relativ zu dem Bild des Fahrzeugs 204, wenn sich das Fahrzeug der endgültigen Parkposition nähert. Unter weiterer Bezugnahme auf 10 schreitet das Ziel 208 durch die Position 208" und die Position 208' entlang der Richtung 210 fort, wenn sich das Fahrzeug der endgültigen Parkposition nähert. Eine solche Progression hilft dem Fahrer zu wissen, wo er sein Auto anhalten kann und ob das Fahrzeug relativ zum bevorzugten Parkplatz außerhalb des Winkels ausgerichtet ist.
  • Der zweite Anzeigeabschnitt 206 beinhaltet aktive Leitlinien 212 und 214, die bevorstehende Positionen von Seitenkanten des Fahrzeugs darstellen, wenn es sich dem Parkplatz nähert. Die Leitlinien werden entsprechend dem Lenkwinkel des Fahrzeugs aktualisiert, um eine entsprechende Krümmung des Fahrwegs darzustellen. Während derartige Leitlinien im Stand der Technik allgemein bekannt sind, beinhalten Aspekte der vorliegenden Offenbarung das weitere Modifizieren der Position der Leitlinien basierend auf dem vorbestimmten Standort der bevorzugten endgültigen Parkposition. In einigen Beispielen werden die Leitlinien modifiziert, um eine Konvergenz der Fahrzeugposition in Richtung der bevorzugten endgültigen Parkposition zu fordern. In zusätzlichen Beispielen wird das Ziel 208 in dem zweiten Anzeigeabschnitt 206 zusammen mit den Leitlinien 212 und 214 angezeigt, um dem Fahrer eine zusätzliche Echtzeitbeurteilung des Parkfortschritts bereitzustellen.
  • In zusätzlichen Beispielen kann ein Sichtsystem, das den oben erörterten ähnlich ist, verwendet werden, um ein Einfahren des Fahrzeugs in eine Parklücke zu verhindern oder diesem entgegenzuwirken, wenn dies einen Fahrzeugschaden verursachen kann. Zum Beispiel kann ein Einparkhilfe-Algorithmus das Ausführen eines Bestätigungsschrittes beinhalten, um sicherzustellen, dass keine der Fahrzeugtüren vor dem Eintritt in einen bekannten geschlossenen Parkplatz, wie eine Garage, offen ist. Insbesondere im Fall eines höheren Fahrzeugs, wie zum Beispiel eines Geländewagens (SUV) mit einer nach oben schwingenden Heckklappe, kann der Algorithmus prüfen, um sicherzustellen, dass die Heckklappe geschlossen ist, bevor das Einparkhilfeverfahren aktiviert wird. Eine offene Heckklappe kann einen unerwünschten Kontakt mit dem Garagentor oder anderen Teilen der Garagenstruktur über dem Fahrzeug herstellen. Gemäß einem Beispiel beinhaltet der Algorithmus das Überwachen eines Signals von einem Verschlussplattenzustandssensor, wie beispielsweise einem Heckklappenöffnungsschalter, für eine Anzeige, dass die Heckklappe vor dem Eintreten des Garagenparkbereichs geschlossen ist. Gemäß Aspekten der vorliegenden Offenbarung kann die Fahrzeugsteuerung so programmiert sein, dass sie eine Position der Verschlussplatte basierend auf einem Signal von einem Verschlussplattenzustandssensor erfasst und eine Warnnachricht ausgibt, um eine Annäherung an die Referenzfahrzeugposition in Reaktion auf die die Erkennung einer Verschlussplatte in einer offenen Position zu verhindern.
  • Gemäß einem anderen Beispiel kann sich das Fahrzeug auf ein oder mehrere gespeicherte Basislinienbilder stützen, die unter Verwendung einer an der Heckklappe montierten Kamera erfasst werden, um die Position der Heckklappe zu ermitteln (d. h. ob offen oder geschlossen). Die Basislinienbilder können während der Annäherung an den gewünschten Parkplatz erfasst werden, sodass die gespeicherten Bilder die erforderlichen Bedingungen darstellen, um den Parkplatz zu aktivieren. Zum Beispiel kann das Basislinienbild eine Sammlung von einem oder mehreren Bildmustern enthalten, einschließlich einer Zufahrt, die zu dem Parkplatz führt. Im Falle einer offenen Heckklappe würde die Ausrichtung der Heckklappenkamera das Sichtfeld der Kamera verändern. Daher würde sich das Bild, das bei offener Heckklappe aufgenommen wird, deutlich von einem Basisbild unterscheiden, und der Algorithmus kann ermitteln, dass sich die Heckklappe in einer offenen Position befindet. In einigen Beispielen kann ein Himmelbildmuster zuvor gespeichert werden, sodass der Algorithmus eine offene Heckklappenposition erfassen kann, die eine im Wesentlichen nach oben in Richtung des Himmels ausgerichtete Kamera aufweist. Wenn sich das Fahrzeug dem Garagenstandort nähert, kann der Algorithmus ein Berechnen einer aktuellen Fahrtrichtung, ein Erfassen von aktuellen Bildmustern unter Verwendung der Heckklappenkamera und dann einen Vergleichen der aktuellen Bildmuster mit gespeicherten Bildmustern beinhalten. In weiteren Beispielen kann der Algorithmus ein erstes Bildmuster speichern, das der Annäherung einer Rückwärtsfahrt-Parkrichtung zugeordnet ist, und ein zweites Bildmuster, das einer Vorwärtsfahr-Parkrichtung zugeordnet ist. Das Speichern von Bildern für beide Richtungen würde verhindern, dass ein Fahrer vorwärts oder rückwärts fährt, während sich eine Verschlussplatte in einer offenen Position befindet. Im Falle eines autonomen Fahrzeugs kann der Algorithmus ferner das Stoppen eines Einparkmanövers in Reaktion auf das Erfassen einer offenen Heckklappe beinhalten.
  • Die offenen Schließplattenabschnitte des Einparkassistenz-Algorithmus können in ähnlicher Weise bei der Abfahrt von einem Parkstandort angewendet werden. Wenn sich eine Verschlussplatte in einer offenen Position befindet, wenn ein geschlossener Parkraum verlassen wird, besteht die Gefahr einer Berührung zwischen dem Fahrzeug und der Struktur des Parkraums. Der Einparkhilfe-Algorithmus kann das Ausführen eines Bestätigungsschrittes vor dem Abfahren von einer Parkposition beinhalten, um sicherzustellen, dass alle Verschlussplatten geschlossen sind. Gemäß einem Beispiel beinhaltet der Algorithmus das Überwachen eines Signals von mindestens einem Schalter für eine offene Verschlussplatte für eine Anzeige, dass die Heckklappe vor dem Verlassen des Garagenparkbereichs geschlossen ist. Ähnlich wie bei der oben besprochenen Himmelsmustererfassung und -speicherung kann der Algorithmus ferner das Erfassen eines Garagendach-Bildmusters in Reaktion darauf umfassen, dass eine Heckklappe geöffnet wird, wenn sich das Fahrzeug innerhalb der Garage befindet. Das Garagendach-Bildmuster kann mit einem Echtzeitbild verglichen werden, das von der Heckklappenkamera erfasst wird, um zu ermitteln, ob das Bild dem Garagendach-Bildmuster oder einem Bildmuster des Abfahrtweges der Zufahrt entspricht. Wenn das Garagendach-Bildmuster erfasst wird, kann eine Warnung an den Fahrer ausgegeben werden, um eine Fahrzeugabfahrt zu abzuwenden, und/oder eine Abfahrt des Fahrzeugs kann verhindert werden. Gemäß Aspekten der vorliegenden Offenbarung kann die Fahrzeugsteuerung so programmiert sein, dass sie eine Position einer Verschlussplatte basierend auf einem Bildmuster erfasst, das einer bekannten Verschlussplattenposition zugeordnet ist, und einen Befehl ausgibt, um eine Abfahrt von der Referenzfahrzeugposition in Reaktion auf darauf zu verhindern, dass eine Verschlussplatte in einer offenen Position erfasst wird.
  • In weiteren Beispielen kann ein Sichtsystem ähnlich den oben erörterten verwendet werden, um eine Abfahrt des Fahrzeugs aus einer Garage zu verhindern oder dieser entgegenzuwirken, wenn ein Garagentor nicht vollständig geöffnet ist oder eine andere Parkbereichssperre den Fahrzeugabfahrtsweg behindert. Der Einparkhilfe-Algorithmus kann ein Erfassen eines Abfahrtswegbilds beinhalten, wenn das Garagentor vollständig geöffnet ist. Bevor der Fahrer eine Fahrzeugbewegung zur Abfahrt einleiten kann, kann der Algorithmus das Ausführen eines Bestätigungsschrittes beinhalten, um sicherzustellen, dass das Garagentor vollständig geöffnet ist. Ein aktuelles Bild, das dem vorderen Ende des Fahrzeugs entspricht, kann verwendet werden, um den Zustand des Garagentors vor dem Abfahren des Fahrzeugs zu ermitteln. Abhängig von der Parkausrichtung des Fahrzeugs kann das vordere Ende des Fahrzeugs entweder das vordere Ende oder das hintere Ende sein. Der Algorithmus kann das aktuelle Bild mit dem gespeicherten Bildmuster des Abfahrtweges vergleichen, um zu ermitteln, ob das Garagentor vollständig geöffnet ist. Wenn sich das Fahrzeug aus einer erkannten Garagenposition bewegt, wird mit der Berechnung des Weges begonnen, Muster werden erfasst und mit gespeicherten Mustern verglichen. In weiteren Beispielen kann der Algorithmus die Zeit begrenzen, für die der Motor laufen darf, wenn erkannt wird, dass sich das Garagentor in einem geschlossenen Zustand befindet. Der Algorithmus kann ferner das Übertragen einer Warnnachricht an einen Kunden oder an Behörden für eine mögliche Abgasvergiftung beinhalten. In alternierenden Beispielen kann verhindert werden, dass der Motor gestartet wird, wenn das Sichtsystem erfasst, dass sich das Fahrzeug in einem geschlossenen Raum befindet. Gemäß Aspekten der vorliegenden Offenbarung kann die Steuerung ferner so programmiert sein, dass sie eine Warnnachricht ausgibt, um eine Abfahrt von der Grundposition des Fahrzeugs in Reaktion auf die Erfassung der Parkbereichssperre, die einen Fahrzeugabfahrtsweg blockiert, zu verhindern.
  • In zusätzlichen weiteren Beispielen enthält ein Einparkhilfe-Algorithmus das bedingte Rendern einer Außenansicht von einer oder mehreren Kameras oder anderen Bildgeräten, nachdem das Fahrzeug in „Parken“ versetzt wurde. Sichtbare Muster aus den Bildern werden verwendet, um die Genauigkeit der relativen Merkmale der geparkten Fahrzeugposition gegenüber den externen Mustern zu bewerten. Wenn das Fahrzeug nicht gut positioniert ist, enthält der Algorithmus eine Warnmeldung an den Fahrer bezüglich einer suboptimalen Parkpositionierung. Die Warnmeldung kann über das Benutzerdisplay über Text oder andere Grafiken und/oder über eine akustische Sprachwarnung erfolgen. In dem Fall eines Parkplatzes, der Farbmarkierungen aufweist, kann der Algorithmus solche Markierungen als Grenzen eines gewünschten Parkplatzes erkennen und eine Warnnachricht in Reaktion darauf erzeugen, dass die Fahrzeugposition um mehr als einen Zentrierungsschwellenwert dezentriert ist. In ähnlicher Weise kann der Algorithmus eine Warnmeldung in Reaktion darauf erzeugen, dass das Fahrzeug um mehr als eine Winkelausrichtungsschwellenwert von dem Winkel abweicht. Zusätzlich kann der Algorithmus eine Warnmeldung in Reaktion darauf erzeugen, dass das Fahrzeug weiter in den gewünschten Parkraum hinein positioniert ist, als einen Tiefenschwellenwert. In alternativen Beispielen können visuelle Merkmale basierend auf Fahrzeugen erzeugt werden, die an einen gewünschten Parkplatz angrenzen. Ähnliche Zentrierungs- und Ausrichtungsbewertungen werden unter Verwendung der angrenzenden Fahrzeuge entwickelt. In Beispielen wird die Kameraansicht initiiert, bevor das Fahrzeug in die Parkstellung versetzt wird.
  • Während die oben erörterten Systeme und Verfahren im Kontext eines Personenkraftfahrzeugs präsentiert werden, sollte erkannt werden, dass das Fahrzeug jede Art von mobilem Objekt sein kann, das konfiguriert ist, um wiederholt zu bekannten Orten zurückzukehren. Zum Beispiel kann ein unbemanntes Drohnenfahrzeug mit einem Wächtermuster oder einer anderen bekannten Route so programmiert werden, dass es auf der Basis der hier besprochenen Techniken in eine Ausgangsposition zurückkehrt. In solchen Fällen kann eine Benutzeroberfläche von dem Fahrzeug entfernt sein und es einem Benutzer ermöglichen, Einstellungen und Verhalten unter Verwendung von Daten anzuordnen, die von dem Sichtsystem erfasst werden.
  • Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, der jede vorhandene programmierbare elektronische Steuereinheit oder eine dedizierte elektronische Steuereinheit beinhalten kann, bereitgestellt und/oder implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien, wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmwarekomponenten verkörpert werden.
  • Während exemplarische Ausführungsformen vorstehend beschrieben sind, ist es nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen beschreiben, die von den Ansprüchen herbeigeführt werden. Vielmehr dienen die in der Spezifikation verwendeten Worte der Beschreibung und nicht der Beschränkung und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Wie zuvor beschrieben, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden, die nicht explizit beschrieben oder veranschaulicht werden. Während verschiedene Ausführungsformen beschrieben worden sein könnten, um Vorteile zu bieten oder gegenüber anderen Ausführungsformen oder Implementierungen des Standes der Technik in Bezug auf eine oder mehrere gewünschte Merkmale bevorzugt zu sein, werden Fachleute auf dem Gebiet erkennen, dass ein oder mehrere oder Eigenschaften beeinträchtigt werden können, um gewünschte Gesamtsystemattribute zu erreichen, die von der spezifischen Anwendung und Implementierung abhängen. Diese Eigenschaften können beinhalten, sind aber nicht beschränkt auf Kosten, Festigkeit, Haltbarkeit, Lebenszykluskosten, Marktfähigkeit, Aussehen, Verpackung, Größe, Gebrauchstauglichkeit, Gewicht, Herstellbarkeit, Montagefreundlichkeit, usw. Als solches liegen Ausführungsformen, die als weniger wünschenswert im Vergleich zu anderen Ausführungsformen oder Implementierungen des Standes der Technik in Bezug auf eine oder mehrere Merkmale beschrieben sind, nicht außerhalb des Umfangs der Offenbarung und können für bestimmte Anwendungen wünschenswert sein.

Claims (10)

  1. Fahrzeug, umfassend: mindestens eine Bilderfassungsvorrichtung; eine Benutzeranzeige, die konfiguriert ist, um von der mindestens einen Bilderfassungsvorrichtung empfangene Bilder anzuzeigen; und eine Steuerung, programmiert, in Reaktion auf eine Benutzeraufforderung zum Einstellen einer Grundposition des Fahrzeugs, das Speichern von mindestens einem Referenzbild in einem nicht flüchtigen Datenspeicher, das eine Umgebung des Fahrzeugs angibt, die der Position des Fahrzeugs entspricht, in Reaktion auf eine nachfolgende Annäherung an die Umgebung, zum Erfassen eines aktuellen Bildes, das einer aktuellen Fahrzeugposition entspricht, zum Vergleichen des aktuellen Bildes mit dem Referenzbild, und zum Erzeugen einer Grafik auf der Benutzeranzeige basierend auf dem Vergleich, der Grafik, die die Umgebung darstellt, der aktuellen Fahrzeugposition und der Grundposition des Fahrzeugs.
  2. Fahrzeug nach Anspruch 1, worin das mindestens eine Referenzbild eine Vielzahl von in einem Muster angeordneten Markierungen beinhaltet und die Steuerung ferner programmiert ist, einen Abweichungswert zwischen der Grundposition des Fahrzeugs und der aktuellen Fahrzeugposition basierend auf der Vielzahl von Markierungen zu erzeugen.
  3. Fahrzeug nach Anspruch 2, worin die Vielzahl von Markierungen mindestens einen zweidimensionalen Strichcode, ein von dem Fahrzeug projiziertes Bild, Aufkleber und Gegenstände in der Umgebung einschließt.
  4. Fahrzeug nach Anspruch 1, worin die Steuerung ferner dazu programmiert ist, in eine autonome Fahrzeug-Docking-Sequenz einzutreten, wenn sie sich der Umgebung nähert, um das Fahrzeug zu der Grundposition des Fahrzeugs zu führen.
  5. Fahrzeug nach Anspruch 1, worin die mindestens eine Bilderfassungsvorrichtung mit einer Verschlussplatte gekoppelt ist und die Steuerung ferner programmiert ist, eine Position der Verschlussplatte basierend auf einem Bildmuster zu erfassen, das mit einer bekannten Verschlussplattenposition assoziiert ist, um eine Warnmeldung auszugeben, um eine Abweichung von der Grundposition des Fahrzeugs in Reaktion darauf zu verhindern, dass die Verschlussplatte in einer offenen Position erfasst wird.
  6. Fahrzeug nach Anspruch 1, worin die Steuerung ferner so programmiert ist, dass sie in Reaktion darauf, dass das Fahrzeug nach der nachfolgenden Annäherung in einen geparkten Zustand eintritt, eine Beurteilungsnachricht erzeugt, die die aktuelle Fahrzeugposition in Bezug auf die Grundposition des Fahrzeugs anzeigt.
  7. Fahrzeug nach Anspruch 1, worin die Steuerung ferner dazu programmiert ist, ein Signal zu übertragen, um eine Infrastrukturvorrichtung basierend auf der aktuellen Fahrzeugposition zu betreiben.
  8. Fahrzeug nach Anspruch 1, worin die Steuerung ferner so programmiert ist, dass sie ein Bild erfasst, das eine Position einer Verschlussplatte anzeigt, und ein Verlassen der Grundposition des Fahrzeugs in Reaktion darauf, dass die Verschlussplatte in einer offenen Position erfasst wird, verhindert.
  9. Fahrzeug nach Anspruch 1, worin das mindestens eine Referenzbild einen Zustand einer beweglichen Parkbereichssperre anzeigt und die Steuerung ferner programmiert ist, eine Warnmeldung auszugeben, um eine Abfahrt von der Grundposition des Fahrzeugs in Reaktion auf die Erfassung der Parkbereichssperre zu verhindern, die einen Fahrzeugabfahrtsweg blockiert.
  10. Fahrzeug nach Anspruch 1, ferner umfassend eine Projektionsvorrichtung, die entsprechend angeordnet ist, ein Bild auf eine Oberfläche in der Umgebung abzubilden, wobei das Referenzbild optische Muster enthält, die durch das abgebildete Bild verursacht werden.
DE102017128294.7A 2016-12-01 2017-11-29 Fahrzeugumgebung-abbildungssysteme und -verfahren Pending DE102017128294A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/366,948 2016-12-01
US15/366,948 US10162360B2 (en) 2016-12-01 2016-12-01 Vehicle environment imaging systems and methods

Publications (1)

Publication Number Publication Date
DE102017128294A1 true DE102017128294A1 (de) 2018-06-07

Family

ID=62164185

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017128294.7A Pending DE102017128294A1 (de) 2016-12-01 2017-11-29 Fahrzeugumgebung-abbildungssysteme und -verfahren

Country Status (3)

Country Link
US (1) US10162360B2 (de)
CN (1) CN108128245B (de)
DE (1) DE102017128294A1 (de)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108873739A (zh) * 2017-05-09 2018-11-23 法雷奥汽车内部控制(深圳)有限公司 用于车辆的车载自动停车系统
US10331960B2 (en) * 2017-05-10 2019-06-25 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system
JP6349558B1 (ja) * 2017-05-12 2018-07-04 パナソニックIpマネジメント株式会社 撮像システム及び表示システム
US10421399B2 (en) * 2017-05-26 2019-09-24 GM Global Technology Operations LLC Driver alert systems and methods based on the presence of cyclists
JP2019006336A (ja) * 2017-06-28 2019-01-17 本田技研工業株式会社 モビリティルーム、モビリティルーム管理システム、管理サーバ及び建築物管理システム
CN111386562B (zh) * 2018-01-10 2022-10-11 宝马股份公司 停车位锁以及用于提供停车服务的系统和方法
KR102639078B1 (ko) * 2018-08-07 2024-02-22 현대자동차주식회사 노면상으로 정보를 표시하는 자동차 및 그 제어 방법
CN112805200A (zh) * 2018-10-11 2021-05-14 宝马股份公司 交通场景的快照图像
US10839694B2 (en) * 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
CN109229095A (zh) * 2018-10-30 2019-01-18 百度在线网络技术(北京)有限公司 用于确定自动泊车效果的方法、装置、设备和存储介质
US10733891B2 (en) * 2018-11-05 2020-08-04 Toyota Motor Engineering & Manufacturing North America, Inc. Parking lot assistant
US10745002B2 (en) * 2018-12-31 2020-08-18 Robert Bosch Gmbh Autonomously guiding a vehicle to a desired parking location selected with a remote device
CN111464978A (zh) * 2019-01-22 2020-07-28 岳秀兰 主次无线设备通过物联网连接建立的车辆远程驾驶体系
JP7176421B2 (ja) * 2019-01-25 2022-11-22 トヨタ自動車株式会社 駐車支援装置
JP7175796B2 (ja) * 2019-02-26 2022-11-21 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
DE102019204203A1 (de) * 2019-03-27 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zum Einparken eines Kraftfahrzeugs in eine Parkzone mit einem autonomen Parkvorgang ausgehend von einer temporären Parkposition, Parkassistenzsystem sowie Kraftfahrzeug
DE102019207485B4 (de) * 2019-05-22 2022-06-15 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs, Kraftfahrzeug und Computerprogrammprodukt
US11694432B2 (en) * 2019-07-23 2023-07-04 Toyota Research Institute, Inc. System and method for augmenting a visual output from a robotic device
JP7215386B2 (ja) * 2019-09-30 2023-01-31 株式会社デンソー 監視センタ、及び支援方法
US20210237716A1 (en) * 2020-02-03 2021-08-05 GM Global Technology Operations LLC Intelligent vehicles, control logic, and advanced park assist systems with camera-based automated vehicle alignment
US11597383B1 (en) * 2021-11-04 2023-03-07 STEER-Tech, LLC Methods and systems for parking a vehicle

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277123B1 (en) * 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
JP4426014B2 (ja) * 1999-06-29 2010-03-03 富士通テン株式会社 車両の駐車支援装置
CN100535598C (zh) * 2004-08-20 2009-09-02 爱信精机株式会社 用于车辆的停车辅助装置及停车辅助方法
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP4561479B2 (ja) 2005-05-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
KR20070016612A (ko) 2005-08-04 2007-02-08 현대자동차주식회사 자동차 후방감시카메라 제어 시스템
JP5255760B2 (ja) * 2006-11-29 2013-08-07 株式会社日立製作所 車両用監視カメラ装置
GB2447672B (en) * 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US7679527B2 (en) 2007-04-23 2010-03-16 Roland Edward Chemali Method and apparatus for automated parking assistance
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
US8098174B2 (en) 2009-04-22 2012-01-17 GM Global Technology Operations LLC Feasible region determination for autonomous parking
CN101872548B (zh) * 2009-04-23 2013-04-17 黄柏霞 基于图像的车位引导系统及方法
DE102010023162A1 (de) * 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
US9176924B2 (en) * 2011-11-16 2015-11-03 Autoconnect Holdings Llc Method and system for vehicle data collection
DE102011109492A1 (de) * 2011-08-04 2013-02-07 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrunterstützungsvorrichtung zur Unterstützung der Befahrung enger Fahrwege
KR20130019639A (ko) * 2011-08-17 2013-02-27 엘지이노텍 주식회사 차량용 카메라 장치
US9635271B2 (en) 2011-11-17 2017-04-25 GM Global Technology Operations LLC Vision-based scene detection
US9147297B2 (en) * 2012-03-14 2015-09-29 Flextronics Ap, Llc Infotainment system based on user profile
KR101372171B1 (ko) * 2012-10-11 2014-03-07 현대자동차주식회사 주차가능영역 판단 장치 및 방법
US9445011B2 (en) 2012-10-22 2016-09-13 GM Global Technology Operations LLC Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
EP3132436B1 (de) 2014-04-18 2020-07-15 Gentex Corporation Trainierbarer sender-empfänger sowie kamerasysteme und verfahren
CN111351494A (zh) * 2015-02-10 2020-06-30 御眼视觉技术有限公司 导航系统及计算机可读介质
US10171529B2 (en) * 2015-03-09 2019-01-01 Autoconnect Holdings Llc Vehicle and occupant application integration
EP3072710B1 (de) * 2015-03-24 2018-03-28 LG Electronics Inc. Fahrzeug, mobiles endgerät und verfahren zur steuerung davon

Also Published As

Publication number Publication date
US10162360B2 (en) 2018-12-25
CN108128245A (zh) 2018-06-08
US20180157267A1 (en) 2018-06-07
CN108128245B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
DE102017128294A1 (de) Fahrzeugumgebung-abbildungssysteme und -verfahren
EP3204279B1 (de) Verfahren zum betrieb eines automatisiert geführten, fahrerlosen kraftfahrzeugs und überwachungssystem
EP3105547B1 (de) Verfahren zur ermittlung der absoluten position einer mobilen einheit und mobile einheit
DE112019001832T5 (de) Strassenmarkierungsdetektionsverfahren
DE102014008578B4 (de) Verfahren zur Ermittlung von Positionsdaten zur Nutzung beim Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Positionsdatenermittlungs- und-verteilssystem
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE112017007713T5 (de) Systeme und Verfahren zur Fahrzeugbelegungsverwaltung
EP2915152B1 (de) Verfahren zum identifizieren eines von einer sensoreinrichtung erfassten fahrzeugs
DE102017100480A1 (de) System und verfahren für automatische aktivierung autonomen parkens
DE102017105903A1 (de) Fussgängerdetektion und Bewegungsvorhersage mit nach hinten gerichteter Kamera
DE102009050501A1 (de) Verbesserte Detektion eines freien Pfads bei Vorhandensein eines Verkehrsinfrastrukturindikators
DE102011082478A1 (de) Verfahren, System sowie Vorrichtung zur Lokalisation eines Fahrzeugs relativ zu einem vordefinierten Bezugssystem
DE102018220298A1 (de) Einparkassistenzverfahren und Vorrichtung
DE102019211681A1 (de) Verfahren eines Fahrzeugs zum automatisierten Parken
DE102018220279A1 (de) Bildgebungsapparat und verfahren
WO2018104239A1 (de) Verfahren zur bereitstellung von ergebnisdaten, die von einem kraftfahrzeugumfeld abhängen
DE102019122536A1 (de) Exzentrizitätskarten
DE112017008156T5 (de) Bestimmung von objektstandortkoordinaten
DE102018220282A1 (de) Fahrzeug-parkgerät
DE102018220257A1 (de) Andockstation
DE102017223284A1 (de) Verfahren zum assistierten Betreiben eines Fahrzeugs und Fahrzeugassistentsystem
DE102016002232A1 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
DE102011084588A1 (de) Verfahren zum Unterstützen eines Fahrers beim Einparken
DE102021104290B3 (de) Verfahren zum zumindest teilautomatisierten Parken eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102017114190A1 (de) Verfahren und System zum automatischen Bereitstellen einer Parklücke für ein Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: LKGLOBAL ] LORENZ & KOPF PARTG MBB PATENTANWAE, DE

R083 Amendment of/additions to inventor(s)
R016 Response to examination communication