DE102014107158A1 - Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem - Google Patents

Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem Download PDF

Info

Publication number
DE102014107158A1
DE102014107158A1 DE102014107158.1A DE102014107158A DE102014107158A1 DE 102014107158 A1 DE102014107158 A1 DE 102014107158A1 DE 102014107158 A DE102014107158 A DE 102014107158A DE 102014107158 A1 DE102014107158 A1 DE 102014107158A1
Authority
DE
Germany
Prior art keywords
vehicle
view
image
images
down view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102014107158.1A
Other languages
English (en)
Other versions
DE102014107158B4 (de
Inventor
Wende Zhang
Jinsong Wang
Kent S. Lybecker
Bakhtiar Brian Litkouhi
Ryan M. Frakes
Jeffrey Piasecki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102014107158A1 publication Critical patent/DE102014107158A1/de
Application granted granted Critical
Publication of DE102014107158B4 publication Critical patent/DE102014107158B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

Ein System und ein Verfahren zum Erzeugen einer verbesserten von oben nach unten Ansicht bzw. top-down Ansicht eines Bereichs in Front eines Fahrzeugs unter Verwendung von Abbildungen von linksfrontseitigen und rechtsfrontseitigen Kameras. Die verbesserte virtuelle von oben nach unten Ansicht versorgt nicht nur den Fahrer mit einer perspektivischen top-down Ansicht, die nicht direkt von den unbearbeiteten Kameraabbildungen verfügbar sind, sondern entfernt auch die Verzerrung und die übertriebenen perspektivischen Effekte, welche den Weitwinkelabbildungen innewohnen. Die verbesserte virtuelle von oben nach unten Ansicht umfasst auch Korrekturen für drei Typen von Problemen, welche typischer Weise in deformierten Abbildungen präsent sind – einschließlich künstlicher Vorsprünge der Fahrzeugkarosserieteile in die Abbildung hinein, einer niedrigen Auflösung und eines Bild/Video-Rauschen rund um die Kanten der Bilder, sowie eines „Doppelsicht”-Effekts für Objekte oberhalb des Bodenniveaus.

Description

  • Querverweis auf verwandte Anmeldungen
  • Diese Anmeldung beansprucht den Vorteil des Prioritätsdatums U. S. Provisional Patent Application Seriennr. 61/826,904, mit dem Titel „Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem”, die am 23. Mai 2013 eingereicht wurde.
  • Hintergrund der Erfindung
  • Gebiet der Erfindung
  • Diese Erfindung betrifft im Allgemeinen die Darstellung von verbesserten top-down Ansichtsbildern von Bordsteinen und anderen Strukturen in Front vor einem Fahrzeug und insbesondere ein System und ein Verfahren zum Synthetisieren einer verbesserten virtuellen top-down bzw. „von oben nach unten” Ansicht eines Bereichs in Front eines Fahrzeugs unter Verwendung von Bildern von linksfrontseitigen und rechtsfrontseitigen Kameras, wobei die verbesserte virtuelle top-down Ansicht Korrekturen für einen künstlichen Karosserieteilvorsprung, der in eine Ansicht hineinragt, eine niedrige Auflösung und ein Bildrauschen in den Ansichtsrändern sowie ein Doppelabbilden von oberirdischen Objekten einschließt.
  • Beschreibung der relevanten Technik
  • Fahrzeuge, die mit Frontsichtkameras ausgestattet sind, werden zunehmend in jüngster Zeit üblich. Bilder von Frontsichtkameras werden für eine Vielfalt von Anwendungen verwendet, einschließlich eines Fahrspur- und Kollisionsassistenten. In diesen Anwendungen werden die Kamerabilder dem Fahrzeugfahrer nicht gezeigt, sondern die Bilder werden eher durch einen Fahrzeugcomputer unter Verwendung von Bildverarbeitungstechniken analysiert. Fahrspurgrenzen und potentielle Hindernisse werden von den Bildern erfasst und Warnungen werden an den Fahrer, falls erforderlich, ausgegeben.
  • Selbst als das Auftreten von neuen Technologien kompakte, zuverlässige und erschwingliche digitale Kameras zur Realität werden ließen, sucht weiterhin ein uraltes Problem die Fahrer heim. Dieses Problem ist das Unvermögen der Fahrer genau die Position der Front des Fahrzeugs relativ zu einem Hindernis, wie einem Bordstein beim Einparken zu beurteilen. Wegen der inhärenten Unfähigkeit eines Fahrers einen Bordstein zu sehen, wenn er eine Parklücke ansteuert, aufgrund der Behinderung durch die Front des Fahrzeugs, ist der Fahrer gezwungen zu schätzen, wie weit er vorwärts stoßen kann – hoffentlich ohne an den Bordstein anzustoßen. Diese Beurteilung kann schwierig sein, da sie von früheren Erfahrungen, peripheren visuellen Hinweisen und anderen indirekten Informationen abhängt. Wenn der Fahrer den Frontabstand nicht korrekt beurteilt, kann das Fahrzeug nicht weit genug in eine Parklücke eingefahren werden oder schlimmer, es kann die Front des Fahrzeugs an den Bordstein unter Verursachen einer Beschädigung des Fahrzeugs stoßen.
  • Während eines Einparkmanövers konzentriert sich gewöhnlich der Fahrer auf viele Facetten des einparkenden Fahrzeugs und kann nicht daran denken, manuell ein Frontbordstein-Visualisierungssichtgerät einzuschalten. Wenn jedoch ein Frontbordstein-Visualisierungssystem automatisch die am besten geeigneten frontalen Bilder basierend auf dem Kontext des Einparkmanövers anzeigt, würden viele Fahrer diese visuelle Information als hilfreich empfinden – insbesondere wenn das System nicht nur die eine oder andere Ansicht auswählt, welche die beste Assistenz für den Fahrer bereitstellt, sondern auch verbesserte Ansichten mit Korrekturen der visuellen Verzerrungen erzeugt, welche bei Weitwinkeloptikbildern inhärent vorhanden sind.
  • Es gibt einen Bedarf für ein Frontansicht-Einparkassistenzsystem, welches bevorzugt die verfügbaren Bilder von Bordsteinen und anderen Strukturen in Front von Fahrzeugen nutzt und Fahrer mit optimierten Bildern versorgt, die dem Fahrer ermöglichen, präzise die Front des Fahrzeugs relativ zu dem Bordstein oder anderen frontalen Objekten zu positionieren.
  • Zusammenfassung der Erfindung
  • Entsprechend den Lehren der vorliegenden Erfindung werden ein System und ein Verfahren offenbart zum Erzeugen einer verbesserten von oben nach unten Ansicht bzw. top-down Ansicht eines Bereichs in Front eines Fahrzeugs unter Verwendung von Abbildungen von linksfrontseitigen und rechtsfrontseitigen Kameras. Die verbesserte virtuelle von oben nach unten Ansicht versorgt nicht nur den Fahrer mit einer perspektivischen top-down Ansicht, die nicht direkt von den unbearbeiteten Kameraabbildungen verfügbar ist, sondern entfernt auch die Verzerrung und übertriebene perspektivische Effekte, welche den Weitwinkelabbildungen innewohnen. Die verbesserte virtuelle von oben nach unten Ansicht umfasst auch Korrekturen für drei Typen von Problemen, welche typischer Weise in deformierten Abbildungen präsent sind – einschließlich künstlicher Vorsprünge der Fahrzeugkarosserieteile in die Abbildung hinein, einer niedrigen Auflösung und eines Bild/Video-Rauschens rund um die Kanten der Bilder, sowie eines „Doppelsicht”-Effekts für Objekte oberhalb des Bodenniveaus.
  • Zusätzliche Merkmale der vorliegenden Erfindung werden von der nachfolgenden Beschreibung und den anhängenden Ansprüchen in Verbindung mit den begleitenden Zeichnungen sichtbar.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist eine Draufsicht auf ein Fahrzeug einschließlich Frontalkameras, welche für ein Bordsteinvisualisieren verwendet werden können;
  • 2 ist eine Seitenansichtsdarstellung des Fahrzeugs der 1, die weitere Details der Kameraanordnung zeigt;
  • 3 ist ein schematisches Diagramm eines Systems zum automatischen und verbesserten Bordsteinvisualisieren;
  • 4 ist ein Blockdiagramm eines Systems, das eine erste Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist;
  • 5 ist ein Blockdiagramm eines Systems, das eine zweite Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist;
  • 6 ist ein Blockdiagramm eines Systems, das eine dritte Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist;
  • 7 ist ein Blockdiagramm eines Systems der 6, das zeigt, wie das Lernmodul arbeitet;
  • 8 ist ein Flussdiagramm eines Verfahrens zum Bereitstellen eines verbesserten Bordsteinvisualisierens in einem Fahrzeug;
  • 9 ist eine Darstellung eines Anzeigesichtgeräts, das in 3 gezeigt wird, das ein Beispiel eines Anzeigemodus oder Anordnungen von Ansichten auf einem Bildschirm des Anzeigesichtgeräts zeigt;
  • 10 ist eine Darstellung, wie Fahrzeugkarosserieteile in dem Stoßdämpfer/Frontblendenbereich einen künstlichen Überstandseffekt in einer virtuellen von oben nach unten Ansicht erzeugen können;
  • 11 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in welcher der Überstandseffekt, der in 10 gezeigt wird, sich künstlich nach vorn erstreckt als ein Ergebnis einer Kamera/Fahrzeuggeometrie und einer Bildentzerrung, die eine Okklusionsregion erzeugt;
  • 12 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in welcher die Okklusionsregion durch Bildmanipulation restrukturiert wurde;
  • 13 ist ein Flussdiagramm eines Verfahrens zum Entfernen künstlicher Fahrzeugkarosserieteil-Erscheinungen in einer virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontkamerabildern konstruiert wird;
  • 14 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in der bestimmte Abschnitte der Ansicht eine niedrige Auflösung und/oder ein Bildrauschen zeigen;
  • 15 ist ein Flussdiagramm eines Verfahrens zum Entfernen der niedrigen Auflösung und des Bildrauschens in Kantenregionen einer virtuellen von oben nach unten Ansicht, die von den Fahrzeugfrontalkamerabildern konstruiert wird;
  • 16A und 16B sind Darstellungen von virtuellen von oben nach unten Ansichten von der linken Frontkamera beziehungsweise der rechten Frontkamera;
  • 17 ist eine Darstellung, wie einige Teile der virtuellen von oben nach unten Ansicht erscheinen können als haben sie ein „Doppelbild”, wenn linke und rechte Kamerabilder fusioniert werden;
  • 18 ist ein Flussdiagramm eines ersten Verfahrens zum Entfernen des Doppelbildeffekts für oberirdische Hindernisse in einer virtuellen von oben nach unten Ansicht, die von den Fahrzeugfrontalkamerabildern konstruiert wird;
  • 19 ist ein Flussdiagramm eines zweiten Verfahrens zum Eliminieren des Doppelbildeffekts für oberirdische Hindernisse in einer virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern erzeugt wird;
  • 20 ist ein Flussdiagramm eines Verfahrens zum Erzeugen einer verbesserten virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern erzeugt wird;
  • 21 ist eine Darstellung einer perspektivischen Ansicht vor einem Fahrzeug, welche Verzerrungen einschließt, die inhärent in Bildern von Weitwinkeloptiken sind, die unter Verwendung traditioneller Bildverzerrungsverfahren durchgeführt wurden;
  • 22 ist ein Diagramm eines Kamerabildoberflächenmodells, das verwendet werden kann, um die Verzerrungen, die in 21 zu sehen sind, zu korrigieren;
  • 23 ist eine Darstellung einer perspektivischen Ansicht vor einem Fahrzeug, in der die Verzerrungen, die in 21 zu sehen sind, korrigiert wurden durch Anwendung des neuen virtuellen Bildoberflächenmodells der 22 und anderer Verarbeitungstechniken; und
  • 24 ist ein Flussdiagramm eines Verfahrens zum Erzeugen einer verbesserten perspektivischen Ansicht, die von Fahrzeugfrontalkamerabildern konstruiert sind unter Verwendung des Kamerabildoberflächenmodells der 22.
  • Detaillierte Beschreibung der Ausführungsformen
  • Die nachfolgende Erörterung der Ausführungsformen der Erfindung, die auf ein System und ein Verfahren zum Bereitstellen von verbesserten virtuellen „top-down” bzw. von oben nach unten Ansichten eines Bereichs in Front eines Fahrzeugs gerichtet sind, ist nur beispielhafter Natur und soll in keiner Weise die Erfindung oder ihre Anwendungen oder ihre Verwendungen begrenzen. Die unten beschriebene Erfindung hat zum Beispiel eine besondere Anwendung für eine Frontbordsteinansicht zum Abbilden für Fahrzeuge. Die Erfindung ist jedoch auch anwendbar für andere motorisierte Geräte, wie Gabelstapler, und kann auch in Rückansichts- oder Seitenansichtssituationen nützlich sein.
  • 1 ist eine Draufsicht auf ein Fahrzeug 100 einschließlich Frontalkameras, welche für ein Bordsteinvisualisieren verwendet werden können. Die Kamera 100 umfasst ein Paar der Kameras 102, 104, die hinter dem Grill oder in dem Frontstoßdämpfer des Fahrzeugs 100 positioniert sind. Die erste (oder linke) Kamera 102 ist durch einen horizontalen oder lateralen Abstand 106 von der zweiten (oder rechten) Kamera 14 beabstandet. Der Abstand 106 wird abhängig von der Ausführung und dem Modell des Fahrzeugs 100 variieren, aber in einigen Ausführungsformen kann er ungefähr ein Meter sein. Die Kameras 102 und 104 haben eine optische Achse 108, die von der Vorwärtsrichtung des Fahrzeugs durch einen Schwenkwinkel θ versetzt ist. Der Winkel θ, der verwendet wird, kann abhängig von der Marke und dem Modell des Fahrzeugs 100 variieren, aber in einigen Ausführungsformen ist er etwa 10°. Welche Orientierung auch immer für die Kameras 102 und 104 gewählt wird, fängt jede Kamera ein ultraweites Ansichtsfeld (FOV) unter Verwendung von Fischaugenlinsen bzw. Fischaugenoptiken ein, um ungefähr 180° FOV bereitzustellen, das sich teilweise im Bereich 110 überlappt. Das FOV der Kamera 102 wird durch den Sektor 112 präsentiert und das FOV der Kamera 104 wird durch den Sektor 114 präsentiert. Die Bilder, die durch die Kameras 102 und 104 eingefangen werden, können durch ein Videoakquisitionsgerät 116 empfangen werden und die Bilder können weiter in dem Prozessor 118 verarbeitet werden, der eine Bildverarbeitungshardware und/oder Software aufweist, wie es unten im Detail erörtert wird, um eine oder mehrere Arten von Fahrerassistenzbildern auf einem Anzeigesichtgerät 120 bereitzustellen.
  • Der Prozessor 118 ist ein Computergerät, das mindestens einen Mikroprozessor und ein Speichermodul jeder in Fahrzeugen gebräuchlichen Art einschließt. Der Prozessor 118 kann ein Gerät für einen allgemeinen Zweck sein, das auch andere Computerfunktionen durchführt, oder der Prozessor 118 kann eine Sonderanfertigung sein, die speziell für eine Frontbordsteinansicht-Bildverarbeitung konfiguriert ist. In jedem Fall ist der Prozessor 118 konfiguriert, um die Schritte der Verfahren, die hierin erörtert werden, durchzuführen. Das bedeutet, dass die Verfahren für ein verbessertes Bordsteinvisualisieren auf einem Computergerät, wie einem Prozessor 118, durchgeführt werden sollen und nicht im Kopf einer Person oder unter Verwendung von Papier und Bleistift.
  • 2 zeigt eine Seitenansicht des Fahrzeugs 100. Die rechte Kamera 104 wird gezeigt, die in einem Abstand 130 über der Straße/dem Boden positioniert ist. Der Abstand 130 wird von der Marke und dem Modell des Fahrzeugs 100 abhängen, aber in einigen Ausführungsformen beträgt er ungefähr einen halben Meter. Den Abstand 130 zu kennen ist zum Berechnen virtueller Bilder von dem Ansichtsfeld 114 nützlich, um dem Fahrer des Fahrzeugs 100 zu assistieren. Die Kamera 104 (und die Kamera 102 auf der gegenüberliegenden Seite des Fahrzeugs) ist typischerweise derart ausgerichtet, dass sie leicht nach unten angewinkelt ist durch einen Neigungswinkel φ, um das Ansichtsfeld 114 wie gezeigt bereitzustellen. Der Winkel φ wird durch die Marke und das Modell des Fahrzeugs 100 variieren, aber in einigen Ausführungsformen kann er ungefähr 10° sein.
  • Wie oben erörtert, ist die duale Frontkameraanordnung der 1 und 2 an heutigen Fahrzeugen üblich, wobei die Bilder typischerweise für eine Kollisionsvermeidung und für Spurassistenzanwendungen verwendet werden. Wie auch oben erörtert, können die Frontkamerabilder auch für ein Bordsteinvisualisieren als Fahrerhilfe verwendet werden. Jedoch gibt es bis heute kein automatisches System, um verbesserte Frontbordstein-Visualisierungssituationen bereitzustellen, wo es durch den Fahrer erwünscht wird.
  • 3 ist ein schematisches Diagramm eines Systems 140 zum automatischen und verbesserten Bordsteinvisualisieren. Das System 140 schließt Elemente, die oben mit Bezug auf 1 erörtert wurden, ein, umfassend die Frontkameras 102 und 104, das Videoakquisitionsgerät 116, den Prozessor 118 und das Anzeigesichtgerät 120. 3 stellt eine hochrangige Darstellung des Systems 140 dar, das die Grundelemente zeigt. Wie erwartet kann der Prozessor 118 viele unterschiedliche Funktionen und Module einschließen, welche in den nachfolgenden Figuren erörtert werden.
  • 4 zeigt ein Blockdiagramm eines Systems 160, das eine erste Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist. Diese erste Ausführungsform ist ein einfacher Entwurf, in dem ein Nutzerkommando ein primärer Trigger zum Beginn des Frontbordsteinvisualisierens ist. Eine Nutzereingabe 162 liefert ein Signal von dem Fahrer des Fahrzeugs 100, ob der Fahrer die Frontbordsteinbilder sehen möchte. Die Nutzereingabe 162 kann eine physische Taste, ein Schalter, eine virtuelle Taste auf einem Touchscreengerät wie dem Anzeigesichtgerät 120, ein Audiomikrofon zum Erfassen eines gesprochenen Kommandos oder eine andere Art einer Eingabe sein. Wenn der Fahrer die Nutzereingabe 162 aktiviert, wird das als ein Trigger erfasst, um Frontbordsteinbilder auf dem Anzeigesichtgerät 120 bereitzustellen, aber nur wenn die Fahrzeuggeschwindigkeit unter einem bestimmten Schwellwert ist, welcher eine behördliche Anforderung sein kann. Ein Fahrzeuggeschwindigkeitssignal wird von einem Fahrzeugzustandsmodul 164 bereitgestellt, welche Daten von unterschiedlichen Fahrzeugsensoren, einschließlich der Fahrzeuggeschwindigkeit, dem Lenkungswinkel, der Gierrate, der longitudinalen und lateralen Beschleunigung usw., einschließen kann.
  • Wenn die Nutzereingabe 162 aktiviert worden ist und die Fahrzeuggeschwindigkeit unter dem Schwellwert ist, dann stellt ein Triggermodul 166 einen Frontbordstein-Visualisierungsbildzustand auf ja ein. Ein Schalter 168 bestimmt, was auf dem Anzeigesichtgerät 120 zu zeigen ist. Wenn der Frontbordstein-Visualisierungsbildzustand gleich ja ist, dann weist der Schalter 168 ein Verarbeitungsmodul an, verbesserte Frontbordstein-Visualisierungsbilder unter Verwendung von Bildeingaben von dem Videoakquisitionsgerät 116 zu berechnen. Schließlich bestimmt ein Modusauswahlmodul 172, welche Ansicht oder welche Ansichten auf dem Anzeigesichtgerät 120 zu zeigen sind. In einer einfachen Ausführungsform des Systems 160 kann das Modusauswahlmodul 172 eine Fehlanordnung der Bilder auswählen (einschließlich zum Beispiel einer perspektivischen Vorwärtsansicht und einer virtuellen von oben nach unten Bordsteinansicht – welche später im Detail erörtert wird). Das Modusauswahlmodul 172 kann auch eine Nutzerauswahl des Visualisierungsmodus unterstützen – zum Beispiel durch die Nutzereingabe 162.
  • Wenn der Frontbordstein-Visualisierungsbildstatus gleich nein ist, dann gibt der Schaler 168 die Steuerung weiter zu dem Anzeigesteuermodul 174, das andere Informationen auf dem Anzeigesichtgerät 120 anzeigt. Wenn der Fahrer zum Beispiel nicht auf die Frontbordsteinbilder schaut, kann das Anzeigesichtgerät 120 als ein Radio oder als eine andere Audio/Videoschnittstelle oder als eine Navigationskartenanzeige oder irgendeine andere geeignete Funktion dienen.
  • Das Triggermodul 166, der Schalter 168, das Verarbeitungsmodul 170 und das Modusauswahlmodul 172 können alle vorgesehen werden als seinen sie in dem Prozessor 116, wie vorher erörtert, enthalten. Das bedeutet, die Elemente 166 bis 172, die jedes eine getrennte Funktion durchführen, sind nicht notwendigerweise getrennte physische Geräte, sondern vielmehr können sie in einer Hardware oder einer Software enthalten sein, die alle in dem Prozessor 118 enthalten sind.
  • 5 ist ein Blockdiagramm eines Systems 180, das eine zweite Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist. Diese zweite Ausführungsform schließt zusätzlich triggernde Signalquellen zum Beginnen des Frontbordsteinvisualisierens ein. Die Nutzereingabe 162 bildet weiterhin ein direktes Mittel für den Fahrer des Fahrzeugs 100, um anzuzeigen, dass er/sie wünscht, Frontbordsteinbilder zu sehen, wenn die Fahrzeuggeschwindigkeit unterhalb des Schwellwerts ist. Zusätzlich zu der Nutzereingabe 162 verwendet jedoch ein Heuristikmodul 182 unterschiedliche Datenquellen, um die Betriebsumgebung des Fahrzeugs zu evaluieren, und wendet Regeln an, um zu bestimmen, wann ein Frontbordsteinvisualisieren von dem Fahrer wahrscheinlich gewünscht wird. Das Heuristikmodul 182 umfasst das Fahrzeugzustandsmodul 164, das vorher erörtert wurde, das nicht nur ein Fahrzeuggeschwindigkeitssignal zum Vergleich des Geschwindigkeitsschwellwerts bereitstellt, sondern auch einen Lenkungswinkel, eine Gierrate, eine longitudinale und eine laterale Beschleunigung und andere Daten. Vorschriften, welche das Frontbordsteinvisualisieren triggern, können definiert werden, wenn zum Beispiel die Fahrzeuggeschwindigkeit niedrig ist und der Lenkungswinkel hoch ist, was ein wahrscheinliches Einparkmanöver anzeigt.
  • Das Heuristikmodul 182 schließt außerdem ein Objekterfassungsmodul 184 ein, welches die Kamerabilder von dem Videoakquisitionsgerät 116 empfängt. Das Objekterfassungsmodul 184 analysiert die Frontkamerabilder, um einen Parkplatz, einen Bordstein oder irgendein anderes Objekt vor dem Fahrzeug 100 zu erfassen. Wenn ein Parkplatz erfasst wurde und wenn andere Fahrzeugparameter, wie die Geschwindigkeit, geeignet sind, kann daraus geschlossen werden, dass der Fahrer das Fahrzeug 100 manövriert, um in dem erfassten Parkplatz zu parken. Dieses veranlasst das Heuristikmodul 182 ein Triggersignal auszugeben, um das Frontbordsteinvisualisieren zu aktualisieren. Selbst in Abwesenheit eines erfassten Parkplatzes kann das Vorhandensein eines Bordsteins vor dem Fahrzeug 100 auch das Heuristikmodul 182 veranlassen ein Triggersignal auszugeben, um das Frontbordsteinvisualisieren zu aktivieren. Der Bordstein kann eine allein stehende Einheit mit einem definierten linken und rechten Ende oder er kann ein kontinuierlicher erhöhter Gehweg sein, wie er in vielen kommerziellen Gebäudeparkplätzen üblich ist. In ähnlicher Weise kann jedes andere Objekt, das unmittelbar vor dem Fahrzeug 100 – wie eine Wand oder ein oder mehrere Pfosten, ein Zaun usw. – erfasst wird, ein Triggern des Frontbordstein-Visualisierungssignal von dem Objekterfassungsmodul 184 des Heuristikmoduls 182 triggern.
  • Das Heuristikmodul 182 umfasst auch ein GPS/Kartenmodul 186, welches Fahrzeugpositionsdaten von einem Globalen Positionssystem (GPS) Empfänger verwendet, zusammen mit Daten von einer digitalen Karte und/oder einem Navigationssystem, um zu bestimmen, wann das Fahrzeug 100 sich in einer Einparksituation befindet. Es kann zum Beispiel leicht von dem GPS und den digitalen Kartendaten bestimmt werden, dass das Fahrzeug 100 auf einem Parkplatzgelände eines Einkaufszentrums ist oder auf einem Parkplatzgelände eines Bürogebäudes. Dieses Wissen kann verwendet werden, um eine Suche nach einem Parkplatz oder einem Bordstein unter Verwendung des Objekterfassungsmoduls 184 zu beginnen, oder das Wissen kann verwendet werden, um direkt ein Frontbordsteinvisualisieren zu triggern, wenn die Fahrzeugparameter, wie die Geschwindigkeit und der Lenkungswinkel (von dem Fahrzeugzustandsmodul 164) bestimmte Kriterien erfüllen.
  • Das Heuristikmodul 182 evaluiert alle verfügbaren Daten, wie oben diskutiert, und bestimmt, ob ein Frontbordsteinvisualisieren von dem Fahrer wahrscheinlich gewünscht wird basierend auf einem Satz von vorher eingeführten Regeln. Wenn natürlich das Bordsteinvisualisieren über die Nutzereingabe 162 gewählt wird, dann wird das Frontbordsteinvisualisieren aktiviert (solange wie die Fahrzeuggeschwindigkeit unter dem Schwellwert liegt), unabhängig davon, welche Feststellung durch das Heuristikmodul 182 gemacht wird. In ähnlicher Weise wird, wenn der Fahrer über die Nutzereingabe 162 anzeigt, dass ein Bordssteinvisualisieren nicht gewünscht ist, das Frontbordsteinvisualisieren deaktiviert, unabhängig davon, welche Feststellung durch das Heuristikmodul 182 gemacht wird.
  • Die Nutzereingabe 162 und das Heuristikmodul 182 stellen Signale dem Triggermodul 166 zur Verfügung, welches den Frontbordstein-Visualisierungsbildzustand, abhängig von den Signalen, auf ja oder nein einstellt. Wie in der ersten Ausführungsform bestimmt der Schalter 168, was auf dem Anzeigesichtgerät 120 anzuzeigen ist. Wenn der Frontbordstein-Visualisierungsbildzustand gleich ja ist, dann ordnet der Schalter 168 dem Verarbeitungsmodul 170 an, verbesserte Frontbordstein-Visualisierungsbilder unter Verwendung der Bildeingabe von dem Videoakquisitionsgerät 116 zu berechnen. Schließlich bestimmt das Modusauswahlmodul 172, welche Ansicht oder Ansichten auf dem Anzeigesichtgerät 120 angezeigt werden sollen.
  • In der zweiten Ausführungsform, die durch das System 180 repräsentiert wird, kann das Modusauswahlmodul 172 einen vorbestimmten Anzeigemodus basierend auf dem Kontext der Situation, wie er durch Daten von dem Heuristikmodul 182 definiert ist, auswählen. Wenn das Fahrzeug 100 zum Beispiel nach rechts gesteuert wird oder wenn ein Parkplatz davor und zur rechten Seite des Fahrzeugs 100 erfasst wurde, dann kann eine von vorn nach rechts perspektivische Ansicht von dem Anzeigemodul gewählt werden, möglicherweise zusammen mit einer visuellen von oben nach unten Ansicht. Viele Kombinationen von Ansichten können in dem Anzeigemodus definiert werden. Auf ähnliche Weise können viele unterschiedliche Faktoren in der Logik für ein Auswählen des Anzeigemodus berücksichtigt werden, mit der Aufgabe die Ansicht oder Ansichten, welche die größte Fahrerassistenz in dem Kontext der gegenwärtigen Parksituation bereitstellen, anzuzeigen. Das Modusauswahlmodul 172 kann auch eine Nutzerauswahl eines Visualisierungsmodus unterstützen – zum Beispiel über die Nutzereingabe 162.
  • Wenn der Frontbordstein-Visualisierungsbildzustand gleich nein ist, dann gibt der Schalter 168 das zu dem Anzeigesteuermodul 174 weiter, welches andere Informationen auf dem Anzeigesichtgerät 120 anzeigt, wie es vorhergehend erörtert wurde. Das Triggermodul 166, der Schalter 168, das Verarbeitungsmodul 170 und das Modusauswahlmodul 172 können alle in dem Prozessor 188 als enthalten betrachtet werden, wie es ebenfalls vorher erörtert wurde. Zusätzlich kann das Heuristikmodul 182 des Systems 180 in dem Prozessor 118 enthalten sein.
  • 6 ist ein Blockdiagramm eines Systems 200, das eine dritte Ausführungsform eines verbesserten Bordstein-Visualisierungssystems ist. Das System 200 schließt alle Elemente des Systems 180 (der zweiten Ausführungsform), die oben erörtert wurde, ein. Die dritte Ausführungsform umfasst jedoch noch eine weitere Triggersignalquelle für das Beginnen des Frontbordsteinvisualisierens. Ein Verhalten/Historielernmodul 202 verwendet Maschinenlernverfahren, um zu bestimmen, wann es wahrscheinlich ist, dass der Fahrer des Fahrzeugs 100 die Frontbordsteinbilder sehen möchte. Das Lernmodul 202 liefert ein Signal an das Triggermodul 166, welches den Frontbordstein-Visualisierungsbildzustand auf ja oder nein einstellt, abhängig von drei Signalquellen. Das Lernmodul 202 kann auch Präferenzen des Fahrers für die Anzeigemoden lernen – das bedeutet, welche Ansicht oder Ansichten in welcher Parksituation anzuzeigen sind – und kann diese Daten an das Modusauswahlmodul 127 liefern (über das Triggermodul 166, wie in 6 gezeigt, oder direkt).
  • 7 ist ein Blockdiagramm des Systems 200, das zeigt, wie das Lernmodul 202 arbeitet. Elemente des Systems 200, die nicht mit dem Lernmodul 202 interagieren – speziell alles, was unterhalb des Triggermoduls 166 ist – sind von 7 zur Vereinfachung entfernt. Das Lernmodul 202 schließt sowohl offline oder vorprogrammiertes Lernen als auch adaptives Lernen ein. Eine Datenbasis 204 enthält Daten, die eine allgemeine Population von Fahrern repräsentiert. Die Datenbasis 204 ist vorprogrammiert und ist verfügbar, wenn das Fahrzeug 100 neu ist. Die Datenbasis 204 wird nicht kontinuierlich aktualisiert, aber kann periodisch aktualisiert werden (zum Beispiel über einen Telematikservice) mit neuen Daten für eine allgemeine Fahrerpopulation. Daten der Datenbasis 204 werden in einem offline Lernmodul 206 verwendet, um eine erste Bestimmung durchzuführen, ob ein Frontvisualisieren gewünscht ist, und dieses wird über ein Signal von dem offline Lernmodul 206 zu dem Lernmodul 202 kommuniziert.
  • Eine Datenbasis 208 sammelt kontinuierlich Daten von der Nutzereingabe 162, dem Heuristikmodul 182 und dem Triggermodul 166 während des Fahrzeugbetriebs. Die Daten von der Datenbasis 208 werden in einem adaptiven Lernmodul 210 verwendet, um eine zweite Bestimmung durchzuführen, ob ein Frontbordsteinvisualisieren gewünscht ist und dieses wird über ein Signal von dem adaptiven Lernmodul 210 zu dem Lernmodul 202 kommuniziert. Das adaptive Lernmodul 210 wendet Maschinenlerntechniken auf die Daten von der Datenbasis 208 an, um zu bestimmen, ob ein Frontbordsteinvisualisieren in einer vorliegenden Situation getriggert werden sollte basierend darauf, ob ein Frontbordsteinvisualisieren in ähnlichen vorhergehenden Umständen getriggert wurde. Es kann zum Beispiel aus den Daten offensichtlich sein, dass der Fahrer des Fahrzeugs 100 häufig das Frontbordsteinvisualisieren an bestimmten Fahrzeugstandorten aktiviert, selbst wenn Kartendaten nicht den Standort als ein Parkplatzgelände identifiziert. In dieser Situation kann, wenn das Fahrzeug 100 wieder den Standort erreicht und wenn die Fahrzeuggeschwindigkeit unterhalb des Schwellwerts liegt, das adaptive Lernmodul 210 das Frontbordsteinvisualisieren triggern. Diese Analyse kann weiterhin verbessert werden, um eine Wiedererkennung eines spezifischen Musters eines Lenkmanövers einzuschließen, dem der Fahrer typischerweise folgen kann, um einen bestimmten Parkplatz zu erreichen.
  • Als ein anderes Beispiel kann das adaptive Lernmodul 210 bestimmen, dass der Fahrer des Fahrzeugs 100 typischerweise nicht ein Frontbordsteinvisualisieren wünscht, wenn er sich Bordsteinen und Gehwegen nähert (möglicherweise weil das Fahrzeug 100 eine hohe Bodenfreiheit aufweist), aber der Fahrer ein Frontvisualisieren, beim Annähern von Pfosten, Wänden oder Zäunen, wünscht. Dieses Muster kann in den Daten von dem Objekterfassungsmodul 184 und der Nutzereingabe 162 erfasst sein. Alle diese Arten der Bestimmungen können durch ein Auswerten nicht nur der Daten von den drei Teilen des Heuristikmoduls 182, sondern auch von Daten von der Nutzereingabe 162 und dem Triggermodul 166 durchgeführt werden. Das bedeutet, dass es wichtig ist, nicht nur die Umstände, in denen ein Frontbordsteinvisualisieren vorher aktiviert wurde zu berücksichtigen, sondern auch die Präferenzen des Fahrers, welche durch manuelles Aktivieren oder Deaktivieren des Frontbordsteinvisualisierens über den Nutzereingang 162 angezeigt sind, zu berücksichtigen.
  • Das adaptive Lernmodul 210 kann auch zwischen unterschiedlichen Fahrern des Fahrzeugs 100 unterscheiden, aufgrund eines Schlüsselanhänger-Identifizierers oder anderer Fahrerwiedererkennungstechniken und kann entsprechend angepasst sein. Zwei Fahrer des Fahrzeugs 100 können zum Beispiel sehr unterschiedliche Präferenzen für ein Frontbordsteinvisualisieren haben, wobei ein Fahrer es nie zu verwenden wünschen kann und der andere Fahrer es häufig verwenden möchte. Andererseits können beide Fahrer des Fahrzeugs 100 den gleichen „Heimatstandort” haben und es kann bestimmt sein, dass beide Fahrer das Bordsteinvisualisieren an dem Heimatstandort bevorzugen. Diese Arten von fahrerspezifischen und/oder fahrzeugspezifischen Bestimmungen können leicht durch das adaptive Lernmodul 210 durchgeführt werden. Die Fähigkeit, die Präferenzen der Fahrer des Fahrzeugs 100 zu lernen, wenn es gefahren wird, unterscheidet das adaptive Lernmodul 210 von dem offline Lernmodul 206 und dem Heuristikmodul 182.
  • 8 ist ein Flussdiagramm 220 eines Verfahrens zum Bereitstellen eines verbesserten Frontbordsteinvisualisierens in einem Fahrzeug. Bei dem Block 222 wird ein Fahrzeuggeschwindigkeitssignal von einem Fahrzeuggeschwindigkeitssensor gelesen. In der Entscheidungsraute 224 wird bestimmt, ob die Fahrzeuggeschwindigkeit unter einem Geschwindigkeitsschwellwert liegt, welcher durch staatliche Verordnung für das Anzeigen von frontalen Bordstein-Ansichtsbildern definiert werden kann. Wenn die Fahrzeuggeschwindigkeit nicht unterhalb des Schwellwerts liegt, wird das Verfahren zurück zu dem Block 222 geschleift bis zu der Zeit, zu der die Fahrzeuggeschwindigkeit unterhalb des Schwellwerts liegt. Wenn die Fahrzeuggeschwindigkeit bei der Entscheidungsraute 224 unterhalb des Schwellwerts liegt, dann wird in der Entscheidungsraute 226 bestimmt, ob der Fahrzeugfahrer die Frontbordsteinvisualisierung über die Nutzereingabe 162 ausgewählt hat.
  • Wenn der Fahrer die Frontbordsteinvisualisierung nicht gewählt hat, dann wird in dem Block 228 die Fahrzeugbetriebsumgebung evaluiert, um zu bestimmen, ob irgendwelche Faktoren anzeigen, dass das Frontbordsteinvisualisieren aktiviert werden sollte. Die Fahrzeugbetriebsumgebungsauswertung wird durch das Heuristikmodul 182 durchgeführt und schließt die Fahrzeuggeschwindigkeit, den Lenkungswinkel, das Vorhandensein eines Parkplatzes, eines Bordsteins oder anderer Hindernisse vor dem Fahrzeug, und den Fahrzeugstandort, wie er durch das GPS und die digitale Karte angezeigt wird, ein. In dem Block 230 werden das Fahrverhalten und die Historie des Fahrzeugs durch das Lernmodul 202 evaluiert, um zu bestimmen, ob ein Frontbordsteinvisualisieren in einer vorliegenden Situation getriggert werden sollte basierend darauf, ob das Frontbordsteinvisualisieren in ähnlichen vorangegangenen Umständen getriggert wurde. Bei der Entscheidungsraute 232 werden die Signale von den Blöcken 228 und 230 evaluiert, um zu bestimmen, ob irgendwelche Trigger existieren, welche anzeigen, dass das Frontbordsteinvisualisieren aktiviert werden sollte. Wenn keine derartigen Trigger existieren, dann wird bei einem Endblock 234 der Prozess beendet und andere Informationen (wie ein Radio oder eine Navigation) wird auf dem Anzeigesichtgerät 120 dargestellt.
  • Wenn der Fahrer das Frontbordsteinvisualisieren bei der Entscheidungsraute 226 ausgewählt hat oder Trigger bei der Entscheidungsraute 232 existieren, welche anzeigen, dass ein Frontbordsteinvisualisieren aktiviert werden sollte, dann werden beim Block 236 die Videosignale von dem Videoakquisitionsgerät 116 verarbeitet, um verbesserte Frontbordsteinvisualisierungsbilder zu erzeugen. Bei dem Block 238 wird ein Anzeigemodus für das Frontbordsteinvisualisieren basierend auf vergangene Fahrerpräferenz und/oder in der vorliegenden Parksituation ausgewählt, wie es vorhergehend erörtert wurde. Bei Block 240 werden die verbesserten Frontbordsteinvisualisierungsbilder entsprechend dem ausgewählten Anzeigemodus dargestellt.
  • Unter Verwendung der Techniken, die oben beschrieben wurden, kann ein verbessertes Frontbordstein-Visualisierungssystem geliefert werden, welches dem Fahrzeugfahrer mit einer wertvollen visuellen Assistenz für ein Manövrieren in der Nähe von Bordsteinen und anderen Hindernissen in Front eines Fahrzeug bereitstellt. Das verbesserte Frontbordstein-Visualisierungssystem verwendet ein vorhandenes Anzeigesichtgerät und Kameras und liefert dem Fahrer visuelle Informationen, welche auf andere Weise nicht verfügbar wären – dadurch ergibt sich ein deutlich geringeres Auftreten von Fahrzeugbeschädigungen aufgrund von Kontakten zu frontalen Hindernissen.
  • Wie es von der obigen Erörterung verstanden werden kann, ist die Auswahl und die Anzeige von bestimmten frontalen Ansichten wesentlich für die Effizienz eines Frontbordstein-Visualisierungssystems. Die Ansichten können sowohl verbesserte Versionen der vorhandenen Kameraansichten (wie eine vorwärts gerichtete perspektivische Ansicht von der linken oder der rechten Kamera) und „virtuellen Ansichten”, welche Ansichten sind, die durch Verarbeiten mehrerer Kamerabilder synthetisiert sind, um eine perspektivische Ansicht zu erzeugen, welche keine der Kameras direkt wiedergeben können.
  • 9 ist eine Darstellung eines Anzeigesichtgeräts 120, das ein Beispiel eines Anzeigemodus oder eine Anordnung von Ansichten auf dem Bildschirm des Anzeigesichtgeräts 120 zeigt. Das Beispiel, das in 9 gezeigt wird, schließt mindestens drei Bildansichten ein, wobei die rechte Seite des Anzeigesichtgeräts 120 eine Ansicht 250 einschließt, welche eine vorwärts gerichtete perspektivische Ansicht ist (eine verbesserte perspektivische Ansichtserzeugung ist unten erörtert). Die linke Seite des Anzeigesichtgeräts 120 umfasst eine Vogelperspektive des Bereichs rund um das Bauteil 100. Die Ansicht 252 ist eine virtuelle von oben nach unten Frontansicht (welche eine Ansicht ist, die von den Bildern der Kameras 102 und 104 synthetisiert wurden) und die Ansicht 254 ist eine virtuelle von oben nach unten Rückansicht (welche nützlich sein kann, wenn das Fahrzeug vorwärts und rückwärts während des Parkens manövriert wird). Eine Darstellung des Fahrzeugs 100 ist zwischen der Ansicht 252 und der Ansicht 254 zum Vergleich bereitgestellt. Die Seitenansichten 256 können von Bildern von Seitensichtkameras, falls verfügbar, konstruiert sein oder sie können unter Verwendung temporärer Ergänzungstechniken (erörtert unten) von Front- und Heckkamerabildern konstruiert sein. Wie leicht vorstellbar können unterschiedliche Kombinationen der Ansichten als Anzeigemoden definiert sein, die, wie oben im Detail erörtert, ausgewählt werden.
  • Wenn der Frontstoßdämpfer des Fahrzeugs 100 innerhalb von zwei Fuß zu einem Bordstein angeordnet ist, empfinden viele Fahrer eine von oben nach unten Frontansicht als äußerst hilfreich. Tatsächlich mögen während des Vorwärtseinparkmanövers viele Fahrer einen Anzeigemodus bevorzugen, bei dem eine verbesserte von oben nach unten Frontansicht den ganzen Bildschirm des Anzeigesichtgeräts 120 einnimmt. Techniken zur Verarbeitung von digitalen Bildern sind im Stand der Technik bekannt – einschließlich einem Konstruieren virtueller Bildansichten und ein Entzerren der Bilder einer Weitwinkel- oder Fischaugenoptik, um die Verzerrung zu entfernen. Die Erzeugung von einer virtuellen von oben nach unten Ansicht einer Weitwinkeloptik, die darauf abzielt stärker nahezu horizontal als vertikal abzubilden, erzeugt jedoch Herausforderungen, die bis jetzt nicht gelöst wurden.
  • Drei Problemarten wurden identifiziert, die mit virtuellen von oben nach unten Ansichten assoziiert und von Bildern der Kameras 102 und 104 synthetisiert sind. Diese drei Klassen der Probleme, für die Lösungen im Detail unten erörtert werden, sind folgende:
    • 1) Karosserieteilstörungen in einem entzerrten Bild;
    • 2) Geringe Auflösung und/oder Rauschen rund um Grenzen eines entzerrten Bildes;
    • 3) „Doppelbildeffekte” in Flächen und Objekten oberhalb des Bodenniveaus.
  • 10 ist eine Darstellung, wie Fahrzeugkarosserieteile in dem Stoßdämpfer/Frontblendenbereich einen künstlichen Überstandseffekt in einer virtuellen von oben nach unten Ansicht erzeugen können. In 10 kann gesehen werden, dass die Kamera 104 so montiert ist, dass die Linsen nahezu bündig mit der Fläche des Stoßdämpfers des Fahrzeugs 100 sind. Jedoch umfassen viele Fahrzeuge Vorsprünge von dem niedrigen Frontstoßdämpfer oder der Frontblende. Diese Vorsprünge, wie der Vorsprung 260, erstrecken sich vorwärts vor den Linsen der Kameras 104 und stören die Ansicht des Bodens für die Kamera 104. Somit wird in einer virtuellen von oben nach unten Ansicht der Vorsprung 260 weiter voraus und größer erscheinen, als es in einer wahren von oben nach unten Ansicht sein würde. Die Differenz zwischen der erscheinenden Größe/Position des Vorsprungs 260 und der wahren Größe/Position in einer von oben nach unten Ansicht wird durch den Abstand 262 repräsentiert. Dieser Abstand 262 ist eine Funktion der Geometrie der Kamera, des Vorsprungs 260 und des Abstands 130 über dem Boden und kann kompensiert werden.
  • 11 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in der sich der Vorsprung 260 künstlich vorwärts als ein Ergebnis der Kamera/Fahrzeuggeometrie und der Bildentzerrung, die eine Okklusionsregion 280 erzeugt, erstreckt. Die virtuelle von oben nach unten Ansicht, die gezeigt wird, als sei sie auf dem Anzeigesichtgerät 120 dargestellt, zeigt eine horizontale Parkplatzgeländeoberfläche 270, eine horizontale Gehwegoberfläche 272, die sich in einer gewissen Höhe über der Oberfläche 270 erhöht, und eine vertikale Fläche 274, die als ein Bordstein wirkt, ab. Diese Konfiguration einer Parkplatzgeländeoberfläche und eines erhöhten Bordsteins/Gehwegs ist in vielen kommerziellen und privaten Parkplatzgeländen üblich. Verbindungen 276 repräsentieren Verbindungen in den Betonabschnitten der Gehwegoberfläche 272, wobei die Verbindungen 276 vertikal an der vertikalen Fläche 274 werden, und die Verbindungen 276 können sich in einem gewissen Abstand in der Parkplatzgeländeoberfläche 270 erstrecken.
  • In der virtuellen von oben nach unten Ansicht auf dem Anzeigesichtgerät 120 repräsentiert die Bodenkante die wahre Front des Fahrzeugs 100. Wenn somit das Fahrzeug 100 langsam vorwärts gefahren wird, kann der Fahrer sehen, wann ein Hindernis erreicht ist. Wie oben erörtert, ist das Erscheinen, dass der Vorsprung 260 sich deutlich vorwärts erstreckt, künstlich, wobei die Okklusionsregion 280 eine Störung des entzerrten Bildes und der natürlichen Geometrieverhältnisse der Kameralinsen und des Vorsprungs 260 relativ zueinander und des Bodens ist. Es wurden Techniken entwickelt, welche ermöglichen die Okklusionsregion 280 zu modifizieren, so dass der Vorsprung 260 in seiner wahren Position in einer synthetisierten virtuellen von oben nach unten Ansicht erscheint und die Okklusionsregion 280 synthetisch texturiert ist, um als umgebender Boden zu erscheinen. 12 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in der die Größe der Okklusionsregion 280 deutlich reduziert wurde, um die wahre Position des Vorsprungs 260 wiederzugeben, und wobei der größte Teil der Fläche, die ursprünglich in der Okklusionsregion 280 enthalten ist, durch Bildmanipulation retexturiert wurde.
  • 13 ist ein Flussdiagramm 300 eines Verfahrens zum Entfernen einer künstlichen Fahrzeugkarosserieteil-Erscheinung in einer virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern konstruiert wird. Ein Erzeugen einer verbesserten virtuellen von oben nach unten Ansicht, die in 12 gezeigt wird, beginnt mit dem Block 302 durch Quantifizieren der geometrischen Verhältnisse, welche oben erörtert und in 10 gezeigt wurden. Diese dreidimensionalen Verhältnisse sind für unveränderte Fahrzeugentwurfsmengen für jedes bestimmte Fahrzeugmodell bekannt. Deshalb wird es eine ziemlich einfache Berechnung, um exakt zu bestimmen, welche Pixel eines Kamerabildes durch den Vorsprung 260 abgedeckt sind. Es ist auch möglich, eine wahre von oben nach unten Ansicht der Front des Fahrzeugs 100 mit der virtuellen von oben nach unten Ansicht, die in 11 gezeigt wird, zu vergleichen und manuell die Pixel zu identifizieren, die künstlich durch den Vorsprung 260 abgedeckt werden.
  • Im Block 304 wird eine Entzerrungsberechnung durchgeführt, um die Verzerrung des Bildes zu berücksichtigen, wenn das natürliche verzerrte Bild von der Weitwinkeloptik und der Kamera 102 und 104 eingeebnet oder „entzerrt” wurde, um gerade Linien gerade erscheinend zu erstellen. Bildentzerrungsberechnungen sind in der Technik bekannt. Im Block 306 wird ein Satz von Pixeln, welche künstlich durch den Fahrzeugkarosserievorsprung 260 verdeckt werden, bereitgestellt. Die Pixel von dem Block 306, welche die Okklusionsregion 280 der 11 bilden, müssen retexturiert werden, um als Bodenoberfläche zu erscheinen.
  • Im Block 308 werden die gleichen Pixel in der Okklusionsregion 280 analysiert und retexturiert. Zwei Techniken können zum Auffüllen und zum Retexturieren der Pixel in der Okklusionsregion 280 verwendet werden. In dem Block 310 wird ein räumliches Auffüllen durchgeführt. Das räumliche Auffüllen in dem Block 310 umfasst ein Identifizieren der Textur (wie die gekörnte graue Erscheinung des verwitterten Betons) und der Struktur (wie der Verbindungen 276) nahe der Okklusionsregion 280 und ein Auffüllen in der Okklusionsregion 280 basierend auf der umgebenden Textur und Struktur. Die räumliche Auffülltechnik des Blocks 310 kann sehr effektiv sein, wenn die Okklusionsregion 280 ziemlich klein und/oder die Textur der Parkplatzgeländeoberfläche 270 ziemlich einheitlich ist.
  • Im Block 312 wird ein temporäres Auffüllen durchgeführt. Das temporäre Auffüllen in dem Block 312 betrifft ein Verwenden von aktuellen Bildpixeln der Parkplatzgeländeoberfläche 270, die erhalten werden, wenn solche Pixel gerade außerhalb der Okklusionsregion 280 sind, und die Pixel in der Okklusionsregion 280 basierend auf einer Fahrzeugbewegung transponiert werden. Die Fahrzeugbewegung für das temporäre Auffüllen kann von einer optischen Bewegung oder von dynamischen Sensoren des Fahrzeugs bestimmt werden, wobei die optische Bewegung ein Folgen der Bewegung von Merkmalspunkten betrifft, die durch aufeinanderfolgende Bilder erhalten werden. Unter Verwendung der Fahrzeugbewegung, die typischerweise langsam und stetig während eines Parkmanövers ist, können Pixel, die den aktuellen Teil der Parkplatzgeländeoberfläche 270 repräsentieren, welche innerhalb der Okklusionsregion 280 ist, von vorhergehenden Bildern in nachfolgende Bilder der virtuellen von oben nach unten Ansicht kopiert werden.
  • Im Block 314 wird die Okklusionsregion 280 unter Verwendung einer Kombination der räumlichen Auffülltechnik des Blocks 310 und der temporären Auffülltechnik des Blocks 312 aufgefüllt und retexturiert. Im Block 316 wird eine verbesserte virtuelle von oben nach unten Ansicht erzeugt, in der die von der Karosserie verdeckte Region von dem Block 306 mit umgebender Hintergrundtextur von dem Block 314 aufgefüllt wird, so dass nur die wahre Form des Vorsprungs 260 in der Ansicht verbleibt. Wie es in 12 zu sehen ist, wird das Erscheinen des Vorsprungs 260 unter Verwendung der aufgefüllten und retexturierten Okklusionsregion 280 reduziert.
  • Die zweite Problemart, die mit virtuellen von oben nach unten Ansichten verbunden ist, die von Links- und Rechtsfrontkameras synchronisiert werden, sind niedrige Auflösung und/oder Bildrauschen rund um Grenzen des entzerrten Bildes. 14 ist eine Darstellung einer virtuellen von oben nach unten Ansicht, in der bestimmte Abschnitte der Ansicht eine niedrige Auflösung und/oder ein Bildrauschen zeigen. Die virtuelle von oben nach unten Ansicht der 14 zeigt wie die 11 und 12 die horizontale Parkplatzgeländeoberfläche 270, die horizontale Gehwegoberfläche 272, die sich in einer gewissen Höhe über der Oberfläche 270 erhöht, und eine vertikale Fläche 274, die als ein Bordstein wirkt, und die Verbindungen 276 in den Betonabschnitten der Gehwegoberfläche 272.
  • Wie oben erörtert, ist es notwendig, die Bilder der Weitwinkeloptik zu „entzerren”, um Verzerrungen zu entfernen und eine realistisch ausschauende von oben nach unten Ansicht zu erzeugen. Wenn die entzerrten Bilder für jeden Pixel in diesen Regionen vergrößert werden, um mehr von dem Bild zu okkupieren, geht die Bildauflösung in peripheren oder Kantenregionen der virtuellen Ansicht verloren. Linke und rechte periphere Regionen 320 und eine obere periphere Region 322, wie es in 14 gezeigt wird, repräsentieren die gering auflösenden Regionen der virtuellen von oben nach unten Ansicht. Bild/Videorauschen in dem Bild ist auch ein Problem in den Regionen 320 und 322, wenn ein kleiner heller oder dunkler Fleck vergrößert wird, um viel größer, als er in Wirklichkeit ist, zu erscheinen. Natürlich sind die Grenzen der niedrigen Bildauflösungsregionen nicht perfekt gerade, wie es in 14 gezeigt wird – sondern die Regionen 320 und 322 sind illustrativ für das Konzept. Es gibt keine niedrige Bildauflösungsregion in dem unteren Teil des Bildes, da diese Kante am nächsten zu den Kameras 102 und 104 ist und die Pixel in diesem Teil des Bildes nicht in dem Entzerrungsprozess deutlich vergrößert werden müssen.
  • 15 ist ein Flussdiagramm 340 eines Verfahrens zum Entfernen der niedrigen Auflösung und des Bildrauschens in Kantenregionen einer virtuellen von oben nach unten Ansicht, die von den Fahrzeugfrontalkamerabildern konstruiert wird. Im Block 342 wird eine Entzerrungsberechnung an der virtuellen von oben nach unten Ansicht durchgeführt, um die Verzerrung des Bildes zu berücksichtigen, wenn das natürlich verzerrte Bild von der Weitwinkeloptik der Kameras 102 und 104 geglättet wird, um gerade Linien gerade erscheinend zu erstellen. Im Block 344 wird ein Satz von Pixeln bereitgestellt, welche künstlich in ihrer Bildauflösung gering sind. Diese Pixel repräsentieren die Kantenregionen 320 und 322, wo die niedrige Auflösung und das Bildrauschen ein Resultat der Pixelvergrößerung in dem Entzerrungsprozess sind.
  • Zwei Techniken können zum Auffüllen und Retexturieren der Pixel in den niedrigen Bildauflösungsregionen 320 und 322 verwendet werden. Im Block 346 wird eine räumliche Bildauflösungsverbesserung und eine Berechnung eines Entrauschens durchgeführt. Die räumliche Verbesserung im Block 346 schließt ein Identifizieren sowohl der Farben- als auch der Intensitätskanäle in den niedrigen Bildauflösungsregionen 320 und 322 ein und verwendet die natürlichen Farben und Intensitäten in einer glättenden Berechnung, welche die Kanten, wie die Kanten der vertikalen Fläche 274, beibehält. Das räumliche Füllen im Block 346 umfasst auch ein Ausleihen der Textur von benachbarten voll auflösenden Bereichen, wie der Region 324, welche für die linksseitige niedrige Bildauflösungsregion 320 und den linken Abschnitt der oberen niedrigen Bildauflösungsregion 322 verwendet werden kann. Unter Verwendung der Oberflächentextur von den benachbarten voll auflösenden Regionen 324 und der Farben- und der Intensitätsmuster von den niedrigen Bildauflösungsregionen 320 und 322 selbst, kann die räumliche Auflösungsverbesserung und die Berechnung des Entrauschens im Block 346 die Bildqualität rund um die Kanten der visuellen von oben nach unten Ansicht restaurieren.
  • Im Block 348 wird eine temporäre Bildauflösungsverbesserung und eine Berechnung zum Entrauschen durchgeführt. Die temporäre Verbesserung im Block 348 bezieht sich auf ein Verwenden von aktuellen Bildpixeln auf der Oberfläche 270, 272 und 274, die erhalten werden, wenn derartige Pixel gerade außerhalb der niedrigen Bildauflösungsregionen 320 und 322 sind und die Pixel in die niedrigen Bildauflösungsregionen 320 und 322 basierend auf einer Fahrzeugbewegung transponiert werden. Wie vorher erörtert, kann die Fahrzeugbewegung für die temporäre Verbesserung von der optischen Bewegung von dynamischen Sensoren des Fahrzeugs bestimmt werden, wobei die optische Bewegung ein Folgen der Bewegung der Merkmalspunkte, wenn aufeinanderfolgende Bilder erhalten werden, betrifft. Die Fahrzeugbewegung tendiert dazu, gegen die temporäre Verbesserung der Region 322 insbesondere zu arbeiten, da Pixel in dieser Region vorher nicht in einer hoch auflösenden Region des Bildes vorhanden waren, wenn das Fahrzeug 100 nur vorwärts bewegt wurde. Eine temporäre Verbesserung kann jedoch für die links- und rechtsseitigen niedrigen Bildauflösungsregionen 320 hilfreich sein, insbesondere wenn sich das Fahrzeug 100 während eines Manövrierens zum Parken dreht. Unter Verwendung der Fahrzeugbewegung können Pixel, welche aktuelle Teile der Oberflächen 270–274 repräsentieren und welche sich innerhalb der niedrigen Bildauflösungsregionen 320 befinden, von vorhergehenden Bildern in nachfolgende Bilder der virtuellen von oben nach unten Ansicht im Block 348 kopiert werden.
  • Im Block 350 werden die niedrigen Bildauflösungsregionen 320 und 322 unter Verwendung einer Kombination der Ergebnisse der räumlichen Verbesserungstechnik vom Block 346 und der temporären Verbesserungstechnik vom Block 348 neu definiert. Im Block 352 wird eine verbesserte virtuelle von oben nach unten Ansicht erzeugt, in der die ursprünglichen Pixel von den niedrigen Bildauflösungsregionen 320 und 322 mit neu definierten Pixeln des Blockes 350 ersetzt werden und mit dem Verbliebenen von dem entzerrten Bild vom Block 342 kombiniert werden.
  • Der dritte Problemtyp, der mit den virtuellen von oben nach unten Ansichten assoziiert ist, die von den Links und Rechtsfrontkamerabildern synthetisiert werden, ist ein „Doppelbildeffekt” in Objekten, welche sich über dem Bodenniveau erstrecken. Die 16A und 16B sind Darstellungen von virtuellen von oben nach unten Ansichten von der linken Frontkamera beziehungsweise der rechten Frontkamera 104, und 17 ist eine Darstellung, wie einige Teile der virtuellen von oben nach unten Ansicht erscheinen können, indem sie „Doppelbilder” aufweisen, wenn die linken und die rechten Kamerabilder verbunden werden. In 16 und 17 erscheinen die Oberfläche 270, 272 und 274 wie in den vorhergehenden Figuren, genauso wie die Verbindungen 276 (es gibt dort zwei unterschiedliche Verbindungen 276 – eine zur Linken und eine zur Rechten – wie in den 11, 12 und 14 gezeigt). In den 16A und 16B kann ein Bruch 360 in der Gehwegoberfläche 272 gesehen werden. Der Bruch 360 erscheint auf der rechten Seite des linken Kamerabildes in 16A und der Bruch 360 erscheint auf der linken Seite des rechten Kamerabildes in 16B.
  • In 17 erscheint der Bruch 360 zweimal, obgleich es nur einen einzigen Bruch 360 in der Gehwegoberfläche 272 gibt. dieser „Doppelbildeffekt” ist ein Ergebnis der Kombination des linken und des rechten Bildes, was auf den Berechnungen basiert unter der Annahme, dass alles in dem Bild auf dem gleichen Bodenniveau angeordnet ist. Objekte oder Hindernisse, die sich oberhalb des Bodenniveaus erstrecken (welches in der unteren Kante des Bildes angeordnet ist, welche der Abschnitt des Bildes am nächsten zu den Kameras 102 und 104 ist und als der Abstand 130 unterhalb der Kameras bekannt ist), können außerhalb der Position in der entzerrten und kombinierten virtuellen von oben nach unten Ansicht erscheinen. Dieser Doppelbildeffekt kann jedoch in der verbesserten virtuellen von oben nach unten Ansicht über Berechnungen, die unten erörtert werden, korrigiert werden.
  • 18 ist ein Flussdiagramm 380 eines ersten Verfahrens zum Entfernen des Doppelbildeffekts für oberirdische Hindernisse in einer virtuellen von oben nach unten Ansicht, die von den Fahrzeugfrontalkamerabildern konstruiert wird. Im Block 382 wird eine Entzerrungsberechnung an der virtuellen von oben nach unten Ansicht durchgeführt, die von Links- und Rechtsfrontkamerabildern konstruiert wird, um die Verzerrung zu berücksichtigen, wenn die natürlich verzerrten Bilder von den Weitwinkellinsen der Kameras 102 und 104 geglättet werden, um gerade Linien gerade erscheinend zu erstellen. Im Block 384 sind Bordsteine und erhöhte Gehwege in der konstruierten virtuellen von oben nach unten Ansicht erfasst. Wie vorhergehend erörtert, können diese Parkplatzgrenzen durch ein Analysieren einer Sequenz von Bildern während der Fahrzeugbewegung erfasst werden, wobei nach geraden Linien und anderen visuellen Indikatoren der Bordsteine und der erhöhten Gehwege gesucht wird.
  • Im Block 386 werden Hindernisse oberhalb des Bodens in den Bildern der Kameras 102 und 104 unter Verwendung von Stereoansichten und/oder Strukturen von Bewegungstechniken erfasst. Strukturen von Bewegungen (SFM) beziehen sich auf den Prozess des Abschätzens dreidimensionaler Strukturen von den zweidimensionalen Bildfolgen, welche mit lokalen Bewegungssignalen gekoppelt sein können. Die Stereoansicht- und SFM-Analyse liefern Informationen über die Größe, Form und den Ort der Hindernisse oberhalb des Bodens in dem Vorwärtsweg des Fahrzeugs 100. Im Block 388 liefern andere Sensoren an Bord des Fahrzeugs 100 Objekterfassungssignale für den Bereich vor dem Fahrzeug 100. Die anderen Sensoren an Bord können zum Beispiel einschließen – sind aber nicht begrenzt auf – Ultraschall, Kurzbereichsradar und LIDAR.
  • An dem Verbindungspunkt 390 werden die frontalen Hindernisse, die in den Blöcken 384 bis 388 identifiziert wurden, skaliert und kombiniert, um zu ermöglichen, dass alle Daten zum Definieren einer Objektkarte in dem Bereich vor dem Fahrzeug 100 verwendet werden. In dem Block 392 wird ein vollständiges Modell der dreidimensionalen Objekte – einschließlich Bordsteine, erhöhte Gehwege, Pfosten usw. – in Front des Fahrzeug 100 von den Daten der Blöcke 384 bis 388 zusammengefasst. Das Modell der dreidimensionalen Objekte schließt den Ort, die Größe und die Form der Objekte ein. Dort, wo Bordsteine und erhöhte Gehwege vorhanden sind, ist es extrem wertvoll in der Lage zu sein, die Höhe von diesen Objekten aus mindestens zwei Gründen zu bestimmen. Erstens, wenn ein Bordstein oder ein erhöhter Gehweg eine Höhe von sechs Zoll über der Parkplatzgeländeoberfläche aufweist und das Fahrzeug 100 nur eine Frontspoilerbodenfreiheit von 5 Zoll aufweist, können Warnungen an den Fahrer ausgegeben werden, um anzuzeigen, dass das Fahrzeug 100 gestoppt werden sollte bevor der Frontstoßdämpfer den Bordstein oder den erhöhten Gehweg erreicht (im Gegensatz zu einem Vorwärtsfahren bis die Fronträder gegen einen Stopp stoßen). Zweitens, das Wissen der Höhe des erhöhten Gehwegs 272 über der Parkplatzgeländeoberfläche 270 ermöglicht eine Rechnung durchzuführen, welche das Doppelbild des Bruchs 360 entfernt, wie es in 17 zu sehen ist.
  • Im Block 394 werden Bilder von Bordsteinen oder anderen Hindernissen oberhalb des Bodens unter Verwendung des 3D-Modells der Objekte des Blocks 392 und der ursprünglichen entzerrten Bilddaten des Blocks 382 wiedergegeben. Durch Wissen des Ortes, der Größe und der Form von jedem der Hindernisse über dem Boden vor dem Fahrzeug 100, können die Links- und Rechtsfrontkamerabilder zuverlässig kombiniert werden, ohne doppelte Kopien der Hindernisse anzuzeigen. Zum Beispiel bei Berücksichtigung einer Situation, wo ein Pfahl vor dem Fahrzeug 100, links vom Zentrum vorhanden ist. Wenn die Links- und Rechtsfrontkamerabilder einfach entzerrt und kombiniert werden, würden dort zwei Pfosten, jeder mit einem unterschiedlichen Abstand und an einem unterschiedlichen Ort, in dem kombinierten Bild, erscheinen Mit dem Wissen von dem 3D-Objektmodell, dass dort nur ein einzelner derartiger Pfosten vorhanden ist, und dem Wissen des aktuellen Ortes des Pfostens, können jedoch die Links- und Rechtsfrontkamerabilder so bearbeitet werden, dass der Pfosten korrekt nur einmal erscheint. Die gleiche Art der Bildverarbeitung kann auch verwendet werden, um korrekt jedes Merkmal oberhalb des Bodens, einschließlich des Bruchs 360 der 17, wiederzugeben, welcher nur einmal erscheinen wird.
  • Schließlich wird im Block 396 die verfeinerte virtuelle von oben nach unten Ansicht synthetisiert, einschließlich des Hindernisses oberhalb des Bodens, das von dem Block 394 wiedergegeben wird. Die verfeinerte virtuelle von oben nach unten Ansicht schließt keine Fehler von Doppelbildern der Gegenstände oberhalb des Bodens, wie den Bruch 360, ein und die verfeinerte Ansicht verbessert auch die visuelle Wiedergabe der 3D-Objekte, basierend auf ihrer aktuellen Größe, Form und Ort, wie es unter Verwendung aller verfügbaren Datenquellen modelliert wurde.
  • 19 ist ein Flussdiagramm 400 eines zweiten Verfahrens zum Eliminieren des Doppelbildeffekts für oberirdische Objekte in einer virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern erzeugt wird. Im Block 402 wird eine Entzerrungsrechnung an der virtuellen von oben nach unten Ansicht durchgeführt, die von den Links- und Rechtsfrontkamerabildern konstruiert ist, um die Verzerrung zu berücksichtigen, wenn die natürlich verzerrten Bilder der Weitwinkeloptik der Kameras 102 und 104 geglättet werden, um gerade Linien gerade erscheinend erstellen. Im Block 404 wird das entzerrte Bild analysiert, um jeden Doppelbildeffekt in der Textur oder in der Struktur zu erfassen. Es sind zum Beispiel Analysetechniken bekannt, die bereits erkennen, dass der Bruch 360, welcher in 17 doppelt erscheint, in Wirklichkeit das gleiche Objekt ist.
  • Wenn der Doppelbildeffekt im Block 404 gefunden wird, dann wird in der Entscheidungsraute 406 der Prozess zurück zum Block 408 geleitet, wo eine Höhe über dem Boden der Doppelbildstruktur basierend auf einem lateralen Abstand zwischen den Doppelbildern abgeschätzt wird. Dann kehrt der Prozess zurück zum Block 402, wo die Entzerrungsberechnung unter Verwendung einer revidierten Annahme über die Höhe über dem Boden für den Abschnitt des Feldes der Ansicht, die eine Doppelbildstruktur enthält, ausgeführt wird. Die revidierte Annahme über eine Höhe über dem Boden wird durch die Entzerrungsberechnung modifiziert, die eine laterale Verschiebung der Objekte in diesem Abschnitt des Gebiets der Ansicht verursacht.
  • Das Bild wird dann im Block 404 nach-analysiert und, wenn notwendig, wird die Höhenannahme weiter revidiert. Dieses wird fortgesetzt bis der Doppelbildeffekt entfernt ist und von der Entscheidungsraute 406 der Prozess zum Block 410 geht, wo die endgültige verfeinerte virtuelle von oben nach unten Ansicht ausgegeben wird.
  • Andere, einfachere Verfahren zum Entfernen des „Doppelbildeffekts” in Objekten, welche oberhalb des Bodenniveaus herausragen, wie es in 16 und 17 gezeigt wird, sind auch möglich. In einem derart einfacheren Verfahren kann im Gegensatz zu einem iterativen Abschätzen der Bordkantenhöhe, wie es in dem Verfahren der 19 oben erörtert wurde, ein Satz von Standardbordsteinhöhen (wie 5, 6, 7 und 8 Zoll) angenommen werden und die Bildtransformationskartierung kann für jede dieser Höhen vorausberechnet werden. Wenn dann ein Doppelbildeffekt in einem fusionierten Bild erfasst wird, kann eine Bildtransformationsberechnung schnell für alle Standardbordsteinhöhen durchlaufen werden und das Ergebnis kann analysiert werden, um zu bestimmen, welche Bordsteinhöhentransformation die besten Voraussetzungen für ein Eliminieren des Doppelbildeffekts bietet. Dieses Verfahren vermeidet die iterative Berechnung, die vorher erörtert wurde, und stellt direkt ein Endbild mit minimalem Doppelbildeffekt bereit, während es auch eine Abschätzung der Bordsteinhöhe liefert, die in anderen Fahrzeugsystemen verwendet werden kann.
  • Noch ein anderes Verfahren zum Entfernen des „Doppelbildeffekts” in Objekten, welche über das Bodenniveau herausragen, ist es einfach die linken und rechten Bilder zu vergleichen, wenn gemeinsame Bildpunkte in dem überlappenden Bereich der Bilder gefunden werden, und eine Bildregistrierung zu verwenden, um die Bilder zu transformieren, so dass die gemeinsamen Merkmalspunkte in dem überlappenden Bereich übereinanderliegen, wenn die Bilder fusioniert werden. Dieses Verfahren liefert keine Abschätzung der Bordsteinhöhe, aber kann das einfachste sein, um Berechnungen durchzuführen, und stellt dennoch ein Endbild mit minimalen Doppelbildeffekten bereit.
  • 20 ist ein Flussdiagramm 420 eines Verfahrens zum Erzeugen einer verbesserten virtuellen von oben nach unten Ansicht, die von Fahrzeugfrontalkamerabildern erzeugt wird. Im Block 422 wird eine Entzerrungsberechnung auf der virtuellen von oben nach unten Ansicht durchgeführt, die von den Links- und Rechtsfrontkamerabildern konstruiert ist, um die Verzerrung zu berücksichtigen, wenn die natürlich verzerrten Bilder von den Weitwinkeloptiken der Kameras 102 und 104 geglättet sind, um gerade Linien als gerade erscheinend zu erstellen. Im Block 424 werden künstlich übermäßige Fahrzeugkarosserieteilartefakte von dem entzerrten Bild unter Verwendung der Verfahren des Flussdiagramms 300, das in 13 gezeigt wird, entfernt. Im Block 426 werden eine niedrige Auflösung und ein Bild/Videorauschen rund um die Kanten des entzerrten Bildes unter Verwendung der Verfahren des Flussdiagramms 340, wie es in 15 gezeigt wird, korrigiert. Im Block 428 wird der „Doppelbildeffekt” in Oberflächen oder Objekten oberhalb des Bodenniveaus unter Verwendung von einem der Verfahren, die in 18 oder 19 gezeigt werden, oder mit einem der einfacheren Verfahren, die nachfolgend beschrieben werden, korrigiert. Das Ergebnis der Bildverbesserungen durch die Blöcke 424–428 ist eine virtuelle von oben nach unten Ansicht, die deutlich realistischer in ihrer Erscheinung ist als ein gewöhnliches entzerrtes Bild.
  • Unter Verwendung der Techniken, die oben beschrieben sind, können drei Probleme, die typischerweise mit den virtuellen von oben nach unten Ansichten assoziiert sind, und die von Mehrfachkamerabildern synthetisiert sind, gelöst werden, was in einer sehr realistischen virtuellen von oben nach unten Frontbordsteinansicht resultiert. In Prototypsystemprüfungen wurde demonstriert, dass die verbesserte virtuelle von oben nach unten Ansicht extrem hilfreich für Fahrer, die nahe von Bordsteinen und anderen Hindernissen manövrieren, ist. Die virtuellen von oben nach unten Ansichtsynthetisierungstechniken, die oben im Kontext mit einer Frontansicht diskutiert wurden, sind auch für virtuelle von oben nach unten Ansichten für den Heckbereich und die Seiten des Fahrzeugs 100 anwendbar, wenn Kamerabilder verfügbar sind. Die Techniken können auch mit mehr als zwei Kameras pro virtueller Ansicht verwendet werden. Wenn mehr als zwei Kameras verfügbar sind, um eine virtuelle von oben nach unten Frontansicht zu konstruieren, wird die resultierende Ansichtsqualität zum Beispiel verbessert, weil mehr Bildpixel als Eingaben verwendet werden können und Bildentzerrungseffekte reduziert werden können.
  • Wie oben erörtert, kann eine vorwärtsgerichtete perspektivische Ansicht als die größte Ansicht auf dem Anzeigesichtgerät 120 ausgewählt werden, was für Fahrer typischerweise komfortabel ist, die auf eine perspektivische Ansicht blicken. Techniken zum Verarbeiten digitaler Bilder sind in der Technik bekannt – einschließlich Entzerren von Bildern von Weitwinkeloptiken, um die Verzerrung zu entfernen, die einen Fischaugeneffekt erzeugt, bei dem Objekte in dem Frontzentrum des Bildes künstlich vergrößert werden und Objekte zu der Peripherie des Bildes verkleinert werden und von dem Zentrum weg schräg gestellt werden. Traditionelle Entzerrungstechniken und Kameramodelle können jedoch andere Probleme in den verarbeiteten Bildern erzeugen.
  • 21 ist eine Darstellung einer perspektivischen Ansicht in Front des Fahrzeugs 100, welche Verzerrungen einschließt, die durch traditionelle Entzerrungstechniken erzeugt werden. 21 ist eine perspektivische Ansicht von im Wesentlichen der gleichen Szene, die in den vorhergehenden Figuren gezeigt wird – einschließlich der horizontalen Parkplatzgeländeoberfläche 270, der horizontalen Gehwegoberfläche 272, die sich in einer gewissen Höhe über der Oberfläche 270 erhöht, der vertikalen Fläche 274, die als ein Bordstein wirkt, und der Verbindung 276 in den Betonabschnitten der Gehwegoberfläche 272. Die perspektivische Ansicht schließt einen über Horizontbereich 440 ein, welcher Hintergrundobjekte 442 wie Bäume und Telefonmasten einschließt.
  • Zwei Haupttypen des Problems wurden identifiziert, die mit virtuellen perspektivischen Ansichten assoziiert sind, welche von Bildern von den Kameras 102 und 104 synthetisiert werden, wenn sie mit traditionellen Kameramodellen verarbeitet werden. Diese zwei Problemklassen, deren Lösungen im Detail unten erörtert werden, sind folgende:
    • 1) Dehnungs- und niedrige Bildauflösungseffekte an peripheren Teilen des entzerrten Weitwinkelbildes, wegen der geradlinigen Projektion des Lochblendenmodells;
    • 2) „Doppelbildeffekt” in dem überlappenden Feld der Ansichtsregion und fehlende Objekte in toter Zone von fusionierten Bildern.
  • Das erste Problem mit perspektivischen Ansichten, welche unter Verwendung traditioneller Entzerrung durch geradlinige Projektion unter Verwendung von Lochbildkameramodellen durchgeführt werden – Dehnung und geringe Bildauflösung – wird an zwei Stellen der 21 deutlich. Erstens, die Bildauflösung ist in dem Bereich 444 aufgrund der Dehnung vermindert. Zweitens, die vertikale Verbindung 446, welche den vertikalen Abschnitt der Verbindung 276 darstellt, erscheint eher geneigt als vertikal. Zusätzlich kann ein übermäßiges Erscheinen von Karosserieteilvorsprüngen vorhanden sein, wie der Vorsprung 260, der vorher erörtert wurde, aufgrund dieser Dehnung. Diese Probleme können alle durch Verwendung neuerer Kamerabildoberflächenmodelle adressiert werden.
  • 22 ist ein Diagramm eines Kamerabildoberflächenmodells, das verwendet werden kann, um die Verzerrungen, die in 21 zu sehen sind, zu korrigieren. Ein traditionelles Lochbildkameramodell 460 wird gezeigt, in welchem Licht von einer Szene durch eine Lochblende hindurchgeht und auf eine Bildoberfläche einwirkt. In dem traditionellen Modell 460 ist die Bildoberfläche eine flache Ebene. Diese Art des Modells resultiert in den Dehnungseffekten in dem peripheren Bereich des entzerrten Bildes, wie es in 21 gezeigt wird. Um diesen Dehnungseffekt zu korrigieren, kann eine abbildende Oberfläche 462 definiert werden, die in ihrer Form einen horizontalen Halbzylinder bildet. Unter Anwendung eines Modells der abbildenden Oberfläche 462 für das virtuelle perspektivische Bild der 21 können die Dehnungseffekte im unter Horizontbereich reduziert werden. Die zylindrische Projektion im über Horizontbereich des Bildes kann jedoch Hintergrundobjekte 442 verursachen als zum Zentrum des Bildes geneigt zu erscheinen. Um diesen unerwünschten Verzerrungseffekt zu vermeiden, kann eine abbildende Oberfläche 464 definiert werden, wobei die abbildende Oberfläche 464 in einer Form eines horizontalen Viertelzylinders für den unter dem Horizontbereich des Bildes ist und eine flache ebene Form für den über dem Horizontbereich des Bildes ist. Ein Kameramodell, das die abbildende Oberfläche 464 einschließt, um eine übergeordnete visuelle perspektivische Ansicht der Bildsynthese zu erzeugen, wurde gezeigt.
  • Kameramodelle mit abbildenden Oberflächen, andere als jene, die in 22 gezeigt werden, können auch definiert werden. Anstelle eines Vierteilzylinders und einer flachen Ebene wie in der Oberfläche 464 kann zum Beispiel eine Bildoberfläche mit zunehmend sich änderndem Radius der Krümmung definiert werden. Auch können Oberflächenkrümmungseffekte von links nach rechts eingeführt werden, zusammen mit den vom Boden zur Spitze verlaufenden Krümmungseffekten. Unter Verwendung unterschiedlicher Kombinationen wie diesen, können Verbindungsbildoberflächen definiert werden, die sowohl realistische als auch visuelle zufriedenstellende virtuelle perspektivische Ansichten erzeugen.
  • Das zweite Problem mit einer fusionierten perspektivischen Ansicht, die von Linksfront- und Rechtsfrontkamerabildern in einem „Doppelbildeffekt” in einem überlappenden Feld der Bildregion konstruiert werden, ist in der doppelten Erscheinung des Baums 448 in 21 zu sehen. Der überlappende Bereich, der hier beschrieben wird, wird ungefähr als der Überlappungsbereich 110 der 1 gezeigt. Blindzonen – oder Gebiete, die weder durch das linke noch durch das rechte Kamerabild bedeckt werden – können auch existieren, was in fehlenden Objekten oder Texturen in der fusionierten Ansicht resultiert. Andere Verarbeitungstechniken, die unten erörtert werden, können auf die virtuelle perspektivische Ansicht angewandt werden, um Diskrepanzen in dem Überlappungsbereich oder in eine toten Zone zwischen den Bildern von der Kamera 102 und der Kamera 104 zu korrigieren.
  • Eine Technik, die auf den Überlappungsbereich zwischen den Linksfront- und den Rechtsfrontbildern angewandt werden kann, ist als Videoverwandlung bekannt. In der Videoverwandlungstechnik werden Merkmalspunkte, die in dem Zentrum des Überlappungsbereichs der Bilder erfasst werden und Schlüsselpunkte registriert. Die linken und rechten Bilder werden dann verwandelt, was ein Dehnen oder Transformieren bedeutet, um die Merkmalspunkte in dem fusionierten Bild aufeinander anzupassen. Vorhergehende Bildrahmen und Fahrzeugbewegungsinformationen können zur verbesserten Bildsynthese in dem Überlappungsbereich verwendet werden, wobei einige Objekte von einem Nicht-Überlappungsbereich des Bildes zu dem Überlappungsbereich bewegt werden. Unter Verwendung sowohl der Bildverwandlung als auch der vorhergehenden Bildrahmen kann eine temporäre Videoverwandlung auf die virtuelle perspektivische Ansicht, welche sowohl ein Doppelbild als auch tote Zonen in dem Überlappungsbereich korrigiert, angewandt werden.
  • Eine andere Technik, welche auf den Überlappungsbereich zwischen Linksfront- und Rechtsfrontbildern angewandt werden kann, ist ein Bild, das basierend auf 3D-Szene-Abschätzung wiedergegeben wird. Diese Technik ist ähnlich zu dem Verfahren, das oben in dem Flussdiagramm 380 der 18 beschrieben wurde. Wie oben erörtert, bezieht sich diese Technik auf ein Anwenden von Stereoansichten, auf eine Struktur von der Bewegung (SFM) und auf Daten von anderen an Bord vorhandenen Sensoren, um ein 3D-Modell der Szene in Front des Fahrzeugs 100 zu konstruieren, ein. Die 3D-Objektszene kann mit den Objekten in dem Bild korreliert werden und das perspektivische Ansichtsbild kann wiedergegeben werden, um das doppelte Erscheinen von irgendwelchen Objekten, wie dem Baum 448, zu eliminieren.
  • 23 ist eine Darstellung einer perspektivischen Ansicht in Front des Fahrzeugs 100, in der die Verzerrungen, die in 21 zu sehen sind, durch Anwendung des neuen virtuellen Bildoberflächenmodells der 22 und anderer Techniken, die oben erörtert wurden, korrigiert wurden. Es kann in 23 gesehen werden, dass der Dehneffekt in der Fläche 444 aufgrund der Anwendung des zylindrischen Kamerabildmodells in dem unter dem unter Horizontbereich eliminiert wurde. Somit gibt es keinen Verlust an Auflösung in dem Bereich 444. Es kann auch in 23 gesehen werden, dass die vertikale Verbindung 446 vertikal erscheint, wie es sein sollte, aufgrund der Anwendung des zylindrischen Kamerabildmodells in dem unter Horizontbereich. Schließlich ist das Doppelbild des Baums 448 aufgrund der Anwendung der Überlappungsbereichs-Korrekturtechniken wie oben erörtert eliminiert.
  • 24 ist ein Flussdiagramm 480 eines Verfahrens zum Erzeugen einer verbesserten perspektivischen Ansicht, die von Fahrzeugfrontalkamerabildern unter Verwendung des Kamerabildoberflächenmodells der 22 und anderer Korrekturtechniken konstruiert ist. In dem Block 482 wird eine Entzerrungsberechnung an der virtuellen perspektivischen Ansicht, die von den Links- und Rechtsfrontkamerabildern konstruiert sind, durchgeführt, um die Verzerrung zu berücksichtigen, wenn die natürlich verzerrten Bilder von der Weitwinkeloptik der Kameras 102 und 104 geglättet sind, um gerade Linien gerade erscheinend zu erstellen. Im Block 484 wird die Kameramodellbildoberfläche 464 angewandt, um das entzerrte Bild in der Dehnung und in dem unter Horizontteil des Bildes zu korrigieren, während die vertikale Erscheinung der vertikalen Objekte in dem über Horizontteil des Bildes erhalten bleibt. Im Block 486 wird der Bereich, in dem die linken und rechten Kamerabilder überlappen, korrigiert, um Doppelabbildungen der Objekte und tote Zonen zu eliminieren. Die Korrekturen in dem Überlappungsbereich können sowohl Videoverwandlungs- als auch 3D-Szenenabschätzungstechniken, wie oben erörtert, umfassen. Im Block 488 wird eine endgültige virtuelle perspektivische Ansicht bereitgestellt, welche die Korrekturen, die oben erörtert wurden, umfasst und wie sie in 23 gezeigt sind.
  • Unter Verwendung der Techniken, die oben beschrieben sind, können Probleme, welche typisch mit virtuellen perspektivischen Ansichten verbunden sind, die von Weitwinkelkamerabildern unter Verwendung traditioneller Kameramodelle erzeugt werden, gelöst werden, indem sie in einer sehr realistischen virtuellen frontperspektivischen Ansicht resultieren. Die virtuellen perspektivischen Ansichtssynthesentechniken, die oben im Kontext mit einer Frontansicht erörtert werden, sind auch für virtuelle perspektivische Ansichten des Heckbereichs und der Seiten des Fahrzeugs 100 anwendbar, wenn entsprechende Kamerabilder zur Verfügung stehen. Die Techniken können auch mit mehr als zwei Kameras pro virtueller Ansicht verwendet werden. Wenn mehr als zwei Kameras verfügbar sind, um eine virtuelle perspektivische Frontansicht zu konstruieren, wird zum Beispiel die sich ergebende Ansicht in der Qualität verbessert, weil mehr Bildpixel als Eingabe verwendet werden und Bildentzerrungseffekte reduziert werden können.
  • Verbesserte Frontbordstein-Visualisierungssysteme versehen den Fahrer mit visuellen Informationen, die sonst nicht verfügbar sind. Die Frontbordsteinansichten versehen die Fahrer mit der benötigten Assistenz, um genau ihr Fahrzeugs in der Nähe von Bordsteinen und andern frontalen Hindernissen einzuparken und mit der Gemütsruhe des Wissens, dass sie nicht zufällig an das Hindernis stoßen und das Fahrzeug beschädigen werden. Die automatische Erzeugung und Anzeige dieser Frontbordsteinansichten liefern Werte für den Fahrer, die in einer erhöhten Kundenzufriedenheit mit dem Fahrzeug und dem potentiellen Vermeiden von teuren Reparaturrechnungen resultieren.
  • Die vorhergehende Erörterung offenbart und beschreibt nur exemplarische Ausführungsformen der vorliegenden Erfindung. Ein Fachmann der Technik wird bereits durch diese Erörterung und durch die begleitenden Zeichnungen und Ansprüchen erkennen, dass vielfache Änderungen, Modifikationen und Variationen durchgeführt werden können, ohne sich von dem Geist und dem Schutzbereich der Erfindung, wie er in den folgenden Ansprüchen definiert wird, zu entfernen.

Claims (10)

  1. System zum Bereitstellen verbesserter top-down Ansichten eines Bereichs in Front eines Fahrzeugs, wobei das System umfasst: – eine erste Kamera, die auf der linken Frontseite des Fahrzeugs montiert ist; – eine zweite Kamera, die auf der rechten Frontseite des Fahrzeugs montiert ist; – ein Bildakquisitionsmodul in Kommunikation mit der ersten und der zweiten Kamera, wobei das Bildakquisitionsmodul unbearbeitete Bilder von den Kameras empfängt, und wobei die unbearbeitete Bilder von den Kameras eine im Allgemeinen vorwärts gerichtete Ansichtsperspektive aufweisen; – einen Prozessor, der ein Speichermodul einschließt, wobei der Prozessor konfiguriert ist, um eine virtuelle top-down Ansicht des Bereichs in Front des Fahrzeugs bereitzustellen, wobei die virtuelle top-down Ansicht von den unbearbeiteten Bildern von den Kameras synthetisiert ist, und die virtuelle top-down Ansicht Korrekturen für einen künstlichen Vorsprung von Fahrzeugkarosserieteilen in die Ansicht hinein, eine niedrige Auflösung und ein Rauschen rund um die Kanten der Ansicht, sowie einen Doppelsicht-Effekt für Objekte oberhalb eines Bodenniveaus einschließt, und – eine Anzeigeeinheit in einem Cockpitbereich des Fahrzeugs zum Anzeigen der virtuellen top-down Ansicht von dem Prozessor zum Anschauen durch einen Fahrer des Fahrzeugs.
  2. System nach Anspruch 1, wobei die Korrektur für einen künstlichen Vorsprung von Fahrzeugkarosserieteilen in die Ansicht hinein ein Identifizieren einer Okklusionsregion in der virtuellen top-down Ansicht einschließt, wobei die Okklusionsregion ein Bereich der virtuellen top-down Ansicht ist, wo die Fahrzeugkarosserieteile künstlich erscheinen, als ob sie sich zu weit vorwärts erstrecken, und wobei die Okklusionsregion unter Verwendung von Berechnungen, basierend auf bekannter Fahrzeuggeometrie und bekannten Kamerapositionsinformationen identifiziert wird.
  3. System nach Anspruch 2, wobei die Okklusionsregion synthetisch retexturiert wird, um als Boden in der virtuellen top-down Ansicht zu erscheinen, einschließlich des Verwendens räumlicher Füllverfahren, wobei die Okklusionsregion basierend auf einer Textur und Struktur der unbearbeiteten Abbildungen und unter Verwendung temporärer Fülltechniken retexturiert wird, wobei aktuell Pixel von außerhalb der Okklusionsregion in den unbearbeiteten Abbildungen in die Okklusionsregion der virtuellen top-down Ansicht basierend auf einer Fahrzeugbewegung transponiert werden.
  4. System nach Anspruch 1, wobei die Korrektur einer niedrigen Auflösung und eines Rauschens rund um die Ränder der Ansicht ein Identifizieren der Regionen niedriger Auflösung nahe der linken, der rechten, und der oberen Peripherie der virtuellen top-down Ansicht einschließt, wobei Bereiche niedriger Auflösung in der virtuellen top-down Ansicht dort sind, wo eine Bildauflösung aufgrund eines Deformierens niedrig ist, und weiterhin ein Korrigieren der Regionen mit niedriger Auflösung unter Verwendung räumlicher Auslösungsverbesserung einschließt, wobei die räumlicher Auslösungsverbesserung ein Kombinieren der Oberflächentextur von außerhalb der Regionen mit niedriger Auslösung mit Farbe und Intensität innerhalb der Regionen mit niedriger Auslösung einschließt.
  5. System nach Anspruch 4, wobei das Korrigieren der Regionen mit niedriger Auslösung weiterhin ein Verwenden temporärer Auflösungsverbesserung einschließt, wobei die temporäre Auflösungsverbesserung ein Transponieren aktueller Pixel von außerhalb der Region mit niedriger Auslösung in den unbearbeiteten Abbildungen in die Region mit niedriger Auslösung in der virtuellen top-down Ansicht basierend auf einer Fahrzeugbewegung einschließt.
  6. System nach Anspruch 1, wobei die Korrektur des Doppelsicht-Effektes für Objekte oberhalb des Bodenniveaus ein Verwenden von Strukturbewegungstechniken einschließt, welches eine Sequenz von unbearbeiteten Abbildungen und Objektdaten eines Fahrzeug-Radar- oder -Lidar-Systems verwendet, um dreidimensionale Modelle der Objekte in Front des Fahrzeugs zu bilden, und die dreidimensionale Modelle werden verwendet, um ein Doppelabbilden in der virtuellen top-down Ansicht zu eliminieren.
  7. System nach Anspruch 1, wobei die Korrektur des Doppelsicht-Effektes für Objekte oberhalb des Bodenniveaus ein Analysieren der virtuellen top-down Ansicht einschließt, um den Doppelsicht-Effekt zu erfassen, in dem eine neue Höhe oberhalb des Bodenniveaus für ein Merkmal angenommen wird, welches in Verdoppelung erscheint, und wobei eine Deformierungsberechnung basierend auf der neuen Höhe erneut durchlaufen wird.
  8. System nach Anspruch 1, die Korrektur des Doppelsicht-Effektes für Objekte oberhalb des Bodenniveaus ein Analysieren der virtuellen top-down Ansicht einschließt, um den Doppelsicht-Effekt zu erfassen, indem ein Finden gemeinsamer Merkmalspunkte in den unbearbeiteten Abbildungen von den ersten und zweiten Kameras vor dem Mischen erfolgt, und indem ein Transformieren der unbearbeiteten Abbildungen unter Verwenden von Bildregistrierungstechniken so durchgeführt wird, dass die gemeinsamen Merkmalspunkte in der virtuellen top-down Ansicht ausgerichtet sind.
  9. System nach Anspruch 1, wobei die virtuelle top-down Ansicht in einem ersten Fenster der Anzeigeeinheit angezeigt wird und eine Ansicht aus der Vogelperspektive in einem zweiten Fenster auf dem Anzeigegerät angezeigt wird, wobei das erste Fenster größer als das zweite Fenster ist und die Ansicht aus der Vogelperspektive eine Darstellung des Fahrzeugs in dem Zentrum eines vorwärts Ansichtsbildes in Front der Fahrzeugdarstellung und ein Heckansichtsbild hinter der Fahrzeugdarstellung einschließt.
  10. System nach Anspruch 1, wobei die virtuelle top-down Ansicht eine Indikation einschließt, ob ein Bordstein in Front des Fahrzeugs eine niedrig hängende Karosseriekomponente des Fahrzeugs kontaktieren wird und ob ein Warnen bereitgestellt wird, falls es sicher ist, dass das Fahrzeug den Bordstein kontaktieren wird,
DE102014107158.1A 2013-05-23 2014-05-21 Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem Active DE102014107158B4 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361826904P 2013-05-23 2013-05-23
US61/826,904 2013-05-23
US14/280,506 US9886636B2 (en) 2013-05-23 2014-05-16 Enhanced top-down view generation in a front curb viewing system
US14/280,506 2014-05-16

Publications (2)

Publication Number Publication Date
DE102014107158A1 true DE102014107158A1 (de) 2014-11-27
DE102014107158B4 DE102014107158B4 (de) 2021-04-01

Family

ID=51863342

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014107158.1A Active DE102014107158B4 (de) 2013-05-23 2014-05-21 Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem

Country Status (3)

Country Link
US (1) US9886636B2 (de)
CN (1) CN104185009B (de)
DE (1) DE102014107158B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017123452A1 (de) * 2017-10-10 2019-04-11 Connaught Electronics Ltd. Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395125B2 (en) 2016-10-06 2019-08-27 Smr Patents S.A.R.L. Object detection and classification with fourier fans
US9538077B1 (en) * 2013-07-26 2017-01-03 Ambarella, Inc. Surround camera to generate a parking video signal and a recorder video signal from a single sensor
DE112015002483T5 (de) * 2014-05-28 2017-02-23 Kyocera Corporation Objektdetektionsvorrichtung und Fahrzeug, das mit einer Objektdetektionsvorrichtung versehen ist
DE102014108489A1 (de) * 2014-06-17 2015-12-17 Robert Bosch Automotive Steering Gmbh Verfahren zur unterstützung eines fahrers beim überwachen einer fahrt eines kraftfahrzeugs oder kraftfahrzeuggespanns
US9621798B2 (en) * 2014-07-07 2017-04-11 GM Global Technology Operations LLC Grid-based image resolution enhancement for video processing module
KR101592740B1 (ko) * 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
JP6096157B2 (ja) * 2014-09-12 2017-03-15 アイシン精機株式会社 駐車支援装置
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
JP6304272B2 (ja) * 2016-02-04 2018-04-04 トヨタ自動車株式会社 車両用注意喚起装置
DE102016006390A1 (de) * 2016-05-24 2017-11-30 Audi Ag Beleuchtungseinrichtung für ein Kraftfahrzeug zur Erhöhung der Erkennbarkeit eines Hindernisses
US9609197B1 (en) * 2016-08-19 2017-03-28 Intelligent Security Systems Corporation Systems and methods for dewarping images
KR102505951B1 (ko) * 2016-08-24 2023-03-03 한화테크윈 주식회사 이미지 제공 장치, 방법 및 컴퓨터 프로그램
US11400860B2 (en) 2016-10-06 2022-08-02 SMR Patents S.à.r.l. CMS systems and processing methods for vehicles
DE102016220651A1 (de) * 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) * 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102016124989A1 (de) * 2016-12-20 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug
DE102016124978A1 (de) * 2016-12-20 2018-06-21 Connaught Electronics Ltd. Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
US20180288320A1 (en) * 2017-04-03 2018-10-04 Uber Technologies, Inc. Camera Fields of View for Object Detection
DE102017206175A1 (de) * 2017-04-11 2018-10-11 Conti Temic Microelectronic Gmbh Surround-View-System für ein Fahrzeug
JP6819431B2 (ja) * 2017-04-12 2021-01-27 トヨタ自動車株式会社 注意喚起装置
US10489897B2 (en) * 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
US10438322B2 (en) 2017-05-26 2019-10-08 Microsoft Technology Licensing, Llc Image resolution enhancement
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE112018007027T5 (de) * 2018-03-09 2020-11-12 Ford Global Technologies, Llc Abbiegewegvisualisierung zum verbessern von räumlichem und situativem bewusstsein bei abbiegemanövern
US11017540B2 (en) * 2018-04-23 2021-05-25 Cognex Corporation Systems and methods for improved 3-d data reconstruction from stereo-temporal image sequences
EP3599569A1 (de) * 2018-07-24 2020-01-29 Continental Automotive GmbH Verfahren und system zur darstellung einer fahrzeugumgebung mit reduzierten artefakten
JP2021182175A (ja) * 2018-08-10 2021-11-25 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
US11536845B2 (en) 2018-10-31 2022-12-27 Waymo Llc LIDAR systems with multi-faceted mirrors
US11119192B2 (en) * 2018-12-07 2021-09-14 Here Global B.V. Automatic detection of overhead obstructions
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
US10887582B2 (en) 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
US11783443B2 (en) 2019-01-22 2023-10-10 Fyusion, Inc. Extraction of standardized images from a single view or multi-view capture
JP6802864B2 (ja) * 2019-01-30 2020-12-23 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視装置、監視方法、及び、コンピュータプログラム
DE102019201702A1 (de) * 2019-02-11 2020-08-13 Conti Temic Microelectronic Gmbh Modulares inpainting Verfahren
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
DE102019123778A1 (de) * 2019-09-05 2021-03-11 Valeo Schalter Und Sensoren Gmbh Darstellen einer Fahrzeugumgebung zum Bewegen des Fahrzeugs zu einer Zielposition
US20210109523A1 (en) * 2019-10-10 2021-04-15 Waymo Llc Sensor field of view in a self-driving vehicle
US11511733B2 (en) * 2019-11-20 2022-11-29 Ford Global Technologies, Llc Vehicle parking system
CN111197993B (zh) * 2019-12-26 2021-11-23 广州文远知行科技有限公司 地图的渲染方法、装置、计算机设备和存储介质
US11776142B2 (en) * 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
US11562474B2 (en) 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
US20210225038A1 (en) * 2020-01-16 2021-07-22 Fyusion, Inc. Visual object history
JP2021150838A (ja) * 2020-03-19 2021-09-27 株式会社デンソーテン 画像処理装置
US20230166763A1 (en) * 2020-04-06 2023-06-01 Nissan Motor Co., Ltd. Driving Assistance Method and Driving Assistance Device
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging
CN115742962B (zh) * 2022-11-25 2024-05-14 重庆长安汽车股份有限公司 一种全景影像控制方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US8454166B2 (en) * 2006-12-04 2013-06-04 Atheer, Inc. Methods and systems for amblyopia therapy using modified digital content
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
US8547448B2 (en) * 2008-12-12 2013-10-01 Panasonic Corporation Image processing device and image processing method to generate a plan map
JP5049300B2 (ja) * 2009-01-20 2012-10-17 クラリオン株式会社 障害物検出表示装置
CN101995239B (zh) * 2009-08-11 2012-05-23 财团法人车辆研究测试中心 利用鸟瞰影像判断障碍物的系统及方法
WO2011070641A1 (ja) * 2009-12-07 2011-06-16 クラリオン株式会社 車両周辺監視システム
CN103069818B (zh) * 2010-05-31 2015-08-26 富士胶片株式会社 立体图像控制设备以及控制其操作的方法和程序
JP2012147149A (ja) 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
CN202038230U (zh) 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器
US10089537B2 (en) * 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9225942B2 (en) 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017123452A1 (de) * 2017-10-10 2019-04-11 Connaught Electronics Ltd. Verfahren zum Erzeugen eines ein Kraftfahrzeug und einen Umgebungsbereich des Kraftfahrzeugs in einer vorbestimmten Zielansicht zeigenden Ausgangsbildes, Kamerasystem sowie Kraftfahrzeug

Also Published As

Publication number Publication date
DE102014107158B4 (de) 2021-04-01
US20140347470A1 (en) 2014-11-27
US9886636B2 (en) 2018-02-06
CN104185009B (zh) 2017-04-12
CN104185009A (zh) 2014-12-03

Similar Documents

Publication Publication Date Title
DE102014107158B4 (de) Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem
DE102014107156B4 (de) System und Verfahren zum Bereitstellen einer verbesserten perspektivischen Bilderzeugung in einem Frontbordstein-Visualisierungssystem
DE102014107155B4 (de) Verbessertes Frontbordstein-Visualisierungssystem
DE102008034594B4 (de) Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
EP3353013B1 (de) Projizieren eines vorgebbaren lichtmusters
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
DE102010000385A1 (de) Fahrzeugperipherieanzeigevorrichtung
DE102010016064A1 (de) Fahrzeugperipherieanzeigevorrichtung und Verfahren für ein Fahrzeugperipheriebild
DE102012203491B4 (de) Elektronisches Rückspiegel-System
DE102014205078A1 (de) System zur Betrachtung eines Bordsteines in einem vorderen Bereich auf Basis von zwei Kameras
EP3512739A1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
DE112017001545T5 (de) Virtuelles überlagerungssystem und verfahren für verdeckte objekte
DE102019131942A1 (de) Umfeldüberwachungseinrichtung
WO2016005232A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
DE102021132949A1 (de) Umgebungsbild-Anzeigevorrichtung und Anzeigesteuerverfahren
DE102015202863A1 (de) Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
DE102018108751A1 (de) Method, system and device of obtaining 3D-information of objects
WO2017198429A1 (de) Ermittlung von fahrzeugumgebungsdaten
WO2020001838A1 (de) Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
DE102016208370A1 (de) Verfahren zum Ermitteln von Daten, die eine Umgebung unterhalb eines Fahrzeugs repräsentieren
DE102016217037A1 (de) Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs mit einer digitalen Anzeigefläche und Kraftfahrzeug
DE102020107949A1 (de) Sichtfeldunterstützungsbild-Erzeugungsvorrichtung und Bildumwandlungsverfahren
DE112021002978T5 (de) Anzeigesteuervorrichtung, fahrzeug und anzeigesteuerverfahren
DE102008064951B3 (de) Verfahren zur Information eines Insassen eines Fahrzeuges

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R083 Amendment of/additions to inventor(s)
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001100000

Ipc: B60R0001000000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R082 Change of representative

Representative=s name: SCHWEIGER, MARTIN, DIPL.-ING. UNIV., DE